基于視覺的機器人激光熔覆過程損傷定位方法

來源：長三角G60激光聯盟

目前，再制造中的損傷識別和定位是一項人工視覺任務。這是費時費力的。并且可能導致不精確的修復。為了緩解這一問題，本文提出了一種基于視覺的自動損傷定位方法，該方法將攝像機集成在機器人激光熔覆修復單元中。進行了兩個案例研究，分析了基于更快區(qū)域的卷積神經網絡（R-CNN）的不同配置。本研究旨在選擇最合適的配置來定位受損固定彎管上的磨損。收集圖像用于測試和訓練R-CNN，本研究結果表明訓練和驗證損失呈下降趨勢，平均精度（mAP）為88.7%。

1介紹
激光熔覆（LC）或基于激光的直接金屬沉積（LMD）是一種有吸引力的增材制造技術，在航空航天、石油和天然氣工業(yè)以及機械工程中的應用引起了極大的興趣。這一成熟的工業(yè)過程通過聚焦高功率激光束在基底上產生熔池，并通過同軸噴嘴將材料連續(xù)引導到熔池中，使其固化。與傳統(tǒng)技術（如鑄造、鍛造和機械加工）相比，這種逐層制造技術具有提高時間和成本效率的能力[。

在機器人激光熔覆應用中，磨損區(qū)域的檢查目前是一個手動過程。操作員通過視覺定位損傷，然后使用激光掃描儀捕捉缺陷的表面幾何形狀。此過程中的信息用于生成零件的維修策略。隨著零件規(guī)模的增加，這一過程變得更加耗時、容易出錯和勞動密集。

本文首先提出了在修復單元中集成視覺傳感器以記錄受損部件的圖像數據。然后，利用兩個不同的數據集進行了兩個案例研究。這些案例研究進行了分析，以比較用于損傷檢測的常用特征提取器的可行性、準確性和時間效率。最后，根據結果選擇了合適的模型配置，并提供了結果和評估。

2.方法
本研究側重于圓柱形固定彎管的損傷識別和定位，更具體地說，是固定彎管上的損傷和襯墊。這些是石油和天然氣工業(yè)中使用的機械零件。對于磨損的固定彎頭，必須區(qū)分襯墊的位置，因為襯墊是造成最大損壞的區(qū)域，必須進行維修。

2.1基于視覺的RLCRC

使用的機械臂是Fanuc-R-1000iA/80F，這是一種用于中等有效載荷的高速搬運機器人，相機是UVC-G3-Bullet/UVC-G3-AF。圖1顯示了單元設置的示意圖。

圖1RLCRC的設置。

3.結果和討論

3.1案例研究1
為了開發(fā)包含受損固定彎管圖像的數據庫，收集了8種不同類型固定彎管的72張圖像（分辨率：1920 x 1080像素）。R-CNN需要大量訓練數據來生成高性能模型。這可能是一項繁重的任務，因為獲取大量數據非常昂貴，而且通常不容易訪問。為了克服這個問題，數據擴充是一種被廣泛接受的實踐。在這項研究中，應用了不同類型的幾何（水平翻轉和垂直翻轉）和光度（灰度、色調和曝光）增強技術，以使訓練模型對照明和相機設置的變化更加魯棒和彈性。圖2顯示了來自擴展數據集的樣本圖像，該數據集通過從72張圖像增加到221張圖像而被放大。

圖2 來自訓練數據集的樣本增強圖像。

3.2對比分析和結果
本研究主要評估m(xù)AP，而不是對象建議代理度量，因為它是一種廣泛用于對象檢測的度量。

從圖2可以看出，這兩個標簽具有相似的特征，并且在圖像中有恒定的重疊。假設這些因素是模型中產生偏差和差異的原因，導致mAP評分相對較低。帶有一個標簽的ResNet50的訓練和驗證損失如圖3所示。對兩種模型配置進行推斷，邊界框預測如圖4所示。

圖3訓練和驗證損失與步驟數量的關系。

圖4帶有邊界框輸出的測試數據集。

3.3案例研究2

3.3.1數據集

對于自主損傷檢測，RLCRC中攝像機的位置將保持不變，這意味著工作站攝像機的圖像將始終取自相同的設置。形成了一個新的數據集，包括四個不同固定彎曲的437張原始圖像（分辨率：1920 x 1080像素）。與第一個數據集類似，圖像被擴充，將數據集擴展到1049個圖像（見圖5）。

圖5 來自新訓練數據集的樣本增強圖像，僅包含具有相同相機設置的圖像。

3.3.2對比分析和結果

圖6說明了從ResNet50模型獲得的結果度量圖。如圖6（c，d）所示，訓練和驗證損失均降至穩(wěn)定點，這意味著沒有過度擬合。該模型通過多個IoU度量（IoU=0.50:0.05:0.95）進行評估，這意味著該模型必須在每個IoU閾值下都表現良好，才能獲得較高的mAP分數。圖6（b）顯示了0.50 IoU時的mAP值，達到100%。

圖6 結果度量圖顯示（a）mAP@0.5:0.95 IOU和（b）mAP@0.5 IOU；（c）驗證損失和（d）培訓損失。

3.4討論和限制

本研究的目的是開發(fā)一種能夠識別和定位受損區(qū)域的智能視覺系統(tǒng)。該定位過程是使用固定的相機方向執(zhí)行的，這意味著相機的視圖在整個過程中以及在不同部分之間保持不變。因此，更重要的是要有一個專門的模型，以更高的精度定位“墊”表面，而不是一個精度低得多的魯棒模型。

第一個案例研究是在一個相對較小的數據集上進行的，該數據集包含八個固定彎道的72張原始圖像，而第二個案例研究則包含四個固定彎道437張原始圖像。

第二個案例研究的結果更為有利，因為目標是獲得一個訓練有素、更專業(yè)的模型來檢測特定環(huán)境中的損傷。一個更大的數據集將使R-CNN能夠更準確地了解損傷和襯墊的特征，并生成更穩(wěn)健、性能更高的模型。

4.結論和未來工作
再制造中的損傷識別和定位是一項人工視覺任務。它可能耗時、乏味且容易出錯。隨著計算機視覺、計算能力和對大量數據的訪問的最新進展，現在值得探索在再制造中使用該技術。本文提出了一種基于機器學習的機器人激光熔覆修復單元過程中損傷的自動視覺檢測和定位方法。為了實現這一點，采用了兩種結合轉移學習的Faster R-CNN配置。兩個案例研究在不同的數據集上進行，案例研究1具有更多樣的圖像集，案例研究2具有更相似的圖像集。還對它們的性能進行了比較分析。這項研究的有希望的結果證明了基于視覺的R-CNN技術在維修和再制造領域的潛力。

需要注意的是，本文的范圍是找到固定彎管損傷檢測的最佳模型。本文提出的方法將擴展到與深度傳感器一起工作，并在未來獲得修復零件所需的體積信息。

來源：Peer-review under responsibility of the scientific committee of the 54th CIRP Conference on Manufacturing System, 10.1016/j.procir.2021.11.139