基于自適應(yīng)視覺的定向能量沉積激光與材料相互作用檢測

來源：長三角G60激光聯(lián)盟

導(dǎo)讀：本文提出了一種基于低成本高動態(tài)范圍（HDR）視覺傳感器的激光-材料相互作用區(qū)目標(biāo)區(qū)域檢測方法。
摘要

現(xiàn)場視覺數(shù)據(jù)采集、特征提取和分析是定向能量沉積（DED）質(zhì)量評估的持續(xù)挑戰(zhàn)。本文提出了一種基于低成本高動態(tài)范圍（HDR）視覺傳感器的激光-材料相互作用區(qū)目標(biāo)區(qū)域檢測方法。大量實(shí)驗(yàn)結(jié)果表明，該方案能夠在各種功率水平和工藝條件下檢測和跟蹤目標(biāo)區(qū)域。

1.介紹

定向能量沉積（DED）是一種增材制造（AM）工藝，其中粉末流通過氣流引導(dǎo)到基板上，并通過與激光束的相互作用熔化，逐層制造給定零件。DED是最常見的金屬增材制造工藝之一，以其生產(chǎn)高密度零件的能力而聞名，否則很難實(shí)現(xiàn)。目前正在努力更好地理解和提高激光金屬AM工藝的性能和可靠性，以實(shí)現(xiàn)工業(yè)化和工藝采用，努力主要集中在提高零件質(zhì)量和工藝重復(fù)性。

根據(jù)ASTM/ISO AM術(shù)語標(biāo)準(zhǔn)(ISO/ASTM 52900-15)，“DED是一種增材制造工藝，在其過程中，聚焦熱能被用于熔化正在沉積的材料�！倍ㄏ蚰艹练e(DED)與PBF類似，它使用激光(或電子)束來熔化粉末。然而，粉末原料的沉積和熔化方式使其更容易和成本有效地?cái)U(kuò)展到更大的AM部件。

研究人員使用各種傳感技術(shù)觀察到熔化和凝固現(xiàn)象，以更好地理解激光與材料相互作用背后的物理，識別過程不穩(wěn)定性，并控制過程。在金屬AM中，監(jiān)測傳感器可以相對于能源同軸或離軸放置。在同軸配置中，視場專門聚焦于熔池，在熔池中監(jiān)控工藝區(qū)。離軸傳感器從側(cè)面觀察過程，在其視野范圍內(nèi)具有更寬的過程景觀。離軸探測器可以是靜態(tài)的，可以在打印一個(gè)沉積層的開始和結(jié)束時(shí)捕獲構(gòu)建環(huán)境，也可以安裝在沉積致動器上，從而在整個(gè)層沉積之后。

激光金屬沉積工藝示例草圖。

輻射傳感器在不同光譜范圍內(nèi)捕捉到的可檢測過程特征包括熔池幾何形狀、等離子體羽流、沉積幾何形狀以及孔隙和裂縫等缺陷。使用這種探測器，可以在加工過程中觀察熔池幾何形狀并提取幾何特征。在高功率水平下，無法看到掃描速度與熔池長度之間的線性關(guān)系。新興的沉積質(zhì)量評估方法側(cè)重于基于熔池、等離子體羽流和使用高速視覺探測器生成的飛濺圖像的機(jī)器學(xué)習(xí)算法。

DED過程通常以1到30 mm/s的速度運(yùn)行，激光束光斑大小在0.5到3 mm之間，功率在200到1500 W之間，具體取決于所處理的材料和束斑大小。因此，此類工藝產(chǎn)生的熔池區(qū)域約為幾毫米。因此，當(dāng)部署聚焦于激光-材料相互作用區(qū)的熱成像探測器時(shí)，需要足夠高的空間分辨率、熱分辨率（動態(tài)范圍）和響應(yīng)時(shí)間，以高時(shí)間分辨率捕獲空間熱梯度。高分辨率、高動態(tài)范圍和高頻性能的探測器成本通常令人望而卻步，限制了其作為過程監(jiān)控、性能分析、質(zhì)量控制和過程控制的工業(yè)解決方案的應(yīng)用。

對不同的輸入向量進(jìn)行主成分分析后的前三個(gè)分?jǐn)?shù)，(a)熔體池特征，(b)羽流特征，(c)濺射特征，(d)三個(gè)物體特征。

本文研究了一種基于低成本高動態(tài)范圍(HDR)視覺探測器的激光-材料相互作用區(qū)域自適應(yīng)提取方法。定義了三個(gè)激光材料加工區(qū)域，即核心區(qū)、熔池區(qū)和白熾燈區(qū)。這項(xiàng)工作的重要性在于算法在定義感興趣區(qū)域、優(yōu)化區(qū)域檢測參數(shù)方面的靈活性，以及在所研究的所有熔融模式下檢測感興趣區(qū)域的魯棒性。

我們的研究重點(diǎn)是低成本的熱成像數(shù)據(jù)采集與先進(jìn)的視覺特征提取相結(jié)合，這有助于更好地理解激光與材料的相互作用。目標(biāo)是開發(fā)一種魯棒的特征檢測算法，以對抗由激光材料加工區(qū)域的時(shí)空波動、背景照明的強(qiáng)度梯度以及由于材料噴射引起的視場中的隨機(jī)夾雜所引起的強(qiáng)度變化。本文介紹的分析框架既可以容納軸上數(shù)據(jù)集，也可以容納軸外數(shù)據(jù)集。給定一個(gè)HDR幀，構(gòu)造一個(gè)彩色編碼的地圖，如圖1所示，使用戶可以在訓(xùn)練和注釋數(shù)據(jù)集的同時(shí)選擇感興趣的區(qū)域。為了演示的目的，選擇了三個(gè)區(qū)域來開發(fā)和演示我們所提議的方法的性能能力。

圖1 三個(gè)目標(biāo)區(qū)域，即核心、熔池和白熾燈的說明，使用HDR相機(jī)從激光-材料相互作用區(qū)域捕獲。提供了通過感興趣區(qū)域的垂直和水平強(qiáng)度剖面以及邊界。注意，僅應(yīng)用強(qiáng)度閾值法將無法在不受附近拋射粒子強(qiáng)度影響的情況下識別三個(gè)目標(biāo)區(qū)域。

2.區(qū)域初始化和穩(wěn)定的建議方案

如圖1所示，三個(gè)感興趣的區(qū)域（核心、熔池和白熾燈）圍繞最亮點(diǎn)居中，從一幀到另一幀，最亮點(diǎn)位置穩(wěn)定。此外，從同一圖中可以看出，當(dāng)我們從一個(gè)區(qū)域移動到另一個(gè)區(qū)域時(shí)，亮度級別會發(fā)生變化。然而，如圖1中的示例所示，利用每個(gè)區(qū)域的單個(gè)強(qiáng)度閾值將無法有效地將目標(biāo)區(qū)域彼此分開或與附近的噴射粒子分開。因此，為了檢測這三個(gè)感興趣的區(qū)域，首先對每個(gè)輸入圖像使用自適應(yīng)圖像閾值技術(shù)。圖2顯示了提議的檢測方案的框圖。

圖2 提出的區(qū)域初始化和穩(wěn)定技術(shù)框圖。

為了適應(yīng)區(qū)域的不同亮度水平，如圖1所示，使用區(qū)域生長技術(shù)來檢測Core, Melt pool和Incandescent區(qū)域，從M˜t,k 開始。圖3顯示了擬議方案的框圖，并舉例說明。

圖3 提議的基于區(qū)域生長的檢測技術(shù)的框圖。

3.自適應(yīng)特征驗(yàn)證方法
3.1.實(shí)驗(yàn)裝置和制造計(jì)劃
實(shí)驗(yàn)使用機(jī)器人DED系統(tǒng)（DM3D-DMD IC106）進(jìn)行，如圖4所示。機(jī)器人系統(tǒng)（ABB IRB140，https://new.abb.com)具有六個(gè)軸，但是為本文中的實(shí)驗(yàn)創(chuàng)建的掃描路徑僅跨越2D沉積路徑。末端執(zhí)行器引導(dǎo)2 kW磁盤激光束（TRUMPF TruDisk 2000，https://www.trumpf.com)金屬粉末同軸通過噴嘴。

圖4 帶機(jī)械手的DED機(jī)器。

使用不銹鋼（SS316L）粉末進(jìn)行單線沉積。在本工作的背景下，對于離軸測量，設(shè)計(jì)了一個(gè)支架，用于將相機(jī)安裝在機(jī)器人末端執(zhí)行器上，如圖5所示。支架允許進(jìn)行調(diào)整，以便以不同的視角、角度和工作距離查看熔池。對于目前的工作，相機(jī)安裝在掃描路徑的主視圖中，熔池位于視野的中心。

圖5 安裝在DED機(jī)器人系統(tǒng)上的視覺系統(tǒng)。安裝支架可以適應(yīng)不同的焦距、相對于垂直平面的視角和相對于沉積路徑的視角。

本工作中開發(fā)的算法旨在推廣用于此類熔池?cái)?shù)據(jù)集。使用這種低成本相機(jī)的想法是將從HDR圖像中提取的區(qū)域的尺寸在各種熔化模式操作條件下關(guān)聯(lián)起來。

樣品的SRμT圖像（a–c）顯示了在冶金研究期間小孔模式激光熔化過程中形成的孔隙（d）。圖（a）顯示了三維孔隙分布，每個(gè)孔隙顯示為紫色。圖（b）顯示了樣品沿激光軌跡三個(gè)位置的一系列2D橫截面。蒸汽腔的不完全塌陷在激光束尾跡中留下空洞，如（a）-（c）所示。

3.2沉積幾何估算

激光輪廓儀的輸出是沉積的高度圖，如圖6所示。開發(fā)了一種算法來提取每個(gè)沉積橫截面的幾何特征、寬度和高度。為了抑制粘附顆粒引起的噪聲，首先使用窗口大小為10的移動平均濾波器對沿y軸離散位置的每個(gè)沉積橫截面進(jìn)行過濾。在圖7中，黑色實(shí)線和橙色虛線分別顯示原始數(shù)據(jù)和過濾數(shù)據(jù)。沉積剖面導(dǎo)數(shù)的最大值和最小值表明沉積邊界處的陡坡；這些是線性插值的，顯示為綠色虛線。襯底和插值線的交點(diǎn)決定了沉積材料的寬度邊界。沉積剖面的高度被視為沉積寬度邊界之間中點(diǎn)處的高度值。

圖6 激光輪廓儀掃描的沉積點(diǎn)云（高度）數(shù)據(jù)。

圖7 從原始激光輪廓儀數(shù)據(jù)中提取特征。綠線表示輪廓邊緣的直線擬合。

由于多種原因，無法在特征提取框架（核心、熔池和白熾?yún)^(qū)域）中定義的視覺特征尺寸與激光輪廓儀幾何特征之間進(jìn)行直接比較。視覺系統(tǒng)檢測到的沉積區(qū)位于A1平面上（圖8），這是每個(gè)時(shí)間點(diǎn)實(shí)際熔池寬度和長度的函數(shù)，而輪廓測量法檢測到的幾何特征位于A2平面上（見圖8），描述了沉積寬度和高度。圖9 是擬議信號注冊方案的概述。

圖8 激光輪廓儀和HDR視覺系統(tǒng)捕捉到的不同熔池區(qū)域。

圖9 擬議信號配準(zhǔn)技術(shù)的框圖。

4.實(shí)驗(yàn)結(jié)果與討論

4.1.基于視覺的特征檢測的定性結(jié)果

圖10顯示了在五個(gè)不同功率水平下記錄的測試序列的擬議區(qū)域檢測方案的樣本定性結(jié)果；其他定性結(jié)果可在[52]中找到。

圖10 測試數(shù)據(jù)集上擬議方案的樣本定性結(jié)果，其中白色、綠色和紅色橢圓分別表示巖芯、熔池和白熾?yún)^(qū)，TP和FP分別表示真陽性和假陽性檢測�？梢杂^察到，所提出的方案能夠在更高的功率水平下減少附近亮區(qū)對檢測目標(biāo)區(qū)域的影響。

一般來說，我們注意到，在較高的功率水平下，可能會有更多的噴射物干擾目標(biāo)區(qū)域，因此檢測感興趣區(qū)域的任務(wù)變得更具挑戰(zhàn)性。我們提出的方案能夠在較低功率水平下很好地檢測到三個(gè)目標(biāo)區(qū)域，盡管在較高功率水平下存在遮擋和較亮的照明條件，但該方案仍然保持穩(wěn)定。

4.2.基于視覺的特征檢測的定量結(jié)果

為了研究使用所提出的區(qū)域增長方案對檢測性能的影響，對檢測方案進(jìn)行了評估，包括有區(qū)域增長和無區(qū)域增長，因此無區(qū)域增長意味著只使用了區(qū)域初始化和穩(wěn)定技術(shù)。

圖11顯示了根據(jù)平均TPR和平均速度3(每秒幀數(shù))，在有區(qū)域增長和無區(qū)域增長的情況下，所提檢測方案的評估結(jié)果。對于核心區(qū)域(CR)，區(qū)域增長的附加價(jià)值是有限的，而對于其他區(qū)域，所提出的區(qū)域增長方案提供了更高的TPR值，但花費(fèi)的計(jì)算時(shí)間是不進(jìn)行區(qū)域增長的兩倍。因此，對于距離激光束中心較遠(yuǎn)的中大型感興趣區(qū)域的檢測，推薦的檢測方案將采用帶區(qū)域增長的檢測，因?yàn)樗�能提供更高的檢測精度，而對于較小的區(qū)域，不帶區(qū)域增長的檢測有望提供足夠的結(jié)果。

圖11 區(qū)域增長和不增長探測器的真陽性率（TPR）與檢測速度（每秒幀數(shù)）的關(guān)系。區(qū)域增長的探測器速度較慢，但明顯比不增長區(qū)域的探測器提供更高的TPR。

4.3.使用視覺和輪廓測量數(shù)據(jù)集進(jìn)行工藝質(zhì)量評估

通過將從視覺數(shù)據(jù)中提取的區(qū)域與用激光輪廓儀測量的沉積尺寸進(jìn)行比較，進(jìn)行工藝質(zhì)量評估。為了進(jìn)行這種比較，熔池區(qū)域和沉積寬度分別從視覺數(shù)據(jù)和激光輪廓儀數(shù)據(jù)中選擇，結(jié)果如圖12（a）所示。

圖12 （a）從視覺數(shù)據(jù)中提取的熔池寬度與用激光輪廓儀測量的沉積寬度的比較，（b）標(biāo)準(zhǔn)化熔池寬度和標(biāo)準(zhǔn)化沉積寬度的對比。

沿整個(gè)沉積線還比較了熔池區(qū)域的寬度和沉積寬度。從像素到毫米的轉(zhuǎn)換是基于兩個(gè)數(shù)據(jù)集的平均值進(jìn)行的。目的是觀察兩個(gè)數(shù)據(jù)集趨勢的相似性，其中一個(gè)數(shù)據(jù)集在每個(gè)功率水平下如圖13所示。平均x相關(guān)性為ρa(bǔ)vg = 0.391 ± 0.069，激光功率850 W時(shí)x相關(guān)性最高，ρ值 = 0.546。

圖13 在五個(gè)不同功率水平下，記錄預(yù)測沉積寬度與熔池寬度的樣本結(jié)果，其中mm*表示縮放從相機(jī)獲得的熔池寬度后的單位長度。

盡管由于采樣率、數(shù)據(jù)對齊的不確定性，注冊兩個(gè)不同的數(shù)據(jù)集（視覺和輪廓測量）有許多挑戰(zhàn)需要解決，但觀測到的相關(guān)性很有希望。本研究側(cè)重于從基于圖像的數(shù)據(jù)中進(jìn)行自適應(yīng)特征識別，圖13并不旨在顯示激光輪廓測量數(shù)據(jù)和提取的熔池特征之間的完全一致性。這項(xiàng)工作說明了特征提取的一個(gè)應(yīng)用，展示了在過程控制中使用基于視覺的數(shù)據(jù)作為反饋的潛力。作為未來的工作，建議從像素到毫米的校準(zhǔn)，以充分利用這些算法用于在線特征檢測的潛力。

5.結(jié)論

本文提出了一種利用低成本HDR視覺探測器檢測激光-材料相互作用區(qū)中預(yù)定目標(biāo)區(qū)域的方法。

1.該框架基于使用能量收斂準(zhǔn)則的自適應(yīng)圖像閾值和區(qū)域生長技術(shù)。該框架中使用的參數(shù)可以通過只使用有限數(shù)量的帶注釋的幀來解決優(yōu)化問題來自動獲得。

2.為了量化所提出的區(qū)域檢測技術(shù)的可靠性，引入了一種配準(zhǔn)方案，將視覺傳感器獲得的測量值與高采樣率激光輪廓儀獲得的測量結(jié)果對齊。

3.對五種不同功率水平下捕獲的序列進(jìn)行的大量實(shí)驗(yàn)表明，該方案具有魯棒檢測目標(biāo)區(qū)域的能力。在這項(xiàng)工作中，真陽性檢出率顯著高于90%，而假陽性檢出率低于10%。

4.提出的框架比無區(qū)域增長的基本閾值法有了顯著改進(jìn)。觀察到，該方法在檢測所有激光功率水平下的所有區(qū)域時(shí)，保持了其魯棒性，真陽性率高于90%。另一方面，基本閾值法表現(xiàn)出較差的性能，特別是在檢測易失穩(wěn)的情況下，如高激光功率水平下的白熾?yún)^(qū)和熔池區(qū)，真陽性檢測率顯著下降至55.78%。

5.校準(zhǔn)后的視覺和輪廓儀數(shù)據(jù)遵循類似的全球和本地趨勢，這是很有希望的，但需要使用預(yù)先校準(zhǔn)的實(shí)驗(yàn)裝置進(jìn)行更仔細(xì)的未來調(diào)查，以實(shí)現(xiàn)實(shí)時(shí)過程監(jiān)控，作為控制沉積幾何結(jié)構(gòu)的一種方法。

來源：Adaptive vision-based detection of laser-material interaction for directed energy deposition, Additive Manufacturing, doi.org/10.1016/j.addma.2020.101468

參考文獻(xiàn)：Laser based additive manufacturing in industry and academia, CIRP Annals, 66 (2) (2017), pp. 561-583; Laser cladding of aerospace materials, J. Mater. Process. Technol., 122 (1) (2002), pp. 63-68