使用訓(xùn)練有素的計算機視覺算法在激光粉末床增材制造過程中進行異常檢測和分類

來源：長三角G60激光聯(lián)盟

導(dǎo)讀：據(jù)悉，本文對最終算法的性能進行了評估，并通過幾個案例研究證明了其作為獨立軟件包的有用性。

盡管工業(yè)界迅速采用了激光粉末床熔接（LPBF）增材制造，但目前的工藝在很大程度上仍然是開環(huán)的，實時監(jiān)控能力有限。雖然一些機器在構(gòu)建期間提供粉末床可視化，但它們?nèi)狈ψ詣臃治瞿芰�。這項工作提出了一種現(xiàn)場監(jiān)測和分析粉末床圖像的方法，有可能成為LPBF機器實時控制系統(tǒng)的一個組成部分。具體而言，計算機視覺算法用于自動檢測和分類在粉末撒布過程中發(fā)生的異常。異常檢測和分類是使用無監(jiān)督機器學(xué)習(xí)算法實現(xiàn)的，該算法運行在一個中等大小的圖像補丁訓(xùn)練數(shù)據(jù)庫上。對最終算法的性能進行了評估，并通過幾個案例研究證明了其作為獨立軟件包的有用性。

1.介紹
近年來，增材制造業(yè)（俗稱3D打印）作為一個行業(yè)經(jīng)歷了巨大的增長；這對于生產(chǎn)網(wǎng)狀金屬零件的機器和工藝來說尤其如此。增材制造承諾非常適合航空航天和醫(yī)療應(yīng)用，以及在現(xiàn)場和偏遠地區(qū)生產(chǎn)任務(wù)關(guān)鍵部件。然而，這些應(yīng)用需要一定程度的零件質(zhì)量保證和工藝可靠性，這是目前市場上的系統(tǒng)難以實現(xiàn)的。

圖片（a）顯示Arcam A2建造室的新組件位置和紅外攝像頭，以及（b）使用紅外攝像頭拍攝的圖像。

Rodriguez等人將紅外熱像儀集成到Arcam A2電子束-PBF機器中，如上圖（a）所示，以便分析每個構(gòu)建層的表面溫度曲線。此外，此信息隨后用于修改下一層的生成設(shè)置。FLIR系統(tǒng)SC645紅外熱像儀因其高分辨率（640×480像素）和2000°C的測量溫度范圍而被選中集成到Arcam A2中。安裝紅外攝像機需要大量的機器修改，其中包括用ZnSe玻璃替換系統(tǒng)以前的攝像機，安裝一個保護瓣，充當快門，保護ZnSe窗口，以及安裝氣動執(zhí)行器來激活快門襟翼�？刂葡到y(tǒng)還與Arcam合作進行了修改，以觸發(fā)快門和圖像捕獲。ThermaCAM研究員用于手動分析圖像，測量來自表面的發(fā)射輻射（來自物體的發(fā)射，來自環(huán)境源的反射發(fā)射和來自大氣的發(fā)射），并將其轉(zhuǎn)換為相對溫度讀數(shù)。加工過程中由“過度熔化”引起的材料不連續(xù)性可以從生成的紅外圖像中識別出來，如圖（b）所示。

激光粉末床熔合（LPBF）機器通過使用重涂器刀片將一層薄薄的金屬粉末涂敷在構(gòu)建板上進行操作。粉末鋪展后，使用激光束在與3D零件的2D切片相對應(yīng)的位置選擇性地熔化粉末。激光完成后，降低構(gòu)建板，再鋪上一層粉末（在現(xiàn)有粉末床上，圖1），重復(fù)該過程，直到零件完成。在現(xiàn)場監(jiān)測構(gòu)建方面開展了大量工作，特別關(guān)注跟蹤激光束產(chǎn)生的熔池大小]以及粉末床溫度。最終零件中的許多缺陷，以及構(gòu)建過程的整體可靠性，都與重涂器葉片和粉末床之間的相互作用直接相關(guān)。工作重點是監(jiān)控粉末床的最終零件中的缺陷指示，以及可能影響整個過程穩(wěn)定性的異常。

圖1 EOS M290采集的原始粉末床圖像。

為了實現(xiàn)全面粉末床監(jiān)測的目標，本工作提出了一種算法，該算法實現(xiàn)了現(xiàn)代機器學(xué)習(xí)和計算機視覺技術(shù)，僅使用LPBF機器制造商提供的硬件來檢測和分類列舉的異常。這是一個挑戰(zhàn)，因為每個粉末層圖像可能包含數(shù)百個唯一可識別的異常；為了彌補這一不足，本文修改了標準方法，以允許對單個圖像中的多個對象進行分類。即使作為獨立軟件（例如，未與LPBF機器控制系統(tǒng)集成），該算法在分析構(gòu)建故障和分析最終零件質(zhì)量方面也證明是有價值的。

2.實驗程序和方法

本文所述的所有工作均在EOS M290 LPBF機器上進行（EOS GmbH，德國）。未對EOS硬件進行任何修改，例如，僅使用庫存攝像機和照明配置。

2.1.圖像預(yù)處理
EOS M290拍攝的原始圖像（圖1）存在一些困難，妨礙了它們在基于機器學(xué)習(xí)的算法中的直接使用。幸運的是，相機的安裝和照明條件在整個構(gòu)建過程中以及不同構(gòu)建之間保持一致，因此許多所需的圖像增強可以大大簡化。

圖2顯示了一個完全預(yù)處理的圖像。初步結(jié)果表明，該算法完全能夠操作其他（即非CMU）EOS M290s生成的數(shù)據(jù)集，前提是遵循上述預(yù)處理步驟。此外，該算法已成功用于分析從安裝在SLM 280機器（SLM Solutions GmbH）上的相機拍攝的幾個粉末床圖像。請注意，在本文檔中顯示的所有粉末床圖像中，重涂器刀片從右向左移動（如圖1所示）。

圖2  圖1預(yù)處理后。

2.2.粉末擴散異常等級的選擇

復(fù)涂器跳躍通常發(fā)生在復(fù)涂器刀片（相對）輕輕撞擊粉末層正下方的零件時。這種撞擊會導(dǎo)致復(fù)涂器葉片周期性“顫動”，如圖3a所示，在粉末層中可以看到重復(fù)的垂直線。當復(fù)水器葉片損壞（即“刻痕”）或復(fù)水器刀片拖拽一塊碎屑或一團粉末穿過粉末床時，會出現(xiàn)復(fù)水器條紋。粉末層中的單個水平線可見復(fù)涂條紋（圖3b）；由于其尺寸相對較小，因此使用本方法檢測異常是最具挑戰(zhàn)性的異常之一。碎屑分類包括對粉末層的大多數(shù)干擾，這些干擾并非直接位于零件上方。圖3c顯示了幾個碎屑示例。

圖3 作者選擇的六種不同粉層異常類型的代表性示例。注意，異常之間的相對大小已被保留。具體而言，異常情況包括：（a）復(fù)水跳躍，（b）復(fù)水條紋，（c）碎屑，（d）超高，（e）零件故障，以及（f）未完全鋪展。

（a）設(shè)備設(shè)置示意圖，（b）熔池紅外圖像和（c）Hu和Kovacevic進行的灰度分析。

Griffiths等人是最早研究使用紅外成像進行粉末DED原位測量的人之一。紅外熱像儀用于評估使用LENS™工藝加工不銹鋼316時看到的相對溫度。使用光譜范圍為3.6 mm至5 mm的320×244像素CCD陣列記錄元件拍攝熔池圖像，并將其與使用高速相機拍攝的圖像進行比較，并使用標準熱圖技術(shù)獲得溫度。由于粉末DED制造部件的發(fā)射率數(shù)據(jù)未知，因此計算的所有溫度都是相對的。輸出圖像顯示熔池和通過傳導(dǎo)加熱的周圍區(qū)域。相對于熔池的最高溫度繪制了熱剖面圖。相反，胡和科瓦切維奇將近紅外（NIR）相機與粉末輸送速率傳感器結(jié)合使用，用于在粉末DED加工過程中監(jiān)控熔池。使用幀速率為800幀/秒的同軸紅外成像相機以128×128像素的分辨率拍攝熔池區(qū)域的灰度圖像。使用適當?shù)臑V光片來保護相機免受加工激光的損壞。還采用了大于700 nm的紅外濾光片來提高圖像質(zhì)量。連接的PC執(zhí)行上圖（a）中概述的圖像處理和控制步驟。使用灰度等溫線（圖（c））從紅外圖像（圖（b））評估熔池中的溫度分布。開發(fā)了用于熱輸入控制的閉環(huán)控制系統(tǒng)，使用實時控制（專門針對功能分級組件）提高了幾何零件精度。

3.理論
這項工作是一種廣泛使用的機器學(xué)習(xí)技術(shù)的應(yīng)用，稱為關(guān)鍵點，通常用于計算機視覺問題。與手動創(chuàng)建異常檢測器相反，作者采用了機器學(xué)習(xí)方法，因為它具有內(nèi)在的靈活性，并且有可能成為檢測和分類多種異常類型的“一刀切”方法。本節(jié)旨在概述該技術(shù)，并描述其在增材制造中的應(yīng)用。圖4是粉末床監(jiān)測算法這一部分的流程圖，廣泛引用。

圖4 本工作中實現(xiàn)的機器學(xué)習(xí)過程流程圖。

4.結(jié)果和討論

由于這項工作沒有得到外部資助，因此沒有專門為這項研究創(chuàng)建測試工件。因此，通過審查三個案例研究的分析，利用CMU的EOS M290上執(zhí)行的構(gòu)建數(shù)據(jù)，得出結(jié)果。

4.1.算法性能
計算機視覺系統(tǒng)的目標是產(chǎn)生一個數(shù)字表示，其中包含表征視覺圖像所需的相關(guān)信息。換句話說，要把一個圖像變成一個向量，總結(jié)它的視覺信息內(nèi)容。這個過程有三個步驟：首先，系統(tǒng)在圖像中找到興趣點或視覺特征;也就是說，它決定了要查看的內(nèi)容。接下來，系統(tǒng)將每個特征編碼為向量描述符;也就是說，它以數(shù)字方式表征了特征。最后，系統(tǒng)將特征描述符組合在一起，以創(chuàng)建整個圖像的表示形式;也就是說，它決定了圖像的微觀結(jié)構(gòu)指紋。該過程在下圖中示意性地說明。

示意性結(jié)構(gòu)示意圖的 SIFT-VLAD 微觀結(jié)構(gòu)表示的構(gòu)造。

通常使用一種稱為混淆矩陣的度量來評估機器學(xué)習(xí)算法。通過在20張具有代表性的粉末床圖像上手動標記數(shù)十萬像素（帶有異常分類）來確定基本事實。培訓(xùn)過程中沒有包括任何具有代表性的粉末床圖像；這種單獨的數(shù)據(jù)集可以被視為類似于驗證數(shù)據(jù)集。然后將每個像素處的這些地面真值標簽與粉末床監(jiān)測算法提供的標簽進行比較。結(jié)果如圖5和圖6所示。隨著分析了更多具有獨特和異常豐富層的構(gòu)建，可以更新混淆矩陣。

圖5（左）：混淆矩陣，顯示正確猜測的每個地面真相異常的百分比；標記為每種異常類型的像素的絕對數(shù)量顯示在縱軸上的括號中。

圖6（右）：一個混淆矩陣，顯示了算法做出的正確異常猜測的百分比。這可以被視為衡量算法避免誤報的程度。

4.2.Hamerschlag-Hall模型-分層和懸垂

在分析了每一層之后，每一層中每一異常分類的百分比可以顯示為構(gòu)建報告中構(gòu)建高度的函數(shù)。圖8顯示了兩個模型Hamerschlag Halls建筑的簡化全球建造報告（圖7）。異常檢測峰值在多個層面可見；其中760層和1960層分別如圖9和圖10所示。

圖7 CMU增材制造實驗室所在地Hamerschlag Hall的CAD模型。其中的兩個小比例尺模型是用Ti-6Al–4V制成的，放在一塊模板上。

圖8 一份全局構(gòu)建報告，顯示了在構(gòu)建的每一層劃分為超高和零件故障異常的像素數(shù)（基于CAD模型，以零件面積的百分比表示）。

圖9 760層（建造板上方22.80 mm）。綠色像素顯示該層零件的CAD輪廓。

圖10 1960層（建造板上方58.80 mm）。綠色像素顯示該層零件的CAD輪廓。

零件故障主要是在正確的Hamerschlag模型上檢測到的，這與最終零件的后分析一致。這種差異在圖11中特別明顯；請注意，右側(cè)型號的圓形大廳檢測到的部件故障百分比很高。檢測到大量零件故障的其他區(qū)域?qū)��?yīng)于這兩種車型的開放式門道，這些門道代表了明顯的突出部分，這些位置的最終零件質(zhì)量明顯較差。在圖12中，觀察到該構(gòu)造存在大量不完全擴展異常。這是一個準確的觀察結(jié)果，由于可用粉末不足，粉末劑量系數(shù)（從分配器（圖1）每層中取出的粉末量）在此構(gòu)建期間設(shè)置得很低。沒有任何不完整的擴展異常延伸到包含Hamerschlag-Hall模型的構(gòu)造板塊區(qū)域。假設(shè)有足夠的粉末供應(yīng)，這種問題可以通過反饋控制系統(tǒng)進行糾正，該系統(tǒng)將增加粉末劑量系數(shù)，理想情況下，在任何部件受到負面影響之前。

圖11熱圖顯示了在每個像素處檢測到部件故障的層（整個構(gòu)建高度）的百分比。構(gòu)建板上零件的位置顯示為白色輪廓。

圖12 熱圖顯示了在每個像素處檢測到不完全擴散異常的層的百分比（整個構(gòu)建高度）。構(gòu)建板上零件的位置顯示為白色輪廓。

4.3.受拉鋼筋− 建造高縱橫比結(jié)構(gòu)

Bettis海軍核實驗室用316L不銹鋼制成多個拉伸桿，具有不同的方向和不同的支撐方案。圖8顯示了一份全球構(gòu)建報告，其中包含關(guān)于整個粉末床的信息。在包含許多不同部分的構(gòu)建中，這變得很難解釋。圖13、圖16顯示了僅包括與特定抗拉鋼筋相關(guān)的異常檢測的本地構(gòu)建報告− 一個標本水平建造，另一個標本垂直建造。雖然圖14和圖17中的所有抗拉鋼筋（23）和圓柱形見證試件（2）均為綠色輪廓，但所討論的特定抗拉鋼筋以紅色框為界。

圖13 水平定向拉伸鋼筋的局部構(gòu)建報告和垂直零件輪廓。

圖14 （左）：注意在紅色邊界框內(nèi)的第250層檢測到的部件故障（洋紅色）。綠色像素顯示該層零件的CAD輪廓。

水平定向拉伸桿在量規(guī)截面下方使用最小支撐結(jié)構(gòu)，以減少其對最終試樣性能的影響。從圖13可以明顯看出，一旦零件從支撐材料過渡到拉伸桿本身，就會檢測到重大零件故障（洋紅色，圖14）。這發(fā)生在構(gòu)建高度的5 mm處，即層250。圖13的下部子圖（綠色）顯示了位于拉伸桿本身頂部的紅色邊界框（圖14）內(nèi)的像素百分比，作為構(gòu)建高度的函數(shù)。換句話說，較低的子圖顯示了在該層融合的有界區(qū)域的百分比。認識到這一百分比的增加代表懸挑區(qū)域，急劇增加意味著懸挑基本上沒有支撐。據(jù)推斷，支撐結(jié)構(gòu)不足以承受水平定向抗拉鋼筋所呈現(xiàn)的大量懸垂。因此，一旦重涂器葉片經(jīng)過粉末床的該區(qū)域，撞擊第一層拉伸桿（支架上方），就會發(fā)生零件故障。圖15顯示了竣工水平定向拉伸鋼筋。

圖15（右）竣工水平受拉鋼筋。

從圖16可以明顯看出，垂直方向的拉伸鋼筋在其大部分高度上都很好地構(gòu)建，但在3524層周圍突然檢測到零件故障（洋紅色）。這對應(yīng)于從量規(guī)部分過渡到上夾鉗部分的拉伸桿，在這段時間內(nèi)會產(chǎn)生微妙的懸垂。根據(jù)圖17、圖18、圖19，可以推測，未支撐的懸垂部分向上翹曲（由于殘余熱應(yīng)力），足以受到復(fù)水器葉片的沖擊。廣泛的重攝器跳躍檢測（垂直藍綠色線）突出了這種影響。撞擊導(dǎo)致拉伸桿彎曲，然后“彈回來”，將粉末扔掉，并在拉伸桿右側(cè)留下粉末腔（白色碎片檢測突出顯示）。這個空洞阻礙了粉末在隨后的層中正確覆蓋該區(qū)域，使情況更加惡化。

圖16 垂直定向拉伸鋼筋的局部構(gòu)建報告和垂直零件輪廓。

圖17 （左）：注意在紅色邊界框內(nèi)的3524層檢測到的部件故障（洋紅色）。綠色像素顯示該層零件的CAD輪廓。

圖18（中間）：垂直拉伸鋼筋的3D渲染，零件故障以洋紅色突出顯示。

圖19 （右）：帶有可見缺陷的竣工垂直拉伸鋼筋，由一個紅色框包圍。

4.4.葉輪葉片− 建立相對于重涂器刀片的幾何方向

葉輪由316L不銹鋼制成，以證明EOS M290的能力，并作為CMU的NextManufacturing行業(yè)培訓(xùn)計劃的一部分。薄薄的葉輪葉片和20μm厚的層使該零件的成功制造成為一項挑戰(zhàn)。

圖20顯示了竣工葉輪葉片。請注意，零件的一半正確構(gòu)建，而另一半上的刀刃折疊。該算法用于確定部分構(gòu)建失敗的可能原因，并確定未來改進構(gòu)建質(zhì)量的任何潛在策略。

圖20 用電火花線切割后的竣工葉輪，僅保留正確建造的一半。

雖然很明顯，薄葉輪葉片由于與重涂器葉片的反復(fù)碰撞而發(fā)生故障，但最初不清楚是什么原因?qū)е轮挥幸话氲娜~輪葉片發(fā)生故障。

圖21清楚地表明，葉輪的兩半都出現(xiàn)了超高− 這表明，重涂器葉片可能會影響大多數(shù)葉輪葉片，包括許多未發(fā)生故障的葉片。圖22突出顯示了在建造過程中倒塌的葉輪葉片，請注意，只有前緣指向遠離進入的二次沖洗器葉片方向的葉輪葉片（方向2）未能正確建造。

圖21熱圖顯示了在每個像素處檢測到超高的層（整個構(gòu)建高度）的百分比。白色盒子包圍了正確建造的葉輪的一半。構(gòu)建板上零件的位置顯示為白色輪廓。

圖22熱圖顯示了在每個像素處檢測到部件故障的層（整個構(gòu)建高度）的百分比。白色盒子包圍了正確建造的葉輪的一半。構(gòu)建板上零件的位置顯示為白色輪廓。

圖片（a）數(shù)據(jù)可視化顯示粉末顯微照片SIFT-VLAD表示的前兩個主要組成部分。（b）粉末顯微照片 SIFT-VLAD 表示的 t-SNE 可視化。

上圖a顯示了粉末圖像數(shù)據(jù)集的前兩個主成分的PCA圖;前兩個主成分約占高維 SIFT-VLAD 表示總方差的 42%。值得注意的是，第一個主成分有效地區(qū)分了用于EOS機器的粉末（在PCA地圖的左側(cè)）和用于ARCAM機器的粉末（在PCA地圖的右側(cè)）。Ti64-#3顯微照片在此數(shù)據(jù)集中具有最獨特的SIFT-VLAD表示，很可能是因為Ti64-#3粉末是相對于其平均粒徑以最高放大倍率成像的。這可能會導(dǎo)致一組不同的圖像紋理特征主導(dǎo)這些顯微照片（更細粒度的表面細節(jié)或更少的更高級別粒子組）。

5.結(jié)論
開發(fā)了一種算法，能夠自動檢測和分類與EOS LPBF機器中粉末撒布過程相關(guān)的后續(xù)異常。該算法是當代機器學(xué)習(xí)和計算機視覺技術(shù)在增材制造中的新應(yīng)用。

在算法準備部署到實時現(xiàn)場監(jiān)測環(huán)境之前，應(yīng)提高其分類精度。理想情況下，它檢測每個異常的能力應(yīng)該增加，而不增加錯誤檢測的概率；運營商可能不會使用在建議或應(yīng)用對策方面過于激進的監(jiān)控軟件。更高分辨率的相機和額外的光源，相互垂直于當前光源和相機軸，可能是有益的。鑒于數(shù)據(jù)壓縮算法的有效性，作者預(yù)計不會立即限制提高相機分辨率。作者強烈懷疑，通過實施深度學(xué)習(xí)來開發(fā)更有效的濾波器組，也可以提高精度（圖4a）。作者將在不久的將來將該算法部署為實時粉末床監(jiān)測工具。

來源：Anomaly detection and classification in a laser powder bed additive manufacturing process using a trained computer vision algorithm, Additive Manufacturing, doi.org/10.1016/j.addma.2017.11.009

參考文獻：Roadmap for additive manufacturing: identifying the future of freeform processing

Solid Freeform Fabrication Proceedings, Austin, TX (2009)

http://wohlersassociates.com/roadmap2009A.pdf (Accessed 23, May 2017)