計(jì)算機(jī)視覺(jué)算法對(duì)廢鋼分類(lèi)

數(shù)字技術(shù)正在改變工業(yè)的各個(gè)層面。作為特定數(shù)字技術(shù)的早期采用者，鋼鐵有機(jī)會(huì)引領(lǐng)所有重工業(yè)，以提高我們的可持續(xù)性和競(jìng)爭(zhēng)力。本專(zhuān)欄是AIST成為鋼鐵數(shù)字化轉(zhuǎn)型中心戰(zhàn)略的一部分，通過(guò)提供各種平臺(tái)來(lái)展示和傳播鋼鐵制造特定的工業(yè)4.0知識(shí)，從大局概念到具體流程。

鋼鐵的再利用，被稱(chēng)為廢鋼的再循環(huán)，是一項(xiàng)既定的日常業(yè)務(wù)。它已經(jīng)成為一個(gè)數(shù)十億美元的國(guó)際貿(mào)易市場(chǎng)。完整的廢鋼供應(yīng)鏈從收集點(diǎn)到分類(lèi)和處理，包括物流和交付到工廠(chǎng)。對(duì)廢鋼的需求正在大幅增長(zhǎng)，特別是對(duì)“清潔和優(yōu)質(zhì)廢鋼”的需求。因此，值得對(duì)這個(gè)問(wèn)題進(jìn)行更詳細(xì)的研究。

廢鋼的循環(huán)使用和熔煉車(chē)間的處理冶煉，無(wú)論是電弧爐(EAF)(2021年，近29%的鋼鐵是使用電弧爐生產(chǎn)的)還是氧氣轉(zhuǎn)爐(BOF)車(chē)間，都是一項(xiàng)不統(tǒng)一的、要求很高的活動(dòng)，有自己定制的標(biāo)準(zhǔn)操作程序(SOPs)。廢鋼管理對(duì)鋼鐵公司具有重要的戰(zhàn)略意義，因?yàn)殡姞t操作中的廢鋼成本可以達(dá)到產(chǎn)品(板坯、鋼坯)運(yùn)營(yíng)成本的70%左右，所以要給與特別注意：

?廢鋼供應(yīng)鏈的控制和管理：

°采購(gòu)。

°處理。

°物流，包括循環(huán)經(jīng)濟(jì)方法的解決方案。

°可持續(xù)性和可靠性。

?審查和優(yōu)化所有權(quán)成本：

°等級(jí)的具體價(jià)格。

°廢鋼金屬料收得率。

°有關(guān)殘余元素的限制。

在幾何形狀、尺寸、清潔度、金屬化率、可用性和價(jià)格方面，有各種不同的鋼料質(zhì)量。圖1和圖2記錄了廢鋼場(chǎng)的日常工作，解釋了情況和挑戰(zhàn)。

高質(zhì)量鋼材的生產(chǎn)對(duì)機(jī)械性能，特別是先進(jìn)和關(guān)鍵應(yīng)用的鋼材對(duì)延伸率有嚴(yán)格的要求的。今天由長(zhǎng)流程鋼鐵生產(chǎn)商主導(dǎo)，轉(zhuǎn)爐工藝的典型廢鋼利用率在20%到25%之間。到目前為止，在高端薄板產(chǎn)品領(lǐng)域，應(yīng)用基于廢料的EAF技術(shù)的小型軋機(jī)概念尚未出現(xiàn)?？紤]到現(xiàn)有技術(shù)能力改進(jìn)的全球趨勢(shì)和煉鋼過(guò)程中的脫碳舉措這兩個(gè)主要主題作為主要驅(qū)動(dòng)因素，鋼鐵再利用和廢鋼回收的重要性是顯而易見(jiàn)的。眾所周知，在包括廢鋼回收在內(nèi)的應(yīng)用工藝技術(shù)方面，“鋼的純度水平”面臨著挑戰(zhàn)。

為了提供上述先進(jìn)鋼種的解決方案，整理了以下信息和事實(shí):在這方面集中了四大鋼鐵集團(tuán)；主要應(yīng)用市場(chǎng)是汽車(chē)，重點(diǎn)是成型性、表面質(zhì)量和潔凈度：

?無(wú)間隙原子超低碳鋼。

?超級(jí)深拉性能。

?馬口鐵。

非晶粒取向，晶粒取向，包括一組為電動(dòng)汽車(chē)應(yīng)用而設(shè)計(jì)的新等級(jí)鋼；最后提到的鋼種等級(jí)在未來(lái)幾年顯示出巨大的市場(chǎng)潛力。

表1總結(jié)了這些鋼種的分析參數(shù)，以供一般參考。

表1 選定鋼種的分析范圍

對(duì)于Ni、Mo、Cr和Sn等非特定需要元素的最大含量，還有附加的規(guī)范，包括上述元素總量限制的定義。

其成形能力和變形能力取決于碳、氮和殘余元素含量，尤其是銅元素的含量水平。碳含量由采用RH-OB真空脫氣技術(shù)的工藝技術(shù)決定，銅和其他不穩(wěn)定元素含量主要受廢鋼質(zhì)量和直接還原鐵/熱壓鐵等原始材料的處理影響，在一定程度上也受生鐵的影響。這同樣適用于氮含量對(duì)鋼的影響，因?yàn)檎婵仗幚砥陂g的去除氮的能力是有限的，并且取決于幾個(gè)邊界條件(主要是關(guān)于表面活性元素(S, O)的鋼分析)。相比之下，作為一般信息，用于建筑目的的螺紋鋼和線(xiàn)材質(zhì)量可以承受更高的Cu含量(高達(dá)0.4%)和氮含量(150 ppm甚至更高)。

根據(jù)廢鋼來(lái)源的不同，廢鋼類(lèi)型分為社會(huì)廢放和返回廢鋼。這些類(lèi)可以有不同的性質(zhì)。返回廢料通常含有較少的不需要的元素，因?yàn)樗苯觼?lái)自鋼鐵廠(chǎng)或制造廠(chǎng)。社會(huì)回收的廢料(例如，用過(guò)的家用物品、拆除或粉碎的二手車(chē))可能含有許多不需要的元素，甚至含有大塊不需要的材料(例如，含有銅的電機(jī)部件)。

廢鋼通常用火車(chē)車(chē)皮運(yùn)到鋼鐵廠(chǎng)。在卸料過(guò)程中，對(duì)廢鋼進(jìn)行廢鋼類(lèi)型、大小、形狀的質(zhì)量檢查，檢查廢鋼是否有不需要的物件。在大多數(shù)鋼鐵廠(chǎng)，廢鋼的分類(lèi)都是人工分揀的，然后送到廢鋼料場(chǎng)，然后從廢鋼料場(chǎng)吊起裝進(jìn)廢鋼料籃，或者分類(lèi)后直接裝進(jìn)廢鋼料籃。這種手工分揀廢鋼的過(guò)程需要訓(xùn)練有素的專(zhuān)家。

目前還沒(méi)有針對(duì)廢鋼分類(lèi)的國(guó)際標(biāo)準(zhǔn)，這使得廢鋼分類(lèi)工作容易出錯(cuò)，還需要熟練的人員來(lái)處理特殊情況。這使得廢鋼分類(lèi)任務(wù)更容易出錯(cuò)，也更耗時(shí)。在機(jī)器學(xué)習(xí)技術(shù)的幫助下，廢鋼分類(lèi)過(guò)程可以實(shí)現(xiàn)自動(dòng)化，以提高效率和準(zhǔn)確性，并將職工解放出來(lái)，從事更關(guān)鍵的任務(wù)，減少人為錯(cuò)誤。自動(dòng)化廢鋼分類(lèi)也使操作員遠(yuǎn)離危險(xiǎn)的廢鋼料場(chǎng)環(huán)境，提高職工的安全。

在本文中，介紹了一種軟件解決方案的開(kāi)發(fā)，該解決方案采用機(jī)器學(xué)習(xí)算法對(duì)廢鋼圖像進(jìn)行分類(lèi)。將含有廢鋼的鐵路車(chē)廂內(nèi)的圖像作為訓(xùn)練模型的圖像數(shù)據(jù)集。然后，訓(xùn)練后的模型自動(dòng)識(shí)別正確的廢鋼料場(chǎng)的廢鋼類(lèi)型類(lèi)型。該方法分類(lèi)廢鋼類(lèi)型所需的推理時(shí)間短，可用于廢鋼的實(shí)時(shí)檢測(cè)。

廢鋼分類(lèi)的自動(dòng)化可以看作是未來(lái)全自動(dòng)化廢鋼場(chǎng)的必備手段石。目前在廢鋼料場(chǎng)還有其它的手工處理方法。利用圖像對(duì)廢鋼進(jìn)行分類(lèi)，可以確定出運(yùn)廢鋼的質(zhì)量。在機(jī)器學(xué)習(xí)技術(shù)的幫助下，檢測(cè)廢鋼中不需要的物料的過(guò)程也可以實(shí)現(xiàn)。接收到的廢鋼和分類(lèi)結(jié)果被記錄下來(lái)并形成文件，稍后可以對(duì)這些數(shù)據(jù)進(jìn)行分析，以獲得有用的信息并做出明智的業(yè)務(wù)決策。

文獻(xiàn)綜述

Wieczorek和Pilarczyk[2]開(kāi)發(fā)了一種用于廢鋼自動(dòng)分類(lèi)的機(jī)器視覺(jué)系統(tǒng)。作者首先分析了電磁吊吸盤(pán)放置在廢鋼料籃上方的圖像幀，并使用背景估計(jì)算法從圖像中提取碎片。第二步是利用邊緣檢測(cè)、二值大目標(biāo)分析、圖像分割和測(cè)量等方法將廢鋼從周?chē)尘爸蟹蛛x出來(lái)。對(duì)得到的圖像進(jìn)行分析，以提供廢鋼的密度來(lái)估計(jì)廢鋼的體積。此外，廢鋼的化學(xué)成分、結(jié)構(gòu)、來(lái)源和顏色也被視為分類(lèi)的特征。

Qin等人提出了一個(gè)進(jìn)一步的分類(lèi)模型，[3]其中實(shí)現(xiàn)了Faster基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(RCNN)算法來(lái)識(shí)別和評(píng)估廢鋼。輸入數(shù)據(jù)包含五種不同類(lèi)型的廢鋼，每種廢鋼都有80個(gè)圖像，這些圖像被手動(dòng)標(biāo)記為五類(lèi)。作者選擇了兩階段檢測(cè)器Faster RCNN，它有13個(gè)卷積層，13個(gè)ReLu層，4個(gè)合并層和一個(gè)全連接層。廢鋼檢測(cè)過(guò)程分為四個(gè)模塊，分別是基于vgg16網(wǎng)絡(luò)的特征提取、基于RPN網(wǎng)絡(luò)的建議和損失計(jì)算、基于ROI合并化層的固定ROI合并以及基于全連通網(wǎng)絡(luò)的幀回歸和目標(biāo)分類(lèi)。

Smirnov和Trifonov在廢鋼分類(lèi)任務(wù)中測(cè)試了各種卷積神經(jīng)網(wǎng)絡(luò)。作者使用了ResNet152V2、InceptionResNetV2、DenseNet201和NASNetLarge網(wǎng)絡(luò)，這些網(wǎng)絡(luò)已經(jīng)在ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。每個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(CNN)基本上分為兩個(gè)部分：執(zhí)行特征提取的卷積層和執(zhí)行分類(lèi)任務(wù)的全連接層。將邊角料圖像分為三個(gè)數(shù)據(jù)集:初級(jí)數(shù)據(jù)集、二值數(shù)據(jù)集和分組數(shù)據(jù)集。對(duì)于主數(shù)據(jù)集，NASNetLarge在9類(lèi)分類(lèi)中F1得分最高，而ResNet152V2和DenseNet201在4類(lèi)分類(lèi)中F1得分最高。NASNetLarge、ResNet152V2和InceptionResNetV2在組數(shù)據(jù)集中的四類(lèi)分類(lèi)中表現(xiàn)同樣良好。二值分類(lèi)并沒(méi)有改善結(jié)果，但分組方法有改善效果。

Gao等人開(kāi)發(fā)了一個(gè)系統(tǒng)，[5]利用機(jī)器學(xué)習(xí)技術(shù)檢測(cè)廢鋼中的銅雜質(zhì)。一組數(shù)碼相機(jī)被放置在一條移動(dòng)的傳送帶上，用于拍攝單個(gè)碎鋼片的照片。圖像被發(fā)送到一臺(tái)控制計(jì)算機(jī)，該計(jì)算機(jī)根據(jù)設(shè)計(jì)的程序?qū)γ繌堈掌M(jìn)行分析，并發(fā)送信號(hào)以機(jī)械方式從系統(tǒng)中排出銅雜質(zhì)。圖像是在實(shí)驗(yàn)室里收集的。在黑色背景上點(diǎn)擊一塊碎片，并標(biāo)記為“Fe”。含有銅的部件，如電機(jī)、銅線(xiàn)等，被標(biāo)記為“Cu”。作者使用了兩個(gè)CNN架構(gòu)，VGGnet和Xception，其中的特征是原始的RGB圖像，提取了形狀特征的圖像(邊緣檢測(cè))，原始圖像被裁剪以減少背景(作者認(rèn)為，這可能會(huì)在數(shù)據(jù)中引入噪聲)。在異常和裁剪后的照片中，識(shí)別精度為“Cu”:90.6%，“Fe”:77.8%。

Tu等人[6]提出的框架結(jié)構(gòu)也試圖對(duì)廢鋼及其等級(jí)進(jìn)行分類(lèi)。該框架有三個(gè)主要組成部分：車(chē)輛注意模塊(CaM)、廢鋼檢測(cè)模塊(SDM)和廢鋼分級(jí)模塊(SGM)。CaM從粗鋼廢鋼圖像中分割車(chē)廂區(qū)域。該模塊使用7個(gè)卷積層和5個(gè)合并層來(lái)獲得特征映射。此外，它還具有跳過(guò)結(jié)構(gòu)，可以抑制復(fù)雜的背景區(qū)域，僅聚焦于車(chē)廂區(qū)域以進(jìn)行進(jìn)一步處理。SDM具有ResNet骨干網(wǎng)和多尺度特征聚焦塔型結(jié)構(gòu)(MFFP)，用于對(duì)CaM獲得的圖像中的廢鋼進(jìn)行分割和分類(lèi)。最后，SGM利用貝葉斯公式的一種變體作為分類(lèi)算法，確定廢鋼品級(jí)。它是基于統(tǒng)計(jì)信息，如比例和出現(xiàn)的廢廢鋼類(lèi)型。

具體的廢鋼規(guī)格由政府組織和協(xié)會(huì)在每個(gè)地區(qū)制定，如廢鋼回收工業(yè)協(xié)會(huì)(ISRI)或歐洲回收工業(yè)聯(lián)合會(huì)(EURIC)。這些機(jī)構(gòu)制定了廢鋼采購(gòu)和貿(mào)易的指導(dǎo)方針，這些指導(dǎo)方針是鋼鐵公司或下屬服務(wù)中心制定企業(yè)專(zhuān)用廢鋼采購(gòu)手冊(cè)的基礎(chǔ)。它們涵蓋了一般商業(yè)條款和運(yùn)輸條件，然后就是廢鋼的規(guī)格尺寸，幾何形狀和可容忍殘余元素和雜質(zhì)的分析要求。

表2總結(jié)了根據(jù)EURIC在可容忍的殘余元素含量水平上的不同的常見(jiàn)廢鋼等級(jí)。根據(jù)規(guī)定的廢鋼品位，最大容忍銅含量可達(dá)0.5%。

表2 根據(jù)歐洲廢鋼規(guī)范對(duì)廢鋼分析的目標(biāo)限制 [7]

對(duì)于扁平材生產(chǎn)商來(lái)說(shuō)，限制錫的含量也很重要，盡管從銅的角度來(lái)看，馬口鐵確實(shí)有很好的回收潛力，但它在加料混合物中的最大體積量是需要限制的。

具體的企業(yè)廢鋼采購(gòu)準(zhǔn)則通常更為嚴(yán)格。例如，美國(guó)鋼板生產(chǎn)商將銅的最高含量限制在0.2%。因此，實(shí)施了一種策略，即在鋼板作業(yè)中利用鋼鐵生產(chǎn)中產(chǎn)生的廢鋼，而含有較高雜質(zhì)水平的社會(huì)廢鋼則用于螺紋鋼和線(xiàn)材生產(chǎn)。

在審查熔煉車(chē)間操作和廢鋼成分均勻性的一致性時(shí)，Kirmse等人詳細(xì)闡述了廢鋼中典型的不穩(wěn)定元素限制沒(méi)有達(dá)到。通過(guò)對(duì)質(zhì)量平衡進(jìn)行重新計(jì)算，可以觀(guān)察到超出和低于預(yù)測(cè)水平的時(shí)間序列。這些結(jié)果限制了廢鋼管理中的成本最小化方法，或者至少反映了在這方面缺少分析規(guī)范而造成一定的殘余元素超標(biāo)的風(fēng)險(xiǎn)。

Hornby討論了對(duì)廢鋼利用的全面審查，重點(diǎn)是總擁有成本(TCO)方法。[9]詳細(xì)說(shuō)明了低成本廢鋼并不直接導(dǎo)致低成本鋼鐵；更重要的是，金屬化率和收得率需要納入整體TCO方法。波動(dòng)的原材料價(jià)格需要?jiǎng)討B(tài)調(diào)整收費(fèi)組合。

方法

本節(jié)詳細(xì)介紹廢鋼料場(chǎng)擬議的廢鋼分類(lèi)方法。首先，對(duì)數(shù)據(jù)集進(jìn)行描述，然后使用深度學(xué)習(xí)算法進(jìn)行分類(lèi)。最后，提出了一個(gè)完整的管道系統(tǒng)，從獲取圖像在廢鋼堆場(chǎng)，結(jié)果如何顯示給廢鋼料場(chǎng)操作員通過(guò)一個(gè)網(wǎng)絡(luò)應(yīng)用程序的屏幕上。討論了訓(xùn)練深度學(xué)習(xí)模型的最佳實(shí)踐。廢鋼分類(lèi)應(yīng)用也可以集成到廢鋼管理系統(tǒng)中。完善的廢鋼管理系統(tǒng)的主要功能是收集廢鋼料場(chǎng)的工藝和材料相關(guān)信息。該工具配備了創(chuàng)新的人工智能方法和數(shù)學(xué)模型，以評(píng)估跟蹤信息，從而大大提高了每噸廢鋼的整體使用效率。

I. 數(shù)據(jù)集

確定了兩種由操作員手動(dòng)進(jìn)行廢鋼分類(lèi)的情況：

i. 鐵路貨車(chē)上即將到來(lái)的廢鋼。確定了14種不同類(lèi)型的廢鋼，數(shù)據(jù)集是在連續(xù)四個(gè)月的時(shí)間內(nèi)組成的。由于需要選擇和手動(dòng)注釋的圖片總數(shù)約為90,000張，因此將每種廢鋼類(lèi)型的100-250張圖像定義為目標(biāo)。采集圖像的實(shí)際分布如圖3所示。不平衡的數(shù)字是因?yàn)橐恍U鋼類(lèi)型比其他的更常見(jiàn)。這個(gè)數(shù)據(jù)集也被稱(chēng)為俯視圖圖像。

圖用鐵路貨車(chē)運(yùn)送廢料的圖像和廢鋼種類(lèi)的分布

ii. 廢鋼料籃。識(shí)別出七個(gè)不同的類(lèi)別，并如上所述組成數(shù)據(jù)集。廢鋼類(lèi)型分布如圖4所示。這個(gè)數(shù)據(jù)集也被稱(chēng)為側(cè)視圖圖像。

圖圖像的廢鋼被裝入料籃和分配廢鋼類(lèi)型

II. 使用的機(jī)器學(xué)習(xí)算法

在過(guò)去的幾年里，研究人員已經(jīng)投入了大量的精力來(lái)提出更快、更準(zhǔn)確的目標(biāo)檢測(cè)算法。到目前為止，基于CNN的算法在解決目標(biāo)檢測(cè)問(wèn)題方面優(yōu)于其他方法。CNN可以在多維數(shù)據(jù)上高效地發(fā)現(xiàn)模式。科學(xué)界已經(jīng)提出了幾種基于CNN的算法?；趨^(qū)域提議的算法，即R-CNN及其變體，為目標(biāo)檢測(cè)提供了較高的準(zhǔn)確性。該算法生成潛在的邊界框;使用支持向量機(jī)(SVM)對(duì)每個(gè)邊界框進(jìn)行評(píng)分，并使用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。這種特征提取和多級(jí)復(fù)雜管道的使用使得這些算法非常耗時(shí)。另一方面，使用YOLOv5 (You Only Look Once)算法，訓(xùn)練和推理速度可以在精度上有一個(gè)小的權(quán)衡。它只使用一個(gè)CNN，一次掃描整個(gè)圖像。它預(yù)測(cè)物體的位置以及同時(shí)在每個(gè)位置找到正確物體的概率。這種統(tǒng)一的方法使得YOLOv5算法在目標(biāo)檢測(cè)方面速度非?？?。[11]因此，我們選擇YOLOv5算法作為廢鋼分類(lèi)的深度學(xué)習(xí)算法。

利用廢鋼料場(chǎng)圖像對(duì)廢鋼進(jìn)行分類(lèi)是一個(gè)有監(jiān)督的機(jī)器學(xué)習(xí)問(wèn)題。廢鋼料場(chǎng)圖像需要標(biāo)記以訓(xùn)練YOLOv5算法。每個(gè)圖像文件都應(yīng)該附帶一個(gè)文件，其中包含圖像中對(duì)象的位置和名稱(chēng)。這種手動(dòng)標(biāo)記圖像中對(duì)象的過(guò)程稱(chēng)為圖像標(biāo)注。圖像標(biāo)注是關(guān)鍵步驟之一，因?yàn)樗O(shè)定了廢鋼的標(biāo)準(zhǔn)。這有助于模型提供較高的準(zhǔn)確性。如果注釋沒(méi)有緊密地打包料要檢測(cè)的對(duì)象，預(yù)測(cè)將受到負(fù)面影響。

由于工作環(huán)境的原因，在廢鋼料場(chǎng)拍攝的圖像通常質(zhì)量較差?；覊m、光照條件和相機(jī)產(chǎn)生的噪聲等幾個(gè)因素都會(huì)降低圖像質(zhì)量。如果在用于訓(xùn)練之前對(duì)圖像進(jìn)行預(yù)處理，則機(jī)器學(xué)習(xí)模型可以在準(zhǔn)確性和計(jì)算時(shí)間方面提供最佳結(jié)果。

像YOLOv5這樣的深度學(xué)習(xí)算法有大量的參數(shù)。具有大量參數(shù)的復(fù)雜算法需要龐大的訓(xùn)練數(shù)據(jù)集來(lái)訓(xùn)練模型。[12]廢鋼料場(chǎng)收到的廢料種類(lèi)在數(shù)量上差別很大。這使得訓(xùn)練數(shù)據(jù)集不平衡。一些廢料類(lèi)型可能沒(méi)有足夠的圖像用于訓(xùn)練。有限的訓(xùn)練樣本或傾斜的數(shù)據(jù)集會(huì)導(dǎo)致算法的過(guò)擬合。[13]

為了克服這個(gè)問(wèn)題，使用一種稱(chēng)為圖像增強(qiáng)的技術(shù)從現(xiàn)有圖像創(chuàng)建了多個(gè)變體，如圖5所示。增強(qiáng)提供了幾個(gè)優(yōu)點(diǎn)，以便可以創(chuàng)建所需數(shù)量的樣本圖像，從而避免機(jī)器學(xué)習(xí)模型的過(guò)擬合。所應(yīng)用的增強(qiáng)類(lèi)型的選擇應(yīng)使所得到的圖像可以預(yù)期在廢鋼料場(chǎng)中看到。在這個(gè)項(xiàng)目中使用的變換是幾何(水平翻轉(zhuǎn)，垂直翻轉(zhuǎn))，色彩空間(亮度和對(duì)比度，hsv移位)和模糊變換(高斯模糊和運(yùn)動(dòng)模糊)。新生成的圖像被自動(dòng)標(biāo)注。

圖原始圖像(左)的增強(qiáng)圖像(右)

模型集合：

不同訓(xùn)練模型的集合在對(duì)抗單個(gè)模型的偏差方面特別有幫助。因此，通過(guò)投票策略將一組模型(3/5)的結(jié)果組合起來(lái)。結(jié)果表明，整體模型的性能優(yōu)于單一模型。請(qǐng)參閱結(jié)果部分，以查看其準(zhǔn)確性的比較。

III. 培訓(xùn)系統(tǒng)(自動(dòng)模型性能監(jiān)測(cè))

廢鋼分類(lèi)系統(tǒng)可以適應(yīng)不同的過(guò)程環(huán)境，通過(guò)訓(xùn)練一個(gè)模型，專(zhuān)門(mén)為每一個(gè)環(huán)境。這是必要的，因?yàn)閺U鋼分類(lèi)的每個(gè)過(guò)程環(huán)境都是根據(jù)廢鋼及其背景場(chǎng)景、照明條件、灰塵和背景噪音而變化的。必須確定進(jìn)行分類(lèi)的環(huán)境，并與高分辨率攝像系統(tǒng)相連接。獲取的圖像將被發(fā)送到客戶(hù)數(shù)據(jù)庫(kù)，從那里它們可以發(fā)送到具有相關(guān)元數(shù)據(jù)(唯一圖像ID)的檢測(cè)引擎。檢測(cè)引擎將把分類(lèi)輸出(預(yù)測(cè)的廢鋼類(lèi)別和預(yù)測(cè)的置信度)發(fā)送到廢鋼料場(chǎng)操作員可以訪(fǎng)問(wèn)的用戶(hù)界面。結(jié)果也將存儲(chǔ)在數(shù)據(jù)庫(kù)中，以保持可視化文檔。架構(gòu)的示意圖可以在圖6中看到。

圖廢鋼分類(lèi)系統(tǒng)的體系結(jié)構(gòu)

深度學(xué)習(xí)系統(tǒng)的優(yōu)勢(shì)在于，它們會(huì)隨著訓(xùn)練數(shù)據(jù)的增多而變得更好。為了維護(hù)一個(gè)即使在復(fù)雜情況下也能表現(xiàn)良好的健壯系統(tǒng)，部署的模型將定期使用最新的圖像進(jìn)行重新訓(xùn)練。除了預(yù)測(cè)的廢鋼類(lèi)別外，該模型還給出了一個(gè)置信度，以表明它對(duì)其預(yù)測(cè)的置信度?？蛻?hù)將被要求通過(guò)網(wǎng)絡(luò)用戶(hù)界面提供對(duì)低信心的圖像的反饋。分類(lèi)后的圖像將顯示給客戶(hù)，客戶(hù)被要求將分類(lèi)標(biāo)記為正確或錯(cuò)誤。如果不正確，將要求用戶(hù)輸入正確的類(lèi)。這些反饋圖像將用于下次訓(xùn)練模型。

結(jié)果

為了獲得最佳的廢鋼分類(lèi)效果，進(jìn)行了多次試驗(yàn)。超參數(shù)調(diào)優(yōu)和向數(shù)據(jù)集中添加~2%的背景圖像是改善結(jié)果的重要步驟。背景圖像包括來(lái)自廢鋼料場(chǎng)的任何不包含目標(biāo)廢鋼類(lèi)型的圖像。如方法部分所述，訓(xùn)練圖像數(shù)量不足的類(lèi)的度量也通過(guò)圖像增強(qiáng)得到改善。最佳模型(模型I)的結(jié)果如表3所示。

表3 頂視圖圖像的廢鋼檢測(cè)測(cè)試指標(biāo)

從圖7可以看出，有些類(lèi)的準(zhǔn)確率高于其他類(lèi)。這種區(qū)別是因?yàn)橐恍U鋼類(lèi)型在外觀(guān)上是同質(zhì)的，例如，彎曲，而另一些則是異質(zhì)的，彼此混淆?；煜仃囎C實(shí)了這一點(diǎn)，例如，混合廢料類(lèi)主要與HMS混淆，汽車(chē)零件也是如此。為了解決這個(gè)問(wèn)題，使用了一個(gè)模型集合。這個(gè)集合結(jié)合了來(lái)自五個(gè)不同訓(xùn)練模型的預(yù)測(cè)類(lèi)，這些預(yù)測(cè)類(lèi)按置信度加權(quán)。從表3和圖7中的混淆矩陣可以看出，使用集成(模型II)可以改善異構(gòu)類(lèi)的結(jié)果。

圖測(cè)試集頂視圖圖像的混淆矩陣：模型I的矩陣(左)和模型II的矩陣(模型集合)(右)

表3所示的結(jié)果是在285張圖像的小測(cè)試集上進(jìn)行的，該測(cè)試集用于選擇最佳模型。為了更好地了解模型在廢鋼料場(chǎng)中的表現(xiàn)，我們隨機(jī)從每個(gè)月選擇100張圖像，并手動(dòng)對(duì)其進(jìn)行注釋?zhuān)M成了一個(gè)由700張圖像組成的測(cè)試集。

圖8顯示了7個(gè)月時(shí)間內(nèi)該集合的分類(lèi)率(=正確檢測(cè)次數(shù)/標(biāo)簽總數(shù))?；疑摼€(xiàn)之間的四個(gè)月是拍攝訓(xùn)練圖像的時(shí)間段(訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間沒(méi)有任何重疊)。在此期間，分類(lèi)率較高，這意味著需要持續(xù)的定期培訓(xùn)，因?yàn)閺U鋼可能隨著時(shí)間的推移而不同，如果是來(lái)自不同的供應(yīng)商。

圖測(cè)試數(shù)據(jù)的每個(gè)廢鋼類(lèi)型的分類(lèi)率(地面真實(shí)值)

EAF料籃加料的分類(lèi)結(jié)果及實(shí)例見(jiàn)表4。由于側(cè)視圖數(shù)據(jù)集只有7個(gè)廢鋼類(lèi)型，單個(gè)模型的性能已經(jīng)足夠好了。如果將來(lái)添加更多的類(lèi)，也可以將集成用于側(cè)視圖圖像數(shù)據(jù)集。

表4 邊視圖圖像的廢料檢測(cè)測(cè)試指標(biāo)

圖9顯示了該分類(lèi)器的一些輸出示例。標(biāo)簽和置信水平可以存儲(chǔ)在數(shù)據(jù)庫(kù)中，而輸出的注釋圖像可以在屏幕上顯示給操作員。

圖在兩種情況下，廢鋼分類(lèi)器使用類(lèi)別標(biāo)簽和置信度檢測(cè)廢鋼的示例：俯視圖圖像(左)和側(cè)視圖圖像(右)

結(jié)論

考慮到由于環(huán)保降碳努力而增加的基于廢鋼的電爐鋼產(chǎn)量的市場(chǎng)趨勢(shì)，對(duì)廢鋼分析的精確知識(shí)的必要性對(duì)于生產(chǎn)先進(jìn)鋼種至關(guān)重要。提出了一種基于計(jì)算機(jī)視覺(jué)的廢鋼分類(lèi)系統(tǒng)。測(cè)試了最先進(jìn)的目標(biāo)檢測(cè)算法來(lái)構(gòu)建分類(lèi)器。與單一模型相比，應(yīng)用模型集成技術(shù)改善了更多異構(gòu)類(lèi)的結(jié)果。由于YoloV5以其速度而聞名，該模型適合部署在生產(chǎn)中，并且可以以圖片，視頻和流的形式攝取數(shù)據(jù)。提出了一個(gè)整體系統(tǒng)，其中持續(xù)的反饋和訓(xùn)練將隨著時(shí)間的推移提高模型的性能。此外，該系統(tǒng)可以在廢鋼料場(chǎng)的多個(gè)場(chǎng)景中部署。未來(lái)的工作包括與廢鋼料場(chǎng)密切合作，并將更多的類(lèi)納入EAF桶的充電方案，因?yàn)檫@可以幫助操作員跟蹤指定的配方。下一步還包括在廢鋼料場(chǎng)檢測(cè)外來(lái)/不需要的物體。

參考文獻(xiàn)

1. “2022 World Steel in Figures,” World SteelAssociation, 2022.

2. T. Wieczorek and M. Pilarczyk, “Classificationof Steel Scrap in the EAF Process Using Image Analysis Methods,” Archives ofMetallurgy and Materials, Vol. 53, 2008, pp. 613–618.

3. Y. Qin, W. Chen, P. Zhang, S. Zhang, S. Chen andL. Huang, “Research on Scrap Steel Evaluation Technology Based on Faster-RCNN,”2nd International Conference on Machine Learning and Computer Application,Shenyang, China, 2021.

4. N.V. Smirnov and A.S. Trifonov, “Deep LearningMethods for Solving Scrap Metal Classification Task,” 2021 InternationalRussian Automation Conference, Sochi, Russian Federation, 2021.

5. Z. Gao, S. Sridhar, E. Spiller and P. Taylor,“Applying Improved Optical Recognition With Machine Learning on Sorting CuImpurities in Steel Scrap,” Journal of Sustainable Metallurgy, Vol. 6, 2020,pp. 785–795.

6. Q. Tu, D. Li, Q. Xie, L. Dai and J. Wang,“Automated Scrap Steel Grading via a Hierarchical Learning-Based Framework,”IEEE Transactions on Instrumentation and Measurement, Vol. 71, 2022, pp. 1–13.

7. “European Steel Scrap Specification,”https://www.euric-aisbl.eu/facts-figures/standards-specifications, accessed 24February 2023.

8. C. Kirmse, S. Bangel and M. Christ,“Probabilistic EAF Charge-Mix Optimization Using Machine Learning Based ScrapCharacterization,” SteelSim Conference Proceedings, 2021.

9. S. Hornby, “Mini-Mill Burdening for MaximumEfficiency and Yield?” Iron & Steel Technology, Vol. 12, No. 1, 2015,pp.50–62.

10. R. Girshick, “Fast R-CNN,” arXiv, 2015.

11. J. Redmon, S. Divvala, R. Girshick and A.Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” arXiv,2015.

12. X. Zhu, C. Vondrick, C.C. Fowlkes and D.Ramanan, “Do We Need More Training Data?” International Journal of ComputerVision, Vol. 119, No. 1, 2015, pp. 76–92.

13. D.M. Hawkins, “The Problem of Overfitting,” J.Chem. Inf. Comput. Sci., Vol. 44, 2004, pp. 1–12.

作者

A. Dhami：SMS digital GmbH, Düsseldorf, Germany

C. Vaghela：SMS digital GmbH, Düsseldorf, Germany

A. Asaro：SMS digital GmbH, Düsseldorf, Germany

D. Yuan

G. Pravisani：SMS group S.p.A., Tarcento, Italy

J. Kempken：SMS group GmbH, Düsseldorf, Germany

C. Kirmse：Senior Data Scientist, SMS digital GmbH,Düsseldorf, Germany christoph.kirmse@sms-digital.com

唐杰民2024年元月中旬在安徽黃山屯溪翻譯自某國(guó)《鋼鐵技術(shù)》本月期刊。水平有限，翻譯不準(zhǔn)確指出請(qǐng)各位看官給予指正，鐳目公司在廢鋼自動(dòng)化檢測(cè)上走在前列，這是我國(guó)驕傲的技術(shù)，相信會(huì)在祖國(guó)大地全面使用，也會(huì)走向世界的。

審核編輯：黃飛