導(dǎo)讀
針對(duì)鋁型材表面缺陷快速準(zhǔn)確檢測(cè)的需求,本文提出一種基于 YOLO 深度學(xué)習(xí)模型的鋁型材表面缺陷識(shí)別方法。而建立基于 YOLO 的鋁型材表面缺陷識(shí)別模型,通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。通過多尺度訓(xùn)練方法,增強(qiáng)模型對(duì)不同尺度缺陷的適應(yīng)性和識(shí)別精度。
鋁型材作為建筑和機(jī)械工業(yè)領(lǐng)域中重要的應(yīng)用材料,其全行業(yè)的產(chǎn)量和消費(fèi)量在世界范圍內(nèi)逐年遞增。鋁型材在生產(chǎn)過程中,由于材料特性和加工工藝,不可避免存在表面缺陷,嚴(yán)重影響鋁型材的可靠性、安全性和可加工性。在實(shí)際生產(chǎn)中,對(duì)鋁型材表面缺陷進(jìn)行準(zhǔn)確快速識(shí)別,對(duì)保證鋁型材的質(zhì)量至關(guān)重要。傳統(tǒng)的鋁型材表面缺陷識(shí)別方法包括渦流檢測(cè)法、超聲導(dǎo)波檢測(cè)及紅外檢測(cè)法等識(shí)別成本高、設(shè)備復(fù)雜,且不易實(shí)現(xiàn)缺陷識(shí)別過程的可視化。機(jī)器視覺檢測(cè)作為一種非接觸式在線自動(dòng)檢測(cè)技術(shù),具有非接觸、安全性高、識(shí)別效率高和工作時(shí)間長的特點(diǎn),是實(shí)現(xiàn)表面缺陷準(zhǔn)確與快速識(shí)別的有效手段。
例如,胡繼文等針對(duì)帶有紋理的鋁型材圖像,提出基于 Gabor 濾波的紋理分析方法,實(shí)現(xiàn)鋁型材噴涂表面圖像快速分類,但該方法極易受到噴涂表面粗糙度的影響。劉澤等針對(duì)鋼軌表面典型的缺陷圖像設(shè)計(jì)動(dòng)態(tài)閾值分割算法和缺陷區(qū)域提取算法,優(yōu)先實(shí)現(xiàn)鋼軌缺陷的檢測(cè)。孫雪晨等設(shè)計(jì)了一種基于機(jī)器視覺的凸輪軸表面缺陷識(shí)別系統(tǒng),能夠有效識(shí)別與定位 1 mm 以上的缺陷。以上識(shí)別
方法多采用傳統(tǒng)機(jī)器視覺算法,通過圖像形態(tài)學(xué)處理與特征提取進(jìn)行缺陷識(shí)別,往往需要根據(jù)不同形態(tài)的缺陷特征,設(shè)計(jì)不同的特征提取與識(shí)別算法。鋁型材表面缺陷形態(tài)不規(guī)則、位置隨機(jī)且大小不一,采用傳統(tǒng)機(jī)器視覺缺陷識(shí)別方法進(jìn)行鋁型材缺陷識(shí)別,難以同時(shí)滿足檢測(cè)精度與效率的要求。
近些年,隨著人工智能技術(shù)的發(fā)展,基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法在工業(yè)零件的缺陷識(shí)別中得到應(yīng)用,并取得較好的效果。YOLO( You Only Look Once) 識(shí)別算法是目前深度學(xué)習(xí)領(lǐng)域執(zhí)行速度較優(yōu)算法,其將目標(biāo)識(shí)別問題轉(zhuǎn)化為回 歸問題可以同時(shí)預(yù)測(cè)多個(gè)識(shí)別框的位置和類別,具備較高準(zhǔn)確率和執(zhí)行速度。在 YOLO 的基礎(chǔ)上,又出現(xiàn) YOLOv2、YOLOv3改進(jìn)算法,在識(shí)別速度和準(zhǔn)確率上有所提高。其中,YOLOv3 對(duì)不同大小的多尺度目標(biāo)識(shí)別效果較好,在齒輪、玻璃外觀等表面缺陷識(shí)別領(lǐng)域得到應(yīng)用。深度學(xué)習(xí)的識(shí)別方法用于工業(yè)產(chǎn)品的缺陷識(shí)別,具有較好的泛化性和魯棒性。
目前,鋁型材表面缺陷的識(shí)別方法多采用傳統(tǒng)的缺陷識(shí)別技術(shù),將 YOLO 深度學(xué)習(xí)模型用于鋁型材識(shí)別,將有助于改善鋁型材表面缺陷識(shí)別的準(zhǔn)確率與速度,提高鋁型材的產(chǎn)品質(zhì)量與生產(chǎn)效率。針對(duì)鋁型材表面缺陷快速準(zhǔn)確識(shí)別的需求,本文提出一種基于 YOLO 深度學(xué)習(xí)模型的鋁型材表面缺陷識(shí)別方法。
首先,采用圖像增廣對(duì)原始圖像進(jìn)行擴(kuò)充,解決原始數(shù)據(jù)集中圖像數(shù)量少且缺陷數(shù)據(jù)不均衡問題,并構(gòu)建 3 個(gè)不同分辨率的數(shù)據(jù)集,提高訓(xùn)練過程中對(duì)不同尺度圖像的魯棒性。然后,建立鋁型材表面缺陷的 YOLO 識(shí)別模型,通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。最后,對(duì)鋁型材缺陷數(shù)據(jù)集的目標(biāo)框重新進(jìn)行聚類分析,并利用多尺度訓(xùn)練的方法,在低分辨率數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,再利用中高分辨率數(shù)據(jù)集微調(diào)識(shí)別模型,以增強(qiáng)模型的適應(yīng)性和準(zhǔn)確率。
01
數(shù)據(jù)集構(gòu)建
如圖 1 所示,鋁型材常見的缺陷有 4 種,分別是擦花、漏底、碰凹、凸粉。本文的鋁型材圖像數(shù)據(jù)集來源于江蘇省某鋁材公司。原始的鋁型材圖像數(shù)據(jù)集一共包括 342 張鋁型材缺陷圖像,缺陷圖像樣本較少,且部分缺陷占整個(gè)數(shù)據(jù)集比例過小、缺陷數(shù)據(jù)不均衡。深度學(xué)習(xí)在進(jìn)行訓(xùn)練時(shí),如果數(shù)據(jù)集較少會(huì)導(dǎo)致模型出現(xiàn)過擬合的問題。為解決上述問題,本文對(duì)有缺陷的鋁型材圖像,采用圖像增廣來進(jìn)行數(shù)據(jù)集擴(kuò)充。圖像增廣技術(shù)是對(duì)原圖像數(shù)據(jù)進(jìn)行一系列隨機(jī)對(duì)比度調(diào)整、旋轉(zhuǎn)等處理,產(chǎn)生相似但不同的訓(xùn)練數(shù)據(jù),以擴(kuò)大訓(xùn)練圖像集的規(guī)模,同時(shí)降低模型對(duì)某些特征的依賴,提高模型的泛化能力。
▲圖 1 常見的 4 種鋁型材缺陷
本文采用的圖像增廣方法包括調(diào)整對(duì)比度、亮度、旋轉(zhuǎn)和縮放,每張?jiān)鰪V后的圖片為原圖經(jīng)過多種隨機(jī)組合變換得到。圖像增廣后每種缺陷類別的圖像的數(shù)量為 2 400 張,各缺陷比例為 1∶ 1∶ 1∶ 1。訓(xùn)練集的圖像被轉(zhuǎn)換為 PASCAL-VOC格式,其長度分別調(diào)整為 416、608、1 280,并調(diào)整寬度以保持原始縱橫比。整個(gè)鋁型材圖像數(shù)據(jù)集的圖片為 9 600 張,如表 1 所示。與一般的圖像分類數(shù)據(jù)集不同,鋁型材數(shù)據(jù)集在進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí),需提供圖片缺陷區(qū)域的坐標(biāo)位置。本文中通過 labellmg 軟件來進(jìn)行缺陷位置的標(biāo)注。鋁型材數(shù)據(jù)集中擦花、漏底、碰凹、凸粉四種缺陷分別標(biāo)注,并保存其路徑、標(biāo)簽和缺陷坐標(biāo)信息。
表 1 鋁型材缺陷數(shù)據(jù)集組成
02
識(shí)別方法
2.1 鋁型材表面缺陷的 YOLO 識(shí)別模型
YOLOv3 作為一種基于回歸的目標(biāo)識(shí)別算法,能夠?qū)崿F(xiàn)多目標(biāo)的快速、準(zhǔn)確識(shí)別。YOLOv3 對(duì)輸入圖像的全局區(qū)域進(jìn)行訓(xùn)練,可加快訓(xùn)練速度且能更好地區(qū)分目標(biāo)和背景。先利用 Darknet-53主干網(wǎng)絡(luò)完成鋁型材表面缺陷特征提取,再采用目標(biāo)框直接預(yù)測(cè)目標(biāo)類別和位置。鋁型材表面缺陷形態(tài)不規(guī)則、位置隨機(jī)且大小不一,直接應(yīng)用 YOLOv3 模型進(jìn)行識(shí)別難以保證微小缺陷的精密識(shí)別。本文在深入分析 YOLOv3 模型特性的基礎(chǔ)上對(duì)其進(jìn)行改進(jìn)。將原有 3 尺度識(shí)別結(jié)構(gòu)擴(kuò)展為 4 尺度,提高對(duì)微小缺陷的識(shí)別能力; 通過重新聚類分析構(gòu)建適合鋁型材表面缺陷的初始目標(biāo)框,改進(jìn) YOLO 算法的模型參數(shù); 采用多尺度訓(xùn)練方式對(duì)訓(xùn)練流程進(jìn)行優(yōu)化,以增強(qiáng)模型對(duì)不同尺度缺陷的適應(yīng)性和識(shí)別精度,解決鋁型材表面缺陷識(shí)別困難、精度低等問題。
基于 YOLO 的鋁型材多尺度識(shí)別模型架構(gòu)如圖 2 所示。在數(shù)據(jù)集構(gòu)建后,以 Darknet-53 為主干網(wǎng)絡(luò)進(jìn)行特征提取,并融合多尺度識(shí)別,實(shí)現(xiàn)鋁型材表面缺陷的有效識(shí)別。該網(wǎng)絡(luò)從訓(xùn)練集和驗(yàn)證集中快速提取鋁型材表面缺陷相應(yīng)特征,并融合多尺度特征信息,同時(shí)得到缺陷預(yù)測(cè)框和類別,從而快速精確地識(shí)別出缺陷種類和位置。其中,訓(xùn)練集用于擬合識(shí)別網(wǎng)絡(luò),驗(yàn)證集用于調(diào)整識(shí)別網(wǎng)絡(luò)的超參數(shù)以及對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)估。
鋁型材表面缺陷識(shí)別模型的工作流程如下: 首先,構(gòu)建鋁型材表面缺陷圖像數(shù)據(jù)集,將缺陷圖像輸入識(shí)別模型進(jìn)行訓(xùn)練; 再根據(jù)預(yù)測(cè)邊界框及所屬類別的概率對(duì)缺陷進(jìn)行多尺度預(yù)測(cè); 最后通過損失函數(shù)不斷調(diào)整訓(xùn)練參數(shù),以得到改進(jìn)后識(shí)別模型的參數(shù)。
▲圖 2 鋁型材多尺度識(shí)別模型架構(gòu)
2.2 特征提取網(wǎng)絡(luò)
采用 Darknet-53 網(wǎng)絡(luò)作為圖像特征提取的主干網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3( a) 所示。整個(gè)網(wǎng)絡(luò)采用完整的卷積層,沒有池化層和固定輸出的連接層。Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)借鑒殘差神經(jīng)網(wǎng)絡(luò) Res Net( ResidualNetwork),在其網(wǎng)絡(luò)中加入 5 個(gè)殘差塊( residual) 。每個(gè)殘差塊中包含不同數(shù)量的殘差單元,殘差單元由特征提取層與兩個(gè) DBL( Darknetconv2d BN Leaky) 單元經(jīng)過兩層卷積所構(gòu)成,如圖 3( b) 所示。其中,殘差單元中的 DBL 單元也是YOLOv3 的基本構(gòu)成單元,由卷積( Conv) 、批歸一化( BN) 和激活函數(shù) Leaky Relu 共同構(gòu)成,如圖 3( c) 所示。Darknet-53網(wǎng)絡(luò)中加入殘差單元,可以保證主網(wǎng)絡(luò)結(jié)構(gòu)在不斷加深的情況下不會(huì)造成梯度消失或爆炸,以加強(qiáng)主網(wǎng)絡(luò)對(duì)圖像特征的提取效果,進(jìn)而提高模型識(shí)別的準(zhǔn)確率。
▲圖 3 Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)
2.3 多尺度識(shí)別的模型結(jié)構(gòu)
對(duì)于大多數(shù)卷積神經(jīng)網(wǎng)絡(luò),通過特征提取網(wǎng)絡(luò)獲取圖像最終的特征圖后,直接在該特征圖上進(jìn)行預(yù)測(cè)。這種方式僅能獲取圖像中單一尺度的語義信息,識(shí)別的尺度范圍有限。在鋁型材表面缺陷識(shí)別過程中,缺陷區(qū)域往往大小不一,且具有不同特征,因而需要利用不同尺度的識(shí)別網(wǎng)絡(luò)來適應(yīng)多尺度目標(biāo)。YOLOv3 通過多尺度預(yù)測(cè)的方式對(duì)不同尺寸的目標(biāo)來識(shí)別,其結(jié)構(gòu)如圖 4 所示。以本文的研究對(duì)象鋁型材為例,輸入的圖像經(jīng)過 Dark-net-53 主干網(wǎng)絡(luò)時(shí),共進(jìn)行 5 次下采樣。每進(jìn)行一次下采樣,鋁型材的特征圖就會(huì)變成原輸入圖像尺寸一半。經(jīng)過 5 次即 32 倍下采樣后,生成尺度 1 的鋁型材特征圖。
該尺度特征圖為 13 ×13 分辨率,通過卷積等操作后進(jìn)行一次 2 倍上采樣,生成 26 ×26 分辨率的特征圖,將其與特征提取網(wǎng)絡(luò)中16 倍下采樣生成的 26 × 26 分辨率的特征圖進(jìn)行張量連接。通過張量連接融合兩個(gè)圖像的特征信息,生成一個(gè)雙尺度融合的鋁型材特征圖( 尺度 2) 。
以此類推,該尺度特征圖再次通過 2 倍上采樣,與 8 倍下采樣生成的 52 × 52 分辨率的特征圖進(jìn)行張量連接,生成同為 52 × 52 分辨率且 3 尺度融合的鋁型材特征圖( 尺度 3) 。在鋁型材缺陷識(shí)別中,存在微小的缺陷區(qū)域,使用原YOLOv3 中多尺度預(yù)測(cè)的方法難以滿足微小缺陷精確識(shí)別的需求。
針對(duì)該問題,本文對(duì) YOLOv3 模型進(jìn)行改進(jìn),將原有 3個(gè)尺度識(shí)別擴(kuò)展為 4 個(gè)尺度,增加 104 × 104 分辨率的特征圖,見圖 4 新加結(jié)構(gòu)。該尺度通過張量連接的方式,將 4 倍下采樣生成的 104 ×104 分辨率的特征圖與尺度 3 中 52 × 52分辨率的特征圖融合。通過多尺度特征融合方式,將不同分辨率的特征圖融合后單獨(dú)輸出且分別進(jìn)行目標(biāo)預(yù)測(cè),以此提升小目標(biāo)識(shí)別的精確度。融合后的尺度 4 包含之前各尺度信息的特征圖,可改善鋁型材表面微小缺陷的識(shí)別效果。
2.4 目標(biāo)框的聚類分析
目標(biāo)框( anchor boxes) 是一組具有固定寬高比的數(shù)據(jù)集圖像初始候選框,其設(shè)定對(duì)圖像檢測(cè)的精度和處理速度有著重要影響。YOLO 算法對(duì)目標(biāo)框的寬高比維度進(jìn)行 K-menas聚類分析,并對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程進(jìn)行優(yōu)化,即事先確定一組寬高比維度固定的矩形框作為選取目標(biāo)包圍框時(shí)的參照物,通過預(yù)測(cè)目標(biāo)框的偏移量取代直接預(yù)測(cè)坐標(biāo),以降低模型訓(xùn)練的復(fù)雜度。在 YOLOv3 原模型中,目標(biāo)框通過 Pas-cal VOC、COCO 等圖像標(biāo)準(zhǔn)數(shù)據(jù)集聚類得到,適用于自然場景中的目標(biāo)。
▲圖 4 鋁型材表面缺陷多尺度識(shí)別模型結(jié)構(gòu)
本文要識(shí)別的目標(biāo)為鋁型材表面缺陷,這些缺陷的特征與上述數(shù)據(jù)集中的目標(biāo)完全不同,因此直接使用原算法中聚類分析過的目標(biāo)框并不合理。基于上述考慮,為得到精準(zhǔn)的鋁型材缺陷位置和類別信息,本文利用 K-menas 算法對(duì)數(shù)據(jù)集中目標(biāo)框的寬高比維度重新進(jìn)行聚類分析,得到適合鋁型材數(shù)據(jù)集的目標(biāo)框。通過聚類分析主要是獲得更高的交并比 Io U( Averange intersection over union) 。Io U 代表預(yù)測(cè)的目標(biāo)框與真實(shí)目標(biāo)框的重疊率,其值越大表示聚類效果越好。因此,本文采用 Io U 取代 K-means 方法中的歐氏距離,用 Io U定義的距離 D 可表示為
式中: Io Utruthpted為交并比,area( boxpred∩boxtruth表示預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的交集部分面積,area( boxpred∪boxtruth表示預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的并集部分面積。本文設(shè)定 K-means 聚類分析中簇的個(gè)數(shù) K =1,2,…,20,聚類分析結(jié)果如圖 5 所示??梢钥闯?,隨著 K 個(gè)數(shù)的增加,Io U 的數(shù)值不斷增加,增長率不斷減小。一般來說,最佳 K 值選取點(diǎn)為曲線斜率最大點(diǎn)之后的點(diǎn)。一方面,較少數(shù)量的 K值可以減少模型計(jì)算量,進(jìn)一步加快損失函數(shù)的收斂。另一方面,也可以去除由較多目標(biāo)框帶來的識(shí)別誤差。從圖中可以看出,K =9 時(shí)為最優(yōu)點(diǎn),其對(duì)應(yīng)的目標(biāo)框分別為( 25,33) ,( 26,101) ,( 50,555) ,( 62,235) ,( 80,587) ,( 90,37) ,( 133,325) ,( 257,86) ,( 554,58) 。
▲圖 5 聚類分析曲線圖
03
實(shí)驗(yàn)與分析
3.1 模型訓(xùn)練
本文實(shí)驗(yàn)平臺(tái)如表 2 所示。在模型訓(xùn)練前,基本參數(shù)設(shè)置如下: 動(dòng)量( momentum) 設(shè)為 0. 9,衰減系數(shù)( decay) 設(shè)為0. 000 5,初始學(xué)習(xí)率( learning rate) 為 0. 000 1,學(xué)習(xí)率調(diào)整策略為 steps,最大迭代次數(shù)為 10 000 次。
表 2 實(shí)驗(yàn)平臺(tái)
為提高鋁型材缺陷識(shí)別的準(zhǔn)確率,本文通過多尺度訓(xùn)練的方法,對(duì)其訓(xùn)練流程進(jìn)行改進(jìn),使模型逐步適應(yīng)不同分辨率的圖像,以更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征。
具體流程如下:
1) 采用 312 × 312 分辨率的鋁型材圖像對(duì)模型進(jìn)行預(yù)訓(xùn)練,獲得初始的預(yù)訓(xùn)練權(quán)重;
2) 利用 416 × 416 分辨率的鋁型 材圖 像 對(duì) 模型 進(jìn) 行 微調(diào),使得模型能逐漸適應(yīng)中等分辨率的缺陷特征;
3) 輸入 608 × 608 分辨率的鋁型材圖像進(jìn)行訓(xùn)練,自主調(diào)整每層權(quán)重來適應(yīng)高分辨率圖像輸入,更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征,提高模型尺度不變性和魯棒性。在訓(xùn)練過程中,損失函數(shù) Loss 的定義為 Loss = lxyδ( x,y) + lwhδ( w,h) + lconfδ( conf) + lcδ( c) ( 3)
式中: δ( x,y) 為預(yù)測(cè)目標(biāo)框中心坐標(biāo)( x,y) 的誤差函數(shù),δ( w,h) 為預(yù)測(cè)目標(biāo)框?qū)捀弑染S度的誤差函數(shù)。δ( conf) 為置信度 Confidence 的誤差函數(shù),δ( c) 為類別 c 的誤差函數(shù)。lxy、lwh、lconf、lc分別為誤差權(quán)重系數(shù)。
圖 6 為本文模型在訓(xùn)練時(shí)的損失曲線圖。本文模型隨著迭代次數(shù)增加,誤差損失經(jīng)過震蕩呈下降趨勢(shì),當(dāng)訓(xùn)練迭代批次達(dá) 8 000 次后損失基本趨于平穩(wěn)。
3.2 缺陷識(shí)別效果
利用鋁型材測(cè)試集圖像對(duì)訓(xùn)練后的鋁型材 YOLO 模型進(jìn)行實(shí)驗(yàn),以驗(yàn)證本文方法的有效性。評(píng)價(jià)模型有效性的相關(guān)指標(biāo)包括平均準(zhǔn)確率 AP、平均準(zhǔn)確率均值 MAP和平均識(shí)別時(shí)間 t。AP 用于衡量模型在單個(gè)類別上的識(shí)別性能; MAP用于衡量模型在所有類別上的平均識(shí)別性能; 識(shí)別時(shí)間為模型平均處理每張圖像所需時(shí)間,其單位為 ms。和 MAP用公式表示為
▲圖 6 損失曲線圖
式中: PinterP( R) 為召回率滿足 R~≥R 時(shí)的準(zhǔn)確率的最大值,N為模型中待識(shí)別類別的個(gè)數(shù)。召回率表示正確識(shí)別的目標(biāo)個(gè)數(shù)占總目標(biāo)數(shù)百分比,準(zhǔn)確率表示正確識(shí)別的目標(biāo)個(gè)數(shù)占總識(shí)別目標(biāo)個(gè)數(shù)百分比。召回率 R、準(zhǔn)確率 P 和 PinterP( R) 可用公式表示為
式中: TP為真正例,表示正樣本被預(yù)測(cè)為正樣本的數(shù)量; FP為假正例,表示負(fù)樣本被預(yù)測(cè)為正樣本的數(shù)量; FN為假負(fù)例,表示正樣本被預(yù)測(cè)為負(fù)樣本的數(shù)量; TN為真負(fù)例,表示負(fù)樣本被預(yù)測(cè)為負(fù)樣本的數(shù)量。為了定量分析本文方法實(shí)驗(yàn)效果,將本文方法與 YOLO、YOLOv2、YOLOv3、YOLOv3-tiny 及文獻(xiàn)基于圖像特征的傳統(tǒng)機(jī)器視覺方法進(jìn)行對(duì)比。表 3 所示為不同方法的實(shí)驗(yàn)結(jié)果??梢钥闯觯捎?YOLO 系列原模型,對(duì)于擦花缺陷,僅YOLOv3 的 AP 值達(dá) 到 95. 25% ,其 他 方法的 AP 值 都 較 低,YOLO 的 AP 值則低于 70% 。在凸粉和漏底缺陷的測(cè)試結(jié)果中,本文方法的 AP 最高,分別達(dá)到 95. 75% 與 96. 86% 。碰凹缺陷因特征明顯,其 AP 值在對(duì)比方法中都較高,尤其是本文方法 AP 達(dá)到 100% 。
表 3 不同方法性能對(duì)比
相較于 YOLOv3、YOLOv2,本文方法中的網(wǎng)絡(luò)模型更復(fù)雜,使得平均識(shí)別時(shí)間分別增加 7 ms、29 ms,但 MAP值分別提升 1. 8% 、6. 76% 。YOLOv3-tiny 模型結(jié)構(gòu)簡單,檢測(cè)速度雖較快,但檢測(cè)精度明顯降低,其 MAP比本文方法低 5. 06% 和 3. 24% 。本文方法的多項(xiàng)性能指標(biāo)相較于改進(jìn)前均有顯著提升,尤其是 MAP達(dá)到 97. 46% 。與 YOLO 相比,本文方法 MAP提高14. 56% 。
與文獻(xiàn)基于圖像特征處理的傳統(tǒng)機(jī)器視覺方法相比,本文方法的 MAP提升 3. 96% 。圖 7 所示為不同 YO-LO 系列方法及本文模型的缺陷識(shí)別效果圖,圖 7 ( a) - ( f)分別為原圖、本文方法、YOLOv3、YOLOv3tiny、YOLOv2、YOLO的識(shí)別效果圖。YOLOv3-tiny 模型結(jié)構(gòu)較簡單,對(duì)于漏底缺陷 AP 雖然較高,但仍存在漏檢。
YOLOv2 和 YOLO 在識(shí)別漏底和凸粉缺陷時(shí)也出現(xiàn)漏檢情況,由于缺少多尺度檢測(cè)結(jié)構(gòu),難以有效檢測(cè)不明顯的缺陷特征,從側(cè)面驗(yàn)證了增加尺度預(yù)測(cè)結(jié)構(gòu)對(duì)提高模型識(shí)別精度的重要性。相比之下,本文方法對(duì)測(cè)試圖像中的 8 個(gè)擦花缺陷全部識(shí)別成功,優(yōu)于其他方法的檢測(cè)效果。在識(shí)別時(shí)間方面,本文方法相較于其他方法,單幅圖片的識(shí)別時(shí)間略有增加,達(dá)到 45 ms,但仍能滿足缺陷檢測(cè)的實(shí)時(shí)性要求。可以看出,本文方法整體性能表現(xiàn)最佳,可以同時(shí)滿足識(shí)別精度與速度的需求。
▲圖 7 不同方法對(duì) 4 種缺陷的識(shí)別效果圖
綜上所述,本文方法通過增加模型識(shí)別尺度,可精確識(shí)別鋁型材微小表面缺陷的類別和位置,提升識(shí)別精度和定位精度。通過聚類分析重新構(gòu)建適合鋁型材表面缺陷的初始目標(biāo)框,利用多尺度訓(xùn)練優(yōu)化模型參數(shù),可更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征。本文方法對(duì)鋁型材表面缺陷具有較好的識(shí)別效果,缺陷識(shí)別準(zhǔn)確率達(dá)到 97. 46% ,平均耗時(shí)為 45 ms,可同時(shí)滿足識(shí)別精度和速度要求。
04
結(jié)論
在鋁型材缺陷識(shí)別中,缺陷形態(tài)特征的復(fù)雜多變會(huì)嚴(yán)重影響模型識(shí)別準(zhǔn)確率和效果。針對(duì)鋁型材缺陷快速準(zhǔn)確識(shí)別問題,本文提出一種基于 YOLO 的鋁型材表面缺陷識(shí)別方法。對(duì)鋁型材數(shù)據(jù)集進(jìn)行圖像增廣,解決原始數(shù)據(jù)集中圖像數(shù)量少且缺陷特征不均衡問題。建立鋁型材表面缺陷識(shí)別的 YOLO 模型,并通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。對(duì)鋁型材數(shù)據(jù)集目標(biāo)框重新進(jìn)行聚類分析,并采用多尺度訓(xùn)練的方法,優(yōu)化缺陷識(shí)別效果。本文方法的缺陷識(shí)別準(zhǔn)確率達(dá)到 97. 46% ,優(yōu)于其他 5 種對(duì)比算法。本文提出鋁型材表面缺陷快速識(shí)別方法,缺陷識(shí)別準(zhǔn)確率高、實(shí)時(shí)性好,可用于鋁型材表面缺陷的快速準(zhǔn)確識(shí)別,提高鋁型材生產(chǎn)的自動(dòng)化水平與檢測(cè)效率。
-
檢測(cè)技術(shù)
+關(guān)注
關(guān)注
2文章
354瀏覽量
29075 -
模型
+關(guān)注
關(guān)注
1文章
3226瀏覽量
48807 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121111
原文標(biāo)題:項(xiàng)目案例:基于 YOLO 的鋁型材表面缺陷識(shí)別
文章出處:【微信號(hào):機(jī)器視覺沙龍,微信公眾號(hào):機(jī)器視覺沙龍】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論