RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

項(xiàng)目案例:基于YOLO的鋁型材表面缺陷識(shí)別

QQ475400555 ? 來源:機(jī)器視覺沙龍 ? 2023-10-08 15:30 ? 次閱讀

導(dǎo)讀

針對(duì)鋁型材表面缺陷快速準(zhǔn)確檢測(cè)的需求,本文提出一種基于 YOLO 深度學(xué)習(xí)模型的鋁型材表面缺陷識(shí)別方法。而建立基于 YOLO 的鋁型材表面缺陷識(shí)別模型,通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。通過多尺度訓(xùn)練方法,增強(qiáng)模型對(duì)不同尺度缺陷的適應(yīng)性和識(shí)別精度。

鋁型材作為建筑和機(jī)械工業(yè)領(lǐng)域中重要的應(yīng)用材料,其全行業(yè)的產(chǎn)量和消費(fèi)量在世界范圍內(nèi)逐年遞增。鋁型材在生產(chǎn)過程中,由于材料特性和加工工藝,不可避免存在表面缺陷,嚴(yán)重影響鋁型材的可靠性、安全性和可加工性。在實(shí)際生產(chǎn)中,對(duì)鋁型材表面缺陷進(jìn)行準(zhǔn)確快速識(shí)別,對(duì)保證鋁型材的質(zhì)量至關(guān)重要。傳統(tǒng)的鋁型材表面缺陷識(shí)別方法包括渦流檢測(cè)法、超聲導(dǎo)波檢測(cè)及紅外檢測(cè)法等識(shí)別成本高、設(shè)備復(fù)雜,且不易實(shí)現(xiàn)缺陷識(shí)別過程的可視化。機(jī)器視覺檢測(cè)作為一種非接觸式在線自動(dòng)檢測(cè)技術(shù),具有非接觸、安全性高、識(shí)別效率高和工作時(shí)間長的特點(diǎn),是實(shí)現(xiàn)表面缺陷準(zhǔn)確與快速識(shí)別的有效手段。

例如,胡繼文等針對(duì)帶有紋理的鋁型材圖像,提出基于 Gabor 濾波的紋理分析方法,實(shí)現(xiàn)鋁型材噴涂表面圖像快速分類,但該方法極易受到噴涂表面粗糙度的影響。劉澤等針對(duì)鋼軌表面典型的缺陷圖像設(shè)計(jì)動(dòng)態(tài)閾值分割算法和缺陷區(qū)域提取算法,優(yōu)先實(shí)現(xiàn)鋼軌缺陷的檢測(cè)。孫雪晨等設(shè)計(jì)了一種基于機(jī)器視覺的凸輪軸表面缺陷識(shí)別系統(tǒng),能夠有效識(shí)別與定位 1 mm 以上的缺陷。以上識(shí)別

方法多采用傳統(tǒng)機(jī)器視覺算法,通過圖像形態(tài)學(xué)處理與特征提取進(jìn)行缺陷識(shí)別,往往需要根據(jù)不同形態(tài)的缺陷特征,設(shè)計(jì)不同的特征提取與識(shí)別算法。鋁型材表面缺陷形態(tài)不規(guī)則、位置隨機(jī)且大小不一,采用傳統(tǒng)機(jī)器視覺缺陷識(shí)別方法進(jìn)行鋁型材缺陷識(shí)別,難以同時(shí)滿足檢測(cè)精度與效率的要求。

近些年,隨著人工智能技術(shù)的發(fā)展,基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法在工業(yè)零件的缺陷識(shí)別中得到應(yīng)用,并取得較好的效果。YOLO( You Only Look Once) 識(shí)別算法是目前深度學(xué)習(xí)領(lǐng)域執(zhí)行速度較優(yōu)算法,其將目標(biāo)識(shí)別問題轉(zhuǎn)化為回 歸問題可以同時(shí)預(yù)測(cè)多個(gè)識(shí)別框的位置和類別,具備較高準(zhǔn)確率和執(zhí)行速度。在 YOLO 的基礎(chǔ)上,又出現(xiàn) YOLOv2、YOLOv3改進(jìn)算法,在識(shí)別速度和準(zhǔn)確率上有所提高。其中,YOLOv3 對(duì)不同大小的多尺度目標(biāo)識(shí)別效果較好,在齒輪、玻璃外觀等表面缺陷識(shí)別領(lǐng)域得到應(yīng)用。深度學(xué)習(xí)的識(shí)別方法用于工業(yè)產(chǎn)品的缺陷識(shí)別,具有較好的泛化性和魯棒性。

目前,鋁型材表面缺陷的識(shí)別方法多采用傳統(tǒng)的缺陷識(shí)別技術(shù),將 YOLO 深度學(xué)習(xí)模型用于鋁型材識(shí)別,將有助于改善鋁型材表面缺陷識(shí)別的準(zhǔn)確率與速度,提高鋁型材的產(chǎn)品質(zhì)量與生產(chǎn)效率。針對(duì)鋁型材表面缺陷快速準(zhǔn)確識(shí)別的需求,本文提出一種基于 YOLO 深度學(xué)習(xí)模型的鋁型材表面缺陷識(shí)別方法。

首先,采用圖像增廣對(duì)原始圖像進(jìn)行擴(kuò)充,解決原始數(shù)據(jù)集中圖像數(shù)量少且缺陷數(shù)據(jù)不均衡問題,并構(gòu)建 3 個(gè)不同分辨率的數(shù)據(jù)集,提高訓(xùn)練過程中對(duì)不同尺度圖像的魯棒性。然后,建立鋁型材表面缺陷的 YOLO 識(shí)別模型,通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。最后,對(duì)鋁型材缺陷數(shù)據(jù)集的目標(biāo)框重新進(jìn)行聚類分析,并利用多尺度訓(xùn)練的方法,在低分辨率數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,再利用中高分辨率數(shù)據(jù)集微調(diào)識(shí)別模型,以增強(qiáng)模型的適應(yīng)性和準(zhǔn)確率。

01

數(shù)據(jù)集構(gòu)建

如圖 1 所示,鋁型材常見的缺陷有 4 種,分別是擦花、漏底、碰凹、凸粉。本文的鋁型材圖像數(shù)據(jù)集來源于江蘇省某鋁材公司。原始的鋁型材圖像數(shù)據(jù)集一共包括 342 張鋁型材缺陷圖像,缺陷圖像樣本較少,且部分缺陷占整個(gè)數(shù)據(jù)集比例過小、缺陷數(shù)據(jù)不均衡。深度學(xué)習(xí)在進(jìn)行訓(xùn)練時(shí),如果數(shù)據(jù)集較少會(huì)導(dǎo)致模型出現(xiàn)過擬合的問題。為解決上述問題,本文對(duì)有缺陷的鋁型材圖像,采用圖像增廣來進(jìn)行數(shù)據(jù)集擴(kuò)充。圖像增廣技術(shù)是對(duì)原圖像數(shù)據(jù)進(jìn)行一系列隨機(jī)對(duì)比度調(diào)整、旋轉(zhuǎn)等處理,產(chǎn)生相似但不同的訓(xùn)練數(shù)據(jù),以擴(kuò)大訓(xùn)練圖像集的規(guī)模,同時(shí)降低模型對(duì)某些特征的依賴,提高模型的泛化能力。

0411ab16-656f-11ee-939d-92fbcf53809c.png

▲圖 1 常見的 4 種鋁型材缺陷

本文采用的圖像增廣方法包括調(diào)整對(duì)比度、亮度、旋轉(zhuǎn)和縮放,每張?jiān)鰪V后的圖片為原圖經(jīng)過多種隨機(jī)組合變換得到。圖像增廣后每種缺陷類別的圖像的數(shù)量為 2 400 張,各缺陷比例為 1∶ 1∶ 1∶ 1。訓(xùn)練集的圖像被轉(zhuǎn)換為 PASCAL-VOC格式,其長度分別調(diào)整為 416、608、1 280,并調(diào)整寬度以保持原始縱橫比。整個(gè)鋁型材圖像數(shù)據(jù)集的圖片為 9 600 張,如表 1 所示。與一般的圖像分類數(shù)據(jù)集不同,鋁型材數(shù)據(jù)集在進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí),需提供圖片缺陷區(qū)域的坐標(biāo)位置。本文中通過 labellmg 軟件來進(jìn)行缺陷位置的標(biāo)注。鋁型材數(shù)據(jù)集中擦花、漏底、碰凹、凸粉四種缺陷分別標(biāo)注,并保存其路徑、標(biāo)簽和缺陷坐標(biāo)信息。

表 1 鋁型材缺陷數(shù)據(jù)集組成

04186b7c-656f-11ee-939d-92fbcf53809c.png

02

識(shí)別方法

2.1 鋁型材表面缺陷的 YOLO 識(shí)別模型

YOLOv3 作為一種基于回歸的目標(biāo)識(shí)別算法,能夠?qū)崿F(xiàn)多目標(biāo)的快速、準(zhǔn)確識(shí)別。YOLOv3 對(duì)輸入圖像的全局區(qū)域進(jìn)行訓(xùn)練,可加快訓(xùn)練速度且能更好地區(qū)分目標(biāo)和背景。先利用 Darknet-53主干網(wǎng)絡(luò)完成鋁型材表面缺陷特征提取,再采用目標(biāo)框直接預(yù)測(cè)目標(biāo)類別和位置。鋁型材表面缺陷形態(tài)不規(guī)則、位置隨機(jī)且大小不一,直接應(yīng)用 YOLOv3 模型進(jìn)行識(shí)別難以保證微小缺陷的精密識(shí)別。本文在深入分析 YOLOv3 模型特性的基礎(chǔ)上對(duì)其進(jìn)行改進(jìn)。將原有 3 尺度識(shí)別結(jié)構(gòu)擴(kuò)展為 4 尺度,提高對(duì)微小缺陷的識(shí)別能力; 通過重新聚類分析構(gòu)建適合鋁型材表面缺陷的初始目標(biāo)框,改進(jìn) YOLO 算法的模型參數(shù); 采用多尺度訓(xùn)練方式對(duì)訓(xùn)練流程進(jìn)行優(yōu)化,以增強(qiáng)模型對(duì)不同尺度缺陷的適應(yīng)性和識(shí)別精度,解決鋁型材表面缺陷識(shí)別困難、精度低等問題。

基于 YOLO 的鋁型材多尺度識(shí)別模型架構(gòu)如圖 2 所示。在數(shù)據(jù)集構(gòu)建后,以 Darknet-53 為主干網(wǎng)絡(luò)進(jìn)行特征提取,并融合多尺度識(shí)別,實(shí)現(xiàn)鋁型材表面缺陷的有效識(shí)別。該網(wǎng)絡(luò)從訓(xùn)練集和驗(yàn)證集中快速提取鋁型材表面缺陷相應(yīng)特征,并融合多尺度特征信息,同時(shí)得到缺陷預(yù)測(cè)框和類別,從而快速精確地識(shí)別出缺陷種類和位置。其中,訓(xùn)練集用于擬合識(shí)別網(wǎng)絡(luò),驗(yàn)證集用于調(diào)整識(shí)別網(wǎng)絡(luò)的超參數(shù)以及對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)估。

鋁型材表面缺陷識(shí)別模型的工作流程如下: 首先,構(gòu)建鋁型材表面缺陷圖像數(shù)據(jù)集,將缺陷圖像輸入識(shí)別模型進(jìn)行訓(xùn)練; 再根據(jù)預(yù)測(cè)邊界框及所屬類別的概率對(duì)缺陷進(jìn)行多尺度預(yù)測(cè); 最后通過損失函數(shù)不斷調(diào)整訓(xùn)練參數(shù),以得到改進(jìn)后識(shí)別模型的參數(shù)。

041dbbe0-656f-11ee-939d-92fbcf53809c.png

▲圖 2 鋁型材多尺度識(shí)別模型架構(gòu)

2.2 特征提取網(wǎng)絡(luò)

采用 Darknet-53 網(wǎng)絡(luò)作為圖像特征提取的主干網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3( a) 所示。整個(gè)網(wǎng)絡(luò)采用完整的卷積層,沒有池化層和固定輸出的連接層。Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)借鑒殘差神經(jīng)網(wǎng)絡(luò) Res Net( ResidualNetwork),在其網(wǎng)絡(luò)中加入 5 個(gè)殘差塊( residual) 。每個(gè)殘差塊中包含不同數(shù)量的殘差單元,殘差單元由特征提取層與兩個(gè) DBL( Darknetconv2d BN Leaky) 單元經(jīng)過兩層卷積所構(gòu)成,如圖 3( b) 所示。其中,殘差單元中的 DBL 單元也是YOLOv3 的基本構(gòu)成單元,由卷積( Conv) 、批歸一化( BN) 和激活函數(shù) Leaky Relu 共同構(gòu)成,如圖 3( c) 所示。Darknet-53網(wǎng)絡(luò)中加入殘差單元,可以保證主網(wǎng)絡(luò)結(jié)構(gòu)在不斷加深的情況下不會(huì)造成梯度消失或爆炸,以加強(qiáng)主網(wǎng)絡(luò)對(duì)圖像特征的提取效果,進(jìn)而提高模型識(shí)別的準(zhǔn)確率。

04240220-656f-11ee-939d-92fbcf53809c.png

▲圖 3 Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)

2.3 多尺度識(shí)別的模型結(jié)構(gòu)

對(duì)于大多數(shù)卷積神經(jīng)網(wǎng)絡(luò),通過特征提取網(wǎng)絡(luò)獲取圖像最終的特征圖后,直接在該特征圖上進(jìn)行預(yù)測(cè)。這種方式僅能獲取圖像中單一尺度的語義信息,識(shí)別的尺度范圍有限。在鋁型材表面缺陷識(shí)別過程中,缺陷區(qū)域往往大小不一,且具有不同特征,因而需要利用不同尺度的識(shí)別網(wǎng)絡(luò)來適應(yīng)多尺度目標(biāo)。YOLOv3 通過多尺度預(yù)測(cè)的方式對(duì)不同尺寸的目標(biāo)來識(shí)別,其結(jié)構(gòu)如圖 4 所示。以本文的研究對(duì)象鋁型材為例,輸入的圖像經(jīng)過 Dark-net-53 主干網(wǎng)絡(luò)時(shí),共進(jìn)行 5 次下采樣。每進(jìn)行一次下采樣,鋁型材的特征圖就會(huì)變成原輸入圖像尺寸一半。經(jīng)過 5 次即 32 倍下采樣后,生成尺度 1 的鋁型材特征圖。

該尺度特征圖為 13 ×13 分辨率,通過卷積等操作后進(jìn)行一次 2 倍上采樣,生成 26 ×26 分辨率的特征圖,將其與特征提取網(wǎng)絡(luò)中16 倍下采樣生成的 26 × 26 分辨率的特征圖進(jìn)行張量連接。通過張量連接融合兩個(gè)圖像的特征信息,生成一個(gè)雙尺度融合的鋁型材特征圖( 尺度 2) 。

以此類推,該尺度特征圖再次通過 2 倍上采樣,與 8 倍下采樣生成的 52 × 52 分辨率的特征圖進(jìn)行張量連接,生成同為 52 × 52 分辨率且 3 尺度融合的鋁型材特征圖( 尺度 3) 。在鋁型材缺陷識(shí)別中,存在微小的缺陷區(qū)域,使用原YOLOv3 中多尺度預(yù)測(cè)的方法難以滿足微小缺陷精確識(shí)別的需求。

針對(duì)該問題,本文對(duì) YOLOv3 模型進(jìn)行改進(jìn),將原有 3個(gè)尺度識(shí)別擴(kuò)展為 4 個(gè)尺度,增加 104 × 104 分辨率的特征圖,見圖 4 新加結(jié)構(gòu)。該尺度通過張量連接的方式,將 4 倍下采樣生成的 104 ×104 分辨率的特征圖與尺度 3 中 52 × 52分辨率的特征圖融合。通過多尺度特征融合方式,將不同分辨率的特征圖融合后單獨(dú)輸出且分別進(jìn)行目標(biāo)預(yù)測(cè),以此提升小目標(biāo)識(shí)別的精確度。融合后的尺度 4 包含之前各尺度信息的特征圖,可改善鋁型材表面微小缺陷的識(shí)別效果。

042b8ffe-656f-11ee-939d-92fbcf53809c.jpg

2.4 目標(biāo)框的聚類分析

目標(biāo)框( anchor boxes) 是一組具有固定寬高比的數(shù)據(jù)集圖像初始候選框,其設(shè)定對(duì)圖像檢測(cè)的精度和處理速度有著重要影響。YOLO 算法對(duì)目標(biāo)框的寬高比維度進(jìn)行 K-menas聚類分析,并對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程進(jìn)行優(yōu)化,即事先確定一組寬高比維度固定的矩形框作為選取目標(biāo)包圍框時(shí)的參照物,通過預(yù)測(cè)目標(biāo)框的偏移量取代直接預(yù)測(cè)坐標(biāo),以降低模型訓(xùn)練的復(fù)雜度。在 YOLOv3 原模型中,目標(biāo)框通過 Pas-cal VOC、COCO 等圖像標(biāo)準(zhǔn)數(shù)據(jù)集聚類得到,適用于自然場景中的目標(biāo)。

04320992-656f-11ee-939d-92fbcf53809c.png

▲圖 4 鋁型材表面缺陷多尺度識(shí)別模型結(jié)構(gòu)

本文要識(shí)別的目標(biāo)為鋁型材表面缺陷,這些缺陷的特征與上述數(shù)據(jù)集中的目標(biāo)完全不同,因此直接使用原算法中聚類分析過的目標(biāo)框并不合理。基于上述考慮,為得到精準(zhǔn)的鋁型材缺陷位置和類別信息,本文利用 K-menas 算法對(duì)數(shù)據(jù)集中目標(biāo)框的寬高比維度重新進(jìn)行聚類分析,得到適合鋁型材數(shù)據(jù)集的目標(biāo)框。通過聚類分析主要是獲得更高的交并比 Io U( Averange intersection over union) 。Io U 代表預(yù)測(cè)的目標(biāo)框與真實(shí)目標(biāo)框的重疊率,其值越大表示聚類效果越好。因此,本文采用 Io U 取代 K-means 方法中的歐氏距離,用 Io U定義的距離 D 可表示為

04395d28-656f-11ee-939d-92fbcf53809c.png

式中: Io Utruthpted為交并比,area( boxpred∩boxtruth表示預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的交集部分面積,area( boxpred∪boxtruth表示預(yù)測(cè)目標(biāo)框和真實(shí)目標(biāo)框的并集部分面積。本文設(shè)定 K-means 聚類分析中簇的個(gè)數(shù) K =1,2,…,20,聚類分析結(jié)果如圖 5 所示??梢钥闯?,隨著 K 個(gè)數(shù)的增加,Io U 的數(shù)值不斷增加,增長率不斷減小。一般來說,最佳 K 值選取點(diǎn)為曲線斜率最大點(diǎn)之后的點(diǎn)。一方面,較少數(shù)量的 K值可以減少模型計(jì)算量,進(jìn)一步加快損失函數(shù)的收斂。另一方面,也可以去除由較多目標(biāo)框帶來的識(shí)別誤差。從圖中可以看出,K =9 時(shí)為最優(yōu)點(diǎn),其對(duì)應(yīng)的目標(biāo)框分別為( 25,33) ,( 26,101) ,( 50,555) ,( 62,235) ,( 80,587) ,( 90,37) ,( 133,325) ,( 257,86) ,( 554,58) 。

043e3c3a-656f-11ee-939d-92fbcf53809c.png

▲圖 5 聚類分析曲線圖

03

實(shí)驗(yàn)與分析

3.1 模型訓(xùn)練

本文實(shí)驗(yàn)平臺(tái)如表 2 所示。在模型訓(xùn)練前,基本參數(shù)設(shè)置如下: 動(dòng)量( momentum) 設(shè)為 0. 9,衰減系數(shù)( decay) 設(shè)為0. 000 5,初始學(xué)習(xí)率( learning rate) 為 0. 000 1,學(xué)習(xí)率調(diào)整策略為 steps,最大迭代次數(shù)為 10 000 次。

表 2 實(shí)驗(yàn)平臺(tái)

0443f0ee-656f-11ee-939d-92fbcf53809c.png

為提高鋁型材缺陷識(shí)別的準(zhǔn)確率,本文通過多尺度訓(xùn)練的方法,對(duì)其訓(xùn)練流程進(jìn)行改進(jìn),使模型逐步適應(yīng)不同分辨率的圖像,以更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征。

具體流程如下:

1) 采用 312 × 312 分辨率的鋁型材圖像對(duì)模型進(jìn)行預(yù)訓(xùn)練,獲得初始的預(yù)訓(xùn)練權(quán)重;

2) 利用 416 × 416 分辨率的鋁型 材圖 像 對(duì) 模型 進(jìn) 行 微調(diào),使得模型能逐漸適應(yīng)中等分辨率的缺陷特征;

3) 輸入 608 × 608 分辨率的鋁型材圖像進(jìn)行訓(xùn)練,自主調(diào)整每層權(quán)重來適應(yīng)高分辨率圖像輸入,更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征,提高模型尺度不變性和魯棒性。在訓(xùn)練過程中,損失函數(shù) Loss 的定義為 Loss = lxyδ( x,y) + lwhδ( w,h) + lconfδ( conf) + lcδ( c) ( 3)

式中: δ( x,y) 為預(yù)測(cè)目標(biāo)框中心坐標(biāo)( x,y) 的誤差函數(shù),δ( w,h) 為預(yù)測(cè)目標(biāo)框?qū)捀弑染S度的誤差函數(shù)。δ( conf) 為置信度 Confidence 的誤差函數(shù),δ( c) 為類別 c 的誤差函數(shù)。lxy、lwh、lconf、lc分別為誤差權(quán)重系數(shù)。

圖 6 為本文模型在訓(xùn)練時(shí)的損失曲線圖。本文模型隨著迭代次數(shù)增加,誤差損失經(jīng)過震蕩呈下降趨勢(shì),當(dāng)訓(xùn)練迭代批次達(dá) 8 000 次后損失基本趨于平穩(wěn)。

3.2 缺陷識(shí)別效果

利用鋁型材測(cè)試集圖像對(duì)訓(xùn)練后的鋁型材 YOLO 模型進(jìn)行實(shí)驗(yàn),以驗(yàn)證本文方法的有效性。評(píng)價(jià)模型有效性的相關(guān)指標(biāo)包括平均準(zhǔn)確率 AP、平均準(zhǔn)確率均值 MAP和平均識(shí)別時(shí)間 t。AP 用于衡量模型在單個(gè)類別上的識(shí)別性能; MAP用于衡量模型在所有類別上的平均識(shí)別性能; 識(shí)別時(shí)間為模型平均處理每張圖像所需時(shí)間,其單位為 ms。和 MAP用公式表示為

04491cb8-656f-11ee-939d-92fbcf53809c.png

▲圖 6 損失曲線圖

0450a9e2-656f-11ee-939d-92fbcf53809c.png

式中: PinterP( R) 為召回率滿足 R~≥R 時(shí)的準(zhǔn)確率的最大值,N為模型中待識(shí)別類別的個(gè)數(shù)。召回率表示正確識(shí)別的目標(biāo)個(gè)數(shù)占總目標(biāo)數(shù)百分比,準(zhǔn)確率表示正確識(shí)別的目標(biāo)個(gè)數(shù)占總識(shí)別目標(biāo)個(gè)數(shù)百分比。召回率 R、準(zhǔn)確率 P 和 PinterP( R) 可用公式表示為

04559434-656f-11ee-939d-92fbcf53809c.png

式中: TP為真正例,表示正樣本被預(yù)測(cè)為正樣本的數(shù)量; FP為假正例,表示負(fù)樣本被預(yù)測(cè)為正樣本的數(shù)量; FN為假負(fù)例,表示正樣本被預(yù)測(cè)為負(fù)樣本的數(shù)量; TN為真負(fù)例,表示負(fù)樣本被預(yù)測(cè)為負(fù)樣本的數(shù)量。為了定量分析本文方法實(shí)驗(yàn)效果,將本文方法與 YOLO、YOLOv2、YOLOv3、YOLOv3-tiny 及文獻(xiàn)基于圖像特征的傳統(tǒng)機(jī)器視覺方法進(jìn)行對(duì)比。表 3 所示為不同方法的實(shí)驗(yàn)結(jié)果??梢钥闯觯捎?YOLO 系列原模型,對(duì)于擦花缺陷,僅YOLOv3 的 AP 值達(dá) 到 95. 25% ,其 他 方法的 AP 值 都 較 低,YOLO 的 AP 值則低于 70% 。在凸粉和漏底缺陷的測(cè)試結(jié)果中,本文方法的 AP 最高,分別達(dá)到 95. 75% 與 96. 86% 。碰凹缺陷因特征明顯,其 AP 值在對(duì)比方法中都較高,尤其是本文方法 AP 達(dá)到 100% 。

表 3 不同方法性能對(duì)比

045bd556-656f-11ee-939d-92fbcf53809c.png

相較于 YOLOv3、YOLOv2,本文方法中的網(wǎng)絡(luò)模型更復(fù)雜,使得平均識(shí)別時(shí)間分別增加 7 ms、29 ms,但 MAP值分別提升 1. 8% 、6. 76% 。YOLOv3-tiny 模型結(jié)構(gòu)簡單,檢測(cè)速度雖較快,但檢測(cè)精度明顯降低,其 MAP比本文方法低 5. 06% 和 3. 24% 。本文方法的多項(xiàng)性能指標(biāo)相較于改進(jìn)前均有顯著提升,尤其是 MAP達(dá)到 97. 46% 。與 YOLO 相比,本文方法 MAP提高14. 56% 。

與文獻(xiàn)基于圖像特征處理的傳統(tǒng)機(jī)器視覺方法相比,本文方法的 MAP提升 3. 96% 。圖 7 所示為不同 YO-LO 系列方法及本文模型的缺陷識(shí)別效果圖,圖 7 ( a) - ( f)分別為原圖、本文方法、YOLOv3、YOLOv3tiny、YOLOv2、YOLO的識(shí)別效果圖。YOLOv3-tiny 模型結(jié)構(gòu)較簡單,對(duì)于漏底缺陷 AP 雖然較高,但仍存在漏檢。

YOLOv2 和 YOLO 在識(shí)別漏底和凸粉缺陷時(shí)也出現(xiàn)漏檢情況,由于缺少多尺度檢測(cè)結(jié)構(gòu),難以有效檢測(cè)不明顯的缺陷特征,從側(cè)面驗(yàn)證了增加尺度預(yù)測(cè)結(jié)構(gòu)對(duì)提高模型識(shí)別精度的重要性。相比之下,本文方法對(duì)測(cè)試圖像中的 8 個(gè)擦花缺陷全部識(shí)別成功,優(yōu)于其他方法的檢測(cè)效果。在識(shí)別時(shí)間方面,本文方法相較于其他方法,單幅圖片的識(shí)別時(shí)間略有增加,達(dá)到 45 ms,但仍能滿足缺陷檢測(cè)的實(shí)時(shí)性要求。可以看出,本文方法整體性能表現(xiàn)最佳,可以同時(shí)滿足識(shí)別精度與速度的需求。

0462a53e-656f-11ee-939d-92fbcf53809c.png

▲圖 7 不同方法對(duì) 4 種缺陷的識(shí)別效果圖

綜上所述,本文方法通過增加模型識(shí)別尺度,可精確識(shí)別鋁型材微小表面缺陷的類別和位置,提升識(shí)別精度和定位精度。通過聚類分析重新構(gòu)建適合鋁型材表面缺陷的初始目標(biāo)框,利用多尺度訓(xùn)練優(yōu)化模型參數(shù),可更好適應(yīng)鋁型材圖像中不同尺度的缺陷特征。本文方法對(duì)鋁型材表面缺陷具有較好的識(shí)別效果,缺陷識(shí)別準(zhǔn)確率達(dá)到 97. 46% ,平均耗時(shí)為 45 ms,可同時(shí)滿足識(shí)別精度和速度要求。

04

結(jié)論

在鋁型材缺陷識(shí)別中,缺陷形態(tài)特征的復(fù)雜多變會(huì)嚴(yán)重影響模型識(shí)別準(zhǔn)確率和效果。針對(duì)鋁型材缺陷快速準(zhǔn)確識(shí)別問題,本文提出一種基于 YOLO 的鋁型材表面缺陷識(shí)別方法。對(duì)鋁型材數(shù)據(jù)集進(jìn)行圖像增廣,解決原始數(shù)據(jù)集中圖像數(shù)量少且缺陷特征不均衡問題。建立鋁型材表面缺陷識(shí)別的 YOLO 模型,并通過增加模型預(yù)測(cè)尺度,提高對(duì)微小缺陷的識(shí)別能力。對(duì)鋁型材數(shù)據(jù)集目標(biāo)框重新進(jìn)行聚類分析,并采用多尺度訓(xùn)練的方法,優(yōu)化缺陷識(shí)別效果。本文方法的缺陷識(shí)別準(zhǔn)確率達(dá)到 97. 46% ,優(yōu)于其他 5 種對(duì)比算法。本文提出鋁型材表面缺陷快速識(shí)別方法,缺陷識(shí)別準(zhǔn)確率高、實(shí)時(shí)性好,可用于鋁型材表面缺陷的快速準(zhǔn)確識(shí)別,提高鋁型材生產(chǎn)的自動(dòng)化水平與檢測(cè)效率。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 檢測(cè)技術(shù)
    +關(guān)注

    關(guān)注

    2

    文章

    354

    瀏覽量

    29075
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3226

    瀏覽量

    48807
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5500

    瀏覽量

    121111

原文標(biāo)題:項(xiàng)目案例:基于 YOLO 的鋁型材表面缺陷識(shí)別

文章出處:【微信號(hào):機(jī)器視覺沙龍,微信公眾號(hào):機(jī)器視覺沙龍】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    基于YOLO深度學(xué)習(xí)模型的鋁型材表面缺陷識(shí)別技術(shù)

    對(duì)于大多數(shù)卷積神經(jīng)網(wǎng)絡(luò),通過特征提取網(wǎng)絡(luò)獲取圖像最終的特征圖后,直接在該特征圖上進(jìn)行預(yù)測(cè)。這種方式僅能獲取圖像中單一尺度的語義信息,識(shí)別的尺度范圍有限
    發(fā)表于 09-08 17:46 ?1868次閱讀

    鋰電涂布表面缺陷檢測(cè)項(xiàng)目

    本人在用LABVIEW做一個(gè)鋰電涂布表面缺陷檢測(cè)項(xiàng)目,進(jìn)展情況:上位機(jī)與PLC串口通信正常、千兆相機(jī)能夠圖像采集(線幀采集)、就差圖像處理方面搞不定,對(duì)LABVIEW剛?cè)腴T,望各位提供點(diǎn)思路------取什么圖像特征作比較?
    發(fā)表于 05-19 16:55

    [轉(zhuǎn)]產(chǎn)品表面缺陷檢測(cè)

    檢測(cè),控制和應(yīng)用。缺陷檢測(cè)通常是指檢測(cè)物品表面缺陷,例如斑點(diǎn),凹痕,劃痕,色差,缺損,刮傷,少料多料等缺陷的檢測(cè)。 二、機(jī)器視覺檢測(cè)技術(shù)在產(chǎn)品表面
    發(fā)表于 08-07 16:40

    表面檢測(cè)市場案例,SMT缺陷檢測(cè)

    工廠項(xiàng)目。上期文章推薦了二十個(gè)表面檢測(cè)應(yīng)用案例,幫助智能工廠設(shè)備制造商和系統(tǒng)集成商選型,快速導(dǎo)入表面檢測(cè)智能。本期重點(diǎn)介紹機(jī)器視覺:電子電路表面組裝(SMT
    發(fā)表于 11-08 14:28

    客車鋁型材側(cè)窗對(duì)接的釬焊工藝

    分析用箔狀釬料釬焊客車鋁型材側(cè)窗對(duì)接頭的應(yīng)用特點(diǎn); 詳述其釬焊工藝過程。關(guān)鍵詞: 客車 側(cè)窗 鋁型材 釬焊 工藝Abstract: Th is paper analyses the app lication characteristics of the
    發(fā)表于 07-27 08:49 ?22次下載

    常見工業(yè)鋁型材3D模型庫詳細(xì)資料免費(fèi)下載

    工業(yè)鋁型材含義 英文名,Aluminum Profile System ,別名:工業(yè)鋁擠材引、工業(yè)鋁合金型材,工業(yè)鋁型材是一種以鋁為主要成份的合金材料,鋁棒通過熱熔,擠壓從而得到不同截面形狀的鋁材
    發(fā)表于 08-29 16:05 ?64次下載

    最常見的鋁型材表面處理方法

    最常見的鋁型材表面處理方法有哪些?下面等離子拋光機(jī)廠家和贏智能來給大家介紹下。一、磨砂面料鋁型材:磨砂面鋁型材避免了光亮的鋁合金型材在建筑裝
    發(fā)表于 02-27 15:17 ?1533次閱讀

    鋁型材產(chǎn)品是電子商品的主要產(chǎn)品之一,它有哪些優(yōu)點(diǎn)

    如今許多?電子設(shè)備的外殼原材料關(guān)鍵為鋁型材殼體,樂清金屬回收,鋁型材產(chǎn)品早已變成電子產(chǎn)業(yè)商品的主要產(chǎn)品之一。鋁型材殼體是用擠壓成型生產(chǎn)制造出去鋁型材根據(jù)五金沖壓生產(chǎn)加工及金屬
    發(fā)表于 12-25 11:17 ?929次閱讀

    LED燈鋁型材噴涂時(shí)需要注意的細(xì)節(jié)有哪些

    LED燈鋁型材在進(jìn)行噴涂環(huán)節(jié)中,需要注意的地方比較多,處理要正確、規(guī)范,這樣在以后的使用中是比較美觀耐用的,下面我們就看一下LED燈鋁型材在進(jìn)行噴涂環(huán)節(jié)中需要注意哪些細(xì)節(jié)。
    的頭像 發(fā)表于 12-24 11:59 ?2051次閱讀

    氙燈老化箱助力粉末噴涂鋁型材耐候性測(cè)試

    與其他材料一樣,建筑用鋁型材也會(huì)發(fā)生老化現(xiàn)象,當(dāng)耐候性粉末鋁型材受到光照,溫度,潮濕等自然因素影響時(shí),會(huì)發(fā)生褪色,起泡,粉化,開裂等老化現(xiàn)象,影響產(chǎn)品的美觀和性能。因此建筑用鋁型材耐候性是質(zhì)量
    發(fā)表于 09-28 09:30 ?1141次閱讀

    機(jī)器視覺如何進(jìn)行鋁材表面缺陷檢測(cè)

    隨著金屬門窗、交通運(yùn)輸業(yè)、化工業(yè)、電力設(shè)備業(yè)、國防軍工等行業(yè)的快速發(fā)展,對(duì)鋁型材料的需求也隨之增長,推動(dòng)著技術(shù)的進(jìn)步以及行業(yè)的持續(xù)性健康發(fā)展。而依靠人眼進(jìn)行表面瑕疵檢測(cè)的方式已無法快速響應(yīng)高速生產(chǎn)
    發(fā)表于 05-11 16:29 ?1548次閱讀

    MPI以太網(wǎng)通訊處理器在鋁型材時(shí)效爐中的實(shí)際應(yīng)用案例

    鋁型材時(shí)效爐作為熱處理行業(yè)的典型設(shè)備,在各個(gè)鋁型材加工過程中起到至關(guān)重要的作用,這套設(shè)備為最終工序設(shè)備,處理后的型材即為成品,對(duì)設(shè)備的穩(wěn)定性及溫度均勻性要求都非常高。
    發(fā)表于 06-15 16:51 ?1307次閱讀
    MPI以太網(wǎng)通訊處理器在<b class='flag-5'>鋁型材</b>時(shí)效爐中的實(shí)際應(yīng)用案例

    鋁型材的分類及應(yīng)用是什么?

    鋁型材,就是鋁棒通過熱熔、擠壓、從而得到不同截面形狀的鋁材料。
    的頭像 發(fā)表于 06-26 12:56 ?4352次閱讀

    工業(yè)鋁型材測(cè)試報(bào)告

    工業(yè)鋁型材試驗(yàn),離不開專業(yè)第三方檢測(cè)公司的技術(shù)支持,為保證工業(yè)鋁型材廠家篩選、配件、加工等質(zhì)量性能,以及客戶利益,需要尋求專業(yè)的第三方檢測(cè)公司進(jìn)行工業(yè)鋁型材試驗(yàn)檢測(cè)。工業(yè)鋁型材相對(duì)建筑
    的頭像 發(fā)表于 08-30 08:34 ?872次閱讀
    工業(yè)<b class='flag-5'>鋁型材</b>測(cè)試報(bào)告

    音圈電機(jī)模組不同鋁型材的性能和應(yīng)用

    。 音圈電機(jī)模組通常由音圈電機(jī)、導(dǎo)軌、基座、結(jié)構(gòu)零部件等組成。在音圈電機(jī)模組中,鋁型材是一種較為常見的材料選擇,然而,不同的鋁型材也存在一些差異,這些差異可能會(huì)對(duì)音圈電機(jī)模組的性能和應(yīng)用產(chǎn)生影響。 一、不同的鋁型
    的頭像 發(fā)表于 04-18 08:15 ?321次閱讀
    音圈電機(jī)模組不同<b class='flag-5'>鋁型材</b>的性能和應(yīng)用
    RM新时代网站-首页