本發(fā)明涉及一種機(jī)器視覺(jué)和目標(biāo)檢測(cè)方法，尤其涉及一種基于改進(jìn)yolov7的金屬表面缺陷檢測(cè)方法。

背景技術(shù)：

1、金屬零件在生產(chǎn)和加工過(guò)程中，由于各種復(fù)雜因素的影響，表面往往會(huì)出現(xiàn)各種缺陷，例如裂縫、劃痕、夾雜物等。金屬零件表面質(zhì)量將直接影響到產(chǎn)品運(yùn)行效能與壽命，更有可能影響到裝備的運(yùn)行安全與穩(wěn)定性，因此金屬表面缺陷檢測(cè)至關(guān)重要。傳統(tǒng)的鋼板表面缺陷檢測(cè)常用的方法包括人工檢測(cè)法、光電檢測(cè)法和紅外檢測(cè)法等。人工檢測(cè)法采用人工目視檢查和簡(jiǎn)單的觸摸檢驗(yàn)，主觀性強(qiáng)且效率低下。光電檢測(cè)法耗費(fèi)資源較多、難以檢測(cè)輕微劃痕、在缺陷種類相似或復(fù)雜的情況下容易產(chǎn)生誤判或漏檢的問(wèn)題，而紅外檢測(cè)法可檢測(cè)的缺陷種類較少，通用性較差。

2、傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)采用的目標(biāo)檢測(cè)算法都是基于候選區(qū)域進(jìn)行特征提取，時(shí)間復(fù)雜度較高，模型訓(xùn)練時(shí)間長(zhǎng)，且由于被檢測(cè)目標(biāo)的形態(tài)具有多樣性，導(dǎo)致圖片特征的魯棒性較差。深度學(xué)習(xí)技術(shù)以通用性較強(qiáng)的優(yōu)點(diǎn)成為了機(jī)器視覺(jué)檢測(cè)中的一項(xiàng)研究熱點(diǎn)。對(duì)于不同對(duì)象的缺陷數(shù)據(jù)集，它通過(guò)自適應(yīng)訓(xùn)練后，能實(shí)現(xiàn)相應(yīng)的智能表面缺陷檢測(cè)?；谏疃葘W(xué)習(xí)的檢測(cè)算法從思路上主要分為兩類：一類是兩步檢測(cè)算法，將目標(biāo)檢測(cè)分為生成候選框和識(shí)別目標(biāo)類別兩部分，典型代表為mask?r-cnn、faster?r-cnn等算法，優(yōu)勢(shì)在于檢測(cè)精度較高。另一類是單步檢測(cè)算法，直接從圖片中預(yù)測(cè)出物體的類別，典型代表為yolo(youonly?look?once)、ssd(single?shot?multibox?detector)等算法，優(yōu)勢(shì)在于檢測(cè)速度較快。專利202410574924.6使用在faster?r-cnn模型的基礎(chǔ)上，修改損失函數(shù)并添加注意力機(jī)制，分別實(shí)現(xiàn)了對(duì)鋁材表面數(shù)據(jù)集和葉輪表面數(shù)據(jù)集的高精度檢測(cè)。專利201910277616.6使用改進(jìn)的ssd模型，通過(guò)學(xué)習(xí)第一網(wǎng)絡(luò)中帶標(biāo)注框的圖像信息，對(duì)第二網(wǎng)絡(luò)的圖像進(jìn)行檢測(cè)，完成目標(biāo)檢測(cè)任務(wù)。

3、yolo目標(biāo)檢測(cè)系列算法自從2015年提出以來(lái)，不斷進(jìn)化發(fā)展，成為單階段目標(biāo)檢測(cè)模型中最杰出的目標(biāo)檢測(cè)器之一。它將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化成邏輯回歸問(wèn)題，支持多標(biāo)簽對(duì)象并保持精度情況下，具有較高的檢測(cè)速度。中國(guó)專利202110017704.x基于yolov3，通過(guò)修改主干網(wǎng)絡(luò)模型，引入金字塔池化網(wǎng)絡(luò)，增加大尺寸特征圖輸出，實(shí)現(xiàn)水下圖像的目標(biāo)檢測(cè)，并對(duì)比f(wàn)aster?r-cnn、ssd和yolov2算法，驗(yàn)證改進(jìn)算法在檢測(cè)精度上的優(yōu)越性。中國(guó)專利202410163902.0基于yolov7模型，通過(guò)添加注意力機(jī)制和多尺度特征聚合模塊，并修改損失函數(shù)，實(shí)現(xiàn)x光圖像物品檢測(cè)，對(duì)比f(wàn)aster?r-cnn兩步檢測(cè)算法和ssd、yolov3等單步檢測(cè)算法，體現(xiàn)出yolo系列算法相比其他單步、兩步等算法的優(yōu)勢(shì)，并證明了改進(jìn)yolo算法在處理目標(biāo)檢測(cè)任務(wù)時(shí)在全類平均精度、每秒幀數(shù)等指標(biāo)的提升。中國(guó)專利202310678915.7基于yolox，替換主干網(wǎng)絡(luò)，并對(duì)特征圖進(jìn)行多尺度增強(qiáng)和細(xì)化，實(shí)現(xiàn)金屬表面缺陷視覺(jué)檢測(cè)，并使用一個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。

4、yolo系列算法已在目標(biāo)檢測(cè)領(lǐng)域取得較大進(jìn)展，并不斷更新版本，以快速準(zhǔn)確地檢測(cè)能力被廣泛使用于表面缺陷檢測(cè)方向上，但對(duì)于金屬表面缺陷這類小尺寸目標(biāo)檢測(cè)由于像素占比低，易產(chǎn)生特征信息丟失，導(dǎo)致檢測(cè)精度不高，且在不同數(shù)據(jù)集不同環(huán)境下的檢測(cè)精度存在一定偏差。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的是提供一種金屬表面缺陷檢測(cè)方法，解決針對(duì)金屬表面缺陷類型多樣，且同一網(wǎng)絡(luò)對(duì)不同數(shù)據(jù)集檢測(cè)精度存在差異的問(wèn)題。

2、技術(shù)方案：本發(fā)明所述的一種金屬表面缺陷檢測(cè)方法，包括如下步驟：

3、建立金屬表面缺陷圖像數(shù)據(jù)集；

4、預(yù)處理金屬表面缺陷圖像，保證同一圖片中存在多種缺陷類型；

5、改進(jìn)yolov7網(wǎng)絡(luò)模型；

6、使用改進(jìn)后的yolov7模型對(duì)金屬表面缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練評(píng)估，在訓(xùn)練過(guò)程中選擇合適的超參數(shù)；

7、對(duì)模型訓(xùn)練后的數(shù)據(jù)進(jìn)行分析判斷，并對(duì)模型進(jìn)行調(diào)整和優(yōu)化；

8、保留最優(yōu)模型權(quán)重，對(duì)訓(xùn)練后的模型進(jìn)行實(shí)驗(yàn)測(cè)試。

9、優(yōu)選地，所述建立金屬表面缺陷圖像數(shù)據(jù)集包括：

10、采用產(chǎn)線上真實(shí)采集到的金屬零部件表面缺陷圖像，結(jié)合公開(kāi)圖像數(shù)據(jù)集，實(shí)現(xiàn)不同環(huán)境下的多種類金屬表面缺陷的圖像采集；標(biāo)注出圖像中每一處表面缺陷的位置和類別信息，對(duì)數(shù)據(jù)集中的圖像進(jìn)行擴(kuò)充后隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

11、進(jìn)一步地，所述不同環(huán)境下的多種類金屬表面缺陷的圖像采集包括：

12、綜合使用公開(kāi)的nue-det、gc10鋼材表面圖像數(shù)據(jù)集、天池鋁型材缺陷數(shù)據(jù)集和采集的金屬零部件表面缺陷圖像自制數(shù)據(jù)集，篩選其中金屬表面的典型缺陷，針對(duì)開(kāi)裂、斑塊、內(nèi)含物、壓痕、沖孔、氧化表面、軋入氧化皮、劃痕、污漬、絲斑10種類型的表面缺陷進(jìn)行目標(biāo)檢測(cè)。

13、進(jìn)一步地，所述標(biāo)注出圖像中每一處表面缺陷的位置和類別信息包括：

14、使用labelimg標(biāo)注工具，按yolo格式標(biāo)注出每一處金屬表面缺陷的位置和類別信息；

15、所述對(duì)數(shù)據(jù)集中的圖像進(jìn)行擴(kuò)充后隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集包括：

16、通過(guò)平移、鏡像和色度的變化對(duì)數(shù)據(jù)集中的圖像進(jìn)行擴(kuò)充，按8:1:1的比例隨機(jī)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

17、優(yōu)選地，所述預(yù)處理金屬表面缺陷圖像包括：

18、檢測(cè)模型將輸入的金屬表面圖像進(jìn)行加載至內(nèi)存，設(shè)定馬賽克數(shù)據(jù)增強(qiáng)，隨機(jī)對(duì)4幅圖像進(jìn)行剪裁、縮放以及重新拼接，組成1幅新的圖像，使得一張圖中存在多種缺陷類型，增強(qiáng)網(wǎng)絡(luò)對(duì)不同表面缺陷檢測(cè)的魯棒性參數(shù)；設(shè)定輸入圖像尺寸統(tǒng)一處理為640×640；自動(dòng)驗(yàn)證并修改初始錨框尺寸參數(shù)，使錨框在金屬表面缺陷數(shù)據(jù)集上的最佳召回率大于等于0.98。

19、優(yōu)選地，所述改進(jìn)yolov7網(wǎng)絡(luò)模型包括：

20、將金屬表面缺陷圖像輸入主干網(wǎng)絡(luò)進(jìn)行特征提取，通過(guò)頸部網(wǎng)絡(luò)進(jìn)行特征融合，通過(guò)頭部網(wǎng)絡(luò)進(jìn)行非極大值抑制運(yùn)算，輸出檢測(cè)結(jié)果；在ciou損失函數(shù)的基礎(chǔ)上，引入歸一化wasserstein距離損失函數(shù)，提升對(duì)小尺寸目標(biāo)的定位精度；在小尺寸預(yù)測(cè)頭前添加spdconv模塊，提升小目標(biāo)準(zhǔn)確率，獲取有效金屬表面缺陷特征；在頸部網(wǎng)絡(luò)的下采樣操作前添加極化自注意力模塊，增強(qiáng)網(wǎng)絡(luò)特征提取能力。

21、進(jìn)一步地，所述在ciou損失函數(shù)的基礎(chǔ)上，引入歸一化wasserstein距離損失函數(shù)包括：

22、在yolov7使用的ciou損失函數(shù)基礎(chǔ)上引入歸一化wasserstein距離損失函數(shù)作為度量指標(biāo)，即將矩形框建模成高斯分布，然后使用分布距離度量矩形框之間的相似度；wasserstein距離能在兩個(gè)分布沒(méi)有重疊，或者重疊部分可以忽略不計(jì)的情況下反應(yīng)w22(na,nb)分布的遠(yuǎn)近；

23、所述歸一化wasserstein距離nwd的計(jì)算方式為：

24、

25、c為與數(shù)據(jù)集相關(guān)的常數(shù)，na和nb分別為真實(shí)框a＝(cxa,cya,ωa,ha)和預(yù)測(cè)框b＝(cxb,cyb,ωb,hb)建模的高斯分布，w22(na,nb)為標(biāo)注框建模的高斯分布的wasserstein距離；

26、將ciou與nwd損失之間的比例調(diào)整為5:5，二者相加作為最終的損失函數(shù)值，平衡不同尺寸缺陷檢測(cè)任務(wù)需求。

27、進(jìn)一步地，所述在小尺寸預(yù)測(cè)頭前添加spdconv模塊包括：

28、在小尺寸圖像預(yù)測(cè)頭前添加由空間到深度層和非跨步卷積層構(gòu)成的spdconv模塊，減少圖像信息丟失；對(duì)于原始輸入圖片經(jīng)過(guò)特征提取后得到特征圖x，首先通過(guò)spd層得到一系列子特征圖fx，y，即為一次下采樣操作；然后將子特征圖沿通道維度相連接，得到中間特征圖x’；最后由非跨步卷積層進(jìn)行過(guò)濾得到最終特征圖x”。小尺寸可以為20×20尺寸。

29、進(jìn)一步地，所述在頸部網(wǎng)絡(luò)的下采樣操作前添加極化自注意力模塊包括：

30、在yolov7頸部網(wǎng)絡(luò)的兩次下采樣前添加三個(gè)并聯(lián)型極化自注意力機(jī)制，保持網(wǎng)絡(luò)在通道和空間維度保持較高的分辨率。

31、本發(fā)明另一方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法的步驟。

32、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明具有如下顯著優(yōu)點(diǎn)：

33、首先，本發(fā)明針對(duì)金屬表面缺陷尺寸差異大的問(wèn)題，在原ciou損失函數(shù)的基礎(chǔ)上，添加nwd損失函數(shù)，提升網(wǎng)絡(luò)對(duì)大小不一的表面缺陷的適應(yīng)能力；

34、其次，針對(duì)低分辨率圖像及小尺寸缺陷的檢測(cè)難度大的問(wèn)題，在20×20預(yù)測(cè)頭前添加spdconv模塊，提升檢測(cè)精度；

35、最后，針對(duì)缺陷類型多樣性的特點(diǎn)，在特征融合網(wǎng)絡(luò)中融入極化自注意力模塊，加強(qiáng)對(duì)重要特征的關(guān)注和利用，提升網(wǎng)絡(luò)特征提取能力和泛化能力。建立多種類金屬表面缺陷圖像數(shù)據(jù)集，使用產(chǎn)線上真實(shí)采集到的金屬零部件圖像，結(jié)合公開(kāi)數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)進(jìn)行不同材質(zhì)、不同環(huán)境下的金屬表面缺陷檢測(cè)訓(xùn)練。

36、通過(guò)這些改進(jìn)，本發(fā)明提高了方法在不同環(huán)境下多種金屬零部件表面檢測(cè)的適應(yīng)性，使其更適合多類型復(fù)雜金屬表面缺陷檢測(cè)任務(wù)，具有較好的魯棒性。