本發(fā)明涉及產(chǎn)品缺陷檢測，更具體的，涉及一種工業(yè)產(chǎn)品外觀缺陷語義分割方法及系統(tǒng)。

背景技術(shù)：

1、表面缺陷檢測廣泛應(yīng)用于各工業(yè)領(lǐng)域，包括3c、半導(dǎo)體及電子、汽車、化工、醫(yī)藥、輕工、軍工等行業(yè)。據(jù)統(tǒng)計(jì)，當(dāng)前80％以上的工業(yè)表面缺陷檢測仍依賴于人工檢測法。以富士康，伯恩光學(xué)等為代表的制造企業(yè)招聘大量的質(zhì)檢工人，采取流水線的形式進(jìn)行檢測。然而，人工檢測法具有勞動(dòng)強(qiáng)度大、檢測穩(wěn)定性及一致性差、自動(dòng)化程度低、生產(chǎn)效率低、難以形成精益化生產(chǎn)等缺點(diǎn)，進(jìn)而導(dǎo)致難以覆蓋大規(guī)模的質(zhì)檢需求。近年來，隨著工業(yè)成像、計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域的新技術(shù)層出不窮，基于視覺的工業(yè)缺陷檢測技術(shù)得到了長足的發(fā)展，成為針對產(chǎn)品外觀質(zhì)檢的一種有效的解決方案，引發(fā)了學(xué)術(shù)界和工業(yè)界的強(qiáng)烈關(guān)注。

2、語義分割是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)技術(shù)，它的目標(biāo)是將數(shù)字圖像或視頻幀中的每個(gè)像素正確地分類到一個(gè)預(yù)定義的類別。通過語義分割，可以將圖像中的不同對象和區(qū)域區(qū)分開來，并且對每個(gè)對象進(jìn)行識(shí)別和定位。其中，u-net是一種專門為語義分割任務(wù)設(shè)計(jì)的深度學(xué)習(xí)模型。u-net采用了一種常用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，由編碼器與解碼器組成，其架構(gòu)簡單且拓展性強(qiáng)，被廣泛運(yùn)用在各類應(yīng)用場景，然而其全卷積網(wǎng)絡(luò)結(jié)構(gòu)存在著一定局限性，傳統(tǒng)模型無法保證定位準(zhǔn)確的情況下高效地提取多層級間的上下文信息，導(dǎo)致其在對局部信息不敏感的同時(shí)，容易忽略邊界細(xì)節(jié)信息，影響了分割精度。目前，基于u-net的語義分割模型在工業(yè)產(chǎn)品外觀缺陷檢測中取得了顯著的成果，但仍存在一些問題和缺點(diǎn)，例如噪聲干擾敏感性、難以區(qū)分缺陷和背景、難以處理復(fù)雜邊界等。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在圖像分割的精度低，準(zhǔn)確率不高的問題，提出了一種工業(yè)產(chǎn)品外觀缺陷語義分割方法及系統(tǒng)，有效地提高圖像分割的精度與準(zhǔn)確率。

2、本發(fā)明的技術(shù)方案如下：

3、本發(fā)明公開了一種工業(yè)產(chǎn)品外觀缺陷語義分割方法，包括以下步驟：

4、s1、制作待檢測工業(yè)產(chǎn)品外觀圖像的數(shù)據(jù)集；

5、s2、對所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到預(yù)處理后的數(shù)據(jù)集，將預(yù)處理好的數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

6、s3、構(gòu)建語義分割模型，使用基于邊緣監(jiān)督的訓(xùn)練方式，采用聯(lián)合加權(quán)的網(wǎng)絡(luò)損失函數(shù)，通過所述訓(xùn)練集對語義分割模型進(jìn)行多次迭代訓(xùn)練，直至所述網(wǎng)絡(luò)損失函數(shù)達(dá)到收斂，得到訓(xùn)練好的語義分割模型；將所述測試集輸入訓(xùn)練好的語義分割模型進(jìn)行測試，得到最終語義分割模型；

7、s4、將待檢測圖像輸入最終語義分割模型，輸出工業(yè)產(chǎn)品外觀缺陷語義分割結(jié)果。

8、優(yōu)選地，所述制作待檢測工業(yè)產(chǎn)品外觀圖像的數(shù)據(jù)集包括：

9、s11、獲取待檢測工業(yè)產(chǎn)品外觀圖像，所述待檢測工業(yè)產(chǎn)品外觀圖像包括異常樣本和正常樣本，將所述異常樣本和所述正常樣本圖像對比，確定異常樣本的缺陷類型；

10、s12.使用圖像標(biāo)注工具對確定缺陷類型的異常樣本進(jìn)行缺陷標(biāo)注，得到異常缺陷圖像，為異常缺陷圖像中的不同缺陷目標(biāo)賦予對應(yīng)缺陷類型的標(biāo)簽；

11、s13.將所述異常缺陷圖像和所述標(biāo)簽制作成數(shù)據(jù)集。

12、優(yōu)選地，所述對所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，包括：

13、s21.對所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，得到數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集；

14、s22.將數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集按設(shè)定比例劃分為訓(xùn)練集和測試集。

15、優(yōu)選地，所述語義分割模型包括依次連接的resnet-50編碼器、eca注意力模塊和fpn特征金字塔解碼器。

16、優(yōu)選地，所述resnet-50編碼器用于對輸入所述語義分割模型的圖像進(jìn)行特征提取和最大池化下采樣；其中共包括五層卷積層，每一層卷積層都銜接一層整流線性單元和一個(gè)最大池化操作。

17、優(yōu)選地，所述eca注意力模塊包括全局平均池化層、1d卷積層和sigmoid激活函數(shù)層；

18、所述全局平均池化層對輸入所述eca注意力模塊的特征圖進(jìn)行全局平均池化，獲取不同尺度的一維特征向量，所述1d卷積層利用高效跨通道信息獲取能力的1d卷積運(yùn)算來提取一維特征向量的特征像素，所述sigmoid激活函數(shù)層對所述特征像素進(jìn)行加權(quán)，得到加權(quán)結(jié)果；將所述加權(quán)結(jié)果通過跳躍連接所述一維特征向量，得到不同層級的多尺度融合后的圖像特征信息，將所述圖像特征信息傳遞至fpn特征金字塔解碼器。

19、優(yōu)選地，所述fpn特征金字塔解碼器包括若干層解碼器，所述fpn特征金字塔解碼器采用雙線性插值法自下而上的傳遞和聚合不同尺度的語義特征，每一層解碼器輸出都自下而上的傳入上一層的解碼器的輸入端。

20、優(yōu)選地，所述使用基于邊緣監(jiān)督的訓(xùn)練方式包括：使用拉普拉斯算子邊緣提取算法提取標(biāo)簽圖的圖像邊緣信息，通過不同步長的卷積獲取不同尺度圖像邊緣特征圖后將其上采樣還原至原始大小并融合以實(shí)現(xiàn)動(dòng)態(tài)重塑。

21、優(yōu)選地，所述采用聯(lián)合加權(quán)的網(wǎng)絡(luò)損失函數(shù)，包括：

22、在邊緣信息監(jiān)督指導(dǎo)下計(jì)算邊緣細(xì)節(jié)損失函數(shù)；

23、采用系數(shù)損失函數(shù)和二元交叉熵?fù)p失函數(shù)共同優(yōu)化所述邊緣細(xì)節(jié)損失函數(shù)的計(jì)算如下：

24、ldetail＝ldice+lnce

25、其中，ldetail表示對標(biāo)簽特征圖計(jì)算得來的邊緣細(xì)節(jié)損失函數(shù)，ldice表示系數(shù)損失函數(shù)，lbce表示二元交叉熵?fù)p失函數(shù)；

26、選取系數(shù)損失函數(shù)、交叉熵?fù)p失函數(shù)和焦點(diǎn)損失函數(shù)作為主損失函數(shù)，所述主損失函數(shù)的計(jì)算公式如下：

27、lmain＝ldice+lce+lfocal

28、其中，lmain表示最終輸出的特征圖計(jì)算得來的主損失函數(shù)，lce表示交叉熵?fù)p失函數(shù)，lfocal表示焦點(diǎn)損失函數(shù)；

29、將所述主損失函數(shù)和所述邊緣細(xì)節(jié)損失函數(shù)聯(lián)合加權(quán)構(gòu)成網(wǎng)絡(luò)損失函數(shù)，所述網(wǎng)絡(luò)損失函數(shù)的計(jì)算公式如下：

30、loss＝λldetail+μlmain

31、其中，loss表示網(wǎng)絡(luò)損失函數(shù)，λ表示第一加權(quán)參數(shù)，μ表示第二加權(quán)參數(shù)。

32、本發(fā)明還提出了一種工業(yè)產(chǎn)品外觀缺陷語義分割系統(tǒng)，包括：

33、制作模塊，用于制作待檢測工業(yè)產(chǎn)品外觀圖像的數(shù)據(jù)集；

34、預(yù)處理模塊，用于對所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到預(yù)處理后的數(shù)據(jù)集，將預(yù)處理好的數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

35、語義分割模型構(gòu)建模塊，用于構(gòu)建語義分割模型，使用基于邊緣監(jiān)督的訓(xùn)練方式，采用聯(lián)合加權(quán)的網(wǎng)絡(luò)損失函數(shù)，通過所述訓(xùn)練集對語義分割模型進(jìn)行多次迭代訓(xùn)練，直至所述網(wǎng)絡(luò)損失函數(shù)達(dá)到收斂，得到訓(xùn)練好的語義分割模型；將所述測試集輸入訓(xùn)練好的語義分割模型進(jìn)行測試，得到最終語義分割模型；

36、輸出模塊，將待檢測圖像輸入最終語義分割模型，輸出工業(yè)產(chǎn)品外觀缺陷語義分割結(jié)果。

37、本發(fā)明的有益效果：

38、本發(fā)明提出了一種工業(yè)產(chǎn)品外觀缺陷語義分割方法及系統(tǒng)，首先構(gòu)建工業(yè)產(chǎn)品外觀缺陷的語義分割模型，然后使用基于邊緣監(jiān)督的訓(xùn)練方式，將邊緣監(jiān)督納入訓(xùn)練當(dāng)中，并采用聯(lián)合加權(quán)的網(wǎng)絡(luò)損失函數(shù)，對語義分割模型進(jìn)行多次迭代訓(xùn)練，以幫助語義分割模型更好的學(xué)習(xí)物體的邊界信息，提升語義分割模型對淺層中缺陷細(xì)節(jié)的感知和學(xué)習(xí)能力，得到訓(xùn)練好的語義分割模型，進(jìn)一步所述測試集輸入訓(xùn)練好的語義分割模型進(jìn)行測試，得到最終語義分割模型，通過最終語義分割模型輸出工業(yè)產(chǎn)品外觀缺陷語義分割結(jié)果，有效地提高圖像分割的精度與準(zhǔn)確率。