本發(fā)明屬于深度學(xué)習(xí)領(lǐng)域，尤其涉及一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法。

背景技術(shù)：

1、隨著電子芯片的快速發(fā)展，印刷電路板(printed?circuit?board，pcb)作為連接各種電子元件的樞紐，正成為現(xiàn)代制造業(yè)中關(guān)鍵的組成部分，為各類(lèi)設(shè)備提供硬件支持。隨著pcb需求的不斷增加和生產(chǎn)速度的提高，現(xiàn)代化生產(chǎn)設(shè)備正越來(lái)越緊密。pcb制造也更加精細(xì)化，使得構(gòu)成pcb的元器件尺寸不斷減小。這種趨勢(shì)導(dǎo)致pcb制造過(guò)程中出現(xiàn)缺孔、鼠咬、開(kāi)路、短路等微小缺陷越發(fā)的難以檢測(cè)。

2、傳統(tǒng)的pcb缺陷檢測(cè)主要依賴(lài)人工，準(zhǔn)確率較低，成本較高。深度學(xué)習(xí)技術(shù)的提出極大程度的提高了pcb缺陷檢測(cè)的準(zhǔn)確率，但是仍舊缺乏一種檢測(cè)速度和檢測(cè)精度雙高的方法。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，本發(fā)明引入遷移學(xué)習(xí)來(lái)實(shí)現(xiàn)小樣本的模型訓(xùn)練，能夠提升pcb缺陷檢測(cè)準(zhǔn)確率和魯棒性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，包括：

3、獲取待檢測(cè)pcb圖；

4、將待檢測(cè)pcb圖輸入至經(jīng)過(guò)遷移學(xué)習(xí)后的缺陷檢測(cè)模型，獲取檢測(cè)結(jié)果，其中，所述缺陷檢測(cè)模型包括：mobilenetv2模塊、fpn模塊和faster?r-cnn模塊和遷移學(xué)習(xí)模塊；

5、所述mobilenetv2模塊，用于對(duì)圖像特征進(jìn)行提取，獲取卷積特征圖；

6、所述fpn模塊，用于增強(qiáng)所述卷積特征圖，獲取多尺度特征圖；

7、所述faster?r-cnn模塊，用于對(duì)所述多尺度特征圖進(jìn)行分類(lèi)和邊界框回歸，獲取檢測(cè)結(jié)果；

8、所述遷移學(xué)習(xí)模塊，用于選擇neu-det數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，獲取預(yù)訓(xùn)練模型的特征提取與分類(lèi)器的權(quán)重，所述特征提取用于提取pcb數(shù)據(jù)的特征，所述權(quán)重用于對(duì)其它模塊的權(quán)重進(jìn)行微調(diào)。

9、可選的，所述neu-det數(shù)據(jù)集包括：軋制氧化皮，斑塊，開(kāi)裂，點(diǎn)蝕表面，內(nèi)含物和劃痕。

10、可選的，獲取所述pcb缺陷檢測(cè)數(shù)據(jù)集包括：

11、獲取初始pcb缺陷圖；

12、對(duì)所述初始pcb缺陷圖依次進(jìn)行直方圖均衡化、雙邊濾波和數(shù)據(jù)增強(qiáng)處理，獲取所述pcb缺陷檢測(cè)數(shù)據(jù)集。

13、可選的，對(duì)所述初始pcb缺陷圖進(jìn)行直方圖均衡化處理包括：

14、基于所述初始pcb缺陷圖，將rgb顏色通道分開(kāi)，分別調(diào)整所述rgb顏色通道的直方圖，將調(diào)整后的所述rgb顏色通道的直方圖進(jìn)行重合組合，并提取組合后的所述rgb顏色通道的平均直方圖。

15、可選的，對(duì)所述初始pcb缺陷圖進(jìn)行雙邊濾波處理的方法為：

16、

17、其中，i是輸入圖像，p和q是x和y當(dāng)前待過(guò)濾像素的坐標(biāo)，是影響坐標(biāo)中像素距離的空間核，是用于平滑強(qiáng)度差異的范圍核，wp為歸一化之后的權(quán)重。

18、可選的，對(duì)所述初始pcb缺陷圖進(jìn)行數(shù)據(jù)增強(qiáng)處理包括：

19、采用隨機(jī)剪裁、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、注入高斯噪聲和散斑噪聲的處理方法進(jìn)行數(shù)據(jù)增強(qiáng)。

20、可選的，所述mobilenetv2模塊包括：深度可分離卷積層、線(xiàn)性瓶頸層和倒殘差結(jié)構(gòu)層；

21、所述深度可分離卷積層，用于改變輸出通道的數(shù)量；

22、所述線(xiàn)性瓶頸層，用于減少特征提取時(shí)的信息損失；

23、所述倒殘差結(jié)構(gòu)層，輸出所述圖像特征。

24、可選的，所述fpn模塊包括：第一卷積層、上采樣層和第二卷積層；

25、所述第一卷積層，用于減小通道深度；

26、所述上采樣層，使用最近鄰上采樣算法，對(duì)特征圖進(jìn)行組合；

27、所述第二卷積層，用于減少合并特征圖和上采樣層組合時(shí)的混疊效應(yīng)。

28、可選的，所述fasterr-cnn模塊包括：區(qū)域生成網(wǎng)絡(luò)層和區(qū)域檢測(cè)器；

29、所述區(qū)域生成網(wǎng)絡(luò)層，用于利用滑動(dòng)窗口對(duì)所述多尺度特征圖進(jìn)行滑動(dòng)，獲取目標(biāo)候選區(qū)域；

30、所述區(qū)域檢測(cè)器，用于對(duì)所述目標(biāo)候選區(qū)域進(jìn)行分類(lèi)和邊界框回歸，獲取檢測(cè)結(jié)果。

31、可選的，所述區(qū)域檢測(cè)器包括：roipooling層、全連接層和輸出層；

32、所述roipooling層，用于將所述目標(biāo)候選區(qū)域映射到特征圖上，并提取固定特征；

33、所述全連接層，用于將所述特征進(jìn)行分類(lèi)和精確回歸；

34、所述輸出層，用于輸出所述目標(biāo)候選區(qū)域的類(lèi)別標(biāo)簽和邊界框坐標(biāo)。

35、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果：

36、1.本發(fā)明引入遷移學(xué)習(xí)，減少了從頭開(kāi)始訓(xùn)練模型所需的時(shí)間和計(jì)算資源。通過(guò)在neu-det數(shù)據(jù)集上的訓(xùn)練，使得模型已經(jīng)學(xué)習(xí)到了缺陷特征提取能力，可以在pcb數(shù)據(jù)集較小的情況下仍有較高的精度。

37、2.本發(fā)明基于現(xiàn)有的pcb缺陷檢測(cè)數(shù)據(jù)集，進(jìn)行數(shù)據(jù)預(yù)處理豐富圖像樣本，取得豐富圖像處理樣本；基于mobilenetv2提取特征并與fpn連接，最后經(jīng)過(guò)faster?r-cnn進(jìn)行檢測(cè)和分類(lèi)。該模型自動(dòng)捕獲、檢測(cè)和分類(lèi)，并分別錨定邊界框進(jìn)行檢測(cè)。本發(fā)明旨在改善對(duì)pcb的缺陷檢測(cè)方法，并加強(qiáng)工業(yè)質(zhì)量控制。該模型將顯著提高生產(chǎn)率和質(zhì)量檢測(cè)，防止將有缺陷的材料加工給消費(fèi)者。

技術(shù)特征：

1.一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，所述neu-det數(shù)據(jù)集包括：軋制氧化皮，斑塊，開(kāi)裂，點(diǎn)蝕表面，內(nèi)含物和劃痕。

3.根據(jù)權(quán)利要求2所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，獲取所述pcb缺陷檢測(cè)數(shù)據(jù)集包括：

4.根據(jù)權(quán)利要求3所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，對(duì)所述初始pcb缺陷圖進(jìn)行直方圖均衡化處理包括：

5.根據(jù)權(quán)利要求3所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，對(duì)所述初始pcb缺陷圖進(jìn)行雙邊濾波處理的方法為：

6.根據(jù)權(quán)利要求3所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，對(duì)所述初始pcb缺陷圖進(jìn)行數(shù)據(jù)增強(qiáng)處理包括：

7.根據(jù)權(quán)利要求1所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，所述mobilenetv2模塊包括：深度可分離卷積層、線(xiàn)性瓶頸層和倒殘差結(jié)構(gòu)層；

8.根據(jù)權(quán)利要求1所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，所述fpn模塊包括：第一卷積層、上采樣層和第二卷積層；

9.根據(jù)權(quán)利要求1所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，所述faster?r-cnn模塊包括：區(qū)域生成網(wǎng)絡(luò)層和區(qū)域檢測(cè)器；

10.根據(jù)權(quán)利要求9所述的一種基于多層特征融合及遷移學(xué)習(xí)的pcb缺陷檢測(cè)方法，其特征在于，所述區(qū)域檢測(cè)器包括：roipooling層、全連接層和輸出層；

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于多層特征融合及遷移學(xué)習(xí)的PCB缺陷檢測(cè)方法，包括：獲取待檢測(cè)PCB圖；將待檢測(cè)PCB圖輸入至經(jīng)過(guò)遷移學(xué)習(xí)后的缺陷檢測(cè)模型，獲取檢測(cè)結(jié)果，其中，缺陷檢測(cè)模型包括：MobileNetV2模塊、FPN模塊、Faster?R?CNN模塊和遷移學(xué)習(xí)模塊；MobileNetV2模塊，用于對(duì)圖像特征進(jìn)行提取，獲取卷積特征圖；FPN模塊，用于增強(qiáng)卷積特征圖，獲取多尺度特征圖；Faster?R?CNN模塊，用于對(duì)多尺度特征圖進(jìn)行分類(lèi)和邊界框回歸，獲取檢測(cè)結(jié)果；遷移學(xué)習(xí)模塊，用于選擇NEU?DET數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，獲取預(yù)訓(xùn)練模型的權(quán)重，基于該權(quán)重對(duì)其它模塊的權(quán)重進(jìn)行調(diào)整，獲取數(shù)據(jù)特征。

技術(shù)研發(fā)人員：楊肖,王永,李王淵,王永佳
受保護(hù)的技術(shù)使用者：西北工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6