本技術(shù)實(shí)施例涉及圖像處理，尤其涉及一種模型訓(xùn)練和缺陷檢測的方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近年來，隨著圖像處理技術(shù)的快速發(fā)展，深度學(xué)習(xí)模型具有更高的靈活性和準(zhǔn)確性，能夠?qū)θ鐢z像頭等電子設(shè)備進(jìn)行缺陷檢測，進(jìn)而確保電子設(shè)備的產(chǎn)品質(zhì)量和生產(chǎn)效率。

2、通常，深度學(xué)習(xí)模型的訓(xùn)練過程需要依賴著大量且高質(zhì)量的標(biāo)注樣本，來學(xué)習(xí)各種類型的缺陷。目前，常常采用人工的方式，對(duì)圖像進(jìn)行標(biāo)注，來獲得標(biāo)注樣本，不僅耗時(shí)耗力，還容易出現(xiàn)主觀誤差，導(dǎo)致樣本的數(shù)量不足，樣本的質(zhì)量不高，制約了深度學(xué)習(xí)模型的性能和應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種模型訓(xùn)練和缺陷檢測的方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，保證了樣本有足夠的數(shù)量和樣本的高質(zhì)量，提升了深度學(xué)習(xí)模型的性能，能夠準(zhǔn)確檢測電子設(shè)備的外觀的缺陷情況，有助于檢測電子設(shè)備的質(zhì)量和品質(zhì)，方便電子設(shè)備的投入使用。

2、為達(dá)到上述目的，本技術(shù)的實(shí)施例采用如下技術(shù)方案：

3、第一方面，提供了一種模型訓(xùn)練方法，該方法包括：

4、獲取樣本數(shù)據(jù)集，樣本數(shù)據(jù)集中包括多個(gè)合成圖像，合成圖像是對(duì)前景圖像和背景圖像進(jìn)行第一數(shù)據(jù)增強(qiáng)融合得到的，前景圖像為設(shè)備的外觀有缺陷和缺陷位置的圖像樣本，背景圖像為設(shè)備的外觀沒有缺陷的圖像樣本；

5、確定第一損失函數(shù)和第二損失函數(shù)，第一損失函數(shù)用于表示同一前景圖像對(duì)應(yīng)的不同合成圖像之間的相似度損失，第二損失函數(shù)用于表示預(yù)測值與真實(shí)值之間的差異；

6、將樣本數(shù)據(jù)集輸入到深度學(xué)習(xí)模型中，根據(jù)第一損失函數(shù)和第二損失函數(shù)，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的深度學(xué)習(xí)模型，深度學(xué)習(xí)模型用于檢測設(shè)備的外觀的缺陷情況。

7、本技術(shù)實(shí)施例提供的模型訓(xùn)練方法，模型訓(xùn)練裝置可獲取樣本數(shù)據(jù)集，并根據(jù)樣本數(shù)據(jù)集確定第一損失函數(shù)和第二損失函數(shù)，借助第一損失函數(shù)可以表示同一前景圖像對(duì)應(yīng)的不同合成圖像之間的相似度損失，第二損失函數(shù)可以表示預(yù)測值與真實(shí)值之間的差異。由于前景圖像和初始的前景圖像的缺陷特征和缺陷類型皆未發(fā)生變化。因此，同一前景圖像的缺陷特征和缺陷類型，也可以看成是同一初始的前景圖像對(duì)應(yīng)的多個(gè)合成圖像的缺陷特征和缺陷類型。其中，第一損失函數(shù)和第二損失函數(shù)能夠指示合成圖像中的缺陷的類型是否標(biāo)注準(zhǔn)確，能夠校準(zhǔn)深度學(xué)習(xí)模型的檢測準(zhǔn)確性，避免了深度學(xué)習(xí)模型在訓(xùn)練時(shí)產(chǎn)生的過擬合現(xiàn)象，能夠提升深度學(xué)習(xí)模型的穩(wěn)定性。

8、模型訓(xùn)練裝置根據(jù)第一損失函數(shù)和第二損失函數(shù)，將樣本數(shù)據(jù)集輸入到深度學(xué)習(xí)模型，實(shí)現(xiàn)對(duì)深度學(xué)習(xí)模型的訓(xùn)練，便可得到訓(xùn)練后的深度學(xué)習(xí)模型，借助訓(xùn)練后的深度學(xué)習(xí)模型就可以準(zhǔn)確檢測電子設(shè)備的外觀的缺陷情況，有助于檢測電子設(shè)備的質(zhì)量和品質(zhì)，方便電子設(shè)備的投入使用。在第一方面的一種可能的實(shí)現(xiàn)方式中，模型訓(xùn)練裝置根據(jù)第一損失函數(shù)和第二損失函數(shù)，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，包括：通過公式一、公式二和公式三，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練；

9、 l= l norm+ l seg???????????????????公式一；

10、???????????????????公式二；

11、???????????????????公式三；

12、其中， l是第三損失函數(shù)， l norm是第一損失函數(shù)， l seg是第二損失函數(shù)， l(·)表示一種距離損失，表示初始的前景圖像經(jīng)過數(shù)據(jù)增強(qiáng)的變換，如旋轉(zhuǎn)、縮放等函數(shù)，和表示同一初始的前景圖像變換后不同的合成圖像的逆變換， y p與 y q表示同一前景圖像變換后得到的增強(qiáng)圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)果， p( x)為每種缺陷類型的標(biāo)注標(biāo)簽的真實(shí)值， q( x)為模型訓(xùn)練裝置輸出的合成圖像中缺陷的預(yù)測值， x為合成圖像的數(shù)量。

13、模型訓(xùn)練裝置通過第一損失函數(shù)和第二損失函數(shù)，來計(jì)算初始的前景圖像經(jīng)過數(shù)據(jù)增強(qiáng)后，得到的不同的合成圖像之間的正則化損失。其中，正則化損失越小，表示兩個(gè)合成圖像之間的缺陷特征越接近，或者說，兩個(gè)合成圖像分別經(jīng)過數(shù)據(jù)增強(qiáng)的逆變換后得到的圖像，越接近初始的前景圖像。反之，如果正則化損失越大，則意味著兩個(gè)合成圖像之間的差別較大，即兩個(gè)合成圖像分別經(jīng)過數(shù)據(jù)增強(qiáng)的逆變換后得到的圖像，越不接近初始的前景圖像。

14、這樣，同一初始的前景圖像經(jīng)過第二數(shù)據(jù)增強(qiáng)操作，得到的不同合成圖像之間就可以使用第一損失函數(shù)，通過改變第一損失函數(shù)，來改變兩個(gè)合成圖像之間的相似度損失，從而，使得兩個(gè)合成圖像經(jīng)過數(shù)據(jù)增強(qiáng)的逆變換后得到的圖像更接近，可以排除如尺寸大小、角度、灰度化、對(duì)比度和噪聲等因素的影響，更能突出前景圖像中的缺陷特征，以此去除合成圖像中的偽像和虛假特征，方便后續(xù)處理，減少了深度學(xué)習(xí)模型中標(biāo)注不準(zhǔn)確的問題，避免了深度學(xué)習(xí)模型訓(xùn)練時(shí)產(chǎn)生的過擬合現(xiàn)象，從而，提升了深度學(xué)習(xí)模型質(zhì)量。

15、在第一方面的另一種可能的實(shí)現(xiàn)方式中，第一數(shù)據(jù)增強(qiáng)包括：透明度融合、過渡邊界模糊化以及整體強(qiáng)度均衡化。

16、樣本生成裝置將一個(gè)前景圖像和一個(gè)背景圖像經(jīng)過第一數(shù)據(jù)增強(qiáng)，得到多個(gè)合成圖像，合成圖像的缺陷類型和前景圖像的缺陷類型一致，充實(shí)了該類型的樣本圖像，提高了缺陷類型樣本的數(shù)量，改善了合成圖像中的偽像和虛假特征。不同類型的前景圖像經(jīng)過上述數(shù)據(jù)增強(qiáng)的方式，可以生成不同類型的合成圖像，從而，提高了樣本的數(shù)量，豐富了各種類型的樣本圖像，以滿足實(shí)際訓(xùn)練的需求。

17、其中，透明度融合、過渡邊界模糊化以及整體強(qiáng)度均衡化是順序執(zhí)行的。

18、與相關(guān)技術(shù)相比，相關(guān)技術(shù)僅僅羅列了多種數(shù)據(jù)增強(qiáng)中組合的多項(xiàng)處理，沒有考慮到多項(xiàng)處理的組合能否帶來提升圖像質(zhì)量的效果。第一數(shù)據(jù)增強(qiáng)中，順序執(zhí)行的上述三項(xiàng)處理為圖像融合階段，能夠充分考慮電子設(shè)備的外觀圖像中的缺陷的特征。

19、具體地，樣本生成裝置首先進(jìn)行透明度融合的處理，透明度融合的過程可以讓圖像中的缺陷和背景之間不太突兀，更加貼近真實(shí)情況。樣本生成裝置其次進(jìn)行過渡邊界模糊化的處理，充分考慮到圖像在實(shí)際拍攝過程中不易呈現(xiàn)清晰的邊界的問題，能夠更加真實(shí)的模擬實(shí)際情況。樣本生成裝置最后進(jìn)行整體強(qiáng)度均衡化的處理，使得合成圖像的亮度分布均勻。綜上，提升了大量的合成圖像的質(zhì)量。

20、在第一方面的另一種可能的實(shí)現(xiàn)方式中，前景圖像是對(duì)初始的前景圖像進(jìn)行第二數(shù)據(jù)增強(qiáng)得到的，第二數(shù)據(jù)增強(qiáng)包括：灰度化、均衡化、縮放、旋轉(zhuǎn)或者對(duì)比度調(diào)整中的至少一項(xiàng)處理。

21、樣本生成裝置可以對(duì)初始的前景圖像進(jìn)行第二數(shù)據(jù)增強(qiáng)，得到前景圖像，使得前景圖像對(duì)應(yīng)的缺陷類型可與初始的前景圖像對(duì)應(yīng)的缺陷類型保持一致，有利于后續(xù)能夠簡化處理圖像。

22、在第一方面的另一種可能的實(shí)現(xiàn)方式中，背景圖像是對(duì)初始的背景圖像進(jìn)行第三數(shù)據(jù)增強(qiáng)得到的，第三數(shù)據(jù)增強(qiáng)包括：灰度化、均衡化、縮放、旋轉(zhuǎn)、加噪聲或者對(duì)比度調(diào)整中的至少一項(xiàng)處理。

23、樣本生成裝置可以對(duì)初始的背景圖像進(jìn)行第三數(shù)據(jù)增強(qiáng)，得到背景圖像，增加了背景圖像的多樣性。背景圖像的多樣性有助于深度學(xué)習(xí)模型學(xué)習(xí)到更多的背景特征，使得深度學(xué)習(xí)模型可以適應(yīng)不同的應(yīng)用場景，提高了深度學(xué)習(xí)模型的泛化能力。

24、第二方面，提供一種缺陷檢測方法，該方法應(yīng)用于缺陷檢測裝置中，缺陷檢測裝置包括上述模型訓(xùn)練方法訓(xùn)練生成的深度學(xué)習(xí)模型，缺陷檢測方法包括：

25、采集第一設(shè)備的外觀圖像；

26、通過深度學(xué)習(xí)模型，對(duì)第一設(shè)備的外觀圖像進(jìn)行缺陷檢測，輸出檢測結(jié)果，檢測結(jié)果用于表示第一設(shè)備的外觀的缺陷情況。

27、綜上，缺陷檢測裝置先采集第一設(shè)備的外觀圖像，使用訓(xùn)練后的深度學(xué)習(xí)模型對(duì)采集到的外觀圖像進(jìn)行缺陷檢測，缺陷檢測裝置可以輸出該第一設(shè)備的外觀是否有缺陷，檢測到第一設(shè)備有缺陷時(shí)，還可以得到缺陷類型和缺陷位置等情況。

28、綜上，本技術(shù)實(shí)施例所提的樣本生成方法，在不增加實(shí)際數(shù)據(jù)采集成本的情況下，有效擴(kuò)充樣本數(shù)據(jù)集，使深度學(xué)習(xí)模型能夠使用更多樣化的樣本數(shù)據(jù)集進(jìn)行訓(xùn)練，改善樣本不均衡的問題，減少人力成本和時(shí)間成本。本技術(shù)實(shí)施例所提的模型訓(xùn)練方法，通過確定與樣本數(shù)據(jù)集相關(guān)的損失函數(shù)的方式，減少深度學(xué)習(xí)模型對(duì)圖像中缺陷類型標(biāo)注不準(zhǔn)確的問題，提升了合成圖像的質(zhì)量，減少了深度學(xué)習(xí)模型過擬合的風(fēng)險(xiǎn)，有效提高了模型的性能。本技術(shù)實(shí)施例所提的缺陷檢測方法，通過使用上述訓(xùn)練后的深度學(xué)習(xí)模型，能夠檢測電子設(shè)備的外觀是否有缺陷，以及電子設(shè)備的外觀存在缺陷時(shí)，缺陷類型和缺陷位置。

29、在第二方面的另一種可能的實(shí)現(xiàn)方式中，第一設(shè)備的類型包括：屏幕、背板、屏幕的邊框以及攝像頭。

30、第三方面，提供一種模型訓(xùn)練裝置，該裝置包括：用于執(zhí)行前述模型訓(xùn)練方法的模塊。

31、第四方面，提供一種缺陷檢測裝置，該裝置包括：用于執(zhí)行前述缺陷檢測方法的模塊。

32、第五方面，提供一種電子設(shè)備，該電子設(shè)備包括：

33、一個(gè)或多個(gè)處理器；

34、存儲(chǔ)器；

35、其中，存儲(chǔ)器中存儲(chǔ)有一個(gè)或多個(gè)計(jì)算機(jī)程序，一個(gè)或多個(gè)計(jì)算機(jī)程序包括指令，當(dāng)指令被電子設(shè)備執(zhí)行時(shí)，使得電子設(shè)備執(zhí)行上述第一方面及第一方面任意一種可能的實(shí)現(xiàn)方式中的方法；和/或，使得電子設(shè)備執(zhí)行上述第二方面及第二方面任意一種可能的實(shí)現(xiàn)方式中的方法。

36、第六方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)指令在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行上述第一方面及第一方面任意一種可能的實(shí)現(xiàn)方式中的方法；和/或，使得電子設(shè)備執(zhí)行上述第二方面及第二方面任意一種可能的實(shí)現(xiàn)方式中的方法。