本發(fā)明涉及圖像視覺處理，尤其是指一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法及裝置。

背景技術：

1、深度學習模型在計算機視覺主流領域已經發(fā)展的非常成熟，通常應用于工業(yè)產品表面缺陷檢測場景下。訓練一個深度學習模型往往需要大量且豐富的數據，在工業(yè)產品表面缺陷檢測場景下，一些表面缺陷的樣貌數量較少，樣貌結構單一，數據的不平衡問題制約了深度學習模型性能的提高。因此需要對工業(yè)產品表面缺陷數據集進行擴充。

2、目前常見的工業(yè)產品表面缺陷數據集擴充方法包括數據增強技術、合成數據生成、圖像拼接、半監(jiān)督學習和自監(jiān)督學習、數據庫共享與開源數據集以及遷移學習等。

3、然而，工業(yè)產品表面缺陷具有其獨特的特性和復雜性，傳統的圖像處理方法在擴充缺陷數據集時，往往無法有效地保留缺陷及其背景的完整信息，可能會對生成的圖像質量造成不利影響。傳統的缺陷數據集擴充方法生成的缺陷圖像參照圖1所示，框內的缺陷特征質量較差。

4、近年來，部分研究采用生成對抗網絡(gans)作為工業(yè)產品表面缺陷數據集的擴充方法，但由于生成對抗網絡在捕捉缺陷特征方面存在局限性，因此生成的工業(yè)產品表面缺陷圖像無法滿足高質量的要求。

技術實現思路

1、為此，本發(fā)明所要解決的技術問題在于克服現有技術中生成的工業(yè)產品表面缺陷圖像無法保留背景信息且缺陷質量較低的問題。

2、為解決上述技術問題，本發(fā)明提供了一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，包括：

3、利用背景建模方法提取缺陷圖像的背景紋理信息，得到缺陷圖像的背景紋理圖像數據集；

4、利用缺陷圖像的背景紋理圖像數據集訓練生成對抗網絡，利用訓練好的生成對抗網絡生成新的背景紋理圖像；

5、將缺陷圖像與其對應的背景紋理圖像做差分運算，得到缺陷前景圖像；

6、將缺陷前景圖像與生成對抗網絡生成的背景紋理圖像融合，得到融合缺陷圖像。

7、優(yōu)選地，利用背景建模方法提取缺陷圖像的背景紋理信息，得到缺陷圖像的背景紋理圖像，公式為：

8、bk(i,j)＝θtm(i,j)

9、其中，bk為缺陷圖像的背景紋理圖像，θt為回歸系數矩陣的轉置，m為輸入的缺陷圖像，(i,j)為圖像的像素值坐標。

10、優(yōu)選地，利用局部加權回歸算法計算缺陷圖像的回歸系數矩陣。

11、優(yōu)選地，生成對抗網絡的損失函數為：

12、

13、其中，g(z)為生成器生成的假樣本，d為判別器，g為生成器，x～pdata為真實樣本，z～pz為輸入的噪聲樣本，ae為樣本空間。

14、優(yōu)選地，如果輸入的背景紋理圖像表面光滑，利用訓練好的生成對抗網絡生成新的背景紋理圖像時引入噪聲。

15、優(yōu)選地，將缺陷圖像與其對應的背景紋理圖像做差分運算，得到缺陷前景圖像，公式為：

16、fg＝|bk-m|

17、其中，fg為缺陷前景圖像，bk為缺陷圖像的背景紋理圖像，m為輸入的缺陷圖像。

18、優(yōu)選地，得到缺陷前景圖像之后，濾除缺陷前景圖像在預設區(qū)間的噪聲，得到優(yōu)化后的缺陷前景圖像，公式為：

19、

20、其中，α為預設閾值，fg1為濾除噪聲的缺陷前景圖像。

21、優(yōu)選地，采用形態(tài)學運算進一步提高缺陷前景圖像的質量，公式為：

22、

23、其中，fg2為經過形態(tài)學運算優(yōu)化后的缺陷前景圖像，s為結構元素，表示形態(tài)學腐蝕運算，表示形態(tài)學膨脹運算。

24、優(yōu)選地，結構元素s的大小為2×4，表達式為

25、本發(fā)明還提供了一種基于背景建模的工業(yè)產品表面缺陷數據集擴充裝置，包括：

26、背景紋理提取模塊，用于利用背景建模方法提取缺陷圖像的背景紋理信息，得到缺陷圖像的背景紋理圖像數據集；

27、背景紋理圖像生成模塊，用于利用缺陷圖像的背景紋理圖像數據集訓練生成對抗網絡，利用訓練好的生成對抗網絡生成新的背景紋理圖像；

28、缺陷前景圖像獲取模塊，用于將缺陷圖像與其對應的背景紋理圖像做差分運算，得到缺陷前景圖像；

29、融合模塊，用于將缺陷前景圖像與生成對抗網絡生成的背景紋理圖像融合，得到融合缺陷圖像。

30、本發(fā)明的上述技術方案相比現有技術具有以下有益效果：

31、本發(fā)明所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，首先通過背景建模方法從現有的缺陷圖像中提取出背景紋理圖像，再利用生成對抗網絡學習背景紋理信息，進而生成更多符合真實場景的背景紋理圖像，令缺陷圖像和背景紋理圖像進行差分運算，得到缺陷前景圖像，最后將缺陷前景圖像和生成對抗網絡生成的背景紋理圖像進行融合，得到融合缺陷圖像。本發(fā)明通過不斷生成背景紋理圖像進而融合得到新的缺陷圖像，能夠有效擴充工業(yè)產品表面缺陷數據集，并且本發(fā)明得到的缺陷圖像保留了背景紋理信息，且突出了圖像中的缺陷特征，具有多樣性的同時保證了缺陷特征的質量。使用本發(fā)明生成的缺陷圖像作為訓練數據集，提高了工業(yè)產品表面缺陷檢測和分類任務中的魯棒性和準確性。

技術特征：

1.一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，包括：

2.根據權利要求1所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，利用背景建模方法提取缺陷圖像的背景紋理信息，得到缺陷圖像的背景紋理圖像，公式為：

3.根據權利要求2所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，利用局部加權回歸算法計算缺陷圖像的回歸系數矩陣。

4.根據權利要求1所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，生成對抗網絡的損失函數為：

5.根據權利要求1所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，如果輸入的背景紋理圖像表面光滑，利用訓練好的生成對抗網絡生成新的背景紋理圖像時引入噪聲。

6.根據權利要求1所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，將缺陷圖像與其對應的背景紋理圖像做差分運算，得到缺陷前景圖像，公式為：

7.根據權利要求6所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，得到缺陷前景圖像之后，濾除缺陷前景圖像在預設區(qū)間的噪聲，得到優(yōu)化后的缺陷前景圖像，公式為：

8.根據權利要求7所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，采用形態(tài)學運算進一步提高缺陷前景圖像的質量，公式為：

9.根據權利要求8所述的一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法，其特征在于，結構元素s的大小為2×4，表達式為

10.一種基于背景建模的工業(yè)產品表面缺陷數據集擴充裝置，其特征在于，包括：

技術總結
本發(fā)明涉及圖像視覺處理技術領域，尤其是指一種基于背景建模的工業(yè)產品表面缺陷數據集擴充方法及裝置，包括：利用背景建模方法提取缺陷圖像的背景紋理信息，得到缺陷圖像的背景紋理圖像數據集；利用缺陷圖像的背景紋理圖像數據集訓練生成對抗網絡，利用訓練好的生成對抗網絡生成新的背景紋理圖像；將缺陷圖像與其對應的背景紋理圖像做差分運算，得到缺陷前景圖像；將缺陷前景圖像與生成對抗網絡生成的背景紋理圖像融合，得到融合缺陷圖像。本發(fā)明得到的缺陷圖像保留了背景紋理信息，且突出了圖像中的缺陷特征，具有多樣性的同時保證了缺陷特征的質量。

技術研發(fā)人員：牛偉龍,伍子卿,孫小光,屈挺,王夢媛,邱若潔
受保護的技術使用者：暨南大學
技術研發(fā)日：
技術公布日：2024/12/23