本發(fā)明涉及焊接，特別是涉及一種焊接缺陷檢測(cè)方法、設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在焊接生產(chǎn)領(lǐng)域，缺陷檢測(cè)是至關(guān)重要的環(huán)節(jié)，因?yàn)榧词故俏⑿〉娜毕菀部赡軐?dǎo)致焊接件性能下降，甚至失效。焊接件生產(chǎn)過程中常用的缺陷檢測(cè)手段包括目視檢測(cè)、激光波檢測(cè)和采用傳統(tǒng)的計(jì)算機(jī)視覺檢測(cè)模型對(duì)缺陷照片進(jìn)行檢測(cè)。

2、但是，上述各焊接缺陷檢測(cè)方法均存在各自的缺點(diǎn)，首先，目視檢測(cè)即通過人工觀察對(duì)焊接件缺陷類型進(jìn)行判斷，受限于檢測(cè)人員的經(jīng)驗(yàn)和主觀判斷，對(duì)缺陷的識(shí)別能力有限。其次，激光檢測(cè)即通過激光掃描焊縫表面，使用光學(xué)方法檢測(cè)焊接件表面和近表面缺陷，設(shè)備昂貴，操作復(fù)雜，對(duì)表面狀態(tài)要求高，需進(jìn)行表面預(yù)處理，受環(huán)境光照和反射影響較大。最后，采用傳統(tǒng)的計(jì)算機(jī)視覺檢測(cè)模型對(duì)缺陷照片進(jìn)行檢測(cè)，在傳統(tǒng)計(jì)算機(jī)視覺檢測(cè)模型中，模型的能力局限于畫出檢測(cè)框，無法對(duì)檢測(cè)結(jié)果進(jìn)行進(jìn)一步的自動(dòng)分析，仍需人工分析，成本高。

3、綜上所述，如何有效地解決焊接缺陷檢測(cè)對(duì)缺陷的識(shí)別能力有限，缺陷檢測(cè)結(jié)果受環(huán)境因素大，人力成本高等問題，是目前本領(lǐng)域技術(shù)人員急需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種焊接缺陷檢測(cè)方法，該方法提高了焊接缺陷檢測(cè)能力，避免了環(huán)境因素干擾，節(jié)約人力，降低了成本；本發(fā)明的另一目的是提供一種焊接缺陷檢測(cè)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、一種焊接缺陷檢測(cè)方法，包括：

4、利用缺陷位置檢測(cè)模型對(duì)原始焊接圖片進(jìn)行缺陷位置檢測(cè)，得到包含缺陷位置檢測(cè)框的目標(biāo)焊接缺陷圖片；

5、根據(jù)所述缺陷位置檢測(cè)框?qū)λ瞿繕?biāo)焊接缺陷圖片進(jìn)行裁剪，得到所述缺陷位置檢測(cè)框中的焊接缺陷區(qū)域圖片；

6、對(duì)所述焊接缺陷區(qū)域圖片進(jìn)行切分，得到各焊接缺陷區(qū)域子圖；

7、對(duì)所述目標(biāo)焊接缺陷圖片、所述焊接缺陷區(qū)域圖片和各焊接缺陷區(qū)域子圖進(jìn)行拼接，得到圖像增強(qiáng)后圖片；

8、利用預(yù)訓(xùn)練模型對(duì)所述圖像增強(qiáng)后圖片進(jìn)行缺陷種類檢測(cè)，得到目標(biāo)焊接缺陷種類。

9、在本發(fā)明的一種具體實(shí)施方式中，對(duì)所述焊接缺陷區(qū)域圖片進(jìn)行切分，包括：

10、獲取預(yù)訓(xùn)練模型中視覺編碼器兼容的圖片分辨率和預(yù)設(shè)的切分比例列表；其中，所述預(yù)訓(xùn)練模型為用于進(jìn)行缺陷種類檢測(cè)的模型；

11、獲取所述焊接缺陷區(qū)域圖片的圖片寬度和圖片高度；

12、當(dāng)根據(jù)所述圖片分辨率、所述圖片寬度、所述圖片高度和所述切分比例列表確定需進(jìn)行圖片切分時(shí)，對(duì)所述焊接缺陷區(qū)域圖片進(jìn)行切分。

13、在本發(fā)明的一種具體實(shí)施方式中，當(dāng)根據(jù)所述圖片分辨率、所述圖片寬度、所述圖片高度和所述切分比例列表確定需進(jìn)行圖片切分時(shí)，對(duì)所述焊接缺陷區(qū)域圖片進(jìn)行切分，包括：

14、根據(jù)所述圖片寬度和所述圖片高度計(jì)算寬高比；

15、從所述圖片寬度和所述圖片高度中選取較小者；

16、計(jì)算所述較小者與所述圖片分辨率中對(duì)應(yīng)邊分辨率的比例值；

17、根據(jù)所述寬高比和所述比例值從所述切分比例列表中查找目標(biāo)切分比例；

18、按照所述目標(biāo)切分比例對(duì)所述焊接缺陷區(qū)域圖片進(jìn)行切分。

19、在本發(fā)明的一種具體實(shí)施方式中，根據(jù)所述寬高比和所述比例值從所述切分比例列表中查找目標(biāo)切分比例，包括：

20、將所述比例值進(jìn)行向上取整，得到整數(shù)比例值；

21、從所述切分比例列表中查找與所述寬高比差值最小的初始切分比例；

22、對(duì)所述整數(shù)比例值與所述初始切分比例進(jìn)行乘積運(yùn)算，得到所述目標(biāo)切分比例。

23、在本發(fā)明的一種具體實(shí)施方式中，對(duì)所述目標(biāo)焊接缺陷圖片、所述焊接缺陷區(qū)域圖片和各焊接缺陷區(qū)域子圖進(jìn)行拼接，包括：

24、將所述目標(biāo)焊接缺陷圖片調(diào)整至所述圖片分辨率的大小，得到調(diào)整后焊接缺陷圖片；

25、將所述焊接缺陷區(qū)域圖片調(diào)整至所述圖片分辨率的大小，得到調(diào)整后焊接缺陷區(qū)域圖片；

26、將各焊接缺陷區(qū)域子圖調(diào)整至所述圖片分辨率的大小，得到各調(diào)整后焊接缺陷區(qū)域子圖；

27、對(duì)所述調(diào)整后焊接缺陷圖片、所述調(diào)整后焊接缺陷區(qū)域圖片和各調(diào)整后焊接缺陷區(qū)域子圖進(jìn)行拼接。

28、在本發(fā)明的一種具體實(shí)施方式中，對(duì)所述調(diào)整后焊接缺陷圖片、所述調(diào)整后焊接缺陷區(qū)域圖片和各調(diào)整后焊接缺陷區(qū)域子圖進(jìn)行拼接，得到所述圖像增強(qiáng)后圖片，包括：

29、對(duì)所述調(diào)整后焊接缺陷圖片的像素值、所述調(diào)整后焊接缺陷區(qū)域圖片的像素值和各調(diào)整后焊接缺陷區(qū)域子圖的像素值進(jìn)行拼接，得到目標(biāo)張量；

30、相應(yīng)的，利用預(yù)訓(xùn)練模型對(duì)所述圖像增強(qiáng)后圖片進(jìn)行缺陷種類檢測(cè)，包括：

31、利用所述預(yù)訓(xùn)練模型對(duì)所述目標(biāo)張量進(jìn)行缺陷種類檢測(cè)。

32、在本發(fā)明的一種具體實(shí)施方式中，利用所述預(yù)訓(xùn)練模型對(duì)所述目標(biāo)張量進(jìn)行缺陷種類檢測(cè)，包括：

33、利用所述視覺編碼器對(duì)所述目標(biāo)張量進(jìn)行卷積操作，得到視覺特征；

34、利用所述預(yù)訓(xùn)練模型中的全連接層對(duì)所述視覺特征進(jìn)行投影，得到圖像令牌；

35、獲取預(yù)設(shè)的提示詞令牌；

36、對(duì)所述圖像令牌和所述提示詞令牌進(jìn)行拼接，得到輸入令牌；

37、利用所述預(yù)訓(xùn)練模型中的預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌進(jìn)行缺陷種類檢測(cè)。

38、在本發(fā)明的一種具體實(shí)施方式中，獲取預(yù)設(shè)的提示詞令牌，包括：

39、利用所述預(yù)訓(xùn)練模型中的標(biāo)記器對(duì)預(yù)設(shè)的自然語言提示詞進(jìn)行編碼，得到所述提示詞令牌。

40、在本發(fā)明的一種具體實(shí)施方式中，利用所述預(yù)訓(xùn)練模型中的預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌進(jìn)行缺陷種類檢測(cè)，得到目標(biāo)焊接缺陷種類，包括：

41、將所述輸入令牌輸入至所述預(yù)訓(xùn)練語言模型，得到所述預(yù)訓(xùn)練語言模型的輸出令牌；

42、利用所述預(yù)訓(xùn)練模型中的標(biāo)記器對(duì)所述輸出令牌進(jìn)行解碼，得到自然語言的目標(biāo)焊接缺陷種類。

43、在本發(fā)明的一種具體實(shí)施方式中，獲取預(yù)設(shè)的提示詞令牌，包括：

44、獲取包含缺陷類型、產(chǎn)生原因和改進(jìn)措施建議的提示詞令牌；

45、相應(yīng)的，利用所述預(yù)訓(xùn)練模型中的預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌進(jìn)行缺陷種類檢測(cè)，得到目標(biāo)焊接缺陷種類，包括：

46、利用所述預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌確定所述目標(biāo)焊接缺陷種類、缺陷產(chǎn)生原因和缺陷改進(jìn)措施。

47、在本發(fā)明的一種具體實(shí)施方式中，獲取包含缺陷類型、產(chǎn)生原因和改進(jìn)措施建議的提示詞令牌，包括：

48、獲取包含所述缺陷類型、所述產(chǎn)生原因、所述改進(jìn)措施建議和圖片路徑的提示詞令牌；

49、相應(yīng)的，利用所述預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌確定所述目標(biāo)焊接缺陷種類、缺陷產(chǎn)生原因和缺陷改進(jìn)措施，包括：

50、利用所述預(yù)訓(xùn)練語言模型根據(jù)所述輸入令牌確定所述目標(biāo)焊接缺陷種類、所述缺陷產(chǎn)生原因、所述缺陷改進(jìn)措施和圖片路徑信息。

51、在本發(fā)明的一種具體實(shí)施方式中，還包括所述缺陷位置檢測(cè)模型的訓(xùn)練過程，所述缺陷位置檢測(cè)模型的訓(xùn)練過程包括：

52、獲取包含焊接缺陷檢測(cè)框的各焊接缺陷圖片樣本；

53、利用各焊接缺陷圖片樣本對(duì)初始檢測(cè)模型進(jìn)行訓(xùn)練，得到所述缺陷位置檢測(cè)模型。

54、一種焊接缺陷檢測(cè)設(shè)備，包括：

55、存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

56、處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如前所述焊接缺陷檢測(cè)方法的步驟。

57、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述焊接缺陷檢測(cè)方法的步驟。

58、一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述焊接缺陷檢測(cè)方法的步驟。

59、本發(fā)明所提供的焊接缺陷檢測(cè)方法，利用缺陷位置檢測(cè)模型對(duì)原始焊接圖片進(jìn)行缺陷位置檢測(cè)，得到包含缺陷位置檢測(cè)框的目標(biāo)焊接缺陷圖片；根據(jù)所述缺陷位置檢測(cè)框?qū)λ瞿繕?biāo)焊接缺陷圖片進(jìn)行裁剪，得到所述缺陷位置檢測(cè)框中的焊接缺陷區(qū)域圖片；對(duì)焊接缺陷區(qū)域圖片進(jìn)行切分，得到各焊接缺陷區(qū)域子圖；對(duì)目標(biāo)焊接缺陷圖片、焊接缺陷區(qū)域圖片和各焊接缺陷區(qū)域子圖進(jìn)行拼接，得到圖像增強(qiáng)后圖片；利用預(yù)訓(xùn)練模型對(duì)所述圖像增強(qiáng)后圖片進(jìn)行缺陷種類檢測(cè)，得到目標(biāo)焊接缺陷種類。

60、由上述技術(shù)方案可知，通過預(yù)先訓(xùn)練得到缺陷位置檢測(cè)模型，利用缺陷位置檢測(cè)模型對(duì)焊接件的原始焊接圖片進(jìn)行缺陷位置檢測(cè)，得到包含缺陷位置檢測(cè)框的目標(biāo)焊接缺陷圖片。引入了圖片裁剪圖像增強(qiáng)方法，通過對(duì)目標(biāo)焊接缺陷圖片進(jìn)行裁剪操作，得到缺陷位置檢測(cè)框中重點(diǎn)區(qū)的焊接缺陷區(qū)域圖片，將焊接缺陷區(qū)域圖片切分為多個(gè)焊接缺陷區(qū)域子圖，并對(duì)目標(biāo)焊接缺陷圖片、焊接缺陷區(qū)域圖片和各焊接缺陷區(qū)域子圖進(jìn)行拼接，得到圖像增強(qiáng)后圖片。通過全局和重點(diǎn)區(qū)兩個(gè)不同個(gè)尺度的圖片信息進(jìn)行圖像增強(qiáng)，提升對(duì)焊接缺陷的識(shí)別效果。利用預(yù)訓(xùn)練的深度學(xué)習(xí)模型對(duì)圖像增強(qiáng)后圖片自動(dòng)進(jìn)行缺陷種類判斷。相比于傳統(tǒng)的焊接件缺陷檢測(cè)方法，較大地提高了焊接缺陷檢測(cè)能力，避免了環(huán)境因素干擾，節(jié)約人力，降低了成本。

61、相應(yīng)的，本發(fā)明還提供了與上述焊接缺陷檢測(cè)方法相對(duì)應(yīng)的焊接缺陷檢測(cè)裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，具有上述技術(shù)效果，在此不再贅述。