本發(fā)明涉及機(jī)器視覺領(lǐng)域，特別涉及一種焊接自適應(yīng)視覺控制方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代工業(yè)制造中，焊接技術(shù)作為連接金屬或其他熱塑性材料的重要手段，廣泛應(yīng)用于汽車制造、航空航天、船舶建造及重型機(jī)械等領(lǐng)域。隨著自動(dòng)化和智能化技術(shù)的快速發(fā)展，焊接過(guò)程的自動(dòng)化水平顯著提高，然而，焊接質(zhì)量的一致性和穩(wěn)定性仍然是制約生產(chǎn)效率與產(chǎn)品質(zhì)量的關(guān)鍵因素之一。

2、傳統(tǒng)的焊接過(guò)程控制主要依賴于人工經(jīng)驗(yàn)或預(yù)設(shè)的焊接參數(shù)，這種方法在面對(duì)復(fù)雜多變的焊接環(huán)境和材料特性時(shí)，往往難以達(dá)到理想的焊接效果。此外，由于焊接過(guò)程中的影響因素眾多，使得焊接質(zhì)量的實(shí)時(shí)監(jiān)控與調(diào)整變得尤為復(fù)雜。

3、現(xiàn)有的一些自動(dòng)化焊接系統(tǒng)雖然能夠?qū)崿F(xiàn)焊接參數(shù)的初步調(diào)整，但大多基于固定的控制邏輯或簡(jiǎn)單的反饋機(jī)制，缺乏對(duì)焊接過(guò)程復(fù)雜動(dòng)態(tài)變化的深入理解與實(shí)時(shí)響應(yīng)能力。特別是在面對(duì)焊接缺陷（如未熔合、氣孔、裂紋等）的預(yù)防和修正時(shí)，傳統(tǒng)方法往往顯得力不從心，難以實(shí)現(xiàn)焊接參數(shù)的精準(zhǔn)自適應(yīng)調(diào)整。

4、鑒于此，亟需一種更為高效的焊接過(guò)程控制方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的為提供一種焊接自適應(yīng)視覺控制方法、裝置及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)的焊接過(guò)程中，焊接參數(shù)難以實(shí)現(xiàn)精準(zhǔn)自適應(yīng)調(diào)整的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明第一方面提供了一種焊接自適應(yīng)視覺控制方法，所述方法包括：

3、實(shí)時(shí)采集焊接過(guò)程中的當(dāng)前電參數(shù)組合、焊接圖像、焊槍相對(duì)焊縫位置數(shù)據(jù)和表面溫度分布數(shù)據(jù)；

4、將所述焊接圖像輸入至預(yù)訓(xùn)練的熔池識(shí)別模型中，輸出內(nèi)部熔池形態(tài)數(shù)據(jù)；

5、將所述焊槍相對(duì)焊縫位置、所述表面溫度分布數(shù)據(jù)和所述內(nèi)部熔池形態(tài)數(shù)據(jù)輸入至預(yù)訓(xùn)練的焊接過(guò)程狀態(tài)空間模型中，輸出焊接狀態(tài)識(shí)別結(jié)果，所述焊接狀態(tài)識(shí)別結(jié)果選自正?；虍惓＃?/p>

6、判斷所述焊接狀態(tài)識(shí)別結(jié)果是否為異常；

7、若是，則根據(jù)對(duì)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果，通過(guò)預(yù)先訓(xùn)練的策略生成模型，輸出一組新的電參數(shù)組合；

8、將所述新的電參數(shù)組合發(fā)送給焊接執(zhí)行模塊，用所述新的電參數(shù)組合替換所述當(dāng)前電參數(shù)組合。

9、進(jìn)一步地，所述實(shí)時(shí)采集焊接過(guò)程中的當(dāng)前電參數(shù)組合、焊接圖像、焊槍相對(duì)焊縫位置和表面溫度分布數(shù)據(jù)的步驟，包括：

10、生成并發(fā)送帶有時(shí)間戳的采集信號(hào)指令至電參數(shù)采集裝置、焊接圖像采集裝置、焊槍位置采集裝置和表面溫度分布采集裝置；所述電參數(shù)采集裝置在接收到所述采集信號(hào)指令后，采集電參數(shù)組合，并將所述時(shí)間戳內(nèi)嵌到所述電參數(shù)組合中，形成帶有時(shí)間戳的電參數(shù)組合；所述焊接圖像采集裝置在接收到所述采集信號(hào)指令后，采集焊接圖像，并將所述時(shí)間戳內(nèi)嵌到所述焊接圖像中，形成帶有時(shí)間戳的焊接圖像；所述焊槍位置采集裝置在接收到所述采集信號(hào)指令后，采集焊槍相對(duì)焊縫的位置數(shù)據(jù)，并將所述時(shí)間戳內(nèi)嵌到位置數(shù)據(jù)中，形成帶有時(shí)間戳的位置數(shù)據(jù)；以及所述表面溫度分布采集裝置在接收到所述采集信號(hào)指令后，采集表面溫度分布數(shù)據(jù)，并將所述時(shí)間戳內(nèi)嵌到所述表面溫度分布數(shù)據(jù)中，形成帶有時(shí)間戳的表面溫度分布數(shù)據(jù)；

11、接收所述帶有時(shí)間戳的電參數(shù)組合、所述帶有時(shí)間戳的焊接圖像、所述時(shí)間戳的位置數(shù)據(jù)和所述帶有時(shí)間戳的表面溫度分布數(shù)據(jù)；

12、將帶有相同時(shí)間戳的電參數(shù)組合、焊接圖像、位置數(shù)據(jù)和表面溫度分布數(shù)據(jù)分別進(jìn)行關(guān)聯(lián)匹配；

13、按照時(shí)間序列將焊接過(guò)程中的關(guān)聯(lián)匹配后的全部電參數(shù)組合、焊接圖像、位置數(shù)據(jù)和表面溫度分布數(shù)據(jù)進(jìn)行排序存儲(chǔ)。

14、進(jìn)一步地，所述熔池識(shí)別模型的預(yù)訓(xùn)練步驟，包括：

15、獲取歷史焊接圖像數(shù)據(jù)集；所述歷史焊接圖像數(shù)據(jù)集中關(guān)聯(lián)存儲(chǔ)有多張歷史焊接圖像和每張所述歷史焊接圖像對(duì)應(yīng)的焊接電參數(shù)；

16、通過(guò)預(yù)設(shè)圖像處理算法分別提取各所述歷史焊接圖像中的熔池特征參數(shù)，所述特征參數(shù)包括長(zhǎng)度、寬度、面積、長(zhǎng)寬比、亮度中的至少一個(gè)；

17、為每張所述歷史焊接圖像分配對(duì)應(yīng)的內(nèi)部熔池形態(tài)標(biāo)注，獲得標(biāo)注焊接圖像數(shù)據(jù)集，所述標(biāo)注焊接圖像數(shù)據(jù)集中關(guān)聯(lián)存儲(chǔ)有每張歷史焊接圖像的熔池特征參數(shù)、標(biāo)注和對(duì)應(yīng)的焊接電參數(shù)的映射關(guān)系，所述標(biāo)注包括熔池形態(tài)分類、熔池發(fā)展趨勢(shì)中的至少一個(gè)；

18、將所述標(biāo)注焊接圖像數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集；

19、將所述訓(xùn)練集輸入至卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行熔池識(shí)別模型的訓(xùn)練，通過(guò)前向傳播、反向傳播和優(yōu)化過(guò)程學(xué)習(xí)焊接圖像與內(nèi)部熔池形態(tài)的映射關(guān)系。

20、進(jìn)一步地，所述將所述焊槍相對(duì)焊縫位置、所述表面溫度分布數(shù)據(jù)和所述內(nèi)部熔池形態(tài)數(shù)據(jù)輸入至預(yù)訓(xùn)練的焊接過(guò)程狀態(tài)空間模型中，輸出焊接狀態(tài)識(shí)別結(jié)果，所述焊接狀態(tài)識(shí)別結(jié)果選自正?；虍惓５牟襟E，包括：

21、將所述焊槍相對(duì)焊縫位置、所述表面溫度分布數(shù)據(jù)和所述內(nèi)部熔池形態(tài)數(shù)據(jù)分別進(jìn)行數(shù)據(jù)歸一化預(yù)處理，得到預(yù)處理位置數(shù)據(jù)、預(yù)處理溫度分布數(shù)據(jù)和預(yù)處理熔池形態(tài)數(shù)據(jù)；

22、將所述預(yù)處理位置數(shù)據(jù)、預(yù)處理溫度分布數(shù)據(jù)和預(yù)處理熔池形態(tài)數(shù)據(jù)進(jìn)行融合，形成焊接綜合特征向量；

23、將所述焊接綜合特征向量輸入至所述焊接過(guò)程狀態(tài)空間模型中，其中，所述焊接過(guò)程狀態(tài)空間模型預(yù)定義有正常焊接狀態(tài)和異常焊接狀態(tài)的邊界；

24、根據(jù)所述焊接綜合特征向量與所述邊界的映射結(jié)果，判斷所述焊接狀態(tài)是否正常，并輸出焊接狀態(tài)識(shí)別結(jié)果。

25、進(jìn)一步地，所述根據(jù)對(duì)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果，通過(guò)預(yù)先構(gòu)建的強(qiáng)化學(xué)習(xí)模型，輸出一組新的電參數(shù)組合的步驟前，包括：

26、獲取對(duì)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果；

27、所述獲取對(duì)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果的步驟包括：

28、持續(xù)同步采集焊接過(guò)程中連續(xù)幀焊接圖像和三維點(diǎn)云數(shù)據(jù)，其中，每一幀焊接圖像與對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)被賦予唯一的時(shí)間戳；

29、將所述焊接圖像逐幀輸入至預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取，提取焊縫圖像特征；

30、將所述焊縫圖像特征逐幀輸入至預(yù)訓(xùn)練的表面缺陷檢測(cè)模型中進(jìn)行缺陷識(shí)別，輸出單幀圖像缺陷檢測(cè)結(jié)果；以及，

31、將相鄰幀所述焊縫圖像特征輸入至預(yù)訓(xùn)練的焊接異常識(shí)別模型中進(jìn)行異常識(shí)別，輸出幀間焊接狀態(tài)識(shí)別結(jié)果；

32、通過(guò)所述三維點(diǎn)云數(shù)據(jù)對(duì)焊縫的幾何形狀與預(yù)設(shè)的理想幾何形狀進(jìn)行比較，獲取幾何形狀評(píng)估結(jié)果；

33、將基于同一起始時(shí)間戳和同一結(jié)束時(shí)間戳的預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的各項(xiàng)所述單幀圖像缺陷檢測(cè)結(jié)果、各項(xiàng)所述幀間焊接狀態(tài)識(shí)別結(jié)果和各項(xiàng)所述幾何形狀評(píng)估結(jié)果，輸入至預(yù)訓(xùn)練的深度學(xué)習(xí)模型，輸出單段焊接過(guò)程綜合質(zhì)量分值，所述綜合質(zhì)量分值用于評(píng)估焊接質(zhì)量。

34、進(jìn)一步地，所述策略生成模型的預(yù)先訓(xùn)練步驟，包括：

35、設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)為：

36、r(s,a)?=?w1?×? f1(quality(s,a))+?w2?×? f2?(stability(s,a))－w3?× c(a)

37、其中，quality(s,a)為單幀圖像缺陷檢測(cè)結(jié)果，stability(s,a)為幀間焊接狀態(tài)識(shí)別結(jié)果， c(a)為單段焊接過(guò)程綜合質(zhì)量分值；w1為單幀圖像缺陷檢測(cè)結(jié)果的權(quán)重，w2為幀間焊接狀態(tài)識(shí)別結(jié)果的權(quán)重，w3為單段焊接過(guò)程綜合質(zhì)量分值權(quán)重；

38、采用預(yù)收集的策略訓(xùn)練集，選擇強(qiáng)化學(xué)習(xí)算法進(jìn)行策略生成模型訓(xùn)練，調(diào)整所述獎(jiǎng)勵(lì)函數(shù)的獎(jiǎng)勵(lì)值更新所述策略生成模型的參數(shù)，以輸出在當(dāng)前狀態(tài)下得到的獎(jiǎng)勵(lì)值最高的動(dòng)作；所述策略訓(xùn)練集中包括狀態(tài)、動(dòng)作及相應(yīng)的獎(jiǎng)勵(lì)值映射關(guān)系；所述狀態(tài)包括單幀圖像缺陷檢測(cè)結(jié)果、幀間焊接狀態(tài)識(shí)別結(jié)果和單段焊接過(guò)程綜合質(zhì)量分值，所述動(dòng)作包括電參數(shù)組合。

39、進(jìn)一步地， f1(quality(s,a))?=?q1?×?d(s,a)＋q2?×?w(s,a)＋q3?×?i(s,a)

40、其中d(s,a)為焊縫的深度指標(biāo)，w(s,a)為焊縫的寬度指標(biāo)，i(s,a)為焊縫的完整性指標(biāo)，q1為焊縫的深度指標(biāo)權(quán)重，q2為焊縫的寬度指標(biāo)權(quán)重，q3為焊縫的完整性指標(biāo)權(quán)重。

41、進(jìn)一步地，所述將所述新的電參數(shù)組合發(fā)送給焊接執(zhí)行模塊，用所述新的電參數(shù)組合替換所述當(dāng)前電參數(shù)組合的步驟后，還包括：

42、獲取所述新的電參數(shù)組合對(duì)應(yīng)的新的焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果；

43、將所述新的焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果對(duì)應(yīng)更新至所述策略生成模型中，以實(shí)現(xiàn)策略生成模型的優(yōu)化。

44、本發(fā)明第二方面提供了一種焊接自適應(yīng)視覺控制裝置，所述裝置包括，

45、數(shù)據(jù)采集模塊，用于實(shí)時(shí)采集焊接過(guò)程中的當(dāng)前電參數(shù)組合、焊接圖像、焊槍相對(duì)焊縫位置數(shù)據(jù)和表面溫度分布數(shù)據(jù)；

46、熔池識(shí)別模塊，用于將所述焊接圖像輸入至預(yù)訓(xùn)練的熔池識(shí)別模型中，輸出內(nèi)部熔池形態(tài)數(shù)據(jù)；

47、狀態(tài)識(shí)別模塊，用于將所述焊槍相對(duì)焊縫位置、所述表面溫度分布數(shù)據(jù)和所述內(nèi)部熔池形態(tài)數(shù)據(jù)輸入至預(yù)訓(xùn)練的焊接過(guò)程狀態(tài)空間模型中，輸出焊接狀態(tài)識(shí)別結(jié)果，所述焊接狀態(tài)識(shí)別結(jié)果選自正?；虍惓?；

48、判斷模塊，用于判斷所述焊接狀態(tài)識(shí)別結(jié)果是否為異常；

49、策略生成模塊，用于若所述焊接狀態(tài)識(shí)別結(jié)果為異常，則根據(jù)對(duì)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果，通過(guò)預(yù)先訓(xùn)練的策略生成模型，輸出一組新的電參數(shù)組合；

50、參數(shù)調(diào)節(jié)模塊，用于將所述新的電參數(shù)組合發(fā)送給焊接執(zhí)行模塊，用所述新的電參數(shù)組合替換所述當(dāng)前電參數(shù)組合。

51、本發(fā)明第三方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的焊接自適應(yīng)視覺控制的步驟。

52、本發(fā)明提供的焊接自適應(yīng)視覺控制方法，通過(guò)實(shí)時(shí)采集焊接過(guò)程中的多維度數(shù)據(jù)，包括電參數(shù)組合、焊接圖像、焊槍位置及表面溫度分布，確保了對(duì)焊接狀態(tài)的全面而精確的監(jiān)控；通過(guò)預(yù)訓(xùn)練的熔池識(shí)別模型和焊接過(guò)程狀態(tài)空間模型，實(shí)現(xiàn)了對(duì)焊接狀態(tài)的即時(shí)分析與判斷，大大提升了控制的實(shí)時(shí)性和精準(zhǔn)性；在檢測(cè)到焊接狀態(tài)異常時(shí)，依據(jù)焊接質(zhì)量的實(shí)時(shí)評(píng)估結(jié)果，通過(guò)預(yù)先訓(xùn)練的策略生成模型，自動(dòng)輸出并調(diào)整至最優(yōu)的電參數(shù)組合。這種智能化的自適應(yīng)調(diào)整能力，有效解決了傳統(tǒng)焊接方法中焊接參數(shù)固定不變、難以適應(yīng)復(fù)雜工況的問(wèn)題，顯著提高了焊接質(zhì)量的穩(wěn)定性和一致性。自動(dòng)化和智能化的焊接過(guò)程控制減少了人工干預(yù)的需要，降低了人為因素對(duì)焊接質(zhì)量的影響。