本發(fā)明涉及控制，具體而言，涉及一種實(shí)現(xiàn)深框工件抓取的方法、裝置和電子設(shè)備。

背景技術(shù)：

1、隨著工業(yè)自動化和智能化的發(fā)展，機(jī)器人抓取技術(shù)在制造、物流、倉儲等領(lǐng)域的應(yīng)用日益廣泛。然而，面對復(fù)雜工件的無序抓取，傳統(tǒng)的機(jī)器人抓取系統(tǒng)仍然存在許多挑戰(zhàn)。無序抓取任務(wù)的復(fù)雜性體現(xiàn)在工件種類繁多、形態(tài)各異，工件在堆疊、擺放時(shí)姿態(tài)不固定，且可能存在相互遮擋和干擾。這對機(jī)器人的感知、識別和抓取能力等提出了更高的要求。

2、隨著深度學(xué)習(xí)技術(shù)的興起，實(shí)例分割網(wǎng)絡(luò)在圖像識別、物體檢測等領(lǐng)域取得了突破性進(jìn)展。深度學(xué)習(xí)模型通過學(xué)習(xí)大量的標(biāo)注數(shù)據(jù)，可以自動提取和利用工件的形狀、紋理等高維特征，從而顯著提升了實(shí)例分割的準(zhǔn)確性和魯棒性。然而，深度學(xué)習(xí)模型的成功依賴于大量高質(zhì)量訓(xùn)練數(shù)據(jù)以及網(wǎng)絡(luò)模型的設(shè)計(jì)。因此，現(xiàn)有實(shí)例分割方法針對工業(yè)場景至少存在以下局限性：

3、1、數(shù)據(jù)集制作困難：復(fù)雜工件的形狀、結(jié)構(gòu)和表面特性各異，要獲得覆蓋廣泛工件類型的高質(zhì)量訓(xùn)練數(shù)據(jù)集十分困難。在工業(yè)場景中，不同工件的數(shù)量多、規(guī)格復(fù)雜，且生產(chǎn)環(huán)境中的采集條件往往變化多端，收集足夠數(shù)量的真實(shí)數(shù)據(jù)耗時(shí)費(fèi)力。同時(shí)，在不同光照條件下由于金屬工件的高反射性，其實(shí)際顏色可能在圖像中失真，使得金屬物體的形狀和細(xì)節(jié)不被識別。除此之外，即使收集到足夠數(shù)量的真實(shí)工件數(shù)據(jù)，對這些圖像進(jìn)行準(zhǔn)確標(biāo)注也極具挑戰(zhàn)性。人工標(biāo)注往往存在主觀性，導(dǎo)致檢測模型性能不穩(wěn)定，并且面對復(fù)雜幾何結(jié)構(gòu)或紋理的工件時(shí)容易出錯(cuò)。

4、2、復(fù)雜場景下模型魯棒性不足：在無序堆疊場景下，工件之間的遮擋會導(dǎo)致檢測模型無法獲得完整的工件特征，影響識別準(zhǔn)確性，出現(xiàn)漏檢現(xiàn)象。同時(shí)，現(xiàn)有模型對形狀復(fù)雜、尺寸變化較大的工件處理能力有限，尤其是針對非規(guī)則形狀或具有多種姿態(tài)的工件，模型易出現(xiàn)誤檢或漏檢。除此之外，在實(shí)際工業(yè)環(huán)境中，光照條件通常復(fù)雜多變，反光、陰影等因素會對現(xiàn)有模型造成干擾，導(dǎo)致誤檢情況的增加。

5、可見，基于深度學(xué)習(xí)的模型網(wǎng)絡(luò)依賴于大量的高質(zhì)量標(biāo)注數(shù)據(jù)集，而復(fù)雜工件的真實(shí)數(shù)據(jù)采集和標(biāo)注成本高、難度大。同時(shí)，工件的無序擺放和各種光照、遮擋、反射等復(fù)雜場景因素，增加了模型檢測的難度，現(xiàn)有網(wǎng)絡(luò)在面對具有復(fù)雜形狀和多樣紋理工件時(shí)表現(xiàn)不佳，容易出現(xiàn)漏檢或誤檢問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的在于提供一種實(shí)現(xiàn)深框工件抓取的方法、裝置和電子設(shè)備，用以保障訓(xùn)練得到的模型的泛化能力和魯棒性。

2、第一方面，本發(fā)明提供一種實(shí)現(xiàn)深框工件抓取的方法，所述方法包括：

3、基于已有的工件信息構(gòu)建多個(gè)工件三維模型；

4、將所述多個(gè)工件三維模型堆疊至深框模型，并獲得在不同仿真工況下的多個(gè)工件仿真圖像；

5、基于構(gòu)建的結(jié)構(gòu)相似性指標(biāo)，從所述多個(gè)工件仿真圖像中篩選出多個(gè)工件仿真圖像；

6、利用小波變換處理方法對篩選出的各所述工件仿真圖像包括的目標(biāo)信息進(jìn)行處理，以降低所述工件仿真圖像的高反射性；

7、利用處理后的各所述工件仿真圖像對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到用于深框工件抓取所需的實(shí)例分割模型。

8、在可選的實(shí)施方式中，所述基于構(gòu)建的結(jié)構(gòu)相似性指標(biāo)，從所述多個(gè)工件仿真圖像中篩選出多個(gè)工件仿真圖像的步驟，包括：

9、基于構(gòu)建的結(jié)構(gòu)相似性指標(biāo)計(jì)算各所述工件仿真圖像與已有的真實(shí)工件圖像之間的結(jié)構(gòu)相似性指數(shù)；

10、篩選出結(jié)構(gòu)相似性指數(shù)大于或等于預(yù)設(shè)閾值的工件仿真圖像。

11、在可選的實(shí)施方式中，所述基于構(gòu)建的結(jié)構(gòu)相似性指標(biāo)計(jì)算各所述工件仿真圖像與已有的真實(shí)工件圖像之間的結(jié)構(gòu)相似性指數(shù)的步驟，包括：

12、將各所述工件仿真圖像和已有的真實(shí)工件圖像分別劃分為多個(gè)圖像窗口；

13、計(jì)算各所述工件仿真圖像以及所述真實(shí)工件圖像的各個(gè)圖像窗口的圖像均值和圖像方差；

14、針對各所述工件仿真圖像中的各個(gè)圖像窗口，基于所述圖像窗口的圖像均值、圖像方差以及所述真實(shí)工件圖像中與所述圖像窗口對應(yīng)的圖像窗口的圖像均值和圖像方差，計(jì)算得到協(xié)方差；

15、基于所述圖像窗口的圖像均值、圖像方差和協(xié)方差計(jì)算得到結(jié)構(gòu)相似性指數(shù)；

16、基于所述工件仿真圖像的多個(gè)圖像窗口的多個(gè)結(jié)構(gòu)相似性指數(shù)計(jì)算得到最終的結(jié)構(gòu)相似性指數(shù)。

17、在可選的實(shí)施方式中，所述利用小波變換處理方法對篩選出的各所述工件仿真圖像包括的目標(biāo)信息進(jìn)行處理的步驟，包括：

18、針對篩選出的各所述工件仿真圖像，提取出所述工件仿真圖像包括低頻信息，作為目標(biāo)信息；

19、對所述目標(biāo)信息進(jìn)行直方圖均值化處理。

20、在可選的實(shí)施方式中，所述提取出所述工件仿真圖像包括低頻信息的步驟，包括：

21、對所述工件仿真圖像使用低通濾波器和高通濾波器進(jìn)行處理；

22、對處理后的工件仿真圖像進(jìn)行下采樣處理，以將所述工件仿真圖像分解為低頻信息和高頻信息。

23、在可選的實(shí)施方式中，各所述工件仿真圖像具有真實(shí)標(biāo)簽，所述真實(shí)標(biāo)簽包括真實(shí)類別和真實(shí)框；

24、所述利用處理后的各所述工件仿真圖像對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到用于深框工件抓取所需的實(shí)例分割模型的步驟，包括：

25、將處理后的各所述工件仿真圖像導(dǎo)入構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行處理，輸出所述工件仿真圖像的預(yù)測類別和預(yù)測框；

26、在構(gòu)建的損失函數(shù)的指導(dǎo)下對所述網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整后繼續(xù)訓(xùn)練，直至滿足預(yù)設(shè)要求時(shí)得到用于深框工件抓取所需的實(shí)例分割模型；

27、其中，所述損失函數(shù)包括類別損失函數(shù)、預(yù)測框回歸損失函數(shù)和分割損失函數(shù)，所述類別損失函數(shù)基于所述工件仿真圖像的真實(shí)類別和預(yù)測類別所構(gòu)建，所述預(yù)測框回歸損失函數(shù)基于所述工件仿真圖像的真實(shí)框和預(yù)測框所構(gòu)建。

28、在可選的實(shí)施方式中，所述網(wǎng)絡(luò)模型包括特征提取模塊、特征融合模塊和后處理模塊；

29、所述特征提取模塊包括卷積層、轉(zhuǎn)換層和池化層，在所述轉(zhuǎn)換層的后端還連接有多尺度注意力模塊；

30、所述利用處理后的各所述工件仿真圖像對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟，包括：

31、將處理后的各所述工件仿真圖像導(dǎo)入構(gòu)建的網(wǎng)絡(luò)模型包括的特征提取模塊，通過所述特征提取模塊中的卷積層、轉(zhuǎn)換層、池化層和多尺度注意力模塊對所述工件仿真圖像進(jìn)行處理得到特征提取結(jié)果；

32、通過所述特征融合模塊對所述特征提取結(jié)果進(jìn)行融合處理得到融合處理結(jié)果；

33、利用所述后處理模塊對所述融合處理結(jié)果進(jìn)行后處理，得到所述工件仿真圖像的預(yù)測結(jié)果。

34、在可選的實(shí)施方式中，所述特征融合模塊包括轉(zhuǎn)換層、卷積層、拼接層、上采樣層和注意力融合模塊；

35、所述注意力融合模塊連接至所述特征提取模塊中的多尺度注意力模塊以及所述特征融合模塊中的轉(zhuǎn)換層，用于對所述多尺度注意力模塊以及所述轉(zhuǎn)換層的輸出結(jié)果進(jìn)行融合處理，并將融合處理后的結(jié)果輸出至所述后處理模塊。

36、第二方面，本發(fā)明提供一種實(shí)現(xiàn)深框工件抓取的裝置，所述裝置包括：

37、構(gòu)建模塊，用于基于已有的工件信息構(gòu)建多個(gè)工件三維模型；

38、獲得模塊，用于將所述多個(gè)工件三維模型堆疊至深框模型，并獲得在不同仿真工況下的多個(gè)工件仿真圖像；

39、篩選模塊，用于基于構(gòu)建的結(jié)構(gòu)相似性指標(biāo)，從所述多個(gè)工件仿真圖像中篩選出多個(gè)工件仿真圖像；

40、處理模塊，用于利用小波變換處理方法對篩選出的各所述工件仿真圖像包括的目標(biāo)信息進(jìn)行處理，以降低所述工件仿真圖像的高反射性；

41、訓(xùn)練模塊，用于利用處理后的各所述工件仿真圖像對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到用于深框工件抓取所需的實(shí)例分割模型。

42、第三方面，本發(fā)明提供一種電子設(shè)備，包括存儲器、處理器，所述存儲器中存儲有可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述前述實(shí)施方式任一項(xiàng)所述的方法的步驟。

43、本發(fā)明提供一種實(shí)現(xiàn)深框工件抓取的方法、裝置和電子設(shè)備，基于已有的工件信息構(gòu)建多個(gè)工件三維模型，將多個(gè)工件三維模型堆疊至深框模型，并獲得在不同仿真工況下的多個(gè)工件仿真圖像?；跇?gòu)建的結(jié)構(gòu)相似性指標(biāo)，從多個(gè)工件仿真圖像中篩選出多個(gè)工件仿真圖像，利用小波變換處理方法對篩選出的各個(gè)工件仿真圖像包括的目標(biāo)信息進(jìn)行處理，以降低工件仿真圖像的高反射性。利用處理后的工件仿真圖像對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到用于深框工件抓取所需的實(shí)例分割模型。本方案中，通過生成多樣化且真實(shí)性強(qiáng)的仿真數(shù)據(jù)，以保障訓(xùn)練得到的模型的泛化能力和魯棒性。