本技術(shù)涉及計(jì)算機(jī)視覺(jué)，尤其涉及一種物體抓取排序方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前，傳統(tǒng)的機(jī)器人抓取排序方式主要可以分為兩類(lèi)，第一類(lèi)方式主要通過(guò)目標(biāo)檢測(cè)技術(shù)檢測(cè)多個(gè)待抓取物體的中心點(diǎn)坐標(biāo)，并基于中心點(diǎn)坐標(biāo)確定物體的抓取排序，該種方式確定的物體抓取順序的質(zhì)量不高，機(jī)器人在抓取物體時(shí)容易受到物體傾斜狀態(tài)和物體之間的物理拓?fù)潢P(guān)系的影響，使得機(jī)器人抓取的物體脫落，物體抓取成功率不高。

2、第二種方式主要通過(guò)使用圖像檢測(cè)器定位多個(gè)待抓取物體的物體位置，然后基于定位得到的物體位置構(gòu)建物體之間的操作關(guān)系預(yù)測(cè)模型，通過(guò)生成的操作關(guān)系樹(shù)確定物體的抓取順序，該種方式所需的計(jì)算資源較多，使得物體抓取的實(shí)時(shí)性不盡人意。

3、綜上，相關(guān)技術(shù)中存在的技術(shù)問(wèn)題有待得到改善。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于至少一定程度上解決相關(guān)技術(shù)中存在的技術(shù)問(wèn)題之一。

2、本技術(shù)實(shí)施例的主要目的在于提出一種物體抓取排序方法，該排序方法可以減少物體抓取排序所需的計(jì)算資源，提高生成的物體抓取順序的質(zhì)量，進(jìn)而提高物體抓取的成功率和實(shí)時(shí)性。

3、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的一方面提出了一種物體抓取排序方法，該排序方法包括：

4、獲取記錄有若干個(gè)待抓取物體的物體圖像，以及與所述物體圖像對(duì)應(yīng)的深度圖像；

5、將所述物體圖像輸入至優(yōu)化后的檢測(cè)模型中，得到所述優(yōu)化后的檢測(cè)模型輸出的目標(biāo)類(lèi)別分?jǐn)?shù)和目標(biāo)平面位置；

6、根據(jù)所述目標(biāo)平面位置，對(duì)所述深度圖像進(jìn)行點(diǎn)云分割，得到目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)用于表征對(duì)應(yīng)的所述待抓取物體在所述目標(biāo)平面位置范圍內(nèi)的深度點(diǎn)云的集合；

7、根據(jù)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行抓取排序，得到抓取排序結(jié)果。

8、在一些實(shí)施例中，所述根據(jù)所述目標(biāo)平面位置，對(duì)所述深度圖像進(jìn)行點(diǎn)云分割，得到目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，包括：

9、根據(jù)所述深度圖像，確定與所有所述待抓取物體對(duì)應(yīng)的區(qū)域點(diǎn)云數(shù)據(jù)；

10、根據(jù)所述目標(biāo)平面位置，對(duì)所述區(qū)域點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云篩選，得到所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)。

11、在一些實(shí)施例中，所述根據(jù)所述目標(biāo)平面位置，對(duì)所述區(qū)域點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云篩選，得到所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，包括：

12、根據(jù)所述目標(biāo)平面位置，確定對(duì)應(yīng)的目標(biāo)點(diǎn)云范圍；

13、根據(jù)所述目標(biāo)點(diǎn)云范圍，對(duì)所述區(qū)域點(diǎn)云數(shù)據(jù)進(jìn)行實(shí)例點(diǎn)云分割，得到所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)。

14、在一些實(shí)施例中，所述方法還包括：

15、對(duì)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云濾波，得到濾波后的目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)；

16、對(duì)所述濾波后的目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)進(jìn)行聚類(lèi)分割，得到聚類(lèi)后的目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)。

17、在一些實(shí)施例中，所述根據(jù)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行抓取排序，得到抓取排序結(jié)果，包括：

18、獲取每個(gè)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)的第一點(diǎn)云值和第二點(diǎn)云值，所述第一點(diǎn)云值用于指示所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)的點(diǎn)云平均密度，所述第二點(diǎn)云值用于指示所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)的點(diǎn)云平均高度；

19、根據(jù)所述第一點(diǎn)云值和所述第二點(diǎn)云值，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行對(duì)數(shù)變換及指數(shù)加權(quán)處理，得到若干個(gè)物體加權(quán)分?jǐn)?shù)，每個(gè)所述物體加權(quán)分?jǐn)?shù)對(duì)應(yīng)一個(gè)所述待抓取物體；

20、根據(jù)所有所述物體加權(quán)分?jǐn)?shù)，得到所述抓取排序結(jié)果。

21、在一些實(shí)施例中，根據(jù)所述第一點(diǎn)云值和所述第二點(diǎn)云值，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行對(duì)數(shù)變換及指數(shù)加權(quán)處理，得到物體加權(quán)分?jǐn)?shù)，包括：

22、獲取與所述第一點(diǎn)云值對(duì)應(yīng)的第一權(quán)重、與所述第二點(diǎn)云值對(duì)應(yīng)的第二權(quán)重和與所述目標(biāo)類(lèi)別分?jǐn)?shù)對(duì)應(yīng)的第三權(quán)重；

23、對(duì)所述第一點(diǎn)云值進(jìn)行第一對(duì)數(shù)變換，得到第一對(duì)數(shù)值，以及對(duì)所述第二點(diǎn)云進(jìn)行第二對(duì)數(shù)變換，得到第二對(duì)數(shù)值；

24、對(duì)所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行第三對(duì)數(shù)變換，得到類(lèi)別對(duì)數(shù)值；

25、根據(jù)所述第一權(quán)重、所述第二權(quán)重和所述第三權(quán)重，對(duì)所述第一對(duì)數(shù)值、所述第二對(duì)數(shù)值和所述類(lèi)別對(duì)數(shù)值進(jìn)行指數(shù)加權(quán)，得到所述物體加權(quán)分?jǐn)?shù)。

26、在一些實(shí)施例中，所述優(yōu)化后的檢測(cè)模型包括特征提取模塊和特征融合模塊，所述特征提取模塊包括多個(gè)級(jí)聯(lián)的瓶頸殘差塊，所述將所述物體圖像輸入至優(yōu)化后的檢測(cè)模型中，得到所述優(yōu)化后的檢測(cè)模型輸出的目標(biāo)類(lèi)別分?jǐn)?shù)和目標(biāo)平面位置，包括：

27、通過(guò)所述多個(gè)級(jí)聯(lián)的瓶頸殘差塊對(duì)所述物體圖像進(jìn)行多級(jí)特征提取，得到多個(gè)不同尺度的物體特征；

28、通過(guò)所述特征融合模塊對(duì)所述多個(gè)不同尺度的物體特征進(jìn)行特征金字塔融合，得到所述目標(biāo)類(lèi)別分?jǐn)?shù)和所述目標(biāo)平面位置。

29、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種物體抓取排序系統(tǒng)，包括：

30、獲取單元，用于獲取記錄有若干個(gè)待抓取物體的物體圖像，以及與所述物體圖像對(duì)應(yīng)的深度圖像；

31、處理單元，用于將所述物體圖像輸入至優(yōu)化后的檢測(cè)模型中，得到所述優(yōu)化后的檢測(cè)模型輸出的目標(biāo)類(lèi)別分?jǐn)?shù)和目標(biāo)平面位置；

32、分割單元，用于根據(jù)所述目標(biāo)平面位置，對(duì)所述深度圖像進(jìn)行點(diǎn)云分割，得到目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)用于表征對(duì)應(yīng)的所述待抓取物體在所述目標(biāo)平面位置范圍內(nèi)的深度點(diǎn)云的集合；

33、排序單元，用于根據(jù)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行抓取排序，得到抓取排序結(jié)果。

34、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前面所述的方法。

35、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前面所述的方法。

36、本技術(shù)實(shí)施例至少包括以下有益效果：

37、本技術(shù)提供一種物體抓取排序方法、系統(tǒng)、設(shè)備及介質(zhì)，其中，該排序方法獲取記錄有若干個(gè)待抓取物體的物體圖像，以及與所述物體圖像對(duì)應(yīng)的深度圖像；將所述物體圖像輸入至優(yōu)化后的檢測(cè)模型中，得到所述優(yōu)化后的檢測(cè)模型輸出的目標(biāo)類(lèi)別分?jǐn)?shù)和目標(biāo)平面位置；根據(jù)所述目標(biāo)平面位置，對(duì)所述深度圖像進(jìn)行點(diǎn)云分割，得到目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)用于表征對(duì)應(yīng)的所述待抓取物體在所述目標(biāo)平面位置范圍內(nèi)的深度點(diǎn)云的集合；根據(jù)所述目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，對(duì)對(duì)應(yīng)的所述目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行抓取排序，得到抓取排序結(jié)果。該排序方法基于檢測(cè)模型輸出的目標(biāo)平面位置對(duì)深度圖像進(jìn)行分割，可以規(guī)避從深度圖像所有待抓取物體中逐一分割實(shí)例點(diǎn)云數(shù)據(jù)的步驟，有效降低所需的計(jì)算資源，進(jìn)而提高物體抓取的實(shí)時(shí)性；另外，該排序方法還根據(jù)目標(biāo)實(shí)例點(diǎn)云數(shù)據(jù)，對(duì)優(yōu)化后的檢測(cè)模型輸出的目標(biāo)類(lèi)別分?jǐn)?shù)進(jìn)行抓取排序，可以多尺度綜合考慮若干個(gè)待抓取物體的抓取順序，有效提高生成的物體抓取順序的質(zhì)量，進(jìn)而提高物體抓取的成功率。