本發(fā)明涉及機器視覺，具體而言，涉及一種像素級抓取檢測方法、裝置和存儲介質(zhì)。

背景技術(shù)：

1、機器人的抓取檢測作為機器人技術(shù)的核心能力之一，在家庭、工業(yè)、醫(yī)療以及軍事等領(lǐng)域中扮演著不可或缺的角色，是衡量機器人與未知環(huán)境感知交互質(zhì)量的關(guān)鍵。機器人能否精確感知、定位目標(biāo)物的幾何姿態(tài)直接影響著抓取效率與準(zhǔn)確性。而面對未知形狀與位置的物體，如何利用視覺信息進行快速且穩(wěn)定的抓取檢測仍是當(dāng)前的主要難題。近年來，為了提高非結(jié)構(gòu)環(huán)境下未知物體抓取檢測的準(zhǔn)確性，很多研究選擇采用深度學(xué)習(xí)的方法來提高檢測效率：方案一：采用滑動窗口法來預(yù)測抓取框，通過在圖像上滑動不同大小、不同位置的窗口來檢測潛在的抓取區(qū)域，隨著圖像分辨率和滑動步長的增加，計算量的指數(shù)性增長導(dǎo)致計算效率低，難以滿足機器人實時抓取任務(wù)的要求。方案二：采用基于錨框的抓取檢測算法，將圖像劃分成n×n格單元網(wǎng)絡(luò)進行回歸預(yù)測，取所有單元格中抓取概率最高的作為預(yù)測結(jié)果；缺點是無法直接處理旋轉(zhuǎn)角度，必須通過回歸網(wǎng)絡(luò)來預(yù)測抓取框角度，額外增加了網(wǎng)絡(luò)的復(fù)雜性并容易導(dǎo)致預(yù)測誤差。方案三：基于關(guān)鍵點估計的機器人抓取檢測算法，使用centernet作為基礎(chǔ)框架，結(jié)合改進的殘差塊與se注意力模塊找到抓取矩形中心點，在cornell抓取數(shù)據(jù)集上達到了97.75％的準(zhǔn)確率，但是se注意力模塊會引入一定的參數(shù)量，當(dāng)通道數(shù)較大時會顯著增加計算開銷。綜上，現(xiàn)有技術(shù)方案針對機器人在非結(jié)構(gòu)環(huán)境中對未知物體抓取檢測準(zhǔn)確性或檢測效率普遍較低，需要進一步提升抓取檢測的準(zhǔn)確性以及檢測效率。

2、因此，如何在不顯著增加計算量的前提下提高抓取檢測任務(wù)的準(zhǔn)確度和性能成為亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術(shù)或相關(guān)技術(shù)中存在的技術(shù)問題之一，公開了一種像素級抓取檢測方法、裝置和存儲介質(zhì)，能夠更加關(guān)注物體特點，在抓取檢測上有著良好的魯棒性和準(zhǔn)確性。

2、本發(fā)明的第一方面公開了一種像素級抓取檢測方法，包括：引入跳躍連接：基于生成殘差卷積神經(jīng)網(wǎng)絡(luò)(gr-convnet)，將生成殘差卷積神經(jīng)網(wǎng)絡(luò)的卷積層的輸出特征與反卷積層的輸出特征進行特征拼接；引入注意力機制：在生成殘差卷積神經(jīng)網(wǎng)絡(luò)的殘差塊中引入eca通道注意力機制，通過eca模塊對特征圖的各個通道分配權(quán)重；改進損失函數(shù)：生成掩碼矩陣，掩碼矩陣是一個與輸入圖像尺寸相同的矩陣，掩碼矩陣的每個元素表示對應(yīng)像素是否屬于物品所在區(qū)域；生成權(quán)重矩陣，權(quán)重矩陣中的權(quán)重值與掩碼矩陣的元素一一對應(yīng)，每個權(quán)重值表示在計算損失時對像素的關(guān)注程度，對于處于物品所在區(qū)域的掩碼矩陣元素賦予第一權(quán)重，對于物品區(qū)域之外的掩碼矩陣元素賦予第二權(quán)重，第一權(quán)重大于第二權(quán)重；將權(quán)重矩陣與生成殘差卷積神經(jīng)網(wǎng)絡(luò)的smooth?l1損失函數(shù)的計算結(jié)果相乘，得到優(yōu)化后的損失函數(shù)；基于改進后的生成殘差卷積神經(jīng)網(wǎng)絡(luò)對待抓取物品進行檢測。

3、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，還包括：訓(xùn)練改進后的生成殘差卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)采集到的待抓取物品圖像，輸出抓取質(zhì)量、抓取角度以及抓取寬度，以便抓取裝置執(zhí)行抓取動作。

4、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，生成掩碼矩陣的步驟，具體包括：創(chuàng)建一個與輸入圖像尺寸相同的空白掩碼矩陣；根據(jù)抓取矩形信息或抓取標(biāo)注信息確定抓取區(qū)域；將抓取區(qū)域之內(nèi)像素的掩碼設(shè)置為1，將抓取區(qū)域之外像素的掩碼設(shè)置為0。

5、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，對于cornell數(shù)據(jù)集，抓取點由一個矩形表示，矩形的四個頂點坐標(biāo)記錄在標(biāo)注文件中，對于每個抓取矩形，將矩形內(nèi)的像素對應(yīng)的掩碼設(shè)置為1，其它區(qū)域設(shè)置為0；對于jacquard數(shù)據(jù)集，每個抓取點由一個中心點和一個方向角表示，標(biāo)注文件中記錄了中心點和方向角信息，對于每個抓取點，根據(jù)中心點和方向角生成一個矩形區(qū)域，并將矩形區(qū)域內(nèi)的像素對應(yīng)的掩碼設(shè)置為1，其它區(qū)域設(shè)置為0。

6、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，eca模塊的處理過程包括：對輸入的特征圖進行全局平均池化；利用一維卷積對全局平均池化后的通道信息進行卷積操作；通過非線性激活函數(shù)sigmoid生成通道權(quán)重；將通道權(quán)重與輸入的特征圖按通道相乘。

7、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，生成殘差卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程采用的激活函數(shù)為mish函數(shù)。

8、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，生成殘差卷積神經(jīng)網(wǎng)絡(luò)具體包括：卷積層，用于對輸入圖像進行下采樣特征提?。粴埐顗K，用于對卷積層輸出的特征圖進行特征提取；反卷積層，用于對殘差塊輸出的特征圖進行上采樣操作。

9、根據(jù)本發(fā)明公開的像素級抓取檢測方法，優(yōu)選地，輸入圖像依次經(jīng)過3個卷積層，5個殘差塊以及3個反卷積層，從而進行特征提取。

10、本發(fā)明的第二方面公開了一種像素級抓取檢測裝置，包括：存儲器，用于存儲程序指令；處理器，用于調(diào)用存儲器中存儲的程序指令以實現(xiàn)如上述任一技術(shù)方案的像素級抓取檢測方法。

11、本發(fā)明的第三方面公開了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲有程序代碼，程序代碼用于實現(xiàn)如上述任一技術(shù)方案的像素級抓取檢測方法。

12、本發(fā)明的有益效果至少包括：生成殘差卷積神經(jīng)網(wǎng)絡(luò)(gr-convnet)是一個能夠?qū)ψト↑c質(zhì)量、抓取寬度以及抓取角度進行學(xué)習(xí)的模型，能夠?qū)gb圖像與對應(yīng)的深度圖像作為多模態(tài)輸入，通過端到端的聯(lián)合訓(xùn)練，有效學(xué)習(xí)多維特征表示，考慮到在像素級抓取檢測任務(wù)中，由于物體間相對位置的模糊性和物體尺寸的異質(zhì)性，gr-convnet檢測精度容易受到影響，本發(fā)明通過建立卷積層與反卷積層之間的跳躍連接，減少細(xì)粒度信息丟失；通過融合eca通道注意力機制有效地幫助模型在高維特征空間中進行篩選，忽略與抓取任務(wù)無關(guān)的噪聲特征，專注于與抓取檢測密切相關(guān)的特征；通過加權(quán)掩碼對損失函數(shù)進行改進，使得網(wǎng)絡(luò)更加關(guān)注目標(biāo)物體所在的有效區(qū)域，顯著增加抓取檢測準(zhǔn)確性。

技術(shù)特征：

1.一種像素級抓取檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的像素級抓取檢測方法，其特征在于，還包括：

3.根據(jù)權(quán)利要求1所述的像素級抓取檢測方法，其特征在于，所述生成掩碼矩陣的步驟，具體包括：

4.根據(jù)權(quán)利要求3所述的像素級抓取檢測方法，其特征在于，對于cornell數(shù)據(jù)集，抓取點由一個矩形表示，矩形的四個頂點坐標(biāo)記錄在標(biāo)注文件中，對于每個抓取矩形，將矩形內(nèi)的像素對應(yīng)的掩碼設(shè)置為1，其它區(qū)域設(shè)置為0；對于jacquard數(shù)據(jù)集，每個抓取點由一個中心點和一個方向角表示，標(biāo)注文件中記錄了中心點和方向角信息，對于每個抓取點，根據(jù)中心點和方向角生成一個矩形區(qū)域，并將矩形區(qū)域內(nèi)的像素對應(yīng)的掩碼設(shè)置為1，其它區(qū)域設(shè)置為0。

5.根據(jù)權(quán)利要求1所述的像素級抓取檢測方法，其特征在于，所述eca模塊的處理過程包括：

6.根據(jù)權(quán)利要求1所述的像素級抓取檢測方法，其特征在于，所述生成殘差卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程采用的激活函數(shù)為mish函數(shù)。

7.根據(jù)權(quán)利要求1所述的像素級抓取檢測方法，其特征在于，所述生成殘差卷積神經(jīng)網(wǎng)絡(luò)具體包括：

8.根據(jù)權(quán)利要求7所述的像素級抓取檢測方法，其特征在于，輸入圖像依次經(jīng)過3個所述卷積層，5個所述殘差塊以及3個所述反卷積層，從而進行特征提取。

9.一種像素級抓取檢測裝置，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有程序代碼，所述程序代碼用于實現(xiàn)如權(quán)利要求1至8中任一項所述的像素級抓取檢測方法。

技術(shù)總結(jié)
本發(fā)明提供了一種像素級抓取檢測方法、裝置和存儲介質(zhì)，涉及機器視覺技術(shù)領(lǐng)域，包括：引入跳躍連接：基于生成殘差卷積神經(jīng)網(wǎng)絡(luò)，將生成殘差卷積神經(jīng)網(wǎng)絡(luò)的卷積層的輸出特征與反卷積層的輸出特征進行特征拼接；引入注意力機制：在生成殘差卷積神經(jīng)網(wǎng)絡(luò)的殘差塊中引入ECA通道注意力機制，通過ECA模塊對特征圖的各個通道分配權(quán)重；改進損失函數(shù)：通過加權(quán)掩碼對物體所在的區(qū)域給予更高的權(quán)重，得到優(yōu)化后的損失函數(shù)；基于改進后的生成殘差卷積神經(jīng)網(wǎng)絡(luò)對待抓取物品進行檢測。根據(jù)本發(fā)明提供的像素級抓取檢測方法能夠更精確地捕捉物體的局部幾何信息與全局結(jié)構(gòu)關(guān)系，從而提高檢測的精度和魯棒性。

技術(shù)研發(fā)人員：鄧三鵬,周旺發(fā),曹宇聰,權(quán)利紅,薛強,張會,黃壯
受保護的技術(shù)使用者：天津博諾智創(chuàng)機器人技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30