本發(fā)明屬于機(jī)器人裝配領(lǐng)域，尤其涉及一種基于深度投影的機(jī)械手抓取規(guī)劃方法及控制裝置。

背景技術(shù)：

現(xiàn)有的抓取規(guī)劃方法，基本可以分為基于解析的抓取規(guī)劃方法和基于學(xué)習(xí)的抓取規(guī)劃方法。

基于解析的抓取規(guī)劃方法在抓取合成階段，首先定義一些如立方體、球、圓柱、圓錐等這樣的基礎(chǔ)形狀，同時(shí)定義他們相對(duì)應(yīng)的可能抓取位姿，然后利用形狀單元(shape primitives)、分解樹(decomposition trees)或者最小體積包圍盒(minimum volume bounding box)等不同的方法對(duì)物體進(jìn)行分解，分解成上述的基礎(chǔ)形狀。最后按照預(yù)定義的候選抓取位姿，將每一個(gè)分解出的基礎(chǔ)形狀對(duì)應(yīng)的候選抓取位姿全部取出，組合成整個(gè)物體的候選抓取位姿。而在抓取選擇階段，通過在GraspIt！或OpenRAVE等仿真環(huán)境進(jìn)行抓取仿真,獲取每一個(gè)手爪與物體的接觸點(diǎn)處的六維力旋量信息，進(jìn)而求取ε度量或者凸包體積度量，從而選出具有最大度量值的抓取位姿，作為最優(yōu)抓取位姿。

基于學(xué)習(xí)的抓取規(guī)劃方法通常利用已有的抓取場(chǎng)景信息及對(duì)應(yīng)的成功與不成功抓取位姿等作為樣本，離線訓(xùn)練用于抓取規(guī)劃的神經(jīng)網(wǎng)絡(luò)。而在線部分，用工作場(chǎng)景的RGB或者RGB-D的數(shù)據(jù)作為輸入，經(jīng)過已訓(xùn)練好的模型，直接輸出最優(yōu)抓取位姿。

基于解析的方法在計(jì)算速度上優(yōu)于基于學(xué)習(xí)的方法，然而對(duì)于基于解析的方法，需要對(duì)機(jī)械手爪以及被抓取物體進(jìn)行精確三維建模，而這對(duì)于具有龐大數(shù)量的待抓取物體進(jìn)行建模幾乎是不現(xiàn)實(shí)的。特別是對(duì)于可變形物體，如毛絨玩具等，根本無法構(gòu)建出可用的靜態(tài)模型。而基于學(xué)習(xí)的方法雖然不需要對(duì)待抓取物體和機(jī)械手爪進(jìn)行精確建模，但是由于滑動(dòng)窗口方法的采用，導(dǎo)致規(guī)劃速度上遠(yuǎn)不如基于解析的方法，同時(shí)該類方法由于直接采用RGB數(shù)據(jù)作為網(wǎng)絡(luò)模型的輸入，對(duì)光照穩(wěn)定性有較高的要求。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的問題，本發(fā)明提供了一種無需對(duì)待抓取物體建模、能夠適應(yīng)不同物體和手爪尺寸、不受光照變化影響的快速抓取規(guī)劃方法及控制裝置。

本發(fā)明是通過以下技術(shù)方案來實(shí)現(xiàn)的：

本發(fā)明公開了一種基于深度投影的機(jī)械手爪抓取規(guī)劃方法，所述的方法主要包括如下步驟：1)、利用場(chǎng)景深度信息，生成抓取位姿正負(fù)樣本，進(jìn)行抓取選擇神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；2)、根據(jù)當(dāng)前場(chǎng)景深度信息，生成候選抓取位姿樣本，并用訓(xùn)練好的網(wǎng)絡(luò)獲得最優(yōu)抓取位姿。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述的步驟1)的步驟如下：

a、獲取合成的場(chǎng)景深度信息，所述場(chǎng)景深度信息由待抓取物體與待抓取物體的承載物合成；

b、將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，生成抓取位姿正負(fù)樣本；

c、利用訓(xùn)練樣本信息訓(xùn)練抓取選擇神經(jīng)網(wǎng)絡(luò)，所述訓(xùn)練樣本信息包括抓取位姿正負(fù)樣本以及對(duì)應(yīng)抓取位姿是正樣本或負(fù)樣本的標(biāo)簽。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述的步驟2)的步驟如下：

a、獲取當(dāng)前場(chǎng)景深度信息，利用當(dāng)前場(chǎng)景深度信息生成候選抓取位姿的坐標(biāo)系，獲得在候選抓取位姿的坐標(biāo)系下合成的當(dāng)前場(chǎng)景深度信息，所述當(dāng)前場(chǎng)景深度信息由當(dāng)前的待抓取物體與待抓取物體的承載物合成；

b、將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面，生成候選抓取位姿樣本；

c、將候選抓取位姿樣本放入訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)抓取位姿。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述的步驟1)a步驟的具體步驟為：獲取場(chǎng)景點(diǎn)云信息；從場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的場(chǎng)景深度信息；

作為進(jìn)一步地改進(jìn)，本發(fā)明所述的步驟2)中的a步驟的具體步驟為：獲取當(dāng)前場(chǎng)景點(diǎn)云信息；從當(dāng)前場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；對(duì)待抓取物體的點(diǎn)云信息利用PCA主成分分析算法獲取點(diǎn)云主軸方向；生成待抓取物體的點(diǎn)云信息的凸包，對(duì)于凸包的每一個(gè)三角面，根據(jù)三角面的法向量以及待抓取物體點(diǎn)云的主軸生成候選抓取位姿坐標(biāo)系。

作為進(jìn)一步地改進(jìn)，本發(fā)明將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸，和/或?qū)⒑铣傻漠?dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸。

作為進(jìn)一步地改進(jìn)，本發(fā)明利用3D圖像渲染的方法將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，和/或利用3D圖像渲染的方法將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面。

本發(fā)明還公開了一種用于機(jī)械手爪抓取規(guī)劃的控制裝置，包括

第一運(yùn)算模塊，根據(jù)當(dāng)前場(chǎng)景深度信息，生成候選抓取位姿樣本，并用訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)獲得最優(yōu)抓取位姿；

控制模塊，將機(jī)械手爪調(diào)整至最優(yōu)抓取位姿進(jìn)行抓取。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第一運(yùn)算模塊包括

第一獲取單元，獲取當(dāng)前場(chǎng)景深度信息，利用當(dāng)前場(chǎng)景深度信息生成候選抓取位姿的坐標(biāo)系；獲得在候選抓取位姿的坐標(biāo)系下合成的當(dāng)前場(chǎng)景深度信息；

第一位姿樣本生成單元，將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面，生成候選抓取位姿樣本；

抓取選擇單元，將候選抓取位姿樣本放入訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)抓取位姿。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第一獲取單元具體地獲取當(dāng)前場(chǎng)景點(diǎn)云信息；從當(dāng)前場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；對(duì)待抓取物體的點(diǎn)云信息利用PCA主成分分析算法獲取點(diǎn)云主軸方向；生成待抓取物體的點(diǎn)云信息的凸包，對(duì)于凸包的每一個(gè)三角面，根據(jù)三角面的法向量以及待抓取物體點(diǎn)云的主軸生成候選抓取位姿坐標(biāo)系，將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的當(dāng)前場(chǎng)景深度信息。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述控制裝置還包括第二運(yùn)算模塊，第二運(yùn)算模塊利用場(chǎng)景深度信息，生成抓取位姿正負(fù)樣本，進(jìn)行抓取選擇神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第二運(yùn)算模塊包括

第二獲取單元，獲取合成的場(chǎng)景深度信息；

第二位姿樣本生成單元，將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，生成抓取位姿正負(fù)樣本；

訓(xùn)練單元，利用訓(xùn)練樣本信息訓(xùn)練抓取選擇神經(jīng)網(wǎng)絡(luò)；所述訓(xùn)練樣本信息包括抓取位姿正負(fù)樣本以及對(duì)應(yīng)抓取位姿是正樣本或負(fù)樣本的標(biāo)簽。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第二獲取單元具體的獲取場(chǎng)景點(diǎn)云信息；從場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的場(chǎng)景深度信息。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第二位姿樣本生成單元將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸，和/或第一位姿樣本生成單元將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸。

作為進(jìn)一步地改進(jìn)，本發(fā)明所述第二位姿樣本生成單元利用3D圖像渲染的方法將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，和/或第一位姿樣本生成單元利用3D圖像渲染的方法將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面。

本發(fā)明的有益效果是：

(1)綜合了機(jī)械手爪的尺寸信息等，該抓取規(guī)劃方法能夠適應(yīng)于不同種類的機(jī)械手爪，無需對(duì)待抓取物體建模、能夠適應(yīng)不同物體和手爪尺寸、不受光照變化影響的快速抓取規(guī)劃方法。

(2)利用對(duì)待抓取物體點(diǎn)云進(jìn)行PCA，獲取點(diǎn)云主軸方向，在生成候選抓取位姿坐標(biāo)系的步驟中，剔除了與待抓取位姿點(diǎn)云主軸沖突的抓取位姿，減少了無效候選抓取位姿的數(shù)量，提高了候選抓取位姿成為最優(yōu)抓取位姿的整體效率。

(3)利用3D圖像渲染的方法做深度投影的生成，避免了逐個(gè)點(diǎn)云做投影的低效，大大減少了在線抓取規(guī)劃時(shí)間。

附圖說明

圖1為機(jī)械手爪位姿坐標(biāo)系定義示意圖；

圖2為離線部分的深度投影生成過程，以及網(wǎng)絡(luò)訓(xùn)練過程的示意圖；

圖3為根據(jù)分割出的待抓取物體點(diǎn)云信息及桌面位姿信息構(gòu)建的合成場(chǎng)景示意圖；

圖4為在線部分的深度投影生成過程，以及利用訓(xùn)練好的網(wǎng)絡(luò)做抓取選擇的過程示意圖。

具體實(shí)施方式

下面結(jié)合說明書附圖，通過具體實(shí)施例子對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步地說明。

本發(fā)明公開的一種基于深度投影的機(jī)械手抓取規(guī)劃方法通過抓取規(guī)劃控制裝置以及機(jī)械手爪來實(shí)現(xiàn)，機(jī)械手爪用于抓取三維空間中的任意物體，抓取規(guī)劃控制裝置通過本發(fā)明公開的抓取規(guī)劃方法完成抓取規(guī)劃，即利用包含待抓取物體的場(chǎng)景點(diǎn)云信息作為輸入，根據(jù)機(jī)械手爪信息進(jìn)行抓取規(guī)劃，最終輸出最優(yōu)抓取位姿，將最優(yōu)抓取位姿坐標(biāo)系作為機(jī)械手爪位姿坐標(biāo)系，根據(jù)抓取規(guī)劃結(jié)果控制機(jī)械手爪完成抓取。

圖1為機(jī)械手爪位姿坐標(biāo)系定義示意圖；本發(fā)明中提出的方法，用歐式空間的一個(gè)六自由度的位姿直接表示機(jī)械手爪的位姿，其中六個(gè)自由度分別是平移部分的x、y、z，旋轉(zhuǎn)部分的滾動(dòng)角(roll)、俯仰角(pitch)、偏航角(yaw)。圖1中Z軸是手爪接近向量的反方向；X軸是大拇指合起的方向。

本發(fā)明的機(jī)械手爪抓取規(guī)劃方法是經(jīng)由控制器接收一組輸入，包括待抓取物體的場(chǎng)景點(diǎn)云信息；由控制器分割場(chǎng)景點(diǎn)云，獲取待抓取物體點(diǎn)云以及承載物位姿；在物體點(diǎn)云周圍生成候選抓取位姿；利用場(chǎng)景點(diǎn)云及候選抓取位姿生成深度投影；生成的深度投影作為訓(xùn)練好的控制器中的深度神經(jīng)網(wǎng)絡(luò)的輸入部分，利用該網(wǎng)絡(luò)選擇出最優(yōu)深度投影，對(duì)應(yīng)的抓取位姿即為最優(yōu)抓取位姿。細(xì)分為：

步驟201：利用場(chǎng)景深度信息，生成抓取位姿樣本，進(jìn)行抓取選擇神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

其中，所述抓取位姿樣本包括抓取位姿正樣本和抓取位姿負(fù)樣本，所述抓取位姿正樣本對(duì)應(yīng)能夠成功抓取的抓取位姿的樣本，所述負(fù)樣本對(duì)應(yīng)抓取失敗的抓取位姿的樣本。

步驟202：根據(jù)當(dāng)前場(chǎng)景深度信息，生成候選抓取位姿樣本，并用訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)獲得最優(yōu)抓取位姿。

其中，抓取位姿正負(fù)樣本離線生成，候選抓取位姿樣本在線生成，所述離線生成為不在抓取的過程中生成，所述在線生成為在抓取的過程中生成。

步驟201的具體過程為：

步驟301：獲取合成的場(chǎng)景深度信息，所述場(chǎng)景深度信息由待抓取物體與待抓取物體的承載物合成。

具體地(1)獲取場(chǎng)景點(diǎn)云信息；(2)從場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息。其中，所述承載體用于承載待抓取物體，例如所述承載體可以是桌子、椅子等，所述待抓取物體可以是擺放在桌子、椅子上的訂書機(jī)、黑板擦等；圖2中的原始點(diǎn)云中只有一個(gè)物體，但是實(shí)際場(chǎng)景中可能包括多個(gè)物體等，而本發(fā)明的方法只需要將待抓取物體的點(diǎn)云信息以及桌子的位姿信息分割出來即可。(3)將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成場(chǎng)景深度信息。在一具體實(shí)施方式中，對(duì)場(chǎng)景點(diǎn)云信息進(jìn)行點(diǎn)云分割后，在原桌子位姿處新建模擬桌子模型，與待抓取物體的點(diǎn)云信息構(gòu)成只含有待抓取位姿和桌子的場(chǎng)景深度信息；

步驟302：將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，生成深度投影樣本；所述深度投影樣本即為抓取位姿正負(fù)樣本。

在一具體實(shí)施方式中，所述抓取位姿投影平面為樣本抓取位姿坐標(biāo)系的x-y平面，利用3D圖像渲染方法，將合成的場(chǎng)景深度信息渲染到樣本抓取位姿坐標(biāo)系的x-y平面上，生成深度投影樣本。

其中，根據(jù)機(jī)械手爪的不同抓取范圍，選取不同的深度投影尺寸，所述深度投影尺寸確定深度投影樣本尺寸大小。在一具體實(shí)施方式中，具有較大開合范圍即較大抓取范圍的機(jī)械手爪，一般抓取范圍較大，選用較大的投影尺寸；具有開合范圍小即抓取范圍較小的機(jī)械手爪可選用較小的投影尺寸。

步驟303：利用訓(xùn)練樣本信息訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，所述深度神經(jīng)網(wǎng)絡(luò)即為抓取選擇神經(jīng)網(wǎng)絡(luò)。

其中，所述訓(xùn)練樣本信息包括深度投影樣本以及對(duì)應(yīng)抓取位姿是正樣本或負(fù)樣本的標(biāo)簽。

其中，可以利用如Caffe、Tensorflow等搭建合適的網(wǎng)絡(luò)模型并進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

其中，利用訓(xùn)練樣本信息訓(xùn)練抓取選擇神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練集上的分類精度以及測(cè)試集上的分類誤差。當(dāng)訓(xùn)練集上具有較高的分類精度，同時(shí)測(cè)試集上的分類誤差足夠小時(shí)，網(wǎng)絡(luò)模型訓(xùn)練完畢。圖2所示的網(wǎng)絡(luò)模型是一個(gè)示例模型，具有三層卷積網(wǎng)絡(luò)(conv1、conv2、conv3)和兩層全連接網(wǎng)絡(luò)(fc1、fc2)共5層組成，而在具體的訓(xùn)練過程，可以通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)、每層內(nèi)部的參數(shù)等來訓(xùn)練出最優(yōu)的網(wǎng)絡(luò)。

圖2為離線部分的深度投影生成過程，以及網(wǎng)絡(luò)訓(xùn)練過程的示意圖；

步驟一：從場(chǎng)景點(diǎn)云分割出待抓取物體；

步驟二：根據(jù)分割出的待抓取物體點(diǎn)云信息及桌面位姿信息構(gòu)建的合成場(chǎng)景，如圖3所示。

步驟三：根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸。利用3D圖像渲染方法，將合成場(chǎng)景信息渲染到樣本抓取位姿坐標(biāo)系的x-y平面上，生成深度投影樣本。

步驟四：將上述生成的深度投影樣本訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入是訓(xùn)練樣本，訓(xùn)練樣本包括深度投影以及對(duì)應(yīng)抓取位姿是正樣本或負(fù)樣本的標(biāo)簽。

步驟202的具體過程為：

步驟401：獲取當(dāng)前場(chǎng)景深度信息，利用當(dāng)前場(chǎng)景深度信息生成候選抓取位姿的坐標(biāo)系，獲得在候選抓取位姿的坐標(biāo)系下合成的當(dāng)前場(chǎng)景深度信息，所述當(dāng)前場(chǎng)景深度信息由當(dāng)前的待抓取物體與待抓取物體的承載物合成；。

具體地(1)獲取當(dāng)前場(chǎng)景點(diǎn)云信息；(2)從當(dāng)前場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；(3)對(duì)待抓取物體的點(diǎn)云信息利用PCA主成分分析算法獲取點(diǎn)云主軸方向；(4)生成待抓取物體的點(diǎn)云信息的凸包，對(duì)于凸包的每一個(gè)三角面，根據(jù)三角面的法向量以及待抓取物體點(diǎn)云的主軸生成候選抓取位姿坐標(biāo)系；其中，候選抓取位姿坐標(biāo)系的x-y平面也即凸包三角面所在的平面，凸包三角面的法向量即為坐標(biāo)系的z軸，點(diǎn)云主軸用于確定坐標(biāo)系的x軸。(5)將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的當(dāng)前場(chǎng)景深度信息。在一具體實(shí)施方式中，對(duì)當(dāng)前場(chǎng)景點(diǎn)云信息進(jìn)行點(diǎn)云分割后，在原桌子位姿處新建桌子模擬模型，與待抓取物體的點(diǎn)云信息構(gòu)成只含有待抓取位姿和桌子的當(dāng)前場(chǎng)景深度信息；

步驟402：將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面，生成候選深度投影樣本，即為候選抓取位姿樣本。也就是所述候選抓取位姿樣本為候選抓取位姿對(duì)應(yīng)的深度投影。

在一具體實(shí)施方式中，所述候選抓取位姿投影平面為候選抓取位姿坐標(biāo)系的x-y平面，利用3D圖像渲染方法，將合成的當(dāng)前場(chǎng)景深度信息渲染到候選抓取位姿坐標(biāo)系的x-y平面上，生成候選深度投影樣本。

其中，根據(jù)機(jī)械手爪的不同抓取范圍，選取不同的深度投影尺寸，所述深度投影尺寸確定候選深度投影樣本尺寸大小。在一具體實(shí)施方式中，具有較大開合范圍即較大抓取范圍的機(jī)械手爪，一般抓取范圍較大，選用較大的投影尺寸；具有開合范圍小即抓取范圍較小的機(jī)械手爪可選用較小的投影尺寸。

步驟403：將候選抓取位姿樣本放入抓取選擇神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)抓取位姿完成抓取規(guī)劃。

將候選深度投影樣本放入離線部分訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)，從而獲得候選抓取位姿的正/負(fù)標(biāo)簽以及候選抓取位姿樣本是最優(yōu)抓取位姿的概率。其中，候選深度投影樣本中為正標(biāo)簽且概率最大的為最優(yōu)抓取位姿，所述最優(yōu)抓取位姿為機(jī)械手爪最終用于抓取待抓取物體時(shí)所處的位姿。

圖4為在線部分的深度投影生成過程，以及利用訓(xùn)練好的網(wǎng)絡(luò)做抓取選擇的過程示意圖；

步驟一：對(duì)場(chǎng)景點(diǎn)云信息進(jìn)行點(diǎn)云分割，分割出待抓取物體的點(diǎn)云，以及承載待抓取物體的桌子等的位姿信息；

步驟二：對(duì)待抓取物體的點(diǎn)云進(jìn)行PCA主成分分析，獲取點(diǎn)云主軸方向；

步驟三：生成待抓取物體點(diǎn)云的凸包，對(duì)于凸包的每一個(gè)三角面，根據(jù)三角面的法向量以及待抓取物體點(diǎn)云的主軸生成候選抓取位姿坐標(biāo)系；

步驟四：根據(jù)桌子位姿和待抓取物體的點(diǎn)云生成只含有待抓取位姿和桌子的場(chǎng)景；

步驟五：根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸。利用3D圖像渲染方法，將合成場(chǎng)景信息渲染到候選抓取位姿坐標(biāo)系的x-y平面上，生成候選深度投影。

步驟六：將候選深度投影放入離線部分訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，輸出最優(yōu)抓取位姿。

本發(fā)明利用抓取合成和抓取選擇兩個(gè)過程完成抓取規(guī)劃，所述抓取合成是將包含待抓取物體的場(chǎng)景信息作為輸入，在機(jī)械手爪可抓取的大范圍空間中，合成較可能成為最優(yōu)抓取位姿的一些候選抓取位姿。本發(fā)明的方法利用場(chǎng)景點(diǎn)云的信息生成和候選抓取位姿一一對(duì)應(yīng)的深度投影，從而完成抓取合成；所述抓取選擇是指在抓取合成過程中生成的候選抓取位姿中利用一定的評(píng)價(jià)標(biāo)準(zhǔn)，選擇評(píng)價(jià)最高也即最優(yōu)的抓取位姿。通過訓(xùn)練一個(gè)深度網(wǎng)絡(luò)(抓取選擇神經(jīng)網(wǎng)絡(luò))作為深度投影(候選抓取位姿樣本)的評(píng)價(jià)標(biāo)準(zhǔn)來完成抓取選擇。

本發(fā)明還公開了一種用于機(jī)械手爪抓取規(guī)劃的控制裝置。

實(shí)施例1：包括第一運(yùn)算模塊和控制模塊。

第一運(yùn)算模塊，根據(jù)當(dāng)前場(chǎng)景深度信息，生成候選抓取位姿樣本，并用訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)獲得最優(yōu)抓取位姿；所述抓取選擇神經(jīng)網(wǎng)絡(luò)用于作為從候選抓取位姿樣本中獲取最優(yōu)抓取位姿的評(píng)價(jià)標(biāo)準(zhǔn)；第一運(yùn)算模塊包括第一獲取單元、第一位姿樣本生成單元、抓取選擇單元；第一獲取單元是獲取當(dāng)前場(chǎng)景深度信息，利用當(dāng)前場(chǎng)景深度信息生成候選抓取位姿的坐標(biāo)系，獲得在候選抓取位姿的坐標(biāo)系下合成的當(dāng)前場(chǎng)景深度信息，第一獲取單元具體地獲取當(dāng)前場(chǎng)景點(diǎn)云信息；從當(dāng)前場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；對(duì)待抓取物體的點(diǎn)云信息利用PCA主成分分析算法獲取點(diǎn)云主軸方向；生成待抓取物體的點(diǎn)云信息的凸包，對(duì)于凸包的每一個(gè)三角面，根據(jù)三角面的法向量以及待抓取物體點(diǎn)云的主軸生成候選抓取位姿坐標(biāo)系，將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的當(dāng)前場(chǎng)景深度信息。第一位姿樣本生成單元是將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面，生成候選抓取位姿樣本；抓取選擇單元是將候選抓取位姿樣本放入訓(xùn)練好的抓取選擇神經(jīng)網(wǎng)絡(luò)，獲得最優(yōu)抓取位姿。

第一位姿樣本生成單元將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸；第一位姿樣本生成單元利用3D圖像渲染的方法將合成的當(dāng)前場(chǎng)景深度信息投影到候選抓取位姿投影平面上。

控制模塊是將機(jī)械手爪調(diào)整至最優(yōu)抓取位姿進(jìn)行抓取。

實(shí)施例2：除了實(shí)施例1所包括的模塊外，控制裝置還包括第二運(yùn)算模塊，第二運(yùn)算模塊利用場(chǎng)景深度信息，離線生成抓取位姿正負(fù)樣本，進(jìn)行抓取選擇神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。第二運(yùn)算模塊包括第二獲取單元、第二位姿樣本生成單元和訓(xùn)練單元，

第二獲取單元是獲取合成的場(chǎng)景深度信息，第二獲取單元具體的獲取場(chǎng)景點(diǎn)云信息；從場(chǎng)景點(diǎn)云信息中分割出待抓取物體的點(diǎn)云信息以及承載體的位姿信息；將分割出的待抓取物體點(diǎn)云信息及承載體的位姿信息構(gòu)建合成的場(chǎng)景深度信息。第二位姿樣本生成單元是將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上，生成抓取位姿正負(fù)樣本。訓(xùn)練單元是利用訓(xùn)練樣本信息訓(xùn)練抓取選擇神經(jīng)網(wǎng)絡(luò)；訓(xùn)練樣本信息包括抓取位姿正負(fù)樣本以及對(duì)應(yīng)抓取位姿是正樣本或負(fù)樣本的標(biāo)簽。

第二位姿樣本生成單元將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上之前，根據(jù)不同手爪的尺寸信息，選取不同的深度投影尺寸和/或，第二位姿樣本生成單元利用3D圖像渲染的方法將合成的場(chǎng)景深度信息投影到抓取位姿投影平面上。

以上所述的僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域中的普通技術(shù)人員來說，在不脫離本發(fā)明核心技術(shù)特征的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。