用于估計(jì)物體的姿態(tài)的方法
【專利摘要】通過(guò)首先將一組對(duì)特征定義為幾何圖元的組來(lái)估計(jì)物體的姿態(tài)，其中，幾何圖元包括取向表面點(diǎn)、取向邊界點(diǎn)和邊界線段。對(duì)于物體的模型，基于一組對(duì)特征來(lái)確定模型對(duì)特征。根據(jù)由3D傳感器獲取的數(shù)據(jù)，基于一組對(duì)特征來(lái)確定場(chǎng)景對(duì)特征，并且然后，將模型對(duì)特征與場(chǎng)景對(duì)特征匹配以估計(jì)物體的姿態(tài)。
【專利說(shuō)明】用于估計(jì)物體的姿態(tài)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及估計(jì)3D物體的姿態(tài)，并且更具體地涉及從由3D傳感器獲取的數(shù)據(jù)估計(jì)姿態(tài)。
【背景技術(shù)】
[0002]物體的姿態(tài)具有6個(gè)自由度出-DoF)，即3D平移和3D旋轉(zhuǎn)。姿態(tài)估計(jì)的問(wèn)題是指找出物體相對(duì)于參考坐標(biāo)系(通常是傳感器的坐標(biāo)系)的姿態(tài)。能夠利用3D模型使用來(lái)自傳感器的測(cè)量結(jié)果(例如，2D圖像、3D點(diǎn)云)獲取姿態(tài)。姿態(tài)估計(jì)在很多機(jī)器人應(yīng)用中都扮演了重要的角色，這些機(jī)器人應(yīng)用例如為箱式拾取、抓握、位置測(cè)定、自主導(dǎo)航和3D重建。
[0003]近來(lái)，姿態(tài)估計(jì)主要使用2D圖像來(lái)進(jìn)行，這是因?yàn)橄鄼C(jī)是經(jīng)濟(jì)有效的并且允許快速圖像獲取。利用2D圖像的主要問(wèn)題在于將2D圖像與模型中的它們對(duì)應(yīng)的3D特征進(jìn)行匹配。這由于相機(jī)的各種照明條件和不同的視點(diǎn)引起了圖像空間中的旋轉(zhuǎn)和尺度方面的變化而變得具有挑戰(zhàn)性。此外，物體的一些視圖能夠理論上導(dǎo)致模糊的姿態(tài)。已知若干不變的特征描述符來(lái)確定輸入圖像與圖像的數(shù)據(jù)庫(kù)之間的對(duì)應(yīng)性，其中，2D關(guān)鍵點(diǎn)與3D坐標(biāo)匹配。
[0004]很多工業(yè)部件是無(wú)紋理的，例如，機(jī)械加工后的金屬部件或者模塑成型的塑料部件。因此，需要嚴(yán)重地依賴于圖像中的可觀察的邊緣。當(dāng)使用物體的邊界時(shí)，物體的一組邊緣模板常常已知為先驗(yàn)，并且在查詢邊緣圖(query edge maps)中搜索模板。已知包括邊緣取向或?qū)蛹?jí)表示的若干變化。基于強(qiáng)度的邊緣檢測(cè)常常產(chǎn)生了過(guò)多的邊緣像素，其中，只有一些是來(lái)自深度不連續(xù)性的有用的邊緣。能夠使用多閃光燈相機(jī)來(lái)通過(guò)從多個(gè)閃光方向投射陰影來(lái)直接估計(jì)深度邊緣。
[0005]一般來(lái)說(shuō)，與2D數(shù)據(jù)相反地，利用3D傳感器獲得的3D數(shù)據(jù)具有少的多的變化。主要的挑戰(zhàn)在于在存在傳感器噪聲、遮擋和雜亂時(shí)解決對(duì)應(yīng)性問(wèn)題。對(duì)應(yīng)性問(wèn)題是指找出數(shù)
據(jù)中的特征與模型中的特征之間的--匹配。這些特征通常被構(gòu)造為以物體的大小和形狀
為特征。已知若干3D特征描述符，其使用表面點(diǎn)和法向的分布以及匹配過(guò)程。這些描述符通常對(duì)于剛性體變換來(lái)說(shuō)是不變的，但是對(duì)于噪聲和遮擋敏感。此外，這些特征要求密集的點(diǎn)云，這可能是不可獲得的。
[0006]利用傳感器3D數(shù)據(jù)與模型之間的各種對(duì)應(yīng)性能夠進(jìn)行姿態(tài)估計(jì):3D對(duì)應(yīng)性、2線對(duì)應(yīng)性和6點(diǎn)至3或更多平面。通常，這些對(duì)應(yīng)性在諸如隨機(jī)樣本一致性(RANdom SampleConsensus) (RANSAC)的假設(shè)測(cè)試框架中使用以確定姿態(tài)。替選地，能夠使用霍夫投票方案或者參數(shù)空間中的聚類(lèi)來(lái)從假設(shè)的姿態(tài)分布的模式獲得姿態(tài)。這些方法當(dāng)在沒(méi)有圖像或其它事先的信息的情況下僅能夠獲得3D傳感器數(shù)據(jù)時(shí)受困于下述兩個(gè)問(wèn)題。點(diǎn)、線和平面不是能夠單獨(dú)地區(qū)分并且是組合的以匹配，并且難以在沒(méi)有對(duì)模型進(jìn)行任何事先處理的情況下實(shí)現(xiàn)快速的計(jì)算。
[0007]能夠通過(guò)物體的表面上的兩個(gè)取向點(diǎn)之間的距離和相對(duì)取向來(lái)限定對(duì)特征。物體由存儲(chǔ)在哈希表中用于快速取回的一組取向點(diǎn)對(duì)特征來(lái)表示。從傳感器數(shù)據(jù)中采樣任意兩個(gè)點(diǎn)并且每個(gè)這樣的對(duì)對(duì)于特定姿態(tài)進(jìn)行投票。所要求的姿態(tài)對(duì)應(yīng)于具有最大數(shù)目的票的姿態(tài)。由像素與偏移像素之間的深度差構(gòu)成的簡(jiǎn)單的對(duì)特征用于利用隨機(jī)森林集合分類(lèi)器的人類(lèi)姿態(tài)估計(jì)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的實(shí)施方式提供了一種基于投票的方法，其用于根據(jù)由3D傳感器獲取的數(shù)據(jù)估計(jì)物體的姿態(tài)。雖然在現(xiàn)有技術(shù)中使用的取向表面點(diǎn)(具有法向的物體的表面上的點(diǎn))對(duì)于具有顯著的曲率變化的物體來(lái)說(shuō)是可區(qū)分的，但是這些表面點(diǎn)對(duì)于很多工業(yè)和真實(shí)世界的物體(其是平面的)來(lái)說(shuō)緊湊和可分辨程度不夠。
[0009]為了從邊界獲得信息，邊緣在2D記錄中扮演了重要的角色，但是深度不連續(xù)性在3D中是重要的。實(shí)施方式提供了姿態(tài)估計(jì)方法，其更好地研究了該邊界信息。除了取向表面點(diǎn)之外，我們使用兩個(gè)其它幾何圖元，包括取向邊界點(diǎn)(位于具有方向的物體的邊界上的點(diǎn))和邊界線分段。
[0010]仔細(xì)選擇的圖元對(duì)更多信息進(jìn)行壓縮編碼并且從而為更廣泛的工業(yè)部件提供了更大的準(zhǔn)確性并且允許更快的計(jì)算。
【專利附圖】

【附圖說(shuō)明】
[0011]圖1是能夠使用本發(fā)明的實(shí)施方式的機(jī)器人組件設(shè)備的示意圖；
[0012]圖2A是用于使用根據(jù)本發(fā)明的實(shí)施方式的基于投票的方法確定3D物體的姿態(tài)的方法的框圖；
[0013]圖2B是使用基于投票的方法確定3D物體的姿態(tài)的方法的細(xì)節(jié)的框圖；
[0014]圖3A-圖3D是根據(jù)本發(fā)明的實(shí)施方式的用于基于投票的姿態(tài)估計(jì)的對(duì)特征的示意圖；以及
[0015]圖4是根據(jù)本發(fā)明的實(shí)施方式的從傳感器數(shù)據(jù)獲得的線對(duì)特征與從模型獲得的線對(duì)特征之間的變換的示意圖。
【具體實(shí)施方式】
[0016]圖1示出了估計(jì)物體的姿態(tài)的系統(tǒng)100。系統(tǒng)包括具有抓握器120的6軸機(jī)械臂110。3D傳感器130被布置在臂上。抓握器根據(jù)它們的姿態(tài)101從箱150拾取物體140。應(yīng)注意的是，箱能夠包含不同的物體。
[0017]一個(gè)示例3D傳感器使用由紅外激光器生成的結(jié)構(gòu)化光。其它傳感器也是可能的。傳感器獲取3D “點(diǎn)云” 160作為640X480個(gè)像素的深度圖。3D傳感器被相對(duì)于機(jī)械臂校準(zhǔn)，從而允許使用該姿態(tài)抓握和拾取物體。
[0018]3D點(diǎn)云由在處理器170中執(zhí)行的方法處理。處理器能夠包括本領(lǐng)域中已知的存儲(chǔ)器和輸入/輸出接口。該方法確定姿態(tài)，該姿態(tài)能夠反饋到控制器180以指導(dǎo)臂拾取物體140。
[0019]圖2A示出了方法200的框圖，其包括下述步驟:場(chǎng)景的3D感測(cè)210 ;基于投票的姿態(tài)估計(jì)220、姿態(tài)改善230和根據(jù)其姿態(tài)的物體的抓握240。[0020]系統(tǒng)使用3D傳感器掃描物體的箱以檢測(cè)物體并且根據(jù)由該方法確定的姿態(tài)拾取該物體。給定箱中的每個(gè)不同物體的3D CAD模型，基于投票的方法使用掃描的3D點(diǎn)云160執(zhí)行物體的檢測(cè)和姿態(tài)估計(jì)。該步驟提供的多個(gè)粗略姿態(tài)。系統(tǒng)選擇若干最佳粗略姿態(tài)并且使用迭代最近點(diǎn)(ICP)過(guò)程來(lái)對(duì)姿態(tài)進(jìn)行分別地改善。
[0021]一般來(lái)說(shuō)，ICP使得兩個(gè)3D點(diǎn)云之間的差異最小。ICP常常用于從在不同位置獲取的多個(gè)空間掃描重構(gòu)完整的3D模型并且相對(duì)于3D環(huán)境模型定位機(jī)器人。該過(guò)程能夠通過(guò)反復(fù)修正最小化對(duì)應(yīng)的點(diǎn)之間的距離所需的變換(平移和旋轉(zhuǎn))來(lái)實(shí)時(shí)地執(zhí)行。該輸入是兩個(gè)3D點(diǎn)云、變換的初始估計(jì)和終止標(biāo)準(zhǔn)。該輸出是改善后的變換。主要步驟包括通過(guò)最近相鄰標(biāo)準(zhǔn)找到對(duì)應(yīng)的點(diǎn)；使用均方誤差作為成本函數(shù)來(lái)估計(jì)變換參數(shù)；使用所估計(jì)的參數(shù)來(lái)對(duì)點(diǎn)進(jìn)行變換；以及進(jìn)行迭代。
[0022]我們的系統(tǒng)中的ICP過(guò)程使用當(dāng)前的姿態(tài)估計(jì)對(duì)物體的CAD模型進(jìn)行渲染并且通過(guò)對(duì)渲染后的模型的表面進(jìn)行采樣來(lái)生成用于模型的3D點(diǎn)云。然后，ICP對(duì)于模型中的每個(gè)3D點(diǎn)確定掃描的點(diǎn)云中的最近3D點(diǎn)并且使用3D點(diǎn)對(duì)應(yīng)性更新姿態(tài)估計(jì)。
[0023]在ICP收斂之后，測(cè)量記錄誤差作為掃描的點(diǎn)云和模型中的對(duì)應(yīng)的3D點(diǎn)之間的平均距離。記錄誤差在ICP收斂到不正確的姿態(tài)時(shí)或者在物體的一部分由于其它物體的遮擋而丟失時(shí)會(huì)變高。因此，如果記錄誤差較高，則我們的系統(tǒng)不使用該估計(jì)的姿態(tài)用于抓握。除了記錄誤差之外，我們的系統(tǒng)還檢查處于該姿態(tài)的物體是否能夠由機(jī)器人臂達(dá)到以確定是否能夠拾取該物體。
[0024]坐標(biāo)系
[0025]為了該描述的目的，使用三個(gè)坐標(biāo)系。在傳感器(相機(jī))坐標(biāo)系C的觀點(diǎn)中表達(dá)傳感器。在物體坐標(biāo)系O的觀點(diǎn)中表達(dá)物體的模型。場(chǎng)景中的物體使用世界坐標(biāo)系W。傳感器坐標(biāo)系S能夠被校準(zhǔn)到世界坐標(biāo)系W，這是因?yàn)橐话銇?lái)說(shuō)傳感器在真實(shí)世界中處于已知的位置和取向。
[0026]姿態(tài)估計(jì)方法確定傳感器坐標(biāo)系與物體坐標(biāo)系之間的變換。然后，能夠使用傳感器和世界坐標(biāo)系之間的關(guān)系來(lái)處理場(chǎng)景中的物體。
[0027]基于投票的姿態(tài)估計(jì)
[0028]我們的用于姿態(tài)估計(jì)的特征是基于取向點(diǎn)或線的對(duì)，我們可以將其稱為對(duì)特征。由一對(duì)取向表面點(diǎn)構(gòu)成的對(duì)特征由S2S表示，這是因?yàn)槲覀儚囊粋€(gè)取向點(diǎn)(基準(zhǔn))到另一個(gè)(所指的)點(diǎn)非對(duì)稱性地構(gòu)造特征向量。類(lèi)似地，我們具有基于一對(duì)取向邊界點(diǎn)(B2B)、一對(duì)線段(L2L)和包括取向表面點(diǎn)和取向邊界點(diǎn)(S2B和B2S)的異構(gòu)對(duì)的四個(gè)其它對(duì)特征,參見(jiàn)圖3A-圖3C。
[0029]點(diǎn)對(duì)特征描述符FS2S、Fb2b, Fs2b和Fb2s由一對(duì)取向點(diǎn)(m，η)的相對(duì)位置和取向
4、&和f4限定，其中，點(diǎn)指示具有表面法向的表面點(diǎn)或者具有方向的邊界點(diǎn)。在圖3D中，線對(duì)特征描述符Fm由兩個(gè)無(wú)窮線之間的最小距離、兩個(gè)線方向之間的銳角f2和兩個(gè)線段之間的最大距離f3定義。
[0030]為了估計(jì)物體的姿態(tài)，需要建立從場(chǎng)景和模型獲得的對(duì)特征之間的對(duì)應(yīng)性。我們使用來(lái)自對(duì)特征的各種幾何約束作為其描述符。然后，通過(guò)匹配它們的描述符來(lái)建立場(chǎng)景與模型對(duì)特征之間的對(duì)應(yīng)性。
[0031]對(duì)特征[0032]S2S-表面對(duì)特征
[0033]使用物體表面上的兩個(gè)點(diǎn)及其法向來(lái)限定表面對(duì)特征S2S。給定來(lái)自場(chǎng)景的取向點(diǎn)和來(lái)自模型的對(duì)應(yīng)初元，能夠通過(guò)對(duì)齊點(diǎn)位置和它們的法向來(lái)將3D姿態(tài)恢復(fù)到平面旋轉(zhuǎn)。為了解決旋轉(zhuǎn)模糊性并且恢復(fù)完整的6-DoF姿態(tài)，至少需要場(chǎng)景與模型圖元的兩個(gè)點(diǎn)之間的對(duì)應(yīng)性。
[0034]{(mr, nr)，Oni, η) }表示對(duì)特征,其中，mr和Iiii是物體表面上的參考和提及點(diǎn)，并且nr和Iii分別是對(duì)應(yīng)的法向。與該對(duì)特征關(guān)聯(lián)的描述符為:
[0035]Fs2s = (f1； f2, f3, f4)T (I)
[0036]= (I |d| |2, Z (nr, d), Z (n” d)，Z (nr, Iii) )T (2)
[0037]其中，d是從參考點(diǎn)到提及點(diǎn)的向量,并且Z (ν1； v2) e [O, π)表示兩個(gè)向量之間的角度。
[0038]因此，描述符的第一分量表示f1= I Im1-HirI I2= I |d| |2，其是兩個(gè)表面點(diǎn)之間的歐拉距離。第二和第三分量4和 &分別是向量d與表面法向量和Ili之間的角度。最后的分量f4是兩個(gè)法向量之間的角度。在圖3A中示出了 S2S特征。如果物體橫跨較寬范圍的發(fā)現(xiàn)，則該特征提供了對(duì)于物體的良好描述。
[0039]B2B-邊界對(duì)特征
[0040]S2S特征沒(méi)有提供對(duì)于不橫跨寬范圍的表面發(fā)現(xiàn)的形狀的良好描述。不幸的是，在機(jī)器人組裝期間使用的很多工業(yè)部件都是平面的并且具有非常小的組的法向方向。另外，由于3D數(shù)據(jù)中的噪聲，難以在表面上的高曲率區(qū)域中準(zhǔn)確地估計(jì)法向，這使得問(wèn)題進(jìn)一步復(fù)雜化。
[0041]我們基于物體邊界上的兩個(gè)點(diǎn)定義了新穎的點(diǎn)對(duì)特征B2B。與表面點(diǎn)相反地，邊界點(diǎn)不具有很好定義的法向。對(duì)于邊界點(diǎn)來(lái)說(shuō)，我們對(duì)線段進(jìn)行擬合并且使用線段的方向用于取向。為了提取物體邊界上的線段，我們首先使用Canny邊緣檢測(cè)器來(lái)確定深度圖中的邊緣。邊緣被存儲(chǔ)在邊緣圖中。來(lái)自邊緣圖的點(diǎn)被隨機(jī)地采樣并且使用RANSAC過(guò)程在以這些點(diǎn)為重心的局域區(qū)域上對(duì)3D線進(jìn)行擬合。通過(guò)反復(fù)地定位和移除具有最大內(nèi)圍層(inliers)的線段，我們恢復(fù)了所有線段。通過(guò)向內(nèi)圍層應(yīng)用最小二乘法來(lái)進(jìn)一步改善這些線段。在線擬合之后，我們對(duì)3D線段上的邊界點(diǎn)進(jìn)行均勻的采樣。
[0042]在圖3B中，點(diǎn)示出了兩條3D線段上的邊界點(diǎn)。然后，利用下式定義邊界對(duì)特征描述符 Fb2b e
【權(quán)利要求】
1.一種估計(jì)物體的姿態(tài)的方法，該方法包括下述步驟: 將一組對(duì)特征確定為幾何圖元的對(duì)，其中，幾何圖元包括取向表面點(diǎn)、取向邊界點(diǎn)和邊界線段； 對(duì)于所述物體的模型，基于所述一組對(duì)特征確定模型對(duì)特征； 根據(jù)由3D傳感器獲取的數(shù)據(jù)，基于所述一組對(duì)特征確定場(chǎng)景對(duì)特征；以及 將所述模型對(duì)特征與所述場(chǎng)景對(duì)特征匹配以估計(jì)所述物體的所述姿態(tài)， 其中，在處理器中執(zhí)行上述的步驟。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述物體是與其它物體隨機(jī)混合的多個(gè)不同物體中的一個(gè)物體，并且對(duì)于每個(gè)物體存在模型對(duì)特征。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述3D傳感器安裝在機(jī)器人臂上，并且所述機(jī)器人臂包括根據(jù)姿態(tài)拾取所述物體的抓握器。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述3D傳感器使用由紅外激光器生成的結(jié)構(gòu)化光。
5.根據(jù)權(quán)利要求1所述的方法，其中，使用兩個(gè)取向表面點(diǎn)、兩個(gè)取向邊界點(diǎn)、一個(gè)取向表面點(diǎn)和一個(gè)取向邊界點(diǎn)以及兩個(gè)邊界線段來(lái)定義每個(gè)對(duì)特征。
6.根據(jù)權(quán)利要求1所述的方法，其中，每個(gè)取向表面點(diǎn)包括位于所述物體的表面上的3D位置和3D法向量。
7.根據(jù)權(quán)利要求1所述的方法，其中，每個(gè)取向邊界點(diǎn)包括位于所述物體的邊界上的3D位置和3D方向向量。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述3D方向向量被定義為在所述3D位置處與所述邊界相切的方向。
9.根據(jù)權(quán)利要求1所述的方法，其中，每個(gè)邊界線段是擬合到所述物體的邊界上的3D點(diǎn)的線段。
10.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)每個(gè)對(duì)特征確定描述符。
11.根據(jù)權(quán)利要求10所述的方法，其中，通過(guò)比較所述模型對(duì)特征的描述符與所述場(chǎng)景對(duì)特征的描述符來(lái)執(zhí)行所述匹配。
12.根據(jù)權(quán)利要求11所述的方法，所述方法進(jìn)一步包括: 對(duì)所述對(duì)特征的描述符進(jìn)行離散化； 將所述模型對(duì)特征的離散化的描述符存儲(chǔ)在哈希表中；以及 使用所述哈希表執(zhí)行所述匹配。
13.根據(jù)權(quán)利要求1所述的方法，其中，經(jīng)由中間坐標(biāo)變換，基于投票來(lái)估計(jì)所述物體的候選姿態(tài)。
14.根據(jù)權(quán)利要求13所述的方法，所述方法進(jìn)一步包括: 對(duì)所述候選姿態(tài)進(jìn)行聚類(lèi)。
15.根據(jù)權(quán)利要求1所述的方法，所述方法進(jìn)一步包括: 使用迭代最近點(diǎn)過(guò)程來(lái)改善所述姿態(tài)。
【文檔編號(hào)】G06T7/00GK104040590SQ201280063083
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2012年12月4日 優(yōu)先權(quán)日:2011年12月19日
【發(fā)明者】田口裕一, O·圖茲爾, S·拉姆阿里加姆, 崔敞現(xiàn), 劉洺堉 申請(qǐng)人:三菱電機(jī)株式會(huì)社