專利名稱：工件取出裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種取出被散裝的工件的工件取出裝置。
背景技術(shù)：
工件取出裝置是通過機器手從多個工件被散裝的對象中一個一個地拾取工件的裝置。作為以往的工件取出裝置，例如有專利文獻I公開的裝置。在這樣的裝置中，假想代表性的工件的形狀，將劃分該工件的部分形狀單位、和與該部分形狀對應的優(yōu)先順序預先存儲為數(shù)據(jù)，對被散裝的多個工件進行圖像處理，從而計算多個成為把持位置的候選的部分形狀，進而從計算出的候選中考·慮上述優(yōu)先順序來決定作為拾取對象的工件及其把持部分。然而，在如上述專利文獻I那樣的工件的取出方式中產(chǎn)生如下的問題。首先，作為第I問題，如果計算出的把持位置的候選少，則在想要用手來把持從其中所決定的工件的情況下，手與把持對象以外的其它的工件進行干擾、或由于其它的工件妨礙而使手無法到達至把持位置的概率增加。另外，為了避免這種情形，需要事先計算出多個把持位置的候選數(shù)，但是在這種情況下，這回存在費事、或計算時間、數(shù)據(jù)量變得龐大這樣的問題點。而且，作為第2問題，關(guān)于部分形狀的劃分方式、向該部分形狀的優(yōu)先順序的分配，必須針對不同的每個手形狀重新進行定義，所以由此也存在費事、計算時間增多這樣的問題點。專利文獻1:日本特開2010-89238公報

發(fā)明內(nèi)容
本發(fā)明是鑒于上述而作出的，其目的在于提供一種能夠以事先保持的數(shù)據(jù)量少且計算時間也少的方式進行工件的取出的工件取出裝置。為了達到上述目的，本發(fā)明的工件取出裝置具備:手，把持工件；機器人，將所述手設(shè)為期望的把持位置姿勢；傳感器，對工件進行三維測量而得到工件測量數(shù)據(jù)；存儲介質(zhì)，至少儲存了手形狀數(shù)據(jù)；信息處理部，基于來自所述傳感器以及所述存儲介質(zhì)的數(shù)據(jù)，計算把持位置姿勢；以及控制部，根據(jù)由所述信息處理部計算出的把持位置姿勢來控制所述機器人，其中，所述信息處理部包括最佳把持候選制作部，該最佳把持候選制作部根據(jù)所述工件測量數(shù)據(jù)和所述手形狀數(shù)據(jù)，直接導出把持位置姿勢。根據(jù)本發(fā)明的工件取出裝置，以事先保持的數(shù)據(jù)量少且計算時間也少的方式，即使工件形狀發(fā)生變化也能夠通過相同的算法來進行工件的取出。


圖1是表示本發(fā)明的實施方式I的工件取出裝置的裝置結(jié)構(gòu)圖。圖2是例示出手形狀數(shù)據(jù)以及基于它的手形狀模型的圖。
圖3是表示實施方式2的工件取出裝置的裝置結(jié)構(gòu)圖。圖4是表示實施方式3的工件取出裝置的裝置結(jié)構(gòu)圖。圖5是表示實施方式4的工件取出裝置的裝置結(jié)構(gòu)圖。圖6是表示實施方式5的工件取出裝置的一部分的圖。圖7是表示散裝工件取出中的機器人和手的動作的限制的圖。圖8是表示傳感器的視線方向與進入動作的方向的關(guān)系的圖。圖9是表示距離圖像的例子的圖。圖10是表示通過利用三維傳感器來測量將工件設(shè)為散裝的狀態(tài)而得到的照相機圖像和距離圖像的圖。圖11是例示出在實施 方式5中使用的二維手模型的圖。圖12是表示利用了距離圖像和二維手模型的最佳把持候選制作的處理影像的圖。圖13是用于進行圖12的處理的流程圖。圖14是關(guān)于圖12的把持位置姿勢的結(jié)果圖像而示出更易于理解的結(jié)果的圖。圖15是說明把持位置處的手的開閉方向與候選區(qū)段的形狀邊緣的方向垂直、且把持狀態(tài)更穩(wěn)定的方式的圖。圖16是表示實施方式5的工件取出裝置的裝置結(jié)構(gòu)圖。圖17是表示對于在以以往的工件形狀為基礎(chǔ)的方法中識別困難且連把持試驗都沒有實現(xiàn)的工件的取出評價了進行實施方式5的工件的取出時的成功率而得到的結(jié)果的曲線圖。(附圖標記說明)1:記錄介質(zhì)；2:傳感器；3:信息處理部；4:控制部；5:機器人；6:手；7:供給箱；
30:最佳把持候選制作部；31:工件狀態(tài)判斷部；32:下一作業(yè)動作推測部；301:可把持特征抽取部；302:手匹配部；303:把持姿勢候選選擇部；311:工件匹配部；312:工件糾纏狀態(tài)推測部；313:工件挑選動作推測部；314:把持姿勢候選選擇部。
具體實施例方式下面，根據(jù)附圖來說明本發(fā)明的工件取出裝置的實施方式。此外，在圖中，相同符號表不相同或者對應的部分。實施方式1.
圖1是表示本發(fā)明的實施方式I的工件取出裝置的裝置結(jié)構(gòu)圖。工件取出裝置至少具備記錄介質(zhì)1、傳感器2、信息處理部3、控制部4、機器人5、以及手6。記錄介質(zhì)I至少儲存著手形狀數(shù)據(jù)。傳感器2取得被散裝的工件的三維的測量數(shù)據(jù)。信息處理部3基于來自存儲介質(zhì)I和傳感器2的數(shù)據(jù)，輸出工件的把持位置姿勢?？刂撇?根據(jù)通過信息處理部3得到的把持位置姿勢的數(shù)據(jù)，控制機器人5的動作以及手6的動作。另外，機器人5根據(jù)控制部4的指令而將手6設(shè)為任意的位置、姿勢，手6把持工件。傳感器2既可以裝載在機器人5的跟前，或者也可以與機器人5分開地設(shè)置在適當?shù)墓潭ú课弧Ａ硗?，傳感?例如只要是雙目或者多目的立體照相機、具備激光、投影儀等投光部和照相機的有源方式的立體照相機、使用時間飛行法(Time-of-flight method)的設(shè)備、通過單目來利用機器人動作的基于因子分解法、Structure from Motion(運動恢復結(jié)構(gòu))、Structure and Motion (結(jié)構(gòu)和運動)的設(shè)備、運動立體照相機、體積交叉法(volumeintersection method)的設(shè)備等能夠取得任意區(qū)域的三維數(shù)據(jù)的設(shè)備即可。手6也可以是夾持類型、吸附類型、或者插入孔而擴展的類型(下面稱為擴持類型)。本發(fā)明的一個特征在于并非基于工件形狀事先決定把持位置姿勢，而是根據(jù)手形狀和測量數(shù)據(jù)來動態(tài)地決定把持位置姿勢，具體地說，在信息處理部3中包括最佳把持候選制作部30，該最佳把持候選制作部30動態(tài)地決定去抓住來自傳感器2的工件測量數(shù)據(jù)上的何處。而且，最佳把持候選制作部30包括可把持特征抽取部301、手匹配部302、以及把持姿勢候選選擇部303。可把持特征抽取部301從傳感器2的工件測量數(shù)據(jù)抽取可把持的特征。手匹配部302取得儲存在記錄介質(zhì)I中的手形狀數(shù)據(jù)與由可把持特征抽取部301抽取的特征的匹配，動態(tài)地制作多個把持位置姿勢候選。把持姿勢候選選擇部303從由手匹配部302制作的把持位置姿勢候選中選擇最容易抓住的把持位置姿勢。下面更詳細地說明各部分。在可把持特征抽取部301中，抽取不依賴于工件的整體形狀而由所利用的手6能夠抓住的特征。當舉例時，如果是夾持類型的手6，則相當?shù)氖侨菀鬃プ〉耐黄鸩糠?、邊緣。如果是吸附類型的手，則相當?shù)氖且欢▍^(qū)域以上的面。另外，如果是擴持類型的手，則相當?shù)氖窃诠ぜ谋砻娈a(chǎn)生的圓形的孔。這些特征能夠通過對三維測量數(shù)據(jù)應用邊緣、面、圓等來抽取。作為用于高速地求出這些特征的方式，例如能夠舉出:對于用明亮度來表示距離的距離圖像進行利用了坎尼算子(canny operator)、索貝爾算子(sobel operator)等的邊緣檢測的方式、進行基于霍夫變換(hough transform)的圓抽取的方式、通過對由邊緣包圍的區(qū)域進行標記來抽取面的方式、利用輝度的邊緣梯度方向、強度而將紋理部分檢測為突起部的方式等。這些是通過基本的圖像處理而求出的，即使抽取很多特征也非常高速地完成。在手匹配部302中，取得由可把持特征抽取部301抽取的特征與儲存在記錄介質(zhì)I中的手形狀數(shù)據(jù)(模型)的匹配。這是根據(jù)各手類型而例如通過持有如圖2所示那樣的模型來實現(xiàn)的。例如，如果是夾持類型，則能夠根據(jù)即將把持接近之前的手臂的張開寬度、進入深度、手的縱寬、橫寬來進行定義。另外，如果是吸附類型，則能夠根據(jù)吸附的半徑來進行定義，如果是擴持類型，則能夠根據(jù)插入的孔的半徑、孔周邊的工件面的半徑、進入深度來進行定義。在如上述那樣的手形狀數(shù)據(jù)中，參數(shù)簡單，因此所需的數(shù)據(jù)量少也可以。當求解各參數(shù)時，既可以根據(jù)手6的CAD數(shù)據(jù)來計算，也可以直接測量手6。關(guān)于與如上述那樣的手形狀模型的匹配，例如如果是吸附類型，則將模型與特征點群的匹配高的部分設(shè)為候選，在特征面小或在特征面內(nèi)開孔而與模型的一致度低的情況下，從該候選中降低核對得分。關(guān)于這樣的匹配，如果是3D模型則能夠通過ICP( IterativeClosest Point:迭代最近點)等的點群彼此的核對來實現(xiàn)，如果是2D模型則能夠通過模板匹配、或基于將模型考慮為過濾器的卷積處理的匹配來實現(xiàn)。另外，如果是夾持類型、擴持類型，則能夠進一步同時還考慮與周邊環(huán)境的干擾。即，例如如果是夾持類型，則在根據(jù)進入深度和手的縱寬、橫寬定義的區(qū)域中包含測量數(shù)據(jù)的情況下，通過降低核對得分來實現(xiàn)。手匹配部302對于由可把持特征抽取部301抽取的多個特征，針對每個特征計算匹配得分最高的把持位置姿勢，將這些多個把持位置姿勢設(shè)為把持位置姿勢候選，或者，對于由可把持特征抽取部301抽取的單一的特征，計算匹配得分比規(guī)定的閾值還高的多個把持位置姿勢，將這些多個把持位置姿勢設(shè)為把持位置姿勢候選。通過這種處理，即使工件形狀是未知的，也能夠動態(tài)地定義把持位置姿勢。另外，關(guān)于上述的匹配，能夠通過由可把持特征抽取部301計算距離圖像上的主法線從而利用平移2自由度、旋轉(zhuǎn)I自由度的3自由度的二維圖像核對來計算得分，能夠高速地計算沒有各特征的干擾且容易抓住的把持位置姿勢。在把持姿勢候選選擇部303中，從由手匹配部302制作的把持位置姿勢候選中選擇最容易抓住的把持位置姿勢候選。這可以選擇手匹配部302的得分最高的候選，而且也可以提供追加的優(yōu)先級。例如，也可以利用由可把持特征抽取部301抽取的特征的平均高度、重心位置來選擇在散裝場景中位于最高位置的工件等。這樣，如果通過信息處理部3來制作出最佳的一個把持位置姿勢，則控制部4根據(jù)該把持位置候選的數(shù)據(jù)來控制機器人5的動作以及手6的動作，手6從被散裝的多個工件中把持并取出目標的工·件。根據(jù)如以上那樣構(gòu)成的本實施方式的工件取出裝置，如果至少將手形狀數(shù)據(jù)、基于此的手形狀模型保持為事先的信息，則能夠不依賴于工件形狀、散裝場景的狀態(tài)而動態(tài)地計算不易產(chǎn)生周邊工件與手的干擾且容易抓住的把持位置姿勢，能夠以事先保持的數(shù)據(jù)量少且計算時間也少的方式，即使工件形狀發(fā)生變化也通過相同的算法來進行工件的取出。另外，每當手形狀不同時，不會強迫進行必須重新定義工件內(nèi)的部分的優(yōu)先順序這樣的處理，因此能夠解除與優(yōu)先順序的變更相伴的費事、計算時間增多這樣的問題。實施方式2.
在上述實施方式I中，采用使手形狀數(shù)據(jù)直接與工件測量數(shù)據(jù)進行匹配的方式，即，僅利用手形狀數(shù)據(jù)來計算最佳的把持位置姿勢。與此相對，在本實施方式2中，在圈定了把持位置姿勢之后，利用工件形狀數(shù)據(jù)，還能夠進行只利用測量數(shù)據(jù)無法判斷的工件彼此的糾纏(entanglement)狀態(tài)、拾起動作是否成功的推測。在本實施方式2中，在存儲介質(zhì)I中除了手形狀數(shù)據(jù)之外還儲存有工件形狀數(shù)據(jù)，另外如圖3所示，在信息處理部3中還包括工件狀態(tài)判斷部31，該工件狀態(tài)判斷部31根據(jù)工件形狀數(shù)據(jù)來評價通過最佳把持候選制作部30計算出的把持位置姿勢。另外，工件狀態(tài)判斷部31如圖3所示，包括工件匹配部311、工件糾纏狀態(tài)推測部312、工件挑選動作推測部313、以及把持姿勢候選選擇部314。工件糾纏狀態(tài)推測部312通過判定根據(jù)工件測量數(shù)據(jù)與工件形狀數(shù)據(jù)的匹配而制作的工件模型彼此的干擾，從而判定在工件測量數(shù)據(jù)中未顯現(xiàn)的散裝內(nèi)部的工件彼此的糾纏，實現(xiàn)使與糾纏少的對象對應的把持位置姿勢優(yōu)先的動作。另外，工件挑選動作推測部313根據(jù)手形狀數(shù)據(jù)、工件形狀數(shù)據(jù)、以及計算出的把持位置姿勢來計算進行了把持時的工件的重心位置，并基于此來實現(xiàn)使把持后的工件的掉落或者把持后的工件的傾斜的可能性低的把持位置姿勢優(yōu)先的動作。下面，更詳細地說明各部分的動作。這里，首先本實施方式2中的最佳把持候選制作部30基本上與實施方式I的最佳把持候選制作部30相同，但是并非只決定一個能夠評價為最佳的把持位置姿勢，而在選定多個的點上不同。而且在這種情況下，也可以對于所選定的多個把持位置姿勢，制作用于賦予優(yōu)先級的得分。將由最佳把持候選制作部30新計算出的把持位置姿勢和用于它的抽取特征作為初始候選，由工件匹配部311進行與工件形狀數(shù)據(jù)的匹配。已經(jīng)求出初始候選這相當于進行了工件模型核對的初始探索。此時如果特征是三維點群、邊緣點的集合，則通過ICP法等來進行正確的匹配。如果是二維圖像，則也可以使用平移2自由度、旋轉(zhuǎn)I自由度的3自由度的模板核對、使用了哈希的核對、基于輪廓的匹配、基于特征的幾何學關(guān)系的核對。另外，也可以預先由最佳把持候選制作部30判斷容易抽取的特征相當于工件的哪個部分，限定匹配的探索范圍而實現(xiàn)高速化。在工件糾纏狀態(tài)推測部312中，關(guān)于對應于某個把持位置姿勢的工件、與位于該工件的周邊的工件群，通過對工件測量數(shù)據(jù)以及工件形狀數(shù)據(jù)進行匹配而獲得對應的工件模型，并分析這些工件模型的狀態(tài)，從而判定工件彼此的干擾。其結(jié)果，在各個工件模型的一部分存在于同一位置并進行干擾的情況下，進行從候選中排除與該工件模型對應的把持位置姿勢、或者降低把持姿勢候選選擇部314中的候選選擇的優(yōu)先級等的處理。另外，此時即使在工件模型之間沒有干擾，也對工件模型的挑選動作進行仿真，在由于該動作而與其它的周邊工件模型碰撞的情況下，也可以同樣地降低從候選中排除所對應的把持位置姿勢的優(yōu)先級。在工件挑選動作推測部313中，使用某個把持位置姿勢和與其對應的工件模型、以及與其對應的把持位置姿勢的手形狀模型，進行把持的仿真。并且，在以該把持位置姿勢用手把持了工件的情況下，計算工件的重心位置位于何處，排除在挑選動作時掉落的危險高的把持位置姿勢、或者降低優(yōu)先級。這例如也可以將如圖2那樣準備的手的把持位置、與計算出的工件的重心位置之間的歐幾里得距離作為評價指標來判定掉落的危險性。在把持姿勢候選 選擇部314中，基于由工件糾纏狀態(tài)推測部312、工件挑選動作推測部313評價的優(yōu)先級，來選擇最佳的把持位置姿勢。此時，也可以利用由最佳把持候選制作部30制作出的用于賦予候選的得分。各個評價指標既可以是如加法運算那樣的線性結(jié)合，也可以是如乘法運算那樣的非線性結(jié)合，另外，例如也可以采用如下等的選擇方法:以最佳把持候選制作部30的得分為主體，放棄工件糾纏狀態(tài)推測部312、工件挑選動作推測部313的優(yōu)先級為一定以下的候選。根據(jù)本實施方式2的工件取出裝置，能夠與實施方式I同樣地，實現(xiàn)數(shù)據(jù)量、模型登記的工夫、計算時間的降低，并且選擇手干擾少且能夠以高精度進行把持的候選。除此之夕卜，在本實施方式中，優(yōu)先地選定能夠進行不易發(fā)生工件間的糾纏、不易發(fā)生在挑選動作過程中掉落的失敗的工件取出的把持位置姿勢，因此能夠?qū)崿F(xiàn)成功率更高的取出動作。實施方式3.
根據(jù)圖4來說明本實施方式3的工件取出裝置。本實施方式3在上述實施方式2中進一步在記錄介質(zhì)I中儲存與下一作業(yè)動作的把持位置姿勢有關(guān)的數(shù)據(jù)，并如圖4所示在信息處理部3中設(shè)置了下一作業(yè)動作推測部，該下一作業(yè)動作推測部推測適于下一作業(yè)的把持位置候選。下一作業(yè)動作推測部32基于儲存在記錄介質(zhì)I中的下一作業(yè)動作的把持位置姿勢，來推測把持位置候選。這在工件取出這樣的作業(yè)的下一作業(yè)例如設(shè)為向組裝中的產(chǎn)品裝配工件的情況下，該裝配中所要求的工件的把持位置姿勢被限定于適合該裝配動作的姿勢。例如，不能將翻過來把持的工件原樣地裝配的情況較多，另外，機器人在把持過程中采取的姿勢難以大幅地改變。雖然能夠允許微小的把持誤差，但是在進行了伴隨大的誤差的把持、或與裝配姿勢不同的工件的姿勢下的把持的情況下，需要工件的重新把持，導致作業(yè)時間、工夫增加。因此，在本實施方式中，在根據(jù)取出時的工件把持姿勢判斷為在下一作業(yè)中需要重新把持的情況下，降低作為把持位置姿勢的候選的優(yōu)先級、或者放棄。此外，這里所說的下一作業(yè)不僅是裝配，還能夠例示出搬送、夾板裝載(Palletizing)、捆包等的作業(yè)。在從取出時的把持位置姿勢判斷是否需要重新把持的方法中，利用工件形狀模型、手形狀模型、把持位置姿勢來仿真工件的把持狀態(tài)。當具體地例示時，下一作業(yè)動作推測部32使把持為手形狀模型的狀態(tài)的工件形狀模型、與對組裝等的下一作業(yè)進行仿真而得的工件位置處的把持為手形狀模型的狀態(tài)的工件形狀模型匹配。并且，在各個工件形狀模型的位置姿勢一致的狀態(tài)下，如果機器人能夠運算各個手形狀的位置姿勢之間的變換矩陣，則判定為作為下一作業(yè)而能夠進行沒有重新把持的動作，如果不能運算，則重新把持一次，或者能夠判定為需要插入向其它的機器手進行轉(zhuǎn)交等的重新把持作業(yè)。根據(jù)如以上那樣構(gòu)成的本實施方式的工件取出裝置，能夠與上述實施方式同樣地，以事先保持的數(shù)據(jù)量少且計算時間也少的方式來進行工件的取出，而且還能夠通過減少重新把持作業(yè)而實現(xiàn)節(jié)拍時間·(Tact time)的縮短。實施方式4.
在圖4所示的實施方式3中，采用了如下處理:在工件狀態(tài)判斷部31中揀選由最佳把持候選制作部30計算出的多個把持位置姿勢候選之后，在下一作業(yè)動作推測部32中進一步進行揀選。與此相對，本實施方式4采取如下處理:如圖5所示，在工件狀態(tài)判斷部31、下一作業(yè)動作推測部32中分別并行地評價由最佳把持候選制作部30計算出的多個把持位置姿勢候選，最終在把持姿勢候選選擇部33中綜合地判斷這些評價。在這種情況下，也可以通過加法運算那樣的線性結(jié)合、乘法運算那樣的非線性結(jié)合來表現(xiàn)并評價由最佳把持候選制作部30計算出的候選的得分、工件狀態(tài)判斷部31、下一作業(yè)動作推測部32各自的評價值。另外，例如也可以采用插入如下等的選擇方法那樣的處理:以最佳把持候選制作部30的得分為主體，放棄工件狀態(tài)判斷部31、下一作業(yè)動作推測部32的評價值為一定以下的候選。根據(jù)這種結(jié)構(gòu)，能夠如實施方式3那樣實現(xiàn)正確的取出作業(yè)和減少重新把持作業(yè)從而實現(xiàn)節(jié)拍時間的縮短，而且還能夠配合實際的生產(chǎn)系統(tǒng)中容易發(fā)生故障的部分等，靈活地設(shè)計利用評價值的方法。實施方式5.
示出處理高速、不依賴于工件形狀而容易調(diào)整、且實現(xiàn)通用的散裝工件取出的實施方式。圖6表不本發(fā)明的實施方式5的工件取出裝置的一部分。在機器人5的前端裝載夾持型的手6和進行三維測量的傳感器2。圖6的機器人5是6自由度的多關(guān)節(jié)型，但也可以是7自由度的多關(guān)節(jié)型?；蛘撸瑱C器人5也可以是雙腕型、垂直標量型、并行鏈接型的機器人。另外，傳感器2安裝在機器人5的前端并能夠一起工作，但是除此之外，既可以與機器人5分開地固定設(shè)置，也可以設(shè)置于其它的可動臺。對于散裝工件取出中的機器人和手的動作如圖7那樣進行限制。對于機器人5，在手6的前端位置存在具有如圖7所示那樣的X、Y、Z的方向的坐標系。此時，如圖7的(a)那樣，在供給箱7的上空通過X軸、Y軸上的平移2自由度、繞Z軸的旋轉(zhuǎn)I自由度的動作，配合手6的位置與姿勢使得抓住供給箱7內(nèi)的散裝物體。接著，如圖7的(b)那樣通過Z方向上的平移I自由度的移動而進入到供給箱7內(nèi)，用手6來把持工件。而且，如圖7的(c)那樣通過Z方向上的平移I自由度的動作，在把持工件地狀態(tài)下提起手6。這通過平移3自由度、旋轉(zhuǎn)I自由度的共計4自由度的動作來實現(xiàn)。該動作有很多優(yōu)點。例如，在6自由度的移動處于機器人5的動作范圍外的情況下，如果想要根據(jù)工件的姿勢而使機器人5進行6自由度的移動，則導致機器人5由于錯誤而停止，但如果能夠通過上述的共計4自由度的動作來實現(xiàn)，則還能夠避免這種情形的可能性變高。另外，能夠避免由于6自由度的復雜的移動而使機器人5、手6與供給箱7、傳感器2等發(fā)生沖突的危險。通過4自由度的移動來設(shè)計機器人動作范圍、安全范圍、干擾避免范圍是容易的。而且，如果是共計4自由度的動作，則作為機器人5，還能夠利用廉價且高速的垂直標量型。在將接近工件的進入動作限制為平移I自由度的動作時，如圖8所示那樣使傳感器2的視線方向與其進入動作的方向一致。這里所說的傳感器的視線方向表示照相機鏡頭的光軸方向。此時，能夠根據(jù)傳感器2的距離圖像以及圖2所示的手形狀的二維模型(以后稱為二維手模型)，僅通過圖像處理而高速地計算把持位置姿勢。圖9示出距離圖像的例子。在用照相機拍攝的圖像的情況下，在各像素中收容有對象物的表面的光的反射量作為輝度值。另一方面，在距離圖像的情況下，在各像素中收容有在那里存在的物體的高度。在圖9中，如果離所拍攝的傳感器2近則顯示得亮，如果遠則顯示得暗。關(guān)于距離圖像，將包含高度的三維信息作為圖像來處理，因此具有與作為三維的位置數(shù)據(jù)進行處理相比處理運算量減輕這樣的優(yōu)點。另外，根據(jù)距離圖像，能夠應用以往以來在生產(chǎn)現(xiàn)場使用的很多圖像處理方法。例如能夠通過如空間代碼化方式、立體方式那樣的能夠得到高度信息的三維測量方法以及實現(xiàn)它的三維傳感器而得到距離圖像。圖10是用三維傳感器來測量將某個工件設(shè)為散裝的狀態(tài)而得到照相機圖像和距離圖像的圖。說明如下方法:如上所述那樣將機器人5的動作限制為4自由度，使傳感器2的視線方向與進入動作方向一致，以使用散裝工件的距離圖像的方式，制作用于取出工件的最佳把持候選。此外，在下面的說明中，特別考慮了取出、抓出，不限于以何種姿勢來抓出工件。不用事先準備工件的CAD數(shù)據(jù)、點群數(shù)據(jù)、距離數(shù)據(jù)、二維的圖像數(shù)據(jù)、部分信息(工件特定部分的面積、邊緣的長度、紋理特征、孔等工件的特征部分的幾何關(guān)系等)。這是為了避免如下情形:如果與工件形狀相應的事先調(diào)整中花費的工夫以及所處理的工件的數(shù)量增力口，則數(shù)據(jù)量變大。為了從距離圖像計算出抓住工件的位置，使用如圖11所示那樣的二維手模型。這是將圖2的夾持型的手形狀2D模型進一步簡化而得到的模型，利用圓形的干擾區(qū)域來示出在手6進行進入、把持動作的瞬間碰到工件的手的前端部分。用于把持的手前端的干擾區(qū)域有兩個地方，因此利用該圓的半徑和決定兩個圓的位置關(guān)系的手的張開寬度這樣的共計兩個參數(shù)，就能夠定義該二維手模型。對此，如果手前端是長方體，則也可以代替圓的半徑而使用縱、橫的長度通過三個參數(shù)來表示，另外也可以通過表現(xiàn)多邊形、橢圓的參數(shù)來定義。但是，即使不這么嚴格，如果將近似的圓的半徑設(shè)定得充分大使得覆蓋干擾區(qū)域整體，則作為用于避免干擾的模型而使用近似的圓，手也正確地發(fā)揮功能。
圖12表示利用了距離圖像和二維手模型的最佳把持候選制作的處理影像。另外，圖13表示處理流程。關(guān)于處理，首先從距離圖像抽取區(qū)段。這里所說的區(qū)段是指被形狀邊緣包圍的工件的平面、曲面部分。進行分割是指抽取該區(qū)段。該抽取通過來自距離圖像的利用坎尼算子、索貝爾算子進行的邊緣檢測來實現(xiàn)。距離圖像中的邊緣表示物體的形狀邊緣本身。由該檢測邊緣劃分的區(qū)域相當于工件的平面、曲面部分。即便是與工件形狀的模型匹配困難的細螺絲、彈簧等，也能夠通過該方法來抽取區(qū)段。接著，將抽取的許多區(qū)段圈定為幾個候選。該圈定有助于削減計算時間，但是即使將全部的區(qū)段選擇為候選也能夠?qū)崿F(xiàn)處理自身，因此也可以不進行圈定而實施本發(fā)明。關(guān)于候選的選擇方法，既可以從例如位于最高的位置的區(qū)段起賦予優(yōu)先順序而選擇多個，也可以代替高度信息而基于區(qū)段的面積來進行候選選擇。從該候選中輸出接下來說明的通過匹配得到的得分(可把持似然度)最高的把持位置姿勢。對作為候選而選擇的區(qū)段進行與二維手模型的匹配。由此，找出不會碰到而穩(wěn)定地抓住的位置。這通過找出如下的把持位置姿勢來實現(xiàn)，其中，該把持位置姿勢是I)存在于手的張開寬度內(nèi)的區(qū)段的面積大、且2)手前端的干擾區(qū)域與區(qū)段周邊沒有干擾且不沖突的把持位置姿勢。I)能夠通過候選區(qū)段與手的張開寬度部分的卷積處理來計算，2)能夠通過包括有可能碰撞的周邊的候選區(qū)段與手前端的干擾區(qū)域的卷積處理來計算。當從I)的區(qū)域減去2)的區(qū)域時，成為“有可能抓住、且不可能碰撞的區(qū)域”。將它進行平滑化之后設(shè)為可視化的是圖12的可把持似然度。計算的把持位置姿勢即為記錄了該最大似然度時的手模型的姿勢和位置。對作為候選而選擇的唯一的區(qū)段、或者對多個區(qū)段，計算把持位置姿勢。在唯一的區(qū)段的情況下，選擇在該區(qū)段內(nèi)記錄最大似然度的手模型的位置姿勢。在多個區(qū)段的情況下，選擇各區(qū)段內(nèi)的最大似然度最大的區(qū)段的記錄了最大似然度的手模型的位置姿勢。圖12的把持位置姿勢的結(jié)果圖像表示輸出了如下那樣的計算結(jié)果的情形:對于工件的一部分突出的部分的重心，與邊緣大致垂直地進行把持是適當?shù)摹?2這樣的數(shù)字是以面積對可把持似然度進行標準化、并以最大100點來表示“有多容易抓住”的數(shù)字。正中央的深灰色的圓表示把持位置，用直線連接的白色的兩個圓表示手前端的干擾區(qū)域。對于幾個候選區(qū)段將把持位置姿勢計算為相同的、更易于理解的結(jié)果是圖14。當觀察圖14時，沒有周邊干擾的地方的得分高，當進入了時似乎要碰撞的部分得分低。另外，可知與抓住的位置的邊緣正交的部分的得分變高。而且，為了使把持狀態(tài)穩(wěn)定，理想的是使把持位置處的手的開閉方向與候選區(qū)段的形狀邊緣的方向垂直。圖15示出其例子。檢測候選區(qū)段的邊緣，計算每個局部區(qū)域的邊緣方向。在與候選區(qū)段重疊的某個把持位置存在擁有某個手開閉方向的二維手模型時，和其交叉的候選區(qū)段的形狀邊緣的邊緣方向、與手的開閉方向越接近垂直，正交度評價得越高，從而探索更穩(wěn)定的把持姿勢。通過對所述的可把持似然度的得分相乘或附加權(quán)重而相加，能夠反映雙方的評價。圖16是表示本發(fā)明的實施方式5的工件取出裝置的裝置結(jié)構(gòu)圖。在裝置中包括:僅儲存了二維手模型的記錄介質(zhì)1、生成散裝工件的距離圖像的傳感器2、具有基于存儲介質(zhì)I的二維手模型和傳感器2的距離圖像而計算把持位置姿勢的最佳把持候選生成部30的信息處理部3、根據(jù)該把持位置姿勢信息來控制動作的控制部4、根據(jù)控制部的指令將手設(shè)為任意的位置姿勢的機器人5、把持工件的手6。
在最佳把持候選生成部30內(nèi)進行的處理流程是所述的圖12的流程。在該處理中，通過Core2Duo2G、存儲器2G的PC來實現(xiàn)計算時間0.1 0.2秒(sec)程度的安裝，作為對三維信息進行處理的處理，可知是非常高速的。另外，在本發(fā)明的實施方式5中，圖17示出進行在以以往的工件形狀為基礎(chǔ)的方法中識別困難且連把持試驗都沒有實現(xiàn)的工件的取出、并評價了成功率而得到的結(jié)果?！皢误w取出”是只抓住一個工件的情況，“多個取出”是同時取出多個工件的情況。關(guān)于多個取出，在后續(xù)工序中能夠進行例如基于照相機的測量結(jié)果、重量判定而放棄、或重新放置在平面上進行分離等的處置，因此如果僅將取出沒成功的情況設(shè)為失敗，則所有工件的平均成功率為91.5%。在本實施方式中，不進行每個工件的調(diào)整，而高速地實現(xiàn)目前為止從散裝的取出困難的復雜的形狀的工件的取出。根據(jù)這樣構(gòu)成的本實施方式5，能夠與所述的實施方式同樣地，以事先保持的數(shù)據(jù)量少且計算時間也少的方式進行工件的取出，但是除此之外還能夠得到如下的優(yōu)點。首先，使傳感器的視線方向、與手為了取出散裝工件而接近工件時的進入方向一致，因此能夠高速地實現(xiàn)最佳把持候選的制作。另外，機器人通過X、Y、Z方向的平移3自由度以及繞取出工件的進入方向軸的旋轉(zhuǎn)I自由度這樣的共計4自由度的被限制的動作來形成期望的把持位置姿勢，因此能夠容易地設(shè)計機器人動作范圍、安全范圍、干擾避免范圍，另外，使裝置的起動變迅速。另外，最佳把持候選制作部使用二維手模型作為手形狀數(shù)據(jù)，使用距離圖像作為工件測量數(shù)據(jù)，并根據(jù)通過該手形狀數(shù)據(jù)和工件測量數(shù)據(jù)的卷積求出的可把持似然度，計算把持位置姿勢。而且，最佳把持候選制作部根據(jù)從距離圖像的邊緣檢測來抽取平面、曲面，通過使該平面、曲面與手形狀數(shù)據(jù)匹配而計算把持位置姿勢。因而，能夠高速地進行工件取出，并且無需進行依賴于工件形狀的調(diào)整，由此也使裝置的起動變迅速。另外，最佳把持候選制作部根據(jù)基于從距離圖像的邊緣檢測而抽取的平面、曲面的形狀邊緣的方向與手的開閉方向的正交度，計算把持位置姿勢，因此能夠提高工件的取出的成功率。以上，參照優(yōu)選的實施方式具體地說明了本發(fā)明的內(nèi)容，但是顯而易見只要是本領(lǐng)域技術(shù)人員就能夠根據(jù)本發(fā)明的基本技術(shù)思想以及啟示來采用各種各樣的改變方式。
權(quán)利要求
1.一種工件取出裝置，具備: 手，把持工件； 機器人，將所述手設(shè)為期望的把持位置姿勢； 傳感器，對工件進行三維測量而得到工件測量數(shù)據(jù)； 存儲介質(zhì)，至少儲存了手形狀數(shù)據(jù)； 信息處理部，基于來自所述傳感器以及所述存儲介質(zhì)的數(shù)據(jù)，計算把持位置姿勢；以及 控制部，根據(jù)由所述信息處理部計算出的把持位置姿勢來控制所述機器人， 其中，所述信息處理部包括最佳把持候選制作部，該最佳把持候選制作部根據(jù)所述工件測量數(shù)據(jù)和所述手形狀數(shù)據(jù)，直接導出把持位置姿勢。
2.根據(jù)權(quán)利要求1所述的工件取出裝置，其特征在于， 所述最佳把持候選制作部根據(jù)基于所述手形狀數(shù)據(jù)的模型與所述工件測量數(shù)據(jù)的匹配，直接計算把持位置姿勢。
3.根據(jù)權(quán)利要求1或者2所述的工件取出裝置，其特征在于， 所述傳感器的視線方向與所述手 為了取出散裝工件而接近工件時的進入方向一致。
4.根據(jù)權(quán)利要求3所述的工件取出裝置，其特征在于， 所述機器人通過X、Y、Z方向的平移3自由度和繞取出工件的進入方向軸的旋轉(zhuǎn)I自由度這樣的共計4自由度的被限制的動作，形成期望的把持位置姿勢。
5.根據(jù)權(quán)利要求3或者4所述的工件取出裝置，其特征在于， 所述最佳把持候選制作部使用二維手模型作為所述手形狀數(shù)據(jù)，使用距離圖像作為所述工件測量數(shù)據(jù)，根據(jù)通過該手形狀數(shù)據(jù)與工件測量數(shù)據(jù)的卷積求出的可把持似然度，計算把持位置姿勢。
6.根據(jù)權(quán)利要求3 5中的任一項所述的工件取出裝置，其特征在于， 所述最佳把持候選制作部根據(jù)從距離圖像的邊緣檢測來抽取平面、曲面，使該平面、曲面與手形狀數(shù)據(jù)匹配從而計算把持位置姿勢。
7.根據(jù)權(quán)利要求6所述的工件取出裝置，其特征在于， 所述最佳把持候選制作部根據(jù)基于從距離圖像的邊緣檢測抽取的平面、曲面的形狀邊緣的方向與手的開閉方向的正交度，計算把持位置姿勢。
8.根據(jù)權(quán)利要求1 7中的任一項所述的工件取出裝置，其特征在于， 所述存儲介質(zhì)還儲存有工件形狀數(shù)據(jù)， 所述信息處理部包括工件狀態(tài)判斷部，該工件狀態(tài)判斷部根據(jù)所述工件形狀數(shù)據(jù)來評價由所述最佳把持候選制作部計算出的把持位置姿勢。
9.根據(jù)權(quán)利要求8所述的工件取出裝置，其特征在于， 所述工件狀態(tài)判斷部包括工件糾纏狀態(tài)推測部，該工件糾纏狀態(tài)推測部通過判定根據(jù)所述工件測量數(shù)據(jù)與所述工件形狀數(shù)據(jù)的匹配而制作出的工件模型彼此的干擾，從而判定在所述工件測量數(shù)據(jù)中未顯現(xiàn)的散裝內(nèi)部的工件彼此的糾纏，使與糾纏少的對象對應的把持位置姿勢優(yōu)先。
10.根據(jù)權(quán)利要求8或者9所述的工件取出裝置，其特征在于， 所述工件狀態(tài)判斷部包括工件挑選動作推測部，該工件挑選動作推測部根據(jù)所述手形狀數(shù)據(jù)、所述工件形狀數(shù)據(jù)以及計算出的把持位置姿勢，計算進行了把持時的工件的重心位置，并基于此而使把持后的工件的掉落或者把持后的工件的傾斜的可能性低的把持位置姿勢優(yōu)先。
11.根據(jù)權(quán)利要求1 10中的任一項所述的工件取出裝置，其特征在于， 所述存儲介質(zhì)還儲存有與工件取出的下一作業(yè)有關(guān)的工件的下一作業(yè)把持位置姿勢的數(shù)據(jù)， 所述信息處理部包括下一 作業(yè)動作推測部，該下一作業(yè)動作推測部使通過所述機器人能夠?qū)崿F(xiàn)下一作業(yè)把持位置姿勢的把持位置姿勢優(yōu)先。
全文摘要
提供一種能夠以事先保持的數(shù)據(jù)量少且計算時間少的方式進行工件的取出的工件取出裝置。工件取出裝置具備手(6)，把持工件；機器人(5)，將手設(shè)為期望的把持位置姿勢；傳感器(2)，對工件進行三維測量而得到工件測量數(shù)據(jù)；存儲介質(zhì)(1)，至少儲存了手形狀數(shù)據(jù)；信息處理部(3)，基于來自傳感器以及存儲介質(zhì)的數(shù)據(jù)來計算把持位置姿勢；以及控制部(4)，根據(jù)由信息處理部計算出的把持位置姿勢來控制機器人。在信息處理部中設(shè)置有根據(jù)工件測量數(shù)據(jù)和手形狀數(shù)據(jù)來直接導出把持位置姿勢的最佳把持候選制作部。
文檔編號B25J19/04GK103221188SQ20118005538
公開日2013年7月24日 申請日期2011年7月13日 優(yōu)先權(quán)日2010年11月17日
發(fā)明者堂前幸康, 北明靖雄, 奧田晴久, 鷲見和彥 申請人:三菱電機株式會社