專利名稱：動作教導系統(tǒng)以及動作教導方法
技術領域：
本發(fā)明涉及用于對進行工件握持的機器人進行動作教導的動作教導系統(tǒng)以及動 作教導方法。
背景技術：
研究開發(fā)有以下的方法(例如，參考專利文獻4)預先給機器人提供工件形狀模 型，并使機器人自主地識別存在于作業(yè)空間中的工件、并使機器人自動地執(zhí)行工件握持。然 而，對于這樣的基于模型的方法，雖然在工件種類有限的作業(yè)空間中可以實現(xiàn)，但是實際上 難以適用于在例如日常生活環(huán)境這樣的條件復雜的實際環(huán)境中。另一方面，還公知有操作員對機器人進行動作的教導的技術(例如、參照專利文 獻1 3)。專利文獻1 3公開了操作員使用具有圖形顯示功能的動作教導裝置對機器人 進行動作教導的技術。專利文獻1所公開的發(fā)明是由本發(fā)明的發(fā)明人作出的。該發(fā)明涉及使用具有二維 顯示器的動作教導裝置來教導機器人在三維空間中動作的動作教導裝置。該動作教導裝置 可以適用于當使機器人對形狀以及作業(yè)空間中的三維位置未知的工件進行握持的情況。使 用該動作教導裝置對機器人的教導如下進行。首先，將拍攝了包含有工件的機器人的作業(yè)空間的拍攝圖像顯示在二維顯示器 上。操作員看著顯示有拍攝圖像的二維顯示器通過鼠標或觸摸面板等輸入裝置、利用在 CAD (Computer Aided Design，計算機輔助設計)中所使用的參數(shù)化建模方法等來在顯示器 的表示面上制作幾何要素的圖。具體來說，為了對工件的形狀進行建模，操作員在畫面上對 模型的位置、姿勢以及形狀的參數(shù)進行調整，使其與工件的圖像一致，并且以工件的模型的 重心位置的坐標系為基準，設定為了使得容易握持工件而根據(jù)需要進行了平移以及旋轉的 坐標系。通過使這樣設定的坐標系與設置在機器臂末端的工件握持用的末端執(zhí)行器的坐標 系(以下、稱作工具坐標系)相匹配，可以使機器人執(zhí)行工件的握持。通過激光測距儀、立 體照相機等測距裝置來測量由操作員描繪的點或幾何要素的三維位置。專利文獻2公開了一種動作教導裝置，所述動作教導裝置具有存儲設置在機器臂 末端的末端執(zhí)行器形狀的形狀模型的存儲裝置、以及顯示末端執(zhí)行器形狀的顯示器。該動 作教導裝置進行如下操作(1)在顯示有末端執(zhí)行器形狀的顯示器畫面上接受由操作員對 末端執(zhí)行器上的點的指定，⑵計算被指定的點的三維位置，⑶接受由操作員進行的以被 指定的點為中心的姿勢變更的輸入，(4)基于被指定的點的三維位置、以及接受的姿勢變更 來調節(jié)末端執(zhí)行器的姿勢。即，專利文獻2的動作教導裝置通過圖形顯示對操作員輸入位 置以及形狀已知的末端執(zhí)行器的姿勢變更的操作進行輔助。然而，專利文獻2的動作教導 裝置并不是用于教導機器人對形狀以及三維位置未知的工件進行操作的裝置。專利文獻3公開了一種動作教導裝置，其用于使用圖形顯示器來對機器人教導形 狀以及三維位置已知的工件的操作點。例如，在將汽車的車身作為工件的情況下，該動作教 導裝置用于教導車身上的焊接操作點。專利文獻3的動作教導裝置除了具有圖形顯示器之外還具有存儲裝置。存儲裝置基于作為機器人和工件的共同坐標系的全局坐標系來存儲有 近似為多面體的工件的形狀數(shù)據(jù)。該動作教導裝置對存儲裝置進行訪問，并使圖形顯示器 對工件形狀進行二維顯示，在表示畫面上接受關于工件的操作面以及操作點的操作員的指 定。并且，該動作教導裝置在圖形顯示器上重疊顯示機器人姿勢，并在接受了由操作員進行 的機器人姿勢的修正之后，確定機器人姿勢，并將確定了的姿勢變換成機器人坐標系而對 機器人進行教導。專利文獻1 日文專利文件特開2003-256025號公報；專利文獻2 日文專利文件特開2005-111618號公報；專利文獻3 日文專利文件特開平1-283603號公報；
專利文獻4 日文專利文件特開2004-333422號公報。

發(fā)明內容
如上所述，在用于教導機器人對形狀以及三維位置未知的工件的操作的專利文獻 1所公開的動作教導裝置中，通過操作員看著二維顯示器進行使用于CAD的三維制圖操作， 可以對機器人進行教導。然而，為了進行使用于CAD的三維制圖操作，需要操作員對操作熟 練，而對于不具有CAD制圖技術的一般用戶難以說是容易的。本發(fā)明是基于上述的見解而進行的，并且其目的在于提供一種通過操作員的直觀 且簡單的輸入操作就可以對機器人教導對于形狀以及三維位置未知的工件的握持動作的 動作教導系統(tǒng)以及動作教導方法。本發(fā)明的第一實施方式是一種動作教導系統(tǒng)，所述動作教導系統(tǒng)用于對機器人進 行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用于握持工件的機器手。該動 作教導系統(tǒng)包括成像裝置、測量直到對象物體為止的距離的測距裝置、顯示裝置、接受由 操作員進行的輸入操作的輸入裝置、對于多個基礎形狀模型中的每一個記錄了所述機器手 能夠適用的至少一個握持模式的數(shù)據(jù)庫。并且，該動作教導系統(tǒng)還包括拍攝圖像顯示單 元、識別區(qū)域指定單元、基礎形狀模型指定單元、擬合單元、以及握持模式選擇單元。所述拍攝圖像顯示單元使所述顯示裝置顯示通過所述成像裝置獲取的包含所述 工件在內的作業(yè)空間的拍攝圖像。所述識別區(qū)域指定單元將用于指定使所述機器手握持的所述工件中的部位的操 作作為在所述顯示裝置所顯示的所述工件的像上利用所述輸入裝置二維地指定包含所述 部位在內的識別區(qū)域的操作來接受。所述基礎形狀模型指定單元經由所述輸入裝置接受從所述多個基礎形狀模型中 指定與所述部位相符合的基礎形狀模型的操作。所述擬合單元將由所述操作員指定的基礎形狀模型擬合到與利用所述測距裝置 獲取的所述識別區(qū)域相當?shù)目臻g的三維位置數(shù)據(jù)。所述握持模式選擇單元基于由所述操作員指定的基礎形狀模型以及由所述擬合 單元進行的擬合結果，檢索所述數(shù)據(jù)庫，由此選擇能夠適用于所述工件的握持的至少一個 握持模式。另外，本發(fā)明的第二實施方式是一種動作教導方法，所述動作教導方法用于對機 器人進行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用于握持工件的機器手，所述動作教導方法包括以下步驟(a) (e)。使顯示裝置顯示包含所述工件在內的作業(yè)空間的拍攝圖像的步驟(a)； 將用于指定使所述機器手握持的所述工件中的部位的操作作為在所述顯示裝置 所顯示的所述工件的像上二維地指定包含所述部位在內的識別區(qū)域的操作來接受的步驟 (b)；接受從所述多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作 的步驟(C)；將在所述步驟(C)中被指定的基礎形狀模型擬合到與利用測距裝置獲取的所述 識別區(qū)域相當?shù)目臻g的三維位置數(shù)據(jù)的步驟(d)；以及基于由在所述步驟(C)中指定的基礎形狀模型以及在所述步驟(d)中的擬合結 果來檢索數(shù)據(jù)庫，由此選擇能夠適用于所述工件的握持的至少一個握持模式的步驟(e)，其 中，在所述數(shù)據(jù)庫中，對于多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至 少一個握持模式。根據(jù)上述的本發(fā)明的第一和第二實施方式，操作員通過在被顯示在顯示裝置上的 拍攝圖像中二維指定識別區(qū)域的操作和選擇與識別區(qū)域相符合的基礎形狀模型的操作，能 夠直觀地確定工件的握持部位。另外，本發(fā)明的第一和第二實施方式由于使用將基礎形狀 模型和能夠適用于它的握持模式相關聯(lián)起來的數(shù)據(jù)庫，因此能夠將合適的握持模式的候選 提示給操作員。因此，操作員不需要逐一詳細指定機器手的位置和姿勢、以及機器臂所具有 的手指的配置等，就能夠將握持方法教導給機器人。另外，上述的本發(fā)明的第一實施方式中的動作教導系統(tǒng)，還可以包括握持模式顯 示單元和握持模式決定單元。所述握持模式顯示單元使顯示裝置顯示通過所述握持模式選 擇單元選擇了的所述至少一個握持模式。另外，所述握持模式決定單元基于所述握持模式 顯示單元所生成的顯示內容，接受由所述操作員進行的、用于選擇使所述機器人執(zhí)行的最 終握持模式的操作，并接受由所述操作員進行的、用于調整對于所述最終握持模式所余下 的自由度的操作。并且，所述握持模式顯示單元也可以將表示所述至少一個握持模式的所述機器手 的模型圖像與所述拍攝圖像重疊顯示。另外，所述握持模式決定單元也可以通過在所述顯 示裝置的顯示畫面內對于所述模型圖像的拖曳操作來接受由所述操作員進行的所述自由 度的調整操作，并基于在進行所述拖曳操作之后的所述模型圖像在所述顯示畫面內的位置 以及姿勢來決定所述自由度的調整値。通過這樣的結構，操作員能夠通過簡單的拖曳操作 來決定合適的握持模式，并對機器人進行教導。另外，在上述的本發(fā)明的第一實施方式中，所述握持模式選擇單元還可以利用使 用所述測距裝置來獲取的所述識別區(qū)域周辺的三維位置數(shù)據(jù)來判斷根據(jù)所述至少一個握 持模式的所述機器臂的軌跡和所述工件周圍的障礙物之間的干擾，并基于該判斷結果進行 握持模式的刪減。由此，能夠獲得避免了與工件周圍的障礙物的干擾的更加合適的握持方 法。根據(jù)本發(fā)明，能夠提供通過由操作員進行的直觀且簡單的輸入操作，能夠對機器 人進行對于形狀和三維位置未知的工件的握持動作的教導的動作教導系統(tǒng)以及動作教導 方法。


圖1是示出本發(fā)明的實施方式1中的動作教導系統(tǒng)的整體結構的框圖；圖2是表示通過本發(fā)明的實施方式1中的動作教導系統(tǒng)進行的對機器人1的握持 動作的教導順序的流程圖；圖3的(a)是表示顯示在顯示裝置的包含工件在內的拍攝圖像的一個示例的圖， 圖3的(b) (d)表示在顯示畫面上指定識別區(qū)域的示例的圖；圖4是表示用于選擇基礎形狀模型的圖標列表的示例的圖；圖5是用于說明與識別區(qū)域相關的三維位置數(shù)據(jù)的獲取的概念圖；圖6是用于說明對于三維位置數(shù)據(jù)的基礎形狀模型的擬合結果的概念圖； 圖7是表示作為基礎形狀模型的一個例子的圓筒模型及其形狀參數(shù)的圖；圖8本發(fā)明的實施方式1中的動作教導系統(tǒng)所具有的數(shù)據(jù)庫的構成示例的圖；圖9本發(fā)明的實施方式1中的動作教導系統(tǒng)所具有的數(shù)據(jù)庫的構成示例的圖；圖IOA是表示將基礎形狀模型和握持模式與包含工件在內的拍攝圖像重疊顯示 了的顯示裝置的畫面的例子的圖；圖IOB是表示將基礎形狀模型和握持模式與包含工件在內的拍攝圖像重疊顯示 了的顯示裝置的畫面的例子的圖；圖IlA是表示用于調整握持模式的自由度的顯示裝置的畫面的例子的圖；圖IlB是表示用于調整握持模式的自由度的顯示裝置的畫面的例子的圖；圖IlC是表示用于調整握持模式的自由度的顯示裝置的畫面的例子的圖。標號說明1機器人10機器臂11 機器手(hand)12成像裝置13測距裝置14通信部15數(shù)據(jù)庫2教導終端20通信部21顯示裝置22輸入裝置23控制部30工件像3I 33識別區(qū)域40圖標列表41 44 圖標50三維位置數(shù)據(jù)90 工件
60基礎形狀模型70圓筒模型83機器手模型84定點器RF旋轉自由度TF平移自由度
具體實施例方式以下，參照附圖詳細說明應用了本發(fā)明的具體的實施方式。在各附圖中，對于相同 要素標注了相同符號，并且為了使說明明確，而根據(jù)需要省略了重復說明。實施方式1:圖1是示出本實施方式中的動作教導系統(tǒng)的整體結構的框圖。本實施方式的動作 教導系統(tǒng)包括執(zhí)行工件90的握持動作的機器人1、以及用于對機器人1進行握持動作的 教導的教導終端2。以下、說明機器人1以及教導終端2的結構。圖1所示的機器人1具有由通過關節(jié)相互連接的多個連桿(link)構成的多關節(jié) 的機器臂10。在機器臂10的末端部分設置有用于握持工件90的機器手11。成像裝置12拍攝放置有機器人1以及工件90的作業(yè)空間并獲取拍攝圖像。如 后所述，由成像裝置12獲取的拍攝圖像被輸出到教導終端2的顯示畫面上，并被提示給 操作員。因此，例如，成像裝置12可以是具備了在可視光區(qū)域具有感光度的(XD(Charge Coupled Device，電荷耦合元件)圖像傳感器或者 CMOS (Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體)圖像傳感器等的成像元件的相機。測距裝置13計算直到作業(yè)空間中的對象物體為止的距離。測距裝置13的測量原 理并沒有特別的限定，可以使用公知的各種技術。例如，作為測距裝置13使用激光測距儀、 光投影立體測距裝置、或者立體照相機等即可。如在測距裝置13為立體照相機的情況那 樣，在能夠由測距裝置13進行成像的情況下，也可以采用將1臺裝置兼作成像裝置12以及 測距裝置13的結構。通信部14與教導終端2側的通信部20之間傳送關于由成像裝置12獲取的拍攝 圖像以及其他的動作教導的信息。通信部14的通信方式使用公知的無線通信方式或者 有線通信方式即可。另外，通信部14和通信部20之間也沒有必要直接連接，也可以經由 LAN (Local Area Network，局域網)、因特網、便攜式電話通信網等來進行連接。數(shù)據(jù)庫15是將多個基礎形狀模型和多個握持模式相關聯(lián)起來進行了存儲的數(shù)據(jù)庫。其中，所謂的握持模式是指記錄了包含機器手11所具有的手指的位置以及姿勢在內的 動作模式的數(shù)據(jù)。另外，基礎形狀模型是指例如，圓柱、四棱柱、圓筒等三維幾何要素模型。 如后所述，基礎形狀模型作為工件90的握持部位的形狀候選而被提示給使用教導終端2的 操作員。例如，通過指定某1個基礎形狀模型來檢索數(shù)據(jù)庫15，能夠知道可以適用的至少1 個握持模式。相反地，通過指定某1個基礎形狀模型來檢索數(shù)據(jù)庫15，能夠知道可以適用該 握持模式的至少1個基礎形狀模型。對于數(shù)據(jù)庫15的數(shù)據(jù)結構示例、動作模式以及基礎形 狀模型的具體例子，將在后面敘述?？刂撇?6除了機器臂10以及機器手11的動作控制之外，還與教導終端2協(xié)作而執(zhí)行與對機器人ι的握持動作的教導相關的控制以及數(shù)據(jù)處理。具體來說，控制部16執(zhí)行 成像裝置12的拍攝控制、測距裝置13的測量控制、使用了通信部14的數(shù)據(jù)收發(fā)、對數(shù)據(jù)庫 15的訪問、由測距裝置13所測量的三維點群數(shù)據(jù)和基礎形狀模型的擬合處理等?？刂撇?6可包括1個或多個CPU (Central Processing Unit,中央處理單元)、 在CPU中執(zhí)行的控制程序、用作計算數(shù)據(jù)等的暫時存儲區(qū)域的RAM (Random Access Memory, 隨機存取存儲器)、存儲控制程序以及控制數(shù)據(jù)等的EEPROM(Electrically Erasable and Programmable Read OnlyMemory，電可擦可編程只讀存儲器)等非易失性存儲器等?？刂?程序不言而喻也可以是多個程序模塊的集合。在使用了后述的教導終端2對機器人1進行的動作教導中，需要多個坐標系的相 對關系是已知的，多個坐標系具體是指與成像裝置12的拍攝空間相關的相機坐標系、成 像裝置12的拍攝圖像的圖像坐標系、與測距裝置13的測量空間相關的測量空間坐標系、設 定在機器手11上的工具坐標系、以及被固定在作業(yè) 空間中的全局坐標系。為了確定這些坐 標系之間的相對關系，可以預先進行校準(calibration)。接下來，說明圖1所示的教導終端2的各構成要素。通信部20如已經說明的那樣 與機器人1側的通信部14之間進行數(shù)據(jù)傳送。顯示裝置21是可以顯示圖形的裝置，基于由后述的控制部23所進行的控制，進 行對成像裝置12的拍攝圖像的顯示、基礎形狀模型的顯示、表示握持模式的機器手模型 的顯示等。顯示裝置21例如可以使用IXD (Liquid Crystal Display，液晶顯示器)或者 CRT (Cathode Ray Tube，陰極射線管)顯示器等。輸入裝置22是接受由操作員對教導終端2進行的操作輸入的裝置。輸入裝置22 可以是根據(jù)操作員的手以及腳等身體的一部分操作或者操作員的音聲等，可以在顯示裝 置21的畫面上指定的輸入位置或坐標的定點裝置。具體來說，輸入裝置22可以使用鼠標、 觸摸面板、語音輸入裝置、激光定點器等?？刂撇?3與機器人1側的控制部16協(xié)作而執(zhí)行與對機器人1的握持動作的教導 相關的控制以及數(shù)據(jù)處理。具體來說，控制部23執(zhí)行顯示裝置21的顯示控制、輸入裝置22 的操作內容的獲取以及分析、使用了通信部20的數(shù)據(jù)收發(fā)等。與控制部16同樣，控制部23 也可以包括1或多個CPU (Central Processing Unit，中央處理單元)、在CPU中被執(zhí)行的 控制程序、RAM、非易失性存儲器等。教導終端2可以搭載有給上述的各構成要素提供動作電力的電池，并被構成為操 作員容易攜帶的一體型的小型終端。然而，教導終端2的形態(tài)不限于這樣的一體型。例如、 教導終端2也可以由分別獨立的設備、如通信終端、LCD、鼠標以及PC (Personal Computer, 個人計算機)等來構成。接下來，下面詳細說明通過本實施方式的動作教導系統(tǒng)進行的對機器人1的握持 動作的教導順序。圖2是表示通過本實施方式的動作教導系統(tǒng)進行的對機器人1的握持動 作的教導順序的流程圖。在圖2中，步驟SlOl S105表示在機器人1側進行的處理，并且 步驟S201 S206表示在教導終端2側進行的處理。在步驟SlOl中，機器人1利用成像裝置12來獲取包含工件90在內的作業(yè)空間的 拍攝圖像。所獲取的拍攝圖像被傳送給教導終端2。也可以使當獲取拍攝圖像時的成像裝 置12的位置、姿勢以及視角等可以被教導終端2遠程操作。能夠獲得包含工件90在內的作業(yè)空間的適當?shù)呐臄z圖像，從而容易教導機器人1采取適當?shù)奈粘帜Ｊ?。在步驟S201中，教導終端2使顯示裝置21顯示在步驟S 101中獲取的拍攝圖像。 圖3的(a)是表示包含有工件90的圖像30的拍攝圖像的顯示畫面的示例。以下，將工件 90為圖3的(a)所示的附帶把手的杯子的情況作為例子進行說明。 在步驟S202中，教導終端2經由輸入裝置22從操作員接受在被顯示在顯示裝置 21的拍攝圖像中對應當作為“識別區(qū)域”范圍的指定。其中，所謂的“識別區(qū)域”是指為了 指定使機器手11握持的工件90中的部位，而由操作員在拍攝圖像中設定的區(qū)域。在后述 的步驟S102中，識別區(qū)域被用作由測距裝置13進行識別的區(qū)域、即進行距離測量的對象區(qū) 域。圖3的(b) (d)示出包含在顯示畫面上被指定的識別區(qū)域在內的顯示裝置21的 顯示畫面示例。圖3的(b)所表示的識別區(qū)域31指定了杯子的主體部分。圖3的(c)所 表示的識別區(qū)域32指定了杯子開口的邊緣部分。圖3的(d)所表示的識別區(qū)域33指定了 把手部分。為了使操作員能夠進行直觀的操作，教導終端2可以通過對與被顯示在顯示裝置 21上的拍攝圖像重疊顯示的定點器的操作，接受由操作員進行的識別區(qū)域的指定。例如，為 了接受圖3的(b)所示的識別區(qū)域31的指定，可以接受利用定點器描繪表示識別區(qū)域31 的外周的封閉曲線的操作。這樣的操作在例如輸入裝置22為觸摸面板的情況下是極其直 觀的操作。即，通過將觸摸面板配置在顯示裝置21的顯示畫面的正上方，操作員能夠通過 手指或觸摸筆來直接碰觸所顯示的工件圖像30來描繪識別區(qū)域。在步驟S203中，教導終端2經由輸入裝置22接受應當與識別區(qū)域相符合(當 )的基礎形狀模型的指定。即，操作員利用輸入裝置22來指定自己所指定的識別區(qū)
域具有什么樣的三維幾何形狀。教導終端2為了促使用戶選擇基礎形狀模型，可以例如圖 4所示的那樣將圖標列表40輸出到顯示裝置21。如圖4所示的圖標41 44分別示出基 礎形狀模型的一個示例。圖標41為四棱柱模型、圖標42為平板模型、圖標43為圓柱模型、 圖標44為圓錐臺模型。各基礎形狀模型具有用于規(guī)定形狀以及大小的形狀參數(shù)、用于規(guī)定 位置以及姿勢的配置參數(shù)?；A形狀模型的種類當然不限于圖4所示，也可以根據(jù)工件90 的種類等來預先準備超二次橢圓體、L字形棱柱、C字形圓柱等的各種形狀。在步驟S102中，機器人1從教導終端2接收表示由操作員指定的識別區(qū)域的數(shù) 據(jù)。并且，機器人1利用測距裝置13獲取表示與識別區(qū)域對應的作業(yè)空間的三維位置的點 群數(shù)據(jù)(以下，稱作三維位置數(shù)據(jù))。圖5是表示與圖3的(b)的識別區(qū)域31對應的作業(yè) 空間的三維位置數(shù)據(jù)50的獲取的概念圖。在步驟S102中所獲得的三維位置數(shù)據(jù)表示從機 器人1側看到的包含工件90在內的作業(yè)空間的進深。機器人1也可以通過控制測距裝置13的位置以及姿勢來從多個視點進行距離測 量。通過合并由多個視點進行測量所獲得的三維位置數(shù)據(jù)，能夠獲得表示工件90的進深的 多個點群。例如，設定將與識別區(qū)域的中心點對應的作業(yè)空間中的三維位置作為原點的極 坐標，使測距裝置13的視點向水平方向以及上下方向這兩個偏角方向移動。通過視點的改 變，雖然也可以獲得由操作員所設定的識別區(qū)域外的三維位置數(shù)據(jù)，但是只留下連結測距 裝置13在初始位置中的視點和識別區(qū)域的邊緣的錐形空間內的三維位置數(shù)據(jù)，刪除此外 的數(shù)據(jù)。
在步驟103中，機器人1從教導終端2接收表示由操作員所指定的基礎形狀模型 的數(shù)據(jù)。并且，機器人1將由操作員所指定的基礎形狀模型擬合到在步驟S102中所獲得的 三維位置數(shù)據(jù)。更加具體的來說，機器人1擬合被指定的基礎形狀模型的形狀參數(shù)以及配 置參數(shù)以使其與通過測量所獲得的識別區(qū)域內的三維位置數(shù)據(jù)具有最好的一致性。這里的 擬合處理使用三維圖像處理領域中公知的技術即可。圖6是將工件90的圖像30和基礎形 狀模型(具體來說是圓柱模型)60重疊顯示的圖，并示出了用戶選擇圓柱模型時的擬合結^ ο在步驟S104中，機器人1參照數(shù)據(jù)庫15選擇能夠適用于通過擬合決定了形狀參 數(shù)的基礎形狀模型的握持模式。在這里，說明基礎形狀模型的形狀參數(shù)、握持模式、以及數(shù) 據(jù)庫15的數(shù)據(jù)結構的各具體示例。
圖7示出了作為基礎形狀模型中的一個的圓筒模型70。圓筒模型70的形狀參數(shù) 為直徑D、圓筒的長度L、以及壁的厚度T這3個。上述的圓柱模型60是圓筒模型70的子 集(寸卜)。具體來說，圓柱模型對應于在圓筒模型中沒有定義壁的厚度T、或者T =D/2的情況。圖8以及9是數(shù)據(jù)庫15的數(shù)據(jù)結構的具體示例，并表示與能夠適用于圓筒模型70 的握持模式相關的數(shù)據(jù)內容。如果機器手11的種類不同，則能夠執(zhí)行的握持模式不同，能 夠適用于相同的基礎形狀模型的握持模式也不同。數(shù)據(jù)庫15可以預先將表示各握持模式 在各基礎形狀模型的什么樣的形狀參數(shù)范圍內能夠適用的信息與機器手11的種類相對應 地存儲。在圖8以及9的例子中，4個握持模式作為當機器手11的手型為「平面且3個關 節(jié)2個手指」并且基礎形狀模型為圓筒模型時能夠適用的握持模式，與適用條件一起被存 儲。具體來說，4個握持模式為「握持模式A 側面夾持」、「握持模式B 端面夾持」、「握持模 式C 包圍握持」、以及「握持模式D 邊面夾持」。這些各握持模式的適用條件通過圖8所示 的圓筒模型70的形狀參數(shù)D、L以及T來描述。為了參考，在圖8以及9中，通過圓筒模型70和與機器手11對應的機器手模型83 來示出了表示握持模式A D的立體圖。另外，表示握持模式A D的圖中的雙向箭頭表 示可以調整各握持模式的余下的自由度。例如，在「握持模式C:包圍握持」的情況下，能夠 調整以圓筒模型70的中心軸旋轉的旋轉自由度RF和沿著中心軸的平移自由度TF這2個 自由度。在本實施方式中，握持模式所余下的這些自由度在后述的步驟S206中最終由操作 員決定。返回圖2繼續(xù)說明。在步驟S204中，教導終端2將表示擬合結果的基礎形狀模型 60和表示在步驟S104中選擇的握持模式的機器手模型83與包含有工件90的圖像30在內 的拍攝圖像重疊顯示。如上所述，通過進行重疊顯示，操作員能夠容易地把握工件90和基 礎形狀模型以及握持模式之間的合適程度。圖IOA以及圖IOB表示在步驟S204中的顯示裝置21的顯示畫面示例。圖IOA是 上述的「握持模式C 包圍握持」的顯示示例。并且，圖IOB是上述的「握持模式A 側面夾 持」的顯示示例。如圖IOA以及圖IOB那樣，在存在多個握持模式候選的情況下，顯示裝置 21也可以排列顯示這些多個候選，也可以根據(jù)操作員的操作而將候選一個個地交替顯示。在步驟S205中，教導終端2接受由操作員對握持模式的最終決定。在這里，將被決定的握持模式稱作最終握持模式。在步驟S206中，教導終端2促使操作員調整最終握持模式所余下的自由度。教導 終端2在顯示裝置21的畫面上顯示定點器，接受由操作員進行的定點器操作。操作員操作 定點器來調整自由度。更加具體來說，教導終端2可以接受對顯示在畫面上的機器手模型 83的拖曳操作。并且，教導終端2可以根據(jù)進行了拖曳操作之后的機器手模型83和基礎形 狀模型60或工件像30之間的相對位置以及相對姿勢，決定對最終握持模式所余下的自由 度的調整值。由此，操作員可以通過簡單的拖曳操作來決定合適的握持模式。圖IlA IlC是表示步驟S206中由操作員進行的自由度調整的具體示例的圖。圖 IlA示出了顯示畫面上的定點器84的移動。圖lib示出了對機器手模型83的拖曳所導致 的定點器84的顯示變化。并且，圖IlC示出了通過拖曳操作而進行了平移自由度TF的調 整的狀態(tài)。
最后，在圖2的步驟S105中，機器人1基于最終被決定的握持模式來進行工件90 的握持動作。上述的本發(fā)明的實施方式1中的動作教導系統(tǒng)可起到下述的効果。即，通過本實 施方式的動作教導系統(tǒng)，操作員在顯示有由成像裝置12拍攝了的拍攝圖像的顯示畫面上 描繪識別區(qū)域，通過選擇與此相符合的基礎形狀模型的操作，能夠確定工件90的握持部位 的形狀并決定握持方法。即，操作員不必進行像在CAD中使用的參數(shù)化建模方法這樣的需 要熟練技能的詳細的輸入操作，能夠通過簡單且直觀的操作來進行對工件90的握持動作 的教導。另外，本實施方式的動作教導系統(tǒng)通過預先將基礎形狀模型和握持模式相關聯(lián)起 來存儲到數(shù)據(jù)庫15中，能夠容易地將合適的握持模式的候選提示給操作員。即，操作員沒 有必要逐一詳細指定機器手11的位置以及姿勢、各手指的配置等。另外，在本實施方式的動作教導系統(tǒng)中，由操作員指定想要使機器人1握持的部 位，并只對該部位適用基礎形狀模型來建模。因此，對象物體的建模變得容易，即使沒有復 雜的識別技術也能夠實現(xiàn)多種多樣的握持操作。另外，通常為了執(zhí)行基于模型的握持計劃而需要根據(jù)工件90的種類使用詳細的 模型。然而，在本實施方式的動作教導系統(tǒng)中，由于通過有限個數(shù)的基礎形狀模型和握持模 式的組合來進行握持計劃，因此數(shù)據(jù)量少也可行。另外，由于操作員應當對教導終端2進行的操作有限，因此顯示裝置21以及輸入 裝置22不需要復雜的接口。即，教導終端2適于在小型顯示畫面上的操作。因此，使用小 型的便攜式終端作為教導終端2也變得容易，所述小型的便攜式終端例如為智能手機、具 有通信功能的小型游戲機等。機器人1也可以基于擬合(圖2的步驟S104)的結果來判斷當執(zhí)行被選擇的握持 模式時機器臂10的軌跡和工件90周圍的障礙物之間的干擾(與障礙物之間的沖突)。該 判定可以通過比較由測距裝置13獲取的識別區(qū)域周辺的三維位置數(shù)據(jù)和機器臂10的軌跡 的計算結果來進行。并且，也可以基于與障礙物之間的干擾的判定結果來進行握持模式的 刪減。具體來說，確定可能與障礙物發(fā)生干擾的握持模式，并將其從用于提示給操作員而發(fā) 送給教導終端2的握持模式的候選中去除。另外，也可以為了將可能與障礙物發(fā)生干擾的 情況通知給操作員，而將干擾的判斷結果發(fā)送給教導終端2。
其他的實施方式在發(fā)明的實施方式1中，如圖2所示的那樣，在根據(jù)擬合進行了握持模式的選擇之 后，將被選擇的握持模式提示給操作員，并且操作員決定最終握持模式并調整最終握持模 式的自由度。這樣的順序有助于使機器人1的動作接近最合適的握持動作。然而，也可以 不進行圖2的步驟S204 S206，而按照選擇了的握持模式的中的一個使機器人1自主地執(zhí) 行握持動作另外，發(fā)明的實施方式1中機器人1和教導終端2的功能分擔只是一個示例。例 如，基礎形狀模型和三維位置數(shù)據(jù)的擬合也可以在教導終端2側執(zhí)行。另外，例如，數(shù)據(jù)庫 15也可以設置在教導終端2側。另外，也可以除了機器人1以及教導終端2之外，還存在第 3裝置。例如，成像裝置12以及測距裝置13沒有必要直接搭載在具備機器臂10以及機器 手11的機器人主體上，也可以作為與機器人主體不同的獨立的裝置來配置在作業(yè)空間中。并且，本發(fā)明不限于上述的實施方式，在不超過已敘述的本發(fā)明的主旨的范圍內 可以進行各種變更。產業(yè)上的實用性本發(fā)明可以應用于對進行工件握持的機器人進行動作教導的動作教導系統(tǒng)以及 動作教導方法中。
權利要求
一種動作教導系統(tǒng)，所述動作教導系統(tǒng)用于對機器人進行握持動作的教導，所述機器人具有機器臂，所述機器臂包含用于握持工件的機器手，所述動作教導系統(tǒng)包括成像裝置；測量直到對象物體為止的距離的測距裝置；顯示裝置；接受由操作員進行的輸入操作的輸入裝置；數(shù)據(jù)庫，針對多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至少一個握持模式；拍攝圖像顯示單元，使所述顯示裝置顯示由所述成像裝置獲取的包含所述工件在內的作業(yè)空間的拍攝圖像；識別區(qū)域指定單元，將用于指定使所述機器手握持的所述工件中的部位的操作，作為在所述顯示裝置所顯示的所述工件的圖像上利用所述輸入裝置二維地指定包含所述部位在內的識別區(qū)域的操作來接受；基礎形狀模型指定單元，經由所述輸入裝置接受從所述多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作；擬合單元，將由所述操作員指定的基礎形狀模型與利用所述測距裝置獲取的所述識別區(qū)域相當?shù)目臻g的三維位置數(shù)據(jù)進行擬合；以及握持模式選擇單元，基于由所述操作員指定的基礎形狀模型以及由所述擬合單元進行的擬合結果，檢索所述數(shù)據(jù)庫，由此選擇能夠適用于所述工件的握持的至少一個握持模式。
2.如權利要求1所述的動作教導系統(tǒng)，其中， 還包括握持模式顯示單元，使所述顯示裝置顯示通過所述握持模式選擇單元選擇的所述至少 一個握持模式；以及握持模式決定單元，接受由所述操作員進行的用于基于通過所述握持模式顯示單元所 生成的顯示內容來選擇使所述機器人執(zhí)行的最終握持模式的操作，并接受由所述操作員進 行的對所述最終握持模式所余下的自由度進行調整的操作。
3.如權利要求2所述的動作教導系統(tǒng)，其中，所述握持模式顯示單元將表示所述至少一個握持模式的所述機器手的模型圖像與所 述拍攝圖像重疊顯示，所述握持模式決定單元通過在所述顯示裝置的顯示畫面內對所述模型圖像的拖曳操 作來接受所述操作員對所述自由度的調整操作，并基于所述拖曳操作之后所述模型圖像在 所述顯示畫面內的位置以及姿勢來決定所述自由度的調整値。
4.如權利要求1 3中的任一項所述的動作教導系統(tǒng)，其中，所述握持模式選擇單元利用使用所述測距裝置來獲取的所述識別區(qū)域周辺的三維位 置數(shù)據(jù)來判斷基于所述至少一個握持模式的所述機器臂的軌跡和所述工件周圍的障礙物 之間的干擾，并基于該判斷結果進行握持模式的刪減。
5.一種動作教導方法，所述動作教導方法用于對機器人進行握持動作的教導，所述機 器人具有機器臂，所述機器臂包含用于握持工件的機器手，所述動作教導方法包括以下步 驟步驟(a)，使顯示裝置顯示包含所述工件在內的作業(yè)空間的拍攝圖像； 步驟(b)，將用于指定使所述機器手握持的所述工件中的部位的操作，作為在所述顯 示裝置所顯示的所述工件的圖像上二維地指定包含所述部位在內的識別區(qū)域的操作來接 受；步驟(c)，接受從多個基礎形狀模型中指定與所述部位相符合的基礎形狀模型的操作；步驟(d)，將在所述步驟(c)中被指定的基礎形狀模型與利用測距裝置獲取的所述識 別區(qū)域相當?shù)目臻g的三維位置數(shù)據(jù)進行擬合；以及步驟(e)，基于由在所述步驟(c)中指定的基礎形狀模型以及在所述步驟(d)中的擬合 結果來檢索數(shù)據(jù)庫，由此選擇能夠適用于所述工件的握持的至少一個握持模式，其中，在所 述數(shù)據(jù)庫中，針對多個基礎形狀模型中的每一個記錄了所述機器手能夠適用的至少一個握 持模式。
6.如權利要求5所述的動作教導方法，其中， 還包括步驟(f)，使所述顯示裝置顯示在所述步驟(e)中被選擇的所述至少一個握持模式； 步驟(g)，接受由所述操作員進行的用于基于在所述步驟(f)中生成的顯示內容來選 擇使所述機器人執(zhí)行的最終握持模式的操作；以及步驟(h)，接受由所述操作員進行的對所述最終握持模式所余下的自由度進行調整的 操作。
7.如權利要求6所述的動作教導方法，其中，在所述步驟(f)中，將表示所述至少一個握持模式的所述機器手的模型圖像與所述拍攝圖像重疊顯示，在所述步驟(h)中，通過在所述顯示裝置的顯示畫面內對所述模型圖像的拖曳操作來 接受所述操作員對所述自由度的調整操作，并基于所述拖曳操作之后所述模型圖像在所述 顯示畫面內的位置以及姿勢來決定所述自由度的調整値。
8.如權利要求5 7中的任一項所述的動作教導方法，其中，在所述步驟(e)中，還利用使用所述測距裝置獲取的所述識別區(qū)域周辺的三維位置數(shù) 據(jù)來判斷基于所述至少一個握持模式的所述機器臂的軌跡和所述工件周圍的障礙物之間 的干擾，并基于該判斷結果進行握持模式的刪減。
全文摘要
本發(fā)明的動作教導系統(tǒng)以及動作教導方法通過由操作員進行的直觀且簡單的輸入操作，能夠對機器人進行對于形狀和三維位置未知的工件的握持動作的教導。(a)使顯示裝置顯示作業(yè)空間的拍攝圖像，(b)接受在顯示裝置所顯示的工件的像上維地指定包含使機器手握持的部位的識別區(qū)域的操作。(c)接受從多個基礎形狀模型中指定與握持部位相符合的基礎形狀模型的操作，(d)通過將被指定的基礎形狀模型擬合到與識別區(qū)域相當?shù)目臻g的三維位置數(shù)據(jù)，決定指定基礎形狀模型的形狀、位置以及姿勢的參數(shù)群。(e)檢索對于各基礎形狀模型記錄了機器手能夠適用的握持模式的數(shù)據(jù)庫，選擇能夠適用于工件的握持的握持模式。
文檔編號G05B19/409GK101970184SQ20098010842
公開日2011年2月9日 申請日期2009年2月3日 優(yōu)先權日2008年3月10日
發(fā)明者齋藤史倫 申請人:豐田自動車株式會社