專利名稱：位置和方位估計方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計其三維形狀已知的物體的位置和方位的技術(shù)。
背景技術(shù)：
隨著近年來機器人技術(shù)的發(fā)展，直到現(xiàn)在為止由人類執(zhí)行的復(fù)雜任務(wù)(諸如制成品的裝配)正改為由機器人執(zhí)行。這樣的機器人用末端執(zhí)行器(諸如手)握住部件，并且執(zhí)行裝配。為了讓機器人握住部件，有必要精確地估計將被握住的部件與機器人(手)之間的相對位置和方位(orientation)。位置和方位的這樣的估計多方面地不僅用于讓機器人握住部件，而且還用于讓機器人估計它自己的位置以自主地移動以及使增強真實性中的真實空間與虛擬物體重合。一種用于估計位置和方位的方法包括使用通過照相機捕捉的二維圖像或者從距 離傳感器獲取的距離圖像(range image)的方法。其中，通常使用利用模型擬合的估計，在所述模型擬合中，針對從捕捉圖像提取的圖像特征或者從距離圖像獲取的點云數(shù)據(jù)擬合物體的三維幾何模型。例如，存在下述方法，該方法用于估計物體的位置和方位，以使得針對在灰階圖像上檢測到的邊緣擬合物體的線框模型的投影圖像。此外，存在另一種方法，該另一種方法用于通過針對從距離圖像獲取的點云數(shù)據(jù)擬合三維幾何模型(諸如網(wǎng)格模型(mesh model))來估計物體的位置和方位。通常，由于機加工精度和成本的問題，大量生產(chǎn)的工業(yè)部件的形狀和尺寸離散。對于這樣的部件的每一個個體生成三維幾何模型是不現(xiàn)實的，使得通常通過使用表示部件的標準形狀的一個三維幾何模型來估計位置和方位。換句話講，三維幾何模型在形狀上不總是與實際部件一致。如果通過使用模型擬合來估計部件的位置和方位，則在模型與實際部件之間的差異大的情況下引起不能進行精確估計的問題。專利文獻I討論了用于在使用模型識別物體的位置時吸收該物體的形狀的離散度(dispersion)的方法。在這種方法中，基于表示物體的標準模型和圖像(測量數(shù)據(jù))來認識到物體的位置，并且對測量數(shù)據(jù)進行統(tǒng)計處理以順序地更新標準模型。非專利文獻I討論了用于在估計臉的位置和方位時吸收個人與臉的三維模型之間的差異的方法。在這種方法中，每一個個體的特征點的偏差被從事先獲取的偏差的分布和實際測量數(shù)據(jù)獲取，并且對具有偏差的特征點進行模型擬合。對于每一個個體生成模型，以使得可與形狀的離散度無關(guān)地估計位置和方位。在專利文獻I中，物體的形狀的離散度被吸收，以提高物體的識別率。這種方法更新標準模型以便吸收實際物體的離散度，使得這種方法適合于識別物體并且粗略估計位置和方位，但是不適合于精確地估計位置和方位。非專利文獻I中所討論的方法是用于明確地計算偏差的方法，并且由于來自測量數(shù)據(jù)的特征的錯誤檢測，在所獲取的偏差本身中可能包含誤差，使得這種方法不適合于精確地估計位置和方位。引文列表
專利文獻[PTL I]日本專利申請公開No. 09-81744非專利文獻[NPL I]X. Chai, Shan, L. Qing 和 W. Gao, "Pose estimation based on Gaussianerror models,"International Conference on Biometrics (ICB 2006),LNCS3832，pp. 136-143, 2005.[NPL 2]Y. Chen和G. Medioni, "Object modeling by registration of multiplerange images, ^Proc. 1991 International Conference on Robotics and Automation(ICRA’91)，pp. 2724-2729，1991.
[NPL 3]M. D. Wheeler, Y. Sato和K. Ikeuchi, "Consensus surfaces for modeling3D objects from multiple range images, 〃Proc. 6th International Conference onComputer Vision (ICCV' 98)，pp. 917-924，1998.[NPL 4]R. Hartley 和 A. Zisserman, "Multiple View Geometry in ComputerVision, Second Edition, "Cambridge University Press,2000.[NPL 5] Y. Liu, T. S. Huang 和 0. D. Faugeras, "Determination of CameraLocation from 2-D to 3-D Line and Point Correspondences, 〃IEEE Transactions onPattern Analysis and Machine Intelligence, vol. 12, no. I, pp. 28-37, 1990.

發(fā)明內(nèi)容
本發(fā)明涉及一種即使物體在形狀上比具有標準形狀的三維幾何模型更離散，也精確地估計該物體的位置和方位的方法。根據(jù)本發(fā)明的一方面，一種用于獲得物體的位置和方位的位置和方位估計方法包括統(tǒng)計量計算步驟，其通過統(tǒng)計量計算裝置計算構(gòu)成所保持的物體的三維幾何模型的幾何特征的偏差的統(tǒng)計量；可靠性計算步驟，其通過可靠性計算裝置基于所述偏差的統(tǒng)計量來計算每個幾何特征的可靠性；圖像特征提取步驟，其通過圖像特征提取裝置提取由圖像捕捉裝置捕捉的捕捉圖像的圖像特征；關(guān)聯(lián)步驟，其通過關(guān)聯(lián)裝置將所述幾何特征與所述圖像特征關(guān)聯(lián)；偏差量計算步驟，其通過偏差量計算裝置計算所述幾何特征與所述圖像特征之間的偏差量；以及位置和方位估計步驟，其通過位置和方位估計裝置基于所述可靠性和所述偏差量來估計所述物體的位置和方位。根據(jù)本發(fā)明的另一方面，一種用于獲得物體的位置和方位的位置和方位估計設(shè)備包括統(tǒng)計量計算裝置，其被配置為計算構(gòu)成所述物體的三維幾何模型的幾何特征的偏差的統(tǒng)計量；可靠性計算裝置，其被配置為基于所述偏差的統(tǒng)計量來計算每個幾何特征的可靠性；圖像特征提取裝置，其被配置為提取由圖像捕捉裝置捕捉的捕捉圖像的圖像特征；關(guān)聯(lián)裝置，其被配置為將所述幾何特征與所述圖像特征關(guān)聯(lián)；偏差量計算裝置，其被配置為計算所述幾何特征與所述圖像特征之間的偏差量；以及位置和方位估計裝置，其被配置為基于所述可靠性和所述偏差量來估計所述物體的位置和方位。根據(jù)本發(fā)明的另一方面，一種程序使計算機執(zhí)行上述位置和方位估計方法之一的每個步驟。根據(jù)本發(fā)明的另一方面，一種存儲介質(zhì)存儲用于使計算機執(zhí)行上述位置和方位估計方法之一的每個步驟的程序。從以下參照附圖對示例性實施例的描述，本發(fā)明的進一步的特征將變得清晰。


圖I是第一示例性實施例中的配置的例子。圖2是第一示例性實施例中的處理的流程圖。圖3是示出用于從公差數(shù)據(jù)計算形狀的偏差的處理的例子的流程圖⑴。圖4是標準模型和公差數(shù)據(jù)的例子。圖5是表示偏差候選量的示意圖。
圖6是所提取的線段和可靠性數(shù)據(jù)庫的例子。圖7是示出用于計算物體的位置和方位的處理的例子的流程圖。圖8是示出關(guān)聯(lián)的例子的示意圖(I)。圖9是示出用于從測量數(shù)據(jù)計算偏差的處理的例子的流程圖。圖10是示出物體與測量位置之間的關(guān)系的例子的示圖。圖11是示出用于從公差數(shù)據(jù)計算形狀的偏差的處理的例子的流程圖(2)。圖12是示出關(guān)聯(lián)的例子的示意圖(2)。
具體實施例方式現(xiàn)在將參照附圖來詳細描述本發(fā)明的實施例。應(yīng)該指出，除非另有特別說明，否則這些實施例中所闡述的部件的相對布置、數(shù)值表達式和數(shù)值不限制本發(fā)明的范圍。現(xiàn)在以下將參照附圖來詳細描述本發(fā)明的示例性實施例。在本發(fā)明的第一示例性實施例中，通過使用表示物體的標準形狀的三維幾何模型(以下稱為標準模型)與實際物體之間的偏差的不均勻性來精確地估計物體的位置和方位。被認為偏差小的部分的信息被肯定地(positively)用于精確地估計位置和方位。在本示例性實施例中，假定物體為工業(yè)部件，基于該物體的公差數(shù)據(jù)(tolerance data)來估計構(gòu)成該物體的標準模型的每個特征的偏差的統(tǒng)計量，并且通過使用所計算的每個特征的可靠性，基于偏差的統(tǒng)計量來估計該物體的位置和方位。以下使用圖I來描述本示例性實施例中的位置和方位估計設(shè)備100的配置。在圖I中，箭頭指示數(shù)據(jù)流。位置和方位估計設(shè)備100包括測量數(shù)據(jù)獲取單元101、特征提取單元102、存儲單元103以及位置和方位計算單元104。位置和方位估計設(shè)備100與測量設(shè)備105連接。測量設(shè)備105測量真實空間。測量設(shè)備105通過例如照相機捕捉二維圖像。測量設(shè)備105測量例如物體的表面的三維位置，并且捕捉距離圖像。捕捉的圖像被發(fā)送到測量數(shù)據(jù)獲取單元101。測量數(shù)據(jù)獲取單元101從測量裝置105獲取測量數(shù)據(jù)。例如，測量數(shù)據(jù)被獲取作為由照相機捕捉的二維圖像。所獲取的測量數(shù)據(jù)被發(fā)送到特征提取單元102。特征提取單元102從測量數(shù)據(jù)提取特征。特征提取單元102使用例如坎尼(Canny)算子來從圖像提取邊緣作為特征。所提取的特征被發(fā)送到位置和方位計算單元104。存儲單元103存儲構(gòu)成物體的標準模型的每個特征的偏差的統(tǒng)計量。物體的標準模型用例如線段集合來描述。所述線段是指表示物體的表面的表面與在該處顏色或密度明顯改變的邊界線的交線?？商鎿Q地，物體的標準模型可用物體上的特征點集合、表示物體的表面的集合或者這些集合的組合來描述。被保持的物體的標準模型被發(fā)送到位置和方位計算單元104。位置和方位計算單元104使用由特征提取單元102從測量數(shù)據(jù)提取的特征以及存儲在存儲單元103中的物體的每個特征的標準模型以及與物體的標準模型的偏差的統(tǒng)計量，來估計物體的位置和方位。以下參照圖2來描述本示例性實施例中的位置和方位估計設(shè)備100的總處理流程的概要。 步驟S201中的處理是用于計算統(tǒng)計量的處理。在這個步驟中，計算構(gòu)成物體的標準模型的幾何特征的偏差的統(tǒng)計量。如上所述，在本示例性實施例中，物體的標準模型用線段集合表示。這里，在幾何特征作為線段的情況下，偏差的統(tǒng)計量基于分割點處的公差來計算，在所述分割點，每個線段被以規(guī)則間隔三維分割。分割點用作幾何特征的原因是在下述位置和方位估計處理中執(zhí)行分割點單位處理。步驟S202中的處理是用于計算可靠性的處理。在這個步驟中，從在步驟S201中獲取的每個分割點處的偏差的統(tǒng)計量計算作為幾何特征的分割點的可靠性。步驟S203中的處理是用于計算位置和方位的處理。在這個步驟中，使用在步驟S202中計算的可靠性來計算物體的位置和方位。步驟S201和S202不總是需要與位置和方位的估計一起執(zhí)行，并且可作為在步驟S203中執(zhí)行的位置和方位估計的預(yù)處理被單獨地離線地執(zhí)行。以下詳細描述在步驟S201中用于從分割點計算偏差的統(tǒng)計量的處理。計算偏差的統(tǒng)計量的結(jié)果存儲在存儲單元103中。這里，以下參照圖3中的流程圖來描述用于從物體的公差數(shù)據(jù)計算偏差的統(tǒng)計量的方法。步驟S301中的處理是用于提取模型的特征的處理。在這個步驟中，從標準模型提取線段數(shù)據(jù)。步驟S302中的處理是用于提取公差的處理。在這個步驟中，提取公差，所述公差可以是所關(guān)注的線段(以下稱為關(guān)注線段)的偏差中的因素(以下稱為偏差因素公差)。偏差因素公差是其中包括關(guān)注線段的脊線或表面的公差。圖4是標準模型和公差數(shù)據(jù)的例子。以下對從標準模型400提取的、作為關(guān)注線段的線段401進行描述。尺寸公差(dimensional tolerance) 402至404以及平面公差405至407是偏差因素公差的候選，尺寸公差402至404以及平面公差405至407是其中包括線段401的脊線或表面的公差。在這些候選之中，對位置和方位估計沒有貢獻的尺寸公差402和平面公差405之外的尺寸公差403和404以及平面公差406和407是偏差因素公差。步驟S303中的處理是用于計算公差的處理。在這個步驟中，關(guān)注線段被按預(yù)定間隔三維分割，并且對于每個分割點，獲取由在步驟S302中提取的每個偏差因素公差引起的偏差量的最大值(以下稱為偏差候選量)。偏差候選量用在標準模型上設(shè)置的模型坐標系503的每個分量的幅值表示。圖5是表不偏差候選量502的不意圖，偏差候選量502是尺寸公差404對于線段401上的分割點501提供的，其中關(guān)注線段為線段401。在這個例子中，分割點501處的偏差候選量502僅用X分量呈現(xiàn)。對所有的分割點進行這個處理。步驟S303中的處理是用于確定統(tǒng)計量的處理。在這個步驟中，產(chǎn)生下述矢量，并且將該矢量的幅值“d”取作分割點處的偏差的統(tǒng)計量，所述矢量具有在步驟S303中計算的每個分割點處的一組偏差候選量的每個分量的最大值。這導(dǎo)致獲取滿足所有公差并且在公差中為最大的偏差量。以下描述例如三個偏差候選量存在于分割點501處的情況。偏差候選量被取作(分量 X，分量 y,分量 z) = (dxl, dyl, dzl)、(dx2, dy2, dz2)、(dx3, dy3, dz3)。分量 x、y 和 z具有關(guān)系dxl>dx2>dx3、dy3>dy2>dyl和dz2>dz3>dzl。在這種情況下,每個分量的最大值由(dxl, dy3, dz2)給出，其幅值“d”用下式表達數(shù)學式I
權(quán)利要求
1.一種用于獲得物體的位置和方位的位置和方位估計方法，所述位置和方位估計方法包 括 統(tǒng)計量計算步驟，其通過統(tǒng)計量計算裝置計算構(gòu)成所保持的物體的三維幾何模型的幾何特征的偏差的統(tǒng)計量； 可靠性計算步驟，其通過可靠性計算裝置基于所述偏差的統(tǒng)計量來計算每個幾何特征的可靠性； 圖像特征提取步驟，其通過圖像特征提取裝置提取由圖像捕捉裝置捕捉的捕捉圖像的圖像特征； 關(guān)聯(lián)步驟，其通過關(guān)聯(lián)裝置將所述幾何特征與所述圖像特征關(guān)聯(lián)； 偏差量計算步驟，其通過偏差量計算裝置計算所述幾何特征與所述圖像特征之間的偏差量;和 位置和方位估計步驟，其通過位置和方位估計裝置基于所述可靠性和所述偏差量來估計所述物體的位置和方位。
2.根據(jù)權(quán)利要求I所述的位置和方位估計方法，其中，所述統(tǒng)計量計算步驟包括基于所述三維幾何模型的公差數(shù)據(jù)來計算所述統(tǒng)計量。
3.根據(jù)權(quán)利要求2所述的位置和方位估計方法，其中，所述統(tǒng)計量計算步驟包括 模型特征提取步驟，其通過模型特征提取裝置提取構(gòu)成所述三維幾何模型的線段； 公差提取步驟，其通過公差提取裝置提取引起所述線段的偏差的公差； 公差計算步驟，其通過公差計算裝置計算所述線段的各預(yù)定間隔的公差；和統(tǒng)計量確定步驟，其通過統(tǒng)計量確定裝置產(chǎn)生最大公差中的公差的矢量，并且將該矢量取作所述統(tǒng)計量。
4.根據(jù)權(quán)利要求2所述的位置和方位估計方法，其中，所述統(tǒng)計量用概率分布表示。
5.根據(jù)權(quán)利要求4所述的位置和方位估計方法，其中，所述統(tǒng)計量計算步驟包括 模型特征提取步驟，其通過模型特征提取裝置提取構(gòu)成所述三維幾何模型的線段； 公差提取步驟，其通過公差提取裝置提取引起所述線段的偏差的公差； 公差計算步驟，其通過公差計算裝置計算所述線段的各預(yù)定間隔的公差；和統(tǒng)計量確定步驟，其通過統(tǒng)計量確定裝置基于所述公差產(chǎn)生正態(tài)分布的矢量并且將該矢量取作所述統(tǒng)計量。
6.根據(jù)權(quán)利要求2所述的位置和方位估計方法，其中，所述統(tǒng)計量計算步驟包括 模型特征提取步驟，其通過模型特征提取裝置提取構(gòu)成所述三維幾何模型的表面； 公差計算步驟，其通過公差計算裝置計算所述表面的重心的公差；和 統(tǒng)計量確定步驟，其通過統(tǒng)計量確定裝置產(chǎn)生最大公差中的公差的矢量并且將該矢量取作所述統(tǒng)計量。
7.根據(jù)權(quán)利要求I所述的位置和方位估計方法，還包括物體測量步驟，所述物體測量步驟通過物體測量裝置測量構(gòu)成所述物體的形狀的幾何特征， 其中，所述統(tǒng)計量計算步驟包括基于測量結(jié)果與所述三維幾何模型之間的偏差來測量所述統(tǒng)計量。
8.根據(jù)權(quán)利要求7所述的位置和方位估計方法，其中，所述物體測量步驟包括對每多個物體執(zhí)行多次測量。
9.根據(jù)權(quán)利要求7或8所述的位置和方位估計方法，其中，所述物體測量步驟包括對每多個測量位置執(zhí)行多次測量。
10.根據(jù)權(quán)利要求I至9中的任何一個所述的位置和方位估計方法，其中，所述幾何特征是點、線段或表面。
11.根據(jù)權(quán)利要求I至10中的任何一個所述的位置和方位估計方法，其中，所述可靠性計算步驟包括所述統(tǒng)計量越小，計算所述可靠性越高。
12.根據(jù)權(quán)利要求I至11中的任何一個所述的位置和方位估計方法，其中，所述可靠性計算步驟包括使用似然函數(shù)來計算所述可靠性。
13.根據(jù)權(quán)利要求I至12中的任何一個所述的位置和方位估計方法，還包括近似值輸入步驟，所述近似值輸入步驟通過近似值輸入裝置輸入所述物體的位置和方位的近似值， 其中，所述位置和方位估計步驟包括 位置和方位校正值計算步驟，其通過位置和方位校正值計算裝置基于所述可靠性、所述偏差量和所述近似值來計算所述物體的位置和方位的校正值；和 位置和方位校正步驟，其通過位置和方位校正裝置基于所述校正值來校正所述物體的位置和方位的近似值。
14.一種程序，其用于使計算機執(zhí)行根據(jù)權(quán)利要求I至13中的任何一個所述的位置和方位估計方法。
15.一種存儲介質(zhì)，其存儲用于使計算機執(zhí)行根據(jù)權(quán)利要求I至13中的任何一個所述的位置和方位估計方法的程序。
16.一種用于獲得物體的位置和方位的位置和方位估計設(shè)備，所述位置和方位估計設(shè)備包括 統(tǒng)計量計算裝置，其被配置為計算構(gòu)成所述物體的三維幾何模型的幾何特征的偏差的統(tǒng)計量； 可靠性計算裝置，其被配置為基于所述偏差的統(tǒng)計量來計算每個幾何特征的可靠性； 圖像特征提取裝置，其被配置為提取由圖像捕捉裝置捕捉的捕捉圖像的圖像特征； 關(guān)聯(lián)裝置，其被配置為將所述幾何特征與所述圖像特征關(guān)聯(lián)； 偏差量計算裝置，其被配置為計算所述幾何特征與所述圖像特征之間的偏差量；和 位置和方位估計裝置，其被配置為基于所述可靠性和所述偏差量來估計所述物體的位置和方位。
17.根據(jù)權(quán)利要求16所述的位置和方位估計設(shè)備，還包括被配置為捕捉所述物體的圖像的所述圖像捕捉裝置。
18.根據(jù)權(quán)利要求17所述的位置和方位估計設(shè)備，其中，所述圖像捕捉裝置捕捉真實空間中的距離圖像作為所述捕捉圖像。
全文摘要
提供了一種即使物體在形狀上比具有標準形狀的三維幾何模型更離散，也精確地估計該物體的位置和方位的方法。估計構(gòu)成表示物體的三維標準形狀的三維模型的特征的偏差的統(tǒng)計量，以確定每個特征的可靠性。計算從通過成像設(shè)備獲得的觀測數(shù)據(jù)提取的特征與三維模型中的特征之間的偏差量?；谂c從三維模型提取的每個特征相關(guān)的可靠性和偏差量來估計物體的三維位置和方位。
文檔編號G06T19/20GK102782723SQ20118001116
公開日2012年11月14日 申請日期2011年1月12日 優(yōu)先權(quán)日2010年2月25日
發(fā)明者宮谷苑子 申請人:佳能株式會社