專利名稱：可移動機器人的制作方法
技術領域：
本發(fā)明涉及用自驅動動力移動的機器人。特別地，本發(fā)明涉及通過使 用照相機認識周圍環(huán)境來移動的機器人。
背景技術：
正在開發(fā)這樣的機器人其具有經由包含驅動機構的關節(jié)連接到體干 的被連接元件。在這種類型的機器人中，存在一種機器人，其由布置在體 干上的體干側照相機所拍攝的環(huán)境圖像創(chuàng)建環(huán)境地圖，并基于所獲得的環(huán) 境地圖，擬出其向目標位置的移動路線的計劃。在日本特開No.2005-92820 公開的技術中，用布置在機器人頭部的照相機拍攝圖像，由所獲得的圖像 計算視差圖像或距離圖像，由所獲得的視差圖像或距離圖像計算平面^:， 接著，通過基于所獲得的平面參數提取包含地板面積(floorage space)在 內的多個平面，創(chuàng)建環(huán)境地圖。機器人由環(huán)境地圖認識機器人能夠在其中 移動的范圍，并基于所認識的范圍計劃其移動路線。

發(fā)明內容
采用具有經由包含驅動機構的關節(jié)連接到體干的被連接元件的機器 人，可能存在這樣的情況依賴于被連接元件(例如臂、腿等等)的位置， 由于部分照相機視野范圍被這樣的連接元件遮住，部分周圍物體不能由機 器人的照相機拍才聶到。因此，可能存在這樣的情況在,皮連接元件后面，
存在未知的環(huán)境。
如果這樣的未知環(huán)境存在于被連接元件的后面，體干的移動路線可能 變得難以計劃。另外，不能計劃例如臂或腿等被連接元件的移動路線。特 別是在計劃將被連接元件移動到目標位置的路徑時，可能經常出現這樣的
不希望的情況由于目標位置位于未知環(huán)境中，不能認識到目標位置。
采用傳統(tǒng)技術，每當未知環(huán)境出現時，進行額外的處理將體干或,皮 連接元件移動到另一位置，接著，對未知環(huán)境進行拍4聶，并在未知環(huán)境變 為"已知"環(huán)境之后重新確定移動路徑。除了需要前面所述的多余操作以 外，傳統(tǒng)技術不能有效地用于以連續(xù)動作移動其體干的機器人。另外，在 周圍物體正在移動的環(huán)境中，機器人不能有效地使用傳統(tǒng)技術。 本發(fā)明目標在于實現可防止未知環(huán)境的發(fā)生的可移動機器人。 本發(fā)明提供了位于被連接元件上的照相機，使得由此可拍攝由被連接 元件從位于體干上的照相機的視野中遮住的范圍。因此，可防止由于被連 接元件的存在而導致的環(huán)境的某些部分不能被拍攝的不希望的情況。
本發(fā)明所創(chuàng)建的機器人包含體干；被連接元件，其通過具有驅動機 構的關節(jié)連接到體干；布置在體干上的體干側照相機；布置在被連接元件 上的連接元件側照相機；合成圖像創(chuàng)建單元。合成圖像創(chuàng)建單元創(chuàng)建由體 干側照相機拍攝的體干側圖像與由連接元件側照相機拍攝的連接元件側圖 像的合成圖像，使得體干側圖像的一部分由被連接元件側圖像的一部分替 換，從而從體干側圖像中將連接元件排除在外。
通過使用由體干側照相機拍攝的體千側圖像，前面提到的機器人能夠 實現具有寬廣視野范圍的環(huán)境圖像。然而，可能存在這樣的情況被連接 元件被包含在體干側圖像內。在這樣的情況下，未知環(huán)境_—由于由被連 接元件在體干側照相機前遮擋，不能獲得其環(huán)境圖像一一可能存在于所述 體干側圖像中。
即使在這樣的情況下，前面所述的機器人包含合成圖像創(chuàng)建單元，該 單元通過將被連接元件側圖像合成到體干側圖像中來創(chuàng)建合成圖像。因此， 體干側圖像中被連接元件被拍攝且由于被連接元件而保持為未知環(huán)境的范 圍能用從被連接元件側圖像中取出的、對應的圖^^替換。這導致在所創(chuàng)建 的合成圖像中沒有留下未知環(huán)境。
通過使用沒有未知環(huán)境的合成圖像，前面所述的機器人可計算其體干 或被連接元件的移動路線。因此可以省略傳統(tǒng)上為了去除未知環(huán)境而需要 的多余操作。另外，即使在周圍物體移動的環(huán)境中，可及時計算機器人的 適當的移動路徑。
在本發(fā)明的機器人的另 一替代實施例中，合成圖像創(chuàng)建單元還可包含 第一指定單元，其指定體干側圖像內被連接元件被拍攝的范圍；第二指定
單元，其指定被連接元件側圖像中與由第一指定單元指定的體干側圖像范
圍所對應的對應范圍；替換單元，其用被連接元件側圖像的對應范圍替換
由第 一指定單元指定的體干側圖像的范圍。
對于指定體干側圖像中被連接元件被拍攝的范圍的元件的構造，構造
類型可粗略分為兩類。 一種類型的構造可在計算假設被連接元件被拍攝的
圖像范圍時使用被連接元件相對于體干側照相機的位置關系(其位置關系
對機器人是已知的)。另一種類型的構造可通過在體干側圖像上進行圖像
處理來提取體干側圖像中與被連接部分的形狀或輪廓(其形狀對機器人是
已知的)對應的一部分，接著，指定被連接元件被拍攝的范圍?？墒褂枚?br> 種構造中的任何一種。
在被連接元件側圖像中，在被連接元件沒有位于體干側照相枳視線范 圍內的條件下由體干側照相機拍攝的范圍被拍攝。指定這樣的范圍的構造 也可纟皮粗略分為兩類。
一種類型的構造可在計算在被連接元件沒有阻礙視線的條件下由體干
側照相機拍攝的圖像范圍時使用被連接元件相對于體干側照相機的位置關
系(該關系對機器人是已知的)以及被連接元件側照相機相對于被連接元
件的位置關系。此構造在這樣的情況下特別有效深度方向的橫向距離的
信息對于機器人是已知的。例如，在自驅動可移動機器人操作布置在墻上
的開關的情況下，如果機器>^目對于墻的位置對機器人來說是已知的，則 可計算體干側照相機對墻進行拍攝的范圍。另外，如果被連接元件相對于
體干的位置對機器人來說是已知的，則可以計算由于被連接元件的存在而 不能被拍攝到的墻的范圍。在被連接元件相對于體干的位置以及,皮連接元 件側照相機相對于被連接元件的位置給定的情況下，可計算被連接元件側 圖像中與由于位于被連接元件之后而不能被體干側照相機拍攝的墻的范圍 對應的范圍。另外，如果體干側照相機中被連接元件被拍攝的范圍能用由 于位于被連接元件之后而不能被體干側照相機拍攝的被連接元件側圖像的 范圍替換，可獲得與在被連接元件不阻礙體干側照相機的視線的情況下由 體干側照相機所拍攝的圖像等同的合成圖像。在大多數情況下，不能僅僅 通過用被連接元件側圖像的對應范圍替代體干側圖像的范圍來獲得等同于 由體干側照相機拍攝的體干側圖像的合成圖像。這是因為在被連接元件側 照相機與體干側照相機的位置之間存在差異。然而，被連接元件側照相機 在不能由體干側照相機拍攝的方向范圍內，被連接元件側照相機和體干側 照相才M目對于不能從體干側照相機拍攝的范圍的視點沒有普遍差異。相反， 體干側照相機和被連接元件側照相機可從基W目同的方向拍攝圖 <象。因此， 通過簡單地改變被連接元件側圖像的尺寸并用減小(在某些情況下增大) 尺寸的被連接元件側圖像的對應部分替代體干側圖像的部分，在某些情況 下可以獲得等于在視線中沒有被連接元件的情況下從體干側照相機拍攝的 圖像的合成圖像。另外，在需要的情況下，可在合成前將被連接元件側照 相機圖像轉換為假設由體干側照相機拍攝的圖像。合成圖像的品質可得到 提高。通過使用這樣的合成圖像，因此可以認識存在于由于在被連接元件 側后面而不能由體千側照相機拍攝的范圍內的開關的位置。這可使得被連 接元件移動到這樣的范圍內的預期開關。結果，體干可向著預期開關移動。 另 一種類型的構造可從被連接元件側圖像中指定與體干側圖像中被連 接元件被拍攝的范圍對應的范圍。通過在體干側圖像上進行圖像處理，可 從體干側圖像中提取與被連接元件的輪廓有關的部分。這樣的處理可用從 由此存在的周圍圖像中提取特征點的處理來啟用。例如，在被連接元件位 于箱子前面且箱子前面的視線部分地受到被連接元件的遮擋的情況下，可 在體干側圖像上進行特征提取，以便提取與被連接元件對應的圖形，可指
定箱子的沒有受到被連接元件遮擋的部分的特征點。通過指定被連接元件 被拍攝的范圍周圍的特征點，可以確定包含由于4皮連接元件導致的周圍環(huán) 境不能被拍攝的范圍的范圍。另一方面，被連接元件被拍攝的范圍周圍的 所述特征點也被對應地記錄在被連接元件側圖像中。因此，通過從4皮連接 元件側圖像中提取所述特征點，可在被連接元件側圖像內確定由于被連接 元件而不能由體干側照相機拍攝的范圍內的周圍環(huán)境的圖4象。進一步地， 通過用后面的被連接元件側圖像的范圍替代前面的體干側圖像的范圍，可
獲得等于在將被連接臂從視野中移除的情況下由體干側照相機拍:攝的圖像 的合成圖像。
如上所述，依賴于機器人被操作的環(huán)境，可存在替代范圍可通過計算 來指定的情況，也可存在替代范圍可通過圖像處理來指定的情況。注意， 上述兩種過程僅僅是實例，指定處理不僅限于上面介紹的實例。
在本發(fā)明的機器人的另 一替代實施例中，可移動機器人還可包含多個 體干側照相機。在這種情況下，合成圖像創(chuàng)建單元可為由各個體干側照相 機拍攝的各個體干側圖像創(chuàng)建合成圖像。在這種情況下，可獲得從不同視 點拍攝的多個合成圖像。這在指定存在于被拍攝范圍內的特征點的三維位 置時是有用的，例如，在關于橫向或深度方向的信息未知的情況下。
在本發(fā)明的機器人的另一替代實施例中，可移動機器人可通過使用合 成圖像計算存在于可移動機器人周圍的一個或一個以上的物體的相對位 置。如同在操作目標布置在墻面且其橫向或深度信息被給與機器人的前述 情況下一樣，可基于一個合成圖像來確定操作目標的存在位置。即使在橫 向或深度信息對機器人來說未知的情況下，可基于從不同角度顯示周圍物 體的多個合成圖像來確定周圍物體的三維存在位置。
在本發(fā)明的機器人的另 一替代實施例中，可移動機器人還可包含照相 機方向調節(jié)單元，其被配置為根據被連接元件相對于體干側照相機的位置 調節(jié)被連接元件側照相機的方向。體干側照相機不能拍攝的范圍相對于被 連接元件的角度可根據被連接元件的位置而不同。采用才艮據被連接元件的 位置調節(jié)被連接元件側照相機朝向的方向的構造，可保證體干側照相機不
能拍攝的范圍由被連接元件側照相機拍攝。可有效地防止盲點的發(fā)生。
在橫向信息已知的情況下，可通過簡單創(chuàng)建一個合成圖像來獲得有效 信息。在橫向信息未知的相反情況下，可有益地采用關于從不同視點拍攝 的多個圖像的圖像信息的獲得以及由所獲得的圖像信息對周圍物體的計算。
已創(chuàng)建的符合該種要求的可移動機器人可包含體干；被連接元件， 其通過具有驅動才幾構的關節(jié)連接到體干；布置在體干上的多個體干側照相 機；布置在被連接元件上的被連接元件側照相機；第一計算單元，其基于 由所述多個體干側照相機中的一個或一個以上拍才聶的至少兩個體干側圖寸象 計算存在于^L拍才聶范圍內的一個或一個以上的物體的相對位置關系；第二 計算單元，其基于由所述多個體干側照相機種的至少一個拍攝的體干側圖 像以及由被連接元件側照相機拍攝的被連接元件側圖像計算在被拍攝范圍 內存在的一個或一個以上的物體的相對位置關系。采用上面提到的構造， 通過對可由圖像獲得的圖像信息進行處理來計算位置信息。不必創(chuàng)建合成 圖像。
在上面提到的構造中，可通過使用各自布置在不同位置的所述多個體 干側照相機獲得多個體干側圖像信息。由此，可相對于可移動機器人計算 在多個體干側圖像中被拍攝的物體的相對位置關系。然而，對于用于計算
的至少 一個體干側圖像中由于位于被連接元件后面而沒有被拍攝到的周圍 物體，不能確定其位置。
采用上述可移動機器人的構造，使用由所迷多個體干側照相機中的一 個拍攝的體干側圖像以及由被連接元件側照相機拍攝的被連接元件側圖像 的組合。這種圖像組合還提供了從不同視點拍攝的多種圖像信息，周圍物 體相對于可移動機器人的相對位置關系可以得到確定。
即使在被連接元件阻擋視線的情況下物體不能從所有體干側照相機觀 看，只要物體由一個體干側照相機拍攝，其圖像可與被連接元件側圖像的 信息結合用于指定所述物體與可移動機器人的相對位置關系。根據上述構 造，保持為對機器人未知的范圍可以得到減少。
在本發(fā)明的機器人的另 一替代實施例中，第二計算單元可將被連接元 件被拍攝的部分最小的體干側圖像選擇用于計算一個或一個以上的物體相 對于可移動才幾器人的相對位置關系。采用這種機器人的構造，除了上面的 非限制性實例所示的情況以外，可通過4吏用關于^皮連接元件側圖《象的信息 與關于各個體干側圖像的相應信息的組合來進行計算。
根據本發(fā)明的可移動機器人，布置在被連接元件上的照相機為被連接 元件賦予了視覺認識的附加功能。上述構造對減小或消除不能由體干側照 相機拍攝的未知范圍有貢獻。采用上述構造，可移動機器人可得到迅速且 安全的操作。


圖1示出了第一實施例的機器人及其周圍環(huán)境的透視圖2示出了第一實施例的機器人的原理機構；
圖3示出了第一實施例的機器人的視野；
圖4示出了體干側圖像的實例；
圖5示出了被連接元件側圖像的實例；
圖6為一流程圖，其示出了由圖像合成處理裝置執(zhí)行的過程；
圖7示出了圖4的體干側圖像中被連接元件被拍攝的范圍R;
圖8示出了圖5的被連接元件側圖像中的對應范圍S;
圖9示出了步驟S613的輸出的實例；
圖10A示出了由布置在機器人右側的體干側照相機拍攝的體干側圖
像；
圖10B示出了由布置在機器人中央的體干側照相機拍攝的體干側圖
像；
圖10C示出了由布置在機器人左側的體干側照相機拍攝的體干側圖
像；
圖ll示出了被連接元件側圖像中的多個對應范圍S的另一實例； 圖12示出了第二實施例的機器>^51其周圍環(huán)境的透視圖；圖13示出了第二實施例的機器人的原理機構； 圖14示出了第二實施例的機器人的視野的鳥瞰圖； 圖15為一流程圖，其示出了第二實施例的機器人的操作過程； 圖16為一流程圖，其示出了用于獲得立體圖像的圖像處理； 圖17示出了第三實施例的機器人的原理機構。
具體實施例方式
下面將列舉可以實現本發(fā)明的實施例的某些優(yōu)選特征。 (模式1)機器人可包含布置在體干上的移動機構。本說明書中公開
的實施例采用輪，但移動機構可以為有腳的連接。
(模式2)機器人可基于環(huán)境地圖計算體干的移動通過軌跡。 (模式3 )機器人可基于環(huán)境地圖計算被連接元件的移動路徑。 (模式4)機器人可基于環(huán)境地圖計算體干和被連接元件的移動路徑。 (模式5)機器人可通過使用關節(jié)角度控制器、輪旋轉控制器、位置
信息檢測裝置等等控制機器人的姿勢以及相應的照相機的拍攝方向。體干
側照相機方向計算單元可計算體干側照相機的拍攝方向，被連接元件側照
相機方向計算單元可計算被連接元件側照相機的拍攝方向。
(方式6)機器人可基于從合成圖像獲得的信息創(chuàng)建移動路徑。關節(jié)
角度控制器、輪旋轉控制器、位置信息檢測裝置控制致動器，以便根據所
創(chuàng)建的移動路徑移動體干和/或被連接元件。
(模式7)機器人可包含路徑校正單元，其根據周圍環(huán)境中發(fā)生的變
化對其先前作出的移動路徑(軌跡)進行校正。 (第一實施例)
下面將參照附圖介紹本發(fā)明的非限制性第一實施例。圖l示出了本實 施例的機器人100及其周圍環(huán)境的透視圖。機器人100具有體干103、通 過肩關節(jié)203連接到體干103的被連接元件(下面稱為"臂")104?？稍O 置多個臂104。體干103包含軀干200、頸關節(jié)202、頭201。體干側照相 機105固定地布置在頭201上。體干側照相機105通過頸關節(jié)202的旋轉
相對于軀干200改變其拍攝方向(下面也可簡稱為"方向"或"照相機方 向")。 一對同軸輪206布置在身體200的下側。機器人100通過使用輪 206來移動體干103。
臂104包含肩關節(jié)203、肘關節(jié)204、腕關節(jié)205。臂側照相才幾106布 置在手部。肩關節(jié)203、肘關節(jié)204、腕關節(jié)205各自裝有驅動機構。因此， 臂側照相機106可通過肩關節(jié)203、肘關節(jié)204、腕關節(jié)205的驅動力相對 于身體200改變其方向(拍^L方向)。另外，臂側照相機106相對于軀干 200的位置也可由這些關節(jié)的工作來改變。
機器人100進一步具有這樣的裝置其測量頭201在機器人100的工 作環(huán)境中的位置，使得體干側照相機105的照相機位置和方向得到認識。 另外，釆用相關的構造，臂側照相機106相對于體干103的照相機位置和 方向也得到i人識。
本實施例的機器人100通過使用輪206來接近開關面板100，并通過 使用臂104來操作開關組12a、 12b等等。在本實施例中，墻上的布置有開 關面板100的位置4皮給予機器人100。
圖2示出了機器人100的原理機構101。機構101用于機器人對周圍 視覺認識。本實施例的機器人101具有控制器114。控制器114包含合成 圖像創(chuàng)建裝置110、移動路徑創(chuàng)建裝置113、體干側照相機位置/方向計算 裝置lll、臂側照相機位置方向計算裝置109。合成圖像創(chuàng)建裝置10被配 置為具有從體干側照相機105輸入的體干側圖像信息、從臂側照相機106 輸入的臂側圖像信息、從體干側照相機位置/方向計算裝置111輸入的體干 側照相機105、從臂側照相機位置/方向計算裝置109輸入的臂側照相機106 的位置和方向?；谏鲜鲚斎耄铣蓤D像創(chuàng)建裝置110由體干側圖像信息 和臂側圖像信息創(chuàng)建合成圖像。移動路徑創(chuàng)建裝置113基于所創(chuàng)建的合成 圖像創(chuàng)建進一步的移動路徑，并根據所創(chuàng)建的移動路徑控制被設置為驅動 輪26與關節(jié)的致動器115。因此，移動路徑創(chuàng)建裝置113根據所創(chuàng)建的路 徑控制致動器115，例如輪26、頭201、臂104。機器人100還具有輪軸 旋轉檢測裝置119，其檢測輪26的旋轉頻率；關節(jié)角度檢測裝置117,其
檢測各個關節(jié)的關節(jié)角度；位置信息檢測裝置121，其被布置在軀干200 上并檢測軀干200的位置。由上述裝置得到的信息被輸入到體干側照相機 位置/方向計算裝置111和臂側照相機位置/方向計算裝置109。
由于機器人包含移動路徑創(chuàng)建裝置113——該裝置通過由從照相機 (其位置和拍攝方向是已知的)驅動的圖像信息認識周圍環(huán)境來創(chuàng)建移動 軌跡，可在沿所確定的路徑移動并繼以再次進行拍照操作之后重新計算照 相機位置和照相機方向。所述一系列操作可被重復，這使得機器人能夠自 主移動。
圖3示出了機器人100的視野。在機器人100的臂104來到體干側照 相機105的視野的情況下，不能獲取關于臂104后方的環(huán)境的環(huán)境信息。 具體而言，在由體干側照相機105拍攝的體干側圖像中，盡管圖3的開關 面板10的點A與B將被拍攝，點C與D不會被拍攝。因此，關于點C與 D的周圍物體的信息保持為未知，因此，傳統(tǒng)上導致機器人既不能充分認 識環(huán)境情況也不能明了周圍物體相對于機器人100的相對位置關系的問 題。相反，采用本實施例的技術，可視范圍通過應用臂側照相機106而得 到擴大，本技術使得機器人能夠認識包含點C與D的未知范圍。
圖4與5分別示出了體干側圖像與臂側圖像的實例。盡管在圖4的體 干側圖像中面板被臂104部分地遮擋，面板的對應表面被記錄在圖5的臂 側圖像中。在用關節(jié)角度檢測裝置117的檢測控制頭201與臂104的位置 且臂側照相機106的照相機方向根據體干側照相機105與臂104的相對位 置受到調節(jié)的情況下，建立起體干側圖像與臂側圖像的這樣的關系。臂側 照相機106的照相機方向受到調節(jié)，使得臂側照相機106在被臂104從體 干側照相機前遮擋的范圍可被拍攝的方向進行拍攝。
關于各照相機的照相機放大倍數、圖像尺寸等等的信息可通過體干側 照相機位置/方向計算裝置111和臂側照相機位置/方向計算裝置109來獲 得。另外，由于基于前述信息的圖像處理將在對圖像進行合成以創(chuàng)建新的 圖像時進行，每個圖像的拍攝范圍不必具有完全的匹配。例如，開關面板 10和體干側照相機105之間的距離可不同于開關面板10與臂側照相機106
之間的距離，臂104可相對于頭201的角度而傾斜。由于前面提到的原因， 圖5的臂側圖像以放大的大小且相對于圖4的體干側圖像成角度地示出了 開關面板IO。
圖6示出了圖像合成過程的流程圖。在下面的闡釋中，假設在開始下 面的過程時機器人100和開關面板10處于圖l所示的位置關系。同時，機 器人100的臂104處于圖4所示的位置，且圖4中的圖傳4皮體干側照相機 105拍攝。在下面假設的情況下，機器人100試圖移動臂104,以l更操作開 關12c(見圖l)，然而，目標開關12c由于在臂104后面而處于體干側圖 像的未知范圍內。圖6中的過程可在這樣的條件下開始。
在步驟S601中，關于體干側圖像的信息被輸入到合成圖像創(chuàng)建裝置 110。在步驟S603中，在體干側圖像中未知的未知環(huán)境的特征點Xj皮提取。 圖7示出了被提取的特征點的實例。由于臂104的輪廓對機器人100來說 是已知的，可從體干側圖像中指定臂104被拍攝的范圍(其為臂的被拍攝 范圍)。這等于使用第一指定單元。圖中的點X^X6為特征點，其被提取 為包圍臂的被拍攝范圍，在本實施例中，提取了可被線性連接的六個個別 的特征點。然而，可以任何形式提取特征點Xn,只要它們沿著臂的輪廓對 準或根據臂的輪廓對準。在步驟S605中，由已在步驟S603中提取的特征 點指定臂104被拍攝的范圍R (即其環(huán)繞物體信息未知的范圍)。圖7中 以特征點X^X6為邊界的范圍R為范圍R。本實施例的范圍R與臂104的 輪廓線大致一致。通過增加被提取的特征點Xn的數量，以特征點為邊界的 范圍R可以以更為真實的方式與臂的輪廓線密切一致。
在步驟S607中，關于臂側圖像的信息被輸入合成圖像創(chuàng)建裝置110。 在步驟S609中，提取這樣的特征點Zn:其對應于定義體干側圖4象的范圍 R的特征點。圖8示出了被提取的特征點的實例。圖8的特征點ZrZ6為 這樣的特征點其對應于從體干側圖像中提取的特征點XrX6。在步驟S611 中，對應的范圍S(與體干側圖像的未知范圍對應的范圍)由已在步驟S609 中提取的特征點指定。
在步驟S613中，基于來自體干側照相機以及臂側照相機的輸入圖像的
差異信息，在從臂側圖像中獲得的對應范圍s上進行大小的調節(jié)、角度的 旋轉等等。進行調節(jié)處理，使得對應范圍s可被適當應用到在體干側圖像 中示出了臂的范圍s。
在步驟S615中，體干側圖像的范圍R用對應范圍S替代，其已經經 過了準備圖像合成的前面提到的過程。作為替換過程的結果，未知范圍已 被排除出視野之外的合成圖像在步驟S617中被輸出。圖9示出了這樣的合 成圖像的實例。用虛線示出的范圍R中的圖像已經用范圍S的圖像代替。 因此，可獲得不包含臂的合成圖像。
本實施例的機器人可具有多個體干側照相機。在這種情況下，可從相 應的體干側圖像中提取在各體干側圖像中示出了臂的范圍Rx，并可從臂側 圖像中提取對應范圍Sx，以便與每個被提取的范圍Rx對應，并用相應的 對應范圍Sx替代每個范圍Rx。
圖10示出了體干側圖像的范圍R的實例。在機器人具有三個體干側 照相機的情況下，左右兩側各有一個，另一個在體干103的中央，如圖10A 所示的體干側圖像Td可由右側的體干側照相機獲得，如圖IOB所示的體 干側圖像TC2可由中央位置的體干側照相機獲得，如圖IOC所示的體干側 圖像TC3可由左側的體干側照相機獲得。體干側圖像Td、 TC2、 TQ經 過步驟S601到S605,分別在每個圖像中指定范圍Ri、 R2、 R3。由于各個 體干側照相機被布置的位置的差別，臂被拍攝的位置在體干側圖像Td、 TC2、 TC3中不同。
圖11示出了根據體干側照相機運行的臂側照相機所拍攝的臂側圖像 的實例。為了附加未知范圍Td、 TC2、 TC3的信息，在臂側圖像AC上進 行步驟S607到S611的處理，以^使指定對應范圍Sp S2、 S3。
釆用步驟S613到S617的處理，相應的體干側照相機Td、 TC2、 TC3 的范圍Rr R2、 R3用臂側圖像的相應的對應范圍Sp S2、 Ss替代。結果， 可獲得未知范圍得到補充的多個體干側圖像。
另夕卜，本實施例的機器人100可具有多個臂側照相機。在這種情況下， 優(yōu)選為，規(guī)定這樣的判斷裝置其為體干側圖像的每個范圍R判斷和選擇
對應范圍S最大P艮度地覆蓋范圍R的臂側圖1象。
本實施例的機器人100可進一步通過使用由上述過程獲得的合成圖像 來計算周圍物體相對于機器人100的相對位置。周圍物體相對于機器人100 的相對位置可通過將物體在世界坐標系中的相對位置坐標轉換為在本地坐 標系(其中心被設置在機器人的位置上)中的坐標來認識。 (第二實施例)
對于與第一實施例共同的構造，給與同樣的參考標號，且將省略對其 的闡釋。
圖12示出了本實施例的立體照相機機器人及其周圍環(huán)境的透視圖。本 實施例的機器人100具有體干103、通過肩關節(jié)203連接到體干103的被 連接元件(下面也稱為臂)104?？稍O置多個臂104。體干103包含軀干200、 頸關節(jié)202、頭201。 一對體干側照相機105 (a)與105 (b)固定布置在 頭201上。體干側照相機105 ( a)與105 (b )通過頸關節(jié)202的旋轉相對 于軀干200改變其拍攝方向(下面可簡稱為"方向"或"照相機方向")。 一對同軸輪206布置在軀干200的下側。機器人100通過4吏用輪206來移 動體干103。
臂104包含肩關節(jié)203、肘關節(jié)204、腕關節(jié)205。臂側照相機106布 置在手部。肩關節(jié)203、肘關節(jié)204、腕關節(jié)205各自裝有驅動機構。因此， 臂側照相機106可通過肩關節(jié)203、肘關節(jié)204、腕關節(jié)205的驅動力相對 于軀干200改變其照相機方向。另外，臂側照相機106相對于軀干200的 位置也可通過這些關節(jié)的工作改變。
機器人還具有這樣的裝置其測量頭201在機器人100的工作環(huán)境中 的位置，使得體干側照相機105 (a)與105 (b)的照相機位置與方向得到 認識。另外，采用相關的構造，臂側照相機106相對于體干103的照相機 位置與方向也得到i人識。
本實施例的機器人100視覺認識周圍物體30、 40、 50、 60,計劃其不 會與這些障礙碰撞的路徑，并進行操作，以便將所握持的物體20放在空的 地方。體干側照相機105 (a)與105 (b) —般作為立體照相機運行。圖
12中的點A、 B、 C、 D示出了機器人視覺聚焦點(focusing point)的實例。
圖13示出了機器人100的原理機構101。機構101用于機器人對環(huán)境 的視覺認識。本實施例的機器人100具有控制器114?？刂破?14包含圖 像信息處理裝置116、環(huán)境地圖存儲裝置112、移動路徑創(chuàng)建裝置113、體 干側照相機位置/方向計算裝置111、臂側照相機位置/方向計算裝置109。 圖像信息處理裝置116被配置為具有從體干側照相機105 (a)與106 (b) 輸入的體干側圖像信息、從臂側照相機106輸入的臂側圖像信息、從體干 側照相機位置/方向計算裝置111輸入的體干側照相機105 ( a)與105 ( b ) 的位置與方向、從臂側照相機位置/方向計算裝置109輸入的臂側照相機 106的位置與方向?；谏鲜鲚斎?，圖像信息處理裝置116創(chuàng)建環(huán)境地圖 并將所創(chuàng)建的環(huán)境地圖存儲在環(huán)境地圖存儲裝置112中。移動路徑創(chuàng)建裝 置113基于所創(chuàng)建的環(huán)境地圖創(chuàng)建進一步的移動路徑，并根據所創(chuàng)建的移 動路徑，控制被設置為對輪26與關節(jié)進行驅動的致動器115。因此，移動 路徑創(chuàng)建裝置113控制致動器115，使得輪26、頭201、臂104分別根據 所創(chuàng)建的路徑移動。機器人100進一步具有輪軸旋轉檢測裝置119,其 檢測輪26的旋轉頻率；關節(jié)角度檢測裝置123，其檢測各個點的關節(jié)角度； 位置信息檢測裝置121，其被布置在軀干200上，并檢測軀干200的位置。 由上述裝置得到的信息被輸入到體干側照相機位置/方向計算裝置111和臂 側照相機位置/方向計算裝置109。
由于機器人包含通過由從照相機(其位置和拍攝方向是已知的)驅動 的圖像信息認識周圍環(huán)境來創(chuàng)建移動軌跡的移動路徑創(chuàng)建裝置113，可在 沿著所確定的路徑移動并繼以再次進行拍攝圖像的處理之后再次計算照相 機位置與照相機方向。所述一系列操作可以重復，使得機器人能夠自主移 動。
圖15示出了機器人100的視野的鳥瞰圖。如圖所示，如果機器人IOO 的臂104及其握持的物體20處于體干側照相機105 (a)與105 (b)的視 野內，不能獲得關于臂104及其握持物體20后面的環(huán)境信息。具體而言，
如圖14所示，點A、 B如實線所示對體干側照相機105 (a)與105 (b) 是可見的，因此，可通過使用由體干側照相機105 ( a)與105 ( b )拍攝的 體干圖像來創(chuàng)建立體圖像。另外，可根據時間的推移連續(xù)獲得關于這些范 圍的信息。
另一方面，由于臂以及臂的手部的動作，對于點C與D來說，不能建 立其由兩個體干側照相機105 (a)和105 (b)的全視覺(full vision)， 由此導致不可能用體干側照相機105 ( a)與105 (b )獲得點C與D的立 體視覺(stereovision )。不能獲得關于這些范圍的信息。虛線示出了包含 由于臂或其把持物體的阻礙而不能由兩個照相機拍攝的聚焦點上的特征 點。
在立體視覺的情況下，特別是在必需關于物體的橫向寬度(深度)或 高度的情況下，必須獲得基于多個圖像的視差信息?？赏ㄟ^使用多個照相 機(其位置信息對機器人來說是已知的)進行拍攝來獲得所述多個圖像， 或使用 一個照相機并通過移動照相機在不同位置進行拍攝來獲得所述多個 圖像。因此，由于機器人不能用兩眼(體干側照相機)在點C或D上聚焦 的情況，不能認識位于點C與D的范圍內以及點C與D周圍的位置關系。
對于點C與D，在至少一個體干側照相機105 (a)與105 (b)不能 作為立體照相機運行的情況下，立體圖像可通過體干側照相機105 (a)與 105 ( b )中的一個以及臂側照相機106來獲得。
在沒有東西阻礙體干側照相機105 (a)與105 (b)的視野的情況下， 如同點A與B的情況一樣，立體圖像可通過使用體干側照相機105 (a) 與105 (b)并計算周圍物體與機器人IOO的相對位置關系來獲得。這等于 使用第一計算單元。另一方面，在點C的情況下，立體圖像可通過使用體 干側照相機105 (b )與臂側照相機106來獲得，在點D的情況下，不能通 過使用 一個體干側照相機105 ( a)與臂側照相機106獲得立體圖像。認識 周圍環(huán)境所必需的信息整體可由前面提到的照相機組合獲得，機器人可計 算周圍物體與機器人IOO的相對位置關系。這等于使用第二計算單元。
在將臂側照相機106用作立體照相機中的一個的情況下，體干側照相機105 ( a)與105 (b )中的另 一照相機的選擇可被判斷為使得臂104被拍 攝的范圍為最小的體干側照相機被選擇。圖像信息處理裝置116可執(zhí)行選 擇。
圖15示出了本實施例的機器人的操作過程。下面的過程將根據機器人 100握持物體20并創(chuàng)建將所握持物體20放在空的地方而不與周圍物體30 、 40、 50、 60碰撞的路徑的情況進行介紹。機器人100的臂104位于圖14 所示的位置，該圖所示的情況由體干側照相機105 (a)與105 (b)從它們 所位于的地方進行拍攝。開始圖15所示的圖像信息處理，由于臂104與握 持物體20遮擋物體50與60的一部分，因此，被遮擋的部分對機器人來說 保持為未知。
在步驟S500中，立體圖像由體干側照相機105 (a)與105 (b)以及 臂側照相機106所拍攝的多個圖像獲得，其被輸入到圖像信息處理裝置 116。根據體干側圖像中的未知范圍的大小，圖像信息處理裝置116可判斷 是否使用臂側圖像。在這樣的情況下，圖像信息處理裝置116可包含從圖 像組合一一其中，臂104所阻擋并變得未知的范圍被較少地拍攝一一獲得 立體圖像的機構。
在步驟S502中，基于在步驟S500中獲得的立體圖像，計算機器人100 周圍的物體的相對位置關系。圖像數據從世界坐標系被轉換到機器人100 位于中心的本地坐標系。周圍物體的位置關系才艮據本地坐標系進行計算， 并被輸出為機器人100及其周圍物體的相對位置信息。在獲得相對位置信 息的過程中，例如，可使用視差圖像或距離圖像。
另外，優(yōu)選為，第一計算裝置與第二計算裝置分別被設置為用于在從 體干側圖像的組合獲得立體圖像的情況下的計算以及用于在從體干側圖像 與臂側圖像的組合獲得立體圖像的情況下的計算。對于體干側圖像的組合， 體干側照相機為平行立體。然而，對于體干側圖像與臂側圖像的組合，照 相機的相對位置不同。因此，第二計算裝置可被配置為應用坐標系轉換處 理，例如立體圖像的調整、手眼校正等等。
在步驟S504中，圖傳 f言息處理裝置116所計算的相對位置信息被構建
為表示周圍物體的相對定位的數據并被存儲在環(huán)境地圖存儲裝置112中。 環(huán)境地圖指的是機器人100用于認識周圍物體的相對定位的數據。例如， 在用圖像信息處理裝置116計算視差圖像的情況下，環(huán)境地圖可用圖像視 差空間(SDS, Spatial disparity space)表示。在SDS中，包含點A、 B、 C、 D的周圍物體30、 40、 50、 60表現為具有橫向或深度空間膨脹的曲面。 在步驟S506中，基于環(huán)境地圖信息創(chuàng)建機器人100的移動路徑。由于 本實施例的機器人IOO目的在于視覺認識周圍物體30、 40、 50、 60、創(chuàng)建 不會與這些障礙碰撞的移動路徑并將握持物體20放在空的地方，優(yōu)選為， 基于這些環(huán)境信息，機器人100提取不存在周圍物體的平面，并為臂創(chuàng)建 將握持物體20放在所提取平面的路徑。在步驟S508中，致動器115進行 實際動作。
圖16為一流程圖，其示出了獲得立體圖像的圖像處理。如前所述，圖 15的步驟S500中的立體圖像基本上可通過使用多個體干側圖^^或^f吏用體 干側圖像中的一個與臂側圖像來獲得。在步驟S160中，由體干側照相機 105 (a)與105 (b)所拍攝的多個體干側圖像以及由臂側照相機106所拍 攝的臂側圖傳_被輸入到圖像信息處理裝置116。在步驟S162中，判斷臂104 是否被拍攝在到體干側圖像中。在臂104沒有被拍攝到體干側圖像中的情 況下(步驟S162的否)，過程進行到步驟S164。在步驟S164中，立體圖 像由一對體干側圖像獲得，進行第一計算。另一方面，在臂104被拍攝到 體干側圖像中的情況下(步驟S162中的否)，過程進行到步驟S166。在 步驟S166中，立體圖像由一個體千側圖像與臂側圖像的一對獲得，進行第 二計算。在步驟S166中選擇的體干側圖像為臂104被拍攝的范圍最小的體 干側圖像。
在本實施例中，介紹了使用布置在體干與被連接元件上的總共三個照 相機來獲得周圍物體的三維信息的實例。然而，本發(fā)明的實施例不限于這 樣的構造。其可使用更多數量的照相機，或者，可簡單使用被連接元件側 照相機，并在被連接元件側照相機的移動以及改變拍攝角度或位置的序列 中獲得照片。
另外，本實施例給出了認識處于靜止的周圍物體的實例。然而，采用 上述構造，機器人不能處理新的周圍物體在機器人被設置為根據先前創(chuàng)建 的移動路徑移動之后出現在機器人的移動軌跡上的情況，或者處理機器人 與周圍物體的位置由于輪或被連接元件進行的移動而變化的情況，移動路 徑需要被校正。
(第三實施例)
圖17示出了第三實施例的機器人的原理機構101，其被配置為處理移 動中的周圍物體。除了第二實施例的機器人的機構的構造以外，機器人的 機構101還具有移動路徑校正裝置125。移動路徑校正裝置125對所創(chuàng)建 的被連接元件移動路徑進行校正。因此，機器人能夠動態(tài)校正其已經i^V 處理的移動軌跡。
另外，由于周圍環(huán)境數據可動態(tài)更新，周圍環(huán)境的變化以及臂的移動 可被連續(xù)認識，移動軌跡可根據這種變化得到校正。
上面介紹了本發(fā)明的具體實施例，但它們僅僅示出了本發(fā)明的某些實 施例，不對其權利要求進行限制。權利要求所述的技術包括上面所述的具 體實施例的多種變形與修改。
例如，除了布置在臂上的臂側照相機， 一個或一個以上的被連接元件 側照相機可布置在多個被連接元件(例如腿等等)上。或者，多個照相機 可以可旋轉地布置在被連接元件的不同位置。在任何一個上述實例中，拍 攝范圍可進一步得到擴展。
本說明書或附圖所公開的技術元素可分立地或以所有組合的形式應 用，不限于提交本申請時在權利要求中所述的組合。另外，本說明書或附 圖所公開的技術可用于同時實現多個目的或實現這些目的中的一個。
權利要求
1. 一種可移動機器人，其包含:體干；被連接元件，其由具有驅動機構的關節(jié)連接到所述體干；體干側照相機，其被布置在所述體干上；被連接元件側照相機，其被布置在所述被連接元件上；以及合成圖像創(chuàng)建單元，其創(chuàng)建由所述體干側照相機拍攝的體干側圖像與由所述被連接元件側照相機拍攝的被連接元件側圖像的合成圖像，使得所述體干側圖像的一部分由所述被連接元件側圖像的一部分替換，以便從所述體干側圖像中去除所述被連接元件。
2. 根據權利要求1的可移動機器人，其中，所述合成圖像創(chuàng)建單元包含第一指定單元，其指定所述體千側圖像內所述被連接元件被拍攝的范圍；第二指定單元，其指定所述,皮連接元件側圖像內與由所述第 一指定單元指定的所述體干側圖像的范圍對應的對應范圍；以及替換單元，其用所述被連接元件側圖像的所述對應范圍替換所述體干 側圖像的由所迷第 一指定單元指定的所述范圍。
3. 根據權利要求l的可移動機器人， 其包含多個體干側照相機；其中，所述合成圖像創(chuàng)建單元對于由各個體干側照相機拍攝的每個體 干側圖像創(chuàng)建合成圖像。
4. 根據權利要求l的可移動機器人，其還包含計算單元，該單元基于由所述合成圖像創(chuàng)建單元創(chuàng)建的合成 圖像計算拍攝范圍內存在的一個或一個以上的物體相對于所述可移動機器人的相對位置關系。
5. 根據權利要求l的可移動機器人， 其還包含照相機方向調節(jié)單元，該單元被配置為，在所述被連接元件 位于所述體干側照相機的拍攝范圍內的情況下，調節(jié)所述被連接元件側照 相機的方向，其中，所述照相機方向調節(jié)單元對所述被連接元件側照相機 的方向進行調節(jié)，使得所述被連接元件側照相機,皮定向為轉向所述體干側 照相機的拍攝范圍被所述被連接元件側照相機拍攝的方向。
6. —種可移動機器人，其包含 體干；被連接元件，其由具有驅動機構的關節(jié)連接到所述體干； 多個體干側照相機，其被布置在所述體干上；被連接元件側照相機，其被布置在所述被連接元件上；第 一計算單元，其基于由所述多個體干側照相機拍攝的至少兩個體干側圖像，計算拍攝范圍內存在的一個或一個以上的物體相對于所述可移動^L器人的第一相對位置關系；以及第二計算單元，其基于由所述多個體干側照相機中的至少一個拍攝的體干側圖像以及由所述被連接元件側照相機拍攝的被連接元件側圖像，計算拍攝范圍內存在的一個或一個以上的物體相對于所述可移動機器人的第二相對位置關系。
7. 根據權利要求6的可移動機器人，其中，所述第二計算單元選擇將這樣的體干側圖^f象用于所述第二相對 位置關系的計算其中，所拍攝的所述被連接元件的部分是最小的。
全文摘要
通過排除在操作過程中由于機器人身體部分遮擋機器人視野而引起的未知環(huán)境，提供了一種總體認識周圍環(huán)境的技術。本發(fā)明的機器人具有包含頭與軀干的體干；至少一個被連接元件，其通過具有驅動機構的關節(jié)連接到體干；體干側照相機，其被布置在體干上；被連接元件側照相機，其被布置在被連接元件上。另外，機器人具有合成圖像創(chuàng)建單元，其創(chuàng)建由體干側照相機拍攝的體干側圖像與由被連接元件側照相機拍攝的被連接元件側圖像的合成圖像，使得體干側圖像的一部分用被連接元件側圖像的一部分代替，從而從體干側圖像中排除被連接元件。
文檔編號G06T3/00GK101384402SQ200780005719
公開日2009年3月11日 申請日期2007年2月15日 優(yōu)先權日2006年2月17日
發(fā)明者中島裕一朗, 李海研, 野村秀樹 申請人:豐田自動車株式會社