本發(fā)明涉及移動體控制裝置和移動體。
背景技術(shù):
以往,提出了檢測特定的跟蹤對象物的位置并與該跟蹤對象物隔開間隔來進(jìn)行跟蹤的跟蹤方法。例如,在專利文獻(xiàn)1中記載的跟蹤方法中,在跟蹤對象物中設(shè)置第1位置檢測傳感器和第1信息通信單元,跟蹤對象物具有存儲單元,該存儲單元將第1位置檢測傳感器的位置檢測信息與來自時鐘單元的時刻信息一起進(jìn)行存儲。在本跟蹤方法中,在跟蹤裝置中設(shè)置有第2位置檢測傳感器和第2信息通信單元,跟蹤裝置根據(jù)存儲單元中存儲的信息,再現(xiàn)跟蹤對象物過去通過的路徑來進(jìn)行跟蹤。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:日本公開公報:日本特開2006-155349號公報
技術(shù)實(shí)現(xiàn)要素:
發(fā)明要解決的問題
然而,相比于通過車輪的旋轉(zhuǎn)而進(jìn)行移動的移動體(車輛或臺車等),人進(jìn)行更復(fù)雜的動作。為了取得人的移動信息,要求使用各種傳感器,并使用各個傳感器檢測到的信息實(shí)時進(jìn)行復(fù)雜的運(yùn)算,因此,要求較多的部件和運(yùn)算量。專利文獻(xiàn)1中記載的跟蹤方法要求對跟蹤對象者安裝第1位置檢測傳感器和第1信息通信單元。
本發(fā)明正是鑒于上述情況而完成的,提供能夠以簡單的結(jié)構(gòu)追隨人的移動體控制裝置和移動體。
用于解決問題的手段
(1)本發(fā)明是為了解決上述的課題而完成的,本發(fā)明的一個方式是移動體控制裝置,其特征在于,該移動體控制裝置具有:攝像部,其在被設(shè)置于移動體的情況下,該攝像部對該移動體的周圍的至少一部分進(jìn)行攝像,得到圖像;確定部,其在所述攝像部拍攝到的圖像中包含有人的像的情況下,根據(jù)所述人的像將該人的軀干決定為代表點(diǎn);以及控制部,其根據(jù)所述確定部決定的所述代表點(diǎn)在所述圖像內(nèi)的位置,控制所述移動體的移動。
(2)本發(fā)明的一個方式是上述的移動體控制裝置,其特征在于,所述確定部針對所述攝像部按照時間序列拍攝到的多個圖像中的每個圖像,分別提取所述代表點(diǎn),所述控制部根據(jù)所述確定部提取出的所述代表點(diǎn)的位置的時間變化,控制所述移動體的移動。
(3)本發(fā)明的一個方式是上述的移動體控制裝置,其特征在于,所述移動中包含有所述移動體的移動方向,所述控制部在所述確定部無法決定所述代表點(diǎn)的情況下,改變所述移動體的朝向。
(4)本發(fā)明的一個方式是上述的移動體控制裝置,其特征在于,所述控制部在所述確定部判定為所述攝像部拍攝到的圖像中包含有規(guī)定的姿勢的人的像的情況下,開始基于該人的所述代表點(diǎn)來進(jìn)行的所述移動體的移動的控制。
(5)本發(fā)明的一個方式是上述的移動體控制裝置,其特征在于,所述控制部在所述確定部無法決定所述代表點(diǎn)的情況下,輸出催促所述規(guī)定的姿勢的通知。
(6)本發(fā)明的一個方式是上述的移動體控制裝置,所述控制部針對所述代表點(diǎn)與所述移動體的基準(zhǔn)點(diǎn)之間的距離,將規(guī)定的距離作為目標(biāo)來控制所述移動體的移動。
(7)本發(fā)明的一個方式是移動體,其具有上述的移動體控制裝置,能夠在任意的方向上沿著地面移動。
(8)本發(fā)明的一個方式是上述移動體,該移動體是無人輸送車。
發(fā)明的效果
根據(jù)本發(fā)明的一個方式,移動體能夠以簡單的結(jié)構(gòu)追隨人。
附圖說明
圖1是示出第1實(shí)施方式的移動體的結(jié)構(gòu)的概略圖。
圖2是用于說明圖像數(shù)據(jù)和坐標(biāo)系的圖。
圖3是示出第1實(shí)施方式的移動體控制裝置的結(jié)構(gòu)的框圖。
圖4是示出人體模型的例的圖。
圖5是用于說明第1實(shí)施方式的移動控制的俯視圖。
圖6是示出第1實(shí)施方式的移動控制的例子的俯視圖。
圖7是示出第1實(shí)施方式的移動體控制處理的流程圖。
圖8是用于說明第2實(shí)施方式的方向變更處理的一例的俯視圖。
圖9是用于說明第2實(shí)施方式的方向變更處理的另一例的俯視圖。
圖10是示出第2實(shí)施方式的移動體控制處理的流程圖。
圖11是用于說明第2實(shí)施方式的變形例的方向決定處理的俯視圖。
圖12是示出所拍攝的圖像的例子的圖。
圖13是示出第2實(shí)施方式的變形例的方向決定處理的流程圖。
圖14是示出第2實(shí)施方式的變形例的移動體的結(jié)構(gòu)的俯視圖。
圖15是第2實(shí)施方式的變形例的移動體控制裝置的框圖。
圖16是示出第3實(shí)施方式的移動體控制裝置的結(jié)構(gòu)的框圖。
圖17是示出第3實(shí)施方式的移動體控制處理的流程圖。
圖18是示出針對從基準(zhǔn)點(diǎn)到代表點(diǎn)的距離的速度的目標(biāo)值的例子的圖。
具體實(shí)施方式
(第1實(shí)施方式)
以下,參照附圖對本發(fā)明的第1實(shí)施方式進(jìn)行說明。
圖1是示出本實(shí)施方式的移動體1的結(jié)構(gòu)的概略圖。在圖1中,x,y,z分別表示3維正交坐標(biāo)系的x軸、y軸、z軸。圖1的(a)、(b)分別是移動體1的俯視圖、側(cè)視圖。移動體1具有驅(qū)動部13-1、13-2、車輪14-1、14-2、14-3和基臺15。移動體1例如是無人輸送車。通過該結(jié)構(gòu),無人輸送車能夠以簡單的結(jié)構(gòu)追隨人。
驅(qū)動部13-1、13-2使車輪14-1、14-2旋轉(zhuǎn)。車輪14-1、14-2和14-3支承基臺15的底面,通過進(jìn)行旋轉(zhuǎn)而使移動體1的整體移動。車輪14-3配置在該底面的一邊的接近中點(diǎn)的位置,與此相對,車輪14-1、14-2配置在接近與該一邊對置的邊、且接近基臺15的兩側(cè)面的位置。軸線ar是分別通過車輪14-1、14-2的旋轉(zhuǎn)中心的直線。在以下的說明中,將從車輪14-3朝向車輪14-1、14-2的中點(diǎn)的方向稱作前方,將從車輪14-1、14-2的中點(diǎn)朝向車輪14-3的方向稱作后方。將面向前方時的左方、右方分別簡稱作左方、右方。
在車輪14-1、14-2的車軸(未圖示)上分別安裝有旋轉(zhuǎn)傳感器(未圖示)。旋轉(zhuǎn)傳感器檢測各個車輪14-1、14-2的旋轉(zhuǎn)速度,將表示檢測到的旋轉(zhuǎn)速度的旋轉(zhuǎn)信號輸出到驅(qū)動部13-1、13-2。驅(qū)動部13-1、13-2分別根據(jù)從旋轉(zhuǎn)傳感器接收到的旋轉(zhuǎn)信號所表示的旋轉(zhuǎn)速度,計算車輪14-1、14-2的旋轉(zhuǎn)量。驅(qū)動部13-1、13-2分別將旋轉(zhuǎn)量作為控制量,將從移動體控制裝置20輸入的驅(qū)動量作為控制目標(biāo)量,來控制車輪14-1、14-2的旋轉(zhuǎn)。驅(qū)動部13-1、13-2在車輪14-1、14-2的旋轉(zhuǎn)的控制中,例如使用pid(proportional-integral-derivative:比例積分微分)控制。
在基臺15上設(shè)置有攝像部11和移動體控制裝置20。攝像部11和移動體控制裝置20中的任意一方或兩方也可以能夠相對于基臺15拆裝。
在圖1所示的例中,攝像部11的光學(xué)軸朝向前方。攝像部11的光學(xué)中心在俯視時與軸線ar上的車輪14-1、14-2的旋轉(zhuǎn)中心間的中點(diǎn)一致。在以下的說明中,將攝像部11的光學(xué)中心稱作基準(zhǔn)點(diǎn)op?;鶞?zhǔn)點(diǎn)op是代表移動體1的位置的點(diǎn)。
攝像部11每隔規(guī)定時間(例如,30ms)對以光學(xué)軸的方向為中心的規(guī)定的視野內(nèi)的被攝體的像進(jìn)行攝像。即,攝像部11對移動體1的周圍的一部分進(jìn)行攝像,取得圖像。攝像部11對攝像面ie上形成的被攝體的像進(jìn)行攝像。攝像部11例如是距離圖像傳感器、立體照相機(jī)等。表示攝像部11取得的圖像的圖像數(shù)據(jù)是深度映射圖。深度映射圖是分別針對1幀的圖像的區(qū)域所包含的多個2維坐標(biāo)而具有深度值的數(shù)據(jù)。換言之,深度映射圖是利用多個2維坐標(biāo)的深度值表示被攝體表面的3維形狀的數(shù)據(jù)。深度映射圖被稱作深度映射圖(depthmap)或距離圖像。例如,通過攝像部11拍攝到的圖像和距離圖像傳感器而生成深度映射圖。另外,也可以通過立體照相機(jī)拍攝到的2張圖像而生成深度映射圖。攝像部11將表示取得的圖像的圖像數(shù)據(jù)輸出到移動體控制裝置20。
接著,使用圖2對圖像的區(qū)域中包含的2維坐標(biāo)和深度值進(jìn)行說明。在以下的說明中,有時將圖像的區(qū)域中包含的2維坐標(biāo)稱作圖像內(nèi)坐標(biāo)。
圖2是用于說明圖像內(nèi)坐標(biāo)和深度值之間的關(guān)系的圖。在圖2所示的例中,攝像部11的光學(xué)軸的方向oc朝向z方向。
攝像面ie在攝像部11中設(shè)置在從基準(zhǔn)點(diǎn)op向前方離開規(guī)定的焦距f的位置。攝像面ie的法線方向朝向光學(xué)軸的方向oc。穿過基準(zhǔn)點(diǎn)op的光學(xué)軸和攝像面ie與攝像面ie的中心oc相交。圖像內(nèi)坐標(biāo)(x,y)表示攝像面ie上排列的多個像素中的任意一個像素的位置。圖像內(nèi)坐標(biāo)(x,y)通過以中心oc為原點(diǎn)的2維坐標(biāo)系來表示。x、y分別表示水平方向的坐標(biāo)值、垂直方向的坐標(biāo)值。
這里,假定給出了表示某個被攝體的代表點(diǎn)oh的位置的3維坐標(biāo)(x,y,z)的情況。在通過基準(zhǔn)點(diǎn)op和代表點(diǎn)oh的直線與攝像面ie的交點(diǎn)oh處,形成表示代表點(diǎn)oh的像。深度映射圖針對交點(diǎn)oh的圖像內(nèi)坐標(biāo)(x,y)具有代表點(diǎn)oh的z方向的坐標(biāo)值作為深度值z。此時,使用深度值z和圖像內(nèi)坐標(biāo)(x,y)利用式(1)來表示代表點(diǎn)oh的x方向的坐標(biāo)值x和y方向的坐標(biāo)值y。因此,在深度映射圖中,指定圖像內(nèi)坐標(biāo)(x,y),確定代表點(diǎn)oh的3維坐標(biāo)(x,y,z)。
x=x·z/f、y=y(tǒng)·z/f…(1)
移動體控制裝置20檢測攝像部11輸出的圖像數(shù)據(jù)所表示的人的像。移動體控制裝置20根據(jù)檢測到的人的像,將該人的軀干決定為代表點(diǎn)。移動體控制裝置20根據(jù)所決定的代表點(diǎn),控制由驅(qū)動部13-1、13-2驅(qū)動的車輪14-1、14-2的旋轉(zhuǎn)。通過該控制,控制移動體1的移動。
(移動體控制裝置的結(jié)構(gòu))
接著,對本實(shí)施方式的移動體控制裝置20的結(jié)構(gòu)進(jìn)行說明。圖3是示出本實(shí)施方式的移動體控制裝置20的結(jié)構(gòu)的框圖。
移動體控制裝置20包括圖像輸入部21、對象確定部22、移動控制部25、姿勢識別部26和存儲部27。移動體控制裝置20也可以還包括攝像部11。
圖像輸入部21將從攝像部11輸入的圖像數(shù)據(jù)逐次存儲到存儲部27中。圖像輸入部21例如是數(shù)據(jù)輸入輸出接口。
對象確定部22構(gòu)成為包括人體判定部23、代表點(diǎn)確定部24。
人體判定部23讀取逐次存儲到存儲部27中的圖像數(shù)據(jù),根據(jù)讀取到的圖像數(shù)據(jù)檢測人的像。人體判定部23例如參照圖像數(shù)據(jù),根據(jù)相互接近的坐標(biāo)之間的深度值的差來提取像的輪廓。人體判定部23對照所提取的輪廓和人體模型來檢測人的像。人體判定部23將表示所提取到的輪廓的輪廓數(shù)據(jù)存儲到存儲部27中。
人體模型是多個節(jié)點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)和表示多個邊的數(shù)據(jù)。節(jié)點(diǎn)是表示構(gòu)成人體的各部位的位置或構(gòu)成人體的各部位的中間位置的點(diǎn)。節(jié)點(diǎn)例如是表示頭部的位置或上臂與前臂之間的點(diǎn)。節(jié)點(diǎn)也被稱作接頭或結(jié)點(diǎn)(node)。邊是表示連接各2個節(jié)點(diǎn)間的信息。通過邊來表示有無部位之間的聯(lián)結(jié)。邊也被稱作連線(link)。因此,通過人體模型表現(xiàn)人體的姿勢。接著,對人體模型的例進(jìn)行說明。
圖4是示出人體模型的例子的圖。圖4所示的人體模型具有15個節(jié)點(diǎn)jt-1~jt-15和14條邊。例如,節(jié)點(diǎn)jt-1、jt-2、jt8、jt-9、jt-15分別表示頭部、胸部、右手部、腰部、右腳部的各位置。與表示腰部的位置的節(jié)點(diǎn)jt-9連接的邊的數(shù)量是3條。3條邊分別與表示胸部的位置的節(jié)點(diǎn)jt-2、表示左腰部的位置的節(jié)點(diǎn)jt-10、表示右腰部的位置的節(jié)點(diǎn)jt-11連接。通過使用這樣的人體模型,容易限定人體的姿勢模型的樣式。因此,能夠降低在人體判定部23中的人的像的檢測、和代表點(diǎn)確定部24決定代表點(diǎn)時所需要的運(yùn)算量。
使用圖3對人體判定部23檢測人的像的處理進(jìn)行說明。在存儲部27中預(yù)先存儲多個人體模型。各個人體模型所表示的人體的姿勢在多個人體模型間相互不同。將存儲部27中存儲的人體模型分別與相互不同的識別編號對應(yīng)起來。
人體判定部23從存儲部27中讀取每1個人體模型。人體判定部23對所提取的輪廓和讀取的人體模型進(jìn)行對照。在進(jìn)行對照時,人體判定部23使形成所讀取的人體模型的各節(jié)點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)偏移某個變位量(δx,δy)。人體判定部23計算所提取的輪廓和偏移后的各節(jié)點(diǎn)的圖像內(nèi)坐標(biāo)(x+δx,y+δy)的分?jǐn)?shù)。分?jǐn)?shù)是表示輪廓所表示的形狀和人體模型所表示的姿勢之間的適合度的指標(biāo)值。人體判定部23針對每1個人體模型,對多個變位量分別計算分?jǐn)?shù)。然后,人體判定部23決定給出計算出的分?jǐn)?shù)中的成為最大的分?jǐn)?shù)的人體模型和變位量。在以下的說明中,將成為最大的分?jǐn)?shù)稱作最大分?jǐn)?shù)。
人體判定部23在最大分?jǐn)?shù)為預(yù)先決定的分?jǐn)?shù)的下限以上的情況下,判定為圖像中包含人的像。由此,確定圖像中包含的人的姿勢和位置。人體判定部23將所決定的人體模型的識別編號和變位量存儲到存儲部27中。
人體判定部23在最大分?jǐn)?shù)小于預(yù)先決定的分?jǐn)?shù)的下限的情況下,判定為圖像中不包含人的像。
代表點(diǎn)確定部24從存儲部27中讀取與目前為止的規(guī)定時間內(nèi)存儲的識別編號對應(yīng)的人體模型和變位量。規(guī)定時間例如與攝像部11對被攝體的像進(jìn)行攝像的時間間隔相等。
代表點(diǎn)確定部24從讀取的人體模型的節(jié)點(diǎn)中確定表示人體的軀干的位置的節(jié)點(diǎn)。即,對象確定部22將表示人的軀干的位置的節(jié)點(diǎn)決定為代表點(diǎn)。軀干是人體中的除去四肢和頭部后的軀體。軀干在人的日常動作中不會像四肢和頭部那樣頻繁動作。因此,通過取得軀干的位置的時間變化,能夠穩(wěn)定地檢測伴隨步行的人的全身的平行運(yùn)動。另外,軀干雖然包括胸部、肩部和腰部,但是,也可以僅使用其中的腰部作為表示軀干的位置的節(jié)點(diǎn)。腰部相比于其他的部位不容易受到四肢和頭部的動作的影響。
代表點(diǎn)確定部24將確定出的節(jié)點(diǎn)的圖像內(nèi)坐標(biāo)與讀取的變位量相加,決定代表點(diǎn)的圖像內(nèi)坐標(biāo)。代表點(diǎn)確定部24將表示決定出的圖像內(nèi)坐標(biāo)的代表點(diǎn)數(shù)據(jù)存儲到存儲部27中。如上所述,代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)和形成圖像數(shù)據(jù)的距離值中的利用代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)指定的距離值表示代表點(diǎn)的3維空間內(nèi)的位置(x,y,z)。
移動控制部25從存儲部27讀取在目前為止的規(guī)定時間內(nèi)存儲的代表點(diǎn)數(shù)據(jù)。移動控制部25決定與讀取的代表點(diǎn)數(shù)據(jù)所相關(guān)的代表點(diǎn)之間的距離成為規(guī)定距離(例如,1.0m)的移動目標(biāo)點(diǎn)。移動控制部25計算從當(dāng)前的基準(zhǔn)點(diǎn)向移動目標(biāo)點(diǎn)的移動量。移動控制部25計算用于以計算出的移動量進(jìn)行移動的驅(qū)動量,生成控制信號,該控制信號指示以計算出的驅(qū)動量進(jìn)行驅(qū)動。移動控制部25將生成的控制信號輸出到驅(qū)動部13-1、13-2。驅(qū)動部13-1、13-2以從移動控制部25輸入的控制信號所表示的驅(qū)動量使車輪14-1、14-2旋轉(zhuǎn)。由此,移動體1根據(jù)移動控制部25計算出的移動量進(jìn)行移動。后面敘述移動控制部25進(jìn)行的移動控制的例子。
姿勢識別部26讀取存儲部27中目前為止的規(guī)定時間內(nèi)存儲的輪廓數(shù)據(jù)和預(yù)先存儲的姿勢模型。姿勢模型是表示規(guī)定的姿勢的人體模型。規(guī)定的姿勢例如是如下的狀態(tài):人與攝像部11相對而站立,右上臂相對于水平面平行地朝向右方,使左上臂朝向鉛直方向。
姿勢識別部26對輪廓數(shù)據(jù)所表示的輪廓和姿勢模型進(jìn)行對照,判定是否識別出了規(guī)定的姿勢。識別出了規(guī)定的姿勢意味著,輪廓數(shù)據(jù)的生成所使用的圖像中包含規(guī)定的姿勢的人的像。
在提取的輪廓和姿勢模型的對照中,姿勢識別部26例如計算提取的輪廓和分別使用多個變位量而進(jìn)行偏移后的各節(jié)點(diǎn)的圖像內(nèi)坐標(biāo)(x+δx,y+δy)的分?jǐn)?shù)。人體判定部23決定計算出的分?jǐn)?shù)中的成為最大的最大分?jǐn)?shù)。姿勢識別部26在計算出的最大分?jǐn)?shù)為規(guī)定的分?jǐn)?shù)的下限以上的情況下,判定為識別出了規(guī)定的姿勢。姿勢識別部26在計算出的最大分?jǐn)?shù)小于規(guī)定的分?jǐn)?shù)的下限的情況下,判定為規(guī)定的姿勢的識別失敗。在對照成功的情況下,姿勢識別部26將表示對照的成功的對照數(shù)據(jù)存儲到存儲部27中。然后,移動體控制裝置20開始后述的移動體控制處理。在移動體控制處理中包括基于移動控制部25進(jìn)行的移動體1的位置和朝向的控制。另外,姿勢識別部26也可以構(gòu)成為代表點(diǎn)確定部24的一部分。姿勢識別部26的功能與代表點(diǎn)確定部24的功能共用,從而能夠簡單地構(gòu)成移動體控制裝置20。
存儲部27構(gòu)成為包含存儲各種數(shù)據(jù)的存儲介質(zhì)。存儲部27例如構(gòu)成為包含rom(read-onlymemory:只讀存儲器),ram(randomaccessmemory:隨機(jī)存取存儲器)等。
(移動控制)
接著,對移動控制部25進(jìn)行的移動控制進(jìn)行說明。
圖5是用于說明本實(shí)施方式的移動控制的俯視圖。實(shí)線的四邊形表示某一時刻t的移動體1。虛線的四邊形表示移動到作為移動目標(biāo)的移動目標(biāo)點(diǎn)op’時的移動體1。在以下的說明中,在時刻t,以決定了代表點(diǎn)oh的情況為例。oc表示時刻t的移動體1的方向,與攝像部11的光學(xué)軸的方向一致。δθ表示代表點(diǎn)oh的水平面內(nèi)的方向。
接著,移動控制部25將與代表點(diǎn)oh之間的距離為規(guī)定距離d且是方向δθ的位置決定為移動目標(biāo)點(diǎn)op’,計算從基準(zhǔn)點(diǎn)op向移動目標(biāo)點(diǎn)op’的移動量。具體而言,移動控制部25決定弧tr,將所決定的弧tr的路徑長度決定為平均驅(qū)動量。弧tr在基準(zhǔn)點(diǎn)op處的切線方向是方向oc,并且弧tr通過移動目標(biāo)點(diǎn)op’。平均驅(qū)動量是對車輪14-1的驅(qū)動量和對車輪14-2的驅(qū)動量的算術(shù)平均值。移動控制部25計算從所決定的弧tr的中心oa到車輪14-1、14-2的距離ρ1、ρ2。移動控制部25分別針對計算出的距離ρ1、ρ2,計算與從弧的中心到基準(zhǔn)點(diǎn)op的距離ρ之比r1、r2。移動控制部25將所決定的平均移動量分別與比值r1、r2相乘,計算分別對車輪14-1、14-2的驅(qū)動量。
移動控制部25生成分別指示以計算出的驅(qū)動量進(jìn)行驅(qū)動的控制信號。移動控制部25將生成的控制信號分別輸出到驅(qū)動部13-1、13-2。驅(qū)動部13-1、13-2以從移動控制部25輸入的控制信號所表示的驅(qū)動量使車輪14-1、14-2旋轉(zhuǎn)。
移動控制部25決定的弧tr相當(dāng)于移動體1從基準(zhǔn)點(diǎn)op朝向移動目標(biāo)點(diǎn)op’的軌跡。距離ρ相當(dāng)于弧tr的曲率半徑。在曲率半徑與車輪14-1、14-2間的間隔相等的情況下,移動控制部25使車輪14-1、14-2中的任意一方靜止而使移動體1移動。在曲率半徑是0(零)的情況下,由于移動目標(biāo)點(diǎn)op’與基準(zhǔn)點(diǎn)op一致,因此,移動控制部25使車輪14-1、14-2以彼此相等的速度反向旋轉(zhuǎn),從而使移動體1沿著地面旋轉(zhuǎn)。該情況下,移動控制部25根據(jù)目標(biāo)方向δθ以及從車輪14-1、14-2的中點(diǎn)到車輪14-1、14-2中的一方的距離ρ,來決定車輪14-1、14-2的驅(qū)動量。
另外,存在規(guī)定的角度的閾值是十分接近0的值(例如,1.0°)、且方向δθ的絕對值小于該閾值的情況。能夠視為攝像部11的視野朝向移動體1的前方,根據(jù)圖像而決定的移動目標(biāo)點(diǎn)op’位于基準(zhǔn)點(diǎn)op的前方。該情況下,移動控制部25將計算出的距離d’與規(guī)定距離d之差決定為從基準(zhǔn)點(diǎn)op到移動目標(biāo)點(diǎn)op’的移動量。移動控制部25將所決定的移動量決定為車輪14-1、14-2共同的驅(qū)動量。移動控制部25生成指示以決定的驅(qū)動量進(jìn)行驅(qū)動的控制信號。移動控制部25將所生成的控制信號分別輸出到驅(qū)動部13-1、13-2。另外,在移動量是正的值的情況下,移動體1前進(jìn),在該移動量是負(fù)的值的情況下,移動體1后退。如以上說明的那樣,移動控制部25能夠使移動體1在地面上的任意的方向上移動。
另外,移動控制部25也可以根據(jù)計算出的距離d’,依照預(yù)先設(shè)定的加減速時間t來計算移動體1的行進(jìn)速度。行進(jìn)速度存在上限。例如,在移動開始時刻的行進(jìn)速度是0的情況下,從該時刻起經(jīng)過了加減速時間t后的時刻的行進(jìn)速度成為上限。另一方面,假定行進(jìn)速度是上限、且在某個時刻開始制動的情況時,從該時刻經(jīng)過了加減速時間t后的時刻的行進(jìn)速度成為0。因此,將橫軸作為時刻、縱軸作為速度而表示的速度的描繪形狀成為梯形。但是,根據(jù)距離d’的不同,有時在從移動開始時刻起經(jīng)過加減速時間t之前,移動控制部25開始對移動體1進(jìn)行制動。該情況下,速度的描繪形狀成為三角形。
從攝像部11取得的圖像數(shù)據(jù)不限于上述的深度映射圖,還能夠利用表示每個圖像內(nèi)坐標(biāo)(x,y)的距離d’的圖像數(shù)據(jù)。如上所述,根據(jù)水平方向的坐標(biāo)x唯一地給出x坐標(biāo)。x坐標(biāo)是以基準(zhǔn)點(diǎn)op為原點(diǎn)的3維空間內(nèi)的水平方向的坐標(biāo)值。移動控制部25根據(jù)基于圖像數(shù)據(jù)而決定的代表點(diǎn)oh的x坐標(biāo)和距離d’,計算移動體1的目標(biāo)方向δθ。
移動控制部25根據(jù)計算出的目標(biāo)方向δθ和上述的信號速度,計算分別針對車輪14-1、14-2的速度衰減率。速度衰減率是表示車輪14-1、14-2之間的轉(zhuǎn)速的比率的系數(shù)。例如,在目標(biāo)方向δθ是10°的情況下,車輪14-1的速度衰減率是1的情況下,車輪14-2的速度衰減率為0.9。其結(jié)果為,移動體1在前進(jìn)的同時向右方或左方前進(jìn)。此外,在距離d’與規(guī)定距離d的差分,即移動量δd為負(fù)的情況下,移動體1在后退的同時向右方或左方前進(jìn)。
如以下說明的那樣,移動控制部25根據(jù)移動量δd的值來決定對車輪14-1、14-2的驅(qū)動速度。
(1)在移動量δd為正的情況下,移動控制部25將前述的行進(jìn)速度與速度衰減率相乘來決定對車輪14-1、14-2的驅(qū)動速度。
(2)在移動量δd為0的情況下,移動控制部25將預(yù)先設(shè)定的轉(zhuǎn)彎上限速度與速度衰減率相乘來決定對車輪14-1、14-2的驅(qū)動速度。
(3)在移動量δd為負(fù)的情況下,前述的行進(jìn)速度也為負(fù)。該情況下,移動控制部25將前述的行進(jìn)速度與速度衰減率相乘來計算對車輪14-1、14-2的驅(qū)動速度。
移動控制部25生成指示以所決定的驅(qū)動速度使車輪14-1、14-2旋轉(zhuǎn)的控制信號,將所生成的控制信號輸出到驅(qū)動部13-1、13-2。
接著,對本實(shí)施方式的移動控制的例子進(jìn)行說明。
圖6是示出本實(shí)施方式的移動控制的例子的俯視圖。
圖6的(a)示出移動體1的運(yùn)動的例子。箭頭m1示出代表點(diǎn)oh向移動體1的前方移動從而遠(yuǎn)離移動體1的情況。該情況下,如箭頭m1’所示,移動體1前進(jìn)從而接近代表點(diǎn)oh。箭頭m2示出代表點(diǎn)oh向移動體1的后方移動從而接近移動體1的情況。該情況下,如箭頭m2’所示,移動體1后退從而遠(yuǎn)離代表點(diǎn)oh。
圖6的(b)示出移動體1的運(yùn)動的另一例。箭頭m3示出代表點(diǎn)oh相對于移動體1向右方移動的情況。該情況下,如箭頭m3’所示,移動體1向右方轉(zhuǎn)彎,從而朝向代表點(diǎn)oh。箭頭m4示出相對于代表點(diǎn)oh向左方移動的情況。該情況下,如箭頭m4’所示,移動體1向左方轉(zhuǎn)彎,從而朝向代表點(diǎn)oh。
如以上說明的那樣,移動控制部25能夠使移動體1追隨在地面上的任意方向移動的人體。通過該追隨動作,從基準(zhǔn)點(diǎn)到代表點(diǎn)的距離接近規(guī)定距離。例如,在規(guī)定距離為1.0m的情況下,即使具有平均的上肢的長度(日本人男性的情況下約為72cm)的人不步行的情況下伸展上肢,上肢也不會接觸移動體1。另一方面,如果人在步行的同時伸展上肢,則上肢會接觸移動體。即,1.0m是如下的距離:雖然具有平均尺寸的人不會馬上接觸,但是,如果傾斜上體或移動下肢并伸展上肢,則能夠馬上訪問(access)移動體1。此外,1.0m是比以人的平均的步行速度(約4km/h)移動中的移動體1的制動距離短的距離。
因此,規(guī)定距離的1.0m是不與人體接觸而人能夠馬上訪問的平均的距離。規(guī)定距離也可以不是嚴(yán)苛地為1.0m,也可以是處于從1.0m起的規(guī)定的范圍,例如從0.8m到1.2m的范圍。人不接觸移動體1而能夠馬上訪問的距離根據(jù)利用者的尺寸、步行速度、移動體的移動速度等利用條件而不同,因此,能夠根據(jù)該利用條件來變更規(guī)定距離。
(移動體控制處理)
接著,對本實(shí)施方式的移動體控制處理進(jìn)行說明。
圖7是示出本實(shí)施方式的移動體控制處理的流程圖。(步驟s101)從攝像部11向圖像輸入部21輸入圖像數(shù)據(jù)。然后,進(jìn)入步驟s102的處理。(步驟s102)姿勢識別部26參照存儲部27中存儲的姿勢模型數(shù)據(jù),判定是否在所輸入的圖像數(shù)據(jù)所表示的圖像中識別出了規(guī)定的姿勢。在判定為姿勢識別部26識別出的情況下(步驟s102“是”),進(jìn)入步驟s103的處理。在判定為姿勢識別部26未能識別的情況下(步驟s102“否”),重復(fù)步驟s101的處理。
(步驟s103)從攝像部11向圖像輸入部21輸入圖像數(shù)據(jù)。然后,進(jìn)入步驟s104的處理。(步驟s104)人體判定部23參照存儲部27中存儲的人體模型數(shù)據(jù),從所輸入的圖像數(shù)據(jù)所表示的圖像中檢測人的像。然后,進(jìn)入步驟s105的處理。(步驟s105)代表點(diǎn)確定部24將所檢測到的人的像中的與軀干相關(guān)的節(jié)點(diǎn)決定為代表點(diǎn)。然后,進(jìn)入步驟s106的處理。
(步驟s106)移動控制部25決定與代表點(diǎn)之間的距離成為規(guī)定距離的移動目標(biāo)點(diǎn)。然后,進(jìn)入步驟s107的處理。(步驟s107)移動控制部25計算從移動體1的基準(zhǔn)點(diǎn)到移動目標(biāo)點(diǎn)的移動量。然后,進(jìn)入步驟s108的處理。(步驟s108)移動控制部25根據(jù)計算出的移動量來驅(qū)動驅(qū)動部13-1、13-2。然后,進(jìn)入步驟s103。
(變形例)
在上述中,以代表點(diǎn)確定部24使用在一個時刻取得的圖像數(shù)據(jù)決定該時刻的代表點(diǎn)的情況為例,但是,代表點(diǎn)確定部24也可以針對攝像部11按照時間序列拍攝到的多個圖像中的每個圖像來分別決定代表點(diǎn)。即,代表點(diǎn)確定部24針對攝像部11按照時間序列拍攝到的多個圖像中的每個圖像,分別提取代表點(diǎn)。移動控制部25根據(jù)代表點(diǎn)確定部24提取出的代表點(diǎn)的位置的時間變化,控制移動體1的移動。
這里,代表點(diǎn)確定部24使用在目前為止的預(yù)定的期間內(nèi)取得的代表點(diǎn)來追蹤當(dāng)前的代表點(diǎn)。追蹤也被稱作跟蹤(tracking)。在追蹤中,代表點(diǎn)確定部24對在目前為止的預(yù)定的期間內(nèi)取得的代表點(diǎn)進(jìn)行線性預(yù)測來計算當(dāng)前的代表點(diǎn)。代表點(diǎn)確定部24使用上述的方法,根據(jù)當(dāng)前取得的圖像數(shù)據(jù)來決定當(dāng)前的代表點(diǎn)。但是,人體判定部23在對提取出的輪廓和人體模型進(jìn)行對照時,將給出與根據(jù)追蹤而決定的代表點(diǎn)相關(guān)的圖像內(nèi)坐標(biāo)的變位量決定為預(yù)測變位量。然后,人體判定部23根據(jù)決定的預(yù)測變位量針對規(guī)定的探索范圍內(nèi)的多個變位量分別計算分?jǐn)?shù),根據(jù)計算出的分?jǐn)?shù)決定最大分?jǐn)?shù)。代表點(diǎn)確定部24計算通過追蹤而決定的代表點(diǎn)和根據(jù)圖像數(shù)據(jù)而決定的代表點(diǎn)之間的距離。代表點(diǎn)確定部24根據(jù)計算出的距離,例如使用最小二乘法來更新線性預(yù)測系數(shù)。
由此,在提取出的輪廓和人體模型的對照中,人體判定部23能夠限制用于探索最大分?jǐn)?shù)的變位量的探索范圍。換言之,能夠減輕如下處理:判定圖像中是否包含人的像,根據(jù)圖像所示的人的像來確定人體的姿勢和位置。即,在圖像中不需要包含人的像的整體。此外,移動體1的振動引起的代表點(diǎn)的偏離被緩和,因此,在移動體1的平移運(yùn)動中能夠高精度地追隨。
另外,在上述中,以代表點(diǎn)確定部24主要將表示人體的軀干的位置的節(jié)點(diǎn)決定為代表點(diǎn)的情況為例,但是,也可以將表示其他的部位的位置的節(jié)點(diǎn)決定為代表點(diǎn)。該情況下,代表點(diǎn)確定部24也可以追蹤當(dāng)前的代表點(diǎn)。在追蹤中,也可以使用表示該節(jié)點(diǎn)的運(yùn)動形態(tài)的運(yùn)動模型來預(yù)測代表點(diǎn)。例如,在使用表示左下肢部的位置的節(jié)點(diǎn)的情況下,運(yùn)動模型包含表示伴隨步行的左下肢部的前后運(yùn)動的系數(shù)。通過使用該運(yùn)動模型,能夠抑制伴隨步行的前后運(yùn)動引起的代表點(diǎn)的變位,能夠估計與平移運(yùn)動對應(yīng)的代表點(diǎn)。
如以上說明的那樣,在移動體1具有本實(shí)施方式的移動體控制裝置20的情況下,該移動體控制裝置20具有攝像部11,該攝像部11對移動體1的周圍的至少一部分進(jìn)行攝像,取得圖像。移動體控制裝置20具有代表點(diǎn)確定部24,該代表點(diǎn)確定部24在攝像部11拍攝到的圖像中包含人的像的情況下,根據(jù)人的像將人的軀干決定為代表點(diǎn)。移動體控制裝置20具有移動控制部25,該移動控制部25根據(jù)由代表點(diǎn)確定部24決定的代表點(diǎn)的圖像內(nèi)的位置,控制移動體的移動。
通過該結(jié)構(gòu),移動體控制裝置20在控制移動體的移動時,能夠利用根據(jù)拍攝到的圖像而決定的人的軀干的位置。因此,能夠通過圖像一元化地掌握復(fù)雜的人的運(yùn)動,捕捉人的平移運(yùn)動,因此,能夠以簡單的結(jié)構(gòu)使移動體追隨人。
在本實(shí)施方式的移動體控制裝置20中,代表點(diǎn)確定部24針對攝像部11按照時間序列拍攝到的多個圖像中的每個圖像,分別提取代表點(diǎn)。移動控制部25能夠根據(jù)代表點(diǎn)確定部24提取出的代表點(diǎn)的位置的時間變化,控制移動體的移動。
通過該結(jié)構(gòu),能夠根據(jù)代表點(diǎn)的位置的時間變化來估計人的運(yùn)動的傾向。通過利用估計出的人的運(yùn)動的傾向,能夠減輕處理。
在本實(shí)施方式的移動體控制裝置20中,姿勢識別部26判定為攝像部11拍攝到的圖像中包含規(guī)定的姿勢的人的像的情況下,使移動控制部25開始基于代表點(diǎn)的移動體的移動的控制。通過該結(jié)構(gòu),人即使不與移動體控制裝置20接觸,也能夠通過采取規(guī)定的姿勢來指示控制的開始。移動體控制裝置20不是必須具有用于受理人進(jìn)行的控制開始的指示的結(jié)構(gòu),因此能夠抑制部件數(shù)量的增加。
在本實(shí)施方式的移動體控制裝置20中,移動控制部25針對代表點(diǎn)和移動體1的基準(zhǔn)點(diǎn)之間的距離,以規(guī)定的距離作為目標(biāo)來控制移動體1的移動。
通過該結(jié)構(gòu),以規(guī)定的距離為目標(biāo)對人與移動體1之間的距離進(jìn)行控制。因此,既能夠在人能夠留意到的范圍內(nèi)對移動體1的位置進(jìn)行控制,又能避免移動體1對人的接觸。
(第2實(shí)施方式)
接著,對本發(fā)明的第2實(shí)施方式進(jìn)行說明。針對與上述的實(shí)施方式相同的結(jié)構(gòu)標(biāo)注相同的標(biāo)號并省略說明。
在本實(shí)施方式的移動體控制裝置20中,在代表點(diǎn)確定部24無法決定代表點(diǎn)的情況下,移動控制部25改變移動體1的朝向。
在代表點(diǎn)確定部24無法決定代表點(diǎn)的情況下,存在以下情況。
(1)人體判定部23無法根據(jù)取得的圖像檢測人的像的情況。該情況中,存在由于人位于攝像部11的視野外而在該圖像中不包含人的像的情況、由于移動體1的振動而在該圖像中產(chǎn)生了“抖動”的情況等。人體判定部23在上述的最大分?jǐn)?shù)低于規(guī)定的分?jǐn)?shù)的閾值的情況下,能夠判定為無法檢測人的像。
(2)代表點(diǎn)確定部24無法根據(jù)檢測到的人的像來決定代表點(diǎn)的情況。該情況中,存在檢測到的人的像中不包含表示檢測對象的軀干的位置的節(jié)點(diǎn)的情況、代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)的深度值z異常的情況(例如為0以下)等。
接著,對移動控制部25改變移動體1的朝向的處理進(jìn)行說明。將改變移動體1的朝向的處理稱作方向變更處理。
圖8和圖9是用于說明本實(shí)施方式的方向變更處理的例子的俯視圖。在方向變更處理的方式中存在如下的方式(1)、(2)。也可以在移動控制部25中預(yù)先設(shè)定執(zhí)行(1)、(2)中的哪一方。
(1)使移動體1后退。如圖8所示,在無法檢測人的像的情況中,存在代表點(diǎn)oh的圖像內(nèi)坐標(biāo)位于圖像的范圍外的情況。這意味著,代表點(diǎn)oh位于攝像部11的視野ov的范圍外。
因此,移動控制部25將移動體1的移動方向決定為后方,使移動體1后退規(guī)定的移動量δd。這里,移動控制部25將移動目標(biāo)點(diǎn)op’決定為從當(dāng)前的基準(zhǔn)點(diǎn)op向后方移動了移動量δd的位置。移動控制部25根據(jù)到所決定的移動目標(biāo)點(diǎn)op’為止的移動量δd來進(jìn)行上述的移動控制。通過使移動體1后退,在前方的水平方向上位于比后退前更寬的范圍內(nèi)的物體包含于攝像部11的視野ov內(nèi)。在圖8所示的例中,在視野ov內(nèi)包含人的像。因此,代表點(diǎn)確定部24能夠再次決定代表點(diǎn)oh。
與代表點(diǎn)確定部24能夠決定代表點(diǎn)oh的距離d’的范圍(例如,0.5-3.5m)相比,移動量δd也可以十分小(例如,0.3m)。通過限制移動量δd,能夠降低移動體1與位于移動體1的后方的物體接觸的可能性。
(2)使移動體1的水平方向變化。在圖9所示的例中,移動控制部25將移動目標(biāo)點(diǎn)op’決定為與基準(zhǔn)點(diǎn)op相同,將目標(biāo)方向δθ決定為從前方右轉(zhuǎn)規(guī)定角度,根據(jù)目標(biāo)方向δθ進(jìn)行上述的移動控制。通過使移動體1向右方轉(zhuǎn)彎,位于移動前的攝像部11的視野ov的右方的物體包含在移動后的視野ov內(nèi)。在圖9所示的例中,視野ov內(nèi)包含人的像。因此,代表點(diǎn)確定部24能夠再次決定代表點(diǎn)oh。另外,目標(biāo)方向δθ不限于右方,也可以是左方。給出目標(biāo)方向δθ的規(guī)定角度也可以是小于攝像部11的視野角的角度。通過重復(fù)方向變更處理,移動體控制裝置20能夠在整周范圍內(nèi)探索有無人的像。
(移動體控制處理)
接著,對本實(shí)施方式的移動體控制處理進(jìn)行說明。
圖10是示出本實(shí)施方式的移動體控制處理的流程圖。
圖10所示的移動體控制處理具有步驟s101-s108的處理和步驟s201-s205的處理。步驟s101-s108的處理與上述的說明同樣。
在步驟s101-s104的處理結(jié)束后,進(jìn)入步驟s201。(步驟s201)人體判定部23判定是否從所輸入的圖像數(shù)據(jù)所表示的圖像中檢測到了人的像。在人體判定部23判定為檢測到的情況下(步驟s201“是”),進(jìn)入步驟s105的處理。在步驟s105的處理結(jié)束后,進(jìn)入步驟s202的處理。在判定為人體判定部23沒有檢測到的情況下(步驟s201“否”),進(jìn)入步驟s203的處理。(步驟s202)代表點(diǎn)確定部24判定是否根據(jù)檢測到的人的像決定了代表點(diǎn)。在代表點(diǎn)確定部24判定為決定了的情況下(步驟s202“是”),進(jìn)入步驟s106的處理。在代表點(diǎn)確定部24判定為沒能決定的情況下(步驟s202“否”),進(jìn)入步驟s203的處理。
(步驟s203)代表點(diǎn)確定部24判定從不能決定代表點(diǎn)的時刻起的經(jīng)過時間是否成為規(guī)定的經(jīng)過時間的閾值(例如,15秒)以上。在代表點(diǎn)確定部24判定為成為了規(guī)定的經(jīng)過時間以上的情況下(步驟s203“是”),結(jié)束圖10所示的處理。在代表點(diǎn)確定部24判定為未成為規(guī)定的經(jīng)過時間的閾值以上的情況下(步驟s203“否”),返回步驟s204的處理。(步驟s204)移動控制部25改變移動體1的朝向。這里,移動控制部25執(zhí)行上述的方向變更處理。然后,進(jìn)入步驟s103的處理。
通過圖10所示的移動體控制處理,移動控制部25改變移動體1的朝向,直到代表點(diǎn)確定部24能夠決定代表點(diǎn)。由此,移動控制部25能夠重新開始使移動體1追隨人的控制。但是,當(dāng)從無法決定代表點(diǎn)的時刻起經(jīng)過了規(guī)定的經(jīng)過時間以上的時間時,移動控制部25停止移動體控制處理。
另外,當(dāng)移動控制部25使移動體1后退時,存在移動目標(biāo)點(diǎn)op’超過規(guī)定的后退范圍的情況。規(guī)定的后退范圍是將從距離d’的范圍的下限dmin’增大預(yù)定的極限值δd的值dmin’+δd作為下限,將從該范圍的上限dmax’減小預(yù)定的極限值δd的值作為上限dmax’+δd的范圍,其中,該距離d’是代表點(diǎn)確定部24能夠決定代表點(diǎn)的距離。該情況下,移動控制部25也可以停止上述的移動體控制處理。由此,代表點(diǎn)確定部24能夠?qū)⒁苿芋w1的移動范圍限制在能夠決定代表點(diǎn)的距離d’的范圍內(nèi)。
(變形例)
接著,對本實(shí)施方式的變形例進(jìn)行說明。移動控制部25也可以根據(jù)在目前為止的規(guī)定期間內(nèi)決定的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y),來決定移動體1的朝向。在前時刻的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的水平方向的一端起的規(guī)定寬度的區(qū)域中的情況下,移動控制部25將移動體的朝向決定為該一端的方向。在前時刻的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的水平方向的另一端起的規(guī)定寬度的區(qū)域中的情況下,移動控制部25將移動體1的朝向決定為該另一端的方向。前時刻是指,對在作為當(dāng)前處理對象的圖像數(shù)據(jù)的緊前所取得的圖像數(shù)據(jù)進(jìn)行處理的時刻。規(guī)定寬度小于圖像的水平方向的大小的一半的大小。在其以外的情況下,移動控制部25判定為使移動體1后退。將決定移動體1的朝向的處理稱作方向決定處理。
圖11是用于說明本變形例的方向決定處理的俯視圖。
箭頭m1、m2、m3分別表示人的運(yùn)動?!驑?biāo)記表示各時刻t的代表點(diǎn)oh(t)。例如,代表點(diǎn)oh(t11)、oh(t12)、oh(t13)分別表示時刻t11、t12、t13的人的位置。
箭頭m1表示人從左方向右方橫切移動體1的前方。到時刻t12為止,人位于攝像部11的視野ov內(nèi),然后,人從視野ov脫離。因此,在時刻t13,代表點(diǎn)確定部24判定為無法決定代表點(diǎn)。然后,移動控制部25從存儲部27讀取前時刻t12的代表點(diǎn)數(shù)據(jù)。讀取的代表點(diǎn)數(shù)據(jù)所表示的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的右端起的規(guī)定寬度的區(qū)域內(nèi)。因此,移動控制部25將移動體1的移動方向決定為右方。然后,移動控制部25將移動體1的朝向向右方變更目標(biāo)方向δθ。
箭頭m2表示人從右方向左方橫切移動體1的前方。到時刻t22為止,人位于攝像部11的視野ov內(nèi),然后,人從視野ov脫離。因此,在時刻t23,代表點(diǎn)確定部24判定為無法決定代表點(diǎn)。然后,移動控制部25從存儲部27讀取前時刻t22的代表點(diǎn)數(shù)據(jù)。讀取的代表點(diǎn)數(shù)據(jù)所表示的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的左端起的規(guī)定寬度的區(qū)域內(nèi)。因此,移動控制部25將移動體1的移動方向判定為左方。然后,移動控制部25將移動體1的朝向向左方變更目標(biāo)方向δθ。
箭頭m3表示人接近移動體1。在時刻t31,人位于攝像部11的移動體1的正面。箭頭m3的終點(diǎn)的×標(biāo)記表示之后代表點(diǎn)確定部24無法決定代表點(diǎn)。此時,移動控制部25從存儲部27讀取代表點(diǎn)數(shù)據(jù)。代表點(diǎn)數(shù)據(jù)所表示的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)位于圖像的大致中央部,因此,既不包含于從圖像的左端起的規(guī)定寬度的區(qū)域內(nèi),也不包含于從圖像的右端起的規(guī)定寬度的區(qū)域內(nèi)。因此,移動控制部25判定為使移動體1后退。然后,移動控制部25使移動體1后退移動量δd。
接著,以通過箭頭m1表示人的移動的情況為例,對攝像部11拍攝到的圖像的例子進(jìn)行說明。圖12是示出攝像部11拍攝到的圖像的例子的圖。
圖12的(a)表示在時刻t12拍攝到的圖像im12。圖像im12表示從左方向右方移動的人h。cm表示代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y),代表圖像im12中的人h的位置。人h的像包含在圖像im12的相比于左端而更接近右端的位置。
圖12的(b)示出在時刻t13拍攝到的圖像im13。人h的像不包含于圖像im13。虛線表示假設(shè)視野達(dá)到該部分時,所識別的人h的像。由于人h的像,進(jìn)而代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于圖像im13,因此,代表點(diǎn)確定部24判定為不能決定代表點(diǎn)。然后,移動控制部25從存儲部27讀取前時刻t12的代表點(diǎn)數(shù)據(jù)。讀取的代表點(diǎn)數(shù)據(jù)所表示的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的右端起的規(guī)定寬度的區(qū)域內(nèi)。因此,移動控制部25將移動體1的移動方向判定為右方。然后,移動控制部25將移動體1的朝向向右方變更目標(biāo)方向δθ。
圖12的(c)示出在時刻t14拍攝到的圖像im14。通過使攝像部11的朝向向右方旋轉(zhuǎn),人包含于攝像部11的視野ov內(nèi)。因此,代表點(diǎn)確定部24能夠再次決定代表點(diǎn)。
(方向決定處理)
接著,對本變形例的方向決定處理進(jìn)行說明。在步驟s203(圖10)中代表點(diǎn)確定部24判定為未成為規(guī)定的經(jīng)過時間的閾值以上的情況下(步驟s203“否”),移動控制部25開始以下說明的方向決定處理。
圖13是示出本變形例的方向決定處理的流程圖。(步驟s211)移動控制部25從存儲部27讀取前時刻的代表點(diǎn)數(shù)據(jù)。然后,進(jìn)入步驟s212。
(步驟s212)移動控制部25判定讀取的代表點(diǎn)數(shù)據(jù)的代表點(diǎn)的方向。這里,代表點(diǎn)數(shù)據(jù)所表示的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的右端起的規(guī)定的區(qū)域內(nèi)的情況下,移動控制部25將代表點(diǎn)的方向判定為右方。在代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的左端起的規(guī)定的區(qū)域內(nèi)的情況時,移動控制部25將代表點(diǎn)的方向判定為左方。在代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)既不包含于從圖像的左端起的規(guī)定的區(qū)域內(nèi),也不包含于從圖像的右端起的規(guī)定的區(qū)域內(nèi)的情況下,不能判定代表點(diǎn)的方向。然后,進(jìn)入步驟s213。
(步驟s213)在移動控制部25判定出的代表點(diǎn)的方向是左方的情況下(步驟s213左),進(jìn)入步驟s214的處理。在不能判定代表點(diǎn)的方向的情況下(步驟s213不能判定),進(jìn)入步驟s215的處理。在移動控制部25判定出的代表點(diǎn)的方向是右方的情況下(步驟s213右),進(jìn)入步驟s216的處理。
(步驟s214)移動控制部25設(shè)定用于使移動體1的朝向向左方的目標(biāo)方向δθ。然后,進(jìn)入步驟s204(圖10)的處理。
(步驟s215)移動控制部25設(shè)定用于使移動體1后退的移動量δd。然后,進(jìn)入步驟s204的處理。
(步驟s216)移動控制部25設(shè)定用于使移動體的朝向向右方的目標(biāo)方向δθ。然后,進(jìn)入步驟s204(圖10)的處理。
根據(jù)上述的方向決定處理,在前時刻決定的代表點(diǎn)的圖像內(nèi)坐標(biāo)(x,y)包含于從圖像的水平方向的一端起的規(guī)定寬度的區(qū)域內(nèi)的情況下,移動控制部25將移動體1的朝向決定為該一端的方向。然后,移動控制部25使移動體1向所決定的方向移動。由此,通過使移動體1向人最近的方向移動,能夠以較小的移動量對人再次進(jìn)行識別。
在前時刻決定的代表點(diǎn)的代表像素不包含于分別從圖像的水平方向的兩端起的規(guī)定寬度的區(qū)域內(nèi)的情況下,移動控制部25判定為使移動體1后退。然后,移動控制部25使移動體1后退。由此,移動控制部25能夠根據(jù)對更寬的區(qū)域進(jìn)行拍攝得到的圖像得到再次對人進(jìn)行識別的線索。
另外,在上述中,以移動控制部25根據(jù)在前時刻決定的代表點(diǎn)來決定移動體1的朝向的情況為例,但不限于此。移動控制部25也可以根據(jù)在從當(dāng)前起規(guī)定時間內(nèi)(例如,2秒)的多個時刻分別決定的代表點(diǎn),來決定移動體1的朝向。
由此,代表點(diǎn)確定部24在暫時無法決定代表點(diǎn)時,也能夠利用在過去的某時刻決定的代表點(diǎn)。因此,移動控制部25能夠穩(wěn)定地決定移動體1的朝向。
(物體檢測部的設(shè)置)
如圖14所示,也可以在移動體1上還設(shè)置有物體檢測部16。
圖14是示出本變形例的移動體1的結(jié)構(gòu)的俯視圖。物體檢測部16設(shè)置在基臺15上,檢測位于其周圍的檢測范圍內(nèi)的物體。物體檢測部16能夠檢測物體的檢測范圍od朝向移動體1的后方。檢測范圍od朝向與攝像部11的視野ov彼此相反的方向,不具有與視野ov重疊的部分。因此,物體檢測部16能夠檢測位于后方的物體。物體檢測部16將表示檢測到的物體的位置的物標(biāo)數(shù)據(jù)輸出到移動體控制裝置20。物體檢測部16例如是雷達(dá)裝置、紅外線傳感器、磁傳感器等。另外,物體檢測部16也可以能夠相對于基臺15拆裝。
圖15是本變形例的移動體控制裝置20的框圖。移動體控制裝置20相對于圖3所示的移動體控制裝置20,還具有檢測信號輸入部28。
檢測信號輸入部28將從物體檢測部16輸入的物標(biāo)數(shù)據(jù)逐次存儲到存儲部27。檢測信號輸入部28例如是輸入輸出接口。檢測信號輸入部28也可以是與圖像輸入部21共用的輸入輸出接口。
移動控制部25從存儲部27讀取物標(biāo)數(shù)據(jù)。移動控制部25計算代表點(diǎn)確定部24決定的代表點(diǎn)與讀取的物標(biāo)數(shù)據(jù)所表示的位置之間的距離。在計算出的距離為規(guī)定的距離的閾值(例如,0.5m)以下的情況下,移動控制部25將指示驅(qū)動的停止的驅(qū)動停止信號輸出到驅(qū)動部13-1、13-2。
驅(qū)動部13-1、13-2在從移動控制部25輸入了驅(qū)動停止信號時,使車輪14-1、14-2的旋轉(zhuǎn)停止。
由此,移動控制部25能夠檢測攝像部11的視野中未包含的后方的物體的位置。移動控制部25在使移動體1后退而接近了檢測到的物體時,能夠使移動體1的移動停止。因此,移動體控制裝置20能夠避免移動體1與檢測到的物體接觸。
如以上說明的那樣,在本實(shí)施方式的移動體控制裝置20中,在作為控制對象的移動體1的移動中包含移動體1的移動方向。在代表點(diǎn)確定部24無法決定代表點(diǎn)的情況下,移動控制部25改變移動體1的朝向。
通過該結(jié)構(gòu),能夠使移動體1向攝像部11拍攝到的圖像中包含人的像的位置或方向移動。代表點(diǎn)確定部24能夠再次決定代表點(diǎn),因此,移動控制部25能夠重新開始移動體1的控制。
(第3實(shí)施方式)
接著,對本發(fā)明的第3實(shí)施方式進(jìn)行說明。對于上述的實(shí)施方式相同的結(jié)構(gòu)標(biāo)注相同的標(biāo)號并省略說明。
圖16是示出本實(shí)施方式的移動體控制裝置20的結(jié)構(gòu)的框圖。
本實(shí)施方式的移動體控制裝置20構(gòu)成為,相對于圖3所示的移動體控制裝置20,還包括通知信息輸出部(控制部)29。移動體控制裝置20還可以具有通知部31。
代表點(diǎn)確定部24在無法決定代表點(diǎn)的情況下,將表示無法決定代表點(diǎn)的錯誤數(shù)據(jù)存儲到存儲部27中。
通知信息輸出部29監(jiān)視是否在目前為止的規(guī)定時間內(nèi)在存儲部27中存儲了錯誤數(shù)據(jù)。在通知信息輸出部29檢測到存儲了錯誤數(shù)據(jù)的情況下,生成通知信息數(shù)據(jù)。通知信息數(shù)據(jù)是表示如下信息的數(shù)據(jù),該信息表示對人催促進(jìn)行規(guī)定的姿勢。通知信息的形式例如是表示該意思的文本、圖像、聲音、光線的閃爍等。通知信息輸出部29將生成的通知信息數(shù)據(jù)輸出到通知部31。
通知部31通知從通知信息輸出部29輸入的通知信息數(shù)據(jù)所表示的通知信息。通知部31具有與通知信息的形式對應(yīng)的結(jié)構(gòu)。例如,在通知信息的形式是文本或圖像的情況下,通知部31具有顯示器。在通知信息的形式是聲音的情況下,通知部31具有揚(yáng)聲器。在通知信息的形式是光線的閃爍的情況下,通知部31具有燈。
(移動體控制處理)
接著,對本實(shí)施方式的移動體控制處理進(jìn)行說明。
圖17是示出本實(shí)施方式的移動體控制處理的流程圖。
本實(shí)施方式的移動體控制處理具有步驟s101-s108的處理和步驟s301、s302的處理。步驟s101-s108的處理與上述的說明相同。
在步驟s101-s104的處理結(jié)束后,進(jìn)入步驟s301的處理。
(步驟s301)人體判定部23判定是否從所輸入的圖像數(shù)據(jù)所表示的圖像中檢測到了人的像。在人體判定部23判定為檢測到的情況下(步驟s301“是”),進(jìn)入步驟s105的處理。在人體判定部23判定為沒有檢測到的情況下(步驟s301“否”),進(jìn)入步驟s302的處理。
(步驟s302)通知信息輸出部29生成表示催促進(jìn)行規(guī)定的姿勢的通知信息數(shù)據(jù),將生成的通知信息數(shù)據(jù)輸出到通知部31。通知部31通知從通知信息輸出部29輸入的通知信息數(shù)據(jù)所表示的通知信息。然后,返回步驟s101。
如以上說明的那樣,在本實(shí)施方式的移動體控制裝置20中,在代表點(diǎn)確定部24無法決定代表點(diǎn)的情況下,通知信息輸出部29輸出催促規(guī)定的姿勢的通知。
通過該結(jié)構(gòu),在代表點(diǎn)確定部24無法決定代表點(diǎn)的情況下,向位于移動體控制裝置20的周圍的人通知催促規(guī)定的姿勢的信息。因此,被通知的人在攝像部11的視野內(nèi)進(jìn)行規(guī)定的姿勢,從而能夠重新開始移動控制部25對移動體1的移動的控制。
以上,參照附圖對本發(fā)明的實(shí)施方式和變形例進(jìn)行了說明,但是,具體的結(jié)構(gòu)不限于上述的實(shí)施方式和變形例,能夠在不脫離本發(fā)明的主旨的范圍內(nèi)進(jìn)行各種設(shè)計變更等。
例如,也可以是,基準(zhǔn)點(diǎn)op到代表點(diǎn)oh的距離d’越大,則移動控制部25使移動體1移動的速度v越快。
圖18是示出相對于距離d’的速度v的目標(biāo)值的例子的圖。縱軸、橫軸分別表示速度v的目標(biāo)值、距離d’。在圖18所示的例中,速度v的目標(biāo)值與距離d’成比例。移動控制部25生成表示根據(jù)距離d而決定的速度v的目標(biāo)值的驅(qū)動信號,將所生成的驅(qū)動信號輸出到驅(qū)動部13-1、13-2。驅(qū)動部13-1、13-2以與從移動控制部25輸入的驅(qū)動信號所表示的速度v的目標(biāo)值成比例的旋轉(zhuǎn)速度使車輪14-1、14-2旋轉(zhuǎn)。
這樣,距離d’越大,則移動控制部25越提高使移動體1移動的速度v,從而能夠使移動體1盡快追隨人。距離d’越小,則移動控制部25越降低使移動體1移動的速度v,從而能夠降低移動體1與人接觸的可能性。另外,在圖18所示的例中,速度v的目標(biāo)值被定義在下限dmin到上限dmax之間。dmin、dmax分別是距離d’的下限、上限。是距離d’的下限、上限。vmin、vmax分別是速度v的目標(biāo)值的下限、上限。在距離d’小于下限dmin的情況下,或大于上限dmax的情況下,移動控制部25將速度v的目標(biāo)值決定為0。這是因為,在該情況下,代表點(diǎn)確定部24無法決定代表點(diǎn)。
另外,上述的實(shí)施方式和變形例的移動體控制裝置20也可以代替姿勢識別部26而具有操作輸入部,或者同時具有姿勢識別部26和操作輸入部。當(dāng)操作輸入部檢測到人的操作時,移動體控制裝置20開始上述的移動體控制處理。操作輸入部也可以構(gòu)成為包括按鈕、鼠標(biāo)、觸摸面板等指向設(shè)備。因此,通過由人進(jìn)行操作,即使不進(jìn)行規(guī)定的姿勢也能夠指示移動體控制處理的開始。
上述的實(shí)施方式和變形例也可以任意組合。例如,第2實(shí)施方式的移動體控制裝置20也可以具有第3實(shí)施方式的通知信息輸出部29,能夠從通知部31通知通知信息。該情況下,圖10所示的移動體控制處理也可以具有步驟s302(圖17)的處理。而且,在步驟s203中代表點(diǎn)確定部24判定為成為規(guī)定的經(jīng)過時間以上的情況下(步驟s203“是”),也可以進(jìn)入步驟s302的處理。
另外,關(guān)于上述的實(shí)施方式中的移動體控制裝置20所具有的各部的功能整體或其一部分,也可以通過將用于實(shí)現(xiàn)這些功能的程序記錄在計算機(jī)可讀取的記錄介質(zhì)中,使計算機(jī)系統(tǒng)讀入該記錄介質(zhì)中記錄的程序并執(zhí)行來實(shí)現(xiàn)。另外,這里所說的“計算機(jī)系統(tǒng)”不限于cpu(centralprocessingunit:中央處理器)等控制裝置,還包含os(operatingsystem:操作系統(tǒng))、周邊設(shè)備等硬件。
“計算機(jī)可讀取的記錄介質(zhì)”是指軟盤、光磁盤、rom、cd-rom等可移動介質(zhì)、計算機(jī)系統(tǒng)中內(nèi)置的硬盤等存儲部。進(jìn)而“計算機(jī)可讀取的記錄介質(zhì)”還可以包含:如經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)或電話回線等通信回線而發(fā)送程序的情況下的通信線那樣,短時間內(nèi)動態(tài)保持程序的介質(zhì),以及如該情況下的服務(wù)器和作為客戶端的計算機(jī)系統(tǒng)內(nèi)部的易失性存儲器那樣,在一定時間內(nèi)保持程序的介質(zhì)。上述程序可以用于實(shí)現(xiàn)前述的功能的一部分,進(jìn)而,也可以是,與計算機(jī)系統(tǒng)中已經(jīng)記錄的程序進(jìn)行組合來實(shí)現(xiàn)前述的功能。
標(biāo)號說明
1…移動體、11…攝像部、13-1、13-2…驅(qū)動部、14-1、14-2、14-3…車輪、15…基臺、16…物體檢測部、20…移動體控制裝置、21…圖像輸入部、22…對象確定部、23…人體判定部、24…代表點(diǎn)確定部、25…移動控制部、26…姿勢識別部、27…存儲部、28…檢測信號輸入部、29…通知信息輸出部、31…通知部。