專(zhuān)利名稱(chēng)：遠(yuǎn)程操作機(jī)器人及機(jī)器人自己位置識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)器人的控制及利用技術(shù)，特別涉及，比如，置于建筑物中，可以從遠(yuǎn)地，比如，經(jīng)因特網(wǎng)進(jìn)行遠(yuǎn)程操作的機(jī)器人的控制及利用技術(shù)，以及用來(lái)正確認(rèn)識(shí)機(jī)器人現(xiàn)在的位置和方向的機(jī)器人自己位置識(shí)別方法。
背景技術(shù)：
歷來(lái)，為了從遠(yuǎn)地監(jiān)視空宅等一直使用因特網(wǎng)攝像機(jī)(頭)。不過(guò)，存在的問(wèn)題是因特網(wǎng)攝像機(jī)的設(shè)置地點(diǎn)是固定的，在想要觀察建筑物中的各個(gè)房間時(shí)，必須針對(duì)全部房間設(shè)置攝像機(jī)，并且多個(gè)攝像機(jī)和主計(jì)算機(jī)的連接復(fù)雜，成本增大。
另外，為了從遠(yuǎn)地對(duì)空宅用的家用電器進(jìn)行操作，正在開(kāi)發(fā)可以與LAN連接的信息家電，但存在的問(wèn)題是對(duì)不能與LAN相連接的現(xiàn)有的電器不能進(jìn)行操作。
還有，比如，對(duì)于可在建筑物中移動(dòng)的自主移動(dòng)型機(jī)器人，為了進(jìn)行用戶指示的作業(yè)，首先必須識(shí)別自己的位置。并且，一般為了使機(jī)器人自主移動(dòng)，必須有機(jī)器人易于識(shí)別的白線等的地標(biāo)。
可是一直存在的問(wèn)題是，對(duì)于一般的住宅等等而言，不可能在住宅內(nèi)繪制特征性的地標(biāo)，并且即使是將已有的特征點(diǎn)作為地標(biāo)進(jìn)行記錄，由于機(jī)器人的位置引起的攝像機(jī)的圖像上對(duì)象物的大小的改變，只從圖像簡(jiǎn)單判斷地標(biāo)是困難的。
本發(fā)明系有鑒于上述問(wèn)題而完成的發(fā)明，其目的在于提供一種可以以比較低廉的成本和簡(jiǎn)單的結(jié)構(gòu)實(shí)現(xiàn)從遠(yuǎn)地簡(jiǎn)單地指示在建筑物內(nèi)機(jī)器人應(yīng)該移動(dòng)的目的位置，并且具有可以從遠(yuǎn)地對(duì)各房間進(jìn)行監(jiān)視，對(duì)各房間中的家用電器進(jìn)行操作的功能的遠(yuǎn)程操作機(jī)器人，以及機(jī)器人可以正確固定自己的位置和取向的機(jī)器人自己位置識(shí)別方法。

發(fā)明內(nèi)容
圖1為本發(fā)明的原理構(gòu)成框圖，機(jī)器人1包括布置圖存放設(shè)備2、通信設(shè)備3以及移動(dòng)控制設(shè)備4。
布置圖存放設(shè)備2是存放建筑物，比如，住宅的布置圖的裝置，通信設(shè)備3是從遠(yuǎn)方一側(cè)經(jīng)網(wǎng)絡(luò)接受從該遠(yuǎn)方一側(cè)指示在該布置圖內(nèi)的位置的裝置，而移動(dòng)控制設(shè)備4是控制機(jī)器人向指示的位置移動(dòng)的裝置。
在本發(fā)明的實(shí)施方式中，遠(yuǎn)程操作機(jī)器人也可以具有用來(lái)根據(jù)障礙物傳感器的臺(tái)階檢測(cè)結(jié)果，跨越在建筑物內(nèi)存在的臺(tái)階的臺(tái)階跨越設(shè)備。另外，機(jī)器人還具有識(shí)別在建筑物內(nèi)的現(xiàn)在的位置和方向的自己位置識(shí)別設(shè)備，移動(dòng)控制設(shè)備4可以根據(jù)該識(shí)別結(jié)果控制機(jī)器人的移動(dòng)。
在本發(fā)明中，圖1的通信設(shè)備3也可以從遠(yuǎn)方一側(cè)的終端接受對(duì)建筑物內(nèi)的布置圖內(nèi)的房間的指示，在此場(chǎng)合，移動(dòng)控制設(shè)備4可控制機(jī)器人向指定的房間，比如，入口進(jìn)行移動(dòng)。
另外，本發(fā)明的遠(yuǎn)程操作機(jī)器人，也可具有對(duì)建筑物內(nèi)的圖像進(jìn)行拍攝的圖像攝影設(shè)備和定期或不定期地將在建筑物內(nèi)巡回時(shí)利用圖像攝影設(shè)備拍攝的圖像，從外部經(jīng)網(wǎng)絡(luò)發(fā)送到具有可參照的存儲(chǔ)器的計(jì)算機(jī)，比如與因特網(wǎng)相連接的Web服務(wù)器，的通信設(shè)備?；蛘咭部梢允窃跈C(jī)器人本身內(nèi)部具有這種計(jì)算機(jī)，比如Web服務(wù)器。
在此場(chǎng)合，在實(shí)施方式中也可以具有用來(lái)使圖像攝影設(shè)備的拍攝方向改變的轉(zhuǎn)動(dòng)設(shè)備和用來(lái)與圖像攝影設(shè)備的拍攝方向并行地對(duì)機(jī)器，比如，家用電器進(jìn)行操作用的可進(jìn)行紅外線發(fā)射/接收的紅外線發(fā)射/接收設(shè)備。并且，也可以具有上述的臺(tái)階跨越設(shè)備。
此外，在此場(chǎng)合，在通信設(shè)備收到自外部經(jīng)因特網(wǎng)發(fā)送來(lái)的振鈴信號(hào)次數(shù)達(dá)到預(yù)先規(guī)定的次數(shù)時(shí)，也可以啟動(dòng)上述的計(jì)算機(jī)，比如Web服務(wù)器。
其次，本發(fā)明的遠(yuǎn)程操作機(jī)器人，具有存放分別與機(jī)器人的大于等于一個(gè)動(dòng)作相對(duì)應(yīng)的腳本程序的腳本存放設(shè)備和接受來(lái)自外部的關(guān)于執(zhí)行所存放的某一程序的指示的通信設(shè)備。
本發(fā)明的遠(yuǎn)程操作機(jī)器人，具有接受建筑物內(nèi)的人員，比如，住宅的居住者，對(duì)外部發(fā)出的緊急時(shí)的聯(lián)絡(luò)指示的指示接受設(shè)備和根據(jù)該指示與預(yù)先確定的外部終端進(jìn)行緊急聯(lián)絡(luò)的通信設(shè)備。
在此場(chǎng)合，在實(shí)施方式中，機(jī)器人也可以具有對(duì)建筑物內(nèi)的圖像進(jìn)行拍攝的圖像攝影設(shè)備，用來(lái)使圖像攝影設(shè)備的拍攝方向改變的轉(zhuǎn)動(dòng)設(shè)備，以及根據(jù)來(lái)自外部的對(duì)拍攝方向的指示將利用圖像攝影設(shè)備拍攝的圖像發(fā)送到外部的通信設(shè)備。
本發(fā)明的機(jī)器人自己位置識(shí)別方法是由裝載圖像拍攝方向可以改變的像機(jī)的機(jī)器人執(zhí)行的方法，使用的是預(yù)先對(duì)機(jī)器人可能在其中移動(dòng)的各房間的全景圖像進(jìn)行拍攝，從該全景圖像切出多個(gè)分塊圖像生成參照?qǐng)D像，利用在機(jī)器人所在的位置拍攝的全景圖像內(nèi)與該分塊圖像同樣大小的圖像和參照?qǐng)D像，通過(guò)相關(guān)運(yùn)算和DP匹配識(shí)別機(jī)器人所在的房間的方法。
在此場(chǎng)合，在實(shí)施方式中，也可以將在房間內(nèi)預(yù)先拍攝的地標(biāo)的圖像作為參照樣板，求出在機(jī)器人所在的位置拍攝的圖像上的該地標(biāo)的位置，通過(guò)立體觀測(cè)計(jì)測(cè)到地標(biāo)的距離，識(shí)別在所識(shí)別的房間中的自己的位置和方向。
另外，在實(shí)施方式中，也可以抽取所拍攝的地標(biāo)的圖像內(nèi)的縱線，利用兩個(gè)像機(jī)的拍攝方向與其縱線的方向形成的角，精密地識(shí)別機(jī)器人的位置和方向。
如上所述，根據(jù)本發(fā)明，比如，可以從遠(yuǎn)方一側(cè)給出在建筑物內(nèi)的布置圖中機(jī)器人應(yīng)該移動(dòng)的目的地位置或目的房間的指示。并且，通過(guò)利用機(jī)器人可能于其中移動(dòng)的各房間的全景圖像，可以識(shí)別機(jī)器人存在的房間。


圖1為本發(fā)明的原理構(gòu)成框圖。
圖2為本實(shí)施方式的遠(yuǎn)程操作機(jī)器人的構(gòu)成框圖。
圖3為從遠(yuǎn)方進(jìn)行的機(jī)器人操作方式的說(shuō)明圖。
圖4為遠(yuǎn)程操作機(jī)器人的外觀圖。
圖5為示出遠(yuǎn)程操作機(jī)器人的內(nèi)部構(gòu)造的示圖。
圖6為示出遠(yuǎn)程操作機(jī)器人的部件構(gòu)成的示圖。
圖7為針對(duì)對(duì)移動(dòng)目的地的位置的機(jī)器人的處理流程圖。
圖8為圖7的處理中的遠(yuǎn)方一側(cè)終端的布置圖的顯示例。
圖9為指示移動(dòng)目的房間的名稱(chēng)時(shí)的機(jī)器人的處理流程圖。
圖10為與圖9的處理相對(duì)應(yīng)的遠(yuǎn)方一側(cè)終端的顯示畫(huà)面例。
圖11為房間的全景圖像拍攝方法的說(shuō)明圖。
圖12為機(jī)器人所在房間的識(shí)別處理的流程圖。
圖13為在識(shí)別處理中使用的圖像相關(guān)運(yùn)算的說(shuō)明圖。
圖14為在識(shí)別所在的房間后的機(jī)器人位置的概略識(shí)別處理的流程圖。
圖15為在識(shí)別所在的房間后的機(jī)器人位置的精密識(shí)別處理的流程圖。
圖16為在圖14、圖15的處理中求得的機(jī)器人的位置的說(shuō)明圖。
圖17為利用機(jī)器人對(duì)遠(yuǎn)方進(jìn)行緊急聯(lián)絡(luò)處理的流程圖。
圖18為從遠(yuǎn)方一側(cè)確認(rèn)由機(jī)器人拍攝的圖像的方法(其一)的說(shuō)明圖。
圖19為從遠(yuǎn)方一側(cè)確認(rèn)由機(jī)器人拍攝的圖像的方法(其二)的說(shuō)明圖。
圖20為使機(jī)器人執(zhí)行預(yù)先編程的動(dòng)作的方法的說(shuō)明圖。
具體實(shí)施例方式
圖2為本實(shí)施方式的遠(yuǎn)程操作機(jī)器人的構(gòu)成框圖。在該圖中，機(jī)器人具有控制用計(jì)算機(jī)10；移動(dòng)機(jī)構(gòu)11；用來(lái)對(duì)機(jī)器人的周?chē)M(jìn)行攝影的像機(jī)12；用來(lái)調(diào)整像機(jī)的水平轉(zhuǎn)動(dòng)角度及仰角或俯角的全景(パンチルト)云臺(tái)13；比如與像機(jī)12設(shè)置在同一云臺(tái)上，與像機(jī)12的拍攝方向并行地發(fā)送紅外線，為學(xué)習(xí)遙控?cái)?shù)據(jù)接收紅外線的紅外線收發(fā)機(jī)14；無(wú)線通信部15；輸入裝置16；指點(diǎn)裝置17；顯示裝置18；各種開(kāi)關(guān)19以及各種傳感器20。
在圖2中，像機(jī)12，比如，是攝像機(jī)，紅外線收發(fā)機(jī)14設(shè)置于像機(jī)12的附近，可以在與該拍攝方向相同的方向上發(fā)送紅外線。該臺(tái)可利用作為像機(jī)轉(zhuǎn)動(dòng)機(jī)構(gòu)的全景云臺(tái)13朝向任意方向，比如可從遠(yuǎn)方在觀看像機(jī)12的圖像的同時(shí)為操作該方向的家用電器發(fā)送紅外線。
無(wú)線通信部15是為了可以借助便攜式電話、PDA(個(gè)人數(shù)字助理)等的便攜式信息終端或個(gè)人計(jì)算機(jī)等執(zhí)行這種從遠(yuǎn)方進(jìn)行的操作的通信的裝置。
圖3為從遠(yuǎn)方進(jìn)行的機(jī)器人操作方式的說(shuō)明圖。在本實(shí)施方式中，可以經(jīng)網(wǎng)絡(luò)，比如因特網(wǎng)，從遠(yuǎn)方操作機(jī)器人，因此在機(jī)器人一側(cè)設(shè)置Web服務(wù)器。
在圖3中，在圖2的機(jī)器人控制用計(jì)算機(jī)10的內(nèi)部設(shè)置有Web服務(wù)器21，和執(zhí)行控制操作的操作執(zhí)行部22之間配置有CGI(公共網(wǎng)關(guān)接口)及ISAPI(因特網(wǎng)服務(wù)器應(yīng)用程序編程接口)等的接口23。于是可以從遠(yuǎn)方通過(guò)Web瀏覽器24、因特網(wǎng)25訪問(wèn)Web服務(wù)器21。
在圖3中，從Web瀏覽器24一側(cè)通過(guò)菜單選擇連接到因特網(wǎng)25，在Web服務(wù)器21中根據(jù)來(lái)自Web瀏覽器24一側(cè)的指示調(diào)用CGI/ISAPI23，在CGI/ISAPI23中命令形式改變?yōu)檫m于機(jī)器人操作的形式并由操作執(zhí)行部22執(zhí)行指令。
從控制用計(jì)算機(jī)10一側(cè)將從操作執(zhí)行部22送回的狀態(tài)及圖像數(shù)據(jù)發(fā)送到CGI/ISAPI23，改變數(shù)據(jù)形式，由Web服務(wù)器21經(jīng)過(guò)因特網(wǎng)25作為html文件提供給Web瀏覽器24一側(cè)，在Web瀏覽器24一側(cè)進(jìn)行菜單顯示及圖像顯示。
圖4為遠(yuǎn)程操作機(jī)器人的外觀圖。左側(cè)示出其前面的外觀，而右側(cè)示出其后面的外觀。在前面配置有與圖2的像機(jī)12相當(dāng)?shù)牧Ⅲw像機(jī)31、與紅外線收發(fā)機(jī)14相當(dāng)?shù)募译娺b控器32、與各種開(kāi)關(guān)19相當(dāng)?shù)碾娫撮_(kāi)關(guān)33、菜單開(kāi)關(guān)34、用作障礙物檢測(cè)傳感器的緩沖器開(kāi)關(guān)35以及，如后所述，建筑物居民用來(lái)與外部進(jìn)行緊急聯(lián)絡(luò)的緊急按鈕36。
另外，移動(dòng)部37與移動(dòng)機(jī)構(gòu)11相當(dāng)，監(jiān)視器38與顯示裝置18相當(dāng)，近程傳感器39與各種傳感器20相當(dāng)，并且還配置有送話器40、揚(yáng)聲器41及軌跡指示器42。在后面配置有與圖2的全景云臺(tái)13相對(duì)應(yīng)的全景云臺(tái)單元43。
圖5示出遠(yuǎn)程操作機(jī)器人的內(nèi)部構(gòu)造。在該圖中示出與圖4的立體像機(jī)31相當(dāng)?shù)腢SB像機(jī)，與近程傳感器39相當(dāng)?shù)臏y(cè)距傳感器以及與監(jiān)視器38相當(dāng)?shù)腖CD。
在本實(shí)施方式中，通過(guò)配置左右各一個(gè)履帶和大于等于一個(gè)的可自由轉(zhuǎn)動(dòng)的從動(dòng)輪(輔助輪)作為移動(dòng)機(jī)構(gòu)11，使用了機(jī)器人可以跨越障礙物及臺(tái)階而移動(dòng)的機(jī)構(gòu)。此履帶，是可以在垂直車(chē)輪轉(zhuǎn)動(dòng)軸的中心的平面內(nèi)轉(zhuǎn)動(dòng)的結(jié)構(gòu)，在信地轉(zhuǎn)動(dòng)時(shí)，與履帶的形式相比就如同是左右兩個(gè)車(chē)輪那樣動(dòng)作。并且，其結(jié)構(gòu)，由于輔助輪可以以點(diǎn)接觸方式接觸地面，接地點(diǎn)穩(wěn)定，整個(gè)機(jī)器人的信地轉(zhuǎn)動(dòng)中心穩(wěn)定，可以跨越比機(jī)器人的構(gòu)體底面的高度更高的障礙物。另外，作為跨越臺(tái)階的機(jī)構(gòu)，當(dāng)然也可以采用其他公知的技術(shù)。
圖6為示出遠(yuǎn)程操作機(jī)器人的部件構(gòu)成的示圖。在該圖中，CPU基板51上的主CPU53和擴(kuò)展基板52上的MPU控制器65相當(dāng)于圖2的控制用計(jì)算機(jī)10，圖3所示的控制用計(jì)算機(jī)10的內(nèi)部的Web服務(wù)器21，比如，可以以主CPU53為中心構(gòu)成?；蛘撸绾笏?，可以將Web服務(wù)器與機(jī)器人分開(kāi)設(shè)置，在該場(chǎng)合，在機(jī)器人和因特網(wǎng)之間另外配置服務(wù)器計(jì)算機(jī)。
在圖6中，與主CPU53相連接的有指點(diǎn)裝置54；用戶擴(kuò)展用USB(通用串口總線)端口55；與送話器56和揚(yáng)聲器57連接的聲音編碼譯碼器58；連接了LCD59的LCD接口60；以及分別通過(guò)控制部的CF(CF存儲(chǔ)卡)61和通信模塊62。
另外，在MPU控制器65及HUB64上配置有CMOS像機(jī)66；用來(lái)控制圖2的全景云臺(tái)13的轉(zhuǎn)動(dòng)的兩個(gè)電動(dòng)機(jī)67；用來(lái)使作為移動(dòng)機(jī)構(gòu)11的圖5的履帶及從動(dòng)輪轉(zhuǎn)動(dòng)的三個(gè)電動(dòng)機(jī)68；裝載LED及按鈕開(kāi)關(guān)的開(kāi)關(guān)輔助基板69；距離傳感器70；全景(水平轉(zhuǎn)動(dòng)角)用電位器71；傾斜(仰俯角)用電位器72；紅外線發(fā)送器73；紅外線接收器74；與AC適配器75和電池76相連接的DC/DC充電電路77。
圖7為針對(duì)在本實(shí)施方式中，從遠(yuǎn)方接收到與布置圖相對(duì)應(yīng)的對(duì)移動(dòng)目的地的位置的指示的場(chǎng)合的機(jī)器人的處理的說(shuō)明圖。在該圖中，在機(jī)器人一側(cè)，預(yù)先將建筑物的布置圖存放于存儲(chǔ)器中，將該布置圖的圖像傳送到遠(yuǎn)方的客戶機(jī)的終端一側(cè)，客戶機(jī)通過(guò)向機(jī)器人一側(cè)指示布置圖上的移動(dòng)目的地位置，執(zhí)行用來(lái)使機(jī)器人向著該目的地移動(dòng)的處理。
在圖7中在處理開(kāi)始時(shí)，首先在步驟S1中進(jìn)行機(jī)器人對(duì)自己位置的測(cè)定。關(guān)于這一自己位置測(cè)定見(jiàn)后述。于是，在步驟S2中從遠(yuǎn)方的客戶機(jī)一側(cè)接收，在該客戶機(jī)一側(cè)比如可在移動(dòng)終端上顯示的圖像尺寸的數(shù)據(jù)的發(fā)送。
接著，在步驟S3中，將保持于存儲(chǔ)器上的布置像的尺寸利用從客戶機(jī)一側(cè)發(fā)送來(lái)的圖像尺寸的數(shù)據(jù)變換為該尺寸，保存該變換比例，在步驟S4中將包含在步驟S1中測(cè)定的自己位置的信息的布置圖的圖像發(fā)送到客戶機(jī)一側(cè)，在步驟S5中取得從客戶機(jī)一側(cè)指示的目的地的位置的坐標(biāo)。
之后，在步驟S6中，從在步驟S3中保存的變換比例信息和客戶機(jī)指示的目的地位置的坐標(biāo)計(jì)算出實(shí)際比例尺的目的地坐標(biāo)，在步驟S7中生成到達(dá)目的地的路徑，在步驟S8中向目的地移動(dòng)，在步驟S9中判定是否已經(jīng)移動(dòng)到目的地，在移動(dòng)完成之前重復(fù)步驟S8以下的處理，在判定移動(dòng)完成時(shí)，結(jié)束處理。
圖8為圖7的處理中的遠(yuǎn)方一側(cè)的客戶機(jī)的便攜式電話等的終端的布置圖的顯示例。在該圖中，在顯示畫(huà)面上顯示出布置圖，機(jī)器人的現(xiàn)在位置及其取向由臥室上的三角印表示，并且客戶機(jī)指示的機(jī)器人的移動(dòng)目標(biāo)位置以起居室上的光標(biāo)表示。
圖9為從客戶機(jī)一側(cè)不是指示移動(dòng)目的地位置而是指示移動(dòng)目的房間的名稱(chēng)或房間編號(hào)等時(shí)的機(jī)器人的處理流程圖。下面對(duì)在該圖中與圖7不同的部分予以說(shuō)明。
在圖9中，在處理開(kāi)始時(shí)，進(jìn)行步驟S1、S2的處理，但因?yàn)閺目蛻魴C(jī)一側(cè)不是指示目的地的位置，而是指示房間的名稱(chēng)等，就不需要保存在圖7的步驟S3中的變換比例，可直接在步驟S4中將包含自己位置信息的布置像發(fā)送到客戶機(jī)，代替圖7的步驟S5、S6的處理，在步驟S10中從客戶機(jī)一側(cè)接受應(yīng)該移動(dòng)的目的房間名或房間編號(hào)的數(shù)據(jù)，在步驟S11中從目的房間名或房間編號(hào)利用預(yù)先登記的顯示各房間每一個(gè)的目標(biāo)位置，比如房間的入口的位置，的對(duì)應(yīng)表，可獲得目標(biāo)位置的坐標(biāo)，之后與圖7一樣執(zhí)行步驟S7～S9的處理。
圖10為與圖9的處理相對(duì)應(yīng)的遠(yuǎn)方一側(cè)終端的顯示畫(huà)面例。在該圖中，顯示用來(lái)在顯示畫(huà)面上指示布置圖和移動(dòng)目標(biāo)位置的菜單，客戶機(jī)，通過(guò)在菜單上指示確定的房間，機(jī)器人執(zhí)行向著該房間移動(dòng)的處理。此處，是假設(shè)在顯示畫(huà)面上顯示布置圖，但布置圖的顯示本身并非必需，通過(guò)在客戶機(jī)一側(cè)只進(jìn)行目的房間名等的指示，可減輕處理工作，可使處理高速化。
下面，比如，對(duì)在步驟S1中的機(jī)器人的自己位置的取得，即自己位置的識(shí)別方法予以說(shuō)明。在本實(shí)施方式中，將預(yù)先由機(jī)器人對(duì)建筑物內(nèi)的各房間的全景圖像進(jìn)行拍攝并進(jìn)行登記，通過(guò)與在現(xiàn)在機(jī)器人所在的房間中拍攝的全景圖像進(jìn)行比較，進(jìn)行對(duì)機(jī)器人所在的房間及正確的位置的識(shí)別。
圖11為在預(yù)先對(duì)建筑物內(nèi)的各房間的全景圖像進(jìn)行登記的場(chǎng)合的全景圖像的拍攝方法的說(shuō)明圖。就是說(shuō)，作為準(zhǔn)備階段，在各房間中，將機(jī)器人設(shè)置于房間的，比如，中心，比如以30度為一步使像機(jī)轉(zhuǎn)動(dòng)取得圖像并進(jìn)行合成，比如通過(guò)縮小處理而生成360度的全景圖像。此處，為了縮短計(jì)算等的處理時(shí)間，可對(duì)整體進(jìn)行壓縮，或者由于在過(guò)分鮮明的圖像中在識(shí)別位置時(shí)與拍攝的圖像的匹配結(jié)果可能不佳，進(jìn)行平均化處理。
圖12為機(jī)器人所在房間的識(shí)別處理的流程圖，圖13為在識(shí)別處理中使用的圖像相關(guān)運(yùn)算的說(shuō)明圖。首先，在圖12中處理開(kāi)始時(shí)，在步驟S20～S22中，生成作為在圖11中說(shuō)明的準(zhǔn)備階段的全景圖像的攝影和在實(shí)際位置識(shí)別時(shí)使用的參照樣板。
就是說(shuō)，在步驟S20中，對(duì)機(jī)器人有可能在其中移動(dòng)的區(qū)域的各個(gè)房間拍攝全景圖像，在步驟S21中，將該全景圖像縮小，并且實(shí)施平均化處理，而在步驟S22中，從該全景圖像中，比如，以等間距，即在橫向上以等間隔，切出小分塊的圖像，將該圖像進(jìn)行擴(kuò)大和縮小(擴(kuò)縮)，就可生成參照樣板。
圖13上方的圖就是這樣切出的小分塊的圖像的例子。比如，作為n個(gè)房間的登記圖像，就是從各個(gè)房間的全景圖像分別切出k個(gè)小分塊的圖像。
圖12的步驟S23以下的處理，示出現(xiàn)在機(jī)器人所在的房間的識(shí)別處理。首先，在步驟S23中，對(duì)機(jī)器人現(xiàn)在所在的房間拍攝全景圖像，在步驟S24中，將該全景圖像縮小，并且實(shí)施平均化處理，并在步驟S25以下進(jìn)行與參照樣板的比較。
圖13下方的圖像就是對(duì)機(jī)器人現(xiàn)在所在的房間切出圖像的例子。在現(xiàn)在所在的房間全景圖像中，將開(kāi)始切出的位置作為探索基準(zhǔn)位置，利用xrange個(gè)小分塊的圖像作為探索范圍，進(jìn)行與n個(gè)房間的登記圖像的比較。
在圖12的步驟S25中判定對(duì)登記的全部房間是否都已經(jīng)進(jìn)行處理，在還未全部進(jìn)行處理時(shí)，在步驟S26中對(duì)于參照分塊號(hào)，即對(duì)圖13的n個(gè)房間的每一個(gè)登記的切出圖像的k個(gè)，判定參照是否還未結(jié)束。
在未結(jié)束時(shí)，在步驟S27中判定對(duì)探索范圍號(hào)，即從圖13的現(xiàn)在機(jī)器人所在的房間的全景圖像的探索基準(zhǔn)位置起xrange像素的探索范圍的探索是否結(jié)束，在未結(jié)束時(shí)，在步驟S28中判定擴(kuò)縮號(hào)，即在作為在步驟S22中切出的小分塊圖像進(jìn)行擴(kuò)大或縮小的結(jié)果圖像的n個(gè)圖像之中，與現(xiàn)在的房間的圖像進(jìn)行比較的圖像的號(hào)是否達(dá)到n。
在還未達(dá)到n時(shí)，在步驟S29中，進(jìn)行對(duì)參照樣板、即成為處理對(duì)象的房間的成為處理對(duì)象小分塊圖像和成為處理對(duì)象的擴(kuò)縮號(hào)的參照樣板，與利用探索范圍號(hào)指定的現(xiàn)在的房間的全景圖像的相關(guān)性的運(yùn)算。于是，在步驟S30中，擴(kuò)縮號(hào)遞增，重復(fù)步驟S28以下的處理。
在步驟S28中判定擴(kuò)縮號(hào)不是小于等于n時(shí)，即對(duì)n個(gè)擴(kuò)縮號(hào)的圖像的處理未結(jié)束時(shí)，在步驟S31中，將對(duì)處理中的探索范圍號(hào)的圖像最相關(guān)運(yùn)算結(jié)果小的擴(kuò)縮號(hào)的圖像作為該探索位置的探索結(jié)果之后，在步驟S32中，將探索范圍號(hào)的值遞增，重復(fù)步驟S27以下的處理。另外，此處作為相關(guān)運(yùn)算，比如，可以求出與每個(gè)圖像的濃度差的絕對(duì)值相當(dāng)?shù)幕儯渲翟叫?，圖像間的匹配率越大。
在步驟S27中判定探索范圍號(hào)不是小于等于xrange時(shí)，由于對(duì)處理中的參照分塊號(hào)的圖像的比較結(jié)束，在步驟S33中在參照分塊號(hào)遞增之后，重復(fù)步驟S26以下的處理。
在步驟S26中判定探索范圍號(hào)不是小于等于k時(shí)，由于對(duì)處理中的房間的比較結(jié)束，在步驟S34中，生成作為該房間的相關(guān)結(jié)果的小分塊圖像k個(gè)和由探索范圍xrange決定的二維矩陣，在步驟S35中，將相關(guān)運(yùn)算的運(yùn)算結(jié)果和距離作為參數(shù)，比如，通過(guò)進(jìn)行動(dòng)態(tài)規(guī)劃(DPDynamic Programming)匹配算出成本，求出處理中的房間的成本的最小值。
另外，由上述的小分塊圖像數(shù)k個(gè)和探索范圍的xrange個(gè)決定的行數(shù)和列數(shù)的二維矩陣的各元素，在使圖13的k個(gè)小分塊圖像擴(kuò)縮的各個(gè)n個(gè)參照樣板之中，成為與在現(xiàn)在的全景圖像的各探索位置的圖像之間的相關(guān)運(yùn)算值最小的參照樣板相當(dāng)?shù)臄?shù)據(jù)。
另外，DP匹配的距離，與在圖13的下方的圖中以探索基準(zhǔn)位置為基準(zhǔn)的橫向的距離，即xrange的值相當(dāng)，通過(guò)執(zhí)行將相關(guān)運(yùn)算結(jié)果和距離作為參數(shù)算出成本的一般DP匹配，可在步驟S35中求出對(duì)應(yīng)于處理中的房間的最小成本的值。
于是，在步驟S36中將房間號(hào)遞增，重復(fù)步驟S25以下的處理，在步驟S25中判定對(duì)全部房間都進(jìn)行了處理時(shí)，就在步驟S37中，將在步驟S35中對(duì)各房間算出的成本中成本最小的房間判定為現(xiàn)在機(jī)器人所在的房間而結(jié)束處理。
圖14、圖15為在圖12的處理中在識(shí)別機(jī)器人所在的房間后，在該房間中識(shí)別機(jī)器人的位置的處理的流程圖。圖14為機(jī)器人的概略位置的識(shí)別處理，圖15為精密位置的識(shí)別處理的流程圖。
在圖14中，在處理開(kāi)始時(shí)，首先，在識(shí)別實(shí)際的機(jī)器人的位置之前，在步驟S40中，進(jìn)行如圖11中所說(shuō)明的攝影，在登記的全景圖像之中，選擇地標(biāo)，比如，選擇柱體，將該圖像上的位置和實(shí)際的房間的位置進(jìn)行登記，在步驟S41中從全景圖像中切出柱體的圖像，生成擴(kuò)縮樣板。
接著，作為實(shí)際的機(jī)器人的概略位置的識(shí)別處理，首先，在步驟S42中，將與機(jī)器人現(xiàn)在所在的房間，即通過(guò)圖12的處理識(shí)別的房間，相同的房間的柱體的擴(kuò)縮樣板作為參照?qǐng)D像進(jìn)行相關(guān)運(yùn)算，確定現(xiàn)在的全景圖像中的柱體的位置，將在步驟S43中確定的從機(jī)器人起到柱體的位置的距離利用立體觀測(cè)求出而識(shí)別機(jī)器人所在的概略位置。
圖16為如此求得的機(jī)器人的位置的說(shuō)明圖。在該圖中，比如，從房間的四個(gè)角部的柱體算起的距離在步驟S43中求出，與各個(gè)距離相當(dāng)?shù)膱A弧的交點(diǎn)相當(dāng)?shù)乃姆叫蔚膬?nèi)部作為機(jī)器人的概略位置的識(shí)別結(jié)果而求出。
圖15為從圖14中求出的機(jī)器人的概略位置進(jìn)行更精密的位置識(shí)別處理的流程圖。在該圖中，在處理開(kāi)始時(shí)，首先，在步驟S45中，為了從柱體的圖像抽取縱線、即柱體的棱邊，(1)抽取棱邊；(2)二值化；(3)求出縱向投影的直方圖。所謂的縱向投影的直方圖是由于在縱向檢測(cè)到的棱邊之中，比如，像桌子這樣的高度低的物品的棱邊的直方圖的值小，所以將具有最大值的棱邊作為柱體的棱邊求出的圖表，由此可以抽出柱體的棱邊。
接著，在步驟S46中，求出抽出的縱線、即柱體的棱邊，和兩個(gè)像機(jī)的各自的拍攝方向構(gòu)成的角度。
于是，在步驟S47中，為了精密求出在房間中的機(jī)器人所在的位置和方向，在房間中以矩陣形狀設(shè)定假想的點(diǎn)，將在各點(diǎn)的機(jī)器人的取向作為參數(shù)，求出與該機(jī)器人的位置和姿態(tài)相對(duì)應(yīng)的柱體的縱線和兩個(gè)像機(jī)的拍攝方向構(gòu)成的角度，算出與在步驟S46中求出的角度的值的差相對(duì)應(yīng)的值作為成本，在步驟S48中將該成本成為最小的位置和方向作為機(jī)器人現(xiàn)在的位置和方向的精密的值求出而結(jié)束處理。
圖16的四邊形內(nèi)的三角形，示出通過(guò)圖15的處理所識(shí)別的機(jī)器人的現(xiàn)在的精密位置和方向。這樣識(shí)別出的機(jī)器人的位置和方向的數(shù)據(jù)，根據(jù)需要，比如，可由圖2的無(wú)線通信部15通知客戶機(jī)一側(cè)。
下面接著圖10對(duì)遠(yuǎn)程操作機(jī)器人的實(shí)施方式進(jìn)一步進(jìn)行說(shuō)明。圖17為操作機(jī)器人對(duì)遠(yuǎn)方進(jìn)行緊急聯(lián)絡(luò)處理的流程圖。如在圖4中所說(shuō)明的，機(jī)器人具有緊急按鈕，比如，在建筑物的居住者想要與遠(yuǎn)地進(jìn)行緊急事態(tài)聯(lián)系時(shí)，通過(guò)按下緊急按鈕，就可以進(jìn)行與遠(yuǎn)方的聯(lián)系。
就是說(shuō)，在圖17中，在處理開(kāi)始時(shí)，在步驟S50中，對(duì)緊急按鈕進(jìn)行監(jiān)視，在步驟S51中，判定緊急按鈕是否按下，在未按下時(shí)，重復(fù)進(jìn)行步驟S50以下的處理，而在按下時(shí)，就在步驟S52中，通過(guò)向預(yù)先登記的聯(lián)絡(luò)地址發(fā)送電子郵件或打電話通知緊急事態(tài)而結(jié)束處理。
之后，在本實(shí)施方式中，利用圖18及圖19對(duì)借助機(jī)器人拍攝的建筑物內(nèi)，比如，房間的圖像從遠(yuǎn)方一側(cè)確認(rèn)的方法予以說(shuō)明。在圖18中，比如，機(jī)器人80定期在建筑物內(nèi)巡回，將拍攝的各房間的圖像經(jīng)無(wú)線LAN發(fā)送到具有Web服務(wù)器的服務(wù)器計(jì)算機(jī)81，通過(guò)從遠(yuǎn)方一側(cè)訪問(wèn)此Web服務(wù)器就可以對(duì)圖像進(jìn)行參照。
就是說(shuō)，在服務(wù)器計(jì)算機(jī)81的內(nèi)部，配置有接受由機(jī)器人80發(fā)送來(lái)的圖像數(shù)據(jù)的套接服務(wù)器82和Web服務(wù)器83，由機(jī)器人80發(fā)送來(lái)的圖像在Web服務(wù)器83的內(nèi)貯存于可從外部進(jìn)行參照的文件夾內(nèi)。在遠(yuǎn)方一側(cè)，利用Web瀏覽器24經(jīng)過(guò)因特網(wǎng)25將圖像取得指令發(fā)送到Web服務(wù)器83，而由Web服務(wù)器83經(jīng)過(guò)因特網(wǎng)25將發(fā)送來(lái)的圖像進(jìn)行顯示。
另外，在此場(chǎng)合，比如，在圖6中，作為通信模塊62是使用插入到連接器中的LAN網(wǎng)卡等。
在圖19中，與圖3中一樣，在控制用計(jì)算機(jī)10的內(nèi)部設(shè)置有Web服務(wù)器21，Web瀏覽器24可經(jīng)過(guò)因特網(wǎng)25訪問(wèn)Web服務(wù)器21而對(duì)圖像進(jìn)行參照。此處，比如，PHS卡等可作為圖6的通信模塊62插入到連接器中。
另外，在經(jīng)過(guò)因特網(wǎng)25發(fā)送到機(jī)器人一側(cè)的振鈴信號(hào)次數(shù)達(dá)到預(yù)先規(guī)定的次數(shù)時(shí)，也可以啟動(dòng)Web服務(wù)器21而使從外部進(jìn)行訪問(wèn)成為可能。
最后，在本實(shí)施方式中，利用圖20對(duì)從遠(yuǎn)方向機(jī)器人一側(cè)指定預(yù)先設(shè)置的腳本，由機(jī)器人執(zhí)行預(yù)先編程的動(dòng)作的方法予以說(shuō)明。在該圖中，對(duì)應(yīng)從客戶機(jī)側(cè)的瀏覽器85發(fā)出的指示(命令)，通過(guò)遠(yuǎn)方操作機(jī)器人86的內(nèi)部的命令分析/執(zhí)行部87對(duì)該命令的分析，在該命令是指示腳本選擇及其執(zhí)行的命令時(shí)，由腳本選擇/執(zhí)行部88選擇預(yù)先在機(jī)器人一側(cè)設(shè)置的多個(gè)機(jī)器人動(dòng)作腳本891～89n中的某一個(gè)并執(zhí)行其動(dòng)作。
如上面所詳述的，根據(jù)本發(fā)明，通過(guò)在遠(yuǎn)方一側(cè)的終端上顯示的，比如，布置圖上指定移動(dòng)目的地，就可以使遠(yuǎn)程操作機(jī)器人向該目的地移動(dòng)。
另外，通過(guò)從遠(yuǎn)方一側(cè)對(duì)建筑物內(nèi)的圖像的確認(rèn)，也可從遠(yuǎn)方一側(cè)使機(jī)器人執(zhí)行預(yù)先編程的動(dòng)作，另外，建筑物的居住者也可以進(jìn)行緊急聯(lián)絡(luò)。
本發(fā)明可提供一種經(jīng)過(guò)因特網(wǎng)對(duì)家用電器進(jìn)行操作，從遠(yuǎn)地對(duì)空宅的狀況進(jìn)行監(jiān)視的功能，以及機(jī)器人可以正確識(shí)別自己的位置的位置識(shí)別方法，可應(yīng)用于所有的利用遠(yuǎn)程操作機(jī)器人的產(chǎn)業(yè)及必須精密識(shí)別機(jī)器人的自己位置的產(chǎn)業(yè)。具體言之，可應(yīng)用于家電產(chǎn)業(yè)、大廈管理產(chǎn)業(yè)等各種產(chǎn)業(yè)。
權(quán)利要求
1.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有存放建筑物的布置圖的布置圖存放設(shè)備；接受從遠(yuǎn)方的終端一側(cè)對(duì)該布置圖內(nèi)的位置的指示的通信設(shè)備；以及控制機(jī)器人向該指定位置的移動(dòng)的移動(dòng)控制設(shè)備。
2.如權(quán)利要求1所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有用來(lái)根據(jù)障礙物傳感器的臺(tái)階檢測(cè)結(jié)果，跨越在建筑物內(nèi)存在的臺(tái)階的臺(tái)階跨越設(shè)備。
3.如權(quán)利要求1所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有識(shí)別該機(jī)器人在建筑物內(nèi)的現(xiàn)在的位置和方向的自己位置識(shí)別設(shè)備。
4.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有存放建筑物的布置圖的布置圖存放設(shè)備；接受從遠(yuǎn)方的終端一側(cè)對(duì)該布置圖內(nèi)的房間的指示的通信設(shè)備；以及控制機(jī)器人向該指定房間的移動(dòng)的移動(dòng)控制設(shè)備。
5.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有對(duì)建筑物內(nèi)的圖像進(jìn)行拍攝的圖像攝影設(shè)備；和定期或不定期地將該機(jī)器人在建筑物內(nèi)巡回時(shí)利用圖像攝影設(shè)備拍攝的圖像，經(jīng)外部網(wǎng)絡(luò)發(fā)送到具有可參照的存儲(chǔ)器的計(jì)算機(jī)的通信設(shè)備。
6.如權(quán)利要求5所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有用來(lái)根據(jù)障礙物傳感器的臺(tái)階檢測(cè)結(jié)果，跨越在建筑物內(nèi)存在的臺(tái)階的臺(tái)階跨越設(shè)備。
7.如權(quán)利要求5所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有用來(lái)使上述圖像攝影設(shè)備的拍攝方向改變的轉(zhuǎn)動(dòng)設(shè)備；和用來(lái)與該圖像攝影設(shè)備的拍攝方向并行地進(jìn)行紅外線發(fā)射/接收的紅外線發(fā)射/接收設(shè)備。
8.如權(quán)利要求5所述的遠(yuǎn)程操作機(jī)器人，其特征在于上述通信設(shè)備是將要發(fā)送圖像的計(jì)算機(jī)連接到因特網(wǎng)的Web服務(wù)器。
9.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有對(duì)建筑物內(nèi)的圖像進(jìn)行拍攝的圖像攝影設(shè)備；和定期或不定期地將該機(jī)器人在建筑物內(nèi)巡回時(shí)利用該圖像攝影設(shè)備拍攝的圖像，從外部經(jīng)網(wǎng)絡(luò)貯存到具有可參照的存儲(chǔ)器的計(jì)算機(jī)。
10.如權(quán)利要求9所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有在接收到自外部經(jīng)因特網(wǎng)發(fā)送來(lái)的振鈴信號(hào)次數(shù)達(dá)到預(yù)先規(guī)定的次數(shù)時(shí)，啟動(dòng)上述計(jì)算機(jī)的通信設(shè)備。
11.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有存放分別與該機(jī)器人的大于等于一個(gè)動(dòng)作相對(duì)應(yīng)的各腳本程序的腳本存放設(shè)備；和接受來(lái)自外部的關(guān)于執(zhí)行存放在該存放設(shè)備中的某一程序的指示的通信設(shè)備。
12.一種遠(yuǎn)程操作機(jī)器人，其特征在于，在可以從遠(yuǎn)方進(jìn)行操作的遠(yuǎn)程操作機(jī)器人中具有接受建筑物內(nèi)的人員的緊急時(shí)的聯(lián)絡(luò)指示的指示接受設(shè)備；和根據(jù)該指示與預(yù)先確定的外部終端進(jìn)行該緊急聯(lián)絡(luò)的通信設(shè)備。
13.如權(quán)利要求12所述的遠(yuǎn)程操作機(jī)器人，其特征在于，在上述遠(yuǎn)程操作機(jī)器人中還具有對(duì)建筑物內(nèi)的圖像進(jìn)行拍攝的圖像攝影設(shè)備；用來(lái)使該圖像攝影設(shè)備的拍攝方向改變的轉(zhuǎn)動(dòng)設(shè)備；和根據(jù)來(lái)自外部的對(duì)拍攝方向的指示將利用該圖像攝影設(shè)備拍攝的圖像發(fā)送到外部的通信設(shè)備。
14.一種機(jī)器人自己位置識(shí)別方法，其特征在于，在由裝載圖像拍攝方向可以改變的像機(jī)的機(jī)器人的自己位置識(shí)別方法中，預(yù)先對(duì)該機(jī)器人可能在其中移動(dòng)的各房間的全景圖像進(jìn)行拍攝；從該全景圖像切出多個(gè)分塊圖像生成參照?qǐng)D像；利用在機(jī)器人所在的位置拍攝的全景圖像內(nèi)與該分塊圖像同樣大小的圖像和參照?qǐng)D像，通過(guò)相關(guān)運(yùn)算和DP匹配識(shí)別機(jī)器人所在的房間。
15.如權(quán)利要求14所述的機(jī)器人自己位置識(shí)別方法，其特征在于，在上述自己位置識(shí)別方法中，在上述識(shí)別的房間內(nèi)的地標(biāo)之中，將預(yù)先拍攝的地標(biāo)的圖像作為參照樣板，通過(guò)進(jìn)行與在機(jī)器人所在的位置拍攝的圖像的相關(guān)運(yùn)算，求出該地標(biāo)在該拍攝的圖像上的位置；通過(guò)立體觀測(cè)計(jì)測(cè)到多個(gè)地標(biāo)的距離，識(shí)別在所識(shí)別的房間中的自己的位置和方向。
16.如權(quán)利要求15所述的機(jī)器人自己位置識(shí)別方法，其特征在于，在上述自己位置識(shí)別方法中，抽取上述拍攝的地標(biāo)的圖像內(nèi)的縱線；求出對(duì)應(yīng)于兩個(gè)像機(jī)的拍攝方向與該縱線的方向形成的兩個(gè)角和假設(shè)機(jī)器人的位置和方向計(jì)算兩個(gè)像機(jī)的拍攝方向和該地標(biāo)的方向構(gòu)成的兩個(gè)角度所得的結(jié)果之間的差的成本，將改變?cè)摷僭O(shè)的位置和方向，使該成本成為最小的假設(shè)的位置和方向識(shí)別為機(jī)器人的位置和方向。
全文摘要
遠(yuǎn)程操作機(jī)器人(1)具有存放建筑物的布置圖的布置圖存放設(shè)備(2)；接受從遠(yuǎn)方的終端一側(cè)對(duì)該布置圖內(nèi)的位置的指示的設(shè)備(3)；以及控制機(jī)器人向該指定位置的移動(dòng)的移動(dòng)控制設(shè)備(4)。自己位置識(shí)別方法是由裝載圖像拍攝方向可以改變的像機(jī)的機(jī)器人執(zhí)行的方法。預(yù)先對(duì)機(jī)器人可能在其中移動(dòng)的各房間的全景圖像進(jìn)行拍攝，從該全景圖像切出多個(gè)分塊圖像生成參照?qǐng)D像，利用在機(jī)器人所在的位置拍攝的全景圖像內(nèi)與該分塊圖像同樣大小的圖像和參照?qǐng)D像，通過(guò)相關(guān)運(yùn)算和DP匹配識(shí)別機(jī)器人所在的房間。
文檔編號(hào)G06K9/00GK1628274SQ0282904
公開(kāi)日2005年6月15日 申請(qǐng)日期2002年5月31日 優(yōu)先權(quán)日2002年5月31日
發(fā)明者岡林桂樹(shù), 岡林美和, 村瀨有一, 清水勝敏, 巖下純久, 澤崎直之 申請(qǐng)人:富士通株式會(huì)社