專(zhuān)利名稱(chēng)：一種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)的制作方法
技術(shù)領(lǐng)域：
該發(fā)明專(zhuān)利涉及ー種室內(nèi) 多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，屬于電子技術(shù)、傳感技術(shù)和計(jì)算機(jī)技術(shù)等領(lǐng)域。
背景技術(shù)：
隨著移動(dòng)機(jī)器人學(xué)的發(fā)展，出現(xiàn)了越來(lái)越多的關(guān)于移動(dòng)機(jī)器人控制、視覺(jué)方面的新理論和新算法，迫切需要一種能進(jìn)行實(shí)際驗(yàn)證這些理論的多用途實(shí)驗(yàn)平臺(tái)。然而，現(xiàn)有的一些實(shí)驗(yàn)平臺(tái)無(wú)法滿(mǎn)足對(duì)越來(lái)越強(qiáng)的計(jì)算能力、足夠數(shù)量的傳感器和攝像頭的要求。比如，像Robomote機(jī)器人、Khepera機(jī)器人等。這些平臺(tái)計(jì)算能力較弱、傳感器數(shù)量很有限。由于缺乏足夠強(qiáng)的計(jì)算能力和足夠多的傳感器，它們無(wú)法完成一些較高水平的任務(wù)，比如建立環(huán)境地圖、目標(biāo)檢測(cè)追蹤、自主導(dǎo)航以及人機(jī)交互等。另外這些平臺(tái)基于全套的商用機(jī)器人搭建而成，計(jì)算能力強(qiáng)、傳感器和攝像頭數(shù)量多。然而由于它們采用的是專(zhuān)門(mén)定制的設(shè)計(jì)，缺乏可重構(gòu)性和可移植性，另外價(jià)格昂貴。例如Pioneer系列的移動(dòng)機(jī)器人。因此，迫切需要ー個(gè)多用途、多功能、相對(duì)廉價(jià)的移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)來(lái)兼顧計(jì)算能力、傳感器數(shù)量、攝像頭數(shù)量、可重構(gòu)性以及可移植性等的要求。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明專(zhuān)利的目的是提出ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn) °ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)硬件主要包括Kinect攝像頭(I)、不銹鋼框架(2)、塑料支撐架(3)、Logitech QuickCam Pro 5000網(wǎng)絡(luò)攝像頭(4)、上層有機(jī)玻璃板、右支撐架出)、中層有機(jī)玻璃板(7)、下層有機(jī)玻璃板(8)、iRobotCreate移動(dòng)機(jī)器人
(9)、iPad 平板電腦(10)、Point Grey Flycapture 魚(yú)眼攝像頭(11)、URG-04LX 激光測(cè)距儀(12)、Mobotix Q24 360°全景攝像頭(13)、左支撐架(14)、微型計(jì)算機(jī)FUPC2 (15)、迷你冷卻風(fēng)扇(16)、微型計(jì)算機(jī)FUPC2供電電源(17)、頭盔式3D眼鏡iWearVR920 (52) ,VGA轉(zhuǎn)USB轉(zhuǎn)換器(56)、迷你麥克風(fēng)(57)、Logitech Attack 3 Joystick操縱桿(62)、筆記本電腦(75)、實(shí)驗(yàn)者身上攜帯的FitPC2微型計(jì)算機(jī)(84)。Kinect攝像頭(I)固定在塑料支撐架(3)的頂端。Kinect攝像頭(I)是ー種網(wǎng)絡(luò)型的攝像頭，它是微軟的ー款游戲設(shè)備Xbox 360操控臺(tái)的ー個(gè)外部設(shè)備，通過(guò)USB ロ與計(jì)算機(jī)相連。這個(gè)產(chǎn)品整合了幾項(xiàng)技木，包括3D成像、音頻處理和馬達(dá)控制。本系統(tǒng)只使用Kinect攝像頭(I)部分，它由以色列公司PrimeSense公司開(kāi)發(fā)的RGB攝像頭和深度傳感器發(fā)展而來(lái)。它的有效感應(yīng)范圍在O. 4米到4米之內(nèi)，視角垂直范圍是±43°，水平范圍±57°，幀頻(深度及色彩)30fps。iRobotCreate移動(dòng)機(jī)器人(9)上部有一個(gè)三層的有機(jī)玻璃支撐臺(tái)。利用左右兩根鋼鐵支撐桿(14)將上層玻璃擋板(5)、中層玻璃擋板(7)和下層玻璃擋板(8)垂直連接并固定在iRobotCreate移動(dòng)機(jī)器人(9)上。固定在上層有機(jī)玻璃擋板(5)上可以根據(jù)需要選擇LogitechQuickCam Pro 5000 網(wǎng)絡(luò)攝像頭(4)、Point Grey Flycapture 魚(yú)眼攝像頭(11)或 MobotixQ24 360°全景攝像頭(13)其中之一。Logitech QuickCam Pro 5000網(wǎng)絡(luò)攝像頭(4)采用的是廣角鏡頭，需要手動(dòng)對(duì)焦。攝像頭能提供最高30萬(wàn)像素，另外彩色圖像最大分辨率是640父480,最大巾貞頻3(^。8 ；Point Grey Flycapture魚(yú)眼攝像頭(11)的型號(hào)是Firefly MV卩]\^化0311'(，分辨率是640\480，幀/行頻63€口8;10130衍1 Q24 360°全景攝像頭(13)能提供不同視圖，包括一張全景圖，因此它能覆蓋移動(dòng)平臺(tái)周?chē)沫h(huán)境。攝像頭能提供最高3百萬(wàn)像素，另外彩色圖像的分辨率可以從160X120增加到2048X1536。它使用一種基于以太網(wǎng)的界面，攝像頭的特征(包括分辨率、幀速率等)可以通過(guò)發(fā)送一個(gè)網(wǎng)絡(luò)請(qǐng)求調(diào)整。另外，攝像頭本身就是一個(gè)網(wǎng)絡(luò)服務(wù)器，因此活動(dòng)目標(biāo)影像流可以通過(guò)設(shè)置一個(gè)連接插口來(lái)獲得；固定在中層有機(jī)玻璃擋板(7)上的是URG-04LX激光測(cè)距儀(12)，它的測(cè)量范圍在20mm到4094mm之間，掃描范 圍240°，掃描速率100 ms/scan，距離精確度±3%，角分辨率為O. 36° ;固定在中層有機(jī)玻璃擋板(7)和下層有機(jī)玻璃擋板(8)之間的是微型計(jì)算機(jī)FUPC2
(11)，它是一臺(tái)輕巧的微處理計(jì)算機(jī)；固定在iRobot Create移動(dòng)機(jī)器人(9)裝載艙(24)內(nèi)的是微型計(jì)算機(jī)FitPC2(15)的供電電源；由于微型計(jì)算機(jī)FitPC2(15)內(nèi)部沒(méi)有散熱風(fēng)扇，無(wú)法散熱。因此為其配備一臺(tái)冷卻風(fēng)扇(16),使其能長(zhǎng)時(shí)間工作。冷卻風(fēng)扇(16)固定在iRobot Create移動(dòng)機(jī)器人(9)上；iRobot Create移動(dòng)機(jī)器人(9)是一個(gè)商業(yè)化的移動(dòng)平臺(tái)。通過(guò)它的串口可以讀到傳感器數(shù)據(jù)，并且可以使用iRobot Roomba開(kāi)放接口協(xié)議發(fā)送對(duì)馬達(dá)的控制命令；頭盔式3D眼鏡iWear VR920 (52)是一款集成了 3D顯示器、頭部跟蹤器、麥克風(fēng)和耳機(jī)的互聯(lián)網(wǎng)通信設(shè)備。它的單眼分辨(像素)是640Χ48(Γ1024Χ768，IXD顯示器，相當(dāng)于在2. 7米處觀賞62寸的屏幕，視覺(jué)范圍是32度，顯示色彩是24位真色彩(1600萬(wàn)色)，設(shè)備重量0.09千克，支持VGA輸入。Logitech Attack 3 Joystick操縱桿(62)由I個(gè)快速反應(yīng)扳機(jī)，128級(jí)的高精確度線(xiàn)性X軸、Y軸和油門(mén)以及10個(gè)可編程的功能按鈕組成。一種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)軟件部分由機(jī)器人操作系統(tǒng)(RobotOperating System, R0S)構(gòu)成。這是一種開(kāi)源的元操作系統(tǒng)，它提供的服務(wù)類(lèi)似于真實(shí)操作系統(tǒng)，包括硬件抽象、低端設(shè)備控制、常用函數(shù)實(shí)現(xiàn)、進(jìn)程之間的信息傳輸以及軟件包管理。ROS有兩個(gè)基本的部分，一部分是ROS的核心部分，它的作用相當(dāng)于一個(gè)“操作系統(tǒng)”。這部分的基本功能是可以跟一臺(tái)帶有無(wú)線(xiàn)通信功能并運(yùn)行ROS操作系統(tǒng)的電腦進(jìn)行無(wú)線(xiàn)通信，并能遠(yuǎn)程遙控移動(dòng)機(jī)器人運(yùn)動(dòng)。另一個(gè)部分的程序包是為整個(gè)ROS社區(qū)服務(wù)。ROS社區(qū)指的是所有使用ROS操作系統(tǒng)的個(gè)人、研究團(tuán)體和科研院所都可以將開(kāi)源的代碼共享到ROS社區(qū)中。并且這些代碼可以很容易的下載并移植到其他移動(dòng)機(jī)器人平臺(tái)或傳感器平臺(tái)上。利用這些代碼就能在這個(gè)平臺(tái)上實(shí)現(xiàn)目標(biāo)檢測(cè)、目標(biāo)追蹤、目標(biāo)識(shí)別、定位、建圖以及自動(dòng)導(dǎo)航等功能。該裝置的有益之處是設(shè)計(jì)一種模塊化的多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)。由于已經(jīng)為本平臺(tái)中的三種類(lèi)型的攝像頭編寫(xiě)了在機(jī)器人操作系統(tǒng)ROS中的驅(qū)動(dòng)，因此可以根據(jù)實(shí)際需要挑選任意一種使用。另外，該平臺(tái)為機(jī)器人和人相互協(xié)作分別提供兩種移動(dòng)機(jī)器人的控制方式，一種是通過(guò)Logitech Attack 3 Joystick操縱桿(62),另一種是如圖10所示的利用Qt編程工具編寫(xiě)的移動(dòng)機(jī)器人控制界面(78)。通過(guò)該平臺(tái)為移動(dòng)機(jī)器人和人相互協(xié)作進(jìn)行目標(biāo)檢測(cè)識(shí)別、目標(biāo)追蹤、遠(yuǎn)程控制、自動(dòng)導(dǎo)航、人機(jī)交互等提供了一種新的研究和實(shí)驗(yàn)平臺(tái)。


下面結(jié)合附圖對(duì)本發(fā)明專(zhuān)利做進(jìn)ー步描述。圖I室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)圖；圖2移動(dòng)機(jī)器人iRobot Create主視圖和底部俯視圖；圖3 Logitech QuickCam Pro 5000網(wǎng)絡(luò)攝像頭左視圖，Point GreyFlycapture魚(yú)眼攝像頭主 視圖，Mobotix Q24 360°全景攝像頭主視圖和背面的主視圖；圖4微型計(jì)算機(jī)FUPC2的主視圖和背面的主視圖；圖5 URG-04LX激光測(cè)距儀主視圖；圖6 iPad平板電腦主視圖；圖7頭盔式3D眼鏡iWear VR920主視圖，VGA轉(zhuǎn)USB轉(zhuǎn)換器主視圖和迷你麥克風(fēng)主視圖；圖8 Kinect攝像頭主視圖；圖9 Logitech Attack 3 Joystick操縱桿左視圖；圖10 Qt移動(dòng)機(jī)器人控制界面示意圖；圖11使用Logitech Attack 3Joystick操縱桿或Qt界面控制移動(dòng)機(jī)器人平臺(tái)示意圖；圖12頭盔式3D眼鏡iWear VR920人機(jī)交互示意圖；圖13利用Kinect攝像頭進(jìn)行人機(jī)交互示意圖；圖14手勢(shì)示意圖；圖15裝有Kinect攝像頭和Logitech QuickCam Pro 5000網(wǎng)絡(luò)攝像頭的室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)實(shí)物主視圖和俯視 圖中1是Kinect攝像頭,2是不銹鋼框架,3是塑料支撐架,4是Logitech QuickCamPro 5000網(wǎng)絡(luò)攝像頭，5是上層有機(jī)玻璃板，6是右支撐架，7是中層有機(jī)玻璃板，8是下層有機(jī)玻璃板，9是iRobot Create移動(dòng)機(jī)器人，10是iPad平板電腦，11是Point GreyFlycapture魚(yú)眼攝像頭，12是URG-04LX激光測(cè)距儀，13是Mobotix Q24 360°全景攝像頭，14是左支撐架，15是微型計(jì)算機(jī)FUPC2，16是迷你冷卻風(fēng)扇，17是微型計(jì)算機(jī)FUPC2供電電源，18是全方向紅外接收器，19是控制面板，20是螺絲孔，21是串行ロ，22是充電插ロ，23是裝載艙連接ロ，24是裝載艙，25是擋板，26是邊緣傳感器端ロ，27是地基接觸點(diǎn)，28是左右車(chē)輪，29是電池，30是后輪，31 USB連接線(xiàn)，32是360°鏡片組，33是揚(yáng)聲器，34是USB連接ロ，35是網(wǎng)絡(luò)連接，36是總線(xiàn)，37是微型USB ロ，38是電源開(kāi)關(guān)，39是SD存儲(chǔ)卡卡槽，40是RS232接ロ，41是微型USB接ロ，42是電源，43是無(wú)線(xiàn)局域網(wǎng)(WLAN)，44是語(yǔ)音輸出，45是網(wǎng)ロ，46是語(yǔ)音輸入，47是USB ロ，48是重置鍵，49是數(shù)字視頻系統(tǒng)，50是USB連接線(xiàn)，51是iPad平板電腦的前置攝像頭，52是頭盔式3D眼鏡iWear VR920, 53是耳機(jī)，54是USB連接線(xiàn)，55是VGA接ロ，56是VGA轉(zhuǎn)USB轉(zhuǎn)換器，57是迷你麥克風(fēng)，58是3D深度傳感器，59是RGB攝像頭，60是多聲道麥克風(fēng)，61是可移動(dòng)底座，62是Logitech Attack 3Joystick操縱桿，63是控制功能區(qū)，64是電池電量顯示，65是里程數(shù)，66是所有攝像頭顯示的圖像，67是Hokuyo URG-04LX激光測(cè)距儀獲取的信息，68是移動(dòng)速度，69是旋轉(zhuǎn)速度，70是左轉(zhuǎn)，71是停止，72是前進(jìn)，73是右轉(zhuǎn)，74是后退，75是筆記本電腦，76是WiFi無(wú)線(xiàn)網(wǎng)絡(luò)，77是室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，78是室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)Qt控制界面，79是佩戴頭盔式3D眼鏡iWear VR920和FUPC2微型計(jì)算的實(shí)驗(yàn)者，80是頭盔式3D眼鏡iWear VR920俯、仰、滾三種運(yùn)動(dòng)，81是獲取俯、仰、滾三種運(yùn)動(dòng)的方向信息，82是得到的三種運(yùn)動(dòng)的方向信息，83是將獲取到的方向信息送入FUPC2微型計(jì)算機(jī)，84是實(shí)驗(yàn)者身上攜帯的FUPC2微型計(jì)算機(jī)，85實(shí)驗(yàn)者，86是讀入實(shí)驗(yàn)者動(dòng)作信息，87是獲取骨架信息和動(dòng)作信息，88是得到的骨架和動(dòng)作信息，89是將動(dòng)作信息送入FUPC2微型計(jì)算機(jī)進(jìn)行處理，90是向后運(yùn)動(dòng)手勢(shì)(手臂向后擺動(dòng))，91是向前運(yùn)動(dòng)手勢(shì)(手臂向前擺動(dòng))，92是停止運(yùn)動(dòng)手勢(shì)(手臂左右擺動(dòng))。
具體實(shí)施方案參見(jiàn)附圖，包括室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)的Kinect攝像頭(I)包括3D深度傳感器(58)、RGB攝像頭(59) ;iPad平板電腦(10)包括前置攝像頭(51) ；Mobotix Q24360°全景攝像頭(13)包括360°鏡片組(32)、網(wǎng)絡(luò)連接(35);微型計(jì)算機(jī)FUPC2 (15)和實(shí)驗(yàn)者身上攜帶的FUPC2微型計(jì)算機(jī)( 84)包括電源開(kāi)關(guān)(38)、電源(42)、無(wú)線(xiàn)局域網(wǎng)(WLAN) (43)、網(wǎng)口(45)、語(yǔ)音輸入(46)、USB 口 (47);頭盔式 3D 眼鏡 iffearVR920 (52)包括耳機(jī)(53)、USB連接線(xiàn)(54)、VGA接口 (55)、VGA轉(zhuǎn)USB轉(zhuǎn)換器(56)、迷你麥克風(fēng)(57)；URG-04LX激光測(cè)距儀(12)包括USB接口 (50)。本實(shí)驗(yàn)平臺(tái)具備三項(xiàng)基本的功能，第一項(xiàng)功能是使用操縱桿或Qt界面進(jìn)行遠(yuǎn)程遙控引導(dǎo)服務(wù)；第二項(xiàng)功能是使用頭盔式3D眼鏡進(jìn)行人機(jī)交互控制；第三項(xiàng)基本功能是使用Kinect攝像頭進(jìn)行人機(jī)交互控制。對(duì)于第一項(xiàng)基本功能，參見(jiàn)附圖11，包括啟動(dòng)筆記本電腦(75)，啟動(dòng)iPad平板電腦(10)，啟動(dòng)微型計(jì)算機(jī)FUPC2 (15)，啟動(dòng)移動(dòng)機(jī)器人iRobot Create (9)，開(kāi)啟URG-04LX激光測(cè)距儀(3)，開(kāi)啟網(wǎng)絡(luò)攝像頭(4)。首先在筆記本電腦(75)上運(yùn)行Linux操作系統(tǒng)，并運(yùn)行機(jī)器人操作系統(tǒng)R0S，啟動(dòng)移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序。將操縱桿￠2)連接到筆記本電腦(75)以后,打開(kāi)Linux版本的視頻通話(huà)軟件Skype,撥打iPad平板電腦(10)上Skype用戶(hù)號(hào)碼。同時(shí)iPad平板電腦(10)也開(kāi)啟視頻通話(huà)軟件Skype，接受筆記本電腦(75)發(fā)出的視頻通話(huà)請(qǐng)求。接著在已經(jīng)開(kāi)啟的微型計(jì)算機(jī)FUPC2 (15)上運(yùn)行Linux操作系統(tǒng)，并運(yùn)行機(jī)器人操作系統(tǒng)R0S，并啟動(dòng)移動(dòng)機(jī)器人障礙物檢測(cè)避障程序。筆記本電腦(75)和微型計(jì)算機(jī)FitPC2 (15)以及iPad平板電腦(10)都通過(guò)WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)進(jìn)行通信。這里可以通過(guò)操縱桿￠2)或者Qt界面(78)對(duì)本實(shí)驗(yàn)平臺(tái)進(jìn)行向前、向后、左轉(zhuǎn)、右轉(zhuǎn)和停止五種運(yùn)動(dòng)的遠(yuǎn)程遙控。Qt界面(78)有五種功能，如圖10所示。第一是運(yùn)動(dòng)控制和速度調(diào)節(jié)；第二是移動(dòng)機(jī)器人電池電量監(jiān)控；第三是里程數(shù)統(tǒng)計(jì)；第四是可以對(duì)網(wǎng)絡(luò)攝像頭獲取的視頻圖像進(jìn)行監(jiān)控；第五是可以對(duì)激光測(cè)距儀檢測(cè)前方是否有障礙物進(jìn)行監(jiān)控。另外，可以用URG-04LX激光測(cè)距儀(3)進(jìn)行障礙物檢測(cè)，或者用三種攝像頭中的任意一種進(jìn)行障礙物檢測(cè)。當(dāng)使用URG-04LX激光測(cè)距儀(3)進(jìn)行障礙物檢測(cè)時(shí)，前方發(fā)現(xiàn)有障礙物，那么移動(dòng)機(jī)器人iRobot Create (9)將停止移動(dòng)。利用移動(dòng)機(jī)器人iRobot Create (9)、微型計(jì)算機(jī)FUPC2 (15)、操縱桿(62)或Qt界面(78)、筆記本電腦(75)、WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76), iPad平板電腦(10)以及Skype視頻通話(huà)軟件搭建了一個(gè)為游客進(jìn)行室內(nèi)引導(dǎo)、具有視頻及語(yǔ)音對(duì)話(huà)功能的遠(yuǎn)程遙控移動(dòng)機(jī)器人平臺(tái)。操控者只要坐在辦公室里，就能通過(guò)WiFi無(wú)線(xiàn)網(wǎng)絡(luò)
(76)遠(yuǎn)程操控移動(dòng)機(jī)器人完成引導(dǎo)游客的任務(wù)。對(duì)于第二項(xiàng)基本功能，參見(jiàn)附圖12，包括啟動(dòng)iRobot Create移動(dòng)機(jī)器人(9)，開(kāi)啟iPad平板電腦(10)，啟動(dòng)iRobot Create移動(dòng)機(jī)器人上的微型計(jì)算機(jī)FUPC2 (15)，該計(jì)算機(jī)運(yùn)行的是Linux操作系統(tǒng)，并在機(jī)器人操作系統(tǒng)ROS中運(yùn)行頭盔式3D眼鏡iWearVR920角度信息接受程序、iRobot Create移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序和障礙物檢測(cè)避障程序。啟動(dòng)實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2 (84),該計(jì)算機(jī)運(yùn)行的是Windows XP版本的操作系統(tǒng)，這是因?yàn)轭^盔式3D眼鏡iWear VR920 (52)只能在Windows系列的操作系統(tǒng)中使用。并且在實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2(84)上運(yùn)行Windows系統(tǒng)中的機(jī)器人操作系統(tǒng)WIN-ROS程序,這是ー種可以在Windows系統(tǒng)和Linux系統(tǒng)之間傳輸數(shù)據(jù)的程序。在將頭盔式3D眼鏡iWear VR920 (52)和迷你麥克風(fēng)(57)連接到實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2 (84)上以后，打開(kāi)視頻通話(huà)軟件Skype，撥打iPad平板電腦(10)上Skype用戶(hù)號(hào)碼。同時(shí)iPad平板電腦(10)也開(kāi)啟視頻通話(huà)軟件Skype，接受實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2 (84)發(fā)出的視頻通話(huà) 請(qǐng)求。在將頭盔式3D眼鏡iWear VR920 (52)和迷你麥克風(fēng)(57)連接到實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2 (84)上以后，實(shí)驗(yàn)者將能與安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)視頻通話(huà)，也就是頭盔式3D眼鏡iWear VR920 (52)能通過(guò)iPad平板電腦自帶的攝像頭看到了移動(dòng)機(jī)器人周?chē)沫h(huán)境井能用麥克風(fēng)與機(jī)器人周?chē)挠慰蛯?duì)話(huà)。最后，WIN-ROS程序通過(guò)WiFi無(wú)線(xiàn)通信網(wǎng)絡(luò)(76)，將頭盔式3D眼鏡iWear VR920 (52)運(yùn)動(dòng)方向信息(俯、仰、滾三個(gè)方向)發(fā)送給移動(dòng)機(jī)器人的微型計(jì)算機(jī)FitPC2(15)，微型計(jì)算機(jī)FitPC2(15)利用接受到的方向信息控制iRobot Create移動(dòng)機(jī)器人(9)運(yùn)動(dòng)，同時(shí)運(yùn)行利用URG-04LX激光測(cè)距儀(12)或攝像頭檢測(cè)障礙物。當(dāng)戴著頭盔式3D眼鏡的實(shí)驗(yàn)者(79)頭部向左(或右)轉(zhuǎn)動(dòng)一定角度時(shí)，安裝有iPad平板電腦的iRobotCreate移動(dòng)機(jī)器人(77)也向左(或右)轉(zhuǎn)動(dòng)同樣角度。當(dāng)實(shí)驗(yàn)者頭部向前傾倒超過(guò)10度時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)勻速前進(jìn)；當(dāng)實(shí)驗(yàn)者頭部向后傾倒超過(guò)10度時(shí),安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)勻速后退；當(dāng)實(shí)驗(yàn)者頭部與地面相對(duì)垂直時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)停止運(yùn)動(dòng)。另外，只要WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)能夠覆蓋到，這個(gè)平臺(tái)就能正常運(yùn)行。實(shí)驗(yàn)者可以戴著頭盔式3D眼鏡iWear VR920 (52)在某一個(gè)房間，而安裝有iPad平板電腦的iRobotCreate移動(dòng)機(jī)器人(77)在另ー個(gè)房間。實(shí)驗(yàn)者使用頭盔式3D眼鏡iWear VR920 (52)觀察另一房間并且利用角度信息控制機(jī)器人移動(dòng)，另外通過(guò)耳機(jī)(53)和微型麥克風(fēng)(57)與游客對(duì)話(huà)交流，這樣就實(shí)現(xiàn)了人機(jī)交互的室內(nèi)導(dǎo)游。對(duì)于第三項(xiàng)基本功能，參見(jiàn)附圖13，包括啟動(dòng)iRobot Create移動(dòng)機(jī)器人(9)，開(kāi)啟Kinect攝像頭(I),啟動(dòng)iRobot Create移動(dòng)機(jī)器人上的微型計(jì)算機(jī)FitPC2 (15),該計(jì)算機(jī)運(yùn)行的是Linux操作系統(tǒng)，首先在已經(jīng)開(kāi)啟的微型計(jì)算機(jī)FitPC2 (15)上運(yùn)行機(jī)器人操作系統(tǒng)R0S，并啟動(dòng)Kinect攝像頭(I)人體骨架檢測(cè)程序、人體手勢(shì)識(shí)別程序、移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序和障礙物檢測(cè)避障程序。實(shí)驗(yàn)者進(jìn)入Kinect攝像頭(I)的視覺(jué)范圍，做出已經(jīng)設(shè)定好的手勢(shì)動(dòng)作。本系統(tǒng)為實(shí)驗(yàn)設(shè)定了三種類(lèi)型的手勢(shì)動(dòng)作，如附圖14所示。分別是向后運(yùn)動(dòng)手勢(shì)(手臂向后擺動(dòng))(90)、向前運(yùn)動(dòng)手勢(shì)(手臂向前擺動(dòng))(91)和停止運(yùn)動(dòng)手勢(shì)(手臂左右擺動(dòng))(92)。這三種類(lèi)型的手勢(shì)動(dòng)態(tài)信息(包括圖像和方向信息)作為模板儲(chǔ)存在微型計(jì)算機(jī)FitPC2(15)的數(shù)據(jù)庫(kù)中。Kinect攝像頭(I)檢測(cè)到實(shí)驗(yàn)者相應(yīng)手勢(shì)以后，將人體手勢(shì)運(yùn)動(dòng)信息和圖像送入微型計(jì)算機(jī)FitPC2 (9)中作為兩個(gè)輸入量。微型計(jì)算機(jī)FitPC2 (15)首先利用神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型融合這些方向信息和圖像信息，接著將得到的結(jié)果與微型計(jì)算機(jī)FitPC2 (15)數(shù)據(jù)庫(kù)中的模板數(shù)據(jù)進(jìn)行匹配，得到相應(yīng)的手勢(shì)命令。最后根據(jù)手勢(shì)命令，微型計(jì)算機(jī)FUPC2 (15)控制iRobot Create移動(dòng)機(jī)器人(9)進(jìn)行相應(yīng)的運(yùn)動(dòng)。另外，使用URG-04LX激光測(cè)距儀(12)或三種攝像頭中的任意一種進(jìn)行障礙物檢測(cè)，當(dāng)前方有障礙物時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)采取避障運(yùn)動(dòng)。
本實(shí)施例中，上層擋板(5)、中層擋板(7)和下層擋板(8)均為有機(jī)玻璃制成，具有堅(jiān)固和重量輕的特點(diǎn)。根據(jù)需要可以不斷增加擋板的數(shù)量，以便放置更多的硬件設(shè)備。使用有機(jī)玻璃作為支撐擋板，不但價(jià)格便宜、重量輕，而且便于拆卸。
本實(shí)施例中，Kinect攝像頭(I)采用Microsoft公司生產(chǎn)的三攝像頭。本實(shí)施例中，操縱桿(3)采用Logitech公司的Attack 3 Joystick型操縱桿。本實(shí)施例中，網(wǎng)絡(luò)攝像頭(4)采用Logitech公司生產(chǎn)的QuickCam Pro 5000網(wǎng)絡(luò)攝像頭。本實(shí)施例中，微型計(jì)算機(jī)(15)和微型計(jì)算機(jī)(84)采用CompuLab公司生產(chǎn)的FitPC2微型計(jì)算機(jī),該型計(jì)算機(jī)能運(yùn)行Windows和Linux兩類(lèi)操作系統(tǒng)。這里用到了 LinuxUbuntulO. 04版本的FUPC2微型計(jì)算機(jī)(15)運(yùn)行機(jī)器人操作系統(tǒng)ROS和Windows XPProfessional版本的微型計(jì)算機(jī)(84)運(yùn)行機(jī)器人操作系統(tǒng)WIN-R0S。本實(shí)施例中，魚(yú)眼攝像頭(11)采用Point Grey公司生產(chǎn)的Firefly MVFMVU-03MTC型攝像頭。本實(shí)施例中，URG-04LX激光測(cè)距儀(12)采用Hokuyo公司的LRF URG-04LX型激光測(cè)距儀。本實(shí)施例中，全景攝像頭(13)采用Μ0Β0ΤΙΧ公司生產(chǎn)的半球形Q24 360°全景攝像頭。本實(shí)施例中，頭盔式3D眼鏡iWear VR920 (52)采用Vuzix公司生產(chǎn)的iWear VR920型號(hào)的3D頭盔式眼鏡。本實(shí)施例中，迷你麥克風(fēng)(57)采用Slinya公司MICOl型的迷你麥克風(fēng)。本實(shí)施例中，筆記本電腦(75)采用聯(lián)想公司的ThinkPad E520型筆記本電腦。本實(shí)施例中，微型計(jì)算機(jī)(15)和微型計(jì)算機(jī)(84)采用12V直流電源供電；Kinect攝像頭(I)、Logitech QuickCam Pro 5000 網(wǎng)絡(luò)攝像頭(4)、Point Grey Flycapture 魚(yú)眼攝像頭(11)、URG-04LX激光測(cè)距儀(12)、Mobotix Q24 360°全景攝像頭(13)、迷你風(fēng)扇
(16)、迷你麥克風(fēng)(57)和Logitech Attack 3 Joystick操縱桿(62)和頭盔式3D眼鏡iffear VR920 (80)采用 USB 接口供電。
權(quán)利要求
1.ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，其特征是該裝置包括Kinect攝像頭(I)、不銹鋼框架(2)、塑料支撐架(3)、Logitech QuickCam Pro 5000網(wǎng)絡(luò)攝像頭(4)、上層有機(jī)玻璃板(5)、右支撐架出)、中層有機(jī)玻璃板(7)、下層有機(jī)玻璃板(8)、iRobot Create移動(dòng)機(jī)器人(9)、iPad 平板電腦(10)、Point Grey Flycapture 魚(yú)眼攝像頭(11)、URG_04LX 激光測(cè)距儀(12)、Mobotix Q24 360°全景攝像頭(13)、左支撐架(14)、微型計(jì)算機(jī)FUPC2 (15)、迷你冷卻風(fēng)扇(16)、微型計(jì)算機(jī)FUPC2供電電源(17)、頭盔式3D眼鏡iWearVR920 (52)、VGA 轉(zhuǎn) USB 轉(zhuǎn)換器(56)、迷你麥克風(fēng)(57) ,Logitech Attack 3 Joystick 操縱桿(62)、筆記本電腦(75)、實(shí)驗(yàn)者身上攜帯的FUPC2微型計(jì)算機(jī)(84)。
2.權(quán)利要求I所述的ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，其特征是本實(shí)驗(yàn)平臺(tái)具備三項(xiàng)基本的功能，第一項(xiàng)功能是使用操縱桿或Qt界面進(jìn)行遠(yuǎn)程遙控引導(dǎo)服務(wù)；第二項(xiàng)功能是使用頭盔式3D眼鏡進(jìn)行人機(jī)交互控制；第三項(xiàng)基本功能是使用Kinect攝像頭進(jìn)行人機(jī)交互控制。
3.權(quán)利要求I所述的ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，其特征是對(duì)于第一項(xiàng)基本功能，參見(jiàn)附圖11，包括啟動(dòng)筆記本電腦(75),啟動(dòng)iPad平板電腦(10),啟動(dòng)微型計(jì)算機(jī)FitPC2 (15)，啟動(dòng)移動(dòng)機(jī)器人iRobot Create (9)，開(kāi)啟URG-04LX激光測(cè)距儀(3)，開(kāi)啟網(wǎng)絡(luò)攝像頭(4);首先在筆記本電腦(75)上運(yùn)行Linux操作系統(tǒng)，并運(yùn)行機(jī)器人操作系統(tǒng)R0S，啟動(dòng)移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序；將操縱桿￠2)連接到筆記本電腦(75)以后，打開(kāi)Linux版本的視頻通話(huà)軟件Skype,撥打iPad平板電腦(10)上Skype用戶(hù)號(hào)碼；同時(shí)iPad平板電腦(10)也開(kāi)啟視頻通話(huà)軟件Skype，接受筆記本電腦(75)發(fā)出的視頻通話(huà)請(qǐng)求；接著在已經(jīng)開(kāi)啟的微型計(jì)算機(jī)FitPC2 (15)上運(yùn)行Linux操作系統(tǒng)，并運(yùn)行機(jī)器人操作系統(tǒng)R0S，并啟動(dòng)移動(dòng)機(jī)器人障礙物檢測(cè)避障程序；筆記本電腦(75)和微型計(jì)算機(jī)FUPC2(15)以及iPad平板電腦(10)都通過(guò)WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)進(jìn)行通信；這里可以通過(guò)操縱桿(62)或者Qt界面(78)對(duì)本實(shí)驗(yàn)平臺(tái)進(jìn)行向前、向后、左轉(zhuǎn)、右轉(zhuǎn)和停止五種運(yùn)動(dòng)的遠(yuǎn)程遙控；Qt界面(78)有五種功能，如圖10所示；第一是運(yùn)動(dòng)控制和速度調(diào)節(jié)；第二是移動(dòng)機(jī)器人電池電量監(jiān)控；第三是里程數(shù)統(tǒng)計(jì)；第四是可以對(duì)網(wǎng)絡(luò)攝像頭獲取的視頻圖像進(jìn)行監(jiān)控；第五是可以對(duì)激光測(cè)距儀檢測(cè)前方是否有障礙物進(jìn)行監(jiān)控；另外，可以用URG-04LX激光測(cè)距儀(3)進(jìn)行障礙物檢測(cè)，或者用三種攝像頭中的任意一種進(jìn)行障礙物檢測(cè)；當(dāng)使用URG-04LX激光測(cè)距儀(3)進(jìn)行障礙物檢測(cè)時(shí)，前方發(fā)現(xiàn)有障礙物，那么移動(dòng)機(jī)器人iRobotCreate (9)將停止移動(dòng)；利用移動(dòng)機(jī)器人iRobot Create (9)、微型計(jì)算機(jī)FitPC2 (15)、操縱桿(62)或Qt界面(78)、筆記本電腦(75)、WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)、iPad平板電腦(10)以及Skype視頻通話(huà)軟件搭建了一個(gè)為游客進(jìn)行室內(nèi)引導(dǎo)、具有視頻及語(yǔ)音對(duì)話(huà)功能的遠(yuǎn)程遙控移動(dòng)機(jī)器人平臺(tái)；操控者只要坐在辦公室里，就能通過(guò)WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)遠(yuǎn)程操控移動(dòng)機(jī)器人完成引導(dǎo)游客的任務(wù)。
4.權(quán)利要求I所述的ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，其特征是對(duì)于第二項(xiàng)基本功能，參見(jiàn)附圖12，包括啟動(dòng)iRobot Create移動(dòng)機(jī)器人(9)，開(kāi)啟iPad平板電腦(10)，啟動(dòng)iRobot Create移動(dòng)機(jī)器人上的微型計(jì)算機(jī)FitPC2 (15),該計(jì)算機(jī)運(yùn)行的是Linux操作系統(tǒng)，并在機(jī)器人操作系統(tǒng)ROS中運(yùn)行頭盔式3D眼鏡iWear VR920角度信息接受程序、iRobot Create移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序和障礙物檢測(cè)避障程序；啟動(dòng)實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FUPC2 (84)，該計(jì)算機(jī)運(yùn)行的是Windows XP版本的操作系統(tǒng)，這是因?yàn)轭^盔式3D眼鏡iWear VR920 (52)只能在Windows系列的操作系統(tǒng)中使用；并且在實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2(84)上運(yùn)行Windows系統(tǒng)中的機(jī)器人操作系統(tǒng)WIN-ROS程序，這是ー種可以在Windows 系統(tǒng)和Linux系統(tǒng)之間傳輸數(shù)據(jù)的程序；在將頭盔式3D眼鏡iWear VR920 (52)和迷你麥克風(fēng)(57)連接到實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2(84)上以后，打開(kāi)視頻通話(huà)軟件Skype,撥打iPad平板電腦(10)上Skype用戶(hù)號(hào)碼；同時(shí)iPad平板電腦(10)也開(kāi)啟視頻通話(huà)軟件Skype，接受實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FitPC2 (84)發(fā)出的視頻通話(huà)請(qǐng)求；在將頭盔式3D眼鏡iWear VR920 (52)和迷你麥克風(fēng)(57)連接到實(shí)驗(yàn)者穿戴的微型計(jì)算機(jī)FUPC2(84)上以后，實(shí)驗(yàn)者將能與安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)視頻通話(huà)，也就是頭盔式3D眼鏡iWear VR920 (52)能通過(guò)iPad平板電腦自帶的攝像頭看到了移動(dòng)機(jī)器人周?chē)沫h(huán)境井能用麥克風(fēng)與機(jī)器人周?chē)挠慰蛯?duì)話(huà)；最后，WIN-ROS程序通過(guò)WiFi無(wú)線(xiàn)通信網(wǎng)絡(luò)(76)，將頭盔式3D眼鏡iWear VR920 (52)運(yùn)動(dòng)方向信息(俯、仰、滾三個(gè)方向)發(fā)送給移動(dòng)機(jī)器人的微型計(jì)算機(jī)FitPC2(15)，微型計(jì)算機(jī)FitPC2(15)利用接受到的方向信息控制iRobot Create移動(dòng)機(jī)器人(9)運(yùn)動(dòng)，同時(shí)運(yùn)行利用URG-04LX激光測(cè)距儀(12)或攝像頭檢測(cè)障礙物；當(dāng)戴著頭盔式3D眼鏡的實(shí)驗(yàn)者(79)頭部向左(或右)轉(zhuǎn)動(dòng)一定角度時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)也向左(或右)轉(zhuǎn)動(dòng)同樣角度；當(dāng)實(shí)驗(yàn)者頭部向前傾倒超過(guò)10度時(shí),安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)勻速前進(jìn)；當(dāng)實(shí)驗(yàn)者頭部向后傾倒超過(guò)10度時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)勻速后退；當(dāng)實(shí)驗(yàn)者頭部與地面相對(duì)垂直時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)停止運(yùn)動(dòng)；另外，只要WiFi無(wú)線(xiàn)網(wǎng)絡(luò)(76)能夠覆蓋到，這個(gè)平臺(tái)就能正常運(yùn)行；實(shí)驗(yàn)者可以戴著頭盔式3D眼鏡iWear VR920 (52)在某一個(gè)房間，而安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)在另ー個(gè)房間；實(shí)驗(yàn)者使用頭盔式3D眼鏡iWear VR920 (52)觀察另一房間并且利用角度信息控制機(jī)器人移動(dòng)，另外通過(guò)耳機(jī)(53)和微型麥克風(fēng)(57)與游客對(duì)話(huà)交流，這樣就實(shí)現(xiàn)了人機(jī)交互的室內(nèi)導(dǎo)游。
5.權(quán)利要求I所述的ー種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，其特征是對(duì)于第三項(xiàng)基本功能，參見(jiàn)附圖13,包括啟動(dòng)iRobot Create移動(dòng)機(jī)器人(9),開(kāi)啟Kinect攝像頭(I),啟動(dòng)iRobot Create移動(dòng)機(jī)器人上的微型計(jì)算機(jī)FitPC2 (15),該計(jì)算機(jī)運(yùn)行的是Linux操作系統(tǒng)，首先在已經(jīng)開(kāi)啟的微型計(jì)算機(jī)FitPC2 (15)上運(yùn)行機(jī)器人操作系統(tǒng)R0S，并啟動(dòng)Kinect攝像頭(I)人體骨架檢測(cè)程序、人體手勢(shì)識(shí)別程序、移動(dòng)機(jī)器人運(yùn)動(dòng)控制程序和障礙物檢測(cè)避障程序；實(shí)驗(yàn)者進(jìn)入Kinect攝像頭(I)的視覺(jué)范圍，做出已經(jīng)設(shè)定好的手勢(shì)動(dòng)作；本系統(tǒng)為實(shí)驗(yàn)設(shè)定了三種類(lèi)型的手勢(shì)動(dòng)作，如附圖14所示；分別是向后運(yùn)動(dòng)手勢(shì)(手臂向后擺動(dòng))(90)、向前運(yùn)動(dòng)手勢(shì)(手臂向前擺動(dòng))(91)和停止運(yùn)動(dòng)手勢(shì)(手臂左右擺動(dòng))(92);這三種類(lèi)型的手勢(shì)動(dòng)態(tài)信息(包括圖像和方向信息)作為模板儲(chǔ)存在微型計(jì)算機(jī)FitPC2(15)的數(shù)據(jù)庫(kù)中；Kinect攝像頭(I)檢測(cè)到實(shí)驗(yàn)者相應(yīng)手勢(shì)以后，將人體手勢(shì)運(yùn)動(dòng)信息和圖像送入微型計(jì)算機(jī)FitPC2 (9)中作為兩個(gè)輸入量；微型計(jì)算機(jī)FitPC2 (15)首先利用神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型融合這些方向信息和圖像信息，接著將得到的結(jié)果與微型計(jì)算機(jī)FitPC2 (15)數(shù)據(jù)庫(kù)中的模板數(shù)據(jù)進(jìn)行匹配，得到相應(yīng)的手勢(shì)命令；最后根據(jù)手勢(shì)命令，微型計(jì)算機(jī)FitPC2 (15)控制iRobot Create移動(dòng)機(jī)器人(9)進(jìn)行相應(yīng)的運(yùn)動(dòng)；另夕卜，使用URG-04LX激光測(cè)距儀(12)或三種攝像頭中的任意一種進(jìn)行障礙物檢測(cè)，當(dāng)前方有障礙物時(shí)，安裝有iPad平板電腦的iRobot Create移動(dòng)機(jī)器人(77)采取避障運(yùn) 動(dòng)。
全文摘要
該發(fā)明涉及一種室內(nèi)多用途移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)，該裝置主要包括Kinect攝像頭(1)、LogitechQuickCamPro5000網(wǎng)絡(luò)攝像頭(4)、iRobotCreate移動(dòng)機(jī)器人(9)、iPad平板電腦(10)、PointGreyFlycapture魚(yú)眼攝像頭(11)、URG-04LX激光測(cè)距儀(12)、MobotixQ243600全景攝像頭(13)、微型計(jì)算機(jī)FitPC2(15)、迷你冷卻風(fēng)扇(16)、微型計(jì)算機(jī)供電電源(17)、頭盔式3D眼鏡iWearVR920(52)、迷你麥克風(fēng)(55)、LogitechAttack3Joystick操縱桿(60)、筆記本電腦(73)、實(shí)驗(yàn)者身上攜帶的FitPC2微型計(jì)算機(jī)(81)、可穿戴式方向傳感器VN-100(83)和ZigBee接收器(84)。本實(shí)驗(yàn)平臺(tái)具備三項(xiàng)基本的功能，第一項(xiàng)功能是使用操縱桿或Qt界面進(jìn)行遠(yuǎn)程遙控引導(dǎo)服務(wù)；第二項(xiàng)功能是使用頭盔式3D眼鏡進(jìn)行人機(jī)交互控制；第三項(xiàng)基本功能是使用Kinect攝像頭進(jìn)行人機(jī)交互控制。
文檔編號(hào)G05D1/02GK102681542SQ20121005757
公開(kāi)日2012年9月19日 申請(qǐng)日期2012年3月7日 優(yōu)先權(quán)日2012年3月7日
發(fā)明者陶重犇 申請(qǐng)人:陶重犇