基于手勢(shì)識(shí)別的自動(dòng)避障小車及其控制裝置和控制方法
【專利摘要】基于手勢(shì)識(shí)別的自動(dòng)避障小車，涉及人機(jī)交互智能圖像信息處理，屬于基于深度相機(jī)非接觸式三維虛擬空間領(lǐng)域和雙目立體視覺(jué)領(lǐng)域，其車體前部設(shè)置分開的兩個(gè)攝像頭，車體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車體安置兩個(gè)無(wú)線wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車體還安置一個(gè)藍(lán)牙模塊，兩個(gè)小車后輪分別連接著一個(gè)精密直流電機(jī)。上述自動(dòng)避障小車的控制裝置，其深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置串口藍(lán)牙和一個(gè)無(wú)線wifi模塊。本發(fā)明通過(guò)手勢(shì)控制小車并繪制地圖，在自動(dòng)運(yùn)行模式下實(shí)現(xiàn)小車自動(dòng)避障，利用自動(dòng)控制、網(wǎng)絡(luò)通信和圖像處理技術(shù)，操作方便，適合在危險(xiǎn)環(huán)境下檢查周圍環(huán)境是否有危險(xiǎn)和在障礙物多的地形下進(jìn)行搬運(yùn)工作。
【專利說(shuō)明】基于手勢(shì)識(shí)別的自動(dòng)避障小車及其控制裝置和控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人機(jī)交互智能圖像信息處理，屬于基于深度相機(jī)非接觸式三維虛擬空間領(lǐng)域和雙目立體視覺(jué)領(lǐng)域，具體涉及一種基于手勢(shì)識(shí)別的自動(dòng)避障小車及其控制裝置和控制方法。
【背景技術(shù)】
[0002]在現(xiàn)在計(jì)算機(jī)普遍智能化的時(shí)代，人機(jī)交互智能圖像信息處理已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要應(yīng)用。自上世紀(jì)90年代PC出現(xiàn)以來(lái)，人機(jī)交互這門交叉綜合學(xué)科，已成為用戶體驗(yàn)的主流研究技術(shù)，體感交互模式的出現(xiàn)讓人機(jī)交互技術(shù)進(jìn)入一個(gè)新時(shí)代。隨著用戶對(duì)層出不窮的移動(dòng)智能設(shè)備的剛性需求，智能圖像處理愈趨向龐大復(fù)雜的數(shù)據(jù)處理及多功能應(yīng)用發(fā)展，由此為人機(jī)交互平臺(tái)帶來(lái)了更大的挑戰(zhàn)與機(jī)遇?，F(xiàn)在，計(jì)算機(jī)處理的交互信息量越來(lái)越龐大，促使日漸高效、穩(wěn)定、實(shí)時(shí)的新型交互技術(shù)飛速發(fā)展?，F(xiàn)代交互技術(shù)主要分為語(yǔ)言識(shí)別技術(shù)和身體語(yǔ)言識(shí)別技術(shù)，其中手勢(shì)識(shí)別是身體語(yǔ)言識(shí)別技術(shù)的重要分支技術(shù)。
[0003]隨著科學(xué)技術(shù)的發(fā)展，移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域越來(lái)越廣泛，同時(shí)對(duì)人類生產(chǎn)和生活帶來(lái)了重大影響。視覺(jué)作為機(jī)器人獲取周圍環(huán)境信息的重要手段，以信息量大為特點(diǎn)，對(duì)移動(dòng)機(jī)器人自動(dòng)導(dǎo)航和自動(dòng)避障具有重要意義。避障小車有通過(guò)類似紅外傳感器實(shí)現(xiàn)硬件避障，但是這種避障方式只能在近距離避障，而且判斷不準(zhǔn)確。而雙目視覺(jué)通過(guò)視差獲取周圍環(huán)境的三維點(diǎn)云，可以精確得到障礙物離小車的距離，障礙物的左右邊距，可以為自動(dòng)導(dǎo)航和自動(dòng)避障提供很好的可行性方案。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于深度相機(jī)的手勢(shì)控制小車并繪制地圖，并能在自動(dòng)運(yùn)行模式下實(shí)現(xiàn)小車自動(dòng)避障的算法及裝置，該裝置能有效以多種操作方式控制小車，并能自動(dòng)避開障礙物，識(shí)別出地形并繪制地圖。該裝置利用自動(dòng)控制技術(shù)、網(wǎng)絡(luò)通信技術(shù)、圖像處理技術(shù)，操作方便，且能繪制出地圖和小車此時(shí)在地圖中的坐標(biāo)位置，適合在危險(xiǎn)環(huán)境下檢查周圍環(huán)境是否有危險(xiǎn)和障礙物多的地形下搬運(yùn)工作。
[0005]基于上述，本發(fā)明的第一個(gè)目的是提供一種基于手勢(shì)識(shí)別的自動(dòng)避障小車。
[0006]本發(fā)明的基于手勢(shì)識(shí)別的自動(dòng)避障小車，包括車體和輪子，其車體前部設(shè)置分開的兩個(gè)攝像頭，車體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車體安置兩個(gè)無(wú)線wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車體還安置一個(gè)藍(lán)牙模塊，兩個(gè)小車后輪分別連接著一個(gè)精密直流電機(jī)。
[0007]小車上的無(wú)線wifi模塊將攝像頭獲取的視頻信號(hào)，通過(guò)編碼發(fā)送到上位端，上位機(jī)通過(guò)wifi熱點(diǎn)鏈接到wifi模塊，上位機(jī)再去解碼，并讀取視頻，再做后面的視頻處理過(guò)程。
[0008]由于有兩個(gè)wifi模塊，有兩個(gè)熱點(diǎn)，所以通過(guò)網(wǎng)口線，將兩個(gè)wifi模塊連起來(lái)，這樣上位機(jī)只需連接一個(gè)熱點(diǎn)，就可獲取兩路視頻信號(hào)。這種方案有利于簡(jiǎn)化結(jié)構(gòu)。[0009]小車上除了兩個(gè)攝像頭，兩個(gè)wifi模塊，還有一個(gè)藍(lán)牙模塊，負(fù)責(zé)小車運(yùn)動(dòng)控制信號(hào)的傳輸。
[0010]兩個(gè)攝像頭是分開的，他們各自獲取各自的視頻圖像，通過(guò)圖像處理的方法，具體就是雙目視覺(jué)的方法，獲取深度圖，這個(gè)深度圖是實(shí)時(shí)移動(dòng)的，因?yàn)樾≤囋谝苿?dòng)，獲取的深度圖是為了做自動(dòng)避障。
[0011]本發(fā)明中，單片機(jī)優(yōu)選Atmegal28 AVR單片機(jī)。
[0012]本發(fā)明的第二個(gè)目的是提供上述自動(dòng)避障小車的一種控制裝置。
[0013]上述自動(dòng)避障小車的控制裝置，其深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置串口藍(lán)牙和一個(gè)無(wú)線wifi模塊。
[0014]作為優(yōu)選，深度體感相機(jī)選用Kinect體感相機(jī)。
[0015]本發(fā)明的第三個(gè)目的是提供上述自動(dòng)避障小車的一種控制方法。
[0016]上述自動(dòng)避障小車的控制方法，使用上述所述的控制裝置，在上位機(jī)中配置opencv和openni庫(kù),上位機(jī)安裝地圖繪制算法、手勢(shì)識(shí)別算法、自動(dòng)避障算法，手勢(shì)識(shí)別算法存儲(chǔ)手掌平面參數(shù)，在上述所述的自動(dòng)避障小車下位機(jī)中安裝自動(dòng)避障算法，然后按照下述步驟:
步驟I):將上位機(jī)的藍(lán)牙與車體藍(lán)牙配對(duì)，連接上位機(jī)的無(wú)線wifi與車體的無(wú)線wifi ；
步驟2):發(fā)出手勢(shì)。
[0017]本發(fā)明所述手勢(shì)包括:
手勢(shì)5:為停車手勢(shì)，表示小車立即停止，等待新的手勢(shì)；
手勢(shì)O:為進(jìn)入手動(dòng)控制模式手勢(shì)，移動(dòng)該手勢(shì)到合適的位置，小車做相應(yīng)的移動(dòng)；同時(shí)也是進(jìn)入手勢(shì)控制狀態(tài)的手勢(shì)，只有檢測(cè)到手勢(shì)O后，手勢(shì)5或者手勢(shì)2才會(huì)進(jìn)入算法中進(jìn)行判斷；
手勢(shì)2:為進(jìn)入自動(dòng)控制模式手勢(shì)，小車按照程序自行移動(dòng)。
[0018]所述手勢(shì)識(shí)別算法中，手勢(shì)通過(guò)kinect獲取，在上位機(jī)中獲取到圖像后，通過(guò)openni和opencv結(jié)合的方法,具體通過(guò)深度閾值獲取手勢(shì)(這是openni的功能),通過(guò)手勢(shì)圖像中凹凸點(diǎn)個(gè)數(shù)和最小hu矩方法，匹配手勢(shì)(這是用到了 opencv的方法)，手勢(shì)識(shí)別完以后，只需要發(fā)出手勢(shì)對(duì)應(yīng)的藍(lán)牙輸出信號(hào)給下位機(jī)控制即可。
[0019]當(dāng)手勢(shì)O進(jìn)行移動(dòng)，并超過(guò)移動(dòng)最小距離3cm時(shí)，即進(jìn)行判斷移動(dòng)方向，根據(jù)移動(dòng)方向，藍(lán)牙輸出對(duì)應(yīng)的控制信號(hào)。移動(dòng)方向有以下四種:前進(jìn)，后退，左拐，右拐。當(dāng)手勢(shì)偏離這幾個(gè)正對(duì)方向時(shí)，計(jì)算向哪邊的趨勢(shì)多，并輸出對(duì)應(yīng)控制信號(hào)。當(dāng)檢測(cè)到手勢(shì)5時(shí)，小車立即停止。也可通過(guò)手勢(shì)5移動(dòng)手到適合kinect檢測(cè)的位置。當(dāng)檢測(cè)到手勢(shì)2時(shí)，小車進(jìn)入自動(dòng)控制模式，小車通過(guò)自動(dòng)避障，進(jìn)行運(yùn)動(dòng)。當(dāng)再次檢測(cè)到手勢(shì)5時(shí)，停止自動(dòng)控制模式，并進(jìn)入手動(dòng)控制模式。
[0020]這里，手勢(shì)深度信息的閾值范圍控制在70cm?80cm ；
利用三維點(diǎn)云的計(jì)算公式得到手勢(shì)點(diǎn)云，然后對(duì)手勢(shì)點(diǎn)云做數(shù)據(jù)篩選；
具體過(guò)程是:通過(guò)深度體感相機(jī)獲取實(shí)時(shí)的深度圖像和RGB彩色圖像，利用Openni對(duì)圖像中人體進(jìn)行用戶定位和骨骼跟蹤，根據(jù)人體跟蹤的骨骼關(guān)節(jié)信息提取出目標(biāo)手勢(shì)的關(guān)節(jié)點(diǎn)； 對(duì)手關(guān)節(jié)點(diǎn)進(jìn)行跟蹤預(yù)測(cè)定位。設(shè)定以手關(guān)節(jié)點(diǎn)為中心的合適手勢(shì)區(qū)域范圍，同時(shí)設(shè)定手勢(shì)深度信息的閾值，結(jié)合場(chǎng)景深度圖像將手勢(shì)從背景圖像中分割出來(lái)，實(shí)時(shí)得到目標(biāo)手勢(shì)的深度信息和RGB彩色信息。
[0021]對(duì)分割后的手勢(shì)深度信息和RGB彩色信息，利用三維點(diǎn)云的計(jì)算公式得到手勢(shì)點(diǎn)云，計(jì)算后的點(diǎn)云數(shù)據(jù)只包括點(diǎn)的三維坐標(biāo)位置信息，然后對(duì)手勢(shì)點(diǎn)云做數(shù)據(jù)篩選，濾除掉手勢(shì)中的噪聲干擾點(diǎn)。
[0022]根據(jù)手勢(shì)幾何模型，找到手勢(shì)的最外輪廓，對(duì)比保存的手掌平面參數(shù)，利用最小hu矩法計(jì)算提取出手指輪廓的hu矩，將計(jì)算出的hu矩與模板的hu矩進(jìn)行匹配，識(shí)別最相近的手勢(shì)hu矩值。
[0023]所述地圖繪制算法中，下位機(jī)的單片機(jī)通過(guò)外部中斷，獲取小車后輪轉(zhuǎn)動(dòng)產(chǎn)生的脈沖，并通過(guò)定時(shí)中斷判斷小車脈沖數(shù)是否到達(dá)指定脈沖；
小車用紅點(diǎn)標(biāo)注，地圖原點(diǎn)為小車初始放置的位置，上位機(jī)檢測(cè)到更新數(shù)據(jù)后重新標(biāo)注小車紅點(diǎn)坐標(biāo)；
上位機(jī)讀取下位機(jī)傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點(diǎn)云，將空間點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面，高于15cm低于IOOcm的物體作為障礙物；
判別I軸低于15cm的為地面，提取從地面點(diǎn)集的外輪廓進(jìn)行地圖繪制，即為小車經(jīng)過(guò)的外界地形。
[0024]具體過(guò)程是:通過(guò)小車后輪兩個(gè)精密直流電機(jī)，可以精確控制小車走的距離，量出小車輪子的直徑(小車輪子直徑是通過(guò)買來(lái)時(shí)廠家提供的技術(shù)參數(shù)獲得)，由此可以精確計(jì)算小車自行距離和轉(zhuǎn)彎角度。
[0025]由直流電機(jī)技術(shù)和小車后輪參數(shù)可知，小車后輪轉(zhuǎn)一圈，直流電機(jī)會(huì)產(chǎn)生650個(gè)脈沖，所以要使小車轉(zhuǎn)的角度對(duì)應(yīng)的脈沖數(shù)=Θ *360/650，小車直行的距離d=脈沖數(shù)*2n*R/650。下位機(jī)的AVR單片機(jī)通過(guò)外部中斷，獲取小車脈沖，并通過(guò)定時(shí)中斷判斷小車脈沖數(shù)是否到達(dá)指定脈沖。通過(guò)計(jì)算出的轉(zhuǎn)的角度和自行距離，距離和轉(zhuǎn)的角度發(fā)送到上位機(jī)，上位機(jī)檢測(cè)到更新數(shù)據(jù)后重新標(biāo)注小車紅點(diǎn)坐標(biāo)。
[0026]上位機(jī)讀取下位機(jī)傳到電腦視頻流，將兩個(gè)攝像頭獲取的視頻先做雙目標(biāo)定，再做立體矯正，獲取圖像視差，用視差圖得到空間點(diǎn)云。
[0027]上述的自動(dòng)避障算法中，判別y軸高于15cm，低于IOOcm的為障礙物，提取障礙物點(diǎn)集，判斷z軸距離和X軸最左最右距離進(jìn)行自動(dòng)避障。
[0028]本發(fā)明中，控制裝置中的深度體感相機(jī)獲取人發(fā)出的手勢(shì)，上位機(jī)識(shí)別手勢(shì)，通過(guò)藍(lán)牙傳輸至下位機(jī)，下位機(jī)控制小車進(jìn)行運(yùn)動(dòng)。同時(shí)下位機(jī)實(shí)時(shí)地將小車坐標(biāo)通過(guò)藍(lán)牙傳至上位機(jī)，上位機(jī)實(shí)時(shí)更新地圖，小車的攝像頭采集到的視頻流通過(guò)wifi傳輸?shù)缴衔粰C(jī)，上位機(jī)進(jìn)行雙目視差圖像處理，獲取雙目圖像視差，用視差圖得到空間點(diǎn)云，將點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面，將高于15cm低于IOOcm的物體作為障礙物，將低于15cm的點(diǎn)集之中最外層的點(diǎn)畫在地圖上，即為小車經(jīng)過(guò)的外界地形。小車的下位機(jī)判別y軸高于15cm，低于IOOcm的障礙物，提取障礙物點(diǎn)集，判斷z軸距離和X軸最左最右距離，控制小車在自動(dòng)控制模式下進(jìn)行自動(dòng)避障?！緦＠綀D】

【附圖說(shuō)明】
[0029]圖1是本發(fā)明的手勢(shì)控制過(guò)程圖；
圖2是手勢(shì)5的手勢(shì)圖；
圖3是手勢(shì)O的手勢(shì)圖；
圖4是手勢(shì)2的手勢(shì)圖。
【具體實(shí)施方式】
[0030]基于手勢(shì)識(shí)別的自動(dòng)避障小車，包括車體和輪子，其車體前部設(shè)置分開的兩個(gè)攝像頭，車體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車體安置兩個(gè)無(wú)線wifi模塊，一個(gè)無(wú)線wifi模塊連接一個(gè)攝像頭，車體還安置一個(gè)藍(lán)牙模塊，兩個(gè)小車后輪分別連接著一個(gè)精密直流電機(jī)。
[0031]通過(guò)網(wǎng)口線,將兩個(gè)wifi模塊連起來(lái)。
[0032]單片機(jī)優(yōu)選Atmegal28 AVR單片機(jī)。
[0033]上述自動(dòng)避障小車的控制裝置，其深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置串口藍(lán)牙和一個(gè)無(wú)線wifi模塊。
[0034]深度體感相機(jī)選用Kinect體感相機(jī)。
[0035]見(jiàn)圖1。上述自動(dòng)避障小車的控制方法，使用上述的控制裝置，在上位機(jī)中配置opencv和openni庫(kù),上位機(jī)安裝地圖繪制算法、手勢(shì)識(shí)別算法、自動(dòng)避障算法，手勢(shì)識(shí)別算法存儲(chǔ)手掌平面參數(shù)，在自動(dòng)避障小車下位機(jī)中安裝自動(dòng)避障算法，然后按照下述步驟:
步驟I):將上位機(jī)的藍(lán)牙與車體藍(lán)牙配對(duì)，連接上位機(jī)的無(wú)線wifi與車體的無(wú)線wifi ;設(shè)置小車上兩個(gè)無(wú)線wifi模塊的物理地址，模塊I的物理地址為192.168.1.1，模塊2的物理地址為192.168.1.2。通過(guò)網(wǎng)口線，將兩個(gè)wifi模塊連起來(lái)。
[0036]步驟2):發(fā)出手勢(shì)。
[0037]見(jiàn)圖疒圖4。手勢(shì)5:為停車手勢(shì)，表示小車立即停止，等待新的手勢(shì)；
手勢(shì)O:為進(jìn)入手動(dòng)控制模式手勢(shì)，移動(dòng)該手勢(shì)到合適的位置，小車做相應(yīng)的移動(dòng)；同時(shí)也是進(jìn)入手勢(shì)控制狀態(tài)的手勢(shì)，只有檢測(cè)到手勢(shì)O后，手勢(shì)5或者手勢(shì)2才會(huì)進(jìn)入算法中進(jìn)行判斷；
手勢(shì)2:為進(jìn)入自動(dòng)控制模式手勢(shì)，小車按照程序自行移動(dòng)。
[0038]所述手勢(shì)識(shí)別算法中，手勢(shì)通過(guò)kinect獲取，在上位機(jī)中獲取到圖像后，通過(guò)openni和opencv結(jié)合的方法,具體通過(guò)深度閾值獲取手勢(shì)(這是openni的功能),通過(guò)手勢(shì)圖像中凹凸點(diǎn)個(gè)數(shù)和最小hu矩方法，匹配手勢(shì)(這是用到了 opencv的方法)，手勢(shì)識(shí)別完以后，只需要發(fā)出手勢(shì)對(duì)應(yīng)的藍(lán)牙輸出信號(hào)給下位機(jī)控制即可。
[0039]當(dāng)手勢(shì)O進(jìn)行移動(dòng)，并超過(guò)移動(dòng)最小距離3cm時(shí)，即進(jìn)行判斷移動(dòng)方向，根據(jù)移動(dòng)方向，藍(lán)牙輸出對(duì)應(yīng)的控制信號(hào)。移動(dòng)方向有以下四種:前進(jìn)，后退，左拐，右拐。當(dāng)手勢(shì)偏離這幾個(gè)正對(duì)方向時(shí)，計(jì)算向哪邊的趨勢(shì)多，并輸出對(duì)應(yīng)控制信號(hào)。當(dāng)檢測(cè)到手勢(shì)5時(shí)，小車立即停止。也可通過(guò)手勢(shì)5移動(dòng)手到適合kinect檢測(cè)的位置。當(dāng)檢測(cè)到手勢(shì)2時(shí)，小車進(jìn)入自動(dòng)控制模式，小車通過(guò)自動(dòng)避障，進(jìn)行運(yùn)動(dòng)。當(dāng)再次檢測(cè)到手勢(shì)5時(shí)，停止自動(dòng)控制模式，并進(jìn)入手動(dòng)控制模式。
[0040]這里，手勢(shì)深度信息的閾值范圍控制在70cm?80cm ； 利用三維點(diǎn)云的計(jì)算公式得到手勢(shì)點(diǎn)云，然后對(duì)手勢(shì)點(diǎn)云做數(shù)據(jù)篩選；
具體過(guò)程是:通過(guò)深度體感相機(jī)獲取實(shí)時(shí)的深度圖像和RGB彩色圖像，利用Openni對(duì)圖像中人體進(jìn)行用戶定位和骨骼跟蹤，根據(jù)人體跟蹤的骨骼關(guān)節(jié)信息提取出目標(biāo)手勢(shì)的關(guān)節(jié)點(diǎn)；
對(duì)手關(guān)節(jié)點(diǎn)進(jìn)行跟蹤預(yù)測(cè)定位。設(shè)定以手關(guān)節(jié)點(diǎn)為中心的合適手勢(shì)區(qū)域范圍，同時(shí)設(shè)定手勢(shì)深度信息的閾值，結(jié)合場(chǎng)景深度圖像將手勢(shì)從背景圖像中分割出來(lái)，實(shí)時(shí)得到目標(biāo)手勢(shì)的深度信息和RGB彩色信息。
[0041]對(duì)分割后的手勢(shì)深度信息和RGB彩色信息，利用三維點(diǎn)云的計(jì)算公式得到手勢(shì)點(diǎn)云，計(jì)算后的點(diǎn)云數(shù)據(jù)只包括點(diǎn)的三維坐標(biāo)位置信息，然后對(duì)手勢(shì)點(diǎn)云做數(shù)據(jù)篩選，濾除掉手勢(shì)中的噪聲干擾點(diǎn)。
[0042]根據(jù)手勢(shì)幾何模型，找到手勢(shì)的最外輪廓，對(duì)比保存的手掌平面參數(shù)，利用最小hu矩法計(jì)算提取出手指輪廓的hu矩，將計(jì)算出的hu矩與模板的hu矩進(jìn)行匹配，識(shí)別最相近的手勢(shì)hu矩值。
[0043]所述地圖繪制算法中，下位機(jī)的單片機(jī)通過(guò)外部中斷，獲取小車后輪轉(zhuǎn)動(dòng)產(chǎn)生的脈沖，并通過(guò)定時(shí)中斷判斷小車脈沖數(shù)是否到達(dá)指定脈沖；
小車用紅點(diǎn)標(biāo)注，地圖原點(diǎn)為小車初始放置的位置，上位機(jī)檢測(cè)到更新數(shù)據(jù)后重新標(biāo)注小車紅點(diǎn)坐標(biāo)；
上位機(jī)讀取下位機(jī)傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點(diǎn)云，將空間點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面，高于15cm低于IOOcm的物體作為障礙物；
判別I軸低于15cm的為地面，提取從地面點(diǎn)集的外輪廓進(jìn)行地圖繪制，即為小車經(jīng)過(guò)的外界地形。
【權(quán)利要求】
1.基于手勢(shì)識(shí)別的自動(dòng)避障小車，包括車體和輪子，其特征在于:車體前部設(shè)置分開的兩個(gè)攝像頭，車體內(nèi)部設(shè)置包含單片機(jī)的下位機(jī)，車體安置兩個(gè)無(wú)線Wifi模塊，一個(gè)無(wú)線wif i模塊連接一個(gè)攝像頭，車體還安置一個(gè)藍(lán)牙模塊，兩個(gè)小車后輪分別連接著一個(gè)精密直流電機(jī)。
2.根據(jù)權(quán)利要求1所述的自動(dòng)避障小車，其特征在于:單片機(jī)選用Atmegal28AVR單片機(jī)。
3.根據(jù)權(quán)利要求1所述的自動(dòng)避障小車，其特征在于:兩個(gè)無(wú)線wifi模塊通過(guò)網(wǎng)口線連接。
4.權(quán)利要求1的基于手勢(shì)識(shí)別的自動(dòng)避障小車的控制裝置，其特征在于:深度體感相機(jī)連接上位機(jī)，上位機(jī)設(shè)置串口藍(lán)牙和一個(gè)無(wú)線wifi模塊。
5.根據(jù)權(quán)利要求4所述的控制裝置，其特征在于:深度體感相機(jī)選用Kinect體感相機(jī)。
6.權(quán)利要求1所述的基于手勢(shì)識(shí)別的自動(dòng)避障小車的控制方法，其特征在于:使用權(quán)利要求4所述的控制裝置,在上位機(jī)中配置opencv和openni庫(kù)，上位機(jī)安裝地圖繪制算法、手勢(shì)識(shí)別算法、自動(dòng)避障算法，手勢(shì)識(shí)別算法存儲(chǔ)手掌平面參數(shù)，在權(quán)力要求I所述的自動(dòng)避障小車下位機(jī)中安裝自動(dòng)避障算法，然后按照下述步驟: 步驟I):將上位機(jī)的藍(lán)牙與車體藍(lán)牙配對(duì)，連接上位機(jī)的無(wú)線wifi與車體的無(wú)線wifi ； 步驟2):發(fā)出手勢(shì)。
7.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述手勢(shì)包括: 手勢(shì)5:為停車手勢(shì)，表示小車立即停止，等待新的手勢(shì)； 手勢(shì)O:為進(jìn)入手動(dòng)控制模式手勢(shì)，移動(dòng)該手勢(shì)到合適的位置，小車做相應(yīng)的移動(dòng)；同時(shí)也是進(jìn)入手勢(shì)控制狀態(tài)的手勢(shì)，只有檢測(cè)到手勢(shì)O后，手勢(shì)5或者手勢(shì)2才會(huì)進(jìn)入算法中進(jìn)行判斷； 手勢(shì)2:為進(jìn)入自動(dòng)控制模式手勢(shì)，小車按照程序自行移動(dòng)。
8.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述手勢(shì)識(shí)別算法中， 涉及手勢(shì)深度信息的閾值范圍控制在70cm~80cm ； 涉及利用三維點(diǎn)云的計(jì)算公式得到手勢(shì)點(diǎn)云，然后對(duì)手勢(shì)點(diǎn)云做數(shù)據(jù)篩選； 涉及根據(jù)手勢(shì)幾何模型，找到手勢(shì)的最外輪廓，對(duì)比保存的手掌平面參數(shù)，利用最小hu矩法計(jì)算提取出手指輪廓的hu矩，將計(jì)算出的hu矩與模板的hu矩進(jìn)行匹配，識(shí)別最相近的手勢(shì)hu矩值。
9.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:所述地圖繪制算法中， 涉及下位機(jī)的單片機(jī)通過(guò)外部中斷，獲取小車后輪轉(zhuǎn)動(dòng)產(chǎn)生的脈沖，并通過(guò)定時(shí)中斷判斷小車脈沖數(shù)是否到達(dá)指定脈沖； 涉及小車用紅點(diǎn)標(biāo)注，地圖原點(diǎn)為小車初始放置的位置，上位機(jī)檢測(cè)到更新數(shù)據(jù)后重新標(biāo)注小車紅點(diǎn)坐標(biāo)； 涉及上位機(jī)讀取下位機(jī)傳送的電腦視頻流，并做雙目視差處理，獲取圖像視差，用視差圖得到空間點(diǎn)云，將空間點(diǎn)云中低于15cm的點(diǎn)云設(shè)為地面,高于15cm低于IOOcm的物體作為障礙物；涉及判別I軸低于15cm的為地面，提取從地面點(diǎn)集的外輪廓進(jìn)行地圖繪制，即為小車經(jīng)過(guò)的外界地形。
10.根據(jù)權(quán)利要求6所述的控制方法，其特征在于:自動(dòng)避障算法中，涉及判別y軸高于15cm，低于IOOcm的為障礙物，提取障礙物點(diǎn)集，判斷z軸距離和x軸最左最右距離進(jìn)行自動(dòng)避障。
【文檔編號(hào)】G05D1/02GK103955215SQ201410149890
【公開日】2014年7月30日 申請(qǐng)日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】張彤, 蘆愛(ài)余, 莫建文, 劉鵬, 袁華, 陳利霞, 首照宇, 歐陽(yáng)寧, 趙暉 申請(qǐng)人:桂林電子科技大學(xué), 桂林宇輝信息科技有限責(zé)任公司