一種3d車(chē)載終端人機(jī)交互系統(tǒng)及交互方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種3D車(chē)載終端人機(jī)交互系統(tǒng)，其特征在于，包括：3D車(chē)載終端；虛擬界面生成及控制模塊；3D圖像傳感器；實(shí)時(shí)膚色模型模塊；手勢(shì)幾何模型模塊；跟蹤模型模塊；識(shí)別模塊。以上模塊結(jié)合虛擬界面信息，得出用戶(hù)操控意圖并發(fā)出相應(yīng)控制命令。一種3D車(chē)載終端人機(jī)交互方法包括以下步驟：(1)所述3D圖像傳感器置于用戶(hù)前方；(2)所述3D圖像傳感器置于3D車(chē)載終端頂部位置；(3)通過(guò)虛擬界面的建立、三維手勢(shì)模型數(shù)據(jù)庫(kù)的建立、用戶(hù)手勢(shì)的識(shí)別實(shí)現(xiàn)系統(tǒng)的交互。
【專(zhuān)利說(shuō)明】
一種3D車(chē)載終端人機(jī)交互系統(tǒng)及交互方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及車(chē)載信息服務(wù)領(lǐng)域，具體涉及一種3D車(chē)載終端人機(jī)交互系統(tǒng)及交互方法。
【背景技術(shù)】
[0002]隨著國(guó)內(nèi)汽車(chē)的發(fā)展、汽車(chē)功能的增加，迫切需要提供更加豐富的業(yè)務(wù)。由于車(chē)載終端的誕生，使得車(chē)載終端業(yè)務(wù)比普通終端更具影響力和市場(chǎng)潛力，車(chē)載終端也將成為未來(lái)新興的傳播媒體，以及成為車(chē)載終端傳播的新渠道，既可以充分利用內(nèi)容資源，也擴(kuò)大了用戶(hù)范圍，并且能夠?qū)崿F(xiàn)廣播網(wǎng)絡(luò)的移動(dòng)化。
[0003]手勢(shì)交互是理想的人機(jī)交互方式之一，而手勢(shì)識(shí)別技術(shù)是手勢(shì)交互的重要技術(shù)手段。手勢(shì)識(shí)別技術(shù)一般包括膚色分割、手勢(shì)區(qū)域提取、手勢(shì)特征提取、手勢(shì)特征分類(lèi)這四部分。在傳統(tǒng)的手勢(shì)識(shí)別技術(shù)中這幾個(gè)技術(shù)模塊實(shí)現(xiàn)各有差異，但總體存在改進(jìn)空間。
[0004]傳統(tǒng)手勢(shì)識(shí)別技術(shù)一般采用將RGB顏色轉(zhuǎn)換到Y(jié)cbcr或HSV顏色空間，然后通過(guò)限定閾值得到膚色分割模塊。這樣的膚色分割處理方法通常會(huì)因?yàn)榄h(huán)境光照的影響，效果變的不穩(wěn)定。而且不能處理好環(huán)境中類(lèi)膚色區(qū)域的干擾，對(duì)使用環(huán)境要求比較高。
[0005]在手勢(shì)特征分類(lèi)這部分，傳統(tǒng)手勢(shì)識(shí)別方法中一般著重于單張圖像的靜態(tài)手勢(shì)識(shí)另IJ，忽視了視頻數(shù)據(jù)的連續(xù)性，沒(méi)能充分利用數(shù)據(jù)以進(jìn)一步提高識(shí)別的可靠性。
[0006]考慮到上述問(wèn)題，本發(fā)明的目的在于提供一種3D車(chē)載終端人機(jī)交互系統(tǒng)及交互方法，通過(guò)將3D車(chē)載終端與手勢(shì)識(shí)別技術(shù)相結(jié)合，引入具有獲取物體3維信息的3D圖像傳感器，改變傳統(tǒng)人機(jī)交互方式，提高人機(jī)交互時(shí)的互動(dòng)性，用簡(jiǎn)單易識(shí)別的手勢(shì)完成對(duì)車(chē)載終端的各種復(fù)雜功能的操控。

【發(fā)明內(nèi)容】

[0007]為了達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案:
[0008]一種3D車(chē)載終端人機(jī)交互系統(tǒng)，其特征在于，包括:3D車(chē)載終端;虛擬界面生成及控制模塊，用于控制3D車(chē)載終端投影虛擬界面;3D圖像傳感器，用于獲取物體深度或三維視覺(jué)信息;實(shí)時(shí)膚色模型模塊:用于從圖像中提取膚色塊;手勢(shì)幾何模型模塊:用于從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令;跟蹤模型模塊:用于對(duì)手勢(shì)圖像做跟蹤;識(shí)別模塊:用于手勢(shì)指令識(shí)別。
[0009]在所述實(shí)時(shí)膚色模型模塊中包括:初始膚色獲取模塊:利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊;膚色模型計(jì)算模塊:利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模型，并且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù);膚色判斷模塊:根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定閾值時(shí)給予膚色判斷，以上模塊結(jié)合虛擬界面信息，得出用戶(hù)操控意圖并發(fā)出相應(yīng)控制命令。
[0010]所述3D圖像傳感器置于用戶(hù)前方；
[0011]所述3D圖像傳感器置于3D車(chē)載終端頂部位置；
[0012]一種3D車(chē)載終端人機(jī)交互方法，其特征在于，通過(guò)以下步驟實(shí)現(xiàn)交互:
[0013]3D車(chē)載終端開(kāi)機(jī)后，3D圖像傳感器首先獲取用戶(hù)位置信息，將其傳送給虛擬界面生成及控制模塊;該模塊根據(jù)用戶(hù)位置信息計(jì)算虛擬界面成像最佳位置及角度，控制3D車(chē)載終端在用戶(hù)面前投影出虛擬界面；
[0014]三維手勢(shì)模型數(shù)據(jù)庫(kù)由一組記錄組成，每條記錄包括手勢(shì)識(shí)別序列和三維手勢(shì)模型序列；
[0015]當(dāng)虛擬界面在用戶(hù)前面成像后，用戶(hù)對(duì)虛擬界面進(jìn)行操作，3D圖像傳感器不斷捕捉用戶(hù)的手指位置和移動(dòng)信息，并將捕獲的信息反饋給用戶(hù)手勢(shì)識(shí)別模塊和三維手勢(shì)模型數(shù)據(jù)庫(kù)；用戶(hù)手勢(shì)識(shí)別模塊對(duì)3D圖像傳感器獲取的用戶(hù)手勢(shì)信息進(jìn)行分析、處理和識(shí)別；
[0016]通過(guò)手勢(shì)識(shí)別，3D圖像傳感器得到用戶(hù)正在執(zhí)行的動(dòng)作信息，并通過(guò)對(duì)用戶(hù)正在執(zhí)行的動(dòng)作信息與虛擬界面、以及三維手勢(shì)模型數(shù)據(jù)庫(kù)內(nèi)容的結(jié)合，分析得到用戶(hù)想要進(jìn)行的操作意圖，并對(duì)虛擬界面生成及控制模塊或3D車(chē)載終端發(fā)出控制命令，從而執(zhí)行相應(yīng)的操作。
[0017]本發(fā)明通過(guò)3D圖像傳感器獲取用戶(hù)的位置與距離，利用3D車(chē)載終端能夠在指定角度及距離呈現(xiàn)虛擬畫(huà)面的能力，在之前獲取的用戶(hù)位置處由虛擬界面生成及控制模塊控制3D車(chē)載終端呈現(xiàn)的虛擬界面，以虛擬界面為依托，用戶(hù)通過(guò)簡(jiǎn)單易識(shí)別的手勢(shì)或動(dòng)作與智能車(chē)載終端進(jìn)行互動(dòng)。
【主權(quán)項(xiàng)】
1.一種3D車(chē)載終端人機(jī)交互系統(tǒng)，其特征在于，包括:3D車(chē)載終端；虛擬界面生成及控制模塊，用于控制3D車(chē)載終端投影虛擬界面;3D圖像傳感器，用于獲取物體深度或三維視覺(jué)信息;實(shí)時(shí)膚色模型模塊:用于從圖像中提取膚色塊;手勢(shì)幾何模型模塊:用于從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令;跟蹤模型模塊:用于對(duì)手勢(shì)圖像做跟蹤;識(shí)別模塊:用于手勢(shì)指令識(shí)別;在所述實(shí)時(shí)膚色模型模塊中包括:初始膚色獲取模塊:利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊;膚色模型計(jì)算模塊:利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模型，并且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù);膚色判斷模塊:根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定閾值時(shí)給予膚色判斷，以上模塊結(jié)合虛擬界面信息，得出用戶(hù)操控意圖并發(fā)出相應(yīng)控制命令。2.根據(jù)權(quán)利要求1所述的一種3D車(chē)載終端人機(jī)交互系統(tǒng)，其特征在于，所述3D圖像傳感器置于用戶(hù)前方。3.根據(jù)權(quán)利要求1所述的一種3D車(chē)載終端人機(jī)交互系統(tǒng)，其特征在于，所述3D圖像傳感器置于3D車(chē)載終端頂部位置。4.一種3D車(chē)載終端人機(jī)交互方法，其特征在于，通過(guò)以下步驟實(shí)現(xiàn)交互: 3D車(chē)載終端開(kāi)機(jī)后，3D圖像傳感器首先獲取用戶(hù)位置信息，將其傳送給虛擬界面生成及控制模塊;該模塊根據(jù)用戶(hù)位置信息計(jì)算虛擬界面成像最佳位置及角度，控制3D車(chē)載終端在用戶(hù)面前投影出虛擬界面； 三維手勢(shì)模型數(shù)據(jù)庫(kù)由一組記錄組成，每條記錄包括手勢(shì)識(shí)別序列和三維手勢(shì)模型序列； 當(dāng)虛擬界面在用戶(hù)前面成像后，用戶(hù)對(duì)虛擬界面進(jìn)行操作，3D圖像傳感器不斷捕捉用戶(hù)的手指位置和移動(dòng)信息，并將捕獲的信息反饋給用戶(hù)手勢(shì)識(shí)別模塊和三維手勢(shì)模型數(shù)據(jù)庫(kù)；用戶(hù)手勢(shì)識(shí)別模塊對(duì)3D圖像傳感器獲取的用戶(hù)手勢(shì)信息進(jìn)行分析、處理和識(shí)別； 通過(guò)手勢(shì)識(shí)別，3D圖像傳感器得到用戶(hù)正在執(zhí)行的動(dòng)作信息，并通過(guò)對(duì)用戶(hù)正在執(zhí)行的動(dòng)作信息與虛擬界面、以及三維手勢(shì)模型數(shù)據(jù)庫(kù)內(nèi)容的結(jié)合，分析得到用戶(hù)想要進(jìn)行的操作意圖，并對(duì)虛擬界面生成及控制模塊或3D車(chē)載終端發(fā)出控制命令，從而執(zhí)行相應(yīng)的操作。
【文檔編號(hào)】G06F3/01GK106020433SQ201510893360
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2015年12月9日
【發(fā)明人】張樹(shù)坤
【申請(qǐng)人】展視網(wǎng)（北京）科技有限公司