專利名稱：人機(jī)交互設(shè)備及人機(jī)交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體技術(shù)，尤其涉及一種人機(jī)交互設(shè)備及人機(jī)交互方法。
背景技術(shù)：
隨著信息技術(shù)的發(fā)展和信息應(yīng)用系統(tǒng)的普及，用戶已經(jīng)致力于尋求更為“好用、適用、易用”的計算機(jī)，希望在與計算機(jī)“合作共事”的過程中，計算機(jī)會逐步了解用戶的需求、愛好和水平，并且用戶和計算機(jī)的“學(xué)問” 一起增長， 這種“人機(jī)智能共增”的技術(shù)水平和應(yīng)用結(jié)果是計算機(jī)技術(shù)和人工智能技術(shù)發(fā)展到一個新的階段的重要標(biāo)志之一。在以計算機(jī)或類計算機(jī)為核心的電子產(chǎn)品時代，人機(jī)交互技術(shù)正成為各國研究的重點之一。在人機(jī)交互技術(shù)的早期階段，通常以鍵盤為主，用戶通過鍵盤和鼠標(biāo)輸入計算機(jī)指令，計算執(zhí)行相應(yīng)的指令；現(xiàn)代的人機(jī)交互方式還有觸控，使用者用手或其他觸控工具(例如觸控筆)接觸觸控屏，被接觸處的電阻或電容就會發(fā)生相應(yīng)的變化，計算機(jī)通過采集不同點的數(shù)值，就能判斷出觸摸點的位置，從而可以實現(xiàn)一些操作如拖拽、縮放等；近來還有體感型人機(jī)交互，這種交互方式是通過遙控器內(nèi)的加速度傳感器感知使用者手部的運動來實現(xiàn)的；另外的一種交互方式是數(shù)據(jù)手套，這種方式同樣是通過手套上的帶有的彎曲傳感器來采集人的手部動作來實現(xiàn)交互的。對于傳統(tǒng)的鍵盤、鼠標(biāo)之類的交互方式，需要使用者接觸鍵盤，鼠標(biāo)來進(jìn)行操作；觸控要求使用者必須在設(shè)備前使用，接觸控屏幕，遠(yuǎn)離觸控屏則無法交互；體感式的交互方式，需要使用者拿著帶傳感器的遙控設(shè)備做出大幅度的肢體動作來操作；而對于據(jù)手套這種壓力傳感器接口的傳感器數(shù)目較多，而且響應(yīng)的標(biāo)定和解耦計算十分復(fù)雜，進(jìn)行實時處理時困難較大。數(shù)據(jù)手套作用范圍也?。涣硗?，數(shù)據(jù)手套可以采集肢體動作，但穿戴起來麻煩，操作不便而且對于行動不便，或肢體殘疾的人，可操作性也差。

發(fā)明內(nèi)容
基于此，有必要針對上述人機(jī)交互系統(tǒng)存在的缺陷，提供一種可操作性強(qiáng)、簡便實用的人機(jī)交互設(shè)備?！N人機(jī)交互設(shè)備,包括腦電拾電電極，用于獲取用戶腦電信號；信號處理模塊，用于采集所述腦電信號，并將所述腦電信號放大；視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖，微處理器，用于接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令，所述微處理器處理還用于所述周圍場景圖以形成虛擬場景，所述微處理器還用于根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體，并根據(jù)所述控制指令控制所述目標(biāo)物體的變化；及視頻顯示模塊，電性連接于所述微處理器，用于顯示所述虛擬場景。在本實施例中，所述視頻采集模塊由至少I個攝像頭組成。在本實施例中，所述視頻顯示模塊為眼鏡式微顯示屏另外，本發(fā)明還提供了一種人機(jī)交互的方法，包括下述步驟腦電拾電電極獲取用戶腦電信號；信號處理模塊采集所述腦電信號，并將所述腦電信號放大；視頻采集模塊捕獲用戶手勢動作及周圍場景圖；微處理器將所述周圍場景圖轉(zhuǎn)換成虛擬場景，并通過視頻采集模塊顯示所述虛擬場景；微處理器接收經(jīng)放大后的腦電信號，同時將所述腦電信號形成控制指令；微處理器根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體；根據(jù)所述控制指令控制所述目標(biāo)物體的變化。在本實施例中，其中，微處理器接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令，包括下述步驟將接收到的腦電信號進(jìn)行去噪；將去噪后的腦電信號小波分解并提取分類特征；基于所述分類特征依據(jù)SVM訓(xùn)練分類器進(jìn)行分類；依據(jù)所述分類形成控制指令。 在本實施例中，其中，根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體，包括下述步驟將所述周圍場景圖的坐標(biāo)映射關(guān)系轉(zhuǎn)換至圖像平面坐標(biāo)；分割出手指區(qū)域；計算出各手指區(qū)域的圖像平面坐標(biāo)；將上述各手指區(qū)域的圖像平面坐標(biāo)與上述顯示的虛擬場景的圖像平面坐標(biāo)進(jìn)行匹配。上述人機(jī)交互設(shè)備通過采集腦電信號，將采集到的腦電信號轉(zhuǎn)換成控制指令，將手勢動作定位虛擬場景中的目標(biāo)物體，并根據(jù)控制指令控制目標(biāo)物體的變化，實現(xiàn)與虛擬場景交互。由于使用者無需用手接觸鍵盤、鼠標(biāo)、屏幕等這些設(shè)備，無需在手上佩戴傳感器，用戶可以通過簡單的手勢動作和腦電信號來與實景虛擬現(xiàn)實交互，可實現(xiàn)放大、縮小場景、定位、移動虛擬場景中的目標(biāo)物體，可操作性強(qiáng)、精確且簡單方便。


圖I為本發(fā)明實施例提供的一種人機(jī)交互設(shè)備的結(jié)構(gòu)示意圖。圖2為本發(fā)明實施例提供的一種人機(jī)交互的方法的步驟流程圖。圖3為本發(fā)明實施例提供的微處理器接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令的步驟流程圖。圖4為本發(fā)明實施例提供的根據(jù)手勢動作定位虛擬場景中的目標(biāo)物體的步驟流程圖。
具體實施例方式請參閱圖1，圖I為本發(fā)明實施例提供的一種人機(jī)交互設(shè)備100的結(jié)構(gòu)示意圖。一種人機(jī)交互設(shè)備100，包括腦電拾電電極110、信號處理模塊120、視頻采集模塊130、微處理器140及視頻顯示模塊150。腦電拾電電極110用于獲取用戶腦電信號。可以理解，腦電拾電電極110與用戶頭皮接觸，用于獲取采集用戶的腦電信號，比如注意力、眨眼、皺眉等腦電信號。信號處理模塊120電性連接于腦電拾電電極110，用于采集腦電拾電電極110獲取的腦電信號，并將腦電信號放大。視頻采集模塊130用于捕獲用戶手勢動作及周圍場景圖。在本發(fā)明提供的實施例中，視頻采集模塊130優(yōu)選為由至少I個攝像頭組成，用戶的手勢動作及周圍場景圖被攝像頭捕獲。微處理器140電性連接于信號處理模塊120及視頻采集模塊130。微處理器140接收經(jīng)信號處理模塊120放大后的腦電信號，同時根據(jù)腦電信號形成控制指令。微處理器140還用于接收由視頻采集模塊130捕獲的周圍場景圖，并將周圍場景圖轉(zhuǎn)換成虛擬場景。微處理器140還用于根據(jù)手勢動作定位虛擬場景中的目標(biāo)物體，并根據(jù)控制指令控制所述目標(biāo)物體的變化。視頻顯示模塊150，電性連接于微處理器140，用于顯示虛擬場景。在本發(fā)明提供的實施例中視頻顯示模塊150優(yōu)選為眼鏡式微顯示屏，由視頻采集模塊130捕獲的周圍場景圖經(jīng)視頻視頻顯示模塊150顯示?？梢岳斫?，由上述控制指令控制目標(biāo)物體的變化過程及結(jié)果也經(jīng)視頻顯示模塊150顯示。請參閱圖2，圖2為本發(fā)明實施例提供的一種人機(jī)交互的方法的步驟流程圖，其包括下述步驟步驟S210 :腦電拾電電極110獲取用戶腦電信號。在本發(fā)明提供的實施例中，腦電拾電電極110與用戶頭皮接觸，用于采集用戶腦電信號。用戶在不同的意識形態(tài)下具有不同的腦電信號，如用戶在“注意力”、“眨眼”或“皺眉”等意識形態(tài)下具有不同的腦電信號。步驟S220 :信號處理模塊120采集腦電信號，并將腦電信號放大。信號處理模塊 120采集腦電拾電電極110獲取的用戶腦電信號，如“注意力”、“眨眼”或“皺眉”下的腦電信號，并將上述腦電信號進(jìn)行放大。步驟S230 :視頻采集模塊130捕獲用戶手勢動作及周圍場景圖?？梢岳斫猓曨l采集模塊130捕獲的周圍場景圖為實景。步驟S240 :微處理器110將周圍場景圖轉(zhuǎn)換成虛擬場景，并顯示虛擬場景。在本發(fā)明提供的實施例中，微處理器110將視頻采集模塊130捕獲的周圍場景圖進(jìn)行融合、通過幾何變換、剪裁、投影等矩陣運算變換，將周圍場景圖轉(zhuǎn)換成虛擬場景，并通過視頻顯示模塊150顯示。步驟S250 :微處理器110接收經(jīng)放大后的腦電信號，同時將腦電信號形成控制指令。可以理解，由于人腦的腦電信號屬于意念，很難通過腦電信號直接準(zhǔn)確定位場景中的物體，但是，如果將腦電信號轉(zhuǎn)換成可以控制的控制指令，再通過控制指令來控制虛擬場景中的物體的移動、縮放、旋轉(zhuǎn)等動作則是可以實現(xiàn)的。請參閱圖3，圖3為本發(fā)明實施例提供的微處理器110接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令的步驟流程圖，其包括下述步驟步驟S251 :微處理器110將接收到的腦電信號進(jìn)行去噪。在本發(fā)明提供的實施例中，去噪基于目前常用的小波去噪的方法。步驟S252 :微處理器110將去噪后的腦電信號小波分解并提取數(shù)據(jù)特征。在本發(fā)明提供的實施例中，微處理器110通過小波分解提取去噪后的腦電信號數(shù)據(jù)特征。例如，微處理器110通過小波分解提取“注意力”的數(shù)據(jù)特征。步驟S253 :基于上述數(shù)據(jù)特征依據(jù)SVM訓(xùn)練分類器進(jìn)行分類。可以理解，基于步驟S252微處理器110提取的數(shù)據(jù)特征的不同，根據(jù)SVM訓(xùn)練分類器進(jìn)行分類?？梢岳斫猓捎凇白⒁饬Α?、“眨眼”或“皺眉”的數(shù)據(jù)特征的不同，利用SVM訓(xùn)練分類器進(jìn)行分類。步驟S254 :基于上述分類形成控制指令?？梢岳斫猓鶕?jù)腦電信號數(shù)據(jù)特征的不同，形成了不同的類別，不同類別對應(yīng)于不同的控制指令。例如，依據(jù)“注意力”的數(shù)據(jù)特征進(jìn)行分類，形成的控制指令可以是“移動”；“眨眼”則對應(yīng)的控制指令可以為“放大”?？梢岳斫?，通過上述步驟，將難以直接控制物體的腦電信號轉(zhuǎn)換成可以控制物體的控制指令。
步驟S260 :微處理器110根據(jù)手勢動作定位虛擬場景中的目標(biāo)物體。在本發(fā)明提供的實施例中，首先通過手勢定位虛擬場景中的目標(biāo)物體，再由上述的控制指令控制目標(biāo)物體，從而實現(xiàn)人機(jī)的交互。請參閱圖4，圖4為本發(fā)明實施例提供的根據(jù)手勢動作定位虛擬場景中的目標(biāo)物體的步驟流程圖，其包括下述步驟步驟S261 :將周圍場景圖的坐標(biāo)映射關(guān)系轉(zhuǎn)換至圖像平面坐標(biāo)。在本發(fā)明提供的實施例中，將周圍場景圖的坐標(biāo)映射關(guān)系轉(zhuǎn)換至圖像平面坐標(biāo)主要采用目前常用的坐標(biāo)轉(zhuǎn)換方法，即首先采用三維幾何的方法將周圍場景圖的物體坐標(biāo)系變換成世界坐標(biāo)系，再將世界坐標(biāo)系，經(jīng)過旋轉(zhuǎn)、平移變換成攝像頭坐標(biāo)系，最后將攝像頭坐標(biāo)系進(jìn)行三維裁剪投影得到圖像坐標(biāo)。步驟S262 :基于上述圖像平面坐標(biāo)，分割出手指區(qū)域。
可以理解，微處理器110接收由視頻采集模塊130捕獲用戶手勢動作，在上述圖像平面坐標(biāo)基礎(chǔ)上，微處理器110利用手指膚色及輪廓的不同分割出手指區(qū)域。具體地，基于手指膚色與背景顏色，微處理器110利用HSV顏色空間模型進(jìn)行分割，進(jìn)一步結(jié)合手指形狀特征分割出手指區(qū)域。步驟S263 :計算出各手指區(qū)域的圖像平面坐標(biāo)。步驟S264 :將上述各手指區(qū)域的圖像平面坐標(biāo)與上述顯示的虛擬場景的圖像平面坐標(biāo)進(jìn)行匹配。在本發(fā)明實施例中，在各手指區(qū)域的圖像平面坐標(biāo)內(nèi)進(jìn)行手指改變對應(yīng)的則是與其相匹配的虛擬場景的圖像平面坐標(biāo)內(nèi)的目標(biāo)物體場景的改變，從而定位當(dāng)前虛擬場景中的目標(biāo)物體。例如，單個手指在定位坐標(biāo)后的滑動動作可以認(rèn)為是與其相匹配的目標(biāo)物體場景之間的切換；兩個手指間若運動方向相反且距離變小可以認(rèn)為是與其相匹配的目標(biāo)物體場景的縮小，運動方向相反且距離變大則認(rèn)為是與其相匹配的目標(biāo)物體場景的放大。步驟S270 :微處理器110根據(jù)控制指令控制上述目標(biāo)物體的變化?；谏鲜瞿繕?biāo)物體，微處理器110根據(jù)控制指令控制目標(biāo)物體的變化。例如，當(dāng)控制指令是“移動”，微處理器110根據(jù)“移動”控制目標(biāo)物體執(zhí)行移動動作；當(dāng)控制指令是“放大”時，微處理器110根據(jù)“放大”控制目標(biāo)物體執(zhí)行“放大”動作。可以理解，當(dāng)單個手指對虛擬場景中的目標(biāo)物體進(jìn)行實時定位后，可通過腦電信號對手指當(dāng)前定位的目標(biāo)物體進(jìn)行鎖定或取消鎖定。上述人機(jī)交互設(shè)備方法，通過采集用戶腦電信號，并將腦電信號進(jìn)行處理，形成控制指令，并通過用戶手勢動作定位虛擬場景中的目標(biāo)物體，控制指令控制目標(biāo)物體的變化，從而實現(xiàn)了人機(jī)交互。由于使用者無需用手接觸鍵盤、鼠標(biāo)、屏幕等這些設(shè)備，無需在手上佩戴傳感器，用戶可以通過簡單的手勢動作和腦電信號來與實景虛擬現(xiàn)實交互，可實現(xiàn)放大、縮小場景、定位、移動虛擬場景中的目標(biāo)物體，可操作性強(qiáng)、精確且簡單方便。以上所述，僅是本發(fā)明的較佳實施例而已，并非對本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容作出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
權(quán)利要求
1.一種人機(jī)交互設(shè)備，其特征在于，包括 腦電拾電電極，用于獲取用戶腦電信號； 信號處理模塊，用于采集所述腦電信號，并將所述腦電信號放大； 視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖； 微處理器，用于接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令，所述微處理器處理還用于處理所述周圍場景圖以形成虛擬場景，所述微處理器還用于根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體，并根據(jù)所述控制指令控制所述目標(biāo)物體的變化；及 視頻顯示模塊，電性連接于所述微處理器，用于顯示所述虛擬場景。
2.根據(jù)權(quán)利要求I所述的人機(jī)交互設(shè)備，其特征在于，所述視頻采集模塊由至少I個攝像頭組成。
3.根據(jù)權(quán)利要求I所述的人機(jī)交互設(shè)備，其特征在于，所述視頻顯示模塊為眼鏡式微顯示屏。
4.一種人機(jī)交互的方法，其特征在于，包括下述步驟 腦電拾電電極獲取用戶腦電信號； 信號處理模塊采集所述腦電信號，并將所述腦電信號放大； 視頻采集模塊捕獲用戶手勢動作及周圍場景圖； 微處理器將所述周圍場景圖轉(zhuǎn)換成虛擬場景，并通過視頻采集模塊顯示所述虛擬場旦牙、； 微處理器接收經(jīng)放大后的腦電信號，同時將所述腦電信號形成控制指令； 微處理器根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體； 根據(jù)所述控制指令控制所述目標(biāo)物體的變化。
5.根據(jù)權(quán)利要求4所述的人機(jī)交互的方法，其特征在于，其中，微處理器接收經(jīng)放大后的腦電信號，同時根據(jù)所述腦電信號形成控制指令，包括下述步驟 將接收到的腦電信號進(jìn)行去噪； 將去噪后的腦電信號小波分解并提取分類特征； 基于所述分類特征依據(jù)SVM訓(xùn)練分類器進(jìn)行分類； 依據(jù)所述分類形成控制指令。
6.根據(jù)權(quán)利要求4所述的人機(jī)交互的方法，其特征在于，其中，微處理器根據(jù)所述手勢動作定位所述虛擬場景中的目標(biāo)物體，包括下述步驟 將所述周圍場景圖的坐標(biāo)映射關(guān)系轉(zhuǎn)換至圖像平面坐標(biāo)； 基于所述圖像平面坐標(biāo)，分割出手指區(qū)域； 計算出各手指區(qū)域的圖像平面坐標(biāo)； 將上述各手指區(qū)域的圖像平面坐標(biāo)與上述顯示的虛擬場景的圖像平面坐標(biāo)進(jìn)行匹配。
全文摘要
一種人機(jī)交互設(shè)備，包括腦電拾電電極，用于獲取用戶腦電信號；信號處理模塊，用于采集腦電信號，并將腦電信號放大；視頻采集模塊，用于捕獲用戶手勢動作及周圍場景圖，微處理器，用于接收經(jīng)放大后的腦電信號，同時根據(jù)腦電信號形成控制指令，微處理器處理還用于周圍場景圖以形成虛擬場景，微處理器還用于根據(jù)手勢動作定位虛擬場景中的目標(biāo)物體，并根據(jù)控制指令控制目標(biāo)物體的變化；及視頻顯示模塊，電性連接于微處理器，用于顯示虛擬場景。本發(fā)明提供的人機(jī)交互設(shè)備用戶可以通過簡單的手勢動作和腦電信號來與實景虛擬現(xiàn)實交互，可操作性強(qiáng)、精確且簡單方便。另外，本發(fā)明還提供了一種人機(jī)交互的方法。
文檔編號G06F3/01GK102945078SQ20121045434
公開日2013年2月27日 申請日期2012年11月13日 優(yōu)先權(quán)日2012年11月13日
發(fā)明者程俊, 陶大程, 陳裕華, 張子銳 申請人:深圳先進(jìn)技術(shù)研究院