專利名稱：一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過手持特殊設(shè)備實現(xiàn)對肢體動作進(jìn)行識別的技術(shù)，特別涉及一種定位精度可達(dá)毫米級、且滿足實時要求的肢體動作錄制系統(tǒng)以及一種肢體動作解釋中間件。
背景技術(shù)：
虛擬現(xiàn)實技術(shù)被廣泛運(yùn)用于娛樂、科研、教育、軍事、航天等眾多領(lǐng)域，主要涉及計算機(jī)圖形學(xué)、人工智能、傳感器技術(shù)、人機(jī)交互技術(shù)等技術(shù)領(lǐng)域。其中的人機(jī)交互技術(shù)則是溝通虛擬世界和現(xiàn)實世界的橋梁，如何實現(xiàn)兩者之間的無縫連接至關(guān)重要。傳統(tǒng)的人機(jī)交互中輸入主要依賴于鼠標(biāo)和鍵盤，輸出則主要依賴于顯示器和音頻。鼠標(biāo)和鍵盤提供的輸入方式需要掌握鼠標(biāo)和鍵盤輸入操作，一方面，對很多人而言，是一種學(xué)習(xí)上的門檻，另一方面，也不夠人性化。由此可見，傳統(tǒng)人機(jī)交互中的輸入技術(shù)有待改進(jìn)，而這也是虛擬現(xiàn)實技術(shù)中研究白勺^^ ； ^^ ο

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種更簡單、更人性化的輸入裝置，以逐步改進(jìn)傳統(tǒng)輸入技術(shù)中的不足，進(jìn)而逐步實現(xiàn)現(xiàn)實世界和虛擬世界之間的無縫輸入。為達(dá)到上述目的，本發(fā)明提供一種直接將人的各種肢體動作作為計算機(jī)的輸入，進(jìn)而與虛擬世界進(jìn)行交互的系統(tǒng)。比如在某個游戲中，可以通過手的前后左右移動控制游戲中人物的前后左右行走方向。

圖1是本發(fā)明的系統(tǒng)框圖。肢體動作錄制系統(tǒng)10包括手持發(fā)射設(shè)備100和接收設(shè)備101，負(fù)責(zé)將輸入的肢體動作轉(zhuǎn)換成3D定位數(shù)據(jù)流，并將數(shù)據(jù)流發(fā)送給計算機(jī)11。圖2 為運(yùn)行于計算機(jī)上的軟件模塊圖，包括肢體動作解釋中間件110以及特定的應(yīng)用軟件111。 肢體動作解釋中間件110負(fù)責(zé)從3D定位數(shù)據(jù)流中截取與不同的肢體動作所對應(yīng)的3D定位數(shù)據(jù)序列，進(jìn)而識別相應(yīng)的肢體動作，并將其轉(zhuǎn)換成特定的應(yīng)用軟件111所需的控制命令， 進(jìn)而控制虛擬世界。圖3是肢體動作錄制系統(tǒng)的硬件設(shè)備原理圖。手持發(fā)射設(shè)備100為一確定尺寸的圓柱體，高H，直徑D，沿其頂面圓周1000等間距安裝六個超聲波發(fā)射器，10000U000U 10002、10003、10004和10005 ；接收設(shè)備101由三個超聲波接收器組成，1010、1011和1012。 每一個超聲波發(fā)射器都以固定的時間間隔不斷地發(fā)射窄脈沖，每一個接收器則負(fù)責(zé)不斷地接收。以發(fā)射器10000為例，每發(fā)射一個窄脈沖，三個接收器都將會接收到該窄脈沖。利用各個接收器接收到該窄脈沖的延時時間，可以計算出發(fā)射器10000當(dāng)前位置到三個接收器的距離，進(jìn)而計算出發(fā)射器10000在三個接收器所建立的坐標(biāo)系中的當(dāng)前3D位置?？紤]到超聲波發(fā)射器的發(fā)射覆蓋角度有限，所以采用六個發(fā)射器，并將其均勻安置在圓柱體上，以保證圓柱體處于空間中任何位置和任何角度，至少有三個發(fā)射器發(fā)射的窄脈沖可以被所有的接收器收到。于是，圓柱體處于空間中任何狀態(tài)，至少可以得知其上三個發(fā)射器的當(dāng)前3D位置。比如，已知發(fā)射器10000、10001、10002三個發(fā)射器的當(dāng)前3D位置，再利用圓柱體的確定尺寸，很容易推知當(dāng)前圓柱體的空間位置和空間角度。于是，當(dāng)手握該圓柱體下端并移動時，手臂在空間中的運(yùn)動軌跡也就被該系統(tǒng)以連續(xù)的3D定位數(shù)據(jù)流錄制了下來。圖4為肢體動作解釋中間件110的軟件架構(gòu)框圖。肢體動作解釋中間件110為運(yùn)行于計算機(jī)11上的軟件模塊，包括解釋引擎1100、肢體動作3D定位數(shù)據(jù)序列庫1101和控制命令生成器1102三部分。肢體動作3D定位數(shù)據(jù)序列庫1101包含了各種肢體動作與3D 定位數(shù)據(jù)序列之間的映射關(guān)系。每個肢體動作對應(yīng)于一個3D定位數(shù)據(jù)序列，不同的肢體動作對應(yīng)于具有不同特征的3D定位數(shù)據(jù)序列。比如手臂的水平向右移動對應(yīng)的3D定位數(shù)據(jù)序列，具有X不斷增加，而Y和Z基本維持不變的特征。解釋引擎1100則負(fù)責(zé)從肢體動作錄制系統(tǒng)10中接收3D定位數(shù)據(jù)流，并從中截取合適的3D定位數(shù)據(jù)序列以作為某個肢體動作的信息數(shù)據(jù)，進(jìn)一步查詢匹配肢體動作3D定位數(shù)據(jù)序列庫1101，從而識別該肢體動作。 至于已識別的肢體動作到控制命令的轉(zhuǎn)換，控制命令生成器1102則需要依賴于特定的應(yīng)用軟件111。比如，針對不同的游戲，同樣的手臂向右平移可能會對應(yīng)于不同的游戲控制命令。圖5是整個系統(tǒng)的數(shù)據(jù)流12。流程121將肢體動作編碼成連續(xù)的3D定位數(shù)據(jù)流； 流程122從上述3D定位數(shù)據(jù)流中截取肢體動作對應(yīng)的3D定位數(shù)據(jù)序列；流程123從3D定位數(shù)據(jù)序列庫中查詢匹配，確定該肢體動作；流程1 則根據(jù)特定的應(yīng)用軟件111將肢體動作轉(zhuǎn)化成最終的控制命令。
具體實施例方式下面說明本發(fā)明的一個具體實施過程，以經(jīng)典游戲俄羅斯方塊為例說明。俄羅斯方塊的控制主要包括控制墜落方塊的左移、右移、快速下移和變形四種操作。傳統(tǒng)的玩法是通過按游戲手柄上的方向鍵和另外一個功能鍵實現(xiàn)。利用本發(fā)明，手握該圓柱體，向右平移則控制墜落方塊的右移，向左平移則控制左移，向下移動則對應(yīng)于快速下移，向上移動則對應(yīng)于變形。
權(quán)利要求
1.一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于由肢體動作錄制系統(tǒng) 10和肢體動作解釋中間件110兩部分組成。其中，肢體動作錄制系統(tǒng)10包括手持發(fā)射設(shè)備100和接收設(shè)備101，負(fù)責(zé)將肢體動作軌跡轉(zhuǎn)換成3D定位數(shù)據(jù)流。肢體動作解釋中間件 110包括解釋引擎1100、肢體動作3D定位數(shù)據(jù)庫1101和控制命令生成器1102，負(fù)責(zé)從3D 定位數(shù)據(jù)流中截取不同肢體動作所對應(yīng)的3D定位數(shù)據(jù)序列，并將其轉(zhuǎn)換成特定的軟件111 所需的控制命令，進(jìn)而控制虛擬世界。
2.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中肢體動作錄制系統(tǒng)10，通過手持發(fā)射設(shè)備100，將對肢體動作軌跡的錄制轉(zhuǎn)化為對手持發(fā)射設(shè)備100運(yùn)行軌跡的錄制。
3.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中肢體動作錄制系統(tǒng)10，通過3D定位數(shù)據(jù)流對肢體動作軌跡進(jìn)行錄制。
4.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中手持發(fā)射設(shè)備100，是一個確定尺寸的圓柱體，在其頂面圓周1000等間距安裝六個超聲波發(fā)射器，10000 10005。
5.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中肢體動作解釋中間件110，通過對3D定位數(shù)據(jù)流的截取，獲得與不同肢體動作相對應(yīng)的3D定位數(shù)據(jù)序列。
6.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中肢體動作解釋中間件110，通過查詢肢體動作3D定位數(shù)據(jù)序列庫123從而識別不同的肢體動作。
7.根據(jù)權(quán)利要求1所述的一種可用于虛擬現(xiàn)實輸入的肢體動作識別裝置，其特征在于其中肢體動作解釋中間件110，根據(jù)不同的虛擬現(xiàn)實應(yīng)用場景，即特定的應(yīng)用軟件111， 將已識別的肢體動作轉(zhuǎn)換成具體的控制命令。
全文摘要
本發(fā)明是一種可用于虛擬現(xiàn)實中的肢體動作識別裝置。所屬的技術(shù)領(lǐng)域為虛擬現(xiàn)實技術(shù)中的人機(jī)交互技術(shù)。本發(fā)明解決的技術(shù)問題是提供一種相比于傳統(tǒng)人機(jī)交互中基于鼠標(biāo)和鍵盤的輸入技術(shù)更人性化、更簡單的輸入裝置，以實現(xiàn)虛擬世界和現(xiàn)實世界的無縫連接。解決該問題的技術(shù)方案的要點是通過手持特殊設(shè)備將對肢體動作的識別轉(zhuǎn)換成對特殊設(shè)備軌跡的識別，采用精度達(dá)毫米級、且滿足實時要求的3D定位系統(tǒng)將肢體動作錄制成3D定位數(shù)據(jù)流，并從中截取包含肢體動作信息的3D定位數(shù)據(jù)序列以識別相應(yīng)的肢體動作，進(jìn)而發(fā)出與具體的應(yīng)用場景相應(yīng)的控制命令，從而實現(xiàn)控制虛擬世界的目的。本發(fā)明的主要用途是在某些虛擬現(xiàn)實技術(shù)應(yīng)用場景中取代鼠標(biāo)和鍵盤，從而給用戶提供一種更人性化、更簡單的控制方式。
文檔編號G06F3/01GK102200829SQ201010131190
公開日2011年9月28日 申請日期2010年3月24日 優(yōu)先權(quán)日2010年3月24日
發(fā)明者丁勇, 于耀, 葉志華, 周余, 孔令紅, 常夏勤, 張頎, 彭成磊, 李楊, 沈慶宏, 狄海進(jìn), 王偉, 王大千, 王彤暉, 王明, 袁杰, 謝靖, 趙康僆, 趙經(jīng)緯, 都思丹 申請人:南京大學(xué)