專利名稱：一種基于虛擬現(xiàn)實的體感操作方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于電子設(shè)備操作控制技術(shù)及人機交互技術(shù)領(lǐng)域，尤其涉及一種基于虛擬現(xiàn)實的體感操作方法及系統(tǒng)。
背景技術(shù)：
德國弗朗霍夫通訊研究院海因里希一赫茲研究所開發(fā)的iPoint3D系統(tǒng)，它的功能是在立體顯示三維影像的3D顯示器上，利用手勢操作三維影像。對于德國的iPoint3D 系統(tǒng)，主要是通過三維手勢操作三維顯示的圖片，它存在一些問題，這些圖片相互之間沒有三維關(guān)系，手勢對圖片的操作包括放大、縮小、移動等簡單的二維操作，并且有些動作必須要雙手才能完成?，F(xiàn)在對人的主要部位的跟蹤檢測技術(shù)在發(fā)展，對人體基本動作的檢測有初步的成果，但是目前在三維空間下的手勢還沒有一個完整定義，這種三維手勢也沒有用到虛擬現(xiàn)實中。因此，我們把三維手勢映射到對三維顯示的虛擬空間的操作上，可以實現(xiàn)人的動作對虛擬現(xiàn)實的控制。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明所要解決的技術(shù)問題是提供一種基于虛擬現(xiàn)實的體感操作方法及系統(tǒng)。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護范圍。 其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細說明的序言。本發(fā)明一方面，公開了一種體感操作方法，包括 識別操作者的手勢及其在真實空間中的運動軌跡； 對手勢類別及運動軌跡進行解析，得到相應(yīng)的操作命令；
根據(jù)操作命令，進行相應(yīng)場景調(diào)整，更新三維顯示的虛擬現(xiàn)實信息。在一些可選的實施例中，所述的識別手勢的運動軌跡包括所述運動軌跡的形狀， 和/或運動軌跡選定點的位置。在一些可選的實施例中，所述對手勢類別及運動軌跡進行解析包括 根據(jù)預先約定的手勢形狀，確定手勢類別；
對手勢的運動軌跡進行量化處理，得到軌跡信息； 映射所述的軌跡信息到相應(yīng)的操作命令。在一些可選的實施例中，所述的對手勢的運動軌跡進行量化處理包括 測算所述運動軌跡的起始點和中間點之間的第一連線的長度；
測算所述運動軌跡的起始點到結(jié)束點之間的第二連線的長度； 測算所述運動軌跡的中間點到結(jié)束點之間的第三連線的長度； 當所述第一連線和第三連線的長度之和與第二連線的差值大于預設(shè)的閾值，確定所述運動軌跡為弧線；否則，確定所述運動軌跡為直線。
在一些可選的實施例中，當所述運動軌跡為直線時，根據(jù)起始點和結(jié)束點，確定手勢在空間中的運動方向；當所述運動軌跡為曲線時，根據(jù)起始點、中間點和結(jié)束點，確定手勢在空間中弧線運動的方向。在一些可選的實施例中，所述相應(yīng)的操作命令具體包括
當所述運動軌跡是直線時，根據(jù)運動軌跡的方向，對虛擬場景中的選定物體進行平移。當所述的運動軌跡是弧線時，對虛擬場景中的選定物體進行翻轉(zhuǎn)。在一些可選的實施例中，所述進行相應(yīng)的場景調(diào)整包括
當識別出的手勢指示選定點時，將該手勢在虛擬場景中對應(yīng)點的物體作為選定物體顯示在虛擬場景中；
當識別出的手勢指示平移時，從所述選定點開始，將選定物體在虛擬場景中平移與所述運動軌跡相應(yīng)的線條。當識別出的手勢指示翻轉(zhuǎn)時，從所述選定點開始，將選定物體依據(jù)所述選定物體的中心點翻轉(zhuǎn)與所述運動軌跡形狀相應(yīng)的角度。本發(fā)明的另一方面是公開了一種體感操作系統(tǒng)，包括 識別單元，識別操作者的手勢及其在真實空間中的運動軌跡； 解析單元，對手勢類別及運動軌跡進行解析，得到相應(yīng)的操作命令；
編輯單元，根據(jù)操作命令，進行相應(yīng)場景調(diào)整，更新三維顯示的虛擬現(xiàn)實信息。在一些可選的實施例中，所述的識別單元包括 手勢識別模塊，采集操作者的手勢形狀；
動作識別模塊，記錄手勢的空間位置及運動軌跡。在一些可選的實施例中，所述的解析單元包括
手勢解析模塊，根據(jù)預先約定的手勢形狀，確定手勢類別； 軌跡處理模塊，對手勢的運動軌跡進行量化處理，得到軌跡信息。為了上述以及相關(guān)的目的，一個或多個實施例包括后面將詳細說明并在權(quán)利要求中特別指出的特征。下面的說明以及附圖詳細說明某些示例性方面，并且其指示的僅僅是各個實施例的原則可以利用的各種方式中的一些方式。其它的益處和新穎性特征將隨著下面的詳細說明結(jié)合附圖考慮而變得明顯，所公開的實施例是要包括所有這些方面以及它們的等同。本發(fā)明通過三維手勢實現(xiàn)人與虛擬現(xiàn)實交互，使用戶在三維顯示的虛擬場景中隨意的控制，將用戶三維手勢信號通過虛擬現(xiàn)實編輯以實現(xiàn)虛擬場景的變化，從而使用戶感受到自己對虛擬現(xiàn)實的控制。本發(fā)明涉及基于三維手勢的體感操作系統(tǒng)，利用三維手勢檢測技術(shù)，檢測出在三維空間下手的各種動作，從而設(shè)計出三維手勢與三維顯示的虛擬現(xiàn)實變化之間的映射，目的是使人在現(xiàn)實空間中執(zhí)行各種三維手勢動作，而三維現(xiàn)實的虛擬現(xiàn)實則根據(jù)動作進行相應(yīng)變化，使人能感到親身體驗虛擬現(xiàn)實效果。它適用于控制各種三維顯示的虛擬現(xiàn)實，如三維地圖、城市規(guī)劃、道路橋梁、工業(yè)和醫(yī)學的仿真應(yīng)用以及網(wǎng)絡(luò)游戲寸。說明書附圖


圖1是本發(fā)明方法流程圖； 圖2是具體實施例一手掌拉近或推遠效果圖；圖3是具體實施例--手掌平移效果圖；圖4是具體實施例--手掌弧線移動效果圖；圖5是具體實施例--手掌三維移動效果圖；圖6是具體實施例--手指點擊和手握拳手勢7是具體實施例--手握拳移動效果圖；圖8是具體實施例二初始化用戶視角效果圖；圖9是具體實施例二手掌拉近或推遠效果圖；圖10是具體實施例—二手掌平移效果圖；圖11是具體實施例一二手掌弧線移動效果圖；圖12是具體實施例一二手掌三維移動俯視示意13是具體實施例一二手掌三維移動側(cè)視示意14是具體實施例一二手掌三維移動效果圖；圖15是具體實施例一二移動物體效果圖；圖16是雙目視覺傳感器模型立體視圖；圖17是雙目視覺傳感器模型俯視圖；圖18是三點定圓示意圖；圖19是本發(fā)明體感操作系統(tǒng)結(jié)構(gòu)示意圖。
具體實施例方式以下描述和附圖充分地示出本發(fā)明的具體實施方案，以使本領(lǐng)域的技術(shù)人員能夠?qū)嵺`它們。其他實施方案可以包括結(jié)構(gòu)的、邏輯的、電氣的、過程的以及其他的改變。實施例僅代表可能的變化。除非明確要求，否則單獨的組件和功能是可選的，并且操作的順序可以變化。一些實施方案的部分和特征可以被包括在或替換其他實施方案的部分和特征。本發(fā)明的實施方案的范圍包括權(quán)利要求書的整個范圍，以及權(quán)利要求書的所有可獲得的等同物。在本文中，本發(fā)明的這些實施方案可以被單獨地或總地用術(shù)語“發(fā)明”來表示，這僅僅是為了方便，并且如果事實上公開了超過一個的發(fā)明，不是要自動地限制該應(yīng)用的范圍為任何單個發(fā)明或發(fā)明構(gòu)思。圖1為本發(fā)明一種體感操作方法流程圖，包括以下步驟 步驟101 識別操作者的手勢及其在真實空間中的運動軌跡；
本步驟中，識別操作者的手勢可以通過測算該手勢上的所有點在真實空間中的坐標實現(xiàn)。識別手勢在真實空間中的運動軌跡時，可以將手勢上的一個點作為測算基準點，例如將一個手指指端作為測算基準點，通過測算該測算基準點在運動過程中在每一位置的坐標， 識別出運動軌跡。上述測算坐標，均可以基于立體視覺技術(shù)實現(xiàn)，這里不再贅述。步驟102 對手勢類別及運動軌跡進行解析，得到相應(yīng)的操作命令；
本步驟中，可以利用預設(shè)的手勢模板，確定操作者的手勢對應(yīng)的操作類型。作為一種實施方式，當手抬起時，虛擬場景激活；手放下時，取消控制；手勢是掌時，解析后的操作命令是對虛擬場景的移動和旋轉(zhuǎn)；手勢是伸出手指時，操作命令是選擇物體；手勢是握拳時，操
6作命令是抓取所選擇的物體。更具體的，根據(jù)運動軌跡的起始點、中間點和結(jié)束點，以及預設(shè)的閾值，確定所述運動軌跡為弧線或直線運動。在一些可選的實施例中，當所述運動軌跡為直線時，根據(jù)起始點和結(jié)束點，確定手勢在空間中的運動方向。在一些可選的實施例中，當所述運動軌跡為曲線時，根據(jù)起始點、中間點和結(jié)束點，確定手勢在空間中弧線運動的方向。步驟103 根據(jù)操作命令，進行相應(yīng)場景調(diào)整，更新三維顯示的虛擬現(xiàn)實信息。本步驟中，在一些可選的實施例中，當識別出的手勢指示選定點時，將該手勢在虛擬場景中對應(yīng)點的物體作為選定物體顯示在虛擬場景中；
當識別出的手勢指示平移時，從所述選定點開始，將選定物體在虛擬場景中平移與所述運動軌跡相應(yīng)的線條。當識別出的手勢指示翻轉(zhuǎn)時，從所述選定點開始，將選定物體依據(jù)所述選定物體的中心點翻轉(zhuǎn)與所述運動軌跡形狀相應(yīng)的角度。利用三維手勢檢測技術(shù)，確定用戶的手型和手的空間坐標信息，最后確定手勢動作，具體實現(xiàn)如下
首先，需要得到手在空間中的坐標，如圖16所示，兩臺焦距為/的攝像機平行放置，光軸之間的距離為T,圖16中的兩個矩形分辨表示左右攝像機的成像平面，O1和Or為左右攝像機的焦點，對于場景中的任意一點Λ在左右攝像機成像平面上的成像點分別為A和凡， 它們在成像平面上的成像坐標(圖像坐標)為夕和Ζ，則視差定義為J - χ1 - xr (如圖17 所示)。以圖16中的左攝像機焦點。為原點，GA所在直線為I軸，左攝像機光軸為Z軸， 垂直于X 軸的為Y軸，則P點在O1坐標系中的坐標可以按照公式(1)計算
權(quán)利要求
1.一種體感操作方法，其特征在于，包括 識別操作者的手勢及其在真實空間中的運動軌跡； 對手勢類別及運動軌跡進行解析，得到相應(yīng)的操作命令；根據(jù)操作命令，進行相應(yīng)場景調(diào)整，更新三維顯示的虛擬現(xiàn)實信息。
2.如權(quán)利要求1所述的方法，其特征在于，所述的識別手勢的運動軌跡包括所述運動軌跡的形狀，和/或運動軌跡選定點的位置。
3.如權(quán)利要求1所述的方法，其特征在于，所述對手勢類別及運動軌跡進行解析包括 根據(jù)預先約定的手勢形狀，確定手勢類別；對手勢的運動軌跡進行量化處理，得到軌跡信息； 映射所述的軌跡信息到相應(yīng)的操作命令。
4.如權(quán)利要求3所述的方法，其特征在于，所述的對手勢的運動軌跡進行量化處理包括測算所述運動軌跡的起始點和中間點之間的第一連線的長度； 測算所述運動軌跡的起始點到結(jié)束點之間的第二連線的長度； 測算所述運動軌跡的中間點到結(jié)束點之間的第三連線的長度； 當所述第一連線和第三連線的長度之和與第二連線的差值大于預設(shè)的閾值，確定所述運動軌跡為弧線；否則，確定所述運動軌跡為直線。
5.如權(quán)利要求4所述的方法，其特征在于，當所述運動軌跡為直線時，根據(jù)起始點和結(jié)束點，確定手勢在空間中的運動方向；當所述運動軌跡為曲線時，根據(jù)起始點、中間點和結(jié)束點，確定手勢在空間中弧線運動的方向。
6.如權(quán)利要求1所述的方法，其特征在于，所述相應(yīng)的操作命令具體包括當所述運動軌跡是直線時，根據(jù)運動軌跡的方向，對虛擬場景中的選定物體進行平移；當所述的運動軌跡是弧線時，對虛擬場景中的選定物體進行翻轉(zhuǎn)。
7.如權(quán)利要求1所述的方法，其特征在于，所述進行相應(yīng)的場景調(diào)整包括當識別出的手勢指示選定點時，將該手勢在虛擬場景中對應(yīng)點的物體作為選定物體顯示在虛擬場景中；當識別出的手勢指示平移時，從所述選定點開始，將選定物體在虛擬場景中平移與所述運動軌跡相應(yīng)的線條；當識別出的手勢指示翻轉(zhuǎn)時，從所述選定點開始，將選定物體依據(jù)所述選定物體的中心點翻轉(zhuǎn)與所述運動軌跡形狀相應(yīng)的角度。
8.—種體感操作系統(tǒng)，其特征在于，包括識別單元，識別操作者的手勢及其在真實空間中的運動軌跡；解析單元，對手勢類別及運動軌跡進行解析，得到相應(yīng)的操作命令；編輯單元，根據(jù)操作命令，進行相應(yīng)場景調(diào)整，更新三維顯示的虛擬現(xiàn)實信息。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述的識別單元包括 手勢識別模塊，采集操作者的手勢形狀；動作識別模塊，記錄手勢的空間位置及運動軌跡。
10.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述的解析單元包括手勢解析模塊，根據(jù)預先約定的手勢形狀，確定手勢類別； 軌跡處理模塊，對手勢的運動軌跡進行量化處理，得到軌跡信息。
全文摘要
本發(fā)明公開了一種基于虛擬現(xiàn)實的體感操作方法及系統(tǒng)，利用三維手勢檢測技術(shù)，檢測出在三維空間下手的各種動作，從而設(shè)計出三維手勢與三維顯示的虛擬現(xiàn)實變化之間的映射，目的是使人在現(xiàn)實空間中執(zhí)行各種三維手勢動作，而三維現(xiàn)實的虛擬現(xiàn)實則根據(jù)動作進行相應(yīng)變化，使人能感到親身體驗虛擬現(xiàn)實效果。
文檔編號G06F3/01GK102226880SQ20111014920
公開日2011年10月26日 申請日期2011年6月3日 優(yōu)先權(quán)日2011年6月3日
發(fā)明者王嘉, 程懿遠, 胡洪磊, 顏世聰, 鮑東山 申請人:北京新岸線網(wǎng)絡(luò)技術(shù)有限公司