一種三維交互式投影成像方法【專利摘要】本發(fā)明涉及一種三維交互式投影成像方法。首先，建立三維模型；通過體感設(shè)備實時采集用戶特定動作及行為，以控制所建立的三維模型進(jìn)行相應(yīng)的變化；其次，實時將所述步驟S02變化后的三維模型分解為N個二維面，其中，N為自然數(shù)，且N＞1；最后，通過影像輸出設(shè)備，實時的將分解后的N個二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實時變化的三維虛擬影像。本發(fā)明通過體感設(shè)備捕捉人體特定動作及行為（諸如手掌、手指或其他肢體動作的不同變化）來實現(xiàn)人與虛擬場景的相交互，且其投影方式為通過光學(xué)折射和衍射在透明介質(zhì)中合成3D影像?！緦＠f明】一種三維交互式投影成像方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及一種三維交互式投影成像方法?！?br>背景技術(shù)：
】[0002]傳統(tǒng)的三維成像都是在顯示屏等顯示設(shè)備中實現(xiàn)，同時其實現(xiàn)人體與虛擬場景的交互需要采用鼠標(biāo)及鍵盤等傳統(tǒng)輸入設(shè)備，對于全息投影一般也只是停留在幻想階段。[0003]而本發(fā)明通過體感設(shè)備捕捉人體特定動作及行為(諸如手掌、手指或其他肢體動作的不同變化）來實現(xiàn)人與虛擬場景的相交互，且其投影方式為通過光學(xué)折射和衍射在透明介質(zhì)中合成3D影像。【
發(fā)明內(nèi)容】[0004]本發(fā)明的目的在于提供一種能夠?qū)崿F(xiàn)人體動作與虛擬場景相交互的三維交互式投影成像方法。[0005]為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種三維交互式投影成像方法，包括如下步驟，步驟S01:建立三維模型；步驟S02:通過體感設(shè)備實時采集用戶特定動作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實時將所述步驟S02變化后的三維模型分解為N個二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過影像輸出設(shè)備，實時的將步驟S03分解后的N個二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實時變化的三維虛擬影像。[0006]在本發(fā)明實施例中，所述用戶特定動作及行為為用戶手勢信息，所述用戶手勢信息包括手掌、手指及手持工具的狀態(tài)信息。[0007]在本發(fā)明實施例中，所述步驟S02至S03,具體實現(xiàn)過程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個唯一標(biāo)識，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動信息，該運(yùn)動信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個二維面，同時保證重組后的N個二維面同時聯(lián)動。[0008]在本發(fā)明實施例中，所述N為2。[0009]在本發(fā)明實施例中，所述N為4。[0010]在本發(fā)明實施例中，所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)。[0011]在本發(fā)明實施例中，所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物。[0012]在本發(fā)明實施例中，所述影像輸出設(shè)備包括顯示器及投影機(jī)。[0013]相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明通過體感設(shè)備捕捉人體特定動作及行為(諸如手掌、手指或其他肢體動作的不同變化）來實現(xiàn)人與虛擬場景的相交互，且其投影方式為通過光學(xué)折射和衍射在透明介質(zhì)中合成3D影像?！緦＠綀D】【附圖說明】[0014]圖1為本發(fā)明三維交互式投影成像原理圖。[0015]圖2為本發(fā)明手掌的法向量和方向圖。[0016]圖3為本發(fā)明手掌球的圓心和半徑示意圖。[0017]圖4為本發(fā)明手持工具示意圖。[0018]圖5為本發(fā)明手指方向和指尖位置不意圖。【具體實施方式】[0019]下面結(jié)合附圖，對本發(fā)明的技術(shù)方案進(jìn)行具體說明。[0020]如圖1所示，本發(fā)明的一種三維交互式投影成像方法，包括如下步驟，步驟S01:建立三維模型；步驟S02:通過體感設(shè)備實時采集用戶特定動作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實時將所述步驟S02變化后的三維模型分解為N個二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過影像輸出設(shè)備，實時的將步驟S03分解后的N個二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實時變化的三維虛擬影像。[0021]所述用戶特定動作及行為為用戶手勢信息，所述用戶手勢信息包括手掌、手指及手持工具的狀態(tài)信息。[0022]所述步驟S02至S03,具體實現(xiàn)過程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個唯一標(biāo)識，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動信息，該運(yùn)動信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個二維面，同時保證重組后的N個二維面同時聯(lián)動。[0023]所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)以及其他體感設(shè)備等。[0024]所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物等其他透明介質(zhì)。[0025]所述影像輸出設(shè)備包括顯示器及投影機(jī)等其他影像輸出設(shè)備。[0026]以下為本發(fā)明的具體實施例。[0027]本發(fā)明的三維交互式投影成像方法，即透明介質(zhì)的三維空氣成像原理如下：通過軟件編程，將設(shè)計好的三維CAD文件分別投影到屏幕的若干個面（1-4個面)，結(jié)合體感傳感器的軟件接口編程，使得若干個面的影像同時聯(lián)動。分別控制聯(lián)動的4個面的影像通過影像輸出設(shè)備（如顯示器、投影機(jī)等）分別輸出到透明介質(zhì)上，再通過折射和衍射到角度為45度的若干個面透明介質(zhì)表面，從而合成出整個可觸摸控制的3D虛擬影像。讓人可以從全方位觀察并控制3D影像，而無需任何輔助控制設(shè)備，也無需佩戴任何觀看設(shè)備。[0028]本實施例中采用LeapMotion傳感器，根據(jù)該傳感器內(nèi)置的兩個攝像頭從不同角度捕捉的畫面，重建出手掌在真實世界三維空間的運(yùn)動信息。[0029]具體即，通過LeapMotion傳感器會定期的發(fā)送關(guān)于手的狀態(tài)信息，每份這樣的信息稱為「幀」（frame)。每一個這樣的幀包含檢測到的；?所有手掌的列表及信息；?所有手指的列表及信息；?手持工具(細(xì)的、筆直的、比手指長的東西，例如一枝筆）的列表及信息；?所有可指向?qū)ο螅≒ointableObject)，即所有手指和工具的列表及信息；LeapMotion傳感器會給所有這些分配一個唯一標(biāo)識（ID)，在手掌、手指、工具保持在視野范圍內(nèi)時，是不會改變的。根據(jù)這些ID，可以查詢每個運(yùn)動對象的信息。[0030]根據(jù)每幀和前幀檢測到的數(shù)據(jù)，生成運(yùn)動信息。例如，若檢測到兩只手，并且兩只手都超一個方向移動，就認(rèn)為是平移；若是像握著球一樣轉(zhuǎn)動，則記為旋轉(zhuǎn)。若兩只手靠近或分開，則記為縮放。所生成的數(shù)據(jù)包含：?旋轉(zhuǎn)的軸向矢量；?旋轉(zhuǎn)的角度(順時針為正）；?描述旋轉(zhuǎn)的矩陣；?縮放因子；?平移矢量；如圖2-3所示，對于每只手，可以檢測到如下信息：?手掌中心的位置(三維矢量，相對于傳感器坐標(biāo)原點，毫米為單位）；?手掌移動的速度(毫米每秒）；?手掌的法矢量(垂直于手掌平面，從手心指向外）；?手掌朝向的方向；?根據(jù)手掌彎曲的弧度確定的虛擬球體的中心；?根據(jù)手掌彎曲的弧度確定的虛擬球體的半徑；對于每個手掌，亦可檢測出平移、旋轉(zhuǎn)(如轉(zhuǎn)動手腕帶動手掌轉(zhuǎn)動)、縮放(如手指分開、聚合）的信息。檢測的數(shù)據(jù)如全局變換一樣，包括：?旋轉(zhuǎn)的軸向矢量；?旋轉(zhuǎn)的角度(順時針為正）；?描述旋轉(zhuǎn)的矩陣；?縮放因子；?平移矢量；LeapMotion除了可以檢測手指外，也可以檢測手持的工具。像上文所說的，就是細(xì)的、筆直的、比手指長的物件。[0031]如圖4-5所示，對于手指和工具，會統(tǒng)一地稱為可指向?qū)ο螅≒ointableObject,每個PointableObject包含了這些信息：?長度；?寬度；?方向；?指尖位置；?指尖速度。[0032]根據(jù)全局的信息、運(yùn)動變換，手掌、手指和工具的信息和變換，將設(shè)計好的三維CAD文件通過體感傳感器的軟件接口編程，使得若干個面的影像同時聯(lián)動，并分別控制聯(lián)動的4個面的影像通過影像輸出設(shè)備（如顯示器、投影機(jī)等）分別輸出到透明介質(zhì)上，再通過折射和衍射到角度為45度的若干個面透明介質(zhì)表面，從而合成出整個可觸摸控制的3D虛擬影像。[0033]三維透明介質(zhì)的選擇：目前可以選擇的透明介質(zhì)有玻璃，亞克力板、全息投影薄膜；另一種透明介質(zhì)是水霧或者水霧與微小粒子合成的塵埃裝水霧，即通過霧化裝置產(chǎn)生的高濃度水霧或者水霧混合體噴射出一面霧化的透明空氣介質(zhì)。[〇〇34]以上是本發(fā)明的較佳實施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術(shù)方案的范圍時，均屬于本發(fā)明的保護(hù)范圍。【權(quán)利要求】1.一種三維交互式投影成像方法，其特征在于：包括如下步驟，步驟SOI:建立三維模型；步驟S02:通過體感設(shè)備實時采集用戶特定動作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實時將所述步驟S02變化后的三維模型分解為N個二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過影像輸出設(shè)備，實時的將步驟S03分解后的N個二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實時變化的三維虛擬影像。2.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述用戶特定動作及行為為用戶手勢信息，所述用戶手勢信息包括手掌、手指及手持工具的狀態(tài)信息。3.根據(jù)權(quán)利要求2所述的一種三維交互式投影成像方法，其特征在于：所述步驟S02至S03,具體實現(xiàn)過程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個唯一標(biāo)識，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動信息，該運(yùn)動信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個二維面，同時保證重組后的N個二維面同時聯(lián)動。4.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述N為2。5.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述N為4。6.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)。7.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物。8.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述影像輸出設(shè)備包括顯示器及投影機(jī)。【文檔編號】G03B35/18GK104090465SQ201410268953【公開日】2014年10月8日申請日期:2014年6月17日優(yōu)先權(quán)日:2014年6月17日【發(fā)明者】陳強(qiáng)申請人:福建水立方三維數(shù)字科技有限公司