可交互數(shù)字化立體沙盤系統(tǒng)的制作方法【專利摘要】一種可交互數(shù)字化立體沙盤系統(tǒng)，由立體圖像生成系統(tǒng)和人機交互系統(tǒng)兩大部分構(gòu)成；立體圖像生成系統(tǒng)采用Opengl等3D引擎繪制三維地形，應(yīng)用人眼跟蹤和指向光技術(shù)，實現(xiàn)無輔助立體顯示，并且采用一系列圖像的加速技術(shù)加快圖像的渲染過程；使三維建筑模型置于三維地形目標(biāo)區(qū)域中，具有精確的空間分布和良好的視覺效果；立體圖像生成系統(tǒng)構(gòu)成裸眼立體顯示器；人機交互系統(tǒng)，指通過手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的系統(tǒng)，通過預(yù)置手勢識別的接口實現(xiàn)；相對應(yīng)的手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的放大、縮小、平移、旋轉(zhuǎn)或進入等并且根據(jù)需要配置對應(yīng)的可以區(qū)別不同控制意義的手勢。【專利說明】爸制，購置速度慢，運輸不便，已難以適應(yīng)當(dāng)1經(jīng)發(fā)展成為大區(qū)域、立體化、多兵種，戰(zhàn)爭中適應(yīng)現(xiàn)代戰(zhàn)爭需要的戰(zhàn)場態(tài)勢表達技術(shù)，丁交互式的數(shù)字化沙盤運用而生。近年來越6上，其人與作戰(zhàn)環(huán)境的虛擬并自然的交互練中的問題，如費用過高、環(huán)境限制等。越玫字化沙盤全部都是平面的，不能夠準(zhǔn)確表:|」的對比分析0-7-28)提出了一種“基于實時交互式影像象模塊為投影機組，交互模塊分為非接觸式./攝像機設(shè)備采集影像，接觸式則為采用成像模塊。基礎(chǔ)模塊則為適合成像模塊成3-2-20)提出了“一種交互式電子沙盤手勢存放在了智能化互補，多模態(tài)(多通道)多也就是放在以人為在中心的人機交互技術(shù)I才剛剛起步并且正迅速的發(fā)展?？梢哉f世多、娛樂方面)。然而目前我國在人機交互方匕差距，缺少新的人機技術(shù)。而利用指向光I示技術(shù)的應(yīng)用尚未成熟。技術(shù)已經(jīng)發(fā)展的較成熟。市面上也越來越5。然而雖然立體圖像對技術(shù)能夠提供立體，通過視差而立體成像。但這類技術(shù)不僅需舒適度，而且使用操作具有極大的局限性，巨調(diào)節(jié)和實現(xiàn)匯聚調(diào)節(jié)，長時間觀看會產(chǎn)生立體沙盤系統(tǒng)，利用裸眼30技術(shù)和觸摸技(如55寸)的水平顯示臺產(chǎn)生30效果，人貌，并且可以顯示戰(zhàn)爭中用到的軍事模型包括坦克、飛機等，并且有絢麗的戰(zhàn)爭光影效果，預(yù)置手勢識別的接口通過手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)，因為地形和軍事模型非常的復(fù)雜，所以程序的數(shù)據(jù)量非常大。對于這樣的數(shù)據(jù)量，系統(tǒng)采用創(chuàng)新的數(shù)據(jù)管理方式:即統(tǒng)一的三維地形場景，分塊的三維軍事模型數(shù)據(jù)，實現(xiàn)三維軍事模型分層調(diào)入，使系統(tǒng)既是一個有機的整體，又能快速運行，解決海量數(shù)據(jù)和運行效率的問題。[0020]立體圖像生成系統(tǒng)中立體圖像的獲得是利用左右眼看到的圖像有細微的差別，從而在大腦中合成一幅具有深度的立體圖。用虛擬攝像機拍攝模擬場景，通過坐標(biāo)變換獲得左右圖像，對獲得的左右圖像進行視差控制，基于視差機制，利用Opengl,Opencv,DirectX或3D引擎繪制三維地形(進行渲染加速)。因為在視差間距過大的情況下無法在大腦中形成3D圖像，所以對獲得的左右圖像進行視差控制(控制左右圖像同名點的間距)；當(dāng)由于人眼的移動會造成圖像匯聚點的移動使立體圖像產(chǎn)生畸變，這樣就需要采用視覺跟蹤的方法使左右圖像的匯聚點保持不變，從而實現(xiàn)交互立體圖像的生成。[0021]2)、人機交互系統(tǒng)[0022]指通過手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的系統(tǒng)，通過預(yù)置手勢識別的接口實現(xiàn)；可交互數(shù)字化立體沙盤系統(tǒng)操作靈活，互操作能力很強。相對應(yīng)的手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的放大、縮小、平移、旋轉(zhuǎn)或進入等并且根據(jù)需要配置對應(yīng)的可以區(qū)別不同控制意義的手勢；由立體相機拍攝并取得手勢三維信息，利用中點補償算法對原始采樣點進行處理，建立隱性馬爾科夫模型，將手勢空間分布特征，與樣本庫進行相似度對比，識別手勢具體含義。[0023]還包括通過自然的手勢控制，可以在三維場景中前進、后退，升高、降低視點、進入三維地形場景或三維模型數(shù)據(jù)觀察內(nèi)部細節(jié)(如樓盤內(nèi)部觀察房間內(nèi)部的細節(jié)，并可以在房間中看到周圍的建筑和風(fēng)景，給人一種極致的人機交互體驗)。圖11顯示了可以實現(xiàn)的手勢操作。無侵?jǐn)_手勢識別裝置、且實時立體內(nèi)容生成構(gòu)成實時的人機立體圖像(影像)的生成交互；[0024]裸眼立體顯示器放置無侵?jǐn)_手勢識別裝置，通過對手勢的識別，實現(xiàn)3D圖像多人實時互動。利用裸眼3D技術(shù)和無侵?jǐn)_手勢識別技術(shù)實現(xiàn)高仿真立體畫面和高精度人機互動，人眼看到的沙盤模型懸浮在裸眼立體顯示器上方。[0025]所述的人機交互，根據(jù)實時記錄大視角、大動態(tài)范圍的用戶活動區(qū)域，利用幀間差分的識別方法，達到手勢對三維場景的實時控制。[0026]采用人眼跟蹤和指向光技術(shù)，人眼位置的探測為非接觸式，用戶無需佩戴任何輔助裝置。[0027]擁有手勢探測的基本攝像模塊，基于視覺感知的手勢運動軌跡的描述，擁有手勢的理解與識別算法，實現(xiàn)規(guī)定手勢的自動識別。近場手勢交互，多個手勢識別的攝像頭進行手勢的捕捉，可實現(xiàn)無侵?jǐn)_手勢識別，手勢定位的精度達到厘米級別。[0028]本系統(tǒng)采用的是近場手勢交互技術(shù)，結(jié)合計算機視覺檢測技術(shù)檢測手指的位置，引導(dǎo)立體圖像生成模塊生成對應(yīng)的立體像對，以實現(xiàn)可操控，可交互的技術(shù)要求。擁有手勢探測的基本攝像模塊，實時記錄大視角、大動態(tài)范圍的用戶活動區(qū)域；擁有基于視覺感知的手勢運動軌跡的描述，從而形成關(guān)于手勢基本點云描述；擁有手勢的理解與識別算法，實現(xiàn)[關(guān)系。芝校正處理。3、30裸眼顯示屏4、虛擬物體5、人眼跟蹤戸所在的大致區(qū)域，采用幀間差分的方法提:圖像的灰度值的差分信息得到手的運動區(qū)基本原理，實時、快速地生成可交互的立體.體圖像格式。在㈨的隊?wèi)?yīng)用程序接口中，視差圖像。即通過？(:終端1、視頻接口2、以物體5在屏上，人眼跟蹤器6用于對人眼I模擬觀看者的雙眼捕獲左右圖像，通過視與架虛擬相機模擬雙眼獲取立體圖像對，有和平行式立體相機模型(圖5)。匯聚式立1近景的拍攝；平行式立體相機模型光軸互目于遠景的拍攝。建立數(shù)學(xué)模型，以兩架相I為原點建立相機坐標(biāo)系，以相機冗0投影7原點建立顯示坐標(biāo)系，立體相機拍攝的過坐標(biāo)系、相機坐標(biāo)系到圖像坐標(biāo)系、圖像坐？問題，經(jīng)常用一個比實際瞳孔距離小的間線向量為rD,雙眼中心坐標(biāo)為I,實際物體位置為E點,用戶感知的物體位置為F點?？梢远x一個轉(zhuǎn)換矩陣，通過該轉(zhuǎn)換矩陣可以在世界坐標(biāo)系中將E點轉(zhuǎn)換到F點，即F=Δ(E)0通過在坐標(biāo)系中的轉(zhuǎn)換可以有效地減小崎變問題，如(圖9右)所不，紅色的網(wǎng)格為崎變圖像，藍色的網(wǎng)格為進行逆畸變Λ-1處理后的圖像?？梢钥闯鲞M行逆畸變處理可以有效的還原真實的場景。[0055]4)、基于視差機制的圖像加速方法[0056]在虛擬場景中，根據(jù)一系列點的三維信息，利用現(xiàn)有程序OPENGL繪制三角形渲染出整個場景，再加以紋理貼圖就可以完成地圖渲染，我們可以在初始化過程中將所有點的信息存入GPU中這樣在渲染的過程中就無需頻繁的讀取內(nèi)存中的數(shù)據(jù)，加以渲染過程。在渲染之前對地形各個快進行裁剪測試，這樣我們在繪制地圖中較遠的場景時就可以使用較少的三角形進行渲染，對于不在視野范圍內(nèi)的場景不進行渲染，這樣就可以加快圖像的渲染過程。[0057]實施例1:[0058]實際裝置中，我們采用的手勢識別裝置是Leapmot1n。Leapmot1n傳感器根據(jù)內(nèi)置的兩個攝像頭從不同的角度捕捉的畫面，重建出手掌在真是世界三維空間的聯(lián)動信息。檢測的范圍大體在傳感器上方25毫米到600毫米之間，檢測的空間大體是一個到四棱錐體。[0059]首先，LeapMot1n傳感器會建立一個直角坐標(biāo)系，坐標(biāo)的原點式傳感器的中心，坐標(biāo)的X軸平行于傳感器，指向屏幕右方。Y軸指向上方。Z軸之相背離屏幕的方向。單位為真實世界的毫米。在使用過程中，LeapMot1n傳感器會定期的發(fā)送關(guān)于手的聯(lián)動信息，每份這樣的信息稱為「幀」。每一個這樣的幀包含檢測到的:[0060].所有手掌的列表及信息；[0061].所有手指的列表及信息；[0062].手持工具(細的，筆直的，比手指長的東西，例如一枝筆)的列表及信息；[0063].所有可指向?qū)ο?PointableObject)，即所有手指和工具的列表及信息；[0064]Leap傳感器會給所有這些分配一個唯一標(biāo)識(ID)，在手掌、手指、工具保持在視野范圍內(nèi)時，是不會改變的。根據(jù)這些ID,可以通過Frame::handO,Frame::fingerO等函數(shù)來查詢每個連動對象的信息。[0065]然后根據(jù)每幀和前幀檢測到的數(shù)據(jù)，生成運動信息。例如，若檢測到兩只手，并且兩只手都超一個方向移動，就認(rèn)為是平移；若是像握著球一樣轉(zhuǎn)動，則記為旋轉(zhuǎn)。若兩只手靠近或分開，則記為縮放。所生成的數(shù)據(jù)包含:[0066]?旋轉(zhuǎn)的軸向向量；[0067].旋轉(zhuǎn)的角度(順時針為正)；[0068].描述旋轉(zhuǎn)的矩陣；[0069].縮放因子；[0070]?平移向量；[0071]實施例2:[0072]實際成品如圖3所示。該產(chǎn)品由55寸3D液晶顯示屏,三維手勢精確定位元件,手勢協(xié)處理器，電子計算機集成而成，可配置底座，采用集成化無縫設(shè)計。只有顯示屏暴露在夕卜，三維手勢精確定位元件和手勢協(xié)處理器元件(手勢探測器)暗藏在顯示屏的周邊。[0073]如圖3所示，用戶在顯示器前方左右前后移動時，人眼跟蹤裝置將用戶位置實時監(jiān)測到；與此同時，收拾探測其探測用戶雙手的操作姿態(tài)。用戶的眼睛位置，手勢動作信息被實時傳輸給PC機，PC機根據(jù)用戶觀看點、手部動作而實時生成相對應(yīng)的一對立體圖像并顯示在顯示屏上。由于對人眼位置、手勢動作的探測是接觸式的，用頭部、手部無需佩戴任何輔助裝置，從而實現(xiàn)無侵?jǐn)_人機交互。[0074]雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明。本發(fā)明所屬【
技術(shù)領(lǐng)域：
】中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動與潤飾。因此，本發(fā)明的保護范圍當(dāng)視權(quán)利要求書所界定者為準(zhǔn)?！緳?quán)利要求】1.一種可交互數(shù)字化立體沙盤系統(tǒng)，其特征是由立體圖像生成系統(tǒng)和人機交互系統(tǒng)兩大部分構(gòu)成；1)、立體圖像生成系統(tǒng)立體圖像生成系統(tǒng)采用Opengl,Opencv,DirectX或3D引擎繪制三維地形,應(yīng)用人眼跟蹤和指向光技術(shù)，實現(xiàn)無輔助立體顯示，并且采用一系列圖像的加速技術(shù)加快圖像的渲染過程；使三維建筑模型置于三維地形目標(biāo)區(qū)域中，具有精確的空間分布和良好的視覺效果；立體圖像生成系統(tǒng)構(gòu)成裸眼立體顯示器；立體圖像生成系統(tǒng)采用獨自編程，沙盤模型細節(jié)眾多。不僅可以顯示整個地形地貌，并且可以顯示戰(zhàn)爭中用到的軍事模型包括坦克、飛機等，并且有絢麗的戰(zhàn)爭光影效果，預(yù)置手勢識別的接口通過手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)，因為地形和軍事模型非常的復(fù)雜，所以程序的數(shù)據(jù)量非常大。對于這樣的數(shù)據(jù)量，系統(tǒng)采用創(chuàng)新的數(shù)據(jù)管理方式:即統(tǒng)一的三維地形場景，分塊的三維軍事模型數(shù)據(jù)，實現(xiàn)三維軍事模型分層調(diào)入，使系統(tǒng)既是一個有機的整體，又能快速運行，解決海量數(shù)據(jù)和運行效率的問題。立體圖像生成系統(tǒng)中立體圖像的獲得是利用左右眼看到的圖像有細微的差別，從而在大腦中合成一幅具有深度的立體圖。用虛擬攝像機拍攝模擬場景，通過坐標(biāo)變換獲得左右圖像，對獲得的左右圖像進行視差控制，基于視差機制，利用Opengl,Opencv,Directx或3D引擎繪制三維地形(進行渲染加速)。因為在視差間距過大的情況下無法在大腦中形成3D圖像，所以對獲得的左右圖像進行視差控制(控制左右圖像同名點的間距)；當(dāng)由于人眼的移動會造成圖像匯聚點的移動使立體圖像產(chǎn)生畸變，這樣就需要采用視覺跟蹤的方法使左右圖像的匯聚點保持不變，從而實現(xiàn)交互立體圖像的生成。2)、人機交互系統(tǒng)指通過手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的系統(tǒng)，通過預(yù)置手勢識別的接口實現(xiàn)；相對應(yīng)的手勢控制立體圖像生成系統(tǒng)中三維地形場景或三維模型數(shù)據(jù)的放大、縮小、平移、旋轉(zhuǎn)或進入等并且根據(jù)需要配置對應(yīng)的能區(qū)別不同控制意義的手勢；由立體相機拍攝并取得手勢三維信息，利用中點補償算法對原始采樣點進行處理，建立隱性馬爾科夫模型，將手勢空間分布特征，與樣本庫進行相似度對比，識別手勢具體含義；還包括通過自然的手勢控制，在三維場景中前進、后退，升高、降低視點、進入三維地形場景或三維模型數(shù)據(jù)觀察內(nèi)部細節(jié)；手勢識別的接口連接無侵?jǐn)_手勢識別或監(jiān)測裝置、通過對手勢的識別，且實時立體內(nèi)容生成構(gòu)成實時的人機立體圖像(影像)的生成實時交互。2.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是裸眼立體顯示器放置無侵?jǐn)_手勢識別裝置，利用裸眼3D技術(shù)和無侵?jǐn)_手勢識別技術(shù)實現(xiàn)高仿真立體畫面和高精度人機互動，人眼看到的沙盤模型懸浮在裸眼立體顯示器上方。3.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是所述的人機交互，擁有手勢探測的基本攝像模塊，通過多個攝像頭或者手勢識別元件，同時提取多個手勢，范圍覆蓋整個屏幕，利用幀間差分的識別方法，將不同用戶的手勢分別提取出來，并將手勢識別的反饋實時顯示在圖像上，達到手勢對三維場景的實時控制。4.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是采用人眼跟蹤和指向光技術(shù)，人眼位置的探測為非接觸式。5.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是擁有手勢探測的基本攝像模塊，基于視覺感知的手勢運動軌跡的描述，擁有手勢的理解與識別算法，即基于手勢空間分布特征的手勢識別算法，手勢空間分布特征(HDF)是對人手空間特征的抽象描述；其中最重要的就是提取膚色和手勢空間的特征向量，并將提取的手勢空間分布特征與樣本庫進行相似度比較，識別手勢的具體含義；提取空間分布特征一般從整體姿態(tài)和局部姿態(tài)2個方面進行。然后將手勢的整體表現(xiàn)特征與手勢的關(guān)節(jié)變化特性結(jié)合起來提取手勢的空間分布特征，從而實現(xiàn)規(guī)定手勢的自動識別。6.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是系統(tǒng)采用的是近場手勢交互技術(shù)，多個手勢識別的攝像頭進行手勢的捕捉，結(jié)合計算機視覺檢測技術(shù)檢測手指的位置，采用膚色識別等技術(shù)將手勢動作提取出來，根據(jù)隱馬爾科夫模型引導(dǎo)立體圖像生成模塊生成對應(yīng)的立體圖像對，通過手勢動作和預(yù)置的模型進行比較，從而反饋出相應(yīng)的圖像變化信號，以實現(xiàn)可操控，可交互。7.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是設(shè)有基于視覺感知的手勢運動軌跡的描述，從而形成關(guān)于手勢基本點云描述；擁有手勢的理解與識別算法，實現(xiàn)規(guī)定手勢的自動識別；根據(jù)用戶的實時動態(tài)，手勢的變換控制，裸眼立體顯示器實時更新場景的顯示。8.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是為消除畸變，建立一個畸變模型，以零視差平面中心為原點，垂直于該面為Z軸，水平方向為X軸。在該圖中實際人眼連線的向量為2D，計算機設(shè)定的人眼連線向量為rD，雙眼中心坐標(biāo)為I，實際物體位置為E點，用戶感知的物體位置為F點；通過定義一個轉(zhuǎn)換矩陣，通過該轉(zhuǎn)換矩陣可以在世界坐標(biāo)系中將E點轉(zhuǎn)換到F點，即F=Δ(E)。9.根據(jù)權(quán)利要求1所述的可交互數(shù)字化立體沙盤系統(tǒng)，其特征是通過在坐標(biāo)系中的轉(zhuǎn)換有效地減小畸變問題?！疚臋n編號】G06F3/01GK104050859SQ201410193904【公開日】2014年9月17日申請日期:2014年5月8日優(yōu)先權(quán)日:2014年5月8日【發(fā)明者】王元慶,董辰辰,李異同,陸大偉,馬換申請人:南京大學(xué)