基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置制造方法
【專利摘要】本發(fā)明公開了一種基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，包括Kinect設(shè)備、主機(jī)、顯示屏和服務(wù)器，所述Kinect設(shè)備和顯示屏均通過數(shù)據(jù)線連接在主機(jī)上，所述主機(jī)和服務(wù)器通過互聯(lián)網(wǎng)連接。通過使用Kinect設(shè)備代替原理復(fù)雜的鼠標(biāo)、鍵盤、觸摸屏為主，雖然虛擬頭盔、3D眼鏡和體感手套等，從而降低了裝置的成本，并增強(qiáng)了體驗(yàn)真實(shí)感。
【專利說明】基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息處理領(lǐng)域，具體地，涉及一種基于Kinect的文化遺產(chǎn)數(shù)字化展示
>J-U裝直。
【背景技術(shù)】
[0002]目前，現(xiàn)有文化遺產(chǎn)的數(shù)字化展示技術(shù)主要有基于虛擬現(xiàn)實(shí)技術(shù)的真實(shí)感繪制技 術(shù)、沉浸式投影技術(shù)、基于多媒體信息集成展示技術(shù)的數(shù)字博物館等。其中真實(shí)感繪制技術(shù) 為用戶提供一個(gè)由計(jì)算機(jī)制作的虛擬三維空間場(chǎng)景，用戶通過鼠標(biāo)、鍵盤等交互操作設(shè)備 可實(shí)現(xiàn)在場(chǎng)景中的自由移動(dòng)和變換視角；沉浸式投影技術(shù)利用投影儀和相關(guān)設(shè)備為用戶提 供高質(zhì)量的立體影像與高度仿真的虛擬場(chǎng)景；數(shù)字博物館利用計(jì)算機(jī)圖像處理技術(shù)、多媒 體技術(shù)和人機(jī)交互技術(shù)等營(yíng)造數(shù)字化展示系統(tǒng)，用戶可通過電子書、視聽光盤、網(wǎng)頁(yè)瀏覽、 虛擬體驗(yàn)等方式訪問文化遺產(chǎn)數(shù)字資源。
[0003]上述這些技術(shù)中采用的人機(jī)交互方式多以傳統(tǒng)的交互設(shè)備如鼠標(biāo)、鍵盤、觸摸屏 為主，雖然虛擬頭盔、3D眼鏡、體感手套等人機(jī)交互設(shè)備也在逐漸引入，但一方面應(yīng)用這些 設(shè)備的虛擬場(chǎng)景往往需要高昂的開發(fā)費(fèi)用；另一方面用戶需要額外穿戴外接設(shè)備，這會(huì)加 大用戶學(xué)習(xí)使用系統(tǒng)的困難，并降低體驗(yàn)真實(shí)感。另外，現(xiàn)有體感交互設(shè)備多需要數(shù)字?jǐn)z像 頭和體感手套相互配合以提高對(duì)于人體姿態(tài)響應(yīng)的精度，而且無(wú)法同時(shí)實(shí)現(xiàn)語(yǔ)音交互。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于，針對(duì)上述問題，提出一種于Kinect的文化遺產(chǎn)數(shù)字化展示裝 置，以實(shí)現(xiàn)降低成本的優(yōu)點(diǎn)。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是:
一種基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，包括Kinect設(shè)備、主機(jī)、顯示屏和服務(wù) 器，所述Kinect設(shè)備和顯示屏均通過數(shù)據(jù)線連接在主機(jī)上，所述主機(jī)和服務(wù)器通過互聯(lián)網(wǎng) 連接。
[0006]進(jìn)一步的，所述主機(jī)為電腦。
[0007]進(jìn)一步的，用戶的肢體動(dòng)作被Kinect設(shè)備識(shí)別后，用戶通過肢體動(dòng)作對(duì)顯示屏界 面里的素材進(jìn)行控制操作；用戶的語(yǔ)音數(shù)據(jù)再Kinect設(shè)備監(jiān)聽后通過互聯(lián)網(wǎng)發(fā)送至服務(wù) 器的語(yǔ)音識(shí)別引擎進(jìn)行分析處理，并將結(jié)果返回主機(jī)中的語(yǔ)義庫(kù)進(jìn)行最終解析，并依據(jù)解 析結(jié)果對(duì)顯示屏中界面里的素材進(jìn)行控制操作。
[0008]本發(fā)明的技術(shù)方案具有以下有益效果:
本發(fā)明的技術(shù)方案，通過使用Kinect設(shè)備代替原理復(fù)雜的鼠標(biāo)、鍵盤、觸摸屏為主，雖 然虛擬頭盔、3D眼鏡和體感手套等，從而降低了裝置的成本，并增強(qiáng)了體驗(yàn)真實(shí)感。而使用 Kinect設(shè)備的語(yǔ)音識(shí)別模塊，通過語(yǔ)音識(shí)別模塊對(duì)語(yǔ)音的識(shí)別和對(duì)服務(wù)器的調(diào)用，實(shí)現(xiàn)對(duì) 語(yǔ)音命令的識(shí)別，從而達(dá)到了語(yǔ)音交互的目的?！緦＠綀D】

【附圖說明】
[0009]圖1為本發(fā)明實(shí)施例所述的Kinect的文化遺產(chǎn)數(shù)字化展示裝置的原理框圖。 【具體實(shí)施方式】
[0010]以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí) 施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
[0011]如圖1所示，一種基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，包括Kinect設(shè)備、主 機(jī)、顯示屏和服務(wù)器，Kinect設(shè)備和顯示屏均通過數(shù)據(jù)線連接在主機(jī)上，主機(jī)和服務(wù)器通 過互聯(lián)網(wǎng)連接。其中，主機(jī)為電腦。用戶的肢體動(dòng)作被Kinect設(shè)備識(shí)別后，用戶通過肢體 動(dòng)作對(duì)顯示屏界面里的素材進(jìn)行控制操作；用戶的語(yǔ)音數(shù)據(jù)再Kinect設(shè)備監(jiān)聽后通過互 聯(lián)網(wǎng)發(fā)送至服務(wù)器的語(yǔ)音識(shí)別引擎進(jìn)行分析處理，并將結(jié)果返回主機(jī)中的語(yǔ)義庫(kù)進(jìn)行最終 解析，并依據(jù)解析結(jié)果對(duì)顯示屏中界面里的素材進(jìn)行控制操作。
[0012]其具體實(shí)施如下:
基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置由I個(gè)或多個(gè)Kinect體感交互設(shè)備、I臺(tái)電 腦、I套展示軟件組成，其中Kinect設(shè)備與電腦連接，置于顯示器附近。在電腦上安裝完成 并打開展示軟件后，用戶站在Kinect前方，距離約1.8-3米，通過肢體動(dòng)作和語(yǔ)音可以實(shí) 現(xiàn)對(duì)軟件中展示素材的多種操作(即如觸摸屏或鼠標(biāo)樣對(duì)程序進(jìn)行操作)。主要技術(shù)方案如 下:
1、開發(fā)一個(gè)可在Windows操作系統(tǒng)上運(yùn)行的具有良好交互界面的展示系統(tǒng)，實(shí)現(xiàn)向系 統(tǒng)導(dǎo)入圖片等展示素材、在該系統(tǒng)中顯示以及退出系統(tǒng)等功能。核心模塊為顯示模塊，可以 實(shí)現(xiàn)三維立體翻頁(yè)等各種動(dòng)態(tài)效果，主要通過調(diào)用Windows API中的⑶I+實(shí)現(xiàn)。
[0013]2、利用微軟研發(fā)的Kinect體感交互設(shè)備，編制具體的肢體交互動(dòng)作并設(shè)計(jì)體感 交互算法，調(diào)用適用于Kinect的SDK所提供的景深與圖像傳感器API，將動(dòng)作數(shù)據(jù)與執(zhí)行操 作綁定，使Kinect能夠識(shí)別相應(yīng)的肢體動(dòng)作。這些肢體動(dòng)作能夠?qū)崿F(xiàn)對(duì)展示素材的打開、 切換，對(duì)圖片的放大縮小和旋轉(zhuǎn)，對(duì)視音頻和動(dòng)畫的播放、暫停、快進(jìn)、回放等操作。
[0014]其中關(guān)鍵為利用KinectGetDepthImage ()、KinectGetSkeleton()等函數(shù)實(shí)現(xiàn) Kinect設(shè)備對(duì)數(shù)據(jù)流的獲取,利用KinectJudgeTrackO判斷當(dāng)前跟蹤狀態(tài)以及控制權(quán)，通 過hook KinectSensor.ColorFrameReady事件及類似事件到合適的事件句柄并使用預(yù)先定 義的事件模型實(shí)現(xiàn)對(duì)動(dòng)作的識(shí)別和相應(yīng)執(zhí)行操作。
[0015]3、利用微軟研發(fā)的Kinect體感交互設(shè)備和科大訊飛提供的開源語(yǔ)音識(shí)別引擎， 設(shè)計(jì)開發(fā)具有簡(jiǎn)單語(yǔ)義識(shí)別功能的素材操作語(yǔ)音庫(kù)，調(diào)用適用于Kinect的SDK所提供的 麥克風(fēng)陣列控制API和科大訊飛提供的語(yǔ)音識(shí)別API，將語(yǔ)音識(shí)別數(shù)據(jù)與執(zhí)行操作綁定，使 Kinect能夠識(shí)別用戶對(duì)于素材操作的常規(guī)語(yǔ)音控制命令，包括對(duì)展示素材的打開、切換，對(duì) 圖片的放大縮小和旋轉(zhuǎn)，對(duì)視音頻和動(dòng)畫的播放、暫停、快進(jìn)、回放等操作。
[0016]其中關(guān)鍵技術(shù)為創(chuàng)建一個(gè)〈TKey，TValue〉字典，鍵是用戶說出的詞或短語(yǔ)，值是 相關(guān)聯(lián)的用戶意圖，接著定義上下文相關(guān)的短語(yǔ)，其中鍵是最終用戶說出的與意圖關(guān)聯(lián)的 詞和短語(yǔ)，單個(gè)意圖可以映射到多個(gè)單詞和短語(yǔ)，這樣便可創(chuàng)建豐富的詞匯庫(kù)，系統(tǒng)可以通 過該方式實(shí)現(xiàn)對(duì)意思相近的短語(yǔ)實(shí)現(xiàn)語(yǔ)義分析并執(zhí)行對(duì)應(yīng)操作。
[0017]上述平臺(tái)開發(fā)環(huán)境為Microsoft Visual Studio 2010,運(yùn)行環(huán)境為.NetFramework 4.0,開發(fā)語(yǔ)言為C#,設(shè)備驅(qū)動(dòng)程序?yàn)槲④浌俜終inect for Windows驅(qū)動(dòng)程序。
[0018]如圖1所示，用戶站在Kinect設(shè)備與顯示屏前方，Kinect設(shè)備與顯示屏通過數(shù)據(jù) 連接線與電腦主機(jī)連接，電腦主機(jī)通過互聯(lián)網(wǎng)與語(yǔ)音識(shí)別引擎相連。
[0019]展示軟件安裝于電腦主機(jī)中，用戶的肢體動(dòng)作被Kinect設(shè)備識(shí)別后，可對(duì)顯示屏 中軟件界面里的素材進(jìn)行控制操作；用戶的語(yǔ)音數(shù)據(jù)再被Kinect設(shè)備監(jiān)聽后通過互聯(lián)網(wǎng) 發(fā)送至語(yǔ)音識(shí)別引擎進(jìn)行分析處理，并將結(jié)果返回電腦主機(jī)中的語(yǔ)義庫(kù)進(jìn)行最終解析，并 依據(jù)結(jié)果對(duì)顯示屏中軟件界面里的素材進(jìn)行控制操作。
[0020]本發(fā)明的技術(shù)方案中，用戶不需要任何穿戴設(shè)備，只需要站立在Kinect設(shè)備可識(shí) 別的有效距離內(nèi)，就能對(duì)顯示屏上的文化遺產(chǎn)數(shù)字化素材通過肢體動(dòng)作(例如手勢(shì))和語(yǔ)音 實(shí)現(xiàn)控制操作。該人機(jī)交互方式自然、簡(jiǎn)單，系統(tǒng)部署成本低。
[0021]最后應(yīng)說明的是:以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明， 盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，對(duì)于本領(lǐng)域的技術(shù)人員來說，其依然可 以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的 保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，其特征在于，包括Kinect設(shè)備、主機(jī)、 顯示屏和服務(wù)器，所述Kinect設(shè)備和顯示屏均通過數(shù)據(jù)線連接在主機(jī)上，所述主機(jī)和服務(wù)器通過互聯(lián)網(wǎng)連接。
2.根據(jù)權(quán)利要求1所述的基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，其特征在于，所述主機(jī)為電腦。
3.根據(jù)權(quán)利要求1或2所述的基于Kinect的文化遺產(chǎn)數(shù)字化展示裝置，其特征在于， 用戶的肢體動(dòng)作被Kinect設(shè)備識(shí)別后，用戶通過肢體動(dòng)作對(duì)顯示屏界面里的素材進(jìn)行控制操作；用戶的語(yǔ)音數(shù)據(jù)再Kinect設(shè)備監(jiān)聽后通過互聯(lián)網(wǎng)發(fā)送至服務(wù)器的語(yǔ)音識(shí)別引擎進(jìn)行分析處理，并將結(jié)果返回主機(jī)中的語(yǔ)義庫(kù)進(jìn)行最終解析，并依據(jù)解析結(jié)果對(duì)顯示屏中界面里的素材進(jìn)行控制操作。
【文檔編號(hào)】G06F3/01GK103605425SQ201310622387
【公開日】2014年2月26日 申請(qǐng)日期:2013年11月30日 優(yōu)先權(quán)日:2013年11月30日
【發(fā)明者】楊裔, 鄧毓博, 慕富強(qiáng), 徐茂文, 周敏 申請(qǐng)人:蘭州大學(xué), 上海易可智聯(lián)信息科技有限責(zé)任公司