多環(huán)境虛擬投影互動系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種多環(huán)境虛擬投影互動系統(tǒng)，包括投影儀，控制系統(tǒng)，攝像頭，攝像頭和投影儀與控制系統(tǒng)相連，控制系統(tǒng)利用OPENCV對輸入的視頻進行圖像處理；首先對輸入視頻圖像進行預(yù)處理，創(chuàng)建IplImage指針，創(chuàng)建顯示窗口，使多個窗口有序排列，打開攝像頭；逐幀讀取攝像頭捕捉到的視頻：如果是第一幀，則申請內(nèi)存，并初始化，然后轉(zhuǎn)化成單通道圖像再處理；如不是第一幀，先進行高斯濾波，以平滑圖像，然后當(dāng)前幀跟背景圖相減，二值化前景圖，隨后進行形態(tài)學(xué)濾波，去掉噪音；利用動作識別算法對虛擬場景中的動作進行判斷；將判斷后的結(jié)果傳給場景生成機制，然后生成虛擬場景畫面，在原來的基礎(chǔ)上將合成的視頻，并投放到虛擬場景中。
【專利說明】多環(huán)境虛擬投影互動系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明提供了一種多環(huán)境虛擬投影互動系統(tǒng)，將攝像頭、投影儀以及控制設(shè)備組合在一起，設(shè)計為一體機，簡單合理，攜帶方便。在處理方面，分別利用OPENCV圖像處理技術(shù)進行圖像處理，并利用運動識別算法進行模式識別，以及利用FLASH虛擬場景產(chǎn)生技術(shù)進行場景構(gòu)造等。
【背景技術(shù)】
[0002]多環(huán)境虛擬場景互動感應(yīng)投影系統(tǒng)由地面互動感應(yīng)投影系統(tǒng)、桌面互動感應(yīng)投影系統(tǒng)、壁面互動感應(yīng)投影系統(tǒng)、互動感應(yīng)背面投影系統(tǒng)組成。采用先進的計算機視覺技術(shù)和投影顯示技術(shù)來營造一種奇幻動感的交互體驗。用戶可以直接使用雙腳或雙手與普通投影幕上的虛擬場景進行交互，讓用戶進入一種虛實融合、亦真亦幻的奇妙世界。
[0003]傳統(tǒng)互動感應(yīng)投影往往涉及的場景比較單一，例如只能應(yīng)用于地面互動投影或者桌面互動投影。傳統(tǒng)互動感應(yīng)投影存在畫面延遲高，價格昂貴等問題，而且往往系統(tǒng)整體體積和質(zhì)量比較大，攜帶不方便，部署麻煩。

【發(fā)明內(nèi)容】

[0004]本發(fā)明需要解決的技術(shù)問題是，克服背景中系統(tǒng)的不足，提供一種結(jié)構(gòu)簡單合理，成本較低，輕便易攜帶的系統(tǒng)，本發(fā)明技術(shù)可以降低延遲，使互動更具現(xiàn)實感。本發(fā)明運用了不同的圖像處理技術(shù)，和虛擬場景產(chǎn)生技術(shù)。具體來說，圖像處理利用了 OPENCV技術(shù)，虛擬場景產(chǎn)生技術(shù)，利用了 FLASH技術(shù)。
[0005]為了實現(xiàn)上述目的本發(fā)明采用以下技術(shù)方案:
多環(huán)境虛擬投影互動系統(tǒng)，其特征在于，包括投影儀，控制系統(tǒng)，攝像頭，攝像頭和投影儀與控制系統(tǒng)相連，三者設(shè)計部署在一起，構(gòu)成一體機；
所述控制系統(tǒng)利用OPENCV對輸入的視頻進行圖像處理；
首先對輸入視頻圖像進行預(yù)處理，創(chuàng)建IplImage指針，創(chuàng)建顯示窗口，使多個窗口有序排列，打開攝像頭；
逐幀讀取攝像頭捕捉到的視頻:如果是第一幀，則申請內(nèi)存，并初始化，然后轉(zhuǎn)化成單通道圖像再處理；如果不是第一幀，先進行高斯濾波，以平滑圖像，然后當(dāng)前幀跟背景圖相減，二值化前景圖，隨后進行形態(tài)學(xué)濾波，去掉噪音；
利用動作識別算法對虛擬場景中的動作進行判斷；
將判斷后的結(jié)果傳給場景生成機制，然后生成虛擬場景畫面，在原始視頻圖像的基礎(chǔ)上將合成的視頻，通過投影儀投放到虛擬場景中。
[0006]上述技術(shù)方案中，所述動作識別算法對虛擬場景中的動作進行判斷具體如下: 動作識別算法利用的是OPENCV提供的Camshift算法，對運動物體進行識別，并將識別
的物體的坐標信息返回；
通過不斷迭代Camshift算法進行運動物體識別，得到運動物體運動的坐標軌跡； 將坐標軌跡通過SOCKET通信(或者內(nèi)存共享方式)將坐標軌跡傳給負責(zé)場景生成機制的場景生成進程，場景生成進程負責(zé)場景構(gòu)建。
[0007]上述技術(shù)方案中，所述場景生成機制包括:
信息獲取層:主要獲取場景生成進程傳來的原始信息，通過socket技術(shù)，使用tcp連接，將來自客戶端的報文信息進行初步分析，提取出坐標、速度和方向等分析層需要的基本要素供上層使用；
信息分析層:根據(jù)信息獲取層傳送來的基本要素進行詳細分析，判斷出下一刻對應(yīng)場景里面相應(yīng)元素的動態(tài)，如下一刻的位置、顏色、形狀等參數(shù)和樣式，供上層使用；
場景構(gòu)建層:在對應(yīng)的場景中，先創(chuàng)建場景模板，再根據(jù)信息分析層判斷出的各種參數(shù)和樣式信息實時在場景模板中生成相應(yīng)元素，最終將生成的場景輸出到顯示終端。
[0008]【專利附圖】

【附圖說明】
圖1為本發(fā)明場景生成機制框圖；
圖2為本發(fā)明socket機制框圖；
圖3為本發(fā)明系統(tǒng)框圖。
【具體實施方式】
[0009]本發(fā)明主要包括三個部分，投影儀，控制系統(tǒng)，攝像頭(采用的三個設(shè)備的信息)。攝像頭和投影儀與控制系統(tǒng)相連，三者設(shè)計部署在一起，構(gòu)成一體機。
[0010]具體方案是，控制系統(tǒng)產(chǎn)生虛擬場景，通過投影儀投影出的虛擬場景可以與場景里的真實人物產(chǎn)生互動，從而使人產(chǎn)生身臨其境的感覺。攝像頭將所有動作進行捕獲，獲得的數(shù)據(jù)傳輸?shù)娇刂葡到y(tǒng)中?？刂葡到y(tǒng)是系統(tǒng)的核心，控制系統(tǒng)利用OPENCV (Open SourceComputer Vision Library )對輸入的視頻進行圖像處理。首先對輸入視頻圖像進行預(yù)處理。預(yù)處理過程為，創(chuàng)建IplImage指針。創(chuàng)建顯示窗口。使多個窗口有序排列。打開攝像頭。逐幀讀取攝像頭捕捉到的視頻:如果是第一幀，則申請內(nèi)存，并初始化，然后轉(zhuǎn)化成單通道圖像再處理；如果不是第一幀，先進行高斯濾波，以平滑圖像，然后當(dāng)前幀跟背景圖相減，二值化前景圖，隨后進行形態(tài)學(xué)濾波，去掉噪音。利用動作識別算法對虛擬場景中的動作進行判斷。動作識別算法利用的是OPENCV提供的Camshift算法，對運動物體進行識別，并將識別的物體的坐標信息返回。通過不斷迭代Camshift算法進行運動物體識別，得到運動物體運動的坐標軌跡。將坐標軌跡通過SOCKET通信(或者內(nèi)存共享方式)將坐標軌跡傳給場景生成進程，場景生成進程負責(zé)場景構(gòu)建。將判斷后的結(jié)果傳給場景生成機制，然后生成虛擬場景畫面，在原來的基礎(chǔ)上將合成的視頻，通過投影儀投放到虛擬場景中。場景生成機制原理上共分三層，如下圖所示:
信息獲取層
該層的主要作用是獲取圖像處理模塊傳來的原始信息。通過socket技術(shù)，使用tcp連接，將來自客戶端的報文信息進行初步分析，提取出坐標、速度和方向等分析層需要的基本要素供上層使用。信息獲取層的連接機制如圖所示:
信息分析層
根據(jù)信息獲取層傳送來的基本要素進行詳細分析。判斷出下一刻對應(yīng)場景里面相應(yīng)元素的動態(tài)，如下一刻的位置、顏色、形狀等參數(shù)和樣式，供上層使用。[0011]場景構(gòu)建層
在對應(yīng)的場景中，先創(chuàng)建場景模板，再根據(jù)信息分析層判斷出的各種參數(shù)和樣式信息實時在場景模板中生成相應(yīng)元素，最終將生成的場景輸出到顯示終端。
[0012]下面結(jié)合附圖和實施例對本發(fā)明進一步說明。
[0013]參閱實物圖，選擇一個合適投影的區(qū)域，將系統(tǒng)投影儀正對投影區(qū)域，投影區(qū)域并無嚴格限制，只要投影區(qū)域平坦且投影影像清晰即可，適用于商場、博覽會、電影院、游樂場等眾多場所。打開控制系統(tǒng)，投影儀以及攝像頭。開啟控制系統(tǒng)服務(wù)，將畫面投影到投影區(qū)域。此時用戶在投影區(qū)域內(nèi)的任何動作都可以被攝像頭捕獲，控制系統(tǒng)對視頻數(shù)據(jù)進行捕獲，創(chuàng)建虛擬場景，實現(xiàn)用戶和虛擬場景的交互。
【權(quán)利要求】
1.多環(huán)境虛擬投影互動系統(tǒng)，其特征在于，包括投影儀，控制系統(tǒng)，攝像頭，攝像頭和投影儀均與控制系統(tǒng)相連； 所述控制系統(tǒng)利用OPENCV對輸入的視頻進行圖像處理； 首先對輸入視頻圖像進行預(yù)處理，創(chuàng)建IplImage指針，創(chuàng)建顯示窗口，使多個窗口有序排列，打開攝像頭； 逐幀讀取攝像頭捕捉到的視頻:如果是第一幀，則申請內(nèi)存，并初始化，然后轉(zhuǎn)化成單通道圖像再處理；如果不是第一幀，先進行高斯濾波，以平滑圖像，然后當(dāng)前幀跟背景圖相減，二值化前景圖，隨后進行形態(tài)學(xué)濾波，去掉噪音； 利用動作識別算法對虛擬場景中的動作進行判斷； 將判斷后的結(jié)果傳給場景生成機制，然后生成虛擬場景畫面，在原始視頻圖像的基礎(chǔ)上將合成的視頻，通過投影儀投放到虛擬場景中。
2.根據(jù)權(quán)利要求1所述的多環(huán)境虛擬投影互動系統(tǒng)，其特征在于，所述動作識別算法對虛擬場景中的動作進行判斷具體如下: 動作識別算法利用的是OPENCV提供的Camshift算法，對運動物體進行識別，并將識別的物體的坐標信息返回； 通過不斷迭代Camshift算法進行運動物體識別，得到運動物體運動的坐標軌跡； 將坐標軌跡通過SOCKET通信將坐標軌跡傳給負責(zé)場景生成機制的場景生成進程，場景生成進程負責(zé)場景構(gòu)建。
3.根據(jù)權(quán)利要求1所述的多環(huán)境虛擬投影互動系統(tǒng)，其特征在于，所述場景生成機制包括: 信息獲取層:主要獲取場景生成進程傳來的原始信息，通過socket技術(shù)，使用tcp連接，將來自客戶端的報文信息進行初步分析，提取出坐標、速度和方向等分析層需要的基本要素供上層使用； 信息分析層:根據(jù)信息獲取層傳送來的基本要素進行詳細分析，判斷出下一刻對應(yīng)場景里面相應(yīng)元素的動態(tài)，如下一刻的位置、顏色、形狀等參數(shù)和樣式，供上層使用； 場景構(gòu)建層:在對應(yīng)的場景中，先創(chuàng)建場景模板，再根據(jù)信息分析層判斷出的各種參數(shù)和樣式信息實時在場景模板中生成相應(yīng)元素，最終將生成的場景輸出到顯示終端。
【文檔編號】G06F3/01GK103729060SQ201410008012
【公開日】2014年4月16日 申請日期:2014年1月8日 優(yōu)先權(quán)日:2014年1月8日
【發(fā)明者】于永斌, 王慶, 劉威, 蔡忠凱, 金菊, 金勇 , 屈鴻 申請人:電子科技大學(xué)