專利名稱：一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法及其展示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種エ業(yè)機(jī)械行業(yè)的仿真技術(shù)，具體涉及ー種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法及其展示系統(tǒng)。
背景技術(shù)：
虛擬現(xiàn)實(shí)技木，簡(jiǎn)稱(VR)，實(shí)現(xiàn)利用模擬技術(shù)產(chǎn)生ー個(gè)三維空間的虛擬世界，使用戶通過視覺、聽覺、觸覺等感官的模擬，讓用戶如同身歷其境一般，可以不受時(shí)間、空間、地理、大小的限制，去了解產(chǎn)品及物品的特點(diǎn)及工作原理。一般涉及機(jī)械、電子、控制、動(dòng)力學(xué)等學(xué)科領(lǐng)域，尤其是，エ業(yè)機(jī)械行業(yè)，一直是ー個(gè)難以表達(dá)的行業(yè)，特別是大型機(jī)械機(jī)器等設(shè)備在展示、銷售、維修、培訓(xùn)等各個(gè)方面都有很多不方便之處，復(fù)雜內(nèi)部結(jié)構(gòu)和操作流程，無論在施工、安裝、操作過程中，對(duì)基礎(chǔ)人員的培訓(xùn)上，或是市場(chǎng)銷售上，都需要很好的展現(xiàn) 和表現(xiàn)，將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于エ業(yè)仿真領(lǐng)域的模擬系統(tǒng)，適合任何エ業(yè)機(jī)械仿真，及虛擬工作原理。以其強(qiáng)大的物理實(shí)時(shí)計(jì)算功能，簡(jiǎn)便快捷的操作方式，為廣大工業(yè)機(jī)械行業(yè)帶來了科技實(shí)效的展示方法。在現(xiàn)有技術(shù)的虛擬仿真操作中，機(jī)器設(shè)備的部件只能用不同的顔色來區(qū)別，其缺點(diǎn)在于，例如金屬的轉(zhuǎn)軸只能是用灰色的圓柱形色塊來表示，這很難讓操作者對(duì)真實(shí)的機(jī)器有正確的認(rèn)識(shí)，也出現(xiàn)了操作者在電腦上能操作，但是由于和真實(shí)機(jī)器設(shè)備差別太大，到了真實(shí)的機(jī)器上操作還是無法進(jìn)行操作的尷尬局面?，F(xiàn)有技術(shù)的機(jī)床加工仿真模擬無法以第一人稱視角在加工環(huán)境中走動(dòng)，只能以定點(diǎn)的方式通過旋轉(zhuǎn)模型來達(dá)到觀看不同角度的目的，因此不是真正意義上的三維仿真，不利于操作人員全面了解機(jī)械裝備。但當(dāng)前機(jī)械設(shè)備仿真采用組態(tài)、Flash、3D JPVisual Studio. NET等技術(shù)模擬操作和加工，主要存在三大問題。第一是機(jī)械機(jī)床設(shè)備的仿真視覺效果差交互能力弱，對(duì)機(jī)械機(jī)床的整體和部件操作上幾乎為零。例如無法對(duì)機(jī)械機(jī)床的配電箱、控制屏幕吊臂等設(shè)備進(jìn)行操作。只能通過ー個(gè)ニ維的操作面板來操作機(jī)械機(jī)床的運(yùn)行。第二個(gè)主要問題，由于沒有采用圖形加速和特效技木，畫面操作緩慢，沒有燈光、陰影等基本環(huán)境設(shè)置缺少真實(shí)感，同時(shí)無法表現(xiàn)エ件加工時(shí)的水、氣、火花等方面的模擬。第三點(diǎn)是，エ件加工整體環(huán)境的模擬無法體現(xiàn)。例如ー個(gè)大型エ件，放在操作臺(tái)之前的吊裝過程，或者電動(dòng)(手動(dòng))推車的送料過程都無法模擬。

發(fā)明內(nèi)容
本發(fā)明公開了ー種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法及其展示系統(tǒng)，可模擬大型設(shè)備的模擬操作、加工環(huán)境及其工作狀態(tài)，并對(duì)仿真模型進(jìn)行真實(shí)化處理，讓用戶有身臨其境的操作感受。為實(shí)現(xiàn)上述目的，本發(fā)明說明了一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)，其特點(diǎn)是，該系統(tǒng)包含控制模塊，與該控制模塊雙向電路連接的數(shù)據(jù)處理模塊和存儲(chǔ)模塊，與該控制模塊的輸入端電路連接的仿真操作輸入模塊，與該控制模塊的輸出端電路連接的仿真顯示模塊，以及與該數(shù)據(jù)處理模塊的輸入端電路連接的數(shù)據(jù)采集模塊。一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法，其特點(diǎn)是，該方法包含以下步驟
步驟I數(shù)據(jù)采集模塊進(jìn)行現(xiàn)場(chǎng)數(shù)據(jù)采集，并發(fā)送至數(shù)據(jù)處理模塊；
步驟2數(shù)據(jù)處理模塊對(duì)模型數(shù)據(jù)進(jìn)行加工處理；
步驟2. I數(shù)據(jù)處理模塊建立機(jī)械設(shè)備的三維模型；
步驟2. 2數(shù)據(jù)處理模塊對(duì)三維模型不必要的部分進(jìn)行優(yōu)化和刪除；
步驟2. 3數(shù)據(jù)處理模塊對(duì)模型的材質(zhì)和燈光進(jìn)行真實(shí)化處理；
步驟3系統(tǒng)實(shí)現(xiàn)人機(jī)交互；
步驟3. I仿真顯示模塊顯示仿真模型；
步驟3. 2通過仿真操作輸入模塊進(jìn)行指令輸入，進(jìn)行模擬操作。上述的步驟3. I中，所述的仿真顯示模塊可采用三維立體顯示裝置。本發(fā)明ー種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法及其展示系統(tǒng)與現(xiàn)有技術(shù)相比，其優(yōu)點(diǎn)在于，本發(fā)明通過和真實(shí)設(shè)備的照片比對(duì)，對(duì)三維模型進(jìn)行材質(zhì)、色彩、燈光方面的處理，得到了與真實(shí)世界中一模ー樣的三維物體，三維模型可以呈現(xiàn)出與真實(shí)設(shè)備一模ー樣的效果，從而使操作者操縱虛擬設(shè)備和操作真實(shí)設(shè)備同樣的感受，再也不會(huì)出現(xiàn)能在電腦上虛擬操作，而真實(shí)操作中找不到哪對(duì)應(yīng)哪的尷尬現(xiàn)象；
本發(fā)明加入了立體顯示技術(shù)，設(shè)有三維立體顯示裝置在我們的程序中加入兩臺(tái)相機(jī)來模擬人的左右兩只眼睛，佩戴立體眼鏡后讓用戶有身臨其境的操作感受，可以在模擬加工的過程中更好的把握和體驗(yàn)物體的深度，突破了之前仿真的平面化；
本發(fā)明適用性大，可以模擬機(jī)床機(jī)械等大型設(shè)備的模擬操作、加工環(huán)境及其工作狀態(tài)，不僅可以應(yīng)用于制造企業(yè)中，對(duì)數(shù)控加工程序進(jìn)行快速、精確的仿真，驗(yàn)證數(shù)控程序的可靠性，防止干渉和碰撞等情況的發(fā)生，而且還可以用做數(shù)控技術(shù)操作技能的教學(xué)培訓(xùn)，既可以使受訓(xùn)人員達(dá)到實(shí)物操作訓(xùn)練的目的，又可以大幅減少昂貴設(shè)備的投入，具有很高的應(yīng)用價(jià)值，在銷售、培訓(xùn)、售后方面大大節(jié)省成本；
本發(fā)明通過沉浸式全過程的虛擬仿真，用戶可以體驗(yàn)到打開電源、エ件裝入、模擬加工到エ件完成加工，退出エ件的全部過程。解決了之前仿真系統(tǒng)只有機(jī)床操作的部分，沒有整個(gè)加工流程的體驗(yàn)，和加工環(huán)境的體驗(yàn)。通過沉浸式的模擬體驗(yàn)也擺脫了之前機(jī)床仿真?zhèn)稳S體驗(yàn)；
本發(fā)明通過對(duì)水、氣體和火花的模擬，體現(xiàn)出在加工中可能出現(xiàn)的安全問題。例如在之前的虛擬仿真加工中沒有對(duì)自然現(xiàn)象的模擬，在沒有艙門的機(jī)床中產(chǎn)生的火花但無法表現(xiàn)，因此和實(shí)際真實(shí)的操作有很大出入，操作者無法在ー個(gè)安全的范圍內(nèi)進(jìn)行加工。通過沉浸式的模擬仿真系統(tǒng)，就可以模擬出水、火花等噴射的距離，從而在ー個(gè)安全范圍內(nèi)完成作業(yè)；
本發(fā)明對(duì)三維模型中不必要的部分進(jìn)行優(yōu)化和刪除，使的系統(tǒng)運(yùn)行中互動(dòng)性更強(qiáng)、壓縮比更高、運(yùn)算速度更快。


圖I為本發(fā)明一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)的結(jié)構(gòu)模塊圖；圖2為本發(fā)明一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法的方法流程圖。
具體實(shí)施例方式以下結(jié)合

本發(fā)明的具體實(shí)施方式
。本發(fā)明說明了一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示的實(shí)現(xiàn)方法，下述說明本發(fā)明適用的一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)，該系統(tǒng)包含數(shù)據(jù)采集模塊4、數(shù)據(jù)處理模塊
2、仿真操作輸入模塊5、仿真顯示模塊6、存儲(chǔ)模塊3和控制模塊I。上述的控制模塊與數(shù)據(jù)處理模塊及存儲(chǔ)模塊雙向電路連接，該數(shù)據(jù)處理模塊與數(shù)據(jù)采集模塊雙向電路連接。仿真操作輸入模塊電路連接控制模塊的輸入端，仿真顯示模塊電路連接控制模塊的輸出端。
如圖I所示，本發(fā)明說明了一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示的實(shí)現(xiàn)方法，該方法包含以下步驟
步驟I數(shù)據(jù)采集模塊4進(jìn)行現(xiàn)場(chǎng)數(shù)據(jù)采集。對(duì)エ業(yè)設(shè)備的前期資料收集(例如機(jī)床設(shè)備、挖掘機(jī)、銑削機(jī)等大型設(shè)備)包括機(jī)器外觀尺寸、內(nèi)部結(jié)構(gòu)、技術(shù)參數(shù)、操作過程、加工過程、等信息進(jìn)行了解，這些信息的類型包括了エ業(yè)設(shè)備的三維模型文件、照片圖片、視頻資料、聲音文件、和操作文檔說明。數(shù)據(jù)采集模塊4將上述的現(xiàn)場(chǎng)設(shè)備的信息傳輸至數(shù)據(jù)處理模塊2。步驟2數(shù)據(jù)處理模塊2對(duì)模型數(shù)據(jù)進(jìn)行加工處理。步驟2. I數(shù)據(jù)處理模塊2接收數(shù)據(jù)采集模塊4傳輸來的現(xiàn)場(chǎng)設(shè)備的信息，根據(jù)該信息建立機(jī)械設(shè)備的最原始的完全真實(shí)還原現(xiàn)場(chǎng)機(jī)械設(shè)備的三維模型。數(shù)據(jù)處理模塊2直接建立的三維模型是不能直接進(jìn)行虛擬仿真操作的，因?yàn)閿?shù)據(jù)量巨大而且是基于曲面的，因此無法快速的展示在操作者的面前。因此必須對(duì)前期的三維模型進(jìn)行優(yōu)化，減少模型的面的數(shù)量。步驟2. 2數(shù)據(jù)處理模塊2對(duì)三維模型不必要的部分進(jìn)行刪除和優(yōu)化，刪除處理包含例如對(duì)于機(jī)床類型的模型把看不見的電機(jī)、傳動(dòng)裝置、螺釘螺絲等內(nèi)部無需模擬操作的部分進(jìn)行刪除，保留需要人機(jī)交互操作的部分如控制面板、配電箱、操作手柄等設(shè)備，這樣處理可以大大提供虛擬仿真的操作速度。優(yōu)化處理包含比如一個(gè)機(jī)械設(shè)備外觀看起來比較流線型，這樣的比較圓滑的流線型模型需要更多的計(jì)算量來表現(xiàn)，因此優(yōu)化時(shí)，數(shù)據(jù)處理模塊2把圓滑的曲面的模型用，分段的多邊形來表示，這樣對(duì)模擬的速度可以大大的提高。步驟2. 3數(shù)據(jù)處理模塊2對(duì)三維模型的材質(zhì)和燈光進(jìn)行真實(shí)化處理。通過和真實(shí)設(shè)備的照片比對(duì)，對(duì)三維模型進(jìn)行材質(zhì)、色彩、燈光方面的處理。例如，實(shí)施操作中，在表現(xiàn)不銹鋼的主軸是，就把真實(shí)的照片應(yīng)用在三維模型上，同時(shí)把不銹鋼的反射計(jì)算出來也應(yīng)用的三維模型上，怎樣就得到了與真實(shí)世界中一模ー樣的三維物體。除此之外，把燈光效果通過圖片映射到方法投射到三維模型上面，這樣通過材質(zhì)和燈光的真實(shí)化處理后，三維模型可以呈現(xiàn)出與真實(shí)設(shè)備一模ー樣的效果，從而使用戶操縱虛擬設(shè)備和操作真實(shí)設(shè)備同樣的感受，再也不會(huì)出現(xiàn)能在電腦上虛擬操作，而真實(shí)操作中找不到哪對(duì)應(yīng)哪的尷尬現(xiàn)象。用戶可以完全達(dá)到與現(xiàn)實(shí)操作的一模ー樣的體驗(yàn)，配合立體眼鏡等外部設(shè)備，完全達(dá)到了正在意義上的仿真。解決了之前機(jī)床機(jī)械等大型設(shè)備仿真系統(tǒng)的只有簡(jiǎn)單的三維示意模型動(dòng)作的不足。同時(shí)通過沉浸式的交互，可以操作設(shè)備上任何零部件，比如可以打開配電柜進(jìn)行機(jī)床內(nèi)部結(jié)構(gòu)和細(xì)節(jié)的詳細(xì)查看，除了在教學(xué)中的應(yīng)用外，應(yīng)用在銷售中，可以大大增加客戶對(duì)機(jī)床的內(nèi)部了解?？刂颇KI將經(jīng)過數(shù)據(jù)處理模塊2建立和優(yōu)化的三維模型傳輸至存儲(chǔ)模塊3保存。步驟3沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)實(shí)現(xiàn)人機(jī)交互。步驟3. I仿真顯示模塊6顯示仿真模型?？刂颇KI將存儲(chǔ)于存儲(chǔ)模塊3中的三維模型傳輸至仿真顯示模塊6，通過仿真顯示模塊6顯示仿真的三維模型。同時(shí)仿真顯示模塊6還顯示該仿真設(shè)備的相關(guān)參數(shù)，如外觀尺寸、加工能力、主軸轉(zhuǎn)速等方面的信息。另外，本發(fā)明沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)的ー個(gè)重要特色是支持立體眼鏡。為了讓操作者能夠最大限度的體驗(yàn)到與真實(shí)機(jī)械設(shè)備一祥的操作感受，本發(fā)明仿真顯示模塊6顯示的三維模型中可產(chǎn)生三維立體影像。圖象中設(shè)定了紅藍(lán)兩個(gè)不同的顔色，這樣用戶在操作時(shí)帶上紅藍(lán)的立體眼鏡就產(chǎn)生了立體的效果。最大限度讓用戶感受到了與真實(shí)操作ー樣的感受。 步驟3. 2通過仿真操作輸入模塊5進(jìn)行指令輸入，進(jìn)行沉浸式人機(jī)互動(dòng)模擬操作。用戶通過仿真操作輸入模塊5發(fā)送指令，仿真操作輸入模塊5將指令傳輸至控制模塊1，控制模塊I根據(jù)具體指令，從存儲(chǔ)模塊3中提取相應(yīng)的信息或在仿真顯示模塊6上顯示三維模型的各部位。例如，當(dāng)用戶通過仿真操作輸入模塊5啟動(dòng)仿真設(shè)備的三維模型，控制模塊I從存儲(chǔ)模塊3中提取該設(shè)備啟動(dòng)的聲音文件和動(dòng)作，比如機(jī)器啟動(dòng)的聲音，馬達(dá)開始以每分鐘3000轉(zhuǎn)的速度轉(zhuǎn)動(dòng)。或者，當(dāng)用戶通過仿真操作輸入模塊5輸入仿真設(shè)備的エ件平臺(tái)的三維模型X軸向移動(dòng)的指令，控制模塊I根據(jù)具體指令，控制仿真顯示模塊6顯示該設(shè)備的三維模型的エ件平臺(tái)就會(huì)在X軸向移動(dòng)。盡管本發(fā)明的內(nèi)容已經(jīng)通過上述優(yōu)選實(shí)施例作了詳細(xì)介紹，但應(yīng)當(dāng)認(rèn)識(shí)到上述的描述不應(yīng)被認(rèn)為是對(duì)本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后，對(duì)于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護(hù)范圍應(yīng)由所附的權(quán)利要求來限定。
權(quán)利要求
1.一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示系統(tǒng)，其特征在干，該系統(tǒng)包含控制模塊(I)，與所述的控制模塊(I)雙向電路連接的數(shù)據(jù)處理模塊(2)和存儲(chǔ)模塊(3)，與所述的控制模塊(O的輸入端電路連接的仿真操作輸入模塊(5)，與所述的控制模塊(I)的輸出端電路連接的仿真顯示模塊(6)，以及與所述的數(shù)據(jù)處理模塊(2)的輸入端電路連接的數(shù)據(jù)采集模塊(4)。
2.一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法，其特征在于，該方法包含以下步驟 步驟I數(shù)據(jù)采集模塊(4)進(jìn)行現(xiàn)場(chǎng)數(shù)據(jù)采集，并發(fā)送至數(shù)據(jù)處理模塊(2)； 步驟2數(shù)據(jù)處理模塊(2)對(duì)模型數(shù)據(jù)進(jìn)行加工處理； 步驟3系統(tǒng)實(shí)現(xiàn)人機(jī)交互。
3.如權(quán)利要求2所述的沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法其特征在干，所述的步驟2還包含以下步驟 步驟2. I數(shù)據(jù)處理模塊(2)建立機(jī)械設(shè)備的三維模型； 步驟2. 2數(shù)據(jù)處理模塊(2)對(duì)三維模型不必要的部分進(jìn)行優(yōu)化和刪除； 步驟2. 3數(shù)據(jù)處理模塊(2)對(duì)模型的材質(zhì)和燈光進(jìn)行真實(shí)化處理。
4.如權(quán)利要求2所述的沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法其特征在干，所述的步驟3還包含以下步驟 步驟3. I仿真顯示模塊(6)顯示仿真模型； 步驟3. 2通過仿真操作輸入模塊(5)進(jìn)行指令輸入，進(jìn)行模擬操作。
5.如權(quán)利要求4所述的沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法其特征在干，所述的步驟3.I中，所述的仿真顯示模塊(6)可采用三維立體顯示裝置。
全文摘要
本發(fā)明說明了一種沉浸式虛擬現(xiàn)實(shí)仿真交互展示方法，該方法包含以下步驟1、數(shù)據(jù)采集模塊進(jìn)行現(xiàn)場(chǎng)數(shù)據(jù)采集；2、數(shù)據(jù)處理模塊對(duì)模型數(shù)據(jù)進(jìn)行加工處理；3、系統(tǒng)實(shí)現(xiàn)人機(jī)交互。本發(fā)明真實(shí)模擬機(jī)械設(shè)備，從而使操作者操縱虛擬設(shè)備和操作真實(shí)設(shè)備同樣的感受，再也不會(huì)出現(xiàn)能在電腦上虛擬操作，而真實(shí)操作中找不到哪對(duì)應(yīng)哪的尷尬現(xiàn)象，同時(shí)不用現(xiàn)場(chǎng)操作和學(xué)習(xí)機(jī)械操作，在銷售、培訓(xùn)、售后方面大大節(jié)省成本。
文檔編號(hào)G05B17/02GK102722106SQ20111007640
公開日2012年10月10日 申請(qǐng)日期2011年3月29日 優(yōu)先權(quán)日2011年3月29日
發(fā)明者王舒娟, 邵煜 申請(qǐng)人:上海晟昊信息科技有限公司