本發(fā)明涉及無(wú)鏡立體顯示技術(shù)領(lǐng)域，具體為一種無(wú)鏡立體引擎交互方法。

背景技術(shù)：

Unity3D是由Unity Technologies開發(fā)的一個(gè)讓玩家輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實(shí)時(shí)三維動(dòng)畫等類型互動(dòng)內(nèi)容的多平臺(tái)的綜合型游戲開發(fā)工具，是一個(gè)全面整合的專業(yè)游戲引擎。這款引擎因其強(qiáng)大的跨平臺(tái)開發(fā)特性、絢麗的3D渲染效果以及自由豐富的人機(jī)交互功能而聞名出眾。Unity類似于Director，Blender game engine，Virtools或Torque Game Builder等利用交互的圖形化開發(fā)環(huán)境為首要方式的軟件其編輯器運(yùn)行在Windows 和Mac OS X下，可發(fā)布游戲至Windows、Mac、Wii、iPhone、Windows phone 8和Android等平臺(tái)。因?yàn)槠脚_(tái)之間的差異較大，比如屏幕尺寸、操作方式、硬件條件等的不同均會(huì)給開發(fā)者造成巨大麻煩，而Unity3D的跨平臺(tái)特性恰能省去開發(fā)者在不同的平臺(tái)之間的移植開發(fā)工作，節(jié)省開發(fā)時(shí)間。同時(shí)也可以利用Unity web player插件發(fā)布網(wǎng)頁(yè)游戲，支持Mac和Windows的網(wǎng)頁(yè)瀏覽。它的網(wǎng)頁(yè)播放器也被Mac widgets所支持。

無(wú)鏡立體顯示是無(wú)需佩戴任何輔助設(shè)備（如3D眼鏡、頭盔等）的情況下，通過(guò)光柱透鏡等先進(jìn)光學(xué)技術(shù)與特殊算法定制的視頻片源即可讓觀眾獲得前所未有的“高真實(shí)度”視覺體驗(yàn)，是一種新型的圖像顯示技術(shù)。主流的無(wú)鏡立體顯示技術(shù)主要是基于狹縫光柵和柱鏡光柵來(lái)實(shí)現(xiàn)的，狹縫光柵是由透光和擋光的光柵條組成，通過(guò)對(duì)光線的遮擋作用，來(lái)實(shí)現(xiàn)不同視點(diǎn)圖像的空間分離，而柱鏡光柵是利用柱面透鏡對(duì)光線的折射作用，使光線在空間發(fā)生偏轉(zhuǎn)，從而實(shí)現(xiàn)與狹縫光柵相似的效果?；陔p目視覺原理的無(wú)鏡立體顯示技術(shù)在教育、展示、科學(xué)、影音及移動(dòng)終端等領(lǐng)域具有重要的應(yīng)用。

目前，無(wú)鏡立體顯示技術(shù)為了獲得更好的立體效果，大多數(shù)采用多幅有一定視差的圖像進(jìn)行合成，觀看者在不同觀看位置看到其中的兩幅圖像就可以在大腦皮層中產(chǎn)生立體視覺，形成立體圖像。

現(xiàn)階段無(wú)鏡立體顯示內(nèi)容主要以無(wú)鏡立體視頻內(nèi)容為主，然而無(wú)鏡立體視頻內(nèi)容受限于制作周期長(zhǎng)、制作成本高、無(wú)互動(dòng)性等問(wèn)題，無(wú)法良好的推動(dòng)無(wú)鏡立體技術(shù)的發(fā)展。而圖文交互系統(tǒng)廣泛適用于2D顯示，雖然有著良好的展示性，表達(dá)性，交互性，但也面臨著缺乏亮點(diǎn)，視覺沖擊力不足等問(wèn)題，無(wú)法良好的推動(dòng)圖文交互系統(tǒng)的發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種無(wú)鏡立體引擎交互方法，能夠有效的解決無(wú)鏡立體顯示內(nèi)容制作周期長(zhǎng)，制作成本高，無(wú)互動(dòng)性等問(wèn)題，且同時(shí)解決圖文交互系統(tǒng)視覺沖擊力不足，缺乏亮點(diǎn)等問(wèn)題，極大地?cái)U(kuò)展圖文交互系統(tǒng)和無(wú)鏡立體顯示技術(shù)這兩者的應(yīng)用領(lǐng)域，顯著推動(dòng)兩者的發(fā)展。

本發(fā)明可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

本發(fā)明公開了一種無(wú)鏡立體引擎交互方法，包括以下步驟：

a.創(chuàng)建需求交互的文字以及圖片；

b.將文字生成為帶有透明通道的文字圖片；

c.將需求交互的圖片以及帶有透明通道的文字圖片導(dǎo)入U(xiǎn)nity3D引擎，并將其格式調(diào)整為二維界面格式；

d.在Unity3D引擎中創(chuàng)建多個(gè)Sprite精靈組件，并將需求交互的圖片以及帶有透明通道的文字圖片賦予不同的Sprite精靈組件；

e.編寫腳本代碼，實(shí)現(xiàn)圖片與文字圖片的交互操作；

f.在同一場(chǎng)景中建立多臺(tái)虛擬相機(jī)，調(diào)整相機(jī)角度，將圖片以及文字圖片顯示出來(lái)，同時(shí)虛擬相機(jī)按照一定的結(jié)構(gòu)要求進(jìn)行擺放，并在每個(gè)相機(jī)身上添加渲染貼圖；

g.創(chuàng)建零平面，編寫腳本實(shí)現(xiàn)所有虛擬相機(jī)聚焦于零平面；

h.計(jì)算出視點(diǎn)子像素映射矩陣，并編寫相應(yīng)的Shader，對(duì)每臺(tái)相機(jī)渲染的貼圖進(jìn)行采樣處理，并將經(jīng)過(guò)采樣處理的多張視差圖像相加，得到最終合成圖像；

i.在Unity3D引擎的場(chǎng)景中創(chuàng)建無(wú)鏡立體顯示部分，分別為獲取合成圖像的相機(jī)以及無(wú)鏡立體顯示面板，并將得到的最終圖像輸出到無(wú)鏡立體顯示面板；

j.運(yùn)用Unity3D引擎編譯以上場(chǎng)景，將其發(fā)布為PC端的可執(zhí)行文件；

k.PC端連接到無(wú)鏡立體顯示終端，將PC端圖像輸出到無(wú)鏡立體顯示終端，運(yùn)行可執(zhí)行文件，無(wú)鏡立體顯示終端得到正確的立體顯示；

l.在無(wú)鏡立體顯示終端進(jìn)行圖文交互操作，得到正確立體顯示的圖文交互響應(yīng)，實(shí)現(xiàn)基于Unity3D引擎的無(wú)鏡立體圖文交互方法。

進(jìn)一步地，在b步驟中，文字生成為帶有透明通道的文字圖片，在Unity3D引擎中將文字顯示出來(lái)并對(duì)其進(jìn)行交互操作，具體的交互操作方式為：點(diǎn)擊文字圖片響應(yīng)相應(yīng)的交互動(dòng)作。

進(jìn)一步地，在c步驟中，將帶有透明通道的文字圖片導(dǎo)入U(xiǎn)nity3D引擎，并將其格式調(diào)整為二維界面格式。

本發(fā)明一種無(wú)鏡立體引擎交互方法，具有如下的有益效果：通過(guò)本發(fā)明的無(wú)鏡立體引擎交互方法，可以極大地?cái)U(kuò)展圖文交互系統(tǒng)和無(wú)鏡立體顯示技術(shù)這兩者的應(yīng)用領(lǐng)域，且可以將已有的圖文交互系統(tǒng)經(jīng)過(guò)些許修改便可實(shí)現(xiàn)無(wú)鏡立體顯示，從而在很大程度上降低了無(wú)鏡立體顯示內(nèi)容的制作成本，并且可以將圖文交互系統(tǒng)豐富自由的交互功能移植到無(wú)鏡立體顯示技術(shù)中來(lái)，良好的推動(dòng)無(wú)鏡立體顯示技術(shù)的發(fā)展。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合實(shí)施例對(duì)本發(fā)明產(chǎn)品作進(jìn)一步詳細(xì)的說(shuō)明。

本發(fā)明公開了一種無(wú)鏡立體引擎交互方法，包括以下步驟：

a.創(chuàng)建需求交互的文字以及圖片；無(wú)鏡立體圖文交互方法的核心為圖片以及文字的交互操作，這里所用到的圖片為普通2D圖片。

b.將文字生成為帶有透明通道的文字圖片；在Unity3D引擎中將文字顯示出來(lái)并對(duì)其進(jìn)行交互操作，需要將文字生成為帶有透明通道的文字圖片。具體的交互操作方式為：點(diǎn)擊文字圖片響應(yīng)相應(yīng)的交互動(dòng)作。

c.將需求交互的圖片以及帶有透明通道的文字圖片導(dǎo)入U(xiǎn)nity3D引擎，并將其格式調(diào)整為二維界面格式；在Unity3D引擎中要正確的顯示文字，需要先將其格式調(diào)整為二維界面格式，這樣可以將文字圖片的背景透明化以便于在Unity3D引擎的場(chǎng)景中只顯示出文字。

d.在Unity3D引擎中創(chuàng)建多個(gè)Sprite精靈組件，并將需求交互的圖片以及帶有透明通道的文字圖片賦予不同的Sprite精靈組件；要在Unity3D引擎的場(chǎng)景中顯示出需求交互的圖片以及文字，并不能夠直接將相關(guān)圖片以及文字拖入U(xiǎn)nity3D引擎的場(chǎng)景中，而是需要Sprite精靈組件作為載體，將相關(guān)圖片以及文字圖片賦予Sprite精靈組件以達(dá)到正確的顯示。而其中每一個(gè)Sprite精靈組件對(duì)應(yīng)一個(gè)圖片，因?yàn)橛卸鄠€(gè)文字圖片以及圖片進(jìn)行交互操作，所以需要?jiǎng)?chuàng)建多個(gè)Sprite精靈組件作為載體。

e.編寫相關(guān)腳本代碼，實(shí)現(xiàn)圖片與文字圖片的交互操作；通過(guò)代碼實(shí)現(xiàn)圖片以及文字圖片的交互操作，實(shí)現(xiàn)點(diǎn)擊不同圖片響應(yīng)不同的交互事件；

f.在同一場(chǎng)景中建立多臺(tái)虛擬相機(jī)，調(diào)整相機(jī)角度，將圖片以及文字圖片顯示出來(lái)，同時(shí)虛擬相機(jī)按照一定的結(jié)構(gòu)要求進(jìn)行擺放，并在每個(gè)相機(jī)身上添加渲染貼圖；可以通過(guò)合理布局多臺(tái)虛擬立體相機(jī)，對(duì)同一個(gè)圖文場(chǎng)景進(jìn)行同步拍攝來(lái)獲得多幅視差圖像以便給觀看者左右眼提供稍有差異的視差圖像，從而實(shí)現(xiàn)立體視覺。在每臺(tái)相機(jī)的目標(biāo)貼圖中加入渲染貼圖Render Texture，渲染貼圖是一種特殊的紋理類型，能夠在運(yùn)行時(shí)實(shí)時(shí)產(chǎn)生以及更新。其使用方法是創(chuàng)建一個(gè)新的渲染紋理，并且指定一個(gè)相機(jī)對(duì)其進(jìn)行渲染，然后就可以像常規(guī)紋理一樣進(jìn)行使用。

g.創(chuàng)建零平面，編寫腳本實(shí)現(xiàn)所有虛擬相機(jī)聚焦于零平面；將相機(jī)聚焦于零平面實(shí)現(xiàn)零平面與相機(jī)之間的物體呈現(xiàn)出屏狀態(tài)，零平面以外的物體呈現(xiàn)入屏的狀態(tài)，以達(dá)到真實(shí)的空間立體效果；

h.計(jì)算出視點(diǎn)子像素映射矩陣，并編寫相應(yīng)的Shader，對(duì)每臺(tái)相機(jī)渲染的貼圖進(jìn)行采樣處理，并將經(jīng)過(guò)采樣處理的多張視差圖像相加，得到最終合成圖像；

首先，確定2D顯示屏上給定的RGB子像素應(yīng)該取自哪個(gè)視點(diǎn)的RGB分量，下式給出了多視點(diǎn)子像素映射矩陣的計(jì)算公式：

其中，為一個(gè)光柵周期在水平方向上覆蓋RGB子像素的個(gè)數(shù)，為RGB子像素的坐標(biāo)位置，為光柵軸相對(duì)于LCD顯示屏垂直軸的傾斜夾角，表示2D顯示屏左上邊緣與光柵單元邊緣點(diǎn)的水平位移量，表示總視點(diǎn)個(gè)數(shù)，也就是參與合成的視差圖像數(shù)量。根據(jù)上式可計(jì)算出2D顯示屏上的每個(gè)子像素的灰度值應(yīng)該取自于哪幅視差圖像的相應(yīng)坐標(biāo)位置的灰度值。然后將視點(diǎn)映射矩陣編寫到Shader中，利用Shader對(duì)相機(jī)渲染的多張渲染貼圖進(jìn)行子像素的采樣處理，并將經(jīng)過(guò)采樣處理的多張視差圖像相互疊加，得到最終的合成圖像。其中，Shader也稱之為著色器，是運(yùn)行在GPU上的程序，用來(lái)對(duì)三維物體進(jìn)行著色處理、光影計(jì)算和紋理顏色呈現(xiàn)等。Shader有頂點(diǎn)Shader和片段Shader兩種基本類型，頂點(diǎn)Shader可以處理和變換渲染到屏幕上的網(wǎng)格物體的頂點(diǎn)位置，頂點(diǎn)Shader的輸出結(jié)果將會(huì)傳遞給流水線的下一步。幾何體的網(wǎng)格經(jīng)過(guò)硬件的柵格化后，處于流水線上的片段Shader會(huì)被執(zhí)行，片段Shader會(huì)對(duì)一個(gè)片段進(jìn)行各種測(cè)試，最終測(cè)試成功的片段會(huì)被寫入渲染的輸出幀中，從而成為顯示器屏幕上的一個(gè)可見像素。隨著GPU硬件性能的提升，Shader的編程方式經(jīng)歷了從最初的固定渲染管線，到可編程渲染管線的發(fā)展。固定渲染管線是支持老舊顯卡的一種模式，它寫出的Shader是基于頂點(diǎn)照明的，相較于逐像素的照明方式，這種方式的照明計(jì)算速度更快，但效果會(huì)差一些。固定管線是標(biāo)準(zhǔn)的幾何、光照管線，它控制著世界、視投影變換及固定光照控制和紋理混合，基本所有的顯卡都能正常運(yùn)行?？删幊啼秩竟芫€對(duì)渲染管線中的頂點(diǎn)運(yùn)算和像素運(yùn)算分別進(jìn)行編程處理。

i.在Unity3D引擎的場(chǎng)景中創(chuàng)建無(wú)鏡立體顯示部分，分別為獲取合成圖像的相機(jī)以及無(wú)鏡立體顯示面板，并將得到的最終圖像輸出到無(wú)鏡立體顯示面板；創(chuàng)建新的顯示面板作為合成圖像的載體，將最終合成圖像賦予顯示面板，通過(guò)創(chuàng)建的新相機(jī)獲取無(wú)鏡立體顯示面板上的圖像呈現(xiàn)在Unity3D引擎的game窗口中以便于進(jìn)行相關(guān)的調(diào)試工作。

j.運(yùn)用Unity3D引擎編譯以上場(chǎng)景，將其發(fā)布為PC端的可執(zhí)行文件；將制作好的無(wú)鏡立體圖文交互場(chǎng)景發(fā)布為可執(zhí)行文件以便于在無(wú)鏡立體顯示終端得到正確的立體效果，因?yàn)闊o(wú)鏡立體顯示終端不同于其他2D顯示終端，只有將場(chǎng)景中的每一個(gè)像素點(diǎn)與無(wú)鏡立體顯示終端的相同位置像素點(diǎn)匹配才能得到正確的立體效果顯示。

k.PC端連接到無(wú)鏡立體顯示終端，將PC端圖像輸出到無(wú)鏡立體顯示終端，運(yùn)行可執(zhí)行文件，無(wú)鏡立體顯示終端得到正確的立體顯示；將PC端的畫面輸出到無(wú)鏡立體顯示終端，并在顯示終端上運(yùn)行可執(zhí)行文件，實(shí)現(xiàn)程序與無(wú)鏡立體顯示終端像素點(diǎn)的完全匹配，得到正確的無(wú)鏡立體立體顯示。

l.在無(wú)鏡立體顯示終端進(jìn)行圖文交互操作，得到正確立體顯示的圖文交互響應(yīng)，實(shí)現(xiàn)基于Unity3D引擎的無(wú)鏡立體圖文交互方法。在無(wú)鏡立體顯示終端進(jìn)行無(wú)鏡立體圖文交互操作，得到了正確的圖文交互響應(yīng)以及正確的無(wú)鏡立體立體效果顯示，實(shí)現(xiàn)了基于Unity3D引擎的無(wú)鏡立體圖文交互方法。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制；凡本行業(yè)的普通技術(shù)人員均可按說(shuō)明書所述和以上所述而順暢地實(shí)施本發(fā)明；但是，凡熟悉本專業(yè)的技術(shù)人員在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，可利用以上所揭示的技術(shù)內(nèi)容而作出的些許更動(dòng)、修飾與演變的等同變化，均為本發(fā)明的等效實(shí)施例；同時(shí)，凡依據(jù)本發(fā)明的實(shí)質(zhì)技術(shù)對(duì)以上實(shí)施例所作的任何等同變化的更動(dòng)、修飾與演變等，均仍屬于本發(fā)明的技術(shù)方案的保護(hù)范圍之內(nèi)。