一種用于近眼顯示器的遠(yuǎn)程圖像顯示方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像顯示方法，特別涉及一種用于近眼顯示的遠(yuǎn)程圖像顯示方法。
【背景技術(shù)】
[0002]近眼顯示器(NED)是一種可將圖像直接投射到觀看者眼中的頭戴式顯示器(HMD)。這種近眼顯示器的顯示屏距離眼球十厘米以內(nèi)，這樣近的圖像常規(guī)而言是人眼無法看清的。然而，近眼顯示器通過特定設(shè)計的透鏡陣列將圖像聚焦投射于人眼視網(wǎng)膜上，再經(jīng)過視覺神經(jīng)系統(tǒng)加工后，在用戶眼前呈現(xiàn)出虛擬大幅面圖像，由此可以用于虛擬或增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0003]在近眼顯示領(lǐng)域，使用者對圖像顯示的連續(xù)性和穩(wěn)定性有著較高的要求，否則就容易產(chǎn)生眩暈的感覺，從而降低了視覺效果和用戶體驗(yàn)。特別是用于根據(jù)使用者姿態(tài)信息在線獲取遠(yuǎn)端的圖像領(lǐng)域，由于遠(yuǎn)端的圖像采集設(shè)備的姿態(tài)調(diào)整和圖像傳輸均存在延遲的問題，導(dǎo)致遠(yuǎn)端的圖像采集設(shè)備的姿態(tài)很難與所顯示內(nèi)容之間同步調(diào)整，從而導(dǎo)致圖像顯示也存在延遲現(xiàn)象?，F(xiàn)有技術(shù)中大多是采用慣性傳感器用于校正遠(yuǎn)端圖像采集設(shè)備姿態(tài)調(diào)整后信息，直接增加了圖像采集設(shè)備的復(fù)雜度，且存在多次校正后存在較大誤差的情況。
[0004]基于上述現(xiàn)有技術(shù)的不足之處，因此需要開發(fā)出一種能夠簡單地校正圖像采集裝置的姿態(tài)和解決由于延遲帶來的視覺效果問題的圖像處理方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種用于近眼顯示器的遠(yuǎn)程圖像顯示方法，所述圖像通過位于遠(yuǎn)程的圖像采集裝置采集后發(fā)送至近眼顯示器進(jìn)行顯示，該方法包括如下步驟:a)所述近眼顯示器以第一速率持續(xù)發(fā)送所述近眼顯示器當(dāng)前的第一姿態(tài)信息至所述圖像采集裝置；b)所述圖像采集裝置根據(jù)接收到的第一姿態(tài)信息進(jìn)行姿態(tài)調(diào)整并進(jìn)行圖像采集，將采集的圖像和采集該圖像時所述圖像采集裝置的第二姿態(tài)信息以第二速率持續(xù)傳回所述近眼顯示器；c)所述近眼顯示器獲取所述圖像采集裝置傳回的圖像及第二姿態(tài)信息并存儲；d)獲取最近一次存儲的圖像，截取所述圖像的一部分區(qū)域用于近眼顯示器顯示；e)監(jiān)測所述近眼顯示器的姿態(tài)是否發(fā)生變化，若不發(fā)生變化時，則返回步驟c);若發(fā)生變化，則進(jìn)入步驟g) ;g)截取所獲取圖像中與所述第一姿態(tài)信息對應(yīng)的一部分區(qū)域用于近眼顯示器顯示。
[0006]優(yōu)選地，在進(jìn)入步驟g之間還包括步驟f，獲取最近一次存儲的圖像及其第二姿態(tài)信息，計算所述近眼顯示器當(dāng)前的第一姿態(tài)信息與所述第二姿態(tài)信息之差，若所述差小于或等于一閾值，則進(jìn)入步驟g);若所述差大于所述閾值，則所述近眼顯示器顯示黑屏并等待獲取當(dāng)前第二姿態(tài)對應(yīng)的返回圖像，或者查找所存儲的圖像中包含所述第一姿態(tài)信息對應(yīng)區(qū)域的最近一次存儲的圖像，再進(jìn)入步驟g)。
[0007]優(yōu)選地，所述閥值為獲取圖像的中心點(diǎn)至最近邊緣點(diǎn)的距離。
[0008]優(yōu)選地，所述近眼顯示器的姿態(tài)通過內(nèi)置的姿態(tài)傳感器或鼠標(biāo)或觸摸感應(yīng)獲取。
[0009]優(yōu)選地，所述圖像采集裝置包括圖像采集單元、底座、連接圖像采集單元與底座的三軸旋轉(zhuǎn)機(jī)構(gòu)以及姿態(tài)采集單元。
[0010]優(yōu)選地，所述姿態(tài)采集單元為等間距設(shè)置于底座邊緣的至少3個不同波段的指示燈。
[0011]優(yōu)選地，所述姿態(tài)采集單元為姿態(tài)傳感器。
[0012]優(yōu)選地，所述圖像采集單元包括兩個平行布置的相隔一定間距的第一攝像頭和第一.攝像頭。
[0013]優(yōu)選地，所述第一攝像頭和第二攝像頭之間的間距為60?75_。
[0014]優(yōu)選地，所述第一攝像頭和第二攝像頭均為拍攝角度為150?180度的廣角攝像頭。
[0015]通過上述圖像顯示方法對近眼顯示中雙眼呈現(xiàn)的圖像分別進(jìn)行圖像相應(yīng)操作，可以有效的解決由于遠(yuǎn)程傳輸產(chǎn)生延遲導(dǎo)致近眼顯示中的圖像缺失或者不連續(xù)等問題本發(fā)明的圖像采集裝置可以根據(jù)近眼顯示器的姿態(tài)信息進(jìn)行多方位的調(diào)整，并將調(diào)整后的姿態(tài)信息和拍攝的圖像及時的傳回使用者的近眼顯示器中。此外圖像的補(bǔ)償方法可以有效的解決由圖像傳輸延遲所帶來的視覺體驗(yàn)問題，特別是能夠提高近眼顯示領(lǐng)域的視覺體舒適度。
[0016]應(yīng)當(dāng)理解，前述大體的描述和后續(xù)詳盡的描述均為示例性說明和解釋，并不應(yīng)當(dāng)用作對本發(fā)明所要求保護(hù)內(nèi)容的限制。
【附圖說明】
[0017]參考隨附的附圖，本發(fā)明更多的目的、功能和優(yōu)點(diǎn)將通過本發(fā)明實(shí)施方式的如下描述得以闡明，其中:
[0018]圖1示出了本發(fā)明中遠(yuǎn)程圖像采集系統(tǒng)的原理圖；
[0019]圖2(a)示意性示出本發(fā)明中遠(yuǎn)端圖像采集裝置的立體示意圖；
[0020]圖2(b)示意性示出本發(fā)明中遠(yuǎn)端圖像采集裝置的俯視圖；
[0021]圖2(c)為圖2(b)的側(cè)視圖；
[0022]圖3示出了本發(fā)明中用于近眼顯示的圖像顯示方法示意圖；
[0023]圖4(a)示出了本發(fā)明中用于遠(yuǎn)程圖像采集方法的第一種具體實(shí)現(xiàn)步驟圖；
[0024]圖4(b)示出了本發(fā)明中用于遠(yuǎn)程圖像采集方法的第二種具體實(shí)現(xiàn)步驟圖。
【具體實(shí)施方式】
[0025]通過參考示范性實(shí)施例，本發(fā)明的目的和功能以及用于實(shí)現(xiàn)這些目的和功能的方法將得以闡明。然而，本發(fā)明并不受限于以下所公開的示范性實(shí)施例；可以通過不同形式來對其加以實(shí)現(xiàn)。說明書的實(shí)質(zhì)僅僅是幫助相關(guān)領(lǐng)域技術(shù)人員綜合理解本發(fā)明的具體細(xì)節(jié)。
[0026]在下文中，將參考附圖描述本發(fā)明的實(shí)施例。在附圖中，相同的附圖標(biāo)記代表相同或類似的部件，或者相同或類似的步驟。
[0027]本發(fā)明提供了一種遠(yuǎn)程圖像采集系統(tǒng)，通過該遠(yuǎn)端圖像采集系統(tǒng)可以將遠(yuǎn)端圖像傳輸?shù)讲⒊尸F(xiàn)顯示端設(shè)備中，并利用圖像補(bǔ)償?shù)姆绞降窒麍D像遠(yuǎn)程傳輸過程中產(chǎn)生的延遲。
[0028]圖1示意性示出了本發(fā)明用于近眼顯示的遠(yuǎn)程圖像采集系統(tǒng)的原理圖。如圖1所示，用于近眼顯示的遠(yuǎn)程圖像采集系統(tǒng)包括:近眼顯示器100和位于遠(yuǎn)端的圖像采集裝置200，近眼顯示器100和圖像采集裝置200之間通過網(wǎng)絡(luò)連接。所述網(wǎng)絡(luò)例如包括有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)，諸如內(nèi)聯(lián)網(wǎng)之類的局域網(wǎng)(“LAN”)和諸如互聯(lián)網(wǎng)之類的廣域網(wǎng)(“WAN”)。網(wǎng)絡(luò)可被配置為支持利用多種協(xié)議設(shè)置格式的信息的傳輸。另外，網(wǎng)絡(luò)可以是公共網(wǎng)絡(luò)、專用網(wǎng)絡(luò)或其組合。網(wǎng)絡(luò)還可以利用任何一種或多種類型的物理介質(zhì)來實(shí)現(xiàn)，其中包括與多個服務(wù)提供商相關(guān)聯(lián)的有線通信路徑和無線通信路徑。無線通信方式例如WiFi或WLAN、GPRS、蜂窩網(wǎng)絡(luò)，例如GSM網(wǎng)絡(luò)、3G網(wǎng)絡(luò)、LTE網(wǎng)絡(luò)或CDMA網(wǎng)絡(luò)。
[0029]圖像采集裝置200用來在遠(yuǎn)程采集圖像，傳送回近眼顯示器100進(jìn)行顯示。近眼顯示器100采集近眼顯示器100自身的姿態(tài)(例如佩戴近眼顯示器100的用戶的物理姿態(tài))，再將該姿態(tài)信息以指令方式發(fā)送至圖像采集裝置200。圖像采集裝置200可以根據(jù)近眼顯示器100發(fā)送的姿態(tài)信息進(jìn)行圖像采集單元201的姿態(tài)調(diào)整，進(jìn)而圖像采集單元201采集圖像并將圖像和調(diào)整后的姿態(tài)信息同時遠(yuǎn)程傳送至近眼顯示器100。以這種方式，位于遠(yuǎn)程的圖像采集裝置200可以“模仿”近眼顯示器100來采集圖像。
[0030]如圖1所示，近眼顯示器100通過內(nèi)置的姿態(tài)傳感器101獲取姿態(tài)信息，也可以利用鼠標(biāo)102控制或觸摸屏103控制其姿態(tài)信息。所述姿態(tài)傳感器101用于及時獲取使用者的姿態(tài)信息，例如可選用九軸傳感器，包含三軸陀螺儀、三軸加速度計，三軸電子羅盤的運(yùn)動傳感器。
[0031]圖2(a)至圖2(c)分別示出了圖1的系統(tǒng)中圖像采集裝置200的結(jié)構(gòu)圖。其中圖2(a)示意性示出本發(fā)明中遠(yuǎn)端圖像采集裝置的立體示意圖；圖2(13)示意性示出本發(fā)明中遠(yuǎn)端圖像采集裝置的俯視圖；圖2(c)為圖2(b)的側(cè)視圖。如圖2(a)所示，本發(fā)明中的圖像采集裝置200包括圖像采集單元201、底座202、連接圖像采集單元201與底座202的三軸旋轉(zhuǎn)機(jī)構(gòu)203、以及姿態(tài)采集單元。
[0032]圖像采集單元201，用于實(shí)時拍攝遠(yuǎn)程的圖像，包括兩個平行布置的相隔一定間距S的第一攝像頭204a和第二攝像頭204b。根據(jù)本發(fā)明的一個實(shí)施例，間距S優(yōu)選為60-75mm。優(yōu)選地，第一攝像頭204a和第二攝像頭204b的配置相同，以便采集冗余度較大的圖像，從而為實(shí)際呈現(xiàn)時的圖像補(bǔ)償提供圖像數(shù)據(jù)來源。雙攝像頭204a和204b的布置還可以用于模擬人眼的真實(shí)效果。
[0033]底座202，用于支撐圖像采集單元201，其具有錐形圓盤狀。圖2 (b)示出了根據(jù)本發(fā)明的圖像采集裝置200的頂視圖。如圖2(b)所示，底座202的面積大于圖像采集單元201的面積，這樣就保證了廣角攝像頭204可以拍攝到位于底座202的邊緣。
[0034]優(yōu)選地，姿態(tài)采集單元可通過在所述圖像采集單元201內(nèi)置的九軸姿態(tài)傳感器來實(shí)現(xiàn)，用于精確獲取圖像采集單元201的姿態(tài)信息。
[0035]根據(jù)本發(fā)明的另一個實(shí)施例，在底座202的邊緣處等間距地布置有至少3個不同波段的指示燈205，所述指示燈205發(fā)出不同的顏色的光(比如紅綠藍(lán)三種顏色)，從而近眼顯示器100就可以根據(jù)攝像頭204拍攝到的含有指示燈205的圖像來確定圖像采集單元201的姿態(tài)信息。具體地，遠(yuǎn)端圖像采集裝置100通過圖像處理和分析，判斷出指示燈205發(fā)出的什么顏色的光以及指示燈205在圖像中的位置，進(jìn)而可以確定圖像采集裝置200拍攝該圖像時的姿態(tài)信息，所以指示燈205可以用于替代上述九軸姿態(tài)傳感器并實(shí)現(xiàn)同樣的目的。
[0036]三軸旋轉(zhuǎn)機(jī)構(gòu)203，用于連接圖像采集單元201和底座202，并根據(jù)近眼顯示器100發(fā)出的姿態(tài)信息驅(qū)動圖像采集單元201多角度旋轉(zhuǎn)，從而使攝像頭204可以在三個方向上進(jìn)行姿態(tài)調(diào)整并拍攝圖像。
[0037]如圖2(c)所示，通過拍攝角度α為180度的廣角攝像頭可以拍攝到范圍較大的圖像，從而同時也保證了能夠拍攝到位于底座202邊緣的指示燈。
[0038]當(dāng)使用者利用近眼顯示器100來觀看其他視野的景物時，需要通過轉(zhuǎn)動頭部或其他方式，并將變化后的姿態(tài)信息傳輸至圖像采集裝置2