本發(fā)明涉及全景音像傳輸領(lǐng)域，更具體地說，涉及遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放方法。

背景技術(shù)：

全景音像目前一般采用曲面屏或近眼顯示裝置營造一個(gè)虛擬的三維場(chǎng)景，讓使用者不管朝向哪個(gè)方向都可以看到虛擬世界中的圖像，同時(shí)配備聲音，有較強(qiáng)的沉浸感。全景視頻或游戲目前一般是在主機(jī)中提前下載好整個(gè)文件再播放，很難實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)傳輸，這是由于目前的網(wǎng)絡(luò)傳輸速度存在較大的限制，而全景視頻或游戲的傳輸需要很大的實(shí)時(shí)數(shù)據(jù)傳輸量，這是目前大多數(shù)的網(wǎng)絡(luò)條件難以滿足的。一些實(shí)時(shí)傳輸?shù)姆桨覆捎昧私档蛡鬏攬D像畫質(zhì)和聲音效果來節(jié)省數(shù)據(jù)傳輸量，但這樣會(huì)造成傳輸圖像、聲音質(zhì)量下降，嚴(yán)重影響沉浸感。

技術(shù)實(shí)現(xiàn)要素：

為了解決當(dāng)前遠(yuǎn)程全景音像無法實(shí)時(shí)傳輸和影響沉浸感的缺陷，本發(fā)明提供可實(shí)時(shí)傳輸而且沉浸感強(qiáng)的遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放方法，包括服務(wù)器，傳輸系統(tǒng)和終端，所述終端包括處理單元、運(yùn)動(dòng)檢測(cè)單元、聲學(xué)單元和顯示單元，所述處理單元分別與所述運(yùn)動(dòng)檢測(cè)單元、所述聲學(xué)單元和所述顯示單元電性連接，遠(yuǎn)程全景圖像實(shí)時(shí)傳輸和顯示的方法包括以下步驟：

S1：所述運(yùn)動(dòng)檢測(cè)單元檢測(cè)使用者的運(yùn)動(dòng)狀態(tài)并將檢測(cè)結(jié)果傳輸至所述處理單元；

S2：所述處理單元對(duì)接收到的檢測(cè)結(jié)果進(jìn)行處理，得出需要傳遞聲音和圖像的空間角度坐標(biāo)集合，并發(fā)送請(qǐng)求至所述服務(wù)器請(qǐng)求所述空間角度坐標(biāo)集合對(duì)應(yīng)的圖像數(shù)據(jù)和聲音數(shù)據(jù)；

S3：所述服務(wù)器傳輸對(duì)應(yīng)圖像數(shù)據(jù)和聲音數(shù)據(jù)至所述終端。

優(yōu)選地，所述運(yùn)動(dòng)檢測(cè)單元包括姿態(tài)檢測(cè)裝置和角速度檢測(cè)裝置，所述姿態(tài)檢測(cè)裝置可以檢測(cè)使用者的角度坐標(biāo)信息，所述角速度檢測(cè)裝置可以檢測(cè)使用者的角速度信息。

優(yōu)選地，需要傳遞聲音和圖像的空間坐標(biāo)集合的計(jì)算方法是：

S2.11所述處理單元記錄所述運(yùn)動(dòng)檢測(cè)單元提供的使用者角度坐標(biāo)信息(α₀，β₀，γ₀)；

S2.12所述處理單元計(jì)算出延遲時(shí)間內(nèi)使用者角度坐標(biāo)的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出現(xiàn)的角度坐標(biāo)集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}，集合Ф即為需要傳遞聲音和圖像的空間坐標(biāo)集合。

優(yōu)選地，需要傳遞聲音和圖像的空間坐標(biāo)集合的計(jì)算方法是：

S2.21所述角速度檢測(cè)裝置檢測(cè)使用者沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的角速度ω_α、ω_β、ω_γ，在所述處理單元中設(shè)置使用者沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角加速度α_α、α_β、α_γ，記延遲時(shí)間為t₁₀；

S2.22所述處理單元計(jì)算出延遲時(shí)間t₁₀內(nèi)使用者可能出現(xiàn)的角度坐標(biāo)集合Ф₁＝{(((α₀-(ω_αt₁₀+α_αt₁₀²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀²/2)))|α，β，γ}，集合Ф₁即為需要傳遞聲音和圖像的空間坐標(biāo)集合。

優(yōu)選地，所述延遲時(shí)間為使用者被檢測(cè)到運(yùn)動(dòng)狀態(tài)的時(shí)間點(diǎn)到服務(wù)器對(duì)應(yīng)下行數(shù)據(jù)傳輸完畢所用的時(shí)間。

優(yōu)選地，需要傳遞聲音和圖像的空間坐標(biāo)集合的計(jì)算方法是：

S2.31在所述處理單元中記錄延遲時(shí)間內(nèi)使用者沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角速度為ω_α’、ω_β’、ω_γ’；

S2.32所述處理單元計(jì)算Ф₂＝{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|α，β，γ}；

S2.33令集合Ф₃＝(Ф₁∩Ф₂)，則Ф₃即為需要傳遞聲音和圖像的空間坐標(biāo)集合。

優(yōu)選地，所述處理單元根據(jù)所述運(yùn)動(dòng)檢測(cè)單元提供的角度坐標(biāo)信息得出使用者的視窗圖像區(qū)域，在所述視窗圖像的周圍增加緩沖圖像區(qū)域，構(gòu)成傳輸圖像區(qū)域，并向服務(wù)器請(qǐng)求所述傳輸圖像區(qū)域信息。

優(yōu)選地，所述終端進(jìn)一步包括響應(yīng)測(cè)試裝置，所述響應(yīng)測(cè)試裝置可以測(cè)試響應(yīng)時(shí)間，所述響應(yīng)時(shí)間為終端向服務(wù)器發(fā)出信號(hào)到終端接收到對(duì)應(yīng)返回信號(hào)所用的時(shí)間。

優(yōu)選地，將使用者沿x軸、y軸和z軸方向轉(zhuǎn)動(dòng)的角度空間等分n份，設(shè)置n個(gè)記錄坐標(biāo)記錄聲音。

優(yōu)選地，所述終端為虛擬現(xiàn)實(shí)頭盔、增強(qiáng)現(xiàn)實(shí)眼鏡或全景曲面屏。

與現(xiàn)有技術(shù)相比，本發(fā)明采用根據(jù)運(yùn)動(dòng)檢測(cè)單元檢測(cè)結(jié)果對(duì)應(yīng)傳輸圖像數(shù)據(jù)和聲音數(shù)據(jù)的方案，節(jié)省了很多的網(wǎng)絡(luò)帶寬，使遠(yuǎn)程全景音像實(shí)時(shí)傳輸和顯示得以實(shí)現(xiàn)。通過截取視窗圖像區(qū)域和緩沖圖像區(qū)域的方式，不僅減少了數(shù)據(jù)傳輸量，而且避免了黑邊出現(xiàn)和延遲感的產(chǎn)生。環(huán)境模擬單元可以模擬環(huán)境，對(duì)虛擬現(xiàn)實(shí)的沉浸感有一定意義。姿態(tài)檢測(cè)裝置和角速度檢測(cè)裝置可以探測(cè)使用者的角度坐標(biāo)信息和角速度信息，實(shí)時(shí)將相關(guān)信息傳輸至處理單元以確定傳輸圖像區(qū)域。通過確定使用者延遲時(shí)間內(nèi)角度坐標(biāo)的最大偏移量可以更精確傳輸圖像區(qū)域的范圍，進(jìn)一步減少數(shù)據(jù)傳輸量。通過角加速度和最大角速度配合確定使用者可能出現(xiàn)的角度坐標(biāo)集合最大限度地減少了傳輸數(shù)據(jù)量，節(jié)省了帶寬。設(shè)置響應(yīng)測(cè)試裝置可以測(cè)量使用者的網(wǎng)速情況，同時(shí)方便得出延遲時(shí)間。

附圖說明

下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，附圖中：

圖1是目前遠(yuǎn)程音像實(shí)時(shí)傳輸和顯示方法；

圖2是全景圖像顯示示意圖；

圖3是本發(fā)明遠(yuǎn)程全景圖像實(shí)時(shí)傳輸和顯示方法結(jié)構(gòu)示意圖；

圖4是本發(fā)明遠(yuǎn)程全景圖像實(shí)時(shí)傳輸和顯示方法原理示意圖；

圖5是本發(fā)明遠(yuǎn)程全景圖像實(shí)時(shí)傳輸和顯示方法傳輸圖像區(qū)域示意圖。

具體實(shí)施方式

為了解決當(dāng)前遠(yuǎn)程全景圖像無法實(shí)時(shí)傳輸和影響沉浸感的缺陷，本發(fā)明提供可實(shí)時(shí)傳輸而且沉浸感強(qiáng)的遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放方法。

為了對(duì)本發(fā)明的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對(duì)照附圖詳細(xì)說明本發(fā)明的具體實(shí)施方式。

請(qǐng)參閱圖1。圖1是目前遠(yuǎn)程音像實(shí)時(shí)傳輸和顯示方法，終端13包括顯示單元131和聲學(xué)單元133，通過終端13向服務(wù)器11請(qǐng)求數(shù)據(jù)，服務(wù)器11根據(jù)終端13請(qǐng)求的數(shù)據(jù)傳輸對(duì)應(yīng)的圖像和聲音數(shù)據(jù)到終端13，終端13經(jīng)過處理后將圖像、聲音信號(hào)傳輸至顯示單元131和聲學(xué)單元133。這種傳輸對(duì)終端13和服務(wù)器11的處理速度以及傳輸數(shù)據(jù)的速度都有一定的要求，如果這些速度無法達(dá)到要求，視頻圖像和聲音就會(huì)出現(xiàn)卡頓，嚴(yán)重影響使用體驗(yàn)。在目前的遠(yuǎn)程音像實(shí)時(shí)傳輸和顯示中，服務(wù)器11性能、終端13性能和網(wǎng)絡(luò)帶寬及穩(wěn)定性成為了制約音像傳輸?shù)年P(guān)鍵因素。因此，在目前高清視頻的傳輸和大型游戲中，性能卓越的終端13和穩(wěn)定高速的網(wǎng)絡(luò)配置是不能缺少的。

請(qǐng)參閱圖2。圖2是全景音像顯示示意圖。全景音像多通過虛擬現(xiàn)實(shí)頭盔、增強(qiáng)現(xiàn)實(shí)眼鏡和全景曲面屏來呈現(xiàn)，需要保證使用者20不管朝向什么方向，都可以感受到如同現(xiàn)實(shí)般的音像，因此在非遠(yuǎn)程虛擬現(xiàn)實(shí)顯示中，需要制作全方位360度的圖像和各個(gè)位置的聲音，存儲(chǔ)在終端13，待使用者20的運(yùn)動(dòng)和位置狀態(tài)被確定后，終端13傳輸對(duì)應(yīng)的圖像信息和聲音信息到顯示單元131和聲學(xué)單元133中。而在遠(yuǎn)程實(shí)時(shí)傳輸中，無法提前制作全方位360度的圖像，只能依靠實(shí)時(shí)傳輸360度的圖像和聲音來保證使用者20不管朝向什么方向都可以感受到如同現(xiàn)實(shí)般的聲音和圖像。但是同時(shí)傳輸如此多的信息需要很大的網(wǎng)絡(luò)帶寬支持，目前的技術(shù)無法達(dá)到要求，這就使得遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放遇到很大的難題。一個(gè)解決方案是降低圖像的畫質(zhì)和聲音的品質(zhì)，當(dāng)圖像的畫質(zhì)和聲音的品質(zhì)降低到一定的標(biāo)準(zhǔn)時(shí)，實(shí)時(shí)傳輸數(shù)據(jù)量大為減少，網(wǎng)絡(luò)帶寬可以滿足，但這會(huì)導(dǎo)致圖像非常模糊，晶格感嚴(yán)重，聲音不清晰，嚴(yán)重影響虛擬現(xiàn)實(shí)的沉浸感和體驗(yàn)。在目前網(wǎng)絡(luò)帶寬的條件下，實(shí)時(shí)傳輸?shù)那闆r下增強(qiáng)虛擬現(xiàn)實(shí)沉浸感必須尋找其他解決方案。

請(qǐng)參閱圖3—圖5，在本發(fā)明中，完成遠(yuǎn)程全景音像實(shí)時(shí)傳輸和播放需要服務(wù)器11、傳輸系統(tǒng)12和終端13，服務(wù)器11和終端13之間通過傳輸系統(tǒng)12連接并相互傳遞信息。終端13包括處理單元137、顯示單元131、聲學(xué)單元133、環(huán)境模擬單元139和運(yùn)動(dòng)檢測(cè)單元135，處理單元137分別與顯示單元131、聲學(xué)單元133、環(huán)境模擬單元139和運(yùn)動(dòng)檢測(cè)單元135電性連接。環(huán)境模擬單元139可以根據(jù)處理單元137的相關(guān)命令模擬環(huán)境場(chǎng)景，服務(wù)器11可以傳輸環(huán)境信息到終端13，并由處理單元137命令環(huán)境模擬單元139進(jìn)行表達(dá)。環(huán)境模擬單元139可以配備鼓風(fēng)機(jī)(圖未示)模擬風(fēng)向和配備噴水裝置(圖未示)模擬噴水、下雨等環(huán)境變化。運(yùn)動(dòng)檢測(cè)單元135包括姿態(tài)檢測(cè)裝置1353和角速度檢測(cè)裝置1355。處理單元137包括響應(yīng)測(cè)試裝置1371，響應(yīng)測(cè)試裝置1371可以測(cè)量網(wǎng)絡(luò)響應(yīng)速度。我們將通過視覺和聽覺分別論述本發(fā)明的實(shí)施方案。

由于人的視角限制，現(xiàn)實(shí)中人不能同時(shí)看到360度全景空間的圖像，呈現(xiàn)在人面前的是一個(gè)“視窗”，圖示視窗圖像區(qū)域31。我們這里以虛擬現(xiàn)實(shí)顯示為例講述全景圖像顯示的原理，全景曲面屏和增強(qiáng)現(xiàn)實(shí)顯示方法與其類似，此處不再贅述。在非遠(yuǎn)程虛擬現(xiàn)實(shí)顯示中，由于設(shè)備響應(yīng)速度較快，在使用者20的角度信息被探測(cè)到后，終端13傳輸對(duì)應(yīng)的視窗圖像區(qū)域31到顯示單元131中，整個(gè)過程可以控制到11ms以下，而在這低于11ms的時(shí)間內(nèi)，使用者20的運(yùn)動(dòng)狀態(tài)不會(huì)發(fā)生太大改變，這部分時(shí)間延遲可以忽略。使用者20在顯示單元131中看到11ms之前的圖像大腦生理上不會(huì)產(chǎn)生延遲感，這是非遠(yuǎn)程虛擬現(xiàn)實(shí)顯示的基本原理。在這種傳輸中，每個(gè)角度坐標(biāo)對(duì)應(yīng)唯一的視窗圖像區(qū)域31。但是在遠(yuǎn)程虛擬現(xiàn)實(shí)顯示中，由于網(wǎng)絡(luò)響應(yīng)速度遠(yuǎn)大于11ms，再使用這種方式來傳播圖像就會(huì)產(chǎn)生很大的延遲感。因此我們必須傳輸大于視窗圖像區(qū)域31的圖像存儲(chǔ)在終端13中，再重新測(cè)量使用者20的角度坐標(biāo)，在存儲(chǔ)的圖像中抓取對(duì)應(yīng)的視窗圖像區(qū)域31到顯示單元131中。這其中，大于視窗圖像區(qū)域31的圖像我們稱為緩沖圖像區(qū)域33，緩沖圖像區(qū)域33和視窗圖像區(qū)域31共同構(gòu)成傳輸圖像區(qū)域30。

從使用者20的運(yùn)動(dòng)狀態(tài)和位置信息被探測(cè)到，到圖像信息傳遞給使用者，需要一個(gè)傳遞和處理的時(shí)間周期。令這個(gè)時(shí)間周期的起始時(shí)刻為T₀，則該時(shí)間周期需要：使用者20的運(yùn)動(dòng)狀態(tài)被探測(cè)到并傳遞到處理單元137的時(shí)間為探測(cè)時(shí)間t₁、處理單元137處理的時(shí)間為t₂、處理單元137傳輸數(shù)據(jù)到服務(wù)器11所需時(shí)間t₃、服務(wù)器11處理時(shí)間t₄、服務(wù)器11向處理單元137傳輸對(duì)應(yīng)圖像數(shù)據(jù)的時(shí)間t₅。(t₁+t₂+t₃+t₄+t₅)這段時(shí)間我們稱為延遲時(shí)間，記延遲時(shí)間為t₁₀。延遲時(shí)間t₁₀根據(jù)服務(wù)器11、終端13的性能以及網(wǎng)絡(luò)傳輸速度的不同各有不同?？梢院苋菀椎贸?，響應(yīng)測(cè)試裝置1371測(cè)量的響應(yīng)時(shí)間為(t₃+t₄+t₅)，由于t₁和t₂對(duì)于特定的終端來說是基本是固定不變的，因此延遲時(shí)間t₁₀就可以通過響應(yīng)時(shí)間(t₃+t₄+t₅)和固定的時(shí)間t₁、t₂計(jì)算出來。

本發(fā)明的圖像傳輸和顯示過程是：在T₀時(shí)刻，使用者20的角度坐標(biāo)信息被運(yùn)動(dòng)檢測(cè)單元135檢測(cè)到，經(jīng)過t₁的時(shí)間該信息傳遞到處理單元137，處理單元137經(jīng)過t₂時(shí)間的處理向服務(wù)器11請(qǐng)求傳輸圖像區(qū)域30的數(shù)據(jù)，經(jīng)過t₃時(shí)間數(shù)據(jù)請(qǐng)求信息傳輸?shù)椒?wù)器11，服務(wù)器11經(jīng)過t₄時(shí)間的處理將傳輸圖像區(qū)域30對(duì)應(yīng)數(shù)據(jù)下行傳輸?shù)浇K端13，經(jīng)過t₅的時(shí)間到達(dá)終端并接收完成，此時(shí)記為T₁時(shí)刻。同時(shí)，運(yùn)動(dòng)檢測(cè)單元135檢測(cè)使用者20在T₁時(shí)刻的角度坐標(biāo)信息，并將該信息傳輸至處理單元137，處理單元137經(jīng)過處理后，在傳回的傳輸圖像區(qū)域30中抓取對(duì)應(yīng)T₁時(shí)刻角度坐標(biāo)信息的視窗圖像區(qū)域31并傳輸至顯示單元131。

本發(fā)明中，傳輸圖像區(qū)域30的范圍是比較重要的。傳輸圖像區(qū)域30如果過小，使用者20在緩沖時(shí)間內(nèi)的運(yùn)動(dòng)可能造成視窗圖像區(qū)域31超出傳輸圖像區(qū)域30的范圍，造成黑邊的出現(xiàn)；傳輸圖像區(qū)域30如果過大，會(huì)造成網(wǎng)絡(luò)傳輸數(shù)據(jù)量的增多，在網(wǎng)絡(luò)不穩(wěn)定的情況下有可能影響到沉浸感。

本發(fā)明采用計(jì)算使用者20最大角度偏移量的方式確定傳輸圖像區(qū)域30。我們建立虛擬的直角坐標(biāo)系，使用者此時(shí)沿x軸、y軸和z軸的角度坐標(biāo)為α₀、β₀、γ₀，處理單元137通過計(jì)算的方式計(jì)算出延遲時(shí)間t₁₀內(nèi)使用者20角度坐標(biāo)的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出現(xiàn)的坐標(biāo)集合：

Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

集合Ф內(nèi)所有坐標(biāo)對(duì)應(yīng)的視窗圖像區(qū)域31圍成的圖像區(qū)域的集合即為傳輸圖像區(qū)域30。對(duì)應(yīng)的角度坐標(biāo)可以由姿態(tài)檢測(cè)裝置1353檢測(cè)得到。

角度坐標(biāo)的最大偏移量有很多算法，其中一種就是利用使用者20的最大運(yùn)動(dòng)角加速度來計(jì)算。這里，我們令使用者20的最大運(yùn)動(dòng)角加速度是α，則使用者20沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角加速度為α_α、α_β、α_γ，使用者20沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的角速度為ω_α、ω_β、ω_γ，ω_α、ω_β、ω_γ可以利用角速度檢測(cè)裝置1355檢測(cè)得到，在延遲時(shí)間t₁₀內(nèi)使用者沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角度為(ω_αt₁₀+α_αt₁₀²/2)、(ω_βt₁₀+α_βt₁₀²/2)、(ω_γt₁₀+α_γt₁₀²/2)，角度坐標(biāo)的變化范圍為：

{((α₀-(ω_αt₁₀+α_αt₁₀²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀²/2)))，((β₀-(ω_βt₁₀+α_βt₁₀²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀²/2)))，((γ₀-(ω_γt₁₀+α_γt₁₀²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀²/2)))}，

此時(shí)，角度坐標(biāo)的集合為：

Ф₁＝{((α₀-(ω_αt₁₀+α_αt₁₀²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀²/2)))，((β₀-(ω_βt₁₀+α_βt₁₀²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀²/2)))，((γ₀-(ω_γt₁₀+α_γt₁₀²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀²/2)))|α，β，γ}。

利用該方法計(jì)算角度坐標(biāo)的集合可以很大程度上減少傳輸圖像區(qū)域30，較好地節(jié)省了資源。

本發(fā)明第二實(shí)施例在第一實(shí)施例的基礎(chǔ)上進(jìn)一步節(jié)省傳輸圖像區(qū)域30。由于人的頭部在轉(zhuǎn)動(dòng)過程中存在極限角速度，當(dāng)轉(zhuǎn)動(dòng)達(dá)到極限角速度后就不會(huì)繼續(xù)加速轉(zhuǎn)動(dòng)。因此，我們令使用者20沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角速度為ω_α’、ω_β’、ω_γ’,則使用者20在延遲時(shí)間t₁₀內(nèi)沿x軸、y軸和z軸各個(gè)方向轉(zhuǎn)動(dòng)的最大角度為ω_α’t₁₀、ω_β’t₁₀、ω_γ’t₁₀，角度坐標(biāo)的變化范圍為：

{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))}，

此時(shí)，角度坐標(biāo)的集合為：

Ф₂＝{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|α，β，γ}。

使用者20不管怎樣加速轉(zhuǎn)動(dòng)頭部，都不會(huì)超過集合Ф₂的坐標(biāo)范圍，我們令集合Ф₃＝(Ф₁∩Ф₂)，則Ф₃即為使用者可能出現(xiàn)的角度坐標(biāo)集合。這個(gè)結(jié)果使傳輸圖像區(qū)域30進(jìn)一步減小，減少了大量的傳輸數(shù)據(jù)。

本發(fā)明的聲音傳輸和播放過程是：在T₀時(shí)刻，使用者20的角度坐標(biāo)信息和角速度信息被運(yùn)動(dòng)檢測(cè)單元135檢測(cè)到，經(jīng)過t₁的時(shí)間該信息傳遞到處理單元137，處理單元137經(jīng)過t₂時(shí)間的處理向服務(wù)器11請(qǐng)求傳輸聲音集合的數(shù)據(jù)，經(jīng)過t₃時(shí)間數(shù)據(jù)請(qǐng)求信息傳輸?shù)椒?wù)器11，服務(wù)器11經(jīng)過t₄時(shí)間的處理將傳輸聲音集合對(duì)應(yīng)數(shù)據(jù)下行傳輸?shù)浇K端13，經(jīng)過t₅的時(shí)間到達(dá)終端并接收完成，此時(shí)記為T₁時(shí)刻。同時(shí)，運(yùn)動(dòng)檢測(cè)單元135檢測(cè)使用者20在T₁時(shí)刻的角度坐標(biāo)信息，并將該信息傳輸至處理單元137，處理單元137經(jīng)過處理后，在傳回的傳輸圖像區(qū)域30中抓取對(duì)應(yīng)T₁時(shí)刻角度坐標(biāo)信息的聲音并傳輸至聲學(xué)單元133。

傳輸聲音集合的確定方式與傳輸圖像區(qū)域30的確定方式相同，即利用使用者20的最大角度偏移量和使用者20的角速度、最大角速度、最大角加速度等數(shù)據(jù)，計(jì)算出集合Ф、Ф₃和Ф₁。每個(gè)角度坐標(biāo)(α，β，γ)對(duì)應(yīng)唯一的聲音數(shù)據(jù)，角度坐標(biāo)集合Ф、Ф₃或Ф₁對(duì)應(yīng)的聲音數(shù)據(jù)的集合即為傳輸聲音集合。我們分別將使用者20沿x軸、y軸和z軸方向轉(zhuǎn)動(dòng)的角度空間等分n份，設(shè)置n個(gè)記錄坐標(biāo)來記錄聲音，則整個(gè)轉(zhuǎn)動(dòng)空間的坐標(biāo)數(shù)量為n³。在向服務(wù)器11請(qǐng)求傳輸聲音數(shù)據(jù)時(shí)，我們只需傳輸集合Ф、Ф₃或Ф₁涵蓋的記錄坐標(biāo)，在T₁時(shí)刻重新檢測(cè)使用者20的坐標(biāo)信息后，我們從終端13中抓取最接近測(cè)量坐標(biāo)的聲音數(shù)據(jù)，并傳輸至聲學(xué)單元133，完成聲音的播放。

與現(xiàn)有技術(shù)相比，本發(fā)明采用根據(jù)運(yùn)動(dòng)檢測(cè)單元135檢測(cè)結(jié)果對(duì)應(yīng)傳輸圖像數(shù)據(jù)和聲音數(shù)據(jù)的方案，節(jié)省了很多的網(wǎng)絡(luò)帶寬，使遠(yuǎn)程全景音像實(shí)時(shí)傳輸和顯示得以實(shí)現(xiàn)。通過截取視窗圖像區(qū)域31和緩沖圖像區(qū)域33的方式，不僅減少了數(shù)據(jù)傳輸量，而且避免了黑邊出現(xiàn)和延遲感的產(chǎn)生。環(huán)境模擬單元139可以模擬環(huán)境，對(duì)虛擬現(xiàn)實(shí)的沉浸感有一定意義。姿態(tài)檢測(cè)裝置1353和角速度檢測(cè)裝置1355可以探測(cè)使用者的角度坐標(biāo)信息和角速度信息，實(shí)時(shí)將相關(guān)信息傳輸至處理單元137以確定傳輸圖像區(qū)域30。通過確定使用者20延遲時(shí)間內(nèi)角度坐標(biāo)的最大偏移量可以更精確傳輸圖像區(qū)域30的范圍和傳輸聲音集合的范圍，進(jìn)一步減少數(shù)據(jù)傳輸量。通過角加速度和最大角速度配合確定使用者可能出現(xiàn)的角度坐標(biāo)集合最大限度地減少了傳輸數(shù)據(jù)量，節(jié)省了帶寬。設(shè)置響應(yīng)測(cè)試裝置1371可以測(cè)量使用者20的網(wǎng)速情況，同時(shí)方便得出延遲時(shí)間t₁₀。

上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行了描述，但是本發(fā)明并不局限于上述的具體實(shí)施方式，上述的具體實(shí)施方式僅僅是示意性的，而不是限制性的，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明宗旨和權(quán)利要求所保護(hù)的范圍情況下，還可做出很多形式，這些均屬于本發(fā)明的保護(hù)之內(nèi)。