一種全景視頻交互傳輸方法、服務(wù)器和客戶端的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻處理領(lǐng)域，尤其涉及一種全景視頻交互傳輸方法、服務(wù)器和客戶 端。
【背景技術(shù)】
[0002] 視頻信息的采集與傳輸是信息技術(shù)發(fā)展的一個(gè)重要方向，網(wǎng)絡(luò)攝像機(jī)、視頻會(huì)議、 視頻聊天等以視頻為主的信息傳播已經(jīng)開(kāi)始為人們提供服務(wù)。目前，由于單一攝像頭視野 有限，只能攝取現(xiàn)場(chǎng)的某一局部，不能讓不同的用戶同時(shí)觀看不同角度的自己感興趣的場(chǎng) 景，無(wú)法滿足用戶的個(gè)性化要求，視頻重復(fù)觀賞的價(jià)值有限。
[0003] 隨著虛擬現(xiàn)實(shí)（英文：VirtualReality，簡(jiǎn)稱：VR)和計(jì)算機(jī)圖形學(xué)技術(shù)研宄的 迅猛發(fā)展，基于圖像的虛擬現(xiàn)實(shí)場(chǎng)景繪制技術(shù)（英文：Image_BasedRendering，簡(jiǎn)稱： IBR)成為一種繪制典范，它并不將全部的空間信息重建出來(lái)，而是利用全景圖（英文： panoramicimages)構(gòu)建空間某位置上的虛擬環(huán)境，而用戶僅在這個(gè)位置上有真實(shí)感很強(qiáng) 的浸入感。所以對(duì)于用戶空間位置不變僅改變視角的全景視頻瀏覽等應(yīng)用，可以用很少的 計(jì)算資源實(shí)時(shí)實(shí)現(xiàn)真實(shí)感很強(qiáng)的浸入式虛擬體驗(yàn)。
[0004] 傳統(tǒng)的全景技術(shù)應(yīng)用受到計(jì)算能力和存儲(chǔ)空間等多方面限制，大多集中應(yīng)用在靜 態(tài)全景圖像的形態(tài)上，并且被廣泛應(yīng)用在地圖導(dǎo)航、虛擬旅游、產(chǎn)品靜態(tài)展示等方面。但目 前，全景攝像機(jī)的開(kāi)源化，以及以O(shè)culusRift(為電子游戲設(shè)計(jì)的頭戴式頭盔）為代表的 頭戴式浸入式顯示器的普及，使得全景視頻開(kāi)始小范圍的流行起來(lái)，用戶通過(guò)配戴虛擬現(xiàn) 實(shí)眼鏡，浸入到由全景視頻所構(gòu)成的虛擬空間之中，體驗(yàn)上與普通單視角視頻有很大區(qū)別。
[0005] 但是，在單位面積像素相同的前提下，全景視頻的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過(guò)普通單視角視 頻，這對(duì)傳輸和播放實(shí)時(shí)傳輸和交互式體驗(yàn)提出了很高的要求，制約了全景視頻的應(yīng)用和 普及。
[0006] 如圖1所示為將全景視頻應(yīng)用于遠(yuǎn)程教學(xué)的示例圖，服務(wù)器將高清格式的視頻按 照用戶可能的感興趣區(qū)域（英文：RegionofInteresting，簡(jiǎn)稱：Rol)進(jìn)行分區(qū)塊編碼，根 據(jù)用戶觀看的區(qū)域，選擇性地進(jìn)行瓦片（英文：Tile)傳輸。但是一旦用戶快速縮放或切換 視角，將導(dǎo)致視頻缺塊等問(wèn)題，無(wú)法保證視頻質(zhì)量。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明實(shí)施例提供一種全景視頻交互傳輸方法、服務(wù)器和客戶端，用以解決現(xiàn)有 技術(shù)下因視角縮放或切換的交互過(guò)程導(dǎo)致全景視頻出現(xiàn)缺塊的質(zhì)量問(wèn)題。
[0008] 第一方面，本發(fā)明實(shí)施例提供了一種全景視頻交互傳輸方法，包括：
[0009] 服務(wù)器對(duì)全景視頻進(jìn)行視頻圖像分割，得到多個(gè)局部視頻；
[0010] 所述服務(wù)器按照不同的視頻參數(shù)，對(duì)所述多個(gè)局部視頻中的任一個(gè)局部視頻進(jìn)行 多次編碼壓縮，得到對(duì)應(yīng)所述任一個(gè)局部視頻的多種切片；
[0011] 所述服務(wù)器在當(dāng)前周期接收客戶端發(fā)送的切片請(qǐng)求，根據(jù)所述切片請(qǐng)求指示的所 述多個(gè)局部視頻分別對(duì)應(yīng)的待獲取的切片的視頻參數(shù)，獲取對(duì)應(yīng)的切片發(fā)送給所述客戶 端，以用于所述客戶端將獲取的切片在下個(gè)周期合并渲染形成全景視頻。
[0012] 結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述方法還包括：
[0013] 所述服務(wù)器對(duì)所述多個(gè)局部視頻進(jìn)行編號(hào)，并將所述多個(gè)局部視頻的編號(hào)、位置 信息、對(duì)應(yīng)多種切片的視頻參數(shù)以及切片的存儲(chǔ)位置記錄在文件中；
[0014] 所述服務(wù)器將所述文件發(fā)送給所述客戶端。
[0015] 結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的 實(shí)現(xiàn)方式中，所述視頻參數(shù)包括分辨率、碼率、PSNR和幀率中的至少一種。
[0016] 第四方面，本發(fā)明實(shí)施例提供了一種全景視頻交互傳輸方法，包括：
[0017] 客戶端確定在當(dāng)前周期全景視頻中的感興趣區(qū)域；
[0018] 所述客戶端根據(jù)被觸控的動(dòng)作，確定所述客戶端的工作狀態(tài)；
[0019] 所述客戶端根據(jù)所述感興趣區(qū)域和工作狀態(tài)，確定所述全景視頻的邊緣區(qū)域、普 通區(qū)域和不感興趣區(qū)域；
[0020] 所述客戶端根據(jù)所述感興趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域，確定所述 全景視頻包含的每一個(gè)局部視頻分別對(duì)應(yīng)的待獲取的切片的視頻參數(shù)；
[0021] 所述客戶端將確定的所述每一個(gè)局部視頻分別對(duì)應(yīng)的待獲取的切片的視頻參數(shù) 攜帶在切片請(qǐng)求中發(fā)送給服務(wù)器，以及
[0022] 接收所述服務(wù)器根據(jù)所述切片請(qǐng)求返回的切片；
[0023] 所述客戶端將接收的切片在下個(gè)周期合并渲染形成全景視頻。
[0024] 結(jié)合第四方面，在第四方面的第一種可能的實(shí)現(xiàn)方式中，客戶端確定在當(dāng)前周期 全景視頻的感興趣區(qū)域之前，所述方法還包括：
[0025] 所述客戶端接收所述服務(wù)器發(fā)送的文件，所述文件用于記錄所述全景視頻包含的 多個(gè)局部視頻的編號(hào)、位置信息、對(duì)應(yīng)多種切片的視頻參數(shù)以及切片在所述服務(wù)器的存儲(chǔ) 位置；
[0026] 所述客戶端根據(jù)所述文件中記錄的多種切片的視頻參數(shù)，預(yù)先定義分別對(duì)應(yīng)感興 趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域的切片的初始視頻參數(shù)。
[0027] 結(jié)合第四方面或第四方面的第一種可能的實(shí)現(xiàn)方式，在第四方面的第二種可能的 實(shí)現(xiàn)方式中，所述視頻參數(shù)包括分辨率、碼率、PSNR和幀率中的至少一種。
[0028] 結(jié)合第四方面和第四方面的第一種至第二種可能的實(shí)現(xiàn)方式中的任意一種，在第 四方面的第三種可能的實(shí)現(xiàn)方式中，
[0029] 所述感興趣區(qū)域?yàn)橛脩粢曇胺秶谒鋈耙曨l上覆蓋到的局部視頻區(qū)域；
[0030] 所述邊緣區(qū)域?yàn)樗鋈耙曨l上與所述感興趣區(qū)域相鄰、且在所述視野范圍之外 的局部視頻區(qū)域；
[0031] 所述普通區(qū)域?yàn)樗鋈耙曨l上除所述感興趣區(qū)域與邊緣區(qū)域之外的其他局部 視頻區(qū)域；
[0032] 所述不感興趣區(qū)域?yàn)樗銎胀▍^(qū)域中與所述感興趣區(qū)域的空間距離或球面距離 超過(guò)設(shè)定閾值的局部視頻區(qū)域。
[0033] 結(jié)合第四方面和第四方面的第一種至第三種可能的實(shí)現(xiàn)方式中的任意一種，在第 四方面的第四種可能的實(shí)現(xiàn)方式中，所述被觸控的動(dòng)作包括加速度傳感器旋轉(zhuǎn)動(dòng)作，鍵盤 動(dòng)作，鼠標(biāo)動(dòng)作中的至少一種。
[0034] 結(jié)合第四方面和第四方面的第一種至第四種可能的實(shí)現(xiàn)方式中的任意一種，在第 四方面的第五種可能的實(shí)現(xiàn)方式中，所述客戶端根據(jù)被觸控的動(dòng)作，確定所述客戶端的工 作狀態(tài)，包括：
[0035] 當(dāng)所述被觸控的動(dòng)作產(chǎn)生的位移加速度在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)一直小于第一閾值，且所述 被觸控的動(dòng)作不包含縮小或放大動(dòng)作時(shí)，確定所述客戶端處于靜止/旋轉(zhuǎn)狀態(tài)；
[0036] 當(dāng)所述被觸控的動(dòng)作產(chǎn)生的位移加速度在所述預(yù)設(shè)時(shí)長(zhǎng)內(nèi)一直小于所述第一閾 值，且所述被觸控的動(dòng)作包含縮小動(dòng)作時(shí)，確定所述客戶端處于縮小狀態(tài)；
[0037] 當(dāng)所述被觸控的動(dòng)作產(chǎn)生的位移加速度在所述預(yù)設(shè)時(shí)長(zhǎng)內(nèi)一直小于所述第一閾 值，且所述被觸控的動(dòng)作包含放大動(dòng)作時(shí)，確定所述客戶端處于放大狀態(tài)；
[0038]當(dāng)所述被觸控的動(dòng)作產(chǎn)生的位移加速度大于所述第一閾值且小于第二閾值時(shí)，確 定所述客戶端處于慢移動(dòng)狀態(tài)；
[0039] 當(dāng)所述被觸控的動(dòng)作產(chǎn)生的位移加速度大于所述第二閾值時(shí)，確定所述客戶端處 于快移動(dòng)狀態(tài)。
[0040] 結(jié)合第四方面的第五種可能的實(shí)現(xiàn)方式，在第四方面的第六種可能的實(shí)現(xiàn)方式 中，所述客戶端根據(jù)所述感興趣區(qū)域和工作狀態(tài)，確定所述全景視頻的邊緣區(qū)域、普通區(qū)域 和不感興趣區(qū)域，包括：
[0041] 所述客戶端根據(jù)所述感興趣區(qū)域的位置信息，以及對(duì)應(yīng)所述工作狀態(tài)預(yù)設(shè)的邊緣 區(qū)域、普通區(qū)域和不感興趣區(qū)域包含的局部視頻數(shù)目，確定對(duì)應(yīng)所述感興趣區(qū)域的邊緣區(qū) 域、普通區(qū)域和不感興趣區(qū)域的位置信息。
[0042] 結(jié)合第四方面的第六種可能的實(shí)現(xiàn)方式，在第四方面的第七種可能的實(shí)現(xiàn)方式 中，若對(duì)應(yīng)所述靜止/旋轉(zhuǎn)狀態(tài)預(yù)設(shè)的感興趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域包 含的局部視頻數(shù)目分別為A1、B1、C1、D1，對(duì)應(yīng)所述縮小狀態(tài)的感興趣區(qū)域、邊緣區(qū)域、普通 區(qū)域和不感興趣區(qū)域預(yù)設(shè)的包含的局部視頻數(shù)目分別為A2、B2、C2、D2,則A1〈A2, B1〈B2， C1>C2, D1>D2;
[0043] 若對(duì)應(yīng)所述放大狀態(tài)預(yù)設(shè)的感興趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域包 含的局部視頻數(shù)目分別為A3、B3、C3、D3,則A1>A3, B1>B3, C1〈C3, D1〈D3;
[0044] 若對(duì)應(yīng)所述慢移動(dòng)狀態(tài)預(yù)設(shè)的感興趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域 包含的局部視頻數(shù)目分別為A4、B4、C4、D4,則A4 = 0, A1+B1彡B4, C1+D1彡C4, D4 = 0 ;
[0045] 若對(duì)應(yīng)所述快移動(dòng)狀態(tài)預(yù)設(shè)的感興趣區(qū)域、邊緣區(qū)域、普通區(qū)域和不感興趣區(qū)域 包含的局部視頻數(shù)目分別為A5、B5、C5、D5,則A5彡0, A1+B1彡B5, C1+D1彡C5