專(zhuān)利名稱(chēng)：一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視點(diǎn)視頻系統(tǒng)技術(shù)，尤其是涉及一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法。
背景技術(shù)：
進(jìn)入本世紀(jì)以來(lái)，隨著數(shù)字2D (二維)視頻技術(shù)日趨成熟，以及計(jì)算機(jī)、通信及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，引發(fā)了人們對(duì)新一代視頻系統(tǒng)的強(qiáng)烈需求?，F(xiàn)行的二維視頻系統(tǒng)在表現(xiàn)自然場(chǎng)景時(shí)，難以滿(mǎn)足用戶(hù)的立體感和視點(diǎn)交互等的需求。交互式三維視頻系統(tǒng)由于能夠提供立體感、視點(diǎn)交互性的全新視覺(jué)體驗(yàn)，因此越來(lái)越受到人們的歡迎，其在無(wú)線(xiàn)視頻通信、影視娛樂(lè)、數(shù)字動(dòng)漫、虛擬戰(zhàn)場(chǎng)、旅游觀(guān)光、遠(yuǎn)程教學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。對(duì)于三維視頻編碼的性能評(píng)價(jià)，通常有多個(gè)技術(shù)指標(biāo)，如率失真性能、時(shí)間可分級(jí)、視點(diǎn)可分級(jí)、隨機(jī)接入性能、編碼復(fù)雜度、解碼復(fù)雜度、存儲(chǔ)需求等等，這些技術(shù)指標(biāo)在一定程度上本身就存在著相互制約，因此根據(jù)不同的應(yīng)用環(huán)境，需要側(cè)重不同的技術(shù)指標(biāo)來(lái)進(jìn)行性能評(píng)價(jià)，并且對(duì)某些技術(shù)指標(biāo)做適當(dāng)?shù)男拚Ｃ嫦蛴脩?hù)端的交互式三維視頻系統(tǒng)的目的是為了滿(mǎn)足用戶(hù)最大限度的自主性，因此，實(shí)現(xiàn)用戶(hù)端與服務(wù)端之間的高效交互操作以滿(mǎn)足用戶(hù)的選擇需求是面向用戶(hù)端的交互式三維視頻系統(tǒng)最基本也是最主要的任務(wù)?；诿嫦蛴脩?hù)端的交互式三維視頻系統(tǒng)考慮，實(shí)現(xiàn)高效的交互操作應(yīng)滿(mǎn)足:1)合理的帶寬代價(jià)，以適應(yīng)網(wǎng)絡(luò)傳輸?shù)囊螅?)較低的解碼復(fù)雜度以及虛擬視點(diǎn)繪制復(fù)雜度，能夠?qū)崟r(shí)解碼及繪制虛擬視點(diǎn)，以降低對(duì)用戶(hù)端系統(tǒng)資源的要求。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，其能夠有效地降低交互式三維視頻系統(tǒng)對(duì)網(wǎng)絡(luò)帶寬和用戶(hù)端資源的要求，能夠滿(mǎn)足用戶(hù)最大限度的自主性。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，該交互式三維視頻系統(tǒng)主要由服務(wù)端的三維視頻編碼模塊以及用戶(hù)端的視點(diǎn)解碼模塊、任意視點(diǎn)繪制模塊和視頻顯示模塊構(gòu)成，其特征在于該設(shè)計(jì)方法包括以下步驟:①獲取t時(shí)刻的K個(gè)參考視點(diǎn)的K幅顏色空間為YUV的彩色圖像及其對(duì)應(yīng)的K幅深度圖像，將t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像記為K(U)I，將t時(shí)刻的第k個(gè)參考視
點(diǎn)的深度圖像記為，其中，K彡2，I彡k彡K，k的初始值為1，i=l, 2，3分別表示
YUV顏色空間的三個(gè)分量，YUV顏色空間的第I個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè)分 量為第二色度分量并記為V，(x, y)表示彩色圖像和深度圖像中的像素點(diǎn)的坐標(biāo)位置，l^x^ff, l^y^H, W表示彩色圖像和深度圖像的寬度，H表示彩色圖像和深度圖像的高度，4(X, ；.，)表示t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像(X, V)}中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值，表示t時(shí)刻的第k個(gè)參考視點(diǎn)的深度圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的深度值；②將t時(shí)刻的K個(gè)參考視點(diǎn)中每相鄰的兩個(gè)參考視點(diǎn)作為一對(duì)關(guān)聯(lián)參考視點(diǎn)，將每對(duì)關(guān)聯(lián)參考視點(diǎn)之間的N個(gè)虛擬視點(diǎn)均作為輔助視點(diǎn)，然后采用基于深度圖像繪制的方法，獲取t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像，將t時(shí)刻的第I個(gè)輔助視點(diǎn)的殘
差圖像記為
權(quán)利要求
1.一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，該交互式三維視頻系統(tǒng)主要由服務(wù)端的三維視頻編碼模塊以及用戶(hù)端的視點(diǎn)解碼模塊、任意視點(diǎn)繪制模塊和視頻顯示模塊構(gòu)成，其特征在于該設(shè)計(jì)方法包括以下步驟: ①獲取t時(shí)刻的K個(gè)參考視點(diǎn)的K幅顏色空間為YUV的彩色圖像及其對(duì)應(yīng)的K幅深度圖像，將t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像記為，將t時(shí)刻的第k個(gè)參考視點(diǎn)的深度圖像記為■{Ai(U)I,其中，K≥2，I≤k≤K，k的初始值為1，i=l，2，3分別表示YUV顏色空間的三個(gè)分量，YUV顏色空間的第I個(gè)分量為亮度分量并記為Y、第2個(gè)分量為第一色度分量并記為U及第3個(gè)分量為第二色度分量并記為V，(x, y)表示彩色圖像和深度圖像中的像素點(diǎn)的坐標(biāo)位置，l^x^W, l^y^H, W表示彩色圖像和深度圖像的寬度，H表示彩色圖像和深度圖像的高度，/^0，_ν)表示t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，W(U)表示t時(shí)刻的第k個(gè)參考視點(diǎn)的深度圖像丨￡^(^.，)1中坐標(biāo)位置為(x，y)的像素點(diǎn)的深度值； ②將t時(shí)刻的K個(gè)參考視點(diǎn)中每相鄰的兩個(gè)參考視點(diǎn)作為一對(duì)關(guān)聯(lián)參考視點(diǎn)，將每對(duì)關(guān)聯(lián)參考視點(diǎn)之間的N個(gè)虛擬視點(diǎn)均作為輔助視點(diǎn)，然后采用基于深度圖像繪制的方法，獲取t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像，將t時(shí)刻的第I個(gè)輔助視點(diǎn)的殘差圖像記為丨盡辦.，}，)丨，其中，N>1，I≤I≤(K-1) XN, I的初始值為1，￡r[,'(x，y)表示t時(shí)刻的第I個(gè)輔助視點(diǎn)的殘差圖像(U)I中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值； ③服務(wù)端的三維視頻編碼模塊根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)，對(duì)t時(shí)刻的K個(gè)參考視點(diǎn)的K幅彩色圖像及其對(duì)應(yīng)的K幅深度圖像、t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像進(jìn)行編碼，再將編碼后的t時(shí)刻的K個(gè)參考視點(diǎn)的K幅彩色圖像及其對(duì)應(yīng)的K幅深度圖像、t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像傳輸給用戶(hù)端； ④用戶(hù)端的視點(diǎn)解碼模塊對(duì)編碼后的t時(shí)刻的K個(gè)參考視點(diǎn)的K幅彩色圖像及其對(duì)應(yīng)的K幅深度圖像、t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像進(jìn)行解碼，得到解碼后的t時(shí)刻的K個(gè)參考視點(diǎn)的K幅彩色圖像及其對(duì)應(yīng)的K幅深度圖像、t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像，將解碼后的t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像記為.，將解碼后的t時(shí)刻的第k個(gè)參考視點(diǎn)的深度圖像記為■(貧(U)I，將解碼后的t時(shí)刻的第I個(gè)輔助視點(diǎn)的殘差圖像記為■(思(U)丨，其中，/Α(χ，.ν)表示解碼后的t時(shí)刻的第k個(gè)參考視點(diǎn)的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，乃,(Xy)表示解碼后的t時(shí)刻的第k個(gè)參考視點(diǎn)的深度圖像|貧>.,Μ中坐標(biāo)位置為(X，y)的像素點(diǎn)的深度值， 表示解碼后的t時(shí)刻的第I個(gè)輔助視點(diǎn)的殘差圖像中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值；⑤根據(jù)用戶(hù)所選擇的視點(diǎn)，用戶(hù)端的任意視點(diǎn)繪制模塊根據(jù)解碼后的t時(shí)刻的K個(gè)參考視點(diǎn)的K幅彩色圖像和t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)各自的殘差圖像，快速生成相應(yīng)的參考視點(diǎn)信號(hào)和輔助視點(diǎn)信號(hào)，再將生成的參考視點(diǎn)信號(hào)和輔助視點(diǎn)信號(hào)傳輸給用戶(hù)端的視頻顯示模塊進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，其特征在于所述的步驟②的具體過(guò)程為: ②-1、將t時(shí)刻的K個(gè)參考視點(diǎn)中每相鄰的兩個(gè)參考視點(diǎn)作為一對(duì)關(guān)聯(lián)參考視點(diǎn)，共存在(K-1)對(duì)關(guān)聯(lián)參考視點(diǎn)，將每對(duì)關(guān)聯(lián)參考視點(diǎn)之間的距尚歸一化表不為I，將每對(duì)關(guān)聯(lián)參考視點(diǎn)之間的N個(gè)虛擬視點(diǎn)均作為輔助視點(diǎn)，共存在(K-1) XN個(gè)輔助視點(diǎn)，其中，N>1 ； ②-2、將t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)中當(dāng)前正在處理的輔助視點(diǎn)定義為當(dāng)前輔助視占.②-3、假設(shè)當(dāng)前輔助視點(diǎn)為t時(shí)刻的第k'個(gè)參考視點(diǎn)與t時(shí)刻的第k' +1個(gè)參考視點(diǎn)構(gòu)成的一對(duì)關(guān)聯(lián)參考視點(diǎn)之間的虛擬視點(diǎn)，并假設(shè)當(dāng)前輔助視點(diǎn)為t時(shí)刻的(K-1) XN個(gè)輔助視點(diǎn)中的第I'個(gè)輔助視點(diǎn)，則將當(dāng)前輔助視點(diǎn)與t時(shí)刻的第k'個(gè)參考視點(diǎn)之間的距離表示為a，將當(dāng)前輔助視點(diǎn)與t時(shí)刻的第k' +1個(gè)參考視點(diǎn)之間的距離表示為1-a，其中，Kk'彡 K_l，k'的初始值為 l，(k' -1) XN+1 ^ r 彡(k' -1) XN+N，0〈a〈I ; ②_4、將t時(shí)刻的第k'個(gè)參考視點(diǎn)的彩色圖像中的每個(gè)像素點(diǎn)從第k'個(gè)參考視點(diǎn)投影到當(dāng)前輔助視點(diǎn)，得到t時(shí)刻的第k'個(gè)參考視點(diǎn)的繪制圖像，記為，將t時(shí)刻的第k'個(gè)參考視點(diǎn)的繪制圖像丨O,).，)丨中坐標(biāo)位置為(x3，y3)的像素點(diǎn)的第i個(gè)分量的值記為，假設(shè)t時(shí)刻的第k'個(gè)參考視點(diǎn)的繪制圖像廣’(x，.v)l中坐標(biāo)位置為(x3，y3)的像素點(diǎn)為t時(shí)刻的第k'個(gè)參考視點(diǎn)的彩色 圖像中坐標(biāo)位置為(Xl，Y1)的像素點(diǎn)從第k'個(gè)參考視點(diǎn)投影到當(dāng)前輔助視點(diǎn)中的，則令為nx3，_y3) = /江Wi)，其中，I' -(^力表示七時(shí)刻的第!^個(gè)參考視點(diǎn)的繪制圖像中坐標(biāo)位置為(x,y)的像素點(diǎn)的第i個(gè)分量的值，I^yl) m示t時(shí)刻的第k'個(gè)參考視點(diǎn)的彩色圖像中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的第i 個(gè)分量的值，X1 G [I, ff], Y1 G [I, H], x3 G [I, ff], y3 G [I, H], x3=x ' /z1 , y3=y ' /z ' , (x ' ,y ' ，z ' V=A2R2-1 (u, v, w) t-A2R2_1T2, (x ' ,y ' ，z ' )T 為(x ' ，y ' ，z ')的轉(zhuǎn)置矩陣，A2為當(dāng)前輔助視點(diǎn)的內(nèi)參矩陣，Rf1為R2的逆矩陣，R2為當(dāng)前輔助視點(diǎn)的旋轉(zhuǎn)矩陣，(w, V, w)T = R1 Ar* (-T1, >>, ,If Z^'(Xl^y1)+ T1, (u, v,w)T* (u, v, w)的轉(zhuǎn)置矩陣，R1為t時(shí)刻的第k '個(gè)參考視點(diǎn)的旋轉(zhuǎn)矩陣，A廣為A1的逆矩陣，A1為t時(shí)刻的第k,個(gè)參考視點(diǎn)的內(nèi)參矩陣，(X1, Y1, I)T為(Xuypl)的轉(zhuǎn)置矩陣，T1為t時(shí)刻的第k'個(gè)參考視點(diǎn)的平移矩陣，1~2為當(dāng)前輔助視點(diǎn)的平移矩陣，Zf(X1A)表示t時(shí)刻的第k'個(gè)參考視點(diǎn)的深度圖像中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的場(chǎng)景深度，
3.根據(jù)權(quán)利要求1或2所述的一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，其特征在于所述的步驟③中設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)為HBP編碼預(yù)測(cè)結(jié)構(gòu)。
4.根據(jù)權(quán)利要求3所述的一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，其特征在于所述的步驟⑤的具體過(guò)程為: ⑤-1、假設(shè)用戶(hù)所選擇的視點(diǎn)為實(shí)際存在的t時(shí)刻的第p個(gè)參考視點(diǎn)，則用戶(hù)端的任意視點(diǎn)繪制模塊將解碼后的t時(shí)刻的第p個(gè)參考視點(diǎn)的彩色圖像中的每個(gè)像素點(diǎn)從t時(shí)刻的第p個(gè)參考視點(diǎn)投影到t時(shí)刻的第I "個(gè)輔助視點(diǎn)中，得到t時(shí)刻的第p個(gè)參考視點(diǎn)的繪制圖像，記為，然后根據(jù)解碼后的t時(shí)刻的第p個(gè)參考視點(diǎn)的彩色圖像快速生成t時(shí)刻的第p個(gè)參考視點(diǎn)信號(hào)，記為，并根據(jù)解碼后的t時(shí)刻的第I"個(gè)輔助視點(diǎn)的殘差 圖像和t時(shí)刻的第p個(gè)參考視點(diǎn)的繪制圖像快速生成t時(shí)刻的第I"個(gè)輔助視點(diǎn)信號(hào)，記為，再將生成的t時(shí)刻的第P個(gè)參考視點(diǎn)信號(hào)碎(^)1和t時(shí)刻的第I"個(gè)輔助視點(diǎn)信號(hào)p^(x,JOj傳輸給用戶(hù)端的視頻顯示模塊進(jìn)行顯示，其中，此處I < p < K-1,此處I" =(P-1) XN+1,表示解碼后的t時(shí)刻的第p個(gè)參考視點(diǎn)的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，表示解碼后的t時(shí)刻的第I "個(gè)輔助視點(diǎn)的殘差圖像中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)分量的值，表示t時(shí)刻的第P個(gè)參考視點(diǎn)的繪制圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，>0表示生成的t時(shí)刻的第p個(gè)參考視點(diǎn)信號(hào)中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Jt%x,y) = J^(x,v)，7；；(x,y)表示生成的t時(shí)刻的第 I "個(gè)輔助視點(diǎn)信號(hào)中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)分量的值，Om=C(W)+Arr(U); ⑤-2、假設(shè)用戶(hù)所選擇的視點(diǎn)為實(shí)際存在的t時(shí)刻的第K個(gè)參考視點(diǎn)，則用戶(hù)端的任
全文摘要
本發(fā)明公開(kāi)了一種交互式三維視頻系統(tǒng)中的信號(hào)處理方法，其首先將每相鄰的兩個(gè)參考視點(diǎn)之間的多個(gè)虛擬視點(diǎn)作為輔助視點(diǎn)，并獲取每個(gè)輔助視點(diǎn)的殘差圖像，然后服務(wù)端的三維視頻編碼模塊對(duì)各幅彩色圖像、深度圖像和殘差圖像進(jìn)行編碼后傳輸給用戶(hù)端，接著用戶(hù)端的視點(diǎn)解碼模塊對(duì)編碼后的各幅圖像進(jìn)行解碼，最后任意視點(diǎn)繪制模塊生成參考視點(diǎn)信號(hào)和輔助視點(diǎn)信號(hào)傳輸給視頻顯示模塊進(jìn)行顯示，優(yōu)點(diǎn)是由于在服務(wù)端只需要傳輸包含較少信息量的殘差圖像作為輔助視點(diǎn)信息，因此降低了系統(tǒng)服務(wù)端的編碼復(fù)雜程度，由于在用戶(hù)端只需要簡(jiǎn)單的三維映射和加法操作就能生成虛擬視點(diǎn)信號(hào)，因此降低了對(duì)用戶(hù)端系統(tǒng)的要求，從而降低了交互式三維視頻系統(tǒng)的復(fù)雜度。
文檔編號(hào)H04N13/00GK103179423SQ201310088990
公開(kāi)日2013年6月26日 申請(qǐng)日期2013年3月19日 優(yōu)先權(quán)日2013年3月19日
發(fā)明者邵楓, 蔣剛毅, 郁梅, 李福翠, 彭宗舉 申請(qǐng)人:寧波大學(xué)