基于繪制失真模型的多視點(diǎn)加深度編碼的碼率分配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維視頻編碼的技術(shù)領(lǐng)域，具體涉及的是一種視頻編碼的碼率分配方 法，特別是一種基于繪制失真模型的多視點(diǎn)視頻加深度編碼的碼率分配方法。
【背景技術(shù)】
[0002] 隨著多視點(diǎn)系統(tǒng)和3D顯示技術(shù)的發(fā)展，新的3D視頻格式一一多視點(diǎn)視頻加深度 (MVD)應(yīng)用，如3D電視（3DTV)和自由視點(diǎn)電視日益引人關(guān)注。與傳統(tǒng)2D視頻相比，MVD 合成了紋理視頻和相應(yīng)深度圖，能夠使人們?cè)谟^看視頻時(shí)獲得豐富的立體感和沉浸感；此 外，它的交互功能可以從不同視角提供不同的立體效果，使用基于深度圖的視點(diǎn)合成技術(shù) (DIBR)生成任意位置的虛擬視點(diǎn)。為了繪制新的視點(diǎn)圖像，必須同時(shí)傳輸深度圖和紋理視 頻。由于涉及的數(shù)據(jù)量巨大，紋理視頻和深度圖都應(yīng)該在傳輸前進(jìn)行壓縮，可采用聯(lián)合編碼 或獨(dú)立編碼方式來(lái)壓縮紋理視頻和深度圖像，解碼后的紋理視頻和相應(yīng)深度圖像能夠在接 收端合成虛擬視點(diǎn)。因此，如何對(duì)MVD數(shù)據(jù)進(jìn)行高效壓縮關(guān)系到傳輸性能和繪制質(zhì)量，是3D 視頻編碼標(biāo)準(zhǔn)研究的一個(gè)重要問(wèn)題。
[0003] 目前，獨(dú)立壓縮紋理視頻和深度圖已經(jīng)有許多成熟的技術(shù)，能夠取得紋理視頻和 深度圖的高壓縮比率。而MVD聯(lián)合編碼中，固定紋理視頻和深度圖的整體碼率，不同的碼率 分配對(duì)視點(diǎn)繪制質(zhì)量有重要影響。為了解決紋理視頻和深度圖聯(lián)合編碼的優(yōu)化碼率分配問(wèn) 題，提出了一些技術(shù)，但現(xiàn)有技術(shù)并沒(méi)有融合紋理視頻壓縮和深度圖壓縮，不能完全反映虛 擬視點(diǎn)繪制過(guò)程，相應(yīng)的碼率分配性能也不盡如人意，從而影響了虛擬視點(diǎn)繪制質(zhì)量。因 此，如何優(yōu)化紋理視頻和深度圖間的碼率分配，最小化視點(diǎn)繪制失真是一個(gè)有待解決的關(guān) 鍵問(wèn)題。

【發(fā)明內(nèi)容】

[0004] 為了解決以上現(xiàn)有技術(shù)存在的問(wèn)題和不足，本發(fā)明提供了一種基于視點(diǎn)繪制失真 模型的多視點(diǎn)加深度編碼的碼率分配方法，能夠估計(jì)視點(diǎn)繪制失真的失真模型，綜合考慮 深度誤差敏感度和遮擋處理，從而降低復(fù)雜度、提升編碼效率；基于失真模型提出一種碼率 分配算法，在給定比率限制下優(yōu)化紋理視頻和深度圖的量化參數(shù)，進(jìn)而高效解決MVD編碼 中的碼率分配問(wèn)題。
[0005] 為了達(dá)到上述目的，本發(fā)明的構(gòu)思是：首先推導(dǎo)編碼的紋理/深度失真和繪制視 點(diǎn)間的關(guān)系；然后，建立估計(jì)視點(diǎn)合成失真的模型，在此基礎(chǔ)上，提出可優(yōu)化紋理視頻和深 度圖比率的碼率分配方法。根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是：一種基于視點(diǎn)繪制失真模 型的多視點(diǎn)視頻加深度編碼的優(yōu)化碼率分配方法，推導(dǎo)編碼的紋理、深度失真和繪制視點(diǎn) 間的關(guān)系，建立虛擬視點(diǎn)合成失真的模型，然后提出可優(yōu)化紋理視頻和深度圖比率的碼率 分配方法，其步驟如下：
[0006] (1)、建立虛擬視點(diǎn)總失真模型，包括深度圖編碼誤差和紋理視頻編碼誤差造成的 視點(diǎn)繪制失真；
[0007](2)、計(jì)算左右視點(diǎn)繪制失真；
[0008](3)、加入深度敏感值的繪制失真，建立引入深度誤差的幾何誤差模型；
[0009] (4)、建立加入遮擋區(qū)域的失真模型；
[0010] (5)、建立引入紋理視頻誤差的幾何誤差模型；
[0011] (6)、根據(jù)步驟（4)和步驟（5)求出整體視點(diǎn)繪制失真模型誤差；
[0012](7)、得到基于視點(diǎn)繪制失真模型的碼率分配方法。
[0013] 所述建立虛擬視點(diǎn)總失真模型是得到一個(gè)紋理視頻壓縮和深度圖壓縮的視點(diǎn)繪 制失真模型的數(shù)學(xué)表達(dá)式，具體方法是：虛擬視點(diǎn)繪制失真隊(duì)為：
[0014]
[0015] 其中，Iv表示由未壓縮的紋理視頻和未壓縮的深度圖繪制的虛擬視點(diǎn)，表示由 未壓縮的紋理視頻和壓縮過(guò)的深度圖繪制的虛擬視點(diǎn)，^表示由壓縮過(guò)的紋理視頻和壓 縮過(guò)的深度圖繪制的虛擬視點(diǎn)；表示由深度圖編碼誤差造成的視點(diǎn)繪制失真， 表示由紋理視頻編碼誤差造成的視點(diǎn)繪制失真，且
[0016] 所述計(jì)算左右視點(diǎn)繪制失真的具體步驟是：
[0017](2-1)、考慮遮擋影響的虛擬視點(diǎn)繪制
[0018] 考慮遮擋的影響，虛擬視點(diǎn)圖像像素（xv，yv)處的像素值Iv(xv，yv)表示為：
[00191
[0020] 其中，IJm)和IR(xR，yR)分別表示兩個(gè)鄰近相機(jī)的左、右參考圖像，（m)和 (xR，yR)分別是虛擬視點(diǎn)圖像像素（xv，yv)在由左、右參考圖像分別生成的目標(biāo)圖像上的對(duì) 應(yīng)點(diǎn)；
是權(quán)重因子，I；、1；和Tv分別是左參考、右參考和虛擬視點(diǎn)相機(jī)外 參矩陣的平移向量；
[0021](2-2)、根據(jù)虛擬視點(diǎn)圖像像素值Iv(xv，yv)，深度圖編碼誤差造成的視點(diǎn)繪制失真
I示為：
[0022]
[0023] 其中，乃(毛，兔)和4(元，九)分別表示編碼深度圖的左右參考圖像；
[0024](2-3)、針對(duì)不同視點(diǎn)，深度圖編碼引起的虛擬視點(diǎn)繪制失真沒(méi)有相關(guān)性， 人(毛,幻]和
深度圖編碼誤差造成的視點(diǎn)視頻加深度為：
[0025]
[0026]其中，紀(jì)表示深度圖編碼導(dǎo)致的左紋理視頻失真fjtACn)-，％ 表示深度圖編碼導(dǎo)致的右紋理視頻失真叫九)]:}。
[0027] 所述引入深度誤差引起的幾何誤差模型的具體步驟是：
[0028](3_1)、深度編碼誤差引起視點(diǎn)繪制失真，深度失真和合成視點(diǎn)的繪制失真呈線(xiàn)性 關(guān)系，則深度圖編碼導(dǎo)致的左、右紋理視頻失真 :端和忠:可表示為：
[0029] Dvd=| |Ap， | | 2 ?也 (5)
[0030]也表示與繪制虛擬視點(diǎn)內(nèi)容相關(guān)的運(yùn)動(dòng)敏感因子，Ap'指繪制位置誤差， Ap' （Axv，Ayv) =k?AVr(xr，yr);其中，Ax,Ayv分另lj是繪制視點(diǎn)圖像在坐標(biāo)（x， y)上橫軸方向和縱軸方向的幾何誤差，A\(\，yi〇指參考視點(diǎn)深度編碼后誤差；比例因 子k由相機(jī)參數(shù)和深度范圍來(lái)確定，相同數(shù)量的深度誤差會(huì)導(dǎo)致不同數(shù)量的繪制失真，SP
其中，和Z是來(lái)自攝像機(jī)場(chǎng)景中最近和最遠(yuǎn) 截面的深度值，分別對(duì)應(yīng)深度圖v中255和0的深度值;Av是虛擬視點(diǎn)攝像機(jī)的內(nèi)參矩陣；Rv是虛擬視點(diǎn)攝像機(jī)的旋轉(zhuǎn)矩陣；
[0031] (3-2)、使用與深度圖一致的屬于相同視點(diǎn)的參考紋理圖像，繪制位置誤差 Ap' (Axv，Ayv)進(jìn)一步改進(jìn)為：
[0032]Ap' (Axv,Ayv) =k?Avr (xr,yr) ? 8 (6)
[0033]其中，S表示深度誤差敏感度；
[0034] (3-3)、深度圖編碼誤差造成的視點(diǎn)繪制失真7；)2jI改寫(xiě)為：
[0035]
[0036] 其中，kL和k廣不左參考和右參考攝像機(jī)參數(shù)，AvL (xL,yL)和AvR (xR,yR)表不左 參考和右參考攝像機(jī)失真變量，和丨R表示左參考和右參考攝像機(jī)的運(yùn)動(dòng)敏感因子，5 和sR分別表示左參考和右參考攝像機(jī)的深度誤差敏感度。
[0037] 所述建立加入遮擋區(qū)域的失真模型的具體步驟是：
[0038](4-1)、加入遮擋區(qū)域，調(diào)整深度圖編碼誤差造成的視點(diǎn)繪制失真為：
[0039]
[0040] 其中，D。指由填補(bǔ)繪制虛擬視點(diǎn)的遮擋區(qū)域引起的繪制失真；
[0041](4-2)、假定像素i。在遮擋區(qū)域的遮擋繪制失真為氣，根據(jù)空洞填補(bǔ)方法，像素i。 的填補(bǔ)值為H(i。)，則繪制失真乓計(jì)算如下：
[0042]
[0043] 其中，V(i。）表示虛擬紋理圖像中像素i。的亮度值；
[0044] (4-3)、填補(bǔ)遮擋區(qū)域?qū)е碌睦L制失真D。，為：
[0045]
[0046] 所述建立引入紋理視頻誤差引起的幾何誤差模型的具體步驟是：
[0047](5-1)、紋理視頻編碼誤差造成的視點(diǎn)繪制失真表示為：
[0048]
[0049] 其中，紀(jì)和分別表示紋理視頻編碼造成的左攝像機(jī)編碼失真
右攝像機(jī)編碼失真
[0050] (5-2)、紋理視頻編碼造成的編碼失真砍和釔是遵循左右攝像機(jī)的線(xiàn)性組合，表 示為：
[0051]Dvt= | |At| | 2 ?邊 (12)
[0052]其中，At是紋理視頻編碼的繪制位置誤差；
[0053](5-3)、紋理視頻編碼誤差造成的視點(diǎn)繪制失真￡#-之；^改寫(xiě)如下：