一種3d視頻深度圖像模型模式的幀內(nèi)楔形分割模式選擇方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻編解碼技術(shù)領(lǐng)域，具體涉及一種3D視頻深度圖像模型模式的幀 內(nèi)楔形分割模式選擇方法。
【背景技術(shù)】
[0002] 2013年1月聯(lián)合視頻開發(fā)組發(fā)布了新一代國際視頻編碼標(biāo)準(zhǔn)HEVC，也稱為H. 265。 HEVC適應(yīng)了高清視頻的發(fā)展需求，同時(shí)在提高并行計(jì)算和適應(yīng)移動網(wǎng)絡(luò)方面進(jìn)行了改進(jìn)。 與上一代的視頻編碼標(biāo)準(zhǔn)H. 264相比，新標(biāo)準(zhǔn)HEVC在得到相同視頻質(zhì)量的情況下，可以減 少約50%的碼率。目前，聯(lián)合視頻開發(fā)組正致力于HEVC的優(yōu)化和擴(kuò)展標(biāo)準(zhǔn)的制定，包括高 保真的擴(kuò)展、多視點(diǎn)視頻編碼標(biāo)準(zhǔn)的MV-HEVC、可伸縮視頻編碼標(biāo)準(zhǔn)的MFC-HEVC、3D視頻編 碼標(biāo)準(zhǔn)的3D-HEVC。
[0003] 3D-HEVC標(biāo)準(zhǔn)采用了多視點(diǎn)加深度圖像的（MVD)的視頻格式。在MVD視頻格式里， 比特流中只需包含兩三個(gè)視點(diǎn)的視頻和相應(yīng)的深度圖像。我們可以通過基于深度渲染技術(shù) (DIBR)得到用戶所需要的虛擬中間視點(diǎn)。利用DIBR技術(shù)繪制虛擬視角，需要深度圖像提供 場景的深度信息。然而，3D-HEVC和以往的視頻編碼一樣并非無失真編碼方案，可以引起深 度圖像的失真。編碼過程中產(chǎn)生的失真，使得解碼端的深度值與實(shí)際的深度值有很大的偏 差。當(dāng)解碼器進(jìn)行渲染獲得虛擬視角時(shí)，這種深度值的偏差體現(xiàn)為視差的偏移，導(dǎo)致了一些 像素點(diǎn)無法正確地映射到虛擬視角。如果深度圖像中物體邊緣的深度值發(fā)生了失真，那么 渲染過程很可能將一些原本屬于前景的像素點(diǎn)映射到虛擬視點(diǎn)的背景區(qū)域或是將背景區(qū) 域的像素點(diǎn)映射到前景區(qū)域，從而引起了虛擬視角的結(jié)構(gòu)失真。人眼對于結(jié)構(gòu)的失真十分 敏感，因此深度圖像失真引起虛擬視角的結(jié)構(gòu)失真，嚴(yán)重降低了虛擬視角視頻的主觀質(zhì)量。 綜上所述，3D視頻中的深度圖像需要與傳統(tǒng)編碼方式不同的編碼方案編碼。3D-HEVC的編 碼順序是首先編碼紋理圖像，再編碼深度圖像，因此在深度圖像編碼的時(shí)候可以利用解碼 的重建的紋理圖像。
[0004] 為此，3D-HEVC針對深度圖像的特殊性質(zhì)，提出了一些有效的編碼技術(shù)。首先性質(zhì) 一：深度圖像的大部分為被銳利邊緣所分割的平滑區(qū)域。其次性質(zhì)二：如上所述，銳利邊緣 的失真將導(dǎo)致合成視角的結(jié)構(gòu)失真。最后性質(zhì)三：深度圖像的主要作用并非是用來觀看， 而是用來合成虛擬視角。針對性質(zhì)三，"3Dvideocodingwithdepthmodelingmodes andviewsynthesisoptimization,'，（K.Muller,P.Merkle,G.Tech,andT.ffiegand,Dec 2012,pp. 1 -4.) -文中使用合成視點(diǎn)優(yōu)化技術(shù)（VS0)作為新的率失真評價(jià)函數(shù)來選擇 編碼參數(shù)。其中包括編碼單元的大小，幀內(nèi)預(yù)測模式以及運(yùn)動向量等等。但是由于此方 法需要進(jìn)行復(fù)雜的渲染過程，以獲得虛擬合成視角。因此，為了降低此方法的計(jì)算復(fù)雜程 度，在大多數(shù)情況下，一些基于模型的非渲染的合成視點(diǎn)優(yōu)化技術(shù)被廣泛采用，這些技術(shù)可 以獲得和合成視點(diǎn)優(yōu)化質(zhì)量相當(dāng)?shù)奶摂M合成視角，但是率失真的評價(jià)函數(shù)的復(fù)雜程度極 大的降低了。除此之外，針對性質(zhì)二：深度圖幀內(nèi)編碼還采用了非角度分割，模式模擬模 式。"Fastdepthmodelingmodeselectionfor3dhevcdepthintracoding, '，（Z.Gu,J.Zheng,N.Ling,andP.Zhang,inMultimediaandExpoWorkshops(ICMEff), 2013 IEEEInternationalConferenceon,July2013,pp. 1-4) 一文中提出了一個(gè)快速算法， 對于深度圖來說，大部分區(qū)域?yàn)楸讳J利邊緣所分割的平滑區(qū)域，對于平滑區(qū)域，可以跳過深 度圖像模型模式DMM。此方法已經(jīng)被3D-HEVC的實(shí)驗(yàn)?zāi)Ｐ筒杉{。"Edge-basedintramode selectionfordepth-mapcodingin3D_hevc, '，（C. _S.Park,，ImageProcessing,IEEE Transactionson,vol. 24,no. 1,pp. 155 - 162,Jan2015.) 一文中通過在哈達(dá)姆變換域內(nèi) 一個(gè)簡單的邊緣分類來剔除不必要的深度圖像模型模式DMM，"Complexityreductionof depthintracodingfor3DvideoextensionofHEVC, (T.daSilva,L.Agostini,and L.daSilvaCruz,inVisualCommunicationsandImageProcessingConference, 20141 EEE，Dec2014,pp. 229 - 232). -文通過利用最大可能模式和粗略模式?jīng)Q策來降低深度圖像 模型模式DMM的運(yùn)算復(fù)雜度。
[0005] 隨著深度圖像模型模式的快速發(fā)展，深度圖像模型模式的數(shù)目有了很大的減少， 因此在減少深度圖像模型模式數(shù)目的方向上上一時(shí)難有大的突破，故而本發(fā)明從深度圖 幀內(nèi)楔形分割模式快速選擇的方向入手，旨在降低選擇最優(yōu)幀內(nèi)楔形分割模式的運(yùn)算復(fù)雜 度，提高幀內(nèi)楔形分割模式的選擇速度。幀內(nèi)楔形分割模式如圖1所示。圖1是一個(gè)3D-HEVC 規(guī)定的一個(gè)幀內(nèi)楔形分割模式的例子，沿起點(diǎn)和終點(diǎn)連成的直線方向?qū)⑸疃葓D劃分為兩個(gè) 區(qū)域。為了得到最優(yōu)的幀內(nèi)楔形分割模式，需要遍歷每種幀內(nèi)楔形分割模式，對每種幀內(nèi)楔 形分割模式都進(jìn)行一次率失真評價(jià)函數(shù)的計(jì)算，最小的率失真評價(jià)函數(shù)對應(yīng)的幀內(nèi)楔形分 割模式為最優(yōu)的幀內(nèi)楔形分割模式。
[0006] 表1不同大小的預(yù)測單元所包含的幀內(nèi)楔形分割模式的數(shù)目
[0007]
[0008] 但是，如表1所示，幀內(nèi)楔形分割模式的數(shù)目比較多，例如，當(dāng)預(yù)測單元的大小是 8X8時(shí)，全搜索的幀內(nèi)楔形分割模式的數(shù)目是766,即使用到了"Simplifiedwedgelet searchforDMMmodesland3"提出的快速算法，幀內(nèi)楔形分割模式的數(shù)目也有310種， 造成選擇幀內(nèi)楔形分割模式的速度較慢。本文參考的傳統(tǒng)的幀內(nèi)楔形分割模式選擇方法是 3D-HEVC中的幀內(nèi)楔形分割模式選擇方法，其流程圖如圖2所示，步驟如下：
[0009] 步驟201 :在一個(gè)給定的幀內(nèi)楔形分割模式下，對一大小為HXH的預(yù)測單元，確定 此分割模式的兩分割區(qū)域；
[0010] 步驟202 :計(jì)算此幀內(nèi)楔形分割模式兩分割區(qū)域的像素均值，記為Means^ Meansl〇
[0011]步驟203 :根據(jù)像素均值MeansJPMean31構(gòu)建重建深度圖RecD，使得重建深度圖兩 個(gè)區(qū)域的像素值分別等于均值MeansJPMeansl;
[0012] 步驟204 :根據(jù)原始深度圖和重建深度圖計(jì)算合成視點(diǎn)失真VSD，用合成視點(diǎn)失真 VSD作為幀內(nèi)楔形分割模式率失真評價(jià)函數(shù)。合成視點(diǎn)失真VSD的計(jì)算方法如下：
[0013]
[0014] 其中B是原始深度圖，SD和SD，分別代表原始深度圖和重建深度圖的像素值，ST'代 表重建的紋理圖像的像素值，a是一個(gè)由相機(jī)參數(shù)決定的系數(shù)；
[0015] 步驟205 :重復(fù)步驟201到步驟204,遍歷所有的幀內(nèi)楔形分割模式，具有最小合成 視點(diǎn)失真VSD的幀內(nèi)楔形分割模式，就是最優(yōu)的3D視頻深度圖像模型模式的幀內(nèi)楔形分割 模式。
[0016] 在上述幀內(nèi)楔形分割模式選擇方法中的步驟203、204和205中，在一個(gè)給定的幀 內(nèi)楔形分割模式下需要獲得重建深度圖和計(jì)算合成視點(diǎn)失真，合成視點(diǎn)失真的計(jì)算需要原 始深度圖和重建深度圖，計(jì)算復(fù)雜度較高。

【發(fā)明內(nèi)容】

[0017] 本發(fā)明提出了一種3D視頻深度圖像模型模式的幀內(nèi)楔形分割模式選擇方法，能 夠在保證合成視角視頻質(zhì)量的前提下降低運(yùn)算復(fù)雜度，提高深度圖像幀內(nèi)楔形分割模式的 選擇速度。
[0018] 為了解決上述技術(shù)問題，本發(fā)明提供一種3D視頻深度圖像模型模式的幀內(nèi)楔形 分割模式選擇方法，用分割兩區(qū)域的方差平方和作為幀內(nèi)楔形分割模式的率失真評價(jià)函 數(shù)。
[0019] 進(jìn)一步，具體步驟包括：
[0020] 步驟1 :任意選擇一個(gè)幀內(nèi)楔形分割模式，在所述選擇的的幀內(nèi)楔形分割模式下， 對一大小為HXH的預(yù)測單元，確定其兩分割區(qū)域；
[0021] 步驟2 :分別計(jì)算所述兩分割區(qū)域各自的像素均值；
[0022] 步驟3 :根據(jù)所述像素均值分別計(jì)算兩分割區(qū)域各自的方差，根據(jù)所述兩個(gè)方差 計(jì)算獲得兩分割區(qū)域的方差平方和；
[0023] 步驟4:重復(fù)步驟1至步驟3,遍歷所有幀內(nèi)楔形分割模式，將具有最小方差平方和 的幀內(nèi)楔形分割模式作為最優(yōu)的幀內(nèi)楔形分割模式。
[0024] 進(jìn)一步，所述方差平方和SSV的計(jì)算方法為：
[0025]
[0026] 其中，Sgl和Sg^別表不幀內(nèi)楔形分割模式的兩分割區(qū)域，N和M分別表不兩分割 區(qū)域內(nèi)的像素個(gè)數(shù)，Si(Xl，yi)表示區(qū)域Sgl的像素值，S2 (x2,y2)表示區(qū)域Sg2的像素值，x1 和yi表示區(qū)域Sg丨內(nèi)像素點(diǎn)坐標(biāo)，x2和y2表示區(qū)域SgM像素點(diǎn)坐標(biāo)，Mean51表示區(qū)域Sgl 的像素均值，]^311;32表示區(qū)域Sg2的像素均值。
[0027] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于，（1)本發(fā)明只考慮原始深度圖像的方差 大小，省去了重建深度圖像的重建；（2)選擇最優(yōu)的幀內(nèi)楔形模式的率失真代價(jià)函數(shù)由獲 取復(fù)雜度低的方差平方和SSV代替復(fù)雜度高的合成視點(diǎn)失真VSD，減少了 75%的獲取復(fù)雜 程度，降低了獲取復(fù)雜度；（3)本發(fā)明可以很好地和其他方法兼容，能夠進(jìn)一步提高最優(yōu)幀 內(nèi)楔形分割模式的選擇速度，方差平方和SSV可以很好的近似合成視點(diǎn)失真VSD，所以本方 法可以在保證合成視點(diǎn)質(zhì)量的前提下，快速地找到最優(yōu)的幀內(nèi)楔形分割模式。
【附圖說明】
[0028] 圖1是一種幀內(nèi)楔形分割模式示意圖。
[0029] 圖2是傳統(tǒng)的幀內(nèi)楔形分割模式選擇方法的流程圖。
[0030] 圖3是幀內(nèi)楔形分割模式候選集中兩分割區(qū)域的方差分布示意圖。
[0031] 圖4是最優(yōu)的幀內(nèi)楔形分割模式具有最小方差平方和的比例示意圖。
[0032] 圖5是本發(fā)明所述幀內(nèi)楔形分割模式選擇方法的流程圖。
[0033] 圖6是本發(fā)明方法與圖2所示傳統(tǒng)幀內(nèi)楔形分割模式選擇方法的流程對比示意 圖。
【具體實(shí)施方式】
[0034] 容易理解，依據(jù)本發(fā)明的技術(shù)方案，在不變更本發(fā)明的實(shí)質(zhì)精神的情況下，本領(lǐng)域 的一般技術(shù)人員可以想象出本發(fā)明3D視頻深度