一種基于彩色視頻編碼模式的深度圖序列分形編碼方法
【專利摘要】本發(fā)明提出了一種基于彩色視頻編碼模式的深度圖序列分形編碼方法。首先用分形視頻壓縮方法編碼彩色視頻，然后用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼模式的相關(guān)性建立深度圖序列幀宏塊的候選模式選擇表。深度圖序列的I幀采用H.264幀內(nèi)預(yù)測編碼方法；深度圖序列的P幀編碼，首先用Sobel算子檢測對象邊界，對于包含對象邊界的深度圖序列幀宏塊，使用全搜索遍歷所有模式，對于不包含對象邊界的深度圖序列幀宏塊，采用SKIP模式預(yù)判斷策略，即首先判斷與之相對應(yīng)的彩色宏塊是否編碼為SKIP模式，若是SKIP模式，則直接將當(dāng)前深度圖序列幀宏塊的最佳編碼模式設(shè)為SKIP，否則使用率失真優(yōu)化算法在候選模式中找到當(dāng)前深度圖序列幀宏塊的最佳編碼模式，然后用分形法編碼深度圖。
【專利說明】一種基于彩色視頻編碼模式的深度圖序列分形編碼方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明屬于三維視頻壓縮編碼領(lǐng)域，涉及深度圖序列的壓縮編碼，為三維立體視頻編碼的實(shí)時(shí)性應(yīng)用奠定了基礎(chǔ)，進(jìn)一步提高了基于深度圖的立體視頻壓縮編碼的性能。
【背景技術(shù)】:
[0002]深度圖所代表的是場景到攝像機(jī)成像平面的距離信息，它將實(shí)際深度值量化到[0，255],以獲得代表深度信息的灰度圖(參見Tanimoto M, Fujii T, Suzuki K, etal.Mult1-view depth map of Rena and Akko & Kayo[C], IS0/IEC JTC1/SC29/WG11, MPEG-M14888, China:Shenzhen, 2007.)。
[0003]深度圖壓縮是三維視頻系統(tǒng)中的核心技術(shù)。目前，對深度圖序列壓縮的方法，主要是基于H.264/AVC標(biāo)準(zhǔn)。如楊旭等針對三維視頻編碼復(fù)雜度較高的問題，提出一種快速深度圖像幀內(nèi)編碼方法，該方法基于視頻圖像與深度圖像的相關(guān)性，利用視頻圖像的最優(yōu)幀內(nèi)預(yù)測模式信息，優(yōu)化深度圖像幀內(nèi)編碼預(yù)測模式的選擇范圍，減少率失真代價(jià)函數(shù)的計(jì)算量，從而降低深度圖像幀內(nèi)編碼復(fù)雜度(參見楊旭，常義，林霍等.一種三維視頻深度圖像快速幀內(nèi)編碼方法[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，39(3):7-13.)。Byung Tae Oh等定義了一個(gè)深度失真函數(shù)(參見Byung Tae Oh, Jaejoon Lee，Du_sik Park.Depth map coding based on synthesized view distortion function[J].1EEE Journalof Selected Topics in Signal Processing.2011，5 (7): 1344-1352.XD.V.S.X.De Silva等提出 T 新的模式選擇方法(參見 D.V.S.X.De Silva, ff.A.C.Fernando, S.T.Worral1.1ntra mode selection method for depth maps of3D video based on renderingdistortion modeling[J].1EEE Transactions on Consumer Electronics, 2010，56(4): 2735-2740.)。
[0004]近年來分形理論也被應(yīng)用到視頻序列的壓縮上，其基本思想是在視頻編碼過程中將每視頻幀(首幀除外)上的子塊從前一幀而不是同一幀找相匹配的父塊。其中最為經(jīng)典和影口向較大的參見(C.S.Kim, R.C.Kim, S.U.Lee.Fractal coding of video sequence usingcircular prediction mapping and noncontractive inter frame mapping[J].1EEETransactions on Image Processing, 1998，7 (4): 601-605.)。該方法米用類似于標(biāo)準(zhǔn)視頻編碼方法所采用的運(yùn)動(dòng)估計(jì)/補(bǔ)償技術(shù)，利用了相鄰幀之間的時(shí)間強(qiáng)相關(guān)性，對視頻序列壓縮取得了較好的效果。Koji Ohse與Masahiro Nakagawa提出將視頻序列變換到頻率域,再應(yīng)用分形視頻壓縮方法將不同分量的序列壓縮編碼(參見Koji Ohse, Masahiro Nakagawa.Fractal video coding with the orthogonal transformation[J], Electronics andCommunications in Japan, 2007, 90 (3): 36-47),此方法提供了在確定壓縮比的情況下，實(shí)現(xiàn)對視頻較好的壓縮。張喻平與豐洪才提出了一種利用遺傳算法提高視頻分形壓縮編碼搜索速度的算法。(參見張喻平，豐洪才.利用遺傳算法提高視頻分形壓縮編碼搜索速度[J].計(jì)算機(jī)與數(shù)字工程，2007，35(1):28-30.)這種基于遺傳算法的視頻分形壓縮編碼改進(jìn)了遺傳算法中搜索空間的構(gòu)造機(jī)理，結(jié)合運(yùn)用合適的迭代函數(shù)系統(tǒng)和仿射變換，從而縮短了壓縮編碼時(shí)間，并且視頻的恢復(fù)質(zhì)量略優(yōu)于全搜索算法和傳統(tǒng)的分形壓縮算法。
[0005]為了解決目前基于深度圖的三維視頻編碼復(fù)雜度高的問題，本發(fā)明方法實(shí)現(xiàn)了一種利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼模式相關(guān)性，建立候選模式選擇表，并進(jìn)行SKIP模式預(yù)判斷，以達(dá)到深度圖序列分形編碼時(shí)快速幀間模式選擇的目的。實(shí)驗(yàn)證明，該方法實(shí)現(xiàn)了深度圖序列壓縮編碼，并且編碼時(shí)間及編碼碼率明顯減少。

【發(fā)明內(nèi)容】
:
[0006]本發(fā)明提出了一種基于彩色視頻編碼模式的深度圖序列分形編碼方法。首先使用分形視頻壓縮方法編碼彩色視頻，然后用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼的相關(guān)性生成深度圖序列幀宏塊的候選模式選擇表。深度圖序列的I幀編碼采用H.264幀內(nèi)預(yù)測編碼方法；深度圖序列的P幀編碼，首先用Sobel算子檢測對象邊界，對于包含對象邊界的深度圖序列幀宏塊，使用全搜索編碼方法，遍歷所有模式，對于不包含對象邊界的深度圖序列幀宏塊，采用SKIP模式預(yù)判斷策略，即首先判斷與之相對應(yīng)的彩色宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當(dāng)前深度圖序列幀宏塊的最佳編碼模式設(shè)為SKIP編碼模式，否則使用率失真優(yōu)化算法在候選模式中找到當(dāng)前深度圖序列幀宏塊的最佳編碼模式，然后用分形法編碼深度圖序列幀宏塊。
[0007]—種基于彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于實(shí)現(xiàn)步驟如下:
[0008]步驟一:使用基于分形的視頻壓縮方法編碼彩色視頻；
[0009]步驟二:使用基于分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式；
[0010]步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，使用H.264幀內(nèi)預(yù)測編碼方法編碼I幀，轉(zhuǎn)到步驟九；若為深度圖序列的P巾貞，轉(zhuǎn)到步驟四；
[0011]步驟四:對深度圖序列的P巾貞，使用Sobel算子檢測對象邊界；
[0012]步驟五:依次對當(dāng)前深度圖序列幀的所有宏塊進(jìn)行編碼。根據(jù)模式選擇表，獲得當(dāng)前深度圖序列幀宏塊的候選編碼模式；
[0013]步驟六:如果當(dāng)前深度圖序列幀宏塊包含對象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化準(zhǔn)則獲得最佳編碼模式，轉(zhuǎn)到步驟八；否則，轉(zhuǎn)到步驟七；
[0014]步驟七:檢測與當(dāng)前深度圖序列幀宏塊相對應(yīng)的彩色視頻宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當(dāng)前深度圖序列幀宏塊的最佳編碼模式設(shè)為SKIP編碼模式，否則使用拉格朗日率失真優(yōu)化算法在步驟五產(chǎn)生的所有候選模式中找到當(dāng)前深度圖序列幀宏塊的最佳編碼模式，轉(zhuǎn)到步驟八；
[0015]步驟八:用步驟一的分形編碼方法使用最佳編碼模式編碼當(dāng)前深度圖序列幀宏塊。判斷當(dāng)前宏塊是否為當(dāng)前深度圖序列幀的最后一個(gè)宏塊，若是最后一個(gè)宏塊，則轉(zhuǎn)到步驟三編碼下一幀；否則轉(zhuǎn)到步驟五編碼下一宏塊；
[0016]步驟九:判斷當(dāng)前幀是否為深度圖序列最后一幀,如果是最后一幀結(jié)束編碼；否貝U，返回步驟三繼續(xù)處理下一幀深度圖像。
[0017]所述一種基于彩色視頻編碼模式的深度圖序列分形編碼方法，處理的彩色視頻與深度圖序列均為YUV格式。
[0018]所述步驟一中基于分形的視頻壓縮方法包括以下四個(gè)步驟:
[0019]I)如果是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用H.264幀內(nèi)編碼方式，對于每個(gè)當(dāng)前塊在各種可能的預(yù)測方式中選擇具有最小代價(jià)的預(yù)測模式，完成所有塊的預(yù)測后可以得到I幀的預(yù)測幀。通過原始幀和預(yù)測幀之差得到編碼端殘差幀。轉(zhuǎn)入步驟3)編碼殘差；如果是P幀，轉(zhuǎn)到步驟2)；
[0020]2)如果是P幀。依次對當(dāng)前幀的所有宏塊進(jìn)行編碼。在參考幀中的搜索窗內(nèi)對當(dāng)前宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同；對每個(gè)宏塊進(jìn)行樹狀結(jié)構(gòu)分塊，即分塊從大到小可分為16父16、16\8、8\16、8\8，8父8往下(亞宏塊分割)可以分為8X4，4X8，4X4。幀間編碼時(shí)，首先對編碼宏塊的各種塊劃分尺寸的幀間預(yù)測模式進(jìn)行運(yùn)動(dòng)估計(jì)，確定迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)；然后比較所有模式的率失真代價(jià)；最后將率失真代價(jià)最小的模式作為最優(yōu)幀間預(yù)測模式。
[0021]IFS系數(shù)由如下的率失真優(yōu)化函數(shù)確定:
[0022]Jmotion=MSE (s, O, X, y, ref) + λ M0T10N*R(s, O, x, y, ref) (I)
[0023]其中IFS系數(shù)包括父塊位置(X，y)和比例因子S、偏移因子O，s和O的計(jì)算公式如下:
【權(quán)利要求】
1.一種基于彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于如下步驟: 步驟一:使用基于分形的視頻壓縮方法編碼彩色視頻； 步驟二:使用基于分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式； 步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，使用H.264幀內(nèi)預(yù)測編碼方法編碼I幀，轉(zhuǎn)到步驟九；若為深度圖序列的P幀，轉(zhuǎn)到步驟四； 步驟四:對深度圖序列的P幀，使用Sobel算子檢測對象邊界； 步驟五:依次對當(dāng)前深度圖序列幀的所有宏塊進(jìn)行編碼。根據(jù)模式選擇規(guī)則，獲得當(dāng)前深度圖序列幀宏塊的候選編碼模式； 步驟六:如果當(dāng)前深度圖序列幀宏塊包含對象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化準(zhǔn)則獲得最佳編碼模式，轉(zhuǎn)到步驟八；否則，轉(zhuǎn)到步驟七； 步驟七:檢測與當(dāng)前深度圖序列幀宏塊相對應(yīng)的彩色視頻宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當(dāng)前深度圖序列幀宏塊的最佳編碼模式設(shè)為SKIP編碼模式，否則使用拉格朗日率失真優(yōu)化算法在步驟五產(chǎn)生的所有候選模式中找到當(dāng)前深度圖序列幀宏塊的最佳編碼模式，轉(zhuǎn)到步驟八； 步驟八:用步驟一的分形編碼方法使用最佳編碼模式編碼當(dāng)前深度圖序列幀宏塊。判斷當(dāng)前宏塊是否為當(dāng)前深度圖序列幀的最后一個(gè)宏塊，若是最后一個(gè)宏塊，則轉(zhuǎn)到步驟三編碼下一幀；否則轉(zhuǎn)到步驟五編碼下一宏塊； 步驟九:判斷當(dāng)前幀是否為深度圖序列幀的最后一幀，如果是最后一幀結(jié)束編碼；否貝U，返回步驟三繼續(xù)處理下一幀深度圖像。
2.根據(jù)權(quán)利要求1所述一種基于彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于:處理的彩色視頻與深度圖序列均為YUV格式。
3.根據(jù)權(quán)利要求1所述一種基于彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于:所述步驟一中基于分形的視頻壓縮方法包括以下四個(gè)步驟: 1)如果是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用H.264幀內(nèi)編碼方式，對于每個(gè)當(dāng)前塊在各種可能的預(yù)測方式中選擇具有最小代價(jià)的預(yù)測模式，完成所有塊的預(yù)測后可以得到I幀的預(yù)測幀。通過原始幀和預(yù)測幀之差得到編碼端殘差幀。轉(zhuǎn)入步驟3)編碼殘差；如果是P幀，轉(zhuǎn)到步驟2)； 2)如果是P幀。依次對當(dāng)前幀的所有宏塊進(jìn)行編碼。在參考幀中的搜索窗內(nèi)對當(dāng)前宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同；對每個(gè)宏塊進(jìn)行樹狀結(jié)構(gòu)分塊，即分塊從大到小可分為16X16、16X8、8X16、8X8，8X8往下(亞宏塊分割)可以分為8X4，4X8，4X4。幀間編碼時(shí)，首先對編碼宏塊的各種塊劃分尺寸的幀間預(yù)測模式進(jìn)行運(yùn)動(dòng)估計(jì)，確定迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)；然后比較所有模式的率失真代價(jià)；最后將率失真代價(jià)最小的模式作為最優(yōu)幀間預(yù)測模式。 IFS系數(shù)由如下的率失真優(yōu)化函數(shù)確定:
Jmotion-MSE (S，O, X, y, ref) + λ motion*R (s，ref)(I) 其中IFS系數(shù)包括父塊位置(x，y)和比例因子S、偏移因子O，s和ο的計(jì)算公式如下:
4.根據(jù)權(quán)利要求1所述一種彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于:所述步驟二中基于分形的視頻解壓縮方法包括以下五個(gè)步驟: 1)解碼端獲得壓縮的碼流。碼流中數(shù)據(jù)元素首先進(jìn)行熵解碼和重排序，獲得一系列量化系數(shù)，這些系數(shù)經(jīng)過反量化和反變換得到解碼端殘差數(shù)據(jù)； 2)判斷解碼幀是否為I幀，若是I幀轉(zhuǎn)入步驟3)，否則轉(zhuǎn)入步驟4)； 3)對于I幀，首先由H.264幀內(nèi)預(yù)測方式得到預(yù)測幀，預(yù)測幀與解碼端殘差幀進(jìn)行相加之后得到重建幀，幀數(shù)加I轉(zhuǎn)入步驟5)； 4)對于P幀，首先從碼流中讀入該幀所有宏塊的劃分方式、每一個(gè)小塊的迭代函數(shù)系統(tǒng)系數(shù)與運(yùn)動(dòng)矢量，由各迭代函數(shù)系統(tǒng)系數(shù)和運(yùn)動(dòng)矢量分別計(jì)算出解碼端的預(yù)測塊形成解碼端的預(yù)測幀，預(yù)測幀與殘差幀相加得到重建幀。幀數(shù)加I轉(zhuǎn)到步驟5)； 5)判斷此時(shí)所有幀是否都已解碼，若都解碼完畢，結(jié)束解碼過程，否則轉(zhuǎn)入步驟2)。
5.根據(jù)權(quán)利要求1所述一種彩色視頻編碼模式的深度圖序列分形編碼方法，其特征在于:所述步驟五中模式選擇規(guī)則如下: 1)如果彩色視頻宏塊編碼模式為SKIP，則相應(yīng)深度圖序列幀宏塊編碼模式為SKIP； 2)如果彩色視頻宏塊編碼模式為16X16，則相應(yīng)深度圖序列幀宏塊編碼模式為SKIP，16X16中的最佳模式；3)如果彩色視頻宏塊編碼模式為16X8，則相應(yīng)深度圖序列幀宏塊編碼模式為SKIP, 16X16,16X8中的最佳模式； 4)如果彩色視頻宏塊編碼模式為8X16，則相應(yīng)深度圖序列幀宏塊編碼模式為SKIP, 16X16,8X16中的最佳模式； 5)如果彩色視頻宏塊編碼模式為P8X8，則相應(yīng)深度圖序列幀宏塊編碼模式為SKIP, 16X16,16X8,8 X16, P8X8 中的最佳模式。
【文檔編號】H04N19/176GK103546747SQ201310453277
【公開日】2014年1月29日 申請日期:2013年9月29日 優(yōu)先權(quán)日:2013年9月29日
【發(fā)明者】祝世平, 趙冬玉 申請人:北京航空航天大學(xué)