專利名稱：多幀運(yùn)動(dòng)估計(jì)中的基于模式繼承的自適應(yīng)參考幀選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮編碼(H.264/MPEG-4AVC)中的幀間編碼運(yùn)動(dòng)估計(jì)的算法。
背景技術(shù)：
H.264/MPEG-4AVC是由JVT工作開發(fā)的最新視頻編碼標(biāo)準(zhǔn)，其優(yōu)點(diǎn)之一是壓縮比高，相對(duì)于H.263，它節(jié)約了50％的碼率([2]B.Girod and M.Flierl，“Multi-framemotion-compensated video compression for the digital set-top box(機(jī)頂盒的多畫面運(yùn)動(dòng)視頻壓縮補(bǔ)償)”，Proc.IEEE ICIP，Sept.2002)。該標(biāo)準(zhǔn)允許使用多達(dá)16個(gè)參考幀和七種模式用于運(yùn)動(dòng)估計(jì)，顯著地改善了幀間編碼的預(yù)測(cè)精度。但其壓縮效率的改善是以增加計(jì)算量和復(fù)雜度為代價(jià)的，其中多幀運(yùn)動(dòng)估計(jì)的運(yùn)算復(fù)雜度和運(yùn)算量隨使用的參考幀數(shù)量線性增加，可以說(shuō)編碼器的80％的計(jì)算能力都耗費(fèi)在幀間編碼中的運(yùn)動(dòng)估計(jì)上([3]P.Pirsch，N.Demassieux，and W.Gehrke，“VLSI architectures for video compression-a survey”，Proc.IEEE，vol.83，no.2，pp.220-246，F(xiàn)eb 1995)。運(yùn)算量和運(yùn)算復(fù)雜度的增加進(jìn)一步增大了編碼器的實(shí)現(xiàn)難度。這對(duì)于需將編解碼器應(yīng)用到硬件中，尤其是只有有限計(jì)算能力的移動(dòng)計(jì)算設(shè)備上時(shí)是一個(gè)挑戰(zhàn)。而在不同的模式下，每個(gè)參考幀所能獲得的失真增益是相關(guān)的。因此，在七種模式中對(duì)所有的候選幀均進(jìn)行掃描并不是高效的方法。

發(fā)明內(nèi)容
本發(fā)明目的是提出一個(gè)新的基于繼承的參考幀優(yōu)選方法，用來(lái)減小多幀運(yùn)動(dòng)估計(jì)過(guò)程的運(yùn)算量，并且能保證幾乎相同的RD(失真率)性能。尤其是H.264多幀運(yùn)動(dòng)估計(jì)中的基于模式繼承的自適應(yīng)參考幀選擇方法。
本發(fā)明的目的是這樣實(shí)現(xiàn)的其基本方法是在對(duì)較低層次的模式進(jìn)行運(yùn)動(dòng)估計(jì)(ME)時(shí)使用一個(gè)新的參考隊(duì)列，這個(gè)隊(duì)列的構(gòu)建依據(jù)較高層次模式的運(yùn)動(dòng)估計(jì)結(jié)果，例如8×8模式的參考隊(duì)列參照16×16模式的結(jié)果。根據(jù)兩幀圖像相關(guān)性隨相隔時(shí)間減小而增強(qiáng)的原理，各個(gè)候選參考幀在運(yùn)動(dòng)估計(jì)中應(yīng)該采取不同的權(quán)重；對(duì)于每個(gè)模式，只需要對(duì)前面幾個(gè)參考幀進(jìn)行運(yùn)動(dòng)估計(jì)操作，就能保證一定的預(yù)測(cè)符合度；其次，下層模式的參考幀選擇可以考慮運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果的繼承性，即基于上層模式的運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果，選擇上層模式中運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果較優(yōu)的幾個(gè)參考幀進(jìn)行運(yùn)動(dòng)估計(jì)；算法中針對(duì)每種模式具體的繼承關(guān)系，在進(jìn)行運(yùn)動(dòng)估計(jì)之前，建立相應(yīng)模式的參考幀優(yōu)選列表。
本發(fā)明的具體實(shí)現(xiàn)過(guò)程如下在進(jìn)行每個(gè)宏塊的ME時(shí)，模式選擇的次序是按照由大到小的次序進(jìn)行，即首先16×16模式，然后16×8模式、8×16模式，最后是8×8模式以及它的子模式。對(duì)于16×16模式，對(duì)所有候選參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。對(duì)于16×8模式和8×16模式，新的參考幀列表包括參考幀1、2、3；還包括16×16模式運(yùn)動(dòng)估計(jì)后RD開銷最小的三個(gè)參考幀。對(duì)于8×8模式，由于其運(yùn)動(dòng)估計(jì)結(jié)果需要作為8×4、4×8和4×4模式參考幀列表建立的依據(jù)，因此用于8×8模式運(yùn)動(dòng)估計(jì)的參考幀列表相對(duì)于16×8模式和8×16模式，還包括了參考幀4和5。8×4模式和4×8模式的參考幀列表的建立比較復(fù)雜。列表中，除包括參考幀1、2、3外，還包括所屬的8×8模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀，此外還包括其所屬的16×8或8×16模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀。4×4模式的參考幀列表包括參考幀1、2、3和8×8模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀。
在本發(fā)明方法中，只需搜索部分的候選參考幀，而不是檢查每個(gè)參考幀的每個(gè)宏塊。進(jìn)行搜索的參考幀的選擇根據(jù)已進(jìn)行的ME的結(jié)果確定。通過(guò)對(duì)ME(運(yùn)動(dòng)估計(jì))開銷最小值的概率分布，以及不同模式之間ME開銷最小值之間的相關(guān)性進(jìn)行分析，其結(jié)果促使了基于繼承的參考幀選擇方法的建立。
本發(fā)明的機(jī)理在H.264的JM模型軟件中，運(yùn)動(dòng)估計(jì)的RD優(yōu)化就是尋找哪種模式下使用哪個(gè)參考幀，使其RD開銷最小。其實(shí)現(xiàn)過(guò)程如下針對(duì)7種幀間預(yù)測(cè)模式16×16、16×8、8×16、8×8、8×4、4×8和4×4以及幀內(nèi)預(yù)測(cè)模式，對(duì)所有的參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。如參考幀數(shù)量為16，則對(duì)每個(gè)宏塊需進(jìn)行16×7＝112次運(yùn)動(dòng)估計(jì)，計(jì)算開銷甚大。然而，是否每個(gè)參考幀對(duì)于編碼壓縮的意義相同，同時(shí)不同模式間相同位置的宏塊或塊運(yùn)動(dòng)估計(jì)的結(jié)果的相關(guān)性，均是需要我們考慮的。
通常兩幀圖像相關(guān)性隨相隔時(shí)間減小而增強(qiáng)，也就是說(shuō)，16個(gè)參考幀中，對(duì)于7種不同模式下，位置為1、2、3的參考幀(即最近的三幀)，RD開銷最小的可能性要比位置靠后的參考幀來(lái)得大。試驗(yàn)驗(yàn)證這一規(guī)律的存在。表一為6種圖像序列進(jìn)行ME時(shí)，相同預(yù)測(cè)模式下，不同參考幀RD開銷最小的概率分布。從表1可見，最近三幀RD開銷最小的概率平均超過(guò)75％。
表1、開銷最小的參考幀概率分布

表2、不同ME模式下參考幀ME最小的符合度

其次，在進(jìn)行宏塊的ME時(shí)，模式選擇的次序是按照由大到小的次序進(jìn)行，即首先16×16模式，然后16×8模式、8×16模式，最后是8×8模式以及它的子模式。由于比較小的模式通常是比較大的模式的一個(gè)部分，因此先進(jìn)行的模式ME結(jié)果，對(duì)于其后進(jìn)行的ME是有指導(dǎo)意義的。例如16×16模式的預(yù)測(cè)結(jié)果中，其開銷最小的參考幀，在進(jìn)行8×8模式ME是很有可能也是最小的。通過(guò)試驗(yàn)數(shù)據(jù)分析，這一假設(shè)得到驗(yàn)證。表2為6種測(cè)試序列在進(jìn)行ME時(shí)，不同模式之間RD開銷最小的參考幀相同的概率分布，如處理Foreman序列時(shí)，16×8與16×16兩模式中開銷最小的參考幀相同的幾率為67.13％，處理hall-monitor序列時(shí)8×4與8×8兩模式中開銷最小的參考幀相同的幾率為89.34％。
基于上述的分析，可以發(fā)現(xiàn)各個(gè)候選參考幀在ME中應(yīng)該采取不同的權(quán)重。對(duì)于每個(gè)模式，只需要對(duì)前面幾個(gè)參考幀進(jìn)行ME操作，就能保證一定的預(yù)測(cè)符合度。其次，下層模式的參考幀選擇可以考慮ME預(yù)測(cè)結(jié)果的繼承性，即基于上層模式的ME預(yù)測(cè)結(jié)果，選擇上層模式中ME預(yù)測(cè)結(jié)果較優(yōu)的幾個(gè)參考幀進(jìn)行ME?；诶^承的參考幀選擇算法正是基于這種思想。算法中針對(duì)每種模式具體的繼承關(guān)系，在進(jìn)行運(yùn)動(dòng)估計(jì)之前，建立相應(yīng)模式的參考幀優(yōu)選列表。
對(duì)于16×16模式，由于它的運(yùn)動(dòng)估計(jì)結(jié)果是所有新列表建立的基礎(chǔ)，因此，應(yīng)當(dāng)對(duì)所有候選參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。對(duì)于16×8模式和8×16模式，新的參考幀列表包括參考幀1、2、3；還包括16×16模式運(yùn)動(dòng)估計(jì)后RD開銷最小的三個(gè)參考幀。對(duì)于8×8模式，由于其運(yùn)動(dòng)估計(jì)結(jié)果需要作為8×4、4×8和4×4模式參考幀列表建立的依據(jù)，因此用于8×8模式運(yùn)動(dòng)估計(jì)的參考幀列表相對(duì)于16×8模式和8×16模式，還包括了參考幀4和5。8×4模式和4×8模式的參考幀列表的建立比較復(fù)雜。列表中，除包括參考幀1、2、3外，還包括所屬的8×8模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀，此外還包括其所屬的16×8或8×16模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀。8×4和4×8模式參考幀優(yōu)選時(shí)對(duì)應(yīng)的16×8和8×16模式的ME結(jié)果參考對(duì)象參見圖1，即圖1中塊1-4(8×4模式或4×8模式)的參考幀優(yōu)選參照塊A(16×8模式或8×16模式)的ME結(jié)果，即圖中塊5-8(8×4模式或4×8模式)的參考幀優(yōu)選參照塊B(16×8模式或8×16模式)的ME結(jié)果。4×4模式的參考幀列表包括參考幀1、2、3和8×8模式預(yù)測(cè)的RD開銷最小的三個(gè)參考幀。具體算法的實(shí)現(xiàn)流程參見圖2。本發(fā)明方法的實(shí)現(xiàn)細(xì)節(jié)見下述，包括分析模擬試驗(yàn)的結(jié)果。
本發(fā)明提出了一個(gè)簡(jiǎn)單有效的方法用于減小由于多幀運(yùn)動(dòng)估計(jì)引起的計(jì)算開銷，同時(shí)RD性能沒有明顯下降。試驗(yàn)結(jié)果顯示，該方法相對(duì)于多參考幀(16幀)情況下通?？梢怨?jié)省約50％的運(yùn)算量，同時(shí)保證幾乎相同的RD(失真率)性能。
四

圖1是本發(fā)明8×4(圖1A)和4×8(圖1B)模式參考幀優(yōu)選的參考對(duì)象圖2是本發(fā)明基于繼承的參考幀優(yōu)選算法實(shí)現(xiàn)的程序框3是本發(fā)明5參考幀的傳統(tǒng)JM算法和10參考幀的新算法的RD曲線比較圖4是本發(fā)明10參考幀的傳統(tǒng)JM算法和16參考幀的新算法的RD曲線比較五具體實(shí)施方式
如圖1、2所示，16×16模式的運(yùn)動(dòng)估計(jì)(ME)結(jié)果是所有新列表建立的基礎(chǔ)，因此，應(yīng)當(dāng)對(duì)所有候選參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。在此基礎(chǔ)上對(duì)于16×8模式和8×16模式，新的參考幀列表包括參考幀1、2、3；還包括16×16模式運(yùn)動(dòng)估計(jì)后RD開銷最小的三個(gè)參考幀。再對(duì)8×8模式運(yùn)動(dòng)估計(jì)。8×8模式運(yùn)動(dòng)估計(jì)結(jié)果又作為8×4、4×8和4×4模式參考幀列表建立的依據(jù)，因此用于8×8模式運(yùn)動(dòng)估計(jì)的參考幀列表相對(duì)于16×8模式和8×16模式，還包括了參考幀4和5。8×4模式和4×8模式的參考幀列表的建立比較復(fù)雜。如圖2和上述。QP即對(duì)DCT離散余弦變換系數(shù)進(jìn)行量化的缺省量化參數(shù)。
本發(fā)明的算法在JM8.6中加以修改實(shí)現(xiàn)。對(duì)Forman、Mother&Daughter、Hall Monitor、News、Carphone和Container(測(cè)試序列)六個(gè)QCIF(1/4通用中間格式)序列分別使用修改前的JM8.6(計(jì)算出所有的子像素點(diǎn)的插值，在運(yùn)動(dòng)補(bǔ)償和子像素搜索的方法)和修改后的軟件進(jìn)行了編碼測(cè)試。編碼范圍為幀0-299共300幀，為簡(jiǎn)單啟見，采用全P幀編碼，搜索區(qū)間為16，使用快速運(yùn)動(dòng)估計(jì)(UseFME＝1)。為運(yùn)算量和RD性能比較，分別在參考幀為5個(gè)、10個(gè)和16個(gè)時(shí)以及QP從25到34的范圍內(nèi)，使用上述的兩種方法進(jìn)行了編碼。表3是編碼后的運(yùn)動(dòng)估計(jì)時(shí)間(METime)和RD(平均碼率和亮度值的PSNR)比較結(jié)果。表中的運(yùn)動(dòng)估計(jì)時(shí)間和RD都是QP從25到34之間的平均值。其中SNRY表示Y分量的峰值信噪比。由表3可見，采用10個(gè)參考幀的新算法相對(duì)于采用5個(gè)參考幀的傳統(tǒng)JM算法，ME運(yùn)算時(shí)間節(jié)省超過(guò)10％，且RD性能得到改善，即平均PSNR提高了0.03db的同時(shí)碼率下降1％。采用16個(gè)參考幀的新算法的ME運(yùn)算時(shí)間只有采用10個(gè)參考幀的傳統(tǒng)JM算法的50％，但平均PSNR沒有降低，且碼率還有所下降，即RD性能也得到部分改善。
表3、兩對(duì)不同編碼方式的RD性能和ME運(yùn)算時(shí)間比較

當(dāng)然新算法付出的代價(jià)就是需要增加存儲(chǔ)空間，但對(duì)于移動(dòng)設(shè)備來(lái)說(shuō)，運(yùn)算量的大幅減少相對(duì)于存儲(chǔ)空間的部分增加更有實(shí)際意義。算法的另外一個(gè)特點(diǎn)是，算法的復(fù)雜度不會(huì)因?yàn)閰⒖紟脑黾佣€性增加，當(dāng)參考幀增加到一定的數(shù)量后，其ME運(yùn)算時(shí)間會(huì)保持一個(gè)比較穩(wěn)定的數(shù)值。這從算法的實(shí)現(xiàn)原理和表三的數(shù)據(jù)可以看到。
新算法對(duì)RD性能的改進(jìn)同樣可以通過(guò)圖4和圖3看到。圖3是對(duì)于Carphone序列分別采用5個(gè)參考幀的傳統(tǒng)JM算法和采用10個(gè)參考幀的新算法的RD曲線比較。圖4是對(duì)于Mother&daughter序列分別采用10個(gè)參考幀的傳統(tǒng)JM算法和采用16個(gè)參考幀的新算法的RD曲線比較。
總之，本發(fā)明提出了一個(gè)新的參考幀選擇算法用于加快H.264中的多幀運(yùn)動(dòng)估計(jì)?；趨⒖紟腞D開銷的分布，以及7種預(yù)測(cè)模式之間的RD開銷的繼承關(guān)系，我們使用了一個(gè)參考幀優(yōu)選的方法來(lái)對(duì)每種模式重新建立參考幀列表，從而節(jié)省了大量的ME運(yùn)算時(shí)間。模擬試驗(yàn)證實(shí)新算法在使用多參考幀(如16幀)的情況下，節(jié)省了50％的ME運(yùn)算時(shí)間，而RD性能卻得到部分改善。算法尤其適合移動(dòng)視頻等對(duì)算法復(fù)雜度要求高的應(yīng)用中。本發(fā)明的方法實(shí)施和現(xiàn)有技術(shù)的基礎(chǔ)參見如下。
“Draft ITU-T Recommendation and Fihal Draft International Standard ofJoint Video Specification(電信同盟推薦的H.264標(biāo)準(zhǔn)草案)(ITU-T Rec.H.264ISO/IEC 14496-10 AVC)”，Joint Video Team(JVT)of ISO/IEC MPEG and ITU-TVCEG，JVT-G050，Mar.2003.
權(quán)利要求
1.多幀運(yùn)動(dòng)估計(jì)中的基于模式繼承的自適應(yīng)參考幀選擇方法，其特征是在對(duì)較低層次模式運(yùn)動(dòng)估計(jì)時(shí)使用一個(gè)新的參考隊(duì)列，這個(gè)隊(duì)列的構(gòu)建依據(jù)較高層次模式運(yùn)動(dòng)估計(jì)的結(jié)果針對(duì)7種幀間預(yù)測(cè)模型16×16、16×8、8×16、8×8、8×4、4×8和4×4個(gè)宏塊以及幀內(nèi)預(yù)測(cè)模型，對(duì)優(yōu)選的參考幀進(jìn)行運(yùn)動(dòng)估計(jì)；下層模式的參考幀選擇考慮運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果的繼承性，即基于上層模式的運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果，選擇上層模式中運(yùn)動(dòng)估計(jì)預(yù)測(cè)結(jié)果較優(yōu)的幾個(gè)參考幀進(jìn)行運(yùn)動(dòng)估計(jì)；算法中針對(duì)每種模式具體的繼承關(guān)系，在進(jìn)行運(yùn)動(dòng)估計(jì)之前，建立相應(yīng)模式的參考幀優(yōu)選列表；在進(jìn)行宏塊的運(yùn)動(dòng)估計(jì)時(shí)，模式選擇的次序是按照由大到小的次序進(jìn)行，即首先16×16模式，然后16×8模式、8×16模式，最后是8×8模式以及它的子模式；對(duì)于16×16模式，對(duì)所有候選參考幀進(jìn)行運(yùn)動(dòng)估計(jì)。對(duì)于16×8模式和8×16模式，新的參考幀列表包括參考幀1、2、3；還包括16×16模式運(yùn)動(dòng)估計(jì)后失真率RD開銷最小的三個(gè)參考幀；對(duì)于8×8模式，運(yùn)動(dòng)估計(jì)的參考幀列表相對(duì)于16×8模式和8×16模式，還包括了參考幀4和5；8×4和4×8模式參考幀優(yōu)選時(shí)對(duì)應(yīng)的16×8和8×16模式的運(yùn)動(dòng)估計(jì)結(jié)果；4×4模式的參考幀列表包括參考幀1、2、3和8×8模式預(yù)測(cè)的失真率RD開銷最小的三個(gè)參考幀。
2.由權(quán)利要求1所述的自適應(yīng)參考幀選擇方法，其特征是8×4模式和4×8模式的參考幀列表的建立中包括參考幀1、2、3，還包括所屬的8×8模式預(yù)測(cè)的失真率RD開銷最小的三個(gè)參考幀，還包括其所屬的16×8或8×16模式預(yù)測(cè)的失真率RD開銷最小的三個(gè)參考幀。
全文摘要
H.264多幀運(yùn)動(dòng)估計(jì)中的基于模式繼承的自適應(yīng)參考幀選擇方法，在對(duì)較低層次模式運(yùn)動(dòng)估計(jì)時(shí)使用一個(gè)新的參考隊(duì)列，這個(gè)隊(duì)列的構(gòu)建依據(jù)較高層次模式運(yùn)動(dòng)估計(jì)的結(jié)果算法中針對(duì)每種模式具體的繼承關(guān)系，在進(jìn)行運(yùn)動(dòng)估計(jì)之前，建立相應(yīng)模式的參考幀優(yōu)選列表；即首先16×16模式，然后16×8模式、8×16模式，最后是8×8模式以及它的子模式。這個(gè)隊(duì)列的構(gòu)建依據(jù)較高層次運(yùn)動(dòng)估計(jì)的結(jié)果，例如8×8模式的參考隊(duì)列參照16×16模式的結(jié)果。試驗(yàn)結(jié)果顯示，該方法相對(duì)于多參考幀(16幀)情況下通?？梢怨?jié)省約50％的運(yùn)算量，同時(shí)保證幾乎相同的RD性能。
文檔編號(hào)H04B7/26GK1741418SQ20051009435
公開日2006年3月1日 申請(qǐng)日期2005年9月14日 優(yōu)先權(quán)日2005年9月14日
發(fā)明者焦良葆, 章德, 畢厚杰 申請(qǐng)人:南京大學(xué)