專利名稱：基于有效區(qū)域的多參考幀快速運(yùn)動估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號處理中的視頻編碼，特別針對H.264視頻編碼標(biāo)準(zhǔn)中所采用的多參考幀運(yùn)動估計，所提出的快速運(yùn)動估計方法在保證壓縮率和視頻恢復(fù)質(zhì)量同全搜索運(yùn)動估計基本一致的前提下，大幅度降低了運(yùn)動估計的搜索點數(shù)。
背景技術(shù)：
隨著多媒體技術(shù)的迅速發(fā)展，人們不但要求接收處理文本信息，而且對有聲有色的多媒體信息的要求越來越廣泛，因此視頻應(yīng)用越來越普及。然而，由于視頻的數(shù)據(jù)量非常龐大，一般都需要對其進(jìn)行編碼壓縮才能滿足應(yīng)用需要。
視頻壓縮是通過多種手段消除視頻數(shù)據(jù)固有的各種冗余信息，典型的策略是一般都需要利用預(yù)測或變換來消除視頻幀間和幀內(nèi)冗余信息，其中，運(yùn)動估計是一種典型的消除幀間冗余的方法，很多視頻編碼標(biāo)準(zhǔn)都使用該策略，如ITU-T組織制定的H.261/263/263+/264和MPEG組織制定的MPEG-1/2/4。
運(yùn)動估計的全搜索過程為一般首先對視頻幀進(jìn)行宏塊劃分，對于每個宏塊，在參考幀中定義一個(2w+1)2的搜索窗口，該窗口的中心像素點的坐標(biāo)和當(dāng)前宏塊的左上角點的相同；然后將以窗口中的點為左上角點的宏塊和當(dāng)前宏塊進(jìn)行比較，獲取其代價函數(shù)(比如計算兩個宏塊中所有像素點的絕對差值和SADSum of AbsoluteDifference)；最后根據(jù)所有這些代價函數(shù)，尋找一個代價函數(shù)最小的宏塊，該宏塊和當(dāng)前宏塊的距離就認(rèn)為是當(dāng)前宏塊的運(yùn)動矢量。如果允許分?jǐn)?shù)像素運(yùn)動估計，還需要在所搜索的整像素點周圍進(jìn)行插值和比較，獲取最終的最佳匹配塊和運(yùn)動矢量。
由此可見，全搜索運(yùn)動估計的搜索點數(shù)非常龐大，達(dá)到了(2w+1)2個，從而需要計算(2w+1)2次代價函數(shù)。而以SAD代價函數(shù)為例，計算一次SAD需要作N×N次減法和N×N次加法(其中N表示塊尺寸，一般宏塊為N＝16)，所以一個宏塊的全搜索估計的計算復(fù)雜度非常高。因此，一般需要快速運(yùn)動估計方法，即只對搜索窗口中的部分像素點所決定的宏塊進(jìn)行匹配比較，獲取一個近似最佳的運(yùn)動矢量，以降低計算復(fù)雜度。然而和全搜索相比，正是由于快速運(yùn)動估計算法減少了搜索點數(shù)，可能使得運(yùn)動估計不充分，從而使得編碼壓縮率降低或者恢復(fù)質(zhì)量下降，這些下降對于某些視頻應(yīng)用是不能容忍的，比如低碼速率應(yīng)用尤其是實時應(yīng)用對壓縮率要求較高；高保真的應(yīng)用對恢復(fù)質(zhì)量有較高的要求。
H.264標(biāo)準(zhǔn)是一種新穎的視頻編解碼標(biāo)準(zhǔn)，它在壓縮率和視頻恢復(fù)質(zhì)量方面都取得很大成功，但是其計算復(fù)雜度太大，這一定程度上限制了H.264標(biāo)準(zhǔn)的實際應(yīng)用，尤其是實時視頻應(yīng)用。單從運(yùn)動估計方面來說，H.264標(biāo)準(zhǔn)允許多參考幀、多種宏塊劃分方式以及1/4像素精度運(yùn)動矢量，這都大大提高了H.264標(biāo)準(zhǔn)運(yùn)動估計的復(fù)雜度。因此，需要研究H.264標(biāo)準(zhǔn)的快速運(yùn)動估計方法，而且最好這些快速運(yùn)動估計方法基本不影響壓縮率和恢復(fù)質(zhì)量，否則就失去了H.264標(biāo)準(zhǔn)在壓縮率和恢復(fù)質(zhì)量上的優(yōu)勢。
目前有針對H.264標(biāo)準(zhǔn)的快速運(yùn)動估計方法，在降低運(yùn)動估計復(fù)雜度方面取得了一定成功，但是在壓縮率和恢復(fù)質(zhì)量方面卻帶來了一些性能下降，因此，如何提供有效的快速運(yùn)動估計策略以更好的折中壓縮率、恢復(fù)質(zhì)量和計算復(fù)雜度，就變得非常關(guān)鍵。

發(fā)明內(nèi)容
本發(fā)明的目的是公開一種基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，是以降低H.264標(biāo)準(zhǔn)的編碼復(fù)雜度為出發(fā)點，探索了其多參考幀情況下運(yùn)動估計和運(yùn)動矢量的特性，提出和驗證了運(yùn)動連續(xù)性假設(shè)，并據(jù)此提出了一種基于有效區(qū)域的快速運(yùn)動估計策略，該策略在一個參考幀中進(jìn)行全搜索獲取該幀中的運(yùn)動矢量，以后續(xù)其他幀為參考時，可以以所獲取的運(yùn)動矢量預(yù)測一個小區(qū)域，并只在所預(yù)測的小區(qū)域內(nèi)進(jìn)行全搜索估計。
本發(fā)明的一種基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，用多參考幀運(yùn)動估計的有效區(qū)域得出并驗證了視頻序列的運(yùn)動連續(xù)性假設(shè)，并采用所述的視頻序列的運(yùn)動連續(xù)性對當(dāng)前幀中的塊B進(jìn)行快速運(yùn)動估計，其運(yùn)動估計步驟如下(A)在第一個參考幀F(xiàn)-1中進(jìn)行全搜索運(yùn)動估計，獲取1/4像素精度的運(yùn)動矢量和運(yùn)動估計的代價函數(shù)，分別記為MV(B，-1)和SAD(B，-1)；(B)根據(jù)(A)中的運(yùn)動矢量MV(B，-1)，獲取參考幀F(xiàn)j，j≠-1的有效區(qū)域VR；(C)以幀F(xiàn)j，j≠-1作為參考，在(B)獲得的有效區(qū)域VR中進(jìn)行全搜索運(yùn)動估計得到1/4像素精度的運(yùn)動矢量和相應(yīng)的代價函數(shù)，分別記為MV(B，j)和SAD(B，j)；(D)根據(jù)上述(A)～(C)的計算結(jié)果，獲取當(dāng)前幀塊B的最佳參考幀和對應(yīng)的運(yùn)動估計結(jié)果。
所述的基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其運(yùn)動矢量v＝(x，y)在搜索窗口中的有效區(qū)域是滿足如下條件的象素集合 式中，z表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的橫坐標(biāo)值，w表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的縱坐標(biāo)值，x表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的橫坐標(biāo)值，y表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的縱坐標(biāo)值。
所述的基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其運(yùn)動連續(xù)性假設(shè)P(MV(B，j)∈VR(MVj(B，-1)))≈1式中，P(X)表示事件X的概率，MV(B，j)表示塊B在幀F(xiàn)j中的運(yùn)動矢量，MVj(B，-1)表示幀F(xiàn)j中和MV(B，-1)有相同坐標(biāo)值的象素點。
本發(fā)明的優(yōu)點(1)算法針對多參考幀運(yùn)動估計進(jìn)行速度優(yōu)化，不但適合于H.264標(biāo)準(zhǔn)，其他任何涉及到多參考幀的編解碼策略都可以使用；(2)跟傳統(tǒng)很多快速運(yùn)動估計方式不同，該策略的運(yùn)動估計仍然在一個連續(xù)區(qū)域內(nèi)搜索，但是該區(qū)域遠(yuǎn)遠(yuǎn)小于全搜索窗口，從而大大降低了復(fù)雜度；(3)正是由于該策略是基于連續(xù)區(qū)域的，因此，其搜索的運(yùn)動矢量和全搜索運(yùn)動矢量的匹配率就更高，從而其恢復(fù)質(zhì)量和壓縮效率幾乎不受搜索點數(shù)減少的影響；(4)和傳統(tǒng)三步搜索等快速算法不同，本發(fā)明提出的基于連續(xù)區(qū)域的快速運(yùn)動估計算法不但可以實現(xiàn)對整像素精度運(yùn)動估計的快速搜索，同時可以實現(xiàn)對分?jǐn)?shù)像素精度的快速運(yùn)動估計。


圖1是搜索窗口中的運(yùn)動坐標(biāo)系示意圖。
圖2(a)、圖2(b)和圖2(c)是在搜索窗口的運(yùn)動坐標(biāo)系中運(yùn)動矢量有效區(qū)域不同形式結(jié)構(gòu)示意圖。
圖3是一個典型幀間預(yù)測編碼流程框圖。
圖中1.搜索窗口2.當(dāng)前塊3.有效區(qū)域具體實施方式
本發(fā)明正是以降低H.264標(biāo)準(zhǔn)的編碼復(fù)雜度為出發(fā)點，探索了其多參考幀情況下運(yùn)動估計和運(yùn)動矢量的特性，提出和驗證了運(yùn)動連續(xù)性假設(shè)，并據(jù)此提出了一種基于有效區(qū)域的快速運(yùn)動估計策略，該策略在一個參考幀中進(jìn)行全搜索獲取該幀中的運(yùn)動矢量，以后續(xù)其他幀為參考時，可以以所獲取的運(yùn)動矢量預(yù)測一個小區(qū)域，并只在所預(yù)測的小區(qū)域內(nèi)進(jìn)行全搜索估計。該發(fā)明的具體內(nèi)容包括本發(fā)明是一種基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，用多參考幀運(yùn)動估計的有效區(qū)域得出并驗證了視頻序列的運(yùn)動連續(xù)性假設(shè)，并采用所述的視頻序列的運(yùn)動連續(xù)性對當(dāng)前幀中的塊B進(jìn)行快速運(yùn)動估計，其運(yùn)動估計步驟如下(A)在第一個參考幀F(xiàn)-1中進(jìn)行全搜索運(yùn)動估計，獲取1/4像素精度的運(yùn)動矢量和運(yùn)動估計的代價函數(shù)，分別記為MV(B，-1)和SAD(B，-1)；(B)根據(jù)(A)中的運(yùn)動矢量MV(B，-1)，獲取參考幀F(xiàn)j，j≠-1的有效區(qū)域VR；(C)以幀F(xiàn)j，j≠-1作為參考，在(B)獲得的有效區(qū)域VR中進(jìn)行全搜索運(yùn)動估計得到1/4像素精度的運(yùn)動矢量和相應(yīng)的代價函數(shù)，分別記為MV(B，j)和SAD(B，j)；(D)根據(jù)上述(A)～(C)的計算結(jié)果，獲取當(dāng)前幀塊B的最佳參考幀和對應(yīng)的運(yùn)動估計結(jié)果。
在本發(fā)明中，運(yùn)動矢量v＝(x，y)在搜索窗口中的有效區(qū)域是滿足如下條件的象素集合 式中，z表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的橫坐標(biāo)值，w表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的縱坐標(biāo)值，x表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的橫坐標(biāo)值，y表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的縱坐標(biāo)值。
在本發(fā)明中，運(yùn)動連續(xù)性假設(shè)P(MV(B，j)∈VR(MVj(B，-1)))≈1，式中，P(X)表示事件X的概率，MV(B，j)表示塊B在幀F(xiàn)j中的運(yùn)動矢量，MVj(B，-1)表示幀F(xiàn)j中和MV(B，-1)有相同坐標(biāo)值的象素點。
下面將結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。
(一)運(yùn)動連續(xù)性假設(shè)和有效區(qū)域模型定義1對視頻序列{Fk}|k=-NM,]]>F0表示當(dāng)前正要編碼的視頻幀(即當(dāng)前幀)，F(xiàn)i(i＞0)是將要編碼的后續(xù)幀，F(xiàn)i(i＜0＝是已經(jīng)編碼的幀，沒有特別說明，本發(fā)明后面的說明都只允許參考Fi(i＜0)幀來編碼當(dāng)前幀F(xiàn)0。
定義2對于當(dāng)前幀F(xiàn)0中的一個塊B，令MV(B，i)＝(xi，yi)表示其在Fi幀中的運(yùn)動矢量。在多幀參考的情況下，對于任意的Fj，j≠i，，令MVj(B，i)表示幀F(xiàn)j中和MV(B，i)有相同坐標(biāo)值的象素點。
一般地，視頻運(yùn)動序列中相鄰兩幀比非相鄰的兩幀更相似，即Fi-1比其他任意Fj，j＜i-1和Fi更相似，本發(fā)明稱該運(yùn)動特性為視頻序列的運(yùn)動連續(xù)性，很多文獻(xiàn)描述的多參考幀估計情形下的運(yùn)動矢量統(tǒng)計特性和該運(yùn)動連續(xù)性吻合。此外，在很多視頻標(biāo)準(zhǔn)的實際實現(xiàn)過程中，為了簡單和減少視頻的顯示延遲，一般都用F-1進(jìn)行運(yùn)動估計，這些視頻標(biāo)準(zhǔn)的成功，從事實上證明了視頻序列的運(yùn)動連續(xù)性。
根據(jù)運(yùn)動連續(xù)性特性，本發(fā)明提出一般地，對任意MV(B，i)，i＜-1，應(yīng)該大都集中在點MVi(B，-1)周圍，即MV(B，i)存在于MVi(B，-1)所決定的一個小區(qū)域中，我們稱這個小區(qū)域為有效區(qū)域，其不同結(jié)構(gòu)形式如圖2(a)、圖2(b)和圖2(c)所示。
(二)定義了命中率并驗證了有效區(qū)域模型命中率對于視頻序列{Fk}k=-NM,]]>如果用Bi，k表示序列中的第K個幀中的第i個塊，則如果Fj(j＜k-1)是塊Bi，k的一個參考幀、且MV(Bi，k，j)位于有效區(qū)域VR(MV(Bi，k，k-1))中，則稱MV(Bi，k，j)為命中的；否則MV(Bi，k，j)被稱為未命中的。如果定義函數(shù)fS3→{0，1}和gS3→{0，1}，其中S＝{i|-N≤i≤M}，當(dāng)且僅當(dāng)Fj是Bi，k的一個參考幀時，f等于1，否則等于0；當(dāng)前僅當(dāng)f等于1而且MV(Bi，k，j)是命中的，g等于1，否則g等于0。為此，視頻序列{Fk}k=-NM]]>的命中率(hit_rate)定義為式(1)，它表示了序列中每個塊在不同參考中運(yùn)動矢量落在其特定有效區(qū)域中的概率。
hit_rate=ΣkΣiΣj≠i-1f(i,k,j)ΣkΣiΣj≠i-1[f(i,k,j)+g(i,k,j)]---(1)]]>顯然，對于當(dāng)前幀F(xiàn)0中的任意塊B，可以用視頻序列的命中率hit_rate來近似P(MV(B，j)∈VR(MVj(B，-1)))，其中，j≠-1并且Fj是F0的一個參考幀。
本發(fā)明通過試驗驗證了命中率，結(jié)果如表1，命中率平均高達(dá)97％以上。
(三)基于有效區(qū)域的快速運(yùn)動估計方法本發(fā)明基于上面定義的有效區(qū)域模型，提出了一種快速運(yùn)動估計方法，即MVRF方法，其步驟如下(A)在第一個參考幀F(xiàn)-1中進(jìn)行全搜索運(yùn)動估計，獲取1/4像素精度的運(yùn)動矢量和運(yùn)動估計的代價函數(shù)，分別記為MV(B，-1)和SAD(B，-1)；(B)根據(jù)(A)中的運(yùn)動矢量MV(B，-1)，獲取參考幀F(xiàn)j，j≠-1的有效區(qū)域VR；(C)以幀F(xiàn)j，j≠-1作為參考，在(B)獲得的有效區(qū)域VR中進(jìn)行全搜索運(yùn)動估計得到1/4像素精度的運(yùn)動矢量和相應(yīng)的代價函數(shù)，分別記為MV(B，j)和SAD(B，j)；(D)根據(jù)上述(A)～(C)的計算結(jié)果，獲取當(dāng)前幀塊B的最佳參考幀和對應(yīng)的運(yùn)動估計結(jié)果。
(四)分?jǐn)?shù)像素運(yùn)動估計的考慮與其他的三步搜索、對數(shù)搜索等快速方法不同，本發(fā)明的MVRF方法雖然沒有進(jìn)行全搜索估計查找整數(shù)像素精度運(yùn)動矢量，但是其搜索區(qū)域仍然是一個連續(xù)的小區(qū)域，這個特殊的連續(xù)搜索區(qū)域決定了，MVRF方法可以很好的利用現(xiàn)有的基于全搜索整像素精度估計的分?jǐn)?shù)像素精度快速估計算法。因此，如果MVRF方法需要進(jìn)行分?jǐn)?shù)像素精度運(yùn)動搜索時，可以采用如下快速估計思想1)、如果用MVRF方法所查找的相應(yīng)的整像素精度運(yùn)動矢量MV在有效區(qū)域的內(nèi)部，則該MV周圍的整像素點的運(yùn)動估計結(jié)果一定存在，因此，進(jìn)行分?jǐn)?shù)精度像素搜索時，可以和普通的全搜索一樣，采用任何優(yōu)秀的快速方法；2)、如果用MVRF方法所查找的相應(yīng)的整像素精度運(yùn)動矢量MV在有效區(qū)域的邊界，此時不能使用全搜索時的方法，如果用其他近似估計策略，勢必進(jìn)一步影響壓縮率和視頻恢復(fù)質(zhì)量，因此，為了更好的折中，可以對這種情況下的分?jǐn)?shù)像素精度搜索保留傳統(tǒng)的方法。
(五)理論上分析了該發(fā)明的效果定義3-不匹配率對于某給定的運(yùn)動估計方法(比如MVRF)，給定一個視頻塊，如果用該算法找到的其運(yùn)動矢量和用在整個搜索窗口中進(jìn)行全搜索找到的運(yùn)動矢量相同，則稱該運(yùn)動矢量MV是一個匹配的MV，否則是一個不匹配的MV。不匹配率表示在一個視頻序列中的所有幀中的所有塊的運(yùn)動矢量中，不匹配運(yùn)動矢量的比率。
對于一個塊，本發(fā)明所提出的MVRF方法所查找的運(yùn)動矢量用MVMVRF表示，而用全搜索運(yùn)動估計查找的運(yùn)動矢量用MVFS表示，則運(yùn)動矢量MVFS的分布有三種情況1)MVFS在F-1幀中；2)MVFS在F-i幀中且在其有效區(qū)域內(nèi)；3)MVFS在Fi中但不在其有效區(qū)域內(nèi)，這里i＜-1。如果MVMVRF在F-1參考幀中，或者M(jìn)VMVRF在Fi幀中且在其有效區(qū)域內(nèi)，則MVMVRF和MVFS一致；否則，MVMVRF和MVFS不同、且MVMVRF是一個不匹配的運(yùn)動矢量MV。也就是說，MVRF方法的不匹配率僅僅是MVFS在Fi(i＜-1)參考幀中且在其有效區(qū)域VR之外的概率。如果用P(！F-1)來表示MVFS不在F-1參考幀中的概率，則P(mis)＝P(！F-1)×(1-hit_rate)。國際上已有的研究成果表明當(dāng)有5個參考幀、搜索窗口尺寸w＝7時，視頻塊的運(yùn)動矢量分布在F-1參考幀中的概率達(dá)到了48.83％，因此，P(！F-1)＝1-48.83％＝51.17％，從而MVRF方法的不匹配率則為P(mis)＝(1-48.83％)×2.87％＝1.47％。由此可見，MVRF方法的不匹配率非常低，因此，其壓縮率和視頻恢復(fù)質(zhì)量和在整個搜索窗口中進(jìn)行全搜索運(yùn)動估計的相當(dāng)，而其計算量卻大大降低。
視頻應(yīng)用越來越廣泛，比如視頻會議、視頻點播VoD、遠(yuǎn)程教學(xué)與醫(yī)療等。而無論是視頻存儲還是傳輸型的應(yīng)用，都需要進(jìn)行視頻壓縮編碼。視頻壓縮一般分幀內(nèi)編碼和幀間編碼，其中幀間編碼一般需要運(yùn)動估計來消除幀間冗余。當(dāng)輸入的視頻經(jīng)過運(yùn)動估計與補(bǔ)償后，采用DCT或整數(shù)變換等策略消除幀內(nèi)冗余，并進(jìn)行量化和熵編碼，形成壓縮碼流，該壓縮碼流可以存儲也可以傳輸?shù)骄W(wǎng)絡(luò)上。典型的幀間預(yù)測編碼過程的流程框圖如圖3所示。
在H.264標(biāo)準(zhǔn)中，由于宏塊存在多種劃分方式、運(yùn)動估計允許多參考幀、并支持1/4像素精度運(yùn)動矢量，因此，對于一個視頻宏塊，其運(yùn)動估計過程如下For(所有宏塊劃分方式){For(某宏塊劃分方式下的所有塊){For(所有允許的參考幀){在搜索窗口中進(jìn)行整像素全搜索運(yùn)動估計；在所搜索的整像素點附近進(jìn)行半像素運(yùn)動估計；在所搜索的半像素點附近進(jìn)行1/4像素運(yùn)動估計；獲取該塊在該參考幀下的運(yùn)動矢量MV；獲取“某宏塊劃分方式下的某子塊在以某幀為參考時的運(yùn)動估計結(jié)果和代價函數(shù)”；}}獲取某宏塊劃分方式下、該宏塊的總體運(yùn)動估計結(jié)果和代價函數(shù)；}根據(jù)宏塊在所有劃分方式下的運(yùn)動估計代價函數(shù)，獲取其最佳運(yùn)動估計代價函數(shù)；為宏塊找到最佳的劃分方式、各子塊的最佳參考幀以及相關(guān)的壓縮結(jié)果；
上述是H.264標(biāo)準(zhǔn)中一個宏塊的全搜索運(yùn)動估計過程(偽代碼)。
使用本發(fā)明的MVRF方法時，H.264標(biāo)準(zhǔn)中一個宏塊的運(yùn)動估計搜索過程為For(所有宏塊劃分方式){For(某宏塊劃分方式下的所有塊){在第一個參考幀F(xiàn)-1中進(jìn)行整像素精度全搜索運(yùn)動估計；在所搜索的整像素點附近進(jìn)行半像素精度運(yùn)動估計；在所搜索的半像素點附近進(jìn)行1/4像素運(yùn)動估計，獲取其運(yùn)動矢量MV(B，-1)；計算在參考幀F(xiàn)-1進(jìn)行運(yùn)動估計的代價函數(shù)；根據(jù)MV(B，-1)獲取有效區(qū)域；For(所有其他的參考幀){在有效區(qū)域中進(jìn)行整像素全搜索運(yùn)動估計；在所搜索的整像素點附近進(jìn)行半像素運(yùn)動估計；在所搜索的半像素點附近進(jìn)行1/4像素運(yùn)動估計；獲取該塊在該參考幀下的運(yùn)動矢量MV；獲取“某宏塊劃分方式下的某子塊在以某幀為參考時的運(yùn)動估計結(jié)果和代價函數(shù)”；}}獲取某宏塊劃分方式下、該宏塊的總體運(yùn)動估計代價函數(shù)；}根據(jù)宏塊的所有劃分方式下的運(yùn)動估計代價函數(shù)，獲取其最佳運(yùn)動估計代價函數(shù)；為宏塊找到最佳的劃分方式、各子塊的最佳參考幀以及相關(guān)的壓縮結(jié)果；上述是采用本發(fā)明的基于有效區(qū)域的多參考幀快速運(yùn)動估計(MVRF)方法后H.264標(biāo)準(zhǔn)中一個宏塊運(yùn)動估計過程(偽代碼)。
在本發(fā)明中，是以H.264標(biāo)準(zhǔn)的參考測試平臺JM7.3為基礎(chǔ)實現(xiàn)驗證的，不但驗證了運(yùn)動連續(xù)性假設(shè)模型和有效區(qū)域的命中率，而且驗證和詳細(xì)比較了本發(fā)明和全搜索估計策略在視頻恢復(fù)質(zhì)量、壓縮率和運(yùn)動估計搜索點數(shù)上的性能。實例選擇了有代表性的7個國際標(biāo)準(zhǔn)序列作為測試序列Coast序列、Forman序列、Mother序列、Mobile序列、Tennis序列、Hall序列和Flower。本實施實例中，除了Flower序列是CIF格式以為，其他都是QCIF格式的，其他參數(shù)設(shè)置如下a)幀速率為30fps；b)每種序列包含200幀，每100幀編碼一個I幀，其他都為P幀；c)允許5個參考幀(NF＝5)；d)允許4種宏塊劃分方式，即16×16，16×8，8×16和8×8；e)量化器為32；f)熵編碼模式CAVLC；
g)忽略了Hadamard變換和差錯恢復(fù)機(jī)制；h)搜索窗口尺寸w為7。
(1)運(yùn)動連續(xù)性模型的命中率比較運(yùn)動連續(xù)性模型的命中率結(jié)果如表1，顯然，盡管本發(fā)明所定義的有效區(qū)域遠(yuǎn)遠(yuǎn)小于全搜索的搜索窗口，但是其運(yùn)動矢量命中率平均卻高達(dá)97％以上，即用全搜索運(yùn)動估計所獲取的運(yùn)動矢量，絕大部分都會落在本發(fā)明所定義的有效區(qū)域內(nèi)。
表1 運(yùn)動矢量存在于VR的命中率

和全搜索運(yùn)動估計策略(FS)相比，用本發(fā)明的方法(MVRF)實現(xiàn)的實例在運(yùn)動估計搜索點數(shù)、壓縮率和恢復(fù)質(zhì)量上的對比結(jié)果如下(2)運(yùn)動估計搜索點數(shù)比較表2 MVRF算法的運(yùn)動矢量分布特性

TFS＝NF[(2w+1)2+16]＝1141
=15×15+4(81×0.40+64×0.27+120×0.33)+5×16]]>=662.12]]>TFS-TMVRFTFS=1141-662.121141=41.97%]]>式中，TFS，TMVRF分別表示全搜索運(yùn)動估計的搜索點數(shù)和本發(fā)明的MVRF方法的運(yùn)動估計搜索點數(shù)。由此計算結(jié)果可見，和全搜索運(yùn)動估計相比，本發(fā)明的運(yùn)動估計搜索點數(shù)大大下降。
(3)視頻恢復(fù)質(zhì)量客觀質(zhì)量比較視頻恢復(fù)質(zhì)量的客觀對比如表3，可見，盡管搜索點數(shù)大大下降，但是本發(fā)明得到的視頻恢復(fù)質(zhì)量和全搜索的基本相當(dāng)表3 MVRF算法和全搜索算法的PSNR-Y對比(dB) (4)壓縮率比較壓縮率對比如表4，可見，盡管搜索點數(shù)大大下降，但是本發(fā)明得到的視頻碼流壓縮率和全搜索的基本一致表4 MVRF算法和全搜索算法的碼速率對比(Kbps) 通過對表1、表2、表3和表4的對比，驗證了本發(fā)明基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，在基于H.264視頻編碼標(biāo)準(zhǔn)、在有5個參考幀、允許4種宏塊(16×16、16×8、8×16、8×8)劃分模式下，和在所有參考幀的整個搜索窗口中進(jìn)行全搜索運(yùn)動估計相比，該方法的運(yùn)動估計搜索點數(shù)平均下降了41％，碼速率平均增加了0.007分貝，視頻恢復(fù)質(zhì)量平均只下降了0.18％。
權(quán)利要求
1.一種基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其特征在于用多參考幀運(yùn)動估計的有效區(qū)域得出并驗證了視頻序列的運(yùn)動連續(xù)性假設(shè)，并采用所述的視頻序列的運(yùn)動連續(xù)性對當(dāng)前幀中的塊B進(jìn)行快速運(yùn)動估計，其運(yùn)動估計步驟如下(A)在第一個參考幀F(xiàn)-1中進(jìn)行全搜索運(yùn)動估計，獲取1/4像素精度的運(yùn)動矢量和運(yùn)動估計的代價函數(shù)，分別記為MV(B，-1)和SAD(B，-1)；(B)根據(jù)(A)中的運(yùn)動矢量MV(B，-1)，獲取參考幀F(xiàn)j，j≠-1的有效區(qū)域VR；(C)以幀F(xiàn)j，j≠-1作為參考，在(B)獲得的有效區(qū)域VR中進(jìn)行全搜索運(yùn)動估計得到1/4像素精度的運(yùn)動矢量和相應(yīng)的代價函數(shù)，分別記為MV(B，j)和SAD(B，j)；(D)根據(jù)上述(A)～(C)的計算結(jié)果，獲取當(dāng)前幀塊B的最佳參考幀和對應(yīng)的運(yùn)動估計結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其特征在于運(yùn)動矢量v＝(x，y)在搜索窗口中的有效區(qū)域是滿足如下條件的象素集合 式中，z表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的橫坐標(biāo)值，w表示有效區(qū)域VR(v)在運(yùn)動坐標(biāo)系中的縱坐標(biāo)值，x表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的橫坐標(biāo)值，y表示運(yùn)動坐標(biāo)系中運(yùn)動矢量v的縱坐標(biāo)值。
3.根據(jù)權(quán)利要求1所述的基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其特征在于運(yùn)動連續(xù)性假設(shè)P(MV(B，j)∈VR(MVj(B，-1)))≈1式中，P(X)表示事件X的概率，MV(B，j)表示塊B在幀F(xiàn)j中的運(yùn)動矢量，MVj(B，-1)表示幀F(xiàn)j中和MV(B，-1)有相同坐標(biāo)值的象素點。
4.根據(jù)權(quán)利要求1所述的基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其特征在于基于H.264視頻編碼標(biāo)準(zhǔn)、在有5個參考幀、允許4種宏塊(16×16、16×8、8×16、8×8)劃分模式下，和在所有參考幀的整個搜索窗口中進(jìn)行全搜索運(yùn)動估計相比，該方法的運(yùn)動估計搜索點數(shù)平均下降了41％，碼速率平均增加了0.007分貝，視頻恢復(fù)質(zhì)量平均只下降了0.18％。
全文摘要
本發(fā)明公開了一種基于有效區(qū)域的多參考幀快速運(yùn)動估計方法，其適用于視頻編碼的整像素精度的快速運(yùn)動估計。本發(fā)明的快速運(yùn)動估計通過研究多參考幀運(yùn)動估計的特性，提出和驗證了運(yùn)動連續(xù)性假設(shè)，并在此基礎(chǔ)上提出了不同參考幀中的運(yùn)動有效區(qū)域。該有效區(qū)域的搜索點遠(yuǎn)遠(yuǎn)小于全搜索運(yùn)動估計的搜索點，從而大大降低了運(yùn)動估計的時間復(fù)雜度。本方法主要對整像素精度運(yùn)動估計提出了快速搜索策略，其獨特的區(qū)域預(yù)測策略使得所預(yù)測的搜索區(qū)域是一個連續(xù)的區(qū)域，因此本方法可以和其他快速的分?jǐn)?shù)像素精度運(yùn)動估計方法相結(jié)合，以進(jìn)一步降低運(yùn)動估計的運(yùn)算復(fù)雜度。
文檔編號H04N7/32GK1633184SQ20051000206
公開日2005年6月29日 申請日期2005年1月14日 優(yōu)先權(quán)日2005年1月14日
發(fā)明者熊璋, 蒲菊華 申請人:北京航空航天大學(xué)