專利名稱：一種基于h.264的自適應塊搜索范圍快速運動估計方法
技術領域：
本發(fā)明涉及計算機領域中視頻圖像編碼數據的運動估計方法的技術領域，特別是涉及一種基于H.264的自適應塊搜索范圍快速運動估計方法。
背景技術：
H.264是由ITU-T和MPEG組成聯合專家組JVT制定的目前最新的視頻編碼標準。這一編碼標準可以獲得很高的編碼效率，尤其在低碼率視頻編碼方面比MPEG4有明顯提高，非常適合于低帶寬質量網絡視頻的應用需要，但是，由于H.264為了提高編碼效率，采用了許多高計算復雜度的運動估計方法，使得編解碼計算量很大，因而很難用軟件方式進行實時編解碼，同時為硬件實現編解碼也增加了難度。
為了使H.264能比較容易地在低碼率、高實時性的應用系統中實現，必須對其編碼運動估計方法進行優(yōu)化。通過對H.264編碼器(參見附圖1)各個運動估計模塊進行的分析可以看出，由于運動估計模塊的計算量占整個編碼器運算量的80％以上，因此，若對整個編碼器進行優(yōu)化，運動估計模塊應作為首選。
運動估計方法的好壞影響著編碼比特率、重建圖像質量和速度。如果以預測誤差作為衡量標準，則全搜索(FS)是最好、最簡單的匹配方法，但由于它的計算量太高，不適合實時應用，因而提出了許多改進的快速搜索運動估計方法，目前主要有以下幾種方法一參見附圖2，步驟①以w/2為步長，測試以原點為中心的八點；步驟②以最小匹配誤差點為中心，步長折半，測試新的八點；步驟③重復第②步得到最后的運動向量。此類運動估計方法對于每一塊的測試點為固定的9+8+8＝25個。當位移大小w＝7時，它相對于全搜索運動估計方法的加速因子為9。這種搜索運動估計方法稱為三步法(There-Step Search簡稱3SS)。
方法二參見附圖3，步驟①以中心起始點為中心，以步長為2的8個點為搜索窗(5×5)，找出9個點中絕對誤差和最小的點，如果這個最小誤差點是搜索窗的中心點或者到達搜索區(qū)域邊界，則轉到第③步；步驟②以步驟①中找到的最小誤差為中心點，步長為2的8個點為搜索窗(5×5)，找出9個點中絕對誤差和最小的點。如果這個最小誤差點是搜索窗的中心點或者到達搜索區(qū)域邊界，則轉到第③步，否則，重復本步驟；步驟③以步驟②中找到的最小誤差點為中心，步長1的8個點為搜索窗(3×3)，找出9個點中絕對誤差和最小的點。以該點為基礎進行一次半象素精度的運動估計，得到最終的運動矢量。這種搜索運動估計方法稱為四步法(Four-Step Search簡稱4SS)。
方法三參見附圖4，在搜索時采用了大菱形搜索模式和小菱形搜索模式。大菱形搜索模式有9個搜索點，小菱形搜索模式有5個搜索點。用此方式搜索時，先以預測到的搜索中心為中心，進行大菱形搜索，計算9個點，如果9個點中的最優(yōu)點不在大菱形的中點，則將大菱形的中心移至該點，重復大菱形搜索，直到最優(yōu)點處于大菱形中心為止。然后在該點切換小菱形搜索模式搜索，共搜索5個點得到最終的搜索結果作為運動估計最優(yōu)匹配點。這種搜索運動估計方法稱為菱形法(Diamond Search簡稱DS)。
分析以上各種運動估計方法可得由于它們有一個共同的特點，即它們的搜索范圍都是確定的，從而必然存在一定的搜索冗余，而且以上運動估計方法本身的適應性和魯棒性也不夠好。
而現在一些論文中提出的自適應搜索范圍方法(Extended Adaptive Range Search簡稱EARS)則是通過對整幀圖像的所有塊的運動向量求平均值，然后通過這一平均值來確定整幀圖像的塊搜索范圍。但這種運動估計方法對于那些運動向量偏差較小的塊帶來了搜索冗余，而對于那些運動向量偏差較大的塊，則又容易造成圖像質量損失。

發(fā)明內容
本發(fā)明所要解決的技術問題是針對上述現有技術現狀而提供一種能明顯減少運算冗余、大大提高運動估計運算速度的基于H.264的自適應塊搜索范圍快速運動估計方法。
本發(fā)明解決上述技術問題所采用的技術方案為該基于H.264的自適應塊搜索范圍快速運動估計方法，包括有初始搜索中心位置預測、靜止宏塊判定、搜索區(qū)域自適應調整三個步驟；其中，所述的初始搜索中心位置預測為根據相鄰宏塊的運動矢量及前一幀對應位置運動矢量的相關性，然后推出預測初始中心位置，具體步驟如下1)從緩存中取出相鄰宏塊的運動矢量及前一幀對應位置運動矢量；2)根據公式(2)，(3)計算出預測的初始中心位置； xc＝i+vx(i，j)，yc＝j+vy(i，j)，(3)其中，所述的V(i，j)表示初始運動矢量，所述的(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分別表示當前宏塊、當前宏塊左上角宏塊、參考幀中當前宏塊的對應宏塊，對應地，所述的V(i，j，t)、V(i-1，j-1，t)、V(i，j，t-1)分別表示當前運動矢量、當前宏塊左上角運動矢量、參考幀中當前宏塊對應的運動矢量，而(xc，yc)表示初始搜索中心位置；3)根據預測的初始中心位置，定位參考幀中對應的宏塊；所述的靜止宏塊判定是根據自適應確定的閾值T0，再計算出當前宏塊與其在參考幀中的初始對應宏塊的SAD(sum of absolute differences，意為絕對差和，簡稱SAD)，將其與自適應閾值T0相比較，判斷是否為靜止宏塊，具體步驟如下1)根據公式(4)計算出自適應閾值T0； 2)計算當前宏塊與其在參考幀中的初始對應宏塊的SAD；3)比較SAD與T0，當SAD≤T0時，其預測得出的初始中心位置就是最終的最佳匹配點，此時就可跳過此宏塊直接對下一宏塊進行運動估計；4)否則，進入所述搜索區(qū)域自適應調整的步驟；所述的搜索區(qū)域自適應調整是利用相鄰宏塊的運動矢量及前一幀對應位置運動矢量的相關性，根據前面得出的相鄰宏塊的運動矢量及前一幀對應位置的運動矢量，計算出自適應確定的搜索區(qū)域的大小，具體步驟如下1)從緩存中取出相鄰宏塊的運動矢量及前一幀對應位置運動矢量；2)根據公式(5)，(6)計算出自適應確定的搜索區(qū)域A的大??；D=Σi=0NMV|Vimotion|NMV...(5)]]> 3)根據搜索區(qū)域A的大小，確定合適的搜索方法。
為進一步完善該方法，提高運算速度，所述的根據搜索區(qū)域A的大小來確定合適的搜索方法具體步驟如下當搜索區(qū)域A≤2時，采用全搜索方法；當搜索區(qū)域A≥3時，則與三步法或新三步法或四步法或菱形法等快速搜索方法相結合。
與現有技術相比，本發(fā)明提出了一種新的適用于H.264自適應塊搜索范圍的快速運動估計搜索方法(簡稱NARS)，采用了自適應確定搜索范圍的思想，并引入了根據相鄰塊運動矢量的絕對值來動態(tài)地確定每個塊的搜索區(qū)域大小的概念；該運動估計方法由于利用了圖像運動的幀間、幀內相關性來找到其初始搜索中心位置，并動態(tài)地確定每個塊的搜索區(qū)域的大小，從而其可以根據幀率和運動幅度的不同，不同程度地減少運算復雜度；同時這種運動估計方法還可以與其它任何一種快速運動估計方法相結合，并能夠在基本不損失信噪比的前提下，提高這種搜索運動估計方法的運算速度。實驗結果表明，在基本不影響圖像重建質量的前提下，該運動估計方法在平均搜索次數方面相對于全搜索運動估計方法降低了200-300倍，不僅明顯提高了運算速度，而且具有適用面廣、魯棒性強的特點。


圖1為現有的基于塊匹配搜索方法的編碼器模塊圖；圖2為背景技術中方法一(三步搜索法)的運動估計方法的示意圖；圖3為背景技術中方法二(四步搜索法)的運動估計方法的示意圖；圖4為背景技術中方法三(菱形法)的運動估計方法的示意圖；圖5為本發(fā)明實施例的流程示意圖。
具體實施例方式
以下結合附圖實施例對本發(fā)明作進一步詳細描述。
如圖5所示，該基于H.264的自適應塊搜索范圍快速運動估計方法，具體步驟包括初始搜索中心位置預測、靜止宏塊判定、搜索區(qū)域自適應調整以及根據設定的自適應閾值T0提前結束搜索步驟；其中，對當前宏塊做運動估計時，首先利用圖像運動的幀間、幀內相關性，找到其初始搜索中心位置，然后再根據一定的準則快速判定其是否是靜止宏塊，若是，就跳過此宏塊，直接對當前幀中的下一宏塊進行運動估計；否則，就根據相鄰宏塊的運動矢量來動態(tài)地確定當前塊的搜索區(qū)域的大小，以便減少搜索點數和減少運算的復雜度，該運動估計方法流程見附圖5。
衡量最佳匹配的準則衡量最佳匹配的準則有很多種，其中絕對差和(sum ofabsolute differences簡稱SAD)運算量最小，用得也最多，本發(fā)明采用SAD來進行最佳匹配的衡量。SAD定義為d=SAD(x,y)(u,v)]]>=Σi=0N-1Σj=0N-1|Fi(x+i,y+j)-Fi-1(x+i+u,y+j+v)|...(1)]]>初始搜索中心位置的預測根據運動區(qū)域的特征，特別是對同一物體，由于構成它的宏塊具有高度相關的運動矢量，因此如果利用相鄰宏塊的運動矢量來預測當前宏塊(i，j)的初始運動矢量V(i，j)，那么找到初始搜索中心位置(xc，yc)后，就可以使最終得到的運動矢量更接近于全局最優(yōu)值，甚至優(yōu)于用FS(full search，意為全搜索方法，簡稱FS)找到的運動矢量。初始搜索中心位置的計算可由公式(2)、(3)得到，公式(2)中(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分別代表當前宏塊、當前宏塊左上角宏塊、參考幀中當前宏塊的對應宏塊，依次類推。
xc＝i+vx(i，j)，yc＝j+vy(i，j)，(3)靜止宏塊判定通常情況下，都是用固定的閾值來確定靜止宏塊，如SAD＝512常用做16×16宏塊的閾值。本運動估計方法中提出一種與相鄰宏塊SAD值有關的自適應閾值T0。T0的實現見公式(4)，SAD的定義見公式(1)。若當前宏塊與其在參考幀中的初始對應宏塊所得的SAD≤T0，則其初始運動矢量就為v(i，j)，此時就可跳過此宏塊直接對下一宏塊進行運動估計。
搜索區(qū)域自適應調整由公式(2)、(3)即可得出初始運動中心位置的預測，同時可以知道相鄰宏塊的運動矢量及前一幀對應位置運動矢量。根據SAD分布的空間方向性和運動矢量中心偏移性的思想，若當相鄰塊的運動矢量絕對值較大時，預測出來的當前塊的運動矢量與最后計算得出的運動矢量之間的偏差的收斂域會比較大，這時就需要放大搜索范圍才能找到最佳匹配塊；當相鄰塊的運動矢量都比較小時，則情況恰恰相反。另外，根據搜索區(qū)域的不同，還可以與具體的快速運動估計方法相結合，以便在保證圖像質量的前提下，達到減少運算復雜度的目的。
本發(fā)明方法(即NARS)的實現過程為當初始搜索中心位置測定后，即可根據相鄰塊運動矢量及前一幀對應位置運動矢量的絕對值的平均值來動態(tài)確定搜索區(qū)域的大小A，具體公式如下D=Σi=0NMV|VimotionNMV...(5)]]> 分析以上實現過程可知當幀率較高，相應的運動幅度較小時，由于一幀圖像中絕大部分宏塊的運動矢量都比較小，所以采用該運動估計方法后，絕大部分宏塊的搜索區(qū)域可以限定在較小的范圍內(A≤2)，本發(fā)明對這些宏塊采用FS的搜索運動估計方法，雖大大地減少了匹配的點數，降低了計算復雜度，但并不影響重建圖像的質量；當幀率相對比較低運動幅度較大時，一小部分宏塊的搜索區(qū)域會比較大(A≥3)，本運動估計方法對這部分宏塊采用DS搜索運動估計方法，由于一幀圖像中大部分宏塊的運動矢量還是比較小的，因而匹配的點數也會大大地減少，但沒有幀率高、運動幅度小的情況下減少得多，圖像質量也有一定的損失，也就是在性能的提高上有所下降。
本發(fā)明的具體操作如下第一步，確定預測出初始的中心位置，具體的實現過程如上述公式(2)，(3)所示，假設當前塊的坐標為(2，5)而根據公式(2)估計出來的運動矢量為(1，-1)，則根據公式3可以得到預測的初始中心位置的坐標就是(3，4)。
初始中心位置確定以后，下一步就是靜止宏塊的確定。根據公式(4)可以得到一個自適應的閾值T0，當當前宏塊與其在參考幀中的初始對應宏塊所得的SAD≤T0時，其初始運動矢量就為v(i，j)，此時就可跳過此宏塊直接對下一宏塊進行運動估計。假設當前塊的自適應閾值為450，而當前宏塊與其在參考幀中的初始對應宏塊所得的SAD＝420，則其在參考幀中的初始對應宏塊就被判為靜止塊，而最終所得的最佳匹配點就是(3，4)。
而當通過靜止宏塊判定公式判定以后發(fā)現不是靜止宏塊，則此時要用塊匹配方法找到最佳的匹配點。本發(fā)明采用了塊搜索范圍自適應確定的快速搜索方法。由上面已經得出預測的初始中心位置坐標及知道相鄰宏塊的運動矢量。根據公式(5)，(6)即可確定搜索范圍的大小。然后根據搜索范圍的大小，選擇相應的快速運動估計搜索方法進行最佳匹配點地搜索。假設得出的搜索范圍為2，然后通過全搜索方法得出的運動矢量為(1，1)，則最終最佳搜索中心點的坐標為(4，5)。當得出的搜索范圍大于2時，可以考慮采用另一種搜索方法，如三步法(參見圖2)、新三步法、四步法(參見圖3)、菱形法(參見圖4)等。從而可以把搜索次數限定在一定的范圍內，同時不影響重建圖像的質量。
以下兩張表是本發(fā)明與其它方法在JM5.0參考模型上就重建圖像質量和搜索次數的比較表1 測試序列不同方法PNSR比較

表2 測試序列不同方法平均搜索點數比較

綜上所述，不論是對小的運動序列，還是對大的運動序列，本發(fā)明在比較次數、匹配精度和重建圖像質量方面都優(yōu)于前面提出的各類快速運算方法。本發(fā)明在匹配精度上雖與全搜索方法相當，但計算量卻有很大的降低。它可根據相鄰塊的運動相關性來預測出當前宏塊的運動向量，并可通過一定的計算公式來動態(tài)地確定塊搜索范圍的大小。同時，由于它還能根據具體情況與各類快速運算方法相結合，因此適用面非常廣。
權利要求
1.一種基于H.264的自適應塊搜索范圍快速運動估計方法，其特征在于包括有初始搜索中心位置預測、靜止宏塊判定、搜索區(qū)域自適應調整三個步驟；其中，所述的初始搜索中心位置預測為根據相鄰宏塊的運動矢量及前一幀對應位置運動矢量的相關性，然后推出預測初始中心位置，具體步驟如下4)從緩存中取出相鄰宏塊的運動矢量及前一幀對應位置運動矢量；5)根據公式(2)，(3)計算出預測的初始中心位置； xc＝i+vx(i，j)，yc＝j+vy(i，j)， (3)其中，所述的V(i，j)表示初始運動矢量，所述的(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分別表示當前宏塊、當前宏塊左上角宏塊、參考幀中當前宏塊的對應宏塊，對應地，所述的V(i，j，t)、V(i-1，j-1，t)、V(i，j，t-1)分別表示當前運動矢量、當前宏塊左上角運動矢量、參考幀中當前宏塊對應的運動矢量，而(xc，yc)表示初始搜索中心位置；6)根據預測的初始中心位置，定位參考幀中對應的宏塊；所述的靜止宏塊判定是根據自適應確定的閾值T0，再計算出當前宏塊與其在參考幀中的初始對應宏塊的SAD(sum of absolute differences，意為絕對差和，簡稱SAD)，將其與自適應閾值T0相比較，判斷是否為靜止宏塊，具體步驟如下5)根據公式(4)計算出自適應閾值T0； 6)計算當前宏塊與其在參考幀中的初始對應宏塊的SAD；7)比較SAD與T0，當SAD≤T0時，其預測得出的初始中心位置就是最終的最佳匹配點，此時就可跳過此宏塊直接對下一宏塊進行運動估計；8)否則，進入所述搜索區(qū)域自適應調整的步驟；所述的搜索區(qū)域自適應調整是利用相鄰宏塊的運動矢量及前一幀對應位置運動矢量的相關性，根據前面得出的相鄰宏塊的運動矢量及前一幀對應位置的運動矢量，計算出自適應確定的搜索區(qū)域的大小，具體步驟如下1)從緩存中取出相鄰宏塊的運動矢量及前一幀對應位置運動矢量；2)根據公式(5)，(6)計算出自適應確定的搜索區(qū)域A的大??；D=Σi=0NMV|Vimotion|NMV---(5)]]> 3)根據搜索區(qū)域A的大小，確定合適的搜索方法。
2.根據權利要求1所述的基于H.264的自適應塊搜索范圍快速運動估計方法，其特征在于所述的根據搜索區(qū)域A的大小來確定合適的搜索方法具體步驟如下當搜索區(qū)域A≤2時，采用全搜索方法；當搜索區(qū)域A≥3時，則與三步法或新三步法或四步法或菱形法等快速搜索方法相結合。
全文摘要
一種基于H.264的自適應塊搜索范圍快速運動估計方法，包括有初始搜索中心位置預測、靜止宏塊判定、搜索區(qū)域自適應調整三個步驟。本發(fā)明采用了自適應確定搜索范圍的思想，并根據相鄰塊運動矢量的絕對值來動態(tài)地確定每個塊的搜索區(qū)域大小，由于利用了圖像運動的幀間、幀內相關性來找到其初始搜索中心位置，并動態(tài)地確定每個塊的搜索區(qū)域的大小，從而可根據幀率和運動幅度的不同，不同程度地減少運算復雜度；同時能夠在基本不損失信噪比的前提下，提高這種搜索運動估計方法的運算速度，具有適用面廣、魯棒性強的特點。
文檔編號H04N7/32GK1791224SQ200510062088
公開日2006年6月21日 申請日期2005年12月19日 優(yōu)先權日2005年12月19日
發(fā)明者何加銘, 鄭慶輝, 范志蔚, 曾興斌, 劉麗, 張德添 申請人:寧波大學, 寧波新然電子信息科技發(fā)展有限公司