專利名稱：高級視頻編碼幀內預測的系統(tǒng)和方法
技術領域：
本發(fā)明涉及數字視頻信號的壓縮，特別涉及一種高級視頻編碼幀內預測的系統(tǒng)和方法。更特別地，本發(fā)明涉及確定是否對興趣當前塊執(zhí)行16×16幀內亮度預測。
背景技術：
數字視頻和視頻/音頻產品和如視頻電話、遠程電信會議、數字電視系統(tǒng)和類似服務，互聯網上視頻/音頻流的存儲和恢復設備在市場上是普遍存在的。由于數字信號存儲容量的限制和互聯網和廣播帶寬的限制，對于數字視頻存儲和傳輸，數字視頻信號的壓縮是必要的。結果是，發(fā)布了許多數字視頻和視頻/音頻信號的壓縮和編碼的標準。這些標準特別規(guī)定編碼視頻信號的形成以及這些信號怎樣被解碼以顯示給觀眾。
壓縮的實現可能依靠視頻信號的每一圖像幀內和相鄰圖像之間的高度冗余。換句話說，一個圖像幀可能僅稍微不同于在先圖像幀，或者一個圖像幀的一部分可能稍微不同于該同一圖像幀的另一部分。該冗余允許根據在先圖像幀或同一圖像幀的在先部分，推斷和預測一個圖像幀內的某些部分。因此，視頻信號中實際需要傳送的信息的數量被充分減小。
許多編碼標準被發(fā)展以幫助標準化視頻和音頻信號在低帶寬媒介上的傳輸。這種標準的一個例子是ITU-T規(guī)范H.264和ISO標準MPEG-4的第10部分，“高級視頻編碼”(在下文中簡稱“AVC”)，該高級視頻編碼被設計提供一種視覺編碼標準，以在如低比特率通信、交互式多媒體(例如游戲、交互式電視和類似應用)以及監(jiān)視等應用中，允許基于內容的互動、提高的編碼效率和全方位訪問功能。
在這樣的標準之下，圖像幀內和相鄰圖像幀之間的高度內容冗余允許根據周圍或相鄰塊推斷和預測一個塊。更特殊地，該冗余允許像素或DCT系數或用于該編碼方案中以表現塊中像素的顏色和亮度的其它轉換系數的預測。該像素的運動也可根據該冗余被預測。通常，可被用于預測的信息的數量越大，塊中像素的預測越準確，因此剩余預測誤差越小，越易于編碼，對給定比特率限制的被傳送視頻帶來更高的壓縮率和更高的質量。
幀內編碼涉及視頻幀內僅空間冗余被利用的情況。INTRA編碼可用于任何幀類型中(I、P、B幀)，作為對INTER編碼的替代，I畫面典型地通過直接對幀中不同宏塊應用轉換被編碼(在沒有INTRA預測的早期標準中)。因而，因為大量信息存在于幀中，所以被編碼的I-畫面尺寸很大。
如果宏塊以幀內模式編碼，則預測塊基于在先編碼或重構的塊(已經編碼的宏塊設于興趣當前宏塊頂部或者左側)形成。該預測塊P在編碼前被從興趣當前模塊中減去。對于亮度(luma)采樣，對于每個4×4子塊或對于16×16宏塊，P可被形成。對于每個4×4亮度塊，共有9種可選預測模式，對于一個16×16亮度塊，共有4種可選預測模式。
4×4幀內亮度預測現參照圖1，展示了標號A-M的采樣數據塊。開始六種模式將該16×16塊分成16個4×4子塊。每一子塊中的像素被相應編號1)小寫字體是將被編碼的子塊中的像素；2)大寫字體是已經被編碼的相鄰子塊中的像素。
現參照圖2，展示了指明每一模式中預測方向的箭頭。對于模式3-8，被預測的采樣從預測采樣A-M的加權平均值中形成。
例如，如果選擇模式1(水平預測)，則像素“a”-“p”的值被分配如下a，b，c，d等于I，e，f，g，h等于J，i，j，k，l等于K，
m，n，o和p等于L。
在選擇模式0(垂直預測)的情況下，像素“a”-“p”的值被分配如下a，b，c，d等于A，e，f，g，h等于B，i，j，k，l等于C，m，n，o和p等于D。
在選擇模式3(左側斜向下預測)的情況下，像素“a”-“p”的值被給定如下a等于(A+2B+C+2)/4，b和e等于(B+2C+D+2)/4，c，f和i等于(C+2D+E+2)/4，d，g和j等于(D+2E+F+2)/4，h，k和n等于(E+2F+G+2)/4，l和o等于(F+2G+H+2)/4，p等于(G+3H+2)/4。
對于給定4×4塊，根據9種預測模式中的每一種創(chuàng)建預測塊P后，預測誤差的值典型地被確定。例如，對于從每一預測模式產生的每一預測塊P，絕對誤差和(the Sum of Absolute Errors，SAE)可用于指示該預測誤差的值。給出最小預測誤差的預測塊P被確定為興趣實際當前塊的最佳匹配。
16×16幀內亮度預測對以上描述的4×4亮度預測模式的一種替代是宏塊完整16×16亮度元件的預測。四種預測模式(DC、垂直、水平和平面)對于16×16幀內編碼是有效的。這種替代更適用于具有較少空間細節(jié)的域(例如平坦域)。
對興趣給定塊的每一模式(4×4的9種模式和16×16的4種模式)計算預測塊并確定每一預測塊的預測誤差的值，要求相當大的處理功率和時間。因此，需要一種系統(tǒng)和方法，更有效地確定最佳幀內亮度預測模式，以用于產生興趣當前塊的最佳匹配。
通過以下結合附圖對本發(fā)明的描述，將常規(guī)和傳統(tǒng)方法與本發(fā)明進行比較，本技術領域的普通技術人員會更明了常規(guī)和傳統(tǒng)方法的更多局限性和缺點。

發(fā)明內容
本發(fā)明包括一種系統(tǒng)和方法，結合附圖中至少之一充分展示和/或描述，并在權利要求中更全面地闡明。
根據本發(fā)明的一方面，提供一種為興趣當前塊確定預測塊的方法，該方法包括下列步驟確定4×4幀內亮度預測方向之間的相關性；以及根據所確定的相關性，利用16×16幀內亮度預測計算附加預測塊或者跳過該16×16幀內亮度預測計算。
優(yōu)選地，如果4×4幀內亮度預測方向之間的相關性為高，則利用16×16幀內亮度預測計算所述附加預測塊。
優(yōu)選地，如果所述相關性大于預先確定的閾值，則該相關性為高。
優(yōu)選地，如果4×4幀內亮度預測方向之間的相關性為低，則利用16×16幀內亮度預測的所述附加預測塊不被計算。
優(yōu)選地，如果所述相關性小于預先確定的閾值，則該相關性為低。
優(yōu)選地，所述方法進一步包括下列步驟利用價值函數確定每一預測塊的預測位成本。
優(yōu)選地，所述方法進一步包括下列步驟確定具有最低成本的預測塊；以及選擇具有最低成本的預測塊。
根據本發(fā)明的一方面，提供一種在視頻信號編碼協(xié)議中為興趣當前塊預測幀內編碼塊的方法，該方法包括下列步驟為興趣當前塊確定幀內4×4預測；確定該幀內4×4預測至16×16預測模式之間的相關性。
優(yōu)選地，所述方法進一步包括下列步驟
如果幀內4×4預測至16×16預測模式之間是低度相關，則興趣當前塊的16×16幀內亮度預測不被計算。
優(yōu)選地，所述方法進一步包括下列步驟計算每一4×4預測塊的成本；以及選擇具有最低成本的4×4預測塊，作為對興趣當前塊的預測塊。
優(yōu)選地，所述方法進一步包括下列步驟如果幀內4×4預測至16×16預測模式之間是高度相關，則興趣當前塊的16×16幀內亮度預測被計算。
優(yōu)選地，所述方法進一步包括下列步驟對每一4×4預測塊計算成本；對每一16×16預測塊計算成本；以及選擇具有最低成本的4×4或16×16預測塊，作為對興趣當前塊的預測塊。
根據本發(fā)明的一方面，提供一種為興趣當前塊確定預測塊的系統(tǒng)，該系統(tǒng)包括相關性檢測器，用于檢測4×4幀內亮度預測方向之間的相關性；以及16×16幀內亮度預測確定器，用于利用16×16幀內亮度預測計算附加預測塊；其中只有當該4×4幀內亮度預測方向之間的相關性為高時，利用16×16幀間亮度預測的附加預測塊被計算，當該4×4幀內亮度預測方向之間的相關性為低時，利用16×16幀間亮度預測的附加預測塊不被計算。
優(yōu)選地，如果所述4×4幀內亮度預測塊之間的相關性大于預先確定的16×16幀內亮度預測閾，則該相關性為高。
優(yōu)選地，如果所述4×4幀內亮度預測塊之間的相關性小于預先確定的16×16幀內亮度預測閾，則該相關性為低。
優(yōu)選地，所述系統(tǒng)進一步包括編碼復雜度分析器，用于為給定預測塊確定價值函數。
優(yōu)選地，所述編碼復雜度分析器為給定預測塊確定預測位成本。
優(yōu)選地，具有最低價值函數的預測塊被選作對編碼興趣當前塊的預測塊。


在此結合的附圖作為說明書的一部分，與具體實施方式
一同描述本發(fā)明，進一步解釋本發(fā)明的原理，使得本技術領域的普通技術人員能夠制造和使用本發(fā)明。
圖1是標號A-M的采樣數據塊的圖表。
圖2是幀內亮度預測的預測模式的方向的示意圖。
圖3是根據本發(fā)明實施例舉例說明確定預測塊的步驟的流程圖。
圖4是根據本發(fā)明實施例舉例說明確定4×4預測方向和16×16預測模式之間的相關性的步驟的流程圖。
圖5是根據本發(fā)明實施例舉例說明系統(tǒng)的結構示意圖。
具體實施例方式
現將參照附圖中所描述的幾個較佳實施例對本發(fā)明作詳細描述。在下列詳細描述中，列出了許多特殊細節(jié)以提供本發(fā)明的全面理解。然而，顯然，對于本技術領域的普通技術人員，沒有這些特殊細節(jié)中的一些或全部，本發(fā)明仍可以實施。在另一些例子中，眾所周知的方法或步驟沒有被詳細描述，以避免使得本發(fā)明晦澀難懂。
本發(fā)明一般關于在視頻信號編碼協(xié)議中，例如在高級視頻編碼(“AVC”)系統(tǒng)中，預測幀內編碼。更特殊地，本發(fā)明關于一種為興趣當前塊確定預測塊的改進的系統(tǒng)和方法。如果幀內4×4預測方向之間是高度相關，其中的大多數平行、垂直或DC，那么本發(fā)明執(zhí)行16×16的幀內預測和價值函數，以確定是否應該使用16×16幀內預測。如果16×16幀內預測的成本低于所有4×4幀內預測模式加上其開銷信令模式成本，那么本發(fā)明通過將所有被選的16×(幀內預測4×4)變?yōu)橐粋€16×16幀內預測模式(將16×16模式設置到建立的相關方向)節(jié)約模式開銷。如果對16×16預測模式的相關性低于預先確定的閾值，那么利用16×16幀內亮度預測的附加預測塊不被計算。
現參照圖3，展示了根據本發(fā)明實施例舉例說明對興趣當前塊確定預測塊的步驟的流程圖。首先，在步驟302為所有4×4幀內亮度預測模式計算預測塊。接著，在步驟304，計算4×4預測方向之間的相關性。計算4×4預測方向之間的相關性的步驟將參照圖4做更詳細地描述。
然后在步驟306，將該相關性與預先確定的閾值比較。如果該相關性大于該預先確定的閾值，那么認為4×4幀內預測方向之間是高度相關。如果該相關性等于或低于該預先確定的閾值，則認為4×4幀內預測方向之間是低度相關。本技術領域的普通技術人員將認識到本發(fā)明不被限于這一確定該相關性是高還是低的慣例，而是該預先確定的閾值的任何關系或參考都可以被用于確定高度或低度相關。
如果4×4幀內亮度預測方向和16×16預測模式之間是高度相關，那么在步驟308，為所有16×16方向計算預測塊。而后，在步驟310，確定和分析每一4×4預測塊和每一16×16預測塊的成本。在步驟312，選擇具有最低成本的4×4預測塊或16×16預測塊，作為興趣當前塊的預測塊。
如果4×4幀內亮度預測方向之間是低度相關，那么本發(fā)明在步驟314跳過對興趣當前塊的16×16幀內亮度預測。在步驟316，確定和分析每一4×4預測塊的成本，并在步驟318選擇具有最低成本的4×4預測塊，作為興趣當前塊的預測塊。因此，本發(fā)明通過當對4×4數據塊的預測過程不與16×16方向相關時跳過對16×16數據塊的預測過程，來提高效率。其結果是節(jié)省處理功率和時間。
本技術領域的普通技術人員將意識到，可使用各種方法計算各種預測塊的成本。在一個實施例中，可利用下列等式計算成本(COST)剩余子塊＝當前子塊-預測幀內子塊。
在另一實施例中，VAR COST可被計算以確定給定預測塊的成本。在該實施例中，可通過與上述相同的方法、根據每一4×4的剩余子塊＝全部16像素(VEC len＝16)計算VAR，確定子塊成本。然后可通過計算所有子塊成本(16VAR的總和)加方向開銷(如果該方向是從子塊變化到子塊)的和確定宏塊成本(MB COST)。
在另一實施例中，絕對變換差值的加權和成本(Weighted Sum ofAbsolute Transformed Differences cost，簡稱WSATD COST)可被用于計算給定預測塊的成本。在這一實施例中，可在每一剩余子塊上執(zhí)行眾所周知的哈達瑪(Hadamart)4×4變換。而后通過以成本矩陣(一點一點遞增或排列遞增)乘變換系數確定W變換(WTransform)TransformVal(I，J)×CostMatrix(I，J)。再通過執(zhí)行絕對W變換系數的和確定子塊成本，通過計算所有子塊成本(16VAR的總和)加方向開銷(如果該方向是從子塊變化到子塊)的和確定宏塊成本(MB COST)。
在計算4×4預測方向之間的相關性時，可應用不同的已知相關方法?，F參考圖4，展示了根據本發(fā)明實施例舉例說明確定4×4預測方向和16×16預測方向之間的相關性的步驟的流程圖。在步驟402，計算16子塊預測方向的矢量(VEC)。在一個實施例中，使用標準4×4方向和本發(fā)明的幀內預測相關性之間的映射函數。更適宜地，該映射函數通過下列方式定義標準4×4幀內方向3→使用0值的本發(fā)明的相關器7→1，0→2，5→3，4→4，6→5，1→6，8→7。
接著，在步驟404，計算VEC的平均值(MEAN)。因此，MEAN＝(1/16)×∑VEC(i)。
然后，在步驟406，計算VEC的變化(VAR)。因此VAR{E(X^2)-E(X)^2}＝(1/16)×∑(VEC(i)^2)-(1/256)×(∑VEC(i))^2。
接著，在步驟408，使用相關值MEAN和VAR確定是否需要幀內16×16預測。根據本發(fā)明的一個實施例，如果MEAN值是處于水平、垂直或DC方向，且VAR低于預先確定的閾值，那么執(zhí)行MEAN方向16×16預測。如果MEAN值不處于水平、垂直或DC方向或VAR低于預先確定的閾值，那么沒有16×16預測被執(zhí)行。在一個實施例中，利用嘗試和錯誤試驗方法確定該預先確定的閾值。在較佳實施例中，該預先確定的閾值等于2。因此，本發(fā)明通過當對4×4數據塊的預測過程不與16×16方向相關時跳過對16×16數據塊的預測過程，來提高效率和節(jié)省處理功率。
在另一實施例中，可通過在4×4成本評估和相關級中使用非重構的環(huán)繞子塊系數，實現進一步成本節(jié)省。首先，必須確定幀內編碼模式的優(yōu)先方向。然后，必須確定是使用幀內還是使用幀間編碼(僅在P、B幀中有效)模式。在當選擇幀間預測的情況下，使用編碼的重構的環(huán)繞子塊。如果幀間編碼模式被確定具有較低宏塊成本，那么重構計算中的一些被節(jié)省。在較佳實施例中，重構的計算涉及4×4子塊的全編碼，也就是整數變換(4×4)→量化→逆量化→逆整數變換(4×4)。
現參照圖5，展示了確定興趣當前塊的預測塊的系統(tǒng)500的結構示意圖。在較佳實施例中，系統(tǒng)500可在美國加利福尼亞州歐文市的博通公司生產的BCM7034設備中實現，執(zhí)行其各種功能。系統(tǒng)500包括4×4幀內亮度預測器502，用以為興趣當前塊計算4×4預測塊16×16幀內亮度預測器504，用以如果被要求，則為興趣當前塊計算16×16預測塊；相關性檢測器506，用于確定4×4預測方向和16×16預測方向之間的相關性并將該相關性與預先確定的閾值比較；價值函數分析器508，用以確定每一被計算的預測塊的成本；以及預測塊選擇器510，用以根據最低成本選擇預測塊。該系統(tǒng)500還包括存儲器512，用以存儲塊、宏塊和預測塊信息。
如以上描述，只有當4×4幀內亮度方向之間的相關性為高(即大于預先確定的閾值)時，系統(tǒng)500才利用16×16幀內亮度預測計算預測塊。如果4×4幀內亮度方向之間的相關性為低(即小于預先確定的閾值)，利用16×16幀內亮度預測的預測塊不被計算。
雖然本發(fā)明已參考某些實施例進行了描述，對本領域的普通技術人員來說可以理解，各種改變及等同將不脫離本發(fā)明的范圍。另外，很多對本發(fā)明所述內容的適合特別情況和材料的修改也不脫離本發(fā)明的范圍。因此，本發(fā)明不限于所揭示的特定實施例，本發(fā)明將包括落入權利要求范圍中的所有實施例。
本申請要求大衛(wèi)·德茲納于2004年6月9日申請的申請?zhí)枮?，名稱為“高級視頻編碼幀內預測方案”美國臨時申請德優(yōu)先權，該申請在此作為本申請的全面參考。
權利要求
1.一種為興趣當前塊確定預測塊的方法，其特征在于，該方法包括下列步驟確定4×4幀內亮度預測方向之間的相關性；以及根據所確定的相關性，利用16×16幀內亮度預測計算附加預測塊或者跳過該16×16幀內亮度預測計算。
2.根據權利要求1所述的方法，其特征在于，如果4×4幀內亮度預測方向之間的相關性為高，則利用16×16幀內亮度預測計算所述附加預測塊。
3.根據權利要求1所述的方法，其特征在于，如果所述相關性大于預先確定的閾值，則該相關性為高。
4.根據權利要求1所述的方法，其特征在于，如果4×4幀內亮度預測方向之間的相關性為低，則利用16×16幀內亮度預測的所述附加預測塊不被計算。
5.一種在視頻信號編碼協(xié)議中為興趣當前塊預測幀內編碼塊的方法，其特征在于，包括下列步驟為興趣當前塊確定幀內4×4預測；確定該幀內4×4預測至16×16預測模式之間的相關性。
6.根據權利要求5所述的方法，其特征在于，進一步包括下列步驟如果幀內4×4預測至16×16預測模式之間是低度相關，則興趣當前塊的16×16幀內亮度預測不被計算。
7.根據權利要求6所述的方法，其特征在于，進一步包括下列步驟計算每一4×4預測塊的成本；以及選擇具有最低成本的4×4預測塊，作為興趣當前塊的預測塊。
8.一種為興趣當前塊確定預測塊的系統(tǒng)，其特征在于，包括相關性檢測器，用于檢測4×4幀內亮度預測方向之間的相關性；以及16×16幀內亮度預測確定器，用于利用16×16幀內亮度預測計算附加預測塊；其中只有當該4×4幀內亮度預測方向之間的相關性為高時，利用16×16幀間亮度預測的附加預測塊被計算，當該4×4幀內亮度預測方向之間的相關性為低時，利用16×16幀間亮度預測的附加預測塊不被計算。
9.根據權利要求8所述的系統(tǒng)，其特征在于，如果所述4×4幀內亮度預測塊之間的相關性大于預先確定的16×16幀內亮度預測閾，則該相關性為高。
10.根據權利要求8所述的系統(tǒng)，其特征在于，如果所述4×4幀內亮度預測塊之間的相關性小于預先確定的16×16幀內亮度預測閾，則該相關性為低。
全文摘要
本發(fā)明揭示了一種在視頻信號編碼協(xié)議中有效地為興趣當前塊確定預測塊的方法和系統(tǒng)。在一個較佳實施例中，其通過確定幀內4×4預測和 16×16預測模式之間是否有相關性而實現。如果對16×16預測模式的相關性低于預先確定的閾值，那么利用16×16幀內亮度預測的附加預測塊不被計算。如果對16×16預測模式的相關性高于該預先確定的閾值，那么利用16×16幀內亮度預測計算該附加預測塊。然后可使用價值函數確定每一個預測塊的預測位成本，并選擇具有最低成本的預測塊作為興趣當前塊的預測塊。
文檔編號H04N7/34GK1717051SQ200510075640
公開日2006年1月4日 申請日期2005年6月8日 優(yōu)先權日2004年6月9日
發(fā)明者戴維·德雷澤納, 吉迪恩·科尤卡羅 申請人:美國博通公司