專利名稱：基于在編碼流中傳送的內部預測模式的空間差錯隱藏的制作方法
技術領域：
本發(fā)明涉及一種用于對出現在編碼視頻流的編碼圖像中的差錯進行糾正的技術。
背景技術：
在許多情況下，對視頻流進行壓縮(編碼)以便易于存儲和傳輸。在傳輸期間，因為信道差錯和/或網絡擁塞，這樣的編碼視頻流常常導致數據丟失或變得受損。在解碼時，數據的丟失/受損使其自身表現為缺失的像素值。為了減少這樣的假象，編碼器將通過對來自相同圖像中的其它宏塊、或來自其它圖像中的值進行估計，“隱藏(conceal)”這樣的缺失的像素值。術語“隱藏”略微有些用詞不當，因為編碼器實際上并未隱藏缺失或受損的像素值差錯?？臻g隱藏試圖通過使用來自依賴于空間域中的相鄰區(qū)域之間的相似性的、圖像中的其它區(qū)域的像素值，得出缺失/受損的像素值。典型地，以相同程度的復雜性，空間隱藏技術實現了比依賴于來自其它傳輸圖像的信息的時間差錯隱藏技術更低的性能。
僅在其中任何時間選項均不可用的那些示例中，即，當丟失影響到了內部編碼圖像、內部更新圖像時，或當沒有時間信息可用時，差錯隱藏算法應當調用空間插值。使用已隱藏圖像作為參考的未來內部編碼幀的質量將取決于空間隱藏的質量。當空間隱藏產生了相對較差的內部編碼圖像時，每個得到的幀間編碼圖像將同樣具有較差的質量。
目前存在幾個用于空間差錯隱藏的技術。包括·塊復制(BC)根據此方案，缺失/受損的宏塊的代替是從其正確編碼的鄰宏塊中獲得的。
·像素域插值(PDI)在正確編碼的鄰宏塊的邊界處，根據像素值，對缺失/受損的宏塊數據進行插值。存在實現PDI的兩種不同方案。例如，可以對宏塊內所有像素進行插值，以得到共同平均值?？蛇x地，通過基于到宏塊邊界的像素距離的加權預測，獲得每個像素值。
·多方向插值(MDI)多方向插值技術構成了PDI技術的改進版本，因為MDI技術提供了沿邊緣方向的插值。實現MDI需要在方向插值之前，對在缺失/受損的像素值附近的主輪廓的方向進行估計。執(zhí)行在有限數量的方向上邊緣檢測和量化仍保持為一個難題。
最大平滑恢復(MSR)在離散余弦(DCT)域中，將低頻成分用于差錯隱藏，以提供與相鄰像素的平滑連接。當使用數據分塊編碼時，MSR技術利用正確接收的DCT系數，代替丟棄受損宏塊/塊中的所有數據。
凸集投影(POCS)根據此技術，在快速傅里葉變換(FFT)域中、根據對由缺失/受損的像素值環(huán)繞宏塊的較大區(qū)域的分類，執(zhí)行自適應濾波。這樣的自適應濾波包括在對陡峭區(qū)域上應用邊緣濾波器的同時，在平滑區(qū)域上應用低通濾波。此過程包括濾波迭代，幾個先驗約束將應用于所處理的圖像。
表1突顯了為了實現空間隱藏、在不同公知方案的復雜度和質量之間的折中。
表1


根據空間差錯隱藏，視頻解碼器面對在所能負擔的計算復雜度和所需的恢復圖像質量之間富有挑戰(zhàn)性的折中。典型地，多數視頻解碼器僅實現諸如針對實時應用的BC或PDI算法等快速算法。如所述，這些算法通過復制相鄰值或對相鄰值進行平均，粗略覆蓋丟失/受損區(qū)。這樣的對策導致了低質量的圖像，即使在以高幀速率進行顯示時，也可見到假象。
因此，需要通過以低/中間復雜度、在邊緣上提供優(yōu)質的隱藏來解決前述缺點的空間差錯隱藏技術。

發(fā)明內容
簡要地，根據本原理，提供了一種對在由宏塊流構成的編碼圖像中的差錯進行空間隱藏的技術。通過對以具有缺失/受損的像素值的宏塊形式的差錯進行識別，該方法開始。針對每個已識別的宏塊，從相鄰宏塊中得出至少一個內部預測模式。當根據ISO/ITU H.264視頻壓縮標準對圖像進行編碼時，兩個內部編碼類型可用于對每個宏塊的編碼(1)針對Intra_16×16類型，針對整個宏塊得出單一的內部預測模式；(2)針對Intra_4×4類型，針對宏塊內部的每個4×4像素的子宏塊，得出內部預測模式(在此情況下，每個編碼宏塊存在十六個內部預測模式)。最后，將所得出的內部預測模式用于產生缺失的像素值。將所得出的內部預測模式應用于估計缺失或受損的像素值的處理對應于在解碼期間所使用的導出處理，以便估計(預測)編碼值以減少編碼努力。換句話說，本技術將在編碼時通常使用的內部預測模式信息用于空間差錯隱藏目的。當涉及特定宏塊的編碼數據丟失或受損時，從相鄰宏塊中導出的內部預測模式可以為空間差錯隱藏提供與哪一個方向是最佳插值方向有關的重要信息。將內部預測模式用于空間差錯隱藏產生了顯著好于具有類似復雜度的傳統(tǒng)空間差錯隱藏技術的性能。


圖1示出了劃分為宏塊的編碼圖像，將每個宏塊劃分為塊，并將每個塊劃分為像素。
圖2A示出了用于出于編碼目的建立預測差錯值的內部預測模式方向的矢量顯示；圖2B-2J的每一個均示出了圖2A中所示的相應內部模式預測方向中的單獨一個的4×4子宏塊；圖3示出了在利用根據本原理的內部預測模式實現空間差錯隱藏中使用的支持窗口；以及圖4示出了用于根據本原理對包括空間差錯隱藏的編碼圖像進行解碼的處理的流程圖。
具體實施例方式
諸如在已提出的ISO/ITU H.264視頻壓縮標準中具體實現的基于塊的視頻壓縮技術通過將圖像分成片段來進行操作，每個片段包括宏塊集或宏塊對，根據標準對每個宏塊進行編碼。典型地，將宏塊定義為16×16像素的方形區(qū)域。出于編碼的目的，可以將宏塊進一步分為子宏塊，并不一定為方形。當對宏塊進行編碼時，子宏塊中的每一個均可以具有不同編碼模式。為了易于描述，將塊稱為4×4像素的子宏塊。圖1示出了將編碼圖像100劃分成宏塊110，其中將每個宏塊110劃分成塊120，并將每個塊劃分為像素130。圖1的已劃分圖像100包括n行乘m列的宏塊110，其中n和m是整數。注意，圖像內宏塊的數量根據圖像的尺寸而改變，而宏塊內塊的數量是不變的。
為了降低對已劃分圖像100內每個宏塊110單獨編碼的成本、可以將來自己經傳輸的宏塊的信息用于產生對單個宏塊的編碼預測。在此情況下，僅預測差錯和預測模式需要傳輸。用于編碼圖像的視頻編碼標準將指定用于導出預測像素值的處理，以便確保編碼器(未示出)和解碼器(未示出)獲得相同估計。根據ISO/ITU H.264標準，可以將單獨宏塊內部預測為16×16像素的單個分塊(Intra_16×16型編碼)，或內部預測為16個4×4像素塊的分塊(Intra_4×4型編碼)。針對Intra_16×16型編碼，ISO/ITU H.264標準規(guī)定了四個內部預測模式模式0，垂直預測；模式1，水平預測；模式2，DC預測；模式3，平面預測。針對Intra_4×4型編碼類型，ISO/ITU H.264標準規(guī)定了九個內部預測模式，每一個內部預測模式均已經關聯(lián)了插值濾波器，以便當使用模式之一進行預測時，導出對塊內的每個像素的預測，所述模式包括模式0，垂直預測；模式1，水平預測；模式2，DC預測；模式3，左下對角預測；模式4，右下對角預測；模式5，垂直向右預測；模式6，水平向下預測；模式7，垂直向左預測；以及模式8，水平向上預測。
圖2A示出了表示由ISO/ITU H.264標準規(guī)定的內部預測模式0-8中的每一個的方向的矢量顯示(注意，對應于DC模式的模式2沒有方向，這是因為其均一地預測同類區(qū)域內的塊內容)。其它模式0-1和3-8沿八個量化方向之一預測宏塊的內容。當在編碼器處(未示出)編碼時，在編碼流中發(fā)送與每個內部編碼宏塊相關聯(lián)的模式預測方向。解碼器(未示出)使用內部模式預測連同插值濾波器一起，根據已經解碼的相鄰塊的像素值，預測塊的內容。每個插值濾波器均定義了適當的加權因子，以便按照與內部預測模式相關的方向傳播信息，參見圖2B-2J中每一個。
根據本原理，通常用于解碼目的的內部預測模式還可以提供一個非常好的用于估計宏塊中缺失或受損的像素值的機制，以便實現空間差錯隱藏。當與特定宏塊相關聯(lián)的編碼數據出現丟失或缺失時，已經用于估計相鄰塊的內容的內部預測模式可以提供與用于估計丟失像素值的最佳插值方向有關的重要信息，以便實現空間差錯隱藏。
圖1的劃分圖像100內任何數量的相鄰塊120均可以用作針對具有缺失或受損的像素塊的預測體。原理上，對具有缺失或受損的像素塊附近的塊120的數量進行限制降低了復雜度。為此，定義了支持窗口140(如圖3所示)以限制為針對空間隱藏目的而考慮到的相鄰塊120的數量。如將會理解的，支持窗口140的尺寸越大(因此，相鄰塊的數量越多)，對用于預測缺失塊的內部模式的選擇越可靠，但以復雜性的增加為代價。并非圖3的所定義的支持窗口140內的所有塊都需要通過內部模式預測來隱藏所關心的塊。支持窗口140內一個或多個塊120也可能需要隱藏(即，對于其，沒有信息可用)，或者簡單地，這樣的塊對于內部模式選擇標準而言并不相關。在最簡單的情況下，內部預測模式可能依賴于需要隱藏的塊的上方和左邊的塊。
參照圖3，以下符號將用于定義支持窗口140內的相鄰塊120。支持窗口140內需要隱藏的塊B具有坐標(p0，q0)。因此，支持窗口140變?yōu)橐詨KB為中心的矩形，具有位于其左上角的坐標(p0-P，q0-Q)以及位于其右下角的坐標(p0+P，q0+Q)，這里的P和Q包括分別指定支持窗口行和列的數量的整數。在圖3所示的說明性實施例中，P＝Q＝2，定義了以方塊B為中心的方形5×5相鄰塊。
為了實際的實現，必須對標準進行定義，以從支持窗口內可用的模式中選擇內部模式預測。根據本原理，支持窗口140內的內部預測模式的相對位置用作內部模式選擇標準的輸入。因為每個內部預測模式定義了插值的方向，當這樣的宏塊出現于支持窗口140內的某些相對位置時，具有這種模式的宏塊僅出于隱藏的目的變得相關。
為了明確指定支持窗口140內的塊，按照光柵掃描順序標注塊120，如圖3所示。根據所提出的標準，當且僅當此模式出現于如圖2A所示的相關空間方向時，才出現對用于隱藏支持窗口140內的中心塊B的模式的選擇。例如，僅當方塊#9或方塊#16已經按照左下對角方向進行預測時，塊B將相對于沿圖3中左下對角方向獲得的數據發(fā)生隱藏。在標準中已經包含其它塊，以降低選擇標準對在編碼流上虛假使用特定模式的敏感性。注意，這些條件僅應用于支持窗口140內正確接收或已經隱藏的那些相鄰塊。此外，并非所定義的支持窗口140內的所有相鄰塊都參與對正進行空間隱藏的當前塊的內部模式的選擇。
表2提供了針對以要隱藏的塊為中心的5×5塊的支持窗口140的選擇標準的典型實施例。
表2

在優(yōu)選實施例中，典型地，空間差錯隱藏出現在以圖4的流程圖中所示的方式進行解碼的期間。圖4所示的解碼處理開始于在步驟400期間，根據控制參數和輸入數據，對進入(輸入)編碼視頻流的宏塊進行熵解碼。結合這種解碼，在步驟402期間，確定編碼圖像是否構成內部編碼圖像。如果是，則在步驟404期間，通過內部預測獲得編碼差值(預測差錯)；反之，在步驟406期間，通過幀間預測建立這樣的預測差錯。在步驟404和406之后，在步驟408期間進行差錯檢測，以便在步驟410期間，確定宏塊是否包含缺失或受損的像素值。如果針對圖3中所建立的支持窗口140中的相鄰宏塊的預測值已經根據內部預測建立起來，則通過選擇內部預測模式，對空間差錯進行隱藏，因此，重新執(zhí)行步驟402。利用幀間預測而不是內部預測來建立相鄰宏塊中的預測值將需要通過不同的內部預測來建立缺失/丟失的像素值。
利用由H.264標準的參考軟件(JM50版本)提供的內部預測模式作為輸入數據的經驗測試產生了比具有相似復雜度的傳統(tǒng)空間隱藏技術更優(yōu)的結果。針對所有測試圖像，峰值信噪比值發(fā)生增加，表示可視質量提高，這是因為對丟失區(qū)域中輪廓的較好預測。
以上描述了利用通常與編碼預測相關的內部預測模式來隱藏編碼視頻流內的空間差錯的技術。
權利要求
1.一種用于隱藏由宏塊流構成的編碼圖像中的空間差錯的方法，包括以下步驟在每個宏塊中檢查像素數據差錯，并且如果存在這樣的差錯，則根據相鄰塊建立至少一個內部預測模式，然后根據至少一個已建立的內部預測模式得出估計像素數據，以糾正所述像素數據差錯。
2.根據權利要求1所述的方法，其特征在于所述編碼圖像是根據預定編碼標準進行編碼的，以及所述內部預測模式是由預定編碼標準規(guī)定的。
3.根據權利要求2所述的方法，其特征在于所述編碼圖像是根據ISO/ITU H.264編碼標準進行編碼的，以及所述內部預測模式是由ISO/ITU H.264編碼標準規(guī)定的。
4.根據權利要求1所述的方法，其特征在于所述建立至少一個內部預測模式受限于以具有缺失的像素數據塊為中心的塊的矩形陣列內的信息。
5.根據權利要求3所述的方法，其特征在于所述至少一個內部預測模式是根據與具有像素數據差錯的宏塊相鄰的宏塊的內部預測模式的相對位置建立的。
6.一種用于隱藏由根據ISO/ITU H.264標準編碼的宏塊流構成的編碼圖像中的空間差錯的方法，所述方法包括以下步驟在每個宏塊中檢查像素數據差錯，并且如果存在這樣的差錯，則根據相鄰塊導出至少一個內部預測模式，所述模式是由ISO/ITUH.264標準規(guī)定的；以及應用與至少一個導出的內部預測模式相對應的至少一個插值濾波器以估計像素數據，以便糾正像素數據差錯。
7.根據權利要求6所述的方法，其特征在于所述建立至少一個內部預測模式受限于以具有缺失的像素數據塊為中心的塊的矩形陣列內的信息。
8.根據權利要求7所述的方法，其特征在于所述至少一個內部預測模式是根據與具有缺失的像素數據的塊相鄰的塊的內部預測模式的相對位置建立的。
9.根據權利要求6所述的方法，其特征在于可以將單個宏塊內部預測為16×16像素的單個分塊(Intra_16×16型編碼)，或者16個4×4像素塊的分塊(Intra_4×4型編碼)。
10.根據權利要求9所述的方法，其特征在于針對Intra_16×16型編碼，所述內部預測模式包括(a)模式0，垂直預測；(b)模式1，水平預測；(c)模式2，DC預測；以及(d)模式3，平面預測。
11.根據權利要求9所述的方法，其特征在于針對Intra_4×4型編碼，所述預測模式每一個均已經關聯(lián)了插值濾波器，以導出針對塊內每個像素的預測。
12.根據權利要求9所述的方法，其特征在于所述預測模式包括(a)模式0，垂直預測；(b)模式1，水平預測；(c)模式2，DC預測；(d)模式3，左下對角預測；(e)模式4，右下對角預測；(f)模式5，垂直向右預測；(g)模式6，水平向下預測；(h)模式7，垂直向左預測；以及(i)模式8，水平向上預測。
全文摘要
通過根據在相鄰塊(120)中規(guī)定的內部預測模式，預測宏塊(110)中的缺失數據，實現對由宏塊(110)流組成的內部圖像中的差錯的空間隱藏。實際上，當利用基于塊的編碼技術(諸如在ISO/ITU H.264標準中規(guī)定的編碼技術)對流內的宏塊(110)進行編碼時，出于編碼的目的，可以根據由編碼技術規(guī)定的相鄰內部預測模式，根據由編碼目的規(guī)定的相鄰內部預測模式，對宏塊(110)進行預測。
文檔編號H04N7/64GK1720728SQ03825782
公開日2006年1月11日 申請日期2003年7月8日 優(yōu)先權日2003年1月10日
發(fā)明者克里斯蒂娜·戈米納, 彭茵 申請人:湯姆森許可貿易公司