專利名稱：為編碼圖像中的誤差掩蔽定義內(nèi)插濾波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于為編碼視頻流中的誤差掩蔽(error concealment)定義定向內(nèi)插濾波器的技術(shù)。
背景技術(shù)：
在許多情況中，視頻流經(jīng)受壓縮(編碼)以有利于存儲(chǔ)和傳輸。當(dāng)前，存在多種編碼方案，包括諸如所提出的ISO/ITU H.2.64編碼技術(shù)的基于塊的編碼方案。并非偶然地，這樣編碼的視頻流導(dǎo)致在傳輸期間因?yàn)樾诺勒`差和/或網(wǎng)絡(luò)擁塞而使得數(shù)據(jù)丟失或被損壞。在解碼時(shí)，數(shù)據(jù)的丟失/損壞使其自身顯示為引起圖像人工因素的丟失/損壞像素值。為了減少所述人工因素，解碼器將通過(guò)估計(jì)來(lái)自相同圖像的其他宏塊或來(lái)自其他圖像的所述丟失/損壞像素值來(lái)“掩蔽”這樣的丟失/損壞像素值。術(shù)語(yǔ)掩蔽稍稍有些用詞不當(dāng)，因?yàn)榻獯a器不是實(shí)際地隱藏丟失/損壞的像素值。
空間掩蔽試圖依賴于空間域中相鄰區(qū)域之間的相似性、通過(guò)使用來(lái)自同一圖像中其他區(qū)域的像素值得出丟失/損壞的像素值。典型地，在相同的復(fù)雜程度時(shí)，空間掩蔽技術(shù)比依賴于來(lái)自其他發(fā)送的圖片信息的時(shí)間誤差掩蔽技術(shù)的性能要低。誤差掩蔽算法應(yīng)當(dāng)僅在不能得到時(shí)間選擇，即當(dāng)丟失影響內(nèi)部編碼的圖片、內(nèi)部刷新的圖片或當(dāng)不能得到時(shí)間信息的那些情況中調(diào)用空間內(nèi)插。使用掩蔽圖像作為參考的、將來(lái)的相互編碼的幀的質(zhì)量將依賴于空間掩蔽的質(zhì)量。當(dāng)空間掩蔽產(chǎn)生相對(duì)較差的內(nèi)部編碼的圖片時(shí)，每個(gè)作為結(jié)果的相互編碼的圖片將同樣具有較差的質(zhì)量。
存在各種用于完成空間誤差掩蔽的技術(shù)。這些技術(shù)包括(a)塊復(fù)制(BC)，(b)像素域內(nèi)插(PDI)，(c)多定向內(nèi)插(MDI)，(d)最大平滑恢復(fù)(MSR)和(e)凸集投影(POCS)。此外，現(xiàn)在存在一種建議，即根據(jù)用于誤差掩蔽的H.264技術(shù)使用為4×4像素塊計(jì)算的內(nèi)部預(yù)測(cè)模式。根據(jù)這一建議，提供從相鄰塊估計(jì)編碼值的方向的相同內(nèi)部預(yù)測(cè)模式還可以提供用于估計(jì)誤差掩蔽的丟失/損壞像素值的方向。已經(jīng)建立使用相同的內(nèi)部預(yù)測(cè)模式來(lái)提供誤差掩蔽的方向作為編碼預(yù)測(cè)的愿望，存在當(dāng)以內(nèi)部預(yù)測(cè)模式定義的方向進(jìn)行處理時(shí)定義適當(dāng)?shù)臋C(jī)制來(lái)得出用于掩蔽的估計(jì)的像素值的需要。

發(fā)明內(nèi)容
簡(jiǎn)單的說(shuō)，根據(jù)本發(fā)明的原理，通過(guò)首先識(shí)別圖像中具有丟失/損壞像素值的宏塊來(lái)開(kāi)始掩蔽在包括宏塊陣列的編碼圖像中的誤差。對(duì)于每個(gè)識(shí)別的宏塊，從相鄰的宏塊中得出至少一種內(nèi)部預(yù)測(cè)模式。當(dāng)根據(jù)ISO/ITU H.264編碼技術(shù)編碼圖像時(shí)，為了編碼的目的，內(nèi)部編碼的宏塊可以預(yù)測(cè)為整個(gè)16×16像素塊，或多個(gè)4×4像素塊。對(duì)于整個(gè)16×16像素塊，存在一種內(nèi)部預(yù)測(cè)模式。相反，對(duì)于宏塊中每個(gè)4×4像素的子宏塊，存在一種內(nèi)部預(yù)測(cè)模式。與得出的內(nèi)部預(yù)測(cè)模式相關(guān)，選擇內(nèi)插濾波器以定義根據(jù)相鄰塊估計(jì)像素值的方法，所述像素塊是通過(guò)在由識(shí)別的內(nèi)部預(yù)測(cè)模式規(guī)定的方向上進(jìn)行處理而選擇的。使用根據(jù)選擇的內(nèi)插濾波器估計(jì)的像素值來(lái)掩蔽具有丟失/損壞的像素值的宏塊。當(dāng)根據(jù)H.264編碼技術(shù)編碼圖像中的宏塊并且掩蔽順序與解碼順序相同時(shí)，為了掩蔽的目的而建立的內(nèi)插濾波器構(gòu)成在H.264編碼技術(shù)中為內(nèi)部4×4預(yù)測(cè)規(guī)定的濾波器。由于存在不同的掩蔽順序，因此當(dāng)相鄰的左側(cè)和上方像素不可用時(shí)，在H.264編碼技術(shù)中定義的內(nèi)插濾波器的鏡向版本用來(lái)適配可用的樣本。


圖1描述了劃分成宏塊的編碼圖像，每個(gè)宏塊被劃分成塊，并且每個(gè)塊被劃分成像素；圖2圖示說(shuō)明了在所提出的H.264編碼技術(shù)中描述的內(nèi)部_4×4預(yù)測(cè)模式；圖3A-3F每一個(gè)描述了如為對(duì)應(yīng)于圖2中圖示說(shuō)明的內(nèi)部_4×4預(yù)測(cè)模式的內(nèi)插濾波器定義的參考像素集(A，B，C，D和I，J，K，L)的位置；和圖4A-4F每一個(gè)描述了如為對(duì)應(yīng)于圖2中圖示說(shuō)明的內(nèi)部_4×4預(yù)測(cè)模式的第一組鏡向內(nèi)插濾波器定義的參考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
圖5C、5E-5F每一個(gè)描述了如為對(duì)應(yīng)于圖2中圖示說(shuō)明的內(nèi)部_4×4預(yù)測(cè)模式的第二組鏡向內(nèi)插濾波器定義的參考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
圖6C描述了如為對(duì)應(yīng)于圖2中圖示說(shuō)明的內(nèi)部_4×4預(yù)測(cè)模式的第三組鏡向內(nèi)插濾波器定義的參考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
具體實(shí)施例方式
諸如嵌入在所提議的ISO/ITU H.264編碼技術(shù)中的基于塊的視頻壓縮技術(shù)通過(guò)將圖片劃分成片斷來(lái)工作，每個(gè)片斷包括一組宏塊或宏塊對(duì)，且每個(gè)宏塊根據(jù)編碼技術(shù)而被編碼。宏塊通常包括一個(gè)16×16像素的正方形區(qū)域。為了編碼的目的，宏塊可被進(jìn)一步劃分成子宏塊，所述子宏塊并不必須是正方形。當(dāng)編碼宏塊時(shí)，每個(gè)子宏塊可以具有不同的編碼模式。為了易于說(shuō)明，將一個(gè)塊稱為4×4像素的子宏塊。圖1描述了將編碼圖片100劃分成宏塊110，將每個(gè)宏塊110劃分成塊120，并且將每個(gè)塊劃分成像素130。注意，圖片中宏塊的數(shù)目取決于圖片的大小而變化，而宏塊中塊的數(shù)目保持恒定。
為了減少單獨(dú)編碼被劃分的圖像100中每個(gè)宏塊110的開(kāi)銷(xiāo)，來(lái)自已發(fā)送的宏塊的信息可以產(chǎn)生編碼單個(gè)宏塊的預(yù)測(cè)。在這一情形中，僅預(yù)測(cè)誤差和預(yù)測(cè)模式需要發(fā)送。用來(lái)編碼圖片100的視頻編碼技術(shù)將規(guī)定用于得出預(yù)測(cè)像素值的處理，以便確保編碼器(未示出)和解碼器(未示出)兩者獲得相同的估計(jì)。根據(jù)ISO/ITU H.264編碼技術(shù)，單個(gè)宏塊可以被內(nèi)部預(yù)測(cè)為單個(gè)16×16像素的部分(內(nèi)部_16×16類(lèi)型編碼)或16塊4×4像素的部分(內(nèi)部_4×4類(lèi)型編碼)。
對(duì)于內(nèi)部_16×16類(lèi)型編碼，ISO/ITU H.264編碼技術(shù)規(guī)定四種內(nèi)部預(yù)測(cè)模式模式0，垂直預(yù)測(cè)；模式1，水平預(yù)測(cè)；模式2，DC預(yù)測(cè)；模式3，平面預(yù)測(cè)。對(duì)于內(nèi)部_4×4類(lèi)型編碼，ISO/ITU H.264編碼技術(shù)規(guī)定九種內(nèi)部預(yù)測(cè)模式模式0，垂直預(yù)測(cè)；模式1，水平預(yù)測(cè)；模式2，DC預(yù)測(cè)；模式3，斜向左下預(yù)測(cè)；模式4，斜向右下預(yù)測(cè)；模式5，垂直向右預(yù)測(cè)；模式6，水平向下預(yù)測(cè)；模式7，垂直向左預(yù)測(cè)；和模式8，水平向上預(yù)測(cè)。圖2以列表方式描述了每一個(gè)內(nèi)部_4×4編碼類(lèi)型的預(yù)測(cè)模式，以及指示內(nèi)部預(yù)測(cè)模式0-8中的每一種的方向的向量顯示。(注意，對(duì)應(yīng)于DC模式的模式2不具有方向，因?yàn)槠浣y(tǒng)一地預(yù)測(cè)同類(lèi)區(qū)域中的塊的內(nèi)容)。其他模式0-1和3-8沿著八個(gè)量化方向中單獨(dú)的一個(gè)方向來(lái)預(yù)測(cè)宏塊的內(nèi)容。
所提出的H.264編碼技術(shù)規(guī)定每個(gè)內(nèi)部預(yù)測(cè)模式具有相關(guān)聯(lián)的內(nèi)插濾波器，其指示當(dāng)以通過(guò)內(nèi)部預(yù)測(cè)模式定義的方向進(jìn)行處理時(shí)如何獲得預(yù)測(cè)的編碼值。根據(jù)本發(fā)明原理，由H.264定義的內(nèi)插濾波器還可以為誤差掩蔽目的提供一種估計(jì)像素值的機(jī)制。如下面更詳細(xì)的描述，當(dāng)以解碼順序進(jìn)行誤差掩蔽時(shí)，H.264內(nèi)插濾波器可以以它們?cè)瓉?lái)的形式用于誤差掩蔽。或者，當(dāng)以不同的順序進(jìn)行誤差掩蔽時(shí)，不得不考慮H.264內(nèi)插濾波器的鏡向版本。
圖3A-3F中的每一個(gè)描述了用于對(duì)應(yīng)于圖2中圖示說(shuō)明的內(nèi)部4×4預(yù)測(cè)模式的內(nèi)插濾波器的參考像素集(A，B，C，D和I，J，K，L)的位置。(注意，在一些情況中，與兩個(gè)不同的內(nèi)部預(yù)測(cè)模式相關(guān)的兩個(gè)不同的內(nèi)插濾波器可以使用相同的參考像素集)。在圖3A-3F的每一個(gè)中，顯示了子宏塊200，其具有需要使用根據(jù)在相鄰行和/或列中的像素值估計(jì)的值來(lái)掩蔽的丟失/損壞像素。對(duì)于每種內(nèi)部預(yù)測(cè)模式，存在一個(gè)內(nèi)插濾波器，其明確規(guī)定如何根據(jù)相鄰像素值獲得對(duì)于子宏塊200中的每個(gè)丟失/損壞像素的估計(jì)。
為了更好地理解每個(gè)所述內(nèi)插濾波器的特性，參考圖3A，其描述了使用通過(guò)H.264編碼技術(shù)對(duì)于模式0規(guī)定的內(nèi)插濾波器對(duì)該模式的誤差掩蔽。通常，通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器定義用于獲得編碼預(yù)測(cè)值的機(jī)制。根據(jù)本發(fā)明的原理，通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器還提供了一種用于獲得誤差掩蔽值的機(jī)制。如圖3A所示，4×4像素子宏塊200包含像素a-p，所述像素a-p的每一個(gè)都需要掩蔽。位于子宏塊200中的上部像素a-d行之上的相鄰像素行210中的像素A-D的值提供一些值，根據(jù)這些值、使用與模式0相關(guān)的H.264編碼技術(shù)內(nèi)插濾波器來(lái)估計(jì)像素a-p中的每一個(gè)的掩蔽值。對(duì)于模式0(垂直)，根據(jù)由H.264編碼技術(shù)為模式0規(guī)定的內(nèi)插濾波器，行210中的像素A的值提供用于子宏塊200的第一(最左側(cè))列中的每一個(gè)像素a，e，i和m的掩蔽估計(jì)。同樣，行210中的像素B提供用于第二列中的每個(gè)像素b，f，j和n的掩蔽估計(jì)。以類(lèi)似的方式，行210中的像素C和D每一個(gè)分別提供用于子宏塊200中的第三和第四列中的像素的估計(jì)。
在一些情況中，行210的像素A-D中的一個(gè)或多個(gè)可能具有丟失的值，因而對(duì)于在子宏塊200中的像素a-p提供較差的估計(jì)。根據(jù)本發(fā)明原理的另一個(gè)方面，用于模式1的“鏡向”內(nèi)插濾波器用來(lái)規(guī)定用于獲得所述像素掩蔽值的方式。與如圖3所示使用頂部相鄰行210來(lái)提供掩蔽值的模式1H.264編碼技術(shù)內(nèi)插濾波器相反，本發(fā)明原理的鏡向內(nèi)插濾波器使用像素A’，B’，C’和D’的底部相鄰行200用于誤差掩蔽的目的，如圖4A所示。因此，代替使用在行210中像素A的值來(lái)估計(jì)每個(gè)像素a，e，i和m，鏡向內(nèi)插濾波器利用行220中的像素A’。同樣，對(duì)于模式0，行220’中的像素B’，C’和D’分別提供對(duì)于子宏塊200中的第二、第三和第四列中像素的掩蔽值的估計(jì)。
表1總結(jié)了對(duì)于模式0，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表1模式0(垂直)

圖3B描述了使用通過(guò)H.264編碼技術(shù)規(guī)定的模式1內(nèi)插濾波器用于模式1的誤差掩蔽。子宏塊200的左側(cè)的相鄰列210’的每一行中的像素I-L中的每一個(gè)對(duì)于在子宏塊的對(duì)應(yīng)行中的每一個(gè)像素提供誤差掩蔽估計(jì)。因此，例如，列210的第一(上部)行中的像素I對(duì)于在子宏塊200的第一(最上部)行中的每個(gè)像素a，b，c和d提供掩蔽估計(jì)。同樣，列210’中的像素J’對(duì)于在子宏塊200的第二行中的像素e，f，g和h提供掩蔽估計(jì)。類(lèi)似的，像素K和J分別對(duì)于在子宏塊200的第三和第四行中的像素提供掩蔽估計(jì)。
圖4B描述了使用鏡向內(nèi)插濾波器對(duì)于模式1的誤差掩蔽。用于模式1的鏡向內(nèi)插濾波器使用右側(cè)的相鄰列220’中的像素I’，J’，K’和L’分別對(duì)于在子宏塊200的第一(頂部)、第二、第三、和第四行中的像素提供掩蔽值估計(jì)，而不是使用在左側(cè)的列210’中的像素I，J，K和L。
表2總結(jié)了對(duì)于模式1，用于估計(jì)掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表2模式1(水平)


圖3C描述了對(duì)于DC內(nèi)部預(yù)測(cè)模式的誤差掩蔽。如在H.264編碼技術(shù)中定義的，當(dāng)所有這些樣本可用時(shí)，用于編碼預(yù)測(cè)的DC模式內(nèi)插濾波器計(jì)算像素的平均值(A+B+C+D+I+J+K+L+4)/8，其中像素A，B，C和D位于在子宏塊200的上方的相鄰行210中，像素I，J，K和L位于在子宏塊左側(cè)的相鄰列210’中。換句話說(shuō)，為了編碼的目的，用對(duì)應(yīng)于分別在子宏塊的左側(cè)和上方的列和行中的相鄰像素值的平均值的相同的值預(yù)測(cè)子宏塊200中的所有像素a-p。圖4C，5C和6C描述了在圖3C中所示的參考像素集的鏡向版本。當(dāng)在丟失塊左側(cè)和/或上方的塊也被損壞時(shí)，這些鏡向版本可以用于誤差掩蔽的目的。
表3總結(jié)了對(duì)于模式2，用于估計(jì)掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表3模式2(DC)

但是，與其他內(nèi)部預(yù)測(cè)模式不同，由H.264編碼技術(shù)規(guī)定的DC內(nèi)部預(yù)測(cè)模式內(nèi)插濾波器不為誤差掩蔽的目的提供好的預(yù)測(cè)。為DC模式指定的H.264編碼技術(shù)內(nèi)插濾波器提供非常粗略的預(yù)測(cè)，其造成掩蔽圖像中的平坦(flat)區(qū)域。為此，推薦僅對(duì)于允許低質(zhì)量結(jié)果的應(yīng)用將其用于誤差掩蔽目的。對(duì)于其他應(yīng)用，其他類(lèi)型的內(nèi)插濾波器——通常所說(shuō)的加權(quán)內(nèi)插，可以用來(lái)對(duì)誤差掩蔽值提供較好的預(yù)測(cè)。當(dāng)這一技術(shù)應(yīng)用至DC模式時(shí)，獨(dú)立地獲得子宏塊200中每個(gè)像素的估計(jì)值，作為來(lái)自分別在垂直和水平方向上的相鄰列和相鄰行的、已經(jīng)正確接收到或已經(jīng)被掩蔽的最接近像素值的加權(quán)和。
傳統(tǒng)的，下面的關(guān)系規(guī)定了在(i，j)位置的像素值的加權(quán)內(nèi)插像素(i，j)＝W0×像素(i0-1，j)+W1×像素(i0，j0-1)其中W0和W1對(duì)用作參考的像素值的影響進(jìn)行加權(quán)。通常，W0和W1每一個(gè)表示在丟失像素及其參考之間的距離。在示例的實(shí)施例中，W0＝(i-i0)和W1＝(j-j0)。使用與用來(lái)描述由H.264編碼技術(shù)定義的其他內(nèi)插濾波器相同的符號(hào)，表3A-D描述了取決于哪個(gè)行/列的相鄰像素被用作參考而定義的DC內(nèi)部預(yù)測(cè)模式的加權(quán)內(nèi)插濾波器。
表3A模式2(DC)圖3C中的加權(quán)內(nèi)插

表3B模式2(DC)圖4C中的加權(quán)內(nèi)插

表3C模式2(DC)圖5C中的加權(quán)內(nèi)插

表3D模式2(DC)圖6C中的加權(quán)內(nèi)插


圖3D描述了使用H.264編碼技術(shù)內(nèi)插濾波器、用于模式3(斜向左下)和模式7(垂直向左)兩者的誤差掩蔽的參考像素集的位置。對(duì)于模式3和7中的每一個(gè)，由H.264編碼技術(shù)規(guī)定的相應(yīng)內(nèi)插濾波器利用在子宏塊200上方的相鄰行210中的像素A，B，C，D，E，F(xiàn)和G的單獨(dú)加權(quán)平均值。類(lèi)似地，圖4D描述了使用鏡向內(nèi)插濾波器、用于模式3(斜向左下)和模式7(垂直向左)兩者的誤差掩蔽的參考像素集的位置。對(duì)于模式3和7中的每一個(gè)，相應(yīng)的鏡向內(nèi)插濾波器利用位于子宏塊200下方的擴(kuò)展相鄰行210’中的像素H’，G’，F(xiàn)’，E’，D’，C’，B’和A’的單獨(dú)加權(quán)平均值。
表4總結(jié)了對(duì)于模式3，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表4模式3(斜向左下)

例如，由用于預(yù)測(cè)編碼值的H.264編碼技術(shù)規(guī)定、并且根據(jù)本發(fā)明原理來(lái)使用以便估計(jì)誤差掩蔽值的內(nèi)插濾波器，規(guī)定可以利用關(guān)系(A+2B+C+2)/4、根據(jù)像素A，B和C的值來(lái)估計(jì)子宏塊200中的像素a，其中像素A，B和C每一個(gè)位于在子宏塊200上方的相鄰行210中。類(lèi)似地，用于模式3的鏡向?yàn)V波器按照關(guān)系(G’+3H’+2)/4、根據(jù)像素G’和H’的值來(lái)提供用于子宏塊200中的像素a的誤差掩蔽估計(jì)。對(duì)于誤差掩蔽的目的，剩余像素b-p同樣可以按照在表4中列出的關(guān)系來(lái)估計(jì)。
表5總結(jié)了對(duì)于模式7，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表5模式7(垂直向左)

圖3E描述了使用由H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器，用于模式4(斜向右下)、模式5(垂直向右)和模式6(垂直向下)的誤差掩蔽的參考像素集的位置。由于這些內(nèi)插濾波器被定義為在左側(cè)相鄰列和上方相鄰列都需要參考像素，因而對(duì)于DC模式，它們?yōu)榱苏`差掩蔽目的的鏡向映射將會(huì)需要四種不同情況的定義。為了減少所述情況的數(shù)目，我們提議一種可選的定義，避免使用來(lái)自左側(cè)的列的參考像素。圖4E描述了使用先前內(nèi)插濾波器的鏡向版本，用于模式4、5和6的誤差掩蔽的參考像素集的位置。圖4E中的濾波器是對(duì)于如通過(guò)H.264視頻壓縮標(biāo)準(zhǔn)定義的圖3E中的濾波器的替換物。需要圖5E中的其他鏡向內(nèi)插濾波器，以允許不按照解碼的順序來(lái)進(jìn)行誤差掩蔽。盡管可以考慮不同的鏡向映射過(guò)程，但該實(shí)施例中提出的一種過(guò)程將所有的參考像素僅定位在一個(gè)相鄰行中或僅定位在一個(gè)相鄰列中。這樣的鏡向映射具有兩個(gè)主要的優(yōu)點(diǎn)第一，其有利于存儲(chǔ)器訪問(wèn)；第二，其減少了必須為濾波器規(guī)定的情況的數(shù)目?！沧⒁膺@應(yīng)用到在本發(fā)明中定義的所有鏡向內(nèi)插濾波器〕表6總結(jié)了對(duì)于模式4，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表6
模式4(斜向右下)

表7總結(jié)了對(duì)于模式5，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表7模式5垂直向右

表8總結(jié)了對(duì)于模式6，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表8
模式6水平向下

圖3F描述了使用由H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器、對(duì)于模式8(水平向上)的誤差掩蔽。圖4E和5E描述了使用兩個(gè)鏡向內(nèi)插濾波器、對(duì)于模式8(水平向上)的誤差掩蔽。對(duì)于模式4，5和6，提出圖4F中鏡向?yàn)V波器的定義，作為具有先前提到的優(yōu)點(diǎn)的H.264內(nèi)插濾波器的替換物。
表9總結(jié)了對(duì)于模式8，用于提供誤差掩蔽值的H.264編碼技術(shù)內(nèi)插濾波器和鏡向內(nèi)插濾波器。
表9模式8(水平向上)


以上描述了一種用于定義定向內(nèi)插濾波器的技術(shù)，該技術(shù)建立一種通過(guò)其來(lái)掩蔽編碼視頻流中的誤差的機(jī)制。
權(quán)利要求
1.一種用于掩蔽由宏塊陣列形成的編碼圖像中的誤差的方法，包括步驟識(shí)別所述陣列中具有丟失/損壞像素值的宏塊；對(duì)于每個(gè)識(shí)別的宏塊得出至少一種內(nèi)部預(yù)測(cè)模式，以定義掩蔽方向，所述至少一種內(nèi)部預(yù)測(cè)模式是根據(jù)編碼圖像而得出的；對(duì)于所識(shí)別的內(nèi)部預(yù)測(cè)模式建立內(nèi)插濾波器，以便沿著所述掩蔽方向估計(jì)每個(gè)識(shí)別宏塊的掩蔽值；和根據(jù)估計(jì)的掩蔽值來(lái)掩蔽所識(shí)別的宏塊。
2.如權(quán)利要求1所述的方法，其中所述圖像是根據(jù)H.264編碼技術(shù)來(lái)編碼的，并且其中得到至少一種內(nèi)部預(yù)測(cè)模式的步驟還包括步驟得到通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)部_4×4預(yù)測(cè)模式。
3.如權(quán)利要求2所述的方法，其中建立內(nèi)插濾波器的步驟還包括對(duì)于得出的內(nèi)部_4×4預(yù)測(cè)模式選擇通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器。
4.如權(quán)利要求2所述的方法，其中建立內(nèi)插濾波器的步驟還包括步驟對(duì)于得出的內(nèi)部_4×4預(yù)測(cè)模式，得出鏡向映射通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器的內(nèi)插濾波器。
6.如權(quán)利要求2所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式0(垂直)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式0規(guī)定的內(nèi)插濾波器。
7.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式1(水平)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式1規(guī)定的內(nèi)插濾波器。
8.如權(quán)利要求2所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式2(DC)，并且其中建立內(nèi)插濾波器的步驟還包括步驟獨(dú)立地加權(quán)來(lái)自分別在垂直方向和水平方向上的相鄰列和相鄰行的像素值的和。
9.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式3(斜向左下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式3規(guī)定的內(nèi)插濾波器。
10.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式7(垂直向左)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式7規(guī)定的內(nèi)插濾波器。
11.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式4(斜向右下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式4規(guī)定的內(nèi)插濾波器。
12.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式5(垂直向右)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式5規(guī)定的內(nèi)插濾波器。
13.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式6(水平向下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式6規(guī)定的內(nèi)插濾波器。
14.如權(quán)利要求4所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式8(水平向上)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式8規(guī)定的內(nèi)插濾波器。
15.一種用于掩蔽由宏塊陣列組成的編碼圖像中的誤差的方法，所述圖像根據(jù)H.264編碼技術(shù)進(jìn)行編碼，該方法包括步驟識(shí)別所述陣列中具有丟失/損壞像素值的宏塊；對(duì)于每個(gè)識(shí)別的宏塊，根據(jù)H.264編碼技術(shù)得出至少一種內(nèi)部_4×4預(yù)測(cè)模式，以定義掩蔽方向；對(duì)于所識(shí)別的內(nèi)部預(yù)測(cè)模式建立內(nèi)插濾波器，以便沿著所述掩蔽方向估計(jì)每個(gè)識(shí)別宏塊的掩蔽值；和根據(jù)估計(jì)的掩蔽值來(lái)掩蔽所識(shí)別的宏塊。
16.如權(quán)利要求15所述的方法，其中建立內(nèi)插濾波器的步驟還包括對(duì)于得出的內(nèi)部_4×4預(yù)測(cè)模式選擇通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器。
17.如權(quán)利要求15所述的方法，其中建立內(nèi)插濾波器的步驟還包括步驟對(duì)于得出的內(nèi)部_4×4預(yù)測(cè)模式，得出鏡向映射通過(guò)H.264編碼技術(shù)規(guī)定的內(nèi)插濾波器的內(nèi)插濾波器。
18.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式1(水平)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式1規(guī)定的內(nèi)插濾波器。
19.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式3(斜向左下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式3規(guī)定的內(nèi)插濾波器。
20.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式7(垂直向左)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式7規(guī)定的內(nèi)插濾波器。
21.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式4(斜向右下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式4規(guī)定的內(nèi)插濾波器。
22.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式5(垂直向右)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式5規(guī)定的內(nèi)插濾波器。
23.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式6(水平向下)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式6規(guī)定的內(nèi)插濾波器。
24.如權(quán)利要求15所述的方法，其中得出的內(nèi)部_4×4預(yù)測(cè)模式包括模式8(水平向上)，并且其中得出的內(nèi)插濾波器包括由H.264編碼技術(shù)為模式8規(guī)定的內(nèi)插濾波器。
全文摘要
一種根據(jù)圖像編碼首先選擇內(nèi)部預(yù)測(cè)模式來(lái)掩蔽在編碼圖像(100)中出現(xiàn)的誤差的方法。所選擇的內(nèi)部預(yù)測(cè)模式在通常用于規(guī)定獲得編碼預(yù)測(cè)值的方向的同時(shí)，還用于規(guī)定獲得誤差掩蔽的估計(jì)值的方向。內(nèi)插濾波器定義沿著由內(nèi)部預(yù)測(cè)模式規(guī)定的方向獲得估計(jì)的像素值的方式。與內(nèi)部預(yù)測(cè)模式相同，根據(jù)圖像的編碼得出內(nèi)插濾波器。使用以通過(guò)內(nèi)插濾波器規(guī)定的方式獲得的估計(jì)值來(lái)實(shí)現(xiàn)圖像的掩蔽。
文檔編號(hào)H04N7/68GK1720747SQ03825775
公開(kāi)日2006年1月11日 申請(qǐng)日期2003年7月10日 優(yōu)先權(quán)日2003年1月10日
發(fā)明者克里斯蒂娜·戈米拉 申請(qǐng)人:湯姆森特許公司