專利名稱：編碼器、解碼器、視頻幀編碼方法及比特流解碼方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于視頻編碼及解碼，特別是有關(guān)于視頻編碼及解碼過(guò)程中
的保真度(fidelity)處理。
背景技術(shù)：
本發(fā)明引用的參考文獻(xiàn)為發(fā)表于2007年正EE國(guó)際圖像信息處理會(huì)議(ICIP 2007 )年報(bào)上的Stephen Wittmann與Thomas Wedi的論文"Transmission of post-filter hints for video coding schemes"， 以及公開(kāi)號(hào)為EP 1 841 230 Al的歐洲專利申請(qǐng)。
下一代視頻編碼方法旨在通過(guò)盡可能地壓縮數(shù)據(jù)來(lái)達(dá)到最高的效率。如果可以顯著地壓縮數(shù)據(jù)，就可以在帶寬有限的網(wǎng)絡(luò)中傳輸高質(zhì)量的視頻。H.264/AVC (Advance Video Coding, AVC，先進(jìn)視頻編碼)編碼標(biāo)準(zhǔn)是視頻編碼標(biāo)準(zhǔn)的一個(gè)例子。H.264標(biāo)準(zhǔn)結(jié)合了基于區(qū)塊的運(yùn)動(dòng)補(bǔ)償與轉(zhuǎn)換編碼(transform coding)。其中轉(zhuǎn)換編碼可以去除幀內(nèi)的空間冗余，而基于區(qū)塊的運(yùn)動(dòng)補(bǔ)償可以去除幀間冗余。
視頻編碼可以分為四個(gè)部分預(yù)測(cè)、轉(zhuǎn)換、量化與熵編碼(entropycoding)。在編碼端，預(yù)測(cè)可由幀內(nèi)預(yù)測(cè)(intraprediction)及幀間預(yù)測(cè)(interprediction)組成，其中幀內(nèi)預(yù)測(cè)參考相同幀的像素，而幀間預(yù)測(cè)參考前一幀的像素。轉(zhuǎn)換將預(yù)測(cè)殘差(residues)轉(zhuǎn)換為轉(zhuǎn)換系數(shù)，使得殘差的能量可以向低頻帶集中。量化將幀的轉(zhuǎn)換系數(shù)除以一個(gè)數(shù)值并取整，使之達(dá)到更小的比特深度，從而進(jìn)一步減少用來(lái)表示一幀的比特?cái)?shù)目。最后一步的熵編碼包括量化轉(zhuǎn)換系數(shù)及其它參數(shù)的無(wú)損表示。在解碼時(shí)，將上述操作逆向執(zhí)行以產(chǎn)生重建(reconstruction)的像素。解碼與編碼過(guò)程均包含一個(gè)封閉的回路，其中幀的編碼/解碼后的宏塊(macroblock)被重建，并接著輸入到預(yù)測(cè)單元以產(chǎn)生下一幀的編碼信息。利用重建后的幀而不是原始幀來(lái)預(yù)測(cè)后續(xù)幀，可 防止幀之間的漂移。
H,264標(biāo)準(zhǔn)既利用幀內(nèi)預(yù)測(cè)，也利用幀間預(yù)測(cè)，并執(zhí)行基于區(qū)塊的編碼。
將一幀分成多個(gè)宏塊并分別對(duì)每一宏塊進(jìn)行編碼，可導(dǎo)致在區(qū)塊的邊緣形成 塊效應(yīng)(artifact)，也就是說(shuō)，由于編碼模式或相鄰區(qū)塊的運(yùn)動(dòng)向量通常不 同，在區(qū)塊之間會(huì)有可見(jiàn)的分界線。為了消除這些塊效應(yīng)，大部分基于區(qū)塊 的編碼技術(shù)在封閉的編碼回路中包含有消除塊效應(yīng)濾波器(deblocking filter)。消除塊效應(yīng)濾波器可減輕區(qū)塊邊緣的痕跡，但無(wú)法移除區(qū)塊內(nèi)的量 化誤差。當(dāng)利用大的量化值執(zhí)行高保真度(fidelity)的編碼時(shí)，僅有消除塊 效應(yīng)濾波器是不夠的。
維納濾波器(Wienerfilter)從編碼信號(hào)中移除噪聲分量，以使得有噪聲 的編碼信號(hào)更接近于原始信號(hào)。當(dāng)原始信號(hào)s輸入到一個(gè)典型的系統(tǒng)中時(shí)， 原始信號(hào)s會(huì)受到一定程度的干擾而產(chǎn)生與原始信號(hào)s不同的信號(hào)s'。這是 附加的噪聲影響的結(jié)果。維納濾波器的目的在于將這兩個(gè)信號(hào)之間的均方誤 差最小化，從而使得作為結(jié)果的濾波信號(hào)sA更接近于原始信號(hào)s，而不是更 接近于干擾信號(hào)s，。維納濾波器通過(guò)利用自相關(guān)矩陣(auto-correlation matrix) 和互相關(guān)矩陣(cross-correlationmatrix)產(chǎn)生濾波器系數(shù)來(lái)操作。
公開(kāi)號(hào)為EP 1 841 230 Al的歐洲專利申請(qǐng)教導(dǎo)了實(shí)施于編碼器與解碼 器的維納濾波器。維納濾波器首先可產(chǎn)生互相關(guān)矩陣及與矩陣相關(guān)的編碼器 參數(shù)，接著將這些參數(shù)嵌入到比特流并將其發(fā)送至解碼器以用于解碼，在解 碼器中這些參數(shù)可用來(lái)減少解碼后的幀中的量化誤差，從而確保較高的保真 度。

發(fā)明內(nèi)容
本發(fā)明通過(guò)提供多種保真度增強(qiáng)(fidelity enhancement)方法及裝置來(lái)改 善上述系統(tǒng)的性能，其中保真度增強(qiáng)方法及裝置既可實(shí)施于編碼器也可實(shí)施 于解碼器。
9本發(fā)明的實(shí)施例提供一種編碼器，用于接收視頻幀，并進(jìn)行編碼處理以 產(chǎn)生編碼后的比特流，此編碼器包含保真度增強(qiáng)區(qū)塊，利用四叉樹(shù)分割
(quad-tree partition)對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用保真度增強(qiáng)技術(shù)，并產(chǎn)生包含至少 一參數(shù)的保真度增強(qiáng)信息，其中參數(shù)與四叉樹(shù)分割結(jié)構(gòu)相關(guān)；以及熵編碼
(entropy coding)區(qū)塊，耦合于保真度增強(qiáng)區(qū)塊，用于編碼保真度增強(qiáng)信息， 并將編碼后的保真度增強(qiáng)信息嵌入到編碼后的比特流。
本發(fā)明的實(shí)施例提供一種視頻幀編碼方法，包含接收視頻幀；利用四 叉樹(shù)分割方法來(lái)決定如何分割視頻幀；依據(jù)決定結(jié)果來(lái)分割視頻幀，并對(duì)視 頻幀執(zhí)行保真度增強(qiáng)以產(chǎn)生多個(gè)保真度增強(qiáng)參數(shù)；以及用多個(gè)保真度增強(qiáng)參 數(shù)編碼視頻幀，以產(chǎn)生編碼后的比特流。
本發(fā)明的實(shí)施例提供另一種視頻幀編碼方法，包含接收視頻幀；對(duì)處 理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)，以產(chǎn)生保真度增強(qiáng)信息；編碼視頻幀以產(chǎn)生編 碼后的比特流；編碼保真度增強(qiáng)信息，并將編碼后的保真度增強(qiáng)信息嵌入到 編碼后的比特流；以及產(chǎn)生指針，用于指示保真度增強(qiáng)信息在編碼后的比特 流中的位置。
本發(fā)明的實(shí)施例提供一種比特流解碼方法，包含接收比特流；從比特 流的報(bào)頭(header)中得到指針，其中指針指示保真度增強(qiáng)信息在比特流中 的位置；通過(guò)解碼處理重建(reconstruction)視頻幀；以及利用保真度增強(qiáng) 信息對(duì)處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)。
本發(fā)明的實(shí)施例提供一種解碼器，用于接收比特流以產(chǎn)生視頻幀，解碼 器包含熵解碼單元，用于解碼比特流以產(chǎn)生殘差(residues)及保真度增強(qiáng) 信息，其中保真度增強(qiáng)信息包含至少一參數(shù)，參數(shù)與四叉樹(shù)分割結(jié)構(gòu)相關(guān)； 以及重建回路，耦合于熵解碼單元，用于從殘差重建視頻幀，其中重建回路 包含保真度增強(qiáng)區(qū)塊，用于從熵解碼單元接收保真度增強(qiáng)信息，并依據(jù)從 保真度增強(qiáng)信息中得到的四叉樹(shù)分割結(jié)構(gòu)執(zhí)行保真度增強(qiáng)。
本發(fā)明的實(shí)施例還提供一種編碼器，用于接收視頻幀，并進(jìn)行編碼處理以產(chǎn)生編碼后的比特流，編碼器包含預(yù)測(cè)區(qū)塊，用于對(duì)視頻幀執(zhí)行預(yù)測(cè)以 產(chǎn)生預(yù)測(cè)殘差與預(yù)測(cè)信息；轉(zhuǎn)換與量化區(qū)塊，耦合于預(yù)測(cè)區(qū)塊，用于對(duì)預(yù)測(cè)
殘差進(jìn)行轉(zhuǎn)換與量化處理；重建回路，耦合于轉(zhuǎn)換與量化區(qū)塊及預(yù)測(cè)區(qū)塊之 間，用于依據(jù)預(yù)測(cè)殘差與來(lái)自轉(zhuǎn)換與量化區(qū)塊的信息重建視頻幀，其中重建 回路包含參考幀緩沖器以及偏差建模(discrepancy modeling)區(qū)塊，偏差建 模區(qū)塊用于對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用偏差建模技術(shù)，并產(chǎn)生偏差建模信息。編碼 器還包括熵編碼區(qū)塊，用偏差建模信息將預(yù)測(cè)殘差編碼入編碼后的比特流。
本發(fā)明的實(shí)施例還提供一種解碼器，用于接收比特流以產(chǎn)生視頻幀，解 碼器包含熵解碼單元，用于解碼比特流，以產(chǎn)生殘差與偏差建模信息；以 及重建回路，耦合于熵解碼單元，用于從殘差重建視頻幀，其中重建回路包 含偏差建模區(qū)塊，用于從熵解碼單元接收偏差建模信息，并依據(jù)偏差建模
信息將偏差建模技術(shù)應(yīng)用于處理過(guò)的數(shù)據(jù)。
本發(fā)明所提供的方法及裝置，與現(xiàn)有技術(shù)相比較，其有益效果包括通
過(guò)在比特流的報(bào)頭中設(shè)置指針來(lái)指示保真度增強(qiáng)信息的位置，使得解碼器不 必等待解碼全部比特流就可立即存取保真度增強(qiáng)信息，開(kāi)始執(zhí)行保真度增強(qiáng)。


圖1是依據(jù)本發(fā)明第一實(shí)施例的編碼器的示意圖。
圖2是依據(jù)本發(fā)明第一實(shí)施例的解碼器的示意圖。 圖3是依據(jù)本發(fā)明第二實(shí)施例的編碼器的示意圖。 圖4是依據(jù)本發(fā)明第二實(shí)施例的解碼器的示意圖。 圖5是依據(jù)本發(fā)明第三實(shí)施例的編碼器的示意圖。 圖6是依據(jù)本發(fā)明第三實(shí)施例的解碼器的示意圖。 圖7是依據(jù)本發(fā)明第四實(shí)施例的編碼器的示意圖。 圖8是依據(jù)本發(fā)明第四實(shí)施例的解碼器的示意圖。 圖9是多級(jí)四叉樹(shù)分割的示意圖。
具體實(shí)施例方式
在本說(shuō)明書以及權(quán)利要求當(dāng)中使用了某些詞匯來(lái)指稱特定的元件，本領(lǐng) 域的技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同的名詞來(lái)稱呼同一個(gè)元件， 本說(shuō)明書及權(quán)利要求并不以名稱的差異作為區(qū)分元件的方式，而是以元件在 功能上的差異作為區(qū)分的準(zhǔn)則，在通篇說(shuō)明書及權(quán)利要求書當(dāng)中所提及的"包 含"是開(kāi)放式的用語(yǔ)，故應(yīng)解釋成"包含有但不限定于"，此外，"耦合" 一詞在此包含任何直接及間接的電氣連接手段，因此，若文中描述第一裝置 耦合于第二裝置，則代表第一裝置可以直接電氣連接于第二裝置，或通過(guò)其 它裝置或連接手段間接地電氣連接至第二裝置。
閱讀了下文對(duì)于附圖所示實(shí)施例的詳細(xì)描述之后，本發(fā)明對(duì)所屬技術(shù)領(lǐng) 域的技術(shù)人員而言將顯而易見(jiàn)。
本發(fā)明旨在通過(guò)提供多種保真度增強(qiáng)(fidelity enhancement)方法來(lái)進(jìn)一 步闡述編碼器中的維納濾波(Wiener filtering)，其中與這些保真度增強(qiáng)方法 相關(guān)的信息將編碼并嵌入到比特流中。以這種方式，當(dāng)解碼器解碼接收到的 比特流時(shí)，內(nèi)嵌的保真度增強(qiáng)信息被取回并利用于解碼器中以對(duì)處理過(guò)的數(shù) 據(jù)執(zhí)行保真度增強(qiáng)。由于可對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用多種不同的技術(shù)，編碼器與 解碼器中保真度增強(qiáng)區(qū)塊的多種不同配置可確保增強(qiáng)的等效性(parity)，從 而不僅減小了量化誤差，而且確保了所恢復(fù)的視頻幀整體質(zhì)量的提高。
對(duì)視頻編碼器及解碼器應(yīng)用保真度增強(qiáng)方法的目的是通過(guò)消除誤差來(lái)提 高保真度。以下所列出的保真度增強(qiáng)方法僅作為示例，并非用以限定本發(fā)明。 保真度增強(qiáng)方法可包括卡爾曼濾波(Kalman filtering)、噪聲削減、去模糊 (deblurring)、維納濾波、回歸(regression)、規(guī)則化(regularization)以 及各種偏差建模(discrepancy modeling)。偏差建模可以是直流偏移補(bǔ)償(零 階)、加權(quán)預(yù)測(cè)(一階，如ax+b)，空間預(yù)測(cè)(例如高階預(yù)測(cè)，如av2+bv+C)、 直線擬合(line fitting,如ax+b， ay+b)、曲線擬合(如av2+bv+c， ay2+by+c)、 平面擬合(如ax+by+c)以及曲面擬合(如ax2+bxy+cy2+dx+ey+f)。請(qǐng)注意，這些保真度增強(qiáng)技術(shù)可在編碼器中對(duì)處理過(guò)的數(shù)據(jù)分多級(jí)執(zhí)行。 以下提供四個(gè)實(shí)施例，但本發(fā)明并不限定于此。此外，在編碼器中(以及在 解碼器相應(yīng)位置)設(shè)置一個(gè)以上保真度增強(qiáng)區(qū)塊的變形，也屬于本發(fā)明保護(hù) 的范圍。
除了提供用于編碼器中的多種保真度增強(qiáng)方法，本發(fā)明進(jìn)一步提供了執(zhí)
行所述保真度增強(qiáng)技術(shù)的多種方式，以及一種新的比特流語(yǔ)法(syntax)。
通常是在片段(slice)及區(qū)塊級(jí)別執(zhí)行維納濾波。而本發(fā)明是利用四叉 樹(shù)分割(quad-tree partition)方法對(duì)處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)。利用四叉 樹(shù)分割方法分割視頻幀來(lái)執(zhí)行保真度增強(qiáng)，可將成本函數(shù)(cost function)最 小化。舉例來(lái)說(shuō)，在一些幀中，在幀的一半存在的量化誤差數(shù)量最小，因此 需要較少的擴(kuò)展運(yùn)算。相反地，在幀的另一半存在的量化誤差數(shù)量較大，因 此需要較多的擴(kuò)展運(yùn)算來(lái)將量化誤差減到最小。這種情況下，將具有較多量 化誤差的那一半分割成比另一半更小的多個(gè)區(qū)域變得意義重大。因此，四叉 樹(shù)分割通過(guò)利用成本函數(shù)分析來(lái)決定分割幀的最好方式，從而提供了一種自 適應(yīng)的保真度增強(qiáng)方法。
圖9顯示了具有多級(jí)四叉樹(shù)分割結(jié)構(gòu)的視頻幀900的示例圖。視頻幀900 的處理過(guò)的數(shù)據(jù)被提供至保真度增強(qiáng)區(qū)塊(如維納濾波器)，保真度增強(qiáng)區(qū) 塊首先基于成本函數(shù)比較來(lái)確定四叉樹(shù)分割結(jié)構(gòu)。保真度增強(qiáng)區(qū)塊可采用自 頂向下分離演算法(top-down splitting algorithm)、自底向上合并演算法 (bottom-up merging algorithm)或任何其它順序來(lái)連續(xù)地計(jì)算對(duì)應(yīng)于每一候 選四叉樹(shù)分割結(jié)構(gòu)的成本函數(shù)，從而確定具有最小成本的四叉樹(shù)分割結(jié)構(gòu)。 成本函數(shù)的一個(gè)例子為率失真(rate distortion)函數(shù)J-D+Xr。對(duì)于自頂向下 分離演算法，首先將視頻幀900分割為四個(gè)第一級(jí)部分，并將對(duì)應(yīng)于未分割 幀的成本函數(shù)與對(duì)應(yīng)于上述四個(gè)第一級(jí)部分(已分割幀)的成本函數(shù)作比較， 分割遵循具有較小成本函數(shù)的情形。如果后一個(gè)成本函數(shù)較小，則將每一第 一級(jí)部分進(jìn)一步分割為四個(gè)第二級(jí)部分，并將對(duì)應(yīng)于未分割的第一級(jí)部分的
13成本函數(shù)與對(duì)應(yīng)于分割的第一級(jí)部分的成本函數(shù)作比較，以確定是否需要分
割這個(gè)第一級(jí)部分。圖9的視頻幀900顯示了兩個(gè)第一級(jí)部分(左下角與右 上角)，這兩個(gè)第一級(jí)部分不會(huì)進(jìn)一步分割為第二級(jí)部分，然而其它兩個(gè)第 一級(jí)部分被進(jìn)一步分割。類似地，將每一第二級(jí)部分分割為第三級(jí)部分并比 較成本函數(shù)，當(dāng)逼近預(yù)定分割級(jí)別時(shí)終止自頂向下分離演算法。
對(duì)于自底向上合并演算法，保真度增強(qiáng)區(qū)塊開(kāi)始計(jì)算最小部分的成本函 數(shù)，如第三級(jí)部分，對(duì)應(yīng)于四個(gè)第三級(jí)部分的成本函數(shù)與對(duì)應(yīng)于由這四個(gè)第 三級(jí)部分組成的較大區(qū)域的成本函數(shù)作比較。如果后一個(gè)成本函數(shù)較小，四 個(gè)第三級(jí)部分合并為一個(gè)第二級(jí)部分。在成本函數(shù)比較之后，四個(gè)第二級(jí)部 分也可合并為一個(gè)第一級(jí)部分。由保真度增強(qiáng)區(qū)塊最終確定的四叉樹(shù)分割結(jié) 構(gòu)可為一種保真度增強(qiáng)信息，其將嵌入到熵編碼(entropy coding)階段的比 特流中。
當(dāng)以四叉樹(shù)分割執(zhí)行保真度增強(qiáng)時(shí)，每一較小區(qū)域的計(jì)算結(jié)果可被再次 用于較大區(qū)域，其中較大區(qū)域包含較小區(qū)域。這種重用(reuse)的方法可應(yīng) 用于自底向上合并演算法及自頂向下分離演算法。首先可計(jì)算出對(duì)應(yīng)于較小 區(qū)域的計(jì)算結(jié)果，這些結(jié)果接著可被再次用于較大區(qū)域的計(jì)算。在利用維納 濾波器進(jìn)行保真度增強(qiáng)的一個(gè)示例中，會(huì)產(chǎn)生包含互相關(guān)(cross-correlation) 矩陣與自相關(guān)(auto-correlation)矩陣的濾波器參數(shù)。當(dāng)執(zhí)行某些分割方法(如 四叉樹(shù)分割方法)時(shí)，濾波后的幀的某些區(qū)域會(huì)被再次濾波，這取決于區(qū)域 的大小。因此，本發(fā)明提供一種用于維納濾波的重用的方法，其中當(dāng)對(duì)由較 小區(qū)域組成的較大區(qū)域執(zhí)行濾波時(shí)，用于較小區(qū)域的互相關(guān)矩陣及自相關(guān)矩 陣被再次用于較大區(qū)域。這節(jié)省了計(jì)算時(shí)間。
保真度增強(qiáng)參數(shù)通常被編碼并嵌入到編碼后的比特流的尾部。由于在編 碼后的比特流的尾部提供保真度增強(qiáng)參數(shù)意味著直到比特流的尾部被解碼之 后解碼器才能開(kāi)始執(zhí)行保真度增強(qiáng)， 一些現(xiàn)有方法將保真度增強(qiáng)信息置于報(bào) 頭(header)部分。然而這種方法需要比特流重新連接(re-catenation)。因
14此，本發(fā)明仍將保真度增強(qiáng)信息嵌于比特流的尾部，但在報(bào)頭中設(shè)置一個(gè)指 針用于指示保真度增強(qiáng)信息在比特流中的位置。舉例來(lái)說(shuō)，指針可給出報(bào)頭 與尾部之間的比特?cái)?shù)目的相關(guān)信息。這樣就允許解碼器在報(bào)頭中的指針解碼 之后即可搜尋保真度增強(qiáng)信息，因此，解碼器開(kāi)始執(zhí)行保真度增強(qiáng)比必須解 碼全部比特流之后才獲得保真度增強(qiáng)參數(shù)的情況快得多。請(qǐng)注意，保真度增 強(qiáng)參數(shù)不一定必須嵌入到比特流的尾部，且由于指針由編碼器修改，指針可
指向存儲(chǔ)在比特流中任何位置的任何信息，因此指針是自適應(yīng)的(adaptive)。 上述保真度增強(qiáng)區(qū)塊可利用上述至少一種或全部方法。以下說(shuō)明將結(jié)合 附圖闡述保真度增強(qiáng)區(qū)塊的各種不同位置，并進(jìn)一步解釋保真度增強(qiáng)區(qū)塊的 運(yùn)作。
請(qǐng)參照?qǐng)D1，圖1為依據(jù)本發(fā)明第一實(shí)施例的編媽器100的示意圖。編 碼器100包含保真度增強(qiáng)(Fidelity Enhancement,以下簡(jiǎn)稱為FE)區(qū)塊(圖 中標(biāo)示為FE) 160。編碼器IOO還包含幀內(nèi)預(yù)測(cè)(intraprediction)區(qū)塊110、 幀間預(yù)測(cè)(interprediction)區(qū)塊120、減法器132、轉(zhuǎn)換區(qū)塊(圖中標(biāo)示為T) 134、量化區(qū)塊(圖中標(biāo)示為Q) 136、反轉(zhuǎn)換區(qū)塊(圖中標(biāo)示為IT) 142、 反量化區(qū)塊(圖中標(biāo)示為IQ) 138、重建(reconstruction)單元(圖中標(biāo)示 為REC) 170、消除塊效應(yīng)(deblocking)單元140、參考幀緩沖器130以及 熵編碼單元180，其中幀間預(yù)測(cè)區(qū)塊120可以是，例如，運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償 區(qū)塊。除了 FE區(qū)塊160之外，編碼器100的其它元件對(duì)本領(lǐng)域技術(shù)人員而 言是熟知的，因此關(guān)于這些元件的功能及操作此處不再贅述。FE區(qū)塊160 接收來(lái)自參考幀緩沖器130的一個(gè)或多個(gè)參考幀的處理過(guò)的數(shù)據(jù)，減小參考 幀的處理過(guò)的數(shù)據(jù)與當(dāng)前幀的數(shù)據(jù)之間的偏差(discrepancy)，并將補(bǔ)償?shù)?處理過(guò)的數(shù)據(jù)提供給幀間預(yù)測(cè)區(qū)塊120進(jìn)行預(yù)測(cè)。FE區(qū)塊160可在區(qū)塊、片 段或四叉樹(shù)級(jí)別上執(zhí)行上述至少一種保真度增強(qiáng)方法。在執(zhí)行保真度增強(qiáng)并 產(chǎn)生保真度增強(qiáng)的相關(guān)參數(shù)時(shí)，F(xiàn)E區(qū)塊160也可利用上述一種或多種方法。 換句話說(shuō)，圖1所示的FE區(qū)塊160在執(zhí)行維納濾波時(shí)可重用自相關(guān)矩陣與互相關(guān)矩陣，以及利用編碼后的比特流報(bào)頭中的自適應(yīng)指針來(lái)將保真度增強(qiáng) 信息在比特流中的位置通知給解碼器時(shí)，所產(chǎn)生的保真度增強(qiáng)信息可嵌入到 編碼后的比特流的尾部。
請(qǐng)參照?qǐng)D2，圖2為依據(jù)本發(fā)明第一實(shí)施例解碼器200的示意圖。解碼 器200包含F(xiàn)E區(qū)塊270，其位于編碼器100中FE區(qū)塊160 (見(jiàn)圖1)的相 應(yīng)位置上。這確保了解碼器200可最佳地利用編碼器100所產(chǎn)生的保真度增 強(qiáng)信息。解碼器200更包含熵解碼單元240、幀內(nèi)預(yù)測(cè)區(qū)塊210、運(yùn)動(dòng)補(bǔ)償單 元220、參考幀緩沖器230、反量化區(qū)塊256、反轉(zhuǎn)換區(qū)塊242、重建單元250 以及消除塊效應(yīng)單元260。由于這些單元的功能及操作對(duì)于本領(lǐng)域技術(shù)人員 而言是熟知的，為簡(jiǎn)潔起見(jiàn)，此處不再贅述。熵解碼單元240從所接收的比 特流中取回殘差(residues)及其它信息，如保真度增強(qiáng)信息、幀內(nèi)部模式信 息以及幀之間模式信息等。 一些實(shí)施例中，熵解碼單元240在解碼報(bào)頭時(shí)獲 得指針，指針指示保真度增強(qiáng)信息在接收到的比特流中的位置。FE區(qū)塊270 接著從熵解碼單元240接收保真度增強(qiáng)信息，并對(duì)存儲(chǔ)在參考幀緩沖器230 中的一個(gè)或多個(gè)參考幀的處理過(guò)的數(shù)據(jù)進(jìn)行保真度增強(qiáng)操作。一些實(shí)施例中， 保真度增強(qiáng)信息包含代表特定四叉樹(shù)分割結(jié)構(gòu)的信息，F(xiàn)E區(qū)塊依據(jù)特定的四 叉樹(shù)分割結(jié)構(gòu)執(zhí)行濾波或偏差建模(discrepancy modeling)。
請(qǐng)參照?qǐng)D3與圖4，圖3與圖4分別是依據(jù)本發(fā)明第二實(shí)施例的編碼器 300及解碼器400的示意圖。編碼器300與解碼器400分別包含F(xiàn)E區(qū)塊160 與FE區(qū)塊270。編碼器300中位于消除塊效應(yīng)單元140之后的FE區(qū)塊160 用于減小當(dāng)前幀的處理過(guò)的數(shù)據(jù)與當(dāng)前幀的原始數(shù)據(jù)(即未處理的數(shù)據(jù))之 間的誤差，并產(chǎn)生補(bǔ)償?shù)奶幚磉^(guò)的數(shù)據(jù)。來(lái)自FE區(qū)塊160的補(bǔ)償?shù)奶幚磉^(guò) 的數(shù)據(jù)存儲(chǔ)在參考幀緩沖器130。請(qǐng)注意，圖3與圖4中所示的每一區(qū)塊的 功能及操作分別與圖1及圖2中的相應(yīng)區(qū)塊相同，因此保持了相同的標(biāo)號(hào)。
請(qǐng)參照?qǐng)D5~圖8，圖5~圖8分別為依據(jù)本發(fā)明第三實(shí)施例的編碼器500、 解碼器600及依據(jù)本發(fā)明第四實(shí)施例的編碼器700、解碼器800的示意圖。各實(shí)施例之間的差別在于FE區(qū)塊的位置。每一示意圖中的FE區(qū)塊都可執(zhí)行 包括維納濾波的保真度增強(qiáng)技術(shù)。 一些實(shí)施例中采用四叉樹(shù)分割，并且重用 的方法可進(jìn)一步減少計(jì)算時(shí)間。舉例來(lái)說(shuō)，當(dāng)先對(duì)較小區(qū)域執(zhí)行維納濾波， 并接著對(duì)包含較小區(qū)域的較大區(qū)域執(zhí)行維納濾波時(shí)，已經(jīng)產(chǎn)生的互相關(guān)矩陣 與自相關(guān)矩陣可再次用于濾波。此外，所揭示的每一編碼器均可利用編碼后 的比特流報(bào)頭中的自適應(yīng)指針來(lái)指示保真度增強(qiáng)信息在比特流中的位置。如 圖5所示的第三實(shí)施例中，F(xiàn)E區(qū)塊160對(duì)當(dāng)前幀的處理過(guò)的數(shù)據(jù)執(zhí)行保真度 增強(qiáng)，以減小轉(zhuǎn)換區(qū)塊134、量化區(qū)塊136、反量化區(qū)塊138以及反轉(zhuǎn)換區(qū)塊 142進(jìn)行操作時(shí)所引入的誤差。如圖7所示的第四實(shí)施例中，F(xiàn)E區(qū)塊160對(duì) 當(dāng)前幀的處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)，以減小量化區(qū)塊136及反量化區(qū)塊 138進(jìn)行操作時(shí)所引入的誤差。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，所揭示的FE區(qū)塊并不限定于上述示意圖中 所顯示的單一位置，包含多個(gè)處于不同位置的FE區(qū)塊的編碼器及解碼器也 落在本發(fā)明保護(hù)的范圍之內(nèi)。另外，編碼器與解碼器中的各FE區(qū)塊可能執(zhí) 行不同的保真度增強(qiáng)方法。本領(lǐng)域技術(shù)人員也應(yīng)當(dāng)了解，F(xiàn)E區(qū)塊不必執(zhí)行上 述揭示的所有方法(如比特流中指示保真度增強(qiáng)信息位置的指針、四叉樹(shù)分 割、四叉樹(shù)分割中計(jì)算結(jié)果的重用等)，僅執(zhí)行上述方法中一種或幾種的FE 區(qū)塊也落在本發(fā)明要求保護(hù)的范圍之內(nèi)。
本發(fā)明詳述了在編碼中利用維納濾波以及通過(guò)提供多種保真度增強(qiáng)技術(shù) 將相關(guān)濾波信息嵌入到編碼后的比特流中的構(gòu)思，其中相關(guān)信息將同樣被嵌 入到編碼后的比特流中。本發(fā)明也提供一種執(zhí)行保真度增強(qiáng)的方法，如對(duì)依 據(jù)四叉樹(shù)分割法分割的幀進(jìn)行維納濾波以及計(jì)算結(jié)果的重用。最后，本發(fā)明 通過(guò)在比特流的報(bào)頭中設(shè)置指針來(lái)指示保真度增強(qiáng)信息的位置，為解碼器提 供了立即存取保真度增強(qiáng)信息的方法，即使信息并未嵌于比特流的報(bào)頭中。
所屬技術(shù)領(lǐng)域的技術(shù)人員可輕易完成的均等改變或潤(rùn)飾均屬于本發(fā)明所 主張的范圍，本發(fā)明的權(quán)利范圍應(yīng)以權(quán)利要求書所限定的范圍為準(zhǔn)。
權(quán)利要求
1. 一種編碼器，其特征在于，所述的編碼器用于接收視頻幀，并進(jìn)行多個(gè)編碼處理以產(chǎn)生編碼后的比特流，所述的編碼器包含保真度增強(qiáng)區(qū)塊，利用四叉樹(shù)分割對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用保真度增強(qiáng)技術(shù)，并產(chǎn)生包含至少一參數(shù)的保真度增強(qiáng)信息，其中所述的至少一參數(shù)與四叉樹(shù)分割結(jié)構(gòu)相關(guān)；以及熵編碼區(qū)塊，耦合于所述的保真度增強(qiáng)區(qū)塊，用于編碼所述的保真度增強(qiáng)信息，并將編碼后的保真度增強(qiáng)信息嵌入到所述的編碼后的比特流。
2. 如權(quán)利要求1所述的編碼器，其特征在于，所述的保真度增強(qiáng)技術(shù)包 含維納濾波、卡爾曼濾波、噪聲削減、去模糊、回歸以及規(guī)則化。
3. 如權(quán)利要求1所述的編碼器，其特征在于，所述的保真度增強(qiáng)區(qū)塊執(zhí) 行維納濾波，產(chǎn)生用于所述的視頻幀的較小區(qū)域的多個(gè)自相關(guān)矩陣與多個(gè)互 相關(guān)矩陣，以及當(dāng)所述的視頻幀的較大區(qū)域包括所述的較小區(qū)域時(shí)，再次將 所述的多個(gè)自相關(guān)矩陣與所述的多個(gè)互相關(guān)矩陣用于所述的較大區(qū)域。
4. 如權(quán)利要求1所述的編碼器，其特征在于，所述的保真度增強(qiáng)技術(shù)是 偏差建模技術(shù)，所述的偏差建模技術(shù)包含直流偏移補(bǔ)償、加權(quán)預(yù)測(cè)以及空間
5. 如權(quán)利要求1所述的編碼器，其特征在于，所述的編碼器進(jìn)一步包含 預(yù)測(cè)區(qū)塊，用于對(duì)所述的視頻幀執(zhí)行預(yù)測(cè)，以產(chǎn)生預(yù)測(cè)殘差及預(yù)測(cè)信息； 轉(zhuǎn)換與量化區(qū)塊，耦合于所述的預(yù)測(cè)區(qū)塊，用于對(duì)所述的預(yù)測(cè)殘差進(jìn)行轉(zhuǎn)換與量化處理；以及重建回路，耦合于所述的轉(zhuǎn)換與量化區(qū)塊及所述的預(yù)測(cè)區(qū)塊之間，用于 依據(jù)所述的預(yù)測(cè)殘差與來(lái)自所述的轉(zhuǎn)換與量化區(qū)塊的信息重建所述的視頻 幀；其中所述的熵編碼區(qū)塊耦合于所述的轉(zhuǎn)換與量化區(qū)塊，以及所述的保真度增強(qiáng)區(qū)塊處于所述的重建回路中。
6. 如權(quán)利要求5所述的編碼器，其特征在于，所述的重建回路進(jìn)一步包含消除塊效應(yīng)單元，用于消除塊效應(yīng)以產(chǎn)生用于所述的保真度增強(qiáng)區(qū)塊的 所述的處理過(guò)的數(shù)據(jù)。
7. 如權(quán)利要求5所述的編碼器，其特征在于，所述的重建回路進(jìn)一步包含參考幀緩沖器，用于緩沖參考幀的處理過(guò)的數(shù)據(jù)；其中所述的保真度增強(qiáng)區(qū)塊對(duì)從所述的參考幀緩沖器得到的所述的參考 幀的處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)。
8. 如權(quán)利要求5所述的編碼器，其特征在于，所述的重建回路進(jìn)一步包含反量化與轉(zhuǎn)換單元，耦合于所述的轉(zhuǎn)換與量化區(qū)塊，用于進(jìn)行反量化與轉(zhuǎn)換處理以產(chǎn)生所述的處理過(guò)的數(shù)據(jù)；其中所述的保真度增強(qiáng)區(qū)塊從所述的反量化與轉(zhuǎn)換單元接收所述的處理 過(guò)的數(shù)據(jù)。
9. 如權(quán)利要求5所述的編碼器，其特征在于，所述的重建回路進(jìn)一步包含反量化單元，耦合于所述的轉(zhuǎn)換與量化區(qū)塊，用于進(jìn)行反量化處理以產(chǎn)生所述的處理過(guò)的數(shù)據(jù)；其中所述的保真度增強(qiáng)區(qū)塊從所述的反量化單元接收所述的處理過(guò)的數(shù)據(jù)。
10. 如權(quán)利要求1所述的編碼器，其特征在于，所述的編碼后的保真度增 強(qiáng)信息嵌入到所述的編碼后的比特流，以及所述的編碼后的比特流的報(bào)頭包 含指針，所述的指針用于指示所述的保真度增強(qiáng)信息在所述的編碼后的比特 流中的位置。
11. 一種視頻幀編碼方法，所述的方法包含 接收視頻幀；利用四叉樹(shù)分割方法來(lái)決定如何分割所述的視頻幀； 依據(jù)決定結(jié)果來(lái)分割所述的視頻幀，并對(duì)所述的視頻幀執(zhí)行保真度增強(qiáng) 以產(chǎn)生多個(gè)保真度增強(qiáng)參數(shù)；以及用所述的多個(gè)保真度增強(qiáng)參數(shù)編碼所述的視頻幀以產(chǎn)生編碼后的比特流。
12. 如權(quán)利要求11所述的視頻幀編碼方法，其特征在于，所述的利用四 叉樹(shù)分割方法來(lái)決定如何分割所述的視頻幀的步驟進(jìn)一步包含利用自頂向下分離演算法或自底向上合并演算法，并比較成本函數(shù)來(lái)決 定如何分割所述的視頻幀。
13. 如權(quán)利要求11所述的視頻幀編碼方法，其特征在于，當(dāng)所述的視頻幀的較大區(qū)域包含所述的視頻幀的較小區(qū)域時(shí)，用于所述的較小區(qū)域的多個(gè) 計(jì)算結(jié)果被再次用于所述的較大區(qū)域。
14. 一種視頻幀編碼方法，所述的方法包含 接收視頻幀；對(duì)處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)，以產(chǎn)生保真度增強(qiáng)信息； 編碼所述的視頻幀以產(chǎn)生編碼后的比特流；編碼所述的保真度增強(qiáng)信息，并將編碼后的保真度增強(qiáng)信息嵌入到所述 的編碼后的比特流；以及產(chǎn)生指針，用于指示所述的保真度增強(qiáng)信息在所述的編碼后的比特流中 的位置。
15. 如權(quán)利要求14所述的視頻幀編碼方法，其特征在于，保真度增強(qiáng)包 括濾波以及偏差建模。
16. —種比特流解碼方法，所述的方法包含 接收比特流；從所述的比特流的報(bào)頭中得到指針，其中所述的指針指示保真度增強(qiáng)信息在所述的比特流中的位置；通過(guò)進(jìn)行多個(gè)解碼處理重建視頻幀；以及 利用所述的保真度增強(qiáng)信息對(duì)處理過(guò)的數(shù)據(jù)執(zhí)行保真度增強(qiáng)。
17. 如權(quán)利要求16所述的比特流解碼方法，其特征在于，保真度增強(qiáng)包括濾波以及偏差建模。
18. —種解碼器，其特征在于，所述的解碼器用于接收比特流以產(chǎn)生視頻 幀，所述的解碼器包含熵解碼單元，用于解碼所述的比特流以產(chǎn)生殘差及保真度增強(qiáng)信息，其中所述的保真度增強(qiáng)信息包含至少一參數(shù)，所述的至少一參數(shù)與四叉樹(shù)分割 結(jié)構(gòu)相關(guān)；以及重建回路，耦合于所述的熵解碼單元，用于從所述的殘差重建所述的視 頻幀，其中所述的重建回路包含-保真度增強(qiáng)區(qū)塊，用于從所述的熵解碼單元接收所述的保真度增強(qiáng)信息， 并依據(jù)從所述的保真度增強(qiáng)信息中得到的所述的四叉樹(shù)分割結(jié)構(gòu)執(zhí)行保真度 增強(qiáng)。
19. 一種編碼器，其特征在于，所述的解碼器用于接收視頻幀，并進(jìn)行多 個(gè)編碼處理以產(chǎn)生編碼后的比特流，所述的編碼器包含預(yù)測(cè)區(qū)塊，用于對(duì)所述的視頻幀執(zhí)行預(yù)測(cè)以產(chǎn)生預(yù)測(cè)殘差與預(yù)測(cè)信息；轉(zhuǎn)換與量化區(qū)塊，耦合于所述的預(yù)測(cè)區(qū)塊，用于對(duì)所述的預(yù)測(cè)殘差進(jìn)行轉(zhuǎn)換與量化處理；重建回路，耦合于所述的轉(zhuǎn)換與量化區(qū)塊及所述的預(yù)測(cè)區(qū)塊之間，用于 依據(jù)所述的預(yù)測(cè)殘差與來(lái)自所述的轉(zhuǎn)換與量化區(qū)塊的信息重建所述的視頻 幀；其中，所述的重建回路包含參考幀緩沖器；以及偏差建模區(qū)塊，用于對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用偏差建模技術(shù)，并產(chǎn)生偏差建模信息；以及熵編碼區(qū)塊，用所述的偏差建模信息將所述的預(yù)測(cè)殘差編碼入所述的編 碼后的比特流。
20. 如權(quán)利要求19所述的編碼器，其特征在于，所述的偏差建模技術(shù)包 括直流偏移補(bǔ)償、加權(quán)預(yù)測(cè)以及空間預(yù)測(cè)。
21. 如權(quán)利要求19所述的編碼器，其特征在于，所述的偏差建模區(qū)塊接 收來(lái)自所述的參考幀緩沖器的參考幀的處理過(guò)的數(shù)據(jù)，并執(zhí)行偏差建模以減 小所述的參考幀與所述的視頻幀之間的誤差。
22. 如權(quán)利要求19所述的編碼器，其特征在于，所述的偏差建模區(qū)塊接 收所述的視頻幀的處理過(guò)的數(shù)據(jù)，執(zhí)行偏差建模以減小所述的視頻幀的處理 過(guò)的數(shù)據(jù)與所述的視頻幀的未處理的數(shù)據(jù)之間的誤差，并將補(bǔ)償?shù)奶幚磉^(guò)的 數(shù)據(jù)存儲(chǔ)到所述的參考幀緩沖器。
23. —種解碼器，用于接收比特流以產(chǎn)生視頻幀，所述的解碼器包含 熵解碼單元，用于解碼所述的比特流，以產(chǎn)生殘差與偏差建模信息；以及重建回路，耦合于所述的熵解碼單元，用于從所述的殘差重建所述的視頻幀，其中所述的重建回路包含偏差建模區(qū)塊，用于從所述的熵解碼單元接收所述的偏差建模信息，并 依據(jù)所述的偏差建模信息將偏差建模技術(shù)應(yīng)用于處理過(guò)的數(shù)據(jù)。
24. 如權(quán)利要求23所述的解碼器，其特征在于，所述的偏差建模技術(shù)包 含直流偏移補(bǔ)償、加權(quán)預(yù)測(cè)以及空間預(yù)測(cè)。
25. 如權(quán)利要求23所述的解碼器，其特征在于，所述的重建回路進(jìn)一步 包含參考幀緩沖器，以及所述的偏差建模區(qū)塊從所述的參考幀緩沖器接收參 考幀的處理過(guò)的數(shù)據(jù)，并依據(jù)所述的偏差建模信息執(zhí)行偏差建模。
26. 如權(quán)利要求23所述的解碼器，其特征在于，所述的重建回路進(jìn)一步 包含參考幀緩沖器，以及所述的偏差建模區(qū)塊接收所述的視頻幀的處理過(guò)的數(shù)據(jù)，依據(jù)所述的偏差建模信息執(zhí)行偏差建模，并將補(bǔ)償?shù)奶幚磉^(guò)的數(shù)據(jù)存 儲(chǔ)到所述的參考幀緩沖器。
全文摘要
本發(fā)明提供了編碼器、解碼器、視頻幀編碼方法及比特流解碼方法。其中一種編碼器用于接收視頻幀，并進(jìn)行編碼處理以產(chǎn)生編碼后的比特流，此編碼器包含保真度增強(qiáng)區(qū)塊，利用四叉樹(shù)分割對(duì)處理過(guò)的數(shù)據(jù)應(yīng)用保真度增強(qiáng)技術(shù)，并產(chǎn)生包含至少一參數(shù)的保真度增強(qiáng)信息，其中參數(shù)與四叉樹(shù)分割結(jié)構(gòu)相關(guān)；以及熵編碼區(qū)塊，耦合于保真度增強(qiáng)區(qū)塊，用于編碼保真度增強(qiáng)信息，并將編碼后的保真度增強(qiáng)信息嵌入到編碼后的比特流。本發(fā)明所提供的方法及裝置，通過(guò)在比特流的報(bào)頭中設(shè)置指針來(lái)指示保真度增強(qiáng)信息的位置，使得解碼器不必等待解碼全部比特流就可立即存取保真度增強(qiáng)信息，開(kāi)始執(zhí)行保真度增強(qiáng)。
文檔編號(hào)H04N7/26GK101459847SQ200810187119
公開(kāi)日2009年6月17日 申請(qǐng)日期2008年12月12日 優(yōu)先權(quán)日2007年12月13日
發(fā)明者峋 郭, 雷少民, 黃毓文 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司