圖像編碼和解碼的方法、編碼和解碼設(shè)備以及計算機程序的制作方法
【專利說明】
[0001] 本申請是申請?zhí)枮?01280031335. 9,申請日為2012年6月20日，題為"用于對圖 像編碼和解碼的方法、編碼和解碼設(shè)備以及相應(yīng)的計算機程序"的中國發(fā)明專利申請的分 案申請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明一般屬于圖像處理的領(lǐng)域，且更準(zhǔn)確地屬于數(shù)字圖像和數(shù)字圖像序列的編 碼和解碼。
[0003] 本發(fā)明由此可特別應(yīng)用于在目前的數(shù)字視頻編碼器（MPEG，H. 264等）或未來的視 頻編碼器（ITU-T/VCEG(H. 265)或IS0/MPEG(HVC))中實現(xiàn)的視頻編碼。
【背景技術(shù)】
[0004] 目前的視頻編碼器（MPEG、H264等）使用視頻序列的逐塊表示。圖像被分為宏塊， 每個宏塊本身可以被分為塊，并且每個塊或宏塊通過圖像內(nèi)或圖像間預(yù)測來編碼。于是，特 定的圖像通過空間預(yù)測（內(nèi)預(yù)測）來編碼，而其他圖像在相對于一個或多個被編碼-解碼 的參考圖像的時間預(yù)測（間預(yù)測）、在本領(lǐng)域技術(shù)人員已知的運動補償?shù)膸椭逻M行編碼。 此外，針對每個塊，可以對與原始塊減去預(yù)測相對應(yīng)的殘留塊進行編碼。該塊的系數(shù)可以在 變換之后被量化，然后被熵編碼器編碼。
[0005] 內(nèi)預(yù)測和間預(yù)測需要之前已經(jīng)被編碼和解碼的特定塊可用，從而在解碼器上或在 編碼器上被用于預(yù)測當(dāng)前塊。圖1示出了這樣的預(yù)測編碼的示例性例子，其中，圖像^被 分為塊，該圖像的當(dāng)前塊MB 1E在關(guān)于預(yù)訂數(shù)量的之前被編碼和解碼的塊MBr pMBrjP MBr 3 進行預(yù)測編碼，例如如陰影箭頭所示。上述三個塊特別包含緊接當(dāng)前塊側(cè)的塊MBr i， 以及分別僅緊接當(dāng)前塊MB1I方和右上方的兩個塊MBr 2和MBr 3。
[0006] 熵編碼器在這里更為感興趣。熵編碼器以其到達的順序來編碼信息。典型地實 現(xiàn)"光柵掃描"類型的塊的逐行遍歷，如圖1所示通過引用PRS，從圖像左上角的塊開始。對 于每個塊，用來表示塊所必須的各個信息項（塊的類型、預(yù)測模式、殘留系數(shù)等）被順序分 發(fā)到熵編碼器。
[0007] 已知在AVC壓縮標(biāo)準(zhǔn)（也被稱為IS0-MPEG4第10部分和ITU-T H. 264)中引入的 被稱為"CABAC"（上下文適應(yīng)二進制算術(shù)編碼器）的足夠復(fù)雜的有效的算術(shù)編碼器。
[0008] 熵編碼器實現(xiàn)各個概念：
[0009] -算術(shù)編碼：編碼器例如初始在文檔J. Rissanen and G. G. Langdon Jr， "Universal modeling and coding，" IEEE Trans. Inform. Theory，vol. ΙΤ-27,ρρ· 12 - 23， Jan. 1981中描述的編碼器使用符號出現(xiàn)概率來對該符號進行編碼；
[0010] -上下文適應(yīng)：在這里，這包括適應(yīng)要編碼的符號的出現(xiàn)概率。一方面，快速實現(xiàn) 學(xué)習(xí)。另一方面，依賴于之前被編碼的信息的狀態(tài)，特定的上下文被用于編碼。對于每個上 下文，存在固有的符號出現(xiàn)概率與之對應(yīng)。例如，上下文對應(yīng)于根據(jù)給定配置來編碼的符 號的類型（殘留系數(shù)的表示、編碼模式的信號等），或者鄰居的狀態(tài)（例如在鄰居中選擇的 "內(nèi)"模式的數(shù)量等）。
[0011] -二進制化：實現(xiàn)要編碼的符號的比特序列的成形。隨后，這些各個比特被相繼分 發(fā)到二進制熵編碼器。
[0012] 于是，針對使用的每個上下文，該熵編碼器實現(xiàn)一種系統(tǒng)，針對所考慮的上下文來 快速學(xué)習(xí)關(guān)于之前被編碼的符號的概率。該學(xué)習(xí)基于對這些符號進行編碼的順序。典型地， 根據(jù)如上所述的"光柵掃描"類型的順序來遍歷圖像。
[0013] 在可以是0或1的給定符號b的編碼期間，通過下列方式來更新當(dāng)前塊MB1的該 符號的出現(xiàn)概率Pi的學(xué)習(xí)：
[0014]
[0015] 其中，α是預(yù)定值例如〇. 95, P1 i是在該符號最后出現(xiàn)時計算的符號出現(xiàn)概率。
[0016] 圖1示出了這樣的熵編碼的示例性例子，其中，圖像I』勺當(dāng)前塊MB1被熵編碼。 在塊熵編碼開始時，所使用的符號出現(xiàn)概率是之前被編碼和解碼的塊的編碼之后獲 得的概率，根據(jù)上述□光柵掃描□類型的塊的逐行遍歷，該塊正好在當(dāng)前塊MB 1的前面。僅 為了圖的清楚，在圖1中通過細箭頭針對特定的塊來表示這樣的基于塊和塊的依賴性的 學(xué)習(xí)。
[0017] 該類型的熵編碼的缺點在于，考慮到塊的□光柵掃描□遍歷，在對位于一行開始 的符號進行編碼時，使用的概率主要對應(yīng)于在前一行結(jié)束位置的符號所看到的那些概率。 現(xiàn)在，考慮到符號概率的可能的空間變化（例如，對于和運動信息項相關(guān)的符號，位于圖像 右側(cè)部分的運動可以和在左側(cè)部分看到的不同，并且因此對于隨后的局部概率來說也是類 似的），可以看到概率的局部一致性的缺失，由此可能增加編碼期間的效率損失。
[0018] 為了限制該現(xiàn)象，已經(jīng)提出了對塊的遍歷順序的調(diào)整，目標(biāo)是確保更好的局部一 致性，但編碼和解碼仍保持順序。
[0019] 該類型的熵編碼器還有另一個缺點。確實，符號的編碼和解碼依賴于就此學(xué)習(xí)的 概率，符號的解碼可以僅以與在編碼期間使用的順序相同的順序來實現(xiàn)。典型地，于是解碼 可以只是順序的，由此阻止若干個符號的并行解碼（例如從多核架構(gòu)中受益）。
[0020] 文檔 Thomas Wiegand，Gary J. Sullivan,Gisle Bjontegaard,and Ajay Luthra， ^Overview of the H. 264/AVC Video Coding Standard"，IEEE Transactions on Circuits and Systems for Video Technology，Vol.l3，No.7，pp. 560-576, July 2003 還指出，CABAC 熵編碼器具有將非整數(shù)數(shù)量的比特分配給要編碼的當(dāng)前字母表的每個符號的特殊特征，這 對于大于0.5的符號出現(xiàn)概率是有利的。特別地，CABAC編碼器等待直到它已經(jīng)讀取了若 干個符號，然后將預(yù)定數(shù)量的比特分配給讀取的該符號集，編碼器將該比特寫到要發(fā)送到 解碼器的壓縮流中。這樣的規(guī)定由此使其可能使若干個符號上的比特"交互作用"，并對 分數(shù)數(shù)量的比特上的符號進行編碼，該數(shù)量反映了與通過符號實際發(fā)送的信息更接近的信 息。與讀取的符號關(guān)聯(lián)的其他比特未在壓縮流中發(fā)送，而是保持等候，等待被分配給CABAC 編碼器讀取的一個或多個新的符號，使其可能再次使這些其他比特交互作用。通過已知的 方式，熵編碼器在給定的時刻"清空"這些未發(fā)送的比特。除非另外說明，在所述給定的時 亥IJ，編碼器提取還未被發(fā)送的比特，并將它們寫入到去往解碼器的壓縮流中。該清空例如在 已經(jīng)讀取要編碼的最后一個符號的時刻進行，以確保壓縮流確實包含所有比特，該比特將 允許解碼器對字母表中的所有符號進行解碼。通過更一般的方式，作為專用于給定編碼器 /解碼器的性能和功能的函數(shù)來確定進行清空的時刻。
[0021] 在 2011 年 4 月 15 號的互聯(lián)網(wǎng)地址 http://research. microsoft. com/en-us/um/ people/jinl/paper_2002/msri_jpeg. htm 上可用的文檔描述了一種對符合 JPEG 2000 壓 縮標(biāo)準(zhǔn)的靜態(tài)圖像進行編碼的方法。該靜態(tài)圖像經(jīng)過離散小波變換，然后被量化，由此使其 可能獲得量化的小波系數(shù)，量化索引分別與之關(guān)聯(lián)。在熵編碼器的幫助下對獲取的量化索 引進行編碼。量化系數(shù)之前被分組為稱為代碼塊的矩形塊，大小典型為64x 64或32x 32。 每個代碼塊然后被熵編碼獨立編碼。于是，在對當(dāng)前的代碼塊進行編碼時，熵編碼器不會使 用在之前的代碼塊的編碼期間計算的符號出現(xiàn)概率。熵編碼器由此在每次開始代碼塊的編 碼時處于初始化狀態(tài)。該方法展示了對代碼塊的數(shù)據(jù)進行解碼而不用對相鄰的代碼塊進行 解碼的好處。于是，例如，一個客戶端軟件可以請求一個服務(wù)器軟件提供僅客戶需要的壓縮 代碼塊來對圖像中識別的子部分進行解碼。該方法還展示了允許代碼塊的并行編碼和/或 解碼的優(yōu)勢。于是，代碼塊的大小越小，并行化級別就越高。例如，對于固定為2的并行化 級別，兩個代碼塊將被并行編碼和/或解碼。理論上，并行化級別的值等于圖像中要編碼的 代碼塊的數(shù)量。但是，考慮到該編碼沒有利用從當(dāng)前代碼塊的中間環(huán)境出現(xiàn)的概率，該方法 獲得的壓縮性能不是最優(yōu)的。

【發(fā)明內(nèi)容】

[0022] 本發(fā)明的一個目標(biāo)是修復(fù)上述現(xiàn)有技術(shù)的缺陷。
[0023] 為此，本發(fā)明的主題涉及一種對至少一個圖像進行編碼的方法，包括下列步驟：
[0024] -將圖像分割為可以包含屬于預(yù)定符號集的符號的多個塊，
[0025] -將所述塊分組為預(yù)定數(shù)量的塊子集，
[0026] -通過熵編碼模塊、通過將數(shù)字信息與所考慮的子集中的每個塊的符號進行關(guān)聯(lián) 來對所述塊子集中的每個進行編碼，該編碼步驟包括針對圖像的第一塊來初始化熵編碼模 塊的狀態(tài)變量的子步驟，
[0027] -生成表示被編碼的塊子集中的至少一個的至少一個數(shù)據(jù)子流，
[0028] 根據(jù)本發(fā)明的方法值得注意，在于：
[0029] -在當(dāng)前塊是所考慮的子集中要被編碼的第一塊的情形下，確定該第一當(dāng)前塊的 符號出現(xiàn)概率，該概率是針對至少一個其他子集的編碼和解碼的預(yù)定塊而已經(jīng)確定的那 些概率，
[0030] _在當(dāng)前塊是所考慮的子集中最后編碼的塊的情形下：
[0031] 魯將在所考慮的所述子集中的塊的編碼期間與所述符號關(guān)聯(lián)的所有數(shù)字信息寫 入到子流中，該子流表示所考慮的子集，
[0032] ?實現(xiàn)初始化子步驟。
[0033] 上述寫入步驟相當(dāng)于，一旦塊子集中的最后一塊已被編碼，清空還未被發(fā)送的數(shù) 字信息（比特），如上描述所解釋。
[0034] 上述寫入步驟和重新初始化熵編碼模塊的步驟的耦合使其可能產(chǎn)生包含各個數(shù) 據(jù)子流的被編碼的數(shù)據(jù)流，該數(shù)據(jù)子流分別對應(yīng)于該至少一個被編碼的塊子集，所述流適 合根據(jù)各種并行化級別來編碼，并且這與應(yīng)用于塊子集的編碼類型不管是順序還是并行無 關(guān)。于是，在編碼時可以在并行級別的選擇上有很大的自由度，該并行級別作為期望的編碼 /解碼性能的函數(shù)。解碼的并行級別可變，且甚至可以與編碼的并行級別不同，因為在開始 塊子集的解碼時，解碼器總是處于初始化狀態(tài)。
[0035] 根據(jù)第一例子，熵編碼模塊的狀態(tài)變量是表示預(yù)定符號集的符號中的符號出現(xiàn)概 率的區(qū)間的兩個邊界。
[0036] 根據(jù)第二例子，熵編碼模塊的狀態(tài)變量是本領(lǐng)域技術(shù)人員熟知并且在2011年6 月 21 日在下列互聯(lián)網(wǎng)地址 http://en.wikipedia.org/wiki/Lempel%E2%80%93Ziv% E2% 80% 93Welch中描述的LZW(Lempel-Ziv-Welch)熵編碼器的轉(zhuǎn)換表中包含的符號的 串。
[0037] 使用在所考慮的塊子集的第一當(dāng)前塊的熵編碼期間使用針對所述其他子集的第 一塊來確定的符號出現(xiàn)概率的主要好處是，通過在后者中僅存儲所述符號出現(xiàn)概率的更新 而不用考慮通過所述其他子集中的其他連續(xù)塊來學(xué)習(xí)的符號出現(xiàn)概率，來節(jié)省編碼器的緩 沖存儲器。
[0038] 在所考慮的塊子集中的第一當(dāng)前塊的熵編碼期間使用針對所述子集中除了第一 塊以外的塊例如第二塊來確定的符號出現(xiàn)概率的好處是獲得更準(zhǔn)確且由此更好地學(xué)習(xí)符 號出現(xiàn)概率，由此提升更好的視頻壓縮性能。
[0039] 在特定的實施例中，塊子集被順序或者并行編碼。
[0040] 子集塊被順序編碼的事實所具有的好處是展示符合H. 264/MPEG-4AVC標(biāo)準(zhǔn)的根 據(jù)本發(fā)明的編碼方法。
[0041] 子集塊被并行編碼的事實所具有的好處是加速編碼器處理時間且受益于圖像編 碼的多平臺架構(gòu)。
[0042] 在另一特定實施例中，當(dāng)至少兩個塊子集與至少一個其他的塊子集并行編碼時， 該至少兩個被編碼的塊子集被包含在相同的數(shù)據(jù)子流中。
[0043] 該規(guī)定使其特別可能節(jié)省數(shù)據(jù)子流的信令。確實，為了使解碼單元能夠盡可能早 地對子流進行解碼，需要在壓縮文件中指示所考慮的子流在何處開始