用于在跳過變換的情況下對(duì)塊的符號(hào)編碼的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開總體上涉及數(shù)據(jù)壓縮，具體涉及在跳過變換的情況下對(duì)塊進(jìn)行編碼的視頻 編碼方法和設(shè)備，更具體地，涉及對(duì)非零系數(shù)的符號(hào)進(jìn)行編碼的方法和設(shè)備。
【背景技術(shù)】
[0002] 視頻編碼的當(dāng)前最新技術(shù)是ITU-T H.265/HEVC視頻編碼標(biāo)準(zhǔn)。其定義了針對(duì)不同 應(yīng)用的諸多不同簡(jiǎn)檔，包括主簡(jiǎn)檔、主靜止圖像簡(jiǎn)檔等。存在用于編碼/解碼圖像和視頻的 多個(gè)標(biāo)準(zhǔn)，包括H. 265,其使用基于塊的編碼過程。在這些過程中，圖像或幀分為被通常大小 在4x4至64x64(然而在一些情況下可以使用非正方形的塊）的范圍內(nèi)的塊，且將塊頻譜變換 為系數(shù)，并進(jìn)行量化和熵編碼。在很多情況下，被變換的數(shù)據(jù)不是實(shí)際的像素?cái)?shù)據(jù)，而是預(yù) 測(cè)操作之后的殘差數(shù)據(jù)。預(yù)測(cè)可以是幀內(nèi)預(yù)測(cè)（即在幀/圖像內(nèi)的塊到塊)或幀間預(yù)測(cè)（即， 在幀之間（也被稱為運(yùn)動(dòng)預(yù)測(cè)））。
[0003] 當(dāng)對(duì)殘差數(shù)據(jù)進(jìn)行頻譜變換時(shí)，這些標(biāo)準(zhǔn)中的多個(gè)標(biāo)準(zhǔn)規(guī)定了使用離散余弦變換 (DCT)或基于它的一些變型。然后使用量化器對(duì)所得DCT系數(shù)進(jìn)行量化，以產(chǎn)生量化的變換 域系數(shù)。然后，與運(yùn)動(dòng)向量和其他數(shù)據(jù)一樣，對(duì)量化后的系數(shù)塊進(jìn)行熵編碼并與邊信息 (side information)-起封裝，以產(chǎn)生編碼視頻的比特流。
[0004] 在編碼器處，對(duì)比特流進(jìn)行熵解碼，以重建量化后的系數(shù)。然后，解碼器對(duì)重建的 量化后的系數(shù)進(jìn)行解量化和逆變換，以重建像素域殘差。然后，通過使用與編碼器處相同的 預(yù)測(cè)操作，重建像素?cái)?shù)據(jù)。
[0005] 當(dāng)對(duì)量化后的系數(shù)進(jìn)行編碼時(shí)，可以使用若干語義元素來信號(hào)發(fā)送任何非零系數(shù) 的幅值，包括顯著系數(shù)標(biāo)志、大于1的標(biāo)志、大于2的標(biāo)志以及更多級(jí)別數(shù)據(jù)。符號(hào)位也經(jīng)常 被編碼和解碼，以指示系數(shù)是正或者是負(fù)。由于正負(fù)符號(hào)的出現(xiàn)在統(tǒng)計(jì)上一般大致相等，所 以符號(hào)編碼不基于上下文。
[0006] 在一些情況下，HEVC及一些其他視頻編碼允許"變換跳過"。變換跳過指的是"跳 過" DCT操作，并簡(jiǎn)單地對(duì)實(shí)際的像素域殘差數(shù)據(jù)進(jìn)行量化，就好像其是系數(shù)數(shù)據(jù)一樣，然后 對(duì)該量化數(shù)據(jù)進(jìn)行編碼。還可以將其認(rèn)為是和DCT相對(duì)的恒等變換（identity transform) 的應(yīng)用。在另一情況下，在使用無損編碼時(shí)跳過變換操作(跳過變換和量化二者）。在上述任 何一種情況下，跳過變換將產(chǎn)生不是必然與ffiVC中的編碼過程的一些要素設(shè)計(jì)的底層的假 設(shè)相符的數(shù)據(jù)。
【附圖說明】
[0007] 作為示例，現(xiàn)在參考示出了本公開的示例實(shí)施例的附圖，附圖中：
[0008] 圖1以框圖形式示出了用于對(duì)視頻進(jìn)行編碼的編碼器；
[0009] 圖2以框圖形式示出了用于對(duì)視頻進(jìn)行解碼的解碼器；
[0010] 圖3以流程圖的形式示出了在跳過變換的情況下對(duì)塊的符號(hào)位進(jìn)行編碼的示例方 法；
[0011] 圖4以流程圖的形式示出了在跳過變換的情況下對(duì)塊的符號(hào)位進(jìn)行解碼的示例方 法；
[0012] 圖5a示出了用于確定上下文的有限狀態(tài)機(jī)，該上下文用于在跳過變換的情況下對(duì) 塊的符號(hào)標(biāo)記進(jìn)行編碼；
[0013] 圖5b示出了用于確定上下文的另一示例有限狀態(tài)機(jī)，該上下文用于在跳過變換的 情況下對(duì)塊的符號(hào)標(biāo)記進(jìn)行編碼；
[0014] 圖6示出了基于有限狀態(tài)機(jī)對(duì)符號(hào)信息進(jìn)行上下文編碼的示例方法；
[0015] 圖7示出了基于有限狀態(tài)機(jī)對(duì)符號(hào)信息進(jìn)行上下文解碼的示例方法；
[0016] 圖8示出了使用預(yù)測(cè)和相鄰系數(shù)，在跳過變換的情況下對(duì)符號(hào)信息進(jìn)行編碼的示 例方法；
[0017] 圖9示出了基于預(yù)測(cè)和相鄰系數(shù)，在跳過變換的情況下對(duì)符號(hào)信息進(jìn)行解碼的示 例方法；
[0018] 圖10示出了使用符號(hào)翻轉(zhuǎn)(flip)，在跳過變換的情況下對(duì)符號(hào)信息進(jìn)行編碼的示 例方法；
[0019] 圖11示出了使用符號(hào)翻轉(zhuǎn)，在跳過變換的情況下對(duì)符號(hào)信息進(jìn)行解碼的示例方 法；
[0020] 圖12示出了編碼器的示例實(shí)施例的簡(jiǎn)化框圖；以及 [0021 ]圖13示出了解碼器的示例實(shí)施例的簡(jiǎn)化框圖。
[0022]在不同的附圖中已經(jīng)使用類似的參考標(biāo)號(hào)來標(biāo)記類似的組份。
【具體實(shí)施方式】
[0023] 本公開描述了在跳過變換的情況下對(duì)塊中的非零系數(shù)的符號(hào)進(jìn)行編碼的方法和 編碼器/解碼器。
[0024] 在第一方案中，本公開描述了一種對(duì)視頻解碼器中的數(shù)據(jù)的比特流進(jìn)行解碼，以 重建視頻中的塊的非零系數(shù)的方法。所述方法包括確定所述塊是在跳過變換的情況下進(jìn)行 編碼的，并且基于所述確定，對(duì)相同符號(hào)標(biāo)志進(jìn)行解碼，所述相同符號(hào)標(biāo)志指示塊中的非零 系數(shù)是否全都具有相同符號(hào)。如果非零系數(shù)全都具有共同符號(hào)，則解碼重建語義元素，所述 語義元素指示所述共同符號(hào)是正還是負(fù)，以及基于所述語義元素，重建非零系數(shù)的有符號(hào) 值;否則，重建塊的相應(yīng)非零系數(shù)的符號(hào)位，并基于其相應(yīng)符號(hào)位，重建每個(gè)非零系數(shù)的有 符號(hào)值。
[0025] 在另一個(gè)方案中，本申請(qǐng)描述了一種對(duì)視頻編碼器中的視頻的塊進(jìn)行編碼的方 法，所述塊具有一個(gè)或多個(gè)非零系數(shù)。所述方法包括:確定要在跳過變換的情況下對(duì)塊進(jìn)行 編碼，并且基于所述確定:對(duì)相同符號(hào)標(biāo)志進(jìn)行解碼，所述相同符號(hào)標(biāo)志指示是否該塊中的 非零系數(shù)都具有共同符號(hào);如果非零系數(shù)都具有共同符號(hào)，則對(duì)語義元素進(jìn)行編碼，所述語 義元素指示共同符號(hào)是正還是負(fù)；以及如果非零系數(shù)不都具有共同符號(hào)，針對(duì)所述非零系 數(shù)中的每個(gè)非零系數(shù)，如果不能推測(cè)得到其符號(hào)位，則對(duì)符號(hào)位進(jìn)行編碼。
[0026] 在又一個(gè)方案中，本申請(qǐng)描述了一種對(duì)視頻解碼器中的數(shù)據(jù)的比特流進(jìn)行解碼以 重建視頻中的塊的非零系數(shù)的方法。所述方法包括:確定所述塊是在跳過變換的情況下進(jìn) 行編碼的，并且基于所述確定:針對(duì)所述塊中按照掃描順序的每個(gè)非零系數(shù)，對(duì)所述非零系 數(shù)的符號(hào)信息進(jìn)行解碼；以及基于所述符號(hào)信息，將所述非零系數(shù)設(shè)置為正或?yàn)樨?fù)。所述解 碼是對(duì)至少一個(gè)非零系數(shù)的符號(hào)信息的不基于上下文的解碼以及對(duì)至少一個(gè)其他非零系 數(shù)的符號(hào)信息的基于上下文的解碼。
[0027] 在另一個(gè)方案中，本申請(qǐng)描述了一種在視頻編碼器中對(duì)視頻的塊進(jìn)行編碼的方 法，所述視頻的塊具有兩個(gè)或更多個(gè)非零系數(shù)。所述方法包括:確定要在跳過變換的情況下 對(duì)塊進(jìn)行編碼，并且基于所述確定:針對(duì)所述塊中按照掃描順序的每個(gè)非零系數(shù)，對(duì)所述非 零系數(shù)的符號(hào)信息進(jìn)行編碼，其中所述符號(hào)信息基于所述非零系數(shù)是正還是負(fù)，以及其中 所述編碼是對(duì)至少一個(gè)非零系數(shù)的符號(hào)信息的不基于上下文的編碼以及對(duì)至少一個(gè)其他 非零系數(shù)的符號(hào)信息的基于上下文的編碼。
[0028] 在另一方面中，本公開描述了被配置為實(shí)現(xiàn)這種編碼和解碼方法的編碼器和解碼 器。
[0029] 在又一方面，本公開描述了存儲(chǔ)計(jì)算機(jī)可執(zhí)行程序指令的非瞬時(shí)計(jì)算機(jī)可讀介 質(zhì)，所述計(jì)算機(jī)可執(zhí)行程序指令在被執(zhí)行時(shí)將處理器配置為執(zhí)行所描述的編碼和/或解碼 的方法。
[0030] 根據(jù)以下結(jié)合附圖對(duì)示例的描述的論述，本領(lǐng)域普通技術(shù)人員將理解本公開的其 他方面和特征。
[0031] 在以下描述中，參考用于視頻編碼的H.264標(biāo)準(zhǔn)和/或開發(fā)中的H.265/HEVC標(biāo)準(zhǔn)， 描述了一些示例實(shí)施例。本領(lǐng)域技術(shù)人員應(yīng)該理解，本申請(qǐng)不限于H.264/AVC或H. 265/ HEVC，而是可適用于其他視頻編碼/解碼標(biāo)準(zhǔn)，包括可能的將來的標(biāo)準(zhǔn)、多視圖編碼標(biāo)準(zhǔn)、可 伸縮視頻編碼標(biāo)準(zhǔn)、以及可重新的配置視頻編碼標(biāo)準(zhǔn)。
[0032]在隨后的描述中，當(dāng)提到視頻或圖像時(shí)，術(shù)語幀、圖片、切片（slice)、分片（tile) 和矩形切片組可以在某種程度上互換使用。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，在H.264標(biāo)準(zhǔn)的情形 中，幀可以包含一個(gè)或多個(gè)切片。術(shù)語"幀"可以用H.265/HEVC中的"圖片"來代替。在一些情 形中，幀/圖片的系列可稱為"序列"。在其他視頻編碼標(biāo)準(zhǔn)中可使用其他術(shù)語。還將認(rèn)識(shí)到， 取決于可應(yīng)用的圖像或視頻編碼標(biāo)準(zhǔn)的具體要求或術(shù)語，某些編碼/解碼操作可以逐幀執(zhí) 行，而一些編碼/解碼操作逐切片執(zhí)行，一些編碼/解碼操作逐圖片執(zhí)行，一些編碼/解碼操 作逐分片執(zhí)行，還有一些編碼/解碼操作以矩形切片組的方式執(zhí)行。在任何特定實(shí)施例中， 適用的圖像或視頻編碼標(biāo)準(zhǔn)可以確定是否關(guān)于幀和/或切片和/或圖片和/或分片和/或矩 形切片組來執(zhí)行以下描述的操作，視情況而定。相應(yīng)地，根據(jù)本公開，本領(lǐng)域普通技術(shù)人員 將理解，本文描述的特定操作或過程以及對(duì)幀、切片、圖片、分片、矩形切片組的特定引用對(duì) 于給定實(shí)施例是否適用于幀、切片、圖片、分片、矩形切片組、或者其中的一些或全部。其還 適用于編碼樹單元、編碼單元、預(yù)測(cè)單元、變換單元等，這些將通過以下描述而變得清楚。
[0033] 現(xiàn)在參照?qǐng)D1，圖1以框圖形式示出了用于對(duì)視頻進(jìn)行編碼的編碼器10。還參照?qǐng)D 2，圖2示出了用于對(duì)視頻進(jìn)行解碼的解碼器50的框圖。將清楚的是，本文描述的編碼器10和 解碼器50均可以在專用或通用計(jì)算設(shè)備(包含一個(gè)或多個(gè)處理單元和存儲(chǔ)器)上實(shí)現(xiàn)。編碼 器10或解碼器50執(zhí)行的操作可以通過例如專用集成電路或通過通用處理器可執(zhí)行的存儲(chǔ) 程序指令來實(shí)現(xiàn)，視情況而定。設(shè)備可以包括附加軟件，該附加軟件包括例如用于控制基本 設(shè)備功能的操作系統(tǒng)。關(guān)于以下描述，本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到在其中可以實(shí)現(xiàn)編碼器 10或解碼器50的設(shè)備和平臺(tái)的范圍。
[0034]編碼器10接收視頻源12并產(chǎn)生編碼比特流14。解碼器50接收編碼比特流14并輸出 解碼視頻幀16?？梢詫⒕幋a器10和解碼器50配置為依照多種視頻壓縮標(biāo)準(zhǔn)進(jìn)行操作。例如， 編碼器10和解碼器50可以遵循H.264/AVC。在其他實(shí)施例中，編碼器10和解碼器50可以符合 其他視頻壓縮標(biāo)準(zhǔn)，包括H. 264/AVC標(biāo)準(zhǔn)的演進(jìn)，如H. 264/HEVC。
[0035] 編碼器10包括空間預(yù)測(cè)器21、編碼模式選擇器20、運(yùn)動(dòng)預(yù)測(cè)器36、變換處理器22、 量化器24和熵編碼器26。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，編碼模式選擇器20確定視頻源 的合適編碼模式，例如對(duì)象幀/切片是否是I、P或B類型，以及幀/切片內(nèi)的特定編碼單元(例 如宏塊、編碼單元等)是被幀內(nèi)編碼還是幀間編碼，即，預(yù)測(cè)是來自于運(yùn)動(dòng)預(yù)測(cè)器36(幀間編 碼)還是來自于空間預(yù)測(cè)器21(幀內(nèi)編碼）。變換處理器22執(zhí)行對(duì)空間域數(shù)據(jù)的變換。具體 地，變換處理器22應(yīng)用基于塊的變換來將空間域數(shù)據(jù)變換為頻譜分量。例如，在許多實(shí)施例 中，使用離散余弦變換(DCT)。在其他實(shí)例中可以使用其他變換，例如離散正弦變換、小波變 化等。在變換單元上執(zhí)行基于塊的變換。變換單元可以和編碼單元大小相同，或者可以將編 碼單元?jiǎng)澐譃槎鄠€(gè)變換單元。在H.264標(biāo)準(zhǔn)中，例如，典型的16x16宏塊(編碼單元)包含16個(gè) 4x4的變換單元，并對(duì)4x4的塊執(zhí)行DCT處理。變換單元(TU)可以是其他大小。在一些情形中， TU可以是非正方形的，例如非正方形正交變換(NSQT)。
[0036]將基于塊的變換應(yīng)用于像素?cái)?shù)據(jù)塊得到變換域系數(shù)的集合。在該上下文中，"集 合"是有序集合，在該集合中系數(shù)具有系數(shù)位置。在一些實(shí)例中，變換域系數(shù)的集合可被認(rèn) 為是系數(shù)的"±夬"或矩陣。在本文的描述中，短語"變換域系數(shù)的集合"或"變換域系數(shù)的塊" 互換地使用，并且用于指示變換域系數(shù)的有序集合。
[0037]量化器24對(duì)變換域系數(shù)的集合進(jìn)行量化。然后，由熵編碼器26對(duì)已量化的系數(shù)和 相關(guān)彳目息進(jìn)行編