本文件總體上涉及圖像和視頻編碼。更具體地，本發(fā)明的實(shí)施例涉及視頻編碼中的符號(hào)預(yù)測(cè)。

背景技術(shù)：

1、2020年，國(guó)際標(biāo)準(zhǔn)化組織(iso)中的mpeg專家組與國(guó)際電信聯(lián)盟(itu)聯(lián)合發(fā)布了第一版通用視頻編碼標(biāo)準(zhǔn)(vvc)，也稱為h.266(參考文獻(xiàn)[1])。最近，mpeg專家組已經(jīng)致力于提供與現(xiàn)有視頻編碼技術(shù)相比改進(jìn)的編碼性能的下一代編碼標(biāo)準(zhǔn)的開發(fā)。作為該調(diào)查的一部分，還研究了新的編碼技術(shù)。

2、如發(fā)明人在此理解的，期望用于在圖像和視頻編碼中的符號(hào)預(yù)測(cè)的改進(jìn)技術(shù)，并且在本文對(duì)該技術(shù)進(jìn)行了描述。

3、在本節(jié)中描述的方法是可以采用的方法，但不一定是先前已經(jīng)設(shè)想到或采用過的方法。因此，除非另有指示，否則不應(yīng)假設(shè)本節(jié)中描述的任何方法僅憑其納入本節(jié)就被視為現(xiàn)有技術(shù)。類似地，除非另有指示，否則不應(yīng)假設(shè)關(guān)于一種或多種方法所認(rèn)定的問題基于本節(jié)而已在任何現(xiàn)有技術(shù)中被承認(rèn)。

技術(shù)實(shí)現(xiàn)思路

0、概述

1、本文描述的示例實(shí)施例涉及圖像和視頻編碼中變換系數(shù)的符號(hào)預(yù)測(cè)。改進(jìn)符號(hào)預(yù)測(cè)的實(shí)施例包括：基于圖像連續(xù)性檢查、當(dāng)前編碼單元(cu)的幀內(nèi)模式、合并運(yùn)動(dòng)向量或自適應(yīng)運(yùn)動(dòng)向量預(yù)測(cè)對(duì)頂部鄰近者和左側(cè)鄰近者的選擇，基于當(dāng)前cu或鄰近c(diǎn)u的殘差域的符號(hào)預(yù)測(cè)，基于近似重構(gòu)樣本的符號(hào)預(yù)測(cè)，以及通過將符號(hào)預(yù)測(cè)與符號(hào)數(shù)據(jù)隱藏相結(jié)合，減少用于排序的所選系數(shù)的數(shù)量，簡(jiǎn)化順序搜索成本。

2、視頻編碼中的數(shù)據(jù)符號(hào)預(yù)測(cè)和編碼

3、在傳統(tǒng)的視頻編碼中，殘差系數(shù)的符號(hào)可以未壓縮傳輸，并且可以占?jí)嚎s流中比特率的10％。符號(hào)預(yù)測(cè)旨在通過減少殘差符號(hào)的比特開銷來提高壓縮效率。已經(jīng)被預(yù)測(cè)的符號(hào)不再在比特流中被未壓縮地用信號(hào)發(fā)出，而是被使用相關(guān)的算術(shù)編碼(如，cabac)上下文來用信號(hào)發(fā)出的編碼的“殘差”替代，其指示預(yù)測(cè)是否正確。

4、符號(hào)預(yù)測(cè)算法

5、如參考文獻(xiàn)[2-3]中所述，系數(shù)符號(hào)預(yù)測(cè)方法的基本思想是計(jì)算適用的變換系數(shù)的負(fù)符號(hào)和正符號(hào)組合的重構(gòu)殘差，并且然后選擇成本函數(shù)最小的假設(shè)。為了推導(dǎo)最佳符號(hào)，成本函數(shù)被定義為跨塊邊界的不連續(xù)度量，如圖1所示。針對(duì)所有假設(shè)來測(cè)量成本函數(shù)，并且選擇成本最小的一個(gè)成本函數(shù)作為系數(shù)符號(hào)的預(yù)測(cè)器。

6、成本函數(shù)被定義為針對(duì)頂部的行和左側(cè)的列的殘差域中的絕對(duì)二階導(dǎo)數(shù)之和，如下所示：

7、

8、其中，w表示預(yù)測(cè)的寬度，h表示預(yù)測(cè)的高度，r表示重構(gòu)的鄰近者(105)，p表示當(dāng)前塊的預(yù)測(cè)(110)，并且r是殘差假設(shè)。每個(gè)塊僅計(jì)算一次項(xiàng)(-r-1+2r0-p1)，并且僅減去殘差假設(shè)。

9、當(dāng)預(yù)測(cè)變換單元(tu)中的n個(gè)符號(hào)時(shí)，編碼器和解碼器執(zhí)行n+1個(gè)部分逆變換和與2n個(gè)符號(hào)組合假設(shè)相對(duì)應(yīng)的2n個(gè)邊界重構(gòu)，其中，每個(gè)邊界重構(gòu)具有邊界成本度量。檢查這些成本以確定符號(hào)預(yù)測(cè)值，并且編碼器使用兩個(gè)附加cabac上下文來傳輸每個(gè)預(yù)測(cè)符號(hào)的符號(hào)殘差，該符號(hào)殘差指示該符號(hào)的預(yù)測(cè)是否正確。解碼器讀取這些符號(hào)殘差，計(jì)算假設(shè)重構(gòu)以計(jì)算正被使用的預(yù)測(cè)器，然后使用所接收到的殘差來確定正確的符號(hào)。

10、參考文獻(xiàn)[4]提出通過以下變化來改進(jìn)符號(hào)預(yù)測(cè)過程：

11、(1)應(yīng)用基于qidx的系數(shù)選擇，其中，qidx表示在補(bǔ)償依賴量化(dependentquantization，dq)中的多個(gè)量化器的影響之后的去量化變換系數(shù)水平。

12、(2)應(yīng)用從四個(gè)允許的塊大小值中選擇的符號(hào)預(yù)測(cè)最大區(qū)域：4、8、16和32(由編碼器在序列參數(shù)集(sequence?parameter?set，sps)中用信號(hào)發(fā)出)

13、(3)將符號(hào)預(yù)測(cè)應(yīng)用于低頻不可分離變換(lfnst)(最多4個(gè)符號(hào)和4x4區(qū)域)

14、如參考文獻(xiàn)[5]中所報(bào)告的，水平的qidx取決于dq狀態(tài)，并且可以計(jì)算如下：

15、qidx＝(abs(level)＜＜1)-(state&1)。

16、qidx值表示去量化系數(shù)的絕對(duì)值。按“水平”排序可能不會(huì)給出最佳結(jié)果，因?yàn)橛捎谑褂脙蓚€(gè)量化器，水平不能準(zhǔn)確地反映量化。

17、所提出的符號(hào)預(yù)測(cè)相當(dāng)復(fù)雜，并且向硬件解碼流水線增加了非平凡的復(fù)雜度。如參考文獻(xiàn)[4]中所述：

18、1)對(duì)當(dāng)前塊的逆變換和符號(hào)預(yù)測(cè)需要鄰近塊的亮度重構(gòu)像素。

19、2)需要頂部塊的兩個(gè)像素行和左側(cè)塊的兩個(gè)像素列來測(cè)量邊界不連續(xù)損失。

20、由于逆變換依賴于鄰域的重構(gòu)像素，在流水線中存在停頓，該停頓作為假設(shè)的解碼器流水線的示例在圖2a中所示。如圖2a所示，該流水線包括：熵解碼、運(yùn)動(dòng)向量解碼和邊界強(qiáng)度(用于去阻塞濾波)推導(dǎo)、逆量化、符號(hào)預(yù)測(cè)和逆變換、幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)和重構(gòu)、以及循環(huán)濾波。常規(guī)的流水線延遲用“x”表示。停頓用“s”表示。該流水線示出了在假設(shè)在虛擬流水線數(shù)據(jù)單元(vpdu)中有一個(gè)編碼單元(cu)的情況下跨多個(gè)模塊的依賴。在vpdu中的cu的數(shù)量超過1的情況下，依賴將處于微流水線水平，其中，停頓持續(xù)時(shí)間隨cu的大小而變化。

21、這里呈現(xiàn)的實(shí)施例旨在從不同方面改進(jìn)符號(hào)預(yù)測(cè)過程：

22、1)質(zhì)量改進(jìn)(qi)的提案：與當(dāng)前編碼工具相比，以壓縮效率為目標(biāo)，優(yōu)選地沒有任何額外的硬件(hw)實(shí)現(xiàn)問題。

23、2)移除hw依賴性/流水線問題(hw?dependency/pipeline?issues，hwpi)和用于硬件/軟件(hw/sw)復(fù)雜度降低(complexity?reduction，cr)的提案：旨在通過考慮某些指南和hw/sw友好的解決方案(如，對(duì)壓縮效率影響最小的復(fù)雜度降低)來解決hw依賴性/流水線問題和類似工具的協(xié)調(diào)。

24、3)與其他vvc工具的協(xié)調(diào)(例如，符號(hào)數(shù)據(jù)隱藏(sdh))。

25、用于圖像連續(xù)性檢查的頂部/左側(cè)鄰近者的智能選擇

26、動(dòng)機(jī)：通過智能選擇鄰近像素提高預(yù)測(cè)的準(zhǔn)確性

27、提案：當(dāng)前算法試圖最小化關(guān)于頂部鄰近者和左側(cè)鄰近者兩者的成本；然而，取決于場(chǎng)景特性，圖像連續(xù)性可能僅在一個(gè)方向上是真實(shí)的。成本計(jì)算有三種情況：1)僅使用頂部鄰近者；2)僅使用左側(cè)鄰近者；3)使用頂部鄰近者和左側(cè)鄰近者兩者。

28、頂部鄰近者成本

29、

30、左側(cè)鄰近者成本：

31、

32、頂部鄰近者的每像素成本＝top-cost/w

33、左側(cè)鄰近者的每像素成本＝left_cost/h

34、其中，w和h分別表示寬度和高度。

35、可以選擇不同的指標(biāo)來在三個(gè)選項(xiàng)中做出決策，例如：

36、1、如果左側(cè)鄰近者和頂部鄰近者的每像素成本之間的絕對(duì)差高于特定閾值

37、如果|top_cost/w-left_cost/h|＞tdiff，則將等式(1)中的成本替換為min(top_cost，left_cost)以用于符號(hào)預(yù)測(cè)。閾值tdiff可以通過多種方法確定：例如：1)使用基于實(shí)驗(yàn)結(jié)果導(dǎo)出的一個(gè)固定閾值；2)從一組預(yù)先確定的閾值(例如，基于內(nèi)容特性(如，邊界區(qū)域的方差)的tdiff_set＝{tdiff1，tdiff2，tdiff3})和/或量化參數(shù)(quantization?parameters，qp)中選擇一個(gè)tdiff；3)使用基于qp和內(nèi)容特征等的數(shù)學(xué)公式適應(yīng)性計(jì)算的tdiff＝f(qp，content)。

38、2、如果max(left_cost，top_cost)與min(left_cost，top_cost)之間的比率大于正整數(shù)閾值tratio

39、如果max(left_cost，top_cost)/min(left_cost，top_cost)＞tratio，則將等式(1)中的成本替換為以用于符號(hào)預(yù)測(cè)。閾值tratio可以通過與tdiff類似的方法來確定。

40、3、如果左側(cè)鄰近者和上部鄰近者的每像素成本之間的百分比差異高于閾值tpercent，則相對(duì)于上部鄰近者和左側(cè)鄰近者之間的最大成本差異來測(cè)量該百分比。

41、如果|top-cost/w-left-cost/h|＞tpercent*max(left_cost/h，top_cost/w)，則將等式(1)中的成本替換為min(top_cost/w，left_cost/h)以用于符號(hào)預(yù)測(cè)。閾值tpercent可以通過與tdiff類似的方法來確定。

42、基于當(dāng)前cu的幀內(nèi)模式對(duì)頂部/左側(cè)鄰近者的智能選擇

43、動(dòng)機(jī)：通過使用幀內(nèi)預(yù)測(cè)模式智能選擇鄰近者來提高預(yù)測(cè)的準(zhǔn)確性

44、提案：對(duì)于幀內(nèi)塊，幀內(nèi)模式給出了像素值的預(yù)測(cè)方向的指示。例如，如果幀內(nèi)模式是在垂直方向上，則頂部像素對(duì)于計(jì)算成本可能更可靠。作為對(duì)此的進(jìn)一步改進(jìn)，還可以在幀內(nèi)模式的方向上計(jì)算成本。例如，如果幀內(nèi)模式指向垂直45度，則可以通過考慮呈某角度的鄰近像素來計(jì)算等式(1)中的成本，如圖3中的箭頭所示。對(duì)于其他幀內(nèi)模式，在角度不指向全像素位置的情況下，需要內(nèi)插鄰近者的像素值以生成子像素位置值以用于成本計(jì)算。可以應(yīng)用本領(lǐng)域已知的任何已知的像素內(nèi)插技術(shù)。

45、基于合并運(yùn)動(dòng)矢量(mv)或自適應(yīng)運(yùn)動(dòng)矢量預(yù)測(cè)(amvp)mv方向?qū)敳?左側(cè)鄰近者的智能選擇

46、動(dòng)機(jī)：通過使用當(dāng)前cu的運(yùn)動(dòng)矢量列表信息進(jìn)行對(duì)鄰近者的智能選擇，來提高預(yù)測(cè)精度。如果當(dāng)前cu和鄰近c(diǎn)u的運(yùn)動(dòng)信息相似，則它們最有可能通過連續(xù)性檢查。

47、提案：當(dāng)前cu的運(yùn)動(dòng)矢量列表由各種空間和時(shí)間候選組成。當(dāng)前cu可以優(yōu)先考慮其運(yùn)動(dòng)信息與當(dāng)前cu的運(yùn)動(dòng)信息相似的鄰近者。

48、例如，在圖4中，當(dāng)前cu(405)和左側(cè)鄰近者(415)的運(yùn)動(dòng)向量指向左側(cè)，并且頂部鄰近者(410)的運(yùn)動(dòng)向量指向左上方。左側(cè)和當(dāng)前cu更有可能屬于相似的區(qū)域，并將表現(xiàn)出更好的圖像連續(xù)性。如果在左側(cè)鄰近者和右側(cè)鄰近者上有多個(gè)分區(qū)，則可以遵循某些指南，以從左側(cè)和頂部考慮mv。例如，如圖5所示，對(duì)于當(dāng)前cu(510)，可以考慮與像素區(qū)域a、b、c和d對(duì)應(yīng)的運(yùn)動(dòng)向量以用于鄰近者選擇。

49、旨在解決流水線問題和降低復(fù)雜度的提案

50、僅基于當(dāng)前cu的殘差域的符號(hào)預(yù)測(cè)

51、動(dòng)機(jī)：移除對(duì)鄰近重構(gòu)像素的依賴。由于移除鄰近樣本，因此可以在需要的情況下以多種方式擴(kuò)展殘差假設(shè)模板的位置，包括(但不限于)：

52、1)第一行和第一列，其與當(dāng)前符號(hào)預(yù)測(cè)用法相同

53、2)第一行和最后一行；第一列和最后一列覆蓋tu的所有內(nèi)部邊界

54、3)第一行和最后一行；第一列和最后一列以及中心2x2或4x4區(qū)域覆蓋所有邊界以及中心區(qū)域。

55、提案：選擇滿足以下標(biāo)準(zhǔn)中的一個(gè)或多個(gè)標(biāo)準(zhǔn)的符號(hào)預(yù)測(cè)假設(shè)：

56、a.比較每個(gè)假設(shè)的空間域殘差值的最大絕對(duì)值(labs)。選擇labs最少的假設(shè)。具體來說：

57、·對(duì)于每個(gè)假設(shè)k＝0，1，..(2m-1)，計(jì)算labs(k)如下

58、labs(k)＝max(abs(r(i，j)))對(duì)于當(dāng)前tu的基于查找表(lut)的殘差假設(shè)(r)的所有有效位置i，j

59、·基于最小成本選擇最佳假設(shè)，例如，min(labs(k))

60、b.計(jì)算空間域中每個(gè)假設(shè)的所有殘差的絕對(duì)幅度之和(sabs)。選擇sabs最少的假設(shè)。具體來說：

61、·對(duì)于每個(gè)假設(shè)k＝0，1，..(2m-1)，計(jì)算sabs(k)如下

62、sabs(k)＝∑(abs(r(i，j)))對(duì)于當(dāng)前tu的基于lut的殘差假設(shè)(r)的所有有效位置i，j

63、·基于最小成本選擇最佳假設(shè)，例如，min(sabs(k))

64、c.通過向labs和sabs分配一些權(quán)重(w，1-w)來組合(a)和(b)。選擇加權(quán)和最小的假設(shè)[labs*w+(sabs/n)*(1-w)]或者[(labs*w+((sabs-labs)/(n-1))*(1-w)]

65、d.選擇方差最小的假設(shè)

66、通過使用鄰近像素的殘差數(shù)據(jù)去除對(duì)鄰近重構(gòu)像素的依賴性

67、動(dòng)機(jī)：移除對(duì)鄰近重構(gòu)像素的依賴

68、提案：選擇滿足對(duì)在當(dāng)前cu和鄰近c(diǎn)u的空間域殘差值的以下標(biāo)準(zhǔn)中的一個(gè)或多個(gè)標(biāo)準(zhǔn)的符號(hào)預(yù)測(cè)假設(shè)。該解決方案是針對(duì)具有至少一個(gè)鄰近者作為幀間的幀間cu提出的。

69、a.將每個(gè)假設(shè)的空間域殘差值的平均振幅(lavg)與左側(cè)鄰近塊和頂部鄰近塊的平均振幅(lltavg和ltopavg)進(jìn)行比較。如果左側(cè)鄰近者和頂部鄰近者兩者都是幀間，則選擇最接近兩個(gè)鄰近者的假設(shè)；否則，它必須最接近幀間的左側(cè)鄰近者或頂部鄰近者。具體來說：

70、·對(duì)于每個(gè)假設(shè)k＝0，1，..(2m-1)，計(jì)算平均殘差誤差lavg(k)如下

71、lavg(k)＝∑(r(i,j)))/n對(duì)于當(dāng)前tu的基于lut的殘差假設(shè)(r)的所有有效位置i，j，n是殘差假設(shè)中的樣本數(shù)

72、·lleftavg和ltopavg分別是左側(cè)鄰近者樣本和頂部鄰近者樣本基于它們的真實(shí)符號(hào)的平均殘差

73、·基于最接近的左側(cè)鄰近者和上部鄰近者選擇最佳假設(shè)，即，

74、

75、b.將空間域中每個(gè)假設(shè)的所有殘差值的絕對(duì)幅度之和(sabs)與左側(cè)鄰近塊和頂部鄰近塊的絕對(duì)幅度之和(sltavg和stopavg)進(jìn)行比較。如果左側(cè)鄰近者和頂部鄰近者兩者都是幀間，則選擇最接近兩個(gè)鄰近者的假設(shè)；否則，它必須最接近幀間的左側(cè)鄰近者或頂部鄰近者。具體來說：

76、·對(duì)于每個(gè)假設(shè)k＝0，1，..(2m-1)，計(jì)算sabs(k)如下

77、sabs(k)＝∑abs(r(i，j)))對(duì)于當(dāng)前tu的基于lut的殘差假設(shè)(r)的所有有效位置i，j，n是殘差假設(shè)中的樣本數(shù)

78、·lleftsabs和ltopsabs分別是左側(cè)鄰近樣本和頂部鄰近樣本的基于它們的真實(shí)符號(hào)的絕對(duì)殘差誤差的和

79、·基于最接近的左側(cè)鄰近者和頂部鄰近者選擇最佳假設(shè)，即，

80、

81、c.通過給labs和sabs分配一些權(quán)重(w，1-w)來組合(a)和(b)。[labs*w+(sabs/n)*(1-w)]或者[(labs*w+((sabs-labs)/(n-1))*(1-w)]

82、使用受約束的頂部鄰近者或左側(cè)鄰近者進(jìn)行成本計(jì)算，以減少在解碼順序中緊鄰鄰近者的依賴性

83、動(dòng)機(jī)：當(dāng)前的符號(hào)預(yù)測(cè)解決方案需要緊鄰的頂部鄰近者重構(gòu)像素和左側(cè)鄰近者重構(gòu)像素。這在解碼流水線中引入了強(qiáng)流水線依賴性，因?yàn)橛?jì)算當(dāng)前tu的符號(hào)值需要緊鄰鄰近者的重構(gòu)像素。

84、提案：以z掃描順序解碼tu。提案將使用基于以下標(biāo)準(zhǔn)的鄰近者

85、·如果左側(cè)tu在解碼順序中是緊鄰的先前tu，則使用頂部tu用于鄰近者成本。例如，在圖6中，tu?3將使用頂部tu1來計(jì)算鄰近者成本，而不是左側(cè)tu2，該左側(cè)tu2在解碼器順序中是其緊鄰的先前tu。類似地，tu9可以使用所有頂部鄰近者樣本，但可以僅使用來自tu?7的部分左側(cè)鄰近樣本，因?yàn)閬碜詔u?8的左側(cè)鄰近樣本屬于解碼順序中的緊鄰的先前tu。

86、·如果頂部tu在解碼順序中是緊接先前tu，則使用左側(cè)tu作為鄰近成本。例如，在圖6中，tu?6將使用左側(cè)tu?4來計(jì)算鄰近者成本，而不是頂部tu?5，該頂部tu?5在解碼器順序中是其緊鄰的先前tu。

87、使用頂部幀間預(yù)測(cè)cu和左側(cè)幀間預(yù)測(cè)cu的近似重構(gòu)樣本進(jìn)行符號(hào)預(yù)測(cè)

88、動(dòng)機(jī)：移除對(duì)鄰近者重構(gòu)像素的依賴性

89、提案：對(duì)緊鄰近鄰者的重構(gòu)像素的需求在解碼中引入了很強(qiáng)的流水線依賴性。因此，在實(shí)施例中，可以使用鄰近者的近似重構(gòu)像素來進(jìn)行符號(hào)預(yù)測(cè)。頂部幀間cu和左側(cè)幀間cu的近似重構(gòu)樣本可以使用(i)預(yù)測(cè)樣本和(ii)使用逆變換查找表的近鄰cu的2行和2列的近似殘差樣本(所需的殘差樣本必須在相應(yīng)cu的符號(hào)預(yù)測(cè)期間存儲(chǔ))來計(jì)算。該方法將僅對(duì)預(yù)測(cè)樣本具有流水線依賴性。在另一實(shí)施例中，預(yù)測(cè)樣本的濾波版本(通過線性或非線性濾波)可以用于近似鄰近的重構(gòu)像素。

90、這跳過了對(duì)intrapred+recon(構(gòu)造的最后階段)的復(fù)雜序列化依賴性。該方法不能應(yīng)用于鄰近者在幀內(nèi)的cu，并且因此該方法將失去幀內(nèi)切片或cu的鄰近者是幀內(nèi)的益處。

91、具有該變化的流水線依賴性如圖2b所示。與圖2a相比，已經(jīng)移除了對(duì)幀內(nèi)預(yù)測(cè)和重構(gòu)(intrapredrec)的流水線依賴性。由于依賴性被限制到鄰近像素的幀間預(yù)測(cè)，因此延遲時(shí)隙從2減少到1。對(duì)于幀內(nèi)cu或具有幀內(nèi)鄰近者的cu，可以應(yīng)用先前建議的方法。

92、通過減小最大面積來降低要選擇用于符號(hào)預(yù)測(cè)的系數(shù)的排序復(fù)雜度

93、動(dòng)機(jī)：在當(dāng)前的解決方案中，用于符號(hào)預(yù)測(cè)的區(qū)域被限定為大小為4x4、8x8、16x16或32x32的正方形區(qū)域。請(qǐng)注意，32x32的區(qū)域?qū)⑿枰覀儗?duì)大小為1024的數(shù)組進(jìn)行排序，這顯著增加了tu級(jí)處理的復(fù)雜度。這也顯著增加了lut大小。

94、提案：從32x32開始，通過使用以下方法中的一種或多種方法來減少符號(hào)預(yù)測(cè)的區(qū)域：

95、a.將最大區(qū)域減小到上三角形區(qū)域，因?yàn)楦哒穹禂?shù)更可能駐留在該區(qū)域中。這將使面積減小到wxh/2

96、//左上三角形不超過50％tu面積

97、signpredenable＝(xpos+ypos)<((w+h)/2)

98、b.可以通過限制三角形區(qū)域的最大截距(例如，到32)來進(jìn)一步減小最大區(qū)域

99、//a+tu內(nèi)最大截距為32的附加約束

100、signpredenable＝(xpos+ypos)<min(32，((w+h)/2))

101、c.可以進(jìn)一步減小感興趣區(qū)域。例如，為了將區(qū)域減小到x和y坐標(biāo)的乘積<64的區(qū)域，可以添加以下約束

102、//情況2+最大面積為64的附加約束

103、signpredenable＝(xpos+ypos)<min(32，((w+h)/2))

104、signpredenable&＝((xpos+1)*(ypos+1)<＝64)

105、這些技術(shù)將有助于限定變換單元(tu)(801)的左上角中的區(qū)域(801-a)，高振幅系數(shù)更可能位于該區(qū)域中。圖8描繪了針對(duì)32×64tu(801)的此類處理的示例。在圖8中，a)描繪了在jvet中的當(dāng)前增強(qiáng)壓縮模型(ecm)軟件的結(jié)果，并且b)至d)分別描繪了來自提案a)至c)的結(jié)果。

106、通過基于閾值選擇系數(shù)來降低要選擇用于符號(hào)預(yù)測(cè)的系數(shù)的排序復(fù)雜度

107、動(dòng)機(jī)：在當(dāng)前的解決方案中，用于符號(hào)預(yù)測(cè)的區(qū)域被限定為大小為4x4、8x8、16x16或32x32的正方形區(qū)域；然而，32x32的區(qū)域需要對(duì)大小為1024的數(shù)組進(jìn)行排序，這顯著增加了tu級(jí)處理的復(fù)雜度。這也顯著增加了lut大小。

108、提案：代替對(duì)所有系數(shù)進(jìn)行排序，以特定順序基于絕對(duì)水平(例如，qidx)選擇系數(shù)(當(dāng)編碼系數(shù)的數(shù)量遠(yuǎn)大于符號(hào)預(yù)測(cè)系數(shù)的最大數(shù)量閾值(例如，8)時(shí)有用)

109、a.在第一遍中，以大于4(例如，>＝5)的掃描順序選擇qidx

110、b.如果沒有達(dá)到符號(hào)預(yù)測(cè)系數(shù)的最大數(shù)量閾值，則以大于2(例如，>＝3)的掃描順序選擇所有qidx

111、c.如果仍然未達(dá)到符號(hào)預(yù)測(cè)系數(shù)的最大數(shù)量閾值，則以掃描順序選擇剩余的編碼系數(shù)，直到達(dá)到閾值。

112、符號(hào)預(yù)測(cè)中序列搜索過程的成本簡(jiǎn)化

113、動(dòng)機(jī)：為簡(jiǎn)單起見，將去量化的變換系數(shù)表示為“coeff”或僅表示為系數(shù)。首先預(yù)測(cè)第一去量化變換系數(shù)(最高幅度)的符號(hào)預(yù)測(cè)，然后使用第一系數(shù)的真實(shí)符號(hào)預(yù)測(cè)后續(xù)系數(shù)的符號(hào)。在當(dāng)前過程中，需要將所有的假設(shè)成本存儲(chǔ)，然后在真實(shí)符號(hào)與假設(shè)匹配的范圍中搜索最小成本。該提案旨在降低存儲(chǔ)成本和搜索最小成本的順序操作。

114、提案：

115、1.方法1：僅基于最小成本選擇所有coeff的預(yù)測(cè)符號(hào)

116、a.減少了內(nèi)部存儲(chǔ)器，因?yàn)椴恍枰鎯?chǔ)假設(shè)成本。

117、b.避免了搜索的順序過程

118、2.方法2：基于掃描順序中第一最大coeff(具有最高qidx幅度)的正確符號(hào)來選擇剩余系數(shù)的預(yù)測(cè)符號(hào)。如果基于所有假設(shè)的最小成本正確預(yù)測(cè)了最大coeff符號(hào)，則使用相同的假設(shè)預(yù)測(cè)剩余系數(shù)符號(hào)，否則選擇具有最大coeff的正確符號(hào)的2n-1個(gè)假設(shè)的最小成本來預(yù)測(cè)剩余系數(shù)的符號(hào)。

119、a.僅存儲(chǔ)來自所有假設(shè)(2n)和來自最大系數(shù)符號(hào)正確假設(shè)(2(n-1))的最小成本。注意：對(duì)于最大系數(shù)的正符號(hào)和負(fù)符號(hào)，使用(2(n-1))個(gè)假設(shè)的最小成本，最小成本都可以預(yù)先實(shí)現(xiàn)，而不依賴于最大系數(shù)的真實(shí)符號(hào)

120、b.避免了搜索的順序過程

121、3.方法3：基于掃描順序中第一最大系數(shù)(coeff)(最高的qidx量級(jí))的正確符號(hào)來選擇剩余系數(shù)的預(yù)測(cè)符號(hào)。如果基于所有假設(shè)的最小成本正確預(yù)測(cè)了最大coeff符號(hào)，則使用相同的假設(shè)預(yù)測(cè)剩余coeff符號(hào)，否則選擇具有最大coeff的正確符號(hào)的2n-1個(gè)假設(shè)的頂部鄰近者或左側(cè)鄰近者成本的最小值來預(yù)測(cè)剩余coeff的符號(hào)。

122、a.存儲(chǔ)所有假設(shè)的最小成本連同正確和錯(cuò)誤的最大系數(shù)預(yù)測(cè)的僅左側(cè)的最小值和僅頂部的最小值。

123、注意：對(duì)于最大coeff的正符號(hào)和負(fù)符號(hào)，使用(2(n-1))個(gè)假設(shè)的最小成本，所有的最小成本都可以預(yù)先實(shí)現(xiàn)，而不依賴于最大系數(shù)的真實(shí)符號(hào)。

124、b.避免了搜索的順序過程

125、圖7a、圖7b和圖7c描繪了針對(duì)本文描述的三種方法的提出的數(shù)據(jù)流的示例。

126、將符號(hào)預(yù)測(cè)與符號(hào)數(shù)據(jù)隱藏(sdh)結(jié)合

127、在參考文獻(xiàn)[2]中，提出將符號(hào)預(yù)測(cè)與sdh相結(jié)合。sdh的基本思想是省略對(duì)一個(gè)非零量化系數(shù)的符號(hào)的編碼，而是從所有量化系數(shù)的絕對(duì)值之和的奇偶性中導(dǎo)出該符號(hào)?；谙禂?shù)組(cg)來應(yīng)用sdh。在大多數(shù)情況下，cg大小是4x4。如果cg內(nèi)的最后一個(gè)非零電平和第一個(gè)非零電平(按照編碼順序)的掃描索引之間的差大于3，則cg的最后一個(gè)非零電平的符號(hào)不被編碼，而是基于絕對(duì)值的和導(dǎo)出，其中，奇數(shù)和指示負(fù)值。在參考文獻(xiàn)[2]中，當(dāng)將sdh與符號(hào)預(yù)測(cè)結(jié)合時(shí)，順序用于首先執(zhí)行符號(hào)數(shù)據(jù)隱藏，然后對(duì)剩余系數(shù)執(zhí)行符號(hào)預(yù)測(cè)。

128、在示例實(shí)施例中，提出通過改變量化系數(shù)應(yīng)該應(yīng)用sdh的規(guī)則來提高編碼效率。例如，在當(dāng)前實(shí)施例中，由于系數(shù)被排序，因此可以對(duì)最高qidx系數(shù)應(yīng)用sdh，然后對(duì)剩余系數(shù)應(yīng)用符號(hào)預(yù)測(cè)。在替代解決方案中，基于統(tǒng)計(jì)可以生成規(guī)則來預(yù)測(cè)當(dāng)使用符號(hào)預(yù)測(cè)時(shí)具有低精度的系數(shù)，然后對(duì)那些系數(shù)應(yīng)用sdh。

129、sdh應(yīng)用于cg(主要是4x4)，而符號(hào)預(yù)測(cè)可以應(yīng)用于從4x4到32x32的可變塊大小。在另一實(shí)施例中，可以改變符號(hào)預(yù)測(cè)塊大小規(guī)則。例如，如果使用sdh，則僅允許4x4。

130、參考文獻(xiàn)

131、本文列出的參考文獻(xiàn)中的每一篇都通過引用以其全文并入本文。術(shù)語jvet是指itu-t?sg?16wp?3和iso/iec?jtc?1/sc?29的聯(lián)合視頻專家組。

132、[1]“versatile?video?coding[通用視頻編碼]”，rec.itu-t?h.266，2020年8月。

133、[2]jvet-d0031，“residual?coefficient?sign?prediction[殘差系數(shù)符號(hào)預(yù)測(cè)]”，f.henry，g.clare，成都，2016年10月。

134、[3]jvet-j0021，“description?of?sdr,hdr?and?360°video?coding?technologyproposal?by?qualcomm?and?technicolor–low?and?high?complexity?versions[高通和特藝提出的sdr、hdr和360°視頻編碼技術(shù)提案的說明——低復(fù)雜度和高復(fù)雜度版本]”，y.-w?chen等人，圣地亞哥，2018年4月。

135、[4]jvet-y0141，“ee2-4.3related:more?combined?test?results?for?signprediction[ee2-4.3相關(guān)：符號(hào)預(yù)測(cè)的更多組合測(cè)試結(jié)果]”，j.chen等人，在線會(huì)議，2022年1月。

136、[5]jvet-x0120，“ahg12:on?sign?prediction[ahg12：關(guān)于符號(hào)預(yù)測(cè)]”，m.g.sarwer等人，在線會(huì)議，2021年10月。

137、示例計(jì)算機(jī)系統(tǒng)實(shí)施方式

138、本發(fā)明的實(shí)施例可以利用計(jì)算機(jī)系統(tǒng)、以電子電路和部件來配置的系統(tǒng)、集成電路(ic)設(shè)備(如微控制器、現(xiàn)場(chǎng)可編程門陣列(fpga)或另一個(gè)可配置或可編程邏輯器件(pld)、離散時(shí)間或數(shù)字信號(hào)處理器(dsp)、專用ic(asic))和/或包括這種系統(tǒng)、設(shè)備或部件中的一個(gè)或多個(gè)的裝置來實(shí)施。計(jì)算機(jī)和/或ic可以執(zhí)行、控制或?qū)嵭信c圖像和視頻編碼中的符號(hào)預(yù)測(cè)相關(guān)的指令，比如本文描述的那些指令。計(jì)算機(jī)和/或ic可以計(jì)算與本文所描述的圖像和視頻編碼中的符號(hào)預(yù)測(cè)相關(guān)的各種參數(shù)或值中的任何參數(shù)或值。圖像和視頻實(shí)施例可以以硬件、軟件、固件及其各種組合來實(shí)施。

139、本發(fā)明的某些實(shí)施方式包括執(zhí)行軟件指令的計(jì)算機(jī)處理器，該軟件指令使處理器執(zhí)行本發(fā)明的方法。例如，顯示器、編碼器、機(jī)頂盒、轉(zhuǎn)碼器等中的一個(gè)或多個(gè)處理器可以通過執(zhí)行處理器可訪問的程序存儲(chǔ)器中的軟件指令來實(shí)施與如上文描述的圖像和視頻編碼中的符號(hào)預(yù)測(cè)相關(guān)的方法。還可以以程序產(chǎn)品的形式提供本發(fā)明的實(shí)施例。程序產(chǎn)品可以包括承載包括指令的一組計(jì)算機(jī)可讀信號(hào)的任何非暫態(tài)且有形介質(zhì)，該指令在被數(shù)據(jù)處理器執(zhí)行時(shí)使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法。根據(jù)本發(fā)明的程序產(chǎn)品可以采用各種非暫態(tài)且有形形式中的任何形式。程序產(chǎn)品可以包括例如物理介質(zhì)，如包括軟盤、硬盤驅(qū)動(dòng)器的磁性數(shù)據(jù)存儲(chǔ)介質(zhì)、包括cd?rom、dvd的光學(xué)數(shù)據(jù)存儲(chǔ)介質(zhì)、包括rom、閃速ram的電子數(shù)據(jù)存儲(chǔ)介質(zhì)等。程序產(chǎn)品上的計(jì)算機(jī)可讀信號(hào)可以可選地被壓縮或加密。

140、在上面提到部件(例如，軟件模塊、處理器、組件、設(shè)備、電路等)的情況下，除非另有指明，否則對(duì)該部件的提及(包括對(duì)“裝置”的提及)都應(yīng)該被解釋為包括執(zhí)行所描述部件的功能的任何部件作為該部件的等同物(例如，功能上等同的)，包括在結(jié)構(gòu)上不等同于執(zhí)行在本發(fā)明的所圖示的示例實(shí)施例中的功能的所公開結(jié)構(gòu)的部件。

141、等同物、擴(kuò)展、替代方案和雜項(xiàng)

142、因此描述了與圖像和視頻編碼中的符號(hào)預(yù)測(cè)相關(guān)的示例實(shí)施例。在前述說明中，已經(jīng)參考許多具體細(xì)節(jié)描述了本發(fā)明的實(shí)施例，這些具體細(xì)節(jié)可因?qū)嵤┓绞蕉?。因此，指明本發(fā)明以及申請(qǐng)人的發(fā)明意圖的唯一且排他性指示是根據(jù)本技術(shù)以具體形式發(fā)布的權(quán)利要求組，其中，這種權(quán)利要求發(fā)布包括任何后續(xù)校正。本文中針對(duì)這種權(quán)利要求中包含的術(shù)語明確闡述的任何定義應(yīng)該支配如在權(quán)利要求中使用的這種術(shù)語的含義。因此，權(quán)利要求中未明確記載的限制、要素、性質(zhì)、特征、優(yōu)點(diǎn)或?qū)傩圆粦?yīng)該以任何方式限制這種權(quán)利要求的范圍。因此，應(yīng)當(dāng)從說明性而非限制性意義上看待本說明書和附圖。