專利名稱：退色補(bǔ)償?shù)膮?shù)化的制作方法
技術(shù)領(lǐng)域：
描述在視頻處理應(yīng)用中用于對退色補(bǔ)償參數(shù)化的技術(shù)和工具。例如視頻編碼器根據(jù)退色參數(shù)在參考圖象上進(jìn)行退色補(bǔ)償。
背景技術(shù)：
數(shù)字視頻占用大量的存儲和發(fā)送能力。典型的原始數(shù)字視頻序列每秒包括15或30幀。每幀能包括數(shù)萬至數(shù)十萬個象素(稱為象元)，每個象素表示圖的細(xì)小單元。以原始形式，計(jì)算機(jī)通常用24數(shù)據(jù)位表示一個象素。因此，通常原始數(shù)據(jù)視頻序列的每秒的位數(shù)，或位速率可以是5百萬位/秒或更多。
大多數(shù)計(jì)算機(jī)和計(jì)算機(jī)網(wǎng)絡(luò)缺乏處理原始數(shù)字視頻的資源。為此原因，工程師使用壓縮(也稱編碼)來減少數(shù)字視頻的位速率。壓縮能是無損的，其中質(zhì)量不受影響，但由于視頻的復(fù)雜性在速率方面的減少是有限的?；蛘?，壓縮可以是有損的，其中視頻的質(zhì)量受影響，但在位速率方面的減少是驚人的。解壓縮逆轉(zhuǎn)壓縮。
通常，視頻壓縮包括幀內(nèi)壓縮及幀間壓縮。幀內(nèi)壓縮技術(shù)壓縮單獨(dú)的幀，常稱為I-幀或關(guān)鍵幀。幀間壓縮技術(shù)參考以前幀或后續(xù)幀壓縮幀，它們通常稱為預(yù)計(jì)幀、P-幀、或B-幀。
微軟公司的Windows Media Video，Version 8“WMV8”包括視頻編碼器和視頻解碼器。WMV8編碼器使用幀內(nèi)及幀間壓縮，而WMV8解碼器使用幀內(nèi)及幀間解壓縮。
A、WMV8中的幀內(nèi)壓縮圖1示出在WMV8編碼器中在關(guān)鍵幀中象素的塊(105)的基于塊的幀內(nèi)壓縮的例子，例如，WMV8編碼器將關(guān)鍵視頻幀分割成8×8的象素塊，并對各個塊應(yīng)用8×8的離散余弦變換(“DCT”)(110)，將8×8的象素塊(105)轉(zhuǎn)換成8×8塊的DCT系數(shù)(115)。編碼器量化(120)了DCT系數(shù)，導(dǎo)致量化DCT系統(tǒng)的8×8塊(125)，然后編碼器使其為熵編碼作好準(zhǔn)備。
編碼器將DC系數(shù)(126)編碼成從被編碼的塊的以前編碼的鄰區(qū)(如相鄰塊(135))的DC系數(shù)(136)來的差分。該編碼器熵編碼該差分(140)。圖1示出編碼成從相鄰(到左邊)塊(135)的左列(137)來的差分(147)的AC系數(shù)的左列(127)。余下的AC系數(shù)從量化的DCT系統(tǒng)的塊(125)而來。
編碼器將預(yù)測的量化的AC DCT系數(shù)的8×8塊(145)掃描(150)成一維數(shù)組(155)并隨后使用游程長度編碼(160)的變化熵編碼該掃描的AC系數(shù)。編碼器從一個或多個游程/層/最近(rum/level/last)表(165)熵編碼，并輸出該熵碼(170)。
B、WMV8中的幀間壓縮在WMV8編碼器中的幀間壓縮使用基于塊移動的補(bǔ)償預(yù)測編碼，隨后是殘留誤差的轉(zhuǎn)換編碼。圖2和3示出在WMV8編碼器中對預(yù)測幀的基于塊的幀間壓縮。特別是，圖2示出對預(yù)測幀(210)的移動估計(jì)而圖3示出對預(yù)測幀的移動估計(jì)塊的預(yù)測殘留的壓縮。
例如，WMV8編碼器將預(yù)測幀分割成象素的8×8的塊。4個8×8塊的組形成宏塊。對每個宏塊，完成移動估計(jì)處理。移動估計(jì)近似于象素的宏塊相對于如以前已編碼的前一幀那樣的參考幀的移動。在圖2中，WMV8編碼器計(jì)算在預(yù)測幀(210)中宏塊(215)的移動向量。為計(jì)算此移動向量，編碼器在參考幀(230)的搜索區(qū)域(235)中搜索。在搜索區(qū)域(235)中，編碼器將從預(yù)測幀(210)來的宏塊(215)與各種后選的宏塊比較以找到很好匹配的后選宏塊。在編碼器找到很好匹配的宏塊之后，編碼器輸出指定對匹配宏塊的移動向量(編碼的熵)的信息，使得解碼器在解碼過程中能找到匹配的宏塊。當(dāng)解碼帶著移動補(bǔ)償?shù)念A(yù)測幀(210)時，解碼器使用移動向量對采用從參考幀(230)來的信息的宏塊(215)計(jì)算預(yù)測幀。宏塊(215)的預(yù)測難以完美，所以解碼器通常編碼在預(yù)測宏塊和宏塊(215)本身之間的象素差(也稱為誤差或殘留塊)的8×8的塊。
圖3示出在WMV8編碼器中誤差塊(335)的計(jì)算和編碼的例子。誤差塊(335)是預(yù)測塊(315)和原始當(dāng)前塊(325)之間的差。編碼器應(yīng)用DCT(340)于誤差塊(335)，導(dǎo)致8×8系數(shù)塊(345)。然后編碼器量化(350)DCT系統(tǒng)，導(dǎo)致8×8的量化DCT系數(shù)塊(355)。量化步長是可調(diào)節(jié)的。量化導(dǎo)致精確損失，但不完全損失系數(shù)的信息。
然后編碼器使8×8的量化DCT系數(shù)塊(335)為熵編碼化好準(zhǔn)備。編碼器將8×8的塊(355)掃描成64元素的一維數(shù)組(365)，使得系數(shù)通常從最低頻排序到最高頻，這通常建立零值的長游程。
編碼器使用游程長度編碼(370)的變種熵編碼該掃描的系數(shù)。編碼器從一個或多個游程/層/最后表(375)中選擇熵碼并輸出該熵碼。
圖4示出對幀間編碼(inter-coded)的塊的對應(yīng)解碼過程(400)的例子。由于DCT系數(shù)的量化，重構(gòu)的塊(475)不同于對應(yīng)的原始塊。壓縮是有損的。
綜觀圖4，解碼器使用帶一個或多個游程/層/最后表(415)的可變長度解碼(410)和游程長度解碼(420)解碼(410，420)表示預(yù)測殘留的熵編碼信息。解碼器逆向掃描(430)一維數(shù)組(425)將熵解碼信息存入二維塊(435)。解碼器逆向量化并逆向離散余弦變換(一起，440)數(shù)據(jù)，導(dǎo)致重構(gòu)的誤差塊(445)在分別的移動補(bǔ)償路徑中，解碼器使用對于從參考幀的位移的移動向量信息(455)計(jì)算預(yù)測塊(465)。解碼器將預(yù)測塊(465)與重構(gòu)誤差塊(445)相結(jié)合(470)以形成重構(gòu)的塊(475)。
在原始的和重構(gòu)的幀之間的改變量稱為失真，編碼幀所需要的位數(shù)稱為對幀的速率。失真的量粗略地反比于速率。換言之，用更少的位編碼一個幀(更大的壓縮)導(dǎo)致更大的失真，反之亦然。
C、傳統(tǒng)的基于移動的視頻壓縮的局限性帶有如退色、幻影化、和混合效果的視頻序列需要相當(dāng)大量的數(shù)據(jù)位去編碼，因?yàn)閭鹘y(tǒng)基于移動的視頻壓縮方法通常對那樣的幀不起作用。例如，考慮一個視頻序列，其中一幀中的一個對象從一幀到下一幀在一個方向上稍有移動。在通常的塊一匹配移動估計(jì)技術(shù)中，在沒有退色的視頻序列中對在當(dāng)前幀中的一個塊找到在以前幀中的匹配，并編碼最終的移動向量可能是簡單的事情。但是例如若“退色到黑”發(fā)生在視頻序列中，在當(dāng)前幀中的每個亮度值可以相對于前一幀改變，使得視頻編碼器不能對該塊找到很好的匹配。退色也能由于自然的亮度變化發(fā)生在序列中。如混合和幻影化那樣的其他漸變效應(yīng)也降低了直接移動估計(jì)/補(bǔ)償?shù)挠行浴?br> D、視頻壓縮和解壓縮的標(biāo)準(zhǔn)除WMV8之外，若干國際標(biāo)準(zhǔn)關(guān)系到視頻壓縮和解壓縮。這些標(biāo)準(zhǔn)包括Motion Picture Experts Group“MPEG”1、2、和4標(biāo)準(zhǔn)以及從InternationalTelecommunication Union“ITU”來的H.261、H.262、和H.263標(biāo)準(zhǔn)。類似WMV8，這些標(biāo)準(zhǔn)使用幀內(nèi)及幀間幀間壓縮的組合，雖然該標(biāo)準(zhǔn)通常在所使用的壓縮技術(shù)的細(xì)節(jié)上不同于WMV8。例如，H.263標(biāo)準(zhǔn)的附錄P描述了Reference Picture Resampling方式(參考圖形重采樣方式)，用于在編碼期間適當(dāng)?shù)馗淖儓D形的分辨率的預(yù)測。
給出對數(shù)字視頻的視頻壓縮和解壓縮的關(guān)鍵的重要性，不令人驚訝地感到，視頻的壓縮和解壓縮有很大發(fā)展余地。無論以前的視頻壓縮和解壓縮技術(shù)有多少益處，但是他們沒有下列技術(shù)和工具的優(yōu)點(diǎn)。

發(fā)明內(nèi)容
視頻壓縮的一個目的是改善速率一失真的性能-換言之，使用較少的位得到同樣的質(zhì)量，或使用同樣的位數(shù)達(dá)到更高的質(zhì)量。達(dá)到此目標(biāo)的一個方法是識別出需要相當(dāng)大量的位來編碼的視頻序列的部分，并隨后找到更好壓縮那些部分的方法。帶有如退色、幻影化、和混合效果的視頻序列的部分是不常見的，但當(dāng)發(fā)生時需要大量的位來編碼，因?yàn)閭鹘y(tǒng)的基于移動視頻壓縮方法通常在那些部分無效。
因而，總之，詳細(xì)的描述針對改善對視頻序列的速率-失真的性能的各種技術(shù)及工具。那些視頻序列包括漸強(qiáng)顯示、漸弱顯示、交叉退色或其他退色、混合或幻影化效果。例如，視頻編碼器通過根據(jù)退色參數(shù)調(diào)節(jié)參考幀實(shí)現(xiàn)對當(dāng)前幀的退色補(bǔ)償。這使得更有效地使用參考幀作移動補(bǔ)償。視頻解碼器通過調(diào)節(jié)參考幀實(shí)現(xiàn)退色補(bǔ)償。尤其是詳細(xì)的描述提及參數(shù)化參考幀調(diào)節(jié)的有效方法。
在第一組技術(shù)和工具中，視頻編碼器或解碼器獲得包括縮放參數(shù)和移位參數(shù)的退色參數(shù)。視頻編碼器或解碼器通過重映射在參考視頻圖象(如幀、域、或?qū)ο笃矫?中的象素值(如色度或亮度值)，借助退色參數(shù)進(jìn)行退色補(bǔ)償，那些參數(shù)可以使用諸如固定長度或可變長度碼被編碼。例如，退色參數(shù)指定象素范圍的線性變換，包括使用縮放參數(shù)的縮放象素值(如色度或亮度值)。在某些情況中，象素范圍的線性變換還包括使用移位參數(shù)移位被縮放的象素值。視頻編碼器或解碼器對相對于重映射的參考視頻圖象的當(dāng)前視頻圖象的至少一部分進(jìn)行移動補(bǔ)償。
在第二組技術(shù)和工具中，視頻編碼器或解碼器獲得包括縮放參數(shù)和移位參數(shù)的整體亮度改變補(bǔ)償參數(shù)。視頻編碼器或解碼器通過重映射對一個參考視頻幀的所有象素值，借助整體亮度改變補(bǔ)償參數(shù)，進(jìn)行整體亮度改變補(bǔ)償。視頻編碼器或解碼器對相對于重映射的參考視頻幀的當(dāng)前視頻幀的至少一部分進(jìn)行移動補(bǔ)償。
各種技術(shù)和工具可以組合地或單獨(dú)地使用。不同實(shí)施例實(shí)施一個或多個所描述的技術(shù)和工具。
從下面參考附圖對不同實(shí)施例的描述，另外的特征和優(yōu)點(diǎn)將變得一清二楚。


圖1是示出按以前技術(shù)的基于塊的幀內(nèi)壓縮的原理圖。
圖2是示出按以前技術(shù)在視頻編碼器中移動估計(jì)的原理圖。
圖3是示出按以前技術(shù)基于塊的幀間壓縮的原理圖。
圖4是示出按以前技術(shù)基于塊的幀間解壓縮的原理圖。
圖5是能實(shí)現(xiàn)若干所述諸實(shí)施例的合適的計(jì)算環(huán)境的原理框圖。
圖6是用于若干所述實(shí)施例的普通的視頻編碼器系統(tǒng)的原理框圖。
圖7是用于若干所述實(shí)施例的普通的視頻解碼器系統(tǒng)的原理框圖。
圖8是流程圖，示出使用退色估計(jì)和補(bǔ)償編碼視頻的技術(shù)。
圖9是流程圖，示出使用退色補(bǔ)償解碼經(jīng)編碼的視頻的技術(shù)。
圖10是能實(shí)現(xiàn)退色估計(jì)和補(bǔ)償?shù)囊曨l編碼系統(tǒng)的原理框圖。
圖11是能實(shí)現(xiàn)退色補(bǔ)償?shù)囊曨l解碼系統(tǒng)的原理框圖。
圖12是流程圖，示出用于退色估計(jì)和參數(shù)提取的技術(shù)。
圖13是示出發(fā)信號方案的圖表，用于指出對一個幀是否使用退色補(bǔ)償。
具體實(shí)施例方式
描述的實(shí)施例涉及退色估計(jì)和/或補(bǔ)償?shù)募夹g(shù)和工具。沒有退色補(bǔ)償/估計(jì)功能，具有如退色、幻影化、和混合現(xiàn)象的視頻序列需要相當(dāng)大量的數(shù)據(jù)位來編碼，因?yàn)閭鹘y(tǒng)的基于移動的視頻壓縮方法在那樣的幀上一般不起作用。描述的實(shí)施例通過在那樣幀中做出退色估計(jì)/補(bǔ)償改善速率-失真性能。各種實(shí)施例涉及用于估計(jì)、應(yīng)用、編碼和/或解碼整體亮度改變參數(shù)的技術(shù)和工具。
在某些實(shí)施例的退色補(bǔ)償包括對一個或多個參考幀作出整體亮度改變，它們可以是一幀、一幀的一部分(如幀中的單獨(dú)塊或宏塊或幀中的一組宏塊)、或要編碼或解碼的另外特定部分。然后通過從被調(diào)節(jié)的一個或多個參考幀來的移動估計(jì)/補(bǔ)償預(yù)測當(dāng)前幀。另外，退色補(bǔ)償包括整體改變到參考幀，以補(bǔ)償如混合或幻影那樣的現(xiàn)象。通常，退色補(bǔ)償包括對退色(即退色到黑或從黑色退色)、混合、幻影化或其他影響象素值強(qiáng)度的自然或合成光照效果的補(bǔ)償。然而，不失一般性，除非上下文另作明確表示，術(shù)語整體亮度改變及退色在這里可交換地使用。
除了在幀上完成退色補(bǔ)償，某些實(shí)施例在域、對象層或其他圖象上完成退色補(bǔ)償。
在某些實(shí)施例中，通過在YUV顏色空間中調(diào)節(jié)參考幀在亮度和色度通道中的值發(fā)生退色補(bǔ)償。調(diào)節(jié)包括縮放及移位亮度象素值和縮放及移位色調(diào)象素值。另外，顏色空間可以不同(如YIQ或RGB)和/或補(bǔ)償可使用其他調(diào)節(jié)技術(shù)。
編碼器/解碼器在逐幀的基礎(chǔ)上完成退色估計(jì)/補(bǔ)償。另外，編碼器/解碼器可在某個另外基礎(chǔ)上，或在諸如一個或多個塊或宏塊的部分上實(shí)現(xiàn)退色估計(jì)/補(bǔ)償。
各種技術(shù)和工具可以組合地或單獨(dú)地使用。不同的實(shí)施例采用一個或多個所述技術(shù)和工具。雖然出于表示目的，通常以特定的順序次序來描述這些技術(shù)的操作，應(yīng)該理解，描述的方式包含在操作次序中的次要的重排序，除非需要特定的排序。例如，在某些情況順序描述的操作能重排序或同時執(zhí)行。此外，為簡單起見，流程圖通常不示出特定技術(shù)能結(jié)合其他技術(shù)使用的各種途徑。
在某些實(shí)施例中，視頻編碼器和解碼器使用位流中的各種標(biāo)志及信號。雖然敘述了特定標(biāo)志及信號，應(yīng)明白，此描述方式包括對標(biāo)志和信號的不同傳統(tǒng)(如0而不是1)。
I.計(jì)算環(huán)境圖5示出能實(shí)現(xiàn)若干所述實(shí)施例的合適的計(jì)算環(huán)境(500)的普通的例子。該計(jì)算環(huán)境不試圖作為使用或功能范圍的任何限制，因?yàn)榧夹g(shù)和工具能在各種通用或特定計(jì)算環(huán)境中實(shí)現(xiàn)。
參考圖5，計(jì)算環(huán)境(500)包括至少一個處理單元(510)和存儲器(520)。在圖5中，最基本的配置(530)包括在虛線之中。處理單元(510)執(zhí)行計(jì)算機(jī)可執(zhí)行指令，并且可以是真實(shí)的或虛擬的處理器。在多處理系統(tǒng)中，多個處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令，以增加處理能力。存儲器(520)可以是易失存儲器(如寄存器，緩沖器，RAM)、非易失存儲器(如ROM，EEPROM，閃存等等)，或兩者的組合。存儲器(520)存儲軟件(580)，用于實(shí)現(xiàn)如視頻編碼器或解碼器那樣的編碼器或解碼器。
計(jì)算環(huán)境可具有另外特征。例如，計(jì)算環(huán)境(500)包括存儲器(540)、一個或多個輸入設(shè)備(550)、一個或多個輸出設(shè)備(560)和一個或多個通訊連接(570)。如總線、控制器或網(wǎng)絡(luò)等互聯(lián)機(jī)構(gòu)(未示出)互聯(lián)該計(jì)算環(huán)境(500)設(shè)備部件。通常，操作系統(tǒng)軟件為在該計(jì)算環(huán)境(500)中執(zhí)行的其他軟件提供運(yùn)行環(huán)境，并協(xié)調(diào)計(jì)算環(huán)境(500)各部件的活動。
存儲器(540)可以是可拆卸或不可拆卸的，并且包括磁盤、磁帶或盒帶、CD-ROM、DVD或任何其他能用于存儲信息并在該計(jì)算環(huán)境(500)中被訪問的其他介質(zhì)。存儲器(540)存儲實(shí)現(xiàn)編碼器或解碼器的軟件的指令。
輸入設(shè)備(550)可以是諸如鍵盤、鼠標(biāo)、筆或跟蹤球等接觸輸入設(shè)備，語音輸入設(shè)備，掃描設(shè)備，或另外向計(jì)算環(huán)境(500)提供輸入的設(shè)備。對聲頻或視頻編碼，輸入設(shè)備(550)可以是聲卡、視頻卡、TV調(diào)諧卡或以模擬或數(shù)字方式接收聲頻或視頻輸入的類似設(shè)備，或者是將聲頻或視頻樣本讀入計(jì)算環(huán)境(500)的CD-ROM或CD-RW。輸出設(shè)備(560)可以是顯示器、打印機(jī)、揚(yáng)聲器、CD-寫入器或從計(jì)算環(huán)境(500)提供輸出的其他設(shè)備。
通訊連接(570)能夠通過一通訊介質(zhì)與另一個計(jì)算實(shí)體通信。通訊介質(zhì)傳遞信息，諸如計(jì)算機(jī)可執(zhí)行指令、聲頻或視頻輸入或輸出，或以調(diào)制數(shù)據(jù)信號方式的其他數(shù)據(jù)。調(diào)制數(shù)據(jù)信號是那樣的信號，它的一個或多個特征以在信號中編碼信息的方式而設(shè)置或改變。作為例子，通訊介質(zhì)包括用電、光、RF、紅外、聲頻或其他載體實(shí)現(xiàn)的有線或無線技術(shù)，但不限于這些。
技術(shù)和工具能以計(jì)算機(jī)可讀介質(zhì)的一般情況來描述。計(jì)算機(jī)可讀介質(zhì)是任何在計(jì)算環(huán)境中能訪問的可用介質(zhì)。作為例子，對計(jì)算機(jī)環(huán)境(500)，計(jì)算機(jī)可讀介質(zhì)包括內(nèi)存(520)、存儲器(540)、通訊介質(zhì)和上述的任何組合，但不限于這些。
技術(shù)和工具能以計(jì)算機(jī)可執(zhí)行指令的一般情況描述，諸如包括在程序模塊中的那些指令，這些指令在一目標(biāo)真實(shí)的或虛擬的處理器上并在一計(jì)算環(huán)境中執(zhí)行。通常，程序模塊包括例行程序、程序、庫、對象、類、組體，數(shù)據(jù)結(jié)構(gòu)等，它們完成特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。在各種實(shí)施例中，程序模塊的功能在程序模塊之間按需要分割或組合。程序模塊的計(jì)算機(jī)可執(zhí)行指令能在當(dāng)?shù)氐幕蚍植际接?jì)算環(huán)境中執(zhí)行。
為表示方便，詳細(xì)描述使用術(shù)語“估計(jì)”，“信號”，“編碼”，“解碼”來描述在計(jì)算機(jī)環(huán)境中的操作。這些術(shù)語對由計(jì)算機(jī)完成的操作是高級抽象，應(yīng)不會和人完成的動作混淆。對應(yīng)于這些術(shù)語的實(shí)際計(jì)算機(jī)操作根據(jù)實(shí)現(xiàn)而變化。
II.普通的視頻編碼器和解碼器圖6是普通的視頻編碼器(600)的原理框圖，圖7是普通的視頻解碼器(700)的原理框圖。
所示在編碼器和解碼器中各模塊之間的關(guān)系指出了在編碼器和解碼器中的主要信息流，為簡單起見未示出其他關(guān)系。尤其是，圖6和7通常不示出提示用于視頻序列、幀、宏塊和塊等的編碼器設(shè)置、模式和表格等等周邊信息。那樣的周邊信息通常在對周邊信息作熵編碼之后在輸出位流中發(fā)出。輸出位流的格式可以是Windows Media Video格式或其他格式。
編碼器(600)和解碼器(700)是基于塊的，并使用4:2:0宏塊格式，其中每個宏塊包括4個亮度8×8亮度塊(時常處理成一個16×16宏塊)和2個8×8色度塊。另外，編碼器(600)和解碼器(700)可以是基于對象的，使用不同的宏塊或塊的格式，或者對具有不同于8×8塊及16×16宏塊的尺寸與配置的象素組完成操作。
根據(jù)所需的實(shí)現(xiàn)和壓縮類型，能對編碼或解碼模塊進(jìn)行加入，忽略，分割成多個模塊，與其他模塊組合，和/或用類擬模塊替代。在另選實(shí)施例中，帶不同模塊和/或其他模塊配置的編碼器及解碼器實(shí)現(xiàn)一個或多個所述技術(shù)。
A.視頻編碼器圖6是普通視頻編碼系統(tǒng)(600)的原理框圖。編碼器(600)接收包括當(dāng)前幀(605)的一系列視頻幀，并產(chǎn)生壓縮的視頻信息(695)作為輸出。特定的視頻編碼器實(shí)施例通常使用普通編碼器(600)的變種或補(bǔ)充版本。
編碼器系統(tǒng)(600)壓縮預(yù)測幀及關(guān)鍵幀。為便于表示，圖6示出關(guān)鍵幀通過編碼器系統(tǒng)(600)的路徑和前向預(yù)測幀的路徑。編碼器系統(tǒng)(600)的許多部件被用于壓縮關(guān)鍵幀和預(yù)測幀。由那些部件完成的確切操作可根據(jù)要壓縮的信息的類型而變化。
預(yù)測幀[也稱為雙向預(yù)測的p-幀，b-幀，或編碼之間幀]借助對一個或多個其它幀的預(yù)測(或差)來表示。預(yù)測殘留是預(yù)測幀和原始幀之間的差。相反，關(guān)鍵幀[也稱i-幀，編碼內(nèi)部幀]在不參考其它幀的情況下被壓縮。
若當(dāng)前幀(605)是前向預(yù)測幀，移動估計(jì)器(610)估計(jì)當(dāng)前幀(605)的宏塊或其他象素組相對于參考幀的移動，參考幀是緩存在幀存儲器(620)的重構(gòu)的以前幀(625)。在另外的實(shí)施例中，參考幀是后續(xù)幀，或當(dāng)前幀被雙向預(yù)測。移動估計(jì)器(610)將諸如移動向量那樣的移動信息(615)作為周邊信息輸出。移動補(bǔ)償器(630)將移動信息(615)應(yīng)用到重構(gòu)的以前幀(625)以形成移動補(bǔ)償當(dāng)前幀(635)。然而，預(yù)測難以完美，在移動補(bǔ)償當(dāng)前幀(635)和原始當(dāng)前幀(605)之間的差是預(yù)測殘留(645)。另外，移動估計(jì)器和移動補(bǔ)償器應(yīng)用另外類型的移動估計(jì)/補(bǔ)償。
頻率轉(zhuǎn)換器(660)將空間域視頻信息轉(zhuǎn)換成頻率域(即，頻譜)數(shù)據(jù)。對基于塊的視頻幀，頻率轉(zhuǎn)換器(660)將離散余位轉(zhuǎn)換[“DCT”]或DCT的變化應(yīng)用到移動預(yù)測殘留數(shù)據(jù)的塊，產(chǎn)生DCT系數(shù)塊。另外，頻率轉(zhuǎn)換器(660)應(yīng)用諸如傅立葉變換那樣的另外傳統(tǒng)頻率變換，或使用子波或子波段分析。在某些實(shí)施例中，頻率轉(zhuǎn)換器(660)將頻率轉(zhuǎn)換應(yīng)用到用于關(guān)鍵幀的空間預(yù)測殘留塊。頻率轉(zhuǎn)換器(660)能應(yīng)用8×8、8×4、4×8或其他大小的頻率轉(zhuǎn)換。
然后，量化器(670)量化頻譜數(shù)據(jù)系數(shù)的塊。量化器將均勻的標(biāo)量的量化應(yīng)用于步長逐幀變化或根據(jù)其他變化的譜數(shù)據(jù)。另外，量化器將另外類型的量化應(yīng)用于譜數(shù)據(jù)系數(shù)，如非均勻的、向量的、或非適應(yīng)性量化，或者在不使用頻率轉(zhuǎn)換的編碼系統(tǒng)中直接量化空間域數(shù)據(jù)。除了適應(yīng)的量化，編碼器(600)可以使用幀丟失(frame dropping)，適應(yīng)的濾波，或用于速率控制的其他技術(shù)。
當(dāng)需要重構(gòu)的當(dāng)前幀用于后續(xù)的移動估計(jì)/補(bǔ)償時，逆向量化器(676)對量化的譜數(shù)據(jù)系數(shù)完成逆向量化。然后逆向頻率轉(zhuǎn)換器(666)完成頻率轉(zhuǎn)換(660)的逆向操作，產(chǎn)生重構(gòu)的預(yù)測殘留(對預(yù)測幀)或重構(gòu)的關(guān)健幀。若當(dāng)前幀(605)是關(guān)鍵幀，將重構(gòu)的關(guān)鍵幀取作重構(gòu)的當(dāng)前幀(未示出)。若當(dāng)前幀(605)是預(yù)測幀，重構(gòu)的預(yù)測殘留被加到移動-補(bǔ)償當(dāng)前幀(635)，以形成重構(gòu)的當(dāng)前幀。幀存儲(620)緩存了重構(gòu)的當(dāng)前幀，用于預(yù)測下一個幀。在某些實(shí)施例，解碼器應(yīng)用解塊(deblocking)濾波器到重構(gòu)幀，以適應(yīng)地平滑幀的塊中的不連續(xù)性。
熵編碼器(680)壓縮了量化器(670)的輸出和某些周邊信息[如移動信息(615)，量化步長]。典型的熵編碼技術(shù)包括算術(shù)編碼、差分編碼、Huffman編碼、游程長度編碼、LZ編碼、詞典編碼和上述的組合。熵編碼器(680)通常對于不同類型的信息(如DC系數(shù)，AC系數(shù)，不同類型的周邊信息)使用不同編碼技術(shù)，并能從特定編碼技術(shù)中的多個編碼表中進(jìn)行選擇。
熵編碼器(680)將壓縮的視頻信息(695)放入緩存器(690)。緩存級指示器被反饋給位速率適應(yīng)的模塊。壓縮的視頻信息(695)從緩存器(694)以定?；蛳喈?dāng)定常的位速率流出，并對后續(xù)的流，以此位速率存儲。另外，編碼器系統(tǒng)(600)在壓縮后立即流出壓縮的視頻信息。
在緩存器(690)的前后，壓縮的視頻信息(695)可以被通道編碼，用于在網(wǎng)絡(luò)上發(fā)送。通道編碼能將誤差檢測和校正數(shù)據(jù)應(yīng)用于壓縮的視頻信息(695)。
B.視頻解碼器圖7是普通視頻解碼器系統(tǒng)(700)的原理框圖。解碼器系統(tǒng)(700)接收用于壓縮的視頻幀序列的信息(795)，并產(chǎn)生包括一重構(gòu)幀(705)的輸出。視頻解碼器的特定實(shí)施例通常使用普通解碼器(700)的變種或補(bǔ)充版本。
解碼器系統(tǒng)(700)解壓縮預(yù)測幀和關(guān)鍵幀。為便于表示，圖7示出用于關(guān)鍵幀通過解碼系統(tǒng)(700)的路程以及用于前向預(yù)測幀的路徑。許多解碼器系統(tǒng)(700)的部件被用于解壓縮關(guān)鍵幀和預(yù)測幀。由那些部件完成的確切操作可根據(jù)要壓縮的信息類型而變化。
緩存器(790)接收用于壓縮的視頻序列的信息(795)，并使接收的信息對熵解碼器(780)可用。緩存器(790)通常以隨時間相當(dāng)恒定的速率接收信息，并包括抖動(jitter)緩存器，以平滑在帶寬或發(fā)送中的短促變化。緩存器(790)可包括回放緩存器和其他緩沖器。另外，緩存器(790)以變化的速率接收信息。在緩存器(790)前后，壓縮的視頻信息可被通道解碼，并被處理以用于誤差檢測及校正。
熵解碼器(780)熵解碼經(jīng)熵編碼的量化數(shù)據(jù)以及熵編碼的周邊信息(如移動信息(715)、量化步長)，通常應(yīng)用在編碼器中實(shí)現(xiàn)的熵編碼的逆向操作。熵解碼技術(shù)包括算術(shù)解碼、差分解碼、Huffman解碼、游程長度解碼、LZ解碼、詞典解碼和上述的組合。熵解碼器(780)頻繁地對不同類型的信息(如DC系數(shù)、AC系數(shù)、不同類型的周邊信息)使用不同的解碼技術(shù)，并能從特定解碼技術(shù)的多個編碼表中進(jìn)行選擇。
若要重構(gòu)的幀(705)是前向預(yù)測幀，移動補(bǔ)償器(730)將移動信息(715)應(yīng)用到參考幀(725)，以形成要重構(gòu)的幀(705)的預(yù)測(735)。例如，移動補(bǔ)償器(730)使用宏塊移動向量尋找在參考幀(725)中的宏塊。幀緩存器(720)存儲以前重構(gòu)的幀，用作參考幀。另外，移動補(bǔ)償器能應(yīng)用其他類型的移動補(bǔ)償。由移動補(bǔ)償器作出的預(yù)測難以完美，所以解碼器(700)也重構(gòu)預(yù)測殘留。
當(dāng)解碼器需要重構(gòu)幀以用于后續(xù)的移動補(bǔ)償時，幀存儲器(720)緩存重構(gòu)的幀，用于預(yù)測下一幀。在某些實(shí)施例中，編碼器將解塊濾波器應(yīng)用于重構(gòu)的幀，以適應(yīng)地平滑幀的塊中的不連續(xù)性。
逆向量化器(770)逆向量化熵解碼數(shù)據(jù)。通常，逆向量化器將均勻的標(biāo)量逆向量化應(yīng)用于步長逐幀變化或根據(jù)其他而變化的熵解碼數(shù)據(jù)。另外，逆向量化器應(yīng)用其他類型的數(shù)據(jù)逆向量化，例如，非均勻的、向量的、或非適應(yīng)性量化、或在不使用逆向頻率轉(zhuǎn)換的解碼系統(tǒng)中直接逆向量化空間域數(shù)據(jù)。
逆向頻率轉(zhuǎn)換器(760)將量化的頻率域數(shù)據(jù)轉(zhuǎn)換成空間域視頻信息。對基于塊的視頻幀，逆向頻率轉(zhuǎn)換器(760)將逆向DCTIDCT，或IDCT的變化應(yīng)用于DCT系數(shù)的塊，產(chǎn)生移動預(yù)測殘留數(shù)據(jù)。另外，頻率轉(zhuǎn)換器(760)應(yīng)用另外傳統(tǒng)的逆向頻率轉(zhuǎn)換(如傅立葉變換)或使用子波或子頻帶綜合。在某些實(shí)施例中，逆向頻率轉(zhuǎn)換器(760)將逆向頻率轉(zhuǎn)換應(yīng)用到關(guān)鍵幀的空間預(yù)測殘留塊。逆向頻率轉(zhuǎn)換器(760)能應(yīng)用8×8，8×4，4×8或其他大小的逆向頻率轉(zhuǎn)換。
III、整體亮度改變估計(jì)/補(bǔ)償某些描述的實(shí)施例包括用于估計(jì)、應(yīng)用、編碼和/或解碼由少量參數(shù)描述的整體亮度改變。該工具與技術(shù)允許重構(gòu)視頻的主觀和客觀質(zhì)量在更低的位速率達(dá)到。每個單獨(dú)的工具或技術(shù)實(shí)現(xiàn)下列中一個或多個1)整體亮度改變補(bǔ)償方案；2)整體亮度參數(shù)的參數(shù)化；3)計(jì)算上有效地估計(jì)/提取整體亮度參數(shù)；4)低代價(jià)地對帶整體亮度改變的幀發(fā)信號通知；和5)低代價(jià)地對整體亮度參數(shù)發(fā)信號通知。對一個幀、一個域、幀/域的一部分(諸如單獨(dú)塊、單獨(dú)的宏塊、或宏塊組)、或圖象的另外特定部分而言，亮度改變可以是整體的。雖然下面描述談到在整個幀上亮度改變的參數(shù)化和補(bǔ)償，亮度改變補(bǔ)償?shù)南嗤蚣芤部杀挥糜?a)判定在圖象一部分(如單獨(dú)塊或宏塊)存在退色，(b)計(jì)算在此部分內(nèi)的退色參數(shù)，和(c)參數(shù)化及發(fā)送這些用于圖象的給定部分的退色參數(shù)。這些技術(shù)可重復(fù)用于圖象的多個部分。
整體亮度改變(也稱為“退色”)可以是視景的亮度和/或?qū)Ρ榷鹊母淖儭Ｍǔ?，改變是線性的，但退色也可被定義為包括在同一框架內(nèi)的任何平滑的非線性映射。退色、幻影化和混合廣泛地被用于建立視頻內(nèi)容，以便平滑在視景遷移中視頻幀的演變，并提供特殊效果。而且，某些序列由于亮度的改變自然地展現(xiàn)出退色。帶有諸如退色、幻影化和混合效果的視頻幀需大量數(shù)字位以使用傳統(tǒng)的基于移動的視頻壓縮方法進(jìn)行編碼，那通常對那樣幀是不可行的。
A、整體亮度改變補(bǔ)償方案圖8示出使用整體亮度改變補(bǔ)償編碼視頻的技術(shù)(800)。如圖6所示的編碼器(600)那樣的編碼器能實(shí)現(xiàn)該技術(shù)(800)。
首先，編碼器檢驗(yàn)在諸如視頻序列中編碼的當(dāng)前幀那樣的要編碼的幀中的退色(801)。若編碼器檢測到該幀的退色(810)，編碼器獲得退色參數(shù)。例如，編碼器如下面章節(jié)C中所述的檢測到退色并獲得退色參數(shù)。或者，編碼器使用不同技術(shù)檢測退色和/或獲得參數(shù)。編碼器發(fā)信號通知退色補(bǔ)償是打開或是關(guān)閉，若是打開則信號發(fā)信號通知退色參數(shù)。
若對該幀檢測到退色，則如下面章節(jié)B所述的，編碼器對該幀(830)在一個或多個參考幀上實(shí)現(xiàn)退色補(bǔ)償。當(dāng)編碼器在多個參考幀上完成退色補(bǔ)償時，這些多個參考幀可以是要編碼幀之前或之后的(以回放的次序)。編碼器發(fā)信號通知，從多個參考幀的哪一個來補(bǔ)償要編碼的哪部分。對此信號通知，編碼器可使用在那樣系統(tǒng)中已經(jīng)用于參考幀選擇的信號通知。在某些實(shí)施例中，編碼器可既使用原始參考幀，又使用在移動估計(jì)/補(bǔ)償中的重映射參考幀于要編碼的幀。例如，編碼器這樣做可編碼既有退色內(nèi)容又有未退色的當(dāng)前幀。
退色補(bǔ)償后，編碼器使用從調(diào)節(jié)的參考幀來的移動估計(jì)/補(bǔ)償來編碼該幀(840)。若編碼器未檢測到退色，編碼器在不獲得退色參數(shù)或不完成退色補(bǔ)償?shù)那闆r下編碼該幀(840)。當(dāng)編碼做完(850)，過程結(jié)束。
圖9示出使用退色補(bǔ)償來解碼已編碼的視頻的技術(shù)(900)。如圖7所示的解碼器(700)能實(shí)現(xiàn)該技術(shù)(900)。
首先，解碼器檢驗(yàn)(910)對要解碼的幀退色是否已打開或關(guān)閉。完成此檢驗(yàn)的一個方法是校驗(yàn)由編碼器發(fā)出的信號信息。若解碼器判定對該幀退色是打開的(910)，則解碼器完成退色補(bǔ)償(920)。例如，解碼器得到由編碼器送出的退色參數(shù)并對要解碼的幀在一個或多個參考幀上完成退色補(bǔ)償(如在編碼中那樣)。
然后解碼器使用如從調(diào)節(jié)的參考幀來的移動補(bǔ)償對幀(930)進(jìn)行解碼。若退色關(guān)閉，解碼器解碼該幀(930)而不完成退色補(bǔ)償。當(dāng)解碼完成(940)，過程結(jié)束。
圖10示出用于完成整體亮度改變補(bǔ)償?shù)氖纠跃幋a器框架(1000)。在此框架(1000)中，編碼器使用由退色估計(jì)獲得的參數(shù)有條件地重映射參考幀。當(dāng)編碼器以經(jīng)過幀的很好程度的可靠性與一致性檢測到退色，解碼器完成重映射或退色補(bǔ)償。否則退色補(bǔ)償是等同操作(即輸出＝輸入)。
參考圖10，編碼器使用退色檢測模塊(1030)將當(dāng)前幀(1010)與參考幀(1020)進(jìn)行比較，以判定是否發(fā)生退色。在某些實(shí)施例中，參考幀是視頻序列中在當(dāng)前幀之前的幀。另外，參考幀可以是早于以前幀或在當(dāng)前幀之后。當(dāng)使用多個參考幀時，解碼器能檢驗(yàn)每個參考幀中的退色。編碼器根據(jù)退色檢測的結(jié)果產(chǎn)生“退色打開”或“退色關(guān)閉”信號(1040)。
若退色打開，退色估計(jì)模塊(1050)根據(jù)對當(dāng)前幀(1010)和參考幀(1020)完成的計(jì)算估計(jì)退色參數(shù)(1060)(在下面章節(jié)C中討論某些實(shí)施例中退色估計(jì)的細(xì)節(jié))。
退色補(bǔ)償模塊(1070)使用退色參數(shù)(1060)來重映射參考幀(1020)(或者多個參考幀)。然后編碼器可使用其他編碼器模塊(1080)(如移動估計(jì)和補(bǔ)償、頻率轉(zhuǎn)換器和量化模塊)來壓縮該幀。編碼器輸出定義編碼的當(dāng)前幀(1010)的移動向量，殘留和其他信息(1090)。除了從用平移移動向量的移動估計(jì)/補(bǔ)償以外，對整體亮度改變補(bǔ)償?shù)目蚣芸蓱?yīng)用于各種基于移動補(bǔ)償?shù)囊曨l編碼解。
圖11示出用于實(shí)現(xiàn)整體亮度改變補(bǔ)償?shù)氖纠越獯a器框架(1100)。解碼器產(chǎn)生經(jīng)解碼的當(dāng)前幀(1110)。為解碼經(jīng)編碼的退色一補(bǔ)償?shù)膸?，解碼器使用退色補(bǔ)償模塊(1130)在以前解碼的參考幀(1120)上(或者多個參考幀)完成退色補(bǔ)償。
若退色打開/關(guān)閉信號(1140)指出，對編碼的當(dāng)前幀(1110)退色是打開，解碼器在參考幀(1120)上完成退色補(bǔ)償。解碼器通過使用在退色估計(jì)期間獲得的退色參數(shù)(1150)完成退色補(bǔ)償(如在編碼器那樣)。否則(若對當(dāng)前幀退色被關(guān)閉)，退色補(bǔ)償是等同操作(即輸出＝輸入)。
然后解碼器能使用其他解碼器模塊(如移動補(bǔ)償、逆向頻率轉(zhuǎn)換和逆向量化模塊)采用由編碼器提供的移動向量、殘留和其他信息(1170)來解壓縮經(jīng)編碼的幀。
B、參數(shù)化和補(bǔ)償在視頻編輯中，有時借助應(yīng)用簡單的象素范圍的到亮度和色度通道的線性轉(zhuǎn)換實(shí)現(xiàn)合成的退色。相似地，交叉-退色有時被實(shí)現(xiàn)為成分隨時間改變的的兩個視頻序列的線性和。因而在某些實(shí)施例中，如圖10的框架(1000)示出的編碼器將退色(不論是自然的或合成的)參數(shù)化成象素范圍的線性轉(zhuǎn)換，并將交叉-退色參數(shù)化成線性和，而如在圖11的框架(1100)中所示的解碼器完成對應(yīng)轉(zhuǎn)換。
令I(lǐng)(n)是幀n處的圖象，而I(n-1)是在前一幀的圖象。在移動小的地方，通過在等式1中的一階關(guān)系模型化簡單的退色(由于在視頻序列中的可能移動，等式1的關(guān)系是近似的。)I(n)≈CI(n-1)+B (1)其中退色參數(shù)B和C分別對應(yīng)于輝度和對比度。當(dāng)發(fā)生非線退色時，第一階分量通?？紤]基本的改變。
從一個圖象系列U(n)到一個圖象系列V(n)的交叉退色能借助等式2的關(guān)系而模型化。等式2中的關(guān)系是近似的，因?yàn)樵谛蛄兄锌赡苡幸苿印?br> I(n)≈αnV+(1-αn)U≈I(n-1)+α(V-U)
=(1-α)I(n-1)n≈0(1-α)I(n-1)n≈1/α---(2)]]>n≈0表示交叉-退色的開始，n≈1/α表示交叉退色的結(jié)束。對延伸若干幀的交叉退色，α是小的。在交叉-退色起點(diǎn)，若n幀接近于n-1幀的衰減(對比度＜1)版本。趨向終點(diǎn)，第n幀是第n-1幀的放大(對比度＞1)版本。換言之，在交叉-退色的起點(diǎn)，第n幀能模型化成第n-1幀乘以對比度值1-α，而在交叉-退色的終點(diǎn)。第n幀能模型化成第n-1幀乘以對比度值1+α。等式2示出，在交叉-退色的起點(diǎn)和終點(diǎn)，編碼器可通過使用線性規(guī)則(如在下面等式3和4中所示)重映射參考幀(如n-1幀)來獲得第n幀。
編碼器通過重映射參考幀完成整體亮度改變的補(bǔ)償。編碼器在逐個圖素的基礎(chǔ)上或在某些其他基礎(chǔ)上重映射參考幀。原始的未重映射的參考幀基本上被舍棄(雖然在多參考幀的情況，未重映射的參考幀也可被使用)。
根據(jù)等式1，下面的線性規(guī)則借助兩個參數(shù)B和C(對應(yīng)于視景的輝度和對比度)將參考幀R的亮度值映射到重映射的參考幀 R^≈CR+B---(3)]]>參考幀的亮度值用對比度縮放(或“加權(quán)”)并用輝度值移位(即加上偏移量)。對色度，重映射遵照下列規(guī)則R^≈C(R-μ)+μ---(4)]]>其中μ是色度值的均值。在一個實(shí)施例中，128認(rèn)為是色度值的無符號8位表示的均值。此色度重映射的規(guī)則不使用輝度分量。
在某些實(shí)施例中，在等式3和4中使用的二參數(shù)線性重映射擴(kuò)展到高階項(xiàng)。例如，等式5是重映射R的亮度值到 的二階等式R^≈C1R2+C2R+B---(5)]]>其他實(shí)施例使用其他重映射規(guī)則。在重映射規(guī)則的一個類別中，對非線性退色，線性映射由非線性映射替代。
C、退色參數(shù)的估計(jì)退色估計(jì)是在編碼過程期間計(jì)算退色參數(shù)的過程。如在圖10的框架(1000)中示出的編碼器能在編碼過程中計(jì)算輝度(B)和對比度(C)參數(shù)。
在某些實(shí)施例中，為了精確地并以立即方式估計(jì)參數(shù)，編碼器使用圖12中示出的技術(shù)(1200)。在圖示的技術(shù)中，只分析亮度通道。另外，當(dāng)有更多計(jì)算資源可用時，編碼器在分析中包括色度。例如，解碼器在等式3和4(不只是等式3)對C求解，使C更可靠。
在圖12中示出的實(shí)施例中，在退色估計(jì)過程中視景的移動是被忽視的。這是基于下列觀察(a)退色和交叉退色通常發(fā)生在靜止或低移動的視景，和(b)在高運(yùn)動視景中對整體亮度改變補(bǔ)償?shù)男в檬呛艿偷?。另外，解碼器對退色參數(shù)和移動信息聯(lián)合地求解。然后使用移動信息在技術(shù)(1200)的較后的階段或在某些其他時間細(xì)化退化參數(shù)的精確度。使用移動信息的一個方法是在退色估計(jì)計(jì)算中忽略參考幀中移動被檢測的那些部分。
在技術(shù)(1200)的各種部分，∑abs(I(n)-R)或 的絕對誤差之和作為判定退色的存在和參數(shù)的量度。另外，編碼器可使用其他或附加的量度，如在同一誤差項(xiàng)上的平方誤差和“SSE”或均方誤差“MSE”，或者編碼器使用不同的誤差項(xiàng)。
在技術(shù)(1200)期間的各個點(diǎn)上，編碼器在滿足退出條件后能結(jié)束技術(shù)(1200)。圖12示出若干退出條件。對于另外的退出條件(圖12中未示出)，編碼器在技術(shù)(1200)的開始及中間階段檢驗(yàn)對比度參數(shù)是否接近1(在一個實(shí)施例中，99＜C＜1.02)若是，結(jié)束該技術(shù)。
編碼器通過間隔采樣當(dāng)前幀和參考幀(1210)開始過程(1200)。在一個實(shí)施例中，解碼器用因子4水平和垂直地間隔采樣。另外，編碼器能用任何因子間隔采樣，或完全不間隔地采樣。
然后編碼器在當(dāng)前幀和參考幀的低分辨率版本上(由下標(biāo)d指出)計(jì)算絕對誤差和∑abs(Id(n)-Rd)(1220)。絕對誤差和測量在間隔采樣當(dāng)前幀和間隔采樣參考幀之間的象素值的差。若該絕對誤差和小于某個閾值(1230)(如在間隔采樣的當(dāng)前幀和參考幀的象素的亮度值之間預(yù)定的差值量度)，編碼器得出結(jié)論，未發(fā)生退色，并且不進(jìn)行退色補(bǔ)償(1235)。
另外，編碼器估計(jì)亮度(B)和對比度(C)參數(shù)(1240)。對B和C的第一截?cái)喙烙?jì)借助Rd由模型Id(n)獲得。在一個實(shí)施例中，亮度和對比度通過整個間隔采樣幀的線性回歸分析而獲得。在另外實(shí)施例中，編碼器為了更可靠的分析使用其他形式的統(tǒng)計(jì)分析，如整體最小平方、最小平方均值等。例如，解碼器最小化誤差項(xiàng)Id(n)-Rd的MSE或SSE。在某些情況，MSE和SSE不可靠，所以編碼器還測試用于該誤差項(xiàng)的絕對誤差和。編碼器舍棄用于特定點(diǎn)(可能由于移動而非退色)的高誤差值。
然后編碼器通過量化及解量化B和C計(jì)算Bf和Cf(1250)。第一截?cái)鄥?shù)被量化及解量化，給出Bf和Cf，以保證它們落入允許的范圍，并測試一致性。在某些實(shí)施例中，對通常8位深度的成象，B和C每個量化到6位。B取從-32到31的整數(shù)值，表示成有符號的5-位整數(shù)。表示成Cq的C的量化值從0.515625以0.015625(1/64)的相同步長變化到1.484375，對應(yīng)于1到63的量化值。通過將B和C舍入到最近的有效解量化值，并選取合適的二進(jìn)制索引而完成量化。
然后編碼器計(jì)算原始的有界絕對誤差和(SOrgBnd)以及重映射的有界絕對誤差和(SRmpBnd)(1270)。在某些實(shí)施例中，編碼器使用擬合優(yōu)良度分析計(jì)算這些和。對于在原始分辨率處隨機(jī)的或偽隨機(jī)的圖素組，編碼器計(jì)算重映射的有界絕對誤差和∑babs(I(n)-CfR-Bf)，其中對某個界限M，babs(x)＝min(abs(x)，M)。在一個實(shí)現(xiàn)中，M是要編碼的幀的量化參數(shù)的倍數(shù)。當(dāng)量化參數(shù)是粗略的，界限M較高，當(dāng)量化參數(shù)是精確的，它較低。編碼器還累計(jì)原始有界絕對誤差和∑babs(I(n)-R)。若計(jì)算資源足夠，編碼器可計(jì)算整個幀上的有界誤差和。
然后，根據(jù)原始的和重映射的有界絕對誤差和的相對值，編碼器判定是否使用退色補(bǔ)償(1280)。例如在某些實(shí)施例，編碼器不進(jìn)行退色補(bǔ)償，除非重映射有界絕對誤差和小于或等于原始有界絕對誤差和的某個閾值百分比σ。在一個實(shí)現(xiàn)中，σ＝0.95。若編碼器執(zhí)行退色補(bǔ)償，這次根據(jù)滿分辨率下在I(n)和R之間的線性回歸分析，編碼器重新計(jì)算退色參數(shù)(1290)。為節(jié)省計(jì)算時間，編碼器能在幀的隨機(jī)或偽隨機(jī)采樣上進(jìn)行重復(fù)線性回歸分析。而且為了更可靠的分析，編碼器能另選地使用其他形式的統(tǒng)計(jì)分析(如總的最小平方、最小平方均值等)。當(dāng)編碼完成(1295)，過程結(jié)束。
在一個實(shí)施例中，編碼器允許在等式3和4中C＝-1的特殊情況。此特殊情況用位流中Cq＝0發(fā)信號。在此“逆向”方式，在發(fā)生移位B之前反轉(zhuǎn)參考幀，而B的范圍是以相同步長2從193到319。
D、信號通知如圖10的框架(1000)所示的編碼器發(fā)送退色打開/關(guān)閉信號信息和退色參數(shù)。如圖11的框架(1100)所示的解碼器接收信號信息和退色參數(shù)。
在某些實(shí)施例中，在序列級上，編碼器發(fā)送一位，指示整體亮度改變補(bǔ)償是否被使能，以用于該序列。編碼器還能信號通知在幀級上的整體亮度改變和/或信號通知對一部分幀(如幀中單獨(dú)塊或宏塊)的整體亮度改變。
在通常的視頻序列的幀中，整體亮度改變或退色的發(fā)生是少見的?？赡芡ㄟ^增加一位來信號通知退色(或等價(jià)地，不存在退色)。例如，編碼器能通過使用一位來信號通知在幀級上退色(或等價(jià)地，不存在退色)。然而，與其他信息一起信號通知退色(或等價(jià)地，不存在退色)更為經(jīng)濟(jì)。例如，編碼器使用用于移動方式的可變長度碼(VLC)中的換碼序列(即，移動向量的數(shù)量和配置，子象素內(nèi)插方案)完成幀級的信號通知。在那樣的實(shí)施例中，編碼器連帶地信號通知最少見的移動方式和退色補(bǔ)償?shù)募せ睢?br> 令事件F表示存在退色，G表示對該幀挑選最少見的移動方式。令VLC<MVMODE>表示當(dāng)G為假時的移動方式。VLC表被設(shè)計(jì)成帶有當(dāng)F和/或G為真時用于信號通知的換碼符號<ESC>。表1示出F和移動方式的聯(lián)合編碼，其后是當(dāng)退色補(bǔ)償被激活時的退色參數(shù)B和C。

表1最少見移動方式和退色信號的聯(lián)合編碼若對某個幀激活整體亮度改變，另外的VLC(<MVMODE>或<ESC>)接著指出移動方式。然后，使用用于B和C的二個6位固定長碼字，分別發(fā)信號通知這些參數(shù)。另外，使用VLC信號通知參數(shù)。當(dāng)應(yīng)用于如塊或宏塊那樣的幀的單獨(dú)部分，編碼器能對那部分單獨(dú)地信號通知退色參數(shù)。例如，若退色只應(yīng)用于視頻幀的一個宏塊，退色信息能與諸如編碼塊樣式或轉(zhuǎn)換類型那樣的宏塊級信息一起通過聯(lián)合熵編碼被作為信號通知發(fā)出。
圖13是示出編碼安排(對應(yīng)于表1，對一個實(shí)現(xiàn))的樹形圖，其中編碼器聯(lián)合地編碼最少見的移動方式和退色的存在。(退色參數(shù)編碼的細(xì)節(jié)被省略。)編碼器使用VLC表示每個其他移動方式(如碼“0”、“10”和“110”分別表示移動方式0、1和2)。當(dāng)退色未被激活，編碼器使用換碼的碼(如“111))后跟“0”表示最少見的移動方式。編碼器使用換碼的碼后跟“1”，表示退色被激活。
應(yīng)該理解，這里敘述的程序、過程、或方法不涉及也不限于任何特定類型的計(jì)算環(huán)境，除非另作說明。各類通用或?qū)Ｓ糜?jì)算環(huán)境可根據(jù)這里所述的教導(dǎo)而被使用或執(zhí)行操作。以軟件示出的實(shí)施例的單元能以硬件實(shí)現(xiàn)，反之亦然。
考慮到我們的發(fā)明的原理能應(yīng)用于許多可能的實(shí)施例，我們要求所有可能落入下面的權(quán)利要求及其等價(jià)的范圍及精神的實(shí)施例為我們的發(fā)明。
權(quán)利要求
1.一種方法，所述方法包括下述步驟在編碼期間，對于具有多個參考視頻幀的當(dāng)前視頻幀，在一視頻位流中發(fā)信號通知第一語法等級上的退色補(bǔ)償標(biāo)志；以及當(dāng)?shù)谝徽Z法等級上的退色補(bǔ)償標(biāo)志指示為具有多個參考視頻幀的當(dāng)前視頻幀激勵退色補(bǔ)償時，在所述視頻位流中發(fā)信號通知第二語法等級上的多個退色參數(shù)，其中所述第二語法等級低于所述第一語法等級，所述多個退色參數(shù)用于為具有多個參考視頻幀的所述當(dāng)前視頻幀的至少一部分進(jìn)行退色補(bǔ)償，而所述退色補(bǔ)償包括至少部分基于所述多個退色參數(shù)，調(diào)節(jié)所述多個參考視頻幀中的多個象素值。
2.一種方法，所述方法包括下述步驟在解碼期間，對于具有多個參考視頻幀的當(dāng)前視頻幀，接收并處理一視頻位流中的第一語法等級上的退色補(bǔ)償標(biāo)志；以及當(dāng)?shù)谝徽Z法等級上的退色補(bǔ)償標(biāo)志指示為具有多個參考視頻幀的當(dāng)前視頻幀激勵退色補(bǔ)償時，接收并處理所述視頻位流中的第二語法等級上的多個退色參數(shù)，其中所述第二語法等級低于所述第一語法等級，所述多個退色參數(shù)用于為所述當(dāng)前視頻幀的至少一部分進(jìn)行退色補(bǔ)償，而所述退色補(bǔ)償包括至少部分基于所述多個退色參數(shù)，調(diào)節(jié)所述多個參考視頻幀中的多個象素值。
3.如權(quán)利要求1或2所述的方法，其特征在于，所述多個參考視頻幀中的多個象素值包括亮度值和色度值。
4.如權(quán)利要求1或2所述的方法，其特征在于，所述多個象素值包括所述多個參考視頻幀中的所有象素值。
5.如權(quán)利要求1或2所述的方法，其特征在于，第一語法等級是幀級。
6.如權(quán)利要求1或2所述的方法，其特征在于，所述多個退色參數(shù)包括至少一個加權(quán)參數(shù)和至少一個偏移參數(shù)。
7.如權(quán)利要求1或2所述的方法，其特征在于，所述多個退色參數(shù)包括一個或多個用于調(diào)節(jié)亮度值的退色參數(shù)，以及一個或多個不同的、用于調(diào)節(jié)色度值的退色參數(shù)。
全文摘要
描述了在視頻處理應(yīng)用中進(jìn)行退色補(bǔ)償?shù)募夹g(shù)和工具。例如在編碼期間，視頻編碼器使用包括在一個或多個參考圖象上的縮放參數(shù)和移位參數(shù)進(jìn)行退色補(bǔ)償。在解碼期間，視頻解碼器在一個或多個參考圖象上進(jìn)行對應(yīng)的退色補(bǔ)償。
文檔編號H04N7/32GK1941911SQ20061014138
公開日2007年4月4日 申請日期2003年4月30日 優(yōu)先權(quán)日2002年5月3日
發(fā)明者S·斯里尼瓦桑, S·雷格納塔恩 申請人:微軟公司