專利名稱：支持快速精細可分級的視頻編碼方法和裝置的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和裝置涉及視頻編碼，更具體地，涉及減少基于多
層的漸進精細可分級(Progressive Fine Granular Scalability, PFGS)算法所
需的計算量的視頻編碼。
背景技術(shù)：
隨著信息通信技術(shù)(包括互聯(lián)網(wǎng))的發(fā)展，包含諸如文本、視頻、音頻 等等各類信息的多媒體服務(wù)正在增加。由于多媒體數(shù)據(jù)量通常很大，因此多 媒體數(shù)據(jù)需要大容量的存儲媒介和較寬的傳輸帶寬。因而，對于傳輸包括文 本、視頻和音頻的多媒體數(shù)據(jù)就需要壓縮編碼方法。
數(shù)據(jù)壓縮的基本原理是去掉數(shù)據(jù)冗余?？梢酝ㄟ^去掉空間冗余、時間冗 余、或心理視覺冗余來壓縮數(shù)據(jù)，其中，在空間冗余中，在圖像內(nèi)重復(fù)同一 顏色或物體；在時間冗余中，在運動圖像中相鄰幀之間的變化很小或者在音 頻中重復(fù)同一聲音；在心理視覺冗余中，考慮了人的視力和對高頻的有限感
而通過空間變換來去掉空間冗余。
為了傳輸去掉數(shù)據(jù)冗余之后產(chǎn)生的多媒體，需要傳輸媒介。多媒體的不 同類型的傳輸媒介具有不同的性能。當前所用的傳輸媒介具有各種傳輸速 率。例如，超高速通信網(wǎng)絡(luò)每秒能夠傳輸幾十兆比特的數(shù)據(jù)，而移動通信網(wǎng) 絡(luò)具有每秒384千比特的傳輸速率。為了支持具有各種速度的傳輸媒介或為 了傳輸多媒體，具有可分級性的數(shù)據(jù)編碼方法可以適合于多媒體環(huán)境。
可分級性表示對單個壓縮的比特流進行部分解碼的能力?？煞旨壭园?指示視頻分辨率的空間可分級性、指示視頻質(zhì)量水平的信噪比(SNR)可分 級性、和指示幀速率的時間可分級性。
當前，MPEG (運動圖像專家組)和ITU (國際電信聯(lián)盟)的聯(lián)合視頻 組(JVT)正在進行用于實施基于H.264可分級擴展(下文中，將稱為"H.264 SE")的多層可分級的標準化工作。為了支持SNR可分級，現(xiàn)有的精細可分
級(FGS )技術(shù)正在被JVT所采用。
碼器通過將視頻比特流分成基層和FGS層來執(zhí)行編碼。在本說明書的全文 中，上標(')用于表示在量化/逆量化之后獲得的重構(gòu)圖像。更詳細地，從 原始當前幀12內(nèi)的塊O中減去使用運動向量根據(jù)重構(gòu)的左基層幀11內(nèi)的塊 MB'和重構(gòu)的右基層幀13內(nèi)的塊NB'預(yù)測的塊Ps，以獲得差塊RB。這樣， 差塊Re可以由等式(1)定義
RB = 0- PB = O - (MB'+NB')/2 …(1)
差塊RB由基層量化步長QPB(RBQ)量化，接著被逆量化，從而獲得重構(gòu) 的差決Rb'。計算未量化的差塊Ru和重構(gòu)的差塊RB'之間的殘差，并且利用 比基層量化步長QPB小的量化步長QPF來量化與該殘差對應(yīng)的塊A(壓縮率 隨著量化步長的減小而減小)。量化的a由aQ來表示。在基層中的量化差塊 R^和在FGS層中的量化塊AQ最后被傳輸?shù)浇獯a器。
圖2是用于說明傳統(tǒng)的漸進精細可分級(PFGS)技術(shù)的視圖。傳統(tǒng)的 FGS技術(shù)使用重構(gòu)的量化基層殘差Rb'來威少FGS層中的數(shù)據(jù)量。參照圖2， PFGS技術(shù)利用這樣一個事實在FGS層中的左右參考幀的質(zhì)量也被FGS 技術(shù)提高了。即，PFGS技術(shù)包括使用重新更新的左右參考幀21和23來計 算新的差塊Rp,并量化新差塊RF和量化的基層塊RB'之間的殘差，從而提高 了編碼性能。新的差決Rf由等式(2)定義
RF 二 O - PF = O - (MF'+NF')/2 …(2)
其中，MF'和Nj/分別表示在FGS層中的重構(gòu)的左右參考幀21和23內(nèi) 的、與適當?shù)倪\動向量對應(yīng)的區(qū);或。
PFGS技術(shù)與FGS技術(shù)相比具有這樣一個優(yōu)點由于左右參考幀的高質(zhì) 量因而能夠減少在FGS層中的數(shù)據(jù)量。因為FGS層也需要單獨的運動補償， 所以增加了計算量。即，盡管PFGS與傳統(tǒng)的FGS相比提高了性能，但是由 于對每個FGS層執(zhí)行運動補償以產(chǎn)生預(yù)測信號以及所述預(yù)測信號與所述原 始信號之間的殘差信號，因此它需要大量的計算。近來發(fā)展的視頻編解碼器 以1/2或1/4的像素精度來對圖像信號進行插值用于運動補償。當以1/4像
素精度執(zhí)行運動補償時，應(yīng)當產(chǎn)生具有與原始圖像的分辨率的四倍對應(yīng)的尺 寸的圖像
發(fā)明內(nèi)容
技術(shù)問題
H.264標準SE技術(shù)使用6抽頭濾波器作為1/2像素插值濾波器，其涉及 相當大的計算復(fù)雜度，需要相當多的計算用于運動補償。這使得編碼和解碼 過程變得復(fù)雜，因而需要較高的系統(tǒng)資源。特別地，這個缺點在諸如實時廣 播或視頻會議的需要實時編碼和解碼的領(lǐng)域中可能最成問題。 技術(shù)方案
本發(fā)明提供了一種用于在保持漸進精細可分級(PFGS)算法的性能的 同時減少運動補償所需的計算量的方法和裝置。
根據(jù)本發(fā)明的一方面，提供了一種支持FGS的視頻編碼方法，所述視 頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖 像；量化當前幀和預(yù)測圖像之間的殘差；逆量化所述量化的殘差并產(chǎn)生當前 幀的重構(gòu)圖像；使用所述估計的運動向量對FGS層參考幀和基層參考幀進 行運動補償；計算運動補償?shù)腇GS層參考幀和運動補償?shù)幕鶎訁⒖紟g 的殘差；從當前幀中減去當前幀的重構(gòu)圖像和所計算的殘差；以及對相減結(jié) 果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持FGS的視頻編碼方法，所述 視頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖 像；量化當前幀和預(yù)測圖像之間的殘差；逆量化所述量化的殘差并產(chǎn)生當前 幀的重構(gòu)圖像；使用所述估計的運動向量對FGS層參考幀和基層參考幀進 行運動補償，并分別產(chǎn)生所述FGS層的預(yù)測幀和所述基層的預(yù)測幀；計算 所述FGS層的預(yù)測幀和所述基層的預(yù)測幀之間的殘差；從當前幀中減去所 述重構(gòu)圖像和殘差；以及對相減結(jié)果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持FGS的視頻編碼方法，所述 視頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖 像；量化當前幀和預(yù)測圖像之間的殘差；逆量化所述量化的殘差并產(chǎn)生當前 幀的重構(gòu)圖像；計算FGS層參考幀和基層參考幀之間的殘差；使用所述估 計的運動向量對所述殘差進行運動補償；從當前幀中減去所述重構(gòu)圖像和運
動補償結(jié)果；以及對相減結(jié)果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持精細可分級(FGS)的視頻編 碼方法，所述視頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當 前幀的預(yù)測圖像；使用具有比所估計的運動向量的精度低的精度的運動向量 對FGS層參考幀和基層參考幀進行運動補償；計算所述運動補償?shù)腇GS層 和基層參考幀之間的殘差；從當前幀中減去所述預(yù)測圖像和殘差；以及對相 減結(jié)果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持FGS的^L頻編碼方法，所述 視頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖 像；使用具有比所估計的運動向量的精度低的精度的運動向量對FGS層參 考幀和基層參考幀進行運動補償，并分別產(chǎn)生所述FGS層的預(yù)測幀和所述 基層的預(yù)測幀；計算所述FGS層的預(yù)測幀和所述基層的預(yù)測幀之間的殘差； 從當前幀中減去所述預(yù)測圖像和所計算的殘差；以及對相減結(jié)果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持FGS的視頻編碼方法，所述 視頻編碼方法包括使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖 像；計算FGS層參考幀和基層參考幀之間的殘差；使用具有比所估計的運 動向量的精度低的精度的運動向量對所述殘差進行運動補償；從當前幀中減 去所述重構(gòu)圖像和所述運動補償結(jié)果；以及對相減結(jié)果進行編碼。
根據(jù)本發(fā)明的另一方面，提供了一種支持FGS的視頻解碼方法，所述 視頻編碼方法包括從輸入比特流中提取基層紋理數(shù)據(jù)和FGS層紋理數(shù)據(jù) 以及運動向量；根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀；使用所述運動向量對 FGS層參考幀和基層參考幀進行運動補償；計算所述運動補償?shù)腇GS層參 考幀和所述運動補償?shù)幕鶎訁⒖紟g的殘差；以及將所述基層幀、FGS層 紋理數(shù)據(jù)和所述殘差相加。
根據(jù)本發(fā)明的另一方面，提供了一種基于FGS的視頻編碼器，包括 使用以預(yù)定精度估計的運動向量來獲得當前幀的預(yù)測圖像的元件；量化當前 幀和預(yù)測圖像之間的殘差、逆量化所述量化的殘差、以及產(chǎn)生當前幀的重構(gòu) 圖像的元件；使用所述估計的運動向量對FGS層參考幀和基層參考幀進行 運動補償?shù)脑挥嬎闼鲞\動補償?shù)腇GS層和基層參考幀之間的殘差的 元件；從當前幀中減去所述重構(gòu)圖像和殘差的元件；以及對相減結(jié)果進行編 碼的元件。根據(jù)本發(fā)明的另一方面，提供了一種基于FGS的視頻解碼器，所述視
頻解碼器包括從輸入比特流中提取基層紋理數(shù)據(jù)、FGS層紋理數(shù)據(jù)和運動 向量的元件；根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀的元件；使用所述運動向量 對FGS層參考幀和基層參考幀進行運動補償并產(chǎn)生預(yù)測FGS層幀和預(yù)測基 層幀的元件；計算所述預(yù)測FGS層幀和所述預(yù)測基層幀之間的殘差的元件； 以及將所述紋理數(shù)據(jù)、所重構(gòu)的基層幀和所述殘差相加的元件。


通過下面參考附圖對本發(fā)明的示范性實施例的詳細描述，本發(fā)明的上述 和其它方面將變得更加顯而易見，其中
圖1是用于說明傳統(tǒng)的FGS技術(shù)的視圖2是用于解釋傳統(tǒng)的漸進PFGS技術(shù)的視圖3是用于圖示根據(jù)本發(fā)明的示范性實施例的快速漸進精細可分級 (PFGS)的視圖4是根據(jù)本發(fā)明的示范性實施例的視頻編碼器的框圖5是根據(jù)本發(fā)明的另一個示范性實施例的視頻編碼器的框圖6和圖7是根據(jù)本發(fā)明的又一個示范性實施例的視頻編碼器的框圖9是根據(jù)本發(fā)明的另 一個示范性實施例的視頻解碼器的框圖； 圖10和圖11是根據(jù)本發(fā)明的又一個示范性實施例的視頻解碼器的框 圖；以及
圖12是根據(jù)本發(fā)明的實施例的用于執(zhí)行編碼或解碼過程的系統(tǒng)的框圖。
具體實施例方式
下面將參照附圖更充分地描述本發(fā)明，在附圖中示出了本發(fā)明的示范性 實》4例。
通過參照下面對示范性實施例以及所述附圖的詳細描述，將更容易理解 本發(fā)明的優(yōu)點和特性及其實現(xiàn)方法。但是，可以以各種不同的形式來實施本 發(fā)明，并且本發(fā)明不應(yīng)當被理解為局限于這里所闡述的示范性實施例。相反， 提供這些示范性實施例以使得本公開詳盡且完整，并將本發(fā)明的構(gòu)思完全傳
達給本領(lǐng)域技術(shù)人員，并且僅由所附權(quán)利要求書來限定本發(fā)明。在整個說明 書中，相似的參考數(shù)字指代相似的元件。
圖3是用于圖示根據(jù)本發(fā)明的第一示范性實施例的PFGS的視圖。 參照圖3,與圖2類似，將根據(jù)PFGS算法來量化FGS層中的△,并且 由等式(3)來簡單定義該A:
△ = RF-RB' …(3) Rf由上面的等式(2)所定義，而Rb'由等式(4)來定義
RB' = O' - PB = O' - (Mb'+Nb')/2 …(4)
其中，O'是通過利用基層量化步長QPb將原始困像O進行量化并接著對 所量化的圖像進行逆量化而重構(gòu)的圖像。
將等式(2)和(4)代入到等式(3)，得到等式(5):
△ = O - (MF'+NF')/2 - [O' - (Mb'+Nb')/2] …(5)
參照圖3， AM和An分別表示在基屋和FGS層中的左參考幀MK'和 Mb'之間的殘差以及在基層和FGS層中的右參考幀NF'和Nb'之間的殘差， 由等式(6)定義
△ M = MF' - MB'
△N=NF'-NB' ,..(6)
通過將等式(6)代入到等式(5)中，可以由等式(7)來定義A:
△ = O - O'- (AM+AN)/2 …(7)
如等式(7)所示，編碼器可以通過從原始圖像O中減去重構(gòu)的基層圖 像0'和殘差的平均但(Am+An)/2得到A,其中，通過利用基層量化步長QPB 將原始圖像O量化并接著對所量化的圖像進行逆量化而得到所述重構(gòu)的基 層圖像O',所述殘差是基層參考幀和FGS層參考幀中的每一個之間的殘差。
解碼器通過將所重構(gòu)的基層圖像O'、 △、和所述基層參考幀與FGS層參考 幀之間的殘差的平均值相加而重構(gòu)出原始圖像O 。
在傳統(tǒng)的PFGS算法中，使用具有由運動估計得到的一個像素或子像素 (1/2像素或1/4像素)精度的運動向量來進行運動補償。近來，為了提高 補償效率，通常根據(jù)諸如半像素精度或四分之一像素精度的各種像素精度來 進行運動估計和補償。在傳統(tǒng)的PFGS中，將利用諸如1/4像素精度的運動 補償而產(chǎn)生的預(yù)測圖像壓縮(pack)成整數(shù)像素。接著，對原始圖像和預(yù)測 圖像之間的殘差進行量化。在這種情況下，該壓縮是通過執(zhí)行具有1/4像素 精度的運動估計而將4次插值的參考圖像變?yōu)樵汲叽绲膱D像的恢復(fù)過程。 例如，在壓縮過程中，可以選擇每四個像素中的一個。
但是，等式(7)所定義的、將要被量化以用于根據(jù)本發(fā)明的快速PFGS 的FGS層中的數(shù)據(jù)A對壓縮效率的影響很小，因此不需要對其進行高像素 精度的運動補償。僅對等式(7)右邊的第三項(AM+AN)/2進行運動估計和 補償。但是，因為將第三項表示為參考幀之間的層間殘差，所以執(zhí)行高像素 精度的運動估計和補償并不非常有效率。也即，因為在以預(yù)定像素精度進行 運動補償?shù)幕鶎又械膱D像和以所述像素精度進行運動補償?shù)脑鰪妼又械膱D 像之間的結(jié)果殘差圖像對像素精度不敏感，所以與傳統(tǒng)PFGS相比，快速 PFGS允許更低像素精度的運動估計和補償。
根據(jù)第二示范性實施例，也可以將第一示范性實施例中的等式(5)中 的A表示成如等式(8)所示的預(yù)測信號Pp和PB之間的殘差。PF和Pb分 別等于(Mf'+Nf')/2和(Mb'+Nb')/2。
△ = O - O'- (Pf-Pb) …(8)
第一和第二示范性實施例彼此的區(qū)別如下。在第一示范性實施例中，首 先計算FGS層參考圖像和基層參考圖像之間的殘差A(yù)M和An然后用2除。 在第二示范性實施例中，在計算了 FGS層和基層中的預(yù)測圖像Pp和Pb之 后，再計算所述預(yù)測FGS層圖像PF和預(yù)測基層圖像PB之間的殘差PF-PB。 這就是說，盡管根據(jù)第一和第二示范性實施例的快速PFGS算法是以不同的 方式實現(xiàn)的，但是能夠得到相同的計算結(jié)果(△)。
在第一和第二示范性實施例二者中，首先執(zhí)行運動補償，然后計算圖像之間的殘差。在本發(fā)明的第三示范性實施例中，可以首先計算不同層中的參 考圖像之間的殘差，然后執(zhí)行運動補償。這樣，根據(jù)本發(fā)明的第三示范性實
施例，因為對殘差執(zhí)行運動補償，所以邊界填充(boundary padding )基本不 影響結(jié)果圖像。因此，可以跳過邊界填充過程。邊界填充是考慮到在運動估 計期間幀邊界處的塊匹配受到限制，從而對像素鄰近處位于邊界的像素進行 復(fù)制的過程。
在本發(fā)明的第三示范性實施例中，殘差A(yù)可以由等式(9)定義 <formula>formula see original document page 17</formula> …(9)
其中，mc (.)表示用于執(zhí)行運動補償?shù)暮瘮?shù)。
傳統(tǒng)PFGS被用于執(zhí)行直接預(yù)測(運動估計和補償)以計算由等式(3) 定義的RF或RB,而根據(jù)本發(fā)明的第一至第三示范性實施例的快速PFGS 算法被用于計算預(yù)測圖像之間的殘差或預(yù)測參考圖像之間的殘差。因此，本 發(fā)明的快速PFGS的性能僅稍微受到或不受為了增加運動向量的像素精度而 使用的內(nèi)插的影響。
因此，可以跳過四分之一或半像素內(nèi)插。此外，可以使用需要更少計算 量的雙線性濾波器來代替需要很大計算量的H.264標準中所用的半像素內(nèi)插 濾波器。例如，可以對等式(7)至(9)的右邊第三項應(yīng)用雙線性濾波器。 與在傳統(tǒng)PFGS算法中將雙線性濾波器直接應(yīng)用于預(yù)測信號以得到Rf或Rb 相比，這可以減少性能退化。
本發(fā)明的第一至第三示范性實施例的原理基于等式(3)。換句話說，這 些示范性實施例的實現(xiàn)基于這樣一個假設(shè)對FGS層殘差Rp和基層殘差RB 之間的殘差進行編碼。但是，當從FGS層得到的殘差非常小時，即，當時 間相關(guān)性非常接近時，根據(jù)本發(fā)明的第一至第三示范性實施例的上述快速 PFGS算法很可能使編碼性能退化。在這種情況下，僅對從FGS層得到的殘 差(即等式(3)中的Rf)進行編碼可以獲得更好的編碼性能。即，根據(jù)本 發(fā)明的第四示范性實施例，可以分別將等式(7)至(9)修正為等式(10) 至(12):
<formula>formula see original document page 17</formula> ... (10)
<formula>formula see original document page 18</formula>在等式(10)至(12)中，用基層圖像的預(yù)測圖像Ps來代替重構(gòu)的基 層圖像O'。當然，可以不對等式(10)至(12)的右邊第三項應(yīng)用內(nèi)插，或 者可以使用需要更少計算量的雙線性濾波器來用于內(nèi)插。
在等式(11)中出現(xiàn)了兩次的預(yù)測圖像Pb不必是同一個。在運動補償
期間可以使用所估計的運動向量以產(chǎn)生第二項的預(yù)測圖像PB。另一方面，在
運動補償期間可以使用具有比所估計的運動向量的精度低的精度的運動向 量或需要較少計算量的濾波器(如，雙線性濾波器)來產(chǎn)生第三項的Pb和 Pf。
使用重構(gòu)的左右參考幀二者來重構(gòu)當前幀的PFGS算法存在著漂移誤差 的問題，該漂移誤差是由于當左右參考幀二者中的圖像質(zhì)量的退化被累積地 反映在當前幀中時而引起的?？梢酝ㄟ^漏預(yù)測(leaky prediction)方法來減 少該漂移誤差，該方法使用由從兩個參考幀得到的預(yù)測圖像和從基層得到的 預(yù)測圖像的加權(quán)和(weighted sum )而創(chuàng)建的預(yù)測圖像。
根據(jù)傳統(tǒng)PFGS中所使用的漏預(yù)測方法，由等式(13)在表示在FGS 層中的被編碼的值
<formula>formula see original document page 18</formula>] ...(13)
根據(jù)本發(fā)明第五示范性實施例，等式(13)可以被轉(zhuǎn)換成等式(14):
<formula>formula see original document page 18</formula> …(14)
為了得到等式(14 )，可以僅對等式(11 )中的預(yù)測圖像之間的殘差PF-PB 應(yīng)用加權(quán)因子a。這樣，也可以將漏預(yù)測方法應(yīng)用于本發(fā)明。即，可以跳過
內(nèi)插或者使用需要更少計算量的雙線性濾波器對殘差PF-PB應(yīng)用內(nèi)插。在后
一種情況下，將內(nèi)插的結(jié)果與加權(quán)因子a相乘。
圖4是根據(jù)本發(fā)明的第一示范性實施例的視頻編碼器100的框圖。 盡管參照圖1至圖3以每個塊作為運動估計的基本單元描述了本發(fā)明，
但是下面將以包含所述塊的每一幀來描述快速PFGS。為了表述一致，通過
用于指示幀的"F"的下標來指示塊的標識符。例如，用Frb來表示包含被 標示為RB的塊的幀。當然，上標(')用于表示在量化/逆量化之后獲得的重
構(gòu)數(shù)據(jù)。
當前幀F(xiàn)o被輸入到運動估計器105、減法器115和殘差計算器170。
運動估計器105使用相鄰幀來對當前幀F(xiàn)o執(zhí)行運動估計，以得到運動 向量MV。在運動估計期間所參考的相鄰幀在下文中被稱為"參考幀"。塊 匹配算法(BMA )通常被用于估計給定塊的運動。在BMA中，以像素或子 像素精度在參考幀的搜索區(qū)域內(nèi)移動給定塊，并且將具有最小誤差的位移確 定為運動向量。盡管將固定大小的運動塊用于運動估計，但是該運動估計可 以利用層次式可變大小塊匹配(HVSBM)技術(shù)。
當以子像素精度執(zhí)行運動估計時，需要對參考幀進行上采樣或內(nèi)插為預(yù) 定的分辨率。例如，當以1/2和1/4像素精度執(zhí)行運動估計時，必須分別以 因子2和4來更新或內(nèi)插該參考幀。
當編碼器100具有開環(huán)編解碼器結(jié)構(gòu)時，原始相鄰幀F(xiàn)M和Fn被用作 參考幀。當編碼器IOO具有閉環(huán)編解碼器結(jié)構(gòu)時，將基層中的重構(gòu)的相鄰幀 fmb'andFW用作參考幀。盡管這里假定編碼器100具有閉環(huán)編解碼器結(jié)構(gòu)， 但是編碼器IOO可以具有開環(huán)編解碼器結(jié)構(gòu)。
將由運動估計器105計算的運動向量MV提供給運動補償器110。該運 動補償器IIO使用運動向量MV對參考幀F(xiàn)MB'和FNB'執(zhí)行運動補償，并產(chǎn) 生當前幀的預(yù)測幀F(xiàn)PB。當使用雙向預(yù)測時，可以將預(yù)測圖像計算為運動補 償?shù)膮⒖紟钠骄怠．斒褂脝蜗蝾A(yù)測時，預(yù)測圖像可以與運動補償?shù)膮⒖?帕相同。盡管下文假定運動估計和補償使用雙向參考幀，但是本領(lǐng)域技術(shù)人 員顯然可知本發(fā)明可以使用單向參考幀。
減法器115計算預(yù)測圖像和當前圖像之間的殘差Frb,以傳輸?shù)阶儞Q器
120。
變換器120對殘差frb執(zhí)行空間變換以創(chuàng)建變換系數(shù)fr/?？臻g變換方 法可以包括離散余弦變換(DCT)或小波變換。詳細地，在采用DCT的情 況下可以創(chuàng)建DCT系數(shù)，在采用小波變換的情況下可以創(chuàng)建小波系數(shù)。
量化器125對變換系數(shù)frbt進行量化。量化意味著通過離散值來表達任 意實數(shù)值形式的變換系數(shù)，并將這些離散值與根據(jù)預(yù)定量化表格的索引匹配 的過程。例如，量化器125可以將實數(shù)值的變換系數(shù)除以預(yù)定量化步長，并 將結(jié)果值四舍五入到最近的整數(shù)。 一般來說，基層的量化步長大于FGS層 的量化步長。
將量化結(jié)果、即由量化器125得到的量化系數(shù)F肌q提供給熵編碼單元 150和逆量化器130。
逆量化器130對量化系數(shù)Fr^迸行逆量化。逆量化意味著使用與在量化 中所用的量化步長相同的量化步長將與在量化期間產(chǎn)生的索引匹配的值進 行恢復(fù)的逆量化過程。
逆變換器135接收逆量化結(jié)果并對所接收的結(jié)果進行逆變換。可以以與 變換器120執(zhí)行的變換順序相反的順序來執(zhí)行逆空間變換，例如，逆DCT 或逆小波變換。加法器140將逆變換結(jié)果與由運動補償器IIO得到的預(yù)測圖 像FpB相加，以產(chǎn)生當前幀的重構(gòu)圖像Fo'。
緩沖器145存儲從加法器140接收的相加結(jié)果。緩沖器145存儲當前幀 的重構(gòu)圖像F。'，也存儲先前重構(gòu)的基層參考幀F(xiàn)MB'和FNB'。
運動向量修正器155改變接收到的運動向量MV的精度。例如，具有 1/4像素精度的運動向量MV可能具有值0、 0.25、 0.5或0.75。如上所述， 根據(jù)本發(fā)明的示范性實施例，當使用具有比基層中的運動向量的像素精度低 的像素精度的運動向量MV執(zhí)行FGS層中的運動補償時，編碼性能中的差 別很小。因此，運動向量修正器155將具有1/4像素精度的運動向量MV變 為具有比1/4像素精度低的像素精度(如，1/2像素或1像素)的運動向量 MV"可以通過簡單地從原始運動向量中截去或舍入像素精度的小數(shù)部分來 執(zhí)行這樣的改變過程。
緩沖器165臨時存儲FGS層參考幀F(xiàn)婦'和Fnf'。盡管未示出，但是重構(gòu) FGS層幀F(xiàn)mj/和Fm/或與當前幀相鄰的原始幀可以被用作FGS層參考幀。
運動補償器160使用修正的運動向量MV,來對從緩沖器145接收的重 構(gòu)基層參考幀F(xiàn)應(yīng)'和Fnb'以及從緩沖器165接收的重構(gòu)FGS層參考幀F(xiàn)MF' 和FNF'4丸行運動補償，并將運動補償?shù)膸琺c(FMB')、 mc(FNB')、 mc(FMF')、和 mc(fnf')提供給殘差計算器170。 F,'和Fnf'分別表示FGS層中的前向和后向 參考幀。F細'和Fnb'分別表示基層中的前向和后向參考幀。
當需要對運動補償進行內(nèi)插時，運動補償器160可以使用與用于運動估 計器105或運動補償器IIO的內(nèi)插濾波器不同類型的內(nèi)插濾波器。例如，當 使用具有1/2像素精度的運動向量MVi時，代替H.264標準中所用的6抽頭
濾波器，可以使用需要較小計算量的雙線性濾波器來用于內(nèi)插。因為在內(nèi)插 之后計算運動補償?shù)幕鶎訋瓦\動補償?shù)腇GS層幀之間的殘差，所以內(nèi)插 過程基本不影響壓縮效率。
殘差計算器170計算運動補償?shù)腇GS層參考幀hic(Fmf')和mc(Fw')以及 運動補償?shù)幕鶎訁⒖紟琺c(fmb')和mc (fnb')之間的殘差。即，殘差計算器170 計算AM^mc(FMF')-mc(F應(yīng)')和AN二mc(FNF')-mc(F仰')。當然，當使用單 向參考幀時，可以僅計算一個殘差。
然后，殘差計算器170奸算殘差A(yù)m和An的平均植，并從當前幀F(xiàn)o 中減去重構(gòu)圖像Fo'以及殘差A(yù)M和An的平均植。當使用單向參考幀時，不 需要計算平均值的過程。
由殘差計算器170得到的相減結(jié)果Fa先由交換器175進行空間變換， 接著由量化器180進行量化。量化的結(jié)果faq被傳輸?shù)届鼐幋a單元150。在 量化器180中所用的量化步長通常小于在量化器125中所用的量化步長。
熵編碼單元150無損地將由運動估計器105所估計的運動向量MV、從 量化器125接收到的量化系數(shù)FrbQ、從量化器180接收到的量化結(jié)果FAQ 編碼成為比特流。存在各種無損編碼方法，包括算術(shù)(arithmetic)編碼、可 變長度編碼等等。
可選地，盡管圖中未示出，但是除了殘差計算器外，根據(jù)本發(fā)明第二示 范性實施例的視頻編碼器可以具有與圖4所示的^L頻編碼器IOO相同的配置 和操作。
即，根據(jù)本發(fā)明第二示范性實施例的殘差計算器在計算不同層中的幀之 間的殘差之前，產(chǎn)生每一層的預(yù)測幀。換句話說，殘差計算器使用運動補償 的FGS層參考幀和運動補償?shù)幕鶎訁⒖紟瑏懋a(chǎn)生預(yù)測FGS層幀和預(yù)測基層 幀。通過簡單地對兩個運動補償?shù)膮⒖紟笃骄悼梢杂嬎泐A(yù)測幀。當然， 當使用單向預(yù)測時，運動補償?shù)膸陨砜梢允穷A(yù)測幀。
殘差計算器然后計算預(yù)測幀之間的殘差，并從當前幀中減去重構(gòu)圖像和 計算的殘差。
圖5是根據(jù)本發(fā)明第三示范性實施例的視頻編碼器300的框圖。參照圖 5，在第一和第二示范性實施例中，在執(zhí)行運動補償之后計算基層參考圖像 和FGS層參考圖像之間的殘差，而所示的視頻編碼器300在計算兩層中的 參考幀之間的殘差之后執(zhí)行運動補償。為了避免重復(fù)的說明，下面的描述將
關(guān)注于第 一 和第二示范性實施例之間的區(qū)別特征。
減法器390將從緩沖器365接收到的FGS層參考幀F(xiàn)MF'和Fnf'中咸去 從緩沖器345接收到的重構(gòu)的基層參考幀F(xiàn)廳'和Fnb'，并將相減結(jié)果 Fmf'-F應(yīng)'和FNF'-FNB提供給運動補償器360。當使用單向參考幀時，僅存在 一個殘差。
運動補償器360使用從運動向量修正器355接收到的修正的運動向量 MV,來對從減法器390接收到的FGS層參考幀和基層參考幀之間的殘差
F旨'-Fmb'和fnf'-fnb'執(zhí)行運動補償。當在運動補償期間使用具有1/2像素精
度的運動向量MV,時，代替H.264標準中所用的6抽頭濾波器，可以使用 需要較小計算量的雙線性濾波器來用于內(nèi)插。如上所述，內(nèi)插基本不影響壓
縮效率。
殘差計算器370計算運動補償?shù)臍埐頼c(fmf'-fmb')和mc(fnf' - fnb')之間 的平均值，并從當前幀F(xiàn)o中減去重構(gòu)圖像Fo'和所述平均值。當使用單向參 考幀時，不需要平均計算過程。
圖6和圖7是根據(jù)本發(fā)明第四示范性實施例的視頻編碼器400和600的 示例的框圖。首先參照圖6，與圖4所示的第一示范性實施例不同，在本示 范性實施例的視頻編碼器400中的殘差計算器470從當前幀F(xiàn)o中減去預(yù)測 的基層幀F(xiàn)pB而不是減去重構(gòu)的基層幀F(xiàn)o'。
根據(jù)圖6和圖7所示的第四示范性實施例的視頻編碼器400和600與根 據(jù)圖4和圖5所示的第一和第三示范性實施例的視頻編碼器100和300對應(yīng)。 首先參照圖6,殘差計算器470從當前幀中減去從運動補償器410接收到的 預(yù)測基層圖像Fpb而不是減去重構(gòu)的基層圖像Fo'。因此，殘差計算器470 從當前幀F(xiàn)o中減去預(yù)測圖像FpB以及殘差A(yù)M和An的平均但，從而得到相 威結(jié)果Fa。
類似地，參照圖7，殘差計算器670從當前幀F(xiàn)。中減去預(yù)測圖像FpB以 及運動補償?shù)臍埐頼c(fmf'-F纖')與mc(FNF' - Fnb')的平均但，從而得到相減結(jié)
果Fa。
除了殘差計算器470的操作之外，根據(jù)與第二示范性實施例(未示出) 對應(yīng)的第四示范性實施例的^L頻編碼器的示例可以具有與圖6所示的相同的 配置并且執(zhí)行與之相同的操作。在根據(jù)與第二示范性實施例對應(yīng)的第四示范 性實施例的視頻編碼器中，殘差計算器470使用運動補償?shù)腇GS層參考幀
mc(F,')和mc(FNF')以及運動補償?shù)幕鶎訁⒖紟琺c(F細')和mc (FNB')分別產(chǎn) 生預(yù)測FGS層幀F(xiàn)pF和預(yù)測基層幀F(xiàn)BF。殘差計算器470也計算預(yù)測幀F(xiàn)PF
和fbf之間的殘差FpF-FpB,并,人當前幀F(xiàn)0中減去重構(gòu)圖^象Fo'和殘差FpF-FpB,
以得到相威結(jié)果Fa。
如果應(yīng)用了漏預(yù)測，則殘差計算器470將殘差FpF-FpB乘以加權(quán)因子a， 并從當前幀F(xiàn)o中減去重構(gòu)圖像Fo'和乘積otx(FpF-FpB),以得到相咸結(jié)果Fa。
圖8是根據(jù)本發(fā)明第一示范性實施例的視頻解碼器700的框圖。參照圖 8，熵解碼單元701無損地解碼輸入比特流以提取基層紋理數(shù)據(jù)FPBQ、 FGS 層紋理數(shù)據(jù)FAQ和運動向量MV。無損解碼是無損編碼的逆過程。
分別向逆量化器705和745提供基層紋理數(shù)據(jù)Fp^和FGS層紋理數(shù)據(jù) FAQ,向運動補償器720和運動向量修正器730提供運動向量MV。
逆量化器705對從熵解碼單元701接收到的基層紋理數(shù)據(jù)FpbQ迸行逆量 化。以與變換器執(zhí)行的量化順序相反的順序來執(zhí)行此逆量化，從而根據(jù)在量 化中所用的預(yù)定的量化步長來恢復(fù)匹配到量化期間產(chǎn)生的索引的值。
逆變換器710對逆量化結(jié)果進行逆變換。以與變換器執(zhí)行的變換順序相 反的順序來執(zhí)行該逆變換，具體地，可以使用逆DCT變換或逆小波變換。
將重構(gòu)殘差F肌'提供給加法器715。
運動補償器720使用提取的運動向量MV對存儲在緩沖器725中的先前
重構(gòu)的基層參考幀F(xiàn)廳'和FNB'進行運動補償，以產(chǎn)生預(yù)測圖像FpB'，該預(yù)測
圖像隨后被發(fā)送到加法器715。
當使用雙向預(yù)測時，通過計算運動補償?shù)膮⒖紟钠骄祦碛嬎泐A(yù)測圖
像Fpb。當使用單向預(yù)測時，運動補償?shù)膮⒖紟褪穷A(yù)測圖像FpB。
加法器715將輸入的FRB和FpB相加，以輸出重構(gòu)的基層圖像Fo',其隨 后被存儲于緩沖器725中。
逆量化器745對FGS層紋理數(shù)據(jù)FzxQ應(yīng)用逆量化，逆變換器750對逆 量化的結(jié)果FAT'進行逆變換，以得到重構(gòu)幀F(xiàn)A (Fa')，隨后將該重構(gòu)幀提 供給幀重構(gòu)器755。
運動向量修正器730降低所提取的運動向量MV的精度。例如，具有 1/4像素精度的運動向量MV可能具有值0、 0.25、 0.5或0.75。運動向量修 正器730將具有1/4像素精度的運動向量MV變?yōu)榫哂械陀?/4像素精度(如 1/2像素或1像素)的運動向量MV!。
運動補償器735使用修正的運動向量MVi來對從緩沖器725接收的重 構(gòu)基層參考幀F(xiàn)認'和Fnb'以及從緩沖器740接收的重構(gòu)FGS層參考幀F(xiàn)MF' 和fnf'執(zhí)行運動補償，并將運動補償?shù)幕鶎訋琱ic(Fmb')和mc(F仰')以及運動 補償?shù)腇GS層幀mc(FMF')和mc(FNF')提供給幀重構(gòu)器755。
例如，當在運動補償期間使用具有1/2像素精度的運動向量MV,時，代 替H.264標準中所用的6抽頭濾波器，可以使用需要較小計算量的雙線性濾 波器來用于內(nèi)插。內(nèi)插過程基本不影響壓縮效率。
幀重構(gòu)器755計算運動補償?shù)腇GS層和基層參考幀mc(F廳')和mc(FMB') 之間的殘差A(yù)M,即AM-mc(FMF')-mc(FMB'),以及運動補償?shù)腇GS層和基 層參考幀mc(F，')和mc (FW)之間的殘差A(yù)n,即，AN = mc(FNF') - mc(FNB')。 當然，當使用單向參考幀時，可以僅計算一個殘差。
幀重構(gòu)器755也計算殘差A(yù)M和An的平均但，并將該平均值、Fa'和重 構(gòu)的基層圖像Fo湘加，以產(chǎn)生重構(gòu)的FGS層圖像FoF'。當使用單向參考幀 時，不需要平均計算過程。
然后緩沖器740存儲該重構(gòu)圖像FoF'。當然，先前重構(gòu)的圖像FMj/和FNF' 也可以被存儲于緩沖器740中。
可選地，除了幀重構(gòu)器的操作外，根據(jù)本發(fā)明第二示范性實施例的視頻 解碼器可以具有與圖8所示的視頻編碼器相同的配置并執(zhí)行與之相同的操 作。即，根據(jù)本發(fā)明第二示范性實施例的幀重構(gòu)器在計算兩層中的幀之間的
殘差之前產(chǎn)生每一層的預(yù)測幀。這就是說，幀重構(gòu)器使用運動補償?shù)腇GS 層參考幀和運動補償?shù)幕鶎訋瑏懋a(chǎn)生預(yù)測FGS層幀和預(yù)測基層幀。通過簡 單地對兩個運動補償?shù)膮⒖紟笃骄悼梢援a(chǎn)生預(yù)測幀。當然，當使用單向 預(yù)測時，預(yù)測幀可以是運動補償幀自身。
幀重構(gòu)器然后計算預(yù)測幀之間的殘差，并將紋理數(shù)據(jù)、重構(gòu)的基層幀和 歹戔l才目力口。
圖9是根據(jù)本發(fā)明第三示范性實施例的視頻解碼器900的框圖。參照圖 9,與在第一和第二示范性實施例中不同，^L頻解碼器卯0在計算FGS層和 基層中的參考幀之間的殘差之后執(zhí)行運動補償，而在第一和第二示范性實施 例中，在計算FGS層參考圖像和基層參考圖像之間的殘差之前執(zhí)行運動補 償。為了避免重復(fù)的說明，下面的描述將關(guān)注于與圖4所示的第一示范性實 施例的區(qū)別特;f正。
減法器960從FGS層參考幀F(xiàn)嫌'和Fnf'中威去從緩沖器925接收到的重 構(gòu)的基層參考幀F(xiàn)細'和Fnb'，并將相減結(jié)果Fmf'-F應(yīng)'和FNF'-F湘提供給運動 補償器935。當使用單向參考幀時，僅存在一個殘差。
運動補償器935使用從運動向量修正器930接收到的修正的運動向量 MV,來對從減法器960接收到的FGS層和基層中的參考幀之間的殘差
Fmf'-F畫'和FNF'-FNB'執(zhí)行運動補償。當在運動補償期間使用具有1/2像素精
度的運動向量MVi時，代替H.264標準中所用的6抽頭濾波器，可以使用 需要較小計算量的雙線性濾波器來用于內(nèi)插。如上所述，內(nèi)插基本不影響壓
縮效率。
幀重構(gòu)器955計算運動補償?shù)臍埐钪g的平均值，即mc(FMF'-F應(yīng)')和 mc(FNf' - F湘')之間的平均值，并將所計算的平均值、從逆變換器950接收到 的FA'和重構(gòu)的基層圖像Fo湘加。當使用單向參考幀時，不需要平均值計算 過程。
圖10和圖11是根據(jù)本發(fā)明第四示范性實施例的視頻解碼器1000和 1200的示例的框圖。
參照圖IO和圖11,與圖8和圖9示出的根據(jù)第一和第三示范性實施例 的視頻解碼器700和卯0對應(yīng)，幀重構(gòu)器1055和1255加上了預(yù)測基層幀 FPB而不是重構(gòu)的基層幀F(xiàn)o'。
根據(jù)圖10和圖11所示的第四示范性實施例的視頻解碼器1000和1200 分別與圖8和圖9所示的根據(jù)第一和第三示范性實施例的視頻解碼器對應(yīng)。
首先參照圖10,與圖8對應(yīng)，運動補償器1020向幀重構(gòu)器1055提供基 層參考圖像FpB而不是重構(gòu)圖像Fo'。這樣，幀重構(gòu)器1055將從逆變換器1050
接收到的Fa'、預(yù)測基層圖像FpB'以及層間殘差A(yù)M和An的平均植相加，以 得到重構(gòu)的基層圖像FOT'。
類似地，參照圖11,幀重構(gòu)器1255將從逆變換器1250接收到的FA'、 從運動補償器1220接收到的預(yù)測基層圖像Fpb、以及運動補償?shù)臍埐?mc(FMF'-FMB'^ mc(FNF' - FW)的平均值相力口，以得到重構(gòu)的FGS層圖像FoF'。
同時，與根據(jù)第二示范性實施例(未示出)的視頻解碼器對應(yīng)，除了幀 重構(gòu)器1255的操作之外，根據(jù)第四示范性實施例的視頻解碼器可以具有與 圖8所示的相同的配置并且執(zhí)行與之相同的操作。在與第二示范性實施例對 應(yīng)的第四示范性實施例的視頻解碼器中，幀重構(gòu)器1255使用運動補償?shù)腇GS層參考幀ibc(Fmf')和mc(FNF')以及運動補償?shù)幕鶎訁⒖紟琺c(FMB')和mc (FNB') 來產(chǎn)生預(yù)測FGS層幀F(xiàn)pF和預(yù)測基層幀F(xiàn)BF。幀重構(gòu)器1255也計算預(yù)測FGS 層幀F(xiàn)w和預(yù)測基層幀F(xiàn)bf之同的殘差FPF-FPB,并將從逆變換器1250接收到 的FA'、從運動補償器1220接收到的預(yù)測圖像FpB和殘差FpF-FpB相加，以得
到重構(gòu)圖像FOT'。
當應(yīng)用漏預(yù)測(第五示范性實施例)時，幀重構(gòu)器1255將層間殘差 FpF-FpB乘以加權(quán)因子a,并將Fa'、 Fo'和乘積ax(FpF-FpB)相加以得到F0F'。
圖12是根據(jù)本發(fā)明的示范性實施例的、用于使用^L頻編碼器100、 300、 400、 600或視頻解碼器700、 900、 1000、 1200執(zhí)行編碼或解碼過程的系統(tǒng) 的框圖。該系統(tǒng)可以是TV、機頂盒(STB)、桌上型計算機、膝上型計算機、 或掌上型計算機、PDA、視頻或圖像存儲設(shè)備(例如，VCR或DVR)。該系 統(tǒng)可以是上面列出的設(shè)備的組合或合并它們的另一種設(shè)備。此外，該系統(tǒng)可 以是上述裝置的組合或包括它們之中另一裝置的一部分的一種裝置。該系統(tǒng) 包括至少一個視頻源1310、至少一個輸入/輸出單元1320、處理器1340、存 儲器1350和顯示單元1330。
視頻源1310可以是TV接收器、VCR、或其它視頻存儲裝置。視頻源 1310可以指示至少一個網(wǎng)絡(luò)連接，用于使用互聯(lián)網(wǎng)、廣域網(wǎng)(WAN)、局域 網(wǎng)(LAN)、地面廣播系統(tǒng)、有線網(wǎng)絡(luò)、衛(wèi)星通信網(wǎng)、無線網(wǎng)、電話網(wǎng)等從 服務(wù)器接收視頻或圖像。此外，視頻源1310可以是這些網(wǎng)絡(luò)的組合或包括 這些網(wǎng)絡(luò)中另一個網(wǎng)絡(luò)的一部分的一個網(wǎng)絡(luò)。
輸入/輸出設(shè)備1320、處理器1340和存儲器1350通過通信介質(zhì)1360互 相通信。通信介質(zhì)1360可以是通信總線、通信網(wǎng)絡(luò)或至少一個內(nèi)部連接電 路。從視頻源1310接收的輸入視頻數(shù)據(jù)可以由處理器1340使用存儲在存儲 器1350中的至少一個軟件程序來處理，并且可以由處理器1340執(zhí)行以產(chǎn)生 提供給顯示單元1330的輸出視頻。
具體地，存儲在存儲器1350中的軟件程序包括執(zhí)行本發(fā)明的方法的基 于小波的可分級編解碼器。可以在存儲器1350中存儲、從諸如緊密只讀存 儲器(CD-ROM)或軟盤的存儲介質(zhì)中讀取、或通過各種網(wǎng)絡(luò)從預(yù)定服務(wù)器 下載該編解碼器。
工業(yè)實用性
如上所述，本發(fā)明提供了能夠有效減少實施PFGS算法所需的計算量的 視頻編碼。由于根據(jù)本發(fā)明的視頻編碼過程修改了解碼過程，因此本發(fā)明能
夠應(yīng)用于H.264 SE標準文件。
盡管參照本發(fā)明的示范性實施例對本發(fā)明進行了具體圖示和描述，但本
領(lǐng)域技術(shù)人員應(yīng)當理解，在不脫離由所附權(quán)利要求書所限定的本發(fā)明的精神 和范圍的情況下，可以對本發(fā)明進行形式和細節(jié)上的各種修改。
權(quán)利要求
1、一種支持精細可分級FGS的視頻編碼方法，所述方法包括使用以預(yù)定精度估計的第一運動向量來獲得當前幀的預(yù)測圖像；量化所述當前幀和所述預(yù)測圖像之間的殘差；逆量化所述量化的殘差并產(chǎn)生當前幀的重構(gòu)圖像；使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償；計算所述運動補償?shù)腇GS層參考幀和所述運動補償?shù)幕鶎訁⒖紟g的殘差；從所述當前幀中減去當前幀的重構(gòu)圖像和所計算的殘差；以及對相減結(jié)果進行編碼。
2、 如權(quán)利要求1所述的方法，其中，所述進行運動補償包括通過改 變所述第一運動向量的精度來產(chǎn)生所述第二運動向量，并且在進行運動補償 中所用的所述第二運動向量的精度低于在獲得當前幀的預(yù)測圖像中所用的 所述第一運動向量的精度。
3、 如權(quán)利要求1所述的方法，其中，所計算的殘差是第一殘差和第二 殘差的平均值，其中所述第一殘差是前向FGS層參考幀和前向基層參考幀 之間的殘差，所述第二殘差是后向FGS層參考幀和后向基層參考幀之間的 殘差。
4、 如權(quán)利要求2所述的方法，其中，如果對運動補償進行內(nèi)插，則使 用與在獲得當前幀的預(yù)測圖像中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾波 器來用于所述內(nèi)插。
5、 如權(quán)利要求l所述的方法，其中，所述對相減結(jié)果進行編碼包括 變換所述相減結(jié)果以產(chǎn)生變換系數(shù)； 量化所述變換系數(shù)以產(chǎn)生量化系數(shù)；以及 無損編碼所述量化系數(shù)。
6、 如權(quán)利要求l所述的方法，其中，所述獲得當前幀的預(yù)測圖像包括 使用當前幀和至少一個重構(gòu)的基層幀作為參考幀來估計所述第一運動向量；使用所述第 一運動向量對所述參考幀進行運動補償；以及 通過求所述運動補償?shù)膮⒖紟钠骄刀@得所述預(yù)測圖像。
7、 如權(quán)利要求l所述的方法，其中，所述獲得圖像的預(yù)測圖像包括使用所述當前幀和與當前幀相鄰的原始幀作為參考幀來估計所述第一運動向量；使用所述第 一運動向量對所述參考幀進行運動#卜償；以及 通過求所述運動補償?shù)膮⒖紟钠骄祦慝@得所述預(yù)測圖像。
8、 如權(quán)利要求l所述的方法，其中，所述FGS層參考幀是與FGS層參 考幀相鄰的原始幀，而所述基層參考幀是由所述基層重構(gòu)的相鄰幀。
9、 如權(quán)利要求l所述的方法，其中，所述FGS層參考幀是由所述FGS 層重構(gòu)的相鄰幀，而所述基層參考幀是由所述基層重構(gòu)的相鄰幀。
10、 如權(quán)利要求5所述的方法，其中，在量化所述變換系數(shù)中所用的量 化步長小于在量化所述殘差中所用的量化步長。
11、 一種支持精細可分級FGS的視頻編碼方法，所述方法包括 使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像； 量化所述當前幀和所述預(yù)測圖像之間的殘差； 逆量化所述量化的殘差，并產(chǎn)生當前幀的重構(gòu)圖像； 使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償，并分別產(chǎn)生所述FGS層的預(yù)測幀和所述基層的預(yù)測幀；計算所述F G S層的預(yù)測幀和所述基層的預(yù)觀"幀之間的殘差； 從當前幀中減去所述重構(gòu)圖像和所述殘差；以及 對相減結(jié)果進行編碼。
12、 如權(quán)利要求11所述的方法，其中，所述進行運動補償包括通過 改變所述第一運動向量的精度來產(chǎn)生所述第二運動向量，并且在進行運動補 償中所用的所述第二運動向量的精度低于在獲得當前幀的預(yù)測圖像中所用 的所述第 一 運動向量的精度。
13、 如權(quán)利要求11所述的方法，其中，所述預(yù)測FGS層幀是運動補償 的FGS層參考幀的平均值，而所述預(yù)測基層幀是運動補償?shù)幕鶎訁⒖紟?平均值。
14、 如權(quán)利要求12所述的方法，其中，如果對運動補償進行內(nèi)插，則 使用與在獲得當前幀的預(yù)測圖像中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾 波器來用于所述內(nèi)插。
15、 如權(quán)利要求11所述的方法，其中，所述對相減結(jié)果進行編碼包括 變換所述相減結(jié)果以產(chǎn)生變換系數(shù)； 量化所述變換系數(shù)以產(chǎn)生量化系數(shù)；以及 無損編碼所述量化系數(shù)。
16、 如權(quán)利要求15所述的方法，其中，在量化所述變換系數(shù)中所用的 量化步長小于在量化所述殘差中所用的量化步長。
17、 一種支持精細可分級FGS的視頻編碼方法，所述方法包括 使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像； 量化所述當前幀和所述預(yù)測圖像之間的殘差； 逆量化所述量化的殘差，并產(chǎn)生當前幀的重構(gòu)圖i"象； 計算精細可分級FGS層參考幀和基層參考幀之間的殘差；使用第二運動向量對所述殘差進行運動補償；從當前幀中減去所述重構(gòu)圖像和所述運動補償結(jié)果；以及對相減結(jié)果進行編碼。
18、 如權(quán)利要求17所述的方法，其中，所述進行運動補償包括通過 改變所述第一運動向量的精度來產(chǎn)生所述第二運動向量，并且在對所述殘差 進行運動補償中所用的第二運動向量的精度低于在獲得當前幀的預(yù)測圖像 中所用的第 一運動向量的精度。
19、 如權(quán)利要求17所述的方法，其中，進行所述相減的運動補償結(jié)果 是運動補償?shù)臍埐畹钠骄怠?br> 20、 如權(quán)利要求18所述的方法，其中，如果對運動補償進行內(nèi)插，則 使用與在獲得當前幀的預(yù)測圖像中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾 波器來用于所述內(nèi)插。
21、 如權(quán)利要求17所述的方法，其中，所述對相減結(jié)果進行編碼包括 變換所述相減結(jié)果以產(chǎn)生變換系數(shù)； 量化所述變換系數(shù)以產(chǎn)生量化系數(shù)；以及 無損編碼所述量化系數(shù)。
22、 如權(quán)利要求21所述的方法，其中，在量化所述變換系數(shù)中所用的 量化步長小于在量化所述殘差中所用的量化步長。
23、 一種支持精細可分級FGS的視頻編碼方法，所述方法包括 使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像；使用具有比所述第 一運動向量的精度低的精度的第二運動向量對FGS層參考幀和基層參考幀進行運動補償；計算所述運動補償?shù)腇GS層和基層參考幀之間的殘差； 從當前幀中減去所迷預(yù)測圖像和所述殘差；以及 對相減結(jié)果進行編碼。
24、 一種支持精細可分級FGS的^L頻編碼方法，所述方法包括 使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像；使用具有比所述第 一運動向量的精度低的精度的第二運動向量對FGS 層參考幀和基層參考幀進行運動補償，并分別產(chǎn)生所述FGS層的預(yù)測幀和 所述基層的預(yù)測幀；計算所述FGS層的預(yù)測幀和所述基層的預(yù)測幀之間的殘差；從當前幀中減去所述預(yù)測圖像和所計算的殘差；以及對相減結(jié)果進行編碼。
25、 如權(quán)利要求24所迷的方法，還包括將所述FGS層的預(yù)測幀和所 述基層的預(yù)測幀之間的殘差乘以加權(quán)因子ot,其中，在對所述預(yù)測圖像進行 減法時的所計算的殘差是所述加權(quán)因子oc與所述FGS層的預(yù)測幀和所述基層 的預(yù)測幀之間的殘差的乘積。
26、 一種支持精細可分級FGS的視頻編碼方法，所述方法包括 使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像； 計算FGS層參考幀和基層參考幀之間的殘差；使用具有比所述第 一運動向量的精度低的精度的第二運動向量對所述 殘差進行運動補償；從當前幀中減去所述重構(gòu)圖像和所述運動補償結(jié)果；以及 對相減結(jié)果進行編碼。
27、 一種支持精細可分級FGS的^L頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)和FGS層紋理數(shù)據(jù)以及第一運動向量；根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀；使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償； 計算所述運動補償?shù)腇GS層參考幀和所述運動補償?shù)幕鶎訁⒖紟g 的殘差；以及將所述基層幀、FGS層紋理數(shù)據(jù)和所述殘差相加。
28、 如權(quán)利要求27所述的方法，其中，在進行運動補償中所用的第二運動向量具有比所述第一運動向量的精度低的精度。
29、 如權(quán)利要求27所述的方法，其中，所計算的殘差是第一殘差和第 二殘差的平均值，其中所述第一殘差是前向FGS層參考幀和前向基層參考 幀之間的殘差，所述第二殘差是后向FGS層參考幀和后向基層參考幀之間 的殘差。
30、 如權(quán)利要求28所述的方法，其中，如果對運動補償進行內(nèi)插，則 使用與在重構(gòu)所述基層幀中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾波器來 用于所述內(nèi)插。
31、 如權(quán)利要求27所述的方法，其中，通過對所提取的FGS層紋理數(shù) 據(jù)進行逆量化和逆變換而獲得在對所述基層幀進行加法時的FGS層紋理數(shù)據(jù)。
32、 如權(quán)利要求31所述的方法，其中，所述重構(gòu)基層幀包括 逆量化所述基層紋理數(shù)據(jù)； 逆變換所述逆量化的結(jié)果；使用所述第一運動向量根據(jù)先前重構(gòu)的基層參考幀產(chǎn)生預(yù)測圖像；以及 將所述預(yù)測圖像和所述逆變換的結(jié)杲相加。
33、 如權(quán)利要求32所述的方法，其中，在對所述FGS層紋理數(shù)據(jù)進行 逆量化中所用的量化步長小于在重構(gòu)基層幀時所進行的逆量化中所用的量 化步長。
34、 一種支持精細可分級FGS的視頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)和FGS層紋理數(shù)據(jù)以及第一運動向量；根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀；使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償，并產(chǎn) 生預(yù)測FGS層幀和預(yù)測基層幀；計算所迷預(yù)測FGS層參考幀和所述預(yù)測基層參考幀之間的殘差；以及 將所述紋理數(shù)據(jù)、所重構(gòu)的基層幀和所述殘差相加。
35、 如權(quán)利要求34所述的方法，其中，進行運動補償中所用的所述第 二運動向量具有比所述第一運動向量的精度低的精度。
36、 如權(quán)利要求35所述的方法，其中，如果對運動補償進行內(nèi)插，則 使用與在重構(gòu)所述基層幀中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾波器來 用于所述內(nèi)插。
37、 如權(quán)利要求34所述的方法，其中，通過對所提取的FGS層紋理數(shù) 據(jù)進行逆量化和逆變換而獲得在對所述基層幀、所述FGS層中的紋理數(shù)據(jù)、 和所述殘差進行相加時的FGS層紋理數(shù)據(jù)。
38、 一種支持精細可分級FGS的視頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)和FGS層紋理數(shù)據(jù)以及第一運動向量；根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀；計算FGS層參考幀和基層參考幀之間的殘差；使用第二運動向量對所述殘差進行運動補償；以及將所述FGS層紋理數(shù)據(jù)、所述重構(gòu)的基層頓、和所述運動補償結(jié)果相加。
39、 如權(quán)利要求38所述的方法，其中，進行所述相加的運動補償結(jié)果 是運動補償?shù)臍埐畹钠骄怠?br> 40、 如權(quán)利要求38所述的方法，其中，進行運動補償中所用的所述第 二運動向量具有比所述第一運動向量的精度低的精度。
41、 如權(quán)利要求40所述的方法，其中，如果對運動補償進行內(nèi)插，則 使用與在重構(gòu)所述基層幀中所用的內(nèi)插濾波器的類型不同的內(nèi)插濾波器來 用于所述內(nèi)插。
42、 如權(quán)利要求38所述的方法，其中，通過對所提取的FGS層紋理數(shù) 據(jù)進行逆量化和逆變換獲得在進行所述相加時的FGS層紋理數(shù)據(jù)。
43、 一種支持精細可分級FGS的視頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)、FGS層紋理數(shù)據(jù)以及第一運動向量；使用所迷第一運動向量根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀的預(yù)測圖像； 使用具有比所述第 一運動向量的精度低的精度的第二運動向量對FGS層參考幀和基層參考幀進行運動#卜償；計算所述運動補償?shù)腇GS層參考幀和所述運動補償?shù)幕鶎訁⒖紟g的殘差；以及將所述FGS層紋理數(shù)據(jù)、所述預(yù)測圖像、和所計算的殘差相加。
44、 一種支持精細可分級FGS的^L頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)、FGS層紋理數(shù)據(jù)和第一運動向量； 使用所述第一運動向量根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀的預(yù)測圖像； 使用具有比所述第 一運動向量的精度低的精度的第二運動向量對FGS層參考幀和基層參考幀進行運動補償，并產(chǎn)生預(yù)測FGS層幀和預(yù)測基層幀； 計算所述預(yù)測FGS層幀和所述預(yù)測基層幀之間的殘差；以及 將所述FGS層紋理數(shù)據(jù)、所述預(yù)測圖像、和所計算的殘差相加。
45、 如權(quán)利要求25所述的方法，還包括將所述預(yù)測FGS層幀和所述 預(yù)測基層幀之間的殘差乘以加權(quán)因子ot，其中，在進行所述加法時的所計算 的殘差是所述加權(quán)因子a與所述預(yù)測FGS層幀和所述預(yù)測基層幀之間的殘差 的乘積。
46、 一種支持精細可分級FGS的視頻解碼方法，所述方法包括 從輸入比特流中提取基層紋理數(shù)據(jù)、FGS層紋理數(shù)據(jù)和第一運動向量； 使用所述第一運動向量根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀的預(yù)測圖像； 計算FGS層參考幀和基層參考幀之間的殘差；使用具有比所述第 一運動向量的精度低的精度的第二運動向量對所述 殘差進行運動補償；以及將所述FGS層紋理數(shù)據(jù)、所述預(yù)測圖像、和所述殘差相加。
47、 一種基于精細可分級FGS的視頻編碼器，包括用于使用以預(yù)定精度估計的第 一運動向量來獲得當前幀的預(yù)測圖像的 部件；用于量化所述當前幀和所述預(yù)測圖像之間的殘差、逆量化所述量化的殘 差、并產(chǎn)生當前幀的重構(gòu)圖像的部件；用于使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償?shù)?部件；用于計算所述運動補償?shù)腇GS層和基層參考幀之間的殘差的部件； 用于從當前幀中減去所述重構(gòu)圖像和所述殘差的部件；以及 用于對所述相減結(jié)果進行編碼的部件。
48、 如權(quán)利要求47所述的編碼器，其中，在進行運動補償中所用的第 二運動向量的精度低于在獲得當前幀的預(yù)測圖像中所用的第 一運動向量的精度。
49、 一種基于精細可分級FGS的視頻解碼器，包括用于從輸入比特流中提取基層紋理數(shù)據(jù)、FGS層紋理數(shù)據(jù)和第一運動向 量的部件；用于根據(jù)所述基層紋理數(shù)據(jù)重構(gòu)基層幀的部件；用于使用第二運動向量對FGS層參考幀和基層參考幀進行運動補償、 并產(chǎn)生預(yù)測FGS層幀和預(yù)測基層幀的部件；用于計算所述預(yù)測FGS層幀和所述預(yù)測基層幀之間的殘差的部件；以及用于將所述紋理數(shù)據(jù)、所重構(gòu)的基層幀和所述殘差相加的部件。
50、 如權(quán)利要求49所述的解碼器，其中，在進行運動補償中所用的第 二運動向量的精度低于從輸入比特流中提取的第 一運動向量的精度。
全文摘要
提供了一種用于減少基于多層的漸進精細可分級PFGS算法所需的計算量的方法和采用該方法的視頻編碼方法和裝置。所述支持精細可分級FGS的視頻編碼方法包括使用以預(yù)定精度估計的第一運動向量來獲得當前幀的預(yù)測圖像；量化所述當前幀和所述預(yù)測圖像之間的殘差；逆量化所述量化的殘差并產(chǎn)生當前幀的重構(gòu)圖像；使用所估計的運動向量對FGS層參考幀和基層參考幀進行運動補償；計算所述運動補償?shù)腇GS層參考幀和所述運動補償?shù)幕鶎訁⒖紟g的殘差；從所述當前幀中減去當前幀的重構(gòu)圖像和所計算的殘差；以及對相減結(jié)果進行編碼。
文檔編號H04N7/30GK101185342SQ200680019114
公開日2008年5月21日 申請日期2006年4月20日 優(yōu)先權(quán)日2005年4月29日
發(fā)明者李教爀, 車尚昌, 韓宇鎮(zhèn) 申請人:三星電子株式會社