【技術(shù)領(lǐng)域】

本發(fā)明關(guān)于視頻處理系統(tǒng)，尤其關(guān)于一種視頻解碼方法及其系統(tǒng)。

背景技術(shù)：

運(yùn)動(dòng)補(bǔ)償幀間編碼已經(jīng)廣泛應(yīng)用在各種國(guó)際視頻編碼標(biāo)準(zhǔn)中，例如mpeg-1/2/4，h.264/avc及新興的高性能視頻編碼(highefficiencyvideocoding，hevc)標(biāo)準(zhǔn)。在一個(gè)幀間編碼系統(tǒng)(inter-framecodingsystem)中，運(yùn)動(dòng)信息得自于一個(gè)或多個(gè)參考幀(referenceframe)的使用，在顯示順序(displayorder)中該參考幀可以是當(dāng)前幀的前一幀或后一幀。用來進(jìn)行運(yùn)動(dòng)估計(jì)/補(bǔ)償(motionestimation/compensation)的參考幀通常是一個(gè)預(yù)先重建后的幀(reconstructedframe)，如此一來，在極少或沒有邊信息(sideinformation)時(shí)編碼器及解碼器仍可相應(yīng)地執(zhí)行運(yùn)動(dòng)補(bǔ)償。在編碼器端，幀緩沖器用來儲(chǔ)存一個(gè)或多個(gè)參考幀以執(zhí)行運(yùn)動(dòng)補(bǔ)償；在解碼器端，幀緩沖器用來儲(chǔ)存一個(gè)或多個(gè)參考幀以執(zhí)行運(yùn)動(dòng)補(bǔ)償，同時(shí)在顯示順序中提供解碼幀。通常，在視頻處理裝置(例如視頻編碼器或視頻解碼器)中，不管視頻處理裝置是以基于硬件方式、基于軟件方式或是基于軟硬件混合方式中任何一種方式來實(shí)現(xiàn)，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dynamicrandomaccessmemory，dram)都被用來實(shí)現(xiàn)幀緩沖器。

在如mpeg-1/2之類較老的視頻標(biāo)準(zhǔn)中，經(jīng)常使用一個(gè)或兩個(gè)參考幀。然而，在更先進(jìn)的編碼系統(tǒng)(如avc/h.264或新興的hevc系統(tǒng))中，會(huì)使用更多的參考幀。隨著參考幀數(shù)量的增多，幀緩沖器的尺寸也相應(yīng)增加。此外，幀緩沖器的尺寸也會(huì)跟隨圖像尺寸(picturesize)的增加而增加，對(duì)于高清晰度電視(highdefinitiontelevision，hdtv)信號(hào)，其圖像分辨率大約是標(biāo)準(zhǔn)清晰度電視(standarddefinitiontv)信號(hào)分辨率的六倍。因此，需要減少有關(guān)參考幀的存儲(chǔ)需求。從而，各種幀壓縮(framecompression)技術(shù)已在文獻(xiàn)中公布，文獻(xiàn)中公布的幀壓縮技術(shù)常常對(duì)每一參考幀使用固定壓縮比(fixedcompressionratio)。通常，使用有損壓縮(lossycompression)來進(jìn)行幀壓縮是為了達(dá)到更高的數(shù)據(jù)簡(jiǎn)化程度(degreeofdatareduction)，由有損幀壓縮引入的噪聲會(huì)降低重建視頻的品質(zhì)。依賴參考幀的本質(zhì)內(nèi)容(naturecontext)，參考幀內(nèi)的噪聲在視頻品質(zhì)上可能會(huì)有不同的影響。舉例來說，i幀的噪聲可能比p幀或b幀的噪聲產(chǎn)生更嚴(yán)重的品質(zhì)劣化(qualitydegradation)。不過，傳統(tǒng)的幀壓縮不會(huì)考慮參考幀的性質(zhì)(nature)，相應(yīng)地，需要開發(fā)一種自適應(yīng)性幀壓縮技術(shù)，能夠根據(jù)參考幀的性質(zhì)自適應(yīng)地調(diào)整與幀壓縮相關(guān)的編碼參數(shù)。此外，有關(guān)基本視頻(underlyingvideo)(如比特流及解碼系統(tǒng)信息中的語(yǔ)法所示)的其他信息對(duì)于幀壓縮控制來說可能也有用。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，有必要提供一種視頻解碼方法及其系統(tǒng)。

根據(jù)本發(fā)明一實(shí)施例，本發(fā)明的視頻解碼方法包含：接收視頻比特流；解碼視頻比特流以產(chǎn)生重建后的視頻數(shù)據(jù)；以及對(duì)重建后的視頻數(shù)據(jù)中的非參考幀進(jìn)行幀壓縮以產(chǎn)生壓縮-重建后的視頻數(shù)據(jù)；其中，該幀壓縮響應(yīng)于解碼器系統(tǒng)信息、該視頻比特流中一個(gè)或多個(gè)語(yǔ)法元素、或者該解碼器系統(tǒng)信息與該視頻比特流中該一個(gè)或多個(gè)語(yǔ)法元素的組合。

根據(jù)本發(fā)明的另一實(shí)施例，本發(fā)明的視頻解碼系統(tǒng)包含：視頻解碼模塊，用以從視頻比特流中產(chǎn)生重建后的視頻數(shù)據(jù)；幀壓縮模塊，用以對(duì)重建后的視頻數(shù)據(jù)中的非參考幀進(jìn)行幀壓縮以產(chǎn)生壓縮-重建后的視頻數(shù)據(jù)，其中，幀壓縮模塊所進(jìn)行的該幀壓縮響應(yīng)于解碼器系統(tǒng)信息、該視頻比特流中的一個(gè)或多個(gè)語(yǔ)法元素，或者該解碼器系統(tǒng)信息及該視頻比特流中的該一個(gè)或多個(gè)語(yǔ)法元素的組合；以及存儲(chǔ)模塊，用以存儲(chǔ)該壓縮-重建后的視頻數(shù)據(jù)。

上述視頻解碼方法及其系統(tǒng)，可以有效減小有關(guān)參考幀緩沖器的所需內(nèi)存及帶寬并提高壓縮品質(zhì)。

【附圖說明】

圖1為包含幀壓縮以減小有關(guān)參考幀緩沖器的所需內(nèi)存及帶寬的示范性視頻解碼器的示意圖；

圖2a為包含一i幀、一p幀及兩個(gè)b幀的圖像的一子組實(shí)施例的示意圖；

圖2b為依據(jù)本發(fā)明的自適應(yīng)性幀壓縮的一實(shí)施例的示意圖；

圖2c為包含自適應(yīng)性幀壓縮的一解碼器和使用傳統(tǒng)幀壓縮的一解碼器之間的示范性性能對(duì)比的示意圖；

圖3a為依據(jù)本發(fā)明一實(shí)施例的用于自適應(yīng)性幀壓縮控制以提高壓縮品質(zhì)的一解碼器的示范性系統(tǒng)方塊示意圖；

圖3b為依據(jù)本發(fā)明一實(shí)施例的判定基于系統(tǒng)狀態(tài)/參數(shù)及解碼器語(yǔ)法元素的幀壓縮控制的一工作流程圖；

圖4為基于系統(tǒng)帶寬的一自適應(yīng)性幀壓縮實(shí)施例的一工作流程圖；

圖5為基于h.264/avc比特流語(yǔ)法元素的自適應(yīng)性幀壓縮控制的一解碼器的示范性工作流程圖；

圖6為自適應(yīng)性幀壓縮控制的一解碼器的幀壓縮比的實(shí)施例示意圖；

圖7為依據(jù)本發(fā)明一實(shí)施例的自適應(yīng)性幀壓縮的示意圖；

圖8為依據(jù)本發(fā)明一實(shí)施例的自適應(yīng)性幀壓縮的示意圖；

圖9為依據(jù)本發(fā)明一實(shí)施例的基于空間層語(yǔ)法以提高壓縮品質(zhì)的自適應(yīng)性幀壓縮的示意圖；

圖10為用于一多視角視頻編碼系統(tǒng)中的一解碼器的自適應(yīng)性幀壓縮控制的一實(shí)施例的示意圖；

圖11a-b為用于一多碼流視頻編碼系統(tǒng)中的一解碼器的自適應(yīng)性幀壓縮控制的實(shí)施例的示意圖。

【具體實(shí)施方式】

圖1所示為包含幀壓縮以降低有關(guān)參考幀緩沖器的所需內(nèi)存及帶寬的示范性視頻解碼器。視頻解碼器120從比特流緩沖器110接收比特流。視頻解碼器120重建視頻數(shù)據(jù)后，該重建后的視頻數(shù)據(jù)被儲(chǔ)存在幀緩沖器130中。舉例來說，當(dāng)前重建后的視頻數(shù)據(jù)可被一后處理的幀作為參考幀。在另一個(gè)例子中，如果一幀的重建后的視頻數(shù)據(jù)在先前的顯示順序中沒有準(zhǔn)備好，則當(dāng)前重建后的視頻數(shù)據(jù)便不能被輸出及顯示。因此，需要在幀緩沖器130中儲(chǔ)存重建后的視頻數(shù)據(jù)。對(duì)于包含幀壓縮的一解碼器，幀緩沖器130中的參考幀以一壓縮格式被儲(chǔ)存，對(duì)應(yīng)的幀再壓縮編碼解碼器(framere-compressioncodec)132的一幀壓縮解碼器用來儲(chǔ)存一壓縮形式的幀數(shù)據(jù)及恢復(fù)被壓縮的幀數(shù)據(jù)。因?yàn)閹瑝嚎s應(yīng)用于解碼后的視頻數(shù)據(jù)，所以參考幀的幀壓縮在一些文獻(xiàn)中也稱為幀再壓縮(framere-compression)。換言之，解碼后的視頻數(shù)據(jù)是又一次被再壓縮的。在本說明書中，術(shù)語(yǔ)「幀壓縮」和「幀再壓縮」可交替使用。當(dāng)解碼器需要存取(access)被壓縮的幀數(shù)據(jù)時(shí)，幀再壓縮編碼解碼器132的解碼器部分將壓縮的參考數(shù)據(jù)解壓縮并提供至解碼器。壓縮的幀緩沖器可用來儲(chǔ)存幀以用于顯示。幀再壓縮解碼器134解碼被壓縮的幀并提供至顯示裝置140用于顯示。在一實(shí)施例中，顯示裝置140包含一后置處理模塊，用于處理要顯示的視頻數(shù)據(jù)(例如，分辨率調(diào)整、圖像品質(zhì)調(diào)整或屏幕顯示(osd)結(jié)合等)。在另一實(shí)施例中，顯示裝置140更包含一屏幕，用于接收后置處理模塊輸出的視頻數(shù)據(jù)并將其顯示在屏幕上。虛線框150中的模塊表明所需要的示范性元件，以支持視頻解碼系統(tǒng)中的幀壓縮。在本發(fā)明中，幀再壓縮編碼解碼器132壓縮的重建后視頻數(shù)據(jù)被稱為壓縮-重建后的視頻數(shù)據(jù)(compressed-reconstructedvideodata)。幀解壓縮用于該壓縮-重建后的視頻數(shù)據(jù)，在本發(fā)明中，該壓縮-重建后的視頻數(shù)據(jù)的解壓縮數(shù)據(jù)被稱為恢復(fù)-重建后的視頻數(shù)據(jù)(recovered-reconstructedvideodata)。

在傳統(tǒng)的幀壓縮中，通常對(duì)所有的參考幀使用一固定壓縮比。壓縮比定義為壓縮后的比特流大小與未壓縮的數(shù)據(jù)大小的比值，所以若壓縮比為1/2，則代表壓縮后的結(jié)果為未壓縮時(shí)的一半。圖2a為包含一i幀、一p幀及兩個(gè)b幀的圖像的一分組的實(shí)施例。若整體壓縮比為3/4，傳統(tǒng)幀壓縮會(huì)對(duì)所有幀使用同樣的壓縮比3/4。在上述實(shí)施例中，p幀以i幀作為參考幀來進(jìn)行運(yùn)動(dòng)補(bǔ)償重建(motion-compensatedreconstruction)，b幀以i幀及p幀為參考幀來進(jìn)行運(yùn)動(dòng)補(bǔ)償重建，其他任意幀都不會(huì)依賴b幀來進(jìn)行重建。因此，i幀中的幀壓縮所引入的任意退化(degradation)都會(huì)傳播至p幀及b幀，同樣地，p幀中的幀壓縮所引入的退化會(huì)傳播至b幀。換句話說，相比p幀及b幀而言，i幀中的幀壓縮引入的噪聲在整體系統(tǒng)品質(zhì)(overallsystemquality)上會(huì)有更大的影響。同樣地，相比b幀而言，p幀中的幀壓縮引入的噪聲在整體系統(tǒng)品質(zhì)上會(huì)有更大的影響。因此，通過給i幀分配較少的數(shù)據(jù)簡(jiǎn)化(datareduction)而給b幀分配較多的數(shù)據(jù)簡(jiǎn)化，可以實(shí)現(xiàn)提升系統(tǒng)性能的目的。圖2b所示為根據(jù)本發(fā)明的自適應(yīng)性幀壓縮實(shí)施例。取代給所有幀分配同一壓縮比的方式，本發(fā)明一實(shí)施例對(duì)i幀和p幀不壓縮(即壓縮比＝1)，對(duì)兩個(gè)b幀采用壓縮比1/2。平均壓縮比與之前的相同，仍為3/4。在圖2b的實(shí)施例中，相比基于傳統(tǒng)幀壓縮方式被壓縮的幀而言，當(dāng)其他幀得到更多壓縮時(shí)，一些參考幀便不會(huì)被壓縮。然而，視頻品質(zhì)會(huì)由于自適應(yīng)性幀壓縮而被提升。圖2c所示為包含自適應(yīng)性幀壓縮的一解碼器和使用傳統(tǒng)幀壓縮的一解碼器間的性能對(duì)比的示范性實(shí)施例。以一相對(duì)比例顯示品質(zhì)，其中比例為1指的是沒有幀壓縮的品質(zhì)。曲線210表示根據(jù)本發(fā)明一實(shí)施例用以提升性能的自適應(yīng)性幀壓縮的一解碼器的性能，曲線220表示使用傳統(tǒng)幀壓縮的一解碼器的性能。

圖2b的實(shí)施例用來說明基于參考幀圖像類型的自適應(yīng)性幀壓縮的益處。圖像類型信息很容易從視頻比特流的語(yǔ)法中得到。幀壓縮的自適應(yīng)控制可基于從解碼器得到的信息和/或從解碼器系統(tǒng)提取的信息。圖3a所示為依據(jù)本發(fā)明一實(shí)施例的示范性方塊圖。自適應(yīng)性幀壓縮控制器310用來從解碼器系統(tǒng)接收信息并且為幀壓縮提供編碼參數(shù)(codingparameters)以提高壓縮品質(zhì)。視頻解碼器120接收到的信息可為來源于比特流的語(yǔ)法元素(syntaxelements)。如圖2b所示實(shí)施例中，當(dāng)使用圖像類型(i，p和b)時(shí)，其他被解碼的語(yǔ)法元素也被使用。此外，解碼器系統(tǒng)狀態(tài)及系統(tǒng)參數(shù)也可用來為幀壓縮提供自適應(yīng)控制以提高壓縮性能。系統(tǒng)監(jiān)視器320可用來監(jiān)視或判定系統(tǒng)狀態(tài)及系統(tǒng)參數(shù)。自適應(yīng)性幀壓縮控制器310判定的幀壓縮參數(shù)提供至幀再壓縮編碼解碼器330以調(diào)整幀壓縮的編碼參數(shù)。幀再壓縮編碼解碼器330包含幀緩沖編碼器334和幀緩沖解碼器332。視頻解碼器120重建的參考數(shù)據(jù)在其被寫入幀緩沖器130之前，由幀緩沖編碼器334進(jìn)行處理。當(dāng)參考數(shù)據(jù)被視頻解碼器120存取時(shí)，幀緩沖器130中的被壓縮參考數(shù)據(jù)會(huì)在其被提供至視頻解碼器120之前由幀緩沖解碼器332進(jìn)行解壓縮。

圖3b所示為依據(jù)本發(fā)明實(shí)施例的基于系統(tǒng)狀態(tài)/參數(shù)和解碼器語(yǔ)法元素的判定幀壓縮控制的工作流程圖。自適應(yīng)性幀壓縮控制的判定360是從系統(tǒng)監(jiān)視器320接收系統(tǒng)狀態(tài)/參數(shù)輸入340，自適應(yīng)性幀壓縮控制的判定360也可從視頻解碼器120接收解碼器語(yǔ)法元素輸入350，或者，自適應(yīng)性幀壓縮控制的判定360可同時(shí)接收系統(tǒng)狀態(tài)/參數(shù)輸入340及解碼器語(yǔ)法元素輸入350。自適應(yīng)性幀壓縮控制的判定360會(huì)為自適應(yīng)性幀壓縮產(chǎn)生幀壓縮控制信息370，以達(dá)到更好的壓縮品質(zhì)。系統(tǒng)狀態(tài)和參數(shù)對(duì)于判定幀壓縮參數(shù)是有幫助的。舉例來說，一個(gè)解碼器系統(tǒng)通常采用系統(tǒng)總線架構(gòu)(systembusarchitecture)來互連(interconnect)處理組件(processingcomponents)和系統(tǒng)內(nèi)存(systemmemory)。系統(tǒng)內(nèi)存可采用dram來實(shí)現(xiàn)，同時(shí)幀緩沖器可儲(chǔ)存在dram中。幀緩沖器內(nèi)存的存取通常會(huì)消耗可用系統(tǒng)帶寬的極大一部分，有些幀會(huì)比其他幀消耗更多系統(tǒng)帶寬。舉例而言，一個(gè)b幀可能參考兩個(gè)參考幀，同時(shí)在重建期間會(huì)消耗更多的dram帶寬。因此，需要采用幀壓縮來減少系統(tǒng)帶寬，或者當(dāng)幀壓縮已經(jīng)被采用時(shí)，通過降低壓縮比來進(jìn)一步減少系統(tǒng)帶寬。相應(yīng)地，系統(tǒng)狀態(tài)/參數(shù)相關(guān)的信息(例如，系統(tǒng)帶寬341、幀緩沖器尺寸342、幀緩沖器狀態(tài)343、系統(tǒng)功耗(systempowerconsumption)344以及系統(tǒng)處理負(fù)荷(systemprocessingload)345)可作為自適應(yīng)性幀壓縮的系統(tǒng)狀態(tài)/參數(shù)。若解碼器系統(tǒng)分配了一個(gè)較小的幀緩沖器尺寸，自適應(yīng)性幀壓縮控制會(huì)選擇較小的壓縮比以適應(yīng)(accommodate)該較小的幀緩沖器尺寸。另一方面，在緩沖器狀態(tài)表明高緩沖占用(highbufferoccupancy)期間，該自適應(yīng)性幀壓縮控制能選擇較小的壓縮比(即更多的壓縮)來避免緩沖器溢出(bufferoverflow)。自適應(yīng)性幀壓縮控制也可檢查系統(tǒng)功耗或系統(tǒng)處理負(fù)荷以判定是否采用幀壓縮，若系統(tǒng)已經(jīng)處于高系統(tǒng)功耗或高系統(tǒng)處理負(fù)荷狀態(tài)下，如有可能系統(tǒng)會(huì)避免采用幀壓縮。系統(tǒng)狀態(tài)/參數(shù)設(shè)置中的元素(elements)可在自適應(yīng)性幀壓縮控制中單獨(dú)使用，或者，系統(tǒng)狀態(tài)/參數(shù)設(shè)置中的兩個(gè)或更多元素可在自適應(yīng)性幀壓縮控制中共同結(jié)合使用。圖3b列出的系統(tǒng)狀態(tài)/參數(shù)設(shè)置用來表明，對(duì)于自適應(yīng)性幀壓縮控制以達(dá)到更好的壓縮品質(zhì)來說，該系統(tǒng)狀態(tài)/參數(shù)設(shè)置中的一些示范性元素是很有幫助的。圖3b列出的系統(tǒng)狀態(tài)/參數(shù)設(shè)置的這些元素不應(yīng)該作為本發(fā)明的限制，任何本領(lǐng)域的技術(shù)人員可使用上述系統(tǒng)狀態(tài)/參數(shù)設(shè)置相關(guān)的其他元素來實(shí)現(xiàn)本發(fā)明。

在視頻編碼處理期間，編碼器會(huì)產(chǎn)生各種語(yǔ)法元素以整合(incorporate)到視頻比特流中。解碼器會(huì)從視頻比特流中恢復(fù)出語(yǔ)法元素，并且將其用于視頻重建的處理中。舉例來說，圖像類型(i幀、p幀或b幀)通常被整合到比特流中以指示該圖像類型。各種比特流語(yǔ)法元素對(duì)于自適應(yīng)性幀壓縮都是有幫助的。舉例而言，對(duì)于自適應(yīng)性幀壓縮控制，參考幀指示器(referenceframeindicator)351指示該幀是否被作為參考，初始圖像量化參數(shù)(quantizationparameter，qp)352指示一圖像的初始量化參數(shù)，圖像類型353、圖像尺寸354、可適性視頻編碼(scalablevideocoding，svc)的空間層(spatiallayer)355、可適性視頻編碼的品質(zhì)層(qualitylayer)356、多視角(multipleview)系統(tǒng)中的view_id357及多流(multiplestream)系統(tǒng)中的stream_id358都可使用。對(duì)于自適應(yīng)性幀壓縮控制，可單獨(dú)使用比特流語(yǔ)法元素，或者也可將兩個(gè)或多個(gè)比特流語(yǔ)法元素結(jié)合使用。圖3b列出的比特流語(yǔ)法元素用來說明，用于自適應(yīng)性幀壓縮控制以達(dá)到更好的壓縮品質(zhì)的一些有效的實(shí)施例。這些比特流語(yǔ)法元素不應(yīng)該作為本發(fā)明的限制，任何本領(lǐng)域技術(shù)人員可使用其他比特流語(yǔ)法元素來實(shí)現(xiàn)本發(fā)明。

圖3b為用于幀壓縮以提高壓縮品質(zhì)的一些示范性控制信號(hào)。圖3b中的示范性控制信號(hào)包含無幀壓縮371、應(yīng)用幀壓縮372、增加壓縮比373、減小壓縮比374、保持壓縮比375、從一設(shè)置中選擇壓縮比376、選擇一壓縮算法377及應(yīng)用無損壓縮378。當(dāng)圖3b所提及的壓縮比作為自適應(yīng)性幀壓縮控制相關(guān)的一編碼參數(shù)時(shí)，通過調(diào)整幀壓縮技術(shù)內(nèi)在的(intrinsic)其他參數(shù)，可以實(shí)現(xiàn)幀壓縮的壓縮比調(diào)整。舉例來說，若幀壓縮基于轉(zhuǎn)換編碼(transformcoding)，轉(zhuǎn)換系數(shù)的量化步長(zhǎng)(quantizationstepsize)或量化參數(shù)是調(diào)整壓縮比的一種有效方法。為了獲得一要求的壓縮比，可以采用一種比特分配機(jī)制(bitallocationscheme)或一種比特率控制機(jī)制(bitratecontrolscheme)，其中，比特分配機(jī)制或比特率控制機(jī)制是所屬領(lǐng)域的公知常識(shí)，故對(duì)其細(xì)節(jié)說明在此省略以求簡(jiǎn)潔。

圖4為基于系統(tǒng)帶寬的自適應(yīng)性幀壓縮一實(shí)施例對(duì)應(yīng)的工作流程圖。在步驟410中，系統(tǒng)帶寬bw與閾值t2作比較。如果系統(tǒng)帶寬bw超過閾值t2，如步驟420，減小壓縮比；否則，如步驟430，增加壓縮比。圖4的工作流程圖表示依據(jù)本發(fā)明一實(shí)施例的基于系統(tǒng)帶寬以提高壓縮品質(zhì)的自適應(yīng)性幀壓縮的一實(shí)施例。任何本領(lǐng)域技術(shù)人員，在基于系統(tǒng)狀態(tài)/參數(shù)的自適應(yīng)性幀壓縮控制相關(guān)步驟上，可作些許的修改或增加一些步驟來實(shí)現(xiàn)本發(fā)明。例如，在上述實(shí)施例中，當(dāng)帶寬不大于閾值t2時(shí)，會(huì)執(zhí)行一附加測(cè)試來檢測(cè)bw是否比閾值t3大，其中t2＞t3。若條件t2≥bw＞t3成立，壓縮比保持不變；否則，壓縮比增加。更多的閾值會(huì)被采用以將帶寬劃分成更多的間隔，每一間隔會(huì)指定一對(duì)應(yīng)的壓縮比。如上所述，系統(tǒng)狀態(tài)/參數(shù)的其他元素，例如分配的幀緩沖器尺寸、幀緩沖器的緩沖區(qū)占用(bufferoccupancy)、系統(tǒng)功耗、系統(tǒng)處理負(fù)荷以及與帶寬、功耗和處理負(fù)荷相關(guān)的其他參數(shù)，也會(huì)在自適應(yīng)性幀壓縮控制中使用，以提高壓縮品質(zhì)。

圖2b為基于幀類型的自適應(yīng)性幀壓縮的一實(shí)施例。針對(duì)自適應(yīng)性幀壓縮控制，也能夠使用從解碼器的比特流中得到的各種語(yǔ)法元素以提高壓縮品質(zhì)。舉例來說，在h.264/avc標(biāo)準(zhǔn)中使用的語(yǔ)法元素：nal_ref_idc，pic_init_qp_minus26，pic_width_in_mbs_minus1，pic_height_in_map_units_minus1以及l(fā)evel_idc，可在自適應(yīng)性幀壓縮中使用，以提高壓縮品質(zhì)。語(yǔ)法元素nal_ref_idc是定義在h.264/avc中的一網(wǎng)絡(luò)抽象層(networkabstractionlayer，nal)級(jí)(level)語(yǔ)法。當(dāng)nal_ref_idc等于0時(shí)，表明相關(guān)幀為一非參考幀，也就意味著像素?cái)?shù)據(jù)不會(huì)被后續(xù)的幀作為參考，因此由幀壓縮產(chǎn)生的誤差漂移(errordrift)不會(huì)傳播到其他幀，從而，更多的壓縮(即較小的壓縮比)能夠在這些幀中得到應(yīng)用。語(yǔ)法pic_init_qp_minus26是基礎(chǔ)圖像(underlyingpicture)中與初始量化參數(shù)(qp)有關(guān)的一圖像級(jí)語(yǔ)法。較大的qp意味著基礎(chǔ)圖像包含了較多的低頻內(nèi)容，更適于進(jìn)行幀壓縮。相應(yīng)地，用于圖像的一較小的壓縮比有一較大的qp值。語(yǔ)法元素pic_width_in_mbs_minus1，pic_height_in_map_units_minus1以及l(fā)evel_idc為序列級(jí)語(yǔ)法。語(yǔ)法元素pic_width_in_mbs_minusl和pic_height_in_map_units_minus1與圖像尺寸有關(guān)。越大的圖像需要越多的幀緩沖器空間并作為更多壓縮的候選。相應(yīng)地，大圖像會(huì)使用較小的壓縮比。語(yǔ)法profile_idc和level_idc為序列相關(guān)圖像的輪廓(profile)和級(jí)數(shù)，可在自適應(yīng)性幀壓縮中使用以提高壓縮品質(zhì)。從上述h.264/avc視頻標(biāo)準(zhǔn)的例子可知，本發(fā)明實(shí)施例可用于各種視頻標(biāo)準(zhǔn)，包含mpeg-1/2/4，h.261/2/3，wmv/vc-1，avs，vp6/8等，但不局限于此。

圖5為基于得自視頻解碼器120的語(yǔ)法元素的自適應(yīng)性幀壓縮控制以提高壓縮品質(zhì)的一示范性工作流程圖。步驟510中，將圖像寬度和圖像高度(picw，h)與第一閾值t0進(jìn)行檢查。若圖像寬度和圖像高度比第一閾值t0大，在步驟520中對(duì)語(yǔ)法元素nal_ref_idc進(jìn)行檢查，若為一非參考幀(nal_ref_idc＝0)，幀壓縮于步驟522中實(shí)施；否則，再執(zhí)行進(jìn)一步的測(cè)試來判定pic_init_qp_minus26是否如步驟530所示大于第二閾值t1。若pic_init_qp_minus26大于第二閾值t1，則采用幀壓縮(步驟532)；否則，不采用幀壓縮(步驟534)。如果步驟510中的測(cè)試結(jié)果為假(false)，將進(jìn)行進(jìn)一步測(cè)試以判定pic_init_qp_minus26是否如步驟540所示大于第二閾值t1，若步驟540中的測(cè)試結(jié)果為真(true)，則采用幀壓縮(步驟544)；否則，不采用幀壓縮(步驟542)。圖5中的示范性工作流程圖為依據(jù)本發(fā)明以提高幀壓縮品質(zhì)的一實(shí)施例。所屬領(lǐng)域技術(shù)人員可通過對(duì)上述工作流程圖做些許修改來實(shí)現(xiàn)本發(fā)明的自適應(yīng)性幀壓縮以提高幀壓縮品質(zhì)，例如，可以重新安排這些步驟、加入更多其它步驟，或者略過一些步驟。

圖4所示的基于系統(tǒng)狀態(tài)/參數(shù)的幀壓縮控制及圖5所示的基于比特流語(yǔ)法元素的幀壓縮控制，在一視頻處理裝置中被采用，以根據(jù)本發(fā)明一實(shí)施例解碼一比特流。初始幀的壓縮比如圖6所示，其中壓縮比為1表明沒有采用幀壓縮。對(duì)于第一個(gè)三幀(1幀，2幀和3幀)，沒有采用幀壓縮；對(duì)于4幀、5幀和6幀，采用的壓縮比分別為3/4，1/2和1/2；對(duì)于7幀、8幀和9幀，沒有采用幀壓縮?；谒褂玫奶囟ǖ淖赃m應(yīng)性幀壓縮控制及基礎(chǔ)比特流的特性，該壓縮比自適應(yīng)地被調(diào)整，以提高幀壓縮品質(zhì)。在包含傳統(tǒng)幀壓縮的一解碼器中，壓縮比通常是固定的。當(dāng)壓縮比為1時(shí)表明為了維持基礎(chǔ)參考幀的整體品質(zhì)而沒有采用幀壓縮，而是以無損壓縮來進(jìn)行替代。

本發(fā)明一實(shí)施例也可應(yīng)用在一多層次編碼系統(tǒng)(multi-layercodingsystem)(例如，一可適性視頻編碼(svc)系統(tǒng)或一多視角視頻編碼(mvc)系統(tǒng))的一解碼器中。在一多層次編碼系統(tǒng)中，基礎(chǔ)視頻以多層次來表示，層間預(yù)測(cè)(inter-layerprediction)用來進(jìn)行有效的視頻編碼，使用層間預(yù)測(cè)的一高層(higherlayer)圖像的重建要以一底層(lowerlayer)圖像為參考。因此，如果這一低層圖像隨后會(huì)被一高層圖像使用，該底層圖像就必須要儲(chǔ)存在緩沖器中?？蛇m性視頻編碼可提供空間分級(jí)(spatialscalability)，其中一低空間分辨率圖像可被初始重建，高空間分辨率圖像可利用在比特流中接收的附加數(shù)據(jù)來被重建。一空間分級(jí)圖像構(gòu)造如圖7所示，其中分層圖像構(gòu)造由三個(gè)空間圖像層組成。最底層710用dependency_id，d＝0表示，第二層720用dependency_id，d＝1表示，第三層730用dependency_id，d＝2表示。如果一較底層圖像被其他層用來進(jìn)行重建，那么較底層幀壓縮所產(chǎn)生的噪聲便會(huì)傳播至較高層。因此，有益的做法是，為一較底層圖像選擇更好的圖像品質(zhì)(更大壓縮比)，一較高層圖像便依賴于此以進(jìn)行重建。

圖7為依據(jù)本發(fā)明的自適應(yīng)性幀壓縮的一實(shí)施例。陰影圖案(shadedpattern)表示該圖像使用了幀壓縮進(jìn)行壓縮。如圖7例子所示，第三層圖像730是要顯示的目標(biāo)圖像。因此，在第三層圖像730中由幀壓縮產(chǎn)生的任何噪聲，都不會(huì)影響其他層的圖像品質(zhì)。所以，如陰影圖案所示，幀壓縮在第三層圖像730中被采用。對(duì)于第一層圖像及第二層圖像，二者都可作為其他層進(jìn)行重建的基礎(chǔ)圖像。被其他層的圖像用于重建的基礎(chǔ)圖像，可從語(yǔ)法元素ref_layer_dq_id來判定，其中，當(dāng)前dependency_id＝ref_layer_dq_id表示，該層被其他層使用來進(jìn)行重建。若該層被其他層使用來進(jìn)行重建，為了保持圖像品質(zhì)，該層不會(huì)被壓縮。相應(yīng)地，如箭頭732所示，因?yàn)榈诙訄D像720被第三層圖像730作為參考，所以第二層圖像720沒有被壓縮；另一方面，第一層圖像710被壓縮。圖7為通過對(duì)第二層不采用壓縮及對(duì)第一層和第三層采用幀壓縮，基于一可適性視頻編碼系統(tǒng)的空間層的自適應(yīng)性幀壓縮的一實(shí)施例。然而，此例中為各層得出壓縮比的具體方法不應(yīng)該作為本發(fā)明的限制。所屬領(lǐng)域的技術(shù)人員可基于可適性視頻編碼系統(tǒng)的空間層，通過提供不同的幀壓縮控制來實(shí)現(xiàn)本發(fā)明。例如，第一層可被稍微壓縮，第二層可不壓縮，第三層可比第一層使用更小的壓縮比來進(jìn)行壓縮。

圖8所示為一品質(zhì)可適性圖像構(gòu)造，其中該可適性圖像構(gòu)造由三個(gè)圖像品質(zhì)層組成。最底層810用quality_id，q＝0表示，其中該圖像可不依賴其他層圖像而進(jìn)行重建。第二層820用quality_id，q＝1表示，其中該圖像重建依賴一底層圖像。第三層830用quality_id，q＝2表示，其中該圖像重建依賴兩個(gè)底層圖像。該第一層的幀壓縮產(chǎn)生的任意噪聲，都會(huì)傳播至該第二層和該第三層，以及該第二層的幀壓縮產(chǎn)生的噪聲會(huì)傳播至該第三層。因此，有益的做法是，為底層圖像選擇高圖像品質(zhì)(更大壓縮比)，為高層圖像選擇低圖像品質(zhì)(更小壓縮比)。

圖8為依據(jù)本發(fā)明的自適應(yīng)性幀壓縮的一實(shí)施例。陰影圖案表示該圖像使用幀壓縮進(jìn)行壓縮。如圖8所示的例子中，當(dāng)最上層圖像830被壓縮時(shí)，兩個(gè)底層圖像810和820沒有被壓縮。圖8為通過對(duì)第一層和第二層不采用壓縮及對(duì)第三層采用幀壓縮，基于一可適性視頻編碼系統(tǒng)的品質(zhì)層的自適應(yīng)性幀壓縮的一實(shí)施例。然而，此例中各層壓縮比的具體判定不應(yīng)該作為本發(fā)明的限制。所屬領(lǐng)域的技術(shù)人員可基于可適性視頻編碼系統(tǒng)的品質(zhì)層，通過提供不同的幀壓縮控制來實(shí)現(xiàn)本發(fā)明。例如，第一層可不被壓縮，第二層可被稍微壓縮，第三層可比第二層使用更小的壓縮比來進(jìn)行壓縮。

圖9為依據(jù)本發(fā)明的基于空間層的自適應(yīng)性幀壓縮以提高壓縮品質(zhì)的一示范性工作流程圖。dcurr為當(dāng)前層，用當(dāng)前dependency_id表示，dtarget為目標(biāo)層，用目標(biāo)dependency_id表示。步驟910中，執(zhí)行判斷當(dāng)前層是否等于目標(biāo)層的測(cè)試，若當(dāng)前層等于目標(biāo)層，意味著當(dāng)前層為目標(biāo)層，并且，幀壓縮在當(dāng)前層被采用(即壓縮比ratio＜1)，如步驟912所示；否則，在步驟920中執(zhí)行判斷當(dāng)前層是否等于ref_layer_dq_id的測(cè)試。若步驟920中的測(cè)試結(jié)果為真，即意味著當(dāng)前層為其他層的一參考層，當(dāng)前層不會(huì)被壓縮(即壓縮比ratio＝1)，如步驟924所示；否則，該層被壓縮(即壓縮比ratio＜1)，如步驟922所示。圖9為依據(jù)本發(fā)明實(shí)施例的基于空間層語(yǔ)法的自適應(yīng)性幀壓縮以提高壓縮品質(zhì)的一實(shí)施例的工作流程圖。所屬領(lǐng)域的技術(shù)人員可通過重新安排這些步驟來實(shí)現(xiàn)本發(fā)明，例如修改或加入一個(gè)或多個(gè)基于系統(tǒng)狀態(tài)/參數(shù)的自適應(yīng)性控制相關(guān)的步驟。

本發(fā)明一實(shí)施例也可在一多視角視頻編碼系統(tǒng)中的一解碼器中使用。圖10為3d視頻的多視角視頻編碼的一實(shí)施例，其中該3d視頻通過對(duì)應(yīng)于一左視角和一右視角的兩個(gè)序列1010和1020來表示。通常，當(dāng)一個(gè)視角被當(dāng)成一目標(biāo)視角并可用視角間預(yù)測(cè)(inter-viewprediction)來進(jìn)行編碼時(shí)，另一個(gè)視角可被當(dāng)成一基礎(chǔ)視角并可用傳統(tǒng)視頻編碼來進(jìn)行編碼。圖10所示的例子指定左視角為基礎(chǔ)視角，并采用常規(guī)視頻序列編碼，例如h.264/avc，來壓縮對(duì)應(yīng)于基礎(chǔ)視角的視頻序列。基礎(chǔ)視角1011、1012、1013、1014、1015、1016和1017一段幀的圖像類型如圖10所示，其中1011和1017幀為i幀，而其他幀為b幀。目標(biāo)視角的視頻編碼可使用以基礎(chǔ)視角作為預(yù)測(cè)器的視角間預(yù)測(cè)。目標(biāo)視角的相應(yīng)幀標(biāo)記為1021至1027，如圖10所示。1021和1027幀分別使用相應(yīng)的視角間幀1011和1017來進(jìn)行預(yù)測(cè)，對(duì)應(yīng)地，1021和1027幀作為p幀被編碼，其他幀作為b幀被編碼，其中目標(biāo)視角的b幀的預(yù)測(cè)可基于基礎(chǔ)視角的幀和/或目標(biāo)視角中先前編碼的幀來進(jìn)行。

目標(biāo)視角的b幀可被目標(biāo)視角的其他幀作為參考幀，也可不被目標(biāo)視角的其他幀作為參考幀。如果目標(biāo)視角的一b幀沒有作為目標(biāo)視角中其他幀的一參考幀，則可使用幀壓縮來對(duì)b幀進(jìn)行壓縮以提高壓縮品質(zhì)。在圖10的例子中，1022，1023，1025和1026幀為非參考(non-ref)的b幀，并使用幀壓縮來進(jìn)行壓縮，如陰影圖案部分所示。目標(biāo)視角中的1024幀被其他幀使用以進(jìn)行重建，并以一未壓縮形式儲(chǔ)存在幀緩沖器中。圖10為一多視角編碼系統(tǒng)中的一解碼器的自適應(yīng)性幀壓縮的一實(shí)施例，其中該自適應(yīng)性幀壓縮控制基于視角層和參考圖像預(yù)測(cè)nal_ref_idc。本領(lǐng)域的技術(shù)人員可通過判定自適應(yīng)性幀壓縮控制來實(shí)現(xiàn)本發(fā)明，該自適應(yīng)性幀壓縮控制是基于該視角層和一個(gè)或多個(gè)比特流語(yǔ)法元素的組合。此外，由自適應(yīng)性幀控制壓縮的幀會(huì)使用各種壓縮比以提高壓縮品質(zhì)。

本發(fā)明一實(shí)施例也可在一多碼流視頻編碼系統(tǒng)(multi-streamvideocodingsystem)中的一解碼器中使用。圖11a和圖11b為多碼流系統(tǒng)中的兩個(gè)例子：圖像與圖像布置(picture-in-picturearrangement)1100和視頻會(huì)議布置(videoconferencearrangement)1150。在圖像與圖像布置的例子中，多碼流數(shù)據(jù)包含與一主圖(mainpicture)相關(guān)的一比特流和與一子圖(sub-picture)相關(guān)的一比特流。主圖1102通常覆蓋了整個(gè)顯示區(qū)域，而子圖1104通常覆蓋一較小的顯示區(qū)域。圖11a顯示主圖1102為一分辨率為1920×1080的hdtv圖像，而子圖1104為一分辨率為640×480的sif圖像。主圖比特流和子圖比特流相當(dāng)于兩條不同電視信道(tvchannels)的hdtv信號(hào)。然而，當(dāng)該子圖的解碼hdtv信號(hào)可能與主圖有著同樣高的分辨率時(shí)，該子圖的解碼hdtv信號(hào)會(huì)顯示在減小的尺寸中，幀壓縮產(chǎn)生的任意噪聲將不太明顯。相應(yīng)地，有益的做法是，對(duì)子圖采用幀壓縮，而不對(duì)主圖采用幀壓縮，以提高壓縮品質(zhì)。

圖11b為視頻會(huì)議布置的一實(shí)施例，包含在同一顯示區(qū)域1152的一遠(yuǎn)程站點(diǎn)(remotesite)的一視頻窗口1154和一本地站點(diǎn)(localsite)的一視頻窗口1156。通常本地站點(diǎn)的顯示窗口用于監(jiān)測(cè)目的并且使用一減小的窗口尺寸。另一方面，從遠(yuǎn)程站點(diǎn)所看到的視頻是視頻會(huì)議的主要目的。因此，遠(yuǎn)程站點(diǎn)通常使用一較大的顯示窗口。圖11b例子中所使用的該顯示窗口的尺寸在遠(yuǎn)程站點(diǎn)及本地站點(diǎn)分別為720×480及320×240。因?yàn)楸镜卣军c(diǎn)的顯示窗口用于監(jiān)測(cè)目的，所以本地顯示的視頻通常從本地站點(diǎn)傳輸?shù)谋忍亓髦械玫健Ｔ摻獯a的本地視頻可與該遠(yuǎn)程站點(diǎn)具有同樣高的分辨率。然而，該解碼的本地視頻是以一減小的分辨率顯示在屏幕上，由幀壓縮產(chǎn)生的任意噪聲將不太明顯。相應(yīng)地，有益的做法是，對(duì)本地視頻采用幀壓縮，而不對(duì)遠(yuǎn)程視頻采用幀壓縮，以提高壓縮品質(zhì)。

基于系統(tǒng)信息和/或比特流語(yǔ)法以提高壓縮品質(zhì)的自適應(yīng)性幀壓縮實(shí)施例，可以各種硬件編碼、軟件編碼或軟硬件結(jié)合編碼的方式來實(shí)現(xiàn)。舉例來說，本發(fā)明一實(shí)施例可為整合于一視頻壓縮芯片(videocompressionchip)中的多處理器電路(multipleprocessorcircuits)，或者為整合于視頻壓縮軟件中的程序代碼，以實(shí)現(xiàn)此處描述的處理過程。本發(fā)明的一實(shí)施例也可為在一電腦cpu中執(zhí)行的程序代碼以實(shí)現(xiàn)此處描述的處理過程，該電腦cpu具備多cpu核或數(shù)字信號(hào)處理器(digitalsignalprocessor，dsp)。本發(fā)明也可包含被電腦處理器(computerprocessor)、數(shù)字信號(hào)處理器、微處理器(microprocessor)或現(xiàn)場(chǎng)可編程門陣列(fieldprogrammablegatearray，fpga)執(zhí)行的許多功能。依據(jù)本發(fā)明，可配置這些處理器以執(zhí)行特定的任務(wù)，例如通過執(zhí)行機(jī)器可讀(machine-readable)軟件代碼或固件代碼來定義本發(fā)明的特定方法，這些軟件代碼或固件代碼可用不同的編程語(yǔ)言及不同的格式或類型來開發(fā)。軟件代碼也可在不同的目標(biāo)平臺(tái)上編譯。然而，依據(jù)本發(fā)明以不同的代碼格式、類型、軟件代碼的語(yǔ)言及其他配置代碼的方式來執(zhí)行任務(wù)，都不會(huì)脫離本發(fā)明的精神和范圍。

雖然本發(fā)明已以具體實(shí)施例揭露如上，然其僅為了易于說明本發(fā)明的技術(shù)內(nèi)容，而并非將本發(fā)明狹義地限定于該實(shí)施例，任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍當(dāng)視本發(fā)明的權(quán)利要求所界定者為準(zhǔn)。