專利名稱：視頻編碼中的參考圖像管理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼和解碼中的參考圖像管理。
背景技術(shù)：
存在包括ITU-TH.261、ISO/IEC MPEG-1視覺、ITU-TH.262或者ISO/IEC MPEG-2視覺、ITU-TH.263、ISO/IEC MPEG-4視覺以及ITU-TH.264或者ISO/IEC MPEG-4 AVC的多個視頻編碼標(biāo)準(zhǔn)。H.264/AVC是ITU-T視頻編碼專家組(VCEG)和ISO/IEC MPEG的聯(lián)合視頻組(JVT)的工作產(chǎn)物。
此外，還存在致力于新視頻編碼標(biāo)準(zhǔn)的成果。其中一個是MPEG中的可伸縮視頻編碼(SVC)的開發(fā)。其將成為MPEG-21第13部分。第二成果是由中國音頻視覺編碼標(biāo)準(zhǔn)工作組(AVS)所編制的中國視頻編碼標(biāo)準(zhǔn)的開發(fā)。AVS在2004年2月完成了它針對于SDTV和HDTV應(yīng)用的第一個視頻編碼規(guī)范AVS1.0。從此工作重點轉(zhuǎn)移到移動視頻服務(wù)。
許多可用的視頻編碼標(biāo)準(zhǔn)利用運動補償，即預(yù)測編碼，以便為了高的編碼效率而去除視頻信號之間的時間冗余。在運動補償中，一個或者多個先前被解碼的圖像用作正在被編碼或者解碼的當(dāng)前圖像的參考圖像。當(dāng)對當(dāng)前圖像的一個像素塊(當(dāng)前塊)進行編碼時，從參考圖像搜索參考塊使得當(dāng)前塊與參考塊之間的差分信號需要最小數(shù)目的比特來表示。還可以考慮在搜索參考塊中對當(dāng)前塊和參考塊之間的位移進行編碼。而且，還可以在搜索參考塊中考慮重建塊的失真。
在編碼的視頻比特流中，當(dāng)對其他的圖像進行編碼時，一些圖像可以用作參考圖像，而一些可能永遠不會被用作參考圖像。不被用作參考圖像的圖像稱為非參考圖像。然后編碼器應(yīng)該向解碼器發(fā)送圖像是否是參考圖像的信號，使得解碼器不需要為運動補償參考存儲該圖像。最初，每個圖像應(yīng)該存儲在后解碼器緩沖器或者解碼的圖像緩沖器中并且標(biāo)記為“用于參考”。但是，當(dāng)參考圖像不再用于參考時，其將被標(biāo)記為“不用于參考”。在其他圖像中將參考圖像標(biāo)記為“用于參考”或者“不用于參考”由參考圖像管理處理來完成。
為編碼或者解碼一個塊所選擇的參考圖像可以是最近解碼的圖像(通常稱為短期參考圖像)，或者在解碼順序中遠位于當(dāng)前編碼的圖像之前解碼的圖像(通常稱為長期參考圖像)。在圖1中描述了一個包括參考圖像101、103、105、106、108、110和非參考圖像102、104、107、109的圖像流100的示例。假定參考圖像101是短期參考圖像(當(dāng)對圖像103和102進行編碼時)，而假定參考圖像105是長期參考圖像(當(dāng)對圖像106進行編碼時)。長期參考圖像105和使用長期參考圖像作為參考圖像的圖像106之間的圖像未在圖1中示出。
在允許用于短期和長期參考圖像兩者的標(biāo)準(zhǔn)中，例如H.263和H.264/AVC，參考圖像管理處理在短期參考圖像和長期參考圖像之間是分開的。另外，一個處理被指定用于將短期參考圖像標(biāo)記為長期參考圖像。在H.264/AVC中，短期參考圖像由可變PicNum所標(biāo)識，并且長期參考圖像由可變LongTermPicNum所標(biāo)識。在H.264/AVC規(guī)范的子目8.2.4.1中規(guī)定了PicNum和LongTermPicNum兩者。因此，諸如參考圖像列表構(gòu)建(在H.264/AVC規(guī)范的子目8.2.4中規(guī)定)和參考圖像標(biāo)記(在H.264/AVC規(guī)范的子目8.2.5中規(guī)定)的所有其他參考管理操作針對短期參考圖像和長期參考圖像是分開的。
在標(biāo)準(zhǔn)的H.263 Annex N(參考圖像選擇模式)中，表示時間參考的10比特時間參考索引TRI或者RTR用于標(biāo)識參考圖像。該解決方案的一個缺點是在參考圖像和當(dāng)前圖像之間的時間間隔被限制為小于1024個單元。根據(jù)活動圖像時鐘頻率限定該單元。換言之，不啟用所謂的長期參考圖像。
在標(biāo)準(zhǔn)的H.263 Annex U(增強的參考圖像選擇模式)中，針對每個參考圖像(下文中稱為“存儲的圖像”)以一遞增的10比特圖像號(PN)用于標(biāo)識短期參考圖像。表示長期圖像索引的可變長編碼LPIN用于標(biāo)識長期參考圖像。
在標(biāo)準(zhǔn)的H.264/AVC中，分別使用PicNum和LongTermPicNum來標(biāo)識短期參考圖像和長期參考圖像。PicNum和LongTermPicNum分別類似于標(biāo)準(zhǔn)H.263 Annex U中的PN和LPIN，但是PicNum和LongTermPicNum兩者都擴展用于漸進編碼和交錯編碼兩者。PicNum與PN還有另一差別，PicNum的值可以是負(fù)數(shù)并且隨著當(dāng)前圖像的解碼順序和參考圖像的解碼順序之間的差而遞減。例如，一列參考圖像的PN可以是1022、1023、0、1、2，而同一列的參考圖像的PicNum可以是-2、-1、0、1、2。
例如，專利申請US-09/892977、WO 01/86960和GB 2382403，以及標(biāo)準(zhǔn)H.263 Annex U和標(biāo)準(zhǔn)H.264/AVC公開了對視頻編碼中參考圖像管理的一些現(xiàn)有技術(shù)解決方案。
短期參考圖像和長期參考圖像的分開管理導(dǎo)致了復(fù)雜的參考圖像管理操作，因此提高了硬件實施和軟件實施兩者的實施復(fù)雜性。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于在無論是否支持使用長期參考圖像方法的例如視頻編碼器和/或解碼器中的實施的參考圖像管理解決方案。
根據(jù)本發(fā)明的一個示例性實施方式，無論參考圖像在解碼順序中距離正在進行編碼或者解碼的當(dāng)前圖像有多遠，都以相同方式管理參考圖像。因此參考圖像不需要被分為短期圖像或者長期圖像。參考圖像由變量所標(biāo)識，貫穿編碼的視頻序列，變量的值對于參考圖像是唯一的。該變量除了標(biāo)識參考圖像以外還可以用于所有參考圖像的管理處理中。
在本發(fā)明中，公開了統(tǒng)一的參考圖像管理處理，其使得當(dāng)支持長期參考圖像實施時可啟用簡化的視頻解碼器和/或編碼器實施。
在標(biāo)準(zhǔn)的H.264/AVC中，存在用于參考圖像重排序的語法表。在語法表中有八個語法元素(即，編碼點)。當(dāng)使用本發(fā)明時不需要這些語法元素中的兩個。在標(biāo)準(zhǔn)的H.264/AVC中，還有用于參考圖像重標(biāo)記的語法表。在該語法表中有八個語法元素，當(dāng)實施本發(fā)明時其中四個不需要。
本發(fā)明在很大程度上可被實施為軟件，其中該軟件在某種程度上可以簡化。
所提出的參考圖像重排序和標(biāo)記處理可以實現(xiàn)有效地將參考圖像管理過程所需要的信息作為信號發(fā)送。


在下文中將參考所附附圖更詳細(xì)地對本發(fā)明進行描述，其中圖1示出了包括參考圖像和非參考圖像的圖像流的示例；圖2示出了包括幀號的圖像流的示例；圖3示出了根據(jù)本發(fā)明的信號的示例；圖4以流程圖示出了根據(jù)本發(fā)明的方法的示例；圖5繪出了根據(jù)本發(fā)明的系統(tǒng)的一個優(yōu)勢的實施方式；圖6繪出了根據(jù)本發(fā)明的編碼器的一個優(yōu)勢的實施方式；圖7繪出了根據(jù)本發(fā)明的解碼器的一個優(yōu)勢的實施方式。
具體實施例方式
僅以針對漸進編碼的方式描述下面本發(fā)明的實施方面，其中一個圖像相當(dāng)于一個幀。但是，很明顯它們可被擴展為以類似于根據(jù)標(biāo)準(zhǔn)H.264/AVC的現(xiàn)有技術(shù)的方式而用于漸進編碼和交錯編碼兩者中，其中圖像可以是區(qū)域或者幀。而且，本發(fā)明的以下方面僅針對前向預(yù)測進行描述。將它們擴展用于如標(biāo)準(zhǔn)H.264/AVC中所定義的雙向預(yù)測也是很明顯的。
在下文中將參考圖5的系統(tǒng)、圖6的編碼器1以及圖7的解碼器2來更詳細(xì)地對本發(fā)明進行描述。待編碼的圖像例如可以是來自例如照相機、視頻記錄器等的視頻源3的視頻流的圖像。視頻流的圖像(幀)可以劃分為諸如片的多個較小的部分。片還可以進一步劃分為塊。在編碼器1中，對視頻流進行編碼以減少待經(jīng)由傳輸信道4傳輸、或者待傳輸?shù)酱鎯橘|(zhì)(未示出)的信息。將視頻流的圖像輸入到編碼器1。編碼器具有用于暫時存儲一些待編碼的圖像的編碼緩沖器1.1(圖6)。編碼器1還包括存儲器1.3和處理器1.2，其中可以實施根據(jù)本發(fā)明的編碼任務(wù)。傳輸設(shè)備6可以共用存儲器1.3和處理器1.2或者傳輸設(shè)備6可以具有另一個處理器和/或存儲器(未示出)以用于傳輸設(shè)備6的其他功能。編碼器1執(zhí)行運動估計和/或一些其它任務(wù)以壓縮視頻流。一旦作為參考圖像使用，則參考圖像必須存儲在緩沖器中(例如在解碼的圖像緩沖器5.2中)。編碼器1還可以將關(guān)于圖像的顯示順序的信息插入到傳輸流中。
根據(jù)編碼過程，如果必要的話，編碼的圖像可以移動到圖像交織緩沖器5.3。而且，編碼的參考圖像被解碼并且插入到編碼器的解碼的圖像緩沖器5.2中。編碼的圖像由發(fā)送器7從編碼器1經(jīng)由傳輸信道4傳輸?shù)浇邮赵O(shè)備8。在接收設(shè)備8中，接收器9接收所傳輸?shù)男畔⒉⑶覉?zhí)行必要的操作以將由發(fā)送器7所傳輸?shù)男盘栟D(zhuǎn)換成所周知的適合解碼器2的形式。在解碼器2中對編碼的圖像進行解碼以形成盡可能對應(yīng)于編碼的圖像的未壓縮的圖像。
解碼器1還包括存儲器2.3和處理器2.2，其中可以實施解碼任務(wù)。接收設(shè)備8可以共用存儲器2.3和處理器2.2或者接收設(shè)備8可以具有另一個處理器和/或存儲器(未示出)以用于接收設(shè)備8的其他功能。
編碼現(xiàn)在讓我們更詳細(xì)地考慮編碼-解碼處理。當(dāng)需要時，來自視頻源3的圖像被輸入進編碼器1并且存儲在編碼緩沖器1.1中。編碼處理沒必要在第一圖像進入編碼器后就立刻開始，而是在某個量的圖像在編碼緩沖器1.1中可用后。然后編碼器1試圖從被用作運動估計的參考幀的圖像中搜索合適的候選。然后編碼器1執(zhí)行編碼以形成編碼的圖像。編碼的圖像例如可以是預(yù)測圖像(P)、雙向預(yù)測圖像(B)和/或內(nèi)編碼圖像(I)?？梢圆皇褂萌魏纹渌鼒D像對內(nèi)編碼圖像進行解碼，但是其它類型的圖像在它們可被解碼之前至少需要一個參考圖像。上文所提及的任何類型的圖像可以用作參考圖像。
編碼器1附加例如兩個時間戳給圖像解碼時間戳(DTS)和輸出時間戳(OTS)。解碼器可以使用時間戳以確定正確的解碼時間和輸出(顯示)圖像的時間。但是，沒必要將這些時間戳傳輸給解碼器或者解碼器不使用時間戳。
接下來呈現(xiàn)緩沖模型。預(yù)編碼緩沖器1.0、解碼圖像緩沖器5.2以及交織緩沖器5.3最初是空的。將未壓縮的圖像以捕獲順序插入到預(yù)編碼緩沖器。當(dāng)應(yīng)用任何時域可擴展性方案時，在編碼之前，多于一個的未壓縮圖像被緩沖在預(yù)編碼緩沖器中。在最初的預(yù)編碼緩沖后，編碼處理開始。編碼器5執(zhí)行編碼處理。作為編碼處理的結(jié)果，編碼器生成解碼的參考圖像和編碼的圖像并且去除從預(yù)編碼緩沖器編碼的圖像。將解碼的參考圖像插入解碼的圖像緩沖器5.2中并且將編碼的圖像插入到交織緩沖器5.3中。發(fā)送設(shè)備選擇傳輸來自交織緩沖器的編碼的圖像的數(shù)據(jù)單元。從交織緩沖器去除編碼的圖像的傳輸?shù)臄?shù)據(jù)單元。
傳輸編碼的圖像的傳輸或者存儲(以及可選的虛擬解碼)可以在第一編碼的圖像就緒后立即開始。該圖像沒必要是解碼器輸出順序中的第一個，因為解碼順序和輸出順序可以不同。
當(dāng)對視頻流的第一圖像編碼時，傳輸可以開始?？蛇x地將編碼的圖像存儲于交織緩沖器5.3。傳輸還可以開始于稍后的階段，例如在對視頻流的某個部分編碼后。
解碼接收器8收集所有屬于圖像的所接收的一個(多個)信號的所有數(shù)據(jù)單元，使它們具有合理的順序。順序的嚴(yán)格性取決于所使用的配置。接收的數(shù)據(jù)單元以接收順序存儲在接收緩沖器9.1中(預(yù)解碼緩沖器、解交織緩沖器)。接收器8放棄任何不能使用的，并且將剩余部分傳遞給解碼器2。
由處理器2.2對編碼的圖像進行解碼并且將其存儲在解碼圖像緩沖器2.1中。解碼圖像緩沖器2.1包含用于存儲多個圖像的存儲位置。那些位置還可以稱為幀倉庫。解碼器2以它們從解交織緩沖器被去除的順序(即，解碼順序)對所接收的圖像進行解碼。只要圖像需要作為參考圖像，則將用作參考圖像的圖像存儲在解碼圖像緩沖器2.1中。當(dāng)參考圖像被標(biāo)記為“不用于參考”(或者可替換地，標(biāo)記“用于參考”被去除)時，如果其輸出或者顯示時間到期和/或新的解碼的圖像存儲在該參考圖像上，則該參考圖像可以從解碼圖像緩沖器2.1去除。
解碼器2還應(yīng)該以正確順序輸出解碼的圖像，例如通過使用如標(biāo)準(zhǔn)H.264/AVC中所指定的圖像順序計數(shù)的順序，并且因此需要明確并且規(guī)范地限定重排序處理。
參考圖像的標(biāo)識在本發(fā)明中，對于編碼視頻序列內(nèi)所有參考圖像具有唯一值的一個變量用于標(biāo)識參考圖像，無論在同一編碼視頻序列中參考圖像在時間順序、解碼順序或者任何其他順序上距離當(dāng)前圖像有多遠。該變量稱為參考圖像號并且在此縮寫為RPN。
編碼視頻序列基本上與在標(biāo)準(zhǔn)H.264/AVC中所定義的術(shù)語相同。編碼視頻序列的定義是在解碼順序上由零或包括直到所有后續(xù)的圖像但不包括任何后續(xù)的IDR圖像的多個非IDR圖像所跟著的即時解碼更新(IDR)圖像構(gòu)成的編碼圖像的序列。IDR圖像是內(nèi)編碼圖像，在對其進行解碼之后，按解碼順序的所有隨后的編碼圖像可以在沒有來自先于IDR圖像解碼的任何圖像的參考的情況下進行解碼。每個編碼視頻序列的第一圖像是IDR圖像。
參考圖像號(RPN)從針對每個圖像發(fā)送的信息推導(dǎo)出。例如，參考圖像號可以從時間參考(例如H.263圖像頭部中的TR)或者幀號(FN)推導(dǎo)出，該時間參考或者幀號針對模算法中的每個參考圖像以1遞增(例如H.264/AVC片頭部中的幀號(frame_num)和H.263Annex U中所規(guī)定的PN)。
當(dāng)參考圖像號RPN從幀號FN推導(dǎo)出時具有一些優(yōu)勢。首先，幀號FN僅對參考圖像計數(shù)，其次非參考圖像不存儲在后解碼器圖像緩沖器中用于參考。很明顯，類似的推導(dǎo)方法可以用于從諸如時間參考的其它信息來推導(dǎo)參考圖像號RPN。
IDR圖像的幀號值可以設(shè)置為在0和最大幀號值MaxFN之間的任意整數(shù)值，盡管其通常被設(shè)置為0。最大幀號值MaxFN和1的和表示為MaxFNplus1?？梢愿鶕?jù)發(fā)送的信息和/或編解碼器規(guī)范來指示該MaxFNplus1。IDR圖像自然是參考圖像。對于解碼順序中同一編碼視頻序列中的較后的圖像(無論其是參考圖像還是非參考圖像)，圖像中的FN值等于解碼順序中的前一參考圖像的FN值加1取模MaxFNplus1，如圖2的示例所示，其中所有示出的圖像都是參考圖像并且MaxFNplus1是256。
參考圖像的參考圖像號如下基于幀號FN推導(dǎo)出。對于具有幀號等于FN并且存儲在后解碼器緩沖器5.2、2.1中用于參考的參考圖像，令參數(shù)prevFN等于解碼順序中的前一參考圖像的幀號，并且令參數(shù)prevRPN等于前一參數(shù)圖像的參考圖像號。然后如下計算參數(shù)圖像的參考圖像號if(prevFN＜＝FN)then RPN＝prevRPN+FN-prevFNelseRPN＝prevRPN+FN-prevFN+MaxFNplus1
參考圖像列表初始化最初的參考圖像列表索引存儲在后解碼器緩沖器中用于參考的參考圖像，使得參考圖像按順序開始于具有最高RPN值的參考圖像并且持續(xù)進行到具有最低RPN值的參考圖像。例如，如果存儲了四個圖像用于參考，并且它們的RPN值是255、502、1027以及1029，最初的列表順序是1029、1027、502、255。利用這個默認(rèn)的列表順序，可變長編碼(VLC)代碼0可以用于指示具有RPN值為1029的參考圖像，代碼1可以用于指示具有RPN值為1027的參考圖像，等等。
參考圖像列表重排序每個預(yù)測圖像可以具有多個參考圖像。這些參考圖像在稱為RefPicList0和RefPicList1的兩個參考圖像列表中排序。每個參考圖像列表具有一個最初的順序，并且該順序可以通過參考圖像列表重排序處理而改變。例如，假定RefPicList0的最初順序是r0、r1、r2...rm，其使用可變長碼編碼。代碼0表示r0，代碼1表示r1等等。如果編碼器知道r1比r0使用的更頻繁，則解碼器可以通過交換r0和r1重新排序該列表，使得代碼1表示r0，代碼0表示r1。因為代碼0在代碼長度上比代碼1短，所以實現(xiàn)了改進的編碼效率。參考圖像重排序處理必須被發(fā)送在比特流中，使得解碼器可以為每個參考圖像列表順序推導(dǎo)正確的參考圖像。
用于參考圖像列表重排序的一種方法是將RPN值作為信號發(fā)送以指示待重排序的參考圖像。例如，如果列表順序1029、1027、502、255被重排序為255、1027、1029、502，則將被發(fā)送為信號的列表重排序信息是(按它們的出現(xiàn)排序)針對255的VLC代碼針對1027的VLC代碼解碼器2按照它們的出現(xiàn)順序處理兩個VLC代碼。在處理第一代碼后，將具有RPN值為255的參考圖像放入到順序中的第一位置，并且在第一參考圖像后將其它參考圖像的順序根據(jù)最初的順序放入順序中。然后第一順序變?yōu)?55、1029、1027、502。
在處理第二代碼后，將具有RPN值為1027的參考圖像放入該順序中的第二位置，并且在第二參考圖像后將除了上述已經(jīng)處理過的一個參考圖像以外的其它參考圖像的順序按照最初的順序放入該順序中。然后該列表順序變?yōu)?55、1027、1029、502。
上述方法的問題在于將原始RPN值作為信號發(fā)送的比特數(shù)可能非常大，因為在VLC編碼中較大值通常具有較長的代碼長度。
為了節(jié)省表示列表重排序信息的比特，可以使用RPN值的預(yù)測編碼。一種可能的方法類似于用于在標(biāo)準(zhǔn)H.264/AVC中的短期參考圖像列表重排序的方法。代替針對待重排序的參考圖像直接將RPN值作為信號發(fā)送，將預(yù)測和RPN值之間的絕對差減1作為信號發(fā)送，表示為AbsDIFFminus1，連同預(yù)測值加上還是減去該差的絕對值的指示一起以推導(dǎo)RPN值，表示為ASidc。對于第一待重排序參考圖像，預(yù)測值等于RPNcurr，表示為predRPN。在處理每個待重排序的參考圖像的列表重排序信息后，將predRPN設(shè)置為等于剛重排序的參考圖像的RPN值。
如下推導(dǎo)出待重排序的參考圖像的RPN值if(ASidc＝＝0)RPN＝predRPN-(AbsDIFFminus1+1)else if(ASidc＝＝1)RPN＝predRPN+(AbsDIFFminus1+1)對于以上示例，假定RPNcurr等于1030，待發(fā)送信號的列表重排序信息變?yōu)锳bsDIFFminus1＝774，ASidc＝0AbsDIFFminus1＝771，ASidc＝1可以推導(dǎo)出第一待重排序的參考圖像具有RPN值等于(1030-(774+1)＝255)，并且第二待重排序的參考圖像具有RPN值等于(255+(771+1)＝1027)。
但是，如我們所見的，上述方法不是很有效，因為作為信號所發(fā)送的值可能仍然非常大。
本發(fā)明提供了一種有效的參考圖像列表重排序信息的編碼。使用待重排序的參考圖像的RPN值的預(yù)測。為了指示RPN值將三個信息作為信號發(fā)送1)預(yù)測和RPN值之間的絕對差減1，表示為AbsDIFFminus1，2)加上還是減去的指示，用于推導(dǎo)預(yù)測值和RPN值，表示為ASidc，以及3)預(yù)測值的數(shù)值范圍表示為PS。應(yīng)該選擇使得AbsDIFFminus1只在0到MaxFNplius1之間的范圍中的PS值。
對于第一待重排序的參考圖像，預(yù)測值predRPN如下計算predRPN＝RPNcurr-PS*MaxFNplus1在處理每個待重排序的參考圖像的列表重排序信息后，將預(yù)測值predRPN首先設(shè)置為等于剛重排序的參考圖像的RPN值。然后predRPN如下更新if(ASidc＝＝0)predRPN＝predRPN-PS*MaxFNplus1else if(PNidc＝＝1)predRPN＝predRPN+PS*MaxFNplus1待重排序的參考圖像的RPN值推導(dǎo)如下if(ASidc＝＝0)RPN＝predRPN-(AbsDIFFminus1+1)else if(ASidc＝＝1)則RPN＝predRPN+(AbsDIFFminus1+1)對于上述示例，假定RPNcurr等于1030并且MaxFNplus1等于256，在信號300中作為信號發(fā)送的列表重排序信息變?yōu)槿缦滤続bsDIFFminus1＝6，ASidc＝0，PS＝3(其用圖3中的標(biāo)號301示出)AbsDIFFminus1＝3，ASidc＝1，PS＝3(其用圖3中的標(biāo)號302示出)可以推導(dǎo)出第一待重排序的參考圖像具有RPN值等于1030-3*256-(6+1)＝255，并且第二待重排序的參考圖像具有RPN值等于255+3*256+(3+1)＝1027。
可以看出作為信號發(fā)送的值是較小的，因此可以節(jié)省表示參考圖像列表重排序處理的比特。
應(yīng)該聲明上述方法的簡單改變通常是可以的。例如，三個信息可以包含在兩個語法元素(通過在一個語法元素中組合ASidc和PS)以及三個語法元素中。預(yù)測范圍PS可以基于除了MaxFNplius1以外的值，只要根據(jù)編解碼器規(guī)范和/或相關(guān)發(fā)送的信息能夠指示出該值。
參考圖像標(biāo)記參考圖像標(biāo)記處理主要用于將一些參考圖像標(biāo)記為“不用于參考”，使得如果它們的輸出或者顯示時間已到期，則它們可以從后解碼器緩沖器2.1、5.2中除去。存在兩種參考圖像標(biāo)記機制，先進先出滑動窗口方法和專用自適應(yīng)標(biāo)記方法。
類似于那些在H.264/AVC中用于滑動窗口標(biāo)記操作和自適應(yīng)標(biāo)記操作兩者的方法可以應(yīng)用于其在RPN被用于標(biāo)識參考圖像的情形。
對于滑動窗口標(biāo)記操作，無論何時當(dāng)存儲在后解碼器緩沖器中用于參考的圖像的總數(shù)等于最大值并且新參考圖像將被存儲，則具有最小RPN值的一個圖像被標(biāo)記為“不用于參考”。
對于自適應(yīng)標(biāo)記操作，將推導(dǎo)待標(biāo)記的參考圖像的RPN所需的信息作為信號發(fā)送。作為信號發(fā)送的信息是待標(biāo)記參考圖像的RPNcurr和RPN值之間的差減1，表示為diffRPNminus1。
待標(biāo)記參考圖像的RPN值推導(dǎo)如下RPN＝RPNcurr-(diffRPNminus1+1)對于之前的相同示例，如果具有RPN等于255的參考圖像被標(biāo)記為“不用于參考”，則作為信號發(fā)送的信號是diffRPNminus1＝774。
可以推導(dǎo)出待標(biāo)記的參考圖像具有RPN值等于(1030-(774+1)＝255)。
上文所述的現(xiàn)有技術(shù)滑動窗口標(biāo)記操作的問題通過以下示例示出。假定RPNcurr等于200，三個具有RPN值等于60、198以及199的圖像存儲在后解碼器緩沖器中用于參考，用于參考的所存儲的圖像的最大數(shù)為3。對于下一個待編碼的圖像，編碼器1仍將具有RPN等于60的參考圖像存儲以用于后面的使用，而將RPN等于199的參考圖像標(biāo)記為“不用于參考”。在這種情況下，使用滑動窗口標(biāo)記操作將是有效的。但是，現(xiàn)有技術(shù)的滑動窗口標(biāo)記操作將RPN等于60的參考圖像標(biāo)記為“不用于參考”。
本發(fā)明提供了一種針對上述問題的解決方案。對于滑動窗口標(biāo)記操作，另一個所附加地作為信號發(fā)送的信息指示滑動窗口的尺寸，表示為SSW。根據(jù)先進先出規(guī)則僅操作具有最大RPN值的SSW參考圖像。不包括具有較小值的參考圖像。
例如，附加地作為信號發(fā)送的信息等于所存儲的用于參考的圖像的最大數(shù)和SSW之間的差。在上述示例中，則附加地作為信號發(fā)送的信息就是一個表示1(等于3-2)的代碼。
還可以看出，現(xiàn)有技術(shù)的自適應(yīng)標(biāo)記操作不是很有效，因為作為信號發(fā)送的值可能非常大。不幸的是，直接發(fā)送待標(biāo)記參考圖像的RPN值的信號也是無效的。
本發(fā)明還提供了一種用于自適應(yīng)的標(biāo)記操作的有效發(fā)送信號的方法。發(fā)送兩個信息的信號用于將一個參考圖像標(biāo)記為“不用于參考”1)待標(biāo)記的參考圖像的預(yù)測RPN和RPN值之間的差減1，表示為diffRPNminus1，以及2)指示該預(yù)測是如何推導(dǎo)的預(yù)測范圍，表示為PS。
應(yīng)該選擇使得AbsDIFFminus1只在0到MaxFNplus1之間的范圍中的PS值。
預(yù)測推導(dǎo)如下，表示為predRPN
predRPN＝RPNcurr-PS*MaxFNplus1待標(biāo)記的參考圖像的RPN值推導(dǎo)如下RPN＝predRPN-(diffRPNminus1+1)＝RPNcurr-PS*MaxFNplus1-(diffRPNminus1+1)對于之前的相同示例，如果將具有RPN等于255的參考圖像標(biāo)記為“不用于參考”，則作為信號發(fā)送的信息是diffRPNminus1＝6，PS＝3(其用圖3中的標(biāo)號303示出)。
可以推導(dǎo)出待標(biāo)記的參考圖像具有RPN值等于(1030-3*256-(6+1)＝255)。
再次地，應(yīng)該聲明上述方法的簡單改變總是可以的。例如，預(yù)測范圍PS可以基于除了MaxFNplus1以外的值，只要可以根據(jù)編解碼器規(guī)范和/或相關(guān)發(fā)送的信息指示該值。
在圖5的示例系統(tǒng)中，編碼器1執(zhí)行圖像流的編碼并且計算用于參數(shù)的值。編碼器1還初始化信號傳輸以便如果其顯示或者輸出時間到期，則通知接收設(shè)備8的解碼器2參考圖像可以從解碼器的后解碼器緩沖器2.1中去除。該信號包括指示參考圖像號、參考圖像列表重排序信息和/或參考圖像標(biāo)記信息的參數(shù)。該信號由傳輸設(shè)備6的發(fā)送器7傳輸。
本發(fā)明可以應(yīng)用于許多類型的系統(tǒng)和設(shè)備中。傳輸設(shè)備6例如可以是諸如服務(wù)器設(shè)備、視頻發(fā)送器、無線通信設(shè)備等的計算設(shè)備。接收設(shè)備8可以是諸如工作站、無線通信設(shè)備、視頻接收器等的計算設(shè)備。包含編碼器1的傳輸設(shè)備6還有利地包括發(fā)送器7以傳輸編碼的圖像到傳輸信道4。接收設(shè)備8包括接收器9以接收編碼的圖像、解碼器2以及可選地在其上可以顯示解碼的圖像的顯示器10。傳輸信道例如可以是地面連線通信信道和/或無線通信信道。發(fā)送設(shè)備和接收設(shè)備還包括一個或者多個處理器1.2、2.2，其可以執(zhí)行根據(jù)本發(fā)明用于控制視頻流的編碼/解碼過程的必要步驟。
因此，根據(jù)本發(fā)明的方法可以主要地實施為處理器的機器可執(zhí)行步驟。圖像的緩沖可以在設(shè)備的存儲器1.3、2.3中實施。編碼器的程序代碼1.4可以存儲在存儲器1.3中。相應(yīng)地，解碼器的程序代碼2.4可以存儲在存儲器2.3中。
權(quán)利要求
1.一種對圖像的序列進行編碼的方法，該方法包括使用一個或者多個圖像作為參考圖像；利用第一參數(shù)對所述參考圖像進行標(biāo)記；將所述第一參數(shù)作為信號發(fā)送給解碼器；以及使用參考圖像管理；其中所有所述參考圖像由基于所述第一參數(shù)推導(dǎo)出的第二參數(shù)來識別。
2.根據(jù)權(quán)利要求1所述的方法，包括使用幀號FN作為所述第一參數(shù)，以及使用參考圖像號RPN作為所述第二參數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，包括定義所述圖像序列中的圖像的解碼順序；定義參數(shù)prevFN等于所述解碼順序中的前一參考圖像的幀號；定義參數(shù)prevRPN等于前一參考圖像的參考圖像號；定義所述幀號的最大值；定義參數(shù)maxFNplus1等于所述幀號的所述最大值+1；以及如下計算所述參考圖像的所述參考圖像號if(prevFN＜＝FN)RPN＝prevRPN+FN-prevFNelseRPN＝prevRPN+FN-prevFN+MaxFNplus1
4.根據(jù)權(quán)利要求1所述的方法，所述參考圖像管理包括參考圖像列表初始化和參考圖像列表重排序。
5.根據(jù)權(quán)利要求4所述的方法，所述方法包括將以下參數(shù)作為信號發(fā)送參數(shù)AbsDIFFminus1表示所述RPN的預(yù)測和所述RPN值之間的絕對差，其中所述RPN的預(yù)測是所述RPN的預(yù)期值；參數(shù)ASidc表示所述RPN的所述預(yù)測值加上還是減去所述絕對差以推導(dǎo)所述RPN值；以及參數(shù)PS表示所述RPN的所述預(yù)測值的范圍。
6.根據(jù)權(quán)利要求5所述的方法，包括將參數(shù)RPNcurr設(shè)置成第一待重排序的參考圖像的所述RPN的值；如下計算所述第一待重排序的參考圖像的所述預(yù)測值predRPNpredRPN＝RPNcurr-PS*MaxFNplus1設(shè)置所述預(yù)測值predRPN首先等于前一重排序的參考圖像的RPN值；以及如下更新所述predRPNif(ASidc＝＝0)predRPN＝predRPN-PS*MaxFNplus1else if(PNidc＝＝1)predRPN＝predRPN+PS*MaxFNplus1
7.根據(jù)權(quán)利要求1所述的方法，所述參考圖像管理包括參考圖像標(biāo)記。
8.根據(jù)權(quán)利要求7所述的方法，所述方法包括將以下參數(shù)作為信號發(fā)送參數(shù)diffRPNminus1表示所述待標(biāo)記的參考圖像的所述RPN的所述預(yù)測和所述RPN值之間的差減1；以及參數(shù)PS表示所述預(yù)測值的范圍。
9.根據(jù)權(quán)利要求8所述的方法，包括將參數(shù)RPNcurr設(shè)置為待標(biāo)記的參考圖像的所述RPN的所述值；以及如下計算所述待標(biāo)記的參考圖像的所述參考圖像號值RPNRPN＝predRPN-(diffRPNminus1+1)＝RPNcurr-PS*MaxFNplus1-(diffRPNminus1+1)
10.一種用于對編碼的圖像序列進行解碼的方法，包括使用一個或者多個圖像作為參考圖像，用第一參數(shù)對所述參考圖像進行標(biāo)記；從所述編碼的圖像獲得所述第一參數(shù)；以及使用參數(shù)圖像管理；其中所有所述參考圖像由基于所述第一參數(shù)所推導(dǎo)出的第二參數(shù)來識別。
11.根據(jù)權(quán)利要求10所述的方法，所述參考圖像管理包括參考圖像列表初始化和參考圖像列表重排序。
12.根據(jù)權(quán)利要求10所述的方法，所述參考圖像管理包括參考圖像標(biāo)記。
13.根據(jù)權(quán)利要求10所述的方法，所述參考圖像管理包括參考圖像重排序和參考圖像標(biāo)記。
14.一種包括編碼的圖像序列的信號，所述序列包括一個或者多個參考圖像，用第一參數(shù)對所述參考圖像進行標(biāo)記；根據(jù)權(quán)利要求1使用所述信號。
15.一種用于實施權(quán)利要求1的硬件。
16.一種用于對圖像序列進行編碼的模塊，包括第一單元，用于選擇用作參考圖像的一個或者多個圖像；第二單元，用于利用第一參數(shù)對所述參考圖像進行標(biāo)記；第三單元，用于將所述第一參數(shù)包括在待傳輸給解碼器的信號中；以及第四單元，用于基于所述第一參數(shù)推導(dǎo)第二參數(shù)；其中所有所述參考圖像由所述第二參數(shù)識別。
17.根據(jù)權(quán)利要求16所述的模塊，其中所述模塊包括在無線設(shè)備中。
18.一種用于對編碼的圖像序列進行解碼的模塊，所述圖像包括作為參考圖像的一個或者多個圖像，利用第一參數(shù)對所述參考圖像進行標(biāo)記；所述模塊包括第一單元，用于從所述編碼的圖像獲得所述第一參數(shù)；參數(shù)圖像管理器；以及第二單元，用于基于所述第一參數(shù)推導(dǎo)出第二參數(shù)用于識別所有所述參考圖像。
19.根據(jù)權(quán)利要求18所述的模塊，其中所述模塊包括在無線設(shè)備中。
20.一種系統(tǒng)，包括編碼設(shè)備，用于對圖像序列進行編碼，包括第一單元，用于選擇用作參考圖像的一個或者多個圖像；第二單元，用于利用第一參數(shù)對所述參考圖像進行標(biāo)記；第三單元，用于將所述第一參數(shù)包括在待傳輸給解碼器的信號中；第四單元，用于基于所述第一參數(shù)推導(dǎo)第二參數(shù)；其中所有所述參考圖像由所述第二參數(shù)來識別；解碼設(shè)備，用于對所述信號進行解碼，所述解碼設(shè)備包括第五單元，用于從所述編碼的圖像獲得所述第一參數(shù)；參考圖像管理器；以及第六單元，用于基于所述第一參數(shù)推導(dǎo)第二參數(shù)以識別所有所述參考圖像。
21.一種計算機程序產(chǎn)品，包括用于對圖像序列進行編碼的軟件，所述軟件包括存儲在可讀介質(zhì)上的由處理器執(zhí)行的機器可執(zhí)行代碼，所述機器可執(zhí)行代碼用于使用一個或者多個圖像作為參考圖像；利用第一參數(shù)對所述參考圖像進行標(biāo)記；將所述第一參數(shù)包括在待傳輸?shù)男盘栔?；以及基于所述第一參?shù)推導(dǎo)第二參數(shù)；其中所有所述參考圖像由所述第二參數(shù)識別。
22.一種計算機程序產(chǎn)品，包括用于對圖像序列進行解碼的軟件，所述軟件包括存儲在可讀介質(zhì)上的由處理器執(zhí)行的機器可執(zhí)行代碼，所述機器可執(zhí)行代碼用于使用一個或者多個圖像作為參考圖像，利用第一參數(shù)對所述參考圖像進行標(biāo)記；從所述編碼的圖像獲得所述第一參數(shù)；使用參考圖像管理；以及基于所述第一參數(shù)推導(dǎo)第二參數(shù)；以及由所述第二參數(shù)識別所有所述參考圖像。
全文摘要
一種用于對圖像序列進行編碼的方法，包括使用一個或者多個圖像作為參考圖像，利用第一參數(shù)對該參考圖像進行標(biāo)記，將第一參數(shù)作為信號發(fā)送給解碼器，以及使用參考圖像管理，其中所有參考圖像由基于該第一參數(shù)所推導(dǎo)出的第二參數(shù)來識別。
文檔編號H04N7/32GK101065780SQ200580040403
公開日2007年10月31日 申請日期2005年10月13日 優(yōu)先權(quán)日2004年10月14日
發(fā)明者王業(yè)奎, M·昂尼克塞拉 申請人:諾基亞公司