專利名稱：使用用于運動補償預(yù)測的代替參考幀的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像解碼設(shè)備和方法、圖像編碼設(shè)備和方 法、計算機程序、以及存儲介質(zhì)。
背景技術(shù)：
近年來，需要這樣的編碼技術(shù)其能在高壓縮率下以高圖
像質(zhì)量對圖像數(shù)據(jù)進行編碼，以將運動圖像信息處理為數(shù)字數(shù) 據(jù)并將其用于存儲和傳輸。為了壓縮圖像信息，已經(jīng)提出并普
及了MPEG等方法其通過利用圖像信息特有的冗余性，通過 離散余弦變換(discrete cosine transformation)等正交變換 (orthogonal transformation)和運動子貞領(lǐng)'j /運動才卜j嘗來對圖 <象信息
進^亍壓縮編碼。
而且，近年來，H.264(也被稱作MPEG4第IO部分AVC) 作為一種目的在于更高壓縮率和更高圖像質(zhì)量的編碼方法是可 用的。與MPEG2、 MPEG4等傳統(tǒng)的編碼方法相比較，這種11.264 在編碼處理和解碼處理中需要更多的運算量但是可以實現(xiàn)更高 的編碼率(關(guān)于H.264標準的詳細信息，參見ISO/IEC 14496-10(Mpeg-4第IO部分)。
這樣的編碼方法通過減少時間冗余信息來壓縮信息大小。 可以通過參考圖像圓片之間在時間上的過去和將來的信息而進 行對于各塊的運動信息的檢測和預(yù)測圖像的生成、計算獲得的 預(yù)測圖像和當前的幀圖像之間的差分值、然后對該差分值進行 編碼，來減少時間冗余信息。
注意，"圖片，，是表示一個畫面的術(shù)語，其代表逐行掃描圖 像(progressive image)中的幀圖 <象以及隔4亍掃描圖 <象(interlacedimage)中的幀圖像或者場圖像。
圖IO示出了H.264中的圖片的類型及其參考關(guān)系。參考圖 10，符號I、 P和B分別表示圖片的類型，即I(內(nèi)部編碼)圖片、 P(前向預(yù)測編碼)圖片以及B(雙向預(yù)測編碼)圖片。跟在符號后 的數(shù)字表示圖片的編號。在這種情況下，越小的圖片編號表示 在時間上越早回放的數(shù)據(jù)。例如，在圖10中，P5圖片將在B1圖 片之后回放。P5圖片通過箭頭與B1圖片聯(lián)結(jié)。該箭頭表示圖片 間的參考關(guān)系。因此，P5圖片參考B1圖片，并且對于P5圖片， 對P5和B1圖片之間的差分進行編碼。
在圖10中，12和I17都是I圖片。這種I圖片被限制在各圖片 內(nèi)進行編碼，并且不參考其它圖片。如P5、 P8、 P11和P14圖片 等P圖片僅參考在時間上存在于感興趣的圖片之前的圖片，并 對圖片之間的差分進行編碼。此外，B0、 Bl、 B3、 B4、 B6、 B7、 B9、 BIO、 B12、 B13、 B15和B16是B圖片。每一個這樣的 B圖片與時間關(guān)系無關(guān)地參考兩個圖片，并對圖片之間的差分 進行編碼。注意，P和B圖片可能包括不參考其它圖片并在圖片 內(nèi)進行編碼的塊。
在H.264中，對于作為包含在各圖片中的小區(qū)域的各塊指定 參考目的地，各圖片中這樣的塊可以參考不同圖片中的塊。圖 ll示出了這種參考關(guān)系。參考圖ll，作為P圖片的P5圖片包括 P5(a)塊和P5(b)塊。P5(a)塊參考Bl圖片中的Bl(a)塊，而P5(b) 塊參考I2圖片中的12(b)塊。
在H.264中，可以對作為比圖片小的單位的各切片(slice)指 定I、 P和B。然而，為了簡便起見，在一個圖片包括相同的切 片類型(I， P, B)的假設(shè)下給出以下說明。
為了對使用圖片間(inter-picture)差分而編碼的數(shù)據(jù)進行解 碼，必須已經(jīng)對被參考的圖片進行了解碼。以下考慮這樣的情
況即僅提取具有圖ll所示參考關(guān)系的編碼數(shù)據(jù)的I圖片和P圖 片以進行搜索回放。在對I2圖片進行解碼時，由于對I2圖片進 行了內(nèi)部編碼，因而可以毫無問題地對其進行解碼。接著，對 于P5圖片，由于P5圖片中的P5(b)塊參考已被解碼的I2圖片的 12(b)塊，因而可以對P5(b)塊進行解碼。然而，由于P5(a)塊參 考仍未被解碼的B1圖片的Bl(a)塊，因而不能對P5(a)塊原樣進 行解碼。這樣，在僅對I圖片和P圖片解碼時，可以僅對P圖片的 某些塊和I圖片進行解碼。
同樣，可以單獨提取I圖片并在回放時對其進行解碼。然而，
即使當采用與MPEG2中相同的圖片結(jié)構(gòu)時，也是每例如1 5個圖 片包括一個I圖片。因此，在僅提取I圖片的回放中，不能進行 低速(例如三倍速度)搜索。
即使在搜索以外的情況下，當從圖像流的中間(例如B圖片) 開始回放時，通常也不能對被參考的圖片進行解碼。在這種情 況下，必須通過將控制返回或者前進到作為參考的I圖片(IDR 圖片)來進行解碼，并且難以立即對圖l象進4亍解碼和回放。

發(fā)明內(nèi)容
考慮到上述問題做出了本發(fā)明，本發(fā)明的目的在于即使 當對圖像進行解碼時作為該圖像的參考的圖片未被解碼時，也 將該圖像作為近似圖像進行解碼和回放。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明，提供一種對包括多個圖 像圖片的壓縮編碼圖像數(shù)據(jù)進行解碼的圖像數(shù)據(jù)解碼方法，其 特征在于包括選擇步驟，用于當要對所述多個圖像圖片中的 一個圖像圖片進行解碼時，以及當待解碼的該圖像圖片所參考 的第一參考圖片未被解碼時，從已解碼圖片中選擇第二參考圖
片作為代替參考；以及解碼步驟，用于參考作為所述第一參考
圖片的代替的所述第二參考圖片對所述待解碼的圖像圖片進行解碼。
根據(jù)下面結(jié)合附圖所做的說明，本發(fā)明的其它特征和優(yōu)點 將變得明顯，在所有附圖中，相同的附圖標記表示相同或相似 的部分。


圖l是示出根據(jù)本發(fā)明第 一實施例的圖像解碼設(shè)備的配置
的示例的才匡圖2示出了根據(jù)本發(fā)明第 一實施例的圖像序列的圖片結(jié)構(gòu)； 圖3是根據(jù)本發(fā)明第一實施例的用于說明圖片的代替參考 的圖4是示出根據(jù)本發(fā)明第 一 實施例的運動補償單元的處理 的流程的示例的流程圖5是根據(jù)本發(fā)明第一實施例的用于說明當場景變化發(fā)生 時的圖片的參考關(guān)系的圖6是根據(jù)本發(fā)明第 一 實施例的用于說明單個圖片中的多 個塊參考不同圖片的示例的圖7是根據(jù)本發(fā)明第 一實施例的用于說明單個圖片中的多 個塊參考作為代替參考的一個圖片的示例的圖8是示出根據(jù)本發(fā)明第二實施例的編碼設(shè)備的配置的示 例的框圖9是示出根據(jù)本發(fā)明第二實施例的解碼設(shè)備的示例的框
圖10示出了根據(jù)本發(fā)明現(xiàn)有技術(shù)的圖片的參考關(guān)系；以及 圖ll示出了根據(jù)本發(fā)明現(xiàn)有技術(shù)的圖片的參考關(guān)系。
具體實施例方式
以下將參考示出了本發(fā)明實施例的附圖來更充分地說明本 發(fā)明。然而，可以以多種不同形式實施本發(fā)明，并且本發(fā)明不
應(yīng)理解為僅限于此處^t是出的實施例；相反，所4是供的這些實施 例表明本公開是徹底的和完整的，并將向本領(lǐng)域技術(shù)人員充分
地傳達本發(fā)明的范圍。相同的附圖標記在整個附圖中表示相同 的元件。
第 一 實施例
圖l是示出根據(jù)本實施例的對通過H.264編碼方法壓縮編碼 的數(shù)據(jù)進行解碼的圖像解碼設(shè)備的配置的示例的框圖。參考圖 1 , 附圖標記100表示可變長度解碼單元(variable-length decoding unit); 1 01表示逆量化單元(inverse quantization unit); 102表示逆正叉變換單元(inverse orthogonal transformation unit) ; 103表示力口 〉去器；104表示運云力才卜^嘗單元(motion compensation unit); 以及105表示幀存儲器。
下面將參考圖l說明圖像解碼設(shè)備的操作。在接收到壓縮編
碼后的碼序列時，可變長度解碼單元10 0執(zhí)行可變長度解碼處理 以將輸入的碼序列解碼為量化的正交變換系數(shù)(orthogonal transformation coefficient)和圖 <象相關(guān)4言息，并且將其輸出到逆 量化單元101。此時，由于圖像相關(guān)信息包括運動向量數(shù)據(jù)，因 而將該運動向量數(shù)據(jù)輸出到運動補償單元104。逆量化單元101 基于存儲在量化表(未示出)中的量化值，對輸入的量化正交變 換系數(shù)進行逆量化，并將所獲得的正交變換系數(shù)輸出到逆正交 變換單元102。
逆正交變換單元102將逆正交變換應(yīng)用于作為頻率分量的 正交變換系數(shù)，以將它們轉(zhuǎn)換為原始圖像數(shù)據(jù)。當要從逆正交 變換單元102輸出的圖像數(shù)據(jù)是圖片內(nèi)(intra-picture)編碼數(shù)據(jù)(即I圖片數(shù)據(jù))時，將該圖像數(shù)據(jù)連接到端子(a)并向外部輸出該 圖像數(shù)據(jù)。此時，該圖像數(shù)據(jù)也被存儲在幀存儲器105中。另一 方面，當該輸出的圖像數(shù)據(jù)是編碼時參考其它圖像數(shù)據(jù)的圖像 數(shù)據(jù)(即P圖片或者B圖片)時，將該圖像數(shù)據(jù)連接到端子(b)并由 加法器103將該圖像數(shù)據(jù)與從運動補償單元104輸出的預(yù)測圖像 相加，輸出總和數(shù)據(jù)。此時，該總和數(shù)據(jù)也被存儲在幀存儲器 105中。運動補償單元104通過利用從可變長度解碼單元100輸出 的運動向量數(shù)據(jù)，對存儲在幀存儲器105中的圖像數(shù)據(jù)施加稍后 將^L明的處理，來生成預(yù)測圖像。
下面將參考圖2 ~ 4說明圖l所示的圖像解碼設(shè)備中的運動 補償單元104的操作的細節(jié)。圖2示出了待解碼圖像數(shù)據(jù)的圖片 序列的示例。在圖2中，I、 P和B表示圖片的類型，編號表示回 放時的時間順序。
圖3部分地示出了圖2中從B0圖片開始到P5圖片為止的參 考關(guān)系。在圖3中，P5(a)和P5(b)表示運動參考的單位塊，實線 箭頭表示編碼時的參考。即，P5(a)塊參考Bl(a)塊，P5(b)塊參 考12(b)塊。這樣，圖像圖片被分割成塊。作為塊的大小，可以 選擇16xl6像素、16x8像素、8xl6像素以及8x8像素的其中之一， 在8x8像素的情況下，可以選擇8x4像素、4x8像素和4x4像素的 其中之一作為更小的塊。
下面將詳細地說明將圖2所示的碼序列輸入到圖l所示的圖 像解碼設(shè)備的情況。在下面的說明中，將舉例說明通過從具有 圖2所示圖片結(jié)構(gòu)的圖像數(shù)據(jù)中僅提取I和P圖片來執(zhí)行三倍速 搜索回放的情況。在下面所要說明的示例中，假設(shè)將本實施例 的圖像解碼設(shè)備應(yīng)用于圖像回放設(shè)備，并使用圖像回放設(shè)備中 的n倍速回放功能來實現(xiàn)搜索回放。
當將I2圖片的碼序列輸入到可變長度解碼單元100時，如上
所述，由于I圖片是圖片內(nèi)編碼數(shù)據(jù)，因而從圖l中的逆正交變
換單元102輸出的數(shù)據(jù)被直接輸出到外部。由于I2圖片被P5圖片 參考，因而其數(shù)據(jù)被輸出并存儲到幀存儲器105中。
當通過可變長度解碼單元100對P5圖片的碼序列進行解碼 時，將其運動向量信息輸出到運動補償單元104,并且通過逆量 化單元1 01和逆正交變換單元10 2將其圖^f象數(shù)據(jù)輸出到加法器 103。
下面將參考圖4的流程圖說明對P5圖片進行解碼時運動補 償單元104的實際操作。圖4是示出運動補償單元的處理的流程 的流程圖。當要對包括在P5(b)塊中的圖像數(shù)據(jù)進行解碼時，在 步驟S400中檢查其參考圖片是否已經(jīng)被解碼。在這種情況下， P5(b)塊參考I2圖片。如上所述，由于I2圖片已經(jīng)被解碼，所以 判斷為參考圖片已經(jīng)被解碼(在步驟S400中為"是")，并且流 程進入步驟S401。在步驟S401中，基于存儲在幀存儲器105中 的I2圖片和運動向量信息來進行運動補償，以生成I2(b)塊的圖 像作為預(yù)測圖像。將生成的預(yù)測圖像輸出到加法器103并通過加 法器103將該預(yù)測圖像與解碼后的圖像信號相加，從而對P5(b) 塊的圖像信號進行解碼。這樣，完成了P5(b)塊的解碼處理。
在執(zhí)行P5(a)塊的解碼處理時，同樣地在步驟S400中檢查其 參考圖片是否已經(jīng)被解碼。如圖3所示，P5(a)塊參考Bl圖片。 然而，在這種情況下，由于進行三倍速搜索回放，因而作為B 圖片的B1圖片未被解碼。因此，判斷為參考圖片仍未被解碼(在 步驟S400中為"否")。因此，流程進入步驟S402。在步驟S402 中，檢測在時間上與參考圖片最鄰近的I圖片或P圖片。即，本 實施例使用檢測到的鄰近的I圖片或P圖片作為原本所參考的B 圖片的代替圖片。
更具體地，在圖2和圖3的示例中，檢測在時間上與B1圖片
最鄰近的作為I圖片或P圖片的I2圖片。該I2圖片作為B1圖片的
代替而被參考。在步驟S403中，執(zhí)行運動向量信息的補償處理。
下面將詳細"i兌明該補償處理。P5(a)塊的運動向量信息是當 參考Bl(a)塊時所產(chǎn)生的運動向量信息。因此，當將該運動向量 原樣應(yīng)用于I2圖片時，例如當運動很大時，誤差增大。因此， 必須根據(jù)顯示時序來補償運動向量。注意塊之間在時間上的差 別，Bl圖片與P5圖片具有四個圖片的差別，12圖片與P5圖片具 有三個圖片的差別。因此，通過將Bl(a)塊的運動向量乘以3/4， 可以生成12(a)塊的補償運動向量。
以這樣的方式在步驟S403中補償運動向量之后，流程進入 步驟S401。在步驟S401中，基于補償后的運動向量和存儲在幀 存儲器105中的I2圖片來執(zhí)行運動補償，從而生成對應(yīng)于I2(a) 的塊作為預(yù)測圖像。將生成的預(yù)測圖像輸出到加法器103,并由 加法器103將該預(yù)測圖像與解碼后的圖像信號相加，從而對原始 圖像信號進行解碼。
這樣，即使當在圖像解碼時參考圖片仍未被解碼時，也代 替地參考在時間上與參考圖片最鄰近的已解碼圖片，從而對圖 像進行解碼。結(jié)果，可以得到搜索等的靈活回放。
注意，基于上面說明中的補償運動向量來執(zhí)行加法處理。 然而，當運動向量很大時，可能跳過加法器103的加法處理，而 原樣輸出預(yù)測圖像。這是因為，當代替地參考鄰近的圖片時， 已經(jīng)與原始參考的圖像產(chǎn)生了誤差，如果將解碼信號與該包括 誤差的圖像相加，則可能進一步增大誤差。
選擇作為代替而參考的圖片的其它方法
在上面的說明中，選擇在時間上與原本所參考的圖片最鄰 近的I圖片或P圖片作為代替地參考的圖片。然而，選擇代替地 參考的圖片的方法并不限于該方法，也可以使用其它方法。 即，當代替地參考的圖片是P圖片時，由于解碼后的P圖片 原本包括誤差，因而代替的參考圖片可不限于P圖片，而是限 于與原本所參考的圖片最鄰近的I圖片。根據(jù)本示例，可以防止
P圖片的誤差的傳播。
作為另 一個示例，可以使用考慮到給予各圖片的特征信息 來選擇代替參考的方法。為了提取該特征信息，例如，可以使
用場景信息、照相才幾信息等元數(shù)據(jù)(meta data)。注意，元數(shù)據(jù) 是與記錄的圖像數(shù)據(jù)相關(guān)聯(lián)附加記錄的附加數(shù)據(jù)的通稱。
下面將說明使用特征信息來選擇代替參考的方法。圖5示出 了圖像序列以及一些參考關(guān)系。在圖5中，11 Bll表示圖片， 而P10圖片原本參考B5圖片。而且，在P4圖片和B5圖片之間發(fā) 生了場景變化。
下面考慮使用該序列僅提取并回放I圖片或P圖片的情況。 在對P10圖片進行解碼時，通常必須已經(jīng)對B5圖片進行了解碼。 然而，在I圖片或P圖片的搜索回放時，B5圖片未被解碼。因此 選擇代替B5圖片而被參考的圖片。在這種情況下，如果選擇在 時間上最鄰近的I圖片或P圖片，則選擇P4圖片。
然而，在本示例中，由于在P4圖片和B5圖片之間發(fā)生了場 景變化，所以P4圖片和B5圖片之間的相關(guān)性4艮小。由于該原因， 當代替P5圖片而參考P4圖片進行解碼時，解碼圖像的誤差很有 可能變得非常大。因此，在圖4的流程圖的步驟S402中，從與 P10圖片相關(guān)聯(lián)的元數(shù)據(jù)中獲取作為參考圖片的B5圖片的場景 信息。然后，選擇與B5圖片的場景屬于相同場景的并與B5圖片 最鄰近的已經(jīng)被解碼的I圖片或P圖片。在這種情況下，選擇P7 圖片作為代替地參考的圖片。
注意，表示發(fā)生場景變化等的參考圖片的場景信息在例如 編碼時 一皮記錄為元It據(jù)。
在上面的說明中，從場景信息檢測場景變化，并基于場景 變化選擇代替參考。同樣地，可以使用照相機信息。更具體地， 當存在在時間上最鄰近并具有與原本所參考的圖片的元數(shù)據(jù)中 包括的照相機信息相對應(yīng)(或者 一 致)的照相機信息的I圖片或P 圖片時，可以選擇該I圖片等作為代替參考。
注意，作為特征信,1、的照相機信息包括例如攝影時的被攝
體的亮度、鏡頭的縮放倍率、閃光燈的發(fā)光狀態(tài)、AF狀態(tài)、所
拍圖像的大小、白平衡控制狀態(tài)、ND濾光器狀態(tài)、攝影模式等。
注意，在對圖像數(shù)據(jù)進行編碼(即攝影)時，這種照相機信息被
記錄為元凄t據(jù)。
運動向量補償?shù)牧?一示例
在上面的說明中，基于原本所參考的圖片以及代替地參考 的圖片的回放時序來補償運動向量。然而，運動向量補償方法 并不僅限于這種特定的方法，還可以通過其它方法來實現(xiàn)補償。
例如，可以使用下面將說明的方法。圖6和圖7示出了P5圖 片中的4個相鄰塊的參考。參考圖6， P5圖片中的P5(a)塊參考I2 圖片。同樣地，P5(b)塊參考Bl圖片，P5(c)塊參考B0圖片，B5(d) 塊參考B3圖片。
如上所述，由于除了 12圖片之外的其它圖片在回放I圖片和 P圖片時均未被解碼，因而在這種狀態(tài)下不能對P5(b)、 P5(c)以 及P5(d)塊進行解碼。因此，檢測代替參考圖片。在這種情況下， 將相鄰的P5(a) ~ P5(d)塊組合在一起并作為 一個大塊來考慮。如 果在該大塊中發(fā)現(xiàn)參考已解碼圖片的任何塊，則該圖片就被確 定為被整個大塊代替地參考的圖片。
在圖6的情況下，在由P5(a) ~ P5(d)塊形成的大塊中，僅P5(a) 塊參考已解碼的I2圖片。因此，12圖片被確定為該大塊的代替 參考。關(guān)于運動向量，將P5(a)塊的運動向量代替地用作P5(b)
P5(d)塊的運動向量。結(jié)果，如圖7所示，這四個塊代替地參考 12圖片，并可以對這四個塊的圖像進行解碼。
在本示例中，由P5(a) ~ P5(d)塊形成的大塊中僅P5(a)塊參 考已解碼圖片。如果另 一個塊參考I2圖片以外的已解碼圖片， 則必須選擇這兩個圖片的其中之一作為代替參考。選擇代替參 考圖片的方法沒有特別的限制。例如，可以使用以下任何一種 方法選擇在時間上與待解碼的P5圖片最鄰近的圖片作為代替 參考圖片的方法；比P圖片更優(yōu)先地選擇I圖片作為參考的方法； 選擇被大塊中多于其它塊的多個塊參考的圖片作為代替參考圖 片的方法等。
在圖6所示的情況下，由P5(a) ~ P5(d)塊形成的大塊中僅 P5(a)塊參考I2圖片。如果在一個大塊中有多個參考I2圖片的塊， 則可以采用如下方法使用參考I2圖片的塊的運動向量的平均 值作為代替參考的運動向量。
如上所述，即使當通過僅對包括在碼序列中的多個圖片中 的一些圖片進行解碼而進行回放時，根據(jù)本實施例的圖像解碼 設(shè)備也可以僅使用已解碼圖片來對待解碼的圖片進行解碼。
本實施例已經(jīng)說明了三倍速搜索回放。在這種搜索回放中， 由于只需要識別場景的大致輪廓，因而和原始圖像相比，只要 維持了特定的再現(xiàn)性，就可以達到其目的。因此，當使用在時 間上與原本所參考的圖片最鄰近的圖片來對圖片進行解碼時， 即使當未進行不必要的解碼處理時，也可以在達到上述目的的 同時維持再現(xiàn)性，從而有效地執(zhí)行搜索回放。
此外，對于場景變化等增大誤差的因素，可以使用場景信 息或者照相機信息來選擇與參考圖片在相同場景內(nèi)的圖片。這 樣，即使當發(fā)生了場景變化時，解碼時所產(chǎn)生的誤差也可以維 持得較低。
第二實施例
在第 一實施例的說明中，在解碼時確定了代替地參考的圖 片之后執(zhí)行解碼處理。與此相反，在本實施例中，在編碼時預(yù) 先確定代替地參考的圖片的信息，并將其記錄在碼序列中。解 碼時，根據(jù)該代替地參考的圖片的信息來進行解碼。下面將說 明該實施例。
首先參考圖8說明根據(jù)本實施例的圖像編碼設(shè)備。圖8是示 出根據(jù)本實施例的使用H.264進行圖像壓縮編碼的圖像編碼設(shè) 備的基本配置的示例的框圖。參考圖8，附圖標記800表示圖片 重排列(rearrangement)單元；801表示圖片內(nèi)預(yù)測單元；802表 示正交變換單元；803表示量化單元；804表示編碼單元；805 表示逆量化單元；806表示逆正交變換單元；807表示力。法器； 808表示環(huán)路濾波器(loop filter)處理單元；809表示幀存儲器； 810表示運動預(yù)測單元；811表示運動補償單元；8]2表示減法器。
下面將說明圖8中所示的圖像編碼設(shè)備的操作。當將數(shù)字輸 入圖像信號輸入到圖片重排列單元800時，圖片重排列單元800 以圖像圖片被編碼的順序來重排列圖像圖片。這是因為B圖片 參考在時間上出現(xiàn)在該圖片之后的圖片，所以必須在對參考圖 片編碼之后再對B圖片進行編碼。
對于各塊處理以編碼順序重排列的圖像。在I圖片或確定要 經(jīng)過圖片內(nèi)預(yù)測的塊的情況下，圖片內(nèi)預(yù)測單元801預(yù)測圖片中 的像素，并將來自預(yù)測像素的差分數(shù)據(jù)輸出到正交變換單元 802。如果輸入的圖像是B圖片或P圖片，并要進行圖片間預(yù)測， 則將由圖片間預(yù)測(稍后將說明)生成的預(yù)測圖像與當前圖像之 間的差分圖像輸出到正交變換單元8 0 2 。正交變換單元8 0 2進行 4x4(像素)整數(shù)變換以將圖像轉(zhuǎn)換成頻率分量。量化單元803對 輸入的頻率分量的數(shù)據(jù)進行量化。將通過量化單元803量化的圖
像數(shù)據(jù)輸出到編碼單元804以及對圖像數(shù)據(jù)進行本地解碼的逆 量化單元805。
另 一方面，逆量化單元805對通過量化單元803量化的圖<象 數(shù)據(jù)進行逆量化，以解碼頻率分量，并且逆正交變換單元806 通過逆正交變換對預(yù)測誤差圖像(差分圖像)進行解碼。如果從 逆量化單元803輸出的圖像是P圖片或B圖片的圖像，則加法器 807將差分圖像與運動補償圖像相加，以對圖片圖像進行解碼。 解碼后的圖像經(jīng)過由環(huán)路濾波器(處理單元)808進行的去除塊 失真的濾波處理，然后被存儲在幀存儲器809中。幀存儲器809 可以存儲任意數(shù)量的可用作參考圖片的圖片。
運動補償單元810在圖片間預(yù)測模式下在存儲于幀存儲器
809內(nèi)的解碼圖像中搜索與輸入圖像的差分最小的參考圖像，計 算到該參考圖像的運動向量，并將該運動向量輸出到編碼單元
804。而且，將在時間上與被選擇為參考圖像的圖片最鄰近的I 圖片或P圖片的位置信息作為解碼時的代替參考信息輸出到編 碼單元804。
運動補償單元811進行由運動向量和參考方向信息表示的 算術(shù)運算，并輸出運動補償后的圖像。減法器812計算輸入圖像 和運動補償后的圖像之間的差分，并將差分圖像輸出到正交變 換單元802。編碼單元804通過對圖像數(shù)據(jù)、運動向量信息和代 替參考信息進行可變長度編碼或算術(shù)編碼，生成碼序列，并輸
出所生成的碼序列。
關(guān)于代替參考圖片的選擇，不僅可以采用選擇與參考圖像 鄰近的I圖片或P圖片的方法，還可以采用在第一實施例中說明 的任何一種選4奪方法。
下面將參考圖9說明對這樣生成的碼序列進行回放的解碼 設(shè)備。圖9是示出與圖l相同的圖像解碼設(shè)備的配置的框圖。除可
變長度解碼單元900和運動補償單元904以外的塊與第 一 實施例 中由相同的附圖標記表示的塊相同，在此省略其i兌明。
下面將說明如下情況與第一實施例相同，通過僅回放輸 入碼序列的I圖片和P圖片，來進行搜索回;^文。
在接收到碼序列時，可變長度解碼單元900進行可變長度解 碼處理，并將碼序列解碼為量化的正交變換系數(shù)和圖像相關(guān)信 息。圖像相關(guān)信息存儲運動向量數(shù)據(jù)和代替參考信息。將運動 向量數(shù)據(jù)和代替參考信息輸出到運動補償單元904，而將量化的 正交變換系數(shù)數(shù)據(jù)輸出到逆量化單元IOI。在逆量化單元IOI、 逆正交變換單元102和幀存儲器中的處理與第 一 實施例中的處 理相同。
運動補償單元904通過基于運動向量數(shù)據(jù)和存儲在幀存儲 器105中的本地解碼圖像進行運動補償，來生成預(yù)測圖像。當待 解碼圖片的參考圖片未被解碼時，確定代替參考圖片。在確定 了代替參考后，補償運動向量數(shù)據(jù)、生成代替預(yù)測圖像和由加 法器1 0 3相加該圖 <象的處理與第 一 實施例的處理相同，在此省略 其說明。
如上所述，根據(jù)本實施例，由于在編碼時指定了代替參考 圖片，因而不需要進行在解碼時檢測代替參考圖片的處理，并 且可以進一 步減輕搜索回放時的處理負荷。
作為代替參考信息，不僅記錄代替參考圖片，而且到代替 參考圖片的運動向量信息等也會被一起記錄。運動向量信息既 可以通過補償對于原本所參考的圖片計算出的運動向量信息來 獲得，也可以通過計算代替參考圖片的新的運動向量信息來獲得。
上述各實施例以H.264作為編碼方法的示例進行了說明。然
而，編碼方法并不局限于這種特定的方法，可以使用任何其它 的編碼方法，只要它們使用圖片間預(yù)測即可。 其它實施例
也可以通過向系統(tǒng)或者設(shè)備提供記錄有可實現(xiàn)上述實施例 的功能的軟件程序的程序代碼的存儲介質(zhì)(或記錄介質(zhì))，由系
統(tǒng)或設(shè)備的計算機(或CPU或MPU)讀出并執(zhí)行存儲在存儲介 質(zhì)中的程序代碼，來達到本發(fā)明的目的。
在這種情況下，從存儲介質(zhì)讀出的程序代碼本身實現(xiàn)了上 述實施例的功能，并且存儲該程序代碼的存儲介質(zhì)構(gòu)成了本發(fā)明。
此外，例如軟盤(floppy )、硬盤、光盤、磁光盤、CD-R()M、 CD-R、磁帶、磁性和非易失型存儲卡以及ROM等存儲介質(zhì)可 以用來提供該程序代碼。
上述實施例的功能不僅可以通過由計算積d丸行所讀出的程 序代碼來實現(xiàn)，也可以通過由運行在計算才幾上的才喿作系統(tǒng) (Operating System, OS)基于程序代碼的指令所執(zhí)行的部分或全 部的實際處理操作來實現(xiàn)。
此外，上述實施例的功能還可以通過在將從存儲介質(zhì)讀出 的程序代碼寫入插入計算機的功能擴展卡或連接到計算機的功 能擴展單元的存儲器中之后，由功能擴展卡或者功能擴展單元 中配置的CPU等所執(zhí)行的部分或全部的實際處理操作來實現(xiàn)。
當將本發(fā)明應(yīng)用于上述存儲介質(zhì)時，該存儲介質(zhì)優(yōu)選地存 儲與實施例中說明的流程圖對應(yīng)的程序代碼。同時，本發(fā)明不 限于上述實施例，在本發(fā)明的精神和范圍內(nèi)可以進行各種變化 和修改。因此，為了向公眾告知本發(fā)明的范圍而做出了所附的 權(quán)利要求書。
這樣，我們相信從上面的說明中可以看出，本發(fā)明的操作
和配置是顯而易見的。顯然，可以適當?shù)貙λ_和說明的方 法、設(shè)備和系統(tǒng)進行特征化，并且可以在不脫離所附權(quán)利要求 書中所定義的本發(fā)明的范圍的情況下，做出各種變化和修改。
由于在不脫離本發(fā)明的精神和范圍的情況下可以做出本發(fā) 明許多明顯大大不同的實施例，因而應(yīng)該理解，除在所附權(quán)利 要求書中所定義的以外，本發(fā)明并不局限于其特定的實施例。
本申請主張于2005年5月27日提交的日本專利申請2005 -1.56197號的權(quán)益，其全部內(nèi)容通過引用包含于此。
權(quán)利要求
1.一種對包括多個圖像圖片的壓縮編碼圖像數(shù)據(jù)進行解碼的圖像數(shù)據(jù)解碼方法，其特征在于，包括選擇步驟，用于當要對所述多個圖像圖片中的一個圖像圖片進行解碼時，以及當待解碼的該圖像圖片所參考的第一參考圖片未被解碼時，從已解碼圖片中選擇第二參考圖片作為代替參考；以及解碼步驟，用于參考作為所述第一參考圖片的代替的所述第二參考圖片對所述待解碼的圖像圖片進行解碼。
2. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在于， 所述多個圖像圖片包括不參考任何其它圖像圖片而壓縮編碼的 第一圖像圖片、參考一個不同的圖片而壓縮編碼的第二圖像圖 片、以及參考兩個不同的圖像圖片而壓縮編碼的第三圖像圖片， 以及當僅對所述多個圖像圖片中的所述第 一 圖像圖片和所述第 二圖像圖片進行解碼時，進行所述解碼步驟中的解碼。
3. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在于， 多個圖片包括I圖片、P圖片和B圖片，以及當僅對所述多個圖像圖片中的I圖片和P圖片進行解碼時， 進行所述解碼步驟中的解碼。
4. 根據(jù)權(quán)利要求l ~ 3中任一項所述的圖像數(shù)據(jù)解碼方法， 其特征在于，在所述選擇步驟中，從所述已解碼圖片中選擇在 時間上與所述第 一參考圖片鄰近的圖片作為所述第二參考圖 片。
5. 根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述選擇步驟中，從所述已解碼圖片中選擇在時間上與所述 第一參考圖片鄰近的所述第一圖像圖片作為所述第二參考圖片。
6. 根據(jù)權(quán)利要求l ~ 5中任一項所述的圖像數(shù)據(jù)解碼方法，其特征在于，所述選擇步驟包括特征信息獲取步驟，該特征信 息獲取步驟用于獲取與所述圖像圖片相關(guān)聯(lián)的特征信息，并且 基于與所述第一參考圖片相關(guān)聯(lián)的特征信息來選擇所述第二參考圖片。
7. 根據(jù)權(quán)利要求6所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述選擇步驟中，選擇已解碼的圖像圖片中的、具有與所述第 一參考圖片相關(guān)聯(lián)的特征信息對應(yīng)的特征信息的圖像圖片作 為所述第二參考圖片。
8. 根據(jù)權(quán)利要求l ~ 7中任一項所述的圖像數(shù)據(jù)解碼方法， 其特征在于，所述解碼步驟包括補償步驟，該補償步驟用于對 為所述待解碼的圖像圖片而給出的第一運動信息進行補償，以 及通過利用補償后的所述第 一運動信息和所述第二參考圖片 對所述待解碼的圖像圖片進行解碼。
9. 根據(jù)權(quán)利要求8所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述補償步驟中，基于所述第一參考圖片和所述第二參考圖 片相對于所述待解碼的圖像圖片的時間關(guān)系，對所述第 一 運動 信息進行補償。
10. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在 于，在將所述圖像圖片分割為各自具有預(yù)定數(shù)量像素的塊之后， 對所述圖像圖片進行壓縮編碼，并且各塊可以參考不同的第一 參考圖片，在所述選擇步驟中為各塊選擇所述第二參考圖片，以及 在所述解碼步驟中對各塊進行解碼。
11.根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)解碼方法，其特征在 于，在將所述圖像圖片分割為各自具有預(yù)定數(shù)量像素的塊之后，對所述圖像圖片進行壓縮編碼，并且各塊可以參考不同的第一 參考圖片，以及當所述待解碼的圖像圖片中的第一個塊是參考所述第一圖 像圖片和所述第二圖像圖片的其中之一而壓縮編碼的塊，并且 參考所述第三圖像圖片對與所述第一個塊相鄰的第二個塊進行 壓縮編；馬時，在所述選擇步驟中，與所述第二個塊相關(guān)聯(lián)地選擇由所述 第一個塊參考的所述第一圖像圖片和所述第二圖像圖片的其中 之一作為所述第二參考圖片。
12. 根據(jù)權(quán)利要求l ~ ll中任一項所述的圖像數(shù)據(jù)解碼方 法，其特征在于，在所述解碼步驟中，輸出使用所述第二參考 圖片進行運動補償?shù)膱D像作為所述待解碼的圖像圖片的解碼圖
13. 才艮據(jù)斥又利要求l、 2、 3、 8 ~ 10以及12中任一項所述的圖像數(shù)據(jù)解碼方法，其特征在于，所述待解碼的圖像圖片包括 指定所述第二參考圖片作為所述代替參考的信息，以及在所述選擇步驟中，基于所述指定來選擇所述第二參考信臺、
14. 根據(jù)權(quán)利要求13所述的圖像數(shù)據(jù)解碼方法，其特征在 于，所述待解碼的圖像圖片還包括與指定的所述第二參考圖片 相關(guān)聯(lián)給出的第二運動信息，以及在所述解碼步驟中，通過利用所述第二運動信息和所述第 二參考圖片來進行解碼。
15. —種對包括多個圖像圖片的圖像數(shù)據(jù)進行壓縮編碼的 圖像編碼方法，其特征在于，包括第一編碼步驟，用于不參考任何其它圖像圖片對待編碼的 圖像圖片進行壓縮編碼； 第二編碼步驟，用于參考其它圖像圖片對待編碼的圖像圖片進4亍壓縮編碼；以及選擇步驟，用于當在所述第二編碼步驟中參考的所述其它圖像圖片是參考另一個圖像圖片而壓縮編碼的第一圖像圖片 時，選擇不參考任何其它圖像圖片而壓縮編碼的第二圖像圖片 和參考一個不同的圖像圖片而壓縮編碼的第三圖像圖片的其中之一作為代替參考圖像圖片，以及其中，將所述代替參考圖像圖片的信息附加到在所述第二 編碼步驟中編碼的所述圖像圖片的編碼數(shù)據(jù)。
16. —種計算機程序，其特征在于，使計算機執(zhí)行根據(jù)權(quán) 利要求l ~ 15中4壬一項所述的方法。
17. —種計算機可讀存儲介質(zhì)，其特征在于，存儲權(quán)利要 求16所述的計算機程序。
18. —種對包括多個圖像圖片的壓縮編碼圖像數(shù)據(jù)進行解 碼的圖像解碼設(shè)備，其特征在于，包括選擇部件，用于當要對所述多個圖像圖片中的一個圖像圖 片進行解碼時，以及當待解碼的該圖像圖片所參考的第 一 參考 圖片未被解碼時，從已解碼圖片中選擇第二參考圖片作為代替 參考；以及解碼部件，用于參考作為所述第一參考圖片的代替的所述 第二參考圖片對所述待解碼的圖像圖片進行解碼。
19. 一種對包括多個圖像圖片的圖像數(shù)據(jù)進行壓縮編碼的 圖像編碼設(shè)備，其特征在于，包括第一編碼部件，用于不參考任何其它圖像圖片而對待編碼的圖像圖片進行壓縮編碼；第二編碼部件，用于參考其它圖像圖片而對待編碼的圖像圖片進行壓縮編碼；以及 選擇部件，用于當由所述第二編碼部件參考的所述其它圖像圖片是參考另 一個圖像圖片而壓縮編碼的第一圖像圖片時， 選擇不參考任何其它圖像圖片而壓縮編碼的第二圖像圖片和參考一個不同的圖像圖片而壓縮編碼的第三圖像圖片的其中之一 作為代替參考圖像圖片，以及其中，將所述代替參考圖像圖片的信息附加到由所述第二 編碼部件編碼的所述圖像圖片的編碼數(shù)據(jù)。
全文摘要
一種對包括多個圖像圖片的壓縮編碼圖像數(shù)據(jù)進行解碼的圖像數(shù)據(jù)解碼方法，包括選擇步驟，用于當要對所述多個圖像圖片中的一個圖像圖片進行解碼時，以及當待解碼的圖像圖片所參考的第一參考圖片未被解碼時，從已解碼圖片中選擇第二參考圖片作為代替參考；以及解碼步驟，用于參考作為所述第一參考圖片的代替的所述第二參考圖片而對所述待解碼的圖像圖片進行解碼。
文檔編號H04N7/26GK101185339SQ20068001865
公開日2008年5月21日 申請日期2006年5月22日 優(yōu)先權(quán)日2005年5月27日
發(fā)明者北島光太郎 申請人:佳能株式會社