專利名稱:圖像預測編碼裝置、圖像預測編碼方法、圖像預測編碼程序、圖像預測解碼裝置、圖像預測 ...的制作方法
技術領域:
本發(fā)明的一個方面涉及圖像預測編碼裝置、圖像預測編碼方法以及圖像預測編碼程序。此外,本發(fā)明的另一個方面涉及圖像預測解碼裝置、圖像預測解碼方法以及圖像預測解碼程序。特別地,這些方面涉及使用周圍塊的運動信息生成對象塊的預測信號的圖像預測編碼裝置、圖像預測編碼方法、圖像預測編碼程序、圖像預測解碼裝置、圖像預測解碼方法以及圖像預測解碼程序。此外,本發(fā)明的再另一個方面涉及根據(jù)運動矢量的運動補償進行預測信號的生成的動態(tài)圖像編碼裝置、動態(tài)圖像編碼方法、動態(tài)圖像編碼程序、動態(tài)圖像解碼裝置、動態(tài)圖像解碼方法以及動態(tài)圖像解碼程序。
背景技術:
為了高效地進行靜態(tài)圖像或動態(tài)圖像數(shù)據(jù)的傳輸或存儲,使用壓縮編碼技術。在動態(tài)圖像的情況下,廣泛使用MPEG-1 4或ITU (International TelecommunicationUnion :國際電信聯(lián)盟)H. 261 H. 264的方式。在這些編碼方式中,在將作為編碼的對象的圖像分割為多個塊的基礎上進行編碼處理或解碼處理。在畫面內(nèi)的預測編碼中,在使用位于與對象塊相同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(將壓縮的圖像數(shù)據(jù)復原后的圖像信號)生成預測信號的基礎上,對從對象塊的信號中減去該預測信號得到的差分信號進行編碼。在畫面間的預測編碼中,參照位于與對象塊不同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號,進行運動的校正,生成預測信號,對從對象塊的信號中減去該預測信號得到的差分信號進行編碼。例如,在H. 264的畫面內(nèi)預測編碼中,采用將與作為編碼對象的塊相鄰的已再現(xiàn)的像素值在預定的方向上外插并生成預測信號的方法。圖22是用于說明在ITU H. 264中使用的畫面內(nèi)預測方法的示意圖。在圖22的(A)中,對象塊802是作為編碼對象的塊,由與該對象塊802的邊界相鄰的像素Pa Pm構成的像素組801是相鄰區(qū)域,是在過去的處理中已經(jīng)被再現(xiàn)的圖像信號。在圖22的(A)所示的情況下,將位于對象塊802的正上方的相鄰像素即像素組801向下方拉伸,由此生成預測信號。此外,在圖22的(B)所示的情況下,將位于對象塊804的左側的已再現(xiàn)像素(P1 PJ向右拉伸,由此生成預測信號。生成預測信號的具體的方法例如在專利文獻I中記載。由此,取得由圖22的(A) (I)所示的方法生成的9個預測信號分別與對象塊的像素信號的差分,將差分值最小的信號作為最優(yōu)的預測信號。如以上那樣,能夠通過外插像素來生成預測信號。關于以上內(nèi)容在下述專利文獻I中記載。在通常的畫面間預測編碼中,使用如下方法來生成預測信號針對作為編碼對象的塊,從已經(jīng)再現(xiàn)過的畫面搜索與該塊的像素信號類似的信號。而且,對搜索到的信號構成的區(qū)域與對象塊之間的空間性位移量即運動矢量、和對象塊的像素信號與預測信號的殘差信號進行編碼。將這樣對每個塊搜索運動矢量的方法稱為塊匹配。
圖21是用于說明塊匹配處理的示意圖。以下,以作為編碼對象的畫面701上的對象塊702為例對預測信號的生成步驟進行說明。畫面703已經(jīng)再現(xiàn)過,區(qū)域704與對象塊702在空間上是同一位置的區(qū)域。在塊匹配中,設定包圍區(qū)域704的搜索范圍705,從該搜索范圍的像素信號中檢測與對象塊702的像素信號的絕對值誤差和最小的區(qū)域706。該區(qū)域706的信號成為預測信號,檢測從區(qū)域704到區(qū)域706的位移量作為運動矢量707。此夕卜,有時也使用以下方法準備多個參照畫面703,對每個對象塊選擇實施塊匹配的參照畫面,并檢測參照畫面選擇信息。在H. 264中,為了對應圖像的局部性的特征變化,準備用于對運動矢量進行編碼的塊尺寸不同的多個預測類型。關于H. 264的預測類型例如在專利文獻2中記載。在動態(tài)圖像數(shù)據(jù)的壓縮編碼中,各畫面(幀、場)的編碼順序可以是任意的。因此,在參照已再現(xiàn)畫面生成預測信號的畫面間預測中,關于編碼順序存在3種方法。第I方法是以再現(xiàn)順序參照過去的已再現(xiàn)畫面來生成預測信號的前向預測,第2方式是以再現(xiàn)順序參照未來的已再現(xiàn)畫面來生成預測信號的后向預測,第3手法是同時進行前向預測和后向預測,并將兩個預測信號進行平均化的雙向預測。關于畫面間預測的種類例如在專利文獻3中記載。在作為下一代編碼視頻編碼方式開始標準化的HEVC (High efficiencyvideocoding :高性能視頻編碼)中,作為預測塊的分割類型,除了圖20的(B)和(C)所示的矩形2分割、圖20的(D)所示的正方4分割外,如圖20的(E) (F)所示,還研究導入非對稱分割。此外,還研究在HEVC中,在生成被這樣分割的預測塊的預測信號時,利用與作為預測對象的對象預測塊相鄰的塊的運動信息(運動矢量或參照畫面信息以及識別前向/后向/雙向的畫面間預測模式)的方法。該預測方法被稱作塊合并,具有能夠高效地對運動信息進行編碼的特征。圖2的(A)示意地說明與將編碼塊400縱向分割而生成的預測塊Tl進行塊合并時的相鄰塊的圖。使用I)相鄰塊A的運動信息、2)相鄰塊B的運動信息或者3)在塊匹配中檢測到的運動信息中的任意一種來生成預測塊Tl的預測信號。例如,在編碼器選擇了相鄰塊A的運動信息的情況下,編碼器,第1,將示出利用相鄰塊的運動信息的合并識別信息(merge_flag)設為“merge_flag=l”,并將該合并識別信息(merge_flag)發(fā)送到解碼器。第2,編碼器將示出從相鄰塊A和相鄰塊B中利用相鄰塊A的合并塊選擇信息(merge_f lag_left)設為“merge_f lag_left = I ”,并將該合并塊選擇信息(merge_f lag_left)發(fā)送到解碼器。解碼器接收這兩個信息,由此能夠識別出應該使用相鄰塊A的運動 信息生成對象預測塊的預測信號。同樣,當解碼器接收到“merge_flag=l”、“merge_flag_Ieft=O"(選擇相鄰塊B)時,使用相鄰塊B的運動信息生成對象預測塊的預測信號,當接收至lj“merge_flag=0”時,能夠識別出應該再從編碼器接收運動信息并復原對象預測塊的運動信息。關于此處示出的塊合并,在非專利文獻I中記載。此外,在MPEG-1、2或MPEG-4等規(guī)格中的幀間預測中,各個圖像被分割為彼此不重疊的矩形的塊組,各個塊與運動矢量相關聯(lián)。運動矢量是通過每個塊的運動搜索而得到的,示出當前塊距離為了預測當前塊的圖像信號而使用的第2塊的水平位移和垂直位移。下述專利文獻4中記載了在塊內(nèi)存在斜向運動的邊界的情況下,用于進行精度更高的運動補償預測的方法。該方法進一步將塊劃分為非矩形的小區(qū)劃,對該每個小區(qū)劃進行運動補償預測。
此外,在下述專利文獻5中記載了將塊劃分為更小的矩形的小區(qū)劃,并對該每個小區(qū)劃進行運動補償預測的方法。在該方法中,當對處理對象的小區(qū)劃的運動矢量進行編碼時,根據(jù)與處理對象的小區(qū)劃相接并且處理順序在該小區(qū)劃前面的塊的運動矢量來生成預測運動矢量,僅對處理對象的小區(qū)劃的運動矢量與預測運動矢量的差分、即差分運動矢量進行編碼。在該方法中,在處理對象的小區(qū)劃與處理順序在前面的塊不相接的情況下,根據(jù)包含該處理對象的小區(qū)劃的塊內(nèi)的處理順序在前面的其他小區(qū)劃的運動矢量來生成該處理對象的小區(qū)劃的預測運動矢量。現(xiàn)有技術文獻專利文獻專利文獻I美國專利公報第6765964號專利文獻2美國專利公報第7003035號專利文獻3美國專利公報第6259739號專利文獻4日本特開2005-277968號公報專利文獻5日本特開2009-246972號公報非專利文獻非專利文獻lTest Model under Consideration, Joint Collaborative Teamon Video Coding (JCT-VC) of ITU-T SG16 WP3 and IS0/IEC JTC1/SC29/WG11, 1st Meeting:Dresden,DEj 15_23April,2010,Document:JCTVC-A20
發(fā)明內(nèi)容
發(fā)明要解決的問題在上述非專利文獻I中,不管預測塊與其周圍的狀況如何,使用相同的方法選出在將編碼對象的對象編碼塊分割得到的多個預測塊的塊合并中利用的運動信息的候選。因此,例如,如圖2的(B)所示,在生成預測塊T2的預測信號時的運動信息的候選中,包含在相同的編碼塊中包含的預測塊Tl的運動信息。由該預測塊Tl和預測塊T2構成的預測塊分割類型是假定由兩個塊的預測信號不同的運動信息生成而準備的。因此,不優(yōu)選在預測塊T2的運動信息的候選中包含預測塊Tl的運動信息。即,有時編碼會變得低效。因此,本發(fā)明的目的在于,在幾個方面中,提供一種根據(jù)對象編碼塊或周圍的編碼塊的已編碼或已解碼預測信息(運動信息或預測塊分割類型),選出用于對象預測塊的預測信號的生成的運動信息的候選,由此抑制低效的編碼的發(fā)生的圖像預測編碼裝置、圖像預測編碼方法、圖像預測編碼程序、圖像預測解碼裝置、圖像預測解碼方法以及圖像預測解碼程序。即,在這些方面中,本發(fā)明的目的在于提供一種可以提高編碼效率的圖像預測編碼裝置、圖像預測編碼方法、圖像預測編碼程序、圖像預測解碼裝置、圖像預測解碼方法以及圖像預測解碼程序。此外,如專利文獻4或專利文獻5中記載的那樣,存在對處理對象的塊進行劃分由此得到小區(qū)劃,并對每個小區(qū)劃進行運動補償預測的方法。在這種運動補償預測中,從代碼量的觀點來看,優(yōu)選根據(jù)處理順序在處理對象的小區(qū)劃前面的塊的運動矢量來生成小區(qū)劃用的預測運動矢量,僅對該小區(qū)劃的運動矢量與該預測運動矢量之間的差分運動矢量進行編碼。
圖23是用于說明運動補償預測的圖。如圖23所示,在處理對象的塊P中,存在與處理順序在該塊P前面的一個以上的CP相接的小區(qū)劃SPl和與塊CP不相接的小區(qū)劃SP2。在專利文獻4中記載的方法中,不使用預測運動矢量,直接對這樣的小區(qū)劃SP2的運動矢量V2進行編碼。該方法與將預測運動矢量設為零矢量的方法等價。另一方面,在專利文獻5中記載的方法中,根據(jù)作為塊P內(nèi)的其他小區(qū)劃且處理順序在小區(qū)劃SP2之前的小區(qū)劃SPl的運動矢量VI,生成小區(qū)劃SP2的預測運動矢量。然而,考慮小區(qū)劃SPl的運動矢量與小區(qū)劃SP2的運動矢量是本來彼此不同的矢量。因此,在專利文獻5中記載的方法中,有時不能高效地對小區(qū)劃SP2的運動矢量進行編碼。
因此,本發(fā)明的目的在于,在另外的幾個方面中,也提供一種可以提高編碼效率的動態(tài)圖像編碼裝置、動態(tài)圖像編碼方法及動態(tài)圖像編碼程序,以及,與該動態(tài)圖像編碼對應的動態(tài)圖像解碼裝置、動態(tài)圖像解碼方法及動態(tài)圖像解碼程序。用于解決問題的手段本發(fā)明的第I方面涉及圖像預測編碼。本發(fā)明的第I方面的圖像預測編碼裝置具有區(qū)域分割單元,其將輸入圖像分割為多個區(qū)域;預測信息估計單元,其將由所述區(qū)域分割單元分割的作為編碼對象的對象區(qū)域細分割為多個預測區(qū)域,決定表示適合所述對象區(qū)域的預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型,分別預測用于從已再現(xiàn)信號中取得與該多個預測區(qū)域的相關性高的信號的運動信息,求出包含所述預測塊分割類型和所述運動信息的預測信息;預測信息編碼單元,其對所述對象區(qū)域附帶的預測信息進行編碼;預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號;殘差信號生成單元,其生成基于所述對象區(qū)域的預測信號和所述對象區(qū)域的像素信號的殘差信號;殘差信號編碼單元,其對由所述殘差信號生成單元生成的殘差信號進行編碼;殘差信號復原單元,其對所述殘差信號的編碼數(shù)據(jù)進行解碼,由此生成再現(xiàn)殘差信號;以及記錄單元,其將所述預測信號與所述再現(xiàn)殘差信號相加,由此生成所述對象區(qū)域的復原像素信號,并將該復原像素信號作為所述已再現(xiàn)信號進行保存。所述預測信息編碼單元具有保存已編碼的預測信息的預測信息保存單元,所述預測信息編碼單元對所述對象區(qū)域的預測塊分割類型進行編碼,將該預測塊分割類型保存在所述預測信息保存單元中,所述預測信息編碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選,所述預測信息編碼單元根據(jù)選出的所述運動信息的候選的數(shù)量,對指示使用了所選出的運動信息的候選的所述對象預測區(qū)域的預測信號的生成的合并塊信息和由所述預測信息估計單元檢測到的運動信息,或者該合并塊信息和該運動信息中的任意一方進行編碼,將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。本發(fā)明的第I方面的圖像預測編碼方法包含以下步驟區(qū)域分割步驟,將輸入圖像分割為多個區(qū)域;預測信息估計步驟,將通過所述區(qū)域分割步驟分割的作為編碼對象的對象區(qū)域細分割為多個預測區(qū)域,決定表示適合所述對象區(qū)域的預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型,分別預測用于從已再現(xiàn)信號中取得與該多個預測區(qū)域的相關性高的信號的運動信息,求出包含所述預測塊分割類型和所述運動信息的預測信息;預測信息編碼步驟,對所述對象區(qū)域附帶的預測信息進行編碼;預測信號生成步驟,根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號;殘差信號生成步驟,生成基于所述對象區(qū)域的預測信號和所述對象區(qū)域的像素信號的殘差信號;殘差信號編碼步驟,對通過所述殘差信號生成步驟生成的殘差信號進行編碼;殘差信號復原步驟,對所述殘差信號的編碼數(shù)據(jù)進行解碼,由此生成再現(xiàn)殘差信號;以及記錄步驟,將所述預測信號與所述再現(xiàn)殘差信號相加,由此生成所述對象區(qū)域的復原像素信號,并將該復原像素信號作為所述已再現(xiàn)信號進行保存。在所述預測信息編碼步驟中,對所述對象區(qū)域的預測塊分割類型進行編碼,將該預測塊分割類型保存在保存已編碼的預測信息的預測信息保存單元中,根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選,根據(jù)選出的所述運動信息的候選的數(shù)量,對指示使用了所選出的運動信息的候選的所述對象預測區(qū)域的預測信號的生成的合并塊信息和通過所述預測信息估計步驟檢測到的運動信息,或者該合并塊信息和該運動信息中的任意一方進行編碼,將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。 此外,本發(fā)明的第I方面的圖像預測編碼程序使計算機作為上述圖像預測編碼裝置的各單元發(fā)揮作用。根據(jù)本發(fā)明的第I方面,根據(jù)對象編碼塊或周圍的編碼塊的已編碼的預測信息(運動信息或預測塊分割類型)選出用于對象預測塊的預測信號的生成的運動信息的候選,因此抑制了低效的編碼的發(fā)生。在一個實施方式中,可以根據(jù)上述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量、上述對象區(qū)域的預測塊分割類型以及與上述對象區(qū)域相鄰的相鄰區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出對象預測區(qū)域的運動信息的候選。在一個實施方式中,根據(jù)上述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量和上述對象區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出該對象預測區(qū)域的運動信息的候選,當上述對象區(qū)域被分割為兩個預測區(qū)域,并且上述對象預測區(qū)域是在上述對象區(qū)域內(nèi)第2個被編碼的預測區(qū)域時,可以選出與上述對象預測區(qū)域相鄰、且不包含于上述對象區(qū)域中的區(qū)域的運動信息,作為用于生成該對象預測區(qū)域的預測信號的運動信息的候選。此外,在一個實施方式中,根據(jù)上述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量、上述對象區(qū)域的預測塊分割類型、上述對象區(qū)域內(nèi)的已編碼運動信息以及與上述對象區(qū)域相鄰的相鄰區(qū)域的運動信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選,當上述對象區(qū)域被分割為兩個預測區(qū)域,并且上述對象預測區(qū)域是在上述對象區(qū)域內(nèi)中第2個被編碼的預測區(qū)域,并且,上述對象區(qū)域的第I個被編碼的預測區(qū)域的運動信息與和上述對象預測區(qū)域相鄰且不包含于上述對象區(qū)域中的區(qū)域的運動信息相同時,判斷為在上述對象預測區(qū)域的預測信號的生成中不利用與上述對象預測區(qū)域相鄰的區(qū)域的運動信息,并對運動信息進行編碼。
本發(fā)明的第2方面涉及圖像預測解碼。本發(fā)明的第2方面的圖像預測解碼裝置具有數(shù)據(jù)解析單元,其從分割為多個區(qū)域并被編碼的圖像的壓縮數(shù)據(jù)中,提取用于指示在作為解碼對象的對象區(qū)域的信號的預測中使用的預測方法的預測信息的編碼數(shù)據(jù)、所述對象區(qū)域的預測信號的編碼數(shù)據(jù)以及殘差信號的編碼數(shù)據(jù);預測信息解碼單元,其對所述預測信息的編碼數(shù)據(jù)進行解碼,并對表示所述對象區(qū)域的細分割區(qū)域即多個預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型、以及用于從已再現(xiàn)信號中取得各預測區(qū)域的預測信號的運動信息進行復原;預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號;殘差信號復原單元,其根據(jù)所述殘差信號的編碼數(shù)據(jù)復原所述對象區(qū)域的再現(xiàn)殘差信號;以及記錄單元,其通過將所述預測信號與所述再現(xiàn)殘差信號相加來復原所述對象區(qū)域的像素信號,并將該像素信號作為所述已再現(xiàn)信號進行保存。所述預測信息解碼單元具有保存已解碼的預測信息的預測信息保存單元,所述預測信息解碼單元對所述對象區(qū)域的預測塊分割類型進行解碼并保存在所述預測信息保存單元中,所述預測信息解碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已解碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于 該對象預測區(qū)域的預測信號的生成的運動信息的候選,所述預測信息解碼單元根據(jù)所選出的所述運動信息的候選的數(shù)量,對指示使用了所選出的運動信息的候選的所述對象預測區(qū)域的預測信號的生成的合并塊信息和運動信息,或者該合并塊信息和該運動信息中的任意一方進行解碼,并將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。本發(fā)明的第2方面的圖像預測解碼方法包含以下步驟數(shù)據(jù)解析步驟,從分割為多個區(qū)域并被編碼的圖像的壓縮數(shù)據(jù)中,提取用于指示在作為解碼對象的對象區(qū)域的信號的預測中使用的預測方法的預測信息的編碼數(shù)據(jù)、所述對象區(qū)域的預測信號的編碼數(shù)據(jù)以及殘差信號的編碼數(shù)據(jù);預測信息解碼步驟,對所述預測信息的編碼數(shù)據(jù)進行解碼,并對表示所述對象區(qū)域的細分割區(qū)域即多個預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型、以及用于從已再現(xiàn)信號中取得各預測區(qū)域的預測信號的運動信息進行復原;預測信號生成步驟,根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號;殘差信號復原步驟,根據(jù)所述殘差信號的編碼數(shù)據(jù)復原所述對象區(qū)域的再現(xiàn)殘差信號;以及記錄步驟,其通過將所述預測信號與所述再現(xiàn)殘差信號相加來復原所述對象區(qū)域的像素信號,并將該像素信號作為所述已再現(xiàn)信號進行保存。在所述預測信息解碼步驟中,對所述對象區(qū)域的預測塊分割類型進行解碼并將該預測塊分割類型保存在保存已解碼的預測信息的預測信息保存單元中,根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已解碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選,根據(jù)所選出的所述運動信息的候選的數(shù)量,對指示使用了所選出的運動信息的候選的所述對象預測區(qū)域的預測信號的生成的合并塊信息和運動信息,或者該合并塊信息和該運動信息中的任意一方進行解碼,并將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。此外,本發(fā)明的第2方面的圖像預測解碼程序使計算機作為上述圖像預測解碼裝置的各單元發(fā)揮作用。根據(jù)本發(fā)明的第2側面,能夠根據(jù)通過上述圖像預測編碼生成的壓縮數(shù)據(jù)對圖像進行解碼。在一個實施方式中,可以根據(jù)上述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量、上述對象區(qū)域的預測塊分割類型以及與上述對象區(qū)域相鄰的相鄰區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出該對象預測區(qū)域的運動信息的候選。在一個實施方式中,根據(jù)上述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量和上述對象區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于生成該對象預測區(qū)域的預測信號的運動信息的候選,上述對象區(qū)域被分割為兩個預測區(qū)域,當上述對象預測區(qū)域是在上述對象區(qū)域內(nèi)第2個被解碼的預測區(qū)域時,可以選出與上述對象預測區(qū)域相鄰、且不包含于上述對象區(qū)域的區(qū)域的運動信息,作為對象預測區(qū)域的運動信息的候選。 此外,在一個實施方式中,根據(jù)上述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量、上述對象區(qū)域的預測塊分割類型、上述對象區(qū)域內(nèi)的已解碼運動區(qū)域以及與上述對象區(qū)域相鄰的相鄰區(qū)域的運動信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中,選出用于生成該對象預測區(qū)域的預測信號的運動信息的候選,當上述對象區(qū)域被分割為兩個預測區(qū)域,并且上述對象預測區(qū)域是在上述對象區(qū)域內(nèi)中第2個被解碼的預測區(qū)域,并且上述對象區(qū)域的第I個被解碼的預測區(qū)域的運動信息與和上述對象預測區(qū)域相鄰、且不包含于上述對象區(qū)域的區(qū)域的運動信息相同時,判斷為在上述對象預測區(qū)域的預測信號的生成中不利用與上述對象預測區(qū)域相鄰的區(qū)域的運動信息,并對運動信息進行編碼。此外,本發(fā)明的第3方面涉及動態(tài)圖像編碼。第3方面的動態(tài)圖像編碼裝置具有分割單元、小區(qū)劃生成單元、運動檢測單元、預測信號生成單元、運動預測單元、差分運動矢量生成單元、殘差信號生成單元、加法單元、存儲單元以及編碼單元。分割單元將動態(tài)圖像中的輸入圖像分割為多個區(qū)劃。小區(qū)劃生成單元將由分割單元生成的處理對象的區(qū)劃劃分為多個小區(qū)劃,生成用于確定該小區(qū)劃的形狀的形狀信息。運動檢測單元檢測處理對象的區(qū)劃的運動矢量。預測信號生成單元使用由運動檢測單元檢測到的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成處理對象的區(qū)劃的預測信號。運動預測單元根據(jù)由小區(qū)劃生成單元生成的形狀信息和處理順序在處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成處理對象的區(qū)劃的預測運動矢量。差分運動矢量生成單元根據(jù)在處理對象的區(qū)劃的預測信號的生成中使用的運動矢量與預測運動矢量的差分,生成差分運動矢量。殘差信號生成單元生成基于預測信號與處理對象的區(qū)劃的像素信號之間的差分的殘差信號。加法單元將殘差信號與預測信號相加,生成再現(xiàn)圖像信號。存儲單元將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲。編碼單元對由殘差信號生成單元生成的殘差信號、由差分矢量生成單元生成的差分運動矢量以及由小區(qū)劃生成單元生成的形狀信息進行編碼并生成壓縮數(shù)據(jù)。在處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,上述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域與位于另一側的區(qū)域中的包含處理對象的小區(qū)劃的區(qū)域。第3方面的動態(tài)圖像編碼方法包含以下步驟(a)分割步驟,將來自動態(tài)圖像的輸入圖像分割為多個區(qū)劃;(b)小區(qū)劃生成步驟,將在分割步驟中生成的處理對象的區(qū)劃劃分為多個小區(qū)劃,生成用于確定該小區(qū)劃的形狀的形狀信息;(C)運動檢測步驟,檢測處理對象的區(qū)劃的運動矢量;(d)預測信號生成步驟,使用在運動檢測步驟中檢測到的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成處理對象的區(qū)劃的預測信號;(e)運動預測步驟,根據(jù)在小區(qū)劃生成步驟中生成的形狀信息和處理順序在處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已
處理的部分區(qū)域的運動矢量,生成處理對象的區(qū)劃的預測運動矢量;(f)差分運動矢量生成步驟,根據(jù)在處理對象的區(qū)劃的預測信號的生成中使用的運動矢量與預測運動矢量的差分,生成差分運動矢量;(g)殘差信號生成步驟,生成基于預測信號與處理對象的區(qū)劃的像素信號之間的差分的殘差信號;(h)加法步驟,將殘差信號與預測信號相加,生成再現(xiàn)圖像信號;(i)存儲步驟,將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲;以及(j)編碼步驟,對在殘差信號生成步驟中生成的殘差信號、在差分運動矢量生成步驟中生成的差分運動矢量以及在小區(qū)劃生成步驟中生成的形狀信息進行編碼,生成壓縮數(shù)據(jù)。在運動預測步驟中,在處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,該已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他的小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域與位于另一側的區(qū)域中的包含處理對象的小區(qū)劃的區(qū)域。此外,第3方面的動態(tài)圖像編碼程序使計算機作為上述動態(tài)圖像編碼裝置的各單元發(fā)揮作用。在由上述邊界的延長線劃分的兩個區(qū)域中,包含與處理順序在前的區(qū)劃不相接的小區(qū)劃的區(qū)域具有與該小區(qū)劃的運動類似的運動的可能性較高。因此,根據(jù)第3方面,能夠提高預測運動矢量的精度,減小差分運動矢量的值,以較少的符號量對運動矢量進行編碼。因此,提高了編碼效率。本發(fā)明的第4方面涉及動態(tài)圖像解碼。第4方面的動態(tài)圖像解碼裝置具有解碼單元、運動預測單元、矢量加法單元、預測信號生成單元、加法單元以及存儲單元。解碼單元對壓縮數(shù)據(jù)進行解碼,生成圖像內(nèi)的處理對象的區(qū)劃的再現(xiàn)殘差信號、處理對象的區(qū)劃的差分運動矢量以及確定處理對象的區(qū)劃內(nèi)的多個小區(qū)劃的形狀的形狀信息。運動預測單元根據(jù)形狀信息和處理順序在處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成處理對象的區(qū)劃的預測運動矢量。矢量加法單元將由運動預測單元生成的預測運動矢量與由解碼單元生成的差分運動矢量相加,生成處理對象的區(qū)劃的運動矢量。預測信號生成單元根據(jù)處理對象的區(qū)劃的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成處理對象的區(qū)劃的預測信號。加法單元將預測信號與由解碼單元生成的再現(xiàn)殘差信號相加,生成再現(xiàn)圖像信號。存儲單元將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲。在處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成處理對象的小區(qū)劃的預測運動矢量,其中,該已處理的部分區(qū)域屬于相對于處理對象的小區(qū)劃與處理對象的區(qū)劃內(nèi)的其他的小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含處理對象的小區(qū)劃的區(qū)域。第4方面的動態(tài)圖像解碼方法是對壓縮數(shù)據(jù)進行解碼并生成動態(tài)圖像的方法,該動態(tài)圖像解碼方法包含以下步驟(a)解碼步驟,對壓縮數(shù)據(jù)進行解碼,生成圖像內(nèi)的處理對象的區(qū)劃的再現(xiàn)殘差信號、處理對象的區(qū)劃的差分運動矢量、以及確定處理對象的區(qū)劃內(nèi)的多個小區(qū)劃的形狀的形狀信息;(b)運動預測步驟,根據(jù)形狀信息和處理順序在處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成處理對象的區(qū)劃的預測運動矢量;(C)矢量加法步驟,將在運動預測步驟中生成的預測運動矢量與在解碼步驟中生成的差分運動矢量相加,生成處理對象的區(qū)劃的運動矢量;(d)預測信號生成步驟,根據(jù)處理對象的區(qū)劃的運動矢量,根據(jù)已再現(xiàn)的圖像 信號生成處理對象的區(qū)劃的預測信號;(e)加法步驟,將預測信號與在解碼步驟中生成的再現(xiàn)殘差信號相加,生成再現(xiàn)圖像信號;以及(f)存儲步驟,將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲。在運動預測步驟中,在處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成處理對象的小區(qū)劃的預測運動矢量,其中,該已處理的部分區(qū)域屬于相對于處理對象的小區(qū)劃與處理對象的區(qū)劃內(nèi)的其他的小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含處理對象的小區(qū)劃的區(qū)域。第4方面的動態(tài)圖像解碼程序使計算機作為上述動態(tài)圖像解碼裝置的各單元發(fā)揮作用。根據(jù)第4方面,根據(jù)包含與處理順序在前的區(qū)劃不相接的小區(qū)劃的區(qū)域的已解碼的運動矢量,生成該小區(qū)劃的預測運動矢量。該預測運動矢量與該小區(qū)劃的運動矢量類似的可能性較高。因此,根據(jù)上述實施方式,能夠提高預測運動矢量的精度,減小差分運動矢量的值,可以從較少的比特數(shù)的壓縮數(shù)據(jù)進行解碼。因此,實現(xiàn)高效地解碼。發(fā)明的效果根據(jù)本發(fā)明的幾個方面的圖像預測編碼裝置、圖像預測編碼方法、圖像預測編碼程序、圖像預測解碼裝置、圖像預測解碼方法以及圖像預測解碼程序,能夠根據(jù)周圍的已編碼或已解碼信息選出在對象預測塊的預測信號生成中利用的運動信息的候選,因此具有能夠更高效地對運動信息進行編碼這樣的效果。此外,根據(jù)本發(fā)明另外的幾個方面,提供可以提高編碼效率的動態(tài)圖像編碼裝置、動態(tài)圖像編碼方法以及動態(tài)圖像編碼程序。此外,還提供與這些動態(tài)圖像編碼對應的動態(tài)圖像解碼裝置、動態(tài)圖像解碼方法以及動態(tài)圖像解碼程序。
圖1是示出一個實施方式的圖像預測編碼裝置的框圖。圖2是用于說明以往的塊合并中的運動信息的候選的示意圖。圖3是用于說明一個實施方式的塊合并中的運動信息的候選的示意圖。圖4是說明圖1所示的預測信息編碼器的處理的流程圖。圖5是示出圖1所示的圖像預測編碼裝置的圖像預測編碼方法的步驟的流程圖。
圖6是示出一個實施方式的圖像預測解碼裝置的框圖。圖7是說明圖6所示的預測信息解碼器的處理的流程圖。圖8是示出圖6所示的圖像預測解碼裝置的圖像預測解碼方法的步驟的流程圖。圖9是用于說明將與對象預測塊相鄰的多個相鄰塊的運動信息作為對象預測塊的運動信息進行利用的處理的第I示意圖。圖10是用于說明將與對象預測塊相鄰的多個相鄰塊的運動信息作為對象預測塊的運動信息進行利用的處理的第2示意圖。圖11是說明將與對象預測塊相鄰的多個相鄰塊的運動信息作為對象預測塊的運動信息進行利用的處理的流程圖。圖12是用于說明將與對象預測塊相鄰的多個相鄰塊的運動信息作為對象預測塊的運動信息進行利用的處理的第3示意圖。圖13是說明將與對象預測塊相鄰的多個相鄰塊的運動信息作為對象預測塊的運動信息進行利用的處理的流程圖的第2例。圖14是用于說明一個實施方式的塊合并中的運動信息的候選的示意圖的第2例。圖15是用于說明一個實施方式的塊合并中的運動信息的候選的示意圖的第3例。圖16是示出能夠執(zhí)行一個實施方式的圖像預測編碼方法的程序的框圖。圖17是示出能夠執(zhí)行一個實施方式的圖像預測解碼方法的程序的框圖。圖18是示出用于執(zhí)行在記錄介質(zhì)中記錄的程序的計算機的硬件結構的圖。
圖19是用于執(zhí)行在記錄介質(zhì)中存儲的程序的計算機的立體圖。圖20是用于說明編碼塊的預測塊分割類型的示意圖。圖21是關于畫面間預測中的運動估計處理(A)與模板匹配處理(B)的示意圖。圖22是用于說明以往的畫面內(nèi)預測方法的示意圖。圖23是用于說明運動補償預測的圖。圖24是概略地示出一個實施方式的動態(tài)圖像編碼裝置的結構的圖。圖25是用于說明小區(qū)劃的生成的圖。圖26是示出一個實施方式中運動預測器的結構的圖。圖27是一個實施方式的動態(tài)圖像編碼方法的流程圖。圖28是示出一個實施方式的運動預測器的處理的流程圖。圖29是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的一例的圖。圖30是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的另外一例的圖。圖31是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的又一例子的圖。圖32是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的又一例子的圖。圖33是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的又一例子的圖。圖34是概略地示出一個實施方式的動態(tài)圖像解碼裝置的結構的圖。圖35是示出一個實施方式的運動預測器的結構的圖。圖36是一個實施方式的動態(tài)圖像解碼方法的流程圖。圖37是示出一個實施方式的運動預測器的處理的流程圖。圖38是示出一個實施方式的動態(tài)圖像編碼程序的結構的圖。圖39是示出一個實施方式的動態(tài)圖像解碼程序的結構的圖。
具體實施例方式以下,參照附圖對各種實施方式詳細地進行說明。另外,在附圖的說明中,對相同或同等的要素標注相同的標號,省略重復的說明。圖1是示出一個實施方式的圖像預測編碼裝置100的框圖。該圖像預測編碼裝置100具有輸入端子101、塊分割器102、預測信號生成器103、幀存儲器104、減法器105、變換器106、量化器107、逆量化器108、逆變換器109、加法器110、量化變換系數(shù)編碼器111、輸出端子112、預測塊分割類型選擇器113、運動信息估計器114、預測信息用存儲器115以及預測信息編碼器116?!ぷ儞Q器106、量化器107以及量化變換系數(shù)編碼器111作為殘差信號編碼單元發(fā)揮作用,逆量化器和逆變換器作為殘差信號復原單元發(fā)揮作用。此外,預測塊分割類型選擇器113和運動信息估計器114作為預測信息估計單元發(fā)揮作用,預測信息用存儲器115和預測信息編碼器116作為預測信息編碼單元發(fā)揮作用。輸入端子101是用于輸入由多張圖像構成的動態(tài)圖像的信號的端子。塊分割器102將由從輸入端子101輸入的信號表示的、作為編碼處理的對象的圖像分割為多個區(qū)域(編碼塊)。在本實施方式中,將編碼對象的圖像分割為由16x16個像素構成的塊,但是也可以分割成這以外的大小或形狀的塊。此外,在畫面內(nèi)可以同時存在尺寸不同的塊。預測塊分割類型選擇器113將作為編碼處理的對象的對象區(qū)域(對象編碼塊)分割為進行預測處理的預測區(qū)域。例如,對每個編碼塊選擇圖20的(A) (H)中的任意一方,將該編碼塊進行細分割。將被分割的區(qū)域稱作預測區(qū)域(預測塊),將圖20的(A) (H)的各分割方法稱作預測塊分割類型。預測塊分割類型的選擇方法不受限定。例如,能夠利用以下方法對經(jīng)由線L102輸入的對象編碼塊的信號實施各細分割,實際地實施后述預測處理或編碼處理,選擇由編碼塊的原信號與再現(xiàn)信號之間的編碼誤差信號功率、和編碼塊的編碼所需要的符號量計算出的率失真值最小的分割類型。對象編碼塊的預測塊分割類型經(jīng)由線L113a、線L113b以及線L113c,分別輸出到預測信息用存儲器115、運動信息估計器114以及預測信號生成器103。運動信息估計器114檢測用于生成對象編碼塊內(nèi)的各預測塊的預測信號所必要的運動信息。預測信號的生成方法(預測方法)不受限定,可以應用如在背景技術中說明的那樣的畫面間預測或畫面內(nèi)預測(關于畫面內(nèi)預測未圖示)。此處,考慮通過圖21所示的塊匹配檢測運動信息。能夠根據(jù)經(jīng)由線L102a輸入的編碼塊的原信號和經(jīng)由線L113b輸入的對象編碼塊的預測塊分割類型生成預測對象的對象預測塊的原信號。從經(jīng)由線L104取得的圖像信號檢測對該對象預測塊的原信號的絕對值誤差和最小的預測信號。該情況下,在運動信息中包含運動矢量、畫面間預測模式(前向/后向/雙向)以及參照畫面編號等。所檢測到的運動信息經(jīng)由線L114,分別輸出到預測信息用存儲器115和預測信息編碼器116。預測信息用存儲器115保存所輸入的運動信息和預測塊分割類型。預測信息編碼器116選出在各預測塊的塊合并中使用的運動信息的候選,并且,針對對象編碼塊的預測信息進行熵編碼,將編碼數(shù)據(jù)經(jīng)由線L116輸出到輸出端子112。不限定于熵編碼的方法,可以應用算術編碼或可變長編碼等。另外,在預測信息中,除了對象編碼塊的預測塊分割類型、預測塊的運動信息外,還包含用于使用與預測塊相鄰的塊的運動信息來實施塊合并的塊合并信息。關于預測信息編碼器116的處理在后面敘述。在預測信號生成器103中,根據(jù)經(jīng)由線L114輸入的對象編碼塊內(nèi)的各預測塊的運動信息和經(jīng)由線L113c輸入的預測塊分割類型,從幀存儲器104取得已再現(xiàn)信號,生成對象編碼塊內(nèi)的各預測塊的預測信號。在預測信號生成器103中生成的預測信號經(jīng)由線L103輸出到減法器105和加法器 110。減法器105從被塊分割器102分割并經(jīng)由線L102b輸入的對象編碼塊的像素信號中,減去經(jīng)由線L103輸入的、針對對象編碼塊的預測信號,生成殘差信號。減法器105將相減得到的殘差信號經(jīng)由線L105輸出到變換器106。
變換器106是對所輸入的殘差信號進行離散余弦變換的部分。此外,量化器107是對通過變換器106被離散余弦變換的變換系數(shù)進行量化的部分。量化變換系數(shù)編碼器111對由量化器107量化后的變換系數(shù)進行熵編碼。編碼數(shù)據(jù)經(jīng)由線Llll被輸出到輸出端子112。不限定于熵編碼的方法,可以應用算術編碼或可變長編碼等。輸出端子112將從預測信息編碼器116和量化變換系數(shù)編碼器111輸入的信息集中起來輸出到外部。逆量化器108對被量化的變換系數(shù)進行逆量化。逆變換器109通過逆離散余弦變換來復原殘差信號。加法器110將被復原的殘差信號與經(jīng)由線L103輸入的預測信號相加,再現(xiàn)對象編碼塊的信號,將所再現(xiàn)的信號存儲在幀存儲器104中。在本實施方式中,使用變換器106和逆變換器109,但是也可以使用其他的變換處理來代替這些變換器。此外,變換器106和逆變換器109不是必須的。這樣,為了在后續(xù)的對象編碼塊的預測信號生成中使用,將被編碼的對象編碼塊的再現(xiàn)信號通過逆處理復原,并存儲在幀存儲器104中。接著,對預測信息編碼器116的處理進行說明。首先,預測信息編碼器116從與對象預測塊相鄰的塊的運動信息中,選出在各預測塊的塊合并中使用的運動信息的候選(在對象預測區(qū)域的預測信號生成中使用的運動信息的候選)。塊合并表示使用相鄰塊的運動信息來生成對象預測塊的預測信號。接著,預測信息編碼器116對通過運動信息估計器114檢測到的運動信息與被選出的運動信息的候選進行比較,判斷可否實施塊合并。然后,預測信息編碼器116根據(jù)用于塊合并的運動信息的候選的數(shù)量和可否實施塊合并,將塊合并信息和運動信息中的任意一方或雙方與預測塊分割類型一起進行熵編碼。塊合并信息由合并識別信息(merge_f lag)和合并塊選擇信息(merge_f lag_left)構成,其中,合并識別信息(merge_flag)表示是否利用相鄰塊的運動信息生成對象預測塊的預測信號,即指示可否實施塊合并,合并塊選擇信息(merge_flag_left)表示使用與對象預測塊相鄰的兩個塊的運動信息中的哪個來生成對象預測塊的預測信號。在用于各預測塊的塊合并的運動信息的候選為O個的情況下,這兩個信息即合并識別信息和合并塊選擇信息不需要進行編碼。在運動信息的候選為I個的情況下,對合并識別信息進行編碼,在運動信息的候選為2個以上且實施塊合并的情況下,對兩個信息、即合并識別信息和合并塊選擇信息進行編碼。即便運動信息的候選為2個以上,但不實施塊合并的情況下,也不需要合并塊選擇信息的編碼。圖3是用于說明在一個實施方式的預測塊的塊合并中使用的運動信息的候選的選出處理的示意圖。與圖20的(B)所示的塊301同樣,圖3示出將編碼塊在縱向分割為兩個(分割為左右的兩個塊)的預測塊分割類型的例子。以下,以該塊301為例進行說明,塊302、304、305、306、307也可以應用同樣的說明。根據(jù)以下信息選出運動信息的候選。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型3)與對象預測塊相鄰的塊的預測塊分割類型4)對象編碼塊內(nèi)的已編碼/已解碼預測塊的運動信息 5)與對象預測塊相鄰的塊的運動信息和預測模式(畫面內(nèi)預測/畫面間預測)在圖3的例中,使用1)、2)、4)、5)的信息,選出用于塊合并的運動信息的候選。首先,根據(jù)2)的信息,已知對象編碼塊400內(nèi)的已編碼/已解碼預測塊的總數(shù)是預測塊Tl和T2這兩個,編碼塊被縱向分割為兩個。根據(jù)I)的信息可以得知下一個預測塊是預測塊Tl還是預測塊T2。當下一個預測塊為預測塊Tl(對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量為O)時,相鄰塊A和相鄰塊B的運動信息成為塊合并的運動信息的候選(圖面內(nèi)的箭頭表示相鄰塊A和B的運動信息是用于預測塊Tl的預測信號的生成的運動信息的候選)。此時,當相鄰塊A或B是在畫面內(nèi)預測中生成的塊或畫面外的塊的情況下,也可以將該塊的運動信息從塊合并的運動信息的候選中除去(也可以虛擬地將運動信息作為缺省值。例如,將運動矢量設為0,將參照畫面編號設為O)。此外,在兩個相鄰塊A和B的運動信息一致的情況下,可以將一個相鄰塊的運動信息從候選中除去。當下一個預測塊為預測塊T2 (對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量為I個)時,如圖3的(A)所示,將作為相鄰塊的Tl的運動信息從塊合并的運動信息的候選中除去。這是因為,假定通過本來不同的運動信息生成預測信號,分割為預測塊Tl和預測塊T2兩個塊。即,這是為了避免預測塊Tl的運動信息和預測塊T2的運動信息成為相同的運動信息。通過該處理,預測塊T2的塊合并的運動信息成為I個,因此能夠消減合并塊選擇信息的編碼需要的成本(圖面內(nèi)的箭頭表示可以在預測塊T2的預測信號的生成中利用相鄰塊D的運動信息)。此外,根據(jù)上述4)和5)的信息,對預測塊Tl和相鄰塊D的運動信息進行比較,在預測塊Tl與相鄰塊D的運動信息一致的情況下,如圖3的(B)所示,也將相鄰塊D的運動信息從塊合并的運動信息的候選中除去。其理由為,在使用相鄰塊D的運動信息生成了預測塊T2的預測信號的情況下,預測塊Tl和T2的運動信息成為相同。通過該處理,預測塊T2的塊合并的運動信息成為O個,能夠消減合并識別信息和合并塊選擇信息的編碼需要的成本。圖4是實現(xiàn)圖3的處理的預測信息編碼器116的流程圖。首先,預測信息編碼器116對對象編碼塊的預測塊分割類型進行編碼,并將該預測塊分割類型保存在預測信息用存儲器115中。同時,預測信息編碼器116根據(jù)編碼了的預測塊分割類型來設定對象編碼塊內(nèi)的預測塊數(shù)N,將對象預測塊編號i重置為O (步驟S151)。接著,預測信息編碼器116判斷是否對象預測塊是在對象編碼塊內(nèi)最后被編碼的預測塊,并且對象編碼塊內(nèi)的預測塊數(shù)為2以上(步驟S152)。例如,在N=2的情況下,當i=l時,判定為“可”,處理進入步驟S157。在N=4 (圖20的(D))的情況下,當i=3時,判定為“可”。在判定為“否”的情況下,處理進入步驟S153。在圖3的情況下,當對象預測塊為預測塊Tl時,處理進入步驟S153,為預測塊T2時,處理進入步驟S157。在步驟S153中,對合并識別信息進行編碼。在對象預測塊的運動信息與塊合并的運動信息的候選一致的情況下,合并識別信息為“可”(merge_flag=l,使用運動信息的候選生成對象預測塊的預測信號),在不一致的情況下,合并識別信息為“否”(merge_flag=0,使用編碼了的運動信息生成對象預測塊的預測信號)。接著,在對象預測塊的運動信息與塊合并的運動信息的候選一致的情況下,處理進入步驟S164。在步驟S164中,預測信息編碼器116判定運動信息的候選是否 為2個,在運動信息的候選的數(shù)量為2個的情況下,對合并塊選擇信息進行編碼,處理進入步驟S155。在運動信息的候選的數(shù)量為I個的情況下,處理進入步驟S165。另一方面,在對象預測塊的運動信息與塊合并的運動信息的候選不一致的情況下,處理進入步驟S156,預測信息編碼器116對由運動信息估計器114檢測到的運動信息進行編碼,進入步驟S165。在步驟S157中,預測信息編碼器116判定對象編碼塊的全部的已編碼運動信息與不屬于對象編碼塊的相鄰塊的運動信息是否一致。該步驟S157的說明意味著,在N=2的情況下,對圖3所示的預測塊Tl與相鄰塊D的運動信息進行比較。此外,步驟S157的說明意味著,在N=4 (圖20的(D))的情況下,對象預測塊是右下的分割塊,對其以外的3個預測塊(左上、右上、左下)的運動信息進行比較。在判定為“可”(比較的運動信息一致)的情況下,如圖3的(B)的例中所示,由于用于對象預測塊的塊合并的運動信息的候選的數(shù)量為O個,因此預測信息編碼器116不發(fā)送塊合并信息,對由運動信息估計器114檢測到的運動信息進行編碼,處理進入步驟S165 (步驟S160)。另一方面,在判定為“否”(比較的運動信息不一致)的情況下,處理進入步驟S163。另外,當N=4時,對象編碼塊內(nèi)的右上和左下的塊的運動信息成為對象預測塊的相鄰塊。因此,當3個預測塊(左上、右上、左下)的運動信息一致時,在對象預測塊(右下)中應用塊合并意味著,對象編碼塊內(nèi)的4個預測塊的預測信號全部由相同的運動信息生成。因此,在N=4且3個預測塊(左上、右上、左下)的運動信息相同的情況下,將對象預測塊(右下)的運動信息的候選設為O個。在步驟S163中,預測信息編碼器116判定對象編碼塊的預測塊分割類型是否是2分割的類型,在判定為“否”的情況下,處理進入步驟S153 (省略以后的說明)。在步驟S163的判定為“可”的情況下,處理進入步驟S158,預測信息編碼器116對合并識別信息進行編碼。該情況下,如圖3的(A)的例那樣,由于用于對象預測塊的塊合并的運動信息的候選的數(shù)量是I個,因此不需要合并塊選擇信息的編碼。接著,在對象預測塊的運動信息與塊合并的運動信息的候選一致的情況下,處理進入步驟S165。在對象預測塊的運動信息與塊合并的運動信息的候選不一致的情況下,處理進入步驟S160,預測信息編碼器116對由運動信息估計器114檢測到的運動信息進行編碼,處理進入步驟S165。在步驟S165中,將對象塊的運動信息保存在預測信息用存儲器115中。接著,預測信息編碼器116在步驟S161中判定對象編碼塊內(nèi)的全部的預測塊的編碼是否已經(jīng)結束(是否i=N-l),當i=N-l時,結束該對象編碼塊的預測信息編碼處理,當i〈N-l時,在步驟S162中更新i (i=i+l),返回步驟S152,以便進行下一個預測塊的運動信息編碼處理。由此,能夠使用下述信息事先選出用于預測塊的塊合并的運動信息的候選,因此能夠高效地傳輸塊合并信息。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型4)對象編碼塊內(nèi)的已編碼/已解碼預測塊的運動信息5)與對象預測塊相鄰的塊的運動信息和預測模式(畫面內(nèi)預測/畫面間預測)圖5是示出本實施方式的圖像預測編碼裝置100中的圖像預測編碼方法的步驟的流程圖。首先,通過塊分割器102將輸入圖像分割為16x16的編碼塊(也可以分割為這以外的大小或形狀的塊。此外,也可以在畫面內(nèi)混合存在尺寸不同的塊)。然后,預測塊分割類 型選擇器113和運動信息估計器114決定作為編碼對象的對象編碼塊的預測塊分割類型和各預測塊的運動信息(步驟S101)。接著,預測信息編碼器116對預測信息進行編碼(步驟S102,圖 4)。接著,在預測信號生成器103中,根據(jù)對象編碼塊的預測塊分割類型和各預測塊的運動信息,生成對象編碼塊的預測信號,通過變換器106、量化器107以及量化變換系數(shù)編碼器111,對表示對象編碼塊的像素信號與預測信號的差分的殘差信號進行變換編碼(步驟S103)。然后,將預測信息和量化變換系數(shù)的編碼數(shù)據(jù)經(jīng)由輸出端子112輸出(步驟S104)。為了對后續(xù)的對象編碼塊進行預測編碼,在這些處理之后或與這些處理并行,通過逆量化器108和逆變換器109對被編碼的殘差信號進行解碼。然后,在加法器110中將被解碼的殘差信號與預測信號相加,再現(xiàn)對象編碼塊的信號。將再現(xiàn)信號作為參照畫面存儲在幀存儲器104中(步驟S105)。然后,在全部的對象編碼塊的處理未結束的情況下,處理返回步驟S101,進行對下一個對象編碼塊的處理。在全部的對象編碼塊的處理結束的情況下,結束處理(步驟S106)。接著,對一個實施方式的圖像預測解碼進行說明。圖6是示出一個實施方式的圖像預測解碼裝置200的框圖。該圖像預測解碼裝置200具有輸入端子201、數(shù)據(jù)解析器202、逆量化器203、逆變換器204、加法器205、輸出端子206、量化變換系數(shù)解碼器207、預測信息解碼器208、幀存儲器104、預測信號生成器103、預測信息用存儲器115。逆量化器203、逆變換器204以及量化變換系數(shù)解碼器207作為殘差信號解碼單元發(fā)揮作用。逆量化器203和逆變換器204的解碼單元也可以使用這些以外的單元來進行。此外,也可以沒有逆變換器204。此外,預測信息用存儲器115和預測信息解碼器208作為預測信息解碼單元發(fā)揮作用。輸入端子201輸入利用上述圖像預測編碼方法被壓縮編碼的壓縮數(shù)據(jù)。在該壓縮數(shù)據(jù)中,關于被分割為多個的編碼塊,包含對誤差信號進行變換量化并進行熵編碼后的量化變換系數(shù)的信息、以及用于生成塊的預測信號的預測信息的編碼數(shù)據(jù)。此處,預測信息中除了對象編碼塊的預測塊分割類型、預測塊的運動信息外,還包含用于使用作為塊合并的候選的運動信息來實施塊合并的塊合并信息。此外,運動信息中包含運動矢量、畫面間預測模式(前向/后向/雙向)以及參照畫面編號等。數(shù)據(jù)解析器202對輸入到輸入端子201的壓縮數(shù)據(jù)進行解析,關于解碼對象的對象編碼塊,分離為量化變換系數(shù)的編碼數(shù)據(jù)、預測信息的編碼數(shù)據(jù),并經(jīng)由線L202a、線L202b,分別輸出到量化變換系數(shù)解碼器207、預測信息解碼器208。
預測信息解碼器208選出用于各預測塊的塊合并的運動信息的候選,并且,對對象編碼塊附帶的預測信息的編碼數(shù)據(jù)進行熵解碼。將被解碼的預測信息經(jīng)由線L208a、線L208b分別輸出到預測信息用存儲器115和預測信號生成器103。預測信息用存儲器115保存所輸入的預測信息。關于預測信息解碼器208的處理在后面敘述。在預測信號生成器103中,根據(jù)經(jīng)由線L208a輸入的對象編碼塊的預測信息,從幀存儲器104中取得已再現(xiàn)信號,生成對象編碼塊內(nèi)的各預測塊的預測信號。將所生成的預測信號經(jīng)由線L103輸出到加法器205。量化變換系數(shù)解碼器207對對象編碼塊中的殘差信號的量化變換系數(shù)的編碼數(shù)據(jù)進行熵解碼,并經(jīng)由線L207輸出到逆量化器203。逆量化器203對經(jīng)由線L207輸入的對象編碼塊的殘差信號信息進行逆量化。逆變換器204對逆量化后的數(shù)據(jù)進行逆離散余弦變換。
加法器205將在預測信號生成器103中生成的預測信號與被逆量化器203和逆變換器204復原的殘差信號相加,并將對象編碼塊的再現(xiàn)像素信號經(jīng)由線L205輸出到輸出端子206和幀存儲器104。輸出端子206輸出到外部(例如顯示器)。作為用于下一個解碼處理的參照用的再現(xiàn)圖像,幀存儲器104將從加法器205輸出的再現(xiàn)圖像作為參照畫面進行存儲。圖7是實現(xiàn)圖3的處理的預測信息解碼器208的流程圖。首先,預測信息解碼器208對對象編碼塊的預測塊分割類型進行解碼,并保存在預測信息用存儲器115中。同時,預測信息解碼器208根據(jù)解碼的預測塊分割類型,設定對象編碼塊內(nèi)的預測塊數(shù)N,將對象預測塊編號i重置為0(步驟S251)。接著,預測信息解碼器208判斷是否對象預測塊是在對象編碼塊內(nèi)最后被解碼的預測塊,并且,對象編碼塊內(nèi)的預測塊數(shù)為2以上(步驟S252)。例如,在N=2的情況下,當i=l時,判定為“可”,處理進入步驟S258。在N=4 (圖20的(D))的情況下,當i=3時,判定為“可”。在判定為“否”的情況下,處理進入步驟S253。在圖3中,當對象預測塊為預測塊Tl時,處理進入步驟S253,當對象預測塊為預測塊T2時,處理進入步驟S258。在步驟S253中,對合并識別信息進行解碼。此處,當合并識別信息為“可”(merge_fIag=D時,合并識別信息表示使用運動信息的候選生成對象預測塊的預測信號。另一方面,當合并識別信息為“否”(merge_fIag=O)時,表示使用解碼后的運動信息生成對象預測塊的預測信號。在接下來的步驟S254中,預測信息解碼器208判定合并識別信息是否指示運動信息的解碼,即merge_f lag的值是否為O。在解碼后的merge_f lag的值為O的情況下,預測信息解碼器208對用于生成對象預測塊的預測信號的運動信息進行解碼(步驟S257),處理進入步驟S267。在merge_flag的值為I的情況下,在步驟S266中,預測信息解碼器208判定用于塊合并的運動信息的候選的數(shù)量是否是2個,在候選的數(shù)量為2個的情況下,對合并塊選擇信息進行解碼,處理進入步驟S256 (步驟S255)。在用于對象預測塊的塊合并的運動信息的候選的數(shù)量為I個的情況下,處理進入步驟S256。在步驟S256中,在運動信息的候選的數(shù)量為I個的情況下,預測信息解碼器208將該運動信息決定為對象預測塊的運動信息。在運動信息的候選的數(shù)量為2個的情況下,預測信息解碼器208將在合并塊選擇信息中指示的相鄰塊的運動信息決定為對象預測塊的運動信息。在步驟S258中,預測信息解碼器208判定對象編碼塊的全部的已解碼運動信息與不屬于對象編碼塊的相鄰塊的運動信息是否一致。該步驟S258的說明意味著,在N=2的情況下,對圖3所示的預測塊Tl與相鄰塊D的運動信息進行比較。此外,該步驟S258的說明意味著,在N=4 (圖20的(D))的情況下,對象預測塊是右下的分割塊,對其之外的3個預測塊(左上、右上、左下)的運動信息進行比較。在判定為“可”(比較的運動信息一致)的情況下,如圖3的(B)的例中所示,由于用于對象預測塊的塊合并的運動信息的候選的數(shù)量為O個,因此預測信息解碼器208不對塊合并信息進行解碼,對用于對象預測塊的預測信號生成的運動信息進行解碼,處理進入步驟S267 (步驟S262)。另一方面,在判定為“否”(比較的運動信息不一致)的情況下,處理進入步驟S265。另外,當N=4時,對象編碼塊內(nèi)的右上和左下的塊的運動信息成為對象預測塊的相鄰塊。因此,當3個預測塊(左上、右上、左下)的運動信息一致時,在對象預測塊(右下)中應用塊合并意味著,對象編碼塊內(nèi)的4個預測塊的預測信號全部由相同的運動信息生成。因此,在N=4且3個預測塊(左上、右上、左下)的運動信息相同的情況下,將對象預測塊(右下)的運動信息的候選設為O個。在步驟S265中,預測信息解碼器208判定對象編碼塊的預測塊分割類型是否是2分割的類型,在判定為“否”的情況下,處理進入步驟S253 (省略以后的說明)。在步驟S265 的判定為“可”的情況下,處理進入步驟S259,預測信息解碼器208對合并識別信息進行解碼。該情況下,如圖3的(A)的例那樣,由于用于對象預測塊的塊合并的運動信息的候選的數(shù)量是I個,因此不需要合并塊選擇信息的解碼。在接下來的步驟S260中,預測信息解碼器208判定合并識別信息是否指示運動信息的解碼,即merge_flag的值是否為O。在解碼后的merge_flag的值為O的情況下,預測信息解碼器208對用于生成對象預測塊的預測信號的運動信息進行解碼(步驟S262),處理進入步驟S267。在merge_flag的值為I的情況下,處理進入步驟S261。在步驟S261中,由于運動信息的候選為I個,因此如圖3的(A)所示,預測信息解碼器208將相鄰塊D的運動信息決定為對象預測塊的運動信息,處理進入步驟S267。在步驟S267中,將復原后的預測塊的運動信息保存在預測信息用存儲器115中。接著,在步驟S263中,預測信息解碼器208判定對象編碼塊內(nèi)的全部的預測塊的解碼是否結束(是否i=N-l),當i=N-l時,結束該對象編碼塊的預測信息解碼處理,當i〈N-l時,在步驟S264中更新i (i=i+l),返回步驟S252,以便進行下一個預測塊的運動信息解碼處理。接著,使用圖8對圖6所示的圖像預測解碼裝置200中的圖像預測解碼方法進行說明。首先,經(jīng)由輸入端子201輸入壓縮數(shù)據(jù)(步驟S201)。然后,在數(shù)據(jù)解析器202中進行壓縮數(shù)據(jù)的數(shù)據(jù)解析,提取關于解碼對象的對象區(qū)域的預測信息和量化變換系數(shù)的編碼數(shù)據(jù)。預測信息通過預測信息解碼器208被解碼(S203)。然后,根據(jù)被復原的預測信息,預測信號生成器103生成對象編碼塊的預測信號(S204)。在量化變換系數(shù)解碼器207中被解碼的量化變換系數(shù)在逆量化器203中被逆量化,并在逆變換器204中進行逆變換,生成再現(xiàn)殘差信號(S205)。然后,將所生成的預測信號與再現(xiàn)殘差信號相加,由此生成再現(xiàn)信號,為了再現(xiàn)下一個對象編碼塊而將該再現(xiàn)信號存儲在幀存儲器104中(步驟S206)。在存在下一個壓縮數(shù)據(jù)的情況下,重復S204 S206的過程(S207 ),進行處理直至全部數(shù)據(jù)結束。目前為止,對與預測塊相鄰的相鄰塊的數(shù)量為2個以下的例子進行了說明,接著,關注與預測塊的上和左的塊邊界相接的相鄰塊的數(shù)量為3個以上的情況。在圖3的例中,與預測塊相接的相鄰塊為2個,但是,根據(jù)編碼塊與其相鄰塊的預測塊分割類型的組合的不同,有時還發(fā)生預測塊與2個以上的相鄰塊相接的情況。圖9示出3個相鄰塊與預測塊相接的情況的例子。此處,以圖20的塊301為例進行說明,在塊302、304、305、306、307中也可以應用同樣的說明。在圖9的(A)和(B)中,對象編碼塊400具有將該塊400沿縱向進行2分割后的兩個預測塊,與此相對,與預測塊Tl的左邊相接的塊401沿橫向被2分割(分割為上下兩個塊)。因此,預測塊Tl與3個相鄰塊A、B以及C相接。該情況下,如果在編碼側和解碼側預先決定為將與對象預測塊的左上頂點相接的兩個相鄰塊A和B作為代表,則必然能夠將相鄰塊的數(shù)量限定為2個,因此能夠利用上述說明的方法。另一方面,如圖9的(B)所示,還能夠利用對照相鄰塊401的預測塊分割類型,假
想地將預測塊Tl沿橫向2分割的方法。該情況下,將對象預測塊Tl分割為Tla和Tlb,使用屬于相鄰塊A和塊C的兩個運動信息,分別生成塊Tla的預測信號和Tlb的預測信號。此時,如果使合并塊選擇信息的選擇候選為圖9的(A)的相鄰塊B的運動信息以及圖9的(B)的相鄰塊A與C的運動信息的組合這兩個,則不用變更塊合并信息的構成,就能夠高效地對合并塊選擇信息進行編碼。另一方面,可以利用合并塊選擇信息來識別圖9的(A)和圖9的(B)中的任意一個,在選擇了圖9的(B)的情況下,也可以按照每個假想塊傳輸?shù)?合并識別信息,識別是由相鄰塊的運動信息生成假想塊的預測信號,還是對運動信息進行編碼/解碼。另外,也可以不分割預測塊Tl,而是使預測塊Tl中的合并塊選擇信息的選擇候選為相鄰塊A、B以及C的3個運動信息,從3個候選中選擇用于Tl的預測信號的生成的運動信息,該情況下,需要進行下述變更。1.在圖4的步驟S164和圖7的步驟S266之前,追加“取得相鄰塊的預測塊分割類型,推導出預測塊的相鄰的塊的數(shù)量”的流程。2.將圖4的步驟S164和圖7的步驟S266變更為“選擇候選的運動信息為2個以上”。3.合并塊選擇信息擴展為從3個以上的候選中選擇I個的信息。將圖7的步驟S256擴展為圖11所示的處理,由此實現(xiàn)該圖9的(A)和(B)所示的塊合并的處理。首先,在步驟S256a中,取得與對象預測塊相接的編碼塊的預測塊分割類型。接著,在步驟S256b中,根據(jù)取得的預測塊分割類型,推導出被解碼的合并塊選擇信息所指示的與塊邊界相鄰的預測塊的數(shù)量M。例如,在圖9的(B)中,M=2。此外,在步驟S256c中,判斷M的值是否大于1(M>1)。在M> I的情況下,將對象預測塊分割為M個假想塊,對分割后的M個假想塊設定M個相鄰塊的運動信息(追加地,也可以按照每個假想塊發(fā)送合并識別信息,判定是否對運動信息進行解碼)。在M=I的情況下,在對象預測塊的運動信息中設定作為塊合并的候選的相鄰塊的運動信息。這樣,根據(jù)圖7和圖11,根據(jù)以下信息,實施圖9的例中的運動信息的候選的選擇。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型3)與對象預測塊相鄰的塊的預測塊分割類型
這樣,在運動信息的候選為3個以上的情況下,利用基于圖3的例子(在運動信息的候選的選擇時未使用的3個)的信息。圖9的(C)示出與預測塊400的左邊相鄰的塊被非對稱地2分割的例子。該情況下,也能夠利用對照相鄰塊401的預測塊分割類型,假想地將預測塊Tl沿橫向2分割(分割為塊Tla和Tlb)的方法。即,能夠將圖9的(C)的相鄰塊A與C的運動信息的組合作為預測塊Tl的塊合并的運動信息的候選,生成對象預測塊Tl的預測信號。此外,如圖9的(D) (F)所示,在編碼塊的預測塊分割類型如圖20的塊300所示的那樣是預測塊數(shù)量為I個的類型的情況下,也能夠利用對照相鄰塊401的預測塊分割類型,將預測塊Tl (±夾400)假想地橫分割(分割為在縱向上排列的多個塊)并生成預測信號的方法。此外,雖然未圖示,但是,在相鄰塊402被縱分割(分割為在橫向上排列的多個塊)的情況下,也能夠利用對照相鄰塊402的預測塊分割類型,將預測塊Tl (塊400)假想地縱分割并生成預測信號的方法。另外,在與預測塊相鄰的塊中包含畫面內(nèi)預測塊(intra)的情況下,通過預先決定規(guī)則,也能夠利用將預測塊假想分割并生成預測信號的方法。圖10的(A) (F)示出在與預測塊的左邊相接的多個相鄰塊A、C、E以及G中包含畫面內(nèi)預測塊(intra)的情況的例子。根據(jù)相鄰塊的預測塊分割類型和在預測信息中包含的預測模式(畫面間/畫面內(nèi)),假想地將相鄰塊的畫面內(nèi)預測塊合并到伴隨運動信息的畫面間預測塊(圖面的粗線)。在該例中,假想地將畫面內(nèi)預測塊合并到靠近相鄰塊的左上頂點且距離近的畫面間預測塊。其結果是,如圖10的(A) (F)所示,根據(jù)相鄰塊內(nèi)的畫面間預測塊的數(shù)量假想地將預測塊Tl分割。由此,即便在相鄰塊中包含畫面內(nèi)預測塊(intra)的情況下,也能夠使用相鄰塊內(nèi)的畫面間預測塊的運動信息,實施基于塊合并的預測信號的生成。另外,將相鄰塊的畫面內(nèi)預測塊合并到畫面間預測塊的規(guī)則不受限定??梢詼蕚涠鄠€這樣的規(guī)則,并針對每個幀或每個切片(slice)選擇規(guī)則來進行編碼。該情況下,根據(jù)以下信息實施運動信息的候選的選擇。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型3)與對象預測塊相鄰的塊的預測塊分割類型5)與對象預測塊相鄰的塊的預測模式(畫面內(nèi)預測/畫面間預測)圖12示出編碼塊400與相鄰塊402同樣地被沿縱向2分割,但是分割形狀不同的情況的例子。在該例中,圖12的(A)的預測塊Tl (包含塊Tla和Tlb的塊)和圖12的(B)的預測塊T2 (包含塊T2a和T2b的塊)具有3個相鄰塊。關于圖12的(A)的Tl,將圖11的處理流程應用到圖7的步驟S256中,由此,可以對將預測塊Tl假想地沿縱向2分割而得到的Tla和Tlb分別實施設定了塊Ba和Bb的運動信息的塊合并。此外,關于圖12的(B)的T2,將接下來說明的圖13的處理流程應用到圖7的步驟S261中,由此,可以對將預測塊T2假想地沿縱向2分割而得到的T2a和T2b分別實施設定了塊Ba和Bb的運動信息的塊合并。此時,可以識別是按照每個假想塊傳輸?shù)?合并識別信息并使用相鄰塊的運動信息生成假想塊的預測信號,還是對運動信息進行編碼/解碼。另外,也可以不分割預測塊T2,而是將使預測塊T2的塊合并的運動信息的候選為塊Ba的運動信息和塊Bb的運動信息這兩個,并選擇塊Ba的運動信息和塊Bb的運動信息中的一個作為用于T2的預測信號的生成的運動信息,該情況下,需要將圖7的流程如下述那樣擴展。1.在圖4的步驟S158和圖7的步驟S259之后,追加“取得相鄰塊的預測塊分割類型,推導出與預測塊相鄰的塊的數(shù)量”的流程。2.將圖4的步驟S159和圖7的步驟S260變更為“選擇候選的運動信息為2個以上”。3.在圖4的步驟S159和圖7的步驟S260之后,追加進行塊選擇信息的編碼/解碼的步驟。以下,對圖13的流程進行說明。在圖13中,首先,在步驟S261a中,取得與對象預測塊相接的編碼塊的預測塊分割類型。接著,在步驟S261b中,根據(jù)取得的預測塊分割類型 推導出與不屬于對象編碼塊的相鄰塊所相接的塊邊界相鄰的預測塊的數(shù)量M。例如,在圖12的(B)所示的情況下,M=2。此外,在步驟S261c中,判定M的值是否大于I (M>1)。在M > I的情況下,將對象預測塊分割為M個假想塊,對分割后的M個假想塊設定M個相鄰塊的運動信息(追加地,也可以按照每個假想塊發(fā)送合并識別信息,判定是否對運動信息進行解碼)。在M=I的情況下,將作為塊合并的候選的相鄰塊的運動信息設定為對象預測塊的運動信息。由此,根據(jù)圖12和圖13,根據(jù)以下信息實施圖11的例中的運動信息的候選的選擇。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型3)與對象預測塊相鄰的塊的預測塊分割類型另外,在圖11中,對縱分割的例子進行了說明,但是,在圖20的塊306和307那樣橫分割(分割為在縱向上排列的多個塊)的例中也能夠應用同樣的處理。還可以進行下述變形。(運動信息的候選)在上述說明中,將與預測塊的上邊和左邊相接的塊的運動信息作為塊合并的候選,但是,如圖14的(A)和(B)以及圖15的(A)所示,也可以根據(jù)對象編碼塊和相鄰塊的預測塊分割類型實施限制。圖14的(A)和(B)示出在存在兩個相鄰塊的情況下,將預測塊的上邊和左邊中與2個以上的相鄰塊相接的邊的相鄰塊的運動信息從塊合并的候選中除去的例子。該情況下,由于不需要合并塊選擇信息的編碼,由此能夠消減附加信息。分別將用于圖14的(A)的預測塊Tl和圖14的(B)的預測塊Tl的塊合并的運動信息的候選確定為塊B和塊A的運動信息。圖15的(A)示出根據(jù)對象編碼塊的預測塊分割類型,自動地選出用于預測塊Tl和T2的塊合并的運動信息的候選的方法。圖15的(B)示出根據(jù)對象編碼塊的預測塊分割類型和對象編碼塊內(nèi)的編碼/已解碼塊的數(shù)量,限制應用塊合并的預測塊的例子。在圖3所示的例中,在塊Tl和塊D的運動信息一致的情況下,從用于塊T2的塊合并的運動信息的候選中將塊D的運動信息除去,但是,在圖15的(A)所示的例中,不需要對塊Tl和塊D的運動信息進行比較,根據(jù)對象編碼塊內(nèi)的編碼/已解碼預測塊的數(shù)量,將塊D從塊合并的候選中除去。由此,可以通過利用對象編碼塊來編碼的運動矢量的數(shù)量,來限制應用塊合并的預測塊。此外,也可以根據(jù)與預測塊的左上端相接的兩個相鄰塊的塊尺寸和預測塊的塊尺寸來實施限制。例如,可以在與對象預測塊的左邊相接的相鄰塊的右邊的尺寸小于預先設定的大小(例如,預測塊的左邊的寬度的一半或1/4)的情況下,將該相鄰塊的運動信息從對象預測塊的塊合并的候選中除去。由此,通過限制運動信息的候選,能夠消減塊合并信息的代碼量。(運動信息的候選的選擇)根據(jù)以下信息實施運動信息的候選的選擇,但是,該利用方法不限于上述說明的方法。使用這些信息選出運動信息的候選的手 段能夠在圖1和圖6的結構中實施。I)對象編碼塊內(nèi)的已編碼/已解碼預測塊的數(shù)量2)對象編碼塊的預測塊分割類型3)與對象預測塊相接的塊的預測塊分割類型4)對象編碼塊內(nèi)的已編碼/已解碼預測塊的運動信息5)與對象預測塊相接的塊的運動信息和預測模式(畫面內(nèi)預測/畫面間預測)(預測塊的編碼)在上述說明中,編碼塊內(nèi)的預測塊的編碼/解碼以光柵掃描順序實施,但是,上面說明的在塊合并中利用的運動信息的候選的選擇可以在以任意的順序對預測塊進行編碼/解碼的情況下應用。例如,在圖3的例中,在先對對象編碼塊400的預測塊T2進行編碼/解碼的情況下,預測塊T2的運動矢量可以不包含于用于預測塊Tl的塊合并的運動信息的候選中。(塊的形狀)在上述說明中,雖然編碼塊內(nèi)的部分區(qū)域始終是矩形,但是也可以是任意的形狀。該情況下,編碼塊的預測信息中可以包含形狀信息。(變換器,逆變換器)關于殘差信號的變換處理,可以以固定的塊尺寸進行,也可以配合部分區(qū)域對對象區(qū)域進行再分割而進行變換處理。(預測信息)在上述說明中,以畫面間預測(利用運動矢量和參照畫面信息的預測)作為預測信號的生成方法進行了說明,但是預測信號的生成方法不限于此。上述預測信號生成處理也可以在包含畫面內(nèi)預測或亮度補償?shù)鹊念A測方法中應用。該情況下,在預測信息中包含模式信息或亮度補償參數(shù)等。在圖10中,假想地將相鄰塊內(nèi)的畫面內(nèi)預測塊合并到畫面間預測塊中,但是,也可以不管相鄰塊的預測模式如何,假想地將預測塊分割,利用畫面內(nèi)預測對預測塊內(nèi)的部分信號進行預測。(色彩信號)在上述說明中,沒有特別對色彩格式進行敘述,但是,關于色彩信號或色差信號,也可以獨立于亮度信號進行預測信號的生成處理。此外,也可以與亮度信號的處理聯(lián)動地進行預測信號的生成處理。(塊噪聲去除處理)
在上述說明中沒有敘述,但是在對再現(xiàn)圖像進行塊噪聲去除處理的情況下,對部分區(qū)域的邊界部分進行噪聲去除處理即可。在圖9、圖10、圖12所示的例中,在假想地分割預測塊的情況下,也可以對被假想地分割后的塊的邊界應用塊噪聲去除處理。
還能夠將本實施方式的圖像預測編碼方法和圖像預測解碼方法作為程序存儲在記錄介質(zhì)中來提供。作為記錄介質(zhì),例示有軟盤(注冊商標)、⑶-ROM、DVD、或ROM等記錄介質(zhì),或者半導體存儲器等。圖16是示出能夠執(zhí)行圖像預測編碼方法的程序的模塊的框圖。圖像預測編碼程序PlOO具有塊分割模塊P101、運動信息估計模塊P102、預測信號生成模塊P103、存儲模塊P104、減法模塊P105、變換模塊P106、量化模塊P107、逆量化模塊P108、逆變換模塊P109、加法模塊Pl 10、量化變換系數(shù)編碼模塊P111、預測分割類型選擇模塊Pl 12、預測信息存儲模塊P113以及預測信息編碼模塊P114。通過在計算機中執(zhí)行上述各模塊而實現(xiàn)的功能與上述圖像預測編碼裝置100的功能相同。即,塊分割模塊P101、運動信息估計模塊P102、預測信號生成模塊P103、存儲模塊P104、減法模塊P105、變換模塊P106、量化模塊P107、逆量化模塊P108、逆變換模塊P109、加法模塊Pl 10、量化變換系數(shù)編碼模塊Pl 11、預測分割類型選擇模塊P112、預測信息存儲模塊P113、預測信息編碼模塊P114使計算機執(zhí)行與塊分割器102、運動信息估計器114、預測信號生成器103、幀存儲器104、減法器105、變換器106、量化器107、逆量化器108、逆變換器109、加法器110、量化變換系數(shù)編碼器111、預測塊分割類型選擇器113、預測信息用存儲器115、預測信息編碼器116分別同樣的功能。此外,圖17是示出能夠執(zhí)行圖像預測解碼方法的程序的模塊的框圖。圖像預測解碼程序P200具有量化變換系數(shù)解碼模塊P201、預測信息解碼模塊P202、預測信息存儲模塊P113、逆量化模塊P206、逆變換模塊P207、加法模塊P208、預測信號生成模塊P103以及存儲模塊P104。通過執(zhí)行上述各模塊而實現(xiàn)的功能與上述圖像預測解碼裝置200的各構成要素相同。即,量化變換系數(shù)解碼模塊P201、預測信息解碼模塊P202、預測信息存儲模塊P113、逆量化模塊P206、逆變換模塊P207、加法模塊P208、預測信號生成模塊P103、存儲模塊P104使計算機執(zhí)行與量化變換系數(shù)解碼器207、預測信息解碼器208、預測信息用存儲器115、逆量化器203、逆變換器204、加法器205、預測信號生成器103、幀存儲器104分別同樣的功倉泛。將這樣構成的圖像預測編碼程序PlOO或圖像預測解碼程序P200存儲在記錄介質(zhì)SM中,并在后述的計算機中執(zhí)打。圖18是示出用于執(zhí)行記錄在記錄介質(zhì)中的程序的計算機的硬件結構的圖,圖19是用于執(zhí)行存儲在記錄介質(zhì)中的程序的計算機的立體圖。另外,執(zhí)行存儲在記錄介質(zhì)中的程序的不限于計算機,也可以是具有CPU并進行基于軟件的處理或控制的DVD播放器、或機頂盒、移動電話等。如圖19所示,計算機ClO具有軟盤驅動器裝置、⑶-ROM驅動器裝置、DVD驅動器裝置等讀取裝置C12、使操作系統(tǒng)常駐的工作用存儲器(RAM) C14、存儲在記錄介質(zhì)SM中存儲的程序的存儲器C16、顯示器這樣的顯示裝置C18、作為輸入裝置的鼠標C20以及鍵盤C22、用于發(fā)送/接收數(shù)據(jù)等的通信裝置C24以及控制程序的執(zhí)行的CPU C26。當記錄介質(zhì)SM被插入到讀取裝置C12時,計算機ClO可以從讀取裝置C12訪問存儲在記錄介質(zhì)SM中的圖像預測編碼/解碼程序,通過該圖像編碼或解碼程序,計算機ClO可以作為本實施方式的圖像編碼裝置或圖像解碼裝置進行動作。如圖18所示,圖像預測編碼程序和圖像解碼程序可以作為重疊在載波上的計算機數(shù)據(jù)信號CW,經(jīng)由網(wǎng)絡來提供。該情況下,計算機ClO能夠將由通信裝置C24接收到的圖像預測編碼程序或圖像解碼程序存儲在存儲器C16中,并執(zhí)行該圖像預測編碼程序或圖像預測解碼程序。以下,對又一個實施方式進行說明。圖24是概略地示出一個實施方式的動態(tài)圖像編碼裝置的結構的圖。圖24所示的動態(tài)圖像編碼裝置10具有塊分割器501、小區(qū)劃生成·器502、幀存儲器503、運動檢測器504、預測信號生成器505、運動預測器506、減法器507、殘差信號生成器508、變換器509、量化器510、逆量化器511、逆變換器512、加法器513以及熵編碼器514。輸入到該動態(tài)圖像編碼裝置10的輸入視頻信號(動態(tài)圖像信號)由以幀為單位的圖像信號(以下稱為幀圖像信號)的時間序列構成。塊分割器501從經(jīng)由線L501輸入的輸入視頻信號中依次選擇作為編碼處理的對象的幀圖像信號、即輸入圖像。塊分割器501將輸入圖像分割為多個區(qū)劃、即多個塊。塊分割器501依次選擇多個塊作為編碼處理的對象塊,并將該對象塊的像素信號(以下稱作對象塊信號)經(jīng)由線L502輸出。在動態(tài)圖像編碼裝置10中,以塊為單位進行以下的編碼處理。另外,塊分割器501例如可以將輸入圖像分割為8X8像素的多個塊。然而,塊的大小和形狀可以是任意的。塊可以是例如32X16像素的塊、16X64像素的塊。小區(qū)劃生成器502將經(jīng)由線L502輸入的對象塊劃分為多個小區(qū)劃。圖25是用于說明小區(qū)劃的生成的圖。如圖25所示,小區(qū)劃生成器502通過式(I)的I次式中記載的直線Ln將對象塊P劃分為兩個小區(qū)劃SPl和SP2。y=mx + k · · · (I)例如,小區(qū)劃生成器502能夠一邊變更參數(shù)m和k,一邊求出小區(qū)劃SPl的預測信號和小區(qū)劃SP2的預測信號,確定使小區(qū)劃SPl的預測信號與小區(qū)劃SPl的圖像信號之間的誤差以及小區(qū)劃SP2的預測信號與小區(qū)劃SP2的圖像信號之間的誤差最小的m和k,作為直線Ln的參數(shù)。小區(qū)劃生成器502將所確定的式(I)中的參數(shù)m和k經(jīng)由線L504輸出,其中,參數(shù)m和k作為用于確定對象塊P內(nèi)的小區(qū)劃的形狀的形狀信息,即,用于確定第I小區(qū)劃SPl與第2小區(qū)劃SP2的形狀的形狀信息。另外,表示直線Ln的I次式可以是任意的。例如,直線Ln也可以如式(2)所示那樣表現(xiàn)。y=-x/tan θ + P /sin θ · · · (2)該情況下,形狀信息為Θ和P。此外,形狀信息也可以是直線Ln所通過的任意的2點,例如表示直線與塊P的邊界的交點的信息。此外,不是一定要用直線來劃分塊,也可以根據(jù)從預先準備的多個圖案中選擇的圖案來生成小區(qū)劃。該情況下,可以將確定所選擇的圖案的索引這樣的信息作為形狀信息來利用。在以下的說明中,以使對象塊的最左上的位置為原點的方式設定坐標,將包含對象塊P內(nèi)的最左上的像素的小區(qū)劃稱作第I小區(qū)劃,將另一方稱作第2小區(qū)劃。然而,可以是任意的方法,例如將不包含對象塊內(nèi)的中心的位置的小區(qū)劃作為第I小區(qū)劃,將另一方作為第2小區(qū)劃。該情況下,可以將塊邊界的交點信息或圖案的識別信息作為形狀信息。幀存儲器503存儲經(jīng)由線L505輸入的已再現(xiàn)的圖像信號,即過去已編碼的幀圖像信號(以下稱作參照幀圖像信號)。此外,幀存儲器503經(jīng)由線L506輸出參照幀圖像信號。運動檢測器504接收經(jīng)由線L502輸入的對象塊信號、經(jīng)由線L504輸入的塊的形狀信息以及經(jīng)由線L506輸入的參照幀圖像信號。運動檢測器504從參照幀圖像信號的預定范圍內(nèi)的圖像信號中搜索與處理對象的小區(qū)劃的圖像信號類似的信號,并計算運動矢量。該運動矢量是具有與處理對象的小區(qū)劃的圖像信號類似的像素信號的參照幀圖像信號內(nèi)的區(qū)域與對象塊之間的空間上的位移量。運動檢測器504將計算出的運動矢量經(jīng)由線L507輸出。 另外,運動檢測器504可以同時針對對象塊檢測運動矢量,判斷是否將對象塊劃分為兩個小區(qū)劃并生成預測信號。該判斷在對象塊的預測信號與對象塊的圖像信號之間的誤差小于將該對象塊劃分為兩個小區(qū)劃而生成的預測信號與兩個小區(qū)劃的圖像信號之間的誤差的情況下,可以判斷為不將對象塊劃分為小區(qū)劃。在進行這樣的判斷的情況下,將表示判斷結果的信息作為區(qū)劃可否信息進行編碼,可以僅在區(qū)劃可否信息表示將對象塊劃分為小區(qū)劃時,對形狀信息進行編碼。預測信號生成器505,基于經(jīng)由線L507輸入的運動矢量和經(jīng)由線L504輸入的塊的形狀信息,由經(jīng)由線L506輸入的參照幀圖像信號的預定范圍內(nèi)的圖像信號來生成處理對象的小區(qū)劃的圖像信號的預測信號。預測信號生成器505對對象塊內(nèi)的各小區(qū)劃的預測信號進行合成,由此生成該對象塊的預測信號。預測信號生成器505將生成的預測信號經(jīng)由線L508輸出。另外,也可以代替畫面間預測而通過畫面內(nèi)預測來生成預測信號。運動預測器506根據(jù)經(jīng)由線L504輸入的塊的形狀信息、經(jīng)由線L507輸入的運動矢量、以及處理順序在處理對象的小區(qū)劃之前的塊或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成對象塊內(nèi)的處理對象的小區(qū)劃的預測運動矢量。運動預測器506將生成的預測運動矢量經(jīng)由線L509輸出。運動預測器506可以從多個預測運動矢量的候選中選擇一個預測運動矢量。該情況下,運動預測器506也將用于確定所選擇的一個預測運動矢量的指示信息經(jīng)由線L510輸出。另外,根據(jù)與解碼側共享的預定的規(guī)則,將處理對象的小區(qū)劃的預測運動矢量的候選縮小為一個,由此還能夠省略指示信息的輸出。減法器507從經(jīng)由線L507輸入的處理對象的小區(qū)劃的運動矢量中減去經(jīng)由線L509輸入的預測運動矢量,生成差分運動矢量。減法器507將生成的差分運動矢量經(jīng)由線L511輸出。殘差信號生成器508從經(jīng)由線L502輸入的對象塊信號中減去經(jīng)由線L508輸入的對象塊的預測信號,生成殘差信號。殘差信號生成器508將生成的殘差信號經(jīng)由線L512輸出。變換器509對經(jīng)由線L512輸入的殘差信號進行正交變換,由此生成變換系數(shù)。變換器509將生成的變換系數(shù)經(jīng)由線L513輸出。在該正交變換中,能夠使用例如DCT。然而,在由變換器509使用的變換中可以使用任意的變換。量化器510對經(jīng)由線L513輸入的變換系數(shù)進行量化,由此生成量化變換系數(shù)。量化器510將生成的量化變換系數(shù)經(jīng)由線L514輸出。逆量化器511對經(jīng)由線L514輸入的量化變換系數(shù)進行逆量化,由此生成逆量化變換系數(shù)。逆量化器511將生成的逆量化變換系數(shù)經(jīng)由線L515輸出。逆變換器512對經(jīng)由線L515輸入的逆量化變換系數(shù)進行逆正交變換,由此生成再現(xiàn)殘差信號。逆變換器512將生成的再現(xiàn)殘差信號經(jīng)由線L516輸出。由逆變換器512使用的逆變換是與變換器509的變換對稱的處理。另外,變換不是必須的,動態(tài)圖像編碼裝置可以不具有變換器509和逆變換器512。同樣,量化也不是必須的,動態(tài)圖像編碼裝置可以不具有量化器510和逆量化器511。
加法器513將經(jīng)由線L516輸入的再現(xiàn)殘差信號與經(jīng)由線L508輸入的對象塊的預測信號相加,由此生成再現(xiàn)圖像信號。加法器513將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號經(jīng)由線L505輸出。熵編碼器514對經(jīng)由線L514輸入的量化變換系數(shù)、經(jīng)由線L504輸入的對象塊的形狀信息、經(jīng)由線L510輸入的預測運動矢量的指示信息、經(jīng)由線L511輸入的差分運動矢量進行編碼。此外,熵編碼器514對由編碼生成的碼進行復用,由此生成壓縮流,并將該壓縮流輸入到線L517。熵編碼器514可以使用算術編碼、行程長度編碼這樣的任意的編碼方法。此外,熵編碼器514可以根據(jù)經(jīng)由線L504輸入的對象塊的形狀信息,自適應地決定對經(jīng)由線L510輸入的預測運動矢量的指示信息進行算術編碼時的發(fā)生概率。例如,熵編碼器514可以將對與處理對象的小區(qū)劃相接的部分區(qū)域的運動矢量進行指示的指示信息的發(fā)生概率設定得較高。圖26是示出一個實施方式中運動預測器的結構的圖。如圖26所示,運動預測器506具有運動矢量存儲器5061、運動參照目的地候選生成器5062以及預測運動矢量生成器5063。運動矢量存儲器5061存儲已處理的部分區(qū)域的運動矢量,將該已編碼的運動矢量經(jīng)由線L5061輸出,以便導出處理對象的小區(qū)劃的預測運動矢量。運動參照目的地候選生成器5062基于經(jīng)由線L504輸入的形狀信息,通過后述方法,由經(jīng)由線L5061輸入的部分區(qū)域的運動矢量,生成預測運動矢量的候選。運動參照目的地候選生成器5062將生成的預測運動矢量的候選經(jīng)由線L5062輸出。預測運動矢量生成器5063從經(jīng)由線L5062輸入的預測運動矢量的候選中,選擇與處理對象的小區(qū)劃的運動矢量之間的差分最小的候選。預測運動矢量生成器5063將選擇的候選作為預測運動矢量經(jīng)由線L509輸出。此外,將用于確定所選擇的候選的指示信息經(jīng)由線L510輸出。另外,將在運動參照目的地候選生成器中生成的候選的數(shù)量限定為一個,由此能夠省略指示信息的輸出。將候選的數(shù)量限定為一個的方法不受限制,可以利用任意的方法,例如使用三個候選的中間值的方法、使用兩個候選的平均值的方法、或者預先決定用于從多個候選中選擇一個的優(yōu)先順序的方法。以下,對動態(tài)圖像編碼裝置10的動作進行說明,此外,對一個實施方式的動態(tài)圖像編碼方法進行說明。圖27是一個實施方式的動態(tài)圖像編碼方法的流程圖。如圖27所示,在一個實施方式中,首先,在步驟S501中,塊分割器501將輸入圖像分割為多個塊。接著,在步驟S502中,如上所述,小區(qū)劃生成器502將對象塊劃分為多個小區(qū)劃。此外,如上所述,小區(qū)劃生成器502生成形狀信息。接著,在步驟S503中,如上所述,運動檢測器504求出處理對象的小區(qū)劃的運動矢量。在接下來的步驟S504中,如上所述,預測信號生成器505使用對象塊內(nèi)的各小區(qū)劃的運動矢量和參照幀圖像信號,生成該對象塊的預測信號。接著,在步驟S505中,運動預測器506求出預測運動矢量。此外,運動預測器506生成用于確定從預測運動矢量的多個候選中選擇的候選的指示信息。關于該步驟S505的處理,在后面詳細敘述。在接下來的步驟S506中,如上所述,減法器507求出各小區(qū)劃的運動矢量與預測運動矢量的差,生成差分運動矢量。接著,在步驟S507中,殘差信號生成器508求出對象塊的圖像信號與預測信號的差,生成殘差信號。在接下來的步驟S508中,變換器509對殘差信號進行正交變換,生成變換系數(shù)。在接下來的步驟S509中,量化器510對變換系數(shù)進行量化,生成量化變換系數(shù)。在接下來的步驟S510中,逆量化器511對量化變換系數(shù)進行逆量化,生成逆量化變換系數(shù)。在接下來的步驟S511中,逆變換器512對逆量化變換系數(shù)進行逆變換,生成再現(xiàn)殘差信號。接著,在步驟S512中,加法器513將對象塊的預測信號與再現(xiàn)殘差信號相加,由此生成再現(xiàn)圖像信號。在接下來的步驟S513中,將再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號在幀存儲器503中存儲。接著,在步驟S514中,熵編碼器514對量化變換系數(shù)、對象塊的形狀信息、預測運動矢量的指示信息以及差分運動矢量進行編碼。接著,在步驟S515中,判定是否全部的塊已經(jīng)被處理。在未處理完全部的塊的情況下,將未處理的塊作為對象,繼續(xù)進行從步驟S502開始的處理。另一方面,在全部的塊的處理結束的情況下,結束處理。以下,更詳細地對運動預測器506的動作進行說明。圖28是示出一個實施方式的運動預測器的處理的流程圖。運動預測器506根據(jù)圖28所示的流程圖,輸出預測運動矢量(以下稱為PMV),和用于確定PMV的指示信息。如圖28所示,在運動預測器506的處理中,首先,在步驟S505-1中,將計數(shù)器i的值設定為O。以下,當i=0時,進行對第I小區(qū)劃的處理,當i=l時,進行對第2小區(qū)劃的處理。接著,在步驟S505-2中,依照后述方法,根據(jù)已處理的部分區(qū)域的運動矢量生成處理對象的小區(qū)劃的PMV的候選。PMV的候選的數(shù)量在本例中是兩個。即,作為PMV的候選,可以將處理對象的小區(qū)劃的左側的已處理的部分區(qū)域的運動矢量和上側的已處理的部分區(qū)域的運動矢量設定為處理對象的小區(qū)劃的預測運動矢量的候選。在步驟S505-2中,將生成的候選的數(shù)量設定為Ncand。接著,在步驟S505-3中,判定NCand是否為“O”。在NCand是“O”的情況下(是),處理進入步驟S505-4。在NCand不是“O”的情況下(否),處理進入步驟S505-5。在步驟S505-4中,將PMV設定為 零矢量,處理進入步驟S505-10。此時,也可以不將PMV設定為零矢量,而是設定為預先決定的塊的運動矢量,或就在處理對象的小區(qū)劃之前處理的部分區(qū)域的運動矢量等。在步驟S505-5中,判定NCand是否為“ I ”。在NCand是“ I ”的情況下(是),處理進入步驟S505-10。在NCand不是“I”的情況下(否),處理進入步驟S505-6。在步驟S505-6中,從在步驟S505-2中生成的PMV的候選中選擇PMV??梢赃x擇相對于處理對象的小區(qū)劃的運動矢量的差分最小的候選作為PMV。接著,在S505-7中,判定在步驟S505-6中選擇的PMV是否是左側的候選,即是否是左側的部分區(qū)域的運動矢量。在步驟S505-6中選擇的PMV是左側的候選的情況下(是),處理進入步驟S505-8。在步驟S505-6中選擇的PMV不是左側的候選的情況下(否),處理進入步驟S505-9。在步驟S505-8中,輸出將處理對象的小區(qū)劃的左側的部分區(qū)域的運動矢量作為PMV的指示信息pmv_left_flag=l。另一方面,在步驟S505-9中,輸出將處理對象的小區(qū)劃的上側的部分區(qū)域的運動矢量作為PMV的指示信息pmv_left_f Iag=O。 接著,在步驟S505-10中,輸出作為候選剩下的PMV。接著,在步驟S505-11中,將計數(shù)器i的值加“I”。接著,在步驟S505-12中,判定計數(shù)器i的值是否小于“2”。在計數(shù)器i的值小于“2”的情況下(是),處理進入步驟S505-2。在計數(shù)器i的值不小于“2”的情況下(否),處理結束。另外,通過將在步驟S505-2中生成的候選的數(shù)量限定為一個,由此能夠省略步驟S505-5、S505-6、S505-7、S505-8、S505-9。該限定的方法不受限制,如在預測運動矢量生成器5063的說明中所述,例如可以利用使用三個候選的中間值的方法、使用兩個候選的平均值的方法、以及預先決定用于從多個候選中選擇一個候選的優(yōu)先順序的方法這樣的方法。在將步驟S505-2中生成的候選的數(shù)量限定為一個的方式中,在步驟S505-3中,在NCand不是“O”的情況下(否),處理進入步驟S505-10。以下,詳細地對步驟S505-2中的處理對象的小區(qū)劃的預測運動矢量的候選的生成方法進行說明。圖29是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的一例的圖。如圖29所示,運動參照目的地候選生成器5062對第I小區(qū)劃SPl參照部分區(qū)域Ul和部分區(qū)域LI,在各個部分區(qū)域已通過幀間預測進行了處理的情況下,將該部分區(qū)域的運動矢量作為第I小區(qū)劃SPl的預測運動矢量的候選。同樣,運動參照目的地候選生成器5062對第2小區(qū)劃參照部分區(qū)域U2或部分區(qū)域L2,生成第2小區(qū)劃的預測運動矢量的候選。此處,部分區(qū)域U1、L1、U2、L2是對象塊P的周圍的塊或小區(qū)劃,是作為生成預測信號的單位的區(qū)域。此外,部分區(qū)域可以與生成預測信號的單位無關系,是為了預測運動矢量的候選生成而準備的塊(例如,通過劃分為單一形狀而生成的塊)。部分區(qū)域Ul是包含與第I小區(qū)劃SPl的最左上的像素F (0,0)在上側相鄰的像素Pil (0,-1)的部分區(qū)域,是與小區(qū)劃SPl相接的已處理的部分區(qū)域。此外,部分區(qū)域LI是包含與第I小區(qū)劃SPl的最左上的像素F (0,0)在左側相鄰的像素Pi2 (-1,0)的部分區(qū)域,是與第I小區(qū)劃SPl相接的部分區(qū)域。部分區(qū)域U2是與包含像素Pi3 (xl,-l)的部分區(qū)域在右側相鄰的部分區(qū)域,是與X軸相接的部分區(qū)域。部分區(qū)域L2是與包含像素Pi4(-Lyl)的部分區(qū)域在下側相鄰的部分區(qū)域,是與y軸相接的部分區(qū)域。像素Pi3的X坐標xl和像素Pi4的y坐標yl可以由式(3)和式(4)計算得出。
xl=ceil (_k/m) · · · (3)yl=ceil (k) · · · (4)式(3)和式(4)是在表示劃分第I小區(qū)劃SPl和第2小區(qū)劃SP2的邊界的延長線Ln的I次式(I)中分別代入y=0、x=0,并對得到的值應用ceil (z)函數(shù)的式子。ceil (z)被稱作頂函數(shù),是用于對實數(shù)z推導出z以上的最小整數(shù)的函數(shù)。另外,也可以代替ceil函數(shù)而使用floor函數(shù)。floor (Z)被稱作地板函數(shù),是用于對實數(shù)Z推導出Z以下的最大整數(shù)的函數(shù)。 此外,也可以通過式(5)和(6)計算出xl和yl。xl=ceil ((-l_k)/m)· · · (5)yl=ceil (_m + k) · · · (6)式(5)和式(6)是在式(I)中分別代入y=-l、x=_l,對由此得到的值應用ceil (z)函數(shù)而得到的式子。如以下說明的那樣,判定部分區(qū)域U2和L2是否存在。部分區(qū)域U2存在的條件為,在畫面內(nèi)并且滿足式(7)。此外,部分區(qū)域L2存在的條件為,在畫面內(nèi)并且滿足式(8)。O < xl · · · (7)O < yl · · · (8)在不滿足式(7)的條件的情況下,在第2小區(qū)劃SP2與部分區(qū)域U2之間存在部分區(qū)域L2。該情況下,相比于靠近第2小區(qū)劃SP2的部分區(qū)域L2,距離第2小區(qū)劃SP2較遠的部分區(qū)域U2的運動矢量接近第2小區(qū)劃SP2的運動矢量的可能性較小。該情況下,可以通過式(7)的條件將部分區(qū)域U2的運動矢量從預測運動矢量的候選中除去。同樣,在不滿足式(8)的條件的情況下,在第2小區(qū)劃SP2與部分區(qū)域L2之間存在部分區(qū)域U2。該情況下,相比于靠近第2小區(qū)劃SP2的部分區(qū)域U2,距離第2小區(qū)劃SP2較遠的部分區(qū)域L2的運動矢量接近第2小區(qū)劃SP2的運動矢量的可能性較小。該情況下,可以通過式(8)的條件將部分區(qū)域U2的運動矢量從預測運動矢量的候選中除去。另外,在一個例子中,也可以使用由以下式(9)和式(10)規(guī)定的條件,來代替式
(7)和式(8)的條件。O < xl < blocksizeX · · · (9)O < yl < blocksizeY · · · (10)此處,blocksizeX和blocksizeY是對象塊P的水平方向的像素數(shù)、垂直方向的像素數(shù)。例如,對象塊P是8X8像素的塊的情況下,為blocksizeX=8、blocksizeY=8。通過使用式(9)和式(10)的條件,能夠將部分區(qū)域U2和部分區(qū)域L2中的、與第2小區(qū)劃SP2不相接的部分區(qū)域的運動矢量從預測運動矢量的候選中除去。由此,可以只剩下認為預測精度較高的預測運動矢量的候選。這樣設定部分區(qū)域U1、L1、U2、L2,由此,各小區(qū)劃的預測運動矢量的候選可以根據(jù)相對于小區(qū)劃間的邊界的延長線位于相同側的已處理的部分區(qū)域的運動矢量來生成。
另外,如果根據(jù)相對于小區(qū)劃SP2與包含小區(qū)劃SP2的對象塊的其他小區(qū)劃之間的邊界的延長線Ln而位于與小區(qū)劃SP2相同側的區(qū)域中的部分區(qū)域的運動矢量來生成小區(qū)劃SP2的預測運動矢量的候選,則不限于上述實施方式的預測運動矢量的生成方法。例如,部分區(qū)域U2可以是包含像素Pi3的部分區(qū)域,部分區(qū)域L2也可以是包含像素Pi4的部分區(qū)域。此外,可以將部分區(qū)域的全體相對于線Ln位于與小區(qū)劃SP2相同側的區(qū)域中作為將該部分區(qū)域的運動矢量考慮為小區(qū)劃SP2的預測運動矢量的候選的條件。該情況下,例如,能夠使用對部分區(qū)域的全部頂點的位置進行檢測這樣的方法。此外,即便部分區(qū)域相對于延長線沒有完全包含在與小區(qū)劃相同側的區(qū)域中,也可以將該部分區(qū)域的運動矢量作為該小區(qū)劃的預測運動矢量的候選。圖30是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的另一個例子的圖。如圖30中的一例所示,可以使用部分區(qū)域Ra、Rb、Rg以及Re的運動矢量作為第I小區(qū)劃SPl的預測運動矢量的候選。此外,可以在第2小區(qū)劃SP2的預測運動矢量的候選中加入部分區(qū)域Re的預測運動矢量。此外,在關于圖28和圖29的說明中,將作為預測運動矢量的候選的運動矢量的數(shù)量最大設為兩個,可以從根據(jù)上述任意一個條件求出的運動矢量中選擇兩個。例如,可以將圖29所示的部分區(qū)域U2的運動矢量和與部分區(qū)域U2相鄰的部分區(qū)域的運動矢量作為預 測運動矢量的候選。同樣,也可以將部分區(qū)域L2的運動矢量和與部分區(qū)域U2相鄰的部分區(qū)域的運動矢量作為預測運動矢量的候選。此外,也可以從由上述任意一個條件確定的運動矢量中選擇三個以上的運動矢量作為預測運動矢量的候選。此外,也可以將多個預測運動矢量的候選的平均值或中央值加入預測運動矢量的候選。此外,作為將在圖28的步驟S505-2中生成的預測運動矢量的候選的數(shù)量最大限定為一個的方法,可以使用區(qū)劃的形狀信息。例如,可以將與處理對象的小區(qū)劃相接的已編碼的部分區(qū)域中的、與該小區(qū)劃相接的部分的長度最大的部分區(qū)域的運動矢量作為預測運動矢量的候選。此外,也可以將距離處理對象的小區(qū)劃的最短距離最短的已編碼的部分區(qū)域的運動矢量作為該小區(qū)劃的預測運動矢量的候選。此外,上述的預測運動矢量的候選的生成方法能夠應用于任意形狀的小區(qū)劃。圖31是示出對象塊的小區(qū)劃與周圍的部分區(qū)域的又一個例子的圖。圖31的(A)示出由與y軸交叉的坐標和傾斜度與圖29所示的線Ln不同的線Ln所劃分的小區(qū)劃。圖31的(B)示出由傾斜度與圖29所示的線Ln關于y軸大致對稱、并且與y軸交叉的坐標不同的線Ln劃分的小區(qū)劃。圖31的(C)示出由兩個線Lnl和Ln2劃分的小區(qū)劃。此外,圖31的(D)示出由彼此交叉的兩個線Lnl和Ln2劃分的小區(qū)劃。以圖31的(A) (D)所示那樣的邊界的延長線為基準,也可以通過上述預測運動矢量的候選的生成方法,確定具有能夠作為小區(qū)劃SP2的預測運動矢量的候選的運動矢量的部分區(qū)域L2和U2。此外,小區(qū)劃不限于僅通過直線劃分的小區(qū)劃。例如,在從預先決定的圖案中選擇小區(qū)劃的形狀的情況下,也可以將屬于相對于小區(qū)劃間的邊界的延長線,位于與處理對象的小區(qū)劃相同側的區(qū)域中的已編碼的部分區(qū)域的運動矢量作為預測運動矢量的候選來使用。另外,在預先決定小區(qū)劃的形狀的圖案的情況下,也可以對各形狀圖案,預先決定具有作為預測運動矢量的候選的運動矢量的部分區(qū)域。該圖案中也可以包含將對象塊劃分為矩形的圖案。此外,還能夠將上述預測運動矢量的選擇方法應用為使用已編碼的部分區(qū)域的運動矢量來生成處理對象的小區(qū)劃的預測信號時的運動矢量的選擇方法。即,可以使用在圖28的步驟S505-2中選擇的預測運動矢量,生成處理對象的小區(qū)劃的預測信號。該情況下,不需要對差分運動矢量進行編碼,因此,將從運動預測器506輸出的預測運動矢量輸出到預測信號生成器505,而不是輸出到減法器507。此外,動態(tài)圖像編碼裝置10可以判定是否對差分運動矢量進行編碼,并對確定該判斷結果的應用信息進行編碼。在該變形方式中,運動預測器506可以包含根據(jù)應用信息來切換是將預測運動矢量輸出到減法器507還是輸出到預測信號生成器505的功能。另外,在該變形方式中,對象塊內(nèi)的全部的小區(qū)劃的運動矢量相同時,劃分對象塊失去意義,因此不優(yōu)選。即,當在圖28的步驟S505-2中生成處理對象的小區(qū)劃的運動矢量的候選時,可以將包含于對象塊中的已編碼的小區(qū)劃的運動矢量從候選中除去。例如,在對象塊被劃分為兩個小區(qū)劃,且第I小區(qū)劃的運動矢量先被編碼的情況下,將第I小區(qū)劃的運動矢量從第2小區(qū)劃的預測運動矢量的候選中除去。此外,在第I小區(qū)劃的運動矢量與部分區(qū)域U2的運動矢量相同的情況下,可以在第2小區(qū)劃的預測運動矢量的生成中不使用部分區(qū)域U2的運動矢量。在指示是否對差分運動矢量進行編碼的情況下,可以根據(jù)小區(qū)劃的形狀信息自適應地決定對上述應用信息進行算術編碼時的發(fā)生概率。例如,相比于表示不對第2小區(qū)劃的差分運動矢量進行編碼的應用信息用的發(fā)生概率,可以將表示不對第I小區(qū)劃的差分運動矢量進行編碼的應用信息用的發(fā)生概率設定得較高。這是因為,第2小區(qū)劃可能與已編碼的部分區(qū)域不相接,另一方面,第I小區(qū)劃總是與已編碼的部分區(qū)域相接,因此通過這樣設定發(fā)生概率,可以消減應用信息的代碼量。此處,為了簡單化,參照示出將對象塊分割為矩形的例子的圖32,對一個實施方式的效果進行說明。在該例中,對象塊P被直線Ln劃分為左側的小區(qū)劃SPl和右側的小區(qū)劃SP2。在該例中,將第I小區(qū)劃SPl的運動矢量和部分區(qū)域Rb的運動矢量作為第2小區(qū)劃SP2的預測運動矢量的候選。在圖32所示的例中,如果使用第I小區(qū)劃SPl的運動矢量來生成第2小區(qū)劃SP2的預測信號,則以相同的運動矢量生成第I小區(qū)劃SPl的預測信號和第2小區(qū)劃SP2的預測信號,失去了將對象塊劃分為兩個小區(qū)劃的意義。因此,第2小區(qū)劃SP2的預測信號可以使用該小區(qū)劃SP2的上側的部分區(qū)域Rb的運動矢量來生成。因此,在圖32所示的例中,編碼裝置和解碼裝置預先決定使用部分區(qū)域Rb的運動矢量來生成第2小區(qū)劃SP2的預測信號,由此,預測運動矢量的候選減少,不需要發(fā)送用于從多個預測運動矢量的候選中指示一個預測運動矢量的指示信息。此外,對動態(tài)圖像編碼裝置10判斷可否進行差分運動矢量的編碼的方法(運動預測器506根據(jù)應用信息切換是將預測運動矢量輸出到減法器507,還是輸出到預測信號生成器505)進行考察。此時,如果部分區(qū)域Rb的運動矢量與第I小區(qū)劃SPl的運動矢量相同,則選擇兩個預測運動矢量的候選中的任意一個,第2小區(qū)劃SP2的預測運動矢量都與第I小區(qū)劃SPl的運動矢量相同。因此,在兩個預測運動矢量的候選相同的情況下,編碼裝置和解碼裝置預先決定根據(jù)將差分運動矢量與預測運動矢量相加得到的運動矢量來生成第2小區(qū)劃SP2的預測信號,由此,除上述指示信息外,也不需要發(fā)送用于指示是否對差分運動矢量進行編碼的應用信息。另外,如圖33所示,在對象塊被劃分為3個以上的小區(qū)劃的情況下,如果第I小區(qū)劃SPl、第2小區(qū)劃SP2以及第3小區(qū)劃SP3具有相同的運動矢量,僅第4小區(qū)劃SP4具有不同的運動矢量,則劃分對象塊有意義。因此,該情況下,可以不分別使用部分區(qū)域Rb、部分區(qū)域Re的運動矢量,而是使用第I小區(qū)劃SPl的運動矢量來生成第2小區(qū)劃SP2的預測信號和第3小區(qū)劃SP3的預測信號。但是,關于第4小區(qū)劃SP4,如果第2小區(qū)劃SP2的運動矢量與第3小區(qū)劃SP3的運動矢量相同,則兩個預測運動矢量的候選相同,因此,預先在編碼裝置和解碼裝置中決定規(guī)則,由此不需要發(fā)送用于指示一個預測運動矢量的指示信息。此夕卜,在第I小區(qū)劃SP1、第2小區(qū)劃SP2以及第3小區(qū)劃SP3具有相同的運動矢量的情況下,如果使用第2小區(qū)劃SP2或第3小區(qū)劃SP3的運動矢量來生成第4小區(qū)劃SP4的預測信號,則四個區(qū)劃全部具有相同的運動矢量,因此,在編碼裝置和解碼裝置中預先決定規(guī)則,由此除了上述指示信息外,也不需要發(fā)送用于指示是否對差分運動矢量進行編碼的應用信息。以下,對一個實施方式的動態(tài)圖像解碼裝置進行說明。圖34是概略地示出一個實施方式的動態(tài)圖像解碼裝置的結構的圖。圖34所示的動態(tài)圖像解碼裝置20是能夠對由動態(tài)圖像編碼裝置10生成的壓縮流進行解碼并生成動態(tài)圖像的裝置。
如圖34所示,動態(tài)圖像解碼裝置20具有數(shù)據(jù)解碼器601、運動預測器602、加法器603、逆量化器604、逆變換器605、幀存儲器606、預測信號生成器607以及加法器608。數(shù)據(jù)解碼器601對經(jīng)由線L601輸入的壓縮流進行解析。數(shù)據(jù)解碼器601對作為解碼對象的塊(以下,對象塊)依次進行以下處理。數(shù)據(jù)解碼器601對與壓縮流內(nèi)的對象塊關聯(lián)的編碼數(shù)據(jù)進行解碼,復原對象塊的量化變換系數(shù),并將該量化變換系數(shù)經(jīng)由線L602輸出。此外,數(shù)據(jù)解碼器601對編碼數(shù)據(jù)進行解碼,復原對象塊的形狀信息,并將該形狀信息經(jīng)由線L603輸出。此時,指示是否劃分對象塊的區(qū)劃可否信息被復原,在該區(qū)劃可否信息表示不劃分對象塊的情況下,可以不復原形狀信息。此外,數(shù)據(jù)解碼器601對編碼數(shù)據(jù)進行解碼,由此復原對象塊內(nèi)的各小區(qū)劃用的指示信息、即指示多個預測運動矢量的候選中的一個的信息,并將該指示信息經(jīng)由線L604輸出。此外,數(shù)據(jù)解碼器601對編碼數(shù)據(jù)進行解碼,由此復原對象塊的差分運動矢量,并將該差分運動矢量經(jīng)由線L605輸出。此外,數(shù)據(jù)解碼器601可以根據(jù)對象塊的形狀信息,自適應地決定復原預測運動矢量的指示信息時的編碼數(shù)據(jù)的解碼的發(fā)生概率。作為該方法,例如能夠將指示與處理對象的小區(qū)劃相接的部分區(qū)域的運動矢量作為預測運動矢量的指示信息的發(fā)生概率設定得較高。運動預測器602根據(jù)經(jīng)由線L603輸入的形狀信息、經(jīng)由線L606輸入的處理順序在前的部分區(qū)域的運動矢量以及經(jīng)由線L604輸入的指示信息,生成處理對象的小區(qū)劃的預測運動矢量,并將該預測運動矢量經(jīng)由線L607輸出。另外,通過預定的方法將預測運動矢量的候選縮小為一個,由此還能夠省略指示信息的輸入。加法器603將經(jīng)由線L607輸入的預測運動矢量與經(jīng)由線L605輸入的差分運動矢量相加,生成對象塊或該對象塊內(nèi)的小區(qū)劃的運動矢量,并將該運動矢量經(jīng)由線L606輸出。逆量化器604對經(jīng)由線L602輸入的量化變換系數(shù)進行逆量化,由此生成逆量化變換系數(shù)。逆量化器604將生成的逆量化變換系數(shù)經(jīng)由線L608輸出。逆變換器605對經(jīng)由線L608輸入的逆量化變換系數(shù)進行逆正交變換,由此生成再現(xiàn)殘差信號。逆變換器605將生成的再現(xiàn)殘差信號經(jīng)由線L609輸出。另外,在生成的再現(xiàn)殘差信號未被量化的情況下,動態(tài)圖像解碼裝置20可以不具有逆量化器604。同樣,在生成的再現(xiàn)殘差信號未被變換的情況下,動態(tài)圖像解碼裝置20也可以不具有逆變換器605。幀存儲器606存儲經(jīng)由線L610輸入的已再現(xiàn)的圖像信號,即處理順序在處理對象的輸入圖像之前的幀圖像信號(以下稱作參照幀圖像信號)。此外,幀存儲器606經(jīng)由線L611輸出參照巾貞圖像信號。預測信號生成器607基于經(jīng)由線L606輸入的運動矢量和經(jīng)由線L603輸入的形狀信息,根據(jù)經(jīng)由線L611輸入的參照幀圖像信號的預定范圍內(nèi)的圖像信號,生成對象塊內(nèi)的各小區(qū)劃的圖像的預測信號。預測信號生成器607經(jīng)由線L612輸出生成的預測信號。另夕卜,在本說明書中省略了說明,但是,除了畫面間預測以外,也可以通過畫面內(nèi)預測生成預測信號。 加法器608將經(jīng)由線L609輸入的再現(xiàn)殘差信號與經(jīng)由線L612輸入的對象塊的預測信號相加,由此生成再現(xiàn)圖像信號。加法器608經(jīng)由線L610輸出再現(xiàn)圖像信號。圖35是示出一個實施方式的運動預測器的結構的圖。如圖35所示,運動預測器602具有運動矢量存儲器6021、運動參照目的地候選生成器6022以及預測運動矢量生成器6023。運動矢量存儲器6021存儲經(jīng)由線L606輸入的運動矢量。存儲在運動矢量存儲器6021中的運動矢量是處理順序在對象塊或處理對象的小區(qū)劃之前的已處理的部分區(qū)域的運動矢量。運動矢量存儲器6021將存儲的運動矢量經(jīng)由線L6021輸出,以便推導出處理對象的小區(qū)劃用的預測運動矢量。運動參照目的地候選生成器6022基于經(jīng)由線L603輸入的形狀信息,通過后述方法,根據(jù)經(jīng)由線L6021輸入的運動矢量生成預測運動矢量的候選,并經(jīng)由線L6022輸出。預測運動矢量生成器6023基于經(jīng)由線L604輸入的預測運動矢量的指示信息,從經(jīng)由線L6022輸入的預測運動矢量的候選中決定預測運動矢量,并將決定的預測運動矢量經(jīng)由線L607輸出。另外,將在運動參照目的地候選生成器中生成的候選的數(shù)量限定為一個,由此能夠省略用于確定應選擇的候選的指示信息的輸入。以下,對動態(tài)圖像解碼裝置20的動作和一個實施方式的動態(tài)圖像解碼方法進行說明。圖36是一個實施方式的動態(tài)圖像解碼方法的流程圖。如圖36所示,在一個實施方式中,首先,在步驟S621中,如上所述,數(shù)據(jù)解碼器601對于對象塊,針對壓縮數(shù)據(jù)內(nèi)的編碼數(shù)據(jù)進行解碼,復原對象塊的量化變換系數(shù)、形狀信息以及差分運動矢量。此外,在步驟S621中,可以復原區(qū)劃可否信息和指示信息。此外,在步驟S621中,逆量化器604可以根據(jù)被復原的量化變換系數(shù)生成逆量化變換系數(shù),逆變換器605可以根據(jù)逆量化變換系數(shù)生成再現(xiàn)殘差號。接著,在步驟S622中,運動預測器602將對象塊內(nèi)的各小區(qū)劃作為處理對象,求出處理對象的小區(qū)劃的預測運動矢量。在接下來的步驟S623中,加法器603將處理對象的小區(qū)劃的預測運動矢量與差分運動矢量相加,由此生成運動矢量。接著,在步驟S624中,預測信號生成器607使用對象塊的運動矢量,根據(jù)幀存儲器606內(nèi)的參照幀圖像信號生成預測信號。在接下來的步驟S625中,加法器608將對象塊的預測信號與再現(xiàn)殘差信號相加,由此生成再現(xiàn)圖像信號。接著,在步驟S626中,將在步驟S625中生成的再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號存儲在幀存儲器606中。在接下來的步驟S627中,判定是否對全部的塊進行了處理。在對全部的塊的處理未結束的情況下,將未處理的塊作為對象塊,繼續(xù)從步驟S621開始的處理。另一方面,在全部的塊的處理結束的情況下,處理結束。以下,對運動預測器602的動作詳細地進行說明。圖37是示出一個實施方式的運動預測器的處理的流程圖。運動預測器602根據(jù)圖37所示的流程圖,生成預測運動矢量。在一個實施方式中,在步驟S615-1中,將計數(shù)器i的值設定為“O”。以下,當i·=0時,進行對第I小區(qū)劃的處理,當i=l時,進行對第2小區(qū)劃的處理。接著,在步驟S615-2中,按照使用圖29、圖30、圖31、圖32以及圖33所敘述的上述方法,求出在處理順序在處理對象的小區(qū)劃之前的部分區(qū)域的運動矢量中,可以成為處理對象的小區(qū)劃的預測運動矢量的2種候選(左側的候選和上側的候選)。接著,在步驟S615-3中,判定在步驟S615-2中生成的候選的數(shù)量NCand是否為“O”。在NCand是“O”的情況下(是),處理進入步驟S615-4。在NCand不是“O”的情況下(否),處理進入步驟S615-5。在步驟S615-4中,預測運動矢量PMV被設定為零矢量,處理進入步驟S615-11。此時,也可不將預測運動矢量PMV設定為零矢量,而是將預先決定的塊的運動矢量或者處理順序緊挨在處理對象的小區(qū)劃之前的部分區(qū)域的運動矢量設定為預測運動矢量PMV。在步驟S615-5中,判定在步驟S615-2中生成的候選的數(shù)量NCand是否為“I”。在NCand是“I”的情況下(是),處理進入步驟S615-6。在NCand不是“I”的情況下(否),處理進入步驟S615-7。在步驟S615-6中,將在步驟S615-2中生成的一個候選設定為PMV。然后,處理進入步驟S615-11。在步驟S615-7中,取得用于指示從在步驟S615-2中生成的候選中應該選擇的PMV的信息pmv_left_flag。然后,處理進入步驟S615-8。在步驟S615-8中,判定pmv_left_flag的值是否為“I”。在pmv_left_flag的值是“I”的情況下(是),處理進入步驟S615-9。在pmV_left_flag的值不是“I”的情況下(否),處理進入步驟S615-10。在步驟S615-9中,將處理對象的小區(qū)劃的左側的部分區(qū)域的運動矢量設定為PMV。然后,處理進入步驟S615-11。在步驟S615-10中,將處理對象的小區(qū)劃的左側的部分區(qū)域的運動矢量設定為PMV。然后,處理進入步驟S615-11。在步驟S615-11中,輸出所設定的PMV。然后,處理進入步驟S615-12。接著,在步驟S615-12中,將計數(shù)器i的值加“I”。然后,處理進入步驟S615-13。接著,在步驟S615-13中,判定計數(shù)器i的值是否小于“2”。在計數(shù)器i的值小于“2”的情況下(是),處理進入步驟S615-2。另一方面,在計數(shù)器i的值不小于2的情況下(否),處理結束。另外,在步驟S615-2中,將生成的預測運動矢量的候選的數(shù)量限定為一個,由此能夠省略步驟S615-5、S615-6、S615-7、S615-8、S615-9、S615-10的處理。用于該限定的方法雖然不是關于預測運動矢量生成器6023所述的那樣限制的方法,但是,能夠利用例如使用三個候選的中間值的方法、使用兩個候選的平均值的方法、或者預先決定用于從多個預測運動矢量的候選中選擇一個預測運動矢量的優(yōu)先順序的方法這樣的方法。該情況下,在步驟S615-03中,在NCand不是“O”的情況下(否),處理進入步驟S615-6。此外,可以將上述方法應用為使用已解碼的運動矢量生成處理對象的小區(qū)劃的預測信號的情況下的運動矢量選擇方法。即,可以使用在圖37的步驟S615-2中選擇的預測運動矢量,生成處理對象的小區(qū)劃的預測信號。該情況下,由于不需要對差分運動矢量進行解碼,因此從運動預測器602輸出的預測運動矢量被輸出到預測信號生成器607,而并非加法器603。此外,也可以在數(shù)據(jù)解碼器601中對用于確定是否對差分運動矢量進行解碼的應用信息進行解碼。在該變形方式中,運動預測器602可以包含根據(jù)應用信息來切換是將預測運動矢量輸出到加法器603還是輸出到預測信號生成器607的功能。另外,在該變形方式中,對象塊內(nèi)的全部的小區(qū)劃的運動矢量相同時,劃分對象塊 失去意義,因此不優(yōu)選。因此,在該變形方式中,當在圖37的步驟S615-2中生成處理對象的小區(qū)劃的預測運動矢量的候選時,可以從預測運動矢量的候選中除去包含于對象塊中并且處理順序在處理對象的小區(qū)劃之前的小區(qū)劃的運動矢量。例如,在對象塊被劃分為兩個小區(qū)劃,第I小區(qū)劃的運動矢量先被復原的情況下,將第I小區(qū)劃的運動矢量從第2小區(qū)劃的預測運動矢量的候選中除去。此外,在第I小區(qū)劃的運動矢量與部分區(qū)域U2的運動矢量相同的情況下,可以在第2小區(qū)劃的預測運動矢量的生成中不使用部分區(qū)域U2的運動矢量。此外,在該變形方式中,可以根據(jù)形狀信息自適應地決定對用于指示是否對差分運動矢量進行解碼的應用信息進行算術解碼時的發(fā)生概率。作為該方法,例如,相比于與已解碼的部分區(qū)域不相接的第2小區(qū)劃,可以將總是與已編碼的區(qū)域相接的第I區(qū)劃的對差分運動矢量不進行編碼的概略設定得較高。另外,關于該變形方式的效果,由于已使用圖34和圖35說明,因此在此處省略。以下,對用于使計算機作為動態(tài)圖像編碼裝置10動作的動態(tài)圖像編碼程序,以及用于使計算機作為動態(tài)圖像解碼裝置20動作的動態(tài)圖像解碼程序進行說明。圖38是示出一個實施方式的動態(tài)圖像編碼程序的結構的圖。圖39是示出一個實施方式的動態(tài)圖像解碼程序的結構的圖。以下,與圖38和圖39—起,參照示出一個實施方式的計算機的硬件結構的圖18和示出一個實施方式的計算機的立體圖即圖19??梢詫D38所示的動態(tài)圖像編碼程序PlO存儲在記錄介質(zhì)SM中來提供。此外,也可將圖38所示的動態(tài)圖像解碼程序P20存儲在記錄介質(zhì)SM中來提供。另外,作為記錄介質(zhì)SM,例示了軟盤、⑶-ROM、DVD或ROM等記錄介質(zhì),或者半導體存儲器等。如上所述,計算機ClO可以具有軟盤驅動器裝置、⑶-ROM驅動器裝置、DVD驅動器裝置等讀取裝置C12、使操作系統(tǒng)常駐的工作用存儲器(RAM) C14、存儲在記錄介質(zhì)SM中存儲的程序的存儲器C16、顯示器這樣的顯示裝置C18、作為輸入裝置的鼠標C20以及鍵盤C22、用于發(fā)送/接收數(shù)據(jù)等的通信裝置C24以及控制程序的執(zhí)行的CPU C26。當將記錄介質(zhì)SM插入到讀取裝置C12中時,計算機ClO可以從讀取裝置C12訪問存儲在記錄介質(zhì)SM中的動態(tài)圖像編碼程序P10,通過該程序P10,計算機ClO可以作為動態(tài)圖像編碼裝置10進行動作。此外,當記錄介質(zhì)SM被插入到讀取裝置C12中時,計算機ClO可以從讀取裝置C12訪問存儲在記錄介質(zhì)SM中的動態(tài)圖像解碼程序P20,通過該程序P20,計算機ClO可以作為動態(tài)圖像解碼裝置20進行動作。如圖19所示,動態(tài)圖像編碼程序PlO和動態(tài)圖像解碼程序P20可以作為重疊在載波上的計算機數(shù)據(jù)信號CW,經(jīng)由網(wǎng)絡來提供。該情況下,計算機ClO能夠將由通信裝置C24接收到的動態(tài)圖像編碼程序PlO或動態(tài)圖像解碼程序P20存儲在存儲器C16中,并執(zhí)行程序 PlO 或 P20。如圖38所示,動態(tài)圖像編碼程序PlO包含塊分割模塊M101、小區(qū)劃生成器模塊M102、存儲模塊M103、運動檢測模塊M104、預測信號生成模塊M105、運動預測模塊M106、減法模塊M107、殘差信號生成模塊M108、變換模塊M109、量化模塊Ml 10、逆量化模塊Ml 11、逆變換模塊Ml 12、加法模塊Ml 13以及熵編碼模塊Ml 14。在一個實施方式中,塊分割模塊MlOl、小區(qū)劃生成器模塊M102、存儲模塊M103、運動檢測模塊M104、預測信號生成模塊M105、運動預測模塊M106、減 法模塊M107、殘差信號生成模塊M108、變換模塊M109、量化模塊Ml 10、逆量化模塊Mill、逆變換模塊Ml 12、加法模塊M113、熵編碼模塊M114分別使計算機ClO執(zhí)行與動態(tài)圖像編碼裝置10的塊分割器501、小區(qū)劃生成器502、幀存儲器503、運動檢測器504、預測信號生成器505、運動預測器506、減法器507、殘差信號生成器508、變換器509、量化器510、逆量化器511、逆變換器512、加法器513、熵編碼器514同樣的功能。根據(jù)該動態(tài)圖像編碼程序P10,計算機ClO可以作為動態(tài)圖像編碼裝置10進行動作。如圖39所示,動態(tài)圖像解碼程序P20包含數(shù)據(jù)解碼模塊M201、運動預測模塊M202、加法模塊M203、逆量化模塊M204、逆變換模塊M205、存儲模塊M206、預測信號生成模塊M207以及加法模塊M208。在一個實施方式中,數(shù)據(jù)解碼模塊M201、運動預測模塊M202、加法模塊M203、逆量化模塊M204、逆變換模塊M205、存儲模塊M206、預測信號生成模塊M207、加法模塊M208分別使計算機ClO執(zhí)行與動態(tài)圖像解碼裝置20的數(shù)據(jù)解碼器601、運動預測器602、加法器603、逆量化器604、逆變換器605、幀存儲器606、預測信號生成器607、加法器608同樣的功能。根據(jù)該動態(tài)圖像解碼程序P20,計算機ClO可以作為動態(tài)圖像解碼裝置20進行動作。以上,對各種實施方式詳細地進行了說明。但是,本發(fā)明不限于上述實施方式。本發(fā)明在不脫離其宗旨的范圍內(nèi)可以進行各種變形。標號說明100…圖像預測編碼裝置,101…輸入端子,102···塊分割器,103…預測信號生成器,104…巾貞存儲器,105…減法器,106…變換器,107…量化器,108…逆量化器,109…逆變換器,110···加法器,111···量化變換系數(shù)編碼器,112···輸出端子,113···預測塊分割類型選擇器,114···運動信息估計器,115···預測信息用存儲器,116···預測信息編碼器,201···輸入端子,202…數(shù)據(jù)解析器,203…逆量化器,204…逆變換器,205···加法器,206…輸出端子,207…量化變換系數(shù)解碼器,208…預測信息解碼器,10···動態(tài)圖像編碼裝置,20···動態(tài)圖像解碼裝置,501···塊分割器,502…小區(qū)劃生成器,503···巾貞存儲器,504…運動檢測器,505···預測信號生成器,506…運動預測器,507···減法器,508…殘差信號生成器,509…變換器,510…量化器,511···逆量化器,512···逆變換器,513···加法器,514…熵編碼器,601···數(shù)據(jù)解碼器,602…運動預測器,603…加法器,604…逆量化器,605…逆變換器,606…巾貞存儲器,607…預測信號生成器,608…加法器,5061…運動矢量存儲器,5062…運動參照目的地候選生成器,5063···預測運動矢量生成器,6021···運動矢量存儲器,6022···運動參照目的地候選
生成器,6023···預測運動矢量生成器。
權利要求
1.一種圖像預測編碼裝置,其特征在于,該圖像預測編碼裝置具有 區(qū)域分割單元,其將輸入圖像分割為多個區(qū)域; 預測信息估計單元,其將由所述區(qū)域分割單元分割的作為編碼對象的對象區(qū)域細分割為多個預測區(qū)域,決定表示適合所述對象區(qū)域的預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型,分別預測用于從已再現(xiàn)信號中取得與該多個預測區(qū)域的相關性高的信號的運動信息,求出包含所述預測塊分割類型和所述運動信息的預測信息; 預測信息編碼單元,其對所述對象區(qū)域附帶的預測信息進行編碼; 預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號生成單元,其生成基于所述對象區(qū)域的預測信號和所述對象區(qū)域的像素信號的殘差信號; 殘差信號編碼單元,其對由所述殘差信號生成單元生成的殘差信號進行編碼; 殘差信號復原單元,其對所述殘差信號的編碼數(shù)據(jù)進行解碼,由此生成再現(xiàn)殘差信號;以及 記錄單元,其將所述預測信號與所述再現(xiàn)殘差信號相加,由此生成所述對象區(qū)域的復原像素信號,并將該復原像素信號作為所述已再現(xiàn)信號進行保存, 所述預測信息編碼單元具有保存已編碼的預測信息的預測信息保存單元, 所述預測信息編碼單元對所述對象區(qū)域的預測塊分割類型進行編碼,將該預測塊分割類型保存在所述預測信息保存單元中, 所述預測信息編碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 所述預測信息編碼單元根據(jù)選出的所述運動信息的候選的數(shù)量,對指示使用所選出的運動信息的候選來生成所述對象預測區(qū)域的預測信號的合并塊信息和由所述預測信息估計單元檢測到的運動信息,或者該合并塊信息和該運動信息中的任意一方進行編碼,將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
2.根據(jù)權利要求1所述的圖像預測編碼裝置,其特征在于, 所述預測信息編碼單元根據(jù)所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量、所述對象區(qū)域的預測塊分割類型以及與所述對象區(qū)域相鄰的相鄰區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出對象預測區(qū)域的運動信息的候選。
3.根據(jù)權利要求1所述的圖像預測編碼裝置,其特征在于, 所述預測信息編碼單元根據(jù)所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量和所述對象區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出該對象預測區(qū)域的運動信息的候選, 當所述對象區(qū)域被分割為兩個預測區(qū)域,并且所述對象預測區(qū)域是在所述對象區(qū)域內(nèi)第2個被編碼的預測區(qū)域時,選出與所述對象預測區(qū)域相鄰、且不包含于所述對象區(qū)域中的區(qū)域的運動信息,作為用于該對象預測區(qū)域的預測信號的生成的運動信息的候選。
4.根據(jù)權利要求1所述的圖像預測編碼裝置,其特征在于, 所述預測信息編碼單元根據(jù)所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量、所述對象區(qū)域的預測塊分割類型、所述對象區(qū)域內(nèi)的已編碼運動信息以及與所述對象區(qū)域相鄰的相鄰區(qū)域的運動信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 當所述對象區(qū)域被分割為兩個預測區(qū)域,所述對象預測區(qū)域是在所述對象區(qū)域內(nèi)第2個被編碼的預測區(qū)域,并且所述對象區(qū)域的第I個被編碼的預測區(qū)域的運動信息與和所述對象預測區(qū)域相鄰且不包含于所述對象區(qū)域中的區(qū)域的運動信息相同時,判斷為在所述對象預測區(qū)域的預測信號的生成中不利用與所述對象預測區(qū)域相鄰的區(qū)域的運動信息,并對運動信息進行編碼。
5.一種圖像預測解碼裝置,其特征在于,該圖像預測解碼裝置具有 數(shù)據(jù)解析單元,其從分割為多個區(qū)域并被編碼的圖像的壓縮數(shù)據(jù)中,提取指示在作為解碼對象的對象區(qū)域的信號的預測中使用的預測方法的預測信息的編碼數(shù)據(jù)、所述對象區(qū)域的預測信號的編碼數(shù)據(jù)以及殘差信號的編碼數(shù)據(jù); 預測信息解碼單元,其對所述預測信息的編碼數(shù)據(jù)進行解碼,并對表示所述對象區(qū)域的細分割區(qū)域即多個預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型、以及用于從已再現(xiàn)信號中取得各預測區(qū)域的預測信號的運動信息進行復原; 預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號復原單元,其根據(jù)所述殘差信號的編碼數(shù)據(jù)復原所述對象區(qū)域的再現(xiàn)殘差信號;以及 記錄單元,其通過將所述預測信號與所述再現(xiàn)殘差信號相加來復原所述對象區(qū)域的像素信號,并將該像素信號作為所述已再現(xiàn)信號進行保存, 所述預測信息解碼單元具有保存已解碼的預測信息的預測信息保存單元, 所述預測信息解碼單元對所述對象區(qū)域的預測塊分割類型進行解碼并保存在所述預測信息保存單元中, 所述預測信息解碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已解碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 所述預測信息解碼單元根據(jù)所選出的所述運動信息的候選的數(shù)量,對指示使用所選出的運動信息的候選來生成所述對象預測區(qū)域的預測信號的合并塊信息和運動信息,或者該合并塊信息和該運動信息中的任意一方進行解碼,并將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
6.根據(jù)權利要求5所述的圖像預測解碼裝置,其特征在于, 所述預測信息解碼單元根據(jù)所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量、所述對象區(qū)域的預測塊分割類型以及與所述對象區(qū)域相鄰的相鄰區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出該對象預測區(qū)域的運動信息的候選。
7.根據(jù)權利要求5所述的圖像預測解碼裝置,其特征在于, 所述預測信息解碼單元根據(jù)所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量和所述對象區(qū)域的預測塊分割類型,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 當所述對象區(qū)域被分割為兩個預測區(qū)域,并且所述對象預測區(qū)域是在所述對象區(qū)域內(nèi)第2個被解碼的預測區(qū)域時,選出與所述對象預測區(qū)域相鄰、且不包含于所述對象區(qū)域中的區(qū)域的運動信息,作為對象預測區(qū)域的運動信息的候選。
8.根據(jù)權利要求5所述的圖像預測解碼裝置,其特征在于, 所述預測信息解碼單元根據(jù)所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量、所述對象區(qū)域的預測塊分割類型、所述對象區(qū)域內(nèi)的已解碼運動區(qū)域以及與所述對象區(qū)域相鄰的相鄰區(qū)域的運動信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 當所述對象區(qū)域被分割為兩個預測區(qū)域,所述對象預測區(qū)域是在所述對象區(qū)域內(nèi)第2個被解碼的預測區(qū)域,并且所述對象區(qū)域的第I個被解碼的預測區(qū)域的運動信息與和所述對象預測區(qū)域相鄰且不包含于所述對象區(qū)域中的區(qū)域的運動信息相同時,判斷為在所述對象預測區(qū)域的預測信號的生成中不利用與所述對象預測區(qū)域相鄰的區(qū)域的運動信息,并對運動信息進行解碼。
9.一種圖像預測編碼方法,其特征在于,該圖像預測編碼方法包含以下步驟 區(qū)域分割步驟,將輸入圖像分割為多個區(qū)域; 預測信息估計步驟,將通過所述區(qū)域分割步驟分割的作為編碼對象的對象區(qū)域細分割為多個預測區(qū)域,決定表示適合所述對象區(qū)域的預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型,分別預測用于從已再現(xiàn)信號中取得與該多個預測區(qū)域的相關性高的信號的運動信息,求出包含所述預測塊分割類型和所述運動信息的預測信息; 預測信息編碼步驟,對所述對象區(qū)域附帶的預測信息進行編碼; 預測信號生成步驟,根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號生成步驟,生成基于所述對象區(qū)域的預測信號和所述對象區(qū)域的像素信號的殘差號; 殘差信號編碼步驟,對通過所述殘差信號生成步驟生成的殘差信號進行編碼; 殘差信號復原步驟,對所述殘差信號的編碼數(shù)據(jù)進行解碼,由此生成再現(xiàn)殘差信號;以及 記錄步驟,將所述預測信號與所述再現(xiàn)殘差信號相加,由此生成所述對象區(qū)域的復原像素信號,并將該復原像素信號作為所述已再現(xiàn)信號進行保存, 在所述預測信息編碼步驟中, 對所述對象區(qū)域的預測塊分割類型進行編碼,將該預測塊分割類型保存在保存已編碼的預測信息的預測信息保存單元中, 根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 根據(jù)選出的所述運動信息的候選的數(shù)量,對指示使用所選出的運動信息的候選來生成所述對象預測區(qū)域的預測信號的合并塊信息和通過所述預測信息估計步驟檢測到的運動信息,或者該合并塊信息和該運動信息中的任意一方進行編碼,將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
10.一種圖像預測編碼程序,其特征在于,該圖像預測編碼程序使計算機作為以下單元發(fā)揮作用 區(qū)域分割單元,其將輸入圖像分割為多個區(qū)域; 預測信息估計單元,其將由所述區(qū)域分割單元分割的作為編碼對象的對象區(qū)域細分割為多個預測區(qū)域,決定表示適合所述對象區(qū)域的預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型,分別預測用于從已再現(xiàn)信號中取得與該多個預測區(qū)域的相關性高的信號的運動信息,求出包含所述預測塊分割類型和所述運動信息的預測信息; 預測信息編碼單元,其對所述對象區(qū)域附帶的預測信息進行編碼; 預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號生成單元,其生成基于所述對象區(qū)域的預測信號和所述對象區(qū)域的像素信號的殘差信號; 殘差信號編碼單元,其對由所述殘差信號生成單元生成的殘差信號進行編碼; 殘差信號復原單元,其對所述殘差信號的編碼數(shù)據(jù)進行解碼,由此生成再現(xiàn)殘差信號;以及 記錄單元,其將所述預測信號與所述再現(xiàn)殘差信號相加,由此生成所述對象區(qū)域的復原像素信號,并將該復原像素信號作為所述已再現(xiàn)信號進行保存, 所述預測信息編碼單元具有保存已編碼的預測信息的預測信息保存單元, 所述預測信息編碼單元對所述對象區(qū)域的預測塊分割類型進行編碼,將該預測塊分割類型保存在所述預測信息保存單元中, 所述預測信息編碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 所述預測信息編碼單元根據(jù)選出的所述運動信息的候選的數(shù)量,對指示使用所選出的運動信息的候選來生成所述對象預測區(qū)域的預測信號的合并塊信息和由所述預測信息估計單元檢測到的運動信息,或者該合并塊信息和該運動信息中的任意一方進行編碼,將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
11.一種圖像預測解碼方法,其特征在于,該圖像預測解碼方法包含以下步驟 數(shù)據(jù)解析步驟,從分割為多個區(qū)域并被編碼的圖像的壓縮數(shù)據(jù)中,提取指示在作為解碼對象的對象區(qū)域的信號的預測中使用的預測方法的預測信息的編碼數(shù)據(jù)、所述對象區(qū)域的預測信號的編碼數(shù)據(jù)以及殘差信號的編碼數(shù)據(jù);預測信息解碼步驟,對所述預測信息的編碼數(shù)據(jù)進行解碼,并對表示所述對象區(qū)域的細分割區(qū)域即多個預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型、以及用于從已再現(xiàn)信號中取得各預測區(qū)域的預測信號的運動信息進行復原; 預測信號生成步驟,根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號復原步驟,根據(jù)所述殘差信號的編碼數(shù)據(jù)復原所述對象區(qū)域的再現(xiàn)殘差信號;以及 記錄步驟,通過將所述預測信號與所述再現(xiàn)殘差信號相加來復原所述對象區(qū)域的像素信號,并將該像素信號作為所述已再現(xiàn)信號進行保存, 在所述預測信息解碼步驟中, 對所述對象區(qū)域的預測塊分割類型進行解碼并將該預測塊分割類型保存在保存已解碼的預測信息的預測信息保存單元中, 根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已解碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選, 根據(jù)所選出的所述運動信息的候選的數(shù)量,對指示使用了所選出的運動信息的候選的所述對象預測區(qū)域的預測信號的生成的合并塊信息和運動信息,或者該合并塊信息和該運動信息中的任意一方進行解碼,并將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
12.—種圖像預測解碼程序,其特征在于,該圖像預測解碼程序使計算機作為以下單元發(fā)揮作用 數(shù)據(jù)解析單元,其從分割為多個區(qū)域并被編碼的圖像的壓縮數(shù)據(jù)中,提取指示在作為解碼對象的對象區(qū)域的信號的預測中使用的預測方法的預測信息的編碼數(shù)據(jù)、所述對象區(qū)域的預測信號的編碼數(shù)據(jù)以及殘差信號的編碼數(shù)據(jù); 預測信息解碼單元,其對所述預測信息的編碼數(shù)據(jù)進行解碼,并對表示所述對象區(qū)域的細分割區(qū)域即多個預測區(qū)域的數(shù)量和區(qū)域形狀的預測塊分割類型、以及用于從已再現(xiàn)信號中取得各預測區(qū)域的預測信號的運動信息進行復原; 預測信號生成單元,其根據(jù)所述對象區(qū)域附帶的預測信息,生成所述對象區(qū)域的預測信號; 殘差信號復原單元,其根據(jù)所述殘差信號的編碼數(shù)據(jù)復原所述對象區(qū)域的再現(xiàn)殘差信號;以及 記錄單元,其通過將所述預測信號與所述再現(xiàn)殘差信號相加來復原所述對象區(qū)域的像素信號,并將該像素信號作為所述已再現(xiàn)信號進行保存, 所述預測信息解碼單元具有保存已解碼的預測信息的預測信息保存單元, 所述預測信息解碼單元對所述對象區(qū)域的預測塊分割類型進行解碼并保存在所述預測信息保存單元中, 所述預測信息解碼單元根據(jù)與所述對象區(qū)域相鄰的相鄰區(qū)域的預測信息、所述對象區(qū)域內(nèi)的已解碼預測區(qū)域的數(shù)量以及所述對象區(qū)域的已解碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已解碼運動信息中選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選,所述預測信息解碼單元根據(jù)所選出的所述運動信息的候選的數(shù)量,對指示使用所選出的運動信息的候選來生成所述對象預測區(qū)域的預測信號的合并塊信息和運動信息,或者該合并塊信息和該運動信息中的任意一方進行解碼,并將用于所述對象預測區(qū)域的預測信號的生成的運動信息保存在所述預測信息保存單元中。
13.一種動態(tài)圖像編碼裝置,其特征在于,該動態(tài)圖像編碼裝置具有 分割單元,其將動態(tài)圖像中的輸入圖像分割為多個區(qū)劃; 小區(qū)劃生成單元,其將由所述分割單元生成的處理對象的區(qū)劃劃分為多個小區(qū)劃,生成確定該小區(qū)劃的形狀的形狀信息; 運動檢測單元,其檢測所述處理對象的區(qū)劃的運動矢量; 預測信號生成單元,其使用由所述運動檢測單元檢測到的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成所述處理對象的區(qū)劃的預測信號; 運動預測單元,其根據(jù)由所述小區(qū)劃生成單元生成的形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 差分運動矢量生成單元,其根據(jù)在所述處理對象的區(qū)劃的預測信號的生成中使用的運動矢量與所述預測運動矢量的差分,生成差分運動矢量; 殘差信號生成單元,其生成基于所述預測信號與所述處理對象的區(qū)劃的像素信號之間的差分的殘差信號; 加法單元,其將所述殘差信號與所述預測信號相加,生成再現(xiàn)圖像信號; 存儲單元,其將所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲; 編碼單元,其對由所述殘差信號生成單元生成的殘差信號、由所述差分矢量生成單元生成的差分運動矢量以及由所述小區(qū)劃生成單元生成的形狀信息進行編碼,生成壓縮數(shù)據(jù), 在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,所述運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,上述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
14.一種對動態(tài)圖像進行編碼的方法,其特征在于,該方法包含以下步驟 分割步驟,將所述動態(tài)圖像中的輸入圖像分割為多個區(qū)劃; 小區(qū)劃生成步驟,將在所述分割步驟中生成的處理對象的區(qū)劃劃分為多個小區(qū)劃,生成確定該小區(qū)劃的形狀的形狀信息; 運動檢測步驟,檢測所述處理對象的區(qū)劃的運動矢量; 預測信號生成步驟,使用在所述運動檢測步驟中檢測到的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成所述處理對象的區(qū)劃的預測信號; 運動預測步驟,根據(jù)在所述小區(qū)劃生成步驟中生成的形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 差分運動矢量生成步驟,根據(jù)在所述處理對象的區(qū)劃的預測信號的生成中使用的運動矢量與所述預測運動矢量的差分,生成差分運動矢量; 殘差信號生成步驟,生成基于所述預測信號與所述處理對象的區(qū)劃的像素信號之間的差分的殘差信號; 加法步驟,將所述殘差信號與所述預測信號相加,生成再現(xiàn)圖像信號; 存儲步驟,將所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲; 編碼步驟,對在所述殘差信號生成步驟中生成的殘差信號、在所述差分運動矢量生成步驟中生成的差分運動矢量以及在所述小區(qū)劃生成步驟中生成的形狀信息進行編碼,生成壓縮數(shù)據(jù), 在所述運動預測步驟中,在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,上述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
15.一種動態(tài)圖像編碼程序,其特征在于,該動態(tài)圖像編碼程序使計算機作為以下單元發(fā)揮作用 分割單元,其將動態(tài)圖像中的輸入圖像分割為多個區(qū)劃; 小區(qū)劃生成單元,其將由所述分割單元生成的處理對象的區(qū)劃劃分為多個小區(qū)劃,生成確定該小區(qū)劃的形狀的形狀信息; 運動檢測單元,其檢測所述處理對象的區(qū)劃的運動矢量; 預測信號生成單元,其使用由所述運動檢測單元檢測到的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成所述處理對象的區(qū)劃的預測信號; 運動預測單元,其根據(jù)由所述小區(qū)劃生成單元生成的形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 差分運動矢量生成單元,其根據(jù)在所述處理對象的區(qū)劃的預測信號的生成中使用的運動矢量與所述預測運動矢量的差分,生成差分運動矢量; 殘差信號生成單元,其生成基于所述預測信號與所述處理對象的區(qū)劃的像素信號之間的差分的殘差信號; 加法單元,其將所述殘差信號與所述預測信號相加,生成再現(xiàn)圖像信號; 存儲單元,其將所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號進行存儲; 編碼單元,其對由所述殘差信號生成單元生成的殘差信號、由所述差分矢量生成單元生成的差分運動矢量以及由所述小區(qū)劃生成單元生成的形狀信息進行編碼,生成壓縮數(shù)據(jù), 在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,所述運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,上述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
16.一種動態(tài)圖像解碼裝置,其特征在于,該動態(tài)圖像解碼裝置具有解碼單元,其對壓縮數(shù)據(jù)進行解碼,生成圖像內(nèi)的處理對象的區(qū)劃的再現(xiàn)殘差信號、該處理對象的區(qū)劃的差分運動矢量以及確定該處理對象的區(qū)劃內(nèi)的多個小區(qū)劃的形狀的形狀信息; 運動預測單元,其根據(jù)所述形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 矢量加法單元,其將由所述運動預測單元生成的預測運動矢量與由所述解碼單元生成的差分運動矢量相加,生成所述處理對象的區(qū)劃的運動矢量; 預測信號生成單元,其根據(jù)所述處理對象的區(qū)劃的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成該處理對象的區(qū)劃的預測信號; 加法單元,其將所述預測信號與由所述解碼單元生成的再現(xiàn)殘差信號相加,生成再現(xiàn)圖像信號;以及 存儲單元,其存儲所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號, 在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,所述運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,所述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域和位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
17.—種對壓縮數(shù)據(jù)進行解碼而生成動態(tài)圖像的方法,其特征在于,該方法包含以下步驟 解碼步驟,對所述壓縮數(shù)據(jù)進行解碼,生成圖像內(nèi)的處理對象的區(qū)劃的再現(xiàn)殘差信號、該處理對象的區(qū)劃的差分運動矢量以及確定該處理對象的區(qū)劃內(nèi)的多個小區(qū)劃的形狀的形狀信息; 運動預測步驟,根據(jù)所述形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 矢量加法步驟,將在所述運動預測步驟中生成的預測運動矢量與在所述解碼步驟中生成的差分運動矢量相加,生成所述處理對象的區(qū)劃的運動矢量; 預測信號生成步驟,根據(jù)所述處理對象的區(qū)劃的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成該處理對象的區(qū)劃的預測信號; 加法步驟,將所述預測信號與在所述解碼步驟中生成的再現(xiàn)殘差信號相加,生成再現(xiàn)圖像信號;以及 存儲步驟,存儲所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號, 在所述運動預測步驟中,在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,所述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域與位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
18.—種動態(tài)圖像解碼程序,其特征在于,該動態(tài)圖像解碼程序使計算機作為以下單元發(fā)揮作用 解碼單元,其對壓縮數(shù)據(jù)進行解碼,生成圖像內(nèi)的處理對象的區(qū)劃的再現(xiàn)殘差信號、該處理對象的區(qū)劃的差分運動矢量以及確定該處理對象的區(qū)劃內(nèi)的多個小區(qū)劃的形狀的形狀信息; 運動預測單元,其根據(jù)所述形狀信息和處理順序在所述處理對象的區(qū)劃之前的區(qū)劃或小區(qū)劃即已處理的部分區(qū)域的運動矢量,生成所述處理對象的區(qū)劃的預測運動矢量; 矢量加法單元,其將由所述運動預測單元生成的預測運動矢量與由所述解碼單元生成的差分運動矢量相加,生成所述處理對象的區(qū)劃的運動矢量; 預測信號生成單元,其根據(jù)所述處理對象的區(qū)劃的運動矢量,根據(jù)已再現(xiàn)的圖像信號生成該處理對象的區(qū)劃的預測信號; 加法單元,其將所述預測信號與由所述解碼單元生成的再現(xiàn)殘差信號相加,生成再現(xiàn)圖像信號;以及 存儲單元,其存儲所述再現(xiàn)圖像信號作為已再現(xiàn)的圖像信號, 在所述處理對象的區(qū)劃內(nèi)的處理對象的小區(qū)劃與處理順序在該處理對象的小區(qū)劃之前的區(qū)劃不相接的情況下,所述運動預測單元根據(jù)如下的已處理的部分區(qū)域的運動矢量,生成該處理對象的小區(qū)劃的預測運動矢量,其中,所述已處理的部分區(qū)域屬于相對于該處理對象的小區(qū)劃與該處理對象的區(qū)劃內(nèi)的其他小區(qū)劃之間的邊界的延長線而位于一側的區(qū)域與位于另一側的區(qū)域中的包含所述處理對象的小區(qū)劃的區(qū)域。
全文摘要
在一個實施方式中,圖像內(nèi)的編碼對象區(qū)域被分割為多個預測區(qū)域。根據(jù)與對象區(qū)域相鄰的相鄰區(qū)域的預測信息、該對象區(qū)域內(nèi)的已編碼預測區(qū)域的數(shù)量以及該對象區(qū)域的已編碼預測信息,從與作為下一個預測區(qū)域的對象預測區(qū)域相鄰的區(qū)域的已編碼運動信息中,選出用于該對象預測區(qū)域的預測信號的生成的運動信息的候選。根據(jù)所選出的運動信息的候選的數(shù)量,對指示使用了選出的運動信息的候選的對象預測區(qū)域的預測信號的生成的合并塊信息和由預測信息估計單元檢測到的運動信息,或者,該合并塊信息和該運動信息中的任意一方進行編碼,并將用于對象預測區(qū)域的預測信號的生成的運動信息保存在預測信息保存單元中。
文檔編號H04N7/32GK103004206SQ20118003534
公開日2013年3月27日 申請日期2011年7月14日 優(yōu)先權日2010年7月20日
發(fā)明者鈴木芳典, 瀧上順也, 文仲丞, 陳朝慶 申請人:株式會社Ntt都科摩