專(zhuān)利名稱(chēng)：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法，具體地，涉及使得能夠在不增大處理負(fù)荷的情況下生成高度精確的預(yù)測(cè)圖像的圖像處理設(shè)備和方法。
背景技術(shù)：
傳統(tǒng)上，使用動(dòng)作補(bǔ)償(如，MPEG (運(yùn)動(dòng)圖像專(zhuān)家組)或H. 26x)和正交變換(如， 離散余弦變換、Karhimen Loeve變換或小波變換)的編碼方法已經(jīng)通常用作應(yīng)對(duì)運(yùn)動(dòng)圖像的情況下的編碼方法。在這些運(yùn)動(dòng)圖像編碼方法中，通過(guò)使用要進(jìn)行編碼的輸入圖像信號(hào)的特性之中的空間方向和時(shí)間方向上的相關(guān)性，代碼量得到降低。例如，在H. 264中，將單向預(yù)測(cè)或雙向預(yù)測(cè)用于通過(guò)使用時(shí)間方向上的相關(guān)性來(lái)生成作為用作幀間幀預(yù)測(cè)(幀間預(yù)測(cè))的目標(biāo)的幀的幀間幀(inter-frame)。幀間幀預(yù)測(cè)基于不同時(shí)間的幀生成預(yù)測(cè)圖像。圖1是圖示單向預(yù)測(cè)的示例的示圖。如圖1所示，在通過(guò)單向預(yù)測(cè)生成待編碼幀PO(其為當(dāng)前時(shí)間要編碼的幀)的情況下，通過(guò)將在時(shí)間上相對(duì)于當(dāng)前時(shí)間過(guò)去或?qū)?lái)的時(shí)間的編碼幀用作參考幀來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償。使用時(shí)間方向上的相關(guān)性對(duì)預(yù)測(cè)圖像和實(shí)際圖像之間的殘差(residual)進(jìn)行編碼， 從而可以減少代碼量。參考幀信息和運(yùn)動(dòng)矢量分別用作指定參考幀的信息和指定要在參考幀中參照的位置的信息，并且將這些個(gè)信息從編碼側(cè)發(fā)送至解碼側(cè)。這里，參考幀的數(shù)目不一定是一個(gè)。例如，在H. 264中，可以將多個(gè)幀用作參考幀。 當(dāng)將在時(shí)間上接近于待編碼幀PO的兩個(gè)幀用作參考幀RO和Rl時(shí)，如圖1中所示，可以根據(jù)參考幀RO或Rl中的任意像素的像素值預(yù)測(cè)待編碼幀PO中任意宏塊(macroblock)的像素值。圖1中各個(gè)幀內(nèi)部圖示的方框表示宏塊。當(dāng)假設(shè)作為預(yù)測(cè)目標(biāo)的待編碼幀PO中的宏塊為宏塊MBPO時(shí)，對(duì)應(yīng)于宏塊MBPO的參考幀RO中的宏塊是由運(yùn)動(dòng)矢量MVO指定的宏塊MBR0。此外，參考幀Rl中的宏塊是由運(yùn)動(dòng)矢量MVl指定的宏塊MBRl。當(dāng)假設(shè)宏塊MBRO和MBRl的像素值(運(yùn)動(dòng)補(bǔ)償圖像的像素值)是MC0(i，j)和 MCl (i，j)時(shí)，由于任何運(yùn)動(dòng)補(bǔ)償圖像的像素值在單向預(yù)測(cè)中都用作預(yù)測(cè)圖像的像素值，因此由下列等式(1)表達(dá)預(yù)測(cè)圖像I^red(i，j)。(i，j)表示宏塊中像素的相對(duì)位置，并且滿(mǎn)足 0彡i彡16且0彡j彡16。在等式(1)中，‘‘I I 〃表示采用MC0(i，j)和MCl(i，j)中任何的值。[算式1]Pred(Lj)=MCtl(Lj)IlMC1(Lj) ... (1)此外，可以將16 X 16像素的單個(gè)宏塊分割為例如具有大小為16 X 8像素的更小的塊，并且可以通過(guò)參考不同的參考幀對(duì)通過(guò)分割形成的各個(gè)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償。通過(guò)發(fā)送小數(shù)(decimal)精度的運(yùn)動(dòng)矢量(而不是整數(shù)精度的運(yùn)動(dòng)矢量)，并且通過(guò)使用根據(jù)標(biāo)準(zhǔn)定義的^R濾波器進(jìn)行內(nèi)插，可以將要參考的對(duì)應(yīng)位置周?chē)南袼氐南袼刂涤糜谶\(yùn)動(dòng)補(bǔ)償。
圖2是圖示雙向預(yù)測(cè)的示例的示圖。如圖2所示，在通過(guò)雙向預(yù)測(cè)生成待編碼幀BO(其為當(dāng)前時(shí)間要編碼的幀)的情況下，通過(guò)將在時(shí)間上相對(duì)于當(dāng)前時(shí)間過(guò)去和將來(lái)的時(shí)間的編碼幀用作參考幀來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償。使用與這些幀的相關(guān)性對(duì)預(yù)測(cè)圖像和實(shí)際圖像之間的殘差進(jìn)行編碼，從而可以減少代碼量。在H. 264中，也可以將多個(gè)過(guò)去的幀和多個(gè)后續(xù)的幀用作參考幀。如圖2所示，當(dāng)在待編碼幀BO用作基礎(chǔ)的情況下將一個(gè)過(guò)去的幀和一個(gè)后續(xù)的幀用作參考幀LO和Ll時(shí)，基于參考幀LO和Ll的任意像素的像素值，可以預(yù)測(cè)待編碼幀BO 中任意宏塊的像素值。在圖2的示例中，對(duì)應(yīng)于待編碼幀BO中宏塊MBBO的參考幀LO中的宏塊是由運(yùn)動(dòng)矢量MVO指定的宏塊MBL0。此外，對(duì)應(yīng)于待編碼幀BO中宏塊MBBO的參考幀Ll中的宏塊是由運(yùn)動(dòng)矢量MVl指定的宏塊MBLl。當(dāng)假設(shè)宏塊MBLO和MBLl的像素值分別是MCO (i，j)和MCl (i，j)時(shí)，可以獲得預(yù)測(cè)圖像I^red (i，j)的像素值ft~ed(i，j)作為這些像素值的平均值，如下列等式( 所表達(dá)的。[算式2]Pred(i,j) = (MC0(i, j)+MC1 (i, j))/2 - (2)在使用單向預(yù)測(cè)的前述動(dòng)作補(bǔ)償中，通過(guò)增大運(yùn)動(dòng)矢量的精度并減小宏塊的尺寸以減小相對(duì)于實(shí)際圖像的殘差，增大了預(yù)測(cè)圖像的精度，從而增大了編碼效率。此外，在使用雙向預(yù)測(cè)的動(dòng)作補(bǔ)償中，將在時(shí)間上接近的參考幀的像素的像素值的平均用作預(yù)測(cè)圖像的像素的像素值，從而根據(jù)概率的觀(guān)點(diǎn)，在預(yù)測(cè)殘差中實(shí)現(xiàn)了穩(wěn)定的降低。此外，作為另一方法，提出了使用像素值的動(dòng)作補(bǔ)償和HR濾波將時(shí)間方向上的相關(guān)性轉(zhuǎn)換為空間分辨率并使用空間分辨率的方法(例如，參見(jiàn)NPL 1)。在NPL 1描述的方法中，將時(shí)間方向上的相關(guān)性用于對(duì)輸入圖像序列進(jìn)行的分辨率增大處理。特別地，計(jì)算關(guān)于已經(jīng)進(jìn)行了運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償?shù)倪^(guò)去圖像和當(dāng)前圖像之間差異(difference)的差異信息，并且將該差異信息反饋至目標(biāo)當(dāng)前圖像，從而恢復(fù)輸入圖像中包括的高頻分量。引用列表非專(zhuān)利文獻(xiàn)NPL 1 “ Improving Resolution by Image Registration" ,MICHAL IRANI AND SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem, 91904 Jerusalem, Israel,Communicated by Rama Chellapa，1989 年 6 月 16 日收到；1990 年5月25日收錄

發(fā)明內(nèi)容
技術(shù)問(wèn)題在傳統(tǒng)的單向預(yù)測(cè)的情況下，即使在可以選擇多個(gè)參考幀的時(shí)候，也需要選擇性地使用參考幀中任何一個(gè)的像素值作為待編碼幀的像素值。由此，由于未選擇的參考幀不用于運(yùn)動(dòng)補(bǔ)償，因此未充分地使用參考幀和待編碼幀之間的時(shí)間相關(guān)性，根據(jù)增大編碼效率的觀(guān)點(diǎn)，存在許多有待改善。此外，在傳統(tǒng)的雙向預(yù)測(cè)的情況下，使用兩個(gè)參考幀的像素值的平均值作為待編碼幀的像素值，以便進(jìn)行時(shí)間上的低通濾波處理并且從預(yù)測(cè)圖像中失去了高頻分量。結(jié)果， 由于包括高頻分量的殘差信號(hào)不能被編碼，因此通過(guò)解碼獲得的圖像不包括高頻分量，并且分辨率退化。進(jìn)而，通過(guò)以NPL 2中所述的方法對(duì)關(guān)于兩個(gè)或更多個(gè)參考幀的信息進(jìn)行濾波并且使用它，相比于傳統(tǒng)的雙向預(yù)測(cè)，可以更高精度地進(jìn)行預(yù)測(cè)。然而，在此情況下，需要將涉及兩個(gè)或更多個(gè)參考幀的運(yùn)動(dòng)矢量信息發(fā)送至解碼器。即，為了增大預(yù)測(cè)精度，大量的控制信息是必要的，這根據(jù)編碼效率的觀(guān)點(diǎn)可能不是高效的。本發(fā)明鑒于這些情形而做出，并且目標(biāo)在于通過(guò)降低對(duì)于進(jìn)行雙向預(yù)測(cè)或者參考多個(gè)圖像所需要的運(yùn)動(dòng)矢量的代碼量，使得可以使用少量的控制信息生成高度精確的預(yù)測(cè)圖像。問(wèn)題的解決方案本發(fā)明的一方面是圖像處理設(shè)備，包括解碼部件，其用于對(duì)編碼圖像進(jìn)行解碼； 生成部件，其用于通過(guò)將解碼部件解碼的圖像與預(yù)測(cè)圖像相加以生成解碼圖像；第一提取部件，其用于通過(guò)將生成部件生成的解碼圖像所形成的幀用作參考幀，借助于編碼圖像的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；第二提取部件，其用于從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像； 以及預(yù)測(cè)圖像生成部件，其用于通過(guò)對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。所述第二提取部件可以通過(guò)使用由對(duì)圖像進(jìn)行編碼的編碼設(shè)備共享的特定的成本函數(shù)，從參考幀中提取出與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像。所述成本函數(shù)可以是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的差異值的絕對(duì)值的總和的函數(shù)。所述成本函數(shù)可以是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的最小平方誤差的函數(shù)。所述預(yù)測(cè)圖像生成部件可以包括第一濾波器部件，其用于對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像之間的差異圖像進(jìn)行低通濾波； 第二濾波器部件，其用于對(duì)通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像進(jìn)行高通濾波；以及相加部件，其用于將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像中的任何一個(gè)，從而生成預(yù)測(cè)圖像。所述相加部件可以將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至從作為預(yù)測(cè)圖像的時(shí)間之前的一個(gè)時(shí)間單位的幀中提取出的運(yùn)動(dòng)補(bǔ)償圖像。所述圖像處理設(shè)備可以進(jìn)一步包含單向預(yù)測(cè)部件，其用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖
7像進(jìn)行單向預(yù)測(cè)以生成預(yù)測(cè)圖像；雙向預(yù)測(cè)部件，其用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行雙向預(yù)測(cè)以生成預(yù)測(cè)圖像；以及判斷部件，其用于通過(guò)使用編碼圖像的頭文件中包括的識(shí)別標(biāo)志，判斷通過(guò)單向預(yù)測(cè)部件進(jìn)行的單向預(yù)測(cè)、雙向預(yù)測(cè)部件進(jìn)行的雙向預(yù)測(cè)、還是預(yù)測(cè)圖像生成部件進(jìn)行的濾波處理來(lái)生成預(yù)測(cè)圖像。本發(fā)明的一方面是圖像處理方法，包含對(duì)編碼圖像進(jìn)行解碼；通過(guò)將解碼的圖像與預(yù)測(cè)圖像相加以生成解碼圖像；通過(guò)將生成的解碼圖像所形成的幀用作參考幀，借助于編碼圖像的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及通過(guò)對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。本發(fā)明的另一方面是圖像處理設(shè)備，包括編碼部件，其用于對(duì)作為待編碼圖像的原始圖像進(jìn)行編碼，以生成編碼圖像；檢測(cè)部件，其基于所述原始圖像以及通過(guò)基于表示所述原始圖像和預(yù)測(cè)圖像之間的差異的殘差信號(hào)進(jìn)行局部解碼所獲得的圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量；第一提取部件，其用于通過(guò)將進(jìn)行局部解碼獲得的圖像所形成的幀用作參考幀，借助于檢測(cè)部件檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；第二提取部件，其用于從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及生成部件，其用于通過(guò)對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。所述第二提取部件可以通過(guò)使用由對(duì)編碼圖像進(jìn)行解碼的解碼設(shè)備共享的特定的成本函數(shù)，從參考幀中提取出與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像。所述成本函數(shù)可以是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的差值的絕對(duì)值的總和的函數(shù)。所述成本函數(shù)可以是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的最小平方誤差的函數(shù)。所述生成部件可以包括第一濾波器部件，其用于對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像之間的差異圖像進(jìn)行低通濾波；第二濾波器部件，其用于對(duì)通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像進(jìn)行高通濾波；以及相加部件，其用于將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像中的任何一個(gè)，從而生成預(yù)測(cè)圖像。所述相加部件可以將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至從作為預(yù)測(cè)圖像的時(shí)間之前的一個(gè)時(shí)間單位的幀中提取出的運(yùn)動(dòng)補(bǔ)償圖像。所述編碼部件可以使得編碼圖像的頭文件包括識(shí)別標(biāo)志，該識(shí)別標(biāo)志用于識(shí)別要通過(guò)單向預(yù)測(cè)、雙向預(yù)測(cè)、還是濾波處理來(lái)生成要加至由解碼設(shè)備解碼的圖像的預(yù)測(cè)圖像。
本發(fā)明的另一方面是圖像處理方法，包括對(duì)作為待編碼圖像的原始圖像進(jìn)行編碼，以生成編碼圖像；基于所述原始圖像以及通過(guò)基于表示所述原始圖像和預(yù)測(cè)圖像之間的差異的殘差信號(hào)進(jìn)行局部解碼所獲得的圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量；通過(guò)將進(jìn)行局部解碼獲得的圖像所形成的幀用作參考幀，借助于檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及通過(guò)對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。在本發(fā)明的一方面中，對(duì)編碼圖像進(jìn)行解碼；將解碼的圖像與預(yù)測(cè)圖像相加以生成解碼圖像；通過(guò)將生成的解碼圖像所形成的幀用作參考幀，使用編碼圖像的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量，從而生成預(yù)測(cè)圖像。在本發(fā)明的另一方面中，對(duì)作為待編碼圖像的原始圖像進(jìn)行編碼，生成編碼圖像； 基于所述原始圖像以及通過(guò)基于表示所述原始圖像和預(yù)測(cè)圖像之間的差異的殘差信號(hào)進(jìn)行局部解碼所獲得的圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量；通過(guò)將進(jìn)行局部解碼獲得的圖像所形成的幀用作參考幀，借助于檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；并且對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量，從而生成預(yù)測(cè)圖像。本發(fā)明的有益效果根據(jù)本發(fā)明，可以在不增加流中傳送的運(yùn)動(dòng)矢量的數(shù)量的情況下生成高度精確的預(yù)測(cè)圖像，并且可以取得高的編碼效率。




圖1是圖示單向預(yù)測(cè)的示例的示圖。
圖2是圖示雙向預(yù)測(cè)的示例的示圖。
圖3是描述生成本發(fā)明的預(yù)測(cè)圖像的概要的示圖。
圖4是圖示根據(jù)本發(fā)明實(shí)施例的解碼設(shè)備的示例配置的框圖。
圖5是圖示第三預(yù)測(cè)模式的構(gòu)思的示圖。
圖6是圖示圖3中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路的示例配置的框圖。
圖7是圖示參考幀的示例的示圖。
圖8是圖示參考幀的另一示例的示圖。
圖9是圖示圖6中的預(yù)測(cè)電路的示例配置的框圖。
圖10是圖示圖6中的濾波電路的示例配置的框圖。
圖11是描述解碼設(shè)備進(jìn)行的解碼處理的流程圖。
9
圖12是描述圖11中步驟S9中進(jìn)行的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程圖。圖13是描述提取處理的過(guò)程的示例的流程圖。圖14是描述濾波預(yù)測(cè)處理的過(guò)程的示例的流程圖。圖15是圖示編碼設(shè)備的示例配置的框圖。圖16是圖示圖15中的模式確定電路的示例配置的框圖。圖17是圖示圖15中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路的示例配置的框圖。圖18是描述編碼設(shè)備進(jìn)行的編碼處理的流程圖。圖19是描述圖18中的步驟S108中進(jìn)行的模式確定處理的流程圖。圖20是描述圖18中的步驟Slll中進(jìn)行的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程圖。圖21是圖示濾波電路的另一示例配置的框圖。圖22是圖示濾波電路的又一示例配置的框圖。圖23是圖示使用三個(gè)參考幀的情況的示例的示圖。圖M是圖示使用三個(gè)參考幀的情況下的濾波電路的示例配置的框圖。圖25是圖示個(gè)人計(jì)算機(jī)的示例配置的框圖。圖沈是圖示本發(fā)明應(yīng)用到的電視接收器的主要示例配置的框圖。圖27是圖示本發(fā)明應(yīng)用到的移動(dòng)電話(huà)裝置的主要示例配置的框圖。圖28是圖示本發(fā)明應(yīng)用到的硬盤(pán)記錄器的主要示例配置的框圖。圖四是圖示本發(fā)明應(yīng)用到的相機(jī)的主要示例配置的框圖。圖30是圖示宏塊的尺寸的示例的示圖。
具體實(shí)施例方式下文描述用于實(shí)施本發(fā)明的實(shí)施例(下文稱(chēng)為實(shí)施例)。注意，將按照下列順序給出描述。1.第一實(shí)施例(解碼處理)2.第二實(shí)施例(編碼處理)3.第三實(shí)施例(濾波電路的修正)<1.第一實(shí)施例>[預(yù)測(cè)的概要]圖3是描述本發(fā)明應(yīng)用到的預(yù)測(cè)圖像生成方法的概要的示圖。在本發(fā)明中，以比特流的方式發(fā)送至少一個(gè)運(yùn)動(dòng)矢量(運(yùn)動(dòng)矢量A)，以便在解碼器中從多個(gè)參考平面中獲得多個(gè)運(yùn)動(dòng)補(bǔ)償圖像。圖3圖示將幀(N-I)和幀(N-2)這兩個(gè)幀用作運(yùn)動(dòng)補(bǔ)償?shù)膮⒖计矫嬉员銓?duì)幀N進(jìn)行解碼的狀態(tài)。在圖3中，以流的方式發(fā)送指示幀(N-I)中的坐標(biāo)的運(yùn)動(dòng)矢量A。解碼器使用該矢量獲得圖像MC。然后，解碼器基于幀(N-幻進(jìn)行運(yùn)動(dòng)預(yù)測(cè)以便進(jìn)行運(yùn)動(dòng)補(bǔ)償。即，在幀(N-幻中搜索對(duì)于圖像MC具有適當(dāng)值的圖像MC’。搜索方法，例如，搜索算法、搜索范圍、成本函數(shù)等可以任意地確定，只要它們由編碼器和解碼器預(yù)先共享即可。當(dāng)它們由編碼器和解碼器共享時(shí)，編碼器和解碼器中的搜索結(jié)果(即，圖像MC’的像素值)彼此匹配。
以此方式，解碼器可以基于幀(N-I)和幀(N-2)獲得運(yùn)動(dòng)預(yù)測(cè)圖像。據(jù)此，MC’的運(yùn)動(dòng)矢量不是必要的。即，運(yùn)動(dòng)矢量的代碼量減少。由此，解碼器和編碼器可以使用少量的控制信息生成高度精度的預(yù)測(cè)圖像。[解碼設(shè)備的配置]圖4是圖示根據(jù)本發(fā)明實(shí)施例的解碼設(shè)備1的示例配置的框圖。下面將要描述的編碼設(shè)備所編碼的圖像信息經(jīng)由線(xiàn)纜、網(wǎng)絡(luò)或可拆卸介質(zhì)輸入至解碼設(shè)備1。壓縮的圖像信息例如是根據(jù)H. 264標(biāo)準(zhǔn)編碼的的圖像信息。存儲(chǔ)緩沖器11依次存儲(chǔ)作為壓縮的圖像信息輸入的比特流。在必要時(shí)，無(wú)損解碼電路12以諸如構(gòu)成幀的宏塊之類(lèi)的某些單元的圖像為單位讀取存儲(chǔ)緩沖器11中存儲(chǔ)的信息。在H. 264標(biāo)準(zhǔn)中，不僅可以以16X16像素的宏塊為單位，而且可以以通過(guò)進(jìn)一步分割宏塊獲得的8X8像素或4X4像素的塊為單位進(jìn)行處理。無(wú)損解碼電路12對(duì)從存儲(chǔ)緩沖器11讀取出的圖像進(jìn)行與編碼方法對(duì)應(yīng)的解碼處理，如可變長(zhǎng)度解碼處理或算術(shù)解碼處理。無(wú)損解碼電路12將通過(guò)解碼處理獲得的量化的變換系數(shù)輸出至逆量化電路13。此外，無(wú)損解碼電路12基于要解碼的圖像的頭文件(header)中包括的識(shí)別標(biāo)志， 識(shí)別圖像是幀內(nèi)編碼圖像還是幀間編碼圖像。如果無(wú)損解碼電路12判斷要解碼的圖像是幀內(nèi)編碼圖像，則無(wú)損解碼電路12將圖像的頭文件中存儲(chǔ)的幀內(nèi)預(yù)測(cè)模式信息輸出至幀內(nèi)預(yù)測(cè)電路22。幀內(nèi)預(yù)測(cè)模式信息包括有關(guān)幀內(nèi)預(yù)測(cè)的信息，如用作處理的單位的塊的大如果無(wú)損解碼電路12判斷要解碼的圖像是幀間編碼信息，則無(wú)損解碼電路12將圖像的頭文件中存儲(chǔ)的識(shí)別標(biāo)志和運(yùn)動(dòng)矢量輸出至運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21。利用識(shí)別標(biāo)志，可以識(shí)別用于通過(guò)幀間預(yù)測(cè)生成預(yù)測(cè)圖像的預(yù)測(cè)的模式。識(shí)別標(biāo)志例如以宏塊或幀為單位進(jìn)行設(shè)置。作為預(yù)測(cè)的模式，除了圖1中的單向預(yù)測(cè)的模式和圖2中的雙向預(yù)測(cè)的模式之外， 準(zhǔn)備了用于通過(guò)對(duì)從一個(gè)或兩個(gè)時(shí)間方向上安置的多個(gè)參考幀中提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波以生成預(yù)測(cè)圖像的第三預(yù)測(cè)模式。圖5是圖示第三預(yù)測(cè)模式的構(gòu)思的示圖。在圖5的示例中，通過(guò)將當(dāng)前幀(預(yù)測(cè)幀)的時(shí)間用作基礎(chǔ)，將在時(shí)間上一個(gè)時(shí)間單位之前的幀當(dāng)作參考幀R0，將參考幀RO的一個(gè)時(shí)間單位之前的幀當(dāng)作參考幀Rl。在此情況下，根據(jù)第三預(yù)測(cè)模式，將從參考幀RO和Rl中提取出的運(yùn)動(dòng)補(bǔ)償圖像MCO和MCl輸入至濾波電路，將濾波電路輸出的圖像的像素值當(dāng)作作為目標(biāo)宏塊的預(yù)測(cè)圖像的像素值。下文將如上面參照?qǐng)D1描述的那樣從一個(gè)方向上安置的多個(gè)參考幀提取出的任何運(yùn)動(dòng)補(bǔ)償圖像的像素值當(dāng)作預(yù)測(cè)圖像的像素值的預(yù)測(cè)模式簡(jiǎn)稱(chēng)為單向預(yù)測(cè)模式。此外， 將如上面參照?qǐng)D2描述的那樣從兩個(gè)方向上安置的多個(gè)參考幀提取出的運(yùn)動(dòng)補(bǔ)償圖像的像素值的平均值當(dāng)作預(yù)測(cè)圖像的像素值的預(yù)測(cè)模式簡(jiǎn)稱(chēng)為雙向預(yù)測(cè)模式。圖5圖示的第三預(yù)測(cè)模式(其中通過(guò)對(duì)從一個(gè)方向或兩個(gè)方向上安置的多個(gè)參考幀提取出的各個(gè)運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波而獲得預(yù)測(cè)圖像的像素值)稱(chēng)為濾波預(yù)測(cè)模式。下面詳細(xì)描述濾波預(yù)測(cè)模式。返回參照?qǐng)D4，逆量化電路13以與編碼側(cè)使用的量化方法對(duì)應(yīng)的方法，對(duì)無(wú)損解碼電路12提供的量化的變換系數(shù)進(jìn)行逆量化。逆量化電路13將通過(guò)進(jìn)行逆量化獲得的變換系數(shù)輸出至逆正交變換電路14。逆正交變換電路14使用與編碼側(cè)使用的正交變換方法(如，離散余弦變換或 Karhunen Loeve變換)對(duì)應(yīng)的方法，對(duì)逆量化電路13提供的變換系數(shù)進(jìn)行四階逆正交變換，并且將獲得的圖像輸出至加法器電路15。加法器電路15將逆正交變換電路14提供的解碼圖像和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21 或幀內(nèi)預(yù)測(cè)電路22經(jīng)由開(kāi)關(guān)23提供的預(yù)測(cè)圖像進(jìn)行組合，并且將復(fù)合圖像輸出至解塊濾波器16。解塊濾波器16去除加法器電路15提供的圖像中所包括的塊噪聲，并且輸出已經(jīng)去除了塊噪聲的圖像。解塊濾波器16輸出的圖像供給重排緩沖器17和幀存儲(chǔ)器19。重排緩沖器17臨時(shí)存儲(chǔ)解塊濾波器16提供的圖像。重排緩沖器17例如以其中存儲(chǔ)的宏塊為單位根據(jù)圖像生成各個(gè)幀，以某種順序(如，顯示順序)重排所生成的幀，并且將它們輸出至D/A(Digital/Analog，數(shù)字/模擬)轉(zhuǎn)換器電路18。D/A轉(zhuǎn)換器電路18對(duì)重排緩沖器17提供的各個(gè)幀進(jìn)行D/A轉(zhuǎn)換，并且將各個(gè)幀的信號(hào)輸出至外部。幀存儲(chǔ)器19臨時(shí)存儲(chǔ)解塊濾波器16提供的圖像。幀存儲(chǔ)器19中存儲(chǔ)的信息經(jīng)由開(kāi)關(guān)20供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21或幀內(nèi)預(yù)測(cè)電路22。開(kāi)關(guān)20在使用幀間預(yù)測(cè)生成預(yù)測(cè)圖像的情況下連接至端子al，而在使用幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)圖像的情況下連接至端子bl。開(kāi)關(guān)20的切換例如受控制電路31控制。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21根據(jù)無(wú)損解碼電路12提供的識(shí)別標(biāo)志確定預(yù)測(cè)模式，并且根據(jù)預(yù)測(cè)模式從幀存儲(chǔ)器19中存儲(chǔ)的解碼幀之中選擇要用作參考幀的幀。運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償電路21基于無(wú)損解碼電路12提供的運(yùn)動(dòng)矢量，從構(gòu)成參考幀的宏塊之中確定對(duì)應(yīng)于目標(biāo)預(yù)測(cè)圖像的宏塊，并且提取出所確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路 21根據(jù)預(yù)測(cè)模式從運(yùn)動(dòng)補(bǔ)償圖像的像素值獲取預(yù)測(cè)圖像的像素值，并且經(jīng)由開(kāi)關(guān)23將已獲得了像素值的預(yù)測(cè)圖像輸出至加法器電路15。幀內(nèi)預(yù)測(cè)電路22根據(jù)無(wú)損解碼電路12提供的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行幀內(nèi)預(yù)測(cè)以生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)電路22經(jīng)由開(kāi)關(guān)23將生成的預(yù)測(cè)圖像輸出至加法器電路15。開(kāi)關(guān)23在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21生成預(yù)測(cè)圖像的情況下連接至端子a2，而在幀內(nèi)預(yù)測(cè)電路22生成預(yù)測(cè)圖像的情況下連接至端子1^2。開(kāi)關(guān)23的切換例如也受控制電路 31控制?？刂齐娐?1切換開(kāi)關(guān)20和23的連接，并且控制解碼設(shè)備1的整體操作。要處理的圖像是幀內(nèi)編碼圖像還是幀間編碼圖像可以由控制電路31識(shí)別。圖6是圖示圖3中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21的示例配置的框圖。如圖6所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21由預(yù)測(cè)模式確定電路41、單向預(yù)測(cè)電路42、 雙向預(yù)測(cè)電路43、預(yù)測(cè)電路44和濾波電路45構(gòu)成。無(wú)損解碼電路12提供的識(shí)別標(biāo)志和運(yùn)動(dòng)矢量輸入至預(yù)測(cè)模式確定電路41。預(yù)測(cè)模式確定電路41根據(jù)無(wú)損解碼電路12提供的識(shí)別標(biāo)志確定預(yù)測(cè)模式。預(yù)測(cè)模式確定電路41在確定要使用單向預(yù)測(cè)進(jìn)行預(yù)測(cè)圖像的生成時(shí)將運(yùn)動(dòng)矢量輸出至單向預(yù)測(cè)電路42，而在確定要使用雙向預(yù)測(cè)進(jìn)行預(yù)測(cè)圖像的生成時(shí)將運(yùn)動(dòng)矢量輸出至雙向預(yù)測(cè)電路43。此外，預(yù)測(cè)模式確定電路41在確定要使用濾波預(yù)測(cè)進(jìn)行預(yù)測(cè)圖像的生成時(shí)將運(yùn)動(dòng)矢量輸出至預(yù)測(cè)電路44。以此方式，為了使得能夠識(shí)別濾波預(yù)測(cè)，可以將與傳統(tǒng)H. 264標(biāo)準(zhǔn)中定義的表示單向預(yù)測(cè)的值和表示雙向預(yù)測(cè)的值不同的值設(shè)置為識(shí)別標(biāo)志的值?？商鎿Q地，代之根據(jù)識(shí)別標(biāo)志確定，可以通過(guò)預(yù)定方法確定預(yù)測(cè)模式，以便減少信息量。單向預(yù)測(cè)電路42將一個(gè)時(shí)間方向上安置的多個(gè)幀當(dāng)作參考幀，并且如圖1所示那樣基于運(yùn)動(dòng)矢量確定與預(yù)測(cè)圖像對(duì)應(yīng)的參考幀中的宏塊。此外，單向預(yù)測(cè)電路42從幀存儲(chǔ)器19中讀取各個(gè)參考幀中的確定宏塊作為運(yùn)動(dòng)補(bǔ)償圖像，并且使用任何運(yùn)動(dòng)補(bǔ)償圖像的像素值作為預(yù)測(cè)圖像的像素值以生成預(yù)測(cè)圖像。單向預(yù)測(cè)電路42將預(yù)測(cè)圖像輸出至加法器電路15。作為單向預(yù)測(cè)電路42進(jìn)行的單向預(yù)測(cè)，例如使用H. 264標(biāo)準(zhǔn)中定義的單向預(yù)測(cè)。雙向預(yù)測(cè)電路43將兩個(gè)時(shí)間方向上安置的多個(gè)幀當(dāng)作參考幀，并且如圖2所示那樣基于運(yùn)動(dòng)矢量確定對(duì)應(yīng)于預(yù)測(cè)圖像的參考幀中的宏塊。此外，雙向預(yù)測(cè)電路43從幀存儲(chǔ)器19中讀取各個(gè)參考幀中的確定宏塊作為運(yùn)動(dòng)補(bǔ)償圖像，并且使用讀取的運(yùn)動(dòng)補(bǔ)償圖像的像素值的平均作為預(yù)測(cè)圖像的像素值以生成預(yù)測(cè)圖像。雙向預(yù)測(cè)電路43將預(yù)測(cè)圖像輸出至加法器電路15。作為雙向預(yù)測(cè)電路43進(jìn)行的雙向預(yù)測(cè)，例如使用H. 264標(biāo)準(zhǔn)中定義的雙向預(yù)測(cè)。預(yù)測(cè)電路44確定一個(gè)或兩個(gè)時(shí)間方向上安置的多個(gè)幀作為參考幀。要用作參考幀的幀可以預(yù)先確定，或者可以通過(guò)連同識(shí)別標(biāo)志一起從編碼側(cè)發(fā)送的信息加以指定。圖7是圖示參考幀的示例的示圖。在圖7的示例中，通過(guò)將預(yù)測(cè)幀的時(shí)間用作基礎(chǔ)，將在時(shí)間上一個(gè)時(shí)間單位之前和兩個(gè)時(shí)間單位之前的兩個(gè)幀用作參考幀，如上面參照?qǐng)D5所述的示例中那樣。在兩個(gè)參考幀當(dāng)中，將更接近于預(yù)測(cè)幀并且在預(yù)測(cè)幀之前一個(gè)時(shí)間單位的幀當(dāng)作參考幀R0，而將參考幀RO之前一個(gè)時(shí)間單位的幀當(dāng)作參考幀Rl。圖8是圖示參考幀的另一示例的示圖。在圖8的示例中，通過(guò)將預(yù)測(cè)幀的時(shí)間用作基礎(chǔ)，將在時(shí)間上一個(gè)時(shí)間單位之前和一個(gè)時(shí)間單位之后的兩個(gè)幀當(dāng)作參考幀。在兩個(gè)參考幀當(dāng)中，將預(yù)測(cè)幀之前一個(gè)時(shí)間單位的幀當(dāng)作參考幀L0，將預(yù)測(cè)幀之后一個(gè)時(shí)間單位的幀當(dāng)作參考幀Li。以此方式，在濾波預(yù)測(cè)中，將在一個(gè)時(shí)間方向上安置的多個(gè)幀或者在兩個(gè)方向上安置的多個(gè)幀用作參考幀。此外，預(yù)測(cè)電路44基于預(yù)測(cè)模式確定電路41提供的運(yùn)動(dòng)矢量，確定以圖7或圖8 中所示的方式確定出的至少一個(gè)參考幀中的各解碼塊當(dāng)中預(yù)測(cè)圖像所對(duì)應(yīng)的宏塊。進(jìn)而，預(yù)測(cè)電路44使用基于運(yùn)動(dòng)矢量確定出的預(yù)測(cè)圖像所對(duì)應(yīng)的宏塊，對(duì)以圖7 或圖8中所示的方式確定出的參考幀當(dāng)中的剩余參考幀(至少一個(gè)參考幀)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)，從而確定對(duì)應(yīng)于預(yù)測(cè)圖像的宏塊。預(yù)測(cè)電路44從幀存儲(chǔ)器19讀取各個(gè)參考幀中確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像，并且將讀取出的運(yùn)動(dòng)補(bǔ)償圖像輸出至濾波電路45。S卩，預(yù)測(cè)電路44基于運(yùn)動(dòng)矢量從部分參考幀中提取運(yùn)動(dòng)補(bǔ)償圖像，并且基于使用運(yùn)動(dòng)補(bǔ)償圖像的運(yùn)動(dòng)預(yù)測(cè)從剩余的參考幀中提取出運(yùn)動(dòng)補(bǔ)償圖像。
不僅可以以16X16像素的宏塊為單位，而且可以以通過(guò)進(jìn)一步分割宏塊獲得的塊為單位執(zhí)行運(yùn)動(dòng)矢量。例如將以宏塊為單位的圖像輸入至濾波電路45。在圖6中，從預(yù)測(cè)電路44朝向?yàn)V波電路45延伸的兩個(gè)箭頭的圖示表示提供兩個(gè)運(yùn)動(dòng)補(bǔ)償圖像。濾波電路45接收預(yù)測(cè)電路44提供的運(yùn)動(dòng)補(bǔ)償圖像并對(duì)其進(jìn)行濾波，并且將通過(guò)進(jìn)行濾波所獲得的預(yù)測(cè)圖像輸出至加法器電路15。圖9是圖示圖6中的預(yù)測(cè)電路44的示例配置的框圖。在圖9中，預(yù)測(cè)電路44具有運(yùn)動(dòng)補(bǔ)償電路51和運(yùn)動(dòng)預(yù)測(cè)電路52。運(yùn)動(dòng)補(bǔ)償電路51使用預(yù)測(cè)模式確定電路41提供的運(yùn)動(dòng)矢量，指定部分參考幀中預(yù)測(cè)圖像所對(duì)應(yīng)的宏塊。運(yùn)動(dòng)補(bǔ)償電路51從幀存儲(chǔ)器19中讀取指定宏塊的圖像，并且將其提取為運(yùn)動(dòng)補(bǔ)償圖像。運(yùn)動(dòng)補(bǔ)償電路51將提取出的運(yùn)動(dòng)補(bǔ)償圖像MCO供給濾波電路45， 并且還將其供給運(yùn)動(dòng)預(yù)測(cè)電路52。運(yùn)動(dòng)預(yù)測(cè)電路52在至少一個(gè)或更多個(gè)剩余參考幀(與已經(jīng)提取出運(yùn)動(dòng)補(bǔ)償圖像 MCO的參考幀不同的參考幀)中，對(duì)運(yùn)動(dòng)補(bǔ)償電路51提供的運(yùn)動(dòng)補(bǔ)償圖像MCO進(jìn)行匹配(進(jìn)行運(yùn)動(dòng)預(yù)測(cè))。當(dāng)在參考幀中搜索與運(yùn)動(dòng)補(bǔ)償圖像MCO匹配或類(lèi)似的部分時(shí)，運(yùn)動(dòng)預(yù)測(cè)電路52使用提前由編碼設(shè)備和解碼設(shè)備1共享的某個(gè)成本函數(shù)。例如，共享下列等式C3)表達(dá)的成本函數(shù)。[算式3]
權(quán)利要求
1.一種圖像處理設(shè)備，包括解碼部件，其用于對(duì)編碼圖像進(jìn)行解碼；生成部件，其用于通過(guò)將解碼部件解碼的圖像與預(yù)測(cè)圖像相加以生成解碼圖像；第一提取部件，其用于通過(guò)將生成部件生成的解碼圖像所形成的幀用作參考幀，借助于編碼圖像的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；第二提取部件，其用于從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及預(yù)測(cè)圖像生成部件，其用于通過(guò)對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述第二提取部件通過(guò)使用由對(duì)圖像進(jìn)行編碼的編碼設(shè)備共享的特定的成本函數(shù)，從參考幀中提取出與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像。
3.如權(quán)利要求2所述的圖像處理設(shè)備，其中，所述成本函數(shù)是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的差值的絕對(duì)值的總和的函數(shù)。
4.如權(quán)利要求2所述的圖像處理設(shè)備，其中，所述成本函數(shù)是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的最小平方誤差的函數(shù)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述預(yù)測(cè)圖像生成部件包括第一濾波器部件，其用于對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像之間的差異圖像進(jìn)行低通濾波，第二濾波器部件，其用于對(duì)通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像進(jìn)行高通濾波，以及相加部件，其用于將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像中的任何一個(gè)，從而生成預(yù)測(cè)圖像。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中，所述相加部件將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至從作為預(yù)測(cè)圖像的時(shí)間之前的一個(gè)時(shí)間單位的幀中提取出的運(yùn)動(dòng)補(bǔ)償圖像。
7.如權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包含單向預(yù)測(cè)部件，其用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行單向預(yù)測(cè)以生成預(yù)測(cè)圖像；雙向預(yù)測(cè)部件，其用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行雙向預(yù)測(cè)以生成預(yù)測(cè)圖像；以及判斷部件，其用于通過(guò)使用編碼圖像的頭文件中包括的識(shí)別標(biāo)志，判斷通過(guò)單向預(yù)測(cè)部件進(jìn)行的單向預(yù)測(cè)、雙向預(yù)測(cè)部件進(jìn)行的雙向預(yù)測(cè)、還是預(yù)測(cè)圖像生成部件進(jìn)行的濾波處理來(lái)生成預(yù)測(cè)圖像。
8.一種圖像處理方法，包含對(duì)編碼圖像進(jìn)行解碼；通過(guò)將解碼的圖像與預(yù)測(cè)圖像相加以生成解碼圖像；通過(guò)將生成的解碼圖像所形成的幀用作參考幀，借助于編碼圖像的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及通過(guò)對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。
9.一種圖像處理設(shè)備，包括編碼部件，其用于對(duì)作為待編碼圖像的原始圖像進(jìn)行編碼，以生成編碼圖像；檢測(cè)部件，其基于所述原始圖像以及通過(guò)基于表示所述原始圖像和預(yù)測(cè)圖像之間的差異的殘差信號(hào)進(jìn)行局部解碼所獲得的圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量；第一提取部件，其用于通過(guò)將進(jìn)行局部解碼獲得的圖像所形成的幀用作參考幀，借助于檢測(cè)部件檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；第二提取部件，其用于從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及生成部件，其用于通過(guò)對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。
10.如權(quán)利要求9所述的圖像處理設(shè)備，其中，所述第二提取部件通過(guò)使用由對(duì)編碼圖像進(jìn)行解碼的解碼設(shè)備共享的特定的成本函數(shù)，從參考幀中提取出與第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像。
11.如權(quán)利要求10所述的圖像處理設(shè)備，其中，所述成本函數(shù)是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的差值的絕對(duì)值的總和的函數(shù)。
12.如權(quán)利要求10所述的圖像處理設(shè)備，其中，所述成本函數(shù)是用于計(jì)算第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和參考幀的處理目標(biāo)塊之間的各個(gè)像素值的最小平方誤差的函數(shù)。
13.如權(quán)利要求9所述的圖像處理設(shè)備，其中，所述生成部件包括第一濾波器部件，其用于對(duì)第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像之間的差異圖像進(jìn)行低通濾波，第二濾波器部件，其用于對(duì)通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像進(jìn)行高通濾波，以及相加部件，其用于將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至第一提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像和第二提取部件提取出的運(yùn)動(dòng)補(bǔ)償圖像中的任何一個(gè)，從而生成預(yù)測(cè)圖像。
14.如權(quán)利要求13所述的圖像處理設(shè)備，其中，所述相加部件將通過(guò)第一濾波器部件進(jìn)行的低通濾波所獲得的圖像和通過(guò)第二濾波器部件進(jìn)行的高通濾波所獲得的圖像加至從作為預(yù)測(cè)圖像的時(shí)間之前的一個(gè)時(shí)間單位的幀中提取出的運(yùn)動(dòng)補(bǔ)償圖像。
15.如權(quán)利要求9所述的圖像處理設(shè)備，其中，所述編碼部件使得編碼圖像的頭文件包括識(shí)別標(biāo)志，該識(shí)別標(biāo)志用于識(shí)別要通過(guò)單向預(yù)測(cè)、雙向預(yù)測(cè)、還是濾波處理來(lái)生成要加至由解碼設(shè)備解碼的圖像的預(yù)測(cè)圖像。
16.一種圖像處理方法，包括對(duì)作為待編碼圖像的原始圖像進(jìn)行編碼，以生成編碼圖像；基于所述原始圖像以及通過(guò)基于表示所述原始圖像和預(yù)測(cè)圖像之間的差異的殘差信號(hào)進(jìn)行局部解碼所獲得的圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量；通過(guò)將進(jìn)行局部解碼獲得的圖像所形成的幀用作參考幀，借助于檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且從參考幀中提取對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；從與提取出運(yùn)動(dòng)補(bǔ)償圖像的參考幀不同的參考幀中，提取與提取出的運(yùn)動(dòng)補(bǔ)償圖像匹配或類(lèi)似的部分，所述部分用作對(duì)應(yīng)于預(yù)測(cè)圖像的運(yùn)動(dòng)補(bǔ)償圖像；以及通過(guò)對(duì)多個(gè)提取出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波處理以生成預(yù)測(cè)圖像，所述濾波處理通過(guò)使用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性來(lái)添加高頻分量。
全文摘要
提供了可以利用少量控制信息生成高度精確的預(yù)測(cè)圖像的圖像處理設(shè)備和方法。運(yùn)動(dòng)補(bǔ)償電路(51)使用預(yù)測(cè)模式確定電路(41)提供的運(yùn)動(dòng)矢量以在參考幀中識(shí)別對(duì)應(yīng)于預(yù)測(cè)圖像的宏塊，從幀存儲(chǔ)器(19)讀取所述圖像，并且提取圖像作為運(yùn)動(dòng)補(bǔ)償?shù)膱D像。運(yùn)動(dòng)預(yù)測(cè)電路(52)從幀存儲(chǔ)器(122)讀取至少一個(gè)或更多個(gè)剩余的參考幀，并且為每個(gè)幀預(yù)測(cè)由運(yùn)動(dòng)補(bǔ)償電路(51)提供的運(yùn)動(dòng)補(bǔ)償圖像(MC0)的運(yùn)動(dòng)，從幀存儲(chǔ)器(122)讀取與運(yùn)動(dòng)補(bǔ)償圖像(MC0)匹配或類(lèi)似的宏塊，并且提取圖像作為運(yùn)動(dòng)補(bǔ)償?shù)膱D像。此圖像處理設(shè)備例如可應(yīng)用于編碼和解碼裝置。
文檔編號(hào)H04N7/32GK102396226SQ20108001629
公開(kāi)日2012年3月28日 申請(qǐng)日期2010年2月12日 優(yōu)先權(quán)日2009年2月19日
發(fā)明者中神央二, 矢崎陽(yáng)一 申請(qǐng)人:索尼公司