專利名稱：使用自適應(yīng)內(nèi)插濾波器對圖像編碼與解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的設(shè)備和方法涉及內(nèi)插用于運(yùn)動補(bǔ)償?shù)膮⒖紙D像的內(nèi)插濾 波器，更具體地說，涉及使用當(dāng)前塊的鄰近區(qū)域和參考圖像的相應(yīng)鄰近區(qū)域 來產(chǎn)生內(nèi)插濾波器，使用產(chǎn)生的內(nèi)插濾波器來內(nèi)插參考圖像及其圖像解碼方 法和設(shè)備。
背景技術(shù)：
在圖像壓縮方法中，諸如MPEG-1、 MPEG-2、 MPEG-4和H.264/MPEG-4
先進(jìn)視頻編碼(AVC)，為了對圖像進(jìn)行編碼，將單個圖像劃分為宏塊。其后， 以幀間預(yù)測編碼和幀內(nèi)預(yù)測編碼中可用的所有編碼才莫式對每個宏塊進(jìn)行編 碼，并且根據(jù)對宏塊進(jìn)行編碼所需的比特率以及原始宏塊和解碼的宏塊之間 的失真度，選擇編碼模式，并且對宏塊進(jìn)行編碼。
幀間預(yù)測包括使用位于當(dāng)前編碼的圖像之前或之后的至少一個參考圖 像，通過搜索與當(dāng)前編碼的塊相似的參考圖像的區(qū)域，產(chǎn)生運(yùn)動向量，并且 通過使用產(chǎn)生的運(yùn)動向量執(zhí)行運(yùn)動補(bǔ)償，產(chǎn)生當(dāng)前塊的預(yù)測塊。
以比整數(shù)像素分辨率更精確的分?jǐn)?shù)像素分辨率為單位執(zhí)行運(yùn)動補(bǔ)償，從 而增加預(yù)測準(zhǔn)確度。例如，在通過產(chǎn)生參考圖像的整數(shù)像素之間存在的分?jǐn)?shù) 像素(諸如二分之一像素、四分之一像素和八分之一像素)對參考圖像進(jìn)行 內(nèi)插之后，使用內(nèi)插的參考圖像執(zhí)行運(yùn)動補(bǔ)償預(yù)測。
圖1是用于解釋根據(jù)現(xiàn)有技術(shù)的參考圖像內(nèi)插處理的示圖。在圖1中， 使用理想的正方形指示的像素表示整數(shù)像素，使用圓環(huán)指示的像素表示整數(shù) 像素之間存在的二分之一像素。另外，正方形框中的大寫字母表示執(zhí)行內(nèi)插 之前的整數(shù)像素，圓環(huán)中的小寫字母表示執(zhí)行內(nèi)插之前的整數(shù)像素之間的二 分之一像素。
參照圖1,通過在水平方向上應(yīng)用6階濾波器來產(chǎn)生水平方向上位于彼 此鄰近的兩個整數(shù)像素之間的二分之一像素。例如，通過使用等式 c=(E-5F+20G+20H-5I+J)/32將6階有限脈沖響應(yīng)(FIR)濾波器應(yīng)用于位于與將被內(nèi)插的二分之一像素C相同行的6個整數(shù)像素，產(chǎn)生在水平方向上位于
整數(shù)像素G和H之間的二分之一像素c。分配給與將被內(nèi)插的二分之一像素 鄰近的6個整數(shù)像素的權(quán)重{1，-5，20，20,-5, 1 }(在等式中使用的)被稱為濾 波器系數(shù)。
類似地，通過在垂直方向上應(yīng)用6階FIR濾波器來產(chǎn)生垂直方向上位于 彼此鄰近的兩個整數(shù)像素之間的二分之一像素。例如，通過使用等式 f=(A-CF+20G+20M-5R+T)/32將6階FIR濾波器應(yīng)用于位于與二分之一像素f 相同列的6個整數(shù)像素，產(chǎn)生在垂直方向上位于整數(shù)像素G和M之間的二分 之一像素f。
根據(jù)現(xiàn)有技術(shù)，內(nèi)插濾波器的濾波器系數(shù)總是固定的。這是因?yàn)槿绻麑?不同的內(nèi)插濾波器應(yīng)用到每個塊，則應(yīng)用到每個塊的濾波器系數(shù)必須被發(fā)送 到用于對圖像進(jìn)行解碼的解碼器。然而，由于編碼的塊可具有不同的圖像特 性，因此，如果執(zhí)行將相同內(nèi)插濾波器應(yīng)用到所有塊的運(yùn)動補(bǔ)償預(yù)測，則預(yù) 測性能可能效率低。

發(fā)明內(nèi)容
技術(shù)方案
本發(fā)明的示例性實(shí)施例提供了 一種使用將被編碼的當(dāng)前塊的鄰近區(qū)域的 數(shù)據(jù)以及參考圖像的相應(yīng)鄰近區(qū)域的數(shù)據(jù)來自適應(yīng)地產(chǎn)生內(nèi)插濾波器的圖像 編碼方法和設(shè)備及其圖像解碼方法和設(shè)備。
本發(fā)明的示例性實(shí)施例還提供了 一種在不另外發(fā)送內(nèi)插濾波器系數(shù)的情 況下產(chǎn)生用于多個塊中的每一個的內(nèi)插濾波器系數(shù)的圖像編碼方法和設(shè)備。
有益效果
根據(jù)本發(fā)明的示例性實(shí)施例，通過產(chǎn)生用于多個塊中的每一個的內(nèi)插濾 波器并且執(zhí)行運(yùn)動預(yù)測補(bǔ)償，能夠減小運(yùn)動補(bǔ)償值與原始圖像數(shù)據(jù)之間的差 值，這樣減小了殘差數(shù)據(jù)的大小并且增加了圖像壓縮效率。
另外，即使不發(fā)送所有內(nèi)插濾波器系數(shù)，也能夠使用鄰近區(qū)域的先前編 碼的數(shù)據(jù)來自適應(yīng)地確定內(nèi)插濾波器系數(shù)。


圖1是用于解釋根據(jù)現(xiàn)有技術(shù)的參考圖像內(nèi)插處理的示圖2是根據(jù)本發(fā)明的示例性實(shí)施例的圖像編碼設(shè)備的框圖3是用于解釋根據(jù)本發(fā)明的示例性實(shí)施例的使用圖2示出的圖像編碼
設(shè)備對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測的處理的示圖4是用于解釋#^居本發(fā)明的示例性實(shí)施例的在圖2示出的圖像編碼設(shè)
備的運(yùn)動預(yù)測器中使用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測的處理的示
圖5是根據(jù)本發(fā)明的示例性實(shí)施例的圖2示出的圖像編碼設(shè)備的內(nèi)插濾 波器產(chǎn)生器的框圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖2示出的內(nèi)插濾波器產(chǎn)生器 中用于產(chǎn)生內(nèi)插濾波器的當(dāng)前塊的鄰近區(qū)域、參考圖像的鄰近區(qū)域和參考圖 像的內(nèi)插的鄰近區(qū)域；
圖7示出根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率的參考圖像的鄰近區(qū) 域和參考圖像的內(nèi)插的鄰近區(qū)域；
圖8是用于解釋根據(jù)本發(fā)明的示例性實(shí)施例的內(nèi)插參考圖像的鄰近區(qū)域 的處理的示圖9是用于解釋根據(jù)本發(fā)明的另 一示例性實(shí)施例的內(nèi)插參考圖像的鄰近 區(qū)域的處理的示圖10是用于解釋根據(jù)本發(fā)明的另一示例性實(shí)施例的內(nèi)插參考圖像的鄰 近區(qū)域的處理的示圖11A示出當(dāng)前塊的鄰近區(qū)域，圖IIB示出通過內(nèi)插與圖IIA示出的當(dāng) 前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域而產(chǎn)生的參考圖像的內(nèi)插的鄰近 區(qū)域；
圖12是根據(jù)本發(fā)明的示例性實(shí)施例的圖像編碼方法的流程圖； 圖13是根據(jù)本發(fā)明的示例性實(shí)施例的圖像解碼設(shè)備的框圖；以及 圖14是根據(jù)本發(fā)明的示例性實(shí)施例的圖像解碼方法的流程圖。
最佳方式
根據(jù)本發(fā)明的一方面，提供一種圖像編碼方法，所述方法包括通過使 用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測來產(chǎn)生將被編碼的當(dāng)前塊的運(yùn)動向 量；確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，當(dāng)前塊的鄰近區(qū)域已經(jīng)被編碼和解碼;根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)
插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前
塊的相應(yīng)鄰近區(qū)域之間的差值；使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的當(dāng)前塊的相應(yīng)塊。
根據(jù)本發(fā)明的另一方面，提供一種圖像編碼設(shè)備，所述設(shè)備包括運(yùn)動預(yù)測器，通過使用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測來產(chǎn)生將被編碼的當(dāng)前塊的運(yùn)動向量；內(nèi)插濾波器產(chǎn)生器，使用與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被編碼和解碼，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；內(nèi)插器，使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的當(dāng)前塊的相應(yīng)塊。
根據(jù)本發(fā)明的另一方面，提供一種圖像解碼方法，所述方法包括從接收的比特流提取將被解碼的當(dāng)前塊的運(yùn)動向量信息；如果提取的當(dāng)前塊的運(yùn)動向量是具有分?jǐn)?shù)像素分辨率的運(yùn)動塊，則確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被解碼；根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的當(dāng)前塊的相應(yīng)塊。
根據(jù)本發(fā)明的另一方面，提供一種圖像解碼設(shè)備，所述設(shè)備包括運(yùn)動向量提取器，從接收的比特流提取將被解碼的當(dāng)前塊的運(yùn)動向量信息；內(nèi)插濾波器產(chǎn)生器，如果提取的當(dāng)前塊的運(yùn)動向量是具有分?jǐn)?shù)像素分辨率的運(yùn)動塊，則使用與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被解碼，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；內(nèi)插器，使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的當(dāng)前塊的相應(yīng)塊。
具體實(shí)施例方式
將通過參照附圖解釋本發(fā)明的示例性實(shí)施例詳細(xì)描述本發(fā)明。
圖2是根據(jù)本發(fā)明的示例性實(shí)施例的圖像編碼設(shè)備200的框圖。參照圖2,根據(jù)本發(fā)明的當(dāng)前示例性實(shí)施例的圖像編碼設(shè)備200包括運(yùn)動預(yù)測器210、參考圖像內(nèi)插器220、存儲單元230、內(nèi)插濾波器產(chǎn)生器240、內(nèi)插器250、運(yùn)動補(bǔ)償器260、減法器270、編碼器280和解碼器290。
運(yùn)動預(yù)測器210使用參考圖像的數(shù)據(jù)通過執(zhí)行運(yùn)動預(yù)測來產(chǎn)生當(dāng)前塊的運(yùn)動向量。
行運(yùn)動預(yù)測的處理的示圖。
參照圖3,運(yùn)動預(yù)測器210在包括位于與當(dāng)前塊311相同空間位置的參考圖像320的相應(yīng)塊321的預(yù)定范圍內(nèi)的鄰近像素的搜索區(qū)域322中搜索與當(dāng)前圖像310的正被編碼的當(dāng)前塊311最相似的相應(yīng)塊，并且基于最相似相應(yīng)塊與當(dāng)前塊311之間的位置差值來產(chǎn)生運(yùn)動向量。這里，使用作為參考圖像320的存儲在存儲單元230中的整數(shù)像素單元參考圖像以及參考圖像內(nèi)插器220使用分?jǐn)?shù)像素分辨率(諸如二分之一像素分辨率、四分之一像素分辨率和八分之一像素分辨率)內(nèi)插的參考圖像。
參照圖2,參考圖像內(nèi)插器220使用根據(jù)現(xiàn)有技術(shù)的6階有限脈沖響應(yīng)(FIR)濾波器、2階均值濾波器或線性內(nèi)插濾波器對存儲在存儲單元230中的參考圖像執(zhí)行內(nèi)插。詳細(xì)地，參考圖像內(nèi)插器220使用濾波器系數(shù)為{1,-5,20,20,-5, 1}的6階FIR濾波器對二分之一像素執(zhí)行內(nèi)插，使用用于獲得鄰近整數(shù)像素或二分之一像素的均值的2階均值濾波器對四分之一像素執(zhí)行內(nèi)插，使用根據(jù)距離鄰近整數(shù)像素的長度的系數(shù)通過線性內(nèi)插對八分之一像素執(zhí)行內(nèi)插。由于6階FIR濾波器、2階均值濾波器和線性內(nèi)插濾波器是現(xiàn)有技術(shù)，因此將不提供其詳細(xì)描述。
圖4是用于解釋根據(jù)本發(fā)明的示例性實(shí)施例的在圖2示出的運(yùn)動預(yù)測器210中使用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測的處理的示圖。參照圖4,執(zhí)行在使用二分之一像素分辨率內(nèi)插的參考圖像的搜索區(qū)域40中搜索與當(dāng)前塊最相似的相應(yīng)塊42的處理。在圖4中，虛線塊41表示與當(dāng)前塊相同空間位置的參考圖像的塊，圓環(huán)表示整數(shù)像素，叉表示二分之一像素。
參照圖4,如果假設(shè)已經(jīng)確定在使用二分之一像素分辨率內(nèi)插的參考圖
像的搜索區(qū)域40中的與當(dāng)前塊最相似的相應(yīng)塊42，則運(yùn)動預(yù)測器210通過計(jì)算與當(dāng)前塊相同空間位置的參考圖像的塊41與相應(yīng)塊42之間的空間位置
差值，產(chǎn)生當(dāng)前塊的運(yùn)動向量43。在圖4中，基于當(dāng)前塊的左上邊緣的整數(shù)像素的位置與相應(yīng)塊42的左上邊緣的二分之一像素的位置之間的差值，運(yùn)動向量43是(4.5， -3)。盡管圖4示出了具有二分之一像素分辨率的運(yùn)動向量，但是根據(jù)參考圖像的內(nèi)插的分辨率，當(dāng)前塊的運(yùn)動向量43可以具有l(wèi)/2n (n是正整數(shù))像素分辨率。
圖5是根據(jù)本發(fā)明的示例性實(shí)施例的圖2示出的內(nèi)插濾波器產(chǎn)生器240的框圖。圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖2示出的內(nèi)插濾波器產(chǎn)生器240中用于產(chǎn)生內(nèi)插濾波器的當(dāng)前圖像600的當(dāng)前塊601的鄰近區(qū)域602、參考圖像610的鄰近區(qū)域611和參考圖像610的內(nèi)插的鄰近區(qū)域。
參照圖5和圖6,內(nèi)插濾波器產(chǎn)生器240包括參考圖像鄰近區(qū)域內(nèi)插器241和濾波器系數(shù)確定單元242。
如果運(yùn)動預(yù)測器210產(chǎn)生的當(dāng)前塊601的運(yùn)動向量具有分?jǐn)?shù)像素分辨率，則參考圖像鄰近區(qū)域內(nèi)插器241使用當(dāng)前塊601的鄰近區(qū)域602，根據(jù)當(dāng)前塊601的運(yùn)動向量的分?jǐn)?shù)像素分辨率，在參考圖像610的鄰近區(qū)域611的整數(shù)像素之間內(nèi)插分?jǐn)?shù)像素，其中，鄰近區(qū)域602已經(jīng)被編碼和解碼，參考圖像610的鄰近區(qū)域611相應(yīng)于當(dāng)前塊601的鄰近區(qū)域602。如果當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量都是整數(shù)，則可以就這樣使用運(yùn)動向量指示的參考圖像的相應(yīng)塊，因此省略內(nèi)插處理。
如果假設(shè)根據(jù)光柵掃描順序按照從左到右從上到下的順序?qū)π纬僧?dāng)前圖像600的每個塊進(jìn)行編碼，則當(dāng)前塊601的鄰近區(qū)域602 (其中，鄰近區(qū)域602已經(jīng)被編碼和解碼)成為包括位于當(dāng)前塊601的左上方的像素的預(yù)定大小的區(qū)域，如圖6所示。這里，可4吏用當(dāng)前塊601的運(yùn)動向量或當(dāng)前塊601的鄰近區(qū)域602的運(yùn)動向量來確定參考圖像610的鄰近區(qū)域611。也就是說，可通過將當(dāng)前塊601的運(yùn)動向量應(yīng)用到當(dāng)前塊601的鄰近區(qū)域602而不進(jìn)行改變，從參考圖4象610來確定相應(yīng)的鄰近區(qū)域611,或者可使用形成當(dāng)前塊601的鄰近區(qū)域602的塊的運(yùn)動向量來確定參考圖像610中的相應(yīng)的鄰近區(qū)域611。如果當(dāng)前塊601的運(yùn)動向量或當(dāng)前塊601的鄰近區(qū)域602的運(yùn)動向量具有分?jǐn)?shù)像素分辨率，則使用取整函數(shù)或修整函數(shù)將運(yùn)動向量的水平分量和垂直分量中的分?jǐn)?shù)像素分辨率分量變換到整數(shù)，并且可使用變換的運(yùn)動向量確定參考圖像610的鄰近區(qū)域612。例如，當(dāng)使用當(dāng)前塊601的運(yùn)動向量確定與當(dāng)前塊601的鄰近區(qū)域602相應(yīng)的參考圖像610的鄰近區(qū)域611時，如果當(dāng)前塊601的運(yùn)動向量是(-1.25, 4.75)，則可通過將當(dāng)前塊601的運(yùn)動向量變換為(-1,5)并將變換的運(yùn)動向量應(yīng)用到當(dāng)前塊601的鄰近區(qū)域602來確定參考圖像610的鄰近區(qū)域611。使用這種運(yùn)動向量變換處理以省略內(nèi)插處理來確定參考圖像610的鄰近區(qū)域611。
濾波器系數(shù)確定單元242計(jì)算參考圖像610的內(nèi)插的鄰近區(qū)域612中的像素與當(dāng)前塊601的鄰近區(qū)域602中的相應(yīng)像素之間的差值的和，并且確定內(nèi)插濾波器系數(shù)，從而最小化差值的和。例如，當(dāng)使用誤差平方和(SSE)時，濾波器系數(shù)確定單元242可將參考圖像610的內(nèi)插的鄰近區(qū)域612中的像素與當(dāng)前塊601的鄰近區(qū)域602中的相應(yīng)像素之間的差值進(jìn)行平方，將平方的差值相加，通過每個內(nèi)插濾波器系數(shù)對SSE求偏微分，并且將使SSE的偏微分為0的最終內(nèi)插濾波器系數(shù)確定為內(nèi)插濾波器系數(shù)。
圖7示出根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率的參考圖像的鄰近區(qū)域和參考圖像的內(nèi)插的鄰近區(qū)域。在圖7中，標(biāo)號711指示的區(qū)域表示與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，標(biāo)號712指示的區(qū)域表示通過在參考圖像的鄰近區(qū)域711中的整數(shù)像素之間內(nèi)插二分之一像素而產(chǎn)生的參考圖像的內(nèi)插的鄰近區(qū)域。另外，在圖7中，圓環(huán)表示整數(shù)像素，叉表示二分之一像素。
如果假設(shè)當(dāng)前塊的運(yùn)動向量在水平方向上具有二分之一像素分辨率(0.5，0),則為了獲得當(dāng)前塊的運(yùn)動補(bǔ)償值，必須內(nèi)插水平方向上彼此相鄰的參考圖像的整數(shù)像素之間的二分之一像素。在這種情況下，根據(jù)現(xiàn)有技術(shù)，使用6階FIR濾波器內(nèi)插當(dāng)前塊的運(yùn)動向量指示的參考圖像的相應(yīng)塊。參照圖7,根據(jù)本發(fā)明的實(shí)施例的參考圖像鄰近區(qū)域內(nèi)插器241與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域711的在水平方向上彼此相鄰的整數(shù)像素之間內(nèi)插二分之一像素，而不是直接內(nèi)插與當(dāng)前塊相應(yīng)的參考圖像區(qū)域。
圖8是用于解釋根據(jù)本發(fā)明的實(shí)施例的內(nèi)插參考圖像的鄰近區(qū)域的處理的示圖。參考圖8，如果僅當(dāng)前塊的運(yùn)動向量的水平分量具有如圖7所示的分?jǐn)?shù)
像素分辨率，如圖7所示，則參考圖像鄰近區(qū)域內(nèi)插器241通過定義用于將權(quán)重分配給參考圖像的鄰近區(qū)域中水平方向上與分?jǐn)?shù)像素801鄰近的N (N為正整數(shù))個整數(shù)像素的N x 1大小的掩摸(mask) 800,將掩摸800中的N個鄰近整數(shù)像素乘以分配的權(quán)重，并且將相乘的結(jié)果相加，產(chǎn)生將被內(nèi)插的分?jǐn)?shù)像素801的內(nèi)插值。
例如，如果假設(shè)N-6，則將被內(nèi)插的在分?jǐn)?shù)像素801的水平方向上鄰近的6個整數(shù)像素是D1、 D2、 D3、 D4、 D5和D6,并且分別分配給鄰近整數(shù)1象素D1、 D2、 D3、 D4、 D5和D6的一又重是Wl、 W2、 W3、 W4、 W5和W6,使用等式1獲得分?jǐn)?shù)像素801的內(nèi)插值p。
p=Wl x Dl+W2 x D2+W3 x D3+W4 x D4+W5 x D5+W6 x D6 (等式1)
參考圖像鄰近區(qū)域內(nèi)插器241通過如等式1將預(yù)定權(quán)重分配給參考圖像的鄰近區(qū)域中的整數(shù)像素，將鄰近整數(shù)像素乘以分配的權(quán)重，并且將相乘的結(jié)果相加，產(chǎn)生與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的內(nèi)插的鄰近區(qū)域。
圖9是用于解釋才艮據(jù)本發(fā)明的另 一示例性實(shí)施例的內(nèi)插參考圖像的鄰近區(qū)域的處理的示圖。
參照圖9,如果僅當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量中的垂直分量具有分?jǐn)?shù)像素分辨率，則參考圖像鄰近區(qū)域內(nèi)插器241通過定義用于將權(quán)重分配給參考圖像的鄰近區(qū)域中垂直方向上與分?jǐn)?shù)像素901鄰近的M (M為正整數(shù))個整數(shù)像素的1 xM大小的掩摸900,將掩摸900中的M個鄰近整數(shù)像素乘以分配的權(quán)重，并且將相乘的結(jié)果相加，產(chǎn)生將被內(nèi)插的分?jǐn)?shù)像素901的內(nèi)插值。
例如，假設(shè)當(dāng)前塊的運(yùn)動向量為(3， 0.5)，即，僅在垂直分量上具有分?jǐn)?shù)像素分辨率。另外，假設(shè)^1 = 6,則將被內(nèi)插的在分?jǐn)?shù)像素901的垂直方向上鄰近的6個整數(shù)像素是D7、 D8、 D9、 DIO、 D11和D12,并且分別分配給鄰近整數(shù)像素D7、 D8、 D9、 DIO、 Dll和D12的權(quán)重是W7、 W8、 W9、 WIO、Wll和W12,則使用等式2獲得分?jǐn)?shù)像素901的內(nèi)插值q。
q=W7 x D7+W8 x D8+W9 x D9+W10 x D10+W1 1 x Dl 1+W12 x D12(等式
2)
圖10是用于解釋根據(jù)本發(fā)明的另一示例性實(shí)施例的內(nèi)插參考圖像的鄰近區(qū)域的處理的示圖。參照圖10,如果當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量都具有分?jǐn)?shù)像
素分辨率，則參考圖像鄰近區(qū)域內(nèi)插器241通過定義用于將權(quán)重分配給與參考圖像的鄰近區(qū)域中的分?jǐn)?shù)像素1001鄰近的整數(shù)像素的NxM大小的掩摸1000,將掩摸1000中的N x M個鄰近整數(shù)像素乘以分配的權(quán)重，并且將相乘的結(jié)果相加，產(chǎn)生將被內(nèi)插的分?jǐn)?shù)像素1001的內(nèi)插值。
例如，假設(shè)當(dāng)前塊的運(yùn)動向量為(3.5, 0.5),即，在水平分量和垂直分量上都具有分?jǐn)?shù)像素分辨率。在這種情況下，如果假設(shè)對存在于參考圖像的鄰近區(qū)域中的整數(shù)像素之間的將被內(nèi)插的分?jǐn)?shù)像素1001定義NxM大小的掩摸1000,并且定義的NxM大小的掩摸1000中的(i,j)位置(i=l，...,N， j=l，...，M)的鄰近整數(shù)像素是Dij并且分配給鄰近整數(shù)像素Dij的權(quán)重是Wij,則使用等式3獲得分?jǐn)?shù)像素1001的內(nèi)插值r。
r=Wll x Dl 1+W12 x D12+…+W43 x D43+W44 x D44 (等式3)
根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率內(nèi)插參考圖像的鄰近區(qū)域的處理不限于上面描述的示例性實(shí)施例。例如，還可將使用NxM大小的掩摸內(nèi)插參考圖像的鄰近區(qū)域的處理應(yīng)用于僅有當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量中的任何一個具有分?jǐn)?shù)像素分辨率的情況。另外，在當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量都具有分?jǐn)?shù)像素分辨率時，可使用Nxl大小的掩摸內(nèi)插水平方向上彼此相鄰的整數(shù)像素之間的分?jǐn)?shù)像素，并且可使用lxM大小的掩摸內(nèi)插垂直方向上彼此相鄰的整數(shù)像素之間的分?jǐn)?shù)像素。
圖11A示出當(dāng)前塊的鄰近區(qū)域1110，圖IIB示出通過內(nèi)插與圖IIA示出的當(dāng)前塊的鄰近區(qū)域1110相應(yīng)的參考圖像的鄰近區(qū)域而產(chǎn)生的參考圖像的內(nèi)插的鄰近區(qū)域1120。在圖IIA和圖IIB中，Pij表示位于(i,j)的當(dāng)前塊的鄰近區(qū)域1110的像素的值，Pij'表示與當(dāng)前塊的鄰近區(qū)域1110中位于(i,j)的像素相應(yīng)的參考圖像的內(nèi)插的鄰近區(qū)域1120的像素值。
參照圖IIA和圖IIB，如果參考圖像鄰近區(qū)域內(nèi)插器241根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率通過內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素，產(chǎn)生參考圖像的內(nèi)插的鄰近區(qū)域1120,則濾波器系數(shù)確定單元242計(jì)算參考圖像的內(nèi)插的鄰近區(qū)域1120中每個像素與當(dāng)前塊的鄰近區(qū)域1110中每個相應(yīng)像素之間的差值，即，Pij-Pij',并且計(jì)算當(dāng)前塊的鄰近區(qū)域1110中的像素與參考圖像的鄰近區(qū)域中的相應(yīng)內(nèi)插的分?jǐn)?shù)像素之間的誤差值的和E。如上所述，如果使用SSE,則濾波器系數(shù)確定單元242如[公式1 ] ￡ = Z (W - W )2中計(jì)算彼此相應(yīng)的像素之間的差值的平方和，并且確定使誤差值的和E最小化的掩摸的權(quán)重?？赏ㄟ^將分配給鄰近整數(shù)像素的權(quán)重設(shè)置為變量對誤差值的和E求偏微分并計(jì)算使偏微分的誤差值的和E為0的權(quán)重，
來確定使誤差值的和E最小化的掩摸的權(quán)重。確定的權(quán)重與內(nèi)插濾波器的濾
波器系數(shù)相應(yīng)，并且通過應(yīng)用具有確定的濾波器系數(shù)的內(nèi)插濾波器內(nèi)插與當(dāng)前塊相應(yīng)的參考圖像的塊。
確定用于內(nèi)插參考圖像的鄰近區(qū)域的N x M大小的掩摸中的權(quán)重的處理概括為下面的描述。
如上所述，必須確定掩摸中的權(quán)重，以最小化參考圖像的內(nèi)插的鄰近區(qū)域中的每個像素與當(dāng)前塊的鄰近區(qū)域中的每個相應(yīng)像素之間的誤差值的和。
如果假設(shè)在時間t編碼的當(dāng)前圖像的當(dāng)前塊的鄰近區(qū)域是o二，與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的內(nèi)插的鄰近區(qū)域是,(Mr') ， N x M大小的掩摸中(i,j)位置(i=l,..,N, j=l,...,M)的濾波器權(quán)重為f^，當(dāng)前塊的鄰近區(qū)域O;與
參考圖像的內(nèi)插的鄰近區(qū)域尸(^y')之間的差值是《，則如等式4使用參考
圖像的內(nèi)插的鄰近區(qū)域,(M)/')和差值《,,來表示當(dāng)前塊的鄰近區(qū)域，[公
式2]《v = P'(腳')+《(等式4)。
可通過將NxM大小的掩摸與使用當(dāng)前塊的運(yùn)動向量mv'確定的參考圖
像的鄰近區(qū)域D'-'中的整數(shù)像素合并，將(i，j)位置的濾波器權(quán)重^,乘以參考圖
像的鄰近區(qū)域中的整數(shù)像素，并且將相乘的結(jié)果相加(等式5),來計(jì)算參考
圖像的內(nèi)插的鄰近區(qū)域尸'(/m/)。這里，運(yùn)動向量柳'可使用當(dāng)前塊的運(yùn)動向量
作為使用取整函數(shù)或修整函數(shù)逐個整數(shù)像素變換的向量。
(等式5)
如上所述，必須確定掩摸的權(quán)重w,，以最小化當(dāng)前塊的鄰近區(qū)域與參考
圖像的內(nèi)插的鄰近區(qū)域之間的誤差值的和。如果SSE用作誤差值的和，則使用等式6計(jì)算SSE。[公式4]
<formula>formula see original document page 16</formula>
(等式6)
可通過在NxM大小的掩摸中的任意(k,l)位置的權(quán)重^,對SSE求偏微分，并且確定使偏微分的值為0的權(quán)重，確定使SSE最小化的權(quán)重，如等式[公式5]
，=Z(2x (《廠zx《;,w(腳'))x(-《l+,(腳')))
=一2 x s (《x d;-w (卿'))2+2 x s ," x ￡化—二"(卿)x (證')))=o
(等式7)
通過使用指示互相關(guān)的預(yù)定算子C如等式8來表示等式7?！?'"'—'=c和[公式8]=《:::r,則使
用等式9來表示等式8。 [公式9]
,乂
(等式9)
通過使用矩陣表達(dá)式來表示等式9，獲得等式IO。 [公式10]
廣(力廣i —廣/廣'/廣1 , —。
(等式10)
通過基于指示權(quán)重的一維矩陣表達(dá)式^^來排列等式10，獲得等式11。 (等式11)
也就是說，可通過使用每個權(quán)重作為參數(shù)來內(nèi)插參考圖像的鄰近區(qū)域中 的整數(shù)像素之間的分?jǐn)?shù)像素，對參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的鄰近 區(qū)域之間的差值的平方值的和求偏微分，并且計(jì)算使平方值的和的偏微分為
0的權(quán)重，確定根據(jù)本發(fā)明的示例性實(shí)施例中N x M大小的掩摸中NM權(quán)重。 再參照圖2,內(nèi)插器250使用內(nèi)插濾波器產(chǎn)生器240產(chǎn)生的內(nèi)插濾波器 來內(nèi)插與當(dāng)前塊相應(yīng)的參考圖像區(qū)域。運(yùn)動補(bǔ)償器260通過從內(nèi)插的參考圖
像獲取當(dāng)前塊的運(yùn)動向量指示的當(dāng)前塊的運(yùn)動補(bǔ)償值，產(chǎn)生當(dāng)前塊的預(yù)測塊。減法器270計(jì)算殘差塊，所述殘差塊為預(yù)測塊與原始輸入塊之間的差值。
編碼器280通過對殘差塊進(jìn)行變換、量化和熵編碼來產(chǎn)生比特流。另外，編 碼器280使用根據(jù)本發(fā)明的示例性實(shí)施例產(chǎn)生的內(nèi)插濾波器，將當(dāng)前塊的運(yùn) 動向量信息和指示是否已經(jīng)內(nèi)插當(dāng)前塊的相應(yīng)塊的二進(jìn)制信息插入產(chǎn)生的比 特流的預(yù)定區(qū)域。也就是說，通過將根據(jù)現(xiàn)有技術(shù)內(nèi)插參考圖像時具有值"0" 或者根據(jù)本發(fā)明的示例性實(shí)施例通過使用鄰近區(qū)域的數(shù)據(jù)產(chǎn)生內(nèi)插濾波器來
內(nèi)插參考圖像時具有值'T，的一比特標(biāo)記插入比特流，解碼設(shè)備可確定是否 產(chǎn)生了內(nèi)插濾波器。根據(jù)本發(fā)明的示例性實(shí)施例，通過僅通知解碼設(shè)備是否 為每個塊產(chǎn)生了內(nèi)插濾波器，解碼設(shè)備可產(chǎn)生內(nèi)插濾波器，以通過與編碼設(shè) 備相同的處理內(nèi)插用于當(dāng)前塊的運(yùn)動補(bǔ)償?shù)膮⒖紙D像。
圖12是根據(jù)本發(fā)明的示例性實(shí)施例的圖像編碼方法的流程圖。
參照圖12，在操作1210,通過以分?jǐn)?shù)像素分辨率執(zhí)行當(dāng)前塊的運(yùn)動預(yù)測， 產(chǎn)生當(dāng)前塊的運(yùn)動向量。如上所述，可通過使用根據(jù)現(xiàn)有技術(shù)的6階FIR濾 波器、2階均值濾波器或線性內(nèi)插濾波器內(nèi)插參考圖像的搜索區(qū)域并且搜索 與當(dāng)前塊最相似的塊，確定當(dāng)前塊的運(yùn)動向量。
在操作1220,確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域。可 通過將當(dāng)前塊的運(yùn)動向量應(yīng)用于當(dāng)前塊的鄰近區(qū)域或者使用鄰近區(qū)域的運(yùn)動 向量來確定參考圖像的鄰近區(qū)域。
在操作1230，根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率內(nèi)插參考圖像的 鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素。如上所述，如果僅當(dāng)前塊的運(yùn)動向量 的分量中的水平分量具有分?jǐn)?shù)像素分辨率，則使用Nx 1大小的掩摸或NxM 大小的掩摸內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素。如果僅當(dāng) 前塊的運(yùn)動向量的分量中的垂直分量具有分?jǐn)?shù)像素分辨率，則使用lxM大 小的掩摸或N x M大小的掩摸內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分 數(shù)像素。如果當(dāng)前塊的運(yùn)動向量的水平分量和垂直分量都具有分?jǐn)?shù)像素分辨 率，則使用NxM大小的掩摸內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分 數(shù)像素，或者可通過使用Nxi大小的掩摸內(nèi)插水平方向上鄰近的整數(shù)像素 之間的分?jǐn)?shù)像素并通過使用lxM大小的掩摸內(nèi)插垂直方向上鄰近的整數(shù)像 素之間的分?jǐn)?shù)像素，來內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素。
在操作1240,確定使參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū) 域之間的差值最小化的權(quán)重，即濾波器系數(shù)。如上所述，可通過使用SSE計(jì)算當(dāng)前塊的鄰近區(qū)域中的每個像素與參考圖像的鄰近區(qū)域中的每個相應(yīng)內(nèi)插 的分?jǐn)?shù)像素之間的誤差值的和，通過使用每個權(quán)重作為參數(shù)對誤差值的和求 偏微分，并且確定使偏微分的誤差值的和為0的權(quán)重，確定用于內(nèi)插與當(dāng)前 塊相應(yīng)的參考圖像的相應(yīng)塊的內(nèi)插濾波器系數(shù)。
在操作1250,使用具有確定的內(nèi)插濾波器系數(shù)的內(nèi)插濾波器來內(nèi)插當(dāng)前 塊的相應(yīng)塊。然后，通過獲取當(dāng)前塊的運(yùn)動向量指示的參考塊的相應(yīng)塊來產(chǎn) 生當(dāng)前塊的預(yù)測塊，并且通過對作為預(yù)測塊與原始像素塊之間的差值的殘差 塊進(jìn)行變換、量化和熵編碼來產(chǎn)生比特流。將運(yùn)動向量信息和預(yù)定二進(jìn)制信 息插入產(chǎn)生的比特流的預(yù)定區(qū)域，所示預(yù)定二進(jìn)制信息指示當(dāng)前塊是否是使 用利用根據(jù)本發(fā)明的示例性實(shí)施例產(chǎn)生的內(nèi)插濾波器內(nèi)插的參考圖像的運(yùn)動 塊。
圖13是根據(jù)本發(fā)明的示例性實(shí)施例的圖像解碼設(shè)備1300的框圖。 參照圖13，根據(jù)本發(fā)明的當(dāng)前示例性實(shí)施例的圖像解碼設(shè)備1300包括 熵解碼器1310、重新排列單元1315、反量化器1320、逆變換器1325、加法 器1330、內(nèi)插濾波器產(chǎn)生器1335、內(nèi)插器1340、運(yùn)動補(bǔ)償器1345和幀內(nèi)預(yù) 測器1350。
熵解碼器1310接收壓縮的比特流，通過對壓縮的比特流進(jìn)行熵解碼來產(chǎn) 生量化的系數(shù)，并且提取將被解碼的當(dāng)前塊的運(yùn)動向量信息以及指示是否已 經(jīng)應(yīng)用根據(jù)本發(fā)明的示例性實(shí)施例的自適應(yīng)內(nèi)插濾波器的二進(jìn)制信息。重新 排列單元1315重新排列量化的系數(shù)，反量化器1320和逆變換器1325通過對 量化的系數(shù)分別進(jìn)行反量化和逆變換來恢復(fù)殘差。
如果當(dāng)前塊的提取的運(yùn)動向量是具有分?jǐn)?shù)像素分辨率的運(yùn)動塊，則內(nèi)插 濾波器產(chǎn)生器1335使用與已經(jīng)解碼的當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的 鄰近區(qū)域根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率來產(chǎn)生內(nèi)插濾波器，以內(nèi) 插參考圖像的鄰近區(qū)域中的整數(shù)像素之間的分?jǐn)?shù)像素，內(nèi)插濾波器內(nèi)插參考 圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū) 域之間的差值。由于圖13示出的內(nèi)插濾波器產(chǎn)生器1335的配置和操作與圖 2示出的內(nèi)插濾波器產(chǎn)生器240的配置和操作相同，因此不提供內(nèi)插濾波器 產(chǎn)生器1335的詳細(xì)描述。
內(nèi)插器1340使用內(nèi)插濾波器產(chǎn)生器1335產(chǎn)生的內(nèi)插濾波器來內(nèi)插與當(dāng) 前塊相應(yīng)的參考圖像區(qū)域。運(yùn)動補(bǔ)償器1345從內(nèi)插的參考圖像獲取當(dāng)前塊的運(yùn)動補(bǔ)償值，加法器 1330通過將當(dāng)前塊的運(yùn)動補(bǔ)償值與恢復(fù)的殘差相加來對當(dāng)前塊進(jìn)行解碼。 圖14是根據(jù)本發(fā)明的實(shí)施例的圖像解碼方法的流程圖。 參照圖14,在操作1410，從接收的比特流提取當(dāng)前塊的運(yùn)動向量。 在操作1420,如果提取的運(yùn)動向量具有分?jǐn)?shù)像素分辨率，則確定與已經(jīng) 解碼的當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域?？赏ㄟ^將當(dāng)前塊的運(yùn) 動向量應(yīng)用于當(dāng)前塊的鄰近區(qū)域或者使用鄰近區(qū)域的運(yùn)動向量來確定參考圖 像的鄰近區(qū)域。
在操作1430,根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率來內(nèi)插參考圖像 的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素。如上所述，通過結(jié)合預(yù)定大小的掩 摸(所述預(yù)定大小的掩摸用于將權(quán)重分配給與存在于參考圖像的鄰近區(qū)域中 的整數(shù)像素之間的將被內(nèi)插的每個分?jǐn)?shù)像素鄰近的整數(shù)像素)并且計(jì)算通過 將掩摸中的鄰近整數(shù)像素與分配的權(quán)重相乘并將相乘結(jié)果相加而獲得的加權(quán) 和來內(nèi)插分?jǐn)?shù)像素。在這種情況下，以使用權(quán)重作為參數(shù)的函數(shù)的形式來表
示內(nèi)插的分?jǐn)?shù)像素。
在操作1440,確定使參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū) 域之間的差值最小化的權(quán)重，即濾波器系數(shù)。例如，可通過使用SSE計(jì)算當(dāng) 前塊的鄰近區(qū)域中的每個像素與參考圖像的鄰近區(qū)域中的每個相應(yīng)內(nèi)插的分 數(shù)像素之間的誤差值的和，通過使用每個權(quán)重作為參數(shù)對誤差值的和求偏微 分，并且確定使偏微分的誤差值的和為0的權(quán)重，確定內(nèi)插濾波器系數(shù)。
在操作1450,使用具有確定的內(nèi)插濾波器系數(shù)的內(nèi)插濾波器來內(nèi)插當(dāng)前 塊的相應(yīng)塊。然后，使用內(nèi)插的參考圖像來獲取當(dāng)前塊的運(yùn)動補(bǔ)償值，并且 通過將運(yùn)動補(bǔ)償值與殘差相加來對當(dāng)前塊進(jìn)行解碼。
可自適應(yīng)地使用根據(jù)本發(fā)明的示例性實(shí)施例的內(nèi)插濾波器以及根據(jù)現(xiàn)有 技術(shù)的內(nèi)插濾波器。也就是說，通過將使用根據(jù)現(xiàn)有技術(shù)內(nèi)插的參考圖像而 產(chǎn)生的比特流的率失真代價(jià)與使用根據(jù)本發(fā)明的實(shí)施例內(nèi)插的參考圖像而產(chǎn) 生的比特流的率失真代價(jià)進(jìn)行比較，編碼設(shè)備可確定用于產(chǎn)生比特流的代價(jià) 相對低的內(nèi)插濾波器作為最終應(yīng)用的內(nèi)插濾波器。另外，根據(jù)本發(fā)明的實(shí)施 例的內(nèi)插濾波器可取代整個傳統(tǒng)內(nèi)插濾波器或僅部分傳統(tǒng)內(nèi)插濾波器，并且 可通過將其添加到傳統(tǒng)內(nèi) 20本發(fā)明也可實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。所述計(jì)算 機(jī)可讀記錄介質(zhì)是能夠存儲其后能夠由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何類型存
儲裝置。所述計(jì)算機(jī)可讀記錄介質(zhì)的例子包括只讀存儲器(ROM)、隨機(jī)存 取存儲器(RAM)、 CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲裝置。
盡管已經(jīng)參照本發(fā)明的示例性實(shí)施例具體顯示并描述了本發(fā)明，但是本 領(lǐng)域的技術(shù)人員將理解，在不脫離權(quán)利要求限定的本發(fā)明的精神和范圍的情 況下，可以對其進(jìn)行形式和細(xì)節(jié)的各種改變。優(yōu)選實(shí)施例應(yīng)該被認(rèn)為^f又是描 述性的而不是限制的目的。因此，不是由本發(fā)明的詳細(xì)描述來限定本發(fā)明的 范圍，而是由權(quán)利要求來限定本發(fā)明的范圍，該范圍內(nèi)的所有差異將被解釋 為包括在本發(fā)明中。
權(quán)利要求
1、一種圖像編碼方法，包括通過使用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測來產(chǎn)生將被編碼的當(dāng)前塊的運(yùn)動向量；確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，當(dāng)前塊的鄰近區(qū)域已經(jīng)被編碼和解碼；根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的當(dāng)前塊的相應(yīng)塊。
2、 如權(quán)利要求1所述的圖像編碼方法，其中，產(chǎn)生當(dāng)前塊的運(yùn)動向量的 步驟包括使用6階有限脈沖響應(yīng)FIR濾波器、2階均值濾波器和線性內(nèi)插濾波器 中的至少一個來內(nèi)插參考圖像的搜索區(qū)域以達(dá)到分?jǐn)?shù)像素分辨率；在參考圖像的內(nèi)插的搜索區(qū)域中確定與當(dāng)前塊最相似的相應(yīng)塊的位置； 基于當(dāng)前塊的位置與參考圖像的相應(yīng)塊的位置之間的差值來計(jì)算當(dāng)前塊 的運(yùn)動向量。
3、 如權(quán)利要求1所述的圖像編碼方法，其中，使用當(dāng)前塊的運(yùn)動向量或 者當(dāng)前塊的鄰近區(qū)域的運(yùn)動向量來確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像 的鄰近區(qū)域。
4、 如權(quán)利要求3所述的圖像編碼方法，還包括如果選擇的運(yùn)動向量具有分?jǐn)?shù)像素分辨率，則使用取整函數(shù)或修整函數(shù) 將選擇的運(yùn)動向量的水平分量和垂直分量中具有分?jǐn)?shù)像素分辨率的分量值變 換為整數(shù)值。
5、 如權(quán)利要求1所述的圖像編碼方法，其中，產(chǎn)生內(nèi)插濾波器的步驟包括通過結(jié)合用于基于分?jǐn)?shù)像素將權(quán)重分配給鄰近整數(shù)像素的掩摸，并且計(jì) 算通過將掩摸中的鄰近整數(shù)像素與分配的權(quán)重相乘并將相乘的結(jié)果相加而獲得的加權(quán)和，內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的將被內(nèi)插的分?jǐn)?shù)像素；計(jì)算當(dāng)前塊的鄰近區(qū)域中的像素與參考圖像的鄰近區(qū)域中的相應(yīng)的內(nèi)插的分?jǐn)?shù)像素之間的誤差值的和；確定使誤差值的和最小化的掩摸的權(quán)重。
6、 如權(quán)利要求5所述的圖像編碼方法，其中，確定掩摸的權(quán)重的步驟包 括通過使用分配給鄰近整數(shù)像素的權(quán)重作為變量對誤差值的和求偏微分并 且計(jì)算使偏微分的誤差值的和為0的權(quán)重，來確定掩摸的權(quán)重。
7、 如權(quán)利要求5所述的圖像編碼方法，其中，誤差值的和使用通過將當(dāng) 前塊的鄰近區(qū)域中的每個像素與參考圖像的鄰近區(qū)域中的每個相應(yīng)的內(nèi)插的 分?jǐn)?shù)像素之間的差值相乘并且將所述差值相乘的結(jié)果相加而獲得的誤差平方和。
8、 如權(quán)利要求1所述的圖像編碼方法，還包括通過對當(dāng)前塊的內(nèi)插的相應(yīng)塊與原始輸入塊之間的差值進(jìn)行變換、量化 和熵編碼中的至少 一個來產(chǎn)生比特流；將當(dāng)前塊的運(yùn)動向量信息和二進(jìn)制信息插入產(chǎn)生的比特流的區(qū)域，所述 二進(jìn)制信息指示是否已經(jīng)使用用于內(nèi)插參考圖像的鄰近塊的內(nèi)插濾波器內(nèi)插 當(dāng)前塊的相應(yīng)塊。
9、 一種圖像編碼設(shè)備，包括運(yùn)動預(yù)測器，通過使用分?jǐn)?shù)像素分辨率對當(dāng)前塊執(zhí)行運(yùn)動預(yù)測來產(chǎn)生將 被編碼的當(dāng)前塊的運(yùn)動向量；內(nèi)插濾波器產(chǎn)生器，使用與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被編碼和解碼，所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；內(nèi)插器，使用產(chǎn)生的內(nèi)插濾波器來內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動 向量指示的當(dāng)前塊的相應(yīng)塊。
10、 如權(quán)利要求9所述的圖像編碼設(shè)備，還包括參考圖像內(nèi)插器，使用6階有限脈沖響應(yīng)FIR濾波器、2階均值濾波器 和線性內(nèi)插濾波器中的至少一個來內(nèi)插參考圖像的搜索區(qū)域以達(dá)到分?jǐn)?shù)像素分辨率，其中，運(yùn)動預(yù)測器在參考圖像的內(nèi)插的搜索區(qū)域中確定與當(dāng)前塊最相似 的相應(yīng)塊的位置，并且基于當(dāng)前塊的位置與參考圖像的相應(yīng)塊的位置之間的 差值來計(jì)算當(dāng)前塊的運(yùn)動向量。
11、 如權(quán)利要求9所述的圖像編碼設(shè)備，其中，使用當(dāng)前塊的運(yùn)動向量或者當(dāng)前塊的鄰近區(qū)域的運(yùn)動向量來確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖 像的鄰近區(qū)域。
12、 如權(quán)利要求9所述的圖像編碼設(shè)備，其中，內(nèi)插濾波器產(chǎn)生器還包括參考圖像鄰近區(qū)域內(nèi)插器，通過結(jié)合用于基于分?jǐn)?shù)像素將權(quán)重分配給鄰 近整數(shù)像素的掩摸，并且計(jì)算通過將掩摸中的鄰近整數(shù)像素與分配的權(quán)重相 乘并將相乘的結(jié)果相加而獲得的加權(quán)和，內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像 素之間的將被內(nèi)插的分?jǐn)?shù)像素；濾波器系數(shù)確定單元，計(jì)算當(dāng)前塊的鄰近區(qū)域中的像素與參考圖像的鄰 近區(qū)域中的相應(yīng)的內(nèi)插的分?jǐn)?shù)像素之間的誤差值的和，并且確定使誤差值的 和最小化的掩摸的權(quán)重。
13、 如權(quán)利要求12所述的圖像編碼設(shè)備，其中，濾波器系數(shù)確定單元使 用分配給鄰近整數(shù)像素的權(quán)重作為變量對誤差值的和求偏4汰分并且確定使偏 微分的誤差值的和為0的權(quán)重作為濾波器系數(shù)。
14、 一種圖像解碼方法，包括從接收的比特流提取將被解碼的當(dāng)前塊的運(yùn)動向量信息；如果提取的當(dāng)前塊的運(yùn)動向量是具有分?jǐn)?shù)像素分辨率的運(yùn)動塊，則確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被解碼；根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近 區(qū)域中整數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述內(nèi)插濾波器內(nèi)插參考圖 像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向量指示的 當(dāng)前塊的相應(yīng)塊。
15、 如權(quán)利要求14所述的圖像解碼方法，其中，使用當(dāng)前塊的運(yùn)動向量或者當(dāng)前塊的鄰近區(qū)域的運(yùn)動向量來執(zhí)行確定與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參 考圖像的鄰近區(qū)域的處理。
16、 如權(quán)利要求15所述的圖像解碼方法，還包括 如果選擇的運(yùn)動向量具有分?jǐn)?shù)像素分辨率，則使用取整函數(shù)或修整函數(shù)將選擇的運(yùn)動向量的水平分量和垂直分量中具有分?jǐn)?shù)像素分辨率的分量值變 換為整數(shù)值。
17、 如權(quán)利要求14所述的圖像解碼方法，其中，產(chǎn)生內(nèi)插濾波器的步驟包括通過結(jié)合用于基于分?jǐn)?shù)像素將權(quán)重分配給鄰近整數(shù)像素的掩摸，并且計(jì) 算通過將掩摸中的鄰近整數(shù)像素與分配的權(quán)重相乘并將相乘的結(jié)果相加而獲 得的加權(quán)和，內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像素之間的將被內(nèi)插的分?jǐn)?shù)像素；計(jì)算當(dāng)前塊的鄰近區(qū)域中的像素與參考圖像的鄰近區(qū)域中的相應(yīng)的內(nèi)插 的分?jǐn)?shù)像素之間的誤差值的和；確定使誤差值的和最小化的掩摸的權(quán)重。
18、 如權(quán)利要求17所述的圖像解碼方法，其中，確定掩摸的權(quán)重的步驟 包括通過使用分配給鄰近整數(shù)像素的權(quán)重作為變量對誤差值的和求偏微分 并且計(jì)算使偏微分的誤差值的和為0的權(quán)重，來確定掩摸的權(quán)重。
19、 如權(quán)利要求18所述的圖像解碼方法，其中，誤差值的和使用通過將 當(dāng)前塊的鄰近區(qū)域中的每個像素與參考圖像的鄰近區(qū)域中的每個相應(yīng)的內(nèi)插 的分?jǐn)?shù)像素之間的差值相乘并且將所述差值相乘的結(jié)果相加而獲得的誤差平 方和。
20、 一種圖像解碼設(shè)備，包括運(yùn)動向量提取器，從接收的比特流提取將被解碼的當(dāng)前塊的運(yùn)動向量信息；內(nèi)插濾波器產(chǎn)生器，如果提取的當(dāng)前塊的運(yùn)動向量是具有分?jǐn)?shù)像素分辨 率的運(yùn)動塊，則使用與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域，根據(jù) 當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率產(chǎn)生用于內(nèi)插參考圖像的鄰近區(qū)域中整 數(shù)像素之間的分?jǐn)?shù)像素的內(nèi)插濾波器，所述當(dāng)前塊的鄰近區(qū)域已經(jīng)被解碼， 所述內(nèi)插濾波器內(nèi)插參考圖像的鄰近區(qū)域以最小化參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的相應(yīng)鄰近區(qū)域之間的差值；內(nèi)插器，使用產(chǎn)生的內(nèi)插濾波器內(nèi)插通過具有分?jǐn)?shù)像素分辨率的運(yùn)動向 量指示的當(dāng)前塊的相應(yīng)塊。
21、 如權(quán)利要求20所述的圖像解碼設(shè)備，其中，內(nèi)插濾波器產(chǎn)生器還包括參考圖像鄰近區(qū)域內(nèi)插器，通過結(jié)合用于基于分?jǐn)?shù)像素將權(quán)重分配給鄰 近整數(shù)像素的掩摸，并且計(jì)算通過將掩摸中的鄰近整數(shù)像素與分配的權(quán)重相 乘并將相乘的結(jié)果相加而獲得的加權(quán)和，內(nèi)插參考圖像的鄰近區(qū)域中整數(shù)像 素之間的將被內(nèi)插的分?jǐn)?shù)像素；濾波器系數(shù)確定單元，計(jì)算當(dāng)前塊的鄰近區(qū)域中的像素與參考圖像的鄰 近區(qū)域中的相應(yīng)的內(nèi)插的分?jǐn)?shù)像素之間的誤差值的和，并且確定使誤差值的 和最小化的掩摸的權(quán)重。
22、 如權(quán)利要求21所述的圖像解碼設(shè)備，其中，濾波器系數(shù)確定單元使 用分配給鄰近整數(shù)像素的權(quán)重作為變量對誤差值的和求偏微分并且確定使偏 微分的誤差值的和為0的權(quán)重作為濾波器系數(shù)。
全文摘要
提供一種使用當(dāng)前塊的鄰近區(qū)域和參考圖像的相應(yīng)鄰近區(qū)域產(chǎn)生內(nèi)插濾波器以及使用產(chǎn)生的內(nèi)插濾波器內(nèi)插參考圖像的圖像編碼方法和設(shè)備及其圖像解碼方法和設(shè)備。通過根據(jù)當(dāng)前塊的運(yùn)動向量的分?jǐn)?shù)像素分辨率內(nèi)插與當(dāng)前塊的鄰近區(qū)域相應(yīng)的參考圖像的鄰近區(qū)域并且確定使參考圖像的內(nèi)插的鄰近區(qū)域與當(dāng)前塊的鄰近區(qū)域之間的差值最小化的內(nèi)插濾波器系數(shù)，使用關(guān)于鄰近區(qū)域的信息自適應(yīng)地產(chǎn)生當(dāng)前塊的運(yùn)動補(bǔ)償所需的內(nèi)插濾波器。
文檔編號H04N7/32GK101641960SQ200880009432
公開日2010年2月3日 申請日期2008年1月10日 優(yōu)先權(quán)日2007年1月22日
發(fā)明者孫有美, 李培根, 李教爀 申請人:三星電子株式會社