專(zhuān)利名稱(chēng)：使用組合參考雙向預(yù)測(cè)進(jìn)行運(yùn)動(dòng)估計(jì)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的基本原理一般涉及視頻編碼，更具體地，涉及一種使用 組合參考雙向預(yù)測(cè)進(jìn)行運(yùn)動(dòng)估計(jì)的方法和設(shè)備。
背景技術(shù)：
眾所周知，現(xiàn)有技術(shù)中的多假定運(yùn)動(dòng)補(bǔ)償(multi-hypothesis motion compensation)能夠?yàn)槭褂眠\(yùn)動(dòng)補(bǔ)償?shù)囊曨l編碼器和視頻解 碼器提供很多好處，如在第一種現(xiàn)有技術(shù)方法中所描述的。更具體 地，考慮兩個(gè)假定的雙向預(yù)測(cè)(B)條帶(bi-predictive slice, B slice) 或者以前標(biāo)準(zhǔn)和建議中的雙向預(yù)測(cè)圖像， 一般被認(rèn)為是用于國(guó)際標(biāo)準(zhǔn) 化組織/國(guó)際電工委員會(huì)(International Organization for Standardization/International Electrotechnical Commission ， ISO/IEC)的運(yùn)動(dòng)圖像專(zhuān)家組(Moving Picture Experts Grou。-4 ， MPEG-4)部分10高級(jí)視頻編碼(Advanced Video Coding ， AVC)標(biāo)準(zhǔn)或國(guó)際電信聯(lián)盟，電信標(biāo)準(zhǔn)化部門(mén) (International Telecommunication Union, Telecommunication Sector,縮寫(xiě)為ITU-T) H.264的建議(此后使用"MPEG-4 AVC標(biāo)準(zhǔn)"來(lái)表示)的編解碼 器的最高效的編碼條帶。這是因?yàn)?，這些條帶通過(guò)線(xiàn)性結(jié)合兩個(gè)或者 多個(gè)假定能夠有效地利用序列中存在的時(shí)間相關(guān)性，從而減少它們的 關(guān)聯(lián)誤差。更具體地，在B條帶中，使用一種方式編碼宏塊或者塊，
使得通過(guò)一個(gè)預(yù)測(cè)(List0或List1)或者線(xiàn)性結(jié)合兩個(gè)預(yù)測(cè)(List0和 List1)能夠預(yù)測(cè)該宏塊或者塊，同時(shí)，每一個(gè)list的關(guān)聯(lián)加權(quán)能夠在 淡化(fade)或者交叉淡化(cross —fade)的存在的情況下提供額 外的好處。為執(zhí)行該預(yù)測(cè)，解碼器僅需要與預(yù)測(cè)類(lèi)型相對(duì)應(yīng)的1個(gè)或 者2個(gè)運(yùn)動(dòng)矢量(motion vector, MV)，以及在比特流中傳遞它們的 關(guān)聯(lián)參考(每一個(gè)關(guān)聯(lián)列表有一個(gè)關(guān)聯(lián)參考)，或者在直接模式的情 況下，推測(cè)出這些關(guān)聯(lián)參考。
顯然地，在大部分編碼器中，例如，目前的JM參考軟件，聯(lián)合 視頻工作組(Joint Video Team, JVT)參考軟件版本JM7.4，用于已 條帶(一般用于多假定編碼)的運(yùn)動(dòng)估計(jì)在運(yùn)動(dòng)估計(jì)過(guò)程中分別考慮 有效預(yù)測(cè)列表中的每一個(gè)候選參考，并且不分別為雙向預(yù)測(cè)或者多假 定預(yù)測(cè)設(shè)定任何具體假定。對(duì)于每一個(gè)預(yù)測(cè)列表，編碼器計(jì)算最佳的 單向預(yù)測(cè)的運(yùn)動(dòng)矢量，然后編碼器使用這些候選的運(yùn)動(dòng)矢量生成額外 的雙向預(yù)測(cè)候選集合，該雙向預(yù)測(cè)候選集合在用于確定何種模式(單 向預(yù)測(cè)，多預(yù)測(cè)或者幀內(nèi)預(yù)測(cè))被使用的最終模式確定中被使用。
如圖1所示，通常使用參考符號(hào)100表示使用雙向預(yù)測(cè)的視頻編 碼器。視頻編碼器的輸入包括組合器105的同相輸入，模式確定和運(yùn) 動(dòng)補(bǔ)償(mode decision & motion compensation, MD&MC) 175的第 --輸入，運(yùn)動(dòng)估計(jì)器(motion estimator, ME) 165的第一輸入，和運(yùn) 動(dòng)估計(jì)器170的第一輸入。組合器105的輸出以信號(hào)通信方式連接到 變換器110的輸入。變換器110的輸出以信號(hào)通信方式連接到量化器 115的輸入。量化器115的輸出以信號(hào)通信方式連接到變長(zhǎng)編碼器
(variable length coder, VLC) 120的輸入。VLC120的輸出為視頻編 碼器100的輸出。
量化器115的輸出也以信號(hào)通信方式連接到反量化器125的輸 入。反量化器125的輸出以信號(hào)通信方式連接到反變換器130的輸 入。反變換器130的輸出以信號(hào)通信方式連接到組合器180的第一同 相輸入。組合器180的輸出以信號(hào)通信方式連接到環(huán)路濾波器135的 輸入。環(huán)路濾波器135的輸出以信號(hào)通信方式連接到圖像參考存儲(chǔ)器 140的輸入。圖像參考存儲(chǔ)器140的輸出以信號(hào)通信方式連接到UstO 參考緩沖器145的輸入和List1參考緩沖器150的輸入。ListO參考緩沖 器145的第一輸出以信號(hào)通信方式連接到乘法器155的第一輸入。 List1參考緩沖器150的第一輸出以信號(hào)通信方式連接到乘法器160的 第一輸入。ListO參考緩沖器145的第二輸出和List1參考緩沖器150的 第二輸出以信號(hào)通信方式連接到MD&MC175的第二輸入。乘法器155 的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器165的第二輸入。乘法器 160的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器170的第二輸入。 MD&MC175的第一輸出以信號(hào)通信方式連接到組合器105的反相輸 入。MD&MC175的第二輸出以信號(hào)通信方式連接到組合器180的第二 同相輸入。
如上的方法是基于在雙向預(yù)測(cè)中有好的運(yùn)動(dòng)矢量可供使用的假 定。不幸的是，這個(gè)假定不是總是成立的，因此有可能導(dǎo)致效率上嚴(yán) 重的損失。對(duì)于存在交叉淡化(融入)的情況尤其是這樣，并且，在 這種情況中分別考慮每一個(gè)列表可能會(huì)導(dǎo)致性能相對(duì)較差。其中，在 交叉淡化中，這些圖像中的層疊的物體可能有差異較大的亮度特征和 可能存在的運(yùn)動(dòng)特性。因此，需要在運(yùn)動(dòng)估計(jì)階段能夠綜合考慮有效 候選參考，從而能夠使編碼效率高。另一方面，這不意味著不應(yīng)該分 別考慮每一個(gè)參考。原因?yàn)椋诘捅忍厮俾实那闆r下，當(dāng)僅需要傳輸
一組運(yùn)動(dòng)矢量(分別使用m^禾P mv^對(duì)應(yīng)參考x和y)的時(shí)候， 單向預(yù)測(cè)仍然能夠?yàn)槲覀兲峁┝己玫男Ч?br>
眾所周知，單個(gè)候選的運(yùn)動(dòng)估計(jì)的計(jì)算量相當(dāng)大。如果使用搜索 窗口為(土N，土M)的完全搜索方法，那么需要測(cè)試(2N+1)x(2M+1)個(gè)檢 査點(diǎn)。顯然地，窮盡方法(brute force)以及某種意義上的用于雙向 預(yù)測(cè)的最佳方法需要(2N+1)、(2M+lf個(gè)檢查點(diǎn)，這對(duì)于任何一個(gè)體 系結(jié)構(gòu)都是難以接受的。在更普通的多假定(k-預(yù)測(cè)，k-prediction) 情況下，需要測(cè)試(2N+1)Kx(2M+1)K個(gè)檢查點(diǎn)。上述第一個(gè)現(xiàn)有技術(shù) 方法提到了一個(gè)相對(duì)簡(jiǎn)單的可供選擇的體系結(jié)構(gòu)，在該體系結(jié)構(gòu)中， 使用迭代方法替代窮盡方法。該迭代方法通過(guò)考慮前面估計(jì)的假定依 次檢查和細(xì)化每一個(gè)假定。
對(duì)雙向預(yù)測(cè)情況，該方法概括如下假定當(dāng)前圖像為z，正在考 慮的兩個(gè)參考是圖像x和圖像y。對(duì)于這兩個(gè)圖像，分別選擇加權(quán)a和 b用于加權(quán)預(yù)測(cè)(即對(duì)于一般雙向預(yù)測(cè)，a=b=1/2) 。 mv0和mv，是 分別對(duì)應(yīng)x和y參考(或者它們的加權(quán)對(duì)應(yīng)物)的用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng) 矢量。雖然能夠應(yīng)用類(lèi)似的考慮，但是為簡(jiǎn)單起見(jiàn)，在處理方法中不 考慮加權(quán)偏移。在下面的過(guò)程中，使用絕對(duì)誤差的和(sum of absolute difference, SAD)做為畸變度量。
Step 1. <formula>formula see original document page 16</formula> 2. 形成參考圖像ax.
Step 3. 使用畸變 1 、 <formula>formula see original document page 16</formula>
中執(zhí)行運(yùn)動(dòng)估計(jì)來(lái)細(xì)化運(yùn)動(dòng)矢量<formula>formula see original document page 16</formula>4. 設(shè)置<formula>formula see original document page 16</formula>5. 形成參考圖像by
16
Step 6.
Step 7. Step 8.
Step 9.
Step 10. Step " Step 12.
使用畸變WD <formula>formula see original document page 17</formula>在by中執(zhí)
行運(yùn)動(dòng)估計(jì)來(lái)細(xì)化運(yùn)動(dòng)矢量A7 ^ 如果 (mv,二二柳v')，則退出
設(shè)置廳(—wvi
使用畸變<formula>formula see original document page 17</formula>
中細(xì)化運(yùn)動(dòng)矢量
如果 (mVo=mv;)， 則退出 設(shè)置=,0
轉(zhuǎn)向Step 6.
在 ax
這個(gè)方法可以廣泛用于多假定的情況。但該方法存在仍然需要大 量的迭代的問(wèn)題。此外，雖然性能很可能被提高，但是最終的預(yù)測(cè)也 可能不是最佳的選擇。尤其是在該方法在局部最小被限制的時(shí)候，不 是最佳選擇的可能性很大。當(dāng)考慮為該算法的每一次迭代使用運(yùn)動(dòng)補(bǔ) 償重構(gòu)一個(gè)新的假定的時(shí)候，該體系結(jié)構(gòu)的實(shí)現(xiàn)會(huì)非常的復(fù)雜。上述 第一種現(xiàn)有技術(shù)方法提出了一種類(lèi)似的可選擇的方法。在該方法中， step 1中被初始化為0的所有運(yùn)動(dòng)矢量被替換為通過(guò)獨(dú)立地考慮每一 個(gè)列表而生成的運(yùn)動(dòng)矢量。
視頻壓縮編碼器和解碼器通過(guò)形成需要迸行編碼的當(dāng)前圖像(或
條帶)P current的預(yù)測(cè)和通過(guò)額外地編碼該預(yù)測(cè)和當(dāng)前圖像間的差異來(lái) 獲得高效的壓縮效率。預(yù)測(cè)和當(dāng)前圖像越密切相關(guān)，用于壓縮該圖像 的比特就越少。因此，需要形成最佳可能的圖像預(yù)測(cè)。這個(gè)預(yù)測(cè)能夠 通過(guò)空間預(yù)測(cè)方法(幀內(nèi)編碼)或者時(shí)間預(yù)測(cè)方法(幀間編碼)生成。
時(shí)間預(yù)測(cè)方法一般使用運(yùn)動(dòng)補(bǔ)償技術(shù)生成預(yù)測(cè)參考。通常先把源
圖像分割為大小為NXM的不重疊的塊，然后使用運(yùn)動(dòng)估計(jì)技術(shù)在參 考圖像/^eference中查找最佳匹配。最佳匹配與同樣被編碼到比特流中
的一個(gè)運(yùn)動(dòng)參數(shù)的集合相關(guān)聯(lián)。例如MPEG-4 AVC這樣最新的標(biāo)準(zhǔn)
通過(guò)用信號(hào)通知與運(yùn)動(dòng)參數(shù)一起使用的參考的索引也允許為最佳預(yù)測(cè) 的估計(jì)和選擇考慮多參考圖像。多參考編碼器和解碼器使用參考緩沖 器，其中，在編碼和解碼過(guò)程中，在該參考緩沖器中存取每一個(gè)可能 的候選參考。
一個(gè)可供選擇的能提高性能的方法是一次不僅考慮一個(gè)參考，而
且考慮使用雙向預(yù)測(cè)(bi-predictive, B)圖像/條帶編碼中應(yīng)用的多假 定的組合的可能性。這里，可以使用從一個(gè)多參考集合中選擇一個(gè)參 考，或者通過(guò)線(xiàn)性組合(即執(zhí)行加權(quán)平均)兩個(gè)有效的參考來(lái)生成該 預(yù)測(cè)。如果必要，還需要估計(jì)和傳遞對(duì)應(yīng)著參考的兩個(gè)不同的運(yùn)動(dòng)參 數(shù)集合。這個(gè)概念能夠應(yīng)用于上述第一種現(xiàn)有技術(shù)方法所描述的考慮 2個(gè)以上假定的編碼器中。也能夠提高性能的其它的參數(shù)包括考慮如 第二種現(xiàn)有技術(shù)方法中建議的加權(quán)預(yù)測(cè)，其中，對(duì)每一個(gè)假定應(yīng)用不 同的加權(quán)因子，以及使用如全局運(yùn)動(dòng)補(bǔ)償技術(shù)這樣比較復(fù)雜的運(yùn)動(dòng)模 型。
雖然考慮多假定運(yùn)動(dòng)補(bǔ)償能夠相當(dāng)程度上提高視頻編解碼器的 性能，但是很難適當(dāng)?shù)毓烙?jì)用于這種情況的運(yùn)動(dòng)參數(shù)。尤其地，最佳 的解決方案能夠通過(guò)使用有效的參考檢查所有可能的預(yù)測(cè)組合來(lái)找 到，也就是，對(duì)于一個(gè)參考中的每一個(gè)可能的運(yùn)動(dòng)矢量，檢査剩余參 考中所有的其它運(yùn)動(dòng)矢量及其組合。但是，這種辦法的計(jì)算代價(jià)顯然 是難以接受的。
發(fā)明內(nèi)容
本發(fā)明提出一種使用組合參考雙向預(yù)測(cè)進(jìn)行運(yùn)動(dòng)估計(jì)的方法和設(shè) 備，解決現(xiàn)有技術(shù)中的這些和其它的不足和缺點(diǎn)。
本發(fā)明原理的一個(gè)方面提供了一種設(shè)備。該設(shè)備包括用于從至少 兩個(gè)參考圖像的組合中編碼多預(yù)測(cè)圖像的編碼器，該編碼器在運(yùn)動(dòng)估 計(jì)過(guò)程中為該至少兩個(gè)參考圖像中的一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量，其 中，該編碼器在為一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí)候，把該至少兩個(gè) 參考圖像的其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值以便被運(yùn)動(dòng)估計(jì)過(guò) 程使用。
本發(fā)明原理的另外一個(gè)方面提供了一種方法。該方法包括通過(guò)在 運(yùn)動(dòng)估計(jì)過(guò)程中為至少兩個(gè)參考圖像中的一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢 量，從所述至少兩個(gè)參考圖像的組合中編碼多預(yù)測(cè)圖像，其中，在為 一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí)候，把所述至少兩個(gè)參考圖像的其它 參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值以便被運(yùn)動(dòng)估計(jì)過(guò)程使用。
結(jié)合著附圖閱讀下面示例性實(shí)施例的具體描述，能夠了解本發(fā)明 原理的這些和其它的方面、特征和優(yōu)點(diǎn)。
結(jié)合如下示例性附圖可以更好地理解本發(fā)明的原理，其中 圖1示出現(xiàn)有技術(shù)中使用雙向預(yù)測(cè)的視頻編碼器的示意圖； 圖2示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的采用帶有減影考慮的雙 向預(yù)測(cè)的示例性視頻編碼器示意圖3示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用雙向預(yù)測(cè)用于編碼
宏塊的示例性方法；
圖4示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用組合參考雙向預(yù)測(cè)
用于運(yùn)動(dòng)估計(jì)的示例性方法，其中，執(zhí)行并行迭代來(lái)優(yōu)化剩余假定；
圖5示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用組合參考雙向預(yù)測(cè) 用于運(yùn)動(dòng)估計(jì)的示例性方法，其中，基于最佳參考，迭代細(xì)化運(yùn)動(dòng)矢
圖6示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的考慮所有假定都具有相 同運(yùn)動(dòng)矢量的用于運(yùn)動(dòng)估計(jì)的示例性方法；
圖7示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用組合參考雙向預(yù)測(cè)
用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方法，其中，每一個(gè)參考(x或者y)相比
源圖像X都是固定的；
圖8示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用組合參考雙向預(yù)測(cè)用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方法，其中，只有一個(gè)參考相對(duì)于源圖像
是固定的；以及
圖9示出根據(jù)本發(fā)明原理的一個(gè)實(shí)施例的使用組合參考雙向預(yù)測(cè)
用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方法，其中，在參考之間為零運(yùn)動(dòng)的假定 前提下組合兩個(gè)參考。
具體實(shí)施例方式
本發(fā)明的原理提出一種使用組合參考雙向預(yù)測(cè)進(jìn)行運(yùn)動(dòng)估計(jì)的方 法和設(shè)備。
本發(fā)明的說(shuō)明書(shū)闡述了本發(fā)明的原理。并且，本領(lǐng)域的技術(shù)人員 能夠設(shè)計(jì)出包含本發(fā)明原理的各式各樣的裝置，雖然這些裝置在這里 沒(méi)有顯式地說(shuō)明或者示出，但是這些裝置屬于本發(fā)明的發(fā)明精神和保 護(hù)范圍之中。
這里敘述的所有的例子和條件語(yǔ)言用于教學(xué)目的，以便輔助讀者 了解發(fā)明者對(duì)現(xiàn)有技術(shù)發(fā)展作出貢獻(xiàn)的本發(fā)明的原理和概念，應(yīng)當(dāng)理
解，本發(fā)明不局限于這些具體敘述的例子和條件。
此外，這里敘述本發(fā)明原理的原理，各個(gè)方面和具體實(shí)施例和具 體的例子的所有陳述包含對(duì)應(yīng)其結(jié)構(gòu)和功能的等同物。另外，這些等 同物既包括目前已知的等同物，也包括以后研發(fā)出的等同物，即，開(kāi) 發(fā)出來(lái)的，無(wú)論什么樣的結(jié)構(gòu)，只要執(zhí)行相同的功能的任何元件。
因此，例如，本領(lǐng)域技術(shù)人員應(yīng)該意識(shí)到，本發(fā)明的方塊圖示出 了包含本發(fā)明原理的示意性電路的概念圖。同樣地，應(yīng)該意識(shí)到，所 有的流程圖，作業(yè)圖，狀態(tài)轉(zhuǎn)移圖和偽碼等描述了各種處理過(guò)程，在 這里，不管計(jì)算機(jī)或者處理器是否被顯式地示出，這些處理過(guò)程可能 實(shí)質(zhì)上記錄在計(jì)算機(jī)可讀介質(zhì)上，并且被計(jì)算機(jī)或處理器執(zhí)行。
在圖中示出的不同元件的功能可以通過(guò)使用專(zhuān)用硬件提供，也可 以使用能夠執(zhí)行相關(guān)軟件的硬件來(lái)提供。當(dāng)通過(guò)處理器來(lái)提供的時(shí) 候，這些功能可以通過(guò)一個(gè)專(zhuān)用處理器，或一個(gè)共享處理器，或有著 部分共享的一組處理器來(lái)提供。此外，術(shù)語(yǔ)"處理器"或者"控制 器"的顯式使用不應(yīng)該僅僅解釋為能夠執(zhí)行軟件的硬件，還能隱式地
包括且不限于，數(shù)字信號(hào)處理器(digital signal processor, DSP)硬 件，用于存儲(chǔ)軟件的只讀存儲(chǔ)器(read only memory, ROM)，隨機(jī) 存取存儲(chǔ)器(random access memory, RAM)和非易失性存儲(chǔ)器。
其它的傳統(tǒng)的和/或自定義的硬件也可能被包括。同樣地，圖中 示出的任何開(kāi)關(guān)僅僅是概念性的?？梢酝ㄟ^(guò)程序電路、通過(guò)專(zhuān)用電 路、通過(guò)程序控制和專(zhuān)用電路的交互、或者手動(dòng)控制來(lái)實(shí)現(xiàn)這些開(kāi)關(guān) 的功能，技術(shù)人員在具體實(shí)現(xiàn)的時(shí)候可根據(jù)對(duì)實(shí)際情況上下文的具體 理解來(lái)選擇具體的技術(shù)。
在權(quán)利要求中，任何表述為用于執(zhí)行某特定功能的手段應(yīng)涵蓋能 執(zhí)行該功能的所有方式，包括，例如，a)執(zhí)行該功能的電路元件的 組合；或b)結(jié)合適當(dāng)?shù)碾娐酚糜趫?zhí)行該功能的包括固件和微碼等等的任何形式的軟件，該軟件在電路上執(zhí)行。權(quán)利要求中定義的本發(fā)明 的基本原理包含著如下事實(shí)，本發(fā)明敘述的不同的手段提供的功能被 組合形成了權(quán)利要求主張的事物。因此認(rèn)為，任何能夠提供相應(yīng)功能 的手段是這里示出的手段的等同物。
說(shuō)明書(shū)中本發(fā)明原理的一個(gè)實(shí)施例或?qū)嵤├侵福Y(jié)合實(shí)施例描 述的特定的特征，結(jié)構(gòu)和特性等被包括在至少一個(gè)本發(fā)明原理的實(shí)施 例中。因此，在具體實(shí)施方式
的不同地方出現(xiàn)的"在一個(gè)實(shí)施例中" 或"在實(shí)施例中"不一定是指的同一個(gè)實(shí)施例。
這里提供的偽碼僅僅用于描述的目的。因此，基于這里給出的本 發(fā)明的原理的教導(dǎo)，本領(lǐng)域或者相關(guān)領(lǐng)域的普通技術(shù)人員能在本發(fā)明 原理的范圍內(nèi)構(gòu)思出如下的偽碼序列及其變種。
如圖2所示，通常使用參考符號(hào)200表示使用帶有減影
(subtraction)考慮的雙向預(yù)測(cè)的視頻編碼器。
視頻編碼器的輸入包括組合器205的同相輸入，模式確定和運(yùn)動(dòng) 補(bǔ)償(mode decision & motion compensation, MD&MC) 275的第一 輸入，運(yùn)動(dòng)估計(jì)器(motion estimator, ME) 265的第一輸入，運(yùn)動(dòng)估 計(jì)器270的第一輸入，組合器286的同相輸入和組合器288的同相輸 入。組合器205的輸出以信號(hào)通信方式連接到轉(zhuǎn)換器210的輸入。轉(zhuǎn) 換器210的輸出以信號(hào)通信方式連接到量化器215的輸入。量化器215 的輸出以信號(hào)通信方式連接到變長(zhǎng)編碼器(variable length coder, VLC) 220的輸入。VLC220的輸出是視頻編碼器200的輸出。
量化器215的輸出也以信號(hào)通信方式連接到反量化器225的輸 入。反量化器225的輸出以信號(hào)通信方式連接到反轉(zhuǎn)換器230的輸 入。反轉(zhuǎn)換器230的輸出以信號(hào)通信方式連接到組合器280的第一同 相輸入。組合器280的輸出以信號(hào)通信方式連接到環(huán)路濾波器235的 輸入。環(huán)路濾波器235的輸出以信號(hào)通信方式連接到圖像參考存儲(chǔ)器
240的輸入。圖像參考存儲(chǔ)器240的輸出以信號(hào)通信方式連接到ListO 參考緩沖器245的輸入和List1參考緩沖器250的輸入。ListO參考緩沖 器245的第一輸出以信號(hào)通信方式連接到乘法器255的第一輸入。 List1參考緩沖器250的第一輸出以信號(hào)通信方式連接到乘法器260的 第一輸入。ListO參考緩沖器245的第二輸出和List1參考緩沖器250的 第二輸出以信號(hào)通信方式連接到MD&MC275的第二輸入。乘法器255 的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器265的第二輸入。乘法器 260的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器270的第二輸入。 MD&MC275的第一輸出以信號(hào)通信方式連接到組合器205的反相輸 入。MD&MC275的第二輸出以信號(hào)通信方式連接到組合器280的第二 同相輸入。
乘法器255的輸出也以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器284的第 一輸入和組合器286的反相輸入。乘法器260的輸出也以信號(hào)通信方 式連接到組合器288的反相輸入和運(yùn)動(dòng)估計(jì)器282的第一輸入。組合 器288的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器284的第二輸入。組 合器286的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器282的第二輸入。 運(yùn)動(dòng)估計(jì)器284的輸出以信號(hào)通信方式連接到MD&MC275的第三輸 入。運(yùn)動(dòng)估計(jì)器282的輸出以信號(hào)通信方式連接到MD&MC275的第四 輸入。
本發(fā)明的原理描述了一種在視頻編碼體系結(jié)構(gòu)中能顯著提升雙向 預(yù)測(cè)圖像或條帶的編碼性能的方法和設(shè)備。雖然被本發(fā)明的原理主要 圍繞MPEG — 4 AVC標(biāo)準(zhǔn)描述，但是本發(fā)明原理的不僅僅局限在該標(biāo) 準(zhǔn)。本發(fā)明的原理還可以應(yīng)用在其它視頻編碼標(biāo)準(zhǔn)和建議中，而仍在 本發(fā)明原理的范圍內(nèi)。
在本發(fā)明原理的一個(gè)實(shí)施例中，我們考慮運(yùn)動(dòng)估計(jì)過(guò)程中的輔助 參考圖像。該輔助參考圖像主要是兩個(gè)其它參考的線(xiàn)性組合。由于更 精確地考慮了雙向預(yù)測(cè)，我們能使用這個(gè)新的參考進(jìn)一步細(xì)化雙向預(yù) 測(cè)(B)圖像中的預(yù)測(cè)參考。這樣做能夠提供更高效的編碼效率。在 本發(fā)明原理的一個(gè)實(shí)施例中，該方法可以擴(kuò)展應(yīng)用到多假設(shè)預(yù)測(cè)中。 有益地，該實(shí)施例能在不嚴(yán)重影響質(zhì)量的前提下降低多假設(shè)運(yùn)動(dòng)估計(jì) 的復(fù)雜度。
在上述第一種現(xiàn)有技術(shù)方法中，使用迭代方法執(zhí)行用于多假定運(yùn) 動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)估計(jì)。其中，在每一次迭代中，在考慮所有其它參考列 表或者假定的先前估計(jì)的運(yùn)動(dòng)矢量的基礎(chǔ)上，細(xì)化一個(gè)特定的參考或 者假定的運(yùn)動(dòng)矢量。并且，建議在最初的估計(jì)中使用單向預(yù)測(cè)運(yùn)動(dòng)矢
量(motion vector'MV)。
根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，我們提出使用一種不同的方法來(lái) 估計(jì)特定參考的運(yùn)動(dòng)矢量。該方法雖然仍然基于迭代方法，但是其能 夠更好地估計(jì)用于每一個(gè)參考的運(yùn)動(dòng)矢量。并且，在一些條件下或者 體系結(jié)構(gòu)中，實(shí)現(xiàn)該方法也比較容易。
一個(gè)實(shí)施例基于如下的假設(shè)即使在淡入(fade)和交叉淡入 (cross-fade)過(guò)程中，相鄰的圖像也常常包含大百分比的固定區(qū)域 (stationary region)。第一種現(xiàn)有技術(shù)方法基于所有其它已估計(jì)參 考的先前計(jì)算的運(yùn)動(dòng)矢量執(zhí)行一系列迭代來(lái)估計(jì)某一個(gè)參考的運(yùn)動(dòng)矢 量。與第一種現(xiàn)有技術(shù)方法不同，我們?cè)趯?shí)施例中首先通過(guò)假設(shè)所有 其它參考都是固定的來(lái)預(yù)測(cè)每一個(gè)參考的運(yùn)動(dòng)矢量(見(jiàn)圖2)。這樣 做允許我們更好地把固定區(qū)域從不固定區(qū)域中分開(kāi)，從而能夠提高運(yùn) 動(dòng)估計(jì)的準(zhǔn)確性或者加快第一種現(xiàn)有技術(shù)方法中的迭代方法的收斂。 更具體地，該解決方案有多種可供選擇的方法。
在本發(fā)明的實(shí)施例中，根據(jù)本發(fā)明原理的使用組合參考雙向預(yù)測(cè) 來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)的第一種方法執(zhí)行并行迭代(parallel iteration)來(lái)優(yōu) 化剩余的假定。在假定用于其它參考索引的運(yùn)動(dòng)矢量為O的前提下，
通過(guò)使用不同的參考索引執(zhí)行運(yùn)動(dòng)估計(jì)來(lái)實(shí)現(xiàn)并行計(jì)算。通過(guò)閱讀如 下偽碼就能夠了解這個(gè)概念，其中，該概念應(yīng)用于每一個(gè)塊，并且假 設(shè)我們有N個(gè)假定。在下面的偽碼中，我們使用如下的命名X,表示 索引為i的參考圖像；W,表示它的用于加權(quán)預(yù)測(cè)的相關(guān)加權(quán)
(associated weight) ; m力火表示從參考索弓li開(kāi)始執(zhí)行ME，用于索 引為j的參考的運(yùn)動(dòng)矢量；以及，使用1<={0，1}驗(yàn)證在迭代過(guò)程中運(yùn)動(dòng) 矢量是否發(fā)生變化和是否需要終止運(yùn)算。特別地，當(dāng)N二2時(shí)候，偽 碼如下
<formula>formula see original document page 25</formula>
for (j = 0; j < 2; j++)
if (,,0,,!=mv",)
iterate=1;
歸^尸膨乂o',; break,'
else /Yerafe=0;
};
while (/Ye廠(chǎng)afe二-"/J
上述偽碼為每一個(gè)不同的假定生成2個(gè)運(yùn)動(dòng)矢量組合。然后我們 選擇對(duì)應(yīng)最小畸變的那個(gè)最佳組合。艮P.-
if (minSAD0< minSAD^
best—mv={mv00,0, itivlo.o} min^~AD= minS入D。；
else
best—mv={mv00,i, mv線(xiàn)J min^AD= minS入D"
如下為用于N個(gè)假定的通用的算法
for (i = 0; i < N; i++)
reference,
sourc6=z ; for (j = 0; j < N;
mVj,o尸mVj丄i-(O,O);
if (j!=j) source=source- Wj * Xj(mVj 0》;
};
//！使用參考來(lái)執(zhí)行ME，從而細(xì)化運(yùn)動(dòng)矢量mvi,o,i //！使用畸變<formula>formula see original document page 27</formula>//！使用參考來(lái)執(zhí)行ME，從而細(xì)化m\v0
//！ 使用畸變 <formula>formula see original document page 27</formula>在這種情況中，對(duì)于每一個(gè)不同的假定，我們最多可能有N個(gè)運(yùn) 動(dòng)矢量組合。然后，我們使用如下的方法能夠選擇最佳的組合
minSAD=minSAD0;best—mv={mv0,0,0， itivlo,o' ... ， mvm,0,0, ... , mvN.Lo.o} for (i = 1; i < N-1;
if (minSADj < minSAD)
minSAD=minSADi;
best—mv={mv0,0i， mv、o,i,…，mvm,0,i,…，mvN—LOi}
這個(gè)決定也能夠在模式確定過(guò)程中做出(使用平方誤差和(sum of square error, SSE)做為畸變度量(distortion metric)，結(jié)合著 使用給出的拉格朗日參數(shù)編碼運(yùn)動(dòng)矢量的實(shí)際比特)。我們也允許來(lái) 自每一個(gè)集合，其它預(yù)測(cè)子(predictor)，例如空間/時(shí)間直接運(yùn)動(dòng)矢量 (spatial/temporal direct motion vector)這樣先前估計(jì)的運(yùn)云力矢量，單 向運(yùn)云力矢量(single direction motion vector)，零運(yùn)動(dòng)矢量禾口暫日寸同 位(temporarily collocated)運(yùn)動(dòng)矢量等運(yùn)動(dòng)矢量的組合。這樣做能 夠?qū)е履Ｊ酱_定中的額外的假定?；谶@樣的實(shí)現(xiàn)，最大迭代次數(shù)或 者執(zhí)行并行細(xì)化的次數(shù)能夠被預(yù)定義，因此能夠降低該系統(tǒng)的復(fù)雜 度。
一個(gè)實(shí)施例描述了根據(jù)本發(fā)明原理的使用組合參考雙向預(yù)測(cè)的用 于執(zhí)行運(yùn)動(dòng)估計(jì)的第二方法。根據(jù)本發(fā)明原理的第一方法中的執(zhí)行所
有可能的迭代仍然相當(dāng)復(fù)雜。根據(jù)本發(fā)明原理的第二方法包括僅為 每一個(gè)假定執(zhí)行第一步，然后僅基于最好的一個(gè)(基于最小畸變條 件)執(zhí)行迭代細(xì)化。這個(gè)方法能夠在保證性能的前提下相當(dāng)程度地減 少?gòu)?fù)雜度。用于第二方法的偽碼如下<formula>formula see original document page 28</formula>
<formula>formula see original document page 29</formula>
〃！使用參考來(lái)執(zhí)行ME，從而細(xì)化運(yùn)動(dòng)矢量mvi,o
〃！使用畸變SAD = I source - reference(mvm,0,i)|. Motion—Estimation(source, reference, mvi0i, minSADj)
<formula>formula see original document page 29</formula>〃！使用參考來(lái)執(zhí)行ME，從而細(xì)化運(yùn)動(dòng)矢量mvi,o 〃！使用田奇變SAD = I source - reference(mvm,0,i)L
<formula>formula see original document page 29</formula>break; else iterate=0;
};
while (iterate==1) minSAD=mJnSADbestref;
best—mv={mv00best—ref, mv10,best—ref， ... ， mvm,0,best—ref, ... , mvN-
1,0,best—re/}
最初的參考選擇也能夠基于參考相對(duì)于源圖像的相似度(或者不 相似度)。例如，我們可以細(xì)化相對(duì)于源圖像有著最大畸變的參考， 并認(rèn)為所有其它參考最初都是固定的，以及按照根據(jù)本發(fā)明原理的第 一方法中描述的那樣執(zhí)行迭代步驟。
--個(gè)實(shí)施例描述了根據(jù)本發(fā)明原理的使用組合參考雙向預(yù)測(cè)的用 于執(zhí)行運(yùn)動(dòng)估計(jì)的第三種方法。在根據(jù)本發(fā)明原理的上述兩個(gè)方法 中，我們?cè)谑纠运惴ǖ拈_(kāi)始的步驟中考慮了零運(yùn)動(dòng)矢量。先前生成
的運(yùn)動(dòng)矢量(例如，單向假定或者M(jìn)個(gè)假定)也可能做為替代的解決 方案，并且選擇最好的一個(gè)運(yùn)動(dòng)矢量用于細(xì)化過(guò)程。通過(guò)對(duì)例如時(shí)間 /空間直接運(yùn)動(dòng)矢量，單向運(yùn)動(dòng)矢量，零運(yùn)動(dòng)矢量和暫時(shí)同位運(yùn)動(dòng)矢 量等預(yù)測(cè)器檢查哪一個(gè)預(yù)測(cè)器能夠在不需要執(zhí)行額外的運(yùn)動(dòng)估計(jì)/補(bǔ) 償步驟的情況下生成相比最初參考有著最小畸變的源圖像，這個(gè)預(yù)測(cè) 器能夠被選擇出來(lái)。然后，在前面所有的步驟中，這個(gè)選擇出來(lái)的預(yù) 測(cè)器替代零預(yù)測(cè)器用于所有其它運(yùn)動(dòng)矢量的細(xì)化。
一個(gè)實(shí)施例描述了根據(jù)本發(fā)明原理的使用組合參考雙向預(yù)測(cè)用于 執(zhí)行運(yùn)動(dòng)估計(jì)的第四種方法。第四種方法是一種比較簡(jiǎn)單的方法，但 是相比前面的方法會(huì)導(dǎo)致一些效率的損失。該方法包括認(rèn)為所有的假 定都有相同的運(yùn)動(dòng)(即，所有的參考與相同的運(yùn)動(dòng)矢量關(guān)聯(lián))，以及
相對(duì)于源圖像一起細(xì)化它們的預(yù)測(cè)。能夠通過(guò)如下步驟完成
reference二[];
source=z ;
for (j = 0; j < N; j++)
mVj,o,i:mVj丄i-(0,0); reference-reference + w* Xj(mvj 0 i);
〃！使用參考來(lái)執(zhí)行ME，從而細(xì)化運(yùn)動(dòng)矢量mvi,o 〃！使用田奇變SAD = I source — reference(mv)l. Motion—Estimation(source， reference, mv, minSAD)
best—mv={mv, mv,…，mv};
應(yīng)該指出的是，當(dāng)使用N參考時(shí)，上述示例性算法可以估計(jì)出潛 在的最佳運(yùn)動(dòng)矢量組合。編碼器也能夠選擇用于一個(gè)宏塊 (macroblock)的參考的數(shù)量。由于帶來(lái)了更好的預(yù)測(cè)或者減少了 開(kāi)銷(xiāo)，從而能夠提高性能。顯然地，對(duì)于所有可能的參考組合能夠重 復(fù)這一個(gè)過(guò)程，并且最終使用一個(gè)給定的條件選擇能夠帶來(lái)最佳性能 的參考組合。特別地，基于上述描述，當(dāng)可能的參考/假定數(shù)量是2個(gè) 的時(shí)候，我們可以考慮如下3種情況。
關(guān)于與根據(jù)本發(fā)明原理的第四種方法相關(guān)的第一種情況，我們考 慮每一個(gè)參考(x或者y)相對(duì)于源圖像z是固定的(情況1沒(méi)有任何迭 代)。在考慮加權(quán)估計(jì)中的適當(dāng)?shù)募訖?quán)(分別為a和b)的同時(shí)，使 用如下的畸變度量計(jì)算其它參考的運(yùn)動(dòng)。
SAD =| (z-by)_ax(mv2)l, SAD =| (z-ax)-by(mv3)|.
在模式確定過(guò)程中，我們能夠考慮如下模式/運(yùn)動(dòng)矢量單向預(yù)
測(cè)；使用單向預(yù)測(cè)ME計(jì)算出來(lái)的mw和m^的雙向預(yù)測(cè)模式；直接
模式；使用mi/2禾口(0,0)的雙向預(yù)測(cè)模式；使用(O,O)禾n A77V3的雙向預(yù)
測(cè)模式；使用mv2和mv3的雙向預(yù)測(cè)模式；以及其它可選的模式，如 使用mv2和 mv3的雙向預(yù)測(cè)模式，使用mv2和mv3的雙向預(yù)測(cè)模式
或者使用與直接運(yùn)動(dòng)矢量的組合的雙向預(yù)測(cè)模式。
關(guān)于與根據(jù)本發(fā)明原理的第四種方法相關(guān)的第二種情況，我們考慮只有一個(gè)參考相對(duì)于源圖像是固定的。在考慮加權(quán)估計(jì)過(guò)程中的適 當(dāng)?shù)募訖?quán)的同時(shí)，使用如下的畸變度量計(jì)算其它參考的運(yùn)動(dòng)(沒(méi)有任
何迭代的限定的情況1):
SAD =| (z-by)-ax(mv2)|
在模式確定過(guò)程中，我們能夠考慮如下的情況單向預(yù)測(cè)；使用
單向預(yù)測(cè)ME計(jì)算出來(lái)的m^和m^的雙向預(yù)測(cè)模式；直接模式；使 用m^和(O,O)的雙向預(yù)測(cè)模式；以及其它可選的(建議的)模式， 如使用mv2和m^的雙向預(yù)測(cè)模式或者使用與直接運(yùn)動(dòng)矢量的組合 的雙向預(yù)測(cè)模式。
這種方法需要選擇出兩個(gè)參考中的哪個(gè)參考是固定的。這里存在 著一些選擇項(xiàng)，例如(a)選擇ListO參考或者List1參考；(b)選 擇時(shí)間上最靠近的；以及(c)選擇與源圖像最相似的。當(dāng)該方法在 圖像級(jí)別/條帶級(jí)別上完成(使用相同的方法估計(jì)條帶內(nèi)的所有塊) 或者在宏塊級(jí)別/塊級(jí)別上完成(對(duì)每一個(gè)塊做參考確定)的時(shí)候， 也能夠考慮使用組合的度量。
關(guān)于與根據(jù)本發(fā)明原理的第四方法相關(guān)的第三種情況，我們?cè)趦?個(gè)圖像間有零運(yùn)動(dòng)的前提下組合兩個(gè)圖像。然后，我們使用這個(gè)圖像
做為新的參考來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)，如下所示
<formula>formula see original document page 32</formula>
在模式確定的過(guò)程中，我們能夠考慮如下的情況單向預(yù)測(cè)；使 用單向預(yù)測(cè)ME計(jì)算出來(lái)的mVo和Am^的雙向預(yù)測(cè)模式；直接模式； 使用A77V用于兩個(gè)參考的雙向預(yù)測(cè)模式；以及其它可選的(建議的)
模式，如使用mv禾tJ m^的雙向預(yù)測(cè)模式，使用A7 Vo禾口 mv的雙向預(yù)
測(cè)模式或者使用與直接運(yùn)動(dòng)矢量的組合的雙向預(yù)測(cè)模式。
如圖3所示，通常使用參考符號(hào)300表示使用雙向預(yù)測(cè)用于編碼 宏塊的示例性方法。該方法300包括初始化塊305。初始化塊305把控 制權(quán)傳遞給功能塊350和循環(huán)限制塊310。
功能塊350執(zhí)行幀內(nèi)模式確定(intra mode decision)，記錄畸 變測(cè)量，并把控制權(quán)傳遞給功能塊330。
循環(huán)限制塊310開(kāi)始所有幀間模式的循環(huán)，并把控制權(quán)傳遞給功 能塊315。功能塊315通過(guò)綜合考慮所有假定來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)，并把 控制權(quán)傳遞給功能塊320。功能塊320執(zhí)行模式確定，記錄畸變測(cè) 量，并把控制權(quán)傳遞給循環(huán)限定塊325。循環(huán)限定塊325結(jié)束循環(huán)， 并把控制權(quán)傳遞給功能塊330。
功能塊330把編碼模式設(shè)定為具有最小畸變測(cè)量的那個(gè)模式，并 把控制權(quán)傳遞給功能塊335。功能塊335編碼當(dāng)前的宏塊，并把控制 權(quán)傳遞給結(jié)束塊399。
圖4示出使用組合參考雙向預(yù)測(cè)的用于運(yùn)動(dòng)估計(jì)的示例性方法， 其中，執(zhí)行并行迭代來(lái)優(yōu)化剩余的假定。該方法一般使用參考符號(hào) 4Q0表示。
該方法400包括開(kāi)始?jí)K405。開(kāi)始?jí)K405把控制權(quán)傳遞給功能塊 410，功能塊415和功能塊420。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 410開(kāi)始執(zhí)行參考索引為0的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊 425。功能塊425迭代地細(xì)化用于所有參考的運(yùn)動(dòng)矢量，保存運(yùn)動(dòng)矢
量為(mvo,o,o， mv匸o,o,…，mvm,0,0，…，rnvN.^o"}, 保存畸變?yōu)?minSADQ，并把控制權(quán)傳遞給功能塊445。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 415開(kāi)始執(zhí)行參考索引為m的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊 430。功能塊430迭代地細(xì)化用于所有參考的運(yùn)動(dòng)矢量，保存運(yùn)動(dòng)矢 量為{mv0
'0,m， mVi 'o,m， ■,, ， mVm，O'm， … ，mV|\|-l ，o，m }，保存畸變?yōu)?br>
minSADm，并把控制權(quán)傳遞給功能塊445。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 420開(kāi)始執(zhí)行參考索引為N—1的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊 440。功能塊440迭代地細(xì)化用于所有參考的運(yùn)動(dòng)矢量，保存運(yùn)動(dòng)矢 量為(mv。,o,nm， itivlo,nm，…，mvm,o,ivi,…，mvN-i,o,N-i}，保存畸變?yōu)?minSADN—15并把控制權(quán)傳遞給功能塊445。
功能塊445選擇帶有最小minSAD值的最佳運(yùn)動(dòng)矢量組合，并把 控制權(quán)傳遞給結(jié)束塊499。
圖5示出使用組合參考雙向預(yù)測(cè)用于運(yùn)動(dòng)估計(jì)的示例性方法。其 中，該方法基于最佳參考迭代地細(xì)化運(yùn)動(dòng)矢量。該方法通常使用參考 符號(hào)500表示。
該方法500包括開(kāi)始?jí)K505。開(kāi)始?jí)K505把控制權(quán)傳遞給功能塊 510，功能塊515和功能塊520。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 510開(kāi)始執(zhí)行參考索引為0的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊 525。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 515開(kāi)始執(zhí)行參考索引為m的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊 525。
假設(shè)用于其它參考索引的運(yùn)動(dòng)矢量是O或者其它預(yù)設(shè)值，功能塊 520開(kāi)始執(zhí)行參考索引為N-1的運(yùn)動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊
525。
功能塊525選擇帶有最小minSAD值的最佳參考(best—ref)，并
把控制權(quán)傳遞給功能塊530。功能塊530迭代地細(xì)化用于所有參考的
運(yùn)動(dòng)矢量，保存運(yùn)動(dòng)矢量為{mV0,0,best_ref,mV^o,besLref，…，
mvm,G,best_ref， ... ， mvN-w.best—ref}，并把控制權(quán)傳遞給結(jié)束塊599。
圖6示出用于所有假定都有相同的運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)的示例性 方法。該方法通常使用參考符號(hào)600表示。
該方法600包括開(kāi)始?jí)K605。開(kāi)始?jí)K605把控制權(quán)傳遞給功能塊 610。功能塊610把所有參考圖像加到一起形成一個(gè)參考圖像，并把 控制權(quán)傳遞給功能塊615。功能塊615在新形成的參考圖像上執(zhí)行運(yùn) 動(dòng)估計(jì)，并把控制權(quán)傳遞給功能塊620。功能塊620把新形成的參考
圖像對(duì)應(yīng)的生成的運(yùn)動(dòng)矢量設(shè)置為所有參考圖像的運(yùn)動(dòng)矢量，并把控 制權(quán)傳遞給結(jié)束塊699。
圖7示出使用組合參考雙向預(yù)測(cè)用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方 法，其中，每一個(gè)參考(x或者y)相對(duì)于源圖像x被認(rèn)為是固定的。 該方法一般使用參考符號(hào)700表示。
該方法700包括開(kāi)始?jí)K705。開(kāi)始?jí)K705把控制權(quán)傳遞給功能塊 710。功能塊710為參考x執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢量mvQ)，并把 控制權(quán)傳遞給功能塊715。功能塊715為參考y執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn) 動(dòng)矢量m^)，并把控制權(quán)傳遞給功能塊720。功能塊720使用SAD =|(z-by)-ax(mv2)|執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢量mv2)，并把控制權(quán) 傳遞給功能塊725。功能塊725使用SAD =|(z-ax)-by(mv3)|執(zhí)行運(yùn)動(dòng) 估計(jì)(生成運(yùn)動(dòng)矢量mv3)，并把控制權(quán)傳遞給功能塊730。功能塊 730執(zhí)行模式確定，并把控制權(quán)傳遞給功能塊735。關(guān)于功能塊730執(zhí) 行的模式確定，可以通過(guò)考慮如下情況來(lái)執(zhí)行該模式確定，例如單
向預(yù)測(cè)；使用mvo和m^的雙向預(yù)測(cè)模式；直接模式；使用mv2和 (O，O)的雙向預(yù)測(cè)模式；使用(O，O)禾Q mv3的雙向預(yù)測(cè)模式；使用mv2 和mv3的雙向預(yù)測(cè)模式；以及其它可選的模式，如使用mv2和m^的 雙向預(yù)測(cè)模式，使用mvo和mv3的雙向預(yù)測(cè)模式或者使用與直接運(yùn)
動(dòng)矢量的組合的雙向預(yù)測(cè)模式。先前的考慮是示例性的。因此，給出 這里提供的本發(fā)明原理的教導(dǎo)，在保持本發(fā)明原理的范圍內(nèi)，功能塊
730執(zhí)行的模式確定可以采用這些和其他的考慮。
功能塊735選擇帶有最小畸變測(cè)量的模式，并把控制權(quán)傳遞給結(jié) 束塊799。
圖8示出使用組合參考雙向預(yù)測(cè)用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方 法。其中，僅有一個(gè)參考相對(duì)于源圖像是固定的。該方法通常使用參 考符號(hào)800表示。該方法800包括開(kāi)始?jí)K805。開(kāi)始?jí)K805把控制權(quán)傳 遞給功能塊810。功能塊810為參考x執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢量 mv0)，并把控制權(quán)傳遞給功能塊815。功能塊815為參考y執(zhí)行運(yùn)動(dòng) 估計(jì)(生成運(yùn)動(dòng)矢量mvO ，并把控制權(quán)傳遞給功能塊820。功能塊 820使用SAD =|(z-by)-ax(mv2)|執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢量 mv2)，并把控制權(quán)傳遞給功能塊825。功能塊825執(zhí)行模式確定，并 把控制權(quán)傳遞給功能塊830。關(guān)于功能塊825執(zhí)行的模式確定，可以 通過(guò)考慮如下情況來(lái)執(zhí)行該模式確定，例如單向預(yù)測(cè)；使用mvo
和A77l^的雙向預(yù)測(cè)模式；直接模式；使用mV2禾口 (O，O)的雙向預(yù)測(cè)模
式以及其它可選的模式，如使用mv2和mv!的雙向預(yù)測(cè)模式或者使用 與直接運(yùn)動(dòng)矢量的組合的雙向預(yù)測(cè)模式。先前的考慮是示例性的。因 此，給出這里提供的本發(fā)明原理的教導(dǎo)，在保持本發(fā)明原理的范圍 內(nèi)，功能塊825執(zhí)行的模式確定可以采用這些和其他的考慮。
功能塊830選擇帶有最小畸變測(cè)量的模式，并把控制權(quán)傳遞給結(jié) 束塊899。
圖9示出使用組合參考雙向預(yù)測(cè)用于執(zhí)行運(yùn)動(dòng)估計(jì)的示例性方 法。其中，假設(shè)兩個(gè)參考之間是零運(yùn)動(dòng)，組合這兩個(gè)參考。該方法通
常使用參考符號(hào)900表示。該方法900包括開(kāi)始?jí)K905。開(kāi)始?jí)K905把 控制權(quán)傳遞給功能塊910。功能塊910為參考x執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn) 動(dòng)矢量mvQ)，并把控制權(quán)傳遞給功能塊915。功能塊915為參考y執(zhí) 行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢量mvO ，并把控制權(quán)傳遞給功能塊920。 功能塊920使用SAD叫(z-by(mv)-ax(mv)1執(zhí)行運(yùn)動(dòng)估計(jì)(生成運(yùn)動(dòng)矢 量mv)，并把控制權(quán)傳遞給功能塊925。功能塊925執(zhí)行模式確定， 并把控制權(quán)傳遞給功能塊930。關(guān)于功能塊925執(zhí)行的模式確定，可 以通過(guò)考慮如下情況來(lái)執(zhí)行該模式確定，例如單向預(yù)測(cè)；使用m^ 和m^的雙向預(yù)測(cè)模式；直接模式；對(duì)兩個(gè)參考使用mv的雙向預(yù)測(cè)模 式以及其它可選的模式，如使用mv和m^的雙向預(yù)測(cè)模式，使用 mvo和mv的雙向預(yù)測(cè)模式或者使用與直接運(yùn)動(dòng)矢量的組合的雙向預(yù) 測(cè)模式。先前的考慮是示例性的。因此，給出這里提供的本發(fā)明原理 的教導(dǎo)，在保持本發(fā)明原理的范圍內(nèi)，功能塊925執(zhí)行的模式確定可 以采用這些和其他的考慮。
功能塊930選擇帶有最小畸變測(cè)量的模式，并把控制權(quán)傳遞給結(jié) 束塊999。
下面的描述給出了本發(fā)明原理的一些優(yōu)點(diǎn)/特征，其中有的優(yōu)點(diǎn)/ 特征在前面已經(jīng)被提及過(guò)。例如一個(gè)優(yōu)點(diǎn)/特征是一種設(shè)備，該設(shè)備 包括用于從至少兩個(gè)參考圖像的組合中編碼多預(yù)測(cè)圖像的編碼器，該 編碼器在運(yùn)動(dòng)估計(jì)過(guò)程中為該至少兩個(gè)參考圖像中的一個(gè)參考圖像預(yù) 測(cè)運(yùn)動(dòng)矢量，其中，該編碼器在為一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí) 候，把該至少兩個(gè)參考圖像的其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值 以便被運(yùn)動(dòng)估計(jì)過(guò)程使用。
另一個(gè)優(yōu)點(diǎn)/特征是包括上述編碼器的設(shè)備，其中該編碼器通過(guò)把該至少兩個(gè)參考圖像的其它的參考圖像視為固定的來(lái)預(yù)測(cè)該至少兩 個(gè)參考圖像中的一個(gè)參考圖像的運(yùn)動(dòng)矢量。
另一個(gè)優(yōu)點(diǎn)/特征是包括上述編碼器的設(shè)備，其中該編碼器在多 迭代過(guò)程的第一步中分別并行地估計(jì)該至少兩個(gè)參考圖像中每一個(gè)參 考圖像的運(yùn)動(dòng)矢量，并在該多迭代過(guò)程的后續(xù)步驟中細(xì)化運(yùn)動(dòng)矢量。 另一個(gè)優(yōu)點(diǎn)/特征是包括上述在多迭代過(guò)程的第一步中分別并行地估 計(jì)該至少兩個(gè)參考圖像中每一個(gè)參考圖像的運(yùn)動(dòng)矢量，并在該多迭代 過(guò)程的后續(xù)步驟中細(xì)化運(yùn)動(dòng)矢量的編碼器的設(shè)備，其中，該編碼器基 于畸變測(cè)量從由該多迭代過(guò)程產(chǎn)生的結(jié)果中選擇最佳的運(yùn)動(dòng)矢量。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述編碼器的設(shè)備，其中，基于 該至少兩個(gè)參考圖像的至少一個(gè)其它參考圖像的先前計(jì)算的運(yùn)動(dòng)矢 量，把該至少兩個(gè)參考圖像的該至少一個(gè)其它參考圖像的運(yùn)動(dòng)矢量預(yù) 置為預(yù)設(shè)值。進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè) 備，該編碼器基于該至少兩個(gè)參考圖像的至少一個(gè)其它參考圖像的先 前計(jì)算的運(yùn)動(dòng)矢量，把該至少兩個(gè)參考圖像的該至少一個(gè)其它參考圖 像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值，其中，該先前計(jì)算的運(yùn)動(dòng)矢量包括至少 一個(gè)直接運(yùn)動(dòng)矢量和一個(gè)從比該至少兩個(gè)參考圖像數(shù)量少的參考圖像 的組合中先前計(jì)算得到的運(yùn)動(dòng)矢量，并且該至少一個(gè)直接運(yùn)動(dòng)矢量為 至少一個(gè)時(shí)間直接運(yùn)動(dòng)矢量和至少一個(gè)空間直接運(yùn)動(dòng)矢量中的至少一 個(gè)直接運(yùn)動(dòng)矢量。并且，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè) 備，該編碼器基于該至少兩個(gè)參考圖像的至少一個(gè)其它參考圖像的先 前計(jì)算的運(yùn)動(dòng)矢量，把該至少兩個(gè)參考圖像的該至少一個(gè)其它參考圖 像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值，其中，該編碼器使用迭代過(guò)程預(yù)測(cè)該至 少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，并且，基于相關(guān)性度量從至少一個(gè)預(yù)置 為預(yù)設(shè)值的運(yùn)動(dòng)矢量和該先前計(jì)算的運(yùn)動(dòng)矢量之中確定該迭代過(guò)程最 初使用的運(yùn)動(dòng)矢量。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器使用迭代過(guò)程預(yù)測(cè)該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。此外，另 一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，該編碼器使用迭代過(guò)程 預(yù)測(cè)該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，其中，該編碼器限制該迭代過(guò) 程執(zhí)行的最大迭代次數(shù)。進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的 編碼器的設(shè)備，該編碼器使用迭代過(guò)程預(yù)測(cè)該至少兩個(gè)參考圖像的運(yùn) 動(dòng)矢量，其中，該編碼器限制該迭代過(guò)程并行測(cè)試的該至少兩個(gè)參考 圖像的最大個(gè)數(shù)。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器基于先前的加權(quán)估計(jì)過(guò)程估計(jì)的用于該至少兩個(gè)參考圖像的加 權(quán)來(lái)估計(jì)該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器使用多迭代過(guò)程并行估計(jì)至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，該多 迭代過(guò)程分別對(duì)應(yīng)著該至少兩個(gè)參考圖像的不同參考圖像有不同的預(yù) 置值。此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的執(zhí)行多迭代過(guò)程的編碼 器的設(shè)備，其中，該編碼器執(zhí)行該多迭代過(guò)程的第一步為該至少兩個(gè) 參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量提供一個(gè)預(yù)置值，基于最低畸 變測(cè)量選擇該至少兩個(gè)參考圖像中的最佳預(yù)置值，以及基于該最佳預(yù) 置值執(zhí)行該多迭代過(guò)程的后續(xù)步驟來(lái)細(xì)化該每一個(gè)參考圖像的預(yù)置 值。
進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其 中，該編碼器基于該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量都相同的前提預(yù)測(cè) 多預(yù)測(cè)圖像的運(yùn)動(dòng)信息，以及細(xì)化該多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器通過(guò)把該至少兩個(gè)參考圖像組合為一個(gè)組合參考圖像和在該至 少兩個(gè)參考圖像間使用零運(yùn)動(dòng)來(lái)估計(jì)該多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量信息。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，在預(yù)測(cè)該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把 該至少兩個(gè)參考圖像的剩余的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖像視為固定的，該編碼器分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，在預(yù)測(cè) 該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把該至少兩個(gè)參考圖像的剩余的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖像視為固定的，該 編碼器分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量，其中，該編碼器通過(guò)分別為每一個(gè)參考圖像選擇一個(gè)加權(quán)來(lái)預(yù)測(cè)該至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器為該多預(yù)測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別由單向預(yù)測(cè)計(jì)算出來(lái)的該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，使用該至少兩個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢量和固定的運(yùn)動(dòng)矢量的至少一個(gè)的雙向預(yù)測(cè)模式和為該至少兩個(gè)參考圖像的 每一個(gè)參考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式之中選擇出帶有最小畸變測(cè)量的模式，其中，在預(yù)測(cè)該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把該至少兩個(gè)參考圖像的剩余的運(yùn)動(dòng)矢量視為固定的，該編碼步驟分別計(jì)算該至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的執(zhí)行模式確定的編碼器的設(shè)備，其中，該編碼器進(jìn)一步從使用該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，使用該至 少兩個(gè)參考圖像的一個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式和使用包含至少一個(gè)直接運(yùn)動(dòng)矢量的至少一個(gè)組合的雙向預(yù)測(cè)模式之中 選擇帶有最小畸變測(cè)量的模式。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該
編碼器通過(guò)把該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量相對(duì)于 多預(yù)測(cè)圖像視為固定的來(lái)分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一個(gè)參考 圖像的運(yùn)動(dòng)矢量。此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè) 備，該編碼器通過(guò)把該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量 相對(duì)于多預(yù)測(cè)圖像視為固定的來(lái)分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一 個(gè)參考圖像的運(yùn)動(dòng)矢量，其中，該編碼器通過(guò)為每一個(gè)參考圖像的運(yùn) 動(dòng)矢量選擇一個(gè)加權(quán)來(lái)分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一個(gè)參考圖 像的運(yùn)動(dòng)矢量。此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè) 備，該編碼器通過(guò)把該至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量 相對(duì)于多預(yù)測(cè)圖像視為固定的來(lái)分別預(yù)測(cè)該至少兩個(gè)參考圖像的每一 個(gè)參考圖像的運(yùn)動(dòng)矢量，其中，該編碼器基于如下至少一個(gè)條件選擇 該至少兩個(gè)參考圖像中的作為固定的該一個(gè)參考圖像該至少兩個(gè)參 考圖像的一個(gè)參考圖像對(duì)應(yīng)的參考列表，時(shí)間接近度和相對(duì)于該多預(yù) 測(cè)圖像的相似度。
進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其 中，該編碼器為該多預(yù)測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直 接預(yù)測(cè)模式，使用分別由單向預(yù)測(cè)計(jì)算出來(lái)的該至少兩個(gè)參考圖像的 運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式和使用固定的運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的 雙向預(yù)測(cè)模式之中選擇出帶有最小畸變測(cè)量的模式，其中，基于把所 述至少兩個(gè)參考圖像的剩余的運(yùn)動(dòng)矢量視為固定的，計(jì)算該至少兩個(gè) 參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量。此外，另一個(gè)優(yōu)點(diǎn)/特征是包 括上述的執(zhí)行模式確定的編碼器的設(shè)備，其中，該編碼器進(jìn)一步從如 下模式中選擇帶有最小畸變測(cè)量的模式使用該至少兩個(gè)參考圖像的 一個(gè)運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和使用直接運(yùn)動(dòng)矢 量和根據(jù)該畸變測(cè)量計(jì)算出的運(yùn)動(dòng)矢量這兩個(gè)矢量的至少一個(gè)組合的 雙向預(yù)測(cè)模式。
此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其中，該 編碼器基于該至少兩個(gè)參考圖像相對(duì)于被編碼的該多預(yù)測(cè)圖像有著相 同的運(yùn)動(dòng)的前提計(jì)算該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。此外，另一個(gè) 優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，該編碼器基于該至少兩個(gè)參 考圖像相對(duì)于被編碼的該多預(yù)測(cè)圖像有著相同的運(yùn)動(dòng)的前提計(jì)算該至 少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，其中，該編碼器通過(guò)為每一個(gè)參考選擇 加權(quán)計(jì)算該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
進(jìn)一步地，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的編碼器的設(shè)備，其 中，該編碼器為多預(yù)測(cè)圖像執(zhí)行模式確定，從而從如下模式中選擇帶 有最小畸變測(cè)量的模式單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別由 單向預(yù)測(cè)計(jì)算出來(lái)的該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模 式，為該至少兩個(gè)參考圖像的每一個(gè)參考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢 量的雙向預(yù)測(cè)模式，和使用通過(guò)把該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視 為相同的而計(jì)算出來(lái)的該至少兩個(gè)參考圖像的組合的運(yùn)動(dòng)矢量的預(yù)測(cè) 模式。此外，另一個(gè)優(yōu)點(diǎn)/特征是包括上述的執(zhí)行模式確定的編碼器 的設(shè)備，其中，該編碼器進(jìn)一步從如下模式中選擇帶有最小畸變測(cè)量 的模式使用該至少兩個(gè)參考圖像的一個(gè)運(yùn)動(dòng)矢量和通過(guò)把該至少兩 個(gè)參考圖像的運(yùn)動(dòng)矢量視為相同而計(jì)算出的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模 式，和使用直接運(yùn)動(dòng)矢量和通過(guò)把該至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視 為相同而計(jì)算出的運(yùn)動(dòng)矢量這兩個(gè)矢量的至少一個(gè)組合的雙向預(yù)測(cè)模 式。
相關(guān)技術(shù)領(lǐng)域的一個(gè)技術(shù)人員基于本發(fā)明的教導(dǎo)就能確定本發(fā)明 原理的這些和其它特征以及有益效果。能夠了解，本發(fā)明原理的教導(dǎo) 可以以硬件、軟件、固件、特殊用途處理器或者它們的結(jié)合的不同形 式來(lái)實(shí)現(xiàn)。
最好地，使用硬件和軟件的組合來(lái)實(shí)現(xiàn)本發(fā)明原理的教導(dǎo)。此 外，軟件可以實(shí)現(xiàn)為存儲(chǔ)于程序存儲(chǔ)單元的應(yīng)用程序。應(yīng)用程序可以 被上載到具有合適的體系機(jī)構(gòu)的機(jī)器上，以及被該機(jī)器執(zhí)行。更好 地，在計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器，該計(jì)算機(jī)平臺(tái)包括硬件，例如一個(gè)
或一個(gè)以上中央處理單元(central processing unit, CPU)， 一個(gè)隨
機(jī)存取存儲(chǔ)器(random access memory, RAM)，和輸入/輸出
(input/output, I/O)接口。計(jì)算機(jī)平臺(tái)也可以包括操作系統(tǒng)和微指
令碼。這里描述的不同的處理過(guò)程和功能可以是CPU能夠執(zhí)行的微
指令碼的一部分，或應(yīng)用程序的一部分，或它們的任何組合。另外，
計(jì)算機(jī)平臺(tái)可以連接其他不同的外設(shè)單元，例如，附加的數(shù)據(jù)存儲(chǔ)單 元和打印單元。
進(jìn)一步認(rèn)識(shí)到，由于附圖中示出的一些系統(tǒng)組件和方法較好地使 用軟件來(lái)實(shí)現(xiàn)，系統(tǒng)組件或者處理功能塊的實(shí)際連接可能隨著本發(fā)明 原理的編程方式的不同而不同。這里給出了教導(dǎo)，相關(guān)技術(shù)領(lǐng)域的一 個(gè)普通技術(shù)人員能夠獲得本發(fā)明原理的這些和類(lèi)似的實(shí)現(xiàn)或配置。
雖然這里結(jié)合附圖描述了說(shuō)明性的實(shí)施例，但是能夠認(rèn)識(shí)到，本 發(fā)明的原理不限于那些確定的實(shí)施例，并且相關(guān)技術(shù)領(lǐng)域的一個(gè)普通 技術(shù)人員可能在不背離本發(fā)明原理的范圍或思想的前提下做出不同的 改變和修改。本發(fā)明的權(quán)利要求闡述的本發(fā)明的原理的范圍包括了所 有這些改變和修改。
權(quán)利要求
1. 一種設(shè)備，包括用于從至少兩個(gè)參考圖像的組合中編碼多預(yù)測(cè)圖像的編碼器(200)，所述編碼器在運(yùn)動(dòng)估計(jì)過(guò)程中為所述至少兩個(gè)參考圖像中的一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量，其中，所述編碼器在為一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí)候，把所述至少兩個(gè)參考圖像的其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值以便被運(yùn)動(dòng)估計(jì)過(guò)程使用。
2. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)通過(guò)把 所述至少兩個(gè)參考圖像的其它的參考圖像視為固定的來(lái)預(yù)測(cè)所述至少 兩個(gè)參考圖像中的一個(gè)參考圖像的運(yùn)動(dòng)矢量。
3. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)在多迭 代過(guò)程的第一步中分別并行地估計(jì)所述至少兩個(gè)參考圖像中每一個(gè)參 考圖像的運(yùn)動(dòng)矢量，并在所述多迭代過(guò)程的后續(xù)步驟中細(xì)化運(yùn)動(dòng)矢
4. 如權(quán)利要求3所屬的設(shè)備，其中，所述編碼器(200)基于畸 變測(cè)量從由所述多迭代過(guò)程產(chǎn)生的結(jié)果中選擇最佳的運(yùn)動(dòng)矢量。
5. 如權(quán)利要求1所述的設(shè)備，其中，基于所述至少兩個(gè)參考圖像 的至少一個(gè)其它參考圖像的先前計(jì)算的運(yùn)動(dòng)矢量，把所述至少兩個(gè)參 考圖像的所述至少一個(gè)其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值。
6. 如權(quán)利要求5所述的設(shè)備，其中，所述先前計(jì)算的運(yùn)動(dòng)矢量包 括至少一個(gè)直接運(yùn)動(dòng)矢量和一個(gè)從比所述至少兩個(gè)參考圖像數(shù)量少的參考圖像的組合中先前計(jì)算得到的運(yùn)動(dòng)矢量，其中，所述至少一個(gè)直 接運(yùn)動(dòng)矢量為至少一個(gè)時(shí)間直接運(yùn)動(dòng)矢量和至少一個(gè)空間直接運(yùn)動(dòng)矢 量中的至少一個(gè)直接運(yùn)動(dòng)矢量。
7. 如權(quán)利要求5所述的設(shè)備，其中，所述編碼器(200)使用迭代過(guò)程預(yù)測(cè)所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，并且，基于相關(guān)性度 量從至少一個(gè)預(yù)置為預(yù)設(shè)值的運(yùn)動(dòng)矢量和所述先前計(jì)算的運(yùn)動(dòng)矢量之 中確定所述迭代過(guò)程最初使用的運(yùn)動(dòng)矢量。
8. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)使用迭 代過(guò)程預(yù)測(cè)所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
9. 如權(quán)利要求8所述的設(shè)備，其中，所述編碼器(200)限制所 述迭代過(guò)程執(zhí)行的最大迭代次數(shù)。
10. 如權(quán)利要求8所述的設(shè)備，其中，所述編碼器(200)限制 所述迭代過(guò)程并行測(cè)試的所述至少兩個(gè)參考圖像的最大個(gè)數(shù)。
11. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)基于 先前的加權(quán)估計(jì)過(guò)程估計(jì)的用于所述至少兩個(gè)參考圖像的加權(quán)來(lái)估計(jì) 所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
12. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)使用 多迭代過(guò)程并行估計(jì)至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，所述多迭代過(guò)程 分別對(duì)應(yīng)著所述至少兩個(gè)參考圖像的不同參考圖像有不同的預(yù)置值。
13. 如權(quán)利要求12所述的設(shè)備，其中，所述編碼器(200)執(zhí)行 所述多迭代過(guò)程的第一步為所述至少兩個(gè)參考圖像的每一個(gè)參考圖像 的運(yùn)動(dòng)矢量提供一個(gè)預(yù)置值，基于最低畸變測(cè)量選擇所述至少兩個(gè)參 考圖像中的最佳預(yù)置值，以及基于所述最佳預(yù)置值執(zhí)行所述多迭代過(guò) 程的后續(xù)步驟來(lái)細(xì)化所述每一個(gè)參考圖像的預(yù)置值。
14. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)基于 所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量都相同的前提預(yù)測(cè)多預(yù)測(cè)圖像的運(yùn) 動(dòng)信息，以及細(xì)化所述多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量。
15. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)通過(guò)把所述至少兩個(gè)參考圖像組合為一個(gè)組合參考圖像和在所述至少兩個(gè) 參考圖像間使用零運(yùn)動(dòng)來(lái)估計(jì)所述多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量信息。
16. 如權(quán)利要求1所述的設(shè)備，其中，在預(yù)測(cè)所述至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把所述至少兩個(gè)參考圖 像的剩余的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖像視為固定的，所述編碼器(200)分別預(yù)測(cè)所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢
17.如權(quán)利要求16所述的設(shè)備，其中，所述編碼器(200)通過(guò) 分別為每一個(gè)參考圖像選擇一個(gè)加權(quán)來(lái)預(yù)測(cè)所述至少兩個(gè)參考圖像的
18.如權(quán)利要求18所述的設(shè)備，其中，所述編碼器(200)為所 述多預(yù)測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使 用分別由單向預(yù)測(cè)計(jì)算出來(lái)的所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙 向預(yù)測(cè)模式，使用所述至少兩個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢量和固定的運(yùn)動(dòng)矢量的至少一個(gè)的雙向預(yù)測(cè)模式和為所述至少兩個(gè)參考圖像的每 --個(gè)參考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式之中選擇出帶 有最小畸變測(cè)量的模式，其中，在預(yù)測(cè)所述至少兩個(gè)參考圖像的一個(gè) 參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把所述至少兩個(gè)參考圖像的剩余的 運(yùn)動(dòng)矢量視為固定的，所述編碼步驟分別計(jì)算所述至少兩個(gè)參考圖像 的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
19. 如權(quán)利要求18所述的設(shè)備，其中，所述編碼器(200)進(jìn)一歩從使用所述至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù) 測(cè)模式，使用所述至少兩個(gè)參考圖像的一個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢 量的雙向預(yù)測(cè)模式和使用包含至少一個(gè)直接運(yùn)動(dòng)矢量的至少一個(gè)組合 的雙向預(yù)測(cè)模式之中選擇帶有最小畸變測(cè)量的模式。
20. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)通過(guò) 把所述至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖 像視為固定的來(lái)分別預(yù)測(cè)所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
21. 如權(quán)利要求20所述的設(shè)備，其中，所述編碼器(200)通過(guò) 為每一個(gè)參考圖像的運(yùn)動(dòng)矢量選擇一個(gè)加權(quán)來(lái)分別預(yù)測(cè)所述至少兩個(gè) 參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
22. 如權(quán)利要求20所述的設(shè)備，其中，基于如下至少一個(gè)條件選 擇所述至少兩個(gè)參考圖像中的作為固定的所述一個(gè)參考圖像所述至 少兩個(gè)參考圖像的一個(gè)參考圖像對(duì)應(yīng)的參考列表，時(shí)間接近度和相對(duì) 于所述多預(yù)測(cè)圖像的相似度。
23. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)為所 述多預(yù)測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使 用分別由單向預(yù)測(cè)計(jì)算出來(lái)的所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙 向預(yù)測(cè)模式和使用固定的運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式 之中選擇出帶有最小畸變測(cè)量的模式，其中，基于把所述至少兩個(gè)參 考圖像的剩余的運(yùn)動(dòng)矢量視為固定的，計(jì)算所述至少兩個(gè)參考圖像的 一個(gè)參考圖像的運(yùn)動(dòng)矢量。
24. 如權(quán)利要求23所述的設(shè)備，其中，所述編碼器(200)進(jìn)一 步從如下模式中選擇帶有最小畸變測(cè)量的模式使用所述至少兩個(gè)參 考圖像的一個(gè)運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和使用直 接運(yùn)動(dòng)矢量和根據(jù)所述畸變測(cè)量計(jì)算出的運(yùn)動(dòng)矢量這兩個(gè)矢量的至少 一個(gè)組合的雙向預(yù)測(cè)模式。
25. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)基于 所述至少兩個(gè)參考圖像相對(duì)于被編碼的所述多預(yù)測(cè)圖像有著相同的運(yùn) 動(dòng)的前提計(jì)算所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
26. 如權(quán)利要求25所述的設(shè)備，其中，所述編碼器(200)通過(guò) 為每一個(gè)參考選擇加權(quán)來(lái)計(jì)算所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
27. 如權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)為多 預(yù)測(cè)圖像執(zhí)行模式確定，從而從如下模式中選擇帶有最小畸變測(cè)量的 模式單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別由單向預(yù)測(cè)計(jì)算出來(lái) 的所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，為所述至少兩 個(gè)參考圖像的每一個(gè)參考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模 式，和使用通過(guò)把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視為相同的而計(jì) 算出來(lái)的所述至少兩個(gè)參考圖像的組合的運(yùn)動(dòng)矢量的預(yù)測(cè)模式。
28. 如權(quán)利要求27所述的設(shè)備，其中，所述編碼器(200)進(jìn)--步從如下模式中選擇帶有最小畸變測(cè)量的模式使用所述至少兩個(gè) 參考圖像的一個(gè)運(yùn)動(dòng)矢量和通過(guò)把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量 視為相同而計(jì)算出的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和使用直接運(yùn)動(dòng)矢量 和通過(guò)把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視為相同而計(jì)算出的運(yùn)動(dòng) 矢量這兩個(gè)矢量的至少一個(gè)組合的雙向預(yù)測(cè)模式。
29. —種方法，包括通過(guò)在運(yùn)動(dòng)估計(jì)過(guò)程中為至少兩個(gè)參考圖 像中的一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量，從所述至少兩個(gè)參考圖像的組合 中編碼多預(yù)測(cè)圖像，其中，在為一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí)候， 把所述至少兩個(gè)參考圖像的其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值以便被運(yùn)動(dòng)估計(jì)過(guò)程使用(400)。
30. 如權(quán)利要求29所述的方法，其中，所述編碼步驟通過(guò)把所述 至少兩個(gè)參考圖像的其它的參考圖像視為固定的來(lái)預(yù)測(cè)所述至少兩個(gè) 參考圖像中的一個(gè)參考圖像的運(yùn)動(dòng)矢量(410， 415， 420)。
31. 如權(quán)利要求29所述的方法，其中，所述編碼步驟在多迭代過(guò) 程的第一步中分別并行地估計(jì)所述至少兩個(gè)參考圖像中每一個(gè)參考圖 像的運(yùn)動(dòng)矢量，并在所述多迭代過(guò)程的后續(xù)步驟中細(xì)化運(yùn)動(dòng)矢量 (410， 425， 415， 430， 420， 440)。
32. 如權(quán)利要求31所述的方法，其中，所述編碼步驟基于畸變測(cè) 量從由所述多迭代過(guò)程產(chǎn)生的結(jié)果中選擇最佳的運(yùn)動(dòng)矢量(445)。
33. 如權(quán)利要求29所述的方法，其中，基于所述至少兩個(gè)參考圖像的至少一個(gè)其它參考圖像的先前計(jì)算的運(yùn)動(dòng)矢量，把所述至少兩個(gè) 參考圖像的所述至少一個(gè)其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值。
34. 如權(quán)利要求33所述的方法，其中，所述先前計(jì)算的運(yùn)動(dòng)矢量 包括至少-一個(gè)直接運(yùn)動(dòng)矢量和一個(gè)從比所述至少兩個(gè)參考圖像數(shù)量少 的參考圖像的組合中先前計(jì)算得到的運(yùn)動(dòng)矢量，其中，所述至少一個(gè) 直接運(yùn)動(dòng)矢量為至少一個(gè)時(shí)間直接運(yùn)動(dòng)矢量和至少一個(gè)空間直接運(yùn)動(dòng) 矢量中的至少一個(gè)直接運(yùn)動(dòng)矢量。
35. 如權(quán)利要求33所述的方法，其中，所述編碼步驟使用迭代過(guò) 程預(yù)測(cè)所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，并且，基于相關(guān)性度量從 至少一個(gè)預(yù)置為預(yù)設(shè)值的運(yùn)動(dòng)矢量和所述先前計(jì)算的運(yùn)動(dòng)矢量之中確 定所述迭代過(guò)程最初使用的運(yùn)動(dòng)矢量。
36. 如權(quán)利要求29所述的方法，其中，所述編碼步驟使用迭代過(guò) 程預(yù)測(cè)所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量(425， 430， 440)。
37. 如權(quán)利要求36所述的方法，其中，所述編碼步驟限制所述迭 代過(guò)程執(zhí)行的最大迭代次數(shù)。
38. 如權(quán)利要求36所述的方法，其中，所述編碼步驟限制所述迭 代過(guò)程并行測(cè)試的所述至少兩個(gè)參考圖像的最大個(gè)數(shù)。
39. 如權(quán)利要求29所述的方法，其中，所述編碼步驟基于先前的 加權(quán)估計(jì)過(guò)程估計(jì)的用于所述至少兩個(gè)參考圖像的加權(quán)來(lái)估計(jì)所述至 少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
40. 如權(quán)利要求29所述的方法，其中，所述編碼步驟使用多迭代 過(guò)程并行估計(jì)至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量，所述多迭代過(guò)程分別對(duì)應(yīng)著所述至少兩個(gè)參考圖像的不同參考圖像有不同的預(yù)置值(510， 515， 520)。
41. 如權(quán)利要求40所述的方法，其中，所述編碼步驟執(zhí)行所述多 迭代過(guò)程的第一步為所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng) 矢量提供一個(gè)預(yù)置值，基于最低畸變測(cè)量選擇所述至少兩個(gè)參考圖像 中的最佳預(yù)置值，以及基于所述最佳預(yù)置值執(zhí)行所述多迭代過(guò)程的后 續(xù)步驟來(lái)細(xì)化所述每一個(gè)參考圖像的預(yù)置值(500)。
42. 如權(quán)利要求29所述的方法，其中，所述編碼步驟基于所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量都相同的前提預(yù)測(cè)多預(yù)測(cè)圖像的運(yùn)動(dòng)信 息，以及細(xì)化所述多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量(600)。
43. 如權(quán)利要求29所述的方法，其中，所述編碼步驟通過(guò)把所述 至少兩個(gè)參考圖像組合為一個(gè)組合參考圖像和在所述至少兩個(gè)參考圖 像間使用零運(yùn)動(dòng)來(lái)估計(jì)所述多預(yù)測(cè)圖像的運(yùn)動(dòng)矢量信息(610)。
44. 如權(quán)利要求29所述的方法，其中，在預(yù)測(cè)所述至少兩個(gè)參考 圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把所述至少兩個(gè)參考圖 像的剩余的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖像視為固定的，所述編碼步驟分 別預(yù)測(cè)所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量(720， 725)。
45. 如權(quán)利要求44所述的方法，其中，所述編碼步驟通過(guò)分別為 每一個(gè)參考圖像選擇一個(gè)加權(quán)來(lái)預(yù)測(cè)所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
46. 如權(quán)利要求29所述的方法，其中，所述編碼步驟為所述多預(yù)測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別 由單向預(yù)測(cè)計(jì)算出來(lái)的所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè) 模式，使用所述至少兩個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢量和固定的運(yùn)動(dòng)矢 量的至少一個(gè)的雙向預(yù)測(cè)模式和為所述至少兩個(gè)參考圖像的每一個(gè)參 考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式之中選擇出帶有最小 畸變測(cè)量的模式，其中，在預(yù)測(cè)所述至少兩個(gè)參考圖像的一個(gè)參考圖 像的運(yùn)動(dòng)矢量的時(shí)候，通過(guò)把所述至少兩個(gè)參考圖像的剩余的運(yùn)動(dòng)矢 量視為固定的，所述編碼步驟分別計(jì)算所述至少兩個(gè)參考圖像的每一 個(gè)參考圖像的運(yùn)動(dòng)矢量。
47. 如權(quán)利要求46所述的方法，其中，所述編碼步驟進(jìn)一步從使 用所述至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模 式，使用所述至少兩個(gè)參考圖像的一個(gè)參考圖像的細(xì)化的運(yùn)動(dòng)矢量的 雙向預(yù)測(cè)模式和使用包含至少一個(gè)直接運(yùn)動(dòng)矢量的至少一個(gè)組合的雙 向預(yù)測(cè)模式之中選擇帶有最小畸變測(cè)量的模式。
48. 如權(quán)利要求29所述的方法，其中，所述編碼步驟通過(guò)把所述 至少兩個(gè)參考圖像的一個(gè)參考圖像的運(yùn)動(dòng)矢量相對(duì)于多預(yù)測(cè)圖像視為 固定的來(lái)分別預(yù)測(cè)所述至少兩個(gè)參考圖像的每一個(gè)參考圖像的運(yùn)動(dòng)矢 量(820)。
49. 如權(quán)利要求48所述的方法，其中，所述編碼步驟通過(guò)為每一 個(gè)參考圖像的運(yùn)動(dòng)矢量選擇一個(gè)加權(quán)來(lái)分別預(yù)測(cè)所述至少兩個(gè)參考圖 像的每一個(gè)參考圖像的運(yùn)動(dòng)矢量。
50. 如權(quán)利要求48所述的方法，其中，基于如下至少一個(gè)條件選擇所述至少兩個(gè)參考圖像中的作為固定的所述一個(gè)參考圖像所述至 少兩個(gè)參考圖像的一個(gè)參考圖像對(duì)應(yīng)的參考列表，時(shí)間接近度和柑對(duì) 于所述多預(yù)測(cè)圖像的相似度。
51. 如權(quán)利要求29所述的方法，其中，所述編碼步驟為所述多預(yù) 測(cè)圖像執(zhí)行模式確定從而從單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別 由單向預(yù)測(cè)計(jì)算出來(lái)的所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè) 模式和使用固定的運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式之中選 擇出帶有最小畸變測(cè)量的模式，其中，基于把所述至少兩個(gè)參考圖像 的剩余的運(yùn)動(dòng)矢量視為固定的，計(jì)算所述至少兩個(gè)參考圖像的一個(gè)參 考圖像的運(yùn)動(dòng)矢量(825)。
52. 如權(quán)利要求51所述的方法，其中，所述編碼步驟進(jìn)一步從如 下模式中選擇帶有最小畸變測(cè)量的模式使用所述至少兩個(gè)參考圖像 的一個(gè)運(yùn)動(dòng)矢量和細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和使用直接運(yùn)動(dòng) 矢量和根據(jù)所述畸變測(cè)量計(jì)算出的運(yùn)動(dòng)矢量這兩個(gè)矢量的至少一個(gè)組 合的雙向預(yù)測(cè)模式。
53. 如權(quán)利要求29所述的方法，其中，所述編碼步驟基于所述至 少兩個(gè)參考圖像相對(duì)于被編碼的所述多預(yù)測(cè)圖像有著相同的運(yùn)動(dòng)的前 提計(jì)算所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量(920)。
54. 如權(quán)利要求53所述的方法，其中，所述編碼步驟通過(guò)為每一 個(gè)參考選擇加權(quán)來(lái)計(jì)算所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量。
55. 如權(quán)利要求29所述的方法，其中，所述編碼步驟為多預(yù)測(cè)圖 像執(zhí)行模式確定，從而從如下模式中選擇帶有最小畸變測(cè)量的模式 單向預(yù)測(cè)模式，直接預(yù)測(cè)模式，使用分別由單向預(yù)測(cè)計(jì)算出來(lái)的所述 至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，為所述至少兩個(gè)參考 圖像的每一個(gè)參考圖像使用一個(gè)細(xì)化的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和 使用通過(guò)把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視為相同的而計(jì)算出來(lái) 的所述至少兩個(gè)參考圖像的組合的運(yùn)動(dòng)矢量的預(yù)測(cè)模式(925)。
56.如權(quán)利要求55所述的方法，其中，所述編碼步驟進(jìn)一步從如下模式中選擇帶有最小畸變測(cè)量的模式使用所述至少兩個(gè)參考圖像的一個(gè)運(yùn)動(dòng)矢量和通過(guò)把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視為相 同而計(jì)算出的運(yùn)動(dòng)矢量的雙向預(yù)測(cè)模式，和使用直接運(yùn)動(dòng)矢量和通過(guò) 把所述至少兩個(gè)參考圖像的運(yùn)動(dòng)矢量視為相同而計(jì)算出的運(yùn)動(dòng)矢量這 兩個(gè)矢量的至少一個(gè)組合的雙向預(yù)測(cè)模式。
全文摘要
本發(fā)明提供了一種使用組合參考雙向預(yù)測(cè)進(jìn)行運(yùn)動(dòng)估計(jì)的方法和設(shè)備。該設(shè)備包括用于從至少兩個(gè)參考圖像的組合中編碼多預(yù)測(cè)圖像的編碼器(200)，該編碼器在運(yùn)動(dòng)估計(jì)過(guò)程中分別為該至少兩個(gè)參考圖像中的一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量，其中，該編碼器在為一個(gè)參考圖像預(yù)測(cè)運(yùn)動(dòng)矢量的時(shí)候，把該至少兩個(gè)參考圖像的其它參考圖像的運(yùn)動(dòng)矢量預(yù)置為預(yù)設(shè)值以便被運(yùn)動(dòng)估計(jì)過(guò)程使用。
文檔編號(hào)H04N7/26GK101379835SQ200780004357
公開(kāi)日2009年3月4日 申請(qǐng)日期2007年1月30日 優(yōu)先權(quán)日2006年2月2日
發(fā)明者亞歷山德羅斯·吐拉彼斯, 吉爾·麥克唐納·布瓦斯, 鵬 尹 申請(qǐng)人:湯姆遜許可公司