本申請是2011年5月31日遞交的，發(fā)明名稱為“擴(kuò)展的運動向量預(yù)測項的方法及裝置”，申請?zhí)枮?01180057450.9的申請的分案申請。

技術(shù)領(lǐng)域

本發(fā)明有關(guān)于視頻編碼，更具體地，本發(fā)明有關(guān)于對應(yīng)于運動向量預(yù)測(motion vector prediction)的編碼技術(shù)。

背景技術(shù)：

在視頻編碼系統(tǒng)中，通過使用空間和時間預(yù)測(spatial and temporal prediction)利用(exploit)空間和時間殘差(spatial and temporal redundancy)以減少待傳輸?shù)男畔?，其中，所述待傳輸?shù)男畔⒂糜谙嚓P(guān)的視頻數(shù)據(jù)?？臻g和時間預(yù)測分別使用來自同一幀/圖像和參考圖像的解碼像素形成對編碼的當(dāng)前像素的預(yù)測。為了有效地在視頻序列(video sequence)中利用時間殘差，本領(lǐng)域廣泛地使用了運動補(bǔ)償預(yù)測(Motion Compensated Prediction，MCP)。MCP可用于前向預(yù)測方式(forward prediction fashion)，其中使用顯示順序先于當(dāng)前圖像的一或多個解碼圖像來預(yù)測當(dāng)前圖像區(qū)塊。除前向預(yù)測以外，也可使用后向預(yù)測來改進(jìn)MCP的性能。后向預(yù)測則使用顯示順序后于當(dāng)前圖像的一或多個解碼圖像來預(yù)測當(dāng)前圖像區(qū)塊。運動向量的傳輸可能需要占據(jù)總帶寬的相當(dāng)一部分，尤其是在低比特流(low-bitrate)應(yīng)用或運動向量對應(yīng)于較小區(qū)塊或更高向量精度的系統(tǒng)中。為減少對應(yīng)于運動向量的比特流，近年來視頻編碼領(lǐng)域已開始使用運動向量預(yù)測技術(shù)。當(dāng)使用運動向量預(yù)測時，將傳輸當(dāng)前運動向量與運動向量預(yù)測項(predictor)之間的差值(difference)，而不傳輸當(dāng)前運動向量。一種好的運動向量預(yù)測機(jī)制可通過產(chǎn)生更小的運動殘差(motion residue)(即當(dāng)前運動向量與運動向量預(yù)測項之間更小的差值)來大幅改進(jìn)壓縮效率。

在不斷發(fā)展中的高效視頻編碼(High Efficiency Video Coding，HEVC)標(biāo)準(zhǔn)中，已揭示了一種先進(jìn)型運動向量預(yù)測(Advanced Motion Vector Prediction AMVP)技術(shù)。AMVP技術(shù)使用直接預(yù)測項信令(explicit predictor signaling)來指示在運動向量預(yù)測項(motion vector predictor，MVP)候選項集(candidate set)中所選擇的MVP?；贏MVP的空間MVP候選項是從對應(yīng)于當(dāng)前區(qū)塊的左邊及上邊的相鄰區(qū)塊的運動向量中推導(dǎo)的。而時間MVP候選項是根據(jù)共位(co-located)區(qū)塊的運動向量推導(dǎo)的。通過擴(kuò)展MVP集以包括更多區(qū)塊來近一步改進(jìn)運動向量預(yù)測的效率是非常需要的。因此，希望能根據(jù)解碼器端的解碼信息推導(dǎo)運動向量預(yù)測項從而無需傳輸附加的端信息(side information)?；蛘撸稍诒忍亓?bitstream)中直接傳輸端信息以通知解碼器所選擇的MVP。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種推導(dǎo)運動向量預(yù)測項或運動向量預(yù)測項候選項的方法及裝置。

本發(fā)明提供一種推導(dǎo)運動向量預(yù)測項或運動向量預(yù)測項候選項的方法，用于圖像中的當(dāng)前預(yù)測單元的運動向量的編碼或解碼，該方法包括：接收該當(dāng)前預(yù)測單元的當(dāng)前運動向量或當(dāng)前運動向量差值；接收與該當(dāng)前預(yù)測單元的至少一個空間相鄰區(qū)塊和在該當(dāng)前預(yù)測單元的共位預(yù)測單元中的至少一個共位區(qū)塊T_i,j相關(guān)的多個運動向量，其中，該至少一個共位區(qū)塊T_i,j從由{T_0,0,…,T_m,n}組成的共位區(qū)塊組中選擇，以及m和n為整數(shù)，0≦i≦m,和0≦j≦n；基于運動向量預(yù)測項集，確定運動向量預(yù)測項或運動向量預(yù)測項候選項，其中該運動向量預(yù)測項集包括運動向量候選項，該運動向量候選項從與該至少一個空間相鄰區(qū)塊和該至少一個共位區(qū)塊T_i,j相關(guān)的該多個運動向量而得到，其中該至少一個共位區(qū)塊T_i,j不包括T_0,0；以及基于運動向量預(yù)測項或運動向量預(yù)測項候選項，對該當(dāng)前預(yù)測單元應(yīng)用預(yù)測編碼或解碼。

本發(fā)明另提供一種推導(dǎo)運動向量預(yù)測項或運動向量預(yù)測項候選項的裝置，用于圖像中的當(dāng)前預(yù)測單元的運動向量的編碼或解碼，該裝置包括：接收該當(dāng)前預(yù)測單元的當(dāng)前運動向量或當(dāng)前運動向量差值的裝置；接收與該當(dāng)前預(yù)測單元的至少一個空間相鄰區(qū)塊和在該當(dāng)前預(yù)測單元的共位預(yù)測單元中的至少一個共位區(qū)塊T_i,j相關(guān)的多個運動向量的裝置，其中，該至少一個共位區(qū)塊T_i,j自由{T_0,0,…,T_m,n}組成的共位區(qū)塊組中選擇，以及m和n為整數(shù)，0≦i≦m,和0≦j≦n；基于運動向量預(yù)測項集，確定運動向量預(yù)測項或運動向量預(yù)測項候選項的裝置，其中該運動向量預(yù)測項集包括運動向量候選項，該運動向量候選項從與該至少一個空間相鄰區(qū)塊和該至少一個共位區(qū)塊T_i,j相關(guān)的該多個運動向量而得到，其中該至少一個共位區(qū)塊T_i,j不包括T_0,0；以及基于運動向量預(yù)測項或運動向量預(yù)測項候選項，對該當(dāng)前預(yù)測單元應(yīng)用預(yù)測編碼或解碼的裝置。

本發(fā)明提供的推導(dǎo)運動向量預(yù)測項或運動向量預(yù)測項候選項的方法可改進(jìn)運動向量預(yù)測效率。

附圖說明

圖1為空間和時間運動向量預(yù)測的相鄰和共位區(qū)塊配置的示意圖，該空間和時間運動向量預(yù)測基于用于HEVC標(biāo)準(zhǔn)的AMVP中的相鄰區(qū)塊和共位區(qū)塊的運動向量。

圖2為擴(kuò)展的相鄰和共位區(qū)塊配置的示意圖，該配置用于基于相鄰區(qū)塊、共位區(qū)塊及共位區(qū)塊的相鄰區(qū)塊來推導(dǎo)空間和時間運動向量預(yù)測項。

圖3為擴(kuò)展共位區(qū)塊以包括共位區(qū)塊的相鄰區(qū)塊用于推導(dǎo)運動向量預(yù)測的示意圖。

圖4為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括T_m,n作為時間MVP候選項。

圖5為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括T_i,j作為時間MVP候選項，其中i≠0且j≠0。

圖6為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括T’作為時間MVP候選項，其中T’為組{T_0,0,…,T_m,n}中的第一可用MVP候選項。

圖7為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_0,0,F₀,和G₀)。

圖8為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T’,F’和G’)，(T’,F’和G’)分別對應(yīng)于組{T_0,0,…,T_m,n},{F₀,…,F_m}及{G₀,…,G_n}的第一可用MV。

圖9為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T’,F’,G’和H)，(T’,F’和G’)分別對應(yīng)于組{T_0,0,…,T_m,n},{F₀,…,F_m}及{G₀,…,G_n}的第一可用MV。

圖10為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_0,0,T_m,n,F₀,G₀,和H)。

圖11為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_0,0,F₀,G₀和H)。

圖12為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括與圖11相同的時間MVP候選項以及空間MVP候選項c’以(c,d和e)代替。

圖13為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_m,n,F₀,G₀和H)。

圖14為根據(jù)本發(fā)明的一個實施例擴(kuò)展的運動向量預(yù)測項集的一個實例示意圖，其中，該擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_0,0,T_0,n,T_m,0,T_m,n,F₀,G₀和H)。

具體實施方式

通過使用空間和時間預(yù)測利用空間和時間殘差以減少待傳輸或存儲的信息?？臻g預(yù)測使用同一圖像中的解碼像素以形成對預(yù)編碼的當(dāng)前像素的預(yù)測?？臻g預(yù)測通常逐塊地進(jìn)行，例如，在H.264/AVC內(nèi)部編碼中用于亮度(luminance)信號的16×16或4×4區(qū)塊。在視頻序列中，相鄰圖像通常具有很大的相似性，且簡單地使用圖像差值可有效地減少對應(yīng)于靜態(tài)背景區(qū)域的傳輸信息。然而，視頻序列中的移動物體會產(chǎn)生大量的殘差，因此將需要更高比特流以對殘差進(jìn)行編碼。因此，通常使用MCP以利用視頻序列中的時間相關(guān)性(correlation)。

MCP可用于前向預(yù)測方式，其中，使用顯示順序先于當(dāng)前圖像的一或多個解碼圖像來預(yù)測當(dāng)前圖像區(qū)塊。除前向預(yù)測以外，也可使用后向預(yù)測以改進(jìn)MCP的性能。后向預(yù)測使用顯示順序后于當(dāng)前圖像的一或多個解碼圖像來預(yù)測當(dāng)前圖像區(qū)塊。從2003年H.264/AVC的初版完成開始，前向預(yù)測和后向預(yù)測已分別擴(kuò)展至列表0預(yù)測(list 0 prediction)和列表1預(yù)測(list 1 prediction)，兩者皆可包括在顯示順序上先于或后于當(dāng)前圖像的多個參考圖像。對于列表0，先于當(dāng)前圖像的參考圖像比后于當(dāng)前圖像的參考圖像的參考圖像指數(shù)(indice)更低。而對于列表1，后于當(dāng)前圖像的參考圖像比先于當(dāng)前圖像的參考圖像的參考圖像指數(shù)更低。索引值等于0的參考圖像稱為共位圖像(co-located picture)，當(dāng)列表0或列表1共位圖像中的區(qū)塊具有和當(dāng)前圖像中當(dāng)前區(qū)塊相同的區(qū)塊位置時，該區(qū)塊稱為列表0或列表1共位區(qū)塊，或稱為列表0或列表1中的共位區(qū)塊。在早期視頻標(biāo)準(zhǔn)(例如，MPEG-1、MPEG-2和MPEG-4)中，用于運動估計模式(motion estimation mode)的單元主要基于宏區(qū)塊(macroblock)。在H.264/AVC中，16×16的宏區(qū)塊可分割(segment)為16×16,16×8,8×16以及8×8區(qū)塊以用于運動估計(motion estimation)。此外，8×8區(qū)塊可分割為8×8,8×4,4×8及4×4區(qū)塊以用于運動估計。對于發(fā)展中的HEVC標(biāo)準(zhǔn)，將用于運動估計/補(bǔ)償?shù)膯卧Q為預(yù)測單元(Prediction Unit，PU)，其中從最大區(qū)塊尺寸開始進(jìn)行分層分區(qū)而得到PU。在H.264/AVC標(biāo)準(zhǔn)中將為每一片(slice)選擇MCP類型。其中，MCP限制在列表0預(yù)測的片稱為P片。而除列表0預(yù)測以外，還包括列表1預(yù)測和雙向預(yù)測(bidirectional prediction)的片稱為B片。

在視頻編碼系統(tǒng)中，將運動向量和已編碼殘差與其他相關(guān)信息一起傳輸至解碼器以用于在解碼器端重建(reconstruct)視頻。此外，在具有彈性參考圖片結(jié)構(gòu)(flexible reference picture structure)的系統(tǒng)中，可能也必須傳輸對應(yīng)于所選擇參考圖片的信息。運動向量的傳輸可能需要總帶寬中的相當(dāng)一部分，尤其是在低比特流應(yīng)用或運動向量對應(yīng)于較小區(qū)塊或更高向量精度的系統(tǒng)中。為了近一步減少對應(yīng)于運動向量的比特流，近年來視頻編碼領(lǐng)域已開始使用運動向量預(yù)測技術(shù)。在對本發(fā)明的揭露中，MVP也可用于指代運動向量預(yù)測項(Motion Vector Predictor)，在不產(chǎn)生歧義的情況下使用此縮寫。MVP技術(shù)在空間和時間上利用相鄰運動向量之間的統(tǒng)計殘差。當(dāng)使用MVP時，選擇用于當(dāng)前運動向量的預(yù)測項，并傳輸運動向量殘差(即運動向量與運動向量預(yù)測項之間的差值)。MVP機(jī)制可應(yīng)用于閉環(huán)(closed-loop)架構(gòu)中，其中，可根據(jù)解碼器端的解碼信息推導(dǎo)運動向量預(yù)測項從而無需傳輸附加的端信息。或者，可在比特流中直接傳輸端信息以通知解碼器所選擇的運動向量預(yù)測項。

在H.264/AVC標(biāo)準(zhǔn)中，對于P片中的宏區(qū)塊，除傳統(tǒng)的內(nèi)部和外部模式(Intra and Inter mode)以外，還存在一種跳過模式(SKIP mode)。由于SKIP模式不傳輸量化誤差信號(quantized error signal)、運動向量和參考索引參數(shù)(reference index parameter)，因此跳過模式是一種實現(xiàn)更高壓縮率(large compression)的有效方法。在跳過模式中，對于16×16宏區(qū)塊，其僅需要一個信號以指示正在使用SKIP模式，從而實現(xiàn)大幅減少比特率。用于重建SKIP宏區(qū)塊的運動向量類似于用于宏塊的運動向量預(yù)測項。一種好的MVP機(jī)制可產(chǎn)生更多的零運動向量殘差(zero motion vector residue)和零量化預(yù)測誤差(zero quantized prediction error)。因此，好的MVP機(jī)制可增加SKIP編碼區(qū)塊的數(shù)目并改進(jìn)編碼效率。

在H.264/AVC標(biāo)準(zhǔn)中，對于B片，其支持四種不同的外部預(yù)測模式—列表0、列表1、雙向預(yù)測(bi-predictive)以及直接預(yù)測(DIRECT prediction)，其中，列表0和列表1代表分別使用參考圖片組(reference picture group)0和參考圖片組1的預(yù)測。對于雙向預(yù)測模式，預(yù)測信號是由運動補(bǔ)償列表0和列表1的多個預(yù)測信號的加權(quán)平均值形成的。而直接預(yù)測模式是從先前傳輸?shù)恼Z法元素(syntax element)進(jìn)行推斷(infer)，且直接預(yù)測模式可為列表0、列表1或雙向預(yù)測模式的任意一種。因此，在直接預(yù)測模式中無需傳輸運動向量的信息。在不傳輸量化誤差信號情況下，直接宏塊模式(DIRECT macroblock mode)表示B SKIP模式(B SKIP mode)，且該區(qū)塊可得到有效編碼。同樣地，一種好的MVP機(jī)制可產(chǎn)生更多的零運動向量殘差和更小的量化預(yù)測誤差。因此，好的MVP機(jī)制可增加Direct編碼區(qū)塊的數(shù)目并改進(jìn)編碼效率。

由相同發(fā)明人在2011年3月14日遞交的序列號為13/047,600，標(biāo)題為“Method and Apparatus of Spatial Motion Vector Prediction”的美國專利申請案中，揭示了一種根據(jù)來自空間相鄰模塊的運動向量推導(dǎo)用于當(dāng)前區(qū)塊的運動向量預(yù)測候選項的方法。在美國專利申請案13/047,600中，由對應(yīng)于列表0參考圖像和列表1參考圖像的空間相鄰區(qū)塊的運動向量預(yù)測用于當(dāng)前區(qū)塊的運動向量。此外，將運動向量看作用于當(dāng)前區(qū)塊的預(yù)測項的候選項，且以優(yōu)先順序設(shè)置這些候選項。而由相同發(fā)明人在2011年3月3日遞交的序列號為13/039,555，標(biāo)題為“Method and Apparatus of Temporal Motion Vector Prediction”的美國專利申請案中，揭示了一種根據(jù)對應(yīng)于時間共位區(qū)塊的運動向量來推導(dǎo)運動向量預(yù)測項的系統(tǒng)和方法。在美國專利申請案13/039,555中，由過去和/或?qū)韰⒖紙D像中的時間區(qū)塊的運動向量來有效地預(yù)測當(dāng)前區(qū)塊的運動向量。此外，將時間運動向量看作用于當(dāng)前區(qū)塊的預(yù)測項的候選項，且以優(yōu)先順序設(shè)置這些候選項。在當(dāng)前揭露書中，將擴(kuò)展空間和時間運動向量預(yù)測項集以包括對應(yīng)于列表0參考圖像和列表1參考圖像的空間相鄰區(qū)塊、時間共位區(qū)塊以及對應(yīng)于列表0參考圖像和列表1參考圖像的相鄰區(qū)塊。

在HEVC的發(fā)展中，由McCann等人在“Samsung’s Response to the Call for Proposals on Video Compression Technology”(Document JCTVC-A124,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1,1st Meeting:Dresden,Germany,15-23April,2010)中提出一種名為先進(jìn)運動向量預(yù)測(Advanced Motion Vector Prediction，AMVP)的技術(shù)。AMVP技術(shù)使用直接預(yù)測項信令以指示在MVP候選項集中選擇的MVP候選項。MVP候選項包括空間MVP候選項和時間MVP候選項，其中，該空間MVP候選項包括三個候選項a’,b’和c’。如圖1所示，候選項a’為來自區(qū)塊組{a₀,a₁,…,a_na}的第一可用運動向量，區(qū)塊組{a₀,a₁,…,a_na}位于當(dāng)前區(qū)塊的上方，其中na為此組中的區(qū)塊數(shù)量。如圖1所示，候選項b’為來自區(qū)塊組{b₀,b₁,…,b_nb}的第一可用運動向量，區(qū)塊組{b₀,b₁,…,b_nb}位于當(dāng)前區(qū)塊的左方，其中nb為此組中的區(qū)塊數(shù)量。如圖1所示，候選項c’為來自區(qū)塊組{c，d，e}的第一可用運動向量，區(qū)塊組{c，d，e}位于當(dāng)前PU的相鄰角落。McCann等人提出的MVP候選項集定義為{median(a’,b’,c’),a’,b’,c’,時間MVP候選項}。McCann等人提出的AMVP技術(shù)僅在運動向量對應(yīng)于相同的參考列表且將相同的參考圖像索引看作當(dāng)前模塊時，才將運動向量作為可用的空間MVP候選項。對于空間MVP候選項，如果在相鄰區(qū)塊中不能取得相同參考列表和相同參考圖像索引，則AMVP技術(shù)需要從組中的相鄰區(qū)塊中尋找可用的運動向量。如圖1所示，根據(jù)McCann等人提出的理論，時間MVP候選項為共位MV T。時間運動向量預(yù)測項是由最近參考幀給出，且可根據(jù)時間距離(temporal distance)進(jìn)行縮放。縮放因子(scaling factor)基于當(dāng)前區(qū)塊的當(dāng)前圖像與給定參考圖像之間的時間距離除以最接近參考圖像與對應(yīng)于共位區(qū)塊的MV的參考圖像之間的時間距離的比率。對應(yīng)于共位區(qū)塊的MV的參考圖像可能不屬于當(dāng)前區(qū)塊的參考圖像列表。在此情況下，根據(jù)McCann等人提出的理論，則時間MVP候選項不可用于當(dāng)前區(qū)塊。而在序列號為13/039,555和序列號為13/047,600的美國專利申請中揭露的機(jī)制提供了各種實例以改進(jìn)對應(yīng)于共位區(qū)塊和相鄰區(qū)塊的MVP候選項的可用性。擴(kuò)展MVP集以包括更多的時間區(qū)塊及/或更多對應(yīng)于列表0參考圖像和列表1參考圖像的空間相鄰區(qū)塊是十分需要的?？蓪⑿蛄刑枮?3/039,555的美國申請中揭示的機(jī)制應(yīng)用于MVP集的每個區(qū)塊以改進(jìn)對應(yīng)于時間區(qū)塊的MVP的可用性。

相應(yīng)地，本發(fā)明揭示了一種擴(kuò)展的MVP集，其中，如圖2所述，MVP集包括空間MVP候選項和時間MVP候選項。通常，關(guān)于MVP或MVP候選項的信息包括在序列頭部、圖像頭部或片頭部中，或是從解碼視頻數(shù)據(jù)中推導(dǎo)的。圖2為包括空間MVP候選項和時間MVP候選項的MVP集的實例示意圖，其中，空間MVP候選項對應(yīng)于圖1的空間相鄰區(qū)塊，且時間MVP候選項對應(yīng)于共位PU210的區(qū)塊{T_0,0,…,T_m,n}，及PU210的相鄰區(qū)塊{F₀,…,F_m},{G₀,…,G_n}，以及H。為簡潔，n和m在圖2中分別用于表示na和nb。如圖2所示，例如當(dāng)區(qū)塊的一列和一行從PU210擴(kuò)展至右方和下方時，則也可使用PU210的右方區(qū)域和下方區(qū)域中的更多個區(qū)塊。在傳統(tǒng)方法中，僅將PU210的左上角的共位區(qū)塊看做時間MVP候選項。在圖2的實例中，時間MVP候選項是從至少一個共位區(qū)塊和這些共位區(qū)塊的相鄰區(qū)塊中推導(dǎo)的。而共位區(qū)塊及其相鄰區(qū)塊的運動向量從先前編碼的幀或圖像中獲取?？筛鶕?jù)縮放因子從多個參考圖像的其中一個和兩個列表的其中一個中推導(dǎo)每個空間或時間候選項的運動向量?？蓪\動向量預(yù)測項的選擇直接發(fā)信至解碼器，或者間接的從解碼圖像/幀中推導(dǎo)運動向量預(yù)測項。序列號為13/039,555和序列號為13/047,600的美國專利申請中揭示了一種使用縮放因子從多個參考圖像的其中一個和兩個列表的其中一個中推導(dǎo)每個空間或時間候選項的運動向量的方法。

盡管圖2所示的時間候選項為相應(yīng)于對應(yīng)共位PU的區(qū)塊及其周圍區(qū)塊，也可將共位PU周圍的更多區(qū)塊包括在內(nèi)。圖3為進(jìn)一步將時間候選項擴(kuò)展為包括共位PU的左方和上方的相鄰區(qū)塊以推導(dǎo)運動向量預(yù)測項的示意圖。其中，該擴(kuò)展的時間區(qū)塊包括PU210的左方和上方的{T-1,-1,…,T-1,n},{T0,-1,…,Tm,-1},G-1和F-1。如圖3所示，例如當(dāng)區(qū)塊的一列和一行從PU210擴(kuò)展至左方和下方時，則也可使用PU210的上方區(qū)域和/或左方區(qū)域中的更多個區(qū)塊。同樣地，可使用縮放因子從多個參考圖像的其中一個和兩個列表的其中一個中推導(dǎo)每個時間候選項的運動向量。

圖2和圖3為擴(kuò)展的MVP集的實例示意圖?？蓮腗VP集中選擇元素或元素的組合以形成MVP候選項集。擴(kuò)展的MVP集包括多個時間區(qū)塊及/或空間相鄰區(qū)塊。因此，擴(kuò)展的MVP集可形成更好的MVP候選項集從而產(chǎn)生更小的運動向量殘差以實現(xiàn)更高效壓縮。在下述段落中，根據(jù)本發(fā)明說明了MVP候選信息的各種實例。圖4為MVP候選集{median(a’,b’,c’),a’,b’,c’,時間MVP候選項(T_m,n)}的一個實例的示意圖。如圖4所示，候選項a’為來自區(qū)塊組{a₀,a₁,…,a_n}的第一可用運動向量，區(qū)塊組{a₀,a₁,…,a_n}位于當(dāng)前區(qū)塊的上方，其中n為此組中的區(qū)塊數(shù)量。如圖4所示，候選項b’為來自區(qū)塊組{b₀,b₁,…,b_m}的第一可用運動向量，區(qū)塊組{b₀,b₁,…,b_m}位于當(dāng)前區(qū)塊的左方，其中m為此組中的區(qū)塊數(shù)量。如圖4所示，候選項c’為來自區(qū)塊組{c，d，e}的第一可用運動向量，區(qū)塊組{c，d，e}位于當(dāng)前PU的相鄰角落。僅將一個時間MV，PU 210內(nèi)部的T_m,n用作時間MVP候選項。如前所述，可使用縮放因子從多個參考圖像的其中一個和兩個列表的其中一個中推導(dǎo)每個空間或時間候選項的運動向量。也可將所選擇的運動向量預(yù)測項直接發(fā)信至解碼器，或者間接的從解碼圖像/幀中推導(dǎo)運動向量預(yù)測項。在圖4的實例中，PU210的右下角的MV，T_m,n用作時間MVP候選項。如圖5所示，PU210內(nèi)部的任何MV，T_m,n(其中，i≠0且j≠0)可用作時間MVP候選項。例如，MV,T_i,j，其中，i＝(m-1)/2且j＝(n-1)/2，即從相應(yīng)于當(dāng)前PU中點(central point)的左上區(qū)塊所對應(yīng)的共位區(qū)塊的運動向量中推導(dǎo)的時間運動向量用作時間MVP候選項。在另一個實例中，從相應(yīng)于當(dāng)前PU中點的右下區(qū)塊所對應(yīng)的共位區(qū)塊的運動向量中推導(dǎo)時間運動向量候選項。在又一個實例中，從相應(yīng)于當(dāng)前PU的右下相鄰區(qū)塊的左上區(qū)塊所對應(yīng)的共位區(qū)塊的運動向量中推導(dǎo)時間運動向量候選項。

在另一個實例中，如圖6所示，可將組{T_0,0,…,T_m,n}中的第一可用MVP候選項T’用作時間MVP候選項。組{T_0,0,…,T_m,n}可以鋸齒(zig-zag)順序排列。也可使用例如逐行或逐列(column-by-column)的其他順序。

在使用單一共位區(qū)塊作為時間MVP候選項之外，也可使用多個區(qū)塊作為MVP候選項。例如，擴(kuò)展的運動向量預(yù)測項集包括如圖7所示的時間MVP候選項(T_0,0,F₀,和G₀)。在如圖8所示的另一實例中，擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T’,F’,和G’)，該時間MVP候選項(T’,F’,和G’)分別對應(yīng)于組{T_0,0,…,T_m,n},{F₀,…,F_m},{G₀,…,G_n}的第一可用MV。同樣地，可將組{T_0,0,…,T_m,n}從T_0,0至T_m,n以鋸齒順序、逐行順序或逐列順序進(jìn)行排列。而在如圖9所示的又一實例中，擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T’,F’,G’和H)，其中，(T’,F’,和G’)分別對應(yīng)于組{T_0,0,…,T_m,n},{F₀,…,F_m},{G₀,…,G_n}的第一可用MV。

時間MVP候選項可包括PU210內(nèi)部的區(qū)塊，也可包括PU210外部的區(qū)塊。例如，擴(kuò)展的運動向量預(yù)測項集可包括如圖10所示的時間MVP候選項(T_0,0,T_m,n,F₀,G₀,和H)，或者如圖11所示的時間MVP候選項(T_0,0,T_m,n,F₀,G₀和H)。上述的所有實例都使用了(median(a’,b’,c’),a’,b’,c’)作為空間MVP候選項。然而，也可使用其他相鄰區(qū)塊或相鄰區(qū)塊的組合。例如，如圖12所示，圖11的空間MVP候選項可由(median(a’,b’,c’),a’,b’,c,d和e)代替。在時間MVP候選項信息的另一實例中，如圖13所示，擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_m,n,F₀,G₀和H)。當(dāng)需要時，可包括更多的區(qū)塊作為時間MVP候選項。例如，如圖14中所示，擴(kuò)展的運動向量預(yù)測項集包括時間MVP候選項(T_0,0,T_0,n,T_m,0,T_m,n,F₀,G₀和H)。

以上說明了選擇運動向量預(yù)測項候選項以形成MVP候選項集的各種實例?？墒褂眠@些實例來說明從擴(kuò)展的運動向量預(yù)測項集中選擇空間/時間MVP候選項。盡管說明了多個擴(kuò)展實例，但這些實例并不是運動向量預(yù)測項候選項的所有可能組合的完全說明。所屬領(lǐng)域的技術(shù)人員可選擇運動向量預(yù)測項候選項的不同區(qū)塊來實現(xiàn)本發(fā)明。此外，當(dāng)使用間接/直接MV預(yù)測項信令時，可根據(jù)預(yù)定義的優(yōu)先級順序確定候選項之間的運動向量預(yù)測順序。然而，也可根據(jù)適應(yīng)性機(jī)制來執(zhí)行候選項的優(yōu)先級順序。適應(yīng)性優(yōu)先級排序(ordering)的機(jī)制可基于先前區(qū)塊的重建運動向量的統(tǒng)計、當(dāng)前區(qū)塊的劃分類型(partition type)、多個運動向量的相關(guān)性(correlation)、運動向量的方向以及運動向量的距離。此外，適應(yīng)性機(jī)制也可基于上述因素的兩者或更多者的組合。

請注意，本發(fā)明不僅可運用于內(nèi)部(INTER)模式，也可運用于SKIP、DIRECT及合并模式(MERGE mode)。在INTER模式中，在給定當(dāng)前列表的前提下，使用運動向量預(yù)測項以預(yù)測PU的運動向量，并傳輸運動向量殘差。當(dāng)不使用運動向量競爭(competition)機(jī)制時，本發(fā)明可用于推導(dǎo)運動向量預(yù)測項，或者當(dāng)使用運動向量競爭機(jī)制時，本發(fā)明也可用于推導(dǎo)運動向量預(yù)測項候選項。對于SKIP、DIRECT及MERGE模式，可將這三種模式看作INTER模式的特殊情況，此時，不傳輸運動向量殘差，并且運動向量殘差總推斷為零。在這些情況下，當(dāng)不使用運動向量競爭機(jī)制時，本發(fā)明可用于推導(dǎo)運動向量，或者當(dāng)使用運動向量競爭機(jī)制時，本發(fā)明可用于推導(dǎo)運動向量候選項。

上述的根據(jù)本發(fā)明的運動向量預(yù)測的實施例可在不同硬件、軟件、軟件或二者的組合中實施。例如，本發(fā)明的一個實施例可為集成在視頻壓縮芯片中的電路或集成在視頻壓縮軟件中的程序代碼以執(zhí)行實施例中所述的處理。本發(fā)明的一個實施例也可為數(shù)字信號處理機(jī)(Digital Signal Processor，DSP)上執(zhí)行的程序代碼以執(zhí)行實施例中所述的處理。本發(fā)明也關(guān)于由計算機(jī)處理器、DSP、微處理器或場可編碼門陣列(field programmable gate array，F(xiàn)PGA)執(zhí)行的多個功能。根據(jù)本發(fā)明，通過執(zhí)行定義本發(fā)明所包括的特定方法的機(jī)器可讀軟件代碼或固件代碼，可配置這些處理器執(zhí)行特定任務(wù)?？稍诓煌绦蛘Z言和不同格式或風(fēng)格中開發(fā)軟件代碼或固件代碼。也可對不同目標(biāo)平臺編譯軟件代碼。然而，根據(jù)本發(fā)明不同編碼格式、風(fēng)格和軟件代碼語言以及為執(zhí)行任務(wù)的配置代碼的其他方式都不得脫離本發(fā)明的精神與范圍。

在不脫離本發(fā)明的精神或基本特征本發(fā)明的前提下，本發(fā)明可以實現(xiàn)為其他形式。所述的實例僅用于說明性質(zhì)的從各方面考量而并非用于限制本發(fā)明。因此，本發(fā)明的范圍由后續(xù)的權(quán)利要求表示，而并非由前面的描述限定。在與權(quán)利要求項等同的意義和范圍內(nèi)的任何改變都包含在本發(fā)明的范圍內(nèi)。