專利名稱：通過(guò)前向移動(dòng)期間的補(bǔ)償來(lái)預(yù)測(cè)圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域是圖像處理領(lǐng)域。
更具體地說(shuō)，本發(fā)明涉及實(shí)施前向運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)技術(shù)。
本發(fā)明特別可應(yīng)用于在下一代視頻編碼器(H. 265或ISO-MPEG型編碼器)中對(duì)由一系列連續(xù)圖像組成的視頻流進(jìn)行編碼及解碼的領(lǐng)域。
背景技術(shù)：
下文中，對(duì)涉及在對(duì)圖像序列進(jìn)行編碼或解碼的領(lǐng)域中的圖像預(yù)測(cè)的現(xiàn)有技術(shù)進(jìn)行描述。
已經(jīng)存在已知的混合視頻編碼方案，其中在兩個(gè)階段中對(duì)圖像進(jìn)行編碼，第一階段是通過(guò)運(yùn)動(dòng)補(bǔ)償進(jìn)行預(yù)測(cè)的階段，隨后是對(duì)預(yù)測(cè)殘余進(jìn)行編碼的第二階段。
在運(yùn)動(dòng)補(bǔ)償技術(shù)中，已知一種稱為“后向運(yùn)動(dòng)補(bǔ)償”的運(yùn)動(dòng)補(bǔ)償方法，圖IA中示意性說(shuō)明其實(shí)例。后向運(yùn)動(dòng)補(bǔ)償使得能夠考慮到從當(dāng)前圖像指向一個(gè)或一個(gè)以上參考圖像的位移向量而根據(jù)至少一個(gè)參考圖像Ir來(lái)預(yù)測(cè)圖像Ic。
此預(yù)測(cè)包括兩個(gè)步驟 -將待預(yù)測(cè)的圖像Ic再分為一組塊； _對(duì)于此圖像的每一塊，借助于與相對(duì)于參考圖像Ir的位移有關(guān)的位移向量來(lái)進(jìn)行預(yù)測(cè)。
因此，此預(yù)測(cè)操作相當(dāng)于使參考圖像的塊的每個(gè)點(diǎn)移位與所考慮的塊相關(guān)聯(lián)的位移向量的值，且使得有可能向待預(yù)測(cè)的圖像的每一點(diǎn)提供預(yù)測(cè)值。待預(yù)測(cè)的圖像的點(diǎn)一般對(duì)應(yīng)于像素。
還已知另一種稱為“前向運(yùn)動(dòng)補(bǔ)償”的運(yùn)動(dòng)補(bǔ)償技術(shù)，圖IB中示意性說(shuō)明其實(shí)例。 前向運(yùn)動(dòng)補(bǔ)償使得能夠考慮到從一個(gè)或一個(gè)以上參考圖像Ir指向當(dāng)前圖像Ic的位移向量而根據(jù)至少一個(gè)參考圖像Ir來(lái)預(yù)測(cè)圖像Ic。
此預(yù)測(cè)包括兩個(gè)步驟 -將參考圖像Ir再分成一組參考?jí)K； -對(duì)于參考圖像的每一參考?jí)K，進(jìn)行移位，且對(duì)于此塊的每一點(diǎn)，將參考圖像的所述點(diǎn)的移位了所述位移向量的值分配給待預(yù)測(cè)的圖像Ic的點(diǎn)。
這種稱為前向運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)補(bǔ)償技術(shù)的一個(gè)缺點(diǎn)是，當(dāng)若干個(gè)塊彼此重疊時(shí)， 所述技術(shù)會(huì)導(dǎo)致出現(xiàn)重疊區(qū)，其在圖IB中標(biāo)示為R。此外，在前向投影的塊上使用不同位移還會(huì)導(dǎo)致塊之間出現(xiàn)非重疊區(qū)，其在圖IB中標(biāo)示為D。
在非重疊區(qū)中不分配值會(huì)限制所提出的編碼方案的性能。
在這些非重疊區(qū)中重建值的問(wèn)題是眾所周知的稱為“修描”(inpainting)的復(fù)原問(wèn)題。
已針對(duì)此問(wèn)題提出了若干解決方案。
舉例來(lái)說(shuō)，文獻(xiàn)“使用樹(shù)狀結(jié)構(gòu)的向量量化的快速紋理合成(Fast Texture Synth
4esis using Tree-stru ctu red Vector Quantization) ”(L · Y ·衛(wèi)(L. Y. Wei)、M ·列維 (Μ. Levoy)的SIG-GRAPH 2000會(huì)議記錄，第479到488頁(yè)，2000年7月)介紹了稱為“模板匹配”的技術(shù)。此技術(shù)利用根據(jù)待重建的區(qū)的鄰域中的已知觀察結(jié)果在參考圖像中搜索類似圖案。
此技術(shù)有三個(gè)步驟 -定義待重建的一組像素(在引用的文獻(xiàn)中為圖像中的2X2大小的塊)的鄰域中已知的信息的“模板”； -在搜索區(qū)中搜索類似于所述模板的區(qū)(候選鄰域)； -向待重建的像素指派與搜尋到的最類似的區(qū)相關(guān)聯(lián)的塊的值。
文獻(xiàn)“通過(guò)模板匹配進(jìn)行的幀內(nèi)預(yù)測(cè)(Intra prediction by template matching) ” (Τ · K · i罩(Τ · K · Tan)、C · S · ^JM (C · S · Boon)、Y · 令^C (Y · Suzuki)的 ICIP 2006會(huì)議記錄，第1693到1696頁(yè))在幀內(nèi)模式下將此技術(shù)擴(kuò)展到H. 264編碼器。此技術(shù)提供高質(zhì)量的復(fù)原。
然而，這些現(xiàn)有技術(shù)的一個(gè)缺點(diǎn)是其要求搜索待使用的“模板”的實(shí)施方案的復(fù)雜性，此搜索是通過(guò)從大量候選物中搜索最多相關(guān)產(chǎn)物的技術(shù)來(lái)進(jìn)行。因此，此技術(shù)的復(fù)雜性過(guò)高而為無(wú)效。

發(fā)明內(nèi)容
本發(fā)明提出一種沒(méi)有現(xiàn)有技術(shù)的所有這些缺點(diǎn)的新穎方法，其采用通過(guò)前向運(yùn)動(dòng)補(bǔ)償根據(jù)至少一個(gè)參考圖像來(lái)預(yù)測(cè)圖像的方法的形式。
根據(jù)本發(fā)明，此方法針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊實(shí)施以下步驟 -確定至少一條位移信息，其表示所述參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移； -確定至少一個(gè)放大塊，其包括所述參考?jí)K及參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)； -根據(jù)所述放大塊及針對(duì)參考?jí)K而確定的所述條位移信息來(lái)確定待預(yù)測(cè)的像的至少一個(gè)點(diǎn)的預(yù)測(cè)值。
本發(fā)明因此提出一種利用低復(fù)雜性的空間/時(shí)間預(yù)測(cè)，通過(guò)前向運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行預(yù)測(cè)的新穎技術(shù)。
為此，本發(fā)明提出定義將參考圖像再分成一組任意形狀的參考?jí)K。這些參考?jí)K可特別具有不同大小。也可能所有這些參考?jí)K將與參考圖像完全或不完全重疊，且所述塊將或?qū)⒉槐舜酥丿B。
為了簡(jiǎn)化且非限制，參考圖像將與一組固定大小的正方形形狀的參考?jí)K相關(guān)聯(lián)， 所述參考?jí)K不重疊，且與整個(gè)參考圖像重疊。
對(duì)于參考?jí)K，且例如對(duì)于所有參考?jí)K，確定一條位移信息，其表示參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移。舉例來(lái)說(shuō)，位移信息可表示屬于包括以下各項(xiàng)的群組的位移 -平移運(yùn)動(dòng)； -仿射變形； -單應(yīng)變形； -變形的參數(shù)模型； -旋轉(zhuǎn)； -剪切運(yùn)動(dòng)。
確切地說(shuō)，使用所提出的技術(shù)來(lái)確定放大塊，針對(duì)所述放大塊在待預(yù)測(cè)圖像中進(jìn)行前向運(yùn)動(dòng)補(bǔ)償。此放大塊包括至少一參考?jí)K及參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)(或像素)。
因此，針對(duì)待根據(jù)放大塊及相對(duì)于參考?jí)K的位移信息而預(yù)測(cè)的圖像的至少一個(gè)點(diǎn)確定預(yù)測(cè)值。確切地說(shuō)，此種預(yù)測(cè)方法使得有可能重建不重疊的點(diǎn)，即在典型前向運(yùn)動(dòng)補(bǔ)償?shù)那闆r下未預(yù)測(cè)的點(diǎn)。
本發(fā)明可特別應(yīng)用于利用基于前向運(yùn)動(dòng)補(bǔ)償(或否則借助于運(yùn)動(dòng)管來(lái)表示，運(yùn)動(dòng)管對(duì)應(yīng)于在時(shí)間歷程中前進(jìn)的像素塊)的預(yù)測(cè)技術(shù)對(duì)圖像序列或場(chǎng)景進(jìn)行編碼。在此前進(jìn)期間，管可能會(huì)變形，例如為了考慮明顯的運(yùn)動(dòng)或否則在由管預(yù)測(cè)的區(qū)中存在的像素?cái)?shù)目在像素?cái)?shù)目方面增加或減少的情況下。此管還可(例如)通過(guò)轉(zhuǎn)到塊的子像素級(jí)別而獲得改進(jìn)。本發(fā)明使得特別能確定管所經(jīng)歷的變形。
確切地說(shuō)，可回想到通過(guò)至少以下條信息來(lái)定義運(yùn)動(dòng)管 -包括參考紋理信息的參考像素塊； _管開(kāi)始及結(jié)束的時(shí)刻； -關(guān)于使得能夠在所述序列的至少一個(gè)時(shí)刻t更新所述參考?jí)K的轉(zhuǎn)變的信息。
在2007年6月25日申請(qǐng)的第0756007號(hào)法國(guó)專利申請(qǐng)案(以同一申請(qǐng)人的名義)中特別描述了用于表示圖像序列的此技術(shù)。
根據(jù)本發(fā)明的一個(gè)特定特性，所述預(yù)測(cè)方法實(shí)施 -第一預(yù)測(cè)回合，其使用至少一個(gè)參考?jí)K，從而提交第一預(yù)測(cè)圖像； -用于檢測(cè)第一預(yù)測(cè)圖像中的至少一個(gè)未預(yù)測(cè)點(diǎn)的步驟； _以及，在肯定檢測(cè)的情況下，第二預(yù)測(cè)回合，其借助于至少一個(gè)放大塊，使得所述第二回合確定所述未預(yù)測(cè)點(diǎn)中的至少一者的值。
舉例來(lái)說(shuō)，如果在第一回合期間未預(yù)測(cè)第一預(yù)測(cè)圖像的至少一個(gè)點(diǎn)，那么在第一預(yù)測(cè)圖像上獲得黑區(qū)。通過(guò)揭露未預(yù)測(cè)點(diǎn)的存在(或不存在預(yù)測(cè))的一條信息來(lái)檢測(cè)此區(qū)域。接著，在參考圖像中，在預(yù)測(cè)圖像中對(duì)應(yīng)于此未預(yù)測(cè)點(diǎn)的點(diǎn)的鄰域中確定至少一個(gè)放大塊。換句話說(shuō)，預(yù)測(cè)圖像中對(duì)應(yīng)于放大塊的塊含有此未預(yù)測(cè)點(diǎn)。
根據(jù)一個(gè)特定實(shí)施例，位移信息(表示所述參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移)包括一組控制向量，其各自表示所述參考?jí)K或所述參考?jí)K的子塊的特征點(diǎn)與所述特征點(diǎn)在待預(yù)測(cè)圖像中的對(duì)應(yīng)位置之間的位移。
舉例來(lái)說(shuō)，塊或子塊的控制向量各自與塊或子塊的頂點(diǎn)中的一者相關(guān)聯(lián)。因此，對(duì)于2D圖像，使四個(gè)控制向量與塊相關(guān)聯(lián)，每一控制向量與塊的一個(gè)頂點(diǎn)或隅角相關(guān)聯(lián)。對(duì)于3D圖像，使八個(gè)向量與塊相關(guān)聯(lián)，其實(shí)際上對(duì)應(yīng)于管，每一控制向量與塊的一個(gè)隅角相關(guān)聯(lián)。還可能使這些控制向量與塊的其它點(diǎn)相關(guān)聯(lián)，例如對(duì)應(yīng)于輪廓。類似地，與塊相關(guān)聯(lián)的控制向量的數(shù)目不是固定的。
因此，在通過(guò)前向運(yùn)動(dòng)補(bǔ)償來(lái)實(shí)施預(yù)測(cè)期間，控制向量指向待預(yù)測(cè)圖像中的參考
6圖像中的一者或一者以上。接著，針對(duì)屬于參考圖像的給定塊確定多個(gè)控制向量。
根據(jù)本發(fā)明的一個(gè)特定方面，通過(guò)實(shí)施屬于包括以下各項(xiàng)的群組的技術(shù)來(lái)確定放大塊 -使所述參考?jí)K的所有隆起移位相同距離； -使所述參考?jí)K的至少一個(gè)隆起移位。
舉例來(lái)說(shuō)，有可能均勻地放大塊，即使參考?jí)K的每一邊緣相同地移位。
根據(jù)一種變型，有可能在特定方向上(例如向上)使參考?jí)K向右放大，或者甚至組合向上及向下方向，這相當(dāng)于使兩個(gè)隆起移位。
放大操作的應(yīng)用可系統(tǒng)地進(jìn)行及/或在非重疊區(qū)的肯定檢測(cè)的情況下應(yīng)用。
舉例來(lái)說(shuō)，如果未預(yù)測(cè)點(diǎn)(對(duì)應(yīng)于非重疊區(qū))位于所考慮的塊“上方”，那么通過(guò)使參考?jí)K的至少一個(gè)隆起向上移位(即，將塊的放大設(shè)計(jì)為涵蓋未預(yù)測(cè)點(diǎn))來(lái)確定放大塊。 因此，可根據(jù)與所考慮的塊的鄰域中的非重疊區(qū)的距離來(lái)調(diào)整放大寬度。最后，當(dāng)所考慮的塊的鄰域中不存在非重疊區(qū)時(shí)，不應(yīng)用放大，且操作轉(zhuǎn)到另一個(gè)塊。
根據(jù)本發(fā)明的一個(gè)特定方面，至少一個(gè)隆起的移位考慮到控制向量中的至少一者。舉例來(lái)說(shuō)，使用一條位移信息的預(yù)測(cè)將關(guān)聯(lián)向上且向左放大的塊，所述位移信息表示參考?jí)K與對(duì)應(yīng)塊之間的位移，其中此位移表征為向上且向左的位移。因此，將根據(jù)參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間所考慮的移位來(lái)調(diào)適塊的放大。
此外，根據(jù)本發(fā)明的一個(gè)特定方面，當(dāng)針對(duì)待預(yù)測(cè)圖像的同一點(diǎn)確定至少兩個(gè)預(yù)測(cè)值時(shí)，所述方法包括用于考慮某些信任值而預(yù)測(cè)所述點(diǎn)的步驟，每一信任值被指派給所述預(yù)測(cè)值。
本發(fā)明的另一方面涉及對(duì)針對(duì)參考圖像的至少一個(gè)塊實(shí)施上文所述的預(yù)測(cè)方法的編碼方法。
更具體地說(shuō)，對(duì)當(dāng)前圖像的預(yù)測(cè)提交預(yù)測(cè)圖像。任選地，預(yù)測(cè)操作之后是以下步驟 -通過(guò)將當(dāng)前圖像與預(yù)測(cè)圖像進(jìn)行比較來(lái)確定至少一個(gè)預(yù)測(cè)殘余； -對(duì)預(yù)測(cè)殘余進(jìn)行編碼； -傳輸及/或存儲(chǔ)包括來(lái)自編碼步驟的預(yù)測(cè)殘余的信號(hào)。
根據(jù)本發(fā)明的一個(gè)特定方面，所述編碼方法實(shí)施將一條信息插入到所述信號(hào)中的步驟，所述信息表示至少一個(gè)放大塊及/或針對(duì)給定參考?jí)K指派給所述放大塊的放大的使用。
因此，此條信息可(例如)采用信令位的形式，及/或指示所執(zhí)行的放大的類型的字節(jié)的形式，所述信令位的值“ 1”發(fā)信號(hào)通知所關(guān)注的塊的放大，且值“0”發(fā)信號(hào)通知相反情況。
此外，任選地，所述信號(hào)包括通過(guò)將當(dāng)前圖像與預(yù)測(cè)圖像進(jìn)行比較而獲得的預(yù)測(cè)殘余。
在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)圖像序列進(jìn)行編碼的裝置，其通過(guò)前向運(yùn)動(dòng)補(bǔ)償根據(jù)至少一個(gè)參考圖像來(lái)實(shí)施預(yù)測(cè)，且針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊而包括 -用于確定至少一條位移信息的構(gòu)件，所述位移信息表示參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移； -用于確定至少一個(gè)放大塊的構(gòu)件，所述放大塊包括參考?jí)K及參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)； -用于根據(jù)所述至少一個(gè)放大塊及針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定當(dāng)前圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值從而提交預(yù)測(cè)圖像的構(gòu)件。
根據(jù)一個(gè)變型，此裝置還包括 _用于通過(guò)將當(dāng)前圖像與預(yù)測(cè)圖像進(jìn)行比較來(lái)確定至少一個(gè)預(yù)測(cè)殘余的構(gòu)件； -用于對(duì)所述至少一個(gè)預(yù)測(cè)殘余進(jìn)行編碼的構(gòu)件； -用于傳輸及/或存儲(chǔ)包括來(lái)自編碼步驟的預(yù)測(cè)殘余的信號(hào)的構(gòu)件。
例如此裝置的編碼裝置特別適于實(shí)施上文所述的編碼方法。所述裝置例如為根據(jù)未來(lái)視頻壓縮標(biāo)準(zhǔn)(H. 265或IS0-MPEG)的MPEG或H. 264型視頻編碼器或裝置。
本發(fā)明的另一方面涉及表示根據(jù)上文所述的編碼方法而編碼的圖像序列的信號(hào)。 此信號(hào)包括表示至少一個(gè)放大塊及/或針對(duì)給定參考?jí)K指派給所述放大塊的放大的使用的一條信息。
此信號(hào)當(dāng)然可包括根據(jù)本發(fā)明的編碼方法的不同特性。
確切地說(shuō)，此信號(hào)可攜帶來(lái)自編碼步驟的所述預(yù)測(cè)殘余。根據(jù)本發(fā)明的一個(gè)變型， 此信號(hào)還包括用于為給定塊重建控制向量的至少一條信息。
本發(fā)明的另一方面涉及承載如上所述的信號(hào)的記錄媒體。
在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)信號(hào)進(jìn)行解碼的方法，所述信號(hào)表示圖像序列，所述方法包括根據(jù)待重建圖像的預(yù)測(cè)來(lái)重建序列的至少一個(gè)圖像的步驟，所述預(yù)測(cè)使待重建圖像的塊與序列的參考圖像中的至少一個(gè)對(duì)應(yīng)塊相關(guān)聯(lián)。
此解碼方法實(shí)施對(duì)所述序列的至少一個(gè)圖像的預(yù)測(cè)，實(shí)施如上所述的預(yù)測(cè)方法， 從而提交預(yù)測(cè)圖像。
根據(jù)一個(gè)變型，此方法還實(shí)施以下步驟 -對(duì)至少一個(gè)預(yù)測(cè)殘余進(jìn)行解碼； -將殘余加到預(yù)測(cè)圖像，從而提交重建的圖像。
此方法特別適合于對(duì)根據(jù)上述編碼方法來(lái)編碼的圖像序列進(jìn)行解碼。
以此方式，執(zhí)行與編碼時(shí)所執(zhí)行的步驟相同的預(yù)測(cè)步驟，以便重建給定塊，且任選地通過(guò)將預(yù)測(cè)殘余(在信號(hào)中傳輸)加到預(yù)測(cè)來(lái)重建給定塊。
確切地說(shuō)，有可能在解碼期間從信號(hào)中提取至少一條用于為給定塊或運(yùn)動(dòng)管重建控制向量的信息，以便處理關(guān)于這些管的轉(zhuǎn)變的信息，且針對(duì)每一管，在待重建的圖像中重建可能變形的當(dāng)前塊。
根據(jù)本發(fā)明的一個(gè)方面，此解碼方法實(shí)施用于提取表示至少一個(gè)放大塊及/或針對(duì)給定參考?jí)K指派給放大塊的放大的使用的一條信息的步驟，且所述預(yù)測(cè)步驟考慮此條信肩、ο 在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的裝置， 其通過(guò)前向運(yùn)動(dòng)補(bǔ)償根據(jù)至少一個(gè)參考圖像來(lái)實(shí)施預(yù)測(cè)。
對(duì)于參考圖像的稱為參考?jí)K的至少一個(gè)塊，此裝置包括 -用于確定至少一條位移信息的構(gòu)件，所述位移信息表示所述參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移； -用于確定至少一個(gè)放大塊的構(gòu)件，所述放大塊包括所述參考?jí)K及所述參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)； -用于根據(jù)所述至少一個(gè)放大塊及針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定待預(yù)測(cè)圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值從而提交預(yù)測(cè)圖像的構(gòu)件。
根據(jù)一個(gè)變型，此裝置還包括 -用于對(duì)至少一個(gè)預(yù)測(cè)殘余進(jìn)行解碼的構(gòu)件；以及 -用于在預(yù)測(cè)圖像中添加至少一個(gè)殘余從而提交重建的圖像的構(gòu)件。
此編碼裝置特別適于實(shí)施如上所述的解碼方法。所述裝置例如為根據(jù)未來(lái)視頻壓縮標(biāo)準(zhǔn)(H. 265或IS0-MPEG)的MPEG或H. 264型解碼器或裝置。
本發(fā)明還涉及一個(gè)或一個(gè)以上計(jì)算機(jī)程序，其包括用于分別實(shí)施如上所述的預(yù)測(cè)方法及/或編碼方法及/或解碼方法的指令。舉例來(lái)說(shuō)，所述程序可從通信網(wǎng)絡(luò)下載且/ 或存儲(chǔ)于計(jì)算機(jī)可讀載體上且/或可由處理器執(zhí)行。


本發(fā)明的其它特征及優(yōu)點(diǎn)將從以下對(duì)特定實(shí)施例的描述中更清楚地顯現(xiàn)，所述描述是借助于指示性且非窮舉的實(shí)例且通過(guò)附圖提供的，附圖中 已經(jīng)參照現(xiàn)有技術(shù)論述的圖IA及圖IB分別說(shuō)明通過(guò)前向投影及后向投影進(jìn)行的運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)； 圖2A及圖2B呈現(xiàn)根據(jù)本發(fā)明一個(gè)實(shí)施例的通過(guò)前向運(yùn)動(dòng)補(bǔ)償進(jìn)行的預(yù)測(cè)的主要步驟； 圖3A及圖;3B說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例的塊的投影； 圖4A到圖4C說(shuō)明用于確定放大塊的實(shí)例； 圖5呈現(xiàn)根據(jù)本發(fā)明一個(gè)特定實(shí)施例的信號(hào)的結(jié)構(gòu)； 圖6呈現(xiàn)根據(jù)本發(fā)明一個(gè)實(shí)施例的解碼方法的主要步驟； 圖7及圖8呈現(xiàn)根據(jù)本發(fā)明一個(gè)特定實(shí)施例的編碼裝置及解碼裝置的結(jié)構(gòu)。
具體實(shí)施例方式一般原理 本發(fā)明的一般原理在于利用低復(fù)雜性的空間/時(shí)間預(yù)測(cè)通過(guò)前向運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行預(yù)測(cè)。
更具體地說(shuō)，本發(fā)明提出根據(jù)參考圖像的放大塊來(lái)確定對(duì)當(dāng)前圖像的預(yù)測(cè)，所述放大塊即是參考圖像的包括參考?jí)K及參考圖像中鄰近于參考?jí)K的塊的至少一個(gè)像素的塊。
可回想到，在前向投影的塊上使用不同的位移通常導(dǎo)致塊之間的非重疊區(qū)。根據(jù)本發(fā)明而提出的技術(shù)提供沒(méi)有非重疊區(qū)或至少包括比現(xiàn)有技術(shù)的未預(yù)測(cè)區(qū)數(shù)目少的未預(yù)測(cè)區(qū)的預(yù)測(cè)圖像。
下文中，參看圖2A，提供對(duì)根據(jù)本發(fā)明一個(gè)實(shí)施例的一般經(jīng)實(shí)施以用于通過(guò)前向運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行預(yù)測(cè)的主要步驟的描述。
如圖2A中所說(shuō)明，根據(jù)至少一個(gè)參考圖像且針對(duì)此參考圖像的至少一個(gè)塊(稱為參考?jí)KbK)通過(guò)前向運(yùn)動(dòng)補(bǔ)償進(jìn)行的預(yù)測(cè)0 包括以下步驟 -確定(221)塊、的至少一條位移信息vbK，其表示參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移； -確定(22 至少一個(gè)放大塊％，其包括所述參考?jí)K及參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)； -根據(jù)所述放大塊及針對(duì)參考?jí)K而確定的所述條位移信息來(lái)確定(22 待預(yù)測(cè)圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值RPOO。
更具體地說(shuō)，圖2B說(shuō)明預(yù)測(cè)方法實(shí)施以下步驟的
具體實(shí)施例方式-第一預(yù)測(cè)回合(23)，其使用至少一個(gè)參考?jí)K，從而得出第一預(yù)測(cè)圖像； -檢測(cè)步驟(M)，用于檢測(cè)第一預(yù)測(cè)圖像中的未預(yù)測(cè)點(diǎn)； -以及，在肯定檢測(cè)的情況下(25)，第二預(yù)測(cè)回合，其使用至少一個(gè)放大塊，使得第二回合確定未預(yù)測(cè)點(diǎn)中的至少一者的值。
本發(fā)明的方法還可用各種方式，特別是以有線形式或以軟件形式來(lái)實(shí)施。
預(yù)測(cè)方法的一個(gè)實(shí)施例的詳細(xì)描述 下文中，呈現(xiàn)根據(jù)本發(fā)明的預(yù)測(cè)方法的特定實(shí)施例。
A)將參考圖像再分成若干個(gè)塊 考慮被再分成一組塊的參考圖像Ir，每一塊包括至少兩個(gè)像素。
塊可具有任意形狀，例如正方形或矩形形狀。塊的大小可變化，例如虹4、8訪、 16x4、16xl6。參考圖像的塊可具有不同大小。所述組塊可完全或不完全地與參考圖像重疊， 且所述塊可彼此重疊或可不彼此重疊。
為了簡(jiǎn)化，下文中考慮(非限制)一組固定大小的正方形塊，其彼此不重疊且與整個(gè)參考圖像重疊。
B)對(duì)參考圖像的塊的前向投影 在第一預(yù)測(cè)回合期間，掃描參考圖像Ir的塊，且針對(duì)每一塊，在待預(yù)測(cè)的圖像Ic 中進(jìn)行前向投影。
為了實(shí)現(xiàn)此目的，首先確定一條信息，其表示參考圖像的塊(稱為參考?jí)K)與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的運(yùn)動(dòng)。
當(dāng)然，可借助于不同的運(yùn)動(dòng)模型(例如平移、仿射變形等)來(lái)進(jìn)行此前向投影。
如2008年7月1日申請(qǐng)的第0邪4465號(hào)法國(guó)申請(qǐng)案(以同一申請(qǐng)人的名義)中所描述，考慮(例如)通過(guò)一組控制向量來(lái)定義運(yùn)動(dòng)模型。
所述位移信息(表示參考?jí)K與待預(yù)測(cè)圖像中的對(duì)應(yīng)塊之間的位移)于是包括一組控制向量，其各自表示參考?jí)K的特征點(diǎn)或參考?jí)K的子塊的特征點(diǎn)與所述特征點(diǎn)在待預(yù)測(cè)圖像中的對(duì)應(yīng)位置之間的位移。
舉例來(lái)說(shuō)，圖3A考慮由箭頭表示的針對(duì)所考慮的參考?jí)KbK(有陰影線的塊，包括四個(gè)子塊)的一組控制向量。這些控制向量定義朝右上方的運(yùn)動(dòng)。
前向投影實(shí)施不同的步驟。P = Ir表示待給予前向補(bǔ)償?shù)膮⒖紙D像，RI表示對(duì)應(yīng)于用預(yù)測(cè)值加權(quán)的累加圖像的中間圖像，RW是所使用的加權(quán)因數(shù)的經(jīng)加權(quán)累加圖像。
首先，初始化待預(yù)測(cè)的當(dāng)前圖像。因此，對(duì)于圖像的任一像素X，具有RI(X) =0， Rff (x) = 0。
接著，對(duì)于所考慮的任何參考?jí)K(或子塊)，使所考慮的運(yùn)動(dòng)模型(在此情況下為所述組控制向量)相關(guān)聯(lián)。因此，對(duì)于所考慮的塊(或子塊)的任何像素X，按照以下等式的指示更新重建圖像
權(quán)利要求
1.一種用于通過(guò)前向運(yùn)動(dòng)補(bǔ)償，根據(jù)至少一個(gè)參考圖像來(lái)預(yù)測(cè)(22)圖像的方法， 其特征在于，針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊，所述方法包括以下步驟 確定(221)至少一條位移信息，其表示所述參考?jí)K與待預(yù)測(cè)的所述圖像中的對(duì)應(yīng)塊之間的位移；確定(222)至少一個(gè)放大塊，其包括所述參考?jí)K及所述參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)；根據(jù)至少一個(gè)放大塊且根據(jù)針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定(223) 待預(yù)測(cè)的所述圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值。
2.根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于其實(shí)施第一預(yù)測(cè)回合(23)，其使用至少一個(gè)參考?jí)K，從而提交第一預(yù)測(cè)圖像； 用于檢測(cè)(24)所述第一預(yù)測(cè)圖像中的至少一個(gè)未預(yù)測(cè)點(diǎn)的步驟； 以及，在肯定檢測(cè)(25)的情況下，第二預(yù)測(cè)回合，其借助于至少一個(gè)放大塊，使得所述第二回合確定所述未預(yù)測(cè)點(diǎn)中的至少一者的值。
3.根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于所述位移信息包括一組控制向量，所述控制向量各自表示所述參考?jí)K或所述參考?jí)K的子塊的特征點(diǎn)與所述特征點(diǎn)在待預(yù)測(cè)的所述圖像中的對(duì)應(yīng)位置之間的位移。
4.根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于通過(guò)實(shí)施屬于包括以下各項(xiàng)的群組的技術(shù)來(lái)確定所述放大塊使所述參考?jí)K的所有隆起移位相同距離； 使所述參考?jí)K的至少一個(gè)隆起移位。
5.根據(jù)權(quán)利要求3及4所述的預(yù)測(cè)方法，其特征在于所述使至少一個(gè)隆起移位考慮到所述控制向量中的至少一者。
6.根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，其特征在于當(dāng)針對(duì)待預(yù)測(cè)的所述圖像的同一點(diǎn)確定至少兩個(gè)預(yù)測(cè)值時(shí)，所述方法包括用于考慮某些信任值而預(yù)測(cè)所述點(diǎn)的步驟，每一信任值被指派給所述預(yù)測(cè)值。
7.一種用于對(duì)圖像序列進(jìn)行編碼的方法，其特征在于其針對(duì)所述序列中的當(dāng)前圖像實(shí)施根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，從而提交預(yù)測(cè)圖像。
8.根據(jù)權(quán)利要求7所述的編碼方法，其特征在于其實(shí)施將一條信息插入到表示所述圖像序列的信號(hào)中的步驟，所述信息表示至少一個(gè)放大塊及/或針對(duì)給定參考?jí)K指派給所述放大塊的放大的使用。
9.一種用于對(duì)圖像序列進(jìn)行編碼的裝置，其通過(guò)前向運(yùn)動(dòng)補(bǔ)償，根據(jù)至少一個(gè)參考圖像來(lái)實(shí)施預(yù)測(cè)，所述裝置的特征在于，針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊，所述裝置包括用于確定至少一條位移信息的構(gòu)件，所述位移信息表示所述參考?jí)K與待預(yù)測(cè)的所述圖像中的對(duì)應(yīng)塊之間的位移；用于確定至少一個(gè)放大塊的構(gòu)件，所述放大塊包括所述參考?jí)K及所述參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)；用于根據(jù)所述至少一個(gè)放大塊及針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定所述當(dāng)前圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值從而提交預(yù)測(cè)圖像的構(gòu)件。
10.一種表示根據(jù)權(quán)利要求7所述的編碼方法而編碼的圖像序列的信號(hào)，其特征在于其包括至少一條信息，所述信息表示至少一個(gè)放大塊及/或針對(duì)給定參考?jí)K指派給所述放大塊的放大的使用。
11.一種運(yùn)載表示根據(jù)權(quán)利要求7所述的編碼方法而編碼的圖像序列的信號(hào)的記錄媒體，其特征在于其包括來(lái)自所述編碼步驟的預(yù)測(cè)的所述殘余。
12.一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的方法，其特征在于其實(shí)施根據(jù)權(quán)利要求1所述的預(yù)測(cè)方法，從而提交預(yù)測(cè)圖像。
13.根據(jù)權(quán)利要求12所述的解碼方法，其特征在于其實(shí)施用于提取一條信息的步驟， 所述信息表示至少一個(gè)放大塊針對(duì)給定參考?jí)K的使用及/或放大，且在于所述預(yù)測(cè)步驟考慮此條信息。
14.一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的裝置，其通過(guò)前向運(yùn)動(dòng)補(bǔ)償，根據(jù)至少一個(gè)參考圖像來(lái)實(shí)施預(yù)測(cè)，所述裝置的特征在于，針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊，所述裝置包括用于確定至少一條位移信息的構(gòu)件，所述位移信息表示所述參考?jí)K與待預(yù)測(cè)的圖像中的對(duì)應(yīng)塊之間的位移；用于確定至少一個(gè)放大塊的構(gòu)件，所述放大塊包括所述參考?jí)K及所述參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)；用于根據(jù)所述至少一個(gè)放大塊及針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定待預(yù)測(cè)的所述圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值從而提交預(yù)測(cè)圖像的構(gòu)件。
15.一種計(jì)算機(jī)程序，其包括在此程序由處理器執(zhí)行時(shí)用于實(shí)施根據(jù)權(quán)利要求1、7或 12中的任一權(quán)利要求所述的方法的指令。
全文摘要
本發(fā)明關(guān)于一種用于通過(guò)前向運(yùn)動(dòng)補(bǔ)償，根據(jù)至少一個(gè)參考圖像來(lái)預(yù)測(cè)圖像的方法。根據(jù)本發(fā)明，針對(duì)參考圖像的稱為參考?jí)K的至少一個(gè)塊，所述預(yù)測(cè)方法(22)包括以下步驟確定(221)至少一條位移信息，其表示所述參考?jí)K與待預(yù)測(cè)的所述圖像中的對(duì)應(yīng)塊之間的位移；確定(222)至少一個(gè)放大塊，其包括所述參考?jí)K及所述參考圖像中鄰近于所述參考?jí)K的塊的至少一個(gè)點(diǎn)；根據(jù)至少一個(gè)放大塊且根據(jù)針對(duì)所述參考?jí)K而確定的所述條位移信息來(lái)確定(223)待預(yù)測(cè)的所述圖像的至少一個(gè)點(diǎn)的預(yù)測(cè)值。
文檔編號(hào)H04N7/26GK102187670SQ200980141052
公開(kāi)日2011年9月14日 申請(qǐng)日期2009年10月13日 優(yōu)先權(quán)日2008年10月15日
發(fā)明者斯特凡·派緹, 納瑟莉·肯莫 申請(qǐng)人:法國(guó)電信公司