專利名稱：基于匹配尋求算法的視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼器領(lǐng)域，更具體地，涉及一種基于適配所謂的匹配尋求方法(MP)的、和能在信號(hào)噪聲比(SNR)可縮放的視頻編碼器中實(shí)施的編碼方法。
背景技術(shù)：
在多媒體領(lǐng)域中，新的交互應(yīng)用(諸如互聯(lián)網(wǎng)視頻流、視頻數(shù)據(jù)庫(kù)瀏覽或多質(zhì)量視頻業(yè)務(wù))正在廣泛開展。這導(dǎo)致在網(wǎng)絡(luò)(互聯(lián)網(wǎng)、移動(dòng)網(wǎng)和國(guó)內(nèi)數(shù)字網(wǎng))上視頻業(yè)務(wù)的擴(kuò)展，這在各種傳輸條件(帶寬、誤碼率)以及各種消費(fèi)者要求和終端譯碼能力(CPU、顯示器尺寸、應(yīng)用)方面提出新的問(wèn)題。因此，需要新的靈活的和內(nèi)在地增強(qiáng)的視頻壓縮系統(tǒng)，該系統(tǒng)可以處理這些新的約束條件，特別是在以非常低的比特率的情況下?？煽s放性的想法是解決這些問(wèn)題的預(yù)期的功能。例如，只有一部分嵌入的比特流可被發(fā)送到特定的用戶以避免網(wǎng)絡(luò)擁塞，或整個(gè)比特流可以按照所瞄準(zhǔn)的質(zhì)量水平而被部分地譯碼。當(dāng)前的標(biāo)準(zhǔn)，諸如MPEG-4，正朝向提供這種功能的視頻編碼方案而努力。
MPEG-4依賴于傳統(tǒng)的基于塊的預(yù)測(cè)混合方案，其中運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)錯(cuò)誤編碼是借助于離散余弦變換(DCT)而實(shí)現(xiàn)的。然而，DCT看來(lái)易于受到低比特率的、非常討厭的視覺(jué)人工產(chǎn)物的危害(特別是塊邊緣的人工產(chǎn)物)，這是因?yàn)榫幋a系數(shù)的數(shù)目變得非常低，以及量化度很粗糙。較好地適合于低比特率的和在MPEG-4中測(cè)試的一種較好的DCT的替換方案，是基于所謂的匹配尋求(MP)算法，例如，在S.Mallat和Z.Zhang的“Matching pursuits with time-frequencydictionaries(帶有時(shí)間-頻率字典的匹配尋求)”，IEEETransactions on Signal Processing，vol.41，No.12，December1993，pp.3397-3415中所描述的。
正如在所述的文章中描述的，MP是時(shí)間-頻率變換，它通過(guò)使用被稱為atom(微小單元)的二維(2D)函數(shù)的過(guò)完整的字典，以迭代的方式擴(kuò)展運(yùn)動(dòng)剩余信號(hào)。這個(gè)算法迭代地計(jì)算微小單元，使得要被編碼的信號(hào)的均方誤差最小。多級(jí)算法按照以下的步驟進(jìn)行
計(jì)算在矩形搜索窗上的最高能量圖象塊；在這個(gè)塊周圍，計(jì)算使得在基函數(shù)與在當(dāng)前迭代時(shí)的剩余圖象之間的內(nèi)積最大的投影；高的內(nèi)積數(shù)值表示對(duì)應(yīng)的微小單元適合于信號(hào)結(jié)構(gòu)；這個(gè)加權(quán)的微小單元然后從當(dāng)前的錯(cuò)誤圖象中被減去，從而產(chǎn)生用于下一級(jí)的、新的剩余圖象。
該方法的復(fù)雜性在于，算法在每次迭代時(shí)在字典中的所有的微小單元中間選擇最好的微小單元。表1顯示傳統(tǒng)上在經(jīng)典的基于塊的匹配尋求實(shí)施方案中使用的、微小單元字典(參量Si，F(xiàn)i和Pi分別表示微小單元的尺度、頻率和相位)。
字典的冗余度允許在選擇信號(hào)分解上更大的自由度。在低的比特率編碼的情形下，這是更感興趣的，因?yàn)镸P只利用需要的函數(shù)來(lái)精確地代表信號(hào)，因此導(dǎo)致更好的壓縮效率。而且，MP是迭代的，所以，剩余能量在每次迭代時(shí)降低。程序過(guò)程被迭代，直至這個(gè)剩余能量降低到低于給定的門限值或可供使用的比特量用完為止。該表示法在最重要系數(shù)首先被提取的意義上是自適應(yīng)的。所以，MP按降低的重要性的次序編碼剩余誤差，這對(duì)于質(zhì)量(SNR)可縮放度是有吸引力的。對(duì)應(yīng)于信號(hào)結(jié)構(gòu)中更細(xì)的細(xì)節(jié)的、附加系數(shù)可以在算法的下一個(gè)步驟期間被產(chǎn)生。
字典通常由二維(2D)的、可分開的Gabor函數(shù)組成，該函數(shù)由用于控制已被調(diào)制的高斯函數(shù)的尺度以及一個(gè)調(diào)制函數(shù)的頻率與相位的參量來(lái)代表。字典的選擇是重要的，因?yàn)樗c分解的收斂速度密切相關(guān)，并因此與算法的效率密切相關(guān)。Gabor函數(shù)針對(duì)可限制視覺(jué)人工產(chǎn)物的、處在它們邊緣的平滑的衰減來(lái)進(jìn)行選擇。而且，微小單元可被放置在整個(gè)錯(cuò)誤圖象的任意象素位置處，以便于匹配信號(hào)結(jié)構(gòu)。微小單元重疊是能夠?qū)崿F(xiàn)的，這提高擴(kuò)展平滑度。
雖然這個(gè)MP方法比起DCT的優(yōu)越性通過(guò)一些研究是顯而易見的，但DCT仍舊是在MPEG-4中唯一使用的紋理結(jié)構(gòu)編碼方法(其理由是，DCT是非常成熟的方法，對(duì)于它具有許多軟件和硬件最佳方案)。而且，MP是一種迭代算法，它不存在并行技術(shù)，以及在編碼一側(cè)是復(fù)雜的。然而，MP似乎能很好地適合于在任意形狀物體內(nèi)的紋理結(jié)構(gòu)描述，以及它提供在嵌入的比特流中的信息的逐步表示，因此允許可縮放性。
由于當(dāng)前的視頻標(biāo)準(zhǔn)原先沒(méi)有被設(shè)計(jì)來(lái)提供可縮放性(它們已被加以更新，以便包括這個(gè)新的功能，而同時(shí)保留它們的現(xiàn)有的結(jié)構(gòu))，這個(gè)可縮放性通常是通過(guò)能傳遞兩個(gè)或多個(gè)分開的比特流的一個(gè)層結(jié)構(gòu)而達(dá)到的。這個(gè)方法具有缺乏靈活性和增強(qiáng)層的編碼效率低的缺點(diǎn)。而且，基本類型的可縮放性(空間、時(shí)間、SNR)不能同時(shí)達(dá)到。因此，ITU和MPEG委員會(huì)專家在非常低的比特率的領(lǐng)域中正在尋找允許更大的互動(dòng)性的完全可縮放的編碼方案。一種許可的方法涉及基于三角形的網(wǎng)格的表示法的使用(即，把圖象區(qū)域再劃分成基本補(bǔ)片，最流行是三角形，因?yàn)檫@種配置是非常靈活的)，以便用于基于對(duì)象的壓縮和合成。這種操作的目的是按照所瞄準(zhǔn)的情景描述的精度用有限數(shù)目的單元來(lái)規(guī)定均勻的區(qū)域，因而這種操作甚至可以是分級(jí)結(jié)構(gòu)的。分級(jí)結(jié)構(gòu)然后被初始化到任意粗的網(wǎng)格，它接著按照特定的準(zhǔn)則逐步被細(xì)化，因此，允許描述的精度逐級(jí)地提高。
然后提出了利用通過(guò)網(wǎng)格而提供的主要優(yōu)點(diǎn)對(duì)于有效的對(duì)象輪廓編碼的空間自適應(yīng)能力、對(duì)于對(duì)象跟蹤的形變能力、在沒(méi)有通常對(duì)于其它表示法遇到的視覺(jué)人工產(chǎn)物的情況下即使是在低比特速率下的緊湊和增強(qiáng)的運(yùn)動(dòng)估計(jì)。三角形網(wǎng)格對(duì)于諸如紋理結(jié)構(gòu)動(dòng)畫制作和形變、視頻對(duì)象的基于內(nèi)容的恢復(fù)、增大的現(xiàn)實(shí)性、美化等等的功能是有吸引力的。而且，它們對(duì)分層結(jié)構(gòu)網(wǎng)格的擴(kuò)展是對(duì)可縮放性的可能的響應(yīng)。然而，只有幾個(gè)已知的著作涉及到網(wǎng)格內(nèi)紋理結(jié)構(gòu)編碼的課題，這些現(xiàn)有的論文都是基于適配于原先只是為矩形分解而設(shè)計(jì)的DCT的。
發(fā)明概要所以，本發(fā)明的目的是提出一種視頻編碼方法，它使用MP算法并使該算法與三角形網(wǎng)格內(nèi)的紋理結(jié)構(gòu)錯(cuò)誤編碼相適配，以便從MP特性得到好處，即，按重要性遞減的次序順序地進(jìn)行信息發(fā)送，以及甚至在低比特率時(shí)也能提供平滑的信號(hào)表示。
為此，本發(fā)明涉及基于適配所謂的匹配尋求方法(MP)，其中在所述MP方法的每次迭代時(shí)，在三角形網(wǎng)格內(nèi)的所述錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程被限制于按照預(yù)定的準(zhǔn)則選擇的特定的三角形，以及根據(jù)這個(gè)準(zhǔn)則，在考慮到錯(cuò)誤信號(hào)的快速能量減小的情況下，在這個(gè)三角形內(nèi)用于微小單元的最佳策略包含任意選擇所選擇的三角形的幾何重心來(lái)作為微小單元的中心，有關(guān)微小單元位置的任何附加信息都不被發(fā)送到譯碼器。
所提出的解決方案給所瞄準(zhǔn)的視頻編碼方案配備以一種很適合于基于網(wǎng)格的編碼的預(yù)測(cè)錯(cuò)誤編碼工具。根據(jù)MP算法，這個(gè)方法在特別被設(shè)計(jì)來(lái)匹配三角形支持時(shí)，可從網(wǎng)格特性得到好處。在給定任何選擇的三角形后，問(wèn)題是找到用于在所述三角形內(nèi)的微小單元定位的最佳策略，導(dǎo)致快速地減小錯(cuò)誤信號(hào)能量，以及精確而平滑的信號(hào)分解。這個(gè)幾何定位方法與那種必須對(duì)每個(gè)微小單元位置編碼的基于塊的方法相比較，可以導(dǎo)致獲得比特預(yù)算增益(budget gain)。
在另一個(gè)實(shí)施例中，本發(fā)明涉及基于適配所謂的匹配尋求方法(MP)的編碼方法，其中在所述MP方法的每次迭代時(shí)，在三角形網(wǎng)格內(nèi)的所述錯(cuò)誤紋理結(jié)構(gòu)處理過(guò)程被限制于按照預(yù)定的準(zhǔn)則選擇的特定的三角形，以及根據(jù)這個(gè)準(zhǔn)則，在考慮到錯(cuò)誤信號(hào)的快速能量減小的情況下，在這個(gè)三角形內(nèi)用于微小單元的最佳策略包含將錯(cuò)誤能量信息重復(fù)使用于微小單元中心定位，于是在具有最高能量的、所選擇的三角形內(nèi)位移幀差值(DFD)能量重心被任意地選擇為微小單元的中心，并且，三角形內(nèi)的這個(gè)位置是被發(fā)送到譯碼器的附加信息。
如果幾何選擇(對(duì)應(yīng)于第一實(shí)施例)確保微小單元處在三角形的中間，無(wú)論如何，這導(dǎo)致在定位自由度方面釋放MP的特性。通過(guò)將錯(cuò)誤能量信息重復(fù)使用于微小單元定位，可得到更類似于基于塊的方法的微小單元編碼效率。
這個(gè)實(shí)施方案還可以通過(guò)添加這樣一種可能性即沿著最重要的能量的方向去定向一個(gè)微小單元軸從而被改進(jìn)。這樣就能得到更好的微小單元定位，使微小單元軸對(duì)準(zhǔn)必須被逼近的錯(cuò)誤信號(hào)。
附圖簡(jiǎn)述現(xiàn)在參照附圖更詳細(xì)地說(shuō)明本發(fā)明的具體例子，其中

圖1顯示在尋找用于在所選擇的三角形內(nèi)的微小單元定位的最佳策略時(shí)的幾何微小單元定位方法；圖2顯示這個(gè)幾何方法的第一變例，它允許通過(guò)使用對(duì)于微小單元中心定位的錯(cuò)誤能量信息，從而重新引入一些定位自由度(與圖1所示的方法相比較)；圖3顯示在幾何與能量定位方法之間的比較；圖4顯示慣性微小單元定位，它是能量微小單元定位方法的變例，它借助于對(duì)準(zhǔn)沿著DFD能量的主方向的一個(gè)微小單元軸，從而允許達(dá)到微小單元軸對(duì)準(zhǔn)它們必須逼近的錯(cuò)誤信號(hào)。
發(fā)明詳細(xì)描述當(dāng)使用原先施加到圖象塊的MF算法時(shí)，為了適配它以及滿足只允許在三角形網(wǎng)格支持上的紋理結(jié)構(gòu)增強(qiáng)的嚴(yán)格的約束條件，在微小單元定位和微小單元重疊方面，不可能允許與基于塊的方法的相同的自由度。在MP程序的每個(gè)迭次迭代時(shí)，錯(cuò)誤紋理結(jié)構(gòu)編碼不得不被限制于特定的三角形，例如，按照能量準(zhǔn)則所選擇的三角形。所以，微小單元編碼必須以另一種方式執(zhí)行，以避免位于三角形邊緣的微小單元，否則這會(huì)引起視覺(jué)人工產(chǎn)物。在給定已選擇的三角形后，問(wèn)題是找到用于在這個(gè)三角形內(nèi)的微小單元的最佳策略，也就是導(dǎo)致錯(cuò)誤信號(hào)的快速能量減小和精確的與平滑的信號(hào)分解的策略?，F(xiàn)在參照?qǐng)D1到3描述這樣的微小單元定位方法，在每種情形下，在三角形尺度中執(zhí)行預(yù)測(cè)錯(cuò)誤編碼(以虛線顯示包圍每個(gè)三角形的邊界的方塊)。對(duì)于被使用來(lái)編碼運(yùn)動(dòng)剩余圖象的函數(shù)，沒(méi)有引入特別的的修正來(lái)使用網(wǎng)格結(jié)構(gòu)它們?nèi)耘f是實(shí)二維(2D)Gabor函數(shù)。
最簡(jiǎn)單的方法包含任意選擇要被編碼的已選擇的三角形的幾何重心來(lái)作為編碼的微小單元中心，即作為2D微小單元的中心，如圖1所示，其中微小單元軸與圖象柵格(X，Y)一致。這種選擇確保微小單元處在三角形的中間。因?yàn)檫@個(gè)信息是在譯碼器一側(cè)可從網(wǎng)格恢復(fù)的，所以沒(méi)有關(guān)于微小單元位置的附加信息必須被發(fā)送到譯碼器。這在與那種必須對(duì)每個(gè)微小單元位置編碼的、基于塊的方法相比較時(shí)，將會(huì)導(dǎo)致比特預(yù)算增益。微小單元定位自由度的減小通過(guò)以下事實(shí)可被部分地補(bǔ)償對(duì)于這個(gè)定位策略，微小單元位置不需要被編碼和被發(fā)送(因?yàn)樗鼈冊(cè)谧g碼一側(cè)可以以它們?cè)诰幋a器一側(cè)被執(zhí)行的相同的方式被恢復(fù))，因此導(dǎo)致對(duì)于紋理結(jié)構(gòu)增強(qiáng)的所述增加的比特預(yù)算。
然而，如果幾何選擇確保微小單元處在三角形的“中間”，則它導(dǎo)致相對(duì)于定位自由度釋放MP的性質(zhì)，這減小微小單元編碼效率。為了更類似于基于塊的方法(其中微小單元被放置在錯(cuò)誤很高的圖象區(qū)域)，錯(cuò)誤能量信息可被復(fù)用于微小單元中心定位。為此，在選擇的三角形(具有最高的能量的三角形)內(nèi)的位移幀差值(DFD)能量重心被任意地選擇作為2D微小單元的中心(圖2)。在三角形內(nèi)的這個(gè)位置必須在譯碼器中被發(fā)送，因?yàn)樗龅淖g碼器沒(méi)有關(guān)于DFD的信息。由于MP程序過(guò)程是迭代的，所以常常發(fā)生特定的三角形幾次被選擇用于紋理結(jié)構(gòu)編碼。這種能量定位在它的接連的處理過(guò)程期間重新引入在特定的三角形內(nèi)的一定的自由度。而且，這種方法更好地適應(yīng)于網(wǎng)格精選處理，該處理可按照能量準(zhǔn)則逐次地剖分三角形。由于剖分的三角形是在具有最高的剩余能量的三角形中間被選擇的，它們多半被用于增強(qiáng)紋理結(jié)構(gòu)的MP算法所選擇。借助于這種方法被重新構(gòu)建的圖象可呈現(xiàn)更好地定位的紋理結(jié)構(gòu)，它比起第一種方法具有較少的視覺(jué)人工產(chǎn)物，以及用于相同數(shù)目的微小單元的這個(gè)方法可被使用來(lái)編碼預(yù)測(cè)錯(cuò)誤。
為了說(shuō)明在幾何定位與能量定位之間的差別，可以考慮特定的一維(1D)的例子，如圖3所示，圖的右面顯示微小單元的幾何定位以及左面顯示它的能量定位(G和E在每種情形下分別表示幾何重心和能量重心的位置)。能量定位產(chǎn)生更有效的編碼，因?yàn)樗舆B地把微小單元放置在最佳點(diǎn)。事實(shí)上，在給定特定的編碼方案后，無(wú)論如何，就會(huì)存在著在較佳定位的好處與編碼這個(gè)位置的代價(jià)這兩者之間的折衷，因?yàn)槟芰慷ㄎ环椒A(yù)先假設(shè)微小單元位置已被傳輸?shù)阶g碼器一側(cè)。而且，在三角形越來(lái)越小時(shí)，在幾何重心與能量重心之間的差別越來(lái)越不太重要。
也可提出另一個(gè)變例。在以前的方法(圖3)中，微小單元軸常常平行于圖象柵格，以及這無(wú)論如何是微小單元中心位置所在地方。如圖4所示，慣性定位可以把沿著DFD能量的主方向(也就是沿其能量是最重要的方向(用角度α表示))去定向一個(gè)微小單元軸的可能性添加到能量定位上。實(shí)際上，被DFD能量加權(quán)的三角形慣性矩在每個(gè)三角形內(nèi)被加以計(jì)算以便得出能量主方向，這由它與圖象柵格x軸之間的夾角來(lái)給出。第二軸(y軸)然后簡(jiǎn)單地垂直于這個(gè)第一方向。
在慣性微小單元定位方法的情形下，DFD能量主方向角的計(jì)算是如現(xiàn)在指出的方法完成的。慣性矩陣被給出為 ，其中a=1NΣK=1Nxk2-xG′2]]>b=1NΣK=1NyK2-yG2]]>和c=1NΣK=1Nxkyk-xGyG]]>xk和yk分別是所研究的數(shù)據(jù)的x坐標(biāo)和y坐標(biāo)，以及 和 是數(shù)據(jù)重心。在本例中，可以具有x＝x(i，j)*DFD2(i，j)，y＝y(tǒng)(i，j)*DFD2(i，j)，和 其中(i，j)是選擇的三角形內(nèi)的點(diǎn)。主方向角度α由 給出。
更好的微小單元定位由這個(gè)方法通過(guò)把微小單元軸對(duì)準(zhǔn)它們必須近似的錯(cuò)誤信號(hào)而得到。無(wú)論如何，微小單元軸沒(méi)有對(duì)準(zhǔn)圖象柵格，以及分離的微小單元表不再被使用。在MP處理過(guò)程期間動(dòng)態(tài)計(jì)算的實(shí)際微小單元數(shù)值應(yīng)該被引入。而且，由慣性定位帶來(lái)的改進(jìn)也具有附加的花費(fèi)需要編碼和發(fā)送規(guī)定微小單元軸的角度。因此，必須在以下兩種情形中間實(shí)現(xiàn)速率失真折衷，這兩種情況是一，微小單元軸對(duì)準(zhǔn)DFD能量主方向，以及可供微小單元編碼之用的一部分比特預(yù)算被消耗掉，而不發(fā)送這個(gè)方向的角度；二，微小單元軸對(duì)準(zhǔn)圖象柵格以及相同部分的比特預(yù)算實(shí)際上被使用來(lái)為每個(gè)三角形發(fā)送更多的微小單元，因此，導(dǎo)致產(chǎn)生網(wǎng)格內(nèi)紋理結(jié)構(gòu)的改進(jìn)的重新構(gòu)建。所以，必須平衡較好的微小單元位置的好處與對(duì)它的參量(中心位置，軸的角度)進(jìn)行編碼的代價(jià)。
微小單元字典的選擇構(gòu)成在MP方法的效率和收斂速度方面的關(guān)鍵因素，所以，它對(duì)于按照三角形特性使函數(shù)組最佳化是有用的。如上所述，這種包含只允許在三角形尺度上的增強(qiáng)紋理結(jié)構(gòu)的很強(qiáng)的限制將會(huì)減小微小單元重疊的性質(zhì)。為了補(bǔ)償這一點(diǎn)，要特別注意選擇基本函數(shù)。增加函數(shù)的冗余度和過(guò)完整的基礎(chǔ)性質(zhì)，無(wú)論如何不是一個(gè)可接受的解決方案，因?yàn)樗黾恿怂惴ㄘ?fù)擔(dān)。
因?yàn)榉椒ǖ闹饕薷呐c這種支持的特定的幾何性質(zhì)相聯(lián)系，因而選擇了首先按照三角形尺寸來(lái)使幾個(gè)字典最佳化。視頻序列的訓(xùn)練基礎(chǔ)借助于這樣一種基于網(wǎng)格的編碼系統(tǒng)來(lái)處理，在該系統(tǒng)中，網(wǎng)格或多或少是密集的。最粗的網(wǎng)格被應(yīng)用在QCIF(四分之一公共的中間格式)圖象上，以及包含被排列成梅花形的32個(gè)三角形。這些三角形相對(duì)于一個(gè)分開的準(zhǔn)則通過(guò)以下的各層面而被進(jìn)一步改進(jìn)。對(duì)于每個(gè)網(wǎng)格配置，微小單元參量在訓(xùn)練期間最經(jīng)常被選擇的那些參量中間進(jìn)行選擇。除了最經(jīng)常的參量以外，可以把代表平滑微小單元的三元組慎重地添加到保留的字典中。這樣做的理由是字典必須盡可能地完整，而同時(shí)應(yīng)合理地保持為較小，以便適合于不同的配置，這些配置也可能是在訓(xùn)練期間未出現(xiàn)的配置。這樣做以后，可以得到幾個(gè)字典，每個(gè)字典對(duì)于特定的種類的三角形被最佳化。表2顯示對(duì)于三步驟分割程序過(guò)程而最佳化的、最終的微小單元字典的例子字典1
字典2
字典3
由按照QCIF格式的一個(gè)序列的1525個(gè)圖象組成的訓(xùn)練圖象基礎(chǔ)是被產(chǎn)物“自然”(跟隨在草地上行走的動(dòng)物的自然序列)，“新聞”(典型的標(biāo)題和肩部序列)、“橄欖球”(帶有各種運(yùn)動(dòng)、飽和的色彩和攝像機(jī)搖攝的非常需要的運(yùn)動(dòng)的序列)、和“戲劇”(相當(dāng)靜止的序列)的不同種類的幾個(gè)序列的級(jí)聯(lián)。訓(xùn)練函數(shù)字典中的每個(gè)由一百個(gè)以上的參量三元組組成，具有12個(gè)其范圍從1.0到23.0的奇數(shù)換算值、5個(gè)從0.0到4.0的頻率值、以及三個(gè)相位值(0，π/4和π/2)。三個(gè)字典是與分級(jí)結(jié)構(gòu)編碼方案的三個(gè)層任意相關(guān)的。
對(duì)于這樣描述的編碼方法，可以提出修改方案或改進(jìn)，而不背離本發(fā)明的范圍。例如，基于三角形網(wǎng)格的視頻編碼方案可以通過(guò)分層結(jié)構(gòu)表示法而被改進(jìn)。分層結(jié)構(gòu)解決尋找最佳補(bǔ)片尺寸的問(wèn)題和提出用于提供逐層改進(jìn)的說(shuō)明的工具。因此，向分層結(jié)構(gòu)網(wǎng)格擴(kuò)展是對(duì)于可縮放性的一個(gè)回答。分層結(jié)構(gòu)可以被初始化為任意粗略的網(wǎng)格，它按照特定的準(zhǔn)則(例如，能量)被接連地改進(jìn)。在本例中使用的分層結(jié)構(gòu)包含在每種分辨率下把網(wǎng)格柵格與圖象組合，以達(dá)到最粗的網(wǎng)格被耦合到最低分辨率的圖象的效果。這里，術(shù)語(yǔ)分辨率是指對(duì)源圖象執(zhí)行的低通濾波，不作任何下采樣，以及不是十中取一。因此，圖象和網(wǎng)格聯(lián)系包含能提供隨著層而增加的信息精度的單元。
對(duì)于應(yīng)用到三角形的MP方法，基函數(shù)的選擇是不容易的，因?yàn)樗绊懢幋a速度和效率。所以提出三個(gè)字典，以便給每個(gè)層提供適配的函數(shù)組。關(guān)鍵因素顯然是用于確定函數(shù)支持的換算參量。一個(gè)解決方案是任意地把每個(gè)分層結(jié)構(gòu)層與一個(gè)對(duì)于這個(gè)層已最佳化的特定的字典相聯(lián)系。然而，考慮在兩個(gè)層之間的、只更新全部三角形中的一部分的網(wǎng)格細(xì)化處理過(guò)程，如果第一層網(wǎng)格包含“大的”三角形，則不能假設(shè)下一個(gè)層網(wǎng)格只由“中等的”或“小的”三角形組成。為了防止發(fā)生這個(gè)問(wèn)題，把字典的動(dòng)態(tài)預(yù)選擇步驟附加到基于三角形的MP方法。這個(gè)字典選擇既不增加算法負(fù)擔(dān)，也不減慢它的收斂速度。其理由是，這種選擇是在每次迭代時(shí)在計(jì)算最佳微小單元之前在線地進(jìn)行的。
無(wú)論是哪個(gè)選擇的字典，MP處理過(guò)程以后在這個(gè)唯一的字典內(nèi)搜索最佳微小單元。以及對(duì)于每個(gè)所選擇的三角形搜索最佳微小單元。因此，它并不是考慮所有的N字典，這等價(jià)于一個(gè)有N倍那樣大的字典。所以，這種字典的預(yù)選擇提供了具有幾個(gè)潛在的字典優(yōu)點(diǎn)，然而，實(shí)際計(jì)算量就好像只是一個(gè)字典那樣。這個(gè)方法是更感興趣的，因?yàn)樗恍枰郊拥谒膫€(gè)微小單元參量。會(huì)影響字典選擇的微小單元尺寸實(shí)際上可從在網(wǎng)格中早已存在的信息中得出，以及該信息不需要被發(fā)送。它是在譯碼器一側(cè)以與在編碼器一側(cè)獲得的相同的方式可恢復(fù)的。無(wú)論如何，字典仍舊是要被發(fā)送的，或至少需要被譯碼器得知。
因此在以前的說(shuō)明中，匹配尋求算法直接被應(yīng)用到基于網(wǎng)格的支持，而無(wú)需使用經(jīng)典的基于塊的圖象劃分法。所建議的三種微小單元?jiǎng)澐址椒ㄉ婕鞍鸦酒ヅ鋵で蟪绦蜻^(guò)程與三角形支持進(jìn)行適配。而且，動(dòng)態(tài)字典預(yù)選擇的引入允許具有潛在的更大量的最佳化的字典，而同時(shí)在MP階段期間保持相同數(shù)量的有效計(jì)算，以及對(duì)于每個(gè)編碼的微小單元都這樣做。所選擇的字典的索引不需要被發(fā)送到譯碼器，并因此規(guī)定固有的補(bǔ)充的微小單元參量。所描述的基于三角形網(wǎng)格的使用的方法可以在信號(hào)噪聲比(SNR)可縮放的視頻編碼器中被實(shí)施，這屬于本發(fā)明的范圍。
權(quán)利要求
1.在信號(hào)噪聲比(SNR)可縮放的視頻編碼器中，基于使所謂的匹配尋求方法(MP)適配于三角形網(wǎng)格內(nèi)的錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程的編碼方法，在所述MP方法的每次迭代時(shí)，所述錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程被限制于按照預(yù)定的準(zhǔn)則選擇的特定的三角形，以及根據(jù)這個(gè)準(zhǔn)則，在考慮到錯(cuò)誤信號(hào)的快速能量減小的情況下，在這個(gè)三角形內(nèi)用于微小單元的最佳策略包含把所選定的三角形的幾何重心任意選擇作為微小單元的中心，有關(guān)微小單元位置的任何附加信息都不被發(fā)送到譯碼器。
2.在信號(hào)噪聲比(SNR)可縮放的視頻編碼器中，基于使所謂的匹配尋求方法(MP)適配于三角形網(wǎng)格內(nèi)的錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程的編碼方法，在所述MP方法的每次迭代時(shí)，所述錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程被限制于按照預(yù)定的準(zhǔn)則選擇的特定的三角形，以及根據(jù)這個(gè)準(zhǔn)則，在考慮到錯(cuò)誤信號(hào)的快速能量減小的情況下，在這個(gè)三角形內(nèi)用于微小單元的最佳策略把錯(cuò)誤能量信息重復(fù)地使用于微小單元中心定位，在具有最高能量的所選擇的三角形內(nèi)的位移幀的差值(DFD)能量重心然后被任意地選擇作為微小單元的中心，并且在三角形內(nèi)的這個(gè)位置是被發(fā)送到譯碼器的附加信息。
3.按照權(quán)利要求2的編碼方法，其中用于微小單元定位的最佳策略是慣性微小單元定位方法，它把一個(gè)取向步驟附加到能量定位方法，該取向步驟被提供用來(lái)沿著DFD能量的主方向、也就是沿能量是最重要的方向定向一個(gè)微小單元軸，第二軸垂直于這個(gè)第一方向，以及所述慣性定位方法的實(shí)施涉及到把用于規(guī)定微小單元軸的角度作為附加信息來(lái)進(jìn)行編碼和發(fā)送。
4.按照權(quán)利要求1到3的任一項(xiàng)的編碼方法，所述方法通過(guò)使用分層結(jié)構(gòu)網(wǎng)格而被改進(jìn)，該分層結(jié)構(gòu)以任意的粗的網(wǎng)格被初始化，該網(wǎng)絡(luò)按照所述預(yù)定的準(zhǔn)則被順序地細(xì)化。
5.按照權(quán)利要求4的編碼方法，其中所述分層結(jié)構(gòu)包含在每個(gè)分辨率下把網(wǎng)格柵格與圖象組合起來(lái)，以達(dá)到最粗的網(wǎng)格與最低分辨率的圖象相聯(lián)系的效果，從而使得圖象和網(wǎng)格的聯(lián)系包含能提供隨著層而增加的信息精度的單元。
6.按照權(quán)利要求5的編碼方法，其中所述預(yù)定的準(zhǔn)則是能量準(zhǔn)則。
7.用于實(shí)施按照權(quán)利要求1到6中的任一項(xiàng)的基于三角形網(wǎng)格的編碼方法的一種信號(hào)噪聲比(SNR)可縮放的視頻編碼器。
全文摘要
本發(fā)明涉及視頻編碼器領(lǐng)域,更具體地,涉及基于使匹配尋求方法適配于三角形網(wǎng)格內(nèi)的錯(cuò)誤紋理結(jié)構(gòu)編碼處理過(guò)程的編碼方法。所述處理過(guò)程在該方法的每次迭代時(shí)被限制于按照預(yù)定的準(zhǔn)則選擇的特定的三角形。用于在這個(gè)三角形內(nèi)的微小單元定位的最佳策略,包含任意選擇所選定的三角形的幾何重心作為微小單元的中心,或包含重復(fù)使用錯(cuò)誤能量信息來(lái)進(jìn)行微小單元中心定位,在具有最高能量的選定的三角形內(nèi)位移幀差值(DFD)能量重心,在第二種情形下被任意地選擇作為微小單元的中心。
文檔編號(hào)H03M7/42GK1349717SQ00806828
公開日2002年5月15日 申請(qǐng)日期2000年12月20日 優(yōu)先權(quán)日1999年12月28日
發(fā)明者V·博特雷奧, M·貝內(nèi)蒂爾雷, B·佩斯奎特－珀佩斯庫(kù) 申請(qǐng)人:皇家菲利浦電子有限公司