用于確定用于空間可縮放視頻編解碼器的預測塊的方法
【專利說明】用于確定用于空間可縮放視頻編解碼器的預測塊的方法
【背景技術】
[0001] 本發(fā)明涉及一種用于從第二低分辨率層圖像的塊確定第一高分辨率層圖象的預 測塊的方法，并且涉及一種用于在不同的分辨率塊之間進行代碼轉換的空間可縮放視頻編 解碼器。
[0002] 由于現(xiàn)代視頻廣播和電話會議系統(tǒng)迅速擴展，可以使用各種視頻啟用設備，從低 成本的移動電話到高端HDTV遠程呈現(xiàn)終端，因此出現(xiàn)了解決分辨率可縮放視頻流的需要。 雖然高性能HDTV視頻終端能夠實時解碼和播放高清晰度視頻流，但移動設備經(jīng)常在使得 此類設備的標準清晰度（SD)分辨率最佳的顯示分辨率和計算資源兩方面受到限制。針對 這個問題的廣泛使用的解決方案之一是視頻轉碼。專用轉碼服務器解碼傳入的高分辨率視 頻流，將其重新縮放至較低分辨率，然后編碼重新縮放后視頻序列以產(chǎn)生用于發(fā)送至低性 能客戶的視頻流。這種解決方案嚴重地受到轉碼過程的高計算復雜性的不利影響，尤其是 在多視頻流處理的情況下，這種情況需要將昂貴的高性能轉碼服務器集成至廣播或電話會 議系統(tǒng)中，從而顯著增加了系統(tǒng)構建成本和維護成本。轉碼解決方案的其它缺點是由有損 視頻編碼算法引入的圖像質量劣化的累積。較低分辨率視頻流是從已經(jīng)由于有損視頻編碼 偽像而發(fā)生失真的解碼后高分辨率數(shù)據(jù)流（而不是在轉碼服務器上不可用的原始無失真 視頻序列），所以第二編碼階段增加了甚至更多的編碼失真。
[0003] -種更精妙的解決方案來自于可縮放視頻編解碼器，如H. 263+和H. 264/SVC。編 碼為若干不同的分辨率的操作由在視頻流源設備上操作的視頻編碼器執(zhí)行，使得發(fā)送至 視頻廣播或電話會議服務器的視頻流確實已經(jīng)包含了嵌入為可縮放層的所有所需要的分 辨率，并且服務器只需要向每個視頻客戶端發(fā)送最適合客戶端的性能和能力的適當層數(shù)據(jù) (或者廣播所有層的數(shù)據(jù)，使得每個客戶端將自己提取最合適的層）。因為可縮放層的調度 是比多信道視頻流的轉碼計算密集性小得多的任務，因此廣播/電話會議服務器的成本大 幅降低。此外，這種解決方案提供了一種良好的網(wǎng)絡包丟失保護手段。如果包含較高分辨率 層數(shù)據(jù)的包在網(wǎng)絡傳輸過程中丟失，那么接收器仍然可以解碼和顯示較低分辨率圖像，從 而避免圖像凍結或破壞，這是在易錯網(wǎng)絡中使用的許多視頻編解碼器的共同問題。另外，由 于不同層的不相等的重要性，例如基本層比增強層更為重要，可以使用高效的不等FEC技 術來改善包丟失保護，同時保持FEC額外數(shù)據(jù)開銷較低。
[0004]同時，這種解決方案仍然存在兩個嚴重的缺點。它通過多分辨率編碼計算在視頻 源設備之間的分配從服務器移除了難以應對的轉碼負擔，這提高了這些設備上的計算和存 儲資源利用率。由于根據(jù)受約束的比特率預算對若干個視頻序列進行編碼（以不同分辨率 表示同一移動圖像）而該比特率預算否則可能僅由最高分辨率視頻序列更高效地利用，因 此觀察到編碼效率的顯著惡化。
[0005] 為了減輕上述問題，現(xiàn)代可縮放視頻編解碼器標準引入了層間預測編碼模式。較 高分辨率層幀的每個宏塊可以使用放大后較低分辨率層幀的并置宏塊進行預測，而不是使 用同一幀的相鄰宏塊（如在幀內(nèi)預測中那樣）或同一層的參考幀（如在幀間預測中那樣）。 層間預測有助于減輕這兩個問題。它不要求針對較高分辨率層的計算密集型運動估計程 序，因為它使用在放大后較低分辨率幀中與正在編碼的宏塊位置相同的預測宏塊。從同一 圖像的較低分辨率版本預測較高分辨率圖像有助于降低由于編碼同一圖像的若干版本而 引入的信息性冗余，并因此提高了編碼效率。
[0006] 但層間預測仍然無法完全解決編碼效率惡化的問題。即使是在使用層間編碼時， 多層空間可縮放性編解碼器的編碼效率也比單層編解碼器的編碼效率差高達20%。因此， 提高多層空間可縮放性編解碼器的編碼效率對于使得基于可縮放編解碼器的廣播/電話 會議系統(tǒng)具有成本效益而言是一個重要問題。
[0007] 現(xiàn)代的用于空間可縮放性視頻編解碼器的層間預測算法應滿足以下要求：算法應 使預測殘差信號最小化以便提供更好的編碼效率改進。算法應使最佳預測參數(shù)搜索（如果 有的話）的計算復雜性和存儲器要求最小化。如果涉及計算密集型最佳預測參數(shù)搜索，那 么算法應為靈活的質量性能權衡提供手段。算法應使解碼復雜性增加很少。算法應允許簡 單且無縫地集成至現(xiàn)有的可縮放視頻編解碼器架構和基礎設施中。
[0008] 如ITU-T建議第102至114頁的H. 263 : "用于低比特率通信的視頻編碼"描述以 及如圖10描繪的較舊的空間可縮放性啟用編解碼器H.263+(Annex0)僅通過對較低分辨 率層信號的重構樣本進行上采樣來執(zhí)行層間預測。低分辨率圖像1204是通過縮小1201高 分辨率圖像1202而獲得的。低分辨率圖像1204被編碼且重構1203以獲得低分辨率的SVC 基本層圖像1206,低分辨率的SVC基本層圖像1206被放大1205成高分辨率的放大后SVC 基本層圖像1208。向該放大后SVC基本層圖像1208應用層間空間預測1207以重構高分辨 率的原始SVC空間層圖像1202。
[0009] 現(xiàn)有技術的可縮放視頻編解碼器標準H. 264/SVC另外規(guī)定了層間運動預測模式， 其中較高分辨率層的運動參數(shù)（參考索引、分區(qū)數(shù)據(jù)、運動矢量）使用較低分辨率層的放 大后運動參數(shù)進行預測或導出，以及層間殘差預測模式，其中較高分辨率層的殘差信號使 用較低分辨率層的放大后殘差信號進行預測，如由T.Wiegand、G.Sullivan、J.Reichel、 H.Schwarz、M.Wien在"聯(lián)合草案ITU-T建議H. 264 |IS0/IEC14496-10/Amd. 3 可縮放視頻 編碼"第380至562頁所描述的。
[0010] 然而，這些層間預測模式存在以下問題：從用于包含不同邊緣的區(qū)域的放大后較 低分辨率信號預測較高分辨率信號由于以下事實而效率較低，即這些邊緣在已在使用縮小 后原始較高分辨率圖像作為輸入數(shù)據(jù)的較低分辨率層編碼器中被縮小并且隨后在使用放 大后重構后較低分辨率層數(shù)據(jù)作為預測值的較高分辨率層編碼器中被放大回來之后變得 模糊。因此，層間預測為此類區(qū)域生成高能量的殘差信號，這或者通過降低質量以便適合受 約束的比特率或者如果保持質量的話通過提高比特率而使編碼效率惡化。
[0011] 已作出以下描述的一些努力來改進可縮放編碼。如在C.A.Segall和S. _M.Lei 的第7876833號美國專利"用于針對空間可縮放編碼的自適應放大的方法和裝置（Method andapparatusforadaptiveup-scalingforspatiallyscalablecoding) ''中所描述 的，選擇性使用針對局部圖像性質自適應的不同上采樣過濾器提高了層間預測效率。該方 法增強了H. 264/SVC標準所規(guī)定的具有幾個計算上較簡單的過濾器的當前六抽頭放大過 濾器，這種放大過濾器具有可以改進針對平滑圖像區(qū)域的預測但沒有改進邊緣脆性，并且 因此沒有提供針對包含不同邊緣的區(qū)域的任何編碼效率提高。
[0012] 如在第18屆結合圖像處理的IEEE國際會議中"D.Grois和0.Hadar的"用于針對 動態(tài)過渡區(qū)域的ROI可縮放視頻編碼的復雜性感知自適應空間預處理（Complexity-aware adaptivespatialpre-processingforROIscalablevideocodingwithdynamic transitionregion) "中所描述的，圖像的不太重要的背景區(qū)域的自適應平滑化降低了此 類區(qū)域所消耗的比特預算，從而為更為重要的感興趣區(qū)域節(jié)約了比特。該方法移除了被視 為不必要或不重要的圖像細節(jié)，這并不總是可取的，尤其是對于應該保留圖像脆性的情況。 此外，該方法要求預處理階段識別圖像中的R0I(感興趣區(qū)域），這通常涉及復雜的計算機 視覺技術，因而顯著增加了整個系統(tǒng)的計算復雜性。
[0013] 如在2005年7月24至29日波蘭波茲南的聯(lián)合視頻工作組第16次會議的文檔 JVT-P085中W.-J.Han的"用于單環(huán)路解碼的平滑化后參考預測（Smoothedreference predictionforsingle-loopdecoding)"中所描述的，層間殘差預測模式中的預測信號的 平滑化補償了單環(huán)路解碼方法所施加的約束，并且實現(xiàn)了針對該特定方法的更好的層間預 測。該方法只對單環(huán)路解碼方法這種特定情況有意義，在更一般的情況下并沒有實際用途。
[0014] 如在2003年關于多媒體和博覽會的國際會議論文集中Y.Yang和L.Boroczky的 "用于MPEG-2編碼視頻的聯(lián)合分辨率增強和偽像減少（Jointresolutionenhancement andartifactreductionforMPEG_2encodeddigitalvideo)"中所描述的，用于MPEG-2 編碼視頻的聯(lián)合分辨率增強和偽像減少被應用于在高清晰度監(jiān)視器上顯示較低分辨率圖 像。在該方法中，銳度增強被應用于解碼器處的解碼后圖像，其中正在預測的原始圖像不可 用。因此，這種方法缺少選擇最佳銳度增強參數(shù)以便實現(xiàn)最佳預測效率的能力，并且沒有提 供針對編碼器側的編碼效率改進。
[0015] 如在1999年關于甚低比特率視頻編碼的國際研討會論文集中E.Asbun,P.S