專利名稱：用于視頻序列壓縮的編碼方法
發(fā)明的領域本發(fā)明首先涉及一種用于壓縮包括以幀組構成的連續(xù)幀的視頻序列的編碼方法，每一幀以三維(3D)小波變換的方式分解，從而引起給定數(shù)量的連續(xù)分辨率級，所述的編碼方法依賴于被稱為“分層樹中的局部設定”(SPIHT)的分層子帶編碼處理并且將每一幀組圖像元素(像素)的原始設定轉換成利用二進制格式編碼的小波變換系數(shù)并且形成了一錐狀的層級結構，所述的系數(shù)(i，j)構成了一個空間暫態(tài)方向樹，其根部為由3D小波變換產生的低頻頻率(或者近似子帶)，并且由高頻子帶中的產物完成，所述樹的系數(shù)排列成有關像素的局部設定并且與各自的有效級相應，所述的設定由量級測試的形式定義，這導致了有效信息在三個序列列表中的分類，這三個列表被分別稱為無效設定列表(LIS)，無效象素列表(LIP)以及有效象素列表(LSP)，執(zhí)行所述的測試從而將所述的原始像素設定依據(jù)分解過程分解成所述的局部設定，直至每一有效系數(shù)被編碼成所述的二進制表示，并且所述的空間暫態(tài)方向樹在所述的錐狀層級結構中定義了空間暫態(tài)關系。
本發(fā)明也涉及一種包括以幀組構成的連續(xù)幀的視頻序列的壓縮編碼方法，每一幀以三維(3D)小波變換的方式分解，從而引起給定數(shù)量的連續(xù)分辨率級，所述的編碼方法依賴于分層子帶編碼處理并且將每一幀組的圖像元素(像素)的原始設定轉換成小波變換系數(shù)以形成一錐狀的層級結構，一個空間暫態(tài)方向樹-其根部由3D小波變換獲得的近似子帶像素值構成，這些像素中的每一個像素的支系由相應于圖像容量的高級子帶的像素構成，圖像容量是由這些根象素定義-在所述錐形層級樹中定義了空間暫態(tài)關系，所述的子帶被按照在所述的空間暫態(tài)樹中形成的衍生關系的順序逐個掃描，“開/關”的標記被加入到所述空間暫態(tài)樹的每一個系數(shù)(i，j)中，考慮到系數(shù)的最高有效位的逐級傳輸并且按照這種方式，即它們中至少其中的一個描述一套像素的狀態(tài)，并且至少另一個描述一個單個的象素的狀態(tài)。
發(fā)明的背景近來隨著多媒體應用的發(fā)展，使得可伸縮性變成視頻壓縮方案中的最重要的功能?？缮炜s性允許在嵌入的比特流中根據(jù)不同的需求和編碼能力向接收機傳輸多級質量或者空間分辨率/幀速率。目前的標準象MPEG-4已經通過附加高成本層在幀結構的預測DCT中實現(xiàn)了可伸縮性。近來，隨著空間暫態(tài)樹的分層編碼方法，許多基于三維小波分解的更有效的解決方法，像分層樹中的局部設定法則(SPIHT)已經被建議作為靜止圖像編碼方法的延伸(原始的SPIHT法則在“一種在層級樹中基于局部設定的新的快速的有效的圖像編碼解碼器”，A，Said，以及W.A.Pearlman，IEEE視頻技術的電路以及系統(tǒng)學報，第6卷，n°3，1996，6，第243-250頁中有所描述，以及將這種法則延伸到3D的情況，在“在層級樹中使用三維局部設定(SPIHT)的嵌入小波視頻編碼器”，B.J.Kim，以及W.A.Pearlman，數(shù)字壓縮會議記錄，3月25-27，1997，Snowbird，Utah，USA，251-260頁)。3D小波分解提供了一個自然的空間分辨率以及幀速率的可伸縮性，而在層級樹中獲得的系數(shù)的深入掃描以及位面編碼導致了具有高壓縮率的指定質量的可伸縮性。
SPIHT法則基于一個關鍵的概念根據(jù)減少的數(shù)量級將系數(shù)進行局部分類，以及利用自然圖象中固有的自相似性通過小波分解的等級來預測有效信息的存在。這意味著在如果在小波分解的低級別中系數(shù)是無效的，那么在其他的級別中相應于同樣區(qū)域的系數(shù)非?？赡芤彩菬o效的?；旧?，SPIHT是一種反復的計算法則，它利用被稱為“有效級”的值，從在空間暫態(tài)分解樹中的最大有效級別向下直到0，以不同的分辨率反復比較相應于同一圖像位置的一組像素。對于一個指定的級別，或位面，要執(zhí)行兩個步驟分類步驟，在該步中尋找零樹或者子樹，并將無效與有效系數(shù)分類，以及精制步驟，它將有效系數(shù)的精確比特送出。SPIHT法則從分解的最高級別檢查小波系數(shù)直至最低的級別。這相應于首先考慮位于最低級別子帶的最重要的細節(jié)的系數(shù)，隨著分辨率的增加，檢查最小系數(shù)，該最小系數(shù)相應于精致的細節(jié)。這表明該法則的“分層”設計是正確的比特通過降低他們所代表的細節(jié)的重要性被發(fā)送，這樣就形成了一個逐級的比特流。
一種樹的結構，被稱為空間方向樹(在3D情況下或稱為空間暫態(tài))，定義了在小波系數(shù)的分層錐狀樹中的空間(或者空間暫態(tài))關系。樹的根部由低分辨率級的近似子帶像素構成(“根”子帶)，而相應于圖像區(qū)域(在3D情況下為圖像容量)的高層子帶像素是由根像素定義的，并形成了該像素的衍生。在SPIHT法則的3D版本中，除了葉以外的每一子帶的像素都具有8個子像素，而每一像素只有一個上級節(jié)點。在該法則中有一個例外在根部，在8個之外有一個像素沒有子像素。接下來的符號表明了之間的衍生關系，在

圖1中給出了它們之間的關系(三維情況下)，這里符號如下所示TF＝暫態(tài)幀，TAS＝暫態(tài)鄰近子帶，CFTS＝空間暫態(tài)鄰近子帶中的系數(shù)(或者根系數(shù))，TDS.LRL＝分解中的最后分辨率級別上的暫態(tài)細節(jié)子帶，以及TDS.HR＝高分辨率級別上的暫態(tài)細節(jié)子帶O(x，y，z)節(jié)點(x，y，z)的直接子節(jié)點的坐標組；D(x，y，z)節(jié)點(x，y，z)的所有衍生節(jié)點的坐標組；H(x，y，z)所有空間暫態(tài)方向樹的根節(jié)點的坐標(在錐狀結構的高層級的節(jié)點空間暫態(tài)鄰近子帶)；L(x，y，z)＝D(x，y，z)-O(x，y，z)。
SPIHT計算法則利用了三個列表LIS(無效節(jié)點列表)，LIP(無效象素列表)，LSP(有效象素列表)。在這三個列表中，每一個輸入都由坐標(x，y，z)來識別。在LIP與LIS中(x，y，z)代表一個單獨的系數(shù)，而在LIS中它代表一個系數(shù)組為D(x，y，z)或者L(x，y，z)，其為空間暫態(tài)樹的子級數(shù)。為了區(qū)分二者，如果它代表的是D(x，y，z)，則LIS的輸入為類型A，如果它代表的是L(x，y，z)，貝LIS的輸入為類型B。在第一步驟(分類步驟中)，LIP中的所有的像素都被檢測，那些有效像素被移到LSP列表當中。同樣的，在LIS中的有效象素也從列表LIS中被移出，分解成子集，放在LIS的末端，然后被依次檢測。LSP包括將被“精制”的有效象素列表如果級別n中的象素為有效的，則系數(shù)的第n比特將被發(fā)送。
SPIHT方法被設計成提供與高的壓縮比率相聯(lián)系的可伸縮性的圖像質量。但是，時間或者空間分辨率的可伸縮性在這種編碼方法不發(fā)生變化的情況下無法獲得。為了提高視頻編碼系統(tǒng)整個的壓縮率，通常建議在零樹編碼模塊中加入一個數(shù)學編碼器。
為了使數(shù)學編碼器有效，獲得所有的對當前的像素有影響的信息是非常重要的，尤其是要獲得與鄰近像素有關的信息。這一信息在前后環(huán)境中表示。當掃描零樹時執(zhí)行的深入的搜索并沒有利用子帶中的冗余，并且增加了數(shù)學編碼中相關上下文判斷的難度。由一套邏輯條件管理的LIS，LIP，LSP列表的操作使得象素掃描的順序難以預測。屬于同一3D子級樹但是來自于不同的空間暫態(tài)子帶的像素被編碼并被逐個放在列表當中，其具有將不同子帶的像素合起來的作用。但是，卻忽略了同一子帶的像素之間的地理上的互相依存的關系。而且，由于空間暫態(tài)子帶來自于空間或者暫態(tài)濾波，幀沿特許軸的方向被濾波，從而給出了細節(jié)的定向。這一定向相關在應用SPIHT法則時也被忽略了，因為掃描并不是按照地理順序進行的。
在在先的于2000.5.3提交的歐洲專利申請，申請?zhí)枮?0401216.7(PHFR000044)中已經建議了一種用于編碼空間暫態(tài)小波系數(shù)的新的方法，該方法源自于3D-SPIHT，但是它允許在編碼方案中獲得空間或者暫態(tài)分辨率可伸縮，還允許在上下文中有一個更好的選擇。根據(jù)所述的先前的專利申請，建議的方法按照在空間暫態(tài)樹中形成的衍生關系的順序逐個掃描子帶，并且標記開/關被加到空間暫態(tài)樹的每一系數(shù)當中，為了構成一個實際的大小順序的列表LIS，LIP，LSP要考慮系數(shù)的最高有效位的逐級傳輸。三個標記中至少一個表示象素組的狀態(tài)，至少另一個表示單個像素的狀態(tài)。
通過使用這種技術，保持了3D小波變換的最初的子帶結構，加入到每一個系數(shù)的標記表示該系數(shù)屬于LIS，LIP，LSP中的哪一個列表。但是，當使用所述的改進的SPIHT法則時，大部分的計算時間是花在一組像素的有效級的判斷上所有的空間暫態(tài)樹或者其子級樹實際上都被檢測了與相關的給定有效級別相比其為無效的次數(shù)，并且在每一級別中同樣的操作重復了多次。
發(fā)明的概要本發(fā)明的目的是提供一種具有減少了的計算時間，并且成本較低的編碼方法為此，本發(fā)明與在描述的介紹部分定義的方法有關，其特征在于，根據(jù)附錄A中描述的計算法則(a)以最高子帶的像素開始，以屬于最低級子帶的像素結束，在操作的初始化步驟中執(zhí)行了所有的子帶檢測，并且在根像素中的所述樹的每一子樹的設定有效級SSL被計算并且存儲，根據(jù)下述的程序如果系數(shù)(i，j)沒有子節(jié)點，SSL(i，j)＝1；否則，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子節(jié)點相應于系數(shù)(i，j)，PSL是由下式給出的像素有效級PSL(i，j)＝floor(log2x(i，j))，(b)在分類步驟中，在SSL(i，j)以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求如果SSL(i，j)＜n，根為(i，j)的子樹相對于n無效的，否則，子樹為有效的。
在本發(fā)明的具有細微差別的另一實施例中，本發(fā)明與在介紹部分定義的方法有關，其特征在于，根據(jù)附錄B中表示的計算法則(a)以最高子帶的像素開始，以屬于最低級子帶的像素結束，在操作的初始化步驟中執(zhí)行了所有的子帶檢測，并且在根像素中的所述樹的每一子樹的設定有效級SSL被計算，并且標記用于存儲相應于設定有效級SSL的每一系數(shù)的值，根據(jù)下述的程序如果系數(shù)(i，j)沒有子節(jié)點，SSL(i，j)＝1；否貝，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子節(jié)點相應于系數(shù)(i，j)，PSL是由下式給出的像素有效級PSL(i，j)＝floor(log2|x(i，j)|)，(b)在分類步驟中，在SSL(i，j)以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求如果SS(i，j)＜n，根為(i，j)的子樹相對于n無效的，否則，子樹為有效的。
無論如何執(zhí)行，這種改進的方法都可以應用到基于零樹判斷的任何類型的編碼法則，這大大降低了計算法則的主循環(huán)的計算時間。這需要提高存儲器的大小，但是相對而言還是較小的。
附圖的簡要說明下面將參照附圖描述本發(fā)明附圖1表明了在3D情況下空間暫態(tài)樹的衍生關系的實施例；附圖2表明了2D情況下設定有效級別的計算實施例。
本發(fā)明的詳細描述根據(jù)SPIHT計算法則，也依照在上文中提及的歐洲專利申請中描述的編碼方法，在這里，LIS，LIP，LSP列表的掃描被子帶掃描和標記說明所取代，在初始化的整個子帶檢測過程中要判斷最高有效級別。這里建議利用整個過程計算并存儲根像素中的每一子樹的有效級別。
根據(jù)在先引用的文件中定義的衍生關系，在引用的歐洲專利申請中提供的標記用于存儲相應的設定有效級別，在下面被稱為SSL，的值。以最高子帶的像素開始，以屬于最低級子帶的像素結束(該順序代表衍生關系)，操作如下的進行如果系數(shù)(i，j)沒有子節(jié)點，SSL(i，j)＝1；否貝，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子節(jié)點相應于系數(shù)(i，j)，PSL是由下式給出的像素有效級PSL(i，j)＝floor(log2|x(i，j)|)，floor(.)表明低于括號內表明的值的最近的整數(shù)值)。存儲在每一系數(shù)中的SSL的計算的例子示出在圖2的2D的情況下。
在原始SPIHT計算法則的核心循環(huán)中或者在歐洲專利申請描述的編碼方法中，在SSL(i，j)以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求如果SSL(i，j)＜n，n級的根為(i，j)的子樹為無效的，否則，子樹為有效的。
作為示例，附錄A以及附錄B分別表明了原始SPIHT以及基于標記的計算法則的改進。但是，SSL的這種判斷和存儲并不限于這兩種方法，可以應用到使用子樹有效編碼小波系數(shù)的廣泛的方法當中。
由于根據(jù)一種簡單的比較對一系列有效級進行判斷，這種方法大大地降低了原始SPIHT計算法則和基于標記的方法的主循環(huán)的計算時間。由于SSL的判斷是用于計算最大有效級別，所以花費在初始化過程中的計算時間不會增加。注意到這需要提高用于SSL保存的存儲器的大小，但是相對而言存儲器還是較小的。
附錄A包括SSL比較的3D SPIHT計算法則1.初始化在整個空間暫態(tài)樹中計算SSL。
輸出n＝max{PSL(x，y，z)，SSL(x，y，z)，(x，y，z)∈H}。
設定LSP作為輸入列表，將坐標(x，y，z)∈H加入到LIP，只有具有子節(jié)點的點也加入到LIS，作為類型A輸入。
2.分類步驟2.1在LIP中對于每一個輸入(x，y，z)· 如果(PSL(x，y，z)≥n)，輸出1；將(x，y，z)移到LSP；輸出sign(x，y，z)；· 否則，輸出0；2.2在LIS中對于每一個輸入(x，y，z)2.2.1如果輸入是類型A，則· 如果(SSL(x，y，z)≥n)輸出1；
對于每一個(x’，y’，z’)∈O(x，y，z)，如果(SSL(x’，y’，z’)≥n)，輸出1；將(x’，y’，z’)移到LSP的末尾；輸出sign(x’，y’，z’)；否則，輸出0；· 否則，輸出0 將(x’，y’，z’)移到LIP末尾；如果L(x，y，z)≠Φ，則將(x，y，z)移到LIS的末尾，作為類型B的輸入，并且到步驟2.2.2，否則從LIS中除去輸入；2.2.2如果輸入為類型B，則·如果(max{SSL(x’，y’，z’)，(x’，y’，z’)∈O(x，y，z)}≥n)，輸出1；將每個(x’，y’，z’)∈O(x，y，z)加入到LIS的結尾，作為類型A的輸入；從LIS中除去(x，y，z)。
·否則輸出0；3.精制步驟對于每一個在LIP中的輸入(x，y，z)，除了包含在最后分類步驟中的那些(即，具有同樣的n)，輸出C(x，y，z)的第n最高有效位；4.量化步驟·n減1；·到步驟2。
附錄B包括SSL比較的3D標記方法1.初始化在整個空間暫態(tài)樹中計算SSL。
輸出Sig-level-max＝max{PSL(x，y，z)，SSL(x，y，z)，(x，y，z)∈H}。
將標記FP4加在所有坐標(x，y，z)∈H，并將標記FS1加入到具有子節(jié)點的點。
2.主循環(huán)從位面n＝sig-level-max向下到位面n＝0
從最低到最高子帶分辨率，以預定并固定的掃描順序(在歐洲專利申請?zhí)枮?0401216.7(PHFR000044)中定義的)a)設定有效級1)如果標記FS1為開，則如果(SSL(x，y，z)≥n)，則-輸出1；-對于每一個(x’，y’，z’)∈O(x，y，z)，放置標記FP4；-從(x，y，z)中移走標記FS1；-如果L(x，y，z)≠Φ，則放置標記FS2。
否則輸出0。
2)如果標記FS2為開，則如果(max{SSL(x’，y’，z’)，(x’，y’，z’)∈O(x，y，z)}≥n)，-輸出1；-對于每一個(x’，y’，z’)∈O(x，y，z)，放置標記FS1；-從(x，y，z)中移走標記FS2；否則輸出0；b)象素有效1)如果標記FP3為開，則輸出＝(x，y，z)的第n位比特。
2)如果標記FP4為開，則如果(PSL(x，y，z)≥n)，則-輸出1；-將FP3設置為開；-輸出sign(x，y，z)；-移走標記FP4。
否則輸出0。
權利要求
1.一種包括以幀組構成的連續(xù)幀的視頻序列的壓縮編碼方法，每一幀以三維(3D)小波變換的方式分解，從而引起給定數(shù)量的連續(xù)分辨率級，所述的編碼方法依賴于被稱為“分層樹中的局部設定”(SPIHT)的分層子帶編碼處理并且將每一幀組的圖像元素(像素)的原始設定轉換成利用二進制格式編碼的小波變換系數(shù)并且形成了一錐狀的層級結構，所述的系數(shù)(i，j)構成了一個空間暫態(tài)方向樹，其根部為3D小波變換低頻頻率(或者近似子帶)，并且由高頻子帶中的衍生完成，所述樹的系數(shù)排列成有關像素的局部設定并且與各自的有效級相應，所述的設定被定義成量級測試的形式，這導致了有效信息在三個序列列表中的分類，這三個列表被分別稱為無效設定列表(LIS)，無效象素列表(LIP)以及有效象素列表(LSP)，執(zhí)行所述的測試從而將所述的原始像素設定依據(jù)分解過程分解成所述的局部設定，直至每一有效系數(shù)被編碼成所述的二進制表示，并且所述的空間暫態(tài)方向樹在所述的錐狀層級結構中定義了空間暫態(tài)關系，所述的方法進一步其特征在于，根據(jù)附錄A所示的計算法則(a)以最高子帶的像素開始，以屬于最的低級子帶的像素結束，在操作的初始化步驟中執(zhí)行了所有的子帶檢測，并且在根像素中的所述樹的每一子樹的設定有效級SSL被計算并且存儲，根據(jù)下述的程序如果系數(shù)(i，j)沒有子節(jié)點，SSL(i，j)＝1；否貝，SSL(i，j)＝max{PSL(k，l),SSL(k，l)}；(k，l∈O(i，j)，子節(jié)點相應于系數(shù)(i，j)，PSL是由下式給出的像素有效級PSL(i，j)＝floor(log2x(i，j))，(b)在分類步驟中，在SSL(i，j)以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求如果SSL(i，j)＜n，n級的根為(i，j)的子樹為無效的，否則，子樹為有效的。
2.一種包括以幀組構成的連續(xù)幀的視頻序列的壓縮編碼方法，每一幀以三維(3D)小波變換的方式分解，從而引起給定數(shù)量的連續(xù)分辨率級，所述的編碼方法依賴于分層子帶編碼處理并且將每一幀組的圖像元素(像素)的原始設定轉換成小波變換系數(shù)以形成了一錐狀的層級結構，一個空間暫態(tài)方向樹-其根部由3D小波變換獲得的近似子帶像素值構成，這些像素中的每一個像素的支系由相應于圖像容量的高級子帶的像素構成，圖像容量由這些根象素確定-由在所述錐形層級樹中的空間暫態(tài)關系定義，所述的子帶被按照在所述的空間暫態(tài)樹中形成的衍生關系的順序逐個掃描，“開/關”的標記被加入到所述空間暫態(tài)樹的每一個系數(shù)(i，j)中，考慮到系數(shù)的最高有效位的逐級傳輸并且按照這種方式，即它們中至少其中的一個描述一套像素的狀態(tài)，并且至少另一個描述一個單個的象素的狀態(tài)，所述的方法其特征在于，根據(jù)附錄B描述的計算法則(a)以最高子帶的像素開始，以屬于最低級子帶的像素結束，在操作的初始化步驟中執(zhí)行了所有的子帶檢測，并且在根像素中的所述樹的每一子樹的設定有效級SSL被計算，并且標記用于存儲相應于設定有效級SSL的每一系數(shù)的值，根據(jù)下述的程序如果系數(shù)(i，j)沒有子節(jié)點，SSL(i，j)＝1；否則，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子節(jié)點相應于系數(shù)(i，j)，PSL是由下式給出的像素有效級PSL(i，j)＝floor(log2x(i，j))，(b)在分類步驟中，在SSL(i，j)以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求如果SSL(i，j)＜n，根為(i，j)的子樹相對于n為無效的，否則，子樹為有效的。
全文摘要
本發(fā)明涉及一種包括以幀組構成的連續(xù)幀的視頻序列的壓縮編碼方法。每一幀以三維小波變換的方式分解,從而引起給定數(shù)量的連續(xù)分辨率級。所述的編碼方法依賴于被稱為SPIHT的分層子帶編碼處理并且將每一幀組的圖像元素(像素)的原始設定轉換成利用二進制格式編碼的小波變換系數(shù)并且形成了一錐狀的層級結構,其中空間暫態(tài)方向樹定義了空間暫態(tài)關系,其根部為3D小波變換的近似子帶像素,這些像素中的每一個像素的支系由相應于由根像素定義的圖像容量的高級子帶的像素構成。根據(jù)本發(fā)明,子帶的整個檢測過程在程序的初始化步驟中完成,根像素中的每一子樹的設定的有效級別被計算并存儲。在程序的分類步驟中,所述設定的有效級以及當前有效級別n之間的比較取代了計算與n相關的樹的有效級的函數(shù)的請求。
文檔編號G06T9/00GK1381142SQ01801298
公開日2002年11月20日 申請日期2001年5月8日 優(yōu)先權日2000年5月18日
發(fā)明者B·菲爾茨 申請人:皇家菲利浦電子有限公司