專利名稱：細粒視頻編碼的空間可縮放性的制作方法
技術領域：
本發(fā)明一般涉及視頻編碼，尤其涉及細?？煽s放性編碼的視頻信號的空間的或清晰度的可縮放性。
背景技術：
細粒的可縮放性(FGS)視頻編碼的靈活性使得其支持寬的范圍的傳輸帶寬，如轉讓給本受讓人的序列號為，名稱為“Systemand Method for Improved Fine Granular Scalable Video Using BaseLayer Coding Information”，申請日為的美國專利申請所述。一種改進的FGS視頻編碼方法在轉讓給本受讓人的序列號為，名稱為“Hybrid Temporal-SNR Fine granularScalability Video Coding”，申請日為的美國專利中披露了。在所披露的混合時間SNR FGS視頻編碼方法中，一種編碼器通過操作能夠編碼和傳輸具有改善的圖像質量的，本文稱為SNR FGS編碼形式，或者具有改善的時間形式的，或者呈組合的混合時間SNR FGS形式的視頻圖像。
不過，在當前的FGS結構中，不能改變圖像清晰度(即空間可縮放性)，從而適應不同的清晰度，例如QCIF或CIF。由于當前的FGS編碼系統由于在編碼時的預定的空間清晰度而限制傳輸帶寬范圍，對于FGS編碼附加空間可縮放性將是有利的。因為可變帶寬的網絡，例如互聯網，具有多個帶寬或位速率，這些帶寬和位速率是在一個寬的范圍內改變的，并且一般在編碼時是未知的，因而當前的系統不適用于改變的帶寬，因而，用于可變帶寬的網絡的視頻傳輸是不合適的。
因而，需要將空間可縮放性利用于當前的FGS編碼系統，使其滿足寬的范圍的傳輸位速率。
發(fā)明概述一種考慮到圖像清晰度的可縮放性的用于編碼視頻信號的方法包括以下步驟按比例縮小視頻數據圖像幀，編碼按比例縮小的視頻數據，從而產生基層幀，由按比例縮小的視頻數據和所述基層幀中的所述編碼數據產生質量增強的剩余圖像，使用細粒編碼技術編碼所述質量增強的剩余圖像，從而產生質量增強幀，按比例放大在基層幀和相應的質量增強剩余幀中包含的編碼數據，由按比例放大的基層和相應的質量增強層幀數據以及視頻數據產生第一組剩余圖像，以及使用細粒編碼技術編碼所述第一組剩余圖像，從而產生空間增強幀，在本發(fā)明的另一方面，從在編碼的空間增強層幀中包含的信息當中產生第二時間增強幀信息。


圖1表示常規(guī)的FGS編碼系統；圖2表示混合的時間-SNR FGS視頻編碼的結構；圖3表示按照本發(fā)明的原理的示例的視頻圖像編碼過程；圖4a表示按照本發(fā)明的原理的示例的空間編碼器；圖4b表示按照本發(fā)明的原理的第二示例的空間編碼器；圖5是使用圖4b所示的編碼系統研制的第一個示例的空間-SNRFGS視頻編碼的結構；圖6是使用圖4b所示的編碼系統研制的第二個示例的空間-SNRFGS視頻編碼的結構；圖7是使用圖4b所示的編碼系統研制的示例的混合空間-時間SNR FGS視頻編碼的結構；圖8表示第二個示例的混合空間-時間SNR FGS視頻編碼的結構；圖9a表示利用本發(fā)明的原理的一個示例的系統配置；圖9b表示利用本發(fā)明的原理的第二個示例的系統配置；以及圖10是包括按照本發(fā)明的原理的編碼系統的傳輸系統的示例的方塊圖。
應當理解，這些附圖只用于說明本發(fā)明的構思，而不用于限制本發(fā)明。還應當理解，在所有附圖中，使用相同的標號，可能在適當處附加一些參考字符，用于標志相應的部分。
本發(fā)明的詳細說明圖1表示以混合時間-SNR FGS編碼結構編碼視頻圖像的系統100。系統100接收來自視頻源2的視頻圖像，并在可變帶寬網絡6上傳輸編碼的視頻圖像。如可以理解的，視頻源2可以由任何形式的視頻捕捉裝置來實現，例如電視攝像機，視頻錄像/放像機，模擬的或數字的等，可變帶寬網絡可以是陸上通信線網絡，例如互聯網，點對點網絡，例如電話網絡，或者無線網絡。例如衛(wèi)星信道或移動接收裝置，例如蜂窩電話或計算機。
編碼器110主要由基層(BL)編碼器8，混合時間-SNR FGS視頻編碼器20和視頻速率控制器18構成?；鶎泳幋a器8，其在序列號為的較早的參考申請中被說明了，把接收的視頻圖像編碼成為基層數據流。編碼的基層表示一個編碼級，其代表最低可接受的視頻圖像，并保證被在網絡6上傳輸。FGS層編碼器20，其在序列號為的較早參考申請中被說明了，對在輸入的視頻圖像和輸入的視頻圖像的基層編碼的圖像之間產生的剩余圖像編碼而成為視頻增強層。視頻增強層用于改善由編碼的基層產生的圖像的質量。速率控制器18例如根據可利用的帶寬和用戶的喜好確定基層和增強層的傳輸速率，并因而控制可被傳輸的位數。用戶的喜好可以通過用戶輸入裝置3被輸入到控制器18中。
如上所述，來自視頻源2的視頻數據被輸入到BL編碼器8和混合時間-SNR FGS視頻編碼器20。BL編碼器8使用常規(guī)的幀預測編碼技術對原始的視頻圖像編碼，并以由RBL表示的預定的位速率壓縮視頻數據。計算塊4把RBL設置為最小位速率(Rmin)和最大位速率(R)之間的值。在大多數情況下，RBL被設置為Rmin，以便確保即使在最低的帶寬下，網絡6也能適用于由基層編碼器8編碼的視頻數據。
來自源2的原始視頻數據和由BL編碼器8提供的編碼的視頻數據(即基層編碼的圖像)進一步被提供給混合編碼器20中的剩余圖像(RI)計算塊10和運動補償的剩余圖像(MCRI)計算塊24。RI計算塊10和MCRI計算塊24處理原始視頻數據和編碼的視頻數據，從而分別產生剩余圖像12和運動補償(MC)剩余圖像22。剩余圖像12根據所述編碼的視頻數據中的像素和原始視頻數據中的相應的像素之間的差值被產生。MCRI計算塊24接收來自BL譯碼器8的編碼的視頻數據，并且還譯碼所述編碼的視頻數據。MC剩余圖像22根據來自該譯碼的視頻數據的運動補償處理被產生。
作為上述的混合編碼的結果，產生了增強層幀的兩個流時間增強流32，本文稱為FGST編碼的增強流，以及增強流31，本文稱為FGS編碼的增強流。FGST編碼的增強流32包括來自MCRIEL編碼器26的壓縮的FGS時間幀，而FGS編碼的增強流31包括NSR，即來自剩余圖像編碼器14的標準的FGS剩余幀。視頻編碼的流31，32可以被獨立地傳輸，或者被組合而產生一個增強層流。
圖2表示可以用圖1所示的編碼器110實現的混合時間-SNR FGS可縮放性結構的一個例子。基層210包括“I”幀和“P”幀，在所示的例子中被表示為“I”幀212和“P”幀214，216，218等?！癐”幀212代表編碼的視頻圖像數據，“P”幀214，216，218等代表預測的數據幀。在所示的例子中，對于多個“P”幀有一個“I”幀。不過，可以理解，“I”幀和“P”幀的數量可以隨編碼的圖像的內容的改變而改變。
還示出了質量(FGS)增強層240和時間(FGST)增強層230，如前所述，它們分別用于實現原始視頻圖像的質量和時間的可縮放性。在這種情況下，時間FGST層230用于對包含在基層210中的“I”幀212和“P”幀214，216，218等中的編碼的信息加上時間增強，FGS層240用于對基層210幀和時間增強層240幀中的編碼的視頻圖像加上質量改善。
在所示的例子中，編碼的“I”幀212和“P”幀214，216，218等被包含在基層210中?！癙”幀214，216，218等包含原始視頻圖像和“I”幀212之間的剩余信息。FGS增強層240和FGST增強層230幀還按照交替的順序被示出了。在這種情況下，例如在FGST層塊232中的幀數據是由基層幀212和214中的編碼的數據預測的，正如本領域技術人員熟知的那樣。在這種情況下，在基層210和FGST層230內的幀按照交替的方式被傳輸。
圖3表示按照本發(fā)明的原理的示例的處理流300。在這個示例的處理流中，視頻圖像2’代表高清晰度圖像。視頻圖像2’首先使用熟知的按比例縮小處理310被按比例縮小，成為具有低得多的清晰度的圖像。被按比例縮小的視頻圖像315然后利用FGS編碼被編碼成為基層320和增強層330。更具體地說，被按比例縮小的視頻圖像2’被編碼成為基層320，其代表最低可接受的視頻圖像。然后從原始的按比例縮小的圖像315和相應的圖像的基層320產生剩余層330。
接著使用熟知的按比例放大處理340通過首先對編碼的基層和增強層按比例放大重構原始圖像。然后使用重構的按比例放大的視頻圖像和原始視頻圖像2’產生剩余的增強層。所述剩余增強層被進行FGS編碼，并被使用，以便適用于圖像傳輸，滿足改變的網絡帶寬和清晰度的約束。
圖4a表示按照本發(fā)明的原理的空間FGS編碼系統的方塊圖。在這種編碼系統中，來自視頻源2的高清晰度視頻圖像2’被提供給清晰度按比例縮小器410和空間編碼器430。在按比例縮小器410中使用的用于對高清晰度圖像進行按比例縮小的方法是本領域內熟知的。例如，1024×768像素的高清晰度圖像可以通過選擇每個第三像素行或列被按比例縮小為352×488像素，即GIF格式。另一種技術可以平均在已知像素數的方陣塊例如3×3方陣內的像素數。
接著把按比例縮小的圖像提供給基層編碼器8，從而產生按比例縮小的基層。按比例縮小的基層和重構的按比例縮小的圖像使用加法器415組合，并被提供給增強編碼器420。增強層編碼器420確定質量，時間和空間，或者組合的質量/時間/空間增強層。編碼器420的輸出被表示為SNR流30和空間流440。
根據基層/質量增強層圖像重構的圖像由加法器425和按比例放大器430產生。然后，減法器435根據按比例放大的基層圖像/質量增強層圖像確定原始圖像2’和重構的圖像之間的差值，即剩余。按比例放大的圖像的基層/質量層的剩余被提供給格式器437，從而被格式化成為位面。被格式化成為位面的圖像被輸入給FGS編碼器439，從而在網絡6上作為SNR增強層30或空間增強層440傳輸。
圖4b說明按照本發(fā)明的原理的第二個示例的編碼器。在本實施例中，在時間/空間編碼器420中包括第二減法器460，用于確定代表空間層的時間層的另一個剩余層。本領域技術人員應當理解，圖4b中所示的編碼器的操作和圖4a所示的編碼器的操作類似。
圖5所示的是按照圖4a所示的編碼器原理的空間可縮放性結構的一個示例的實施例。在這個實施例中，原始的視頻信號2’首先被按比例縮小成較低的清晰度或者較小的圖像尺寸，并使用已知的編碼方法在基層210’中被編碼，最好使用FGS編碼方法。在這種情況下，基層幀210’，214’，216’等被編碼達到一個小于最小位速率Rmin的位速率(或帶寬)RBI。由按比例縮小的視頻圖像和基層幀的剩余信號產生SNR增強層240’，242’，244’，246’等。SNR增強幀被編碼，直到一個已知的可利用的帶寬R’。
然后，從按比例放大的低清晰度的基層210’和增強層240’以及原始的高清晰度圖像2’的一部分產生高清晰度增強層510，即空間層?？臻g層幀512，514，516等對于最大可利用帶寬Rmax的其余部分被編碼。在另一個實施例中，層510能夠從基層210’中被直接地預測。
圖5所示的空間可縮放性當其可以擴展傳輸位速率的范圍時是有利的，這是因為此時其可以傳輸多種清晰度的圖像。因而，標準的FGS編碼可以編碼具有在Rmin到R’的范圍內的位速率的視頻圖像，如前所述，并且空間可縮放性可以使位速率從Rmin0擴展到Rmax。當按比例縮小的基層具有減小的必須被傳輸的像素數和位數時，空間可縮放性可以減小最小帶寬。因而，當使用56k的調制解調器接收傳輸的圖像時，高清晰度的圖像可以被按比例縮小，并在CIF清晰度下，即352×288個像素，被傳輸，或者可以使用CCIR質量，即426×576像素，在較高速度的數據鏈路上被傳輸。例如可以通過使用數字用戶鏈路(DSL)或電纜調制解調器實現具有高清晰度的圖像的傳輸。
圖6表示包括對高清晰度圖像進行的運動補償的空間可縮放性的另一個實施例。更具體地說，按照類似于前面參照圖5所述的方式，空間層520，和時間層幀522，523，524等是通過使用包含在高清晰度增強層幀中的視頻信息項進行運動補償的。在所示的例子中，對幀526例如通過使用來自前面的幀522，524和后面的幀528(未示出)的視頻數據進行運動補償。編碼的增強層數據的運動補償在相關的專利申請中被充分地描述了，因而本文不再說明。
圖7表示本發(fā)明的另一方面，其中圖像2’被編碼，使得基層210’包括視頻圖像的低頻成分，并且SNR增強層240’和空間增強層530包括視頻圖像的較高的頻率成分。在這個實施例中，使低頻成分比高頻成分具有較高的傳輸優(yōu)先權，因為基層210總是被傳輸。因而，當位速率低于已知的門限例如RT時，圖像序列便以較低的清晰度被顯示。并且在較高的位速率下，圖像序列便以較高的清晰度顯示。
圖8表示按照圖4b所示的編碼器的原理的混合的時間空間SNRFGS編碼。在本發(fā)明的這個方面中，原始視頻信號2’被按比例縮小而成為按比例縮小的基層210’，其含有幀212，214。由在幀212，214中包含的數據產生按比例縮小的時間增強層230’。由原始的按比例縮小的圖像和基層210’幀數據產生按比例縮小的SNR增強層242’。由通過按比例放大包含在基層210’和240’以及原始視頻圖像2’的相應的幀即212’/242’，214’/244’中的視頻數據信息重構的視頻圖像產生空間層540。然后由時間增強層幀542、544產生時間增強層810。時間層幀812，813，814等以類似于產生時間層幀232’等的方式被產生，此處不必詳細討論。
圖9a表示利用本發(fā)明的原理的一個示例的傳輸系統900a。視頻數據由視頻幀源2提供給視頻編碼單元910。視頻編碼單元910包括編碼器400a或400b，它們分別和圖4a或4b所示的類似。然后把視頻編碼數據存儲在編碼器緩沖器914中。然后把編碼的數據提供給服務器916，所述服務器通過數據網絡6以單獨或組合的方式傳輸編碼的基層和編碼的增強層數據的部分。在接收系統917，收到的數據幀被存儲在譯碼器緩沖器918中，并被提供給視頻譯碼器920。視頻譯碼器920對收到的信息進行提取并譯碼。接著，譯碼的信息項便出現在視頻顯示裝置922上，或者被存儲在未示出的視頻記錄裝置中，例如模擬錄像機，數字錄像機，可寫的光學介質等。圖9b表示利用本發(fā)明的原理的第二個示例的傳輸系統。在這個示例的傳輸系統中，存儲在編碼器緩沖器914中的編碼的數據被提供給高帶寬的網絡930。然后把高帶寬傳輸的數據保存在一個代理系統932中，以便通過低帶寬的網絡936傳輸給譯碼器917。在服務器916或代理系統932，根據可利用的帶寬確定傳輸位速率。
圖10表示可以用于實施本發(fā)明的原理的系統1000的一個示例的實施例。系統1000可以表示電視機，機頂盒，桌上、膝上或掌上計算機，個人數字助理(PDA)，視頻/圖像存儲裝置，例如盒式錄像機(VCR)，數字錄像機(DVR)，TiVO裝置等，以及這些裝置中的一部分或者和其它裝置的組合。系統1000包括一個或幾個視頻/圖像源2，一個或幾個輸入/輸出裝置1002，處理器1003和存儲器1004。視頻/圖像源2例如可以是電視接收機，VCR或其它視頻/圖像存儲裝置。視頻源2也可以是用于例如通過全球計算機通信網絡例如互聯網、寬域網、都市區(qū)域網、局部區(qū)域網、陸地廣播系統、電纜網絡、衛(wèi)星網絡、無線電網絡或電話網絡以及這些網絡中的部分或者和其它型式網絡的組合接收來自服務器的視頻信號的一個或幾個網絡連接。
輸入/輸出裝置1002、處理器1003和存儲器1004可以通過通信介質6進行通信。通信介質6例如可以是總線，通信網絡，電路的一個或幾個內部連接，電路卡或其它裝置，以及這些裝置的部分和與其它通信介質的組合。由視頻源2輸入的視頻數據按照被存儲在存儲器1004中的并被處理器1003執(zhí)行的一個或幾個軟件程序被處理，以便產生被提供給顯示裝置1006的輸出視頻/圖像。
在優(yōu)選實施例中，使用本發(fā)明的原理的編碼和譯碼可以由所述系統執(zhí)行的計算機可讀的代碼來實現。所述代碼可以被存儲在存儲器1004中，或者從存儲介質例如CD-ROM或軟盤被讀出/下載。在其它的實施例中，可以使用硬件電路代替軟件指令，或者和軟件指令結合，來實現本發(fā)明。例如，本說明中所述的元件也可以由分立的硬件元件來實現。
雖然上面以優(yōu)選的形式對本發(fā)明進行了某種程度的具體的說明，應當理解，所披露的本發(fā)明的優(yōu)選形式只是以舉例的方式給出的，不脫離如權利要求限定的本發(fā)明的構思和范圍，可以對上述的結構和部件的組合及布置的各個細節(jié)作出許多改變。按照所附權利要求的合適的表達，本專利應當覆蓋在所披露的發(fā)明中的可獲專利的新的特征。此外，應當理解，除了SNR，時間和空間增強層，所述的增強層還包括各個質量(SNR)層，時間層和空間層。
權利要求
1.一種用于編碼被包含在圖像幀中的視頻數據的方法，包括以下步驟按比例縮小所述視頻數據圖像幀；編碼所述按比例縮小的視頻數據，從而產生基層幀；由所述按比例縮小的視頻數據和所述基層幀產生質量增強的剩余圖像；使用細粒編碼技術編碼所述質量增強的剩余圖像，從而產生質量增強層幀；按比例放大所述基層幀和所述質量增強剩余幀；由包含在所述基層和相應的質量增強層幀中的所述按比例放大的編碼的數據以及所述視頻數據產生第一組剩余圖像；以及使用細粒編碼技術編碼所述第一組剩余圖像，從而產生空間增強層幀。
2.如權利要求1所述的方法，還包括以下步驟由所述第一組剩余圖像產生第二組剩余圖像；以及使用細粒編碼技術編碼所述第二組剩余圖像，從而產生時間增強層幀。
3.如權利要求1所述的方法，還包括以下步驟通過可變帶寬網絡傳輸所述基層幀和所述空間增強幀的部分。
4.如權利要求3所述的方法，還包括以下步驟確定所述網絡的一個可利用帶寬；根據所述可利用帶寬選擇要被傳輸的所述空間增強層幀的部分。
5.如權利要求3所述的方法，還包括以下步驟通過可變帶寬網絡傳輸所述時間增強層幀的部分。
6.如權利要求5所述的方法，還包括以下步驟確定所述網絡的一個可利用的帶寬；根據所述可利用的帶寬選擇要被傳輸的時間增強層幀的部分。
7.如權利要求1所述的方法，還包括以下步驟組合所述質量增強幀和所述空間增強層幀而成為一個增強幀層。
8.如權利要求7所述的方法，還包括以下步驟通過可變帶寬網絡傳輸所述基層幀和所述組合的質量增強層幀與所述空間增強層幀。
9.如權利要求8所述的方法，還包括以下步驟確定網絡的一個可利用帶寬；以及根據所述可利用的帶寬選擇要被傳輸的所述質量增強層的部分和所述空間層幀的部分。
10.如權利要求8所述的方法，還包括以下步驟組合所述增強層幀和所述時間增強層幀而成為第二增強幀層。
11.如權利要求10所述的方法，還包括以下步驟通過可變帶寬網絡傳輸所述基層幀和所述組合的質量增強層幀、空間增強層幀和時間增強層幀的部分。
12.如權利要求11所述的方法，還包括以下步驟確定網絡的一個可利用帶寬；以及根據所述可利用帶寬選擇要被傳輸的所述質量增強層的部分和所述空間層幀的部分。
13.如權利要求1所述的方法，其中所述空間增強層幀是運動補償空間增強層幀。
14.如權利要求2所述的方法，其中所述時間增強層幀是運動補償時間增強層幀。
15.一種用于編碼視頻數據的方法，包括以下步驟按比例縮小所述視頻數據；編碼所述按比例縮小的視頻數據，從而產生基層幀；由所述按比例縮小的視頻數據和所述基層幀產生剩余圖像；使用細粒編碼技術編碼所述剩余圖像，從而產生質量增強層幀；按比例放大所述基層幀和所述質量增強層幀，由按比例放大的基層和所述質量增強幀和所述視頻數據，產生第二組剩余圖像；使用細粒編碼技術編碼所述第二組剩余圖像，從而產生空間增強層幀。
16.如權利要求15所述的方法，還包括以下步驟從相應的空間層產生第三組剩余圖像；以及使用細粒編碼技術編碼所述第三組剩余圖像，從而產生時間增強層幀。
17.如權利要求15所述的方法，其中所述空間增強層幀是運動補償空間增強層幀。
18.如權利要求16所述的方法，其中所述時間增強層幀是運動補償時間增強層幀。
19.一種包括用于編碼視頻數據的代碼的存儲介質，所述代碼包括用于按比例縮小所述視頻數據的代碼；用于編碼所述按比例縮小的視頻數據，從而產生基層幀的代碼；用于由所述按比例縮小的視頻數據和所述基層幀產生剩余圖像從而產生質量增強幀的代碼；用于按比例放大所述基層幀和所述質量增強層幀的代碼；用于由按比例放大的幀和所述視頻數據產生第二剩余圖像的代碼；以及用于使用細粒編碼技術編碼所述第二剩余圖像，從而產生空間增強層幀的代碼。
20.如權利要求19所述的存儲介質，還包括用于由所述空間增強幀產生第三剩余圖像的代碼；用于使用細粒編碼技術編碼所述第三剩余圖像，從而產生時間增強層幀的代碼。
21.如權利要求19所述的存儲介質，其中所述空間增強層幀是運動補償空間增強層幀。
22.如權利要求20所述的存儲介質，其中所述時間增強層幀是運動補償時間增強層幀。
23.一種用于編碼被包含在圖像幀中的視頻數據的裝置，包括按比例縮小的裝置，用于按比例縮小所述視頻數據圖像幀；編碼器，其通過操作可以編碼所述按比例縮小的視頻數據，從而產生基層幀；由所述按比例縮小的視頻數據和所述基層幀產生質量增強的剩余圖像；使用細粒編碼技術編碼所述質量增強的剩余圖像，從而產生質量增強幀；按比例放大裝置，用于按比例放大所述基層幀和所述質量增強剩余圖像；第二編碼器，其通過操作可以由所述按比例放大的基層和所述按比例放大的剩余圖像和所述視頻數據產生第一組剩余圖像；使用細粒編碼技術編碼所述第一組剩余圖像，從而產生空間增強層幀。
24.如權利要求23所述的裝置，其中所述第二編碼器通過操作以由所述第一組剩余圖像產生第二組剩余圖像；以及使用細粒編碼技術編碼所述第二組剩余圖像，從而產生時間增強層幀。
25.如權利要求23所述的裝置，還包括通過可變帶寬網絡傳輸所述基層幀和所述空間增強幀的部分的傳輸裝置。
26.如權利要求25所述的裝置，其通過操作以確定所述網絡的一個可利用帶寬；根據所述可利用帶寬選擇要被傳輸的所述空間增強層幀的部分。
27.如權利要求25所述的裝置，其通過操作以通過可變帶寬網絡傳輸所述時間增強層幀的部分。
28.如權利要求27所述的裝置，其通過操作以確定所述網絡的一個可利用的帶寬；根據所述可利用的帶寬選擇要被傳輸的時間增強層幀的部分。
29.如權利要求23所述的裝置，其通過操作以組合所述質量增強幀和所述空間增強層幀而成為一個增強層幀。
30.如權利要求29所述的裝置，其通過操作以通過可變帶寬網絡傳輸所述基層幀和所述組合的增強層幀與所述空間增強層幀。
31.如權利要求27所述的裝置，其通過操作以確定網絡的一個可利用帶寬；以及根據所述可利用的帶寬選擇要被傳輸的所述質量增強層的部分和所述空間層幀的部分。
32.如權利要求30所述的裝置，其通過操作以組合所述增強層幀和所述時間增強層幀而成為第二增強幀層。
33.如權利要求32所述的裝置，其通過操作以通過可變帶寬網絡傳輸所述基層幀和所述組合的質量增強層幀、空間增強層幀和時間增強層幀的部分。
34.如權利要求33所述的裝置，其通過操作以確定網絡的一個可利用帶寬；以及根據所述可利用帶寬選擇要被傳輸的所述質量增強層的部分和所述空間層幀的部分。
35.如權利要求27所述的裝置，其中所述空間增強層幀是運動補償空間增強層幀。
36.如權利要求28所述的裝置，其中所述時間增強層幀是運動補償時間增強層幀。
37.一種用于編碼視頻數據的方法，包括以下步驟按比例縮小所述視頻數據；編碼所述按比例縮小的視頻數據，從而產生基層幀；從所述基層幀當中產生剩余圖像；使用細粒編碼技術編碼所述剩余圖像，從而產生第一時間增強層幀；由所述按比例縮小的視頻數據和所述基層幀產生剩余圖像；使用細粒編碼技術編碼所述剩余圖像，從而產生質量增強幀；按比例放大所述基層和所述質量增強層幀，由所述按比例放大的基層和所述質量增強層幀以及所述視頻數據產生第二組剩余圖像；使用細粒編碼技術編碼所述第二剩余圖像，從而產生空間增強層幀。
38.如權利要求37所述的方法，還包括以下步驟從相應的空間層當中產生第三組剩余圖像；以及使用細粒編碼技術編碼所述第三組剩余圖像，從而產生第二時間增強層幀。
39.如權利要求37所述的方法，還包括以下步驟通過可變帶寬網絡傳輸所述基層幀和所述組合的質量增強層幀，所述空間增強幀，和所述第一時間增強層幀的部分。
40.如權利要求38所述的方法，還包括以下步驟過可變帶寬網絡傳輸所述基層幀和所述組合的質量增強層幀，所述空間增強幀，所述第一時間增強層幀以及所述第二時間增強層幀的部分。
41.如權利要求37所述的方法，其中所述空間增強層幀是運動補償的空間增強層幀。
42.如權利要求38所述的方法，其中所述時間增強層幀是運動補償的時間增強層幀。
43.一種用于編碼視頻數據的系統，包括用于按比例縮小所述視頻數據的裝置；用于編碼所述按比例縮小的視頻數據，從而產生基層幀的裝置；用于從所述按比例縮小的視頻數據和所述基層幀產生剩余圖像的裝置；用于編碼所述剩余圖像從而產生質量增強幀的裝置；用于按比例放大所述基層和所述質量增強層幀的裝置；用于由所述按比例放大的基層和所述質量增強幀以及所述視頻數據產生第二組剩余圖像的裝置；用于編碼所述第二剩余圖像，從而產生空間增強層幀的裝置。
44.如權利要求43所述的系統，還包括用于由相應的空間層產生第三組剩余圖像的裝置；以及用于編碼所述第三組剩余圖像，從而產生時間增強層幀的裝置。
45.如權利要求43所述的系統，其中所述用于編碼的裝置包括FGS編碼。
46.如權利要求44所述的系統，其中所述用于編碼的裝置包括FGS編碼。
全文摘要
本發(fā)明提供一種用于視頻圖像的高清晰度格式化和動態(tài)地調整高清晰度圖像的傳輸清晰度的方法和系統。所述方法首先按比例縮小高清晰度圖像，并且把按比例縮小的高清晰度圖像編碼而成為基層幀。由按比例縮小的視頻圖像和包含在相應的基層幀中的編碼的數據產生質量增強層數據。質量增強層數據被編碼而成為質量增強層幀。然后，包含在基層幀和相應的質量層幀中的數據被按比例放大，并且由按比例放大的數據和原始圖像確定空間可縮放性數據。然后，空間可縮放性數據被編碼而成為空間可縮放性數據。在傳輸編碼的視頻圖像的期間，使用增強層的不同的數量或部分傳輸每個可利用的編碼幀，從而使得占據可利用的帶寬。
文檔編號H04N7/24GK1636394SQ01804717
公開日2005年7月6日 申請日期2001年10月11日 優(yōu)先權日2000年10月11日
發(fā)明者M·范德沙爾, M·巴拉克里斯南 申請人:皇家菲利浦電子有限公司