專利名稱：使用自適應內容過濾的空間可縮放壓縮方案的制作方法
技術領域：
本發(fā)明涉及一種視頻編碼器/解碼器，更具體而言涉及這樣一種視頻編碼器/解碼器，其具有使用自適應內容過濾或動態(tài)分辨率的空間可縮放壓縮方案。
背景技術：
由于數字視頻中固有的數據的海量，全運動、高清晰度的數字視頻信號在開發(fā)高清晰度電視的過程中是明顯的問題。更具體而言，每個數字圖像幀是根據特定系統(tǒng)的顯示分辨率從像素陣列形成的靜止圖像。作為結果，被包括在高分辨率視頻序列中的原始數字信息的量是海量的。為了減小必須被發(fā)送的數據量，壓縮方案被用于壓縮數據。各種視頻壓縮標準或過程已被建立，包括MPEG-2、MPEG-4和H.263。
在一個流中視頻在各種分辨率和/或質量處可用的許多應用被使能。實現它的方法被寬松地稱為可縮放性技術。存在人們可展開可縮放性的三個軸。第一是時間軸上的可縮放性，常常被稱為時間可縮放性。第二，存在質量軸(量化)上的可縮放性，常常被稱為信噪比(SNR)可縮放性或細粒(fine-grain)可縮放性。第三軸是分辨率軸(圖像中像素的數量)，常常被稱為空間可縮放性。在分層編碼中，位流被分成兩個或多個位流或層。每個層可被組合以形成單個高質量信號。例如，基本層可提供較低質量的視頻信號，而增強層可提供增強基本層圖像的附加信息。
具體而言，空間可縮放性可提供不同視頻標準或解碼器能力之間的兼容性。借助空間可縮放性，基本層視頻可具有比輸入視頻序列低的分辨率，在該情況下，增強層載有可將基本層的分辨率恢復到輸入序列水平的信息。
圖1說明了已知的空間可縮放視頻編碼器100。所述編碼系統(tǒng)100實現層壓縮，從而使信道的一部分被用于提供低分辨率的基本層而剩余部分被用于發(fā)送邊緣增強信息，由此使兩個信號可被復合以使系統(tǒng)達到高分辨率。高分辨率視頻輸入由分裂器102分裂以使數據被發(fā)送給低通濾波器104和減法電路106。低通濾波器減小視頻數據的分辨率，該視頻數據然后被饋送給基本編碼器108。一般而言，低通濾波器和編碼器在本領域是眾所周知的并且為了簡化，在此不被詳述。編碼器108產生可被廣播、接收并通過解碼器原樣顯示的低分辨率基本流，盡管該基本流并不提供將被認為是高清晰度的分辨率。
編碼器108的輸入亦被饋送給系統(tǒng)100內的解碼器112。從那里，經解碼的信號被饋送到插值和向上采樣電路114中。一般而言，插值和向上采樣電路114重構來自經解碼的視頻流的所濾出的分辨率并且提供具有與高分辨率輸入相同的分辨率的視頻數據流。然而，由于過濾和從編碼和解碼導致的損失，信息損失存在于經重構的流中。該損失是在減法電路106中通過從原始的、未修改的高分辨率流中減去重構的高分辨率流而確定的。減法電路106的輸出被饋送給增強編碼器116，其輸出合理質量的增強流。
盡管可使這些分層壓縮方案工作得相當好，這些方案仍具有增強層需要高位速率的問題。在正常情況下，增強層的位速率等于或高于基本層的位速率。然而，想要存儲高清晰度視頻信號則需要在正常情況下可通過公用壓縮標準來遞送的較低位速率。由此可能使得難以在現有標準清晰度系統(tǒng)上引入高清晰度，這是因為記錄/播放時間變得過小。

發(fā)明內容
本發(fā)明通過以下而克服了其它已知分層壓縮方案的缺陷使用自適應內容過濾來減小被輸入到增強編碼器中的殘留信號中的位數，從而降低增強層的位速率。
依照本發(fā)明的一個實施例，公開了一種方法和設備，用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮。視頻流被向下采樣以減小視頻流的分辨率。向下采樣的視頻流然后被編碼以產生基本流?；玖鞅幌蛏限D換以產生重構的視頻流。所述視頻流和重構的視頻流然后被分析以產生所接收的視頻流的幀中每個像素或像素組的內容的增益值。重構的視頻流從所述視頻流中被減去以產生殘留流。殘留流由乘法器以可變的增益因子來衰減以從殘留流中去除這樣的位，其表示具有很少細節(jié)的每個幀的區(qū)域。所得到的殘留流然后被編碼并輸出增強流。
依照本發(fā)明的另一個實施例，從畫面分析器輸出的衰減器的增益值可被與來自增強編碼器的正常位速率控制組合以允許根據增強編碼器的可用位速率預算來編碼可變的總分辨率。
依照本發(fā)明的另一個實施例公開了一種涉及解碼器中的銳度控制的方法和設備。基本流被解碼然后被向上轉換以增加經解碼的基本流的分辨率。增強流被解碼然后被乘以銳度控制值，其中銳度控制值控制經解碼的增強流中的假象的可視性和銳度之間的折中。最后，向上轉換的經解碼的基本流被與經銳度控制的增強流組合以產生視頻輸出。
從以下描述的實施例來看，本發(fā)明的這些和其它方面將是顯而易見的，并且將參照這些實施例而被說明。


為了舉例，現在將參照附圖來描述本發(fā)明，其中圖1是表示已知分層視頻編碼器的方塊圖；圖2是依照本發(fā)明實施例的分層視頻編碼器/解碼器的方塊圖；圖3是依照本發(fā)明實施例的分層視頻編碼器/解碼器的方塊圖；圖4是依照本發(fā)明的分層視頻解碼器的方塊圖；并且圖5是依照本發(fā)明另外的實施例的分層視頻編碼器和分層視頻解碼器的方塊圖。
具體實施例方式
圖2是依照本發(fā)明一個實施例的分層視頻編碼器/解碼器200的方塊圖。編碼器/解碼器200包括編碼部201+203和解碼部205。高分辨率視頻流202被輸入到基本編碼部201中。視頻流202然后由分裂器204分裂，從而使視頻流被發(fā)送給低通濾波器206和第二分裂器211。低通濾波器或向下采樣單元206減小視頻流的分辨率，該視頻流然后被饋送給基本編碼器208?；揪幋a器208以已知方式來編碼經向下采樣的視頻流并輸出基本流209。在該實施例中，基本編碼器208將本地解碼器輸出輸出給向上轉換單元210。向上轉換單元210重構來自本地經解碼的視頻流的所濾出的分辨率，并且以已知方式提供具有與高分辨率輸入視頻流基本上相同的分辨率格式的經重構的視頻流?？商鎿Q的是，基本編碼器208可將經編碼的輸出輸出給向上轉換單元210，其中分離的解碼器(未示出)或在向上轉換單元210中提供的解碼器將必須在經編碼的信號被向上轉換之前來解碼它。
分裂器211分裂高分辨率輸入視頻流，從而使輸入視頻流202被饋送給減法單元212和畫面分析器214。另外，經重構的視頻流亦被輸入到畫面分析器214和減法單元212中。畫面分析器214分析輸入流的幀和/或經重構的視頻流的幀并產生視頻流的每個幀中的每個像素或像素組的內容的數值增益值。該數值增益值包括例如由幀中的像素或像素組的x、y坐標給出的像素或像素組的位置、幀數和增益值。當像素或像素組具有大量細節(jié)時，增益值向最大值“1”移動。類似地，當像素或像素組沒有許多細節(jié)時，增益值向最小值“0”移動。用于畫面分析器的詳細準則的幾個實例在以下被描述，但本發(fā)明并不局限于這些實例。首先，畫面分析器可分析像素周圍的局部分布對整個幀上的平均像素分布。畫面分析器亦可分析邊緣水平，例如，在整個幀上在平均值上被劃分的每像素的-1-1-1-1 8-1-1-1-1的絕對值。
用于不同細節(jié)程度的增益值可被預先確定并存儲在查詢表中以便于一旦每個像素或像素組的細節(jié)水平被確定時再次調用。
如以上所述，重構的視頻流和高分辨率輸入視頻流被輸入到減法單元212中，減法單元212從輸入視頻流中減去重構的視頻流以產生殘留流。來自畫面分析器214的增益值被發(fā)送給乘法器216，其被用于控制殘留流的衰減。在可替換的實施例中，畫面分析器214可從系統(tǒng)中被去除并且預定增益值可被加載到乘法器216中。可替換的是，增益值可由用戶使用例如控制按鈕(未示出)來手動輸入。將殘留流乘以增益值的效果是對具有很少細節(jié)的每個幀的區(qū)域進行一種過濾。在這種區(qū)域中，一般情況下大量的位將必須被花費在大多為不相關的很少細節(jié)或噪聲上。但通過將殘留流乘以對于很少或沒有細節(jié)的區(qū)域向零移動的增益值，這些位可在被編碼于增強編碼器218中之前從殘留流中被去除。類似地，對于邊緣和/或文本區(qū)域，乘數(multiplier)將向一移動，并且僅這些區(qū)域將被編碼。對正常畫面的該效果可以是對位的大量節(jié)省。盡管視頻的質量將被稍微影響，但相對于位速率的節(jié)省，這是好的折中，特別是當被比較于處于相同總位速率的一般壓縮技術時。來自乘法器216的輸出被輸入到產生增強流的增強編碼器218中。
在解碼器部205中，基本流由解碼器220以已知方式解碼，而增強流由解碼器222以已知方式解碼。經解碼的基本流然后被向上轉換于向上轉換單元224中。經向上轉換的基本流和經編碼的增強流然后被組合于算術單元226中以產生輸出視頻流228。
圖3說明了依照本發(fā)明一個實施例的編碼器/解碼器300。在該實施例中，被發(fā)送給乘法器的增益值是由增強編碼器的可用位速率預算來控制的。增強編碼器的位速率控制可通過以下來擴展組合來自畫面分析器214的增益值與來自增強編碼器的編碼器統(tǒng)計參數以產生與殘留流相乘的最終增益控制參數。編碼器/解碼器300具有圖2的所有所述元件，其已在圖3中被給予相同的編號。為了簡化，相同元件的操作將不在此被描述。
另外，編碼器/解碼器300具有位于畫面分析器214和乘法器216之間的組合單元215。組合單元215從畫面分析器214接收增益值。另外，組合單元215從增強編碼器218接收基于編碼器統(tǒng)計的增強參數。組合單元215組合編碼器統(tǒng)計參數和增益值并將最終增益控制參數輸出給乘法器216。然后，殘留流在被增強編碼器218編碼之前被乘以最終增益控制參數。換句話說，根據增強編碼器的可用位速率，來自畫面分析器214的增益值被向上或向下調節(jié)。如果增強編碼器具有小的可用位速率預算，則增益值將被向下調節(jié)以使較多的位將被濾出殘留流。類似地，如果增強編碼器具有大的可用位速率預算，則增益值將被向上調節(jié)以使較少的位將被濾出殘留流。這樣，當編碼器統(tǒng)計參數指示可用位速率預算不再足以以足夠的質量以全分辨率進行編碼時，乘法器216的增益被設置成減小的分辨率值以滿足可用位速率預算。這允許根據可用位速率預算來編碼可變的總分辨率。
圖4說明了依照本發(fā)明一個實施例的解碼器400。在圖4中，解碼器400具有被添加給解碼器部205的銳度控制單元230和乘法器232。銳度控制單元230允許用戶選擇0和1之間的參數，其中越低的數導致輸出視頻流228中的可視假象的數量的越大的減小，而越高的數導致輸出視頻流228的越銳利的圖像。這樣，銳度控制單元控制了來自增強流的假象的可視性和銳度之間的折中。所選的銳度控制參數被輸入到乘法器232中。然后乘法器232將經解碼的增強流乘以銳度控制參數以在將增強流與向上轉換的基本流組合于算術單元226之前調節(jié)增強流中的假象的可視性和銳度。
圖5示出分層視頻編碼器503、分層視頻解碼器205和分層視頻解碼器505的方塊圖。視頻編碼器503包括被添加給視頻編碼器203的減法器510和第二增強編碼器511。視頻編碼器503可用如圖3中所示的組合單元215來直接增強。圖2和3示出使用乘法器216來影響對增強編碼器218的輸入以提供對增強層的適配。圖2和3中所示的增強編碼的缺點是，一些畫面細節(jié)被丟失并且不能再被再生，這是因為乘法器216的乘法器操作(multiplier operation)是不可逆的。編碼器503通過提供由減法器510和增強編碼器511提供的第二增強層而克服了這個問題，所述第二增強層表示在乘法器216中丟失的細節(jié)。事實上，第二增強編碼器511編碼乘法器216的輸入和輸出之間的差異。相應的編碼器218和511可針對其相應的輸入而被最優(yōu)化。例如，如果存在，可變長度編碼可針對相應信號的統(tǒng)計而被最優(yōu)化。
由編碼器201+503產生的信號可如以上所述由解碼器205來解碼。在此情況下，僅基本層和第一增強層被解碼。
為了解碼第二增強層，除了解碼器205以外，還提供了解碼器505，其包括用于第二增強層的解碼器512和加法器513。在解碼器512中被解碼的增強層在該實施例中簡單地被添加給解碼器205的輸出流以提供在經解碼的流的分辨率現在類似于輸入202的分辨率的意義上透明的視頻分辨率。
通過使用自適應內容過濾來降低增強層的位速率以在編碼之前從殘留流中去除不必要的位，本發(fā)明的上述實施例提高了已知空間可縮放壓縮方案的效率。應理解，本發(fā)明的不同實施例并不被局限于上述步驟的嚴格順序，這是因為一些步驟的時序可被互換而不影響本發(fā)明的總體操作。此外，術語“包括”并不排除其它元件或步驟，術語“一”和“一個”并不排除多個和單個處理器或可實現權利要求中列舉的幾個單元或電路的功能的其它單元。
權利要求
1.一種用于有效執(zhí)行對在多個幀中捕獲的視頻信息的空間可縮放壓縮的設備，其包括編碼器，用于將所捕獲的視頻幀編碼并輸出為壓縮數據流，包括基本層，包括具有低分辨率的經編碼的位流；高分辨率增強層，包括具有相對高的分辨率的殘留信號；并且其中乘法器單元衰減所述殘留信號以減小所需的位數，所述殘留信號是來自基本層的放大(upscaled)幀和原始幀之間的差異。
2.權利要求1的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，其中乘法器將殘留信號衰減一個預定的量。
3.權利要求1的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，其中衰減量可通過控制按鈕來手動改變。
4.權利要求1的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，進一步包括畫面分析器，其接收放大和/或原始幀并計算每個所接收的幀的每個像素的內容的增益值，其中乘法器使用該增益值來衰減殘留信號。
5.權利要求4的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，其中對于很少細節(jié)的區(qū)域，增益值趨向于零。
6.權利要求4的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，其中對于邊緣和文本區(qū)域，增益值趨向于一。
7.權利要求4的用于有效執(zhí)行對視頻信息的空間可縮放壓縮的設備，其中對一組像素計算增益值。
8.一種用于編碼和解碼視頻流的分層編碼器，包括向下采樣單元，用于減小視頻流的分辨率；基本編碼器，用于編碼較低分辨率的基本流；向上轉換單元，用于解碼并增加基本流的分辨率以產生經重構的視頻流；減法器單元，用于從原始視頻流中減去經重構的視頻流以產生殘留信號；第一乘法器單元，其將殘留信號乘以增益值以從用于具有很少細節(jié)的區(qū)域的殘留信號中去除位；增強編碼器，用于編碼來自乘法器的所得到的殘留信號并輸出增強流。
9.權利要求8的分層編碼器，其中乘法器將殘留信號衰減一個預定的量。
10.權利要求8的分層編碼器，其中衰減量可通過控制按鈕來手動改變。
11.權利要求8的分層編碼器，進一步包括畫面分析器，其接收視頻流和經重構的視頻流并計算所接收的流的每個幀中的每個像素的內容的增益值。
12.權利要求11的分層編碼器，其中對于很少細節(jié)的區(qū)域，增益值趨向于零。
13.權利要求11的分層編碼器，其中對于邊緣和文本區(qū)域，增益值趨向于一。
14.權利要求11的分層編碼器，進一步包括傳統(tǒng)的位速率控制，其通過第一乘法器單元與位速率控制組合；以及組合器，其位于畫面分析器和第一乘法器單元之間，用于組合增益值與來自增強編碼器的編碼器統(tǒng)計參數并將經組合的增益值輸出給第一乘法器單元。
15.權利要求14的分層編碼器，其中編碼器統(tǒng)計參數指示可用位速率預算何時不再足以以足夠質量的全分辨率進行編碼，從而使第一乘法器單元的增益值被設置成減小的分辨率值以滿足可用位速率預算。
16.權利要求11的分層編碼器，其中為一組像素而計算增益值。
17.一種用于解碼經壓縮的視頻信息的解碼器，包括基本流解碼器，用于解碼所接收的基本流；向上轉換單元，用于增加經解碼的基本流的分辨率；增強流解碼器，用于解碼所接收的增強流；銳度控制裝置，用于輸出銳度控制值；第二乘法器單元，用于將經解碼的增強流乘以銳度控制值以允許用戶控制經解碼的增強流中的假象的可視性和銳度之間的折中；以及加法單元，用于組合向上轉換的經解碼的基本流和經銳度控制的增強流以產生視頻輸出。
18.一種用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，包括以下步驟向下采樣視頻流以減小視頻流的分辨率；編碼經向下采樣的視頻流以產生基本流；解碼并向上轉換基本流以產生經重構的視頻流；從視頻流中減去經重構的視頻流以產生殘留信號；將殘留信號乘以增益值以從表示具有很少細節(jié)的區(qū)域的每個幀的殘留流中去除位；編碼所得到的殘留流并輸出增強流。
19.權利要求18的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，進一步包括以下步驟分析視頻流和經重構的視頻流以產生所接收的流的幀中的每個像素的內容的增益值。
20.權利要求18的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，其中對于很少細節(jié)的區(qū)域，增益值趨向于零。
21.權利要求18的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，其中對于邊緣和文本區(qū)域，增益值趨向于一。
22.權利要求18的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，其中為一組像素而計算增益值。
23.權利要求18的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，進一步包括以下步驟在乘以步驟之前組合增益值與來自增強編碼器的編碼器統(tǒng)計參數。
24.權利要求23的用于提供使用對視頻流的自適應內容過濾的空間可縮放壓縮的方法，其中編碼器統(tǒng)計參數指示可用位速率預算何時不再足以以足夠質量的全分辨率進行編碼，從而使第一乘法器單元的增益值被設置成減小的分辨率值以滿足可用位速率預算。
25.一種用于解碼在基本流和增強流中接收的經壓縮的視頻信息的方法，包括以下步驟解碼基本流；向上轉換經解碼的基本流以增加經解碼的基本流的分辨率；解碼增強流；將經解碼的增強流乘以銳度控制值，其中所述銳度控制值控制經解碼的增強流中的假象的可視性和銳度之間的折中；以及組合向上轉換的經解碼的基本流和經銳度控制的增強流以產生視頻輸出。
26.一種表示視頻信息的經壓縮的數據流，包括基本層，其包括具有相對低的分辨率的經編碼的位流；高分辨率增強層，其包括具有相對高的分辨率的殘留信號，該殘留信號是來自基本層的放大幀和原始幀之間的差異，并且其中殘留信號已被衰減。
27.一種存儲介質，在其上已存儲了權利要求26的經壓縮的數據流。
全文摘要
一種使用自適應內容過濾的較為有效的空間可縮放壓縮方案被公開?？臻g可縮放壓縮方案的視頻壓縮量通過在增強層的殘留流上引入乘數而得以增加。所述乘數是通過用于來自畫面分析器的視頻的每個幀中的每個像素或像素組的增益值來控制的，其中對于很少或沒有細節(jié)的區(qū)域，增益值趨向于零，而對于邊緣和文本，增益值趨向于一。這樣，乘法器起到濾波器的作用，從而減小在增強層的無關數據上所花費的位的量。該乘法器亦允許動態(tài)分辨率壓縮。
文檔編號H04N7/46GK1575603SQ02821035
公開日2005年2月2日 申請日期2002年10月16日 優(yōu)先權日2001年10月26日
發(fā)明者W·H·A·布魯斯 申請人:皇家飛利浦電子股份有限公司