專利名稱：空間和snr可縮放的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可縮放的數(shù)字視頻編碼領(lǐng)域。
美國公開的專利申請2002/0071486說明了一種具有空間和SNR可縮放性的編碼?？煽s放性是通過利用質(zhì)量增強層編碼一個縮減的(downscaled)基礎(chǔ)層而實現(xiàn)的。該申請所說明的方案的一個缺點是，編碼不是標準兼容的。編碼單元是非標準類型的，這也是一個缺點。
所希望的是有一種SNR和空間都可縮放的視頻編碼，其具有多于一個的增強編碼層，所有的層都與至少一個標準兼容。進一步希望的是至少讓第一增強層受到某種糾錯反饋。也希望多個層中的編碼器不要求在先編碼器中的內(nèi)部信息，例如通過使用至少一個編碼器/解碼器對。
此外，希望有一個用于接收編碼信號的改善的解碼器。這樣一個解碼器最好包括每個編碼層一個的解碼模塊，所有的解碼模塊相同并與至少一個標準兼容。


圖1示出了一種現(xiàn)有技術(shù)的基礎(chǔ)編碼器。
圖2示出了現(xiàn)有技術(shù)的、只有一個增強層的可縮放編碼器。
圖3示出了按照本發(fā)明的、具有兩個增強層的可縮放編碼器。
圖4示出了按照本發(fā)明的、具有三個增強層的可縮放編碼器的可選擇實施例。
圖5示出了向圖4的實施例增加一個第四增強層的附加實施例。
圖6示出了用于兩個增強層的解碼器。
圖7是一個用于圖8的表。
圖8示出了只有一個產(chǎn)生兩個增強層的編碼器/解碼器對的實施例。
圖9示出了一個解碼器。
圖10示出了用于軟件實施例的處理器和存儲器。
具體實施例方式
公開的美國專利申請US2003/0086622A1在這里被引用作為參考。該申請包括一個如圖1中所示的基礎(chǔ)編碼器110。在這個基礎(chǔ)編碼器中有以下部件運動估計器(ME)108、運動補償器(MC)107、正交變換器(例如離散余弦變換器DCT)102、量化器(Q)105、可變長編碼器(VLC)113、雙速率(birate)控制電路101、逆量化器(IQ)106、逆變換電路(IDCT)109、開關(guān)103和111、減法器104和加法器112。讀者可參看該公開的專利申請以獲取對這些部件的操作的更多解釋。該編碼器既編碼信號以產(chǎn)生基礎(chǔ)流輸出130，又解碼編碼的輸出以產(chǎn)生基礎(chǔ)本地解碼輸出(base-local decoded output)120。換言之，該編碼器可被看作為在在一起的編碼器和解碼器。
這個基礎(chǔ)編碼器110只作為一個可能的實施例被舉例說明。圖1的基礎(chǔ)編碼器是標準兼容的，與諸如MPEG2、MPEG4和H.26x兼容。所屬領(lǐng)域的普通技術(shù)人員可以設(shè)計出任何數(shù)量的其他實施例，包括通過使用軟件或固件，而非硬件。在任何情況中，假設(shè)以下各實施例中所描述的所有編碼器—諸如圖1中編碼器，都在像素域中操作。
為了具有可伸縮性，在所述公開的專利申請中將圖1的編碼器與一個類似的第二編碼器組合，如圖2所示。在該圖中，基礎(chǔ)編碼器110和增強信號編碼器210二者基本上是相同的，只是增強編碼器210有幾個與運動增強(ME)單元相連的額外輸入。輸入信號201在202處被縮減，以產(chǎn)生縮減的輸入信號200。然后，基礎(chǔ)編碼器110接受縮減的信號，產(chǎn)生兩個輸出，一個輸出是基礎(chǔ)流130，其是較低分辨率的輸出信號，另一個是基礎(chǔ)流的解碼版本120，也叫基礎(chǔ)本地解碼輸出。這個輸出120然后在206處被升級(upscale)，并在207處從輸入信號201減去升級的信號。然后在209處與一個DC補償(offset)208相加。產(chǎn)生的補償信號然后被送到增強信號編碼器210，后者生成一個增強的流214。編碼器210與編碼器110不同之處在于，在加法器212上將一個補償213施加到解碼的輸出215，然后先將結(jié)果在211與升級的基礎(chǔ)本地解碼輸出相加，再輸入到ME單元。相比之下，在基礎(chǔ)編碼器110中，基礎(chǔ)本地解碼輸入被不加補償?shù)厥┘覯E單元并且不與任何其它輸入信號組合。如同在基礎(chǔ)編碼器110中相似，在編碼器210內(nèi)，輸入信號201也被輸入到ME單元。
圖3表示按照本發(fā)明的一個編碼器。該圖中，與在圖2中所示的部件相同的部件具有相同的標注號。
US2003/0086622A1選擇用圖1的標準編碼器的解碼部分來生成基礎(chǔ)本地解碼輸出120和解碼的輸出215。然而，盡管這看起來有益，因為只需要使用一套解碼塊，并且錯誤漂移(error drift)被假設(shè)是減少的，不過也產(chǎn)生某些缺點。圖2的設(shè)計要求修改標準編碼器以獲得第二個輸出。這增加了成本、復雜度并且限制了體系結(jié)構(gòu)的選擇。此外，在未來的視頻編碼器標準中，諸如在近來為MPEG建議的基于小波的編解碼器中，在標準的解碼器中可能根本不存在本地解碼回路。結(jié)果，在本文的優(yōu)選實施例中，增加了一個單獨的解碼器塊303’，而不是試圖從塊303抽取出解碼的信號。假設(shè)圖3-5和圖8中的所有編碼器都是單一標準類型的—例如與圖1中所示的大約相同，或者是任何其它標準類型的，諸如在MPEG2、MPEG4、H.263、H.264等等中所示的類型。類似地，假設(shè)圖3-6和圖8中的所有解碼器都是單一標準類型的—諸如在MPEG2、MPEG4、H.263、H.264等等中所示的那樣，或者如圖9中所示的那樣。不過，作為設(shè)計選擇，所屬技術(shù)領(lǐng)域的一般技術(shù)人員可以對編碼器或解碼器作出替換。本文中所用的術(shù)語“編碼器/解碼器對”的意思是，用于連續(xù)的編碼層的解碼的信號出自一個單獨的解碼器，而不是出自編碼器中的本地解碼的信號。
不過，設(shè)計人員可以選擇US2003/0086622A1中所示的實施例的類型，即從塊110取出本地解碼的信號，而不是使用一個編碼器/解碼器對303、303’，而且仍然獲得具有標準兼容性、在像素域中有效的SNR和空間改善。
為了生成一個第二增強層，將升級(upscaling)單元306移動到編碼器/解碼器對310，310’的下游。標準編碼器能編碼所有的流(BL、EL1、EL2)，因為BL只是縮減了規(guī)模(size)的標準(normal)視頻，而EL信號在“補償”的操作之后具有標準視頻的像素范圍。人們能用完全相同的編碼器來編碼所有的層，但是編碼的參數(shù)可能是不同的并且是為特定的層優(yōu)化了的。標準編碼器的輸入?yún)?shù)可以是輸入視頻的分辨率，GOF(幀組)的規(guī)模，需要的比特率，GOF中I、P、B幀的數(shù)目，對運動估計的限制，等等。這些參數(shù)在諸如MPEG2、MPEG4或H.264的相關(guān)標準的說明中定義。在最終的流中，編碼的層應(yīng)當多少有所差異—例如通過引入額外的頭部(headers)、在不同的物理通道中傳送它們、等等。
增強層編碼信號(EL1)314與214類似，只不過是從縮減的信號中產(chǎn)生的。解碼的輸出315與215類似，不過現(xiàn)在是縮減的版本的，其在307處被加到解碼的輸出305，后者與輸出120類似。加法器307的輸出317在306處被升級。在316處將輸入信號201減去產(chǎn)生的升級的信號321。為了將電壓置于用于進一步編碼的正確范圍，在319處增加一個與208類似的補償318。然后，在320處對加法器319的輸出編碼，產(chǎn)生第二增強層編碼信號(EL2)325。比較圖3和2可以看出，不但有一個額外的增強層，而且EL1信號還受到糾錯，而在圖2中則不對增強層糾錯。
圖4示出了本發(fā)明的具有一個第三增強層的實施例。在先圖中的單元具有如前面的相同的標注號，將不再贅述。升級406已經(jīng)被轉(zhuǎn)移到第二增強層的輸出。一般來說，并不強制要剛好在最后的增強層之前進行升級。
加法器307的輸出317不再被升級，而是被輸入到減法器407和加法器417。減法器407計算信號317與縮減的輸入信號200之間的差。然后在加法器408上施加一個新的補償409。一個此時在縮減的水平上操作的第三編碼器420從產(chǎn)生的補償信號中生成第二增強編碼層EL2 425，其與圖3中的EL2 325類似。一個新的第三解碼器420’產(chǎn)生一個新的解碼的信號，該新的解碼信號在417被加到解碼的信號317，產(chǎn)生BL、EL1和EL2的解碼的版本的和422。該結(jié)果然后在406被升級，然后在416被從輸入信號201中減去。另一個補償419在418處被施加，然后被輸入到第四編碼器430，以生成一個第三增強層解碼信號(EL3)435。
補償值對于圖3-5和8的編碼器的所有的層來說可以是相同的，并取決于輸入信號的值范圍。例如，假設(shè)輸入視頻的像素具有范圍在0到255的8位值。在這種情況下，補償值是128。增加補償值的目的，是把差信號(差信號有正值和負值兩種)轉(zhuǎn)換成只有正值的從0到255的范圍。理論上講，用一個128的補償，有可能出現(xiàn)一些大于255或小于0的值。這些值可以被相應(yīng)裁剪為255或0。所屬技術(shù)領(lǐng)域的技術(shù)人員可以設(shè)計其他的方案來把差信號置于自然視頻信號的像素范圍內(nèi)。在圖6中所示的解碼端上可以使用一個逆補償。
圖5表示對圖4的一種補充，其生成另一個增強層，同樣，以前的圖中的標注號代表與它們在以前的圖中所代表的單元相同的單元。這個補充允許生成一個第四增強層。在這個實施例中增加的有第四解碼器531、前饋(feed forward)515、減法器516、加法器508、補償509、編碼器540和輸出545。第5編碼器540提供第四增強層編碼信號(EL4)545。所有的新單元都以與先前的圖中類似的單元相類似的方式操作。在這個例子中，編碼器4和5二者都按原始分辨率操作。它們能提供兩個額外的SNR(信噪比)可縮放性等級。
因此在圖5中，有編碼信號的一個基礎(chǔ)層和4個增強層，允許在低分辨率下的三個SNR可縮放性等級1-BL1；2-BL+EL1；3-BL+EL1+EL2；以及原始分辨率下的兩個SNR可縮放性等級1-EL3；2-EL3+EL4。
在這個例子中，只提供兩個空間可縮放性等級原始分辨率和曾經(jīng)被縮減過的分辨率。層的數(shù)量和內(nèi)容是在編碼期間定義的。該序列只在編碼端被縮減和升級過一次，因此有可能在解碼端只重構(gòu)兩個空間層(原始規(guī)模和縮減了的)。上述五個解碼方案是允許的最大數(shù)目。用戶可選擇逐步地解碼所有的5個流，或者只解碼其中的一些流。一般來說，解碼的層的數(shù)目將受編碼器所生成的層的數(shù)目的限制。
圖4和5的實施例顯示了使用在像素域中操作的自包容的(self-contained)編碼器/解碼器對的設(shè)計的靈活性。增加更多地增強層變得非常容易。設(shè)計人員將能夠設(shè)計許多具有不同個數(shù)的兩種類型的可縮放性等級的配置。要得到更多的空間分辨率層，必須增加額外的縮減和升級單元。
圖6表示在接收端為按照圖3所生成的信號進行的解碼。圖6有三個解碼器，都是與圖3-5中所示的解碼器相同的標準類型的，其一個例子在圖9中表示。BL 130被輸入到第一解碼器CD1 613。單獨的層如何被傳輸、接收或路由到解碼器，取決于應(yīng)用，是一種設(shè)計選擇，這在本發(fā)明的范圍之外，并且是由通道編碼器、打包器、服務(wù)器等處理的。編碼標準MPEG2包括一個所謂的“系統(tǒng)層”，其定義傳輸協(xié)議、通過解碼對流的接收、同步化、等等。
輸出614具有第一空間分辨率S0和比特率R0。EL1 314被輸入到第二解碼器DC2 607。然后一個逆補償在加法器608處被加到EL1的解碼的版本。然后，由加法器611添加BL的解碼的版本614。加法器611的輸出610仍然具有空間分辨率S0。在這種情況下，EL1給出在與BL相同的分辨率下改進的質(zhì)量，即SNR可縮放性，但是EL2給出改進的分辨率，即空間可縮放性。比特率增大了EL1的比特率R1這么多。這意味著，在610有組合的比特率R0+R1。輸出610然后在605被升級，產(chǎn)生升級的信號622。EL2 325被輸入到第三解碼器602。然后在618處將一個逆補償619加到EL2的解碼的版本，產(chǎn)生一個補償信號輸出623。然后在604處將這個補償信號623加到升級的信號622，產(chǎn)生輸出630，其具有空間分辨率S1和比特率R0+R1+R2，其中S0＝S1，R2是EL2的比特率。S1與S0之間的比率是一種設(shè)計選擇，與應(yīng)用、原始信號的分辨率、顯示器大小等等有關(guān)。S1和S0分辨率應(yīng)當受到被采用的標準編碼器/解碼器的支持。所述的情況是最簡單的情形，即低分辨率圖像比原始的小4倍。但是一般來說可以使用任何分辨率轉(zhuǎn)換比率。
圖8表示圖3的一個可替代實施例。圖中使用一些與圖3中的相同的標注號，以表示附圖的各單元之間的對應(yīng)關(guān)系。在這個實施例中，只使用一個編碼器/解碼器對810、810’。開關(guān)s1、s2和s3允許這個對先作為編碼器1(303)和解碼器1(303’)操作，然后作為編碼器2(310)和解碼器2(310’)操作，最后作為編碼器3(320)操作，如圖3中所示的那樣。開關(guān)的位置由圖7的表管理。
首先，輸入201在202被縮減，以產(chǎn)生縮減的信號200，它經(jīng)過位于位置1”的開關(guān)s1，以允許該信號傳送到編碼器810。開關(guān)s3此時位于位置1，以生成BL 130。
然后，BL也被解碼器810’解碼，以生成一個本地解碼信號BLDECODED 305。開關(guān)s2現(xiàn)在處于位置1’，使得在207處從信號200中減去BL DECODED 305。補償208在209被加到來自207的差信號，產(chǎn)生EL1 INPUT 834。在這個時刻，開關(guān)s1處于位置2”，使得信號834到達編碼器810。開關(guān)s3處于位置2，使得EL1到達輸出314。
EL1也到達解碼器810’，以生成EL1 DECODED 315，它被-利用加法器307-加到仍然被鎖定在其先前值的BL DECODED 305。任何用于確定在正確的時間在正確的地方有正確的值的存儲器單元，都是一種設(shè)計選擇，為了簡化，已經(jīng)在圖中被省略。加法器307的輸出317然后在單元306處被升級。然后在減法器316處從輸入信號201中減去升級的信號321。在319處向這個結(jié)果加補償318，以生成EL2 INPUT825。開關(guān)s1現(xiàn)在處于位置3”，使得EL2 INPUT 825傳送到編碼器810，后者產(chǎn)生信號EL2。開關(guān)s3現(xiàn)在處于位置3，使得EL2變得在線325上可用。
圖8的實施例與圖3的實施例相比優(yōu)點是節(jié)省電路，但卻產(chǎn)生相同的結(jié)果。
已經(jīng)實現(xiàn)了圖8的SNR+空間可縮放編碼的方案，并且將其性能與2層空間可縮放編碼和單層高分辨率編碼的方案進行過比較。H.264的最后版本(JM6.1a)被用于測試。測試序列“matchline(匹配線)”和高分辨率增強層EL2具有SD(標準定義)分辨率(704*576像素)；信號BL和EL有SIF分辨率。SIF(標準輸入格式)是MPEG委員會所規(guī)定的壓縮視頻的格式，具有352(水平)*240(垂直)*29.97(fps)的分辨率(對應(yīng)于NTSC)和352(水平)*288(垂直)*25.00(fps)的分辨率(對應(yīng)于PAL)。SIF-分辨率的視頻提供與VHS磁帶類似的圖像質(zhì)量。序列“matchline”在25幀/秒的速度有160個幀。
圖8的方案的比特率是BL-547kbit/s，EL1-1448kbit/s，EL2-1059kbit/s。US2003/086622的僅2層的空間可縮放方案的比特率為BL(SIF)-1563kbit/s，EL(SD)-1469kbit/s。單層H.264編碼器的比特率是2989kbit/s。
每個方案在SD分辨率下的總比特率大約是3Mbit/s。
在SD分辨率下解碼的序列的PSNR(尖峰信噪比)亮度值如下

因此，圖8的方案不僅提供與2層空間可縮放方案幾乎相同的質(zhì)量(主觀上以及客觀上)，而且也有SNR可縮放性。
圖9表示一個適合用于圖3-6和8的解碼器模塊。一個解碼流被輸入到可變長解碼器901，該解碼器與單元113類似。結(jié)果要在902受到一個逆掃描，然后經(jīng)過一個逆量化903，后者類似于方框IQ 106。然后，該信號經(jīng)過逆離散余弦變換904，該變換類似于方框109。隨后，該信號前進到運動補償單元906，后者通過一個幀存儲器905耦合到一個反饋回路。運動補償單元906的輸出給出解碼的視頻。解碼器根據(jù)從編碼的流中解碼的運動矢量執(zhí)行MC。
在MPEG2標準(ISO/IEC 13818-2，圖7-1)中也可以找到對適當?shù)慕獯a器的說明。
圖3-5、6和9可看作是硬件或者軟件，其中方框是硬件或軟件模塊，方框之間的連線是實際電路或軟件流程。本文中所用的術(shù)語“編碼器”或“解碼器”指硬件或軟件模塊。類似地，示意圖中的加法器、減法器和其它部件可看作是硬件或軟件模塊。此外，不同的編碼器或解碼器可以是與其它編碼器或解碼器的相同的代碼產(chǎn)生的副本。
假設(shè)關(guān)于本發(fā)明所示的所有的編碼器和解碼器都是自包容的。它們不需要來自其它編碼器或解碼器的內(nèi)部處理結(jié)果。
圖3-5的編碼器為了提高效率，可以以流水線的方式操作。
通過閱讀本說明書，其他修改對所屬技術(shù)領(lǐng)域的技術(shù)人員顯而易見。這種修改可涉及在數(shù)字視頻編碼的設(shè)計、制造和使用中已知的其它特征，這些其它特征可以用來替代或者補充本文中已經(jīng)描述的那些特征。盡管本申請中已經(jīng)就特定的特征組合提出了權(quán)利要求，應(yīng)當明白，本申請公開的范圍也包括本文中明示或暗示的新穎特征或者新穎的特征組合、或者對它們的任何推廣，無論這種推廣是否解決了本發(fā)明所要解決的相同的部分或全部技術(shù)問題。申請人特此提請注意，在本申請或者從其衍生的任何申請的進行期間，可以就這種特征制定新的權(quán)利要求或者。
本文中所用的“包含”、“包括”、“含有”等字眼不應(yīng)被視為是排除其它的元素。本文中所用的單數(shù)詞“一個”、“一”不應(yīng)被視為排除多個元素。
圖10表示一個接收視頻輸入201并在1003輸出可縮放層BL、EL1、和EL2的處理器1001。這個實施例適合于本發(fā)明的軟件實施例。處理器1001用存儲器裝置1002來存儲代碼和/或數(shù)據(jù)。處理器1001可以是任何適當類型的，諸如信號處理器。存儲器1002也可以是任何適當類型的，包括磁性的、光學的存儲裝置、RAM等等。可以有一個以上的處理器和一個以上的存儲器。圖10的處理器和存儲器可以被集成在一個諸如電視機、電話機或計算機的更大的裝置中。前面所示的附圖中的編碼器和解碼器可以作為處理器1001和/或存儲器1002中的模塊而實現(xiàn)。圖3-5的多個編碼器可以作為單一編碼器模塊產(chǎn)生的副本而實現(xiàn)。
以下各頁表示為了實現(xiàn)圖8的實施例的用于一個標準H.264編碼器的配置文件。這個配置只是本領(lǐng)域技術(shù)人員為實現(xiàn)本發(fā)明所能設(shè)計的許多不同的配置中的一個示例。
2004皇家飛利浦電子股份有限公司#新輸入文件格式如下#<參數(shù)名>＝<參數(shù)值>#注釋##參看configfile.h中得到支持的參數(shù)名列表###########################################################################################文件##########################################################################################InputFile ＝ ″sequence_filename″ # 輸入序列，YUV4:2:0InputHeadecLength ＝ 0 #如果輸入文件有一個頭部，說明它的字節(jié)長度FramesToBeEncoded ＝ number_of_frames#要被編碼的幀的個數(shù)SourceWidta＝ width#以像素計的圖像寬度，必須是16的倍數(shù)SourceHeight ＝ height#以像素計的圖像高度，必須是16的倍數(shù)TraceFile ＝ ″trace.txt″ReconFile ＝ ″tec.yuv″OutputFile ＝ ″output_file.h264″###########################################################################################編碼器控制##########################################################################################IntraPeriod＝ 0 #I幀期間(0＝僅第一個)QPFirstFrame ＝ qp_value #第一個幀(幀內(nèi))的數(shù)量參數(shù)(0-51)QPRemaininqFrame ＝ qp_value #剩余幀的數(shù)量參數(shù)(0-51)FrameSkip ＝ 2 #在輸入中要被跳過的幀的個數(shù)(例如，每3幀將編碼2幀)UseHadamard＝ 1 #Hadamard變換(0＝不用，1＝用過)SearchRange＝ 32 #最大搜索范圍NumberRefeaenceFrames ＝ 2 #用于幀間運動搜索地在先幀的數(shù)量(1-5)MbLineIntraUpdate ＝ 0 #錯誤魯棒性(額外的幀內(nèi)宏塊更新)(0＝關(guān)，N每N個幀一個GOB被幀內(nèi)編碼)RandomIntraMBRefresh ＝ 0 #毎個圖像的強制的幀內(nèi)MBsInterSearch16×16 ＝ 1 #幀間塊搜索16*16(0＝禁用，1＝啟用)InterSearch16×8 ＝ 1 #幀間塊搜索16*8(0＝禁用，1＝啟用)InterSearch8×16 ＝ 1 #幀間塊搜索8*16(0＝禁用，1＝啟用)InterSearch8×8＝ 1 #幀間塊搜索8*8(0＝禁用，1＝啟用)InterSearch8×4＝ 1 #幀間塊搜索8*4(0＝禁用，1＝啟用)InterSearch4×8＝ 1 #幀間塊搜索4*8(0＝禁用，1＝啟用)InterSearch4×4＝ 1 #幀間塊搜索4*4(0＝禁用，1＝啟用)###########################################################################################錯誤彈性/分片##########################################################################################SliceMode ＝ 0 #分片模式(0＝關(guān)，1＝分片中固定的 的#mb 2＝分片中固定的#的字節(jié) 3＝使用回叫 4＝FMO)SliceArgument ＝ 50 #分片argument(argument為上述模式1和2)num_slice_groups_minusl＝ 0 #分片組數(shù)減1 0＝＝無FMO，1＝＝兩個分片組，等等FmoType＝ 0 #0分片交錯，1散布，2完全靈活的，數(shù)據(jù)在FmoConfigFileName#3由FmoTopLeftMB和FmoBottomRightMB定義的矩形，#(當前只有一個矩形分片組得到支持，即FmoNumSliceGroup＝1)#4-6演化分片組，F(xiàn)moNumSliceGroup-1，演化方法由#FmoChangeDirection和FmoChangeRate定義FmoTopLehtMB ＝ 24 #分片組的矩形形狀的左上MB，MB以光柵掃描順序計數(shù)FmoBottomRjghtMB ＝ 74 #分片組的矩形形狀的右下MBFmoChangeDjrection ＝ 1 #0框外順時針，光柵掃描或向右圖像滑入#1框外逆時針，逆光柵掃描或向左圖像滑入FmoChangeRate ＝ 4 #分片-組-改變-速率減1FmoConfigFjleName ＝ ″fmoconf.cfg″#尚未使用，用于將來的完全靈活的MBAmaps
UscRedundantSlice ＝ 0 #0不用，1每個分片使用一個冗余分片(尚不支持其它模式)###########################################################################################B幀##########################################################################################NumberBFramee ＝ 2 #被插的B幀的個數(shù)(0＝不用)QPBPicture＝ qpb_value #B幀的數(shù)量參數(shù)(0-51)OirectModeType＝ 1 #直接模式類型(0時間的 1空間的)###########################################################################################SP幀##########################################################################################SPPictureFeriodicity ＝ 0 #SP-圖像周期性(0＝不用)QPSPPicture ＝ 28 #用于預測錯誤的SP-圖像的數(shù)量參數(shù)(0-51)QPSP2Picture ＝ 27 #用于被預測塊的SP-圖像的數(shù)量參數(shù)(0-51)###########################################################################################輸出控制，NALs##########################################################################################SymbolMode＝ 1 #符號模式(熵編碼方法0＝UVLC，1＝CABAC)OutFileMode ＝ 0 #輸出文件模式，0Annex B，1RTPPartitionMode ＝ 0 #分區(qū)模式，0無DP 1每個分片3個分區(qū)###########################################################################################搜索范圍限制/RD優(yōu)化##########################################################################################RestrictSearchRange ＝ 2 #對(0塊和ref，1ref，2無限制)的限制RDOptimization＝ 1 #rd-優(yōu)化的模式?jīng)Q策(0關(guān)，1開，2有損失)LossRateA ＝ 10 #第一分區(qū)的通道的預期包損失率，僅當RDOptimization＝2時有效)LossRateB ＝ 0 #第二分區(qū)的通道的預期包損失率，僅當RDOptimization＝2時有效)LossRateC ＝ 0 #第三分區(qū)的通道的預期包損失率，僅當RDOptimization＝2時有效NumberOfDecoders ＝ 30 #用于模擬信道的解碼器的數(shù)目，只有當RDOptimization＝2時有效RestrictReEFrames ＝ 0 #不允許參考已經(jīng)在一個更晚的幀中被幀內(nèi)更新的區(qū)域###########################################################################################其他材料##########################################################################################UseConstrainedIntraPred ＝ 0 #如果1，幀間像素不用于幀內(nèi)宏塊預測LastFrameNumber ＝ 0 #需要被編碼的最后幀數(shù)(0無影響)ChangeQPP ＝ 16 #序列的第二部分的QP(P-幀)(0-51)ChangeQPB ＝ 18 #序列的第二部分的QP(B-幀)(0-51)ChangeQPStart ＝ 0 #序列的第二部分幀號(0無第二部分)AdditionallteferenceFrame ＝ 0 #要檢查的其它參考幀(news_a16；news_b，c24)NumberofLeakyBuckets ＝ 8 #漏桶數(shù)LeakyBucketRateFile ＝ ″leakybucketrate.cfg″#編碼器從中得到比率值的文件LeakyBucketParamFile ＝ ″leakybucketpacam.cfg″#編碼器存儲漏桶參數(shù)的文件InterlaceCodingOption ＝ 0 #(0幀編碼，1自適應(yīng)幀/半幀編碼，2半幀編碼，3mb自適應(yīng)f/f)NumberFramesInEnhancementLayerSubSequence ＝ 0 #增強的可縮放性層中幀的個數(shù)(0無增強的層)
NumberOfFrameInSecondIGOP＝ 0 #要在第二IGOP中編碼的幀的個數(shù)WeightedPrediction ＝ 0 #P圖像加權(quán)的預測(0＝關(guān)，1＝明示模式)WeightedBjprediction ＝ 0 #B圖像加權(quán)的預測(0＝關(guān)，1＝明示模式，2＝隱示模式)StoredBPictures ＝ 0 #存儲的B圖像(0＝關(guān)，1＝開)SparePictureOption ＝ 0 #(0無備用圖像信息，1＝備用圖像可用)SparePictureDetectionThr ＝ 6 #備用參考圖像檢測的閾值SparePicturePercentageThr＝ 92 #備用宏塊百分比閾值PicOrderCrtType ＝ 0 #(0POC模式0，1POC模式1，2POC模式2)###########################################################################################循環(huán)過濾器參數(shù)##########################################################################################LoopFilterParametersFlag ＝ 0 #配置循環(huán)過濾器(0＝忽略下面的參數(shù)，1＝參數(shù)被發(fā)送)LoopFilterDisable＝ 0 #在分片頭部中禁用循環(huán)過濾器(0＝過濾器，1＝無過濾器)LoopFilterAlphaCDOffset ＝ -2 #Alpha和CO補償div.2(-6，-5，...，0，+1，...+6)LoopFilterBetaOffset ＝ -1 #Beta補償div.2(-6，-5，...，0，+1，...+6)###########################################################################################CABAC上下文初始化##########################################################################################ContextInitMethod＝ 1 #上下文初始化(0固定，1自適應(yīng))FixedModelNumber ＝ 0 #幀間分片的固定決策的型號(0，1或2)
權(quán)利要求
1.一種視頻編碼器，包含用于接收輸入視頻信號(201)的裝置；至少一個用于從輸入視頻信號產(chǎn)生一個可縮放編碼的編碼器(303、310、320、420、430、540、810)，該編碼包含至少一個基礎(chǔ)編碼的信號(130)；一個增強編碼的信號(314)和一個額外增強編碼的信號(325、435、545)，其中，每個編碼器與至少一個標準兼容。
2.權(quán)利要求1的編碼器，其中，至少一個增強編碼的信號(314)提供SNR可縮放性，并且至少一個增強編碼的信號(325)提供空間可縮放性。
3.權(quán)利要求1的編碼器，其中，該至少一個編碼器包含至少三個相同的標準兼容編碼模塊。
4.權(quán)利要求1的編碼器，其中，所有的編碼器都在像素域中操作。
5.權(quán)利要求1的編碼器，其中，每個編碼器都是自包容的，使得對于每個編碼的層的生成，無需來自其它編碼器的內(nèi)部結(jié)果。
6.一種視頻編碼器，包含用于接收輸入視頻流(201)的裝置；和至少一個用于提供一個可縮放輸出視頻流的多個編碼的層的編碼器/解碼器對(303/303’、310/310’、420/420’、430/531、810/810’)，每個編碼器/解碼器對包含一個相應(yīng)的自包容的編碼器模塊(303、310、420、430、810)和一個相應(yīng)的自包容的解碼器模塊(303’、310’、420’、531、810’)，該解碼器模塊不同于編碼器模塊。
7.權(quán)利要求6的編碼器，其中，輸出視頻流包含至少三個編碼的層(130、314、325、435、545)。
8.權(quán)利要求6的編碼器，其中，編碼的層的至少一個(314、425、545)產(chǎn)生SNR可縮放性，編碼的層的至少另一個(325、435)產(chǎn)生空間可縮放性。
9.權(quán)利要求6的編碼器，其中，所有的編碼器/解碼器對都相同。
10.權(quán)利要求6的編碼器，其中，每個編碼器和每個解碼器都是自包容的，對于一個編碼的層的生成來說，無需在任何其它的編碼的層的生成中使用的任何內(nèi)部處理結(jié)果。
11.權(quán)利要求6的編碼器，進一步包含用于縮減(202)輸入視頻流以產(chǎn)生一個縮減的流的裝置；用于升級(306、406)從輸入視頻流中得到的信號以產(chǎn)生一個升級的流的裝置；其中，至少兩個編碼的層(130、314、425)是從縮減的流中得到的，至少一個編碼的層(325、435、545)是從升級的視頻流中得到的。
12.權(quán)利要求6的編碼器，包含至少三個編碼器/解碼器對，其中每個編碼器/解碼器對提供相應(yīng)的一個編碼的層。
13.權(quán)利要求12的編碼器，包含至少四個編碼器/解碼器對。
14.權(quán)利要求6的編碼器，進一步包含用于產(chǎn)生除基礎(chǔ)編碼的層以外的每個相應(yīng)的編碼的層的至少一個用于提供從輸入視頻流得出的信號與從一個在先編碼的層的解碼的版本中得到的信號之間的差(207、316、407、416、516)的裝置；用于把一個補償(209、319、408、418、508)加到所述差的結(jié)果以產(chǎn)生一個補償信號的裝置；用于為編碼提供該補償信號以產(chǎn)生相應(yīng)的編碼的層的裝置。
15.權(quán)利要求6的編碼器，其中，每個編碼器/解碼器對都是標準兼容的類型并且在像素域中操作。
16.權(quán)利要求6的編碼器，進一步包含開關(guān)裝置(s1、s2、s3)；至少一個用于提供補償(319、209)的裝置；其中只有一個單一的編碼器/解碼器對(810/810’)，并且連續(xù)的編碼層是由該單一的編碼器/解碼器對通過利用開關(guān)裝置和至少一個用于向來自在前編碼的反饋結(jié)果提供補償?shù)难b置而產(chǎn)生的。
17.一個用于提供可縮放的視頻編碼的編碼器，該編碼器包含用于接收一個單一的視頻輸入流(201)的裝置；至少一個在像素域中操作以從該視頻輸入中提供至少三個編碼的層的編碼器(303、310、320、420、430、540、810)，其中為了產(chǎn)生一個基礎(chǔ)層(130)，該至少一個編碼器對該單一視頻輸入流的一個縮減的版本操作；為了產(chǎn)生除第一層以外的每個層(314、325、425、435、545)，該至少一個編碼器被耦合用于接收一個相應(yīng)的差信號或一個從該相應(yīng)的差信號中得出的信號，該相應(yīng)的差信號代表該單一視頻輸入流的一個縮減的版本或者該單一視頻輸入流本身與一個先前編碼的層的解碼的版本或該先前編碼的層的解碼版本的一個升級版本之間的差。
18.權(quán)利要求17的編碼器，包含在把相應(yīng)的差信號施加到至少一個編碼器以產(chǎn)生下一個層之前向每個相應(yīng)的差信號提供一個補償(209、319、408、418、508)的裝置。
19.權(quán)利要求17的編碼器，其中，至少一個編碼的層(325、435)提供空間可縮放性，并且至少一個編碼的層(314、425、545)提供SNR可縮放性。
20.一種編碼方法，包含接收一個輸入視頻信號；編碼該視頻信號以產(chǎn)生一個SNR和空間可縮放的編碼，該編碼包含一個基礎(chǔ)編碼的信號和至少兩個增強編碼的信號，其中，編碼使用至少一個編碼器，每個編碼器都是與標準兼容的類型。
21.權(quán)利要求20的方法，其中，編碼使用至少一個編碼器/解碼器對。
22.權(quán)利要求20的方法，進一步包含縮減該輸入視頻信號以產(chǎn)生該視頻信號的一個縮減的版本；并且其中基礎(chǔ)編碼的信號至少一個增強編碼的信號是從該縮減的版本中產(chǎn)生的。
23.權(quán)利要求22的方法，進一步包含解碼基礎(chǔ)編碼的信號和至少一個增強編碼的信號，以產(chǎn)生解碼的基礎(chǔ)和增強信號；將解碼的基礎(chǔ)和增強信號相加，以產(chǎn)生一個總和解碼的信號；升級該總和解碼的信號，以產(chǎn)生一個升級的信號；編碼該升級的信號，以產(chǎn)生至少另一個增強編碼的信號。
24.一種用于解碼可縮放信號的解碼器，包含并行排列的至少第一、第二和第三標準兼容的解碼器(602、607、613)，第一解碼器(613)用于解碼一個基礎(chǔ)層編碼信號(130)并用于從中提供第一級解碼圖像，而至少第二和第三解碼器(602、607)用于解碼第一(314)和第二(325)增強層編碼信號。
25.權(quán)利要求24的解碼器，進一步包含第一加法器(611)，被耦合用于把來自或得自第一和第二解碼器的信號相加，并提供第二級解碼的圖像；和第二加法器(604)，被耦合用于把來自或得自第一加法器和第三解碼器的信號相加，并提供第三級解碼的圖像。
26.權(quán)利要求25的解碼器，進一步包含第一補償裝置(608)，被耦合在第二解碼器的輸出與第一加法器之間；第二補償裝置(618)，被耦合在第三解碼器的輸出與第二加法器之間。
27.權(quán)利要求26的解碼器，進一步包含用于升級的裝置(605)，其被耦合在第一加法器的輸出與第二加法器的輸入之間。
28.一種可被至少一個處理裝置讀取的介質(zhì)，包含用于實現(xiàn)功能模塊的代碼，這些功能模塊包括用于接收輸入視頻信號(201)的裝置；至少一個用于從輸入視頻信號產(chǎn)生可縮放編碼的編碼器(303、310、320、420、430、540、810)，該編碼包含至少一個基礎(chǔ)編碼的信號(130)；一個增強編碼的信號(314)和一個額外增強編碼的信號(325、435、545)，其中，每個編碼器與至少一個標準兼容。
29.一種可被至少一個處理裝置讀取的介質(zhì)，包含用于實現(xiàn)功能模塊的代碼，這些功能模塊包括用于接收輸入視頻流(201)的裝置；和至少一個用于提供可縮放輸出視頻流的多個編碼的層的編碼器/解碼器對(303/303’、310/310’、420/420’、430/531、810/810’)，每個編碼器/解碼器對包含一個相應(yīng)的自包容的編碼器模塊和一個相應(yīng)的自包容的解碼器模塊，該解碼器模塊不同于編碼器模塊。
30.一種可被至少一個處理裝置讀取的介質(zhì)，包含用于實現(xiàn)功能模塊的代碼，這些功能模塊包括用于接收一個單一的視頻輸入流(201)的裝置；至少一個在像素域中操作以從該視頻輸入中提供至少三個編碼的層的編碼器(303、310、320、420、430、540、810)，其中為了產(chǎn)生一個基礎(chǔ)層，該至少一個編碼器對該單一視頻輸入流的一個縮減的版本操作；為了產(chǎn)生除第一層以外的每個層，該至少一個編碼器被耦合用于接收一個相應(yīng)的差信號或一個從該相應(yīng)的差信號中得出的信號，該相應(yīng)的差信號代表該單一視頻輸入流的一個縮減的版本或者該單一視頻輸入流本身與一個先前編碼的層的解碼的版本或該先前編碼的層的解碼版本的一個升級版本之間的差。
31.一種可縮放視頻編碼的方法，包含接收一個單一的視頻輸入流；縮減該視頻輸入流，以產(chǎn)生一個縮減的流；編碼該縮減的流，以產(chǎn)生一個基礎(chǔ)編碼的層；編碼多個增強編碼的層，包括為每個增強編碼的層產(chǎn)生一個相應(yīng)的差信號，該相應(yīng)的差信號代表該縮減的流或該單一視頻輸入流與一個先前編碼的層的解碼的版本或該先前編碼的層的解碼版本的一個升級版本之間的差。
32.一種可被至少一個處理裝置讀取的介質(zhì)，包含用于實現(xiàn)功能模塊的代碼，這些功能模塊包括并行排列的至少第一、第二和第三標準兼容的解碼器(602、607、613)，第一解碼器(613)用于解碼一個基礎(chǔ)層編碼信號(130)并用于從中提供第一級解碼圖象，而至少第二和第三解碼器(602、607)用于解碼第一(314)和第二(325)增強層編碼信號。
全文摘要
一種SNR和空間可縮放視頻編碼器使用標準兼容的編碼單元來產(chǎn)生一個基礎(chǔ)層編碼信號和至少兩個增強層編碼的信號。基礎(chǔ)層和至少第一增強層是從縮減的信號中產(chǎn)生的。至少一個額外的增強層是從升級的信號中產(chǎn)生的。有益地，可以將一個單一的編碼器/解碼器對與反饋、開關(guān)和補償相結(jié)合地使用，以產(chǎn)生可縮放編碼的所有的層。模塊化設(shè)計允許任意數(shù)量的空間可縮放的編碼層或者SNR可縮放的編碼層，并且允許對除最后一層以外的所有層的糾錯，所有編碼器都在像素域中操作。也說明了解碼器。
文檔編號H04N7/46GK1890981SQ200480036569
公開日2007年1月3日 申請日期2004年12月8日 優(yōu)先權(quán)日2003年12月9日
發(fā)明者I·基倫科, T·特爾尤克 申請人:皇家飛利浦電子股份有限公司