專利名稱：以非同等錯誤保護對數(shù)據(jù)流進行編碼的制作方法
技術領域：
本發(fā)明涉及對數(shù)據(jù)流的編碼。本發(fā)明進一步涉及已編碼數(shù)據(jù)流的發(fā)送和接收。本發(fā)明特別的涉及一種使用非等同錯誤保護(UEP)的MPEG-4視頻編碼方法，更特別的涉及一種基于運動和/或紋理活動性(activity)的檢測來執(zhí)行UEP的方法和系統(tǒng)。
背景技術：
在無線通道上的視頻傳輸遭受比有線線路上的傳輸更多的錯誤傳輸。在無線通道中，達到10％的平均錯誤率是非常普通的，結(jié)果導致接收的視頻應用程序的質(zhì)量不可接受。因此應該意識到信道編碼是必須的以便將誤碼率降至可接受的水平。傳統(tǒng)的，在除去源冗余之后，根據(jù)諸如香農(nóng)分離定理(Shannon’s separation theorem)的技術，通過源壓縮方法獨立的執(zhí)行信道編碼。
然而，應該意識到如果給出所考慮的信道的特征在于在帶寬和延遲方面的嚴厲約束，并且如果以源壓縮方案給出殘留冗余，則聯(lián)合源信道編碼方法是可取的。更加精確的，信道編碼和解碼可利用該殘留冗余。因此考慮無線信道特征和應用程序特征的適當?shù)募夹g將被考慮。
尤其是，關于源比特對信道誤差的不同靈敏度的信息將通過非等同錯誤保護被使用。該技術由下列步驟組成根據(jù)源比特對誤差的感知靈敏度執(zhí)行錯誤保護通過較低速率的代碼來保護更加靈敏的比特，對于不重要的比特，則使用較高速率的代碼。
與傳統(tǒng)的前向糾錯相比，通過使用源的特征，UEP允許獲得給出相同比特率的高度感知的視頻質(zhì)量。這樣一種技術在Motorola的EP1018815中有介紹，其描述了在通信系統(tǒng)中處理用于傳輸?shù)男畔⒌姆椒ê脱b置。
該方法可有利的與在MPEG-4標準中可用的數(shù)據(jù)分割工具結(jié)合，如在MPEG-4視頻組“Overview of the MPEG-4 Standard”(ISO/IECJTC1/SC29/WG11 N3444，Geneva，20005-6月)中所述的其中包含在每個包中的信息位被分割成三個部分，每一個對于信道誤差具有不同的靈敏度。使用圖1中所示的例子，典型的P幀100包括由在標題101之前的包開始STRT組成的分段，由運動標識104分開的運動分段102和紋理分段103。類似的，對于I幀120，各分段包括標題121，由DC標識符124分開的DC分段122和AC分段123，可使用不同的碼率來保護該三個分段。根據(jù)相關信息的主觀重要性，該三個分段在每個例子中以不同的碼率來保護。
標題中包含的信息對于包的連續(xù)解碼是至關重要的，因此那些信息應受到重點保護。使用P幀的例子，應該意識到應該比紋理數(shù)據(jù)更注重保護運動數(shù)據(jù)，好像運動信息被正確的接收，紋理信息可被部分的重構，因為在沒有紋理信息的情況下解碼器仍然能執(zhí)行運動補償隱藏，而重構的圖像沒有太多的降級。
在這種方案的應用中的主要問題是這樣的事實類似分段，包不具有相同的長度，因此UEP方案對于每個包將是動態(tài)變化的并且需要知道每個分段長度。為了處理該問題，使用固定比例長度或從恰好插入到位流中的字段讀取的長度的技術在下列文獻中已經(jīng)有所建議M.G.Martini，M.Chiani編寫的“Proportional Unequal ErrorProtection for MPEG-4 Video Transmission”(2001年6月在赫爾辛基召開的IEEE International Conference onCommunications(ICC)2001(IEEE國際通信會議(ICC)2001)會報第1033-1037頁)和M.G.Martini，M.Chiani編寫的“Robust Transmissionof MPEG-4 VideoStart Codes Substitution and Length FieldInsertion Assisted Unequal Error Protection”(2001年4月在漢城召開的Picture Coding Symposium-PCS2001(圖像編碼研討會-PCS2001))。
雖然這些技術能夠保護運動數(shù)據(jù)較保護紋理數(shù)據(jù)多，但由于沒有對不同類型的運動或紋理數(shù)據(jù)實行補償，所以他們?nèi)匀淮嬖趩栴}。在場景的某些部分上的誤差，例如高速運動或高清晰區(qū)域，比較少活動的區(qū)域上的誤差更惱人，并且已知的技術不適于補償這種變化。因此需要保護高速運動和/或紋理活動的區(qū)域較低速活動區(qū)域多。

發(fā)明內(nèi)容
因此本發(fā)明提供一種使保護的等級適應包活動性的活動性檢測器和一種方法。理想的，該檢測器和方法適于在源編碼的域上工作。為此，本發(fā)明為編碼、傳輸提供如獨立權利要求所定義的數(shù)據(jù)流和存儲介質(zhì)。
本發(fā)明在MPEG-4視頻的無線傳輸領域是特別有利的。本發(fā)明者認識到具有高活動性的視頻包部分需要的保護比具有低活動性的那些區(qū)域多。例如，在P幀區(qū)域中，具有高活動和/或高紋理的分段需要的保護比具有低活動性的區(qū)域的那些部分多，于是對于I幀型區(qū)域，具有高DC和/或AC活動性的分段需要的保護比具有低活動性的那些分段多。通過應用認識到和適應于這種活動性等級的編碼方案，本發(fā)明為數(shù)據(jù)流提供一種改進的保護。
參照為本發(fā)明的典型例子的下列附圖，本發(fā)明的這些和其他特征將更容易理解。


圖1表示MPEG-4包的數(shù)據(jù)分割的例子；圖2表示根據(jù)本發(fā)明的包活動性偏差的量化；圖3表示根據(jù)本發(fā)明的傳輸系統(tǒng)；和圖4表示用于對使用本發(fā)明的方法編碼的數(shù)據(jù)流進行解碼的解碼系統(tǒng)。
具體實施例方式
圖1已經(jīng)示出根據(jù)MPEG-4對幀的數(shù)據(jù)分割。
視頻包方法所具體表現(xiàn)的是MPEG-4格式的已知整數(shù)，其中視頻包長度不是取決于塊的數(shù)量，相反而是取決于該包中所包含的比特的數(shù)量。如果當前視頻包中所包含的比特數(shù)超過一預定閾值，那么在下一塊的開始處產(chǎn)生一新的視頻包。
本發(fā)明提供一種利用該暗示的方法即與在運動和/或紋理方面更加活躍的區(qū)域相關的包包含較少數(shù)量的塊。使用P幀被分割成B個固定尺寸塊的例子，可以假設與當前幀有關的視頻包的數(shù)量為N。那么每個包中的塊的平均數(shù)量被給出為n‾=BN---(1)]]>其表示每包的平均運動和紋理活動性。因此，任何測量的MPEG-4視頻包的從平均值的活動性偏差被定義為Δα＝n-n (2)其中n為當前測量的包中包含的塊的實際數(shù)量。如果Δα＞0，但小于平均值，則當前包的特征在于具有比平均值大的活動性。
根據(jù)本發(fā)明，檢測當前包的活動性是否主要起因于運動或紋理的技術也可以被定義。
在使用MPEG-4編碼器對包含P幀的視頻序列已經(jīng)進行編碼之后，使NBF等于比特的總數(shù)，LTX和LVM分別表示與紋理和運動向量有關的編碼比特的總數(shù)。因此，紋理部分關于視頻包的平均運動為lTX‾=LTXNBF---(3)]]>而lMV‾=LMVNBF---(4)]]>為與相同的包比較的運動向量區(qū)域的平均部分。
通過忽略標題部分，下列公式成立lTX‾≅1-l‾MV---(5)]]>現(xiàn)在讓lTX=NBTXNBP---(6)]]>是與當前包相比較的紋理區(qū)域的活性部分，其中NBTX為與紋理相關的比特數(shù)，NBP為包長度，并且讓我們定義ΔTX=lTX-lTX‾---(7)]]>表示從當前包的紋理分段的平均值的偏差。
那么，如果ΔTX＞0，則包活動性主要取決于紋理，如果ΔTX＜0，則包活動性主要取決于運動。
為了使保護等級適應包的活動性，Δα的范圍可被量化。以這種方式，根據(jù)Δα落到的決定區(qū)域可定義不同的活動性偏差等級。
圖2表示對包活動性偏差進行量化的一個例子，并且應該意識到?jīng)Q定區(qū)域已經(jīng)被定義了，從而與平均值相比較，可以有(或正或負)低(L)或高(H)的活動性偏差。非偏差區(qū)域也已經(jīng)被定義，這意味著當前包的活動性與平均活動性值相當。
當發(fā)生顯著的活動性偏差(也就是Δα落在非偏差區(qū)域之外)時，紋理或運動活性的優(yōu)勢必須被檢測。合理固定一個閾值Δ′TX，使得如果ΔTX＞Δ′TX則所述活動性由紋理引起，于是如果ΔTX＜-Δ′TX則所述活動性由運動引起。假設如果|ΔTX|＜Δ′TX則不存在活動性優(yōu)勢，其中Δ′TX為用實驗方法確定的閾值。本領域技術人員應該意識到可通過許多方法中的一種來確定該閾值。例如，確定該閾值的一個可能方式為與非適應技術相比較使用相同數(shù)量的帶寬來使視頻質(zhì)量性能改進最大化以保護信息。該調(diào)諧可在多個測試序列上執(zhí)行。那么，該閾值的值可被不確定的用于將來應用。
現(xiàn)在讓我們設想根據(jù)為不同分割部分指定不同編碼速率的UEP技術，運動向量分割部分必須以速率RMV來保護，紋理分割部分以速率RTX被保護。
表1概括了使運動和紋理分段的保護適應包活動性的機理。
注意R1MV＜R2MV＜RMV＜R3MV＜R4MV，且R1TX＜R2TX＜RTX＜R3TX＜R4TX

表1根據(jù)分段活動性的保護等級。
應該意識到本發(fā)明另外提供一種指定給與紋理分段相對的運動的另外等級的保護使得RMV＞RTX。因此應該意識到本發(fā)明提供了一種保護等級體系，使得其中具有運動數(shù)據(jù)的分段受到的保護比具有紋理的那些分段多，并且具有高等級運動活性的那些分段受到的保護比具有較少活動性的那些分段多。
本領域技術人員應該意識到相同或相似的技術能被應用于幀內(nèi)。在這種情況下，DC DCT系數(shù)和AC系數(shù)分段必須被考慮用于活動性支配檢測，并且具有較高活動性的區(qū)域被指定比具有較少活動性的那些區(qū)域多的保護。
圖3表示根據(jù)本發(fā)明的用于對視頻序列進行編碼的傳輸電路300的示意圖。提供視頻序列vs作為向MPEG-4編碼器301的輸入，其中該視頻序列被分割成其組成位流bs和MPEG-4語法說明sd。位流和語法說明都被提供給平均值計算模塊302，其中塊的平均數(shù)n和紋理區(qū)域關于視頻包的平均部分lTX被計算。類似的位流和語法說明被提供給包值計算模塊303，其中當前包中的塊的實際數(shù)量(n)和與當前包相比較的紋理區(qū)域的實際部分(lTX)被測量。
然后紋理和活動性的平均值和實際值在紋理偏差304和活動性偏差305模塊中被計算。然后將偏差量與根據(jù)經(jīng)驗在保護適應模塊306中確定的量相比較，并且這將確定應用給每個分段的保護的類型。然后為每個分段計算的保護等級在信道編碼器307中被應用給各個位流和語法說明，所述信道編碼器307提供一個作為輸出的編碼位流cb。
然后使用多路復用器308使用語法說明(RMV，RTX，NBMV，NBTX)對該編碼的位流進行適當?shù)亩嗦窂陀?，并且然后該多路復用的信號被傳送?br> 圖4表示適于接收多路復用信號并且為了觀看的目的對它進行解碼的適當接收電路400的例子。位流被接收并且然后使用多路分用器(DEMUXER)401對其進行多路分用。使用信道編碼器402從其后被處理的編碼位流提取語法說明以便形成解碼位流。然后該解碼位流使用源解碼器403被轉(zhuǎn)換成用于顯示的視頻序列。應該意識到，根據(jù)本發(fā)明的應用于特定數(shù)據(jù)流類型的方法，上述過程還可使用一般的MPEG-4解碼器或可選擇的解碼器實現(xiàn)。
應該注意上述的實施例所說明的不應該是本發(fā)明的限制，本領域技術人員在不脫離后附權利要求的范圍的情況下可設計出許多可選擇實施例。在權利要求中置于括號中的任何參考標記不應構成對權利要求的限制。類似的，當在此關于本發(fā)明所使用的單詞“包括/包含(comprises/comprising)”和單詞“具有/包括(having/including)”被用于指定所陳述的特征、整數(shù)、步驟或組分的存在，但不排除其出現(xiàn)或附加有一個或多個其它的特征、整數(shù)、步驟、組分或組?？衫冒ㄈ舾煞N類不同的硬件和利用適當編程的計算機來執(zhí)行本發(fā)明。在列舉若干裝置的設備權利要求中，一個或多個這些裝置可通過一個和相同產(chǎn)品的硬件來體現(xiàn)。在彼此不同的從屬權利要求中陳述的某些測量的純粹事實并不表示不能有利的利用這些測量的結(jié)合。
權利要求
1.一種對數(shù)據(jù)流進行編碼的方法，該數(shù)據(jù)流包括具有至少一個被分段的包的幀，該方法包括步驟a)將所述至少一個包的活動性與所述幀的活動性等級進行比較以確定所述至少一個包的每個分段的錯誤保護率；和b)使用所述確定的錯誤保護率對各個分段進行編碼；和c)輸出具有以不同錯誤保護率編碼的至少一個包的各個分段的輸出數(shù)據(jù)流。
2.如權利要求1所述的方法，其中通過測量包中的塊的數(shù)量并將該測量的塊數(shù)與幀中的每個包的平均塊數(shù)進行比較來確定包的活動性。
3.如權利要求2所述的方法，其中在將測量的實際塊數(shù)與平均塊數(shù)進行比較時，計算一偏差值，并且將該偏差值與預定的活動性偏差等級進行比較以便確定應用給包中的分段的適當?shù)腻e誤保護率。
4 如前述任何一個權利要求所述的方法，進一步包括測量包中的活動性是否由運動或紋理引起的步驟，該方法包括步驟a)確定紋理部分關于所述幀的平均值，b)確定紋理部分關于至少一個包的實際值，c)確定測量的實際值和平均值之間的差異，d)如果實際值大于平均值，則指定主要由紋理引起的包活動性。
5.根據(jù)權利要求1至3中任何一個所述的方法，進一步包括測量包中的活動性是否由DC或AC分量引起的步驟，該方法包括步驟a)確定DC分量部分關于幀的平均值；b)確定DC分量部分關于所述至少一個包的實際值；c)確定測量的實際值和平均值之間的差異；和d)如果實際值大于平均值，則指定主要由DC分量引起的包活動性。
6.根據(jù)前述任何一個權利要求所述的方法，其中所述數(shù)據(jù)流為MPEG-4數(shù)據(jù)流。
7.一種用于對數(shù)據(jù)流進行編碼的編碼器，該數(shù)據(jù)流包括具有至少一個被分段的包的幀，該系統(tǒng)包括a)從所述幀形成一第一和一第二數(shù)據(jù)段的裝置；b)為所述幀的第一和第二數(shù)據(jù)段的活動性求平均值的裝置；c)為所述幀中的至少一個包的每一個的第一和第二數(shù)據(jù)段的活動性計算實際值的裝置；d)將從步驟b和c得到的值進行比較的裝置；e)通過對所述至少一個包中的每一個施加一錯誤保護率而對所述幀進行編碼的裝置，為所述至少一個包中的每一個選擇的錯誤保護率是在步驟d的輸出的基礎上選擇的。
8.一種包括幀的數(shù)據(jù)流，所述幀具有至少一個被分段的包，該包的分段根據(jù)各個分段的活動性以不同的錯誤保護率來保護。
9.一種在其上已經(jīng)存儲如權利要求8所述的數(shù)據(jù)流的存儲介質(zhì)。
全文摘要
披露了一種適于在封包幀中檢測各個分段的活動性的方法。該方法為具有較高活動性的數(shù)據(jù)流的那些部分提供的編碼比具有較低活動性的那些部分多。這使得能夠根據(jù)所述數(shù)據(jù)流的特定部分中的數(shù)據(jù)的重要性來進行區(qū)別錯誤保護(非同等錯誤保護)。
文檔編號H04L1/00GK1633815SQ03804061
公開日2005年6月29日 申請日期2003年1月20日 優(yōu)先權日2002年2月18日
發(fā)明者S·奧里維里 申請人:皇家飛利浦電子股份有限公司