專利名稱：用于對使用多個層的多媒體數(shù)據(jù)進行可縮放編碼及解碼的系統(tǒng)及方法
技術領域：
本發(fā)明涉及可包含音頻數(shù)據(jù)、視頻數(shù)據(jù)或兩者的多媒體數(shù)據(jù)的可縮放編碼及解碼。更特定來說，本發(fā)明涉及用于對使用多個層的多媒體數(shù)據(jù)進行可縮放編碼及解碼的系統(tǒng)及方法。
背景技術：
國際電信聯(lián)盟(ITU)已公布數(shù)字視頻編碼的H. 261、H. 262、H. 263及H. 264標準。這些標準規(guī)定經(jīng)編碼數(shù)字視頻數(shù)據(jù)的語法及如何解碼這一數(shù)據(jù)以供呈現(xiàn)或重放。然而，這些標準允許以靈活方式使用各種不同的技術(例如，算法或壓縮工具)將數(shù)字視頻數(shù)據(jù)從未壓縮格式變換為經(jīng)壓縮或經(jīng)編碼格式。因此，目前有許多不同的數(shù)字視頻數(shù)據(jù)編碼器可用。這些數(shù)字視頻編碼器能夠以各種成本及質量水平實現(xiàn)各種程度的壓縮。可縮放視頻編碼產(chǎn)生用于編碼視頻數(shù)據(jù)的多個層，例如，基礎層及增強層。所述兩層通常在具有不同傳輸特性的不同信道上傳輸，從而導致不同的包錯誤率。所述基礎層通常具有與所述增強層相比時較低的包錯誤率。所述基礎層通常含有最有價值的信息且所述增強層通常提供對所述基礎層的完善。多數(shù)可縮放視頻壓縮技術利用了如下事實與圖像的更單調(diào)、低頻率區(qū)域相比人類視覺系統(tǒng)更易于忽略高頻率去中的噪聲(由于壓縮所致)。因此，所述基礎層主要地含有低頻率信息且所述增強層主要地含有高頻率信息。當網(wǎng)絡帶寬不足時，有較高的可能僅接收經(jīng)編碼視頻的基礎層(無增強層)。在這種情況中，經(jīng)重構視頻是模糊不清的且解塊濾波器甚至可能加重這種效果。解碼器通常解碼所述基礎層或所述基礎層及所述增強層。當解碼所述基礎層及所述增強層時，與單層解碼器相比多層解碼器通常需要增加的計算復雜性及存儲器。由于所述增加的計算復雜性及存儲器需要所致許多移動裝置不利用多層解碼器。

發(fā)明內(nèi)容
處理與多個層相關聯(lián)的多媒體數(shù)據(jù)的方法可包括確定基礎層殘留。如果所述基礎層殘留的非零系數(shù)的數(shù)量或所述基礎層殘留的零系數(shù)的數(shù)量中的至少一者滿足第一選定條件，則可實施層間預測以產(chǎn)生增強層殘留。所述第一選定條件可以是所述基礎層殘留的非零或零系數(shù)的數(shù)量大于、小于或等于閾值。如果所述基礎層殘留的非零系數(shù)的數(shù)量或所述基礎層殘留的零系數(shù)的數(shù)量中的至少一者滿足第二選定條件，則可實施時間預測以產(chǎn)生所述增強層殘留。所述第二選定條件可以是所述基礎層殘留的非零或零系數(shù)的數(shù)量大于、小于或等于閾值。本發(fā)明揭示一種使用基礎層預測增強層的方法。多媒體數(shù)據(jù)塊可用于產(chǎn)生包括多個基礎量化系數(shù)的基礎殘留。所述多媒體數(shù)據(jù)塊還可用于產(chǎn)生包括多個增強量化系數(shù)的增強殘留?；谒龆鄠€基礎量化系數(shù)可確定第一值，且基于所述多個增強量化系數(shù)可確定 第二值?？赏ㄟ^使用所述多個基礎量化系數(shù)或所述多個增強量化系數(shù)中的至少一者確定所述增強層。解碼多媒體位流的方法可包括接收具有基礎層及增強層的多媒體位流。所述基層可經(jīng)解碼以確定是使用層內(nèi)預測或還是應用層間預測解碼所述增強層。


結合附圖閱讀下文的詳細闡釋將更易于了解本發(fā)明的特征、目的及優(yōu)點。圖I是用于編碼及解碼多媒體數(shù)據(jù)的系統(tǒng)的框圖；圖2是H. 264視頻數(shù)據(jù)位流的框圖；圖3是具有層間預測的多層可縮放編碼器的框圖；圖4模式?jīng)Q策模塊(MDM)的流程圖，所述模式?jīng)Q策模塊可以是圖3的預測模塊的一部分；圖5是變換+熵編碼模塊(TECM)的流程圖，所述變換+熵編碼模塊可以是圖3的預測模塊的一部分；圖6是圖解在宏塊基礎或塊基礎上的層間預測的流程圖；圖7顯示變換域中的六個4x4塊以圖解在dct逐系數(shù)基礎上的層間預測。圖8圖解在dct逐系數(shù)基礎上的層間預測的方法。圖9是使用層內(nèi)預測或層間預測解碼多媒體位流的方法的流程圖；及圖10具有層內(nèi)預測及層間預測的解碼器的框圖。
具體實施例方式現(xiàn)將參考所述圖示闡述實施本發(fā)明的各個特征的實施例的系統(tǒng)及方法。提供所述圖示及相關聯(lián)說明是為了圖解本發(fā)明的某些實施例而非限制本發(fā)明的范圍。在所有圖示中，重復使用各個參考編號以指示所參考元件之間的一致性。此外，每一參考編號的第一位數(shù)字指示所述元件第一次出現(xiàn)的圖示。圖I是編碼及解碼多媒體(例如，視頻、音頻或兩者)數(shù)據(jù)的系統(tǒng)100的框圖。系統(tǒng)100可經(jīng)配置以編碼(例如，壓縮)及解碼(例如，解壓縮)視頻數(shù)據(jù)(例如，圖片及視頻幀)。系統(tǒng)100可包括服務器105、裝置110及將服務器105連接到裝置110的通信信道115。系統(tǒng)100可用于圖解下文所述的用于編碼及解碼視頻數(shù)據(jù)的方法。系統(tǒng)100可由硬件、軟件、固件、中間件、微碼或其任一組合實施。一個或多個元件可被重排及/或組合，且其他系統(tǒng)可用于替代系統(tǒng)100，同時仍維持本發(fā)明的精神及范圍。額外元件可添加到系統(tǒng)100或可從系統(tǒng)100移除，同時仍維持本發(fā) 明的精神及范圍。服務器105可包括處理器120、存儲媒介125、編碼器130及I/O裝置135 (例如，收發(fā)器)。處理器120及/或編碼器130可經(jīng)配置以接收呈一系列視頻幀形式的視頻數(shù)據(jù)。處理器120及/或編碼器130可以是高級RISC機器(ARM)、控制器、數(shù)字信號處理器(DSP)、微處理器或能夠處理數(shù)據(jù)的任一其他裝置。處理器及/或編碼器130可將所述系列的視頻幀傳輸?shù)酱鎯γ浇?25進行存儲及/或可編碼所述系列的視頻幀。存儲媒介125還可存儲由處理器120及/或編碼器130使用以控制服務器105的操作及功能的計算機指令。存儲媒介125可表示用于存儲所述視頻數(shù)據(jù)的ー個或多個裝置及/或用于存儲信息的其他機器可讀媒介。術語“機器可讀媒介”包括(但不限干)隨機存取存儲器(RAM)、閃速存儲器、(只讀存儲器)ROM、EPROM、EEPR0M、寄存器、硬盤、可拆卸磁盤、CD-ROM、DVD、無線信道及能夠存儲、包含或負載指令及/或數(shù)據(jù)的各種其他媒介。使用從存儲媒介125所接收的計算機指令，編碼器130可經(jīng)配置以實施所述系列視頻幀的平行及串行處理(例如，壓縮)兩者?？扇缦挛姆椒ㄖ兴鰧嵤┧鲇嬎銠C指令。一旦編碼了所述系列的幀，則可將所述經(jīng)編碼數(shù)據(jù)發(fā)送到I/o裝置135以經(jīng)由通信信道115傳輸?shù)窖b置110。裝置110可包括處理器140、存儲媒介145、解碼器150及I/O裝置155 (例如，收發(fā)器)及顯示裝置或屏幕160。裝置110可以是計算機、數(shù)字錄像機、手持裝置(例如，蜂窩式電話、黑莓手機(Blackberry)等)、機頂盒、電視機及能夠接收、處理(例如，解壓縮)及/或顯示一系列視頻幀的其他裝置。I/O裝置155接收所述經(jīng)編碼數(shù)據(jù)且將所述經(jīng)編碼數(shù)據(jù)發(fā)送到存儲媒介145及/或解碼器150以供解碼。解碼器150經(jīng)配置以使用所述經(jīng)編碼數(shù)據(jù)再產(chǎn)生所述系列的視頻幀。一旦經(jīng)解碼，則所述系列的視頻幀可存儲于存儲媒介145中。使用從存儲媒介145所檢索的計算機指令，解碼器150可經(jīng)配置以實施所述經(jīng)編碼數(shù)據(jù)的平行及串行處理(例如，解壓縮)兩者以再產(chǎn)生所述系列的視頻幀?？扇缦挛姆椒ㄖ兴鰧嵤┧鲇嬎銠C指令。處理器140可經(jīng)配置以從存儲媒介145及/或解碼器150接收所述系列的視頻幀且將所述系列的視頻幀顯示于顯示裝置160上。存儲媒介145還可存儲由處理器140及/或解碼器150使用以控制裝置110的操作及功能的計算機指令。通信信道115可用于在服務器105與裝置110之間傳輸所述經(jīng)編碼數(shù)據(jù)。通信信道115可以是有線連接或有線網(wǎng)絡及/或無線連接或無線網(wǎng)絡。舉例來說，通信信道115可包括因特網(wǎng)、同軸電纜、光纖線路、衛(wèi)星鏈路、陸地鏈路、無線鏈路、能夠傳播信道的其他媒介及其任ー組合。圖2是H. 264視頻數(shù)據(jù)位流200的框圖。位流200可組織或分割為多個存取單元205 (例如,存取單元I、存取單元2、存取單元3等)。姆一存取單元205可包括對應于經(jīng)編碼視頻幀的信息。每一存取単元205可組織或分割為多個NAL単元210。每ー NAL単元210可包括NAL前綴215、NAL標頭220及數(shù)據(jù)塊225。NAL前綴215可以是指示數(shù)據(jù)塊225的開始處的一系列位(例如，00000001)，且NAL標頭220可包括NAL單元類型230 (例如，I、P或B幀)。數(shù)據(jù)塊225可包括標頭235及數(shù)據(jù)240。數(shù)據(jù)塊225可組織或分割為16x16的數(shù)據(jù)宏塊、整幀數(shù)據(jù)或所述視頻數(shù)據(jù)的一部分(例如，2x2塊或4x4塊)。術語“宏塊”及“塊”可相互替代地使用。標頭135可包括模式245、參考圖列表250及QP值255。模式245可向編碼器130指示如何組織或分割所述宏塊、如何確定及傳輸運動信息及如何確定及傳輸殘留信息。數(shù)據(jù)240可包括運動信息(例如，運動向量285)及殘留信息(例如，DC 260及AC 265殘留)。對于I幀來說，數(shù)據(jù)240可包括DC殘留260及AC殘留265。AC殘留265可包括編碼塊模式(CBP)值270、拖尾I的數(shù)量275及殘留量化系數(shù)280。對I幀來說，可不需要運動信息，這是因為其是第一幀。對于P及B幀來說，數(shù)據(jù)240可包括運動向量285、DC殘留290及AC殘留295。圖3是多層可縮放編碼器130的基礎層編碼模塊300及增強層編碼模塊305的框 圖。多層編碼引入多個時間預測環(huán)路。舉例來說，雙層編碼可引入兩個時間預測環(huán)路?？稍谒鰞蓚€層之間共享視頻數(shù)據(jù)以允許針對所述兩個層的某一位指派及降低開銷。層間預測可用于所述增強層處以降低總編碼開銷。基礎層編碼模塊300可用于所述基礎層視頻且增強層編碼模塊305可用于所述增強層視頻。在一些實施例中，所述基礎層視頻可與所述增強層視頻是相同的或近似相同的。在基礎層編碼模塊300及增強層編碼模塊305接收之前可編碼視頻數(shù)據(jù)?？稍谳斎?10及315處提供經(jīng)編碼視頻數(shù)據(jù)?；A層編碼模塊300可包括變換(Tb)模塊320、量化(Qb)模塊325、逆變換(T;1)模塊330及逆量化(Q;1)模塊335。增強層編碼模塊305可包括變換(Te)模塊340、量化(Qe)模塊345、逆變換( ；—1)模塊350及逆量化(QeT1)模塊355。量化模塊325、335、345及355可包括ー個或多個可用于確定所得圖像的質量的的量化參數(shù)。一般來說，用于基礎層編碼模塊300的量化參數(shù)大于用于增強層編碼模塊305的量化參數(shù)。較大量化參數(shù)指示較低質量的圖像?；A層編碼模塊300可產(chǎn)生用于所述基礎層的殘留信息360，且增強層編碼模塊305可產(chǎn)生用于所述增強層的殘留信息365?；A層編碼模塊300及增強層編碼模塊305還可分別包括預測模塊370及375。預測模塊370及375可組合為單個預測模塊。預測模塊370及375可用于實施所述多媒體數(shù)據(jù)的層內(nèi)及層間編碼。對于I幀來說，所述經(jīng)解碼基礎層可用作所述增強層的參考。對于P及B幀來說，通過運動補償ー個或多個先前幀計算出的經(jīng)組配的基礎幀和參考可用于所述增強層。層間預測可實施于宏塊基礎上、塊基礎上(例如，4x4塊基礎上)或dct系數(shù)基礎上。對于P或B幀中的每一宏塊來說，可依據(jù)諸如層間預測或層內(nèi)預測(例如，時間預測)。如果使用層間預測，則可通過使用經(jīng)組配的基礎層宏塊來預測增強層宏塊。在ー些實施例中，預測誤差可經(jīng)編碼且然后傳輸?shù)浇獯a器150。如果使用時間預測，則可通過將來自ー個或多個先前幀及/或隨后幀的一個或多個宏塊用作參考及使用(例如，復制)來自所述基礎層及宏塊模式信息及運動向量來預測增強層宏塊。圖4是模式?jīng)Q策模塊(MDM) 400的流程圖，其可以是圖3的預測模塊370及375的一部分。MDM 400可包括運動估計模塊405及決策模塊410。MDM 400可由處理器120及/或編碼器130實施。運動估計模塊405產(chǎn)生用于各種模式的所述增強層的運動信息(例如，運動向量)?？赏ㄟ^使用來自所述基礎層及所述增強層的信息(例如，運動向量及殘留)確定所述模式。數(shù)種模式存在于H. 264運動估計中。舉例來說，模式“a”可以是16x16宏塊(輸出MVx及MVy)，模式“b”可以是兩個8x16塊或兩個16x8塊(每一分區(qū)輸出MVxIMVy)，且模式“c”可以是四個8x8塊(每一分區(qū)輸出8x8子分區(qū)模式及每一子分區(qū)輸出MVx及MVy)。每一宏塊及每ー塊可具有其特有的運動信息。對于雙層編碼來說，數(shù)種模式允許位指派的大量靈活性。在某些模式中，與所述基礎層相比因為更高質量的增強層視頻所以所述增強層產(chǎn)生更精確的運 動向量。在雙層編碼中，所述基礎層及所述增強層兩者可均使用對應于所述基礎層的相同運動信息?？赏ㄟ^使用所預測宏塊且從當前宏塊減去其而產(chǎn)生殘留信息。編碼器130可選擇跳躍模式，其為層內(nèi)預測模式。在所述跳躍模式中，編碼器130不將任何關于所述當前宏塊或塊的運動及殘留信息傳輸?shù)浇獯a器150。所述當前塊的運動信息可從ー個或多個相鄰塊得到。在一個模式中，編碼器130可傳輸運動信息且可不傳輸殘留信息。此可通過將編碼_塊_模式設置為O而完成。在H. 264標準中，當將編碼_塊_模式設置為O時，所有變換系數(shù)為O。當編碼_塊_模式=O時，解碼器150被通知編碼器130沒有正在發(fā)送任何殘留信息。為編碼所述編碼_塊_模式值，可將如表I中所示的代碼編號指派給所述編碼_塊_模式?？墒褂肊xp-Golomb代碼編碼所述代碼編號。解碼器150可從編碼器130接收如表I中所示的代碼編號。
代碼編號 I編碼—塊—模式I位串
0OI
116010
2I011
3200100
4400101
5800110表I決策模塊410可選擇模式，所述模式影響各種因素，例如，編碼運動信息的位成本、編碼效率、運動精確性、開銷、性能、速率-失真優(yōu)化等。一種模式可能產(chǎn)生所述基礎層的更好的結果，同時另ー種模式可能產(chǎn)生所述增強層的更好的結果。因此，可能需要進行某些折衷以實現(xiàn)所述基礎層及所述增強層兩者的“最佳模式”或“最優(yōu)模式”。如果同一模式產(chǎn)生所述基礎層及所述增強層兩者的最佳結果，則不需要任何折衷。可基于(例如)速率失真優(yōu)化選擇所述最佳模式，這是因為所述速率失真優(yōu)化表示運動精確性與編碼運動信息的位成本之間的最佳折衷。為優(yōu)化目的，決策模塊410可利用TECM 500 (參閱圖5)。所述模式可向處理器120及/或編碼器130提供一組方針、函數(shù)、指令、參數(shù)、例程或其任ー組合以實施所述視頻數(shù)據(jù)的編碼。下述說明提供三種不同模式(a、b及c)的實例。假定所述基礎層在模式a下具有最佳性能，且所述增強層在模式b下具有最佳性能。如果決策模塊410選擇模式a，則在所述增強層處引入ARa enh開銷，且在所述基礎層處不引入開銷。如果決策模塊410選擇模式b，則在所述基礎層處引入Λ Rb base開銷，且在所述增強層處不引入開銷。如果決策模塊410選擇模式C，則在所述基礎層處引入Λ Rebase開銷，且在所述增強層處引入AR。_開銷。根據(jù)這些變化，可確定對每ー模式來說每ー層的開銷的成本?？扇缦麓_定兩層的總成本。標準I :如果所述總成本定義為C = Λ Rxbase，其中X可以是a、b及C，則所述基礎層具有最高編碼效率且所述增強層的結果是不重要的。標準2 :如果所述總成本定義為C=A Rx _，其中X可以是a、b及C，則所述增強層具有最高編碼效率且所述基礎層的結果是不重要的。標準3:如果所述總成本定義為C= ARxbasノ2+ARx _/2，其中X可以是a、b及C，則平等地或類似地對待所述基礎層及所述增強層兩者。標準4 :如果用于整個基礎層幀的總開銷應不大于5%，則可確定在宏塊基礎上的所定義需要。舉例來說，當編碼所述基礎層的宏塊j時，所允許的開銷的上界可計算為上界=(BJ_1-EJ_1+bJ)*5% -Ey，其中B^1是編碼先前j-Ι宏塊所使用的位的總數(shù)量，Ef1是在B^1中的開銷位，且h是在所述基礎層的最佳模式下編碼宏塊j時所使用的位。在編碼宏塊j之后，Bj及Ej可更新用于隨后的宏塊。 圖5是變換+熵編碼模塊(TECM) 500的流程圖，其可以是圖3的預測模塊370及375的一部分。TECM 500可包括基礎層編碼模塊505、解碼模塊510、檢驗模塊515、層間預測模塊520及時間預測模塊525。TECM 500可由處理器120及/或編碼器130實施。TECM500使用所述經(jīng)編碼基礎層預測所述增強層?；A層編碼模塊505可用于確定所述基礎層的運動信息(例如，運動向量)。解碼模塊510可用于層間預測之前解碼所述經(jīng)編碼基礎層。檢驗模塊515可用于確定經(jīng)變換基礎層殘留中零及/或非零系數(shù)的數(shù)量。依據(jù)所述系數(shù)，可選擇層間預測(520)或時間預測(525)以預測所述增強層。圖6是圖解在宏塊基礎上或塊基礎上的層間預測的流程圖。層間預測可實施于宏塊基礎上或塊基礎上(也就是，所述宏塊(例如，4x4塊基礎上)的任何部分)。對于4x4塊基礎或2x2塊基礎上的層間預測來說，來自所述基礎層中的宏塊的運動信息及/或殘留信息可用于確定是使用層間預測還是時間預測?；A層編碼模塊505可確定所述基礎層的運動信息及殘留信息￠05)?；A層編碼模塊505還可獲得用于所述增強層的參考(例如，宏塊或幀)?；A層編碼模塊505可確定所述基礎層的殘留信息的非零或零系數(shù)的數(shù)量(610)。如果來自所述基礎層的殘留信息含有多于來自所述增強層的參考的信息，則所述基礎層內(nèi)的殘留信息可用于所述增強層。檢驗模塊515可確定非零及零系數(shù)的數(shù)量是否滿足選定條件(615)。舉例來說,檢驗模塊515可檢查所述基礎層的所述殘留信息以確定非零系數(shù)的數(shù)量是否大于、小于或等于閾值(T)或零系數(shù)的數(shù)量是否大于、小于或等于閾值(T)。如果所述殘留信息包括所有非零系數(shù)或一些非零系數(shù)，則所述基礎層中的所述殘留信息可用于所述增強層，且編碼器130可使用層間預測來預測所述增強層中的宏塊(625)。如果所述殘留信息包括所有零或ー些零，則所述基礎層中的所述殘留信息可能不能用于所述增強層，且編碼器130可使用時間預測來預測所述增強層中的宏塊￠20)。編碼器130可將所述經(jīng)編碼宏塊或經(jīng)編碼塊傳輸?shù)浇獯a器150(630)。圖7顯示變換域中的六個4x4塊以圖解在dct逐系數(shù)基礎上的層間預測，且圖8圖解在dct逐系數(shù)基礎上的層間預測的方法。頂行包括所述基礎層經(jīng)運動補償預測(MCP)或參考塊700、殘留塊705及經(jīng)重構塊710。底行包括所述增強層的MCP或參考塊715、殘留塊720及重構塊725。圖中顯示MCP及殘留塊700、705、715及720已從空間(例如，像素)域轉換到變換(例如，頻率)域(805)。MCP塊700可是通過使用所述基礎層中的運動信息所產(chǎn)生。重構塊710可以是通過使用來自MCP及殘留塊700及705的系數(shù)所形成。重構塊725可以是使用(例如，復制)來自重構塊710的系數(shù)所形成。所述層間預測可實施于所述基礎層的殘留塊705的非零系數(shù)上。在圖7中，f μ:表示MCP塊700中的系數(shù)，且Et+1表示殘留塊705中的經(jīng)編碼非零系數(shù)。重構塊710的重構系數(shù)可由 表示且可用于層間預測。所述增強層的相同位置處的重構系數(shù)
可可以是所述基礎層的重構系數(shù)的副本。如果Et+1 = O或近似0，則所述系數(shù)可能不能用于所述增強層且時間預測模塊525可實施時間預測以通過使用MCP塊715及殘留塊720產(chǎn)生重構塊725。如果Et+1ホO或近似0，則所述系數(shù)可用于所述增強層且層間預測模塊520可使用所述系數(shù)實施層間預測。因此，可從所述基礎層復制用于所述增強層的重構系數(shù)。還可將每一系數(shù)與閾值相比較以確定是使用層間預測還是時間預測。可將用于所述增強層的系數(shù)從編碼器130發(fā)送到解碼器150。術語“編碼塊模式(CBP) ”是指宏塊中的所有非零系數(shù)的總和。使用殘留宏塊705中的殘留系數(shù)，層間預測模塊520可確定用于所述基礎層的CBP(CBPb) (810)。使用殘留宏 塊720中的殘留系數(shù)，層間預測模塊520可確定用于所述增強層的CBP(CBPe) (815)。如果CBPb = O或CBPb < T (閾值)，則層間預測模塊520可將殘留宏塊705中的所有系數(shù)指派為零(820)且可將殘留宏塊720傳輸?shù)浇獯a器150(825)。在某些實施例中，T可以是4(或近似為4)，其中可通過基于宏塊705中殘留系數(shù)的位置的殘留系數(shù)的線性總和或經(jīng)加權總和確定所有非零系數(shù)的總和。如果CBPb+CBPeホO,則層間預測模塊520可使用所述基礎層及所述增強層的殘留 系數(shù)確定最小量化系數(shù)(830)。舉例來說，可使用方程MQC(i，j) =_min[Cb(i，j)，Ce(i，j)]確定最小量化系數(shù)，其中C6可以是所述增強層的殘留系數(shù)，且Cb可以是所述基礎層的殘留系數(shù)。層間預測模塊520可將所述MQC(i，j)傳輸?shù)浇獯a器150(835)。如果Ce(i，j)的符號デCb(i, j)的符號，則層間預測模塊520可將所述基礎層的所有殘留系數(shù)(Cb(i，j))指派為零(840)且可將所述增強層的所有殘留系數(shù)(Ce(i，j))傳輸?shù)浇獯a器150(845)。圖9是使用層內(nèi)預測或層間預測解碼多媒體位流的方法900的流程圖。處理器140可接收具有基礎層及增強層的多媒體位流(905)。解碼器150可解碼所述基礎層以確定應該使用層內(nèi)預測還是層間預測來解碼所述增強層(910)。所述基礎層可包括多個基礎層系數(shù)。在某些實施例中，為確定應該使用層內(nèi)預測還是層間預測來解碼所述增強層，解碼器150可確定所述多個基礎層系數(shù)是否包括至少ー個非零系數(shù)。如果所有所述多個基礎層系數(shù)均具有零值，則解碼器150可使用層內(nèi)預測解碼所述基礎層，且如果所述多個基礎層系數(shù)中的至少ー者具有非零值，解碼器150可使用層間預測解碼所述基礎層。圖10是具有層內(nèi)預測及層間預測的解碼器1000的框圖。解碼器1000可以是處理器140及/或解碼器1500的一部分且可用于實施圖9的方法。解碼器1000可由硬件、軟件、固件、中間件、微碼或其任一組合實施。解碼器1000可包括決策模塊1005、層內(nèi)預測模塊1010及層間預測模塊1015。決策模塊1005可接收具有基礎層及增強層的多媒體位流，且可解碼所述基礎層以確定應該使用層內(nèi)預測還是層間預測解碼所述增強層。層內(nèi)預測模塊1010可用于使用層內(nèi)預測解碼所述增強層。層間預測模塊1015可用于使用層間預測解碼所述增強層。在本發(fā)明的某些實施例中，掲示一種處理與多個層相關聯(lián)的多媒體數(shù)據(jù)的設備。所述設備可包括用于確定基礎層殘留的裝置。所述用于確定基礎層殘留的裝置可以是處理器120、編碼器130、基礎層編碼模塊300、增強層編碼模塊305、預測模塊370及375、運動估計模塊405、決策模塊410及/或基礎層編碼模塊505。所述設備可包括用于如果所述基礎層殘留的非零系數(shù)的數(shù)量或所述基礎層殘留的零系數(shù)的數(shù)量中的至少ー者滿足第一選定條件則實施層間預測以產(chǎn)生增強層殘留的裝置。所述用于實施層間預測的裝置可以是處理器120、編碼器130、基礎層編碼模塊300、增強層編碼模塊305、預測模塊370及375、基礎層編碼模塊505及/或層間預測模塊520。所述設備可包括用于如果所述基礎層殘留的非零系數(shù)的數(shù)量或所述基礎層殘留的零系數(shù)的數(shù)量中的至少ー者滿足第二選定條件則實施時間預測以產(chǎn)生所述增強層殘留的裝置。所述用于實施時間預測的裝置可以是處理器120、編碼器130、基礎層編碼模塊300、增強層編碼模塊305、預測模塊370及375、基礎層編碼模塊505及/或時間預測模塊525。在本發(fā)明的某些實施例中，掲示一種用于解碼多媒體位流的設備。所述設備可包括用于接收具有基礎層及增強層的多媒體位流的裝置。所述用于接收多媒體位流的裝置可以是處理器140、解碼器150及/或決策模塊1005。所述設備可包括用于解碼所述基礎層以確定應該使用層內(nèi)預測還是層間預測來解碼所述增強層的裝置。所述用于解碼的裝置可以是處理器140、解碼器150、決策模塊1005、層內(nèi)預測模塊1010及/或層間預測模塊1015。·所屬技術領域的技術人員應了解，結合本文所掲示實例所闡述的各種說明性邏輯塊、模塊、及算法步驟可實施為電子硬件、計算機軟件或兩者的組合。為清晰地說明硬件與軟件的互換性，上文是基于功能性來概述各種說明性組件、塊、模塊、電路、及步驟。此種功能性是作為硬件還是軟件取決于特定應用及施加于整個系統(tǒng)的設計制約條件。所屬技術領域的技術人員可針對每一特定應用以不同的方式實施所述功能性，但此種實施方案決策不應視為導致背離所掲示方法的范圍。結合本文所掲示實例闡述的各種說明性邏輯塊、模塊及電路可使用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、場可編程門陣列(FPGA)或其他可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件、或設計用于執(zhí)行本文所述功能的其任一組合來構建或實施。通用處理器可以是微處理器，但另ー選擇為，處理器還可以是任何常規(guī)處理器、控制器、微控制器或狀態(tài)機。處理器還可實施為計算裝置的組合，例如，DSP與微處理器的組合、多個微處理器的組合、一個或多個微處理器與DSP核心的聯(lián)合，或任意其它此類配置。結合本文所掲示實例來闡述的方法或算法的步驟可直接實施于硬件中、由處理器執(zhí)行的軟件模塊中或兩者的組合中。軟件模塊可駐留于RAM存儲器、閃速存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可裝卸磁盤、CD-ROM或現(xiàn)有技術中已知的任ー其它形式的存儲媒體中。實例性存儲媒體耦合到處理器以使處理器可從存儲媒體讀取信息及將信息寫入到存儲媒體?；蛘?，所述儲存媒體可以是處理機的組成部分。處理器及儲存媒體可駐留于專用集成電路(ASIC)中。ASIC可駐留于無線調(diào)制解調(diào)器中。另ー選擇為，處理器及儲存媒體可作為離散組件駐留于無線調(diào)制解調(diào)器中。上文對所掲示實例的說明g在使任何所屬技術領域的技術人員均可制作或利用所掲示方法及設備。所屬技術領域的技術人員將易知對所述實例的各種修改，且本文所界定的一般原理還可應用于其他實例，此并不背離所掲示方法及裝置的精神或范圍。所述實施例在所有方法均應視為說明性而非限制性，且因此本發(fā)明的范圍由隨附權利要求書指出 而非由前述說明指出。所有仍歸屬于權利要求書的等價意義及范圍內(nèi)的修改均將涵蓋在權利要求書的范疇內(nèi)。
權利要求
1.一種使用基礎層預測增強層的方法，其包含 使用多媒體數(shù)據(jù)塊產(chǎn)生包括多個基礎量化系數(shù)的基礎殘留； 使用所述多媒體數(shù)據(jù)塊產(chǎn)生包括多個增強量化系數(shù)的增強殘留； 基于所述多個基礎量化系數(shù)確定第一值； 基于所述多個增強量化系數(shù)確定第二值；及 使用所述多個基礎量化系數(shù)或所述多個增強量化系數(shù)中的至少一者確定所述增強層。
2.如權利要求I所述的方法，其進一步包含如果所述第一值等于所述第二值，則傳輸所述多個基礎量化系數(shù)中的最小值。
3.如權利要求I所述的方法，其進一步包含從所述多個基礎量化系數(shù)及所述多個增強 量化系數(shù)中確定最小值。
4.如權利要求I所述的方法，其進一步包含如果第一總和小于閾值，則將所述第一值設置至零。
5.如權利要求I所述的方法，其進一步包含如果所述多個基礎量化系數(shù)的符號不等于所述多個增強量化系數(shù)的符號，則傳輸所述多個增強量化系數(shù)。
6.如權利要求I所述的方法，其進一步包含使用時間預測產(chǎn)生基礎運動向量及所述基礎殘留。
7.如權利要求I所述的方法，其進一步包含使用時間預測產(chǎn)生增強運動向量及所述增強殘留。
8.如權利要求I所述的方法，其進一步包含使用層間預測產(chǎn)生基礎運動向量及所述基礎殘留。
9.如權利要求I所述的方法，其進一步包含使用層間預測產(chǎn)生增強運動向量及所述增強殘留。
10.一種用于使用基礎層預測增強層的設備，其包含 運動估計模塊，其用于使用多媒體數(shù)據(jù)塊產(chǎn)生包括多個基礎量化系數(shù)的基礎殘留且用于使用所述多媒體數(shù)據(jù)塊產(chǎn)生包括多個增強量化系數(shù)的增強殘留；及 預測模塊，其用于基于所述多個基礎量化系數(shù)確定第一值，用于基于所述多個增強量化系數(shù)確定第二值及用于使用所述多個基礎量化系數(shù)或所述多個增強量化系數(shù)中的至少一者確定所述增強層。
11.如權利要求10所述的設備，其中所述預測模塊進一步包含在所述第一值等于所述第二值的情況下傳輸所述多個基礎量化系數(shù)中的最小值。
12.如權利要求10所述的設備，其中所述預測模塊進一步包含從所述多個基礎量化系數(shù)及所述多個增強量化系數(shù)中確定最小值。
13.如權利要求10所述的設備，其中所述預測模塊進一步包含在第一總和小于閾值的情況下將所述第一值設置至零。
14.一種對多媒體位流進行解碼的方法，其包含 接收具有基礎層及增強層的多媒體位流；及 對所述基礎層進行解碼以確定應該使用層內(nèi)預測還是層間預測對所述增強層進行解碼。
15.如權利要求14所述的方法，其中在NxM塊基礎上或在系數(shù)基礎上實施所述層內(nèi)預測。
16.如權利要求14所述的方法，其中在NxM塊基礎上或在系數(shù)基礎上實施所述層間預測。
17.如權利要求14所述的方法，其中在宏塊基礎上或在系數(shù)基礎上實施所述層內(nèi)或層間預測。
18.如權利要求14所述的方法，其進一步包含 確定多個基礎層系數(shù)是否包括至少一個非零系數(shù)； 如果所有所述多個基礎層系數(shù)均具有零值，則使用層內(nèi)預測對所述基礎層進行解碼； 及 如果所述多個基礎層系數(shù)中至少一者具有非零值，則使用層間預測對所述基礎層進行解碼。
19.一種用于對多媒體位流進行解碼的設備，其包含 決策模塊，其用于接收具有基礎層及增強層的多媒體位流；及層間預測模塊，其用于對所述基礎層進行解碼以確定應該使用層內(nèi)預測還是層間預測對所述增強層進行解碼。
20.如權利要求19所述的設備，其進一步包含層內(nèi)預測模塊且其中 所述決策模塊確定多個基礎層系數(shù)是否包括至少一個非零系數(shù)； 如果所有所述多個基礎層系數(shù)均具有零值，則所述層內(nèi)預測模塊使用層內(nèi)預測對所述基礎層進行解碼；及 如果所述多個基礎層系數(shù)中的至少一者具有非零值，則所述層間預測模塊使用層間預測對所述基礎層進行解碼。
全文摘要
本發(fā)明涉及用于對使用多個層的多媒體數(shù)據(jù)進行可縮放編碼及解碼的系統(tǒng)及方法。本發(fā)明揭示一種處理與多個層相關聯(lián)的多媒體數(shù)據(jù)的方法。所述方法可包括確定基礎層殘留；及如果所述基礎層殘留的非零系數(shù)的數(shù)量或所述基礎層殘留的零系數(shù)的數(shù)量中的至少一者滿足第一選定條件，則實施層間預測以產(chǎn)生增強層殘留。一種對多媒體位流進行解碼的方法可包括接收具有基礎層及增強層的多媒體位流，及對所述基礎層進行解碼以確定應該使用層內(nèi)預測還是層間預測來對所述增強層進行解碼。
文檔編號H04N7/50GK102724496SQ20121014854
公開日2012年10月10日 申請日期2006年5月3日 優(yōu)先權日2005年5月3日
發(fā)明者維賈雅拉克希米·R·拉韋恩德拉恩, 陳培松 申請人:高通股份有限公司