專利名稱：基于內(nèi)容信息的可縮放性技術(shù)的編碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請案針對于用于對用于實時串流的視頻數(shù)據(jù)進行視頻代碼變換的設(shè)備和方法，且更明確地說，針對于在移動廣播應(yīng)用中對用于實時串流的視頻數(shù)據(jù)進行代碼變換。
背景技術(shù)：
由于有限的帶寬資源和可用帶寬可變性的緣故，有效的視頻壓縮在例如無線視頻串流和視頻電話等許多多媒體應(yīng)用中是有用的。某些視頻編碼標(biāo)準(例如MPEG-4(IS0/IEC) ,H. 264(ITU)或類似視頻編碼)提供非常適合例如無線廣播等應(yīng)用的高效編碼。一些多媒體數(shù)據(jù)(例如，數(shù)字電視呈現(xiàn))通常根據(jù)例如MPEG-2等其它標(biāo)準來編碼。因此，在無線廣播之前，使用轉(zhuǎn)碼器將根據(jù)一個標(biāo)準(例如，MPEG-2)編碼的多媒體數(shù)據(jù)代碼變換或轉(zhuǎn)換為另一標(biāo)準(例如，H. 264)。改進速率優(yōu)化的編解碼器可在錯誤復(fù)原、錯誤恢復(fù)和可縮放性方面提供優(yōu)點。此夕卜，使用根據(jù)多媒體數(shù)據(jù)自身確定的信息還可為編碼提供額外改進，其中包括錯誤復(fù)原、錯誤恢復(fù)和可縮放性。因此，需要一種提供對多媒體數(shù)據(jù)的高效處理和壓縮的轉(zhuǎn)碼器，其使用根據(jù)多媒體數(shù)據(jù)自身確定的信息，具有可縮放性，且具有錯誤復(fù)原，以用于包括串流多媒體信息的移動廣播的許多多媒體數(shù)據(jù)應(yīng)用中。

發(fā)明內(nèi)容
所描述和說明的發(fā)明性基于內(nèi)容的代碼變換設(shè)備和方法中的每一者均具有若干方面，其中不是單個方面單獨對其所需屬性負責(zé)。在不限制此揭示內(nèi)容的范圍的情況下，現(xiàn)將簡要論述其較顯著的特征。在考慮此論述之后且尤其是在閱讀標(biāo)題為“具體實施方式
”的 部分之后，將了解這種內(nèi)容驅(qū)動代碼變換的特征如何提供針對多媒體數(shù)據(jù)處理設(shè)備和方法的改進。本文所描述的發(fā)明性方面涉及將內(nèi)容信息用于編碼多媒體數(shù)據(jù)的多種方法和編碼器(例如，在轉(zhuǎn)碼器中使用的編碼器)的多個模塊或組件中。轉(zhuǎn)碼器可使用內(nèi)容信息來協(xié)調(diào)代碼變換多媒體數(shù)據(jù)。所述內(nèi)容信息可從另一來源(例如，與視頻一起接收的元數(shù)據(jù))接收。轉(zhuǎn)碼器可經(jīng)配置以通過各種不同處理操作而產(chǎn)生內(nèi)容信息。在一些方面中，轉(zhuǎn)碼器產(chǎn)生多媒體數(shù)據(jù)的內(nèi)容分類，接著在一個或一個以上編碼過程中使用所述內(nèi)容分類。在一些方面中，內(nèi)容驅(qū)動轉(zhuǎn)碼器可確定多媒體數(shù)據(jù)的空間和時間內(nèi)容信息，且使用所述內(nèi)容信息來在信道上進行注意內(nèi)容的均勻質(zhì)量編碼和進行基于內(nèi)容分類的壓縮/位分配。在一些方面中，獲得或計算多媒體數(shù)據(jù)的內(nèi)容信息(例如，元數(shù)據(jù)、內(nèi)容量度和/或內(nèi)容分類)，且接著將其提供到轉(zhuǎn)碼器的組件以用于處理多媒體數(shù)據(jù)以進行編碼。舉例來說，預(yù)處理器可使用某種內(nèi)容信息來進行場景變化檢測，從而執(zhí)行反向電視電影(“IVTC”)、解交錯、運動補償和噪音抑制(例如，2D小波變換)和空間-時間噪音消減(例如，假像移除、去環(huán)、去塊和/或去噪音)。在一些方面中，預(yù)處理器還可使用內(nèi)容信息來進行空間解析度向下取樣，例如在從標(biāo)準清晰度(SD)向下取樣到四分之一視頻圖形陣列(QVGA)時確定適當(dāng)?shù)摹鞍踩焙汀白饔锰幚怼眳^(qū)域。在一些方面中，編碼器包括經(jīng)配置以計算內(nèi)容信息的內(nèi)容分類模塊。所述編碼器可使用內(nèi)容分類來進行位速率控制(例如，位分配)以確定每一 MB的量化參數(shù)(QP)、運動估計(例如，執(zhí)行顏色運動估計(ME)，執(zhí)行運動向量(MV)預(yù)測)、在提供基礎(chǔ)層和增強層方面的可縮放性和錯誤復(fù)原，所述錯誤復(fù)原通過使用內(nèi)容分類來影響預(yù)測分級結(jié)構(gòu)和錯誤復(fù)原方案(包括(例如)適應(yīng)性幀內(nèi)刷新、邊界對準過程)且在增強層中提供冗余I幀數(shù)據(jù)而獲得。在一些方面中，轉(zhuǎn)碼器與數(shù)據(jù)多路復(fù)用器配合使用內(nèi)容分類以在信道上維持最佳多媒體數(shù)據(jù)質(zhì)量。在一些方面中，編碼器可使用內(nèi)容分類信息以迫使I幀周期性出現(xiàn)在經(jīng)編碼數(shù)據(jù)中以允許快速信道切換。此類實施方案還可利用經(jīng)編碼數(shù)據(jù)中可能出于錯誤復(fù)原目的而需要的I塊，使得可通過預(yù)測分級結(jié)構(gòu)來有效組合隨機存取切換和錯誤復(fù)原(基于(例如)內(nèi)容分類)以在增加抗錯性的同時改進編碼效率。在一個方面中，一種處理多媒體數(shù)據(jù)的方法包含將多媒體數(shù)據(jù)的內(nèi)容分類；和基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中第一數(shù)據(jù)組包含系數(shù)且第二數(shù)據(jù)組包含與第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的微分改進。所述編碼可包括基于多媒體數(shù)據(jù)的內(nèi)容分類來確定位速率；和基于所述位速率來編碼多媒體數(shù)據(jù)。將內(nèi)容分類可包含確定多媒體數(shù)據(jù)的復(fù)雜性，且其中基于多媒體數(shù)據(jù)的復(fù)雜性來編碼選定多媒體數(shù)據(jù)。復(fù)雜性可包含時間復(fù)雜性或空間復(fù)雜性，或時間復(fù)雜性和空間復(fù)雜性。所述編碼可包括編碼多媒體數(shù)據(jù)以便允許僅解碼第一數(shù)據(jù)組或?qū)⒌谝粩?shù)據(jù)組和第二數(shù)據(jù)組解碼為單個組合數(shù)據(jù)組。第一微分改進可指示選定視頻幀與從解碼第一數(shù)據(jù)組產(chǎn)生的幀數(shù)據(jù)之間的差異。第一數(shù)據(jù)組可以是基礎(chǔ)層，且第二數(shù)據(jù)組可以是增強層。此外，所述方法可包括從初始基礎(chǔ)層殘余誤差系數(shù)或初始增強層殘余誤差系數(shù)中的一者選擇系數(shù)；和基于所述系數(shù)和初始 增強層殘余誤差系數(shù)來計算第一微分改進。編碼可進一步包含編碼第一數(shù)據(jù)組中的宏區(qū)塊標(biāo)頭信息和運動向量信息。編碼可進一步包含以第一步長量化第一數(shù)據(jù)組，和以第二步長量化第二數(shù)據(jù)組，其中第一步長和第二步長通過比例因子相關(guān)。編碼可進一步包括確定具有第一量化步長的第一量化參數(shù)以用于編碼第一數(shù)據(jù)組，和確定具有第二量化步長的第二量化參數(shù)以用于編碼第二數(shù)據(jù)組，其中第一和第二量化參數(shù)是基于選定幀數(shù)據(jù)的內(nèi)容信息而確定的，且其中所述第一量化步長比所述第二量化步長粗。在另一方面中，編碼包括使用I幀和P幀或其任何組合來編碼第一數(shù)據(jù)組，和使用I幀、P幀和B幀或其任何組合來編碼第二數(shù)據(jù)組。在另一方面中，一種用于編碼多媒體數(shù)據(jù)的設(shè)備包括用于將多媒體數(shù)據(jù)的內(nèi)容分類的裝置；用于基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組的裝置，其中第一數(shù)據(jù)組包含系數(shù)且第二數(shù)據(jù)組包含與第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。所述編碼裝置可包含用于基于多媒體數(shù)據(jù)的內(nèi)容分類來確定位速率且基于所述位速率來編碼多媒體數(shù)據(jù)的裝置。所述內(nèi)容分類裝置可包括用于確定多媒體數(shù)據(jù)的復(fù)雜性的裝置，且其中基于多媒體數(shù)據(jù)的復(fù)雜性來編碼選定多媒體數(shù)據(jù)，所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性，或時間復(fù)雜性和空間復(fù)雜性。所述編碼裝置可包含用以允許僅解碼第一數(shù)據(jù)組或?qū)⒌谝粩?shù)據(jù)組和第二數(shù)據(jù)組解碼為單個組合數(shù)據(jù)組的裝置。在另一方面中，一種設(shè)備包括內(nèi)容分類模塊，其經(jīng)配置以將多媒體數(shù)據(jù)的內(nèi)容分類且提供內(nèi)容分類數(shù)據(jù)；和編碼器，其經(jīng)配置以基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中第一數(shù)據(jù)組包含系數(shù)且第二數(shù)據(jù)組包含與第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。所述編碼器可包括位速率組件，其經(jīng)配置以基于內(nèi)容分類確定位分配，且其中所述編碼組件經(jīng)進一步配置以使用所述位分配來編碼選定多媒體數(shù)據(jù)。在另一方面中，一種機器可讀媒體包含在執(zhí)行時致使機器執(zhí)行以下操作的指令將多媒體數(shù)據(jù)的內(nèi)容分類，且基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中第一數(shù)據(jù)組包含系數(shù)且第二數(shù)據(jù)組包含與第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。在另一方面中，一種處理器經(jīng)配置以將多媒體數(shù)據(jù)的內(nèi)容分類，且基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。


圖IA是包括用于在不同視頻格式之間進行代碼變換的轉(zhuǎn)碼器的媒體廣播系統(tǒng)的方框圖。圖IB是經(jīng)配置以編碼多媒體數(shù)據(jù)且提供經(jīng)編碼第一數(shù)據(jù)組和經(jīng)編碼第二數(shù)據(jù)組的編碼器的方框圖。圖IC是經(jīng)配置以編碼多媒體數(shù)據(jù)的處理器的方框圖。圖2是圖I的系統(tǒng)的轉(zhuǎn)碼器的實例的方框圖。圖3是說明圖2的轉(zhuǎn)碼器內(nèi)使用的剖析器的操作的流程圖。圖4是說明圖2的轉(zhuǎn)碼器內(nèi)使用的解碼器的操作的流程圖。
圖5是說明由圖2的轉(zhuǎn)碼器執(zhí)行的操作序列的系統(tǒng)時序圖。圖6是說明可在圖2的轉(zhuǎn)碼器中使用的預(yù)處理器的操作和功能序列的流程圖。圖7是可在圖2的轉(zhuǎn)碼器中使用的示范性兩遍編碼器的方框圖。圖8說明分類圖表的實例，其說明如何使紋理值和運動值與內(nèi)容分類相關(guān)聯(lián)的一個方面。圖9是說明用于內(nèi)容分類(例如在圖7的編碼器中使用)的示范性操作的流程圖。圖10是說明速率控制(例如與圖7的編碼器一起使用)的操作的流程圖。圖11是說明示范性運動估計器(例如與圖7的編碼器一起使用)的操作的流程圖。圖12是說明示范性模式?jīng)Q策編碼器功能(例如與圖7的編碼器一起使用)的操作的流程圖。圖13是說明實現(xiàn)用于圖7的編碼器中的可縮放性的示范性操作的流程圖。圖14是說明(例如)在圖7的編碼器中發(fā)生的實現(xiàn)速率失真數(shù)據(jù)流的示范性操作的流程圖。圖15是說明編碼復(fù)雜性、分配位與人類視覺質(zhì)量之間的關(guān)系的曲線圖。圖16是說明非線性場景檢測公式的曲線圖。圖17A是說明處理已經(jīng)獲得、接收或另外可存取的多媒體數(shù)據(jù)的流程圖。圖17B是多媒體編碼系統(tǒng)的方框圖。圖18是說明使用運動估計/補償?shù)慕饨诲e過程的圖。圖19是多媒體通信系統(tǒng)的方框圖。圖20是說明增強層和基礎(chǔ)層中的視頻位流的組織的圖。圖21是說明切片與視頻幀邊界的對準的圖。圖22是說明預(yù)測分級結(jié)構(gòu)的方框圖。圖23是說明基于內(nèi)容信息來編碼多媒體數(shù)據(jù)的方法的過程流程圖。圖24是說明基于內(nèi)容信息層級來編碼多媒體數(shù)據(jù)以對準數(shù)據(jù)邊界的方法的過程流程圖。圖25是說明數(shù)據(jù)幀的安全作用區(qū)域和安全標(biāo)題區(qū)域的圖解。圖26是說明數(shù)據(jù)幀的安全作用區(qū)域的圖解。圖27是說明基于多媒體內(nèi)容信息使用適應(yīng)性幀內(nèi)刷新來編碼多媒體數(shù)據(jù)的過程的過程流程圖。圖28是說明基于多媒體內(nèi)容信息使用冗余I幀來編碼多媒體數(shù)據(jù)的過程的過程流程圖。圖29說明當(dāng)前幀與先前幀之間的運動補償向量MVp和當(dāng)前幀與下一幀之間的運動補償向量mvn。圖30是說明鏡頭檢測的過程流程圖。圖31是說明編碼基礎(chǔ)層和增強層的過程流程圖。圖32是說明編碼宏區(qū)塊的示意圖。圖33是說明用于編碼基礎(chǔ)層和增強層的模塊的示意圖。
圖34展示基礎(chǔ)層和增強層系數(shù)選擇器過程的實例。圖35展示基礎(chǔ)層和增強層系數(shù)選擇器過程的另一實例。圖36展示基礎(chǔ)層和增強層系數(shù)選擇器過程的另一實例。圖37是說明基于內(nèi)容信息來編碼多媒體數(shù)據(jù)的過程流程圖。圖38是說明在反向電視電影處理過程中可能的系統(tǒng)確定的圖。圖39說明宏區(qū)塊中待由去塊過程來濾波的邊界。圖40是說明空間-時間解交錯過程的圖。圖41說明ID多相重取樣的實例。圖42是說明視頻串流中的適應(yīng)性GOP結(jié)構(gòu)的實例的流程圖。請注意，在適當(dāng)之處，在所述附圖的若干視圖中，相同數(shù)字始終指代相同零件。
具體實施例方式以下詳細描述針對于在此揭示內(nèi)容中論述的某些方面。然而，可以許多不同方式實施本發(fā)明。此說明書中提到“一個方面”或“一方面”意指結(jié)合所述方面描述的特定特征、結(jié)構(gòu)或特性包括在至少一個方面中。在所述說明書中多處出現(xiàn)短語“在一個方面中”、“根據(jù)一個方面”或“在一些方面中”未必全部指代相同方面，也不是與其它方面相互排斥的單獨或替代方面。此外，描述可由某些方面且不由其它方面展現(xiàn)的各種特征。類似地，描述可能是某些方面但不是其它方面的要求的各種要求。以下描述包括多個細節(jié)以提供對所述實例的徹底理解。然而，所屬領(lǐng)域的技術(shù)人員了解到，即使本文并未描述或說明實例或方面中的過程或裝置的每個細節(jié)，也可實踐所述實例。舉例來說，可在不說明組件的每個電連接或每個電元件的方框圖中展示電組件，以免以不必要的細節(jié)混淆所述實例。在其它情況下，可詳細展示此類組件、其它結(jié)構(gòu)和技術(shù)以進一步解釋所述實例。本發(fā)明涉及使用正被編碼的多媒體數(shù)據(jù)的內(nèi)容信息來控制編碼和代碼變換的設(shè)備和方法。(多媒體數(shù)據(jù)的)“內(nèi)容信息”或“內(nèi)容”是意指與多媒體數(shù)據(jù)的內(nèi)容有關(guān)的信息的廣義術(shù)語，且可包括(例如)元數(shù)據(jù)、從多媒體數(shù)據(jù)計算得的量度和與一個或一個以上量度(例如，內(nèi)容分類)相關(guān)聯(lián)的內(nèi)容相關(guān)信息。依據(jù)特定應(yīng)用而定，可向編碼器提供內(nèi)容信息或由編碼器確定內(nèi)容信息。內(nèi)容信息可用于多媒體數(shù)據(jù)編碼的許多方面，包括場景變化檢測、時間處理、空間-時間噪音消減、向下取樣、針對量化、可縮放性、錯誤復(fù)原確定位速率、維持廣播信道上的最佳多媒體質(zhì)量和快速信道切換。通過使用這些方面中的一者或一者以上，轉(zhuǎn)碼器可協(xié)調(diào)處理多媒體數(shù)據(jù)且產(chǎn)生與內(nèi)容有關(guān)的經(jīng)編碼多媒體數(shù)據(jù)。本文中描述代碼變換方面的描述和圖式還可應(yīng)用于編碼方面和解碼方面。轉(zhuǎn)碼器設(shè)備和方法涉及從一種格式代碼變換到另一格式，且本文中具體描述為涉及將MPEG-2視頻代碼變換為增強型可縮放H. 264格式以供經(jīng)由無線信道傳輸?shù)揭苿友b置，其說明某些方面。然而，對將MPEG-2視頻代碼變換為H. 264格式的描述不希望限制本發(fā)明的范圍，而僅僅是示范性說明本發(fā)明的某些方面。所揭示的設(shè)備和方法提供支持具有隨機存取和分層能力的錯誤復(fù)原編碼的高效結(jié)構(gòu)，且還可應(yīng)用于代碼變換和/或編碼除MPEG-2和H. 264以外的視頻格式。本文所使用的“多媒體數(shù)據(jù)”或簡稱“多媒體”是包括視頻數(shù)據(jù)(其可包括音頻數(shù)據(jù))、音頻數(shù)據(jù)或視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者的廣義術(shù)語。本文作為廣義術(shù)語使用的“視頻數(shù)據(jù)”或“視頻”指代基于幀或基于場的數(shù)據(jù)，其包括一個或一個以上圖像或相關(guān)圖像序列，包 含文本、圖像信息和/或音頻數(shù)據(jù)，且還可用于指代多媒體數(shù)據(jù)(例如，可互換使用所述術(shù)語)，除非另外規(guī)定。下文描述轉(zhuǎn)碼器的各種組件的實例和可使用內(nèi)容信息來編碼多媒體數(shù)據(jù)的過程的實例。圖IA是說明多媒體數(shù)據(jù)廣播系統(tǒng)100的一些方面的數(shù)據(jù)流的方框圖。在系統(tǒng)100中，多媒體數(shù)據(jù)提供者106將經(jīng)編碼多媒體數(shù)據(jù)104傳達到轉(zhuǎn)碼器200。經(jīng)編碼多媒體數(shù)據(jù)104由轉(zhuǎn)碼器200接收，在方框110中轉(zhuǎn)碼器200將多媒體數(shù)據(jù)104處理為原始多媒體數(shù)據(jù)。方框110中的處理對經(jīng)編碼多媒體數(shù)據(jù)104進行解碼和剖析，且進一步處理所述多媒體數(shù)據(jù)以準備將其編碼為另一格式。將經(jīng)解碼多媒體數(shù)據(jù)提供到方框112，在方框112處將多媒體數(shù)據(jù)編碼為預(yù)定多媒體格式或標(biāo)準。一旦多媒體數(shù)據(jù)已經(jīng)被編碼，便在方框114處準備經(jīng)由(例如)無線廣播系統(tǒng)(例如，蜂窩式電話廣播網(wǎng)絡(luò)或經(jīng)由另一通信網(wǎng)絡(luò))進行傳輸。在一些方面中，已經(jīng)根據(jù)MPEG-2標(biāo)準對所接收多媒體數(shù)據(jù)104進行編碼。在已經(jīng)解碼已代碼變換的多媒體數(shù)據(jù)104之后，轉(zhuǎn)碼器200將多媒體數(shù)據(jù)編碼為H. 264標(biāo)準。圖IB是可經(jīng)配置以執(zhí)行圖IA的方框110和112中的處理的轉(zhuǎn)碼器130的方框圖。轉(zhuǎn)碼器130可經(jīng)配置以接收多媒體數(shù)據(jù)，將多媒體數(shù)據(jù)解碼并剖析為分包基本流(例如，字幕、音頻、元數(shù)據(jù)、“原始”視頻、CC數(shù)據(jù)和顯示時間戳記)，將所述分包基本流編碼為所需格式，且提供經(jīng)編碼數(shù)據(jù)以供進一步處理或傳輸。轉(zhuǎn)碼器130可經(jīng)配置以用兩個或兩個以上數(shù)據(jù)組(例如，經(jīng)編碼的第一數(shù)據(jù)組和經(jīng)編碼的第二數(shù)據(jù)組)提供經(jīng)編碼數(shù)據(jù)，這被稱為分層編碼。在多個方面的一些實例中，可將分層編碼方案中的各個數(shù)據(jù)組(或?qū)?以不同質(zhì)量等級進行編碼，且對其進行格式化，使得在第一數(shù)據(jù)組中編碼的數(shù)據(jù)與在第二數(shù)據(jù)組中編碼的數(shù)據(jù)相比具有較低質(zhì)量(例如，當(dāng)播放時提供較低的視覺質(zhì)量等級)。圖IC是處理器140的方框圖，處理器140可經(jīng)配置以對多媒體數(shù)據(jù)進行代碼變換，且可經(jīng)配置以執(zhí)行圖IA的方框110和112中所描繪的部分或全部處理。處理器140可包括模塊124a. . . n以執(zhí)行本文描述的代碼變換過程(包括解碼、剖析、預(yù)處理和編碼)中的一者或一者以上，且使用內(nèi)容信息進行處理。處理器140還可包括內(nèi)部存儲器122，且可經(jīng)配置以直接或通過另一裝置間接與外部存儲器120通信。處理器140還包括通信模塊126，其經(jīng)配置以與處理器140外部的一個或一個以上裝置通信，其中包括接收多媒體數(shù)據(jù)和提供經(jīng)編碼數(shù)據(jù)(例如在第一數(shù)據(jù)組中編碼的數(shù)據(jù)和在第二數(shù)據(jù)組中編碼的數(shù)據(jù))。在多個方面的一些實例中，可將分層編碼方案中的各個數(shù)據(jù)組(或?qū)?以不同質(zhì)量等級進行編碼，且對其進行格式化，使得在第一數(shù)據(jù)組中編碼的數(shù)據(jù)與在第二數(shù)據(jù)組中編碼的數(shù)據(jù)相比具有較低質(zhì)量(例如，當(dāng)播放時提供較低的視覺質(zhì)量等級)。轉(zhuǎn)碼器130或預(yù)處理器140 (其經(jīng)配置以進行代碼變換)中的組件和包含在其中的過程可由硬件、軟件、固件、中間件、微碼或其任何組合實施。舉例來說，剖析器、解碼器、預(yù)處理器或編碼器可以是單獨組件，作為硬件、固件、中間件并入在另一裝置的組件中，或在處理器上執(zhí)行的微碼或軟件中實施，或者其組合。當(dāng)在軟件、固件、中間件或微碼中實施時，執(zhí)行運動補償、 鏡頭分類和編碼過程的程序碼或碼段可存儲在例如存儲媒體等機器可讀媒體中。碼段可表示處理程序、函數(shù)、子程序、程序、例行程序、子例行程序、模塊、軟件包、種類，或指令、數(shù)據(jù)結(jié)構(gòu)或程序語句的任何組合?？赏ㄟ^傳遞和/或接收信息、數(shù)據(jù)、自變量、參數(shù)或存儲器內(nèi)容來將一個碼段耦合到另一碼段。轉(zhuǎn)碼器結(jié)構(gòu)的說明性實例圖2說明可用于圖I的多媒體廣播系統(tǒng)100中所說明的轉(zhuǎn)碼器200的轉(zhuǎn)碼器的實例的方框圖。轉(zhuǎn)碼器200包含剖析器/解碼器202、預(yù)處理器226、編碼器228和同步層240，下文將進一步加以描述。轉(zhuǎn)碼器200經(jīng)配置以使用多媒體數(shù)據(jù)104的內(nèi)容信息進行代碼變換過程的一個或一個以上方面(如本文所描述)。內(nèi)容信息可通過多媒體元數(shù)據(jù)從位于轉(zhuǎn)碼器200外部的來源獲得或由轉(zhuǎn)碼器(例如，由預(yù)處理器226或編碼器228)計算。圖2中展示的組件說明可包括在使用內(nèi)容信息進行一個或一個以上代碼變換過程的轉(zhuǎn)碼器中的組件。在特定實施方案中，可排除轉(zhuǎn)碼器200的組件中的一者或一者以上，或可包括額外組件。另外，描述轉(zhuǎn)碼器和代碼變換過程的若干部分，以便允許所屬領(lǐng)域的技術(shù)人員即使在本文未描述過程或裝置的每個細節(jié)的情況下仍可實踐本發(fā)明。圖5說明時序圖以作為轉(zhuǎn)碼器200的各個組件和/或過程的操作的時間關(guān)系的圖解說明。如圖5所示，首先在任意時間零(0)處由剖析器205(圖2)接收經(jīng)編碼串流視頻104 (經(jīng)編碼多媒體數(shù)據(jù)，例如MPEG-2視頻)。接下來，對所述視頻流進行剖析501、多路分用502和解碼503，這例如通過剖析器205結(jié)合解碼器214來進行。如所說明的，這些過程可并行發(fā)生(具有輕微定時偏移)，以便將處理數(shù)據(jù)的流輸出提供到預(yù)處理器226 (圖2)。在時間T1 504處，一旦預(yù)處理器226已經(jīng)從解碼器214接收到足夠數(shù)據(jù)以開始輸出處理結(jié)果，剩余處理步驟便變得在實質(zhì)上按順序進行，其中在預(yù)處理之后，依序發(fā)生第一遍編碼505、第二遍編碼506和再編碼507，直到在時間Tf 508處完成再編碼為止。本文描述的轉(zhuǎn)碼器200可經(jīng)配置以對各種多媒體數(shù)據(jù)進行代碼變換，且所述過程中的許多者適用于對任何類型的多媒體數(shù)據(jù)進行代碼變換。雖然本文提供的一些實例明確涉及將MPEG-2數(shù)據(jù)代碼變換為H. 264數(shù)據(jù)，但這些實例并不打算將本發(fā)明限于此數(shù)據(jù)。下文描述的編碼方面可應(yīng)用于將任何適合的多媒體數(shù)據(jù)標(biāo)準代碼變換為另一適合的多媒體數(shù)據(jù)標(biāo)準。剖析器/解碼器再次參看圖2，剖析器/解碼器202接收多媒體數(shù)據(jù)104。剖析器/解碼器202包括傳送流剖析器(“剖析器”)205，其接收多媒體數(shù)據(jù)104且將所述數(shù)據(jù)剖析為視頻基本流(ES)206、音頻ES 208、顯示時間戳記(PTS) 210和例如字幕212等其它數(shù)據(jù)。ES攜載來自單個視頻或音頻編碼器的一種類型的數(shù)據(jù)(視頻或音頻)。舉例來說，視頻ES包含用于數(shù)據(jù)序列的視頻數(shù)據(jù)，所述數(shù)據(jù)序列包括序列標(biāo)頭和所述序列的所有子部分。分包基本流或PES由已經(jīng)制成多個包的單個ES組成,其中所述包的每一者通常以附加的包標(biāo)頭開始。PES流僅含有來自一個來源(例如，來自一個視頻或音頻編碼器)的一種類型的數(shù)據(jù)。PES包具有可變長度，所述長度不對應(yīng)于傳送包的固定包長度，且可比傳送包長得多。當(dāng)從PES流形成傳送包時，可緊隨傳送包標(biāo)頭之后將PES標(biāo)頭放置在傳送包有效負載的開始處。剩余PES包內(nèi)容填充連續(xù)傳送包的有效負載，直到所述PES包全部被使用為止。可(例如)通過用字節(jié)(例如，字節(jié)=OxFF(全部為I))填滿來將最后傳送包填充到固定長度。剖析器205將視頻ES 206傳達到解碼器214，解碼器214是此處所示的剖析器/解碼器202的一部分。在其它配置中，剖析器205和解碼器214是單獨組件。將PTS 210發(fā)送到轉(zhuǎn)碼器PTS產(chǎn)生器215，轉(zhuǎn)碼器PTS產(chǎn)生器215可產(chǎn)生特定針對于轉(zhuǎn)碼器200的單獨顯示時間戳記以用于排列待從轉(zhuǎn)碼器200發(fā)送到廣播系統(tǒng)的數(shù)據(jù)。轉(zhuǎn)碼器PTS產(chǎn)生器215可經(jīng)配置以將數(shù)據(jù)提供到轉(zhuǎn)碼器200的同步層240以協(xié)調(diào)數(shù)據(jù)廣播的同步。
圖3說明當(dāng)剖析出上述各個分包基本流時剖析器205可遵循的過程300的一個實例的流程圖。過程300在方框302處開始，此時從內(nèi)容提供者106(圖I)接收多媒體數(shù)據(jù)104。過程300前進到方框304，在此處執(zhí)行剖析器205的初始化。初始化可由獨立產(chǎn)生的獲取命令306觸發(fā)。舉例來說，獨立于剖析器205且基于外部接收的電視時間表和信道陣容信息的過程可產(chǎn)生獲取命令306。另外，可輸入實時傳送流(TS)緩沖器描述符308以輔助初始化和主要處理。如方框304中所說明，初始化可包括獲取命令語法驗證；執(zhí)行第一遍PSI/PSIP/SI (程序特定信息/程序和系統(tǒng)信息協(xié)議/系統(tǒng)信息)處理；執(zhí)行具體關(guān)于獲取命令或PSI/PSIP/SI 一致性驗證的處理；為每一 PES分配PES緩沖器；和設(shè)定定時(例如，為了與所需獲取開始瞬時對準)。PES緩沖器保存經(jīng)剖析的ES數(shù)據(jù)且將每一經(jīng)剖析ES數(shù)據(jù)傳達到相應(yīng)音頻解碼器216、測試編碼器220、解碼器214或轉(zhuǎn)碼器PTS產(chǎn)生器215。在初始化之后，過程300前進到方框310以對所接收多媒體數(shù)據(jù)104進行主要處理。方框310中的處理可包括目標(biāo)包識別符(PID)濾波、連續(xù)PSI/PSIP/SI監(jiān)視和處理，和定時過程(例如，為了實現(xiàn)所需獲取時段)，使得將進入的多媒體數(shù)據(jù)傳遞到適當(dāng)?shù)腜ES緩沖器中。由于在方框310中處理多媒體數(shù)據(jù)，因而產(chǎn)生了程序描述符和PES緩沖器“讀取”的指示，其將如下文描述與解碼器214(圖2)介接。在方框310之后，過程300前進到方框314，在此處發(fā)生剖析操作的終止，其中包括產(chǎn)生定時器中斷且釋放PES緩沖器以免受其消耗。請注意，PES緩沖器將存在用于程序描述符中所列舉的程序的所有相關(guān)基本流，例如首頻、視頻和字.流。再次參看圖2，剖析器205將音頻ES 208發(fā)送到音頻解碼器216以對應(yīng)于轉(zhuǎn)碼器實施方案，且將經(jīng)編碼文本216提供到同步層240并將音頻信息解碼。將字幕信息212遞送到文本編碼器220。還將來自解碼器214的內(nèi)建字幕(CC)數(shù)據(jù)218提供到文本編碼器220，文本編碼器220將字幕信息212和CC數(shù)據(jù)218編碼為由轉(zhuǎn)碼器200實現(xiàn)的格式。剖析器/解碼器202還包括解碼器214，其接收視頻ES 206。解碼器214可產(chǎn)生與視頻數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)，將經(jīng)編碼視頻分包基本流解碼為原始視頻224(例如，以標(biāo)準清晰度格式)，且處理視頻ES流中的視頻內(nèi)建字幕數(shù)據(jù)。圖4展示流程圖，其說明可由解碼器214執(zhí)行的解碼過程400的一個實例。過程400以在方框402處輸入視頻基本流數(shù)據(jù)206開始。過程400前進到方框404，在此處對解碼器進行初始化。初始化可包括許多任務(wù)，包括檢測視頻序列標(biāo)頭(VSH);執(zhí)行第一遍VSH、視頻序列(VS)和VS顯示延伸處理(包括視頻格式、基色和矩陣系數(shù))；和分配數(shù)據(jù)緩沖器以分別緩沖經(jīng)解碼圖片、相關(guān)聯(lián)的元數(shù)據(jù)和內(nèi)建字幕(CC)數(shù)據(jù)。另外，輸入由剖析器205提供的視頻PES緩沖器“讀取”信息406 (例如，其可由過程300在圖3的方框310中產(chǎn)生)。在方框404處進行初始化之后，過程400前進到方框408，在此處解碼器214執(zhí)行視頻ES的主要處理。主要處理包括針對新數(shù)據(jù)可用性來輪詢視頻PES緩沖器“讀取”信息或“界面”;解碼視頻ES ;在圖片邊界處重建并存儲像素數(shù)據(jù)；同步視頻與a/v ;產(chǎn)生元數(shù)據(jù)并存儲在圖片邊界處；和將CC數(shù)據(jù)存儲在圖片邊界處。主要處理408的結(jié)果方框410包括產(chǎn)生序列描述符、經(jīng)解碼圖片緩沖器描述符、元數(shù)據(jù)緩沖器描述符和CC數(shù)據(jù)緩沖器描述符。在主要處理408之后，過程400前進到方框412，在此處其執(zhí)行終止過程。所述終止過程可包括確定終止條件，其包括在超過預(yù)定閾值的特定時段中未出現(xiàn)新數(shù)據(jù)；檢測序列末端碼；和/或檢測明確的終止信號。終止過程可進一步包括釋放經(jīng)解碼圖片、相關(guān)聯(lián) 的元數(shù)據(jù)和CC數(shù)據(jù)緩沖器以免受下文將描述的由預(yù)處理器對其的消耗。過程400在方框414處結(jié)束，在此處其可進入等待將接收視頻ES作為輸入的狀態(tài)。預(yù)處理器圖2(且圖6更詳細)說明可使用內(nèi)容信息進行一個或一個以上預(yù)處理操作的預(yù)處理器226的樣本方面。預(yù)處理器226從剖析器/解碼器202接收元數(shù)據(jù)222和經(jīng)解碼“原始”視頻數(shù)據(jù)224。預(yù)處理器226經(jīng)配置以對視頻數(shù)據(jù)224和元數(shù)據(jù)222執(zhí)行某些類型的處理，且將經(jīng)處理的多媒體(例如，基礎(chǔ)層參考幀、增強層參考幀、帶寬信息、內(nèi)容信息)和視頻提供到編碼器228。對多媒體數(shù)據(jù)的此處理可改進數(shù)據(jù)的視覺清晰性、抗混疊和壓縮效率。一般來說，預(yù)處理器226接收由剖析器/解碼器202中的解碼器214提供的視頻序列，且將所述視頻序列轉(zhuǎn)換為循序視頻序列以供由編碼器228進一步處理(例如，編碼)。在一些方面中，預(yù)處理器226可經(jīng)配置以用于許多操作，包括反向電視電影處理、解交錯、濾波(例如，假像移除、去環(huán)、去塊和去噪音)、調(diào)整大小(例如，將空間解析度從標(biāo)準清晰度向下取樣到四分之一視頻圖形陣列(QVGA))和GOP結(jié)構(gòu)產(chǎn)生(例如，計算復(fù)雜性映射產(chǎn)生、場景變化檢測和衰減/閃光檢測)。預(yù)處理器226可使用來自解碼器的元數(shù)據(jù)來影響所述預(yù)處理操作中的一者或一者以上。元數(shù)據(jù)可包括關(guān)于、描述或分類多媒體數(shù)據(jù)內(nèi)容的信息(“內(nèi)容信息”)；明確地說，元數(shù)據(jù)可包括內(nèi)容分類。在一些方面中，元數(shù)據(jù)不包括編碼操作所需的內(nèi)容信息。在此類情況下，預(yù)處理器226可經(jīng)配置以確定內(nèi)容信息且使用所述內(nèi)容信息進行預(yù)處理操作，且/或?qū)?nèi)容信息提供到轉(zhuǎn)碼器200的其它組件(例如，解碼器228)。在一些方面中，預(yù)處理器226可使用此內(nèi)容信息來影響GOP分割、確定適當(dāng)類型的濾波且/或確定傳達到編碼器的編碼參數(shù)。圖6展示可包括在預(yù)處理器226中的各個過程塊的說明性實例，且說明可由預(yù)處理器226執(zhí)行的處理。在此實例中，預(yù)處理器226接收元數(shù)據(jù)和視頻222、224，且將包含(已處理)元數(shù)據(jù)和視頻的輸出數(shù)據(jù)614提供到編碼器228。通常，可接收到三種類型的視頻。第一，所接收的視頻可以是循序視頻，其中不需要解交錯。第二，視頻數(shù)據(jù)可以是經(jīng)電視電影處理的視頻，即從24fps電影序列轉(zhuǎn)換的交錯視頻，在此情況下所述視頻。第三，視頻可以是未經(jīng)電視電影處理的交錯視頻。預(yù)處理器226可如下文描述處理這些類型的視頻。在方框601處，預(yù)處理器226確定所接收的視頻數(shù)據(jù)222、224是否是循序視頻。在一些情況下，如果元數(shù)據(jù)包含此信息，那么這可從元數(shù)據(jù)確定，或通過視頻數(shù)據(jù)自身的處理來確定。舉例來說，下文描述的反向電視電影處理過程可確定所接收的視頻222是否是循序視頻。如果是，那么過程前進到方框607，在此處對視頻執(zhí)行濾波(例如，噪音抑制器)操作以減少例如白高斯噪音等噪音。如果在方框601處視頻數(shù)據(jù)222、224不是循序視頻，那么過程前進到方框604到達相位檢測器604。相位檢測器604區(qū)分起源于電視電影處理的視頻與以標(biāo)準廣播格式開始的視頻。如果作出視頻經(jīng)電視電影處理的決策(離開相位檢測器604的“是”決策路徑)，那么在反向電視電影處理606中將經(jīng)電視電影處理的視頻返回到其初始格式。識別并消除冗余幀，且將從同一視頻幀導(dǎo)出的場重編為完整圖像。由于經(jīng)重建的膠片圖像序列以1/24秒的規(guī) 則間隔進行攝影記錄，因而通過使用經(jīng)反向電視電影處理的圖像而非經(jīng)電視電影處理的數(shù) 據(jù)(其具有不規(guī)則時基)而在GOP分割器612或解碼器228中執(zhí)行的運動估計過程更準確。在一個方面中，相位檢測器604在接收到視頻幀之后作出某些決策。這些決策包括(i)本視頻是否來自電視電影處理輸出且3 2下拉相位是否是圖38中所示的五個相位Po、P1^ P2> P3和P4中的一者；和(ii)視頻作為常規(guī)NTSC產(chǎn)生。所述決策被表示為相位P50這些決策顯示作為圖2中所示的相位檢測器604的輸出。來自相位檢測器604的標(biāo)記為“是”的路徑啟動反向電視電影處理606，從而指示其已經(jīng)具備正確的下拉相位，使得其可選出從同一攝影圖像形成的場且將其組合。來自相位檢測器604的標(biāo)記為“否”的路徑類似地啟動解交錯器605以將視在NTSC幀分成多個場以進行最佳處理。因為可在任何時間接收到不同類型的視頻，所以相位檢測器604可持續(xù)分析視頻幀。作為例示，可將符合NTSC標(biāo)準的視頻插入到所述視頻中作為商業(yè)廣告。在反向電視電影處理之后，將所得循序視頻發(fā)送到可用于減少白高斯噪音的噪音抑制器(濾波器)607。當(dāng)認識到常規(guī)NTSC視頻(來自相位檢測器601的“否”路徑)時，將其傳輸?shù)浇饨诲e器605以進行壓縮。解交錯器605將交錯場變換為循序視頻，且可接著對循序視頻執(zhí)行去噪音操作。下文描述解交錯處理的一個說明性實例。如電視等傳統(tǒng)模擬視頻裝置以交錯方式再現(xiàn)視頻，即此類裝置傳輸偶數(shù)編號的掃描線(偶數(shù)場)和奇數(shù)編號的掃描線(奇數(shù)場)。根據(jù)信號取樣觀點，這等同于以由下列等式描述的圖案進行的空間-時間子取樣
' {x,y,n\如果j，mOd2 = 0用于偶數(shù)場，
F(x, y, n) = < (x, y, n),,如果 v mod 2 = I 用于奇數(shù)場,
擦除，其它，⑴
^L1J其中 代表初始幀圖片，F(xiàn)代表交錯場，且(x，y，n)分別表示像素的水平、垂直和時間位置。在無損通用性的情況下，可假設(shè)在此揭示內(nèi)容中n = 0始終是偶數(shù)場，使得以上等式I簡化為
權(quán)利要求
1.一種編碼多媒體數(shù)據(jù)的方法，其包含 將多媒體數(shù)據(jù)的內(nèi)容分類； 基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)分割為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中根據(jù)帶寬比例來界定所述分割；和 基于所述分割來編碼在所述第一數(shù)據(jù)組和所述第二數(shù)據(jù)組中的所述多媒體數(shù)據(jù)，其中所述第一數(shù)據(jù)組中的數(shù)據(jù)量相對于所述第二數(shù)據(jù)組中的數(shù)據(jù)量對應(yīng)于所述帶寬比例。
2.根據(jù)權(quán)利要求I所述的方法，其中所述第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
3.根據(jù)權(quán)利要求I所述的方法，其中所述編碼包含基于所述多媒體數(shù)據(jù)的所述內(nèi)容分類來確定位速率，和基于所述位速率來編碼所述多媒體數(shù)據(jù)。
4.根據(jù)權(quán)利要求I所述的方法，其中將內(nèi)容分類包含確定所述多媒體數(shù)據(jù)的復(fù)雜性。
5.根據(jù)權(quán)利要求4所述的方法，其中所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性。
6.根據(jù)權(quán)利要求4所述的方法，其中所述復(fù)雜性包含時間復(fù)雜性和空間復(fù)雜性。
7.根據(jù)權(quán)利要求I所述的方法，其中編碼包含編碼所述多媒體數(shù)據(jù)以便允許僅解碼所述第一數(shù)據(jù)組或?qū)⑺龅谝粩?shù)據(jù)組和所述第二數(shù)據(jù)組解碼為單個組合數(shù)據(jù)組。
8.根據(jù)權(quán)利要求2所述的方法，其中所述第一微分改進指示選定視頻幀與從解碼所述第一數(shù)據(jù)組中產(chǎn)生的幀數(shù)據(jù)之間的差異。
9.根據(jù)權(quán)利要求I所述的方法，其中所述第一數(shù)據(jù)組是基礎(chǔ)層，且所述第二數(shù)據(jù)組是增強層。
10.根據(jù)權(quán)利要求9所述的方法，其進一步包含 從初始基礎(chǔ)層殘余誤差系數(shù)或初始增強層殘余誤差系數(shù)中的一者中選擇所述系數(shù)；和 基于所述系數(shù)和所述初始增強層殘余誤差系數(shù)來計算所述第一微分改進。
11.根據(jù)權(quán)利要求I所述的方法，其中編碼進一步包含在所述第一數(shù)據(jù)組中編碼宏區(qū)塊標(biāo)頭信息和運動向量信息。
12.根據(jù)權(quán)利要求I所述的方法，其中編碼進一步包含以第一步長量化所述第一數(shù)據(jù)組和以第二步長量化所述第二數(shù)據(jù)組，其中所述第一步長與第二步長通過比例因子來相關(guān)。
13.根據(jù)權(quán)利要求I所述的方法，其中編碼進一步包含確定用于編碼所述第一數(shù)據(jù)組的具有第一量化步長的第一量化參數(shù)和確定用于編碼所述第二數(shù)據(jù)組的具有第二量化步長的第二量化參數(shù)，其中基于選定幀數(shù)據(jù)的內(nèi)容信息來確定所述第一和第二量化參數(shù)，且其中所述第一量化步長比所述第二量化步長粗。
14.根據(jù)權(quán)利要求I所述的方法，其中編碼包含使用I幀和P幀或其任何組合來編碼所述第一數(shù)據(jù)組，和使用I幀、P幀和B幀或其任何組合編碼所述第二數(shù)據(jù)組。
15.一種用于編碼多媒體數(shù)據(jù)的設(shè)備，其包含 用于將多媒體數(shù)據(jù)的內(nèi)容分類的裝置； 用于基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)分割為第一數(shù)據(jù)組和第二數(shù)據(jù)組的裝置，其中根據(jù)帶寬比例來界定所述分割；和 用于基于所述分割來編碼在所述第一數(shù)據(jù)組和所述第二數(shù)據(jù)組中的所述多媒體數(shù)據(jù) 的裝置，其中所述第一數(shù)據(jù)組中的數(shù)據(jù)量相對于所述第二數(shù)據(jù)組中的數(shù)據(jù)量對應(yīng)于所述帶寬比例，其中所述裝置中的至少一者至少部分地在所述設(shè)備的硬件中實施，其中所述用于分類的裝置、所述用于分隔的裝置和所述用于編碼的裝置中的至少一些在硬件中實施。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
17.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置包含用于基于所述多媒體數(shù)據(jù)的所述內(nèi)容分類來確定位速率且基于所述位速率來編碼所述多媒體數(shù)據(jù)的裝置。
18.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述內(nèi)容分類裝置包含用于確定所述多媒體數(shù)據(jù)的復(fù)雜性的裝置，且其中基于所述多媒體數(shù)據(jù)的所述復(fù)雜性來編碼所述選定多媒體數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性。
20.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述復(fù)雜性包含時間復(fù)雜性和空間復(fù)雜性。
21.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置包含用于編碼所述多媒體數(shù)據(jù)以便允許僅解碼所述第一數(shù)據(jù)組或?qū)⑺龅谝粩?shù)據(jù)組和所述第二數(shù)據(jù)組解碼為單個組合數(shù)據(jù)組的裝置。
22.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述第一微分改進指示在選定視頻幀與從解碼所述第一數(shù)據(jù)組產(chǎn)生的幀數(shù)據(jù)之間的差異。
23.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述第一數(shù)據(jù)組是基礎(chǔ)層，且所述第二數(shù)據(jù)組是增強層。
24.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置包含用于在所述第一數(shù)據(jù)組中編碼宏區(qū)塊標(biāo)頭信息和運動向量信息的裝置。
25.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置進一步包含用于以第一步長量化所述第一數(shù)據(jù)組且以第二步長量化所述第二數(shù)據(jù)組的裝置，其中所述第一步長與第二步長通過比例因子來相關(guān)。
26.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置包含用于確定用于編碼所述第一數(shù)據(jù)組的具有第一量化步長的第一量化參數(shù)和確定用于編碼所述第二數(shù)據(jù)組的具有第二量化步長的第二量化參數(shù)的裝置，其中基于選定幀數(shù)據(jù)的內(nèi)容信息來確定所述第一和第二量化參數(shù)，且其中所述第一量化步長比所述第二量化步長粗。
27.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述編碼裝置包含 用于使用I幀和P幀編碼所述第一數(shù)據(jù)組的裝置；和 用于使用I幀、P幀和B幀編碼所述第二數(shù)據(jù)組的裝置。
28.根據(jù)權(quán)利要求23所述的設(shè)備，其中所述編碼裝置包含 用于從初始基礎(chǔ)層殘余誤差系數(shù)或初始增強層殘余誤差系數(shù)中的一者中選擇所述系數(shù)的裝置；和 用于基于所述系數(shù)和所述初始增強層殘余誤差系數(shù)來計算所述第一微分改進的裝置。
29.—種經(jīng)配置以編碼多媒體數(shù)據(jù)的設(shè)備，其包含 內(nèi)容分類模塊，其經(jīng)配置以將多媒體數(shù)據(jù)的內(nèi)容分類且提供內(nèi)容分類數(shù)據(jù)；和 分割器，其基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)分割為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中根據(jù)帶寬比例來界定所述分割；和 編碼器，其經(jīng)配置以基于所述分割來將所述多媒體數(shù)據(jù)編碼為所述第一數(shù)據(jù)組和所述第二數(shù)據(jù)組，其中所述第一數(shù)據(jù)組中的數(shù)據(jù)量相對于所述第二數(shù)據(jù)組中的數(shù)據(jù)量對應(yīng)于所述帶寬比例。
30.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
31.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述編碼器包含位速率組件，所述位速率組件經(jīng)配置以基于所述內(nèi)容分類來確定位分配，且其中所述編碼組件進一步經(jīng)配置以使用所述位分配來編碼所述選定多媒體數(shù)據(jù)。
32.根據(jù)權(quán)利要求29所述的設(shè)備，其中將內(nèi)容分類包含確定所述多媒體數(shù)據(jù)的復(fù)雜性，且其中基于所述多媒體數(shù)據(jù)的所述復(fù)雜性來編碼所述選定多媒體數(shù)據(jù)。
33.根據(jù)權(quán)利要求32所述的設(shè)備，其中所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性。
34.根據(jù)權(quán)利要求32所述的設(shè)備，其中所述復(fù)雜性包含時間復(fù)雜性和空間復(fù)雜性。
35.根據(jù)權(quán)利要求29所述的設(shè)備，其中編碼包含編碼所述多媒體數(shù)據(jù)以便允許僅解碼所述第一數(shù)據(jù)組或?qū)⑺龅谝粩?shù)據(jù)組和所述第二數(shù)據(jù)組解碼為單個組合數(shù)據(jù)組。
36.根據(jù)權(quán)利要求30所述的設(shè)備，其中所述第一微分改進指示在選定視頻幀與從解碼所述第一數(shù)據(jù)組產(chǎn)生的幀數(shù)據(jù)之間的差異。
37.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述第一數(shù)據(jù)組是基礎(chǔ)層，且所述第二數(shù)據(jù)組是增強層。
38.一種非暫態(tài)機器可讀媒體，其包含在執(zhí)行時致使處理器執(zhí)行以下操作的指令 將多媒體數(shù)據(jù)的內(nèi)容分類； 基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)分割為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中根據(jù)帶寬比例來界定所述分割；和 基于所述分割來編碼在所述第一數(shù)據(jù)組和所述第二數(shù)據(jù)組中的所述多媒體數(shù)據(jù)，其中所述第一數(shù)據(jù)組中的數(shù)據(jù)量相對于所述第二數(shù)據(jù)組中的數(shù)據(jù)量對應(yīng)于所述帶寬比例。
39.根據(jù)權(quán)利要求38所述的非暫態(tài)機器可讀媒體，其中所述第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
40.根據(jù)權(quán)利要求38所述的非暫態(tài)機器可讀媒體，其中所述用以編碼的指令包含用以基于所述內(nèi)容分類來確定位分配的指令，且其中所述編碼組件進一步經(jīng)配置以使用所述位分配來編碼所述選定多媒體數(shù)據(jù)。
41.根據(jù)權(quán)利要求38所述的非暫態(tài)機器可讀媒體，其中將內(nèi)容分類包含確定所述多媒體數(shù)據(jù)的復(fù)雜性，且其中基于所述多媒體數(shù)據(jù)的所述復(fù)雜性來編碼所述選定多媒體數(shù)據(jù)。
42.根據(jù)權(quán)利要求41所述的非暫態(tài)機器可讀媒體，其中所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性。
43.根據(jù)權(quán)利要求41所述的非暫態(tài)機器可讀媒體，其中所述復(fù)雜性包含時間復(fù)雜性和空間復(fù)雜性。
44.一種處理器，其經(jīng)配置以 將多媒體數(shù)據(jù)的內(nèi)容分類； 基于所述內(nèi)容分類將所述多媒體數(shù)據(jù)分割為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中根據(jù)帶寬比例來界定所述分割；和 基于所述分割來編碼在所述第一數(shù)據(jù)組和所述第二數(shù)據(jù)組中的所述多媒體數(shù)據(jù)，其中所述第一數(shù)據(jù)組中的數(shù)據(jù)量相對于所述第二數(shù)據(jù)組中的數(shù)據(jù)量對應(yīng)于所述帶寬比例。
45.根據(jù)權(quán)利要求44所述的處理器，其中所述第一數(shù)據(jù)組包含系數(shù)且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
46.根據(jù)權(quán)利要求44所述的處理器，其中所述處理器進一步經(jīng)配置以基于所述內(nèi)容分類來確定位分配，且其中所述編碼組件進一步經(jīng)配置以使用所述位分配來編碼所述選定多媒體數(shù)據(jù)。
47.根據(jù)權(quán)利要求44所述的處理器，其中所述處理器進一步經(jīng)配置以確定所述多媒體數(shù)據(jù)的復(fù)雜性，且其中所述內(nèi)容分類是基于所述多媒體數(shù)據(jù)的所述復(fù)雜性。
48.根據(jù)權(quán)利要求47所述的處理器，其中所述復(fù)雜性包含時間復(fù)雜性或空間復(fù)雜性。
49.根據(jù)權(quán)利要求47所述的處理器，其中所述復(fù)雜性包含時間復(fù)雜性和空間復(fù)雜性。
全文摘要
本發(fā)明涉及基于內(nèi)容信息的可縮放性技術(shù)的編碼方法和設(shè)備。本發(fā)明描述使用內(nèi)容信息來編碼多媒體數(shù)據(jù)的設(shè)備和方法。一種處理多媒體數(shù)據(jù)的方法包括將多媒體數(shù)據(jù)的內(nèi)容分類，和基于所述內(nèi)容分類來將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中所述第一數(shù)據(jù)組包含系數(shù)，且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。一種用于使用內(nèi)容信息來編碼多媒體數(shù)據(jù)的設(shè)備包括內(nèi)容分類模塊，其經(jīng)配置以將多媒體數(shù)據(jù)的內(nèi)容分類且提供內(nèi)容分類數(shù)據(jù)；編碼器，其經(jīng)配置以基于所述內(nèi)容分類來將所述多媒體數(shù)據(jù)編碼為第一數(shù)據(jù)組和第二數(shù)據(jù)組，其中所述第一數(shù)據(jù)組包含系數(shù)，且所述第二數(shù)據(jù)組包含與所述第一數(shù)據(jù)組系數(shù)相關(guān)聯(lián)的第一微分改進。
文檔編號H04N5/44GK102724498SQ201210162458
公開日2012年10月10日 申請日期2006年9月27日 優(yōu)先權(quán)日2005年9月27日
發(fā)明者塞伊富拉·哈立德·奧古茲, 希塔拉曼·加納帕蒂·蘇布拉馬尼亞, 帕尼庫馬爾·巴米迪帕蒂, 戈登·肯特·沃克, 田濤, 石方, 維賈雅拉克希米·R·拉韋恩德拉恩, 陳培松 申請人:高通股份有限公司