專利名稱：使用大于4×4和8×8的變換的視頻譯碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用大于8X8的變換大小來對視頻數(shù)據(jù)進行編碼和解碼。
背景技術(shù)：
可將數(shù)字視頻能力并入到大范圍的裝置內(nèi)，包括數(shù)字電視、數(shù)字直播系統(tǒng)、例如無線電電話手持機等無線通信裝置、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺等。數(shù)字視頻裝置實施例如 MPEG-2、MPEG-4或H. 264/MPEG-4第10部分高級視頻譯碼(AVC)等視頻壓縮技術(shù)，以更高效地發(fā)射且接收數(shù)字視頻。視頻壓縮技術(shù)執(zhí)行空間和時間預(yù)測以減少或移除視頻序列中固有的冗余。視頻壓縮通常包括空間預(yù)測和/或時間預(yù)測。特定來說，幀內(nèi)編碼 (intra-coding)依靠空間預(yù)測來減少或移除給定經(jīng)譯碼單元內(nèi)的視頻塊之間的空間冗余， 所述給定經(jīng)編碼單元可包含視頻幀、視頻幀的片段等。相比之下，幀間編碼(inter-coding) 依靠時間預(yù)測來減少或移除視頻序列的連續(xù)的經(jīng)譯碼單元的視頻塊之間的時間冗余。針對幀內(nèi)編碼，視頻編碼器基于同一經(jīng)譯碼單元內(nèi)的其它數(shù)據(jù)來執(zhí)行空間預(yù)測以壓縮數(shù)據(jù)。針對幀間編碼，視頻編碼器執(zhí)行運動估計和運動補償以追蹤兩個或兩個以上相鄰的經(jīng)譯碼單元的匹配視頻塊的移動。在空間或時間預(yù)測后，通過從正被譯碼的原始視頻塊減去在預(yù)測過程期間產(chǎn)生的預(yù)測視頻塊而產(chǎn)生殘余塊。所述殘余塊因此指示預(yù)測塊與正被譯碼的當前塊之間的差。視頻編碼器可應(yīng)用變換、量化和熵譯碼過程來進一步減小與殘余塊的通信相關(guān)聯(lián)的位速率。 變換技術(shù)可將一組像素值變成變換系數(shù)，所述變換系數(shù)在頻域中表示像素值的能量。將量化應(yīng)用于變換系數(shù)，且量化一般涉及限制與任一給定系數(shù)相關(guān)聯(lián)的位的數(shù)目的過程。在熵編碼前，視頻編碼器將量化系數(shù)塊掃描成一維系數(shù)向量。視頻編碼器對量化變換系數(shù)的所述向量進行熵編碼以進一步壓縮殘余數(shù)據(jù)。視頻解碼器可執(zhí)行熵解碼操作以檢索所述系數(shù)。還可在解碼器處執(zhí)行逆掃描以從接收到的一維系數(shù)向量形成二維塊。視頻解碼器接著將所述系數(shù)進行逆量化和逆變換以獲得重構(gòu)的殘余塊。視頻解碼器接著基于包括運動信息的預(yù)測信息來解碼預(yù)測視頻塊。視頻解碼器接著將預(yù)測視頻塊添加到對應(yīng)的重構(gòu)的殘余塊以便產(chǎn)生重構(gòu)的視頻塊且產(chǎn)生經(jīng)解碼的視頻信息序列
發(fā)明內(nèi)容
本申請案的系統(tǒng)、方法和裝置各自具有若干方面，所述方面中無單一方面單獨負責其合意屬性。在不限制由所附權(quán)利要求書表達的本申請案的范圍的情況下，現(xiàn)將簡要論述其較突出的特征。在考慮此論述后，且尤其在閱讀標題為“具體實施方式
”的章節(jié)后，將理解本申請案的范例特征可如何提供一些改進，其中(尤其)包括(例如)改進的視頻譯碼效率。在一個實施例中，存在一種編碼視頻數(shù)據(jù)的方法，所述方法包含基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊；從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊；選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊；產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素， 其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大小；將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)；以及基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號。在另一實施例中，存在一種解碼視頻數(shù)據(jù)的方法，所述方法包含接收指示視頻幀內(nèi)的至少一個塊的視頻信號，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊；基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大小；對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊；以及將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊。在另一實施例中，存在一種用于編碼視頻數(shù)據(jù)的設(shè)備，所述設(shè)備包含用于基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊的裝置；用于從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊的裝置；用于選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊的裝置；用于產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)的裝置，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大??；用于將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)的裝置；以及用于基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號的裝置。在另一實施例中，存在一種用于解碼視頻數(shù)據(jù)的設(shè)備，所述設(shè)備包含用于接收指示視頻幀內(nèi)的至少一個塊的視頻信號的裝置，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；用于將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊的裝置；用于基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大小的裝置；用于對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊的裝置；以及用于將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊的裝置。在另一實施例中，存在一種編碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包含預(yù)測單元，其經(jīng)配置以基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊；求和器，其經(jīng)配置以從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊；處理器，其經(jīng)配置以選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊且產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大??；塊變換單元，其經(jīng)配置以將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)；以及熵編碼單元，其經(jīng)配置以基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號。在另一實施例中，存在一種解碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包含接收器，其經(jīng)配置以接收指示視頻幀內(nèi)的至少一個塊的視頻信號，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素， 其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；預(yù)測單元，其經(jīng)配置以將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊；處理器，其經(jīng)配置以基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大??；逆變換單元，其經(jīng)配置以對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊；以及求和器，其經(jīng)配置以將所述經(jīng)解碼殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊。


圖1為說明用于視頻信號的編碼和解碼的源裝置和目的裝置的框圖。圖2為圖1的視頻編碼器的一實施例的框圖。圖3為設(shè)定用于將圖1的編碼器所使用的變換的類型信令到圖1的解碼器的旗標值的過程的一實施例的流程圖。圖4為設(shè)定用于將圖1的編碼器所使用的變換的類型信令到圖1的解碼器的旗標值的過程的另一實施例的流程圖。圖5為選擇正確的逆變換以用于解碼根據(jù)圖3的過程編碼的視頻數(shù)據(jù)的過程的一實施例的流程圖。圖6為選擇正確的逆變換以用于解碼根據(jù)圖4的過程編碼的視頻數(shù)據(jù)的過程的另一實施例的流程圖。 圖7為圖1的視頻解碼器的一實施例的框圖。
具體實施例方式
以下詳細描述針對某些具體實施例。然而，可以大量不同方式來應(yīng)用本文中的教示。在此描述中，對圖式進行參考，其中始終用相似數(shù)字表示相似部分。
一個實施例針對用于視頻編碼和解碼的變換大小語法元素。通過在圖像和視頻信號的編碼和解碼過程中實施一組簡化的變換選擇規(guī)則和指導(dǎo)方針，有可能創(chuàng)建低位速率語法。如所描述，變換大小語法是在編碼器處指示特定變換大小的方式以及在解碼器處解譯所述變換大小的方式。變換大小語法元素可用以指示將使用的變換大小且可包括包含若干位的旗標值。注意，以下詳細描述可通?；Q地使用術(shù)語“視頻”、“圖像”與“圖片”。因此， 本發(fā)明的各個方面的范圍不應(yīng)受術(shù)語之間的差異的概念限制。圖1為說明執(zhí)行如本發(fā)明中所描述的譯碼技術(shù)的視頻編碼和解碼系統(tǒng)10的框圖。 如圖ι中所示，系統(tǒng)10包括經(jīng)由通信信道16將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的裝置14的源裝置12。源裝置12可包括視頻源18、視頻編碼器20和發(fā)射器22。源裝置12的視頻源18可包括視頻俘獲裝置(例如，視頻攝影機)、含有先前俘獲的視頻的視頻檔案，或來自視頻內(nèi)容提供者的視頻饋入。作為另一替代方案，視頻源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻與計算機產(chǎn)生的視頻的組合。在一些情況下，源裝置12可為無線電話或視頻電話，在此情況下，視頻源18可為電話上的視頻攝影機。在每一情況下，所俘獲、預(yù)先俘獲或計算機產(chǎn)生的視頻可由視頻編碼器20編碼以經(jīng)由發(fā)射器22和通信信道16從源裝置12發(fā)射到目的裝置14。視頻編碼器20從視頻源18接收視頻數(shù)據(jù)。從視頻源18接收的視頻數(shù)據(jù)可為一系列視頻幀。視頻編碼器20將所述系列的幀分為譯碼單元且處理所述譯碼單元以編碼所述系列的視頻幀。舉例來說，譯碼單元可為整個幀或幀的部分(即，片段)。因此，在一些情況下，可將幀分為片段。視頻編碼器20將每一譯碼單元分為像素塊(本文中被稱作視頻塊或塊)且對個別譯碼單元內(nèi)的視頻塊進行操作以便編碼視頻數(shù)據(jù)。因而，譯碼單元(例如， 幀或片段)可含有多個視頻塊。換句話說，視頻序列可包括多個幀，一幀可包括多個片段， 且一片段可包括多個視頻塊。視頻塊可具有固定或變化的大小，且大小可根據(jù)規(guī)定的譯碼標準而不同。作為一實例，國際電信聯(lián)盟標準化部門(ITU-T)H. 264/MPEG-4第10部分高級視頻譯碼(AVC)(在下文中為“H. 264/MPEG-4第10部分AVC”標準)支持以各種塊大小(例如，針對亮度分量的16X16、8X8或4X4像素，和針對色度分量的8X8像素)進行的幀內(nèi)預(yù)測?？梢愿鞣N塊大小(例如，針對亮度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4像素，和針對色度分量的對應(yīng)按比例縮放的大小)來執(zhí)行幀間預(yù)測。在H. 264中，舉例來說，可將16 乘16像素的每一視頻塊(常被稱作宏塊(MB))再分為更小大小的子塊且在子塊中加以幀內(nèi)或幀間預(yù)測。一般來說，可認為MB和各種子塊為視頻塊。因此，可認為MB為視頻塊，且如果被分割或再分割，那么可認為MB自身定義視頻塊的集合。針對視頻塊中的每一者，視頻編碼器20為所述塊選擇塊類型。塊類型可指示是使用幀間預(yù)測還是幀內(nèi)預(yù)測來預(yù)測所述塊，且指示所述塊的預(yù)測塊大小。舉例來說，H. 264/ MPEG-4第10部分AVC標準支持若干幀間和幀內(nèi)預(yù)測塊類型，包括幀間16X 16、幀間16X8、 幀間8X16、幀間8X8、幀間8X4、幀間4X8、幀間4X4、幀內(nèi)16X16、幀內(nèi)8X8和幀內(nèi) 4X4。如以下詳細地描述，視頻編碼器20可針對待編碼的視頻塊中的每一者選擇所述塊類型中的一者。視頻編碼器20還為所述視頻塊中的每一者選擇預(yù)測模式。在經(jīng)幀內(nèi)編碼的視頻塊的情況下，預(yù)測模式可確定使用一個或一個以上先前編碼的視頻塊來預(yù)測當前視頻塊的方式。在H. ^4/MPEG-4第10部分AVC標準中，舉例來說，視頻編碼器20可為每一幀內(nèi)4X4 塊選擇以下九個可能的單向預(yù)測模式中的一者垂直預(yù)測模式、水平預(yù)測模式、DC預(yù)測模式、對角向下-向左預(yù)測模式、對角向下-向右預(yù)測模式、垂直-向右預(yù)測模式、水平-向下預(yù)測模式、垂直-向左預(yù)測模式和水平-向上預(yù)測模式。可使用類似的預(yù)測模式來預(yù)測每一幀內(nèi)8X8塊。針對幀內(nèi)16X16塊，視頻編碼器20可選擇以下四個可能的單向模式中的一者垂直預(yù)測模式、水平預(yù)測模式、DC預(yù)測模式和平面預(yù)測模式。在一些情況下，視頻編碼器20可從一組預(yù)測模式選擇預(yù)測模式，所述組預(yù)測模式不僅包括單向預(yù)測模式，而且還包括定義所述單向模式的組合的一個或一個以上多向預(yù)測模式。舉例來說，所述一個或一個以上多向預(yù)測模式可為組合兩個單向預(yù)測模式的雙向預(yù)測模式。在選擇用于視頻塊的預(yù)測模式后，視頻編碼器20使用選定的預(yù)測模式產(chǎn)生預(yù)測視頻塊。從原始視頻塊減去預(yù)測視頻塊以形成殘余塊。殘余塊包括一組像素差值，所述組像素差值量化原始視頻塊的像素值與所產(chǎn)生的預(yù)測塊的像素值之間的差?？梢远S塊格式 (例如，像素差值的二維矩陣或陣列)來表示殘余塊。在產(chǎn)生殘余塊后，視頻編碼器20可在編碼所述塊前對殘余塊執(zhí)行若干其它操作。 視頻編碼器20可將變換(例如，整數(shù)變換、DCT變換、定向變換或小波變換)應(yīng)用于像素值的殘余塊以產(chǎn)生變換系數(shù)的塊。變換系數(shù)可為殘余塊的頻域表示。因此，視頻編碼器20將殘余像素值轉(zhuǎn)換為變換系數(shù)(也稱作殘余變換系數(shù))。殘余變換系數(shù)可被稱作變換塊或系數(shù)塊。當應(yīng)用不可分離式變換時，殘余變換系數(shù)可為系數(shù)的一維表示，或者當應(yīng)用可分離式變換時，殘余變換系數(shù)可為系數(shù)的二維表示。不可分離式變換可包括不可分離式定向變換。 可分離式變換可包括可分離式定向變換、DCT變換、整數(shù)變換和小波變換。在變換后，視頻編碼器20執(zhí)行量化以產(chǎn)生量化變換系數(shù)(也稱作量化系數(shù)或量化殘余系數(shù))。再次，可以一維向量格式或二維塊格式來表示量化系數(shù)。量化通常指代系數(shù)經(jīng)量化而有可能減少用來表示所述系數(shù)的數(shù)據(jù)量的過程。量化過程可減小與所述系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。如本文中所使用，術(shù)語“系數(shù)”可表示變換系數(shù)、量化系數(shù)或其它類型的系數(shù)。在一些情況下，可將本發(fā)明的技術(shù)應(yīng)用于殘余像素值、量化殘余像素值，以及變換系數(shù)和量化變換系數(shù)。當使用可分離式變換且以二維塊格式來表示系數(shù)塊時，視頻編碼器20將系數(shù)從二維格式掃描到一維格式。換句話說，視頻編碼器20可掃描來自二維塊的系數(shù)以將所述系數(shù)串行化為一維系數(shù)向量。根據(jù)本發(fā)明的方面中的一者，視頻編碼器20可基于所收集的統(tǒng)計量來調(diào)整用以將系數(shù)塊轉(zhuǎn)換為一維的掃描次序。統(tǒng)計量可包含對二維塊的每一位置中的給定系數(shù)值為零還是非零的可能性的指示，且可(例如)包含與二維塊的系數(shù)位置中的每一者相關(guān)聯(lián)的計數(shù)、機率或其它統(tǒng)計度量。在一些情況下，可僅針對塊的系數(shù)位置的子集來收集統(tǒng)計量。當評估掃描次序時(例如，在特定數(shù)目個塊之后)，可改變掃描次序，使得在塊內(nèi)的經(jīng)確定為具有非零系數(shù)的機率較低的系數(shù)位置之前掃描塊內(nèi)的經(jīng)確定為具有非零系數(shù)的機率較高的系數(shù)位置。以此方式，初始掃描次序可適于更高效地使非零系數(shù)聚集在一維系數(shù)向量的開始處且使零值系數(shù)聚集在一維系數(shù)向量的結(jié)束處。因為在一維系數(shù)向量的開始處在非零系數(shù)之間存在較短的零連串(rim of zeros)且在一維系數(shù)向量的結(jié)束處存在一個較長的零連串，所以此又可減少在熵譯碼上花費的位的數(shù)目。在掃描所述系數(shù)后，視頻編碼器20使用多種熵譯碼方法(例如，上下文自適應(yīng)可變長度譯碼(CAVLC)、上下文自適應(yīng)二進制算術(shù)譯碼(CABAC)、運行長度譯碼等)中的任一者來編碼所述譯碼單元的視頻塊中的每一者。源裝置12經(jīng)由發(fā)射器22和信道16將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的裝置14。通信信道16可包含任何無線或有線通信媒體(例如，射頻(RF)頻譜或者一個或一個以上物理發(fā)射線)或無線媒體與有線媒體的任何組合。通信信道16可形成基于包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)(例如，因特網(wǎng)))的一部分。通信信道16通常表示用于將經(jīng)編碼視頻數(shù)據(jù)從源裝置12發(fā)射到目的裝置14的任何適合的通信媒體或不同通信媒體的集合。目的裝置14可包括接收器對、視頻解碼器沈和顯示裝置觀。接收器M (其為一個接收視頻信號的裝置)經(jīng)由信道16從源裝置12接收經(jīng)編碼的視頻位流。視頻解碼器沈應(yīng)用熵解碼以解碼經(jīng)編碼的視頻位流以獲得經(jīng)譯碼單元的經(jīng)譯碼視頻塊的標頭信息、運動向量和量化殘余系數(shù)。如上所述，由源裝置12編碼的量化殘余系數(shù)被編碼為一維向量。視頻解碼器26因此掃描經(jīng)譯碼視頻塊的量化殘余系數(shù)以將一維系數(shù)向量轉(zhuǎn)換為量化殘余系數(shù)的二維塊。與視頻編碼器20 —樣，視頻解碼器沈可收集指示視頻塊中的給定系數(shù)位置為零還是非零的可能性的統(tǒng)計量，且借此以與編碼過程中所使用的方式相同的方式來調(diào)整掃描次序。因此，可由視頻解碼器26應(yīng)用相反的自適應(yīng)掃描次序，以便將串行化的量化變換系數(shù)的一維向量表示轉(zhuǎn)換回到量化變換系數(shù)的二維塊。視頻解碼器沈使用經(jīng)解碼的標頭信息和經(jīng)解碼的殘余信息來重構(gòu)經(jīng)譯碼單元的塊中的每一者。特定來說，視頻解碼器26可使用作為標頭信息的一部分而包括的預(yù)測和運動信息來產(chǎn)生用于當前視頻塊的預(yù)測視頻塊，且組合所述預(yù)測塊與對應(yīng)的殘余視頻塊以重構(gòu)所述視頻塊中的每一者。目的裝置14可經(jīng)由顯示裝置觀向用戶顯示所述重構(gòu)的視頻塊。 顯示裝置觀可包含多種顯示裝置中的任一者，例如，陰極射線管(CRT)、液晶顯示器(LCD)、 等離子顯示器、發(fā)光二極管(LED)顯示器、有機LED顯示器或另一類型的顯示單元。在一些情況下，源裝置12和目的裝置14可以大體上對稱的方式操作。舉例來說， 源裝置12和目的裝置14可各自包括視頻編碼和解碼組件。因此，系統(tǒng)10可支持裝置12、14 之間的單向或雙向視頻發(fā)射(例如)以用于視頻串流、視頻廣播或視頻電話。包括視頻編碼和解碼組件的裝置還可形成普通的編碼、歸檔和重放裝置(例如，數(shù)字視頻記錄器(DVR)) 的一部分。視頻編碼器20和視頻解碼器沈可根據(jù)多種視頻壓縮標準中的任一者而操作，視頻壓縮標準例如由動畫專家組(MPEG)在MPEG-l、MPEG-2和MPEG-4中定義的標準；ITU-T H. 263標準；H. 264/MPEG4第10部分AVC標準；電影與電視工程師協(xié)會(SMPTE) 42IM視頻 CODEC標準(通常被稱作“VC-1”)；由中國音頻視頻譯碼標準工作組定義的標準(通常被稱作“AVS”)；以及由標準團體定義的或由一組織作為專屬標準所開發(fā)的任何其它視頻譯碼標準。盡管在圖1中未圖示，但在一些方面中，視頻編碼器20和視頻解碼器沈各自可分別與音頻編碼器和解碼器集成，且可包括適當?shù)腗UX-DEMUX單元或其它硬件和軟件以處置共同數(shù)據(jù)流或單獨的數(shù)據(jù)流中的音頻和視頻兩者的編碼。以此方式，源裝置12和目的裝置 14可對多媒體數(shù)據(jù)進行操作。適用時，MUX-DEMUX單元可遵照ITU H. 223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。在一些方面中，針對視頻廣播，本發(fā)明中所描述的技術(shù)可應(yīng)用于增強型H. 264視頻譯碼，以用于在陸地移動多媒體多播(TM3)系統(tǒng)中使用僅前向鏈路(FLO)空中接口規(guī)范“陸地移動多媒體多播的僅前向鏈路空中接口規(guī)范O7Orward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)，，來傳遞實時視頻服務(wù)， 所述規(guī)范作為技術(shù)標準TIA-1099( “FLO規(guī)范”)在2007年7月公布。也就是說，通信信道 16可包含用以根據(jù)FLO規(guī)范或類似者來廣播無線視頻信息的無線信息信道。FLO規(guī)范包括定義位流語法和語義的實例和適合于FLO空中接口的解碼過程?；蛘?，可根據(jù)例如DVB_H(手持式數(shù)字視頻廣播)、ISDB-T(陸地集成服務(wù)數(shù)字廣播)或DMB (數(shù)字媒體廣播)等其它標準來廣播視頻。因此，源裝置12可為移動無線終端、 視頻串流服務(wù)器或視頻廣播服務(wù)器。然而，本發(fā)明中所描述的技術(shù)不限于任何特定類型的廣播、多播或點對點系統(tǒng)。在廣播的情況下，源裝置12可向多個目的裝置廣播視頻數(shù)據(jù)的若干信道，所述目的裝置中的每一者可類似于圖1的目的裝置14。因此，雖然圖1中針對視頻廣播應(yīng)用展示了單一目的裝置14，但源裝置12將通常向許多目的裝置同時廣播視頻內(nèi)容。在其它實例中，發(fā)射器22、通信信道16和接收器M可經(jīng)配置以用于根據(jù)任何有線或無線通信系統(tǒng)進行通信，有線或無線通信系統(tǒng)包括以太網(wǎng)、電話(例如，P0TS)、電纜、 電力線以及光纖系統(tǒng)和/或無線系統(tǒng)中的一者或一者以上，所述無線系統(tǒng)包含下列中的一者或一者以上碼分多址(CDMA或CDMA2000)通信系統(tǒng)、頻分多址(FDMA)系統(tǒng)、正交頻分多址(OFDM)系統(tǒng)、時分多址(TDMA)系統(tǒng)(例如，GSM(全球移動通信系統(tǒng))、GPRS(通用包無線電服務(wù))或EDGE (增強型數(shù)據(jù)GSM環(huán)境))、TETRA (陸地集群無線電)移動電話系統(tǒng)、 寬帶碼分多址(WCDMA)系統(tǒng)、高數(shù)據(jù)速率IxEV-DO(第一代僅演進數(shù)據(jù))或IxEV-DO Gold Multicast系統(tǒng)、IEEE 802. 18系統(tǒng)、MediaFLO. TM.系統(tǒng)、DMB系統(tǒng)、DVB-H系統(tǒng)或用于兩個或兩個以上裝置之間的數(shù)據(jù)通信的另一方案。視頻編碼器20和視頻解碼器沈各自可實施為一個或一個以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、 固件或其任何組合。視頻編碼器20和視頻解碼器沈中的每一者可包括于一個或一個以上編碼器或解碼器中，其中任一者可集成為相應(yīng)移動裝置、訂戶裝置、廣播裝置、服務(wù)器等中的組合式編碼器/解碼器(CODEC)的一部分。此外，源裝置12和目的裝置14各自可包括在適用時用于對經(jīng)編碼視頻的發(fā)射和接收的適當?shù)恼{(diào)制、解調(diào)、頻率轉(zhuǎn)換、濾波和放大器組件，所述組件包括射頻(RF)無線組件和足以支持無線通信的天線。然而，為了易于說明，在圖1中將此類組件概述為源裝置12的發(fā)射器22和目的裝置14的接收器M。圖2為說明視頻編碼器20的一實例的框圖。視頻解碼器沈可包括與視頻編碼器 20類似的組件。視頻編碼器20可執(zhí)行視頻幀內(nèi)的塊的幀內(nèi)和幀間編碼。幀內(nèi)編碼依靠空間預(yù)測來減少或移除給定視頻幀內(nèi)的視頻中的空間冗余。幀間編碼依靠時間預(yù)測來減少或移除相鄰幀內(nèi)的視頻中的時間冗余。針對幀間編碼，視頻編碼器20執(zhí)行運動估計以追蹤兩個或兩個以上相鄰幀之間的匹配視頻塊的移動。如圖2中所示，視頻編碼器20接收待編碼的視頻幀內(nèi)的當前視頻塊21。在圖2的實例中，視頻編碼器20包括運動預(yù)測單元23、參考幀存儲裝置25、塊變換單元四、量化單元 31、逆量化單元33、逆變換單元35、熵譯碼單元37、模式?jīng)Q策單元43、空間預(yù)測單元47和解塊濾波器49。視頻編碼器20還包括求和器39、求和器41和開關(guān)51。視頻編碼器20還可包括用于掃描量化系數(shù)的掃描單元(未圖示)。圖2說明視頻編碼器20的用于視頻塊的幀間編碼的時間預(yù)測組件和用于視頻塊的幀內(nèi)編碼的空間預(yù)測組件。開關(guān)51可受模式?jīng)Q策單元43控制且可用以在空間預(yù)測視頻塊或時間預(yù)測視頻塊之間作出選擇以作為用于輸入視頻塊的預(yù)測視頻塊。為了評估幀間編碼，運動預(yù)測單元23比較視頻塊21與一個或一個以上相鄰視頻幀中的塊以產(chǎn)生一個或一個以上運動向量?？蓮膮⒖紟鎯ρb置25檢索所述相鄰幀。可對具有可變大小(例如，16\16、16\8、8\16、8父8或更小塊大小)的塊執(zhí)行運動估計。運動預(yù)測單元23 (例如，基于速率失真模型)識別相鄰幀中的最緊密匹配于當前視頻塊21的塊，且確定所述塊之間的位移?；诖瞬僮鳎\動預(yù)測單元23產(chǎn)生指示所述位移的量值和軌跡的運動向量。運動向量可具有二分之一或四分之一像素精度，或者甚至更精細的精度，從而允許視頻編碼器20以比整數(shù)像素位置高的精度來追蹤運動且獲得更好的預(yù)測塊。當使用具有分數(shù)像素值的運動向量時，可在運動預(yù)測單元23中進行內(nèi)插操作。舉例來說，在AVC/ H. 264標準中，為了獲得在二分之一像素位置處的亮度信號，可使用具有系數(shù)(1，-5,20, 20，-5,1)/32的6分接頭式維納(Wiener)濾波器。為了獲得在四分之一像素位置處的亮度信號，可使用對在整數(shù)像素位置處的值和在二分之一像素位置處的內(nèi)插值的雙線性濾波。在針對色度分量的分數(shù)像素內(nèi)插中也可使用雙線性濾波器，其可具有高達1/8像素精度。在使用速率失真模型來識別視頻塊的最佳運動向量后，運動預(yù)測單元23通過運動補償來輸出預(yù)測視頻塊。在替代方案中，為了評估幀內(nèi)編碼，使用空間預(yù)測單元47以使用同一譯碼單元 (例如，同一幀)中的已譯碼的塊來形成預(yù)測視頻塊。舉例來說，可比較視頻塊21與在與視頻塊21相同的幀中的其它已譯碼的塊。在一些實施例中，可從參考幀存儲裝置25檢索已譯碼的塊。在一些實施例中，可使用各種空間預(yù)測方法。舉例來說，在H. 264/MPEG-4AVC 中，可對大小為4X 4、8 X 8和/或16 X 16的視頻塊執(zhí)行定向空間預(yù)測。另外，可將總共9個預(yù)測方向用于4X4和8X8亮度塊?？蓪⒖偣?個預(yù)測方向用于16X 16亮度塊和色度塊。 可在同一譯碼單元內(nèi)執(zhí)行其它類型的空間預(yù)測。舉例來說，可使用與運動估計類似的過程在當前譯碼單元的已譯碼的部分中識別當前視頻塊的匹配視頻塊。另外，可確定匹配視頻塊與當前視頻塊之間的位移量且接著作為當前視頻塊的經(jīng)譯碼視頻標頭數(shù)據(jù)的一部分加以信令。模式?jīng)Q策單元43可基于預(yù)定義的準則(例如，拉格朗日(Lagrangian)速率失真模型)選擇最佳空間預(yù)測模式(例如，預(yù)測塊大小、預(yù)測方向或預(yù)測視頻塊的位移等)。視頻編碼器20通過在求和器39 (其為一種用于從原始塊減去預(yù)測塊的裝置)處從原始當前視頻塊21減去由運動預(yù)測單元23或空間預(yù)測單元47產(chǎn)生的預(yù)測視頻塊而形成殘余視頻塊。塊變換單元四(其為一種用于應(yīng)用變換的裝置)將變換應(yīng)用于殘余塊?？捎赡Ｊ?jīng)Q策單元43對塊變換單元四指示將使用的變換的大小和類型。量化單元31量化變換系數(shù)以進一步減小位速率。熵譯碼單元37 (其為一種用于產(chǎn)生視頻信號的裝置)對量化系數(shù)進行熵譯碼以更進一步減小位速率。視頻解碼器26執(zhí)行逆操作以重構(gòu)經(jīng)編碼視頻。逆量化單元33和逆變換單元35分別應(yīng)用逆量化和逆變換以重構(gòu)所述殘余塊。求和器41將重構(gòu)的殘余塊添加到預(yù)測塊以產(chǎn)生重構(gòu)的視頻塊以用于存儲于參考幀存儲裝置 25中。由運動預(yù)測單元23或空間預(yù)測單元47使用所述重構(gòu)的視頻塊來編碼在當前視頻幀或后續(xù)視頻幀中的后續(xù)視頻塊。
在對當前視頻幀21中的給定塊執(zhí)行運動補償時，運動預(yù)測單元23可使用一組固定的濾波器對來自參考幀的參考塊進行內(nèi)插。如果當前塊經(jīng)單向預(yù)測，那么需要一個參考塊，或如果當前塊經(jīng)雙向預(yù)測，那么需要兩個參考塊。在H. 264中，在一些情況下可使用在正向和反向方向中的多個參考幀。在運動預(yù)測單元23中使用的實際濾波器視運動向量的分數(shù)部分而定。舉例來說，如果運動向量在給定維度中指向參考幀中的二分之一像素位置以獲得所述二分之一像素位置的值，那么在具有二分之一像素運動向量的所述維度中使用例如(1，-5，20，20，-5，1)/32等6分接頭式濾波器。如果兩個運動向量分量均指向整數(shù)位置，那么可在不執(zhí)行任何內(nèi)插濾波操作的情況下直接使用來自參考幀存儲裝置25中的參考幀的像素值。圖7為說明視頻解碼器沈的一實例的框圖。將經(jīng)編碼位流饋入到系統(tǒng)700中。 所述位流的部分可對應(yīng)于不同視頻塊。另外，那些視頻塊中的若干視頻塊可構(gòu)成單一視頻幀。在熵解碼單元702處對所述位流的對應(yīng)于給定視頻塊的一部分進行熵解碼以形成包含量化殘余變換系數(shù)的殘余塊。接著可在逆掃描單元(未圖示)處逆掃描所述殘余塊。還可在逆量化單元706處逆量化所述殘余塊且在逆變換單元708處逆變換所述殘余塊以形成經(jīng)解碼的殘余塊。熵解碼單元702可基于接收到的標頭數(shù)據(jù)來確定要執(zhí)行的逆變換的類型和 /或大小(如下文所論述)。產(chǎn)生預(yù)測視頻塊且在添加單元710處將其添加到經(jīng)解碼的殘余塊?？墒褂脙煞N類型的預(yù)測方法(幀內(nèi)和幀間)中的一者來形成所述預(yù)測視頻塊?？臻g預(yù)測單元716使用在同一視頻幀中(或如果使用視頻片段作為譯碼單元，那么在同一視頻片段中)的已譯碼的塊以產(chǎn)生幀內(nèi)預(yù)測塊。運動補償單元718使用存儲于參考幀存儲裝置720處的先前和/或未來幀以產(chǎn)生幀間預(yù)測塊。視指示用以編碼所述視頻塊的譯碼模式的接收到的標頭數(shù)據(jù)而定，可切換開關(guān)722以調(diào)用空間預(yù)測單元716或運動補償單元718 來產(chǎn)生幀內(nèi)或幀間預(yù)測塊。接著在添加單元710處將預(yù)測塊添加到經(jīng)解碼的殘余塊以產(chǎn)生經(jīng)解碼的視頻塊。接著將所得重構(gòu)的視頻塊發(fā)送到解塊濾波單元712，在解塊濾波單元712處，可在塊邊緣處對其進行濾波以防止可能在視覺上無吸引力的塊假影(blocking artifact) 0產(chǎn)生的輸出為最終的經(jīng)解碼的視頻塊?？蓪⒆罱K的經(jīng)解碼的視頻塊存儲于參考幀存儲裝置 720中以用于在相同的或其它的視頻幀中的其它視頻塊的重構(gòu)。為了適當?shù)亟獯a經(jīng)編碼視頻流，解碼器應(yīng)知曉已使用哪種類型的變換來編碼視頻數(shù)據(jù)。解碼器可接著應(yīng)用對應(yīng)于在編碼器處使用的正變換的適當?shù)哪孀儞Q。因此，需要將指示用以編碼視頻塊的變換的類型的數(shù)據(jù)作為視頻位流的一部分發(fā)送到解碼器來適當?shù)亟獯a所述視頻塊。如關(guān)于圖2所描述，塊變換單元四將變換應(yīng)用于殘余視頻塊。對殘余塊應(yīng)用變換提供了所要的能量集中，其在與量化和熵譯碼組合時實現(xiàn)高壓縮效率。在流行的基于塊的視頻譯碼系統(tǒng)(例如MPEG2和H. 264/AVC)中使用的變換的實例包括8X8DCT變換以及 4X4禾P 8X8整數(shù)變換。H. 264/AVC標準為提供高譯碼效率的最新視頻譯碼標準。H. 264/AVC使用各種類型的塊變換。針對經(jīng)幀內(nèi)(空間預(yù)測)和幀間(時間預(yù)測)預(yù)測的塊，H. 264/AVC使用基于4 X 4DCT變換的4X4整數(shù)變換或基于8 X 8DCT變換的8X8整數(shù)變換。
針對視頻信號的色度信號，對每一塊中的2X2DC分量應(yīng)用額外層次的2X2哈達馬德(Hadamard)變換。針對視頻信號的亮度信號，如下選擇變換。首先確定塊是經(jīng)幀內(nèi)預(yù)測還是經(jīng)幀間預(yù)測。如果塊經(jīng)幀間預(yù)測，那么接下來確定塊大小是否小于8X8。如果塊小于8X8，那么使用4 X 4整數(shù)變換。如果塊不小于8 X 8，那么使用4 X 4或8 X 8整數(shù)變換。如果塊經(jīng)幀內(nèi)預(yù)測，那么確定所述塊是否使用INTRA_16X 16模式加以預(yù)測。如果所述塊使用INTRA_16X 16模式加以預(yù)測，那么將4X4整數(shù)變換應(yīng)用于所述塊且對每一塊中的4X4DC分量應(yīng)用額外層次的4X4哈達馬德變換。如果所述塊并非使用INTRA_16X 16 模式加以預(yù)測，那么在所述塊使用INTRA_4X4模式加以預(yù)測的情況下使用4X4整數(shù)變換， 且在所述塊使用INTRA_8X8模式加以預(yù)測的情況下使用8X8整數(shù)變換。在可對塊使用4X4或8X8變換的情況下，變換的選擇視正在使用的H. 264/AVC 規(guī)范而定。在并非高規(guī)范的任何H. 264規(guī)范(例如，基線規(guī)范、擴展的基線規(guī)范、主規(guī)范) 下，僅使用4X4整數(shù)變換。在HJ64/AVC高規(guī)范(即，保真度范圍擴展)下，還可對亮度信號使用基于8X8DCT變換的8X8整數(shù)變換。通過額外語法元素transform_size_8X8_ flag來信令對4X4或8X8整數(shù)變換的選擇。在可使用4X4或8X8變換(例如，具有不小于8X8的大小的經(jīng)幀間編碼的塊)的情況下，將transform_size_8X8_flag與經(jīng)編碼視頻數(shù)據(jù)一起發(fā)送到解碼器。如果transf0rm_size_8X8_flag經(jīng)設(shè)定為1，那么對殘余塊應(yīng)用8X8整數(shù)變換；否則(如果transf0rm_size_8X8_flag經(jīng)設(shè)定為0)，對殘余塊應(yīng)用 4X4整數(shù)變換。在H. 264/AVC 中，可對例如 16X 16、16X8、8X 16、8X8、8X4、4X8 和 4X4 等各種
塊大小執(zhí)行運動預(yù)測(即，運動分割)。雖然在對象邊緣和具有大量細節(jié)的區(qū)域周圍通常使用較小運動分割，但在較平滑的區(qū)域周圍通常選擇較大運動分割。因此，在運動預(yù)測后的殘余塊也通常較平滑，即，其往往含有較多的低頻分量。針對此類信號，應(yīng)用較大的變換可提供較好的能量集中。用于選擇運動分割和變換大小的方法和編碼器描述于第5，107，345 號美國專利、第6，996，283號美國專利和第6，600, 836號美國專利中，所述專利全部在此以引用的方式并入。如上所述，H. 264/AVC針對被幀間譯碼的視頻塊僅使用4X4和8X8 整數(shù)變換。4X4和8X8整數(shù)變換由transf0rm_size_8X8_flag的值指示，所述值當前限于1位大小。因此，無法指示具有在H. 264中使用的當前語法的額外變換大小，因為1位的 transf0rm_size_8Xg_flag可僅信令兩種變換類型。以下描述允許指示由編碼器和解碼器使用的額外變換大小的語法和語法元素。在一些實施例中，語法元素包含指示變換大小的 2位旗標值。可包括所述旗標值作為發(fā)送到解碼器的標頭信息的一部分。在以下實施例中，可結(jié)合所描述的方法而使用經(jīng)幀間預(yù)測的視頻塊或經(jīng)幀內(nèi)預(yù)測的視頻塊。即，可通過運動補償或空間預(yù)測來形成視頻塊的預(yù)測塊。在使用運動補償?shù)膶嵤├?，預(yù)測塊大小等于運動分割大?。灰虼?，可互換地使用術(shù)語“預(yù)測塊”與“運動分割”。另外，在使用空間預(yù)測的實施例中，預(yù)測塊大小等于所使用的空間預(yù)測塊的大小。因此，可互換地使用“預(yù)測塊”與“幀內(nèi)預(yù)測塊”或“空間預(yù)測塊”。舉例來說，可針對使用INTRA_16X 16 和INTRA_8X8預(yù)測予以譯碼的視頻塊使用多個變換選擇。除了 4X4變換之外，還可將 16 X 16、16 X 8、8 X 16或8 X 8變換應(yīng)用于經(jīng)INTRA_16 X 16預(yù)測的視頻塊；且將8X8變換應(yīng)用于經(jīng)INTRA_8X8預(yù)測的視頻塊。針對經(jīng)幀內(nèi)預(yù)測的塊，可以類似于經(jīng)幀間預(yù)測的視頻塊的方式進行對變換大小的信令?？蓪⒆儞Q大小旗標語法元素與預(yù)測塊大小語法元素組合； 且可使用變換大小旗標語法元素的可變長度譯碼。以下描述的語法使用旗標值以及給定塊的預(yù)測塊大小兩者來指示變換大小。塊的預(yù)測塊大小與旗標值的組合允許指示比當使用旗標值與變換大小之間的1對1對應(yīng)關(guān)系時多的變換大小。舉例來說，在變換大小與旗標值之間的1對1對應(yīng)關(guān)系中，2位旗標將僅指示4個不同變換大小，其中每一旗標值指示單一變換大小。然而，通過進一步利用塊的預(yù)測塊大小，可針對旗標使用相同數(shù)目個位而指示額外變換大小。舉例來說，如果旗標值00指示變換大小應(yīng)等于塊的預(yù)測塊大小且預(yù)測塊大小可具有N個不同塊大小，那么單一旗標值 00可指示N個不同變換大小。因此，在一個實施例中，旗標值中的一者或一者以上可指示正使用的變換大小等于塊的預(yù)測塊大小。在另一實施例中，可使用可變長度譯碼來譯碼旗標值。圖3為在編碼器處設(shè)定旗標值的過程300的示范性實施例，所述旗標值信令由編碼器20針對給定視頻塊所使用的變換大小?？稍谀Ｊ?jīng)Q策單元43處確定每一視頻塊的預(yù)測塊大小，且可在塊變換單元四處執(zhí)行變換(見圖幻?？捎赡Ｊ?jīng)Q策單元43進行預(yù)測塊大小的選擇和對塊使用的變換大小的選擇。在過程300的第一步驟302處，確定給定塊的預(yù)測塊大小是否大于8X8。如果預(yù)測塊大小不大于8X8，那么過程繼續(xù)到步驟306。或者， 如果預(yù)測塊大小大于8X8，那么過程繼續(xù)進行到步驟338。在步驟306處，確定預(yù)測塊大小是否小于8X8。如果預(yù)測塊大小小于8X8，那么過程300繼續(xù)進行到步驟310，在步驟310中將4X4變換應(yīng)用于塊。過程300接著繼續(xù)到步驟314，在步驟314中不設(shè)定將發(fā)送到解碼器的旗標值?；蛘撸绻诓襟E306處確定預(yù)測塊大小不小于8 X 8，那么過程繼續(xù)進行到步驟318，在步驟318中確定將對塊使用的變換大小是否為8X8。如果確定將不使用8X8變換大小，那么過程300繼續(xù)到步驟322，在步驟322中將4X 4變換應(yīng)用于塊，且過程300接著繼續(xù)到步驟326，在步驟3 中設(shè)定將發(fā)送到解碼器的值為0的1位旗標。在替代方案中，在步驟318處確定將使用8X8變換，過程繼續(xù)到步驟330，在步驟330中將8X8變換應(yīng)用于塊，且過程接著繼續(xù)到步驟334，在步驟 334中設(shè)定將發(fā)送到解碼器的值為1的1位旗標。如果在步驟302處確定預(yù)測塊大小大于8X8，那么過程繼續(xù)進行到步驟338。在步驟338處，在編碼器處自動或手動地確定是否將對給定塊使用大于8 X 8的變換大小。如果將不使用大于8 X 8的變換大小，那么過程300繼續(xù)到步驟342，在步驟342中確定將對給定塊使用的變換大小是否為8X8。如果將使用的變換大小不是8 X 8，那么過程300繼續(xù)到步驟346，在步驟346中將4X 4變換應(yīng)用于塊，且過程300接著繼續(xù)到步驟350，在步驟350 中設(shè)定將發(fā)送到解碼器的1位旗標值0。在替代方案中，如果將使用的變換大小為8X8，那么過程300繼續(xù)到步驟354，在步驟3M中將8 X 8變換應(yīng)用于塊，且過程300接著繼續(xù)到步驟358，在步驟358中設(shè)定將發(fā)送到解碼器的2位旗標值10。如果在步驟338處確定將使用的變換大小大于8 X 8，那么過程300繼續(xù)到步驟362。在步驟362處確定給定塊的預(yù)測塊大小是否為16X16。如果確定預(yù)測塊大小為 16X 16，那么過程300繼續(xù)進行到步驟366，在步驟366中將16X 16變換應(yīng)用于所述塊，且過程300接著繼續(xù)進行到步驟382。或者，如果在步驟362處確定預(yù)測塊大小不是16X 16， 那么過程300繼續(xù)到步驟370，在步驟370中確定預(yù)測塊大小是否為8 X 16。如果確定預(yù)測塊大小為8 X 16，那么過程300繼續(xù)到下一步驟374，在步驟374中將8 X 16變換應(yīng)用于所述塊，且過程300接著繼續(xù)到步驟382?；蛘撸绻_定預(yù)測塊大小不是8 X 16，那么過程300 繼續(xù)到下一步驟374，在步驟374中將16X8變換應(yīng)用于所述塊，且過程300接著繼續(xù)到步驟382。在步驟382處，設(shè)定將發(fā)送到解碼器的2位旗標值11。根據(jù)過程300，旗標值對應(yīng)于以下變換類型表 權(quán)利要求
1.一種編碼視頻數(shù)據(jù)的方法，所述方法包含基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊；從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊； 選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊；產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大??； 將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)；以及基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號。
2.根據(jù)權(quán)利要求1所述的方法，其中所述標頭數(shù)據(jù)進一步包含指示經(jīng)譯碼塊模式的第三語法元素，所述第三語法元素包含第二值，且其中如果所述第二值為非零，那么所述第一語法元素依序跟在所述第三語法元素之后。
3.根據(jù)權(quán)利要求1所述的方法，其中所述第一語法元素的所述第一值對應(yīng)于多個變換大小。
4.根據(jù)權(quán)利要求3所述的方法，其中所述第一值基于所述預(yù)測視頻塊的所述預(yù)測塊大小而映射到所述第一變換大小。
5.根據(jù)權(quán)利要求1所述的方法，其中所述第一變換大小為大小XXY，其中X不等于Y。
6.根據(jù)權(quán)利要求5所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
7.根據(jù)權(quán)利要求1所述的方法，其中所述第一變換大小等于所述預(yù)測視頻塊的所述預(yù)測塊大小。
8.根據(jù)權(quán)利要求1所述的方法，其中所述第一變換大小為NXM，且M和N中的至少一者等于或大于16。
9.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)包含 確定所述預(yù)測塊大小是否大于第一閾值；以及確定所述預(yù)測塊大小是否小于第二閾值。
10.根據(jù)權(quán)利要求9所述的方法，其中所述第一閾值為8X8，且所述第二閾值為8X8。
11.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)包含 確定所述預(yù)測塊大小是否大于第一閾值；以及確定所述預(yù)測塊大小是否等于第二值。
12.根據(jù)權(quán)利要求11所述的方法，其中所述第一閾值為8X8，且所述第二值為16X16。
13.根據(jù)權(quán)利要求11所述的方法，其中所述第一閾值為8X8，且所述第二值為16X8。
14.根據(jù)權(quán)利要求1所述的方法，其中所述選定變換為整數(shù)變換。
15.根據(jù)權(quán)利要求1所述的方法，其中所述選定變換為離散余弦變換。
16.根據(jù)權(quán)利要求1所述的方法，其中所述選定變換為定向變換。
17.—種解碼視頻數(shù)據(jù)的方法，所述方法包含接收指示視頻幀內(nèi)的至少一個塊的視頻信號，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素， 其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊；基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大小；對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊；以及將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊。
18.根據(jù)權(quán)利要求17所述的方法，其中所述標頭數(shù)據(jù)進一步包含指示經(jīng)譯碼塊模式的第三語法元素，所述第三語法元素包含第二值，且其中如果所述第二值為非零，那么所述第一語法元素依序跟在所述第三語法元素之后。
19.根據(jù)權(quán)利要求17所述的方法，其中所述第一語法元素的所述第一值對應(yīng)于多個變換大小。
20.根據(jù)權(quán)利要求19所述的方法，其中所述第一值基于所述至少一個塊的所述預(yù)測塊大小而映射到所述第一變換大小。
21.根據(jù)權(quán)利要求17所述的方法，其中所述第一變換大小為大小XXY，其中X不等于Y。
22.根據(jù)權(quán)利要求21所述的方法，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
23.根據(jù)權(quán)利要求17所述的方法，其中所述第一變換大小等于所述至少一個塊的所述預(yù)測塊大小。
24.根據(jù)權(quán)利要求17所述的方法，其中所述第一變換大小為NXM，且M和N中的至少一者等于或大于16。
25.根據(jù)權(quán)利要求17所述的方法，其中確定所述第一變換大小包含確定所述預(yù)測塊大小是否大于第一閾值；以及確定所述預(yù)測塊大小是否小于第二閾值。
26.根據(jù)權(quán)利要求25所述的方法，其中所述第一閾值為8X8，且所述第二閾值為8X8。
27.根據(jù)權(quán)利要求17所述的方法，其中確定所述第一變換大小包含確定所述預(yù)測塊大小是否大于第一閾值；以及確定所述預(yù)測塊大小是否等于第二值。
28.根據(jù)權(quán)利要求27所述的方法，其中所述第一閾值為8X8，且所述第二值為16X16。
29.根據(jù)權(quán)利要求27所述的方法，其中所述第一閾值為8X8，且所述第二值為16X8。
30.根據(jù)權(quán)利要求17所述的方法，其中所述逆變換為整數(shù)變換。
31.根據(jù)權(quán)利要求17所述的方法，其中所述逆變換為離散余弦變換。
32.根據(jù)權(quán)利要求17所述的方法，其中所述逆變換為定向變換。
33.一種用于編碼視頻數(shù)據(jù)的設(shè)備，所述設(shè)備包含用于基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊的裝置；用于從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊的裝置； 用于選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊的裝置； 用于產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)的裝置，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素， 其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大??； 用于將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)的裝置；以及用于基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號的裝置。
34.根據(jù)權(quán)利要求33所述的設(shè)備，其中所述用于應(yīng)用空間預(yù)測或運動補償?shù)难b置包含預(yù)測單元，所述用于減去的裝置包含求和器，所述用于選擇所述變換大小的裝置包含模式?jīng)Q策單元，所述用于產(chǎn)生標頭數(shù)據(jù)的裝置包含熵編碼單元，所述用于應(yīng)用所述選定變換的裝置包含塊變換單元，且所述用于產(chǎn)生視頻信號的裝置包含所述熵編碼單元。
35.一種用于解碼視頻數(shù)據(jù)的設(shè)備，所述設(shè)備包含用于接收指示視頻幀內(nèi)的至少一個塊的視頻信號的裝置，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的運動分割大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；用于將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊的裝置；用于基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大小的裝置；用于對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊的裝置；以及用于將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊的裝置。
36.根據(jù)權(quán)利要求35所述的設(shè)備，其中所述用于接收的裝置包含接收器，所述用于應(yīng)用空間預(yù)測或運動補償?shù)难b置包含預(yù)測單元，所述用于確定所述第一變換大小的裝置包含熵解碼單元，所述用于應(yīng)用逆變換的裝置包含逆變換單元，且所述用于添加的裝置包含求和器。
37.一種用于編碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包含預(yù)測單元，其經(jīng)配置以將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊；求和器，其經(jīng)配置以從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊；模式?jīng)Q策單元，其經(jīng)配置以選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊； 塊變換單元，其經(jīng)配置以將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)；以及熵編碼單元，其經(jīng)配置以產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大??； 且基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號。
38.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述標頭數(shù)據(jù)進一步包含指示經(jīng)譯碼塊模式的第三語法元素，所述第三語法元素包含第二值，且其中如果所述第二值為非零，那么所述第一語法元素依序跟在所述第三語法元素之后。
39.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述第一語法元素的所述第一值對應(yīng)于多個變換大小。
40.根據(jù)權(quán)利要求39所述的系統(tǒng)，其中所述第一值基于所述預(yù)測視頻塊的所述預(yù)測塊大小而映射到所述第一變換大小。
41.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述第一變換大小為大小XXY，其中X不等于Y。
42.根據(jù)權(quán)利要求41所述的系統(tǒng)，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
43.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述第一變換大小等于所述預(yù)測視頻塊的所述預(yù)測塊大小。
44.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述第一變換大小為NXM，且M和N中的至少一者等于或大于16。
45.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述熵編碼單元進一步經(jīng)配置以確定所述預(yù)測塊大小是否大于第一閾值且確定所述預(yù)測塊大小是否小于第二閾值。
46.根據(jù)權(quán)利要求45所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二閾值為8X8。
47.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述熵編碼單元進一步經(jīng)配置以確定所述預(yù)測塊大小是否大于第一閾值且確定所述預(yù)測塊大小是否等于第二值。
48.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二值為16X16。
49.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二值為16X8。
50.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述選定變換為整數(shù)變換。
51.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述選定變換為離散余弦變換。
52.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中所述選定變換為定向變換。
53.一種用于解碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包含接收器，其經(jīng)配置接收指示視頻幀內(nèi)的至少一個塊的視頻信號，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；預(yù)測單元，其經(jīng)配置以將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊；熵解碼單元，其經(jīng)配置以基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大??；逆變換單元，其經(jīng)配置以對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊；以及求和器，其經(jīng)配置以將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊。
54.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述標頭數(shù)據(jù)進一步包含指示經(jīng)譯碼塊模式的第三語法元素，所述第三語法元素包含第二值，且其中如果所述第二值為非零，那么所述第一語法元素依序跟在所述第三語法元素之后。
55.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述第一語法元素的所述第一值對應(yīng)于多個變換大小。
56.根據(jù)權(quán)利要求55所述的系統(tǒng)，其中所述第一值基于所述至少一個塊的所述預(yù)測塊大小而映射到所述第一變換大小。
57.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述第一變換大小為大小XXY，其中X不等于Y。
58.根據(jù)權(quán)利要求57所述的系統(tǒng)，其中X和Y中的至少一者等于8，且X和Y中的至少一者等于16。
59.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述第一變換大小等于所述至少一個塊的所述預(yù)測塊大小。
60.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述第一變換大小為NXM，且M和N中的至少一者等于或大于16。
61.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述熵解碼單元進一步經(jīng)配置以確定所述預(yù)測塊大小是否大于第一閾值且確定所述預(yù)測塊大小是否小于第二閾值。
62.根據(jù)權(quán)利要求61所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二閾值為8X8。
63.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述熵解碼單元進一步經(jīng)配置以確定所述預(yù)測塊大小是否大于第一閾值且確定所述預(yù)測塊大小是否等于第二值。
64.根據(jù)權(quán)利要求63所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二值為16X16。
65.根據(jù)權(quán)利要求63所述的系統(tǒng)，其中所述第一閾值為8X8，且所述第二值為16X8。
66.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述逆變換為整數(shù)變換。
67.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述逆變換為離散余弦變換。
68.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述逆變換為定向變換。
69.一種計算機可讀媒體，其包含指令，所述指令在被執(zhí)行時執(zhí)行包含以下步驟的方法基于預(yù)測模式將空間預(yù)測或運動補償應(yīng)用于視頻幀內(nèi)的原始視頻塊以產(chǎn)生預(yù)測視頻塊；從所述視頻幀內(nèi)的所述原始視頻塊減去所述預(yù)測視頻塊以形成殘余塊； 選擇具有第一變換大小的變換以應(yīng)用于所述殘余塊；產(chǎn)生指示所述選定變換的標頭數(shù)據(jù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述預(yù)測視頻塊的預(yù)測塊大小的第二語法元素，其中所述第一語法元素與所述第二語法元素共同指示所述第一變換大?。?將所述選定變換應(yīng)用于所述殘余塊以產(chǎn)生殘余變換系數(shù)；以及基于所述標頭數(shù)據(jù)和所述殘余變換系數(shù)來產(chǎn)生視頻信號。
70.一種計算機可讀媒體，其包含指令，所述指令在被執(zhí)行時執(zhí)行包含以下步驟的方法接收指示視頻幀內(nèi)的至少一個塊的視頻信號，所述視頻信號包含用于所述至少一個塊的標頭數(shù)據(jù)和用于所述至少一個塊的殘余變換系數(shù)，所述標頭數(shù)據(jù)包含具有指示至少一個變換大小的第一值的第一語法元素和指示所述至少一個塊的預(yù)測塊大小的第二語法元素， 其中所述第一語法元素與所述第二語法元素共同指示具有用以編碼所述至少一個塊的第一變換大小的變換；將空間預(yù)測或運動補償應(yīng)用于所述至少一個塊以產(chǎn)生所述至少一個塊的所述預(yù)測塊大小的預(yù)測視頻塊；基于所述第一語法元素和所述第二語法元素來確定用以編碼所述至少一個塊的所述第一變換大小；對所述殘余變換系數(shù)應(yīng)用所述所確定的第一變換大小的逆變換以獲得經(jīng)解碼的殘余塊；以及將所述經(jīng)解碼的殘余塊添加到所述預(yù)測視頻塊以獲得經(jīng)解碼的視頻塊。
全文摘要
在視頻處理系統(tǒng)中，提供一種用于應(yīng)用大于8×8的變換和非矩形變換且產(chǎn)生用于視頻解碼的指示所述變換的變換大小語法元素的方法和系統(tǒng)?？捎删幋a器基于視頻塊的預(yù)測塊大小和所述視頻塊的內(nèi)容來產(chǎn)生所述變換大小語法元素。另外，可根據(jù)用以在編碼過程期間從4×4、8×8和更大變換大小進行選擇的一組規(guī)則來產(chǎn)生所述變換大小語法元素。解碼器可基于所述變換大小語法元素和由所述編碼器使用的所述規(guī)則來執(zhí)行逆變換。可將所述變換大小語法元素作為經(jīng)編碼視頻位流的一部分發(fā)射到所述解碼器。
文檔編號H04N7/50GK102204251SQ200980139698
公開日2011年9月28日 申請日期2009年9月30日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者葉琰, 陳培松, 馬爾塔·卡切維奇 申請人:高通股份有限公司