本發(fā)明大體上涉及視頻譯碼，且更具體來(lái)說(shuō)，涉及用于約束參數(shù)集的表示格式參數(shù)的技術(shù)和系統(tǒng)。

背景技術(shù)：

許多裝置和系統(tǒng)允許處理和輸出視頻數(shù)據(jù)以用于消費(fèi)。數(shù)字視頻數(shù)據(jù)包含大量數(shù)據(jù)以滿足消費(fèi)者和視頻供應(yīng)商的需求。舉例來(lái)說(shuō)，視頻數(shù)據(jù)的消費(fèi)者希望視頻具有最佳的質(zhì)量以及高保真度、分辨率、幀速率以及類似者。因此，需要滿足這些需求的大量視頻數(shù)據(jù)給處理和存儲(chǔ)視頻數(shù)據(jù)的通信網(wǎng)絡(luò)和裝置造成了負(fù)擔(dān)。

各種視頻譯碼技術(shù)可用以壓縮視頻數(shù)據(jù)。根據(jù)一或多個(gè)視頻譯碼標(biāo)準(zhǔn)執(zhí)行視頻譯碼。舉例來(lái)說(shuō)，視頻譯碼標(biāo)準(zhǔn)包含高效視頻譯碼(HEVC)、高級(jí)視頻譯碼(AVC)、移動(dòng)圖片專家組(MPEG)譯碼或類似者。視頻譯碼通常使用預(yù)測(cè)方法(例如，幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、或類似物)，這些預(yù)測(cè)方法利用存在于視頻圖像或序列中的冗余。視頻譯碼技術(shù)的重要目標(biāo)是將視頻數(shù)據(jù)壓縮成使用較低位率的形式，同時(shí)避免或最小化對(duì)視頻質(zhì)量的降級(jí)。隨著不斷演進(jìn)的視頻服務(wù)變得可供使用，需要具有更佳譯碼效率的編碼技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

在一些實(shí)施例中，描述用于選擇性地執(zhí)行位流符合性檢查的技術(shù)和系統(tǒng)。在一些實(shí)例中，可從位流提取一或多個(gè)子位流。舉例來(lái)說(shuō)，可從位流移除一或多個(gè)層或子層以獲得子位流。因此，子位流與位流相比可具有較少層或子層?？蓤?zhí)行位流符合性檢查以確定位流或子位流是否符合特定視頻譯碼標(biāo)準(zhǔn)。如本文中所描述，位流符合性檢查可包含使用假想?yún)⒖冀獯a器參數(shù)執(zhí)行規(guī)范性測(cè)試。

當(dāng)從位流移除層或子層以提取子位流時(shí)，可存在描述不再存在于位流中且因此不包含任何數(shù)據(jù)的經(jīng)移除層或子層的特征和參數(shù)的信息(例如，在一或多個(gè)參數(shù)集中)。在本文中所揭示的一些實(shí)施例中，可基于子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)而對(duì)子位流選擇性地執(zhí)行位流符合性檢查。舉例來(lái)說(shuō)，可僅對(duì)在子位流的一個(gè)或所有層或子層中包含視頻數(shù)據(jù)的子位流執(zhí)行位流符合性檢查。

根據(jù)選擇性地執(zhí)行位流符合性檢查的至少一個(gè)實(shí)例，提供一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法，其包含產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含定義所述經(jīng)編碼視頻位流的參數(shù)的參數(shù)集。所述方法進(jìn)一步包含確定所述參數(shù)集的包含描述所述經(jīng)編碼視頻位流的第一子位流的信息和描述所述經(jīng)編碼視頻位流的第二子位流的信息的一或多個(gè)參數(shù)，所述第一子位流包含具有視頻數(shù)據(jù)的一或多個(gè)層，且所述第二子位流包含不具有視頻數(shù)據(jù)的一或多個(gè)層。所述方法進(jìn)一步包含基于所述第一子位流或所述第二子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)，對(duì)所述第一子位流或所述第二子位流執(zhí)行位流符合性檢查。

在另一實(shí)例中，提供一種設(shè)備，其包含經(jīng)配置以存儲(chǔ)視頻數(shù)據(jù)的存儲(chǔ)器，以及處理器。所述處理器經(jīng)配置以且可從從所述視頻數(shù)據(jù)產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含定義所述經(jīng)編碼視頻位流的參數(shù)的參數(shù)集。所述處理器經(jīng)進(jìn)一步配置以且可確定所述參數(shù)集的包含描述所述經(jīng)編碼視頻位流的第一子位流的信息和描述所述經(jīng)編碼視頻位流的第二子位流的信息的一或多個(gè)參數(shù)，所述第一子位流包含具有視頻數(shù)據(jù)的一或多個(gè)層，且所述第二子位流包含不具有視頻數(shù)據(jù)的一或多個(gè)層。所述處理器經(jīng)進(jìn)一步配置以且可基于所述第一子位流或所述第二子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)而對(duì)所述第一子位流或所述第二子位流執(zhí)行位流符合性檢查。

在另一實(shí)例中，提供一種其上存儲(chǔ)有在由處理器執(zhí)行時(shí)執(zhí)行一方法的計(jì)算機(jī)可讀媒體，所述方法包含：產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含定義所述經(jīng)編碼視頻位流的參數(shù)的參數(shù)集；確定所述參數(shù)集的包含描述所述經(jīng)編碼視頻位流的第一子位流的信息和描述所述經(jīng)編碼視頻位流的第二子位流的信息的一或多個(gè)參數(shù)，所述第一子位流包含具有視頻數(shù)據(jù)的一或多個(gè)層，且所述第二子位流包含不具有視頻數(shù)據(jù)的一或多個(gè)層；和基于所述第一子位流或所述第二子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)，對(duì)所述第一子位流或所述第二子位流執(zhí)行位流符合性檢查。

在另一實(shí)例中，提供一種設(shè)備，其包含：用于產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流的裝置。所述經(jīng)編碼視頻位流包含定義所述經(jīng)編碼視頻位流的參數(shù)的參數(shù)集。所述設(shè)備進(jìn)一步包含用于確定所述參數(shù)集的包含描述所述經(jīng)編碼視頻位流的第一子位流的信息和描述所述經(jīng)編碼視頻位流的第二子位流的信息的一或多個(gè)參數(shù)的裝置，所述第一子位流包含具有視頻數(shù)據(jù)的一或多個(gè)層，且所述第二子位流包含不具有視頻數(shù)據(jù)的一或多個(gè)層。所述設(shè)備進(jìn)一步包含用于基于所述第一子位流或所述第二子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)而對(duì)所述第一子位流或所述第二子位流執(zhí)行位流符合性檢查的裝置。

上文所描述的用于選擇性地執(zhí)行位流符合性檢查的方法、設(shè)備和計(jì)算機(jī)可讀媒體可進(jìn)一步包含基于所述第一子位流的所述一或多個(gè)層具有視頻數(shù)據(jù)，對(duì)所述第一子位流執(zhí)行所述位流符合性檢查，其中基于所述第二子位流的所述一或多個(gè)層不具有視頻數(shù)據(jù)，不對(duì)所述第二子位流執(zhí)行位流符合性檢查。在一些實(shí)施例中，當(dāng)所述第一子位流的所述一或多個(gè)層全部具有視頻數(shù)據(jù)時(shí)，對(duì)所述第一子位流執(zhí)行所述位流符合性檢查。在一些實(shí)施例中，當(dāng)所述第一子位流的所述一或多個(gè)層中的至少一個(gè)具有視頻數(shù)據(jù)時(shí)，對(duì)所述第一子位流執(zhí)行所述位流符合性檢查。

在一些方面，所述位流符合性檢查包含對(duì)所述第一子位流執(zhí)行規(guī)范性測(cè)試，以確保所述第一子位流符合解碼所述第一子位流所需的譯碼要求。在一些情況下，使用假想?yún)⒖冀獯a器參數(shù)執(zhí)行所述規(guī)范性測(cè)試。

上文所描述的用于選擇性地執(zhí)行位流符合性檢查的方法、設(shè)備和計(jì)算機(jī)可讀媒體可進(jìn)一步包含基于所述第一子位流中的所述視頻數(shù)據(jù)的時(shí)間標(biāo)識(shí)符的最高值是否等于或大于所述第一子位流的對(duì)應(yīng)時(shí)間標(biāo)識(shí)符的值，對(duì)所述第一子位流執(zhí)行所述位流符合性檢查。

在一些方面，所述第一子位流的所述一或多個(gè)層的所述視頻數(shù)據(jù)存在于所述第一子位流中或從外部源而非用以產(chǎn)生所述經(jīng)編碼視頻位流的編碼器提供。

在一些方面，所述視頻數(shù)據(jù)包含一或多個(gè)視頻譯碼層網(wǎng)絡(luò)抽象層單元。

在一些方面，通過(guò)從所述經(jīng)編碼視頻位流移除至少一個(gè)層，從所述經(jīng)編碼視頻位流產(chǎn)生所述第二子位流。

在一些方面，所述參數(shù)集包含視頻參數(shù)集。在一些實(shí)施例中，所述參數(shù)集包含序列參數(shù)集。

在一些實(shí)施例中，描述用于將最小值分配給參數(shù)集中的語(yǔ)法結(jié)構(gòu)的技術(shù)和系統(tǒng)。語(yǔ)法結(jié)構(gòu)包含多個(gè)語(yǔ)法元素。在一些實(shí)例中，根據(jù)第一譯碼協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編碼的編碼器可產(chǎn)生經(jīng)編碼視頻位流。所述編碼器可將所述經(jīng)編碼視頻位流提供到接收裝置中的解碼器?？赏ㄟ^(guò)外部源而非使用所述第一譯碼協(xié)議的編碼器將視頻數(shù)據(jù)的基礎(chǔ)層提供到所述解碼器(或相同接收裝置中的另一解碼器)。舉例來(lái)說(shuō)，可根據(jù)不同于所述第一譯碼協(xié)議的第二譯碼協(xié)議對(duì)所述基礎(chǔ)層進(jìn)行編碼。在此實(shí)例中，使用所述第二譯碼協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編碼的編碼器可將所述基礎(chǔ)層提供到所述接收裝置。可提供一參數(shù)集，例如視頻參數(shù)集，其具有根據(jù)第一譯碼協(xié)議經(jīng)編碼的視頻位流。視頻參數(shù)集可包含與經(jīng)編碼視頻位流中的視頻數(shù)據(jù)有關(guān)的信息。包含關(guān)于經(jīng)編碼視頻位流的基礎(chǔ)層的信息的語(yǔ)法結(jié)構(gòu)可存在于視頻參數(shù)集中，即使在基礎(chǔ)層是從外部的情況下仍如此(不提供第一譯碼協(xié)議的基礎(chǔ)層)。如本文中所描述，當(dāng)確定基礎(chǔ)層將由外部源而非用以產(chǎn)生經(jīng)編碼視頻位流的編碼器提供到接收裝置時(shí)，可將最小值分配給語(yǔ)法結(jié)構(gòu)中的語(yǔ)法元素。

根據(jù)將最小值分配給參數(shù)集中的語(yǔ)法結(jié)構(gòu)的至少一個(gè)實(shí)例，提供一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法，其包含通過(guò)編碼器根據(jù)第一譯碼協(xié)議產(chǎn)生經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含一或多個(gè)增強(qiáng)層和定義所述經(jīng)編碼視頻位流的參數(shù)的視頻參數(shù)集。所述方法進(jìn)一步包含確定基礎(chǔ)層將由外部源而非所述編碼器提供到接收裝置。所述方法進(jìn)一步包含當(dāng)確定所述基礎(chǔ)層將由外部源提供到接收裝置時(shí)，將最小值分配給所述視頻參數(shù)集中的語(yǔ)法結(jié)構(gòu)。所述語(yǔ)法結(jié)構(gòu)定義基礎(chǔ)層的簡(jiǎn)檔、層次和層級(jí)參數(shù)。

在另一實(shí)例中，提供一種編碼器，其包含經(jīng)配置以存儲(chǔ)視頻數(shù)據(jù)的存儲(chǔ)器以及處理器。所述處理器經(jīng)配置以且可根據(jù)第一譯碼協(xié)議從視頻數(shù)據(jù)產(chǎn)生經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含一或多個(gè)增強(qiáng)層和定義所述經(jīng)編碼視頻位流的參數(shù)的視頻參數(shù)集。所述處理器經(jīng)進(jìn)一步配置以且可確定基礎(chǔ)層將由外部源而非所述編碼器提供到接收裝置。所述處理器經(jīng)進(jìn)一步配置以且可以當(dāng)確定所述基礎(chǔ)層將由外部源提供到接收裝置時(shí)，將最小值分配給所述視頻參數(shù)集中的語(yǔ)法結(jié)構(gòu)。所述語(yǔ)法結(jié)構(gòu)定義基礎(chǔ)層的簡(jiǎn)檔、層次和層級(jí)參數(shù)。

在另一實(shí)例中，提供一種其上存儲(chǔ)有在由處理器執(zhí)行時(shí)執(zhí)行一方法的編碼器的計(jì)算機(jī)可讀媒體，所述方法包含：根據(jù)第一譯碼協(xié)議產(chǎn)生經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含一或多個(gè)增強(qiáng)層和定義所述經(jīng)編碼視頻位流的參數(shù)的視頻參數(shù)集；確定基礎(chǔ)層將由外部源而非所述編碼器提供到接收裝置；和當(dāng)確定所述基礎(chǔ)層將由外部源提供到接收裝置時(shí)，將最小值分配給所述視頻參數(shù)集中的語(yǔ)法結(jié)構(gòu)，所述語(yǔ)法結(jié)構(gòu)定義基礎(chǔ)層的簡(jiǎn)檔、層次和層級(jí)參數(shù)。

在另一實(shí)例中，提供一種編碼器，其包含用于根據(jù)第一譯碼協(xié)議產(chǎn)生經(jīng)編碼視頻位流的裝置，所述經(jīng)編碼視頻位流包含一或多個(gè)增強(qiáng)層和定義所述經(jīng)編碼視頻位流的參數(shù)的視頻參數(shù)集。所述編碼器進(jìn)一步包含用于確定基礎(chǔ)層將由外部源而非所述編碼器提供到接收裝置的裝置。所述編碼器進(jìn)一步包含用于當(dāng)確定所述基礎(chǔ)層將由外部源提供到接收裝置時(shí)，將最小值分配給所述視頻參數(shù)集中的語(yǔ)法結(jié)構(gòu)的裝置，所述語(yǔ)法結(jié)構(gòu)定義基礎(chǔ)層的簡(jiǎn)檔、層次和層級(jí)參數(shù)。

在一些方面，最小值包含語(yǔ)法結(jié)構(gòu)中的所有語(yǔ)法元素的所有位的值0。在一些方面，確定所述基礎(chǔ)層將由外部源提供到接收裝置包含確定旗標(biāo)被設(shè)置為指示基礎(chǔ)層是由外部源提供的值。

在一些方面，根據(jù)第二譯碼協(xié)議對(duì)外部源所提供的基礎(chǔ)層進(jìn)行編碼，所述第二譯碼協(xié)議不同于所述第一譯碼協(xié)議。所述第一譯碼協(xié)議包含高效視頻譯碼協(xié)議，且所述第二譯碼協(xié)議包含高級(jí)視頻譯碼協(xié)議。

在一些方面，所述簡(jiǎn)檔、層次和層級(jí)參數(shù)規(guī)定對(duì)譯碼工具、位流特性、解碼裝置解碼基礎(chǔ)層所需的緩沖器特性或其它參數(shù)的約束條件。

在一些實(shí)施例中，描述用于約束參數(shù)集的表示格式參數(shù)的技術(shù)和系統(tǒng)。在一些實(shí)例中，可在序列參數(shù)集中和/或在視頻參數(shù)集中用信號(hào)發(fā)送描述視頻數(shù)據(jù)特性(例如，分辨率參數(shù)、位深度、圖片寬度、顏色格式或其它表示格式參數(shù))的表示格式參數(shù)。舉例來(lái)說(shuō)，在視頻參數(shù)集中用信號(hào)發(fā)送的表示格式參數(shù)可提供參數(shù)的最大值，而在序列參數(shù)集中用信號(hào)發(fā)送的表示格式參數(shù)可提供經(jīng)更新參數(shù)值。如本文中所描述，可規(guī)定需要在所述序列參數(shù)集中用信號(hào)發(fā)送的所述表示格式參數(shù)值小于或等于在視頻參數(shù)集中用信號(hào)發(fā)送的所述表示格式參數(shù)值的約束條件。在一些實(shí)施例中，所述約束條件適用于分配給經(jīng)編碼視頻位流的基礎(chǔ)層的序列參數(shù)集。舉例來(lái)說(shuō)，所述約束條件可限制編碼器產(chǎn)生序列參數(shù)集中的一或多個(gè)表示格式參數(shù)的值小于或等于分配給視頻參數(shù)集中的基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。

根據(jù)約束參數(shù)集的表示格式參數(shù)的至少一個(gè)實(shí)例，提供一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法，其包含產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含一或多個(gè)序列參數(shù)集和視頻參數(shù)集。所述方法進(jìn)一步包含根據(jù)約束條件產(chǎn)生序列參數(shù)集的分配給經(jīng)編碼視頻位流的基礎(chǔ)層的一或多個(gè)表示格式參數(shù)。所述約束條件限制所述序列參數(shù)集中的所述一或多個(gè)表示格式參數(shù)的值小于或等于分配給所述視頻參數(shù)集中的所述基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。

在另一實(shí)例中，提供一種設(shè)備，其包含經(jīng)配置以存儲(chǔ)視頻數(shù)據(jù)的存儲(chǔ)器以及處理器。所述處理器經(jīng)配置以和可從所述視頻數(shù)據(jù)產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流。所述經(jīng)編碼視頻位流包含一或多個(gè)序列參數(shù)集和視頻參數(shù)集。所述處理器經(jīng)進(jìn)一步配置以且可根據(jù)約束條件產(chǎn)生序列參數(shù)集的分配給所述經(jīng)編碼視頻位流的基礎(chǔ)層的一或多個(gè)表示格式參數(shù)。所述約束條件限制所述序列參數(shù)集中的所述一或多個(gè)表示格式參數(shù)的值小于或等于分配給所述視頻參數(shù)集中的所述基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。

在另一實(shí)例中，提供一種其上存儲(chǔ)有在由處理器執(zhí)行時(shí)執(zhí)行一方法的計(jì)算機(jī)可讀媒體，所述方法包含：產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含一或多個(gè)序列參數(shù)集和視頻參數(shù)集；和根據(jù)約束條件產(chǎn)生序列參數(shù)集的分配給所述經(jīng)編碼視頻位流的基礎(chǔ)層的一或多個(gè)表示格式參數(shù)，所述約束條件限制所述序列參數(shù)集中的所述一或多個(gè)表示格式參數(shù)的值小于或等于分配給所述視頻參數(shù)集中的所述基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。

在另一實(shí)例中，提供一種設(shè)備，其包括用于產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流的裝置，所述經(jīng)編碼視頻位流包含一或多個(gè)序列參數(shù)集和視頻參數(shù)集。所述設(shè)備進(jìn)一步包含用于根據(jù)約束條件產(chǎn)生序列參數(shù)集的分配給所述經(jīng)編碼視頻位流的基礎(chǔ)層的一或多個(gè)表示格式參數(shù)的裝置，所述約束條件限制所述序列參數(shù)集中的所述一或多個(gè)表示格式參數(shù)的值小于或等于分配給所述視頻參數(shù)集中的所述基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。

在一些方面，所述一或多個(gè)表示格式參數(shù)包含分辨率、位深度、圖片寬度或顏色格式中的一或多個(gè)。在一些方面，在所述視頻參數(shù)集中用信號(hào)發(fā)送的所述表示格式參數(shù)用于與一或多個(gè)解碼器的會(huì)話協(xié)商。在一些方面，在一或多個(gè)高效視頻譯碼語(yǔ)法元素中用信號(hào)發(fā)送所述序列參數(shù)集中的所述一或多個(gè)表示格式參數(shù)。

上文所描述的用于約束參數(shù)集的表示格式參數(shù)的方法、設(shè)備和計(jì)算機(jī)可讀媒體可進(jìn)一步包含根據(jù)所述約束條件更新所述一或多個(gè)序列參數(shù)集。

本發(fā)明內(nèi)容并不意欲標(biāo)識(shí)所主張的標(biāo)的物的關(guān)鍵或基本特征，也并非意圖單獨(dú)用于確定所主張的標(biāo)的物的范圍。應(yīng)參考此專利的整個(gè)說(shuō)明書(shū)的適當(dāng)部分、任何或所有圖式以及每一權(quán)利要求來(lái)理解標(biāo)的物。

在參考以下說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖之后，前述內(nèi)容連同其它特征和實(shí)施例將變得更顯而易見(jiàn)。

附圖說(shuō)明

下文參考以下圖式詳細(xì)描述本發(fā)明的說(shuō)明性實(shí)施例：

圖1是說(shuō)明根據(jù)一些實(shí)施例的編碼裝置和解碼裝置的實(shí)例的框圖。

圖2是說(shuō)明根據(jù)一些實(shí)施例的層集合的實(shí)例的框圖。

圖3是說(shuō)明根據(jù)一些實(shí)施例的不完整層集合的實(shí)例的框圖。

圖4是說(shuō)明根據(jù)一些實(shí)施例的編碼用于選擇性地執(zhí)行位流符合性檢查的視頻數(shù)據(jù)的過(guò)程的實(shí)施例的流程圖。

圖5是說(shuō)明根據(jù)一些實(shí)施例的具有用于提供經(jīng)編碼視頻數(shù)據(jù)的多個(gè)編碼裝置的環(huán)境的框圖。

圖6是說(shuō)明根據(jù)一些實(shí)施例的編碼用于將最小值分配給參數(shù)集中的語(yǔ)法結(jié)構(gòu)的視頻數(shù)據(jù)的過(guò)程的實(shí)施例的流程圖。

圖7是說(shuō)明根據(jù)一些實(shí)施例的具有表示格式參數(shù)的視頻參數(shù)集和序列參數(shù)集的實(shí)例的框圖。

圖8是說(shuō)明根據(jù)一些實(shí)施例的編碼用于約束參數(shù)集的表示格式參數(shù)的視頻數(shù)據(jù)的過(guò)程的實(shí)施例的流程圖。

圖9是說(shuō)明根據(jù)一些實(shí)施例的實(shí)例視頻編碼裝置的框圖。

圖10是說(shuō)明根據(jù)一些實(shí)施例的實(shí)例視頻解碼裝置的框圖。

具體實(shí)施方式

下文提供本發(fā)明的某些方面和實(shí)施例。如對(duì)于所屬領(lǐng)域的技術(shù)人員來(lái)說(shuō)將顯而易見(jiàn)的是，這些方面和實(shí)施例中的一些可以獨(dú)立地應(yīng)用并且它們中的一些可以組合應(yīng)用。在以下描述中，出于解釋的目的，闡述具體細(xì)節(jié)以便提供對(duì)本發(fā)明的實(shí)施例的透徹理解。然而，將顯而易見(jiàn)的是，可在無(wú)這些具體細(xì)節(jié)的情況下實(shí)踐各種實(shí)施例。圖式和描述并不意圖為限定性的。

以下描述僅提供示范性實(shí)施例，且并不意圖限制本發(fā)明的范圍、適用性或配置。實(shí)際上，示范性實(shí)施例的以下描述將為所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施示范性實(shí)施例的啟發(fā)性描述。應(yīng)理解，在不脫離如在所附權(quán)利要求書(shū)中所闡述的本發(fā)明的精神和范圍的情況下，可對(duì)元件的功能和布置進(jìn)行各種改變。

在以下描述中給出具體細(xì)節(jié)以提供對(duì)實(shí)施例的透徹理解。然而，所屬領(lǐng)域的技術(shù)人員應(yīng)理解，所述實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。舉例來(lái)說(shuō)，電路、系統(tǒng)、網(wǎng)絡(luò)、過(guò)程和其它組件可以框圖形式展示為組件以免以不必要的細(xì)節(jié)混淆實(shí)施例。在其它情況下，在沒(méi)有不必要的細(xì)節(jié)的情況下展示熟知的電路、過(guò)程、算法、結(jié)構(gòu)以及技術(shù)以便避免混淆實(shí)施例。

此外，應(yīng)注意，個(gè)別實(shí)施例可描述為經(jīng)描繪為流程圖、作業(yè)圖、數(shù)據(jù)流圖、結(jié)構(gòu)圖或框圖的過(guò)程。盡管流程圖可將操作描述為順序過(guò)程，但許多操作可并行或同時(shí)執(zhí)行。另外，可以重新布置操作的次序。過(guò)程在其操作完成時(shí)終止，但是可以具有不包含在圖中的額外步驟。過(guò)程可以對(duì)應(yīng)于方法、函數(shù)、程序、子例程、子程序等。當(dāng)過(guò)程對(duì)應(yīng)于函數(shù)時(shí)，過(guò)程的終止可對(duì)應(yīng)于函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。

術(shù)語(yǔ)“計(jì)算機(jī)可讀媒體”包含(但不限于)便攜式或非便攜式存儲(chǔ)裝置、光學(xué)存儲(chǔ)裝置以及能夠存儲(chǔ)、包含或運(yùn)載指令和/或數(shù)據(jù)的各種其它媒體。計(jì)算機(jī)可讀媒體可包含非暫時(shí)性媒體，在非暫時(shí)性媒體中可以存儲(chǔ)數(shù)據(jù)，并且非暫時(shí)性媒體并不包含以無(wú)線方式或經(jīng)由有線連接傳播的載波和/或暫時(shí)性電子信號(hào)。非暫時(shí)性媒體的實(shí)例可包含(但不限于)磁盤(pán)或磁帶、光學(xué)存儲(chǔ)媒體(例如光盤(pán)(CD)或數(shù)字通用光盤(pán)(DVD))、快閃存儲(chǔ)器、存儲(chǔ)器或存儲(chǔ)器裝置。計(jì)算機(jī)可讀媒體可具有存儲(chǔ)在其上的可表示過(guò)程、函數(shù)、子程序、程序、例程、子例程、模塊、軟件包、類別的代碼和/或機(jī)器可執(zhí)行指令，或指令、數(shù)據(jù)結(jié)構(gòu)或程序語(yǔ)句的任何組合。代碼段可以通過(guò)傳遞和/或接收信息、數(shù)據(jù)、自變量、參數(shù)或存儲(chǔ)器內(nèi)容而耦合到另一代碼段或硬件電路。信息、自變量、參數(shù)、數(shù)據(jù)等可經(jīng)由包含存儲(chǔ)器共享、消息傳遞、令牌傳遞、網(wǎng)絡(luò)傳輸或類似者的任何合適的裝置傳遞、轉(zhuǎn)發(fā)或傳輸。

此外，實(shí)施例可以由硬件、軟件、固件、中間件、微碼、硬件描述語(yǔ)言或其任何組合來(lái)實(shí)施。當(dāng)以軟件、固件、中間件或微碼實(shí)施時(shí)，用以執(zhí)行必要任務(wù)的程序代碼或代碼段(例如，計(jì)算機(jī)程序產(chǎn)品)可存儲(chǔ)在計(jì)算機(jī)可讀或機(jī)器可讀媒體中。處理器可以執(zhí)行必要任務(wù)。

本文中描述了使用視頻編碼器和解碼器的視頻譯碼的若干系統(tǒng)和方法。舉例來(lái)說(shuō)，一或多個(gè)系統(tǒng)和方法涉及不可用層、層集合和操作點(diǎn)的處理，以及對(duì)多層視頻譯碼中的表示格式參數(shù)的限制。

隨著越來(lái)越多的裝置和系統(tǒng)為消費(fèi)者提供消費(fèi)數(shù)字視頻數(shù)據(jù)的能力，對(duì)于高效視頻譯碼技術(shù)的需要變得越來(lái)越重要。需要視頻譯碼以減少處理存在于數(shù)字視頻數(shù)據(jù)中的大量數(shù)據(jù)所必需的存儲(chǔ)和傳輸需要。各種視頻譯碼技術(shù)可用以在維持高視頻質(zhì)量的同時(shí)將視頻數(shù)據(jù)壓縮成使用較低位率的形式。

圖1是說(shuō)明包含編碼裝置104和解碼裝置112的系統(tǒng)100的實(shí)例的框圖。編碼裝置104可為源裝置的一部分，且解碼裝置112可為接收裝置的一部分。源裝置和/或接收裝置可包含電子裝置，例如移動(dòng)或靜止電話手持機(jī)(例如，智能電話、蜂窩式電話或類似者)、桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)或筆記本計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置或任何其它合適的電子裝置。在一些實(shí)例中，源裝置和接收裝置可包含一或多個(gè)無(wú)線收發(fā)器以用于無(wú)線通信。本文中描述的譯碼技術(shù)適用于各種多媒體應(yīng)用中的視頻譯碼，所述多媒體應(yīng)用包含流式視頻傳輸(例如，經(jīng)由互聯(lián)網(wǎng))、電視廣播或傳輸、數(shù)字視頻的編碼以用于存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上、存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)100可支持單向或雙向視頻傳輸，以支持例如視頻會(huì)議、視頻流式傳輸、視頻重放、視頻廣播、游戲和/或視頻電話的應(yīng)用。

編碼裝置104(或編碼器)可用以使用視頻譯碼標(biāo)準(zhǔn)或協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編碼以產(chǎn)生經(jīng)編碼視頻位流。視頻譯碼標(biāo)準(zhǔn)包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被稱為ISO/IEC MPEG-4AVC)，包含其可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴(kuò)展。ITU-T視頻譯碼專家組(VCEG)和ISO/IEC動(dòng)畫(huà)專家組(MPEG)的視頻譯碼聯(lián)合協(xié)作小組(JCT-VC)已經(jīng)完成更為新近的視頻譯碼標(biāo)準(zhǔn)，高效視頻譯碼(HEVC)。HEVC的各種擴(kuò)展涉及多層視頻譯碼并且也是由JCT-VC研發(fā)出來(lái)的，所述擴(kuò)展包含HEVC的多視圖擴(kuò)展(被稱作MV-HEVC)以及HEVC的可縮放擴(kuò)展(被稱作SHVC)，或任何其它合適的譯碼協(xié)議。HEVC草案規(guī)范可從http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip得到。MV-HEVC的工作草案可從http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002v5.zip得到。SHVC的工作草案可從http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip得到。

本文中描述的許多實(shí)施例使用HEVC標(biāo)準(zhǔn)或其擴(kuò)展來(lái)描述實(shí)例。然而，本文中描述的技術(shù)和系統(tǒng)也可以適用于其它譯碼標(biāo)準(zhǔn)，例如AVC、MPEG、其擴(kuò)展，或其它合適的譯碼標(biāo)準(zhǔn)。因此，雖然本文中描述的技術(shù)和系統(tǒng)可以參考特定視頻譯碼標(biāo)準(zhǔn)描述，但是所屬領(lǐng)域的一般技術(shù)人員將理解所述描述不應(yīng)解釋為僅適用于所述特定標(biāo)準(zhǔn)。

視頻源102可將視頻數(shù)據(jù)提供到編碼裝置104。視頻源102可為源裝置的一部分，或可為不同于源裝置的裝置的一部分。視頻源102可包含視頻捕獲裝置(例如，攝像機(jī)、相機(jī)電話、視頻電話或類似者)、含有所存儲(chǔ)的視頻的視頻存檔、提供視頻數(shù)據(jù)的視頻服務(wù)器或內(nèi)容提供商、從視頻服務(wù)器或內(nèi)容提供商接收視頻的視頻饋送接口、用于產(chǎn)生計(jì)算機(jī)圖形視頻數(shù)據(jù)的計(jì)算機(jī)圖形系統(tǒng)、此類來(lái)源的組合，或任何其它合適的視頻源。

來(lái)自視頻源102的視頻數(shù)據(jù)可包含一或多個(gè)輸入圖片或幀。圖片或幀是靜態(tài)圖像，其為視頻的一部分。編碼裝置104的編碼器引擎106(或編碼器)對(duì)視頻數(shù)據(jù)進(jìn)行編碼以產(chǎn)生經(jīng)編碼視頻位流。舉例來(lái)說(shuō)，HEVC位流可包含一序列被稱作網(wǎng)絡(luò)抽象層(NAL)單元的數(shù)據(jù)單元。在HEVC標(biāo)準(zhǔn)中存在兩類NAL單元，包含視頻譯碼層(VCL)NAL單元和非VCL NAL單元。VCL NAL單元包含經(jīng)譯碼圖片數(shù)據(jù)的一個(gè)切片或切片段(下文描述)，且非VCL NAL單元包含與多個(gè)經(jīng)譯碼圖片有關(guān)的控制信息。經(jīng)譯碼圖片和對(duì)應(yīng)于經(jīng)譯碼圖片的非VCL NAL單元(如果存在)被稱作存取單元(AU)。

NAL單元可含有形成視頻數(shù)據(jù)的經(jīng)譯碼表示(例如視頻中的圖片的經(jīng)譯碼表示)(經(jīng)編碼視頻位流)的位序列。編碼器引擎106通過(guò)將每一圖片分割成多個(gè)切片來(lái)產(chǎn)生圖片的經(jīng)譯碼表示。切片不依賴于其它切片，以使得所述切片中的信息得到譯碼而無(wú)需依賴于來(lái)自相同圖片內(nèi)的其它切片的數(shù)據(jù)。切片包含一或多個(gè)切片段，其包含非依賴性切片段，并且如果存在的話，包含依賴于先前切片段的一或多個(gè)依賴性切片段。切片隨后被分割成明度樣本和色度樣本的譯碼樹(shù)塊(CTB)。明度樣本的CTB和色度樣本的一或多個(gè)CTB連同所述樣本的語(yǔ)法一起被稱作譯碼樹(shù)單元(CTU)。CTU是用于HEVC編碼的基礎(chǔ)處理單元。CTU可拆分成不同大小的多個(gè)譯碼單元(CU)。CU含有被稱作譯碼塊(CB)的明度和色度樣本陣列。

明度和色度CB可進(jìn)一步拆分成預(yù)測(cè)塊(PB)。PB是將相同運(yùn)動(dòng)參數(shù)用于幀間預(yù)測(cè)的明度或色度分量的樣本的塊。明度PB和一或多個(gè)色度PB連同相關(guān)聯(lián)的語(yǔ)法一起形成預(yù)測(cè)單元(PU)。在位流中針對(duì)每一PU用信號(hào)發(fā)送運(yùn)動(dòng)參數(shù)集，并且所述運(yùn)動(dòng)參數(shù)集用于亮度PB和一或多個(gè)色度PB的幀間預(yù)測(cè)。CB也可分割成一或多個(gè)變換塊(TB)。TB表示色彩分量的樣本的正方形塊，對(duì)所述色彩分量的相同二維變換應(yīng)用于對(duì)預(yù)測(cè)殘余信號(hào)進(jìn)行譯碼。變換單元(TU)表示明度和色度樣本的TB以及對(duì)應(yīng)的語(yǔ)法元素。

CU的大小對(duì)應(yīng)于譯碼節(jié)點(diǎn)的大小，且形狀為正方形。舉例來(lái)說(shuō)，CU的大小可為8×8個(gè)樣本、16×16個(gè)樣本、32×32個(gè)樣本、64×64個(gè)樣本，或高達(dá)對(duì)應(yīng)的CTU的大小的任何其它適當(dāng)大小。本文中使用短語(yǔ)“N×N”指代就垂直和水平尺寸來(lái)說(shuō)的視頻塊的像素尺寸(例如，8像素×8像素)。塊中的像素可布置成行和列。在一些實(shí)施例中，塊可在水平方向上不具有與在垂直方向上相同數(shù)目的像素。舉例來(lái)說(shuō)，與CU相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)可描述CU分割成一或多個(gè)PU。分割模式可在CU經(jīng)幀內(nèi)預(yù)測(cè)模式編碼或是經(jīng)幀間預(yù)測(cè)模式編碼之間有所不同。PU可分割成非正方形形狀。舉例來(lái)說(shuō)，與CU相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)還可描述例如CU根據(jù)CTU分割成一或多個(gè)TU。TU可為正方形或非正方形形狀。

根據(jù)HEVC標(biāo)準(zhǔn)，使用變換單元(TU)執(zhí)行變換。TU對(duì)于不同CU可以變化。TU可以基于給定CU內(nèi)的PU的大小而經(jīng)大小設(shè)定。TU可與PU大小相同或小于PU。在一些實(shí)例中，對(duì)應(yīng)于CU的殘余樣本可使用被稱為殘余四叉樹(shù)(RQT)的四叉樹(shù)結(jié)構(gòu)細(xì)分成更小單元。RQT的葉節(jié)點(diǎn)可對(duì)應(yīng)于TU。可以對(duì)與TU相關(guān)聯(lián)的像素差值進(jìn)行變換以產(chǎn)生變換系數(shù)。接著可通過(guò)編碼器引擎106量化變換系數(shù)。

一旦視頻數(shù)據(jù)的圖片被分割成CU，則編碼器引擎106使用預(yù)測(cè)模式預(yù)測(cè)每一PU。隨后從原始視頻數(shù)據(jù)中減去預(yù)測(cè)以獲得殘余(下文描述)。對(duì)于每一CU，可以在位流內(nèi)部使用語(yǔ)法數(shù)據(jù)用信號(hào)發(fā)送預(yù)測(cè)模式。預(yù)測(cè)模式可以包含幀內(nèi)預(yù)測(cè)(或圖片內(nèi)預(yù)測(cè))或幀間預(yù)測(cè)(或圖片間預(yù)測(cè))。使用幀內(nèi)預(yù)測(cè)，從相同圖片中的相鄰圖像數(shù)據(jù)使用例如DC預(yù)測(cè)以尋找PU的平均值、使用平面預(yù)測(cè)以將平面表面配合到PU、使用方向預(yù)測(cè)以從相鄰數(shù)據(jù)中進(jìn)行推斷，或者使用任何其它合適類型的預(yù)測(cè)來(lái)預(yù)測(cè)每一PU。使用幀間預(yù)測(cè)，通過(guò)使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)從一或多個(gè)參考圖片(按輸出次序在當(dāng)前圖片之前或之后)中的圖像數(shù)據(jù)預(yù)測(cè)每一PU。舉例來(lái)說(shuō)，可以在CU層級(jí)作出是使用圖片間還是圖片內(nèi)預(yù)測(cè)對(duì)圖片區(qū)域進(jìn)行譯碼的決策。

PU可包含與預(yù)測(cè)過(guò)程有關(guān)的數(shù)據(jù)。舉例來(lái)說(shuō)，當(dāng)使用幀內(nèi)預(yù)測(cè)對(duì)PU進(jìn)行編碼時(shí)，PU可包含描述用于PU的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)使用幀間預(yù)測(cè)對(duì)PU進(jìn)行編碼時(shí)，PU可包含定義PU的運(yùn)動(dòng)向量的數(shù)據(jù)。定義PU的運(yùn)動(dòng)向量的數(shù)據(jù)可以描述例如運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量指向的參考圖片，以及/或運(yùn)動(dòng)向量的參考圖片列表(例如，列表0、列表1或列表C)。

編碼器104接著可執(zhí)行變換和量化。舉例來(lái)說(shuō)，在預(yù)測(cè)之后，編碼器引擎106可計(jì)算對(duì)應(yīng)于PU的殘余值。殘余值可包括像素差值。使用可基于離散余弦變換、離散正弦變換、整數(shù)變換、小波變換或其它合適的變換功能的塊變換對(duì)在執(zhí)行預(yù)測(cè)之后可能剩余的任何殘余數(shù)據(jù)進(jìn)行變換。在一些情況下，一或多個(gè)塊變換(例如，大小為32×32、16×16、8×8、4×4或類似者)可應(yīng)用于每一CU中的殘余數(shù)據(jù)。在一些實(shí)施例中，TU可用于由編碼器引擎106實(shí)施的變換和量化過(guò)程。給定的具有一或多個(gè)PU的CU還可包含一或多個(gè)TU。如下文中進(jìn)一步描述，可使用塊變換將殘余值變換成變換系數(shù)，且接著可使用TU對(duì)其進(jìn)行量化和掃描以產(chǎn)生用于熵譯碼的串行化變換系數(shù)。

在一些實(shí)施例中，在使用CU的PU進(jìn)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)譯碼之后，編碼器引擎106可以計(jì)算CU的TU的殘余數(shù)據(jù)。PU可以包括空間域(或像素域)中的像素?cái)?shù)據(jù)。TU可包括在應(yīng)用塊變換之后的變換域中的系數(shù)。如前文所述，殘余數(shù)據(jù)可以對(duì)應(yīng)于未經(jīng)編碼圖片的像素與對(duì)應(yīng)于PU的預(yù)測(cè)值之間的像素差值。編碼器引擎106可以形成包含CU的殘余數(shù)據(jù)的TU，并且接著可對(duì)TU進(jìn)行變換以產(chǎn)生CU的變換系數(shù)。

編碼器引擎106可以執(zhí)行變換系數(shù)的量化。量化通過(guò)對(duì)變換系數(shù)進(jìn)行量化以減小用于表示系數(shù)的數(shù)據(jù)的量來(lái)提供進(jìn)一步壓縮。舉例來(lái)說(shuō)，量化可以減小與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。在一個(gè)實(shí)例中，可在量化期間將具有n位值的系數(shù)向下舍入到m位值，其中n大于m。

一旦執(zhí)行量化，經(jīng)譯碼位流便包含經(jīng)量化變換系數(shù)、預(yù)測(cè)信息(例如，預(yù)測(cè)模式、運(yùn)動(dòng)向量或類似者)、分割信息，以及任何其它合適的數(shù)據(jù)，例如其它語(yǔ)法數(shù)據(jù)。編碼器引擎106接著可對(duì)經(jīng)譯碼位流的不同元素進(jìn)行熵編碼。在一些實(shí)例中，編碼器引擎106可使用預(yù)定義掃描次序掃描經(jīng)量化變換系數(shù)以產(chǎn)生可經(jīng)熵編碼的串行化向量。在一些實(shí)例中，編碼器引擎106可以執(zhí)行自適應(yīng)掃描。在掃描經(jīng)量化變換系數(shù)以形成一維向量之后，編碼器引擎106可對(duì)一維向量進(jìn)行熵編碼。舉例來(lái)說(shuō)，編碼器引擎106可以使用上下文自適應(yīng)可變長(zhǎng)度譯碼、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼、基于語(yǔ)法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼、概率區(qū)間分割熵譯碼，或另一合適的熵編碼技術(shù)。

如先前描述，HEVC位流包含NAL單元群組。形成經(jīng)譯碼視頻位流的位的序列存在于VCL NAL單元中。除其它信息之外，非VCL NAL單元還可含有具有與經(jīng)編碼視頻位流有關(guān)的高層級(jí)信息的參數(shù)集。舉例來(lái)說(shuō)，參數(shù)集可包含視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)。參數(shù)集的目標(biāo)是位率效率、錯(cuò)誤恢復(fù)性，且提供系統(tǒng)層接口。每一切片參考單一活動(dòng)的PPS、SPS和VPS以存取解碼裝置112為解碼切片可使用的信息?？勺g碼用于每一參數(shù)集的標(biāo)識(shí)符(ID)，包含VPS ID、SPS ID和PPS ID。SPS包含SPS ID和VPS ID。PPS包含PPS ID和SPS ID。每一切片標(biāo)頭包含PPS ID。使用ID，可標(biāo)識(shí)針對(duì)給定切片的活動(dòng)的參數(shù)集。

PPS包含適用于給定圖片中的全部切片的信息。因?yàn)檫@一點(diǎn)，圖片中的全部切片引用相同PPS。不同圖片中的切片也可以引用相同PPS。SPS包含適用于相同經(jīng)譯碼視頻序列或位流中的所有圖片的信息。經(jīng)譯碼視頻序列是一系列存取單元，這些存取單元開(kāi)始于隨機(jī)存取點(diǎn)圖片(例如，瞬時(shí)解碼刷新(IDR)圖片或斷鏈存取(BLA)圖片，或其它適當(dāng)?shù)碾S機(jī)存取點(diǎn)圖片)并且包含多達(dá)所有存取單元，但不包含下一隨機(jī)存取點(diǎn)圖片(或位流的端部)。SPS中的信息通常不會(huì)在經(jīng)譯碼視頻序列內(nèi)在圖片之間發(fā)生改變。經(jīng)譯碼視頻序列中的所有圖片使用相同SPS。VPS包含適用于經(jīng)譯碼視頻序列或位流中的所有層的信息。VPS包含具有適用于整個(gè)經(jīng)譯碼視頻序列的語(yǔ)法元素的語(yǔ)法結(jié)構(gòu)。在一些實(shí)施例中，VPS、SPS或PPS可以與經(jīng)編碼位流一起帶內(nèi)傳輸。在一些實(shí)施例中，VPS、SPS或PPS與含有經(jīng)譯碼視頻數(shù)據(jù)的NAL單元相比可以在單獨(dú)傳輸中帶外傳輸。

編碼裝置104的輸出110可以經(jīng)由通信鏈路120將構(gòu)成經(jīng)編碼視頻數(shù)據(jù)的NAL單元發(fā)送到接收裝置的解碼裝置112。解碼裝置112的輸入114可以接收NAL單元。通信鏈路120可以包含使用無(wú)線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)或有線和無(wú)線網(wǎng)絡(luò)的組合所傳輸?shù)男盘?hào)。無(wú)線網(wǎng)絡(luò)可以包含任何無(wú)線接口或無(wú)線接口的組合并且可以包含任何合適的無(wú)線網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)或其它廣域網(wǎng)、分組網(wǎng)絡(luò)、WiFi^TM、射頻(RF)、UWB、WiFi-Direct、蜂窩、長(zhǎng)期演進(jìn)(LTE)、WiMax^TM或類似者)。有線網(wǎng)絡(luò)可以包含任何有線接口(例如，光纖、以太網(wǎng)、電力線以太網(wǎng)、經(jīng)由同軸電纜的以太網(wǎng)、數(shù)字信號(hào)線(DSL)或類似者)。有線和/或無(wú)線網(wǎng)絡(luò)可以使用各種設(shè)備(例如基站、路由器、接入點(diǎn)、網(wǎng)橋、網(wǎng)關(guān)、交換機(jī)或類似者)實(shí)施。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)(例如，無(wú)線通信協(xié)議)加以調(diào)制，且傳輸?shù)浇邮昭b置。

在一些實(shí)例中，編碼裝置104可將經(jīng)編碼視頻數(shù)據(jù)存儲(chǔ)于存儲(chǔ)裝置108中。輸出110可以從編碼器引擎106或從存儲(chǔ)裝置108檢索經(jīng)編碼視頻數(shù)據(jù)。存儲(chǔ)裝置108可以包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體中的任何一種。舉例來(lái)說(shuō)，存儲(chǔ)裝置108可以包含硬盤(pán)驅(qū)動(dòng)器、存儲(chǔ)盤(pán)、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器，或用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲(chǔ)媒體。

輸入114接收經(jīng)編碼視頻數(shù)據(jù)并且可以將視頻數(shù)據(jù)提供到解碼器引擎116或存儲(chǔ)裝置118以供解碼器引擎116稍后使用。解碼器引擎116可以通過(guò)熵解碼(例如，使用熵解碼器)對(duì)經(jīng)編碼視頻數(shù)據(jù)進(jìn)行解碼并且提取構(gòu)成經(jīng)編碼視頻數(shù)據(jù)的經(jīng)譯碼視頻序列的元素。解碼器引擎116接著可重新按比例縮放并且對(duì)經(jīng)編碼視頻數(shù)據(jù)執(zhí)行逆變換。接著將殘余傳遞到解碼器引擎116的預(yù)測(cè)級(jí)。解碼器引擎116接著預(yù)測(cè)像素塊(例如，PU)。在一些實(shí)例中，預(yù)測(cè)被添加到逆變換的輸出。

解碼裝置112可將經(jīng)解碼視頻輸出到視頻目的地裝置122，所述視頻目的地裝置可以包含顯示器或其它輸出裝置以用于將經(jīng)解碼視頻數(shù)據(jù)顯示給內(nèi)容的消費(fèi)者。在一些方面，視頻目的地裝置122可以是包含解碼裝置112的接收裝置的一部分。在一些方面，視頻目的地裝置122可為不同于接收裝置的單獨(dú)裝置的一部分。

在一些實(shí)施例中，視頻編碼裝置104和/或視頻解碼裝置112可分別與音頻編碼裝置和音頻解碼裝置集成。視頻編碼裝置104和/或視頻解碼裝置112還可以包含實(shí)施上文所描述的譯碼技術(shù)所必需的其它硬件或軟件，例如一或多個(gè)微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。視頻編碼裝置104和視頻解碼裝置112可以集成為相應(yīng)的裝置中的組合編碼器/解碼器(編解碼器)的一部分。下文參考圖9描述編碼裝置104的具體細(xì)節(jié)的實(shí)例。下文參考圖10描述解碼裝置112的具體細(xì)節(jié)的實(shí)例。

如上文所指出，HEVC標(biāo)準(zhǔn)的擴(kuò)展包含多視圖視頻譯碼擴(kuò)展(被稱作MV-HEVC)和可縮放視頻譯碼擴(kuò)展(被稱作SHVC)。MV-HEVC和SHVC擴(kuò)展共享分層譯碼的概念，分層譯碼具有包含于經(jīng)編碼視頻位流中的不同層。經(jīng)譯碼視頻序列中的每一層通過(guò)唯一層標(biāo)識(shí)符(ID)尋址。層ID可以存在于NAL單元的標(biāo)頭中以標(biāo)識(shí)NAL單元相關(guān)聯(lián)的層。在MV-HEVC中，不同層通常表示視頻位流中的同一場(chǎng)景的不同視圖。在SHVC中，提供表示不同空間分辨率(或圖象分辨率)或不同重構(gòu)保真度的視頻位流的不同可縮放層?？煽s放層可以包含基礎(chǔ)層(具有層ID＝0)和一或多個(gè)增強(qiáng)層(具有層ID＝1、2……n)。基礎(chǔ)層可以符合HEVC的第一版本的簡(jiǎn)檔，并且表示在位流中可供使用的最低層。與基礎(chǔ)層相比，增強(qiáng)層具有增加的空間分辨率、時(shí)間分辨率或幀速率和/或重構(gòu)保真度(或質(zhì)量)。增強(qiáng)層是階層式組織的并且可(或可不)依賴于較低層。在一些實(shí)例中，可使用單標(biāo)準(zhǔn)編解碼器對(duì)不同層進(jìn)行譯碼(例如，使用HEVC、SHVC或其它譯碼標(biāo)準(zhǔn)對(duì)所有層進(jìn)行編碼)。在一些實(shí)例中，可使用多標(biāo)準(zhǔn)編解碼器對(duì)不同層進(jìn)行譯碼。舉例來(lái)說(shuō)，可使用AVC對(duì)基礎(chǔ)層進(jìn)行譯碼，而可使用HEVC標(biāo)準(zhǔn)的SHVC和/或MV-HEVC擴(kuò)展對(duì)一或多個(gè)增強(qiáng)層進(jìn)行譯碼。

一般來(lái)說(shuō)，層包含VCL NAL單元集和對(duì)應(yīng)的非VCL NAL單元集。NAL單元被分配特定層ID值。在層可依賴于較低層的意義上，層可為階層式的。層集合是指在位流內(nèi)表示的獨(dú)立的層集，意指層集合內(nèi)的層可能在解碼過(guò)程中依賴于層集合中的其它層，但并不依賴于任何其它層來(lái)進(jìn)行解碼。因此，層集合中的層可形成可表示視頻內(nèi)容的非依賴性位流。層集合中的層集可通過(guò)子位流提取過(guò)程的操作(下文描述)從另一位流獲得。層集合可對(duì)應(yīng)于在解碼器希望根據(jù)某些參數(shù)進(jìn)行操作時(shí)將被解碼的層集。

提供假想?yún)⒖冀獯a器參數(shù)集(例如，在視頻參數(shù)序列或集中，或在其它信息傳送中)以允許多層功能性，其中每一參數(shù)集對(duì)應(yīng)于操作點(diǎn)。操作點(diǎn)定義用于子位流提取的參數(shù)，且包含目標(biāo)層列表(用于所述操作點(diǎn)的層集合)和目標(biāo)最高時(shí)間層。多個(gè)操作點(diǎn)可適用于給定位流。操作點(diǎn)可包含層集合中的所有層或可為形成為層集合的子集的位流。舉例來(lái)說(shuō)，位流的操作點(diǎn)可與層標(biāo)識(shí)符集和時(shí)間標(biāo)識(shí)符相關(guān)聯(lián)。層標(biāo)識(shí)符列表可用以標(biāo)識(shí)將包含在操作點(diǎn)中的層。層標(biāo)識(shí)符列表可包含在參數(shù)集(例如，VPS)中。層標(biāo)識(shí)符列表可包含層標(biāo)識(shí)符(ID)值(例如，由語(yǔ)法元素nuh_layer_id指示)列表。在一些情況下，層ID值可包含非負(fù)整數(shù)，且每一層可與唯一層ID值相關(guān)聯(lián)，以使得每一層ID值標(biāo)識(shí)特定層。最高時(shí)間ID(例如，由變量TemporalId標(biāo)識(shí))可用以定義時(shí)間子集。在一些實(shí)施例中，層標(biāo)識(shí)符列表和目標(biāo)最高時(shí)間ID可用作輸入以從位流提取操作點(diǎn)。舉例來(lái)說(shuō)，當(dāng)NAL單元具有包含在與操作點(diǎn)相關(guān)聯(lián)的層標(biāo)識(shí)符集中的層標(biāo)識(shí)符，且NAL單元的時(shí)間標(biāo)識(shí)符小于或等于操作點(diǎn)的時(shí)間標(biāo)識(shí)符時(shí)，NAL單元與所述操作點(diǎn)相關(guān)聯(lián)。目標(biāo)輸出層是將被輸出的層，且輸出層集合是與目標(biāo)輸出層集相關(guān)聯(lián)的層集合。舉例來(lái)說(shuō)，輸出層集合是包含規(guī)定的層集合的層的層集，其中所述層集中的一或多個(gè)層被指示為輸出層。輸出操作點(diǎn)對(duì)應(yīng)于特定輸出層集合。舉例來(lái)說(shuō)，輸出操作點(diǎn)可包含通過(guò)其中輸入位流、目標(biāo)最高時(shí)間標(biāo)識(shí)符(TemporalId)和目標(biāo)層標(biāo)識(shí)符列表作為輸入的子位流提取過(guò)程的操作從輸入位流產(chǎn)生且與輸出層集相關(guān)聯(lián)的位流。

圖2是說(shuō)明層集合(包含層集合0、層集合1、層集合2和層集合3)的實(shí)例的框圖。不同操作點(diǎn)可與層集合0、1、2和3中的每一個(gè)相關(guān)聯(lián)。層集合0包含層0。層集合1包含層0和層1。層集合2包含層0、層1和層2。層集合3包含層0、層1、層2和層3。層0可為基礎(chǔ)層，且層1、2和3可為增強(qiáng)層。舉例來(lái)說(shuō)，層0可具有7.5Hz的幀速率和64千字節(jié)/秒的位率，層1可具有15Hz的幀速率和128千字節(jié)/秒的位率，層2可具有15Hz的幀速率和256千字節(jié)/秒的位率，層3可具有30Hz的幀速率和512千字節(jié)/秒的位率，且層4(在圖中未示出)可具有30Hz的幀速率和1兆字節(jié)/秒的位率。所屬領(lǐng)域的一般技術(shù)人員將理解，這些數(shù)值僅作為一實(shí)例提供，且所述層可根據(jù)特定實(shí)施方案具有其它幀速率和位率。

譯碼技術(shù)中的可縮放性允許移除位流的經(jīng)譯碼數(shù)據(jù)單元(例如，NAL單元)以獲得形成用于目標(biāo)解碼器的另一有效位流的所得子位流。子位流表示位流的源內(nèi)容，但與原始位流相比具有更小幀速率(或時(shí)間分辨率)、空間分辨率和/或視頻保真度時(shí)間可縮放性允許位流和對(duì)應(yīng)的子位流具有可縮放幀速率，其中運(yùn)動(dòng)補(bǔ)償依賴性經(jīng)結(jié)構(gòu)化以使得可從位流丟棄完整圖片?？臻g可縮放性允許位流和相關(guān)聯(lián)子位流具有可縮放空間分辨率或圖片大小，在此情況下，可在多個(gè)空間分辨率下對(duì)視頻進(jìn)行譯碼。在一些情況下，較低分辨率的數(shù)據(jù)可用以預(yù)測(cè)較高分辨率的數(shù)據(jù)或樣本，以便減少位率以對(duì)較高分辨率進(jìn)行譯碼。也可基于視頻質(zhì)量實(shí)現(xiàn)可縮放性，其中在單一空間分辨率和不同質(zhì)量下對(duì)視頻進(jìn)行譯碼。在一些情況下，較低質(zhì)量的數(shù)據(jù)可用以預(yù)測(cè)較高質(zhì)量的數(shù)據(jù)，以便減少位率以對(duì)較高質(zhì)量進(jìn)行譯碼。也可使用不同可縮放性的組合。

在一些實(shí)例中，可從位流移除一或多個(gè)層或時(shí)間子層以獲得具有不同特性(例如，幀速率、空間分辨率、視頻保真度或其它適合特性)的子位流。舉例來(lái)說(shuō)，可使用子位流提取過(guò)程從位流移除層或子層?？沙鲇诟鞣N原因而移除層或子層。舉例來(lái)說(shuō)，可通過(guò)移除層以便降低將數(shù)據(jù)傳輸?shù)浇獯a裝置所需的數(shù)據(jù)的量來(lái)編輯位流。由于從位流移除層或子層，子位流與原始位流相比具有更少層或子層。每一子位流與層集合和對(duì)應(yīng)的操作點(diǎn)相關(guān)聯(lián)。在一些情況下，不完整層集合和(完全或部分地)不可用操作點(diǎn)可由從位流移除一或多個(gè)層而引起。

圖3是說(shuō)明層集合3在移除層后變成不完整層集合的框圖。不完整層集合可在從位流提取或移除層或時(shí)間子層以產(chǎn)生子位流時(shí)發(fā)生。當(dāng)移除層或子層時(shí)，包含經(jīng)提取層的層集合將由于缺失層而為不完整的。在圖3中，從位流移除層3，引起層集合3變成不完整層集合且用于所述層集合的對(duì)應(yīng)操作點(diǎn)變成不完全可用的。子位流因此可對(duì)應(yīng)于被視為不完全可用或至少部分地不可用的操作點(diǎn)，如下文更詳細(xì)地描述。剩余的層集合0、1和2保持完整，且對(duì)應(yīng)操作點(diǎn)保持完全或至少部分地可用。

當(dāng)從位流移除層或子層以獲得子位流時(shí)，可(例如，在一或多個(gè)參數(shù)集中)存在描述不再存在于位流中且因此不包含任何數(shù)據(jù)的經(jīng)移除層或子層的特征和參數(shù)的信息。舉例來(lái)說(shuō)，HEVC中的VPS經(jīng)設(shè)計(jì)以使得當(dāng)從位流移除某些層或子層時(shí)，VPS本身不需要改變。換句話說(shuō)，VPS可含有描述在子位流提取過(guò)程之后不再存在于位流中的層、子層、層集合、輸出層集合、操作點(diǎn)和輸出操作點(diǎn)的信息。不管所述VPS的此特征如何，當(dāng)子位流滿足某些特性時(shí)，每一子位流需要符合視頻譯碼標(biāo)準(zhǔn)。為測(cè)試符合性，當(dāng)產(chǎn)生可縮放位流或多層位流時(shí)，通過(guò)編碼器執(zhí)行位流符合性檢查以確保對(duì)應(yīng)于特定操作點(diǎn)的每一層集合是相符子位流。位流符合性檢查可包含使用假想?yún)⒖冀獯a器參數(shù)執(zhí)行規(guī)范性測(cè)試。規(guī)范性測(cè)試使用假想?yún)⒖冀獯a器參數(shù)檢查：可通過(guò)在概念上連接到編碼器的輸出且包含經(jīng)譯碼圖片緩沖器、解碼器和經(jīng)解碼圖片緩沖器的假想?yún)⒖冀獯a器解碼位流或子位流。編碼器必須確保在產(chǎn)生滿足符合性的位流時(shí)滿足各種約束條件，包含確保在位流中使用的工具匹配在參數(shù)集中用信號(hào)發(fā)送的工具，確保假想?yún)⒖冀獯a器的經(jīng)譯碼圖片緩沖器不溢出或下溢，確保標(biāo)記為用于參考的圖片之后不用作參考，或其它要求。當(dāng)存在用于解碼器緩沖器的太多經(jīng)譯碼數(shù)據(jù)單元時(shí)發(fā)生緩沖器溢出。當(dāng)對(duì)于解碼器來(lái)說(shuō)是時(shí)候處理一些經(jīng)譯碼數(shù)據(jù)單元但緩沖器為空時(shí)發(fā)生下溢。

根據(jù)HEVC標(biāo)準(zhǔn)，當(dāng)子位流對(duì)應(yīng)于與層集合相關(guān)聯(lián)的操作點(diǎn)或輸出操作點(diǎn)且TemporalId的目標(biāo)最高值OpTid小于或等于VPS為層集合所規(guī)定的6時(shí)，子位流應(yīng)為相符位流。需要對(duì)應(yīng)于不可用(例如，歸因于不完整層集合)的操作點(diǎn)的子位流將致使對(duì)于具有不完整層集合的子位流的不符合性判定，從而導(dǎo)致可能不必要的處理和開(kāi)銷。在一個(gè)實(shí)例中，如在JCTVC-R0010v1的規(guī)范文本中，可允許從層集合排除基礎(chǔ)層，且此類子位流可含有零層(不存在非VCL NAL單元)。在此實(shí)例中，基礎(chǔ)層可由外部源而非用以產(chǎn)生經(jīng)編碼位流的編碼器提供(例如，基礎(chǔ)層是經(jīng)AVC譯碼，且經(jīng)編碼位流是經(jīng)HEVC譯碼)?？蓮慕?jīng)編碼位流提取子位流以獲得僅包含基礎(chǔ)層的層集合0。因此，從經(jīng)編碼位流提取子位流以僅獲得基礎(chǔ)層，在子位流中不留下視頻數(shù)據(jù)(這是因?yàn)榛A(chǔ)層是從外部提供的)。需要空或部分為空的子位流為相符位流導(dǎo)致低效率譯碼過(guò)程。此外，在位流符合性測(cè)試中，測(cè)試對(duì)應(yīng)于在HEVC中的VPS中規(guī)定的層集合的每一操作點(diǎn)，且測(cè)試對(duì)應(yīng)于在SHVC/MV-HEVC中的VPS中規(guī)定的輸出層集合的每一輸出操作點(diǎn)。然而，當(dāng)操作點(diǎn)(在HEVC中)或輸出操作點(diǎn)(在SHVC/MV-HEVC中)的并非所有子層或所有層可用時(shí)，不應(yīng)執(zhí)行位流符合性測(cè)試。

在本文中所揭示的一些實(shí)施例中，可基于子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)而對(duì)子位流選擇性地執(zhí)行位流符合性檢查。在此類實(shí)施例中，可僅對(duì)在子位流的一個(gè)或所有層或子層中包含視頻數(shù)據(jù)的子位流執(zhí)行位流符合性檢查。

舉例來(lái)說(shuō)，在一些實(shí)施例中，僅需對(duì)應(yīng)于完全可用的操作點(diǎn)(或輸出操作點(diǎn))的子位流為相符位流。在此類實(shí)施例中，編碼裝置104可確定完全可用的操作點(diǎn)(例如，基于參數(shù)集中的信息、存在于子位流中的數(shù)據(jù)，或可用以編碼裝置104的其它適合信息)。編碼裝置104可僅對(duì)對(duì)應(yīng)于完全可用的操作點(diǎn)的子位流執(zhí)行位流符合性檢查。在(存在于位流中或由外部裝置提供的)VCL NAL單元可用于包含在對(duì)應(yīng)于操作點(diǎn)的層集合中的每一層的情況下，操作點(diǎn)可被視為完全可用的。在一些實(shí)例中，在VCL NAL單元可用于包含在層集合中的每一層的情況下，且在位流中的所有VCL NAL單元的時(shí)間ID的最高值等于或大于操作點(diǎn)的對(duì)應(yīng)時(shí)間ID OpTid的情況下，操作點(diǎn)可被視為完全可用的。在圖3中所說(shuō)明的實(shí)例中，層集合3將不被視為完全可用的，這是因?yàn)閂CL NAL單元不可用于層集合1的層3。在一些情況下，當(dāng)基礎(chǔ)層是由外部裝置提供時(shí)，可對(duì)其對(duì)應(yīng)層集合是層集合0(僅包含基礎(chǔ)層)的操作點(diǎn)實(shí)施例外，在此情況下，此類操作點(diǎn)可被視為不完全可用的。

在一些實(shí)施例中，僅需對(duì)應(yīng)于至少部分可用的操作點(diǎn)(或輸出操作點(diǎn))的子位流為相符位流。在此類實(shí)施例中，編碼裝置104可確定至少部分可用的操作點(diǎn)(例如，基于參數(shù)集中的信息、存在于子位流中的數(shù)據(jù)，或可用以編碼裝置104的其它適合信息)。編碼裝置104可僅對(duì)對(duì)應(yīng)于至少部分可用的操作點(diǎn)的子位流執(zhí)行位流符合性檢查。在(存在于位流中或由外部裝置提供的)VCL NAL單元可用于包含在對(duì)應(yīng)于操作點(diǎn)的層集合中的至少一個(gè)層的情況下，操作點(diǎn)可被視為至少部分可用的。在圖3中所說(shuō)明的實(shí)例中，在VCL NAL單元可用于層0、1、2中的一個(gè)的情況下，層集合3可被視為至少部分可用的。在一些實(shí)例中，當(dāng)基礎(chǔ)層是由外部裝置提供時(shí)，可對(duì)其層集合是層集合0(僅包含基礎(chǔ)層)的操作點(diǎn)實(shí)施例外，在此情況下，此類操作點(diǎn)可被視為至少部分不可用的。

圖4說(shuō)明對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程400的實(shí)施例。實(shí)施過(guò)程400以選擇性地執(zhí)行位流符合性檢查。在一些方面，可由例如在圖1中展示的編碼裝置104或在圖9中展示的編碼器20的計(jì)算裝置或設(shè)備來(lái)執(zhí)行過(guò)程400。舉例來(lái)說(shuō)，所述計(jì)算裝置或設(shè)備可包含編碼器，或處理器、微處理器、微型計(jì)算機(jī)，或經(jīng)配置以執(zhí)行過(guò)程400的步驟的編碼器的其它組件。

過(guò)程400說(shuō)明為邏輯流程圖，其中的操作表示可在硬件、計(jì)算機(jī)指令或其組合中實(shí)施的操作序列。在計(jì)算機(jī)指令的情形下，操作表示存儲(chǔ)在一或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒體上的計(jì)算機(jī)可執(zhí)行指令，這些計(jì)算機(jī)可執(zhí)行指令在由一或多個(gè)處理器執(zhí)行時(shí)執(zhí)行所敘述的操作。一般來(lái)說(shuō)，計(jì)算機(jī)可執(zhí)行指令包含例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)以及執(zhí)行特定功能或?qū)嵤┨囟〝?shù)據(jù)類型的類似者。描述操作的次序并不意圖解釋為限制，且任何數(shù)目的所描述操作可以任何次序組合和/或并行以實(shí)施所述過(guò)程。

另外，過(guò)程400可以在配置有可執(zhí)行指令的一或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下執(zhí)行并且可以實(shí)施為在一或多個(gè)處理器上、通過(guò)硬件或其組合共同地執(zhí)行的代碼(例如，可執(zhí)行指令、一或多個(gè)計(jì)算機(jī)程序或一或多個(gè)應(yīng)用程序)。如上文所指出，代碼可例如以包括可由一或多個(gè)處理器執(zhí)行的多個(gè)指令的計(jì)算機(jī)程序的形式存儲(chǔ)在計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體上。計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體可為非暫時(shí)性的。

在402處，對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程400包含產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含定義經(jīng)編碼視頻位流的參數(shù)的參數(shù)集。在一些實(shí)施例中，視頻數(shù)據(jù)包含一或多個(gè)視頻譯碼層網(wǎng)絡(luò)抽象層單元(VCL NAL單元)或含于所述VCL NAL單元中。在一個(gè)實(shí)例中，VCL NAL單元可構(gòu)成圖2中所說(shuō)明的層0、1、2和3。所述參數(shù)集可包含視頻參數(shù)集或序列參數(shù)集。

在404處，過(guò)程400包含確定參數(shù)集的包含描述經(jīng)編碼視頻位流的第一子位流的信息和描述經(jīng)編碼視頻位流的第二子位流的信息的一或多個(gè)參數(shù)，所述第一子位流包含具有視頻數(shù)據(jù)的一或多個(gè)層，且所述第二子位流包含不具有視頻數(shù)據(jù)的一或多個(gè)層。所述第一子位流可對(duì)應(yīng)于第一層集合和對(duì)應(yīng)的第一操作點(diǎn)，例如圖2中所說(shuō)明的層集合0、1或2。所述第二子位流可對(duì)應(yīng)于第二層集合和對(duì)應(yīng)的第二操作點(diǎn)，例如圖2中所說(shuō)明的層集合3。在一些實(shí)施例中，第一子位流的一或多個(gè)層的視頻數(shù)據(jù)存在于第一子位流中。在一些實(shí)施例中，從外部源而非用以產(chǎn)生經(jīng)編碼視頻位流的編碼器提供第一子位流的一或多個(gè)層的視頻數(shù)據(jù)。舉例來(lái)說(shuō)，第一子位流可對(duì)應(yīng)于僅包含基礎(chǔ)層的層集合0。在一些實(shí)例中，基礎(chǔ)層可從外部源提供到解碼器?？赏ㄟ^(guò)從經(jīng)編碼視頻位流移除至少一個(gè)層從經(jīng)編碼視頻位流產(chǎn)生第二子位流。舉例來(lái)說(shuō)，子位流提取過(guò)程可用以產(chǎn)生第二子位流。

在406處，過(guò)程400包含基于是第一子位流或第二子位流的至少一個(gè)層是否包含視頻數(shù)據(jù)，對(duì)第一子位流或第二子位流執(zhí)行位流符合性檢查。舉例來(lái)說(shuō)，過(guò)程400可包含基于第一子位流的一或多個(gè)層具有視頻數(shù)據(jù)，對(duì)第一子位流執(zhí)行位流符合性檢查?；诘诙游涣鞯囊换蚨鄠€(gè)層不具有視頻數(shù)據(jù)，不對(duì)第二子位流執(zhí)行位流符合性檢查。因此，對(duì)第一子位流執(zhí)行位流符合性檢查是因?yàn)榈谝蛔游涣鞯囊换蚨鄠€(gè)層具有視頻數(shù)據(jù)，且不對(duì)第二子位流執(zhí)行位流性能檢查是因?yàn)榈诙游涣鞯囊换蚨鄠€(gè)層不具有視頻數(shù)據(jù)。

在一些實(shí)施例中，過(guò)程400包含在第一子位流的一或多個(gè)層全部具有視頻數(shù)據(jù)時(shí)，對(duì)第一子位流執(zhí)行位流符合性檢查。在此類情況下，如上文所描述，當(dāng)子位流對(duì)應(yīng)于完全可用的操作點(diǎn)時(shí)，僅對(duì)子位流執(zhí)行位流符合性檢查。

在一些實(shí)施例中，過(guò)程400包含在第一子位流的一或多個(gè)層中的至少一個(gè)具有視頻數(shù)據(jù)時(shí)，對(duì)第一子位流執(zhí)行位流符合性檢查。在此類情況下，如上文所描述，當(dāng)子位流對(duì)應(yīng)于部分可用的操作點(diǎn)時(shí)，僅對(duì)子位流執(zhí)行位流符合性檢查。

在一些實(shí)施例中，過(guò)程400包含基于第一子位流中的視頻數(shù)據(jù)的時(shí)間標(biāo)識(shí)符的最高值是否等于或大于第一子位流的對(duì)應(yīng)時(shí)間標(biāo)識(shí)符的值，對(duì)第一子位流執(zhí)行位流符合性檢查。在此類實(shí)施例中，當(dāng)VCL NAL單元對(duì)于包含在對(duì)應(yīng)于操作點(diǎn)的層集合中的每一層是可用的(存在于位流中或由外部裝置提供)時(shí)，并且還當(dāng)位流中的所有VCL NAL單元的TemporalId的最高值等于或大于操作點(diǎn)的對(duì)應(yīng)時(shí)間ID OpTid時(shí)，執(zhí)行所述位流符合性測(cè)試。

在一些實(shí)施例中，位流符合性檢查包含對(duì)第一子位流執(zhí)行規(guī)范性測(cè)試，以確保第一子位流符合解碼第一子位流所需的譯碼要求。如先前所描述，可使用假想?yún)⒖冀獯a器參數(shù)執(zhí)行規(guī)范性測(cè)試。

使用上文所描述的技術(shù)，位流符合性檢查可受限于對(duì)應(yīng)于完全或至少部分可用的操作點(diǎn)的子位流。此類技術(shù)允許避免對(duì)空或部分為空的子位流的不必要的符合性測(cè)試。

在進(jìn)一步實(shí)施例中，描述用于將最小值分配給參數(shù)集中的語(yǔ)法結(jié)構(gòu)的技術(shù)和系統(tǒng)。如先前所描述，經(jīng)編碼位流中的NAL單元可包含具有與經(jīng)編碼視頻位流有關(guān)的高層級(jí)信息以及其它信息的參數(shù)集。可包含在參數(shù)集中的一個(gè)信息集包含簡(jiǎn)檔、層次和層級(jí)參數(shù)或約束條件。簡(jiǎn)檔、層次和層級(jí)參數(shù)可包含在參數(shù)集(例如，VPS或SPS)的語(yǔ)法結(jié)構(gòu)中，且可包含profile_tier_level()語(yǔ)法結(jié)構(gòu)。簡(jiǎn)檔、層次和層級(jí)包含對(duì)位流的限定以及對(duì)解碼位流所需的能力的限制。簡(jiǎn)檔、層次和層級(jí)也可用以指示個(gè)別解碼器實(shí)施方案之間的互操作性點(diǎn)。簡(jiǎn)檔、層次和層級(jí)參數(shù)的實(shí)例包含對(duì)譯碼工具、位流特性、接收裝置解碼基礎(chǔ)層所需的緩沖器特性或其它參數(shù)的約束條件。

簡(jiǎn)檔定義由符合所述簡(jiǎn)檔的所有解碼器支持的特征和限制的子集。在HEVC標(biāo)準(zhǔn)中定義的簡(jiǎn)檔包含主簡(jiǎn)檔、主10簡(jiǎn)檔、主靜止圖片簡(jiǎn)檔、格式范圍擴(kuò)展簡(jiǎn)檔，以及格式范圍擴(kuò)展高輸貫量簡(jiǎn)檔。

層級(jí)和層次可規(guī)定簡(jiǎn)檔必須遵循的額外約束條件。舉例來(lái)說(shuō)，層次的層級(jí)可規(guī)定對(duì)給定譯碼規(guī)范(例如，HEVC)的語(yǔ)法元素可能采用的值的限制集。層次和層級(jí)定義的同一集合與所有簡(jiǎn)檔一起使用，但個(gè)別實(shí)施方案可支持不同層次和在一層次內(nèi)用于每一所支持簡(jiǎn)檔的不同層級(jí)。對(duì)于任何給定簡(jiǎn)檔，層次的層級(jí)大體上對(duì)應(yīng)于特定解碼器處理負(fù)載和存儲(chǔ)器能力。由層級(jí)和層次定義的約束條件的實(shí)例可包含對(duì)所允許的切片的最大數(shù)目、所允許的圖塊的最大數(shù)目、最大位率、最大取樣率、最大圖片大小、最小壓縮比、經(jīng)解碼圖片緩沖器的能力的約束條件，或其它適合的約束條件。較低層次和層級(jí)與較高層次和層級(jí)相比受到更多約束。根據(jù)HEVC標(biāo)準(zhǔn)，定義兩個(gè)層次。所述層次包含主層次和高層次，其中主層次與高層次相比為較低的層次。高層次可用于需要較高位率的應(yīng)用。符合給定層次/層級(jí)的解碼器必須能夠解碼針對(duì)所述層次/層級(jí)以及針對(duì)所有較低層次/層級(jí)進(jìn)行編碼的所有位流。簡(jiǎn)檔、層次和層級(jí)限制的具體實(shí)例可發(fā)現(xiàn)于HEVC譯碼標(biāo)準(zhǔn)中，其可從http://phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip得到。

在一些實(shí)施例中，描述用于將最小值分配給參數(shù)集中的簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)的技術(shù)和系統(tǒng)?？稍诎l(fā)生某些情境時(shí)分配所述最小值。舉例來(lái)說(shuō)，根據(jù)第一譯碼協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編碼的編碼器(例如，編碼裝置104、編碼器20，或類似者)可產(chǎn)生經(jīng)編碼視頻位流。編碼器可將經(jīng)編碼視頻位流提供到接收裝置中的解碼器(例如，解碼裝置112、解碼器30，或類似者)。在一些實(shí)例中，接收裝置可直接從編碼器接收經(jīng)編碼視頻位流。在一些實(shí)例中，接收裝置可從網(wǎng)絡(luò)實(shí)體(例如服務(wù)器、媒體感知網(wǎng)絡(luò)元件(MANE)、視頻編輯器/剪接器，或其它此類裝置)接收經(jīng)編碼視頻位流。可根據(jù)不同于第一譯碼協(xié)議的第二譯碼協(xié)議對(duì)視頻數(shù)據(jù)的基礎(chǔ)層進(jìn)行編碼。在一個(gè)實(shí)例中，第一譯碼協(xié)議可基于HEVC標(biāo)準(zhǔn)，且第二譯碼協(xié)議可基于AVC標(biāo)準(zhǔn)?？赏ㄟ^(guò)外部源而非使用第一譯碼協(xié)議產(chǎn)生第一經(jīng)編碼視頻位流的編碼器將基礎(chǔ)層提供到解碼器或同一接收裝置中的另一解碼器。在一個(gè)實(shí)例中，多標(biāo)準(zhǔn)編解碼器可接收經(jīng)編碼位流(使用第一譯碼協(xié)議經(jīng)編碼)和基礎(chǔ)層(使用第二譯碼協(xié)議經(jīng)編碼)。在另一實(shí)例中，第一編解碼器可接收并解碼經(jīng)編碼位流，且第二編解碼器可接收并解碼基礎(chǔ)層。使用第二譯碼協(xié)議對(duì)視頻數(shù)據(jù)進(jìn)行編碼的編碼器可將基礎(chǔ)層提供到接收裝置(例如，直接或經(jīng)由網(wǎng)絡(luò)實(shí)體發(fā)送到接收裝置)。

可提供針對(duì)根據(jù)第一譯碼協(xié)議經(jīng)編碼的視頻位流的參數(shù)集(例如，VPS)。視頻參數(shù)集可包含與經(jīng)編碼視頻位流中的視頻數(shù)據(jù)有關(guān)的信息。包含關(guān)于經(jīng)編碼視頻位流的基礎(chǔ)層的信息的語(yǔ)法結(jié)構(gòu)可存在于VPS中，即使在基礎(chǔ)層是從外部由外部源提供的情況下仍如此(在此情況下，可不提供使用第一譯碼協(xié)議經(jīng)編碼的基礎(chǔ)層)。語(yǔ)法結(jié)構(gòu)可包含上文所描述的簡(jiǎn)檔、層次和層級(jí)語(yǔ)法元素。當(dāng)基礎(chǔ)層是從外部提供時(shí)，VPS中分配給基礎(chǔ)層的第一profile_tier_level()語(yǔ)法結(jié)構(gòu)是無(wú)意義且被解碼器忽略。然而，移除所述語(yǔ)法結(jié)構(gòu)不是任選方案，這是因?yàn)樵贖EVC版本1中規(guī)定所述語(yǔ)法，且移除將致使向后兼容性問(wèn)題。出于這些原因，用于基礎(chǔ)層的簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)必須保持在VPS中。因此，當(dāng)確定基礎(chǔ)層將由外部源而非用以產(chǎn)生經(jīng)編碼視頻位流的編碼器提供到解碼器時(shí)，編碼器(例如，編碼裝置104、編碼器20，或類似者)可將最小值分配給用于基礎(chǔ)層的簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)，VPS中的語(yǔ)法元素可包含用信號(hào)傳送到到編碼器以分配最小值的約束條件。通過(guò)分配最小值，將語(yǔ)法結(jié)構(gòu)所使用的位數(shù)減到最小。在一個(gè)實(shí)例中，可需要語(yǔ)法結(jié)構(gòu)具有全部等于0的位，因此確保所述語(yǔ)法結(jié)構(gòu)使用最小位數(shù)。

圖5說(shuō)明可將最小值分配給簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)的實(shí)例環(huán)境500。環(huán)境500包含使用不同視頻譯碼標(biāo)準(zhǔn)產(chǎn)生經(jīng)編碼視頻位流的HEVC編碼裝置502和AVC編碼裝置506。所屬領(lǐng)域的一般技術(shù)人員將理解，本文中所描述的技術(shù)適用于可使用不同于HEVC或AVC的譯碼標(biāo)準(zhǔn)的其它編碼裝置。HEVC編碼裝置502可產(chǎn)生包含一或多個(gè)增強(qiáng)層但不包含基礎(chǔ)層的HEVC兼容視頻位流。AVC編碼裝置506可產(chǎn)生僅包含基礎(chǔ)層的AVC兼容視頻位流。當(dāng)HEVC編碼裝置502產(chǎn)生一或多個(gè)增強(qiáng)層時(shí)，由AVC編碼裝置506產(chǎn)生的基礎(chǔ)層可用于層間預(yù)測(cè)參考。

在一個(gè)實(shí)例中，HEVC解碼裝置504可從HEVC編碼裝置502接收增強(qiáng)層，且AVC解碼裝置508可從AVC編碼裝置506接收基礎(chǔ)層。在另一實(shí)例中，第一網(wǎng)絡(luò)實(shí)體(例如，編輯器或剪接器)可將來(lái)自HEVC編碼裝置502的增強(qiáng)層與來(lái)自AVC編碼裝置506的基礎(chǔ)層剪接在一起。第一網(wǎng)絡(luò)實(shí)體可以與(例如，以根據(jù)ISO基礎(chǔ)媒體文件格式的文件格式)所添加的系統(tǒng)時(shí)間信息在時(shí)間上同步的方式執(zhí)行所述剪接。第二網(wǎng)絡(luò)實(shí)體(例如，接收器(例如接收裝置510)、文件格式解析器，或其它網(wǎng)絡(luò)實(shí)體)可將一或多個(gè)增強(qiáng)層的位流傳遞到HEVC解碼裝置504并且將基礎(chǔ)層的位流傳遞到AVC解碼裝置506。在任一實(shí)例中，基礎(chǔ)層的位流不提供到HEVC解碼裝置504。替代地，基礎(chǔ)層的經(jīng)解碼圖片提供到HEVC解碼裝置504(從AVC解碼裝置508)以用于層間預(yù)測(cè)參考。從HEVC解碼裝置504的視角，基礎(chǔ)層是從外部由外部源提供。在一些實(shí)施例中，HEVC解碼裝置504和AVC解碼裝置508是單獨(dú)的解碼器。在一些實(shí)施例中，HEVC解碼裝置504和AVC解碼裝置508是可解碼HEVC和AVC位流的多標(biāo)準(zhǔn)解碼器的一部分。

HEVC編碼裝置502可提供針對(duì)經(jīng)編碼位流的視頻參數(shù)集(VPS)512(例如，在一或多個(gè)非VCL NAL單元中)。HEVC編碼裝置502可確定基礎(chǔ)層將由外部源而非HEVC編碼裝置502提供。舉例來(lái)說(shuō)，HEVC編碼裝置502可確定VPS 512中的一或多個(gè)旗標(biāo)設(shè)置為指示基礎(chǔ)層是由外部源提供的值。在一些實(shí)施例中，一或多個(gè)旗標(biāo)可包含vps_base_layer_internal_flag。在一些實(shí)施例中，一或多個(gè)旗標(biāo)可包含vps_base_layer_available_flag。在一些實(shí)施例中，一或多個(gè)旗標(biāo)包含vps_base_layer_internal_flag和vps_base_layer_available_flag兩者。在一個(gè)實(shí)例中，如果vps_base_layer_internal_flag等于1且vps_base_layer_available_flag等于1，那么基礎(chǔ)層存在于HEVC位流中。在另一實(shí)例中，如果vps_base_layer_internal_flag等于0且vps_base_layer_available_flag等于1，那么基礎(chǔ)層是由在HEVC規(guī)范中未規(guī)定的外部裝置提供。在又另一實(shí)例中，如果vps_base_layer_internal_flag等于1且vps_base_layer_available_flag等于0，那么基礎(chǔ)層不可用(既不存在于HEVC位流中也不由外部裝置提供)，但VPS包含基礎(chǔ)層的信息，就像基礎(chǔ)層存在于HEVC位流中的情況一樣。在又另一實(shí)例中，如果vps_base_layer_internal_flag等于0且vps_base_layer_available_flag等于0，那么基礎(chǔ)層不可用(既不存在于HEVC位流中也不由外部裝置提供)，但VPS包含基礎(chǔ)層的信息，就像基礎(chǔ)層是由在HEVC規(guī)范中未規(guī)定的外部裝置提供的情況一樣。

基于對(duì)基礎(chǔ)層將由外部源提供(例如，vps_base_layer_internal_flag等于0且vps_base_layer_available_flag等于1)的確定，HEVC編碼裝置502將最小值分配給存在于VPS 512中的簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)514。簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)514描述用于HEVC位流的基礎(chǔ)層的一或多個(gè)簡(jiǎn)檔、層級(jí)和層次。分配最小值可包含將所有0值分配給簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)514的位。HEVC編碼裝置502接著可將針對(duì)經(jīng)編碼位流的VPS 512發(fā)送到HEVC解碼裝置504。

圖6說(shuō)明對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程600的實(shí)施例。實(shí)施過(guò)程600以將最小值分配給參數(shù)集中的語(yǔ)法結(jié)構(gòu)。在一些方面，可由例如在圖1中展示的編碼裝置104或在圖9中展示的編碼器20的計(jì)算裝置或設(shè)備來(lái)執(zhí)行過(guò)程600。舉例來(lái)說(shuō)，所述計(jì)算裝置或設(shè)備可包含編碼器，或處理器、微處理器、微型計(jì)算機(jī)，或經(jīng)配置以執(zhí)行過(guò)程600的步驟的編碼器的其它組件。

過(guò)程600說(shuō)明為邏輯流程圖，其中的操作表示可在硬件、計(jì)算機(jī)指令或其組合中實(shí)施的操作序列。在計(jì)算機(jī)指令的情形下，操作表示存儲(chǔ)在一或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒體上的計(jì)算機(jī)可執(zhí)行指令，這些計(jì)算機(jī)可執(zhí)行指令在由一或多個(gè)處理器執(zhí)行時(shí)執(zhí)行所敘述的操作。一般來(lái)說(shuō)，計(jì)算機(jī)可執(zhí)行指令包含例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)以及執(zhí)行特定功能或?qū)嵤┨囟〝?shù)據(jù)類型的類似者。描述操作的次序并不意圖解釋為限制，且任何數(shù)目的所描述操作可以任何次序組合和/或并行以實(shí)施所述過(guò)程。

另外，過(guò)程600可以在配置有可執(zhí)行指令的一或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下執(zhí)行并且可以實(shí)施為在一或多個(gè)處理器上、通過(guò)硬件或其組合共同地執(zhí)行的代碼(例如，可執(zhí)行指令、一或多個(gè)計(jì)算機(jī)程序或一或多個(gè)應(yīng)用程序)。如上文所指出，代碼可例如以包括可由一或多個(gè)處理器執(zhí)行的多個(gè)指令的計(jì)算機(jī)程序的形式存儲(chǔ)在計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體上。計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體可為非暫時(shí)性的。

在602處，對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程600包含通過(guò)編碼器根據(jù)第一譯碼協(xié)議產(chǎn)生經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含一或多個(gè)增強(qiáng)層和定義經(jīng)編碼視頻位流的參數(shù)的視頻參數(shù)集。在一些實(shí)施例中，編碼裝置可產(chǎn)生經(jīng)編碼視頻位流以包含基礎(chǔ)層和一或多個(gè)增強(qiáng)層。

在604處，過(guò)程600包含確定基礎(chǔ)層將通過(guò)外部源提供到解碼裝置且不提供為經(jīng)編碼視頻位流的一部分。外部源是不同于根據(jù)第一譯碼協(xié)議產(chǎn)生經(jīng)編碼視頻位流的編碼器的源。解碼裝置可根據(jù)第一譯碼協(xié)議操作。在一些實(shí)施例中，根據(jù)不同于第一譯碼協(xié)議的第二譯碼協(xié)議對(duì)由外部源提供的基礎(chǔ)層進(jìn)行編碼。舉例來(lái)說(shuō)，第一譯碼協(xié)議可包含高效視頻譯碼協(xié)議，且第二譯碼協(xié)議可包含高級(jí)視頻譯碼協(xié)議。在一個(gè)實(shí)例中，經(jīng)配置以根據(jù)第二譯碼協(xié)議產(chǎn)生位流的編碼器可產(chǎn)生將提供到解碼裝置的基礎(chǔ)層。根據(jù)第二譯碼協(xié)議操作的解碼裝置可從根據(jù)第二譯碼協(xié)議操作的編碼器接收基礎(chǔ)層，且可將基礎(chǔ)層提供到根據(jù)第一譯碼協(xié)議操作的解碼裝置。在另一實(shí)例中，第一網(wǎng)絡(luò)實(shí)體(例如，編輯器或剪接器)可將來(lái)自根據(jù)第一協(xié)議操作的編碼器的一或多個(gè)增強(qiáng)層與來(lái)根據(jù)第二協(xié)議操作的編碼器的基礎(chǔ)層剪接在一起。第二網(wǎng)絡(luò)實(shí)體(例如，接收器或文件格式解析器)可將一或多個(gè)增強(qiáng)層的位流傳遞到根據(jù)第一譯碼協(xié)議操作的解碼裝置，并且可將基礎(chǔ)層的位流傳遞到根據(jù)第二譯碼協(xié)議操作的解碼裝置。在一些實(shí)施例中，確定基礎(chǔ)層將由外部源提供包含確定旗標(biāo)被設(shè)置為指示基礎(chǔ)層是由外部源提供的值。舉例來(lái)說(shuō)，如上文所描述，所述旗標(biāo)可包含vps_base_layer_internal_flag、vps_base_layer_available_flag，或這兩個(gè)旗標(biāo)可用以指示基礎(chǔ)層將由外部源提供。

在606處，過(guò)程600包含在確定基礎(chǔ)層將由外部源提供時(shí)，將最小值分配給視頻參數(shù)集中的語(yǔ)法結(jié)構(gòu)，所述語(yǔ)法結(jié)構(gòu)定義用于基礎(chǔ)層的簡(jiǎn)檔、層次和層級(jí)參數(shù)。在一些實(shí)施例中，所述最小值包含語(yǔ)法結(jié)構(gòu)的所有位的值0。在一些實(shí)施例中，簡(jiǎn)檔、層次和層級(jí)參數(shù)包含對(duì)經(jīng)編碼視頻位流的限定以及對(duì)解碼經(jīng)編碼視頻位流所需的能力的限制。舉例來(lái)說(shuō)，簡(jiǎn)檔、層次和層級(jí)參數(shù)可規(guī)定對(duì)譯碼工具、位流特性、或解碼裝置解碼基礎(chǔ)層所需的緩沖器特性、或其它參數(shù)的約束條件。簡(jiǎn)檔、層次和層級(jí)參數(shù)可包含在參數(shù)集(例如，VPS或SPS)的語(yǔ)法結(jié)構(gòu)中，且可包含profile_tier_level()語(yǔ)法結(jié)構(gòu)。

使用上文所描述的技術(shù)，通過(guò)在某些情境下需要分配給不必要語(yǔ)法結(jié)構(gòu)的最小位數(shù)來(lái)減少帶寬和其它傳輸以及處理開(kāi)銷。此類技術(shù)將例如簡(jiǎn)檔、層次、層級(jí)語(yǔ)法結(jié)構(gòu)所使用的位數(shù)減到最小。

在進(jìn)一步實(shí)施例中，描述用于約束用于參數(shù)集的表示格式參數(shù)的技術(shù)和系統(tǒng)。圖7說(shuō)明視頻參數(shù)集(VPS)706和序列參數(shù)集(SPS)702的實(shí)例。SPS 702可為用于經(jīng)編碼視頻位流中的一或多個(gè)層的活動(dòng)的SPS。SPS 702包含表示格式參數(shù)704。SPS 702可適用于多于一個(gè)層，且表示格式參數(shù)704適用于SPS 702所適用的所有層。在一些實(shí)施例中，SPS適用于僅一個(gè)層，且因此可在特定時(shí)間存在用于多個(gè)層的多個(gè)活動(dòng)的SPS。VPS可包含多個(gè)表示格式參數(shù)集，且這些集中的每一個(gè)可分配給一或多個(gè)層。舉例來(lái)說(shuō)，VPS 706包含適用于其中層ID＝0的基礎(chǔ)層的表示格式參數(shù)708、適用于其中層ID＝1的增強(qiáng)層的表示格式參數(shù)710，以及適用于其中層ID＝n的增強(qiáng)層的表示格式參數(shù)712，其指示任何數(shù)目個(gè)層和對(duì)應(yīng)的表示格式參數(shù)可存在于經(jīng)編碼位流中。

表示格式參數(shù)704、708、710、712描述各種視頻數(shù)據(jù)特性(例如，分辨率參數(shù)、位深度、圖片寬度、顏色格式，或其它表示格式參數(shù))。在VPS 706中用信號(hào)發(fā)送的表示格式參數(shù)708、710、712可提供參數(shù)的最大值，且可在一個(gè)裝置的編碼器與另一裝置的解碼器之間的會(huì)話協(xié)商中使用，還有其它用途。會(huì)話協(xié)商可在不同裝置的編碼器與解碼器之間執(zhí)行以協(xié)定操作點(diǎn)(或輸出操作點(diǎn))，確定最大分辨率、位率，或協(xié)定包含在經(jīng)編碼位流中的其它特性。在SPS 706中用信號(hào)發(fā)送的表示格式參數(shù)704(或在其它SPS中用信號(hào)發(fā)送的其它表示格式參數(shù))可將經(jīng)更新參數(shù)值提供給在VPS中提供的那些參數(shù)值。

可提供約束條件以指示當(dāng)更新SPS中的用于層的表示格式參數(shù)時(shí)，經(jīng)更新表示格式參數(shù)不應(yīng)大于在VPS中分配的用于所述層的對(duì)應(yīng)表示格式參數(shù)。以上約束條件的目標(biāo)是確保在VPS中用信號(hào)發(fā)送的用于每一層的表示格式參數(shù)的值是解碼器應(yīng)預(yù)計(jì)用于所述層的那些參數(shù)的最大值。這通知解碼器應(yīng)分配多少存儲(chǔ)器來(lái)處置每一層的圖片，且這可在會(huì)話協(xié)商中用以確定解碼器是否可解碼位流。然而，在一些實(shí)施例中，約束條件僅適用于具有大于0的層ID(例如，nuh_layer_id)的層(僅除基礎(chǔ)層以外的層)。對(duì)于基礎(chǔ)層(層ID＝0)，可不存在約束在活動(dòng)的SPS中用信號(hào)發(fā)送的用于基礎(chǔ)層的表示格式參數(shù)的值的約束條件。在活動(dòng)的SPS中用信號(hào)發(fā)送的用于基礎(chǔ)層的表示格式參數(shù)的值因此可大于在VPS中分配的用于基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值?？稍诩s束條件不應(yīng)用于基礎(chǔ)層的情況下出現(xiàn)問(wèn)題。舉例來(lái)說(shuō)，VPS 706中的表示格式參數(shù)708可在與解碼器的會(huì)話協(xié)商期間使用，且稍后，SPS 702可包含更新到高達(dá)較大分辨率、位率或基礎(chǔ)層的其它特性的表示格式參數(shù)。在此類情況下，較早協(xié)商的結(jié)果將不保持且解碼過(guò)程可能失敗。此還可阻止約束其它層的表示格式更新的目的。此外，當(dāng)VPS而非SPS中的圖片大小信息用于層級(jí)定義時(shí)，允許圖片大小更新為大于VPS中的圖片大小將引起不保證相符解碼器能夠解碼位流的情境。

因此，描述用于約束在參數(shù)集中用信號(hào)發(fā)送的用于基礎(chǔ)層的表示格式參數(shù)的技術(shù)和系統(tǒng)。舉例來(lái)說(shuō)，可規(guī)定需要在SPS 702中用信號(hào)發(fā)送的表示格式參數(shù)704(或在其它SPS中用信號(hào)發(fā)送的其它表示格式參數(shù))的值小于或等于在VPS 706中用信號(hào)發(fā)送的表示格式參數(shù)708、710、712的值的約束條件。所述約束條件可限制編碼器產(chǎn)生SPS 702中的分配給基礎(chǔ)層的表示格式參數(shù)704的值小于或等于VPS 706中的分配給基礎(chǔ)層的表示格式參數(shù)708中的對(duì)應(yīng)值。舉例來(lái)說(shuō)，編碼器可提供在一或多個(gè)SPS中的一或多個(gè)表示格式參數(shù)集(例如，SPS 702中的表示格式參數(shù)704)的參數(shù)更新，但可根據(jù)約束條件限制參數(shù)的值。用于SPS中的基礎(chǔ)層表示格式參數(shù)的約束條件的實(shí)例可包含：

當(dāng)具有等于0的nuh_layer_id的SPS是具有等于0的nuh_layer_id的層的活動(dòng)的SPS時(shí)，位流符合性的要求為，存在于SPS中的語(yǔ)法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8或bit_depth_chroma_minus8的值應(yīng)分別小于或等于活動(dòng)的VPS中的vps_rep_format_idx[0]-th rep_format()語(yǔ)法結(jié)構(gòu)的chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8或bit_depth_vps_chroma_minus8。

語(yǔ)法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8或bit_depth_chroma_minus8包含用于SPS的表示格式參數(shù)集中的各種參數(shù)。語(yǔ)法元素chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8或bit_depth_vps_chroma_minus8包含用于VPS的表示格式參數(shù)集中的各種參數(shù)。

圖8說(shuō)明對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程800的實(shí)施例。實(shí)施過(guò)程800以約束用于參數(shù)集的表示格式參數(shù)。在一些方面，可由例如在圖1中展示的編碼裝置104或在圖9中展示的編碼器20的計(jì)算裝置或設(shè)備來(lái)執(zhí)行過(guò)程800。舉例來(lái)說(shuō)，所述計(jì)算裝置或設(shè)備可包含編碼器，或處理器、微處理器、微型計(jì)算機(jī)，或經(jīng)配置以執(zhí)行過(guò)程800的步驟的編碼器的其它組件。

過(guò)程800說(shuō)明為邏輯流程圖，其中的操作表示可在硬件、計(jì)算機(jī)指令或其組合中實(shí)施的操作序列。在計(jì)算機(jī)指令的情形下，操作表示存儲(chǔ)在一或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒體上的計(jì)算機(jī)可執(zhí)行指令，這些計(jì)算機(jī)可執(zhí)行指令在由一或多個(gè)處理器執(zhí)行時(shí)執(zhí)行所敘述的操作。一般來(lái)說(shuō)，計(jì)算機(jī)可執(zhí)行指令包含例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)以及執(zhí)行特定功能或?qū)嵤┨囟〝?shù)據(jù)類型的類似者。描述操作的次序并不意圖解釋為限制，且任何數(shù)目的所描述操作可以任何次序組合和/或并行以實(shí)施所述過(guò)程。

另外，過(guò)程800可以在配置有可執(zhí)行指令的一或多個(gè)計(jì)算機(jī)系統(tǒng)的控制下執(zhí)行并且可以實(shí)施為在一或多個(gè)處理器上、通過(guò)硬件或其組合共同地執(zhí)行的代碼(例如，可執(zhí)行指令、一或多個(gè)計(jì)算機(jī)程序或一或多個(gè)應(yīng)用程序)。如上文所指出，代碼可例如以包括可由一或多個(gè)處理器執(zhí)行的多個(gè)指令的計(jì)算機(jī)程序的形式存儲(chǔ)在計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體上。計(jì)算機(jī)可讀或機(jī)器可讀存儲(chǔ)媒體可為非暫時(shí)性的。

在802處，對(duì)視頻數(shù)據(jù)進(jìn)行編碼的過(guò)程800包含產(chǎn)生包括多個(gè)層的經(jīng)編碼視頻位流，所述經(jīng)編碼視頻位流包含一或多個(gè)序列參數(shù)集和視頻參數(shù)集。在一個(gè)實(shí)例中，一或多個(gè)序列參數(shù)集包含在圖7中展示的SPS 702，且視頻參數(shù)集包含VPS 706。

在804處，過(guò)程800包含根據(jù)約束條件產(chǎn)生序列參數(shù)集的分配給經(jīng)編碼視頻位流的基礎(chǔ)層的一或多個(gè)表示格式參數(shù)，所述約束條件限制序列參數(shù)集中的一或多個(gè)表示格式參數(shù)的值小于或等于分配給視頻參數(shù)集中的基礎(chǔ)層的對(duì)應(yīng)表示格式參數(shù)的值。可在一或多個(gè)HEVC語(yǔ)法元素中用信號(hào)發(fā)送序列參數(shù)集中的一或多個(gè)表示格式參數(shù)。在一些實(shí)施例中，一或多個(gè)表示格式參數(shù)包含分辨率、位深度、圖片寬度、顏色格式或其它格式參數(shù)中的一或多個(gè)。在一些實(shí)施例中，如先前所描述，在視頻參數(shù)集中用信號(hào)發(fā)送的一或多個(gè)表示格式參數(shù)用于與一或多個(gè)解碼器的會(huì)話協(xié)商。

在一些實(shí)施例中，所述過(guò)程包含根據(jù)約束條件更新一或多個(gè)序列參數(shù)集。舉例來(lái)說(shuō)，例如編碼器的設(shè)備可提供序列參數(shù)集中的表示格式參數(shù)更新，但可根據(jù)約束條件限制參數(shù)的值。

使用上文所描述的技術(shù)，可根據(jù)VPS中的表示格式參數(shù)約束在SPS中用信號(hào)發(fā)送的用于基礎(chǔ)層的表示格式參數(shù)。此類技術(shù)允許保持會(huì)話協(xié)商的結(jié)果，從而產(chǎn)生可靠的譯碼過(guò)程。此外，當(dāng)VPS而非SPS中的圖片大小信息用于層級(jí)定義時(shí)，避免其中不保證相符解碼器能夠解碼位流的情境，這是因?yàn)椴辉试S圖片大小更新為大于VPS中的圖片大小。

在進(jìn)一步實(shí)施例中，描述本文中的其它技術(shù)和系統(tǒng)。舉例來(lái)說(shuō)，如先前所描述，其信息包含在VPS中的某些層可不存在于位流中且可能在VPS中不被指示(例如，所述層的層ID可能不存在于VPS中)。在一個(gè)實(shí)例中，HEVC基礎(chǔ)層可為不可用的(例如，既不在HEVC經(jīng)編碼視頻位流中也不由外部裝置提供)。VPS可使用例如vps_base_layer_internal_flag、vps_base_layer_available_flag或這兩個(gè)旗標(biāo)指示不存在基礎(chǔ)層。然而，因?yàn)槠湫畔赩PS中的某些層可不存在于位流中且在VPS中不以任何方式被指示，所以不存在在VPS中指示基礎(chǔ)層不可用的充分理由。在一些實(shí)施例中，在HEVC規(guī)范中可僅使用vps_base_layer_available_flag和/或vps_base_layer_internal_flag指示對(duì)提供TargetOlsIdx的值的外部裝置的要求。然而，規(guī)定對(duì)外部裝置的此類要求超出視頻譯碼規(guī)范的范圍，且存在未在HEVC、SVC(或SHVC)以及MVC(或MV-HEVC)中規(guī)定的對(duì)于外部裝置的很多其它類似要求。舊版HEVC解碼器可使用旗標(biāo)以忽略其中此旗標(biāo)等于0的位流。此外，當(dāng)VPS中的信息用于會(huì)話協(xié)商以協(xié)定(輸出)操作點(diǎn)時(shí)，知道哪些(輸出)操作點(diǎn)實(shí)際上完全可用將是有用的。此類信息原本也可用于位流符合性檢查器以僅測(cè)試那些完全可用的(輸出)操作點(diǎn)(如先前所描述)。然而，用信號(hào)發(fā)送此類信息的機(jī)制在HEVC標(biāo)準(zhǔn)中不可用。

在一些實(shí)施例中，解決以上問(wèn)題的技術(shù)可包含從VPS移除vps_base_layer_available_flag，指定用于將保留的vps_base_layer_available_flag或用于其它用途的當(dāng)前位，以及將補(bǔ)充增強(qiáng)信息(SEI)消息添加到VPS以指示哪些操作點(diǎn)為完全可用的(在此情況下，可確定哪些為不完全可用的)或哪些操作點(diǎn)為不完全可用的(在此情況下，可確定哪些為可用的)。從所添加的SEI消息，可確定基礎(chǔ)層是否可用。在其它實(shí)施例中，vps_base_layer_available_flag可包含在SEI消息中。在其它實(shí)施例中，SEI消息可在位流中或通過(guò)外部裝置提供，與對(duì)于參數(shù)集和HRD相關(guān)SEI消息的情況下類似。包含在SEI消息中的信息可在位流符合性測(cè)試的規(guī)范中用以僅測(cè)試那些完全可用的(輸出)操作點(diǎn)。在其它實(shí)施例中，SEI消息可指示哪些操作點(diǎn)為至少部分可用的或哪些操作點(diǎn)為至少部分不可用的。

在進(jìn)一步實(shí)施例中，描述本文中的其它技術(shù)和系統(tǒng)。舉例來(lái)說(shuō)，HEVC的SVC(或SHVC)和MVC(或MV-HEVC)擴(kuò)展允許輸出層集合包含既不為輸出層也不是解碼輸出層所直接或間接需要的層，且用于符合性定義的參數(shù)考慮此類不必要層。為確保發(fā)送到解碼器的位流是相符的，此類不必要層將需要發(fā)送到解碼器，這導(dǎo)致很大帶寬浪費(fèi)。在一些實(shí)施例中，用以解決此問(wèn)題的技術(shù)包含不允許輸出層集合包含既不為輸出層集合的輸出層也不是解碼輸出層集合的輸出層所直接或間接需要的層。

在一些實(shí)施例中，可對(duì)HEVC譯碼標(biāo)準(zhǔn)進(jìn)行修改。舉例來(lái)說(shuō)，可修改HEVC語(yǔ)法以規(guī)定general_reserved_zero_44bits中的一位用于vps_base_layer_available_flag的用途，指定用于將保留的vps_base_layer_available_flag或用于其它用途的當(dāng)前位，以及改變HEVC規(guī)范中的general_reserved_zero_44bits的語(yǔ)義以需要解碼器在general_reserved_zero_44bits不等于0時(shí)忽略經(jīng)譯碼視頻序列。

本文中所論述的譯碼技術(shù)可以在實(shí)例視頻編碼和解碼系統(tǒng)(例如，系統(tǒng)100)中實(shí)施。系統(tǒng)包含提供待在稍后時(shí)間由目的地裝置解碼的經(jīng)編碼視頻數(shù)據(jù)的源裝置。特定來(lái)說(shuō)，源裝置經(jīng)由計(jì)算機(jī)可讀媒體將視頻數(shù)據(jù)提供到目的地裝置。源裝置和目的地裝置可包括各種各樣裝置中的任一個(gè)，包含桌上型計(jì)算機(jī)、筆記本型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)(例如所謂的“智能”電話)、所謂的“智能”板、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置或類似者。在一些情況下，源裝置和目的地裝置可經(jīng)裝備以用于無(wú)線通信。

目的地裝置可經(jīng)由計(jì)算機(jī)可讀媒體接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計(jì)算機(jī)可讀媒體可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置移動(dòng)到目的地裝置的任何類型的媒體或裝置。在一個(gè)實(shí)例中，計(jì)算機(jī)可讀媒體可包括使源裝置能夠?qū)崟r(shí)將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b置的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)(例如，無(wú)線通信協(xié)議)調(diào)制，且傳輸?shù)侥康牡匮b置。通信媒體可以包括任何無(wú)線或有線通信媒體，例如射頻(RF)頻譜或一或多個(gè)物理發(fā)射線。通信媒體可形成分組網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng))的一部分。通信媒體可包含可用于促進(jìn)從源裝置到目的地裝置的通信的路由器、交換機(jī)、基站或任何其它設(shè)備。

在一些實(shí)例中，經(jīng)編碼數(shù)據(jù)可從輸出接口輸出到存儲(chǔ)裝置。類似地，經(jīng)編碼數(shù)據(jù)可通過(guò)輸入接口從存儲(chǔ)裝置存取。存儲(chǔ)裝置可包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體中的任一個(gè)，例如硬盤(pán)驅(qū)動(dòng)器、藍(lán)光光盤(pán)、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器，或任何其它用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的合適數(shù)字存儲(chǔ)媒體。在另一實(shí)例中，存儲(chǔ)裝置可對(duì)應(yīng)于文件服務(wù)器或可存儲(chǔ)由源裝置產(chǎn)生的經(jīng)編碼視頻的另一中間存儲(chǔ)裝置。目的地裝置可經(jīng)由流式傳輸或下載從存儲(chǔ)裝置存取所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)和將所述經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置的任何類型的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接式存儲(chǔ)(NAS)裝置或本地磁盤(pán)驅(qū)動(dòng)器。目的地裝置可通過(guò)任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來(lái)存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無(wú)線信道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)，或適合于存取存儲(chǔ)在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置的傳輸可為流式傳輸、下載傳輸或其組合。

本發(fā)明的技術(shù)未必限于無(wú)線應(yīng)用或設(shè)定。所述技術(shù)可適用于支持多種多媒體應(yīng)用中的任一個(gè)的視頻譯碼，所述多媒體應(yīng)用例如空中協(xié)議電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、因特網(wǎng)流式視頻傳輸(例如經(jīng)由HTTP的動(dòng)態(tài)自適應(yīng)流式傳輸(DASH))、經(jīng)編碼到數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻，存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)可經(jīng)配置以支持單向或雙向視頻傳輸，以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應(yīng)用。

在一個(gè)實(shí)例中，源裝置包含視頻源、視頻編碼器和輸出接口。目的地裝置可包含輸入接口、視頻解碼器和顯示裝置。源裝置的視頻編碼器可經(jīng)配置以應(yīng)用本文所揭示的技術(shù)。在其它實(shí)例中，源裝置和目的地裝置可包含其它組件或布置。舉例來(lái)說(shuō)，源裝置可從外部視頻源(例如，外部攝像機(jī))接收視頻數(shù)據(jù)。同樣，目的地裝置可與外部顯示裝置介接，而非包含集成顯示裝置。

以上實(shí)例系統(tǒng)僅為一個(gè)實(shí)例。用于并行處理視頻數(shù)據(jù)的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置來(lái)執(zhí)行。盡管本發(fā)明的技術(shù)一般通過(guò)視頻編碼裝置來(lái)執(zhí)行，但是所述技術(shù)還可通過(guò)視頻編碼器/解碼器(通常被稱作“編解碼器”)來(lái)執(zhí)行。此外，本發(fā)明的技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置和目的地裝置僅為源裝置在其中產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供傳輸?shù)侥康牡匮b置的此類譯碼裝置的實(shí)例。在一些實(shí)例中，源裝置和目的地裝置可以基本上對(duì)稱的方式操作以使得所述裝置中的每一個(gè)包含視頻編碼和解碼組件。因此，實(shí)例系統(tǒng)可支持視頻裝置之間的單向或雙向視頻傳輸，例如用于視頻流式傳輸、視頻重放、視頻廣播或視頻電話。

視頻源可包含視頻俘獲裝置，例如攝像機(jī)、含有先前所俘獲視頻的視頻存檔及/或用以從視頻內(nèi)容提供者接收視頻的視頻饋入接口。作為又一替代方案，視頻源可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、存檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源為攝像機(jī)，那么源裝置和目的地裝置可形成所謂的相機(jī)電話或視頻電話。然而，如上文所提及，本發(fā)明中所描述的技術(shù)可大體上適用于視頻譯碼，且可應(yīng)用于無(wú)線和/或有線應(yīng)用。在每一情況下，可由視頻編碼器編碼所俘獲、預(yù)先俘獲或計(jì)算機(jī)產(chǎn)生的視頻。經(jīng)編碼視頻信息接著可由輸出接口輸出到計(jì)算機(jī)可讀媒體上。

如所提到，計(jì)算機(jī)可讀媒體可包含暫時(shí)性媒體，例如無(wú)線廣播或有線網(wǎng)絡(luò)傳輸，或存儲(chǔ)媒體(即，非暫時(shí)性存儲(chǔ)媒體)，例如硬盤(pán)、快閃驅(qū)動(dòng)器、壓縮光盤(pán)、數(shù)字視頻光盤(pán)、藍(lán)光光盤(pán)，或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器(未示出)可從源裝置接收經(jīng)編碼視頻數(shù)據(jù)，且(例如)經(jīng)由網(wǎng)絡(luò)傳輸將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置。類似地，媒體生產(chǎn)設(shè)施(例如，光盤(pán)沖壓設(shè)施)的計(jì)算裝置可從源裝置接收經(jīng)編碼視頻數(shù)據(jù)且生產(chǎn)含有經(jīng)編碼視頻數(shù)據(jù)的光盤(pán)。因此，在各種實(shí)例中，計(jì)算機(jī)可讀媒體可理解為包含各種形式的一或多個(gè)計(jì)算機(jī)可讀媒體。

目的地裝置的輸入接口從計(jì)算機(jī)可讀媒體接收信息。計(jì)算機(jī)可讀媒體的信息可包含由視頻編碼器定義的也供視頻解碼器使用的語(yǔ)法信息，所述語(yǔ)法信息包含描述塊和其它經(jīng)譯碼單元(例如，圖片群組(GOP))的特性和/或處理的語(yǔ)法元素。顯示裝置向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一個(gè)，例如陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。已描述本發(fā)明的各種實(shí)施例。

在圖9和圖10中分別展示編碼裝置104和解碼裝置112的具體細(xì)節(jié)。圖9是說(shuō)明可實(shí)施本發(fā)明中描述的技術(shù)中的一或多個(gè)的實(shí)例編碼裝置104的框圖。舉例來(lái)說(shuō)，編碼裝置104可以產(chǎn)生本文中描述的語(yǔ)法結(jié)構(gòu)(例如，VPS、SPS、PPS的語(yǔ)法結(jié)構(gòu)，或其它語(yǔ)法元素)。編碼裝置104可以在視頻切片內(nèi)執(zhí)行視頻塊的幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)譯碼。如先前描述，幀內(nèi)譯碼至少部分依賴于空間預(yù)測(cè)來(lái)減少或去除給定視頻幀或圖片內(nèi)的空間冗余。幀間譯碼至少部分依賴于時(shí)間預(yù)測(cè)來(lái)減少或去除視頻序列的鄰近或周圍幀內(nèi)的時(shí)間冗余。幀內(nèi)模式(I模式)可指若干基于空間的壓縮模式中的任一個(gè)。例如單向預(yù)測(cè)(P模式)或雙向預(yù)測(cè)(B模式)的幀間模式可指代若干基于時(shí)間的壓縮模式中的任一個(gè)。

編碼裝置104包含分割單元35、預(yù)測(cè)處理單元41、濾波器單元63、圖片存儲(chǔ)器64、求和器50、變換處理單元52、量化單元54以及熵編碼單元56。預(yù)測(cè)處理單元41包含運(yùn)動(dòng)估計(jì)單元42、運(yùn)動(dòng)補(bǔ)償單元44和幀內(nèi)預(yù)測(cè)處理單元46。對(duì)于視頻塊重構(gòu)，編碼裝置104還包含逆量化單元58、逆變換處理單元60以及求和器62。濾波器單元63意在表示一或多個(gè)環(huán)路濾波器，例如解塊濾波器、自適應(yīng)環(huán)路濾波器(ALF)以及樣本自適應(yīng)偏移(SAO)濾波器。盡管在圖9中將濾波器單元63展示為環(huán)路內(nèi)濾波器，但在其它配置中，可將濾波器單元63實(shí)施為環(huán)路后濾波器。后處理裝置57可對(duì)由編碼裝置104產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)執(zhí)行額外處理。本發(fā)明的技術(shù)在一些情況下可以通過(guò)編碼裝置104實(shí)施。然而，在其它情況下，本發(fā)明的技術(shù)中的一或多個(gè)可以通過(guò)后處理裝置57實(shí)施。

如圖9中所示，編碼裝置104接收視頻數(shù)據(jù)，且分割單元35將所述數(shù)據(jù)分割成視頻塊。所述分割還可包含分隔成切片、切片段、圖塊或其它較大單元，以及例如根據(jù)LCU和CU的四叉樹(shù)結(jié)構(gòu)的視頻塊分割。編碼裝置104大體上說(shuō)明編碼視頻切片內(nèi)的待編碼的視頻塊的組件。所述切片可以分成多個(gè)視頻塊(并且可能分成被稱作圖塊的視頻塊的集合)。預(yù)測(cè)處理單元41可以選擇多個(gè)可能的譯碼模式中的一個(gè)，例如多個(gè)幀內(nèi)預(yù)測(cè)譯碼模式中的一個(gè)或多個(gè)幀間預(yù)測(cè)譯碼模式中的一個(gè)，以用于基于錯(cuò)誤結(jié)果的當(dāng)前視頻塊(例如，譯碼速率和失真的層級(jí)，或類似者)。預(yù)測(cè)處理單元41可將所得的經(jīng)幀內(nèi)或幀間譯碼塊提供到求和器50以產(chǎn)生殘余塊數(shù)據(jù)，并提供到求和器62以重構(gòu)經(jīng)編碼塊以用作參考圖片。

預(yù)測(cè)處理單元41內(nèi)的幀內(nèi)預(yù)測(cè)處理單元46可相對(duì)于與待譯碼的當(dāng)前塊在相同幀或切片中的一或多個(gè)相鄰塊執(zhí)行當(dāng)前視頻塊的幀內(nèi)預(yù)測(cè)譯碼，以提供空間壓縮。預(yù)測(cè)處理單元41內(nèi)的運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44相對(duì)于一或多個(gè)參考圖片中的一或多個(gè)預(yù)測(cè)性塊執(zhí)行當(dāng)前視頻塊的幀間預(yù)測(cè)性譯碼，以提供時(shí)間壓縮。

運(yùn)動(dòng)估計(jì)單元42可經(jīng)配置以根據(jù)用于視頻序列的預(yù)定模式來(lái)確定用于視頻切片的幀間預(yù)測(cè)模式。預(yù)定模式可將序列中的視頻切片指定為P切片、B切片或GPB切片。運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44可高度集成，但出于概念性目的分別加以說(shuō)明。運(yùn)動(dòng)估計(jì)單元42執(zhí)行的運(yùn)動(dòng)估計(jì)是產(chǎn)生運(yùn)動(dòng)向量的過(guò)程，所述過(guò)程估計(jì)視頻塊的運(yùn)動(dòng)。運(yùn)動(dòng)向量例如可指示當(dāng)前視頻幀或圖片內(nèi)的視頻塊的預(yù)測(cè)單元(PU)相對(duì)于參考圖片內(nèi)的預(yù)測(cè)性塊的位移。

預(yù)測(cè)塊是被發(fā)現(xiàn)在像素差方面與待譯碼視頻塊的PU緊密匹配的塊，所述像素差可通過(guò)絕對(duì)差總和(SAD)、平方差總和(SSD)或其它差度量來(lái)確定。在一些實(shí)例中，編碼裝置104可計(jì)算存儲(chǔ)在圖片存儲(chǔ)器64中的參考圖片的子整數(shù)像素位置的值。舉例來(lái)說(shuō)，編碼裝置104可內(nèi)插四分之一像素位置、八分之一像素位置或參考圖片的其它分?jǐn)?shù)像素位置的值。因此，運(yùn)動(dòng)估計(jì)單元42可相對(duì)于全像素位置和分?jǐn)?shù)像素位置執(zhí)行運(yùn)動(dòng)搜索并且輸出具有分?jǐn)?shù)像素精確度的運(yùn)動(dòng)向量。

運(yùn)動(dòng)估計(jì)單元42通過(guò)比較PU的位置與參考圖片的預(yù)測(cè)性塊的位置來(lái)計(jì)算用于經(jīng)幀間譯碼切片中的視頻塊的PU的運(yùn)動(dòng)向量。參考圖片可以選自第一參考圖片列表(列表0)或第二參考圖片列表(列表1)，其中的每一個(gè)標(biāo)識(shí)存儲(chǔ)在參考幀存儲(chǔ)器64中的一或多個(gè)參考圖片。運(yùn)動(dòng)估計(jì)單元42向熵編碼單元56和運(yùn)動(dòng)補(bǔ)償單元44發(fā)送計(jì)算出的運(yùn)動(dòng)向量。

通過(guò)運(yùn)動(dòng)補(bǔ)償單元44執(zhí)行的運(yùn)動(dòng)補(bǔ)償可以涉及基于通過(guò)運(yùn)動(dòng)估計(jì)(可能執(zhí)行對(duì)子像素精確度的內(nèi)插)確定的運(yùn)動(dòng)向量獲取或產(chǎn)生預(yù)測(cè)性塊。在接收到當(dāng)前視頻塊的PU的運(yùn)動(dòng)向量后，運(yùn)動(dòng)補(bǔ)償單元44即刻可以在參考圖片列表中定位所述運(yùn)動(dòng)向量指向的預(yù)測(cè)性塊。編碼裝置104通過(guò)從正被譯碼的當(dāng)前視頻塊的像素值減去預(yù)測(cè)性塊的像素值從而形成像素差值來(lái)形成殘余視頻塊。像素差值形成用于所述塊的殘余數(shù)據(jù)，且可包含明度及色度差分量?jī)烧?。求和?0表示執(zhí)行此減法運(yùn)算的一或多個(gè)組件。運(yùn)動(dòng)補(bǔ)償單元44還可產(chǎn)生與視頻塊和視頻切片相關(guān)聯(lián)的語(yǔ)法元素以供解碼裝置112在對(duì)視頻切片的視頻塊進(jìn)行解碼時(shí)使用。

作為如上文所描述由運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44執(zhí)行的幀間預(yù)測(cè)的替代方案，幀內(nèi)預(yù)測(cè)處理單元46可以對(duì)當(dāng)前塊進(jìn)行幀內(nèi)預(yù)測(cè)。特定來(lái)說(shuō)，幀內(nèi)預(yù)測(cè)處理單元46可確定用以對(duì)當(dāng)前塊進(jìn)行編碼的幀內(nèi)預(yù)測(cè)模式。在一些實(shí)例中，幀內(nèi)預(yù)測(cè)處理單元46可(例如)在單獨(dú)的編碼遍次期間使用各種幀內(nèi)預(yù)測(cè)模式對(duì)當(dāng)前塊進(jìn)行編碼，且?guī)瑑?nèi)預(yù)測(cè)處理單元46可從經(jīng)測(cè)試模式中選擇使用適當(dāng)?shù)膸瑑?nèi)預(yù)測(cè)模式。舉例來(lái)說(shuō)，幀內(nèi)預(yù)測(cè)處理單元46可使用速率-失真分析計(jì)算各種經(jīng)測(cè)試幀內(nèi)預(yù)測(cè)模式的速率-失真值，并在所述經(jīng)測(cè)試模式當(dāng)中選擇具有最佳速率-失真特性的幀內(nèi)預(yù)測(cè)模式。速率-失真分析通常確定經(jīng)編碼塊與經(jīng)編碼以產(chǎn)生所述經(jīng)編碼塊的原始的未經(jīng)編碼塊之間的失真(或誤差)的量，以及用于產(chǎn)生經(jīng)編碼塊的位率(也就是說(shuō)，位數(shù))。幀內(nèi)預(yù)測(cè)處理單元46可根據(jù)用于各種經(jīng)編碼塊的失真和速率來(lái)計(jì)算比率，以確定哪個(gè)幀內(nèi)預(yù)測(cè)模式對(duì)于所述塊展現(xiàn)最佳速率失真值。

在任何情況下，在選擇了用于塊的幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)處理單元46可以將指示用于所述塊的選定幀內(nèi)預(yù)測(cè)模式的信息提供到熵編碼單元56。熵編碼單元56可對(duì)指示選定幀內(nèi)預(yù)測(cè)模式的信息進(jìn)行編碼。編碼裝置104可以在所傳輸?shù)奈涣髦邪糜诟鞣N塊的編碼上下文的配置數(shù)據(jù)定義以及最可能幀內(nèi)預(yù)測(cè)模式的指示、幀內(nèi)預(yù)測(cè)模式索引表和經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表以供每種上下文使用。位流配置數(shù)據(jù)可包含多個(gè)幀內(nèi)預(yù)測(cè)模式索引表和多個(gè)經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表(也被稱作碼字映射表)。

在預(yù)測(cè)處理單元41經(jīng)由幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)產(chǎn)生用于當(dāng)前視頻塊的預(yù)測(cè)性塊之后，編碼裝置104通過(guò)從當(dāng)前視頻塊減去預(yù)測(cè)性塊來(lái)形成殘余視頻塊。殘余塊中的殘余視頻數(shù)據(jù)可包含在一或多個(gè)TU中并應(yīng)用于變換處理單元52。變換處理單元52使用例如離散余弦變換(DCT)或概念上類似的變換的變換來(lái)將殘余視頻數(shù)據(jù)變換成殘余變換系數(shù)。變換處理單元52可將殘余視頻數(shù)據(jù)從像素域轉(zhuǎn)換到變換域，例如頻域。

變換處理單元52可將所得的變換系數(shù)發(fā)送到量化單元54。量化單元54可量化所述變換系數(shù)以進(jìn)一步減小位率。量化過(guò)程可以減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度?？赏ㄟ^(guò)調(diào)整量化參數(shù)來(lái)修改量化的程度。在一些實(shí)例中，量化單元54接著可執(zhí)行對(duì)包含經(jīng)量化變換系數(shù)的矩陣的掃描。替代地，熵編碼單元56可執(zhí)行掃描。

在量化之后，熵編碼單元56對(duì)經(jīng)量化變換系數(shù)進(jìn)行熵編碼。舉例來(lái)說(shuō)，熵編碼單元56可執(zhí)行上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)、基于語(yǔ)法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵編碼技術(shù)。在熵編碼單元56進(jìn)行的熵編碼之后，可將經(jīng)編碼位流傳輸?shù)浇獯a裝置112，或?qū)⒔?jīng)編碼位流存檔以供稍后傳輸或由解碼裝置112檢索。熵編碼單元56還可對(duì)正被譯碼的當(dāng)前視頻切片的運(yùn)動(dòng)向量和其它語(yǔ)法元素進(jìn)行熵編碼。

逆量化單元58和逆變換處理單元60分別應(yīng)用逆量化和逆變換以在像素域中重構(gòu)殘余塊以供稍后用作參考圖片的參考?jí)K。運(yùn)動(dòng)補(bǔ)償單元44可通過(guò)將殘余塊添加到參考圖片列表內(nèi)的參考圖片中的一個(gè)的預(yù)測(cè)性塊來(lái)計(jì)算參考?jí)K。運(yùn)動(dòng)補(bǔ)償單元44還可將一或多個(gè)內(nèi)插濾波器應(yīng)用于所重構(gòu)的殘余塊以計(jì)算子整數(shù)像素值以用于運(yùn)動(dòng)估計(jì)。求和器62將經(jīng)重構(gòu)殘余塊加到由運(yùn)動(dòng)補(bǔ)償單元44產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)塊以產(chǎn)生參考?jí)K以用于存儲(chǔ)在圖片存儲(chǔ)器64中。參考?jí)K可由運(yùn)動(dòng)估計(jì)單元42和運(yùn)動(dòng)補(bǔ)償單元44使用作為用以對(duì)后續(xù)視頻幀或圖片中的塊進(jìn)行幀間預(yù)測(cè)的參考?jí)K。

以此方式，圖9的編碼裝置104表示經(jīng)配置以產(chǎn)生用于經(jīng)編碼視頻位流的語(yǔ)法的視頻編碼器的實(shí)例。舉例來(lái)說(shuō)，如上文所描述，編碼裝置104可產(chǎn)生VPS、SPS和PPS參數(shù)集。編碼裝置104可以執(zhí)行本文中描述的任何技術(shù)，包含上文關(guān)于圖4、6和8所述的過(guò)程。已關(guān)于編碼裝置104總體上描述了本發(fā)明的技術(shù)，但是如上文所提及，本發(fā)明的技術(shù)中的一些也可以通過(guò)后處理裝置57實(shí)施。

圖10是說(shuō)明實(shí)例解碼裝置112的框圖。解碼裝置112包含熵解碼單元80、預(yù)測(cè)處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元91和圖片存儲(chǔ)器92。預(yù)測(cè)處理單元81包含運(yùn)動(dòng)補(bǔ)償單元82和幀內(nèi)預(yù)測(cè)處理單元84。在一些實(shí)例中，解碼裝置112可執(zhí)行與關(guān)于圖9的編碼裝置104描述的編碼遍次大體上互逆的解碼遍次。

在解碼過(guò)程期間，解碼裝置112接收表示經(jīng)編碼視頻切片的視頻塊和由編碼裝置104發(fā)送的相關(guān)聯(lián)語(yǔ)法元素的經(jīng)編碼視頻位流。在一些實(shí)施例中，解碼裝置112可以從編碼裝置104接收經(jīng)編碼視頻位流。在一些實(shí)施例中，解碼裝置112可從網(wǎng)絡(luò)實(shí)體79(例如，服務(wù)器、媒體感知網(wǎng)絡(luò)元件(MANE)、視頻編輯器/剪接器，或經(jīng)配置以實(shí)施上文所描述的技術(shù)中的一或多個(gè)的其它此類裝置)接收經(jīng)編碼視頻位流。網(wǎng)絡(luò)實(shí)體79可包含或可不包含編碼裝置104。本發(fā)明中描述的技術(shù)中的一些可以在網(wǎng)絡(luò)實(shí)體79將經(jīng)編碼視頻位流傳輸?shù)浇獯a裝置112之前由網(wǎng)絡(luò)實(shí)體79實(shí)施。在一些視頻解碼系統(tǒng)中，網(wǎng)絡(luò)實(shí)體79和解碼裝置112可為單獨(dú)的裝置的部分，而在其它情況下，關(guān)于網(wǎng)絡(luò)實(shí)體79描述的功能性可由包括解碼裝置112的相同裝置執(zhí)行。

解碼裝置112的熵解碼單元80對(duì)位流進(jìn)行熵解碼以產(chǎn)生經(jīng)量化系數(shù)、運(yùn)動(dòng)向量和其它語(yǔ)法元素。熵解碼單元80將運(yùn)動(dòng)向量和其它語(yǔ)法元素轉(zhuǎn)發(fā)到預(yù)測(cè)處理單元81。解碼裝置112可接收視頻切片層級(jí)和/或視頻塊層級(jí)的語(yǔ)法元素。熵解碼單元80可以處理和解析在例如VPS、SPS和PPS中的一或多個(gè)參數(shù)集中的固定長(zhǎng)度語(yǔ)法元素和可變長(zhǎng)度語(yǔ)法元素兩者。

當(dāng)視頻切片經(jīng)譯碼為經(jīng)幀內(nèi)譯碼(I)切片時(shí)，預(yù)測(cè)處理單元81的幀內(nèi)預(yù)測(cè)處理單元84可基于用信號(hào)發(fā)送的幀內(nèi)預(yù)測(cè)模式和來(lái)自當(dāng)前幀或圖片的先前經(jīng)解碼塊的數(shù)據(jù)產(chǎn)生用于當(dāng)前視頻切片的視頻塊的預(yù)測(cè)數(shù)據(jù)。當(dāng)視頻幀經(jīng)譯碼為經(jīng)幀間譯碼(即，B、P或GPB)切片時(shí)，預(yù)測(cè)處理單元81的運(yùn)動(dòng)補(bǔ)償單元82基于從熵解碼單元80接收的運(yùn)動(dòng)向量和其它語(yǔ)法元素而產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測(cè)性塊?？蓮膮⒖紙D片列表內(nèi)的參考圖片中的一個(gè)產(chǎn)生預(yù)測(cè)性塊。解碼裝置112可基于存儲(chǔ)在圖片存儲(chǔ)器92中的參考圖片使用默認(rèn)建構(gòu)技術(shù)建構(gòu)參考幀列表，即列表0和列表1。

運(yùn)動(dòng)補(bǔ)償單元82通過(guò)解析運(yùn)動(dòng)向量和其它語(yǔ)法元素確定用于當(dāng)前視頻切片的視頻塊的預(yù)測(cè)信息，并且使用所述預(yù)測(cè)信息產(chǎn)生用于正被解碼的當(dāng)前視頻塊的預(yù)測(cè)性塊。舉例來(lái)說(shuō)，運(yùn)動(dòng)補(bǔ)償單元82可使用參數(shù)集中的一或多個(gè)語(yǔ)法元素確定用于對(duì)視頻切片的視頻塊進(jìn)行譯碼的預(yù)測(cè)模式(例如，幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè))、幀間預(yù)測(cè)切片類型(例如，B切片、P切片或GPB切片)、用于切片的一或多個(gè)參考圖片列表的建構(gòu)信息、切片的每一經(jīng)幀間編碼的視頻塊的運(yùn)動(dòng)向量、切片的每一經(jīng)幀間譯碼視頻塊的幀間預(yù)測(cè)狀態(tài)，以及用于對(duì)當(dāng)前視頻切片中的視頻塊進(jìn)行解碼的其它信息。

運(yùn)動(dòng)補(bǔ)償單元82還可基于內(nèi)插濾波器執(zhí)行內(nèi)插。運(yùn)動(dòng)補(bǔ)償單元82可使用如由編碼裝置104在視頻塊的編碼期間所使用的內(nèi)插濾波器來(lái)計(jì)算參考?jí)K的子整數(shù)像素的內(nèi)插值。在此情況下，運(yùn)動(dòng)補(bǔ)償單元82可從所接收的語(yǔ)法元素確定編碼裝置104所使用的內(nèi)插濾波器，且可使用所述內(nèi)插濾波器來(lái)產(chǎn)生預(yù)測(cè)性塊。

逆量化單元86對(duì)在位流中提供且由熵解碼單元80解碼的經(jīng)量化變換系數(shù)進(jìn)行逆量化或解量化。逆量化過(guò)程可包含使用針對(duì)視頻切片中的每一視頻塊由編碼裝置104計(jì)算的量化參數(shù)，以確定應(yīng)施加的量化程度以及同樣地逆量化程度。逆變換處理單元88將逆變換(例如，逆DCT或其它合適的逆變換)、逆整數(shù)變換或概念上類似的逆變換過(guò)程應(yīng)用到所述變換系數(shù)，以便產(chǎn)生像素域中的殘余塊。

在運(yùn)動(dòng)補(bǔ)償單元82基于運(yùn)動(dòng)向量和其它語(yǔ)法元素產(chǎn)生用于當(dāng)前視頻塊的預(yù)測(cè)性塊之后，解碼裝置112通過(guò)將來(lái)自逆變換處理單元88的殘余塊與由運(yùn)動(dòng)補(bǔ)償單元82產(chǎn)生的對(duì)應(yīng)預(yù)測(cè)性塊求和來(lái)形成經(jīng)解碼視頻塊。求和器90表示執(zhí)行此求和操作的一或多個(gè)組件。在需要時(shí)，還可使用環(huán)路濾波器(在譯碼環(huán)路中或在譯碼環(huán)路之后)來(lái)使像素轉(zhuǎn)變變平滑或者以其它方式改善視頻質(zhì)量。濾波器單元91既定表示一或多個(gè)環(huán)路濾波器，例如解塊濾波器、自適應(yīng)環(huán)路濾波器(ALF)和樣本自適應(yīng)偏移(SAO)濾波器。盡管在圖10中將濾波器單元91展示為環(huán)內(nèi)濾波器，但在其它配置中，可將濾波器單元91實(shí)施為環(huán)路后濾波器。接著將給定幀或圖片中的經(jīng)解碼視頻塊存儲(chǔ)在圖片存儲(chǔ)器92中，所述圖片存儲(chǔ)器存儲(chǔ)用于后續(xù)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D片。圖片存儲(chǔ)器92還存儲(chǔ)經(jīng)解碼視頻以供稍后在顯示裝置(例如，圖1中展示的視頻目的地裝置122)上呈現(xiàn)。

在以上描述中，參考具體實(shí)施例描述應(yīng)用的方面，但是所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明不限于此。因此，雖然已經(jīng)在本文中詳細(xì)地描述了應(yīng)用的說(shuō)明性實(shí)施例，但是應(yīng)理解，本發(fā)明概念可以其它方式不同地實(shí)施和采用，并且除了現(xiàn)有技術(shù)所限制的之外，所附權(quán)利要求書(shū)意圖解釋為包含此類變化。上文描述的本發(fā)明的各種特征和方面可以單獨(dú)或聯(lián)合使用。此外，實(shí)施例可以在本文中描述的那些環(huán)境和應(yīng)用之外的任何數(shù)目的環(huán)境和應(yīng)用中使用而不脫離本說(shuō)明書(shū)的廣泛的精神和范圍。應(yīng)將本說(shuō)明書(shū)和圖式相應(yīng)地視為說(shuō)明性的而非限制性的。出于說(shuō)明的目的，方法是以特定次序描述的。應(yīng)了解，在替代實(shí)施例中，方法可以與所描述的次序不同的次序執(zhí)行。

在組件被描述為“經(jīng)配置以”執(zhí)行特定操作的情況下，可例如通過(guò)設(shè)計(jì)電子電路或其它硬件以執(zhí)行所述操作、通過(guò)編程可編程電子電路(例如，微處理器或其它適合電子電路)以執(zhí)行所述操作或其任何組合來(lái)實(shí)現(xiàn)此類配置。

結(jié)合本文中所揭示的實(shí)施例描述的各種說(shuō)明性邏輯塊、模塊、電路和算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件、固件或其組合。為清晰地說(shuō)明硬件與軟件的此可互換性，上文已大體就其功能性描述了各種說(shuō)明性組件、塊、模塊、電路和步驟。此功能性是實(shí)施為硬件還是軟件取決于特定應(yīng)用及施加于整個(gè)系統(tǒng)的設(shè)計(jì)約束。熟練的技術(shù)人員可針對(duì)每一特定應(yīng)用以不同方式來(lái)實(shí)施所描述的功能性，但此類實(shí)施方案決策不應(yīng)被解釋為會(huì)引起脫離本發(fā)明的范圍。

本文中描述的技術(shù)也可以在電子硬件、計(jì)算機(jī)軟件、固件或其任何組合中實(shí)施。此類技術(shù)可實(shí)施于多種裝置中的任一個(gè)中，所述裝置例如通用計(jì)算機(jī)、無(wú)線通信裝置手持機(jī)，或具有包含在無(wú)線通信裝置手持機(jī)和其它裝置中的應(yīng)用的多種用途的集成電路裝置。被描述為模塊或組件的任何特征可一起實(shí)施于集成邏輯裝置中或分開(kāi)來(lái)實(shí)施為離散但可互操作的邏輯裝置。如果在軟件中實(shí)施，那么所述技術(shù)可至少部分地由包括程序代碼的計(jì)算機(jī)可讀數(shù)據(jù)存儲(chǔ)媒體來(lái)實(shí)現(xiàn)，所述程序代碼包括在被執(zhí)行時(shí)執(zhí)行上文所描述的方法中的一或多個(gè)的指令。計(jì)算機(jī)可讀數(shù)據(jù)存儲(chǔ)媒體可形成計(jì)算機(jī)程序產(chǎn)品的一部分，所述計(jì)算機(jī)程序產(chǎn)品可包含封裝材料。計(jì)算機(jī)可讀媒體可包括存儲(chǔ)器或數(shù)據(jù)存儲(chǔ)媒體，例如隨機(jī)存取存儲(chǔ)器(RAM)(例如，同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM))、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存器、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)媒體等等。另外或作為替代，所述技術(shù)可至少部分地由計(jì)算機(jī)可讀通信媒體來(lái)實(shí)現(xiàn)，所述計(jì)算機(jī)可讀通信媒體以指令或數(shù)據(jù)結(jié)構(gòu)的形式載運(yùn)或傳達(dá)程序代碼且可由計(jì)算機(jī)存取、讀取和/或執(zhí)行(例如，傳播的信號(hào)或波)。

程序代碼可由處理器執(zhí)行，所述處理器可包含一或多個(gè)處理器，例如一或多個(gè)數(shù)字信號(hào)處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。此處理器可經(jīng)配置以執(zhí)行本發(fā)明中所描述的技術(shù)中的任一個(gè)。通用處理器可為微處理器；但在替代方案中，處理器可為任何常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如DSP與微處理器的組合、多個(gè)微處理器、一或多個(gè)微處理器結(jié)合DSP核心，或任何其它此類配置。因此，如本文中所使用的術(shù)語(yǔ)“處理器”可指前述結(jié)構(gòu)中的任一個(gè)、前述結(jié)構(gòu)的任何組合，或適合于實(shí)施本文中所描述的技術(shù)的任何其它結(jié)構(gòu)或設(shè)備。另外，在一些方面，可將本文中所描述的功能性提供于經(jīng)配置以用于編碼和解碼的專用軟件模塊或硬件模塊內(nèi)或并入于組合的視頻編碼器-解碼器(編解碼器)中。