用于管理視頻解碼過程中的畫面的解碼器及其方法
【專利摘要】本發(fā)明實施例的目標是使得從哪個先前解碼的畫面獲取用于計算當前畫面的POC的值到良好定義，而與已經(jīng)解碼了多少時間層無關(guān)。這是通過以下方式實現(xiàn)的：將解碼器要使用的當前畫面的POC確定為語法單元pic_order_cnt_lsb與當前畫面的POC的最高有效位PicOrderCntMsb之和，其中，當前畫面的PicOrderCntMsb是至少使用prevPicOrderCntMsb和prevPicOrderCntLsb導(dǎo)出的，prevPicOrderCntMsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最低有效位的值。
【專利說明】用于管理視頻解碼過程中的畫面的解碼器及其方法【技術(shù)領(lǐng)域】
[0001]實施例大體涉及管理視頻編碼/解碼過程中的畫面。
【背景技術(shù)】
[0002]H.264也被稱為運動畫面專家組-4 (MPEG-4)高級視頻編碼(AVC)，是本領(lǐng)域最新的視頻編碼標準。其由利用了時間和空間冗余的基于塊的混合視頻編碼方案組成。
[0003]在對編碼畫面進行解碼時，H.264將先前解碼的畫面用于時間預(yù)測。這些畫面被稱為參考畫面，并且可以存在用于解碼畫面的多于一個的參考畫面。對于H.264中的每個參考畫面，存在擔(dān)當參考畫面的標簽的碼字frame_num。frame_num指示解碼順序,并且針對按照解碼順序的每個參考畫面，frame_num必須加I,否則比特流不遵從標準。H.264還規(guī)定針對每個畫面的畫面順序計數(shù)(POC)，解碼器利用被稱為緩沖(bumping)過程的過程或利用畫面定時信息來使用POC按正確的順序輸出(顯示)畫面。簡言之，緩沖過程只要可能便利用顯示來等待。然后，輸出(顯示)解碼畫面緩沖器中存在的具有最低POC的畫面。為了確定顯示哪個畫面，重要的是要適當?shù)囟x最低P0C。H.264比特流始終以POC=O的畫面開始。與frame_num相反,POC不需要以I遞增,其可以任意地遞增。最大POC值是2~31— I。在H.264中，使用POC類型O是常見的。對于該POC類型，在比特流中信號通知POC的η個最低有效位。然后，將POC計算為:
[0004]PicOrderCnt=PicOrderCntMsb+pic_order_cnt_lsb
[0005]其中，Pic_order_cnt_l sb是在片首部中信號通知的最低有效位，PicOrderCntMsb是使用語法單兀 pic_order_cnt_lsb、PrevPicOrderCntLsb 和 PrevPicOrderCntMsb 來計算的最高有效位，其中，PrevPicOrderCntLsb和PrevPicOrderCntMsb是按解碼順序的先前參考畫面的值。
[0006]要注意到的是,這不同于frame_num, frame_num是回繞的。回繞意味著不同畫面的frame_num增加到特定值，在該特定值處被重置為零。POC不回繞。
[0007]高效視頻編碼(HEVC)是聯(lián)合協(xié)作組-視頻編碼(JCT-VC)中當前正在開發(fā)的新視頻編碼標準。JCT-VC是MPEG與國際電信聯(lián)盟電信標準化部(ITU-T)之間的協(xié)作計劃。
[0008]在H.264 / AVC和HEVC中，將所有的編碼數(shù)據(jù)置于網(wǎng)絡(luò)抽象層(NAL)單元中。NAL單元由編碼數(shù)據(jù)和NAL單元首部組成。在HEVC中，在NAL單元首部中存在temporal_id語法單元，以及與當前畫面的時間層有關(guān)的信息。在HEVC中定義了:如果tldA小于tldB，temporal」d=tIdA的畫面不能參考temporal」d=tIdB的畫面。
[0009]因此，由temporal_id標識的較高時間層中的畫面不能用于較低時間層中的預(yù)測，然而較低時間層中的畫面可如圖1中示意的用于較高時間層中的預(yù)測。解碼順序是解碼畫面的順序和將壓縮畫面饋送到解碼器中的順序。系統(tǒng)負責(zé)按正確的順序向解碼器饋送畫面。如果畫面未處于正 確的順序，解碼是不可能的。向解碼器要使用的每個畫面指派畫面順序計數(shù)(POC)，以按正確的順序輸出(顯示)畫面。有時，在一些或所有的畫面中，取決于編碼結(jié)構(gòu)，一個時間層中的畫面可被相同時間層中的其他畫面用于預(yù)測。很少存在(如果有的話)除了最高時間層之外的任何其他時間層中有畫面根本不用于預(yù)測的實際使用情況。因此可以假設(shè)比最高時間層低的時間層中的所有畫面將被相同或更高時間層中的至少一個畫面用于預(yù)測。
[0010]對于任何所選的時間層T，可以通過移除屬于比時間層T更高的層的所有畫面來從HEVC比特流創(chuàng)建包含范圍temporal_id的畫面的子流。例如，如果比特流具有4個時間層{0，1，2，3}，時間層2和3已被刪除的比特流可由HEVC解碼器完全解碼。
[0011]此外，將HEVC中的畫面分割為一個或更多個片，其中，每個片都是畫面的獨立可解碼段。這意味著如果丟失了片(例如，在傳輸期間丟失)，仍然可以對該畫面的其他片進行正確解碼。為了使片獨立，片不相互依賴。不需要另一片的比特流單元來解碼不同片的任何單元。
[0012]每片包含為要獨立可解碼的片獨立地提供所有所需數(shù)據(jù)的片首部。片首部中存在的數(shù)據(jù)單元的一個示例是片地址，解碼器使用片地址來獲知片的空間位置。另一示例是片量化增量數(shù)據(jù)(delta)，解碼器使用片量化增量數(shù)據(jù)來獲知將什么量化參數(shù)用于片的開始。片首部中存在更多的數(shù)據(jù)單元。
[0013]在HEVC中，使用對參考畫面的絕對信號通知來替代先前標準(例如，H.264)中的通過相對方式來信號通知參考畫面修改。通過被稱為參考畫面集合的參考畫面列表來實現(xiàn)絕對信號通知，所述參考畫面集合或者是針對每個畫面信號顯式地通知的，或者是通過使用對序列參數(shù)集合(SPS)的參考來針對每個畫面信號通知的。在HEVC中使用畫面順序計數(shù)(POC)來定義畫面的顯示順序，并且還用于標識參考畫面。
[0014]在H.264設(shè)計中，通常多數(shù)通過最低有效位來信號通知P0C。在HEVC中始終通過最低有效位來信號通知P0C，除了 POC被推斷等于O的即時解碼器刷新(IDR)畫面之外。
[0015]使用來自按解碼順序的先前參考畫面的值計算P0C。當在HEVC比特流中存在時間層時，解碼器可以選擇僅解碼比特流中畫面的子集，即，temp0ral_id低于特定值的那些畫面。因此，哪個畫面是特定畫面P的先前參考畫面可取決于解碼器解碼的層的數(shù)目，這可導(dǎo)致針對不同解碼器的不同POC值。這是為了得到穩(wěn)定的時間可縮放規(guī)范必須避免的事。

【發(fā)明內(nèi)容】

[0016]本發(fā)明實施例的目標是使得從哪個先前解碼的畫面獲取用于計算當前畫面的POC的值得到良好定義，而與已經(jīng)解碼了多少時間層無關(guān)。
[0017]根據(jù)第一和第二方案，通過將解碼器要使用的當前畫面的POC確定為語法單兀pic_order_cnt_lsb與當前畫面的POC的最高有效位PicOrderCntMsb之和，對此進行實現(xiàn)，其中，當前畫面的PicOrderCntMsb是至少使用prevPicOrderCntMsb和prevPicOrderCntLsb導(dǎo)出的,prevPicOrderCntMsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC的最低有效位的值。
[0018]因此，根據(jù)第一方案，提供了使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的方法。每個畫面屬于由層標識來標識的層。在該方法中，從比特流接收當前畫面的POC值的最低有效位(例如，pic_order_cnt_lsb)，以及將當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位(PicOrderCntMsb)之和。當前畫面的 PicOrderCntMsb 是至少使用 prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，以及prevPicOrderCntMsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最低有效位的值。
[0019]根據(jù)第二方案，提供了被配置為使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的解碼器。每個畫面屬于由層標識來標識的層。解碼器被配置為從比特流接收當前畫面的POC值的最低有效位U^^n,pic_order_cnt_lsb),以及解碼器包括處理器，處理器被配置為將解碼器要使用的當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位(PicOrderCntMsb)之和。當前畫面的PicOrderCntMsb是至少使用 prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb 被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最低有效位的值。
[0020]根據(jù)第三和第四方案，通過將解碼器要使用的當前畫面的POC確定為語法單兀pic_order_cnt_lsb與當前畫面的POC的最高有效位PicOrderCntMsb之和，對該目標進行實現(xiàn)，其中，當前畫面的PicOrderCntMsb是至少使用prevPicOrderCntMsb和prevPicOrderCntLsb導(dǎo)出的，以及prevPicOrderCntMsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最低有效位的值。
[0021]因此，根據(jù)第三方案，提供了使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的方法。每個畫面屬于由層標識來標識的層。在該方法中，從比特流接收當前畫面的POC值的最低有效位(例如，pic_order_cnt_lsb)，以及將當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位(PicOrderCntMsb)之和。當前畫面的 PicOrderCntMsb 是至少使用 prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最低有效位的值。
[0022]根據(jù)第四方案，提供了被配置為使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的解碼器。每個畫面屬于由層標識來標識的層。解碼器被配置為從比特流接收當前畫面的POC值的最低有效位(例如，pic_order_cnt_lsb),以及解碼器包括處理器，處理器被配置為將解碼器要使用的當前畫面的POC值確定為piC_0rder_Cnt_lSb與當前畫面的POC值的最高有效位(PicOrderCntMsb)之和。當前畫面的PicOrderCntMsb是至少使用 prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最低有效位的值。
[0023]本發(fā)明實施例的優(yōu)點是其提供了與解碼器已經(jīng)接收到的時間層的數(shù)目無關(guān)的POC定義?！緦＠綀D】

【附圖說明】
[0024]圖1示意性地示意了根據(jù)現(xiàn)有技術(shù)的具有兩個時間層的編碼結(jié)構(gòu)的示例。
[0025]圖2a示意了根據(jù)本發(fā)明的實施例的解碼器中的方法的流程圖。
[0026]圖2b示出了如何根據(jù)第一和第二方案來確定P0C，而圖2c示出了如何根據(jù)本發(fā)明的實施例的第三和第四方案來確定P0C。
[0027]圖3示意性地示出了根據(jù)本發(fā)明的實施例的編碼器。
[0028]圖4示意性地示出了根據(jù)本發(fā)明的實施例的解碼器。
【具體實施方式】
[0029]如上所述，編碼器必須向解碼器指示應(yīng)該以何種順序輸出或顯示畫面。這是通過使用上述的POC值來進行的。為了計算當前畫面的POC值，從先前參考畫面計算變量prevPicOrderCntMsb和prevPicOrderCntLsb。因此，需要通過與解碼器解碼多少層無關(guān)的方式來識別從什么先前參考畫面獲取這些值。
[0030]應(yīng)該注意到的是，在首先接收到當前畫面時，即，在不存在先前參考畫面時，將prevPicOrderCntMsb和prevPicOrderCntLsb設(shè)置為零，并從而POC值也被設(shè)置為零。在當前畫面是第二個接收到的畫面時，prevPicOrderCntMsb和prevPicOrderCntLsb等于零，但將與當前畫面一起發(fā)送的pic_order_cnt_lsb與prevPicOrderCntMsb和prevPicOrderCntLsb 一起使用來計算該當前畫面的POC值。此外，在解碼器處存儲prevPicOrderCntMsb 和 prevPicOrderCntLsb。
[0031]在圖2a的流程圖中，根據(jù)第一和第三方案示意了使用參考畫面來編碼具有多個畫面的視頻流的當前畫面的表示的方法和解碼具有多個畫面的視頻流的當前畫面的表示的方法。POC值向解碼器指示應(yīng)該輸出或顯示當前畫面的順序，每個畫面屬于由層標識標識的層。
[0032]編碼器確定200P0C值，并向解碼器發(fā)送210對當前畫面的POC值的最低有效位(稱為piC_0rder_Cnt_lsb)進行指示的語法單元210，以及解碼器接收202所述當前畫面的Pic_order_cnt_lsb。可以如圖2a中示意的在片首部中發(fā)送pic_order_cnt_lsb。pic_order_cnt_lsb被用于確定203解碼器要使用的當前畫面的POC值。此外，解碼器將當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位PicOrderCntMsb之和。根據(jù)第一方案，當前畫面的PicOrderCntMsb是至少使用prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb 被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最高有效位，以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC的最低有效位(稱為pic_order_cnt_lsb)的值。被用于確定POC的按解碼順序的先前參考畫面是當前畫面的最接近先前參考畫面。滿足特定條件(例如，參考畫面的層標識小于等于當前畫面的層標識)的按解碼順序的最接近參考畫面等效于滿足條件的最后解碼的參考畫面。用于prevPicOrderCntLsb的先前參考畫面優(yōu)選地與用于prevPicOrderCntMsb的先前參考畫面相同。
[0033]因此，使用prevPicOrderCntMsb 和 prevPicOrderCntLsb 的值導(dǎo)出當前畫面的PicOrderCntMsb。下面的偽代碼給出了可以如何進行導(dǎo)出的示例:
[0034]
【權(quán)利要求】
1.一種使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的方法，其中，每個畫面屬于由層標識來標識的層，所述方法包括以下步驟: -從比特流接收(202)當前畫面的畫面順序計數(shù)POC值的最低有效位pic_order_cnt_lsb,以及 -將解碼器要使用的當前畫面的POC值確定(203)為pic_order_cnt_lsb與當前畫面的POC的最高有效位PicOrderCntMsb之和，其中，當前畫面的PicOrderCntMsb是至少使用PrevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb 被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最高有效位PicOrderCntMsb,以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最低有效位pic_order_cnt_lsb的值。
2.根據(jù)權(quán)利要求1所述的方法，其中，先前參考畫面是層標識小于等于當前畫面的層標識的、按解碼順序的最接近參考畫面。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述層是時間層，所述時間層標識符對應(yīng)于temporal_id。
4.一種解碼器(400)，被配置為使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼，每個畫面屬于由層標識來標識的層，其中，所述解碼器被配置為從比特流接收當前畫面的畫面順序計 數(shù)POC值的最低有效位pic_order_cnt_lsb,以及所述解碼器(400)包括處理器(420)，所述處理器(420)被配置為將所述解碼器(400)要使用的當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位PicOrderCntMsb 之和，其中，當前畫面的 PicOrderCntMsb 是至少使用 prevPicOrderCntMsb和prevPicOrderCntLsb導(dǎo)出的，prevPicOrderCntMsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最高有效位PicOrderCntMsb,以及prevPicOrderCntLsb被設(shè)置為等于層標識小于等于當前畫面的層標識的、按解碼順序的先前參考畫面的POC值的最低有效位pic_order_cnt_lsb的值。
5.根據(jù)權(quán)利要求4所述的解碼器(400)，其中，先前參考畫面是層標識小于等于當前畫面的層標識的、按解碼順序的最接近參考畫面。
6.根據(jù)權(quán)利要求4或5所述的解碼器(400)，其中，所述層是時間層，所述時間層標識符對應(yīng)于temporal_id。
7.一種使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼的方法，其中，每個畫面屬于由層標識來標識的層，所述方法包括以下步驟: -從比特流接收(202)當前畫面的畫面順序計數(shù)POC值的最低有效位pic_order_cnt_lsb,以及 -將解碼器要使用的當前畫面的POC值確定(203)為pic_order_cnt_lsb與當前畫面的POC的最高有效位PicOrderCntMsb之和，其中，當前畫面的PicOrderCntMsb是至少使用prevPicOrderCntMsb 和 prevPicOrderCntLsb 導(dǎo)出的，prevPicOrderCntMsb 被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最高有效位PicOrderCntMsb,以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最低有效位pic_order_cnt_lsb的值。
8.根據(jù)權(quán)利要求7所述的方法，其中，先前參考畫面是層標識等于零的、按解碼順序的最接近參考畫面。
9.根據(jù)權(quán)利要求7或8所述的方法，其中，所述層是時間層，所述時間層標識符對應(yīng)于temporal_id。
10.一種解碼器(400)，被配置為使用參考畫面對具有多個畫面的視頻流的當前畫面的表示進行解碼，每個畫面屬于由層標識來標識的層，其中，所述解碼器被配置為從比特流接收當前畫面的畫面順序計數(shù)POC值的最低有效位pic_order_cnt_lsb,以及所述解碼器(400)包括處理器(420)，所述處理器(420)被配置為將所述解碼器(400)要使用的當前畫面的POC值確定為pic_order_cnt_lsb與當前畫面的POC值的最高有效位PicOrderCntMsb 之和，其中，當前畫面的 PicOrderCntMsb 是至少使用 prevPicOrderCntMsb和prevPicOrderCntLsb導(dǎo)出的，prevPicOrderCntMsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最高有效位PicOrderCntMsb,以及prevPicOrderCntLsb被設(shè)置為等于層標識等于零的、按解碼順序的先前參考畫面的POC值的最低有效位pic_order_cnt_lsb 的值。
11.根據(jù)權(quán)利要求10所述的解碼器(400)，其中，先前參考畫面是層標識等于零的、按解碼順序的最接近參考畫面。
12.根據(jù)權(quán)利要求10或11所述的解碼器(400)，其中，所述層是時間層，所述時間層標識符對應(yīng)于temporal」d。
【文檔編號】H04N19/46GK103843341SQ201280046868
【公開日】2014年6月4日 申請日期:2012年9月20日 優(yōu)先權(quán)日:2011年9月27日
【發(fā)明者】喬納坦·薩繆爾森, 理卡爾德·肖伯格, 玻爾·溫納斯滕 申請人:瑞典愛立信有限公司