譯碼用于視頻譯碼的隨機(jī)存取圖片的制作方法
【專利摘要】在一實(shí)例中，一種用于解碼視頻數(shù)據(jù)的裝置包含處理器，所述處理器經(jīng)配置以：從網(wǎng)絡(luò)抽象層NAL單元解封裝位流的隨機(jī)存取點(diǎn)RAP圖片的切片，其中所述NAL單元包含NAL單元類型值，所述NAL單元類型值指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片；基于所述NAL單元類型值，確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及基于所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后的所述位流的視頻數(shù)據(jù)。
【專利說明】譯碼用于視頻譯碼的隨機(jī)存取圖片
[0001] 相關(guān)申請(qǐng)案
[0002] 本申請(qǐng)案主張以下申請(qǐng)案的權(quán)利：
[0003] 2012年7月10日申請(qǐng)的第61/670,066號(hào)美國(guó)臨時(shí)申請(qǐng)案，所述申請(qǐng)案據(jù)此以其 全文引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0004] 本發(fā)明大體上涉及處理視頻數(shù)據(jù)，且更確切地說，涉及用于視頻數(shù)據(jù)中的隨機(jī)存 取圖片。

【背景技術(shù)】
[0005] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系 統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀 器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或 衛(wèi)星無線電電話、所謂的"智能電話"、視頻電話會(huì)議裝置、視頻流式傳輸裝置及其類似者。 數(shù)字視頻裝置實(shí)施視頻譯碼技術(shù)，例如描述于以下各者中的那些技術(shù)：由ITU-TH. 261、 IS0/IECMPEG-lVisual、ITU-TH. 262、IS0/IECMPEG-2Visual、ITU-TH. 263、ITU-TH. 264/ MPEG-4第10部分高級(jí)視頻譯碼（AVC)定義的標(biāo)準(zhǔn)，及目前在開發(fā)的高效率視頻譯碼 (HEVC)標(biāo)準(zhǔn)，及此些標(biāo)準(zhǔn)的擴(kuò)展。視頻裝置可通過實(shí)施此些視頻譯碼技術(shù)而較有效率地發(fā) 射、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0006] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測(cè)及/或時(shí)間（圖片間）預(yù)測(cè)以減少或移除 視頻序列中固有的冗余。對(duì)于基于塊的預(yù)測(cè)性視頻譯碼，可將視頻切片（例如，視頻幀或視 頻幀的一部分）分割為視頻塊，所述視頻塊還可被稱作宏塊、樹型塊、譯碼樹單元（CTU)、譯 碼樹型塊（CTB)、譯碼單元（CU)及/或譯碼節(jié)點(diǎn)。使用相對(duì)于相同圖片中的相鄰塊中的參 考樣本的空間預(yù)測(cè)來編碼圖片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊。圖片的經(jīng)幀間譯碼（P 或B)切片中的視頻塊可使用相對(duì)于相同圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)或相對(duì) 于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被稱作幀，且參考圖片可被稱作參考幀。
[0007] 空間預(yù)測(cè)或時(shí)間預(yù)測(cè)導(dǎo)致譯碼用于塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K 與預(yù)測(cè)性塊之間的像素差。像素還可被稱作圖片元素、像元或樣本。根據(jù)指向形成預(yù)測(cè)性 塊的參考樣本的塊的運(yùn)動(dòng)向量，及指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差異的殘余數(shù)據(jù)來編碼 經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)來編碼經(jīng)幀內(nèi)譯碼塊。為進(jìn)行進(jìn)一步壓縮， 可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生可接著進(jìn)行量化的殘余變換系數(shù)。可掃描 最初布置成二維陣列的經(jīng)量化的變換系數(shù)以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼 以達(dá)成甚至更多的壓縮。


【發(fā)明內(nèi)容】

[0008] 大體上，本發(fā)明描述用于處理視頻數(shù)據(jù)的技術(shù)。詳細(xì)地說，本發(fā)明描述可用以進(jìn)行 以下操作的技術(shù)：減少例如交談式應(yīng)用程序等視頻應(yīng)用程序中的延遲，提供隨機(jī)存取經(jīng)譯 碼視頻序列中的改進(jìn)，及提供用于具有固定圖片速率且支持時(shí)間可縮放性的視頻內(nèi)容的信 肩、。
[0009] 在一實(shí)例中，一種解碼視頻數(shù)據(jù)的方法包含：從網(wǎng)絡(luò)抽象層（NAL)單元解封裝位 流的隨機(jī)存取點(diǎn)（RAP)圖片的切片，其中所述NAL單元包含NAL單元類型值，其指示所述 RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新（IDR) 圖片還是清潔隨機(jī)存取（CRA)圖片；基于所述NAL單元類型值確定所述RAP圖片是否可具 有相關(guān)聯(lián)的引導(dǎo)圖片；及基于所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼 在所述RAP圖片之后的所述位流的視頻數(shù)據(jù)。
[0010] 在另一實(shí)例中，一種用于解碼視頻數(shù)據(jù)的裝置，所述裝置包括處理器，所述處理器 經(jīng)配置以：從網(wǎng)絡(luò)抽象層（NAL)單元解封裝位流的隨機(jī)存取點(diǎn)（RAP)圖片的切片，其中所述NAL單元包含NAL單元類型值，其指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類 型，及所述RAP圖片為瞬時(shí)解碼器刷新（IDR)圖片還是清潔隨機(jī)存?。–RA)圖片；基于所述 NAL單元類型值確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及基于所述確定所述RAP 圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后的所述位流的視頻數(shù)據(jù)。 [0011] 在另一實(shí)例中，一種用于解碼視頻數(shù)據(jù)的裝置包含：用于從網(wǎng)絡(luò)抽象層（NAL)單 元解封裝位流的隨機(jī)存取點(diǎn)（RAP)圖片的切片的裝置，其中所述NAL單元包含NAL單元類 型值，其指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片為瞬時(shí) 解碼器刷新（IDR)圖片還是清潔隨機(jī)存取（CRA)圖片；用于基于所述NAL單元類型值確定 所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片的裝置；及用于基于所述確定所述RAP圖片是 否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后的所述位流的視頻數(shù)據(jù)的裝置。 [0012]在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：從網(wǎng)絡(luò)抽象層（NAL)單元解封裝位流的隨機(jī)存取點(diǎn)（RAP)圖片的 切片，其中所述NAL單元包含NAL單元類型值，其指示所述RAP圖片是否為可具有相關(guān)聯(lián)的 引導(dǎo)圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新（IDR)圖片還是清潔隨機(jī)存?。–RA) 圖片；基于所述NAL單元類型值確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及基于 所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后的所述位 流的視頻數(shù)據(jù)。
[0013] 在另一實(shí)例中，一種產(chǎn)生包含視頻數(shù)據(jù)的位流的方法，所述方法包括：確定隨機(jī)存 取點(diǎn)（RAP)圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片包括瞬時(shí)解碼器 刷新（IDR)圖片還是清潔隨機(jī)存?。–RA)圖片；將所述RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層 (NAL)單元中，其中所述NAL單元包含NAL單元類型值，其指示所述RAP圖片是否為可具有 相關(guān)聯(lián)的引導(dǎo)圖片的類型；及產(chǎn)生包含所述NAL單元的位流。
[0014] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置包含處理器，所述處理 器經(jīng)配置以進(jìn)行以下操作：確定隨機(jī)存取點(diǎn)（RAP)圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的 類型，及所述RAP圖片包括瞬時(shí)解碼器刷新（IDR)圖片還是清潔隨機(jī)存?。–RA)圖片；將所 述RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層（NAL)單元中，其中所述NAL單元包含NAL單元類型 值，其指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型；及產(chǎn)生包含所述NAL單元 的位流。
[0015] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置包含：用于確定隨機(jī)存 取點(diǎn)（RAP)圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片包括瞬時(shí)解碼器 刷新（IDR)圖片還是清潔隨機(jī)存取（CRA)圖片的裝置；用于將所述RAP圖片的切片封裝于 網(wǎng)絡(luò)抽象層（NAL)單元中的裝置，其中所述NAL單元包含NAL單元類型值，其指示所述RAP 圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型；及用于產(chǎn)生包含所述NAL單元的位流的裝 置。
[0016]在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：確定隨機(jī)存取點(diǎn)（RAP)圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類 型，及所述RAP圖片包括瞬時(shí)解碼器刷新（IDR)圖片還是清潔隨機(jī)存?。–RA)圖片；將所述 RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層（NAL)單元中，其中所述NAL單元包含NAL單元類型值， 其指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型；及產(chǎn)生包含所述NAL單元的 位流。
[0017] 在另一實(shí)例中，一種解碼視頻數(shù)據(jù)的方法包含：針對(duì)位流的補(bǔ)充增強(qiáng)信息（SEI) 網(wǎng)絡(luò)抽象層（NAL)單元，確定所述SEINAL單元的NAL單元類型值指示所述NAL單元包括 包含前綴SEI消息的前綴SEINAL單元還是包含后綴SEI消息的后綴SEINAL單元；及基 于所述SEINAL單元為所述前綴SEINAL單元還是所述后綴SEINAL單元及所述SEINAL 單元的數(shù)據(jù)，解碼在所述SEINAL單元之后的所述位流的視頻數(shù)據(jù)。
[0018] 在另一實(shí)例中，一種用于解碼視頻數(shù)據(jù)的裝置包含處理器，所述處理器經(jīng)配置以： 針對(duì)位流的補(bǔ)充增強(qiáng)信息（SEI)網(wǎng)絡(luò)抽象層（NAL)單元，確定所述SEINAL單元的NAL單 元類型值指示所述NAL單元包括包含前綴SEI消息的前綴SEINAL單元還是包含后綴SEI 消息的后綴SEINAL單元；及基于所述SEINAL單元為所述前綴SEINAL單元還是所述后 綴SEINAL單元及所述SEINAL單元的數(shù)據(jù)，解碼在所述SEINAL單元之后的所述位流的 視頻數(shù)據(jù)。
[0019] 在另一實(shí)例中，一種用于解碼視頻數(shù)據(jù)的裝置包含：用于針對(duì)位流的補(bǔ)充增強(qiáng)信 息（SEI)網(wǎng)絡(luò)抽象層（NAL)單元，確定所述SEINAL單元的NAL單元類型值指示所述NAL 單元包括包含前綴SEI消息的前綴SEINAL單元還是包含后綴SEI消息的后綴SEINAL單 元的裝置；及用于基于所述SEINAL單元為所述前綴SEINAL單元還是所述后綴SEINAL 單元及所述SEINAL單元的數(shù)據(jù)，解碼在所述SEINAL單元之后的所述位流的視頻數(shù)據(jù)的 裝直。
[0020] 在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：針對(duì)位流的補(bǔ)充增強(qiáng)信息（SEI)網(wǎng)絡(luò)抽象層（NAL)單元，確定所述 SEINAL單元的NAL單元類型值指示所述NAL單元包括包含前綴SEI消息的前綴SEINAL 單元還是包含后綴SEI消息的后綴SEINAL單元；及基于所述SEINAL單元為所述前綴SEI NAL單元還是所述后綴SEINAL單元及所述SEINAL單元的數(shù)據(jù)，解碼在所述SEINAL單元 之后的所述位流的視頻數(shù)據(jù)。
[0021] 在另一實(shí)例中，一種產(chǎn)生包含視頻數(shù)據(jù)的位流的方法包含：確定補(bǔ)充增強(qiáng)信息 (SEI)消息為前綴SEI消息還是后綴SEI消息，其中所述SEI消息包含與經(jīng)編碼視頻數(shù)據(jù)有 關(guān)的數(shù)據(jù)；將所述SEI消息封裝于SEINAL單元中，其中所述SEINAL單元包含NAL單元類 型值，其指示所述SEINAL單元為前綴SEINAL單元還是后綴SEINAL單元，及所述SEI消 息為前綴SEI消息還是后綴SEI消息；及產(chǎn)生至少包含所述SEINAL單元的位流。
[0022] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻的位流的裝置包含處理器，所述處理器經(jīng) 配置以：確定補(bǔ)充增強(qiáng)信息（SEI)消息為前綴SEI消息還是后綴SEI消息，其中所述SEI消 息包含與經(jīng)編碼視頻數(shù)據(jù)有關(guān)的數(shù)據(jù)；將所述SEI消息封裝于SEINAL單元中，其中所述 SEINAL單元包含NAL單元類型值，其指示所述SEINAL單元為前綴SEINAL單元還是后 綴SEINAL單元，及所述SEI消息為前綴SEI消息還是后綴SEI消息；及產(chǎn)生至少包含所述 SEINAL單元的位流。
[0023] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置包含：用于確定補(bǔ)充增 強(qiáng)信息（SEI)消息為前綴SEI消息還是后綴SEI消息的裝置，其中所述SEI消息包含與經(jīng) 編碼視頻數(shù)據(jù)有關(guān)的數(shù)據(jù)；用于將所述SEI消息封裝于SEINAL單元中的裝置，其中所述 SEINAL單元包含NAL單元類型值，其指示所述SEINAL單元為前綴SEINAL單元還是后綴 SEINAL單元，及所述SEI消息為前綴SEI消息還是后綴SEI消息；及用于產(chǎn)生至少包含所 述SEINAL單元的位流的裝置。
[0024] 在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：確定補(bǔ)充增強(qiáng)信息（SEI)消息為前綴SEI消息還是后綴SEI消息， 其中所述SEI消息包含與經(jīng)編碼視頻數(shù)據(jù)有關(guān)的數(shù)據(jù)；將所述SEI消息封裝于SEINAL單 元中，其中所述SEINAL單元包含NAL單元類型值，其指示所述SEINAL單元為前綴SEINAL 單元還是后綴SEINAL單元，及所述SEI消息為前綴SEI消息還是后綴SEI消息；及產(chǎn)生至 少包含所述SEINAL單元的位流。
[0025] 在另一實(shí)例中，一種呈現(xiàn)視頻數(shù)據(jù)的方法包含：確定所述視頻數(shù)據(jù)的整數(shù)值；確 定第一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差值，其中所述差值等于所述整數(shù)值 乘以時(shí)鐘刻度值；及根據(jù)所述所確定的差值，呈現(xiàn)所述第一圖片及所述第二圖片。
[0026] 在另一實(shí)例中，一種用于呈現(xiàn)視頻數(shù)據(jù)的裝置包含處理器，所述處理器經(jīng)配置以： 確定所述視頻數(shù)據(jù)的整數(shù)值；確定第一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差 值，其中所述差值等于所述整數(shù)值乘以時(shí)鐘刻度值；及根據(jù)所述所確定的差值，呈現(xiàn)所述第 一圖片及所述第二圖片。
[0027] 在另一實(shí)例中，一種用于呈現(xiàn)視頻數(shù)據(jù)的裝置包含：用于確定所述視頻數(shù)據(jù)的整 數(shù)值的裝置；用于確定第一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差值的裝置，其 中所述差值等于所述整數(shù)值乘以時(shí)鐘刻度值；及用于根據(jù)所述所確定的差值，呈現(xiàn)所述第 一圖片及所述第二圖片的裝置。
[0028] 在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：確定所述視頻數(shù)據(jù)的整數(shù)值；確定第一圖片的呈現(xiàn)時(shí)間與第二圖 片的呈現(xiàn)時(shí)間之間的差值，其中所述差值等于所述整數(shù)值乘以時(shí)鐘刻度值；及根據(jù)所述所 確定的差值，呈現(xiàn)所述第一圖片及所述第二圖片。
[0029] 在另一實(shí)例中，一種產(chǎn)生包含視頻數(shù)據(jù)的位流的方法包含：產(chǎn)生指示第一圖片的 呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差是否為時(shí)鐘刻度值的整數(shù)倍的數(shù)據(jù)；及在所述數(shù) 據(jù)指示所述差為所述時(shí)鐘刻度值的所述整數(shù)倍時(shí)，產(chǎn)生表示所述整數(shù)倍數(shù)的數(shù)據(jù)。
[0030] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置包含處理器，所述處理 器經(jīng)配置以進(jìn)行以下操作：產(chǎn)生指示第一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差 是否為時(shí)鐘刻度值的整數(shù)倍的數(shù)據(jù)；及在所述數(shù)據(jù)指示所述差為所述時(shí)鐘刻度值的所述整 數(shù)倍時(shí)，產(chǎn)生表示所述整數(shù)倍數(shù)的數(shù)據(jù)。
[0031] 在另一實(shí)例中，一種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置包含：用于產(chǎn)生指示第 一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差是否為時(shí)鐘刻度值的整數(shù)倍的數(shù)據(jù)的 裝置；及用于在所述數(shù)據(jù)指示所述差為所述時(shí)鐘刻度值的所述整數(shù)倍時(shí)，產(chǎn)生表示所述整 數(shù)倍數(shù)的數(shù)據(jù)的裝置。
[0032]在另一實(shí)例中，一種存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使 得處理器進(jìn)行以下操作：產(chǎn)生指示第一圖片的呈現(xiàn)時(shí)間與第二圖片的呈現(xiàn)時(shí)間之間的差是 否為時(shí)鐘刻度值的整數(shù)倍的數(shù)據(jù)；及在所述數(shù)據(jù)指示所述差為所述時(shí)鐘刻度值的所述整數(shù) 倍時(shí)，產(chǎn)生表示所述整數(shù)倍數(shù)的數(shù)據(jù)。
[0033] 在隨附圖式及以下描述中闡述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢(shì)將從 所述描述及所述圖式以及從權(quán)利要求書而顯而易見。

【專利附圖】

【附圖說明】
[0034]圖1為說明根據(jù)預(yù)測(cè)性視頻譯碼技術(shù)譯碼的視頻序列的概念圖。
[0035] 圖2為說明經(jīng)譯碼視頻序列的一實(shí)例的概念圖。
[0036] 圖3為說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)的框圖。
[0037] 圖4為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例封裝單元的框圖。
[0038] 圖5為說明根據(jù)本發(fā)明的技術(shù)產(chǎn)生VCLNAL單元的一實(shí)例的流程圖。
[0039] 圖6為說明根據(jù)本發(fā)明的技術(shù)產(chǎn)生非VCLNAL單元的一實(shí)例的流程圖。
[0040] 圖7為說明用信號(hào)發(fā)出呈現(xiàn)時(shí)間增量值的一實(shí)例的流程圖。
[0041] 圖8為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0042] 圖9為說明確定呈現(xiàn)時(shí)間增量值的一實(shí)例的流程圖。
[0043] 圖10為說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器的框圖。

【具體實(shí)施方式】
[0044] 本發(fā)明描述各種改進(jìn)的視頻譯碼設(shè)計(jì)。詳細(xì)地說，本發(fā)明描述可用以減少例如交 談式應(yīng)用程序等視頻應(yīng)用程序中的延遲，及提供隨機(jī)存取經(jīng)譯碼視頻序列中的改進(jìn)的技 術(shù)。
[0045] 數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)以更有效率地編碼及解碼數(shù)字視頻信息。可根據(jù) 視頻譯碼標(biāo)準(zhǔn)（例如，AVC或HEVC)來定義視頻壓縮技術(shù)。ITU-TH. 264/MPEG-4(AVC)標(biāo) 準(zhǔn)由ITU-T視頻譯碼專家組（VCEG)連同IS0/IEC動(dòng)畫專家組（MPEG) -起闡明為被稱為 聯(lián)合視頻小組（JVT)的集體合作的產(chǎn)品。H. 264標(biāo)準(zhǔn)由ITU-T研究組且在日期為2005年 3月描述于ITU-T推薦H. 264 (用于一般視聽服務(wù)的高級(jí)視頻譯碼）中，其在本文中可被稱 作H. 264標(biāo)準(zhǔn)或H. 264規(guī)范或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻小組（JVT)繼續(xù)致力于對(duì) H. 264/MPEG-4AVC的擴(kuò)展。
[0046]HEVC的最新工作草案（其被稱作"HEVC工作草案7"或"WD7"）描述于文 件JCTVC-I1003_d5(Bross等人，"WD7:WorkingDraft7ofHigh_EfTiciencyVideo Coding(HEVC)"，ITU-TSG16WP3 及IS0/IECJTC1/SC29/WG11 的視頻譯碼聯(lián)合合作小組 (JCT-VC)，第9次會(huì)議Switzerland的日內(nèi)瓦，2012年4月27日到2012年5月7日） 中。另外，HEVC的另一最新工作草案（工作草案9)描述于文件HCTVC-K1003d7(Br〇ss等 人，"HighEfficiencyVideoCoding(HEVC)TextSpecificationDraft9"，ITU-TSG16WP3 及ISO/IECJTC1/SC29/WG11的視頻譯碼聯(lián)合合作小組（JCT-VC)，第11次會(huì)議：中國(guó)上海， 2012年10月）中。即將到來的HEVC標(biāo)準(zhǔn)還可被稱作ISO/IEC23008-HEVC，其意欲為HEVC 的交付版本的標(biāo)準(zhǔn)編號(hào)。在一些方面中，本發(fā)明中所描述的技術(shù)可應(yīng)用于大體上符合H. 264 及/或即將到來的ffiVC標(biāo)準(zhǔn)的裝置。盡管關(guān)于H. 264標(biāo)準(zhǔn)及即將到來的HEVC標(biāo)準(zhǔn)描述本 發(fā)明的技術(shù)，但本發(fā)明的技術(shù)大體上可適用于任何視頻譯碼標(biāo)準(zhǔn)。
[0047] 視頻序列通常包含一系列視頻幀，視頻幀還被稱作圖片。編碼及/或解碼視頻序 列的視頻應(yīng)用程序的實(shí)例包含本地播放、流式傳輸、廣播、多播及交談式應(yīng)用程序。交談式 應(yīng)用程序包含視頻電話及視頻會(huì)議，且還被稱作低延遲應(yīng)用程序。交談式應(yīng)用程序需要全 部系統(tǒng)的相對(duì)較低的端間延遲，即，在第一數(shù)字視頻裝置處俘獲視頻幀的時(shí)間與在第二數(shù) 字視頻裝置處顯示所述視頻幀的時(shí)間之間的延遲。對(duì)于交談式應(yīng)用程序，通常可接受的端 間延遲應(yīng)小于400ms，且大約150ms的端間延遲被視為極好的。
[0048] 與處理視頻序列相關(guān)聯(lián)的每一步驟可有助于總的端間延遲。與處理視頻序列相關(guān) 聯(lián)的延遲的實(shí)例包含俘獲延遲、預(yù)處理延遲、編碼延遲、發(fā)射延遲、接收緩沖延遲（用于解 除抖動(dòng)）、解碼延遲、經(jīng)解碼圖片輸出延遲、后處理延遲及顯示延遲。與根據(jù)特定視頻譯碼標(biāo) 準(zhǔn)譯碼視頻序列相關(guān)聯(lián)的延遲可被稱作編解碼器延遲，且其可包含編碼延遲、解碼延遲及 經(jīng)解碼圖片輸出延遲。在交談式應(yīng)用程序中應(yīng)使編解碼器延遲最小化。詳細(xì)地說，視頻序 列的譯碼結(jié)構(gòu)應(yīng)確保視頻序列中的圖片的輸出次序與所述視頻序列中的圖片的解碼次序 相同，使得經(jīng)解碼圖片輸出延遲等于零。視頻序列的譯碼結(jié)構(gòu)部分地指代用以編碼視頻序 列的圖片類型的分配。
[0049] 圖片群組（G0P)大體上包括根據(jù)顯示次序布置的一或多個(gè)圖片的序列。根據(jù) HEVC，視頻編碼器可將視頻幀或圖片劃分成一系列大小相等的視頻塊。視頻塊可具有明度 分量（表示為Y)及兩個(gè)色度分量（表示為U及V或Cb及Cr)。此些視頻塊還可被稱作 最大譯碼單元（LCU)、樹型塊或譯碼樹型塊單元（CTU)。HEVC的LCU可廣泛地類似于例如 H. 264/AVC等先前標(biāo)準(zhǔn)的宏塊。然而，IXU未必限于特定大小。根據(jù)HEVC，位流內(nèi)的語法數(shù) 據(jù)可根據(jù)水平明度樣本及/或垂直明度樣本的數(shù)目來定義LCU。舉例來說，可將LCU定義為 包含64x64或32x32個(gè)明度樣本。另外，可根據(jù)四分樹分割方案將LCU分割成多個(gè)譯碼單 元（CU)。大體上，四分樹分割指代將CU遞歸地分裂成四個(gè)子CU。與經(jīng)譯碼位流相關(guān)聯(lián)的 語法數(shù)據(jù)可定義可分裂LCU的最大次數(shù)，所述最大次數(shù)被稱作最大CU深度，且所述語法數(shù) 據(jù)還可定義⑶的最小大小。因此，位流還可定義最小譯碼單元（S⑶）。舉例來說，可將S⑶ 定義為包含8x8明度樣本。
[0050] 此外，根據(jù)HEVC，視頻編碼器可將圖片分割成多個(gè)切片，其中所述切片中的每一者 包含整數(shù)數(shù)目個(gè)IXU。切片可為I切片、P切片或B切片，其中I、P及B定義其它視頻塊如 何用于預(yù)測(cè)CU。使用幀內(nèi)預(yù)測(cè)模式預(yù)測(cè)I切片（例如，從相同幀內(nèi)的視頻塊預(yù)測(cè)）。幀內(nèi) 譯碼依賴于空間預(yù)測(cè)以減少或移除給定視頻幀或圖片內(nèi)的視頻的空間冗余。使用單向幀間 預(yù)測(cè)模式預(yù)測(cè)P切片（例如，從先前幀中的視頻塊預(yù)測(cè)）。使用雙向幀間預(yù)測(cè)模式預(yù)測(cè)B切 片（例如，從先前幀及后續(xù)幀內(nèi)的視頻塊預(yù)測(cè)）。幀間譯碼依賴于時(shí)間預(yù)測(cè)以減少或移除視 頻序列的鄰近巾貞或圖片內(nèi)的視頻的時(shí)間幾余。
[0051] 圖1為說明根據(jù)預(yù)測(cè)性視頻譯碼技術(shù)譯碼的視頻序列的概念圖。如圖1中所說明， 視頻序列100包含圖片PiCi到Pic1(l。在圖1的概念圖中，圖片PiCl到Pic1(l是根據(jù)其將顯 示的次序而布置及順序地編號(hào)。如下文更詳細(xì)地描述，顯示次序未必對(duì)應(yīng)于解碼次序。如 圖1中所說明，視頻序列100包含6(^及60? 2，其中圖片PiCl到？1(：5包含于GOPi中，且圖 片Pic6到Pic1(l包含于G0P2中。圖1說明將Pic5分割成slice:及slice2，其中slice:及 slice2中的每一者包含根據(jù)從左到右從上到下的光柵掃描的連續(xù)的IXU。盡管未展示，但 可以類似方式將圖1中所說明的其它圖片分割成一或多個(gè)切片。圖1還說明關(guān)于G0P2的I 切片、P切片或B切片的概念。與G0P2中的Pic6到Pic1(l中的每一者相關(guān)聯(lián)的箭頭基于由 箭頭指不的參考圖片指不圖片包含I切片、P切片還是B切片。在圖1中，圖片Pi〇6及Pic9 表示包含I切片的圖片（S卩，參考所述圖片自身），圖片Pic7及Pic1(l表示包含P切片的圖 片（即，各自參考先前圖片），及Pic8表示包含B切片的圖片（S卩，參考先前圖片及后續(xù)圖 片）。
[0052] 在HEVC中，視頻序列中的每一者：G0P、圖片、切片及⑶可與描述視頻譯碼性質(zhì)的 語法數(shù)據(jù)相關(guān)聯(lián)。舉例來說，切片包含標(biāo)頭，所述標(biāo)頭包含指示所述切片為I切片、P切片 還是B切片的語法元素。另外，HEVC包含參數(shù)集概念。參數(shù)集為包含允許視頻解碼器重建 構(gòu)視頻序列的語法元素的語法結(jié)構(gòu)。HEVC利用階層式參數(shù)集機(jī)制，其中語法元素基于預(yù)期 語法元素改變的頻率包含于一種類型的參數(shù)集中。ffiVC中的參數(shù)集機(jī)制將不頻繁改變的 信息的發(fā)射與經(jīng)譯碼塊數(shù)據(jù)的發(fā)射解耦。另外，在一些應(yīng)用程序中，可"帶外"輸送參數(shù)集， 艮口，不與含有經(jīng)譯碼視頻數(shù)據(jù)的單元一起運(yùn)輸所述參數(shù)集。帶外發(fā)射通常是可靠的。
[0053] 在HEVCWD7中，使用參數(shù)集ID識(shí)別特定參數(shù)集。在HEVCWD7中，參數(shù)集ID為不 帶正負(fù)號(hào)的整數(shù)指數(shù)哥倫布譯碼（Exp-Golomb-coded)語法元素，其中從左位開始。HEVC WD7定義以下參數(shù)集：
[0054] 視頻參數(shù)集（VPS) :VPS為含有適用于零或多個(gè)全部經(jīng)譯碼視頻序列的語法元素 的語法結(jié)構(gòu)。即，VPS包含預(yù)期對(duì)于幀序列保持不變的語法元素（例如，圖片次序、參考幀 的數(shù)目及圖片大?。?。使用VPSID識(shí)別VPS。序列參數(shù)集包含VPSID。
[0055] 序列參數(shù)集（SPS)--SPS為包含適用于零或多個(gè)全部經(jīng)譯碼視頻序列的語法元 素的語法結(jié)構(gòu)。即，SPS包含預(yù)期對(duì)于幀序列保持不變的語法元素（例如，圖片次序、參考 幀的數(shù)目及圖片大小）。使用SPSID識(shí)別SPS。圖片參數(shù)集包含SPSID。
[0056] 圖片參數(shù)集（PPS) -一PPS為包含適用于一或多個(gè)圖片的語法元素的語法結(jié)構(gòu)。 艮P，PPS包含可在一序列內(nèi)從圖片到圖片改變的語法元素（例如，熵譯碼模式、量化參數(shù)及 位深度）。使用PPSID識(shí)別PPS參數(shù)集。切片標(biāo)頭包含PPSID。
[0057]自適應(yīng)參數(shù)集（APS)--APS為包含適用于一或多個(gè)圖片的語法元素的語法結(jié)構(gòu)。APS包含預(yù)期在序列的圖片內(nèi)改變的語法元素（例如，塊大小及解塊濾波）。使用APSID 識(shí)別APS集。切片標(biāo)頭可包含APSID。
[0058]根據(jù)HEVCWD7中所定義的參數(shù)集類型，每一SPS參考VPSID，每一PPS參考SPS ID，且每一切片標(biāo)頭參考PPSID且可能參考APSID。應(yīng)注意，在一些狀況下，SPS中包含 VPSID及PPS中包含SPSID的線性參考關(guān)系可為低效的。舉例來說，盡管HEVCWD7中支 持VPS，但序列層級(jí)信息參數(shù)中的大多數(shù)仍僅存在于SPS中。除參數(shù)集概念之外，HEVC包含 經(jīng)譯碼視頻序列及存取單元的概念。根據(jù)HEVCWD7,經(jīng)譯碼視頻序列及存取單元如下來定 乂：
[0059] 經(jīng)譯碼視頻序列：存取單元的序列，其由按解碼次序的以下各者組成：為位流中 的第一存取單元的CRA存取單元、IDR存取單元或BLA存取單元，繼的包含至多所有后續(xù)存 取單元但不包含任何后續(xù)IDR或BLA存取單元的零或多個(gè)非IDR及非BLA存取單元[下文 詳細(xì)描述CRA存取單元、IDR存取單元及BLA存取單元]。
[0060] 存取單元：在解碼次序上連續(xù)且含有一個(gè)經(jīng)譯碼圖片的NAL單元的集合。除經(jīng) 譯碼圖片的經(jīng)譯碼切片NAL單元之外，存取單元還可含有不含有經(jīng)譯碼圖片的切片的其它 NAL單元。存取單元的解碼始終產(chǎn)生經(jīng)解碼圖片。
[0061]NAL單元指代網(wǎng)絡(luò)抽象層單元。因此，根據(jù)HEVC，經(jīng)譯碼視頻數(shù)據(jù)的位流包含NAL 單元的序列。存取單元為在解碼次序上連續(xù)地布置且含有確切一個(gè)經(jīng)譯碼圖片的NAL單元 的集合，且經(jīng)譯碼視頻序列包含按解碼次序布置的存取單元的序列。圖2為說明經(jīng)譯碼視 頻序列的一實(shí)例的概念圖。圖2表示可對(duì)應(yīng)于圖1中所說明的G0P2的經(jīng)譯碼視頻序列200 的一實(shí)例。如圖2中所說明，經(jīng)譯碼視頻序列200包含對(duì)應(yīng)于Pic6到Pic1(l中的每一者的 存取單元。經(jīng)譯碼視頻序列200的存取單元是根據(jù)解碼次序順序地布置。應(yīng)注意，對(duì)應(yīng)于 Pic9的存取單元位于對(duì)應(yīng)于Pic8的存取單元之前。因此，解碼次序并不對(duì)應(yīng)于圖1中所說 明的顯示次序。在此實(shí)例中，此情況是歸因于Pic8參考Pic9的事實(shí)。因此，必須在可解碼 Pic8之前解碼Pic9。圖2說明對(duì)應(yīng)于Pic9的存取單元包含NAL單元：AU定界符NAL單元 202、PPSNAL單元 204、sliceiNAL單元 206 及slice2NAL單元 208。每一NAL單元可包含 識(shí)別NAL單元類型的標(biāo)頭。
[0062]HEVC定義兩個(gè)NAL單元類型類別：經(jīng)譯碼切片NAL單元（VCL)及非VCLNAL單元。 經(jīng)譯碼切片NAL單元含有視頻數(shù)據(jù)的切片。在圖2中所說明的實(shí)例中，sliceiNAL單元206 及slice2NAL單元208各自含有視頻數(shù)據(jù)的切片，且為VCLNAL單元的實(shí)例。在圖2的實(shí)例 中，sliceiNAL單元206及slice2NAL單元208中的每一者可為I切片。非VCL包含含有除 了視頻數(shù)據(jù)的切片以外的信息。舉例來說，非VCL可含有定界符數(shù)據(jù)或參數(shù)集。在圖2中 所說明的實(shí)例中，AU定界符NAL單元202包含信息以從對(duì)應(yīng)于Pic7的存取單元來界定對(duì)應(yīng) 于Pic9的存取單元的界限。另外，PPSNAL單元204包含圖片參數(shù)集。因此，AU定界符NAL 單元202及PPSNAL單元204為非VCLNAL單元的實(shí)例。
[0063]HEVC中的非VCLNAL單元的另一實(shí)例為補(bǔ)充增強(qiáng)信息（SEI)NAL單元。AVC及HEVC 兩者中所支持的SEI機(jī)制使得編碼器能夠?qū)⒃獢?shù)據(jù)包含于位流中，所述元數(shù)據(jù)并非正確地 解碼輸出圖片的樣本值所需的，但所述元數(shù)據(jù)可用于各種其它目的，例如圖片輸出定時(shí)、顯 示以及損失檢測(cè)及隱藏。舉例來說，SEINAL單元可包含由視頻解碼器在解碼位流時(shí)使用 的圖片定時(shí)消息。圖片定時(shí)消息可包含指示視頻解碼器應(yīng)何時(shí)開始解碼VCLNAL單元的信 息。編碼器可包含存取單元中的任何數(shù)目個(gè)SEINAL單元，且每一SEINAL單元可含有一 或多個(gè)SEI消息。草案HEVC標(biāo)準(zhǔn)包含用于若干SEI消息的語法及語義，但未指定所述SEI 消息的處置，這是因?yàn)槠洳挥绊懟鶞?zhǔn)解碼過程。草案ffiVC標(biāo)準(zhǔn)中具有SEI消息的一個(gè)原因 為使得能夠在使用ffiVC的不同系統(tǒng)中相同地解譯補(bǔ)充數(shù)據(jù)。使用HEVC的規(guī)范及系統(tǒng)可能 需要編碼器產(chǎn)生某些SEI消息或可定義特定類型的所接收SEI消息的特定處置。表1列出 HEVC中所指定的SEI消息且簡(jiǎn)略地描述其目的。
[0064]

【權(quán)利要求】
1. 一種解碼視頻數(shù)據(jù)的方法，所述方法包括： 從網(wǎng)絡(luò)抽象層NAL單元解封裝位流的隨機(jī)存取點(diǎn)RAP圖片的切片，其中所述NAL單元 包含NAL單元類型值，所述NAL單元類型值指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo) 圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片； 基于所述NAL單元類型值，確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及 基于所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后 的所述位流的視頻數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述NAL單元類型值指示所述RAP圖片包括所述 CRA圖片，其中確定包括：基于所述NAL單元類型值，確定所述RAP圖片為可具有包含加標(biāo) 志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的類型，且其中解碼包括在將所述CRA圖片用作隨 機(jī)存取點(diǎn)時(shí)，剖析而不解碼對(duì)應(yīng)于TFD圖片的所述位流的數(shù)據(jù)。
3. 根據(jù)權(quán)利要求1所述的方法，其中解封裝所述切片包括檢索指示所述RAP圖片包括 所述IDR圖片還是所述CRA圖片的所述NAL單元類型值的值。
4. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括： 針對(duì)后續(xù)NAL單元，確定NAL單元類型值指示所述后續(xù)NAL單元包括包含后綴SEI消 息的后綴補(bǔ)充增強(qiáng)信息SEI NAL單元；及 基于所述后綴SEI消息的數(shù)據(jù)，解碼在所述后綴SEI NAL單元之后的所述位流的視頻 數(shù)據(jù)。
5. 根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包括從存取單元AU提取所述后綴SEI NAL單 元，所述存取單元AU至少包含在解碼次序上在所述后綴SEI NAL單元之前的所述AU中的 第一視頻譯碼層VCL NAL單元。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述后綴SEI NAL單元在解碼次序上在所述AU中 的所有VCL NAL單元之后。
7. -種用于解碼視頻數(shù)據(jù)的裝置，所述裝置包括處理器，所述處理器經(jīng)配置以：從網(wǎng) 絡(luò)抽象層NAL單元解封裝位流的隨機(jī)存取點(diǎn)RAP圖片的切片，其中所述NAL單元包含NAL 單元類型值，所述NAL單元類型值指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類 型，及所述RAP圖片為瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片；基于所述NAL 單元類型值，確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及基于所述確定所述RAP圖 片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后的所述位流的視頻數(shù)據(jù)。
8. 根據(jù)權(quán)利要求7所述的裝置，其中所述NAL單元類型值指示所述RAP圖片包括所述 CRA圖片，其中所述處理器經(jīng)配置以：基于所述NAL單元類型值，確定所述RAP圖片為可具 有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的類型，且其中所述處理器經(jīng)配置以在 將所述CRA圖片用作隨機(jī)存取點(diǎn)時(shí)，剖析而不解碼對(duì)應(yīng)于TFD圖片的所述位流的數(shù)據(jù)。
9. 根據(jù)權(quán)利要求7所述的裝置，其中所述處理器經(jīng)配置以檢索指示所述RAP圖片包括 所述IDR圖片還是所述CRA圖片的所述NAL單元類型值的值。
10. 根據(jù)權(quán)利要求7所述的裝置，其中所述處理器經(jīng)進(jìn)一步配置以：針對(duì)后續(xù)NAL單 元，確定NAL單元類型值指示所述后續(xù)NAL單元包括包含后綴SEI消息的后綴補(bǔ)充增強(qiáng)信 息SEI NAL單元；及基于所述后綴SEI消息的數(shù)據(jù)，解碼在所述后綴SEINAL單元之后的所 述位流的視頻數(shù)據(jù)。
11. 根據(jù)權(quán)利要求10所述的裝置，其中所述處理器經(jīng)配置以從存取單元AU提取所述后 綴SEI NAL單元，所述存取單元AU至少包含在解碼次序上在所述后綴SEI NAL單元之前的 所述AU中的第一視頻譯碼層VCL NAL單元。
12. 根據(jù)權(quán)利要求11所述的裝置，其中所述后綴SEI NAL單元在解碼次序上在所述AU 中的所有VCL NAL單元之后。
13. -種用于解碼視頻數(shù)據(jù)的裝置，所述裝置包括： 用于從網(wǎng)絡(luò)抽象層NAL單元解封裝位流的隨機(jī)存取點(diǎn)RAP圖片的切片的裝置，其中所 述NAL單元包含NAL單元類型值，所述NAL單元類型值指示所述RAP圖片是否為可具有相 關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA 圖片； 用于基于所述NAL單元類型值，確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片的裝 置；及 用于基于所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片 之后的所述位流的視頻數(shù)據(jù)的裝置。
14. 根據(jù)權(quán)利要求13所述的裝置，其中所述NAL單元類型值指示所述RAP圖片包括所 述CRA圖片，其中用于確定的所述裝置包括用于基于所述NAL單元類型值，確定所述RAP圖 片為可具有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的類型的裝置，且其中用于解 碼的所述裝置包括用于在將所述CRA圖片用作隨機(jī)存取點(diǎn)時(shí)，剖析而不解碼對(duì)應(yīng)于TFD圖 片的所述位流的數(shù)據(jù)的裝置。
15. 根據(jù)權(quán)利要求13所述的裝置，其中用于解封裝所述切片的所述裝置包括用于檢索 指示所述RAP圖片包括所述IDR圖片還是所述CRA圖片的所述NAL單元類型值的值的裝置。
16. 根據(jù)權(quán)利要求13所述的裝置，其進(jìn)一步包括： 用于針對(duì)后續(xù)NAL單元，確定NAL單元類型值指示所述后續(xù)NAL單元包括包含后綴SEI 消息的后綴補(bǔ)充增強(qiáng)信息SEI NAL單元的裝置；及 用于基于所述后綴SEI消息的數(shù)據(jù)，解碼在所述后綴SEI NAL單元之后的所述位流的 視頻數(shù)據(jù)的裝置。
17. 根據(jù)權(quán)利要求16所述的裝置，其進(jìn)一步包括用于從存取單元AU提取所述后綴 SEINAL單元的裝置，所述存取單元AU至少包含在解碼次序上在所述后綴SEI NAL單元之前 的所述AU中的第一視頻譯碼層VCL NAL單元。
18. 根據(jù)權(quán)利要求17所述的裝置，其中所述后綴SEI NAL單元在解碼次序上在所述AU 中的所有VCL NAL單元之后。
19. 一種其上存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使得處理器進(jìn) 行以下操作： 從網(wǎng)絡(luò)抽象層NAL單元解封裝位流的隨機(jī)存取點(diǎn)RAP圖片的切片，其中所述NAL單元 包含NAL單元類型值，所述NAL單元類型值指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo) 圖片的類型，及所述RAP圖片為瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片； 基于所述NAL單元類型值，確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片；及 基于所述確定所述RAP圖片是否可具有相關(guān)聯(lián)的引導(dǎo)圖片，解碼在所述RAP圖片之后 的所述位流的視頻數(shù)據(jù)。
20. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述NAL單元類型值指示所述 RAP圖片包括所述CRA圖片，其中使得所述處理器確定的所述指令包括使得所述處理器基 于所述NAL單元類型值，確定所述RAP圖片為可具有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián) 的引導(dǎo)圖片的類型的指令，且其中使得所述處理器解碼的所述指令包括使得所述處理器在 將所述CRA圖片用作隨機(jī)存取點(diǎn)時(shí)，剖析而不解碼對(duì)應(yīng)于TFD圖片的所述位流的數(shù)據(jù)的指 令。
21. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中使得所述處理器解封裝所述切 片的所述指令包括使得所述處理器檢索指示所述RAP圖片包括所述IDR圖片還是所述CRA 圖片的所述NAL單元類型值的值的指令。
22. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包括使得所述處理器進(jìn)行 以下操作的指令： 針對(duì)后續(xù)NAL單元，確定NAL單元類型值指示所述后續(xù)NAL單元包括包含后綴SEI消 息的后綴補(bǔ)充增強(qiáng)信息SEI NAL單元；及 基于所述后綴SEI消息的數(shù)據(jù)，解碼在所述后綴SEI NAL單元之后的所述位流的視頻 數(shù)據(jù)。
23. 根據(jù)權(quán)利要求22所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包括使得所述處理器從存 取單元AU提取所述后綴SEI NAL單元的指令，所述存取單元AU至少包含在解碼次序上在 所述后綴SEI NAL單元之前的所述AU中的第一視頻譯碼層VCL NAL單元。
24. 根據(jù)權(quán)利要求23所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述后綴SEI NAL單元在解碼 次序上在所述AU中的所有VCL NAL單元之后。
25. -種產(chǎn)生包含視頻數(shù)據(jù)的位流的方法，所述方法包括： 確定隨機(jī)存取點(diǎn)RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片包 括瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片； 將所述RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層NAL單元中，其中所述NAL單元包含指示所 述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型的NAL單元類型值；及 產(chǎn)生包含所述NAL單元的位流。
26. 根據(jù)權(quán)利要求25所述的方法，其中所述RAP圖片包括所述CRA圖片，其中確定包 括確定所述RAP圖片為可具有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的類型，且 其中封裝所述切片包括設(shè)定所述NAL單元類型值的值以指示所述CRA圖片可具有相關(guān)聯(lián)的 TFD引導(dǎo)圖片。
27. 根據(jù)權(quán)利要求25所述的方法，其中封裝所述切片包括設(shè)定所述NAL單元類型值的 值以指示所述RAP圖片包括所述IDR圖片還是所述CRA圖片。
28. 根據(jù)權(quán)利要求25所述的方法，其進(jìn)一步包括： 確定補(bǔ)充增強(qiáng)信息SEI消息為前綴SEI消息還是后綴SEI消息，其中所述SEI消息包 含與視頻數(shù)據(jù)的所述經(jīng)編碼切片有關(guān)的數(shù)據(jù)；及 將所述SEI消息封裝于SEI NAL單元中，其中所述SEI NAL單元包含NAL單元類型值， 所述NAL單元類型值指示所述SEI NAL單元為前綴SEI NAL單元還是后綴SEI NAL單元， 及所述SEI消息為前綴SEI消息還是后綴SEI消息， 其中產(chǎn)生所述位流進(jìn)一步包括產(chǎn)生所述位流以包含所述SEI NAL單元。
29. 根據(jù)權(quán)利要求28所述的方法，其中產(chǎn)生所述位流包括將所述SEI NAL單元封裝于 存取單元AU中，使得當(dāng)所述NAL單元類型值指示所述SEI NAL單元為后綴SEINAL單元時(shí)， 所述SEI NAL單元在解碼次序上在所述AU中的第一視頻譯碼層VCLNAL單元之后。
30. 根據(jù)權(quán)利要求29所述的方法，其中產(chǎn)生所述位流進(jìn)一步包括將所述SEI NAL單元 封裝于所述AU中，使得當(dāng)所述NAL單元類型值指示所述SEI NAL單元為所述后綴SEI NAL 單元時(shí)，所述SEI NAL單元在解碼次序上進(jìn)一步接在所述AU中的最后VCLNAL單元之后。
31. -種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置，所述裝置包括處理器，所述處理器經(jīng)配 置以：確定隨機(jī)存取點(diǎn)RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片包 括瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片；將所述RAP圖片的切片封裝于網(wǎng) 絡(luò)抽象層NAL單元中，其中所述NAL單元包含指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引 導(dǎo)圖片的類型的NAL單元類型值；及產(chǎn)生包含所述NAL單元的位流。
32. 根據(jù)權(quán)利要求31所述的裝置，其中所述RAP圖片包括所述CRA圖片，其中所述處理 器經(jīng)配置以確定所述RAP圖片為可具有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的 類型，且其中所述處理器經(jīng)配置以設(shè)定所述NAL單元類型值的值以指示所述CRA圖片可具 有相關(guān)聯(lián)的TFD引導(dǎo)圖片。
33. 根據(jù)權(quán)利要求31所述的裝置，其中所述處理器經(jīng)配置以設(shè)定所述NAL單元類型值 的值以指示所述RAP圖片包括所述IDR圖片還是所述CRA圖片。
34. 根據(jù)權(quán)利要求31所述的裝置，其中所述處理器經(jīng)進(jìn)一步配置以：確定補(bǔ)充增強(qiáng)信 息SEI消息為前綴SEI消息還是后綴SEI消息，其中所述SEI消息包含與視頻數(shù)據(jù)的所述 經(jīng)編碼切片有關(guān)的數(shù)據(jù)；將所述SEI消息封裝于SEI NAL單元中，其中所述SEI NAL單元包 含NAL單元類型值，所述NAL單元類型值指示所述SEI NAL單元為前綴SEI NAL單元還是 后綴SEI NAL單元，及所述SEI消息為前綴SEI消息還是后綴SEI消息；及產(chǎn)生所述位流以 包含所述SEI NAL單元。
35. 根據(jù)權(quán)利要求34所述的裝置，其中所述處理器經(jīng)配置以將所述SEI NAL單元封裝 于存取單元AU中，使得當(dāng)所述NAL單元類型值指示所述SEI NAL單元為后綴SEINAL單元 時(shí)，所述SEI NAL單元在解碼次序上在所述AU中的第一視頻譯碼層VCLNAL單元之后。
36. 根據(jù)權(quán)利要求35所述的裝置，其中所述處理器經(jīng)配置以將所述SEI NAL單元封裝 于所述AU中，使得當(dāng)所述NAL單元類型值指示所述SEI NAL單元為所述后綴SEINAL單元 時(shí)，所述SEI NAL單元在解碼次序上進(jìn)一步接在所述AU中的最后VCLNAL單元之后。
37. -種用于產(chǎn)生包含視頻數(shù)據(jù)的位流的裝置，所述裝置包括： 用于確定隨機(jī)存取點(diǎn)RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖 片包括瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片的裝置； 用于將所述RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層NAL單元中的裝置，其中所述NAL單元 包含指示所述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型的NAL單元類型值；及 用于產(chǎn)生包含所述NAL單元的位流的裝置。
38. 根據(jù)權(quán)利要求37所述的裝置，其中所述RAP圖片包括所述CRA圖片，其中用于確定 的所述裝置包括用于確定所述RAP圖片為可具有包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引 導(dǎo)圖片的類型的裝置，且其中用于封裝所述切片的所述裝置包括用于設(shè)定所述NAL單元類 型值的值以指示所述CRA圖片可具有相關(guān)聯(lián)的TFD引導(dǎo)圖片的裝置。
39. 根據(jù)權(quán)利要求37所述的裝置，其中用于封裝所述切片的所述裝置包括用于設(shè)定所 述NAL單元類型值的值以指示所述RAP圖片包括所述IDR圖片還是所述CRA圖片的裝置。
40. 根據(jù)權(quán)利要求37所述的裝置，其進(jìn)一步包括： 用于確定補(bǔ)充增強(qiáng)信息SEI消息為前綴SEI消息還是后綴SEI消息的裝置，其中所述 SEI消息包含與視頻數(shù)據(jù)的所述經(jīng)編碼切片有關(guān)的數(shù)據(jù)；及 用于將所述SEI消息封裝于SEI NAL單元中的裝置，其中所述SEI NAL單元包含NAL 單元類型值，所述NAL單元類型值指示所述SEI NAL單元為前綴SEI NAL單元還是后綴SEI NAL單元，及所述SEI消息為前綴SEI消息還是后綴SEI消息， 其中用于產(chǎn)生所述位流的所述裝置進(jìn)一步包括用于產(chǎn)生所述位流以包含所述SEINAL 單元的裝置。
41. 根據(jù)權(quán)利要求40所述的裝置，其中用于產(chǎn)生所述位流的所述裝置包括用于將所述 SEI NAL單元封裝于存取單元AU中，使得當(dāng)所述NAL單元類型值指示所述SEINAL單元為 后綴SEI NAL單元時(shí)，所述SEI NAL單元在解碼次序上在所述AU中的第一視頻譯碼層VCL NAL單元之后的裝置。
42. 根據(jù)權(quán)利要求41所述的裝置，其中用于產(chǎn)生所述位流的所述裝置進(jìn)一步包括用于 將所述SEI NAL單元封裝于所述AU中，使得當(dāng)所述NAL單元類型值指示所述SEINAL單元 為所述后綴SEI NAL單元時(shí)，所述SEI NAL單元在解碼次序上進(jìn)一步接在所述AU中的最后 VCL NAL單元之后的裝置。
43. -種其上存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng)執(zhí)行時(shí)使得處理器進(jìn) 行以下操作： 確定隨機(jī)存取點(diǎn)RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型，及所述RAP圖片包 括瞬時(shí)解碼器刷新IDR圖片還是清潔隨機(jī)存取CRA圖片； 將所述RAP圖片的切片封裝于網(wǎng)絡(luò)抽象層NAL單元中，其中所述NAL單元包含指示所 述RAP圖片是否為可具有相關(guān)聯(lián)的引導(dǎo)圖片的類型的NAL單元類型值；及 產(chǎn)生包含所述NAL單元的位流。
44. 根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述RAP圖片包括所述CRA圖 片，其中使得所述處理器確定的所述指令包括使得所述處理器確定所述RAP圖片為可具有 包含加標(biāo)志為丟棄TFD引導(dǎo)的相關(guān)聯(lián)的引導(dǎo)圖片的類型的指令，且其中使得所述處理器封 裝所述切片的所述指令包括使得所述處理器設(shè)定所述NAL單元類型值的值以指示所述CRA 圖片可具有相關(guān)聯(lián)的TFD引導(dǎo)圖片的指令。
45. 根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中使得所述處理器封裝所述切片 的所述指令包括使得所述處理器設(shè)定所述NAL單元類型值的值以指示所述RAP圖片包括所 述IDR圖片還是所述CRA圖片的指令。
46. 根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包括使得所述處理器進(jìn)行 以下操作的指令： 確定補(bǔ)充增強(qiáng)信息SEI消息為前綴SEI消息還是后綴SEI消息，其中所述SEI消息包 含與視頻數(shù)據(jù)的所述經(jīng)編碼切片有關(guān)的數(shù)據(jù)；及 將所述SEI消息封裝于SEI NAL單元中，其中所述SEI NAL單元包含NAL單元類型值， 所述NAL單元類型值指示所述SEI NAL單元為前綴SEI NAL單元還是后綴SEI NAL單元， 及所述SEI消息為前綴SEI消息還是后綴SEI消息， 其中使得所述處理器產(chǎn)生所述位流的所述指令進(jìn)一步包括使得所述處理器產(chǎn)生所述 位流以包含所述SEI NAL單元的指令。
47. 根據(jù)權(quán)利要求46所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中使得所述處理器產(chǎn)生所述位流 的所述指令包括使得所述處理器將所述SEI NAL單元封裝于存取單元AU中，使得當(dāng)所述 NAL單元類型值指示所述SEI NAL單元為后綴SEI NAL單元時(shí)，所述SEI NAL單元在解碼次 序上在所述AU中的第一視頻譯碼層VCL NAL單元之后的指令。
48. 根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中使得所述處理器產(chǎn)生所述位流 的所述指令進(jìn)一步包括使得所述處理器將所述SEI NAL單元封裝于所述AU中，使得當(dāng)所述 NAL單元類型值指示所述SEI NAL單元為所述后綴SEI NAL單元時(shí)，所述SEI NAL單元在解 碼次序上進(jìn)一步接在所述AU中的最后VCL NAL單元之后的指令。
【文檔編號(hào)】H04N19/573GK104429085SQ201380036238
【公開日】2015年3月18日 申請(qǐng)日期:2013年7月8日 優(yōu)先權(quán)日:2012年7月10日
【發(fā)明者】王益魁 申請(qǐng)人:高通股份有限公司