用于視頻譯碼的具有解碼次序編號(hào)的單個(gè)網(wǎng)絡(luò)抽象層單元包的制作方法
【專利說明】用于視頻譯碼的具有解碼次序編號(hào)的單個(gè)網(wǎng)絡(luò)抽象層單元包
[0001]本申請(qǐng)案主張2013年5月31日申請(qǐng)的第61/829，950號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的權(quán)益，所述申請(qǐng)案的全部?jī)?nèi)容以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及視頻數(shù)據(jù)的處理。
【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會(huì)議裝置、視頻流式傳輸裝置及其類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高級(jí)視頻譯碼(AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置通過實(shí)施此類視頻壓縮技術(shù)可更有效地發(fā)射、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0004]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測(cè)及/或時(shí)間(圖片間)預(yù)測(cè)來減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻切片(即，視頻幀或視頻幀的一部分)分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元(CU)及/或譯碼節(jié)點(diǎn)。圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊是使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)來編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)，或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被稱為幀，且參考圖片可被稱為參考幀。
[0005]空間或時(shí)間預(yù)測(cè)產(chǎn)生用于待譯碼塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼原始?jí)K與預(yù)測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本塊的運(yùn)動(dòng)向量及指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)而編碼。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，接著可對(duì)殘余變換系數(shù)進(jìn)行量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)更多壓縮。
[0006]可使用一或多個(gè)協(xié)議發(fā)射及接收視頻數(shù)據(jù)。每一協(xié)議可指定各種內(nèi)容及格式要求用于在使用所述協(xié)議時(shí)發(fā)射及/或接收數(shù)據(jù)。舉例來說，一些協(xié)議可將數(shù)據(jù)流或組分離成信息塊以用于經(jīng)由一或多個(gè)網(wǎng)絡(luò)傳輸。在一些協(xié)議中，此分隔程序可稱為包化或成幀。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的技術(shù)提供用于處理使用例如實(shí)時(shí)傳輸協(xié)議(RTP)等網(wǎng)絡(luò)協(xié)議發(fā)送及接收的視頻數(shù)據(jù)的方法及設(shè)備。更具體來說，本文所述的技術(shù)提供可配合各種發(fā)射參數(shù)及模式而使用的單個(gè)NAL單元包格式。
[0008]在本發(fā)明的一個(gè)實(shí)例中，一種處理實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載中的視頻數(shù)據(jù)的方法包含:將視頻數(shù)據(jù)囊封于用于RTP會(huì)話的單個(gè)網(wǎng)絡(luò)抽象層(NAL)單元包中，其中所述單個(gè)NAL單元包含有單個(gè)NAL單元；以及基于以下各者中的至少一者將解碼次序編號(hào)信息囊封于所述單個(gè)NAL單元包中:所述RTP會(huì)話呈多流發(fā)射(MST)模式，或解包化緩沖器中的在接收次序上可先于所述NAL單元且在解碼次序上在所述NAL單元之后的NAL單元的最大數(shù)目大于O。
[0009]在本發(fā)明的另一實(shí)例中，一種處理實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載中的視頻數(shù)據(jù)的方法包含:解封囊封于用于RTP會(huì)話的單個(gè)網(wǎng)絡(luò)抽象層(NAL)單元包中的視頻數(shù)據(jù)，其中所述單個(gè)NAL單元包含有單個(gè)NAL單元；以及基于以下各者中的至少一者解封囊封于所述單個(gè)NAL單元包中的解碼次序編號(hào)信息:所述RTP會(huì)話呈多流發(fā)射(MST)模式，或解包化緩沖器中的在接收次序上可先于所述NAL單元且在解碼次序上在所述NAL單元之后的NAL單元的最大數(shù)目大于O。
[0010]在本發(fā)明的另一實(shí)例中，一種經(jīng)配置以處理實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載中的視頻數(shù)據(jù)的設(shè)備包含:存儲(chǔ)器，其經(jīng)配置以存儲(chǔ)視頻數(shù)據(jù)；以及處理器，其經(jīng)配置以:在實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載內(nèi)將視頻數(shù)據(jù)囊封于用于RTP會(huì)話的單個(gè)網(wǎng)絡(luò)抽象層(NAL)單元包中，其中所述單個(gè)NAL單元包含有單個(gè)NAL單元；以及基于以下各者中的至少一者將解碼次序編號(hào)信息囊封于所述單個(gè)NAL單元包中:所述RTP會(huì)話呈多流發(fā)射(MST)模式，或解包化緩沖器中的在接收次序上可先于所述NAL單元且在解碼次序上在所述NAL單元之后的NAL單元的最大數(shù)目大于O。
[0011]在本發(fā)明的一個(gè)實(shí)例中，一種處理實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載中的視頻數(shù)據(jù)的設(shè)備包含:用于將視頻數(shù)據(jù)囊封于用于RTP會(huì)話的單個(gè)網(wǎng)絡(luò)抽象層(NAL)單元包中的裝置，其中所述單個(gè)NAL單元包含有單個(gè)NAL單元；以及用于基于以下各者中的至少一者將解碼次序編號(hào)信息囊封于所述單個(gè)NAL單元包中的裝置:所述RTP會(huì)話呈多流發(fā)射(MST)模式，或解包化緩沖器中的在接收次序上可先于所述NAL單元且在解碼次序上在所述NAL單元之后的NAL單元的最大數(shù)目大于O。
[0012]—或多個(gè)實(shí)例的細(xì)節(jié)陳述于附圖及以下描述中。其它特征、目標(biāo)及優(yōu)勢(shì)將從描述及附圖及權(quán)利要求書中顯而易見。
【附圖說明】
[0013]圖1是說明可利用本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)的概念圖。
[0014]圖2是展示HEVC網(wǎng)絡(luò)抽象層(NAL)單元標(biāo)頭的結(jié)構(gòu)的概念圖。
[0015]圖3是展示用于聚合包的實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載格式的結(jié)構(gòu)的概念圖。
[0016]圖4是展示聚合包中的第一集合單元的結(jié)構(gòu)的概念圖。
[0017]圖5是展示用于單個(gè)NAL單元包的RTP有效負(fù)載格式的結(jié)構(gòu)的概念圖。
[0018]圖6是展示根據(jù)本發(fā)明的技術(shù)的用于單個(gè)NAL單元包的RTP有效負(fù)載格式的實(shí)例的概念圖。
[0019]圖7是展示根據(jù)本發(fā)明的技術(shù)的用于單個(gè)NAL單元包的RTP有效負(fù)載格式的另一實(shí)例的概念圖。
[0020]圖8是說明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼器的概念圖。
[0021]圖9是說明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0022]圖10是說明形成網(wǎng)絡(luò)的部分的一組實(shí)例裝置的框圖。
[0023]圖11是說明根據(jù)本發(fā)明的技術(shù)的用于以RTP有效負(fù)載格式囊封視頻數(shù)據(jù)的實(shí)例操作的流程圖。
[0024]圖12是說明根據(jù)本發(fā)明的技術(shù)的用于解封以RTP有效負(fù)載格式囊封的視頻數(shù)據(jù)的實(shí)例操作的流程圖。
【具體實(shí)施方式】
[0025]本發(fā)明介紹用于包化視頻數(shù)據(jù)的各種技術(shù)及裝置。在一或多個(gè)實(shí)例中，本發(fā)明提出用于傳輸視頻數(shù)據(jù)的實(shí)時(shí)傳輸協(xié)議(RTP)有效負(fù)載格式的改善設(shè)計(jì)。明確地說，本發(fā)明提出用于用信號(hào)表示用于單個(gè)網(wǎng)絡(luò)抽象層(NAL)單元RTP包的解碼次序編號(hào)(DON)的技術(shù)。用于傳輸單個(gè)NAL單元包的先前技術(shù)與某些發(fā)射模式及發(fā)射參數(shù)不兼容。實(shí)際上，先前技術(shù)需要單個(gè)NAL單元在聚合包中發(fā)射，從而招致增大的開銷及減小的輸送量。通過將解碼次序編號(hào)信息包含在靈活的單個(gè)NAL單元包中，本文所述的技術(shù)可允許更有效地發(fā)射單個(gè)NAL單元，且使得能夠配合各種發(fā)射模式及發(fā)射參數(shù)使用單個(gè)NAL單元包。
[0026]圖1是說明可結(jié)合本發(fā)明中描述的技術(shù)使用的實(shí)例視頻處理系統(tǒng)10的框圖。舉例來說，系統(tǒng)10可經(jīng)配置以使用本發(fā)明中描述的RTP技術(shù)產(chǎn)生、處理及傳輸視頻數(shù)據(jù)。如圖1中所示，系統(tǒng)10包含源裝置12，其提供稍后將由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。經(jīng)編碼視頻數(shù)據(jù)可通過媒體感知網(wǎng)絡(luò)元件(MANE) 29從源裝置12路由到目的地裝置14。源裝置12及目的地裝置14可包括多種多樣的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)(例如所謂的“智能”電話)、所謂的“智能”平板電腦、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置或類似者。在一些情況下，可裝備源裝置12及目的地裝置14以用于無線通
?目O
[0027]系統(tǒng)10可根據(jù)不同視頻譯碼標(biāo)準(zhǔn)、專屬標(biāo)準(zhǔn)或多視圖譯碼的任何其它方式操作。舉例來說，視頻編碼器20及視頻解碼器30可根據(jù)視頻壓縮標(biāo)準(zhǔn)操作，所述視頻壓縮標(biāo)準(zhǔn)例如 ITU-T H.26UIS0/IEC MPEG-1 VisuaUITU-T H.262 或 IS0/IEC MPEG-2 VisuaUITU-TH.263、IS0/IEC MPEG-4 Visual 及 ITU-T H.264(也被稱作 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼(SVC)及多視圖視頻譯碼(MVC)擴(kuò)展。MVC擴(kuò)展的最近公開可用的聯(lián)合草案描述于2010年3月的“用于通用視聽服務(wù)的高級(jí)視頻譯碼”，ITU-T建議H.264中。MVC擴(kuò)展的更為新近的公開可用的聯(lián)合草案描述于2011年6月的“用于通用視聽服務(wù)的高級(jí)視頻譯碼”，ITU-T建議H.264中。MVC擴(kuò)展的當(dāng)前聯(lián)合草案已從2012年I月起獲得審批。
[0028]此外，存在一種新的視頻譯碼標(biāo)準(zhǔn)，即高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)，其已由ITU-T視頻譯碼專家組(VCEG)及IS0/IEC動(dòng)畫專家組(MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)進(jìn)行開發(fā)。被稱作“HEVC工作草案10”或“WD10”的HEVC標(biāo)準(zhǔn)的一個(gè)草案描述于布洛斯(Bross)等人的文檔JCTVC-L1003v34 “高效率視頻譯碼(HEVC)文字規(guī)范草案10(Highefficiency video coding (HEVC) text specificat1n draft 10)，，(ITU-T SG16WP3 及IS0/IEC JTC1/SC29/WG11的視頻譯碼聯(lián)合合作小組(JCT-VC)，第12次會(huì)議:瑞士日內(nèi)瓦，2013年I月14日到23日)中，所述文檔從2014年4月30日起可從http://phenix.1nt-evry.fr/ict/doc end user/documents/12 Geneva/wRll/.TCTVC-L1003-v34.zipT載。HEVC WDlO的全部?jī)?nèi)容在此以引用的方式并入本文中。
[0029]出于描述的目的，在HEVC或H.264標(biāo)準(zhǔn)及此些標(biāo)準(zhǔn)的擴(kuò)展的上下文中描述視頻編碼器20及視頻解碼器30。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實(shí)例包含MPEG-2及ITU-T H.263。例如稱為0n2 VP6/VP7/VP8的那些譯碼技術(shù)的專屬譯碼技術(shù)也可實(shí)施本文所述的技術(shù)中的一或多者。本發(fā)明的技術(shù)潛在地適用于幾種視頻譯碼標(biāo)準(zhǔn)，包含HEVC等。
[0030]目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一個(gè)實(shí)例中，鏈路16可包括使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)(例如無線通信協(xié)議)得到調(diào)制，并且被發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個(gè)物理發(fā)射線路。通信媒體可形成分組網(wǎng)絡(luò)(例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng))的一部分。通信媒體可包含路由器、交換器、基站或任何其它可用于便于從源裝置12到目的地裝置14的通信的設(shè)備。鏈路16可包含一或多個(gè)MANE，例如MANE 29，其將視頻數(shù)據(jù)從源裝置12路由到目的地裝置14。
[0031]或者，可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲(chǔ)裝置27。類似地，可通過輸入接口從存儲(chǔ)裝置27存取經(jīng)編碼數(shù)據(jù)。存儲(chǔ)裝置27可包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體中的任一種，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、⑶-R0M、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器或任何其它用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的合適的數(shù)字存儲(chǔ)媒體。在另一實(shí)例中，存儲(chǔ)裝置27可對(duì)應(yīng)于文件服務(wù)器或可保存源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲(chǔ)裝置。
[0032]目的地裝置14可經(jīng)由流式傳輸或下載從存儲(chǔ)裝置27存取所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可為任何類型的能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)并且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)(NAS)裝置或本地磁盤驅(qū)動(dòng)器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。這可包含適合于存取存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置27的傳輸可為流式傳輸、下載傳輸或兩者的組合。從存儲(chǔ)裝置27檢索的視頻數(shù)據(jù)可使用一或多個(gè)MANE (例如MANE 29)路由到目的地裝置14。
[0033]本發(fā)明的技術(shù)不必限于無線應(yīng)用或設(shè)置。所述技術(shù)可應(yīng)用于視頻譯碼以支持多種多媒體應(yīng)用中的任一種，例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、流式視頻傳輸(例如，經(jīng)由因特網(wǎng))、編碼視頻數(shù)據(jù)以存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上、解碼存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上的視頻數(shù)據(jù)，或其它應(yīng)用。在