專利名稱：壓縮視頻中屬于互相關(guān)性層的圖片的通知和抽取的制作方法
壓縮視頻中屬于互相關(guān)性層的圖片的通知和抽取
本申請的申請日為2009年5月18日，對除美國外的所有國家指定的申請人 是一家美國公司“思科技術(shù)公司”，僅對美國指定的申請人是均為美國公民的Arturo A. Rodriguez和Benjamin Μ. Cook，本申請要求申請日為2008年5月21日的美國專利申請 第12/1 ，779號的優(yōu)先權(quán)。技術(shù)領(lǐng)域
特定實施例一般涉及在網(wǎng)絡(luò)系統(tǒng)中處理視頻流。
技術(shù)背景
預(yù)期利用先進視頻壓縮方法實現(xiàn)數(shù)字視頻對于應(yīng)用和網(wǎng)絡(luò)系統(tǒng)擴展的可用性和 功能水平與已確立的壓縮方法所擴展的相同。遍及網(wǎng)絡(luò)系統(tǒng)的視頻處理裝置應(yīng)當繼續(xù)具備 現(xiàn)有的視頻流操縱能力水平或更佳。
當提供用于根據(jù)先進視頻編碼(AVC)標準壓縮和格式化的視頻流(本文中稱為 AVC流)的視頻流操縱功能時，難以確定視頻流是否適于特定的流操縱操作或適于擴展終 端用戶功能(例如不同的視頻回放模式)的操作。同樣，位于遍及網(wǎng)絡(luò)系統(tǒng)的若干位置中 任意位置的視頻處理設(shè)備難以實現(xiàn)對AVC流的操縱操作。這是因為AVC標準通常具有一組 大量的壓縮工具并可以較之先前的視頻編碼標準更精細和全面的方式利用圖片間的時間 冗余。
AVC流的壓縮較之利用先前的視頻編碼標準編碼的視頻流更加高效。然而，AVC流 往往表現(xiàn)出圖片互相關(guān)性方面的更高復(fù)雜度，這使其難以實現(xiàn)流操縱操作。


圖1的高級框圖示出了一示例環(huán)境，其中實現(xiàn)了對壓縮視頻和標識各圖片互相關(guān) 性層中圖片的信息的處理的系統(tǒng)和方法的實施例。
圖2是圖1所示的數(shù)字家庭通信終端(DHCT)和相關(guān)設(shè)備的實施例，其中至少部分 地實現(xiàn)了對壓縮視頻和標識各圖片互相關(guān)性層中圖片的信息的處理的系統(tǒng)和方法的實施 例。
圖3的框圖示出了示例性傳輸流生成。
圖4A和4B的框圖示出了傳輸流生成器所提供的示例性壓縮圖片序列中的圖片互 相關(guān)性。
圖5的框圖示出了圖片互相關(guān)性層的層次結(jié)構(gòu)。
圖6是提供關(guān)于圖片互相關(guān)性層的信息的各種方式的框圖。
圖7是示出包含多個字段的數(shù)據(jù)結(jié)構(gòu)的實施例的框圖，所述多個字段用于分別斷 言關(guān)于一個或多個圖片互相關(guān)性層的信息的存在。
圖8的框圖示出了圖7的數(shù)據(jù)結(jié)構(gòu)的示例性實施例。
圖9A-9E的框圖示出了基于圖4A所示的示例性圖片序列的各種位圖構(gòu)造。
具體實施方式
纖
在一個實施例中，一種方法包括提供視頻流；以及提供標識所述視頻流中與各 圖片互相關(guān)性層相對應(yīng)的壓縮圖片的信息。在另一實施例中，一種方法包括接收視頻流； 接收表示所述視頻流中與各圖片互相關(guān)性層相對應(yīng)的壓縮圖片的信息；以及從所述視頻流 中抽取所標識的圖片中的一個或多個圖片。
示例實施例
在以下出版物中可以找到對MPEG-2視頻編碼標準的描述，該出版物在此被合 并參考(1)IS0/IEC 13818-2，(2000), “ Information Technology-Generic coding of moving pictures and associated audio-Video，，。在以下出版物中可以找到對AVC視頻編 碼標準的描述，該出版物在此被合并參考(2) ITU-T Rec. H. 264(2005)，"Advanced video coding for generic audiovisual services，，。在以下出版物中可以找到對用于以MPEG-2 傳輸分組傳輸AVC視頻流的MPEG-2系統(tǒng)的描述，該出版物在此被合并參考(3) IS0/IEC 13818-1, (2000), “Information Technology-Generic coding of moving pictures and associated audio-Part 1 =Systems",和(4)ITU-T Rec. H. 222. 0|IS0/IEC 13818-1 2000/AMD. 3, (2004) ,"Transport of AVC video data over ITU-T Rec. H222. 0|IS0/IEC 13818-lstreams”。
注意，遍及本說明書使用的“位圖相關(guān)信息”指與圖片互相關(guān)性層相關(guān)或有關(guān)的斷 言(assertion)和/或位圖或其他信息。遍及本說明書，“層”(tier)應(yīng)理解為指圖片互相 關(guān)性層(picture interdependency tier)。
注意，遍及本說明書使用的“圖片”指來自以多種形式中的一種構(gòu)成視頻或數(shù)字視 頻的圖片序列的圖像部分或完整圖像。遍及本說明書，“視頻節(jié)目”或?qū)梢晝?nèi)容的其他提 及應(yīng)理解為包括電視節(jié)目、電影，或其他任何傳達或定義諸如通過個人攝像機提供的可視 內(nèi)容之類的可視內(nèi)容的信號。這種視頻節(jié)目當被傳遞時可以包括壓縮數(shù)據(jù)流，該壓縮數(shù)據(jù) 流對應(yīng)于復(fù)用和分組化成諸如MPEG-2傳輸(MPEG-2 Transport)之類的傳輸流的圖片和其 他元素的一個或多個序列構(gòu)成的整體，所述其他元素包括視頻、音頻和/或其他數(shù)據(jù)。
視頻流還可指與任何視頻服務(wù)或數(shù)字視頻應(yīng)用相對應(yīng)的壓縮數(shù)字可視數(shù)據(jù)，所述 視頻服務(wù)或數(shù)字視頻應(yīng)用包括但不限于視頻節(jié)目、視頻會議或視頻電話會話、通過網(wǎng)絡(luò)系 統(tǒng)中的通信信道發(fā)送或接收視頻流的任何數(shù)字視頻應(yīng)用，或在存儲裝置或內(nèi)存裝置中存儲 了視頻流或從存儲裝置或內(nèi)存裝置檢索視頻流的任何數(shù)字視頻應(yīng)用。所公開的實施例可以 許多不同形式實現(xiàn)，不應(yīng)解釋為限于這里闡述的實施例；而是提供了這些實施例以使得本 公開將更全面和完整，并將會充分地將公開的范圍傳達給本領(lǐng)域的普通技術(shù)人員。雖然遍 及本說明書將數(shù)字家庭通信終端(DHCT)用作示例裝置，但本文中描述的特定實施例擴展 到有能力接收和處理AVC流的其他類型的接收機。例如，特定實施例可應(yīng)用于經(jīng)由通信信 道耦合到網(wǎng)絡(luò)系統(tǒng)的手持接收機和/或移動接收機。本文中描述的某些實施例還擴展到具 有接收和/或發(fā)送功能以及其他功能的網(wǎng)絡(luò)裝置(例如編碼器、交換機等)。特定實施例還 可應(yīng)用于任何視頻服務(wù)使能接收機(VSER)，還可應(yīng)用于諸如有能力處理AVC流的媒體播放 器之類的電子裝置，而與這些電子裝置是否耦合到網(wǎng)絡(luò)系統(tǒng)無關(guān)。此外，本文中給出的所有4實施例、圖示和示例都希望是非限制性的，并且是作為示例列表提供的，還有想到了但未示 出的其他示例。
圖1是示出了示例環(huán)境的高級框圖，在該示例環(huán)境中，系統(tǒng)和方法的實施例實現(xiàn) 了對壓縮視頻和標識各圖片互相關(guān)性層中圖片的信息的處理。具體而言，圖1是示出了示 例性訂戶電視系統(tǒng)(STS) 100的框圖。在此示例中，STS 100包括頭端110和DHCT 200，它 們經(jīng)由網(wǎng)絡(luò)130耦合起來。DHCT 200通常位于用戶的住所或辦公場所，并可以是一單獨單 元或集成到諸如顯示裝置140或個人計算機(未示出)以及其他裝置之類的另一裝置中。 DHCT 200通過網(wǎng)絡(luò)130從頭端110接收信號(視頻、音頻和/或其他數(shù)據(jù))，該信號例如包 括數(shù)字化視頻信號的壓縮表示的數(shù)字視頻信號，例如調(diào)制在載波信號上的AVC流，和/或調(diào) 制在載波信號上的模擬信息，等等，并將相反信息通過網(wǎng)絡(luò)130提供給頭端110。
網(wǎng)絡(luò)130可以包括用于傳送視頻和電視服務(wù)數(shù)據(jù)的任何合適介質(zhì)，例如包括有線 電視網(wǎng)絡(luò)或衛(wèi)星電視網(wǎng)絡(luò)，等等。頭端110可包括一個或多個服務(wù)器裝置(未示出)，用于 向諸如DHCT 200之類的客戶裝置提供視頻、音頻和其他類型的媒體或數(shù)據(jù)。
頭端110還包括一個或多個編碼器或壓縮引擎111，其在一個實施例中將圖片互 相關(guān)性相關(guān)信息(例如與圖片互相關(guān)性有關(guān)的位圖、標志，和/或其他消息，和/或斷言關(guān) 于一個或多個圖片互相關(guān)性層的信息的存在的信息，如下文進一步描述的)提供或插入到 傳輸流中，以使能或幫助DHCT 200或其他網(wǎng)絡(luò)裝置從視頻流中解碼、分析和/或抽取頂層 的圖片和/或丟棄底層的圖片，如下文進一步說明的。雖然示為駐留在頭端110中，但編碼 器可位于網(wǎng)絡(luò)中其他位置。例如，對與圖片互相關(guān)性層相關(guān)的斷言和位圖或其他信息的插 入或提供可以在頭端110的上游或外部實現(xiàn)。頭端110和DHCT 200進行合作以給用戶提 供電視服務(wù)，該電視服務(wù)例如包括廣播視頻節(jié)目、互動式節(jié)目指南(IPG)，和/或視頻點播 (VOD)呈現(xiàn)，等等。電視服務(wù)經(jīng)由顯示裝置140呈現(xiàn)，該顯示裝置通常是電視機，其被根據(jù)其 類型而利用隔行掃描視頻號或逐行掃描視頻信號驅(qū)動。然而，顯示裝置140也可以是能夠 顯示視頻圖像的其他任何裝置，例如包括計算機監(jiān)視器。雖然示為與顯示裝置140通信，但 DHCT 200可與接收、存儲和/或處理來自DHCT 200的視頻流或向DHCT 200提供或發(fā)送視 頻流或未壓縮視頻信號的其他裝置進行通信。
圖2是圖1所示的DHCT 200和相關(guān)設(shè)備的實施例的框圖，其中系統(tǒng)和方法的實施 例至少部分地實現(xiàn)了對壓縮視頻和標識各圖片互相關(guān)性層中圖片的信息的處理。將理解圖 2所示的DHCT 200僅僅是說明性的，不應(yīng)解釋為暗示對公開范圍的任何限制。例如，在一 些實施例中，DHCT 200可以具有比圖2所示的組件更少、更多和/或不同的組件。所描述 的DHCT 200和/或編碼器111的子系統(tǒng)和方法中任一者都可包括用于實現(xiàn)邏輯功能的可 執(zhí)行指令的有序列表，可以實現(xiàn)在任何計算機可讀介質(zhì)中以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置 使用或與之協(xié)同，例如能從指令執(zhí)行系統(tǒng)、設(shè)備或裝置取得指令并執(zhí)行指令的基于計算機 的系統(tǒng)、包含處理器的系統(tǒng)或其他系統(tǒng)。在本文檔的上下文中，“計算機可讀介質(zhì)”可以是 能包含、存儲、傳送、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與之協(xié)同的任 何裝置。計算機可讀介質(zhì)例如可以是但不限于電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、設(shè)備、裝 置或傳播介質(zhì)。計算機可讀介質(zhì)的更具體的示例(非窮舉列表)將會包括以下項具有一 條或多條導(dǎo)線的電連接(電子的)、便攜式計算機盤(磁的)、隨機存取存儲器(RAM)(電子 的)、只讀存儲器(ROM)(電子的)、可擦除可編程只讀存儲器(EPR0M或閃存)(電子的)、光纖(光的)，以及便攜式緊致盤只讀存儲器(CDROM)(光的)。
DHCT 200通常位于用戶的住所或辦公場所，并可以是一單獨單元或集成到諸如電 視機或個人計算機之類的另一裝置中。DHCT 200優(yōu)選地包括用于通過網(wǎng)絡(luò)130(圖1)從頭 端110 (圖1)接收信號(視頻、音頻和/或其他數(shù)據(jù))的通信接口 M2，并將相反信息提供 給頭端110。
DHCT 200還可包括用于控制DHCT 200的操作的一個或多個處理器(示出了一個 處理器M4)、用于驅(qū)動電視顯示器140(圖1)的輸出系統(tǒng)M8，以及用于調(diào)諧到特定電視頻 道和/或頻率并用于向/從頭端110發(fā)送和接收各種類型的數(shù)據(jù)的調(diào)諧器系統(tǒng)M5。DHCT 200在一些實施例中可包括用于接收所下載(或所發(fā)送)數(shù)據(jù)的多個調(diào)諧器。調(diào)諧器系統(tǒng) 245可從訂戶電視系統(tǒng)100 (圖1)所提供的多個發(fā)送信號中進行選擇。調(diào)諧器系統(tǒng)245使 得DHCT 200能調(diào)諧到下游媒體和數(shù)據(jù)發(fā)送，從而允許用戶經(jīng)由訂戶電視系統(tǒng)100接收數(shù)字 媒體內(nèi)容。在一個實施例中，模擬電視信號可以經(jīng)過調(diào)諧器系統(tǒng)245接收。調(diào)諧器系統(tǒng)M5 在一種實現(xiàn)方式中包括用于雙向數(shù)據(jù)通信的帶外調(diào)諧器，和用于接收電視信號的一個或多 個調(diào)諧器(帶內(nèi))。另外，接收機246接收來自諸如遙控裝置(未示出)的輸入裝置的外部 生成的用戶輸入或命令。
DHCT 200可包括一個或多個也稱為通信端口或接口 274的有線或無線接口，用于 向其他裝置接收和/或發(fā)送數(shù)據(jù)或視頻流。例如，DHCT 200可具有USB (通用串行總線)、 以太網(wǎng)、IEEE-1394、串行和/或并行端口，等等。DHCT 200可經(jīng)由通信接口 274連接到家 庭網(wǎng)絡(luò)或局部網(wǎng)絡(luò)。DHCT 200還可包括用于接收模擬視頻信號的模擬視頻輸入端口。可以 經(jīng)由諸如手持遙控裝置或鍵盤之類的輸入裝置提供用戶輸入。
DHCT 200包括至少一個存儲裝置273，用于存儲DHCT 200接收的視頻流。與操作 系統(tǒng)253和裝置驅(qū)動器211合作的PVR應(yīng)用277實現(xiàn)向/從存儲裝置273的讀和/或?qū)懖?作，以及其他功能。處理器244可為操作系統(tǒng)253、裝置驅(qū)動器211、應(yīng)用(例如PVR 277)， 和數(shù)據(jù)輸入及輸出提供和/或幫助控制和程序執(zhí)行。處理器244還可提供和/或幫助接收 和處理位圖相關(guān)信息，識別和抽取分別屬于一個或多個層的圖片，識別和丟棄分別屬于一 個或多個層的圖片，以及在抽取或丟棄所識別的圖片之后解碼和輸出視頻流。處理器M4 還可為所接收的壓縮視頻流或DHCT 200所產(chǎn)生的壓縮視頻流幫助或提供位圖相關(guān)信息。 這里，對針對存儲裝置273的寫和/或讀操作的提及可理解為包括對存儲裝置273的一個 或多個介質(zhì)的操作。裝置驅(qū)動器211 —般是與操作系統(tǒng)253相接口和/或駐留于操作系統(tǒng) 253中的軟件模塊。裝置驅(qū)動器211在操作系統(tǒng)253的管理下與存儲裝置控制器279通信 以提供用于存儲裝置273的操作指令。由于傳統(tǒng)的裝置驅(qū)動器和裝置控制器對于本領(lǐng)域普 通技術(shù)人員是公知的，因此這里就不進一步描述各自的詳細工作的討論了。
存儲裝置273可以位于DHCT 200內(nèi)部并通過通信接口 275耦合到公共總線205。 通信接口 275可包括集成驅(qū)動電子裝置(IDE)、小型計算機系統(tǒng)接口(SCSI)、IEEE-1394或 通用串行總線(USB)，等等。作為替換或補充，存儲裝置273可以經(jīng)由通信端口 274，外部連 接到DHCT 200。通信端口 274例如可以是根據(jù)IEEE-1394、USB、SCSI或IDE規(guī)范的。在一 種實現(xiàn)方式中，視頻流是經(jīng)由通信接口 242接收到DHCT 200中并存儲在臨時存儲器緩存 (未示出)中的。臨時存儲器緩存可以是DRAM 252的一指定部分，或者直接或作為DHCT 200中組件一部分而附接的獨立存儲器。臨時緩存被實現(xiàn)和管理來使能向存儲裝置273的媒體內(nèi)容傳遞。在一些實現(xiàn)方式中，存儲裝置273的快速存取時間和高數(shù)據(jù)傳遞速率特性 使得能夠以足夠快的方式從臨時緩存讀取媒體內(nèi)容和將媒體內(nèi)容寫到存儲裝置273?？梢?實現(xiàn)多個同時的數(shù)據(jù)傳遞操作，使得在將數(shù)據(jù)從臨時緩存?zhèn)鬟f到存儲裝置273的同時，可 以接收另外的數(shù)據(jù)并將其存儲在臨時緩存中。
DHCT 200包括信號處理系統(tǒng)214，該信號處理系統(tǒng)包括解調(diào)系統(tǒng)210和傳輸解復(fù) 用和分析系統(tǒng)215(本文中稱為解復(fù)用系統(tǒng))，用于處理廣播和/或點播媒體內(nèi)容和/或數(shù) 據(jù)。信號處理系統(tǒng)214的一個或多個組件可以利用軟件、軟硬件組合，或硬件實現(xiàn)。解調(diào)系 統(tǒng)210包括用于解調(diào)模擬或數(shù)字發(fā)送信號的功能。
如上所述，編碼器或壓縮引擎可以駐留在頭端110處(例如實現(xiàn)為編碼器111)， DHCT 200中(例如實現(xiàn)為壓縮引擎217)，或其他位置。壓縮引擎217可以接收數(shù)字化未壓 縮視頻信號，例如由模擬視頻解碼器216提供的數(shù)字化未壓縮視頻信號，或由解壓縮引擎 (例如解壓縮引擎22 作為將壓縮視頻信號解壓縮的結(jié)果而產(chǎn)生的解壓縮視頻信號。在一 個實施例中，模擬視頻解碼器216所輸出的數(shù)字化圖片和相應(yīng)音頻在壓縮引擎217的輸入 端提供，該壓縮引擎根據(jù)視頻壓縮規(guī)范的句法和語義將未壓縮數(shù)字化圖片序列壓縮。從而， 壓縮引擎217實現(xiàn)了與諸如AVC標準之類相應(yīng)的視頻壓縮規(guī)范相對應(yīng)的視頻壓縮方法或算 法，以提供視頻流。壓縮引擎217還可提供用于所提供的視頻流的位圖相關(guān)信息。
本文中公開的系統(tǒng)和方法可應(yīng)用于根據(jù)視頻壓縮規(guī)范執(zhí)行的任何視頻壓縮方法， 所述視頻壓縮規(guī)范考慮了至少一種類型的壓縮圖片，該壓縮圖片可依賴于多個用于其解壓 縮和重建的參考圖片的相應(yīng)解壓縮版本。例如，壓縮引擎217可根據(jù)AVC標準的規(guī)范來壓縮 輸入的視頻，并產(chǎn)生包含不同類型壓縮圖片的AVC流，一些壓縮圖片可具有第一壓縮部分 和第二壓縮部分，該第一壓縮部分依賴于用于壓縮圖片的解壓縮和重建的第一參考圖片， 同一圖片的該第二壓縮部分依賴于不同的第二參考圖片。
在一些實施例中，具有諸如能產(chǎn)生AVC流的壓縮能力的類似壓縮能力的壓縮引擎 例如作為家庭網(wǎng)絡(luò)的一部分經(jīng)由通信端口 274連接到DHCT 200。在另一實施例中，具有諸 如能產(chǎn)生AVC流的壓縮能力的類似壓縮能力的壓縮引擎可位于頭端110或網(wǎng)絡(luò)130中的其 他位置。在各種實施例中的壓縮引擎可包括提供用于所產(chǎn)生的視頻流的位圖相關(guān)信息的能 力。
除非以其他方式規(guī)定，否則本文中使用的壓縮引擎可駐留在頭端110處(例如作 為編碼器111)，DHCT 200中(例如作為壓縮引擎217)，經(jīng)由通信端口 274連接到DHCT 200， 或其他位置。同樣，本文中使用的視頻處理裝置可駐留在頭端110處、DHCT 200中、經(jīng)由通 信端口 274連接到DHCT 200，或其他位置。在一個實施例中，壓縮引擎和視頻處理裝置駐留 在同一位置。在另一實施例中，他們駐留在不同位置。在又一實施例中，壓縮引擎和視頻處 理裝置是同一裝置。
根據(jù)諸如MPEG-2或AVC之類的指定的音頻和視頻編碼方法的句法和語義，產(chǎn)生壓 縮的視頻和音頻流，使得壓縮的視頻和音頻流可以在未來時間被解壓縮引擎222解釋以用 于解壓縮和重建。根據(jù)諸如MPEG-2系統(tǒng)中定義的MPEG-2傳輸之類的傳輸規(guī)范的句法和語 義，將每個AVC流分組化(packetize)成傳輸分組。每個傳輸分組包含頭部，該頭部具有與 相應(yīng)的AVC流相關(guān)聯(lián)的獨特的分組標識碼或PID。
解復(fù)用系統(tǒng)215可包括MPEG-2傳輸解復(fù)用能力。當被調(diào)節(jié)到承載數(shù)字發(fā)送信號的載波頻率時，解復(fù)用系統(tǒng)215使得能夠分離與所需的AVC流相對應(yīng)的數(shù)據(jù)分組，以用于進 一步處理。同時，解復(fù)用系統(tǒng)215排除了對復(fù)用傳輸流中無關(guān)或不需要的分組，例如對應(yīng)于 其他視頻流的數(shù)據(jù)分組的進一步處理。解復(fù)用系統(tǒng)215的分析能力考慮了 DHCT 200對傳 輸分組中所承載的節(jié)目相關(guān)信息的吸收。解復(fù)用系統(tǒng)215的分析能力可以考慮DHCT 200 對位圖相關(guān)信息的吸收，所述位圖相關(guān)信息例如是與一個或多個圖片互相關(guān)性層中圖片的 識別相關(guān)或有關(guān)的斷言和位圖或其他信息。
在一個實施例中，可通過在諸如MPEG-2傳輸?shù)膫鬏斄鞣纸M之類的傳輸流分組的 適配字段或其他字段的私有數(shù)據(jù)區(qū)段中規(guī)定顯式信息，來提供位圖相關(guān)信息。在一個實施 例中，這種信息的信號通知(signaling)和提供是位于視頻節(jié)目的復(fù)用級，或傳輸層處的 (而非在視頻層中)。位圖信息可以例如經(jīng)由在MPEG-2傳輸分組的適配字段中承載的私有 數(shù)據(jù)，作為未加密數(shù)據(jù)而承載。
例如，根據(jù)MPEG-2的傳輸分組結(jié)構(gòu)包括188個字節(jié)，并包括一 4字節(jié)的頭部，該頭 部具有標識傳輸分組的對應(yīng)流的獨特分組標識符或PID。可選的適配字段可跟在傳輸分組 的頭部之后。如果有適配字段的話，則包含對應(yīng)流一部分的有效載荷跟在適配字段之后。如 果沒有適配字段，則有效載荷跟在傳輸頭部之后。與AVC流中壓縮圖片相對應(yīng)的位圖相關(guān) 信息在一個實施例中設(shè)在適配字段中，從而不被認為是視頻層的一部分，這是因為適配字 段既不是傳輸分組有效載荷的一部分也不是AVC規(guī)范的一部分，而是根據(jù)MPEG-2系統(tǒng)標準 的MPEG-2傳輸?shù)木浞ê驼Z義的一部分。
傳輸流的頭部可以包括同步(sync)字節(jié)，該同步字節(jié)設(shè)置傳輸流分組的開始并 允許發(fā)送同步。傳輸流的頭部還可包括有效載荷單元起始指示符，當在承載視頻流的分組 中將該有效載荷單元起始指示符設(shè)置為某個值(例如在MPEG-2傳輸中為lb)時，該有效載 荷單元起始指示符指示出該傳輸分組的有效載荷開始于分組化基本流(PES)的分組的首 個字節(jié)。PES中所承載的視頻流可以被約束為每PES分組承載一個壓縮圖片，并且PES分組 必須始終作為傳輸流的分組有效載荷的首個字節(jié)而開始。從而，有效載荷單元起始指示符 提供了對傳輸流中所承載的視頻流的每個相繼圖片的起始的標識。注意，承載視頻流的傳 輸分組是由DHCT 200的分析能力(如上所述)從節(jié)目相關(guān)信息或節(jié)目專用信息(PSI)中 識別的。例如，在MPEG-2傳輸中，節(jié)目映射表識別節(jié)目映射表(PMT)中節(jié)目流的分組標識 符(PID)，該PMT又是經(jīng)由節(jié)目關(guān)聯(lián)表(PAT)識別的。
應(yīng)當注意，位圖相關(guān)信息是未經(jīng)加密地設(shè)置在傳輸層中的，并使得位于網(wǎng)絡(luò)中的 視頻解碼器或其他視頻處理裝置能夠針對特定應(yīng)用或操作而確定從視頻流中抽取那些圖 片和/或從視頻流中丟棄哪些圖片，而無須分析壓縮視頻層或視頻流。
位圖相關(guān)信息標識出視頻流中分別屬于一個或多個圖片互相關(guān)性層的圖片。這又 使得在視頻節(jié)目存儲在DHCT 200的硬盤驅(qū)動器中時，能夠注釋與各圖片互相關(guān)性層相對 應(yīng)的相繼圖片位置。視頻節(jié)目可以作為傳輸流而存儲。在一個替代實施例中，其可作為節(jié) 目流而存儲。所注釋的視頻節(jié)目的圖片位置可由處理器244在執(zhí)行PVR應(yīng)用277的同時處 理，以從一起始點開始抽取屬于頂層的視頻節(jié)目圖片，或從同一起始點開始抽取屬于各相 繼頂部層的另外圖片(即，升序編號的層，如下所述)，以提供技巧模式(trick mode)操作。
位于傳輸分組頭部中或適配字段中的一個或多個標志可以標識可作為用于跟蹤 位圖相關(guān)信息的起始點的起始點或隨機訪問點。例如，MPEG-2傳輸分組中的適配字段包括隨機訪問指示符和基本流優(yōu)先級指示符。
信號處理系統(tǒng)214的組件通常能夠進行QAM解調(diào)、轉(zhuǎn)發(fā)糾錯、MPEG-2傳輸流的解 復(fù)用，以及對分組和流的分析。流分析可以包括對分組化基本流或基本流的分析。分組分 析可包括對遞送與AVC流相對應(yīng)的位圖相關(guān)信息的字段的分析和處理。在一些實施例中， 由信號處理系統(tǒng)214執(zhí)行的分析抽取位圖相關(guān)信息，并且處理器244提供對位圖相關(guān)信息 的處理和解釋。在又一實施例中，處理器244執(zhí)行對位圖相關(guān)信息的分析、處理和解釋。信 號處理系統(tǒng)214還經(jīng)由DHCT 200的中斷和消息發(fā)送能力與處理器244通信。處理器M4 注釋視頻流或傳輸流內(nèi)圖片的位置，以及與視頻流相對應(yīng)的其他有關(guān)信息。作為替代或補 充，注釋可以是根據(jù)與視頻流對應(yīng)的位圖相關(guān)信息，或者從位圖相關(guān)信息得到的。由處理器 244進行的注釋使得能夠進行對所存儲的視頻節(jié)目實例的正?；胤乓约捌渌胤拍Ｊ?。常 稱為“技巧模式”的其他回放模式可包括倒退或反向回放，快進回放，或暫停或靜止。回放 模式可包括除了正?；胤潘俣戎獾囊环N或多種回放速度。在一些實施例中，位圖相關(guān)信 息由處理器244提供給解壓縮引擎222。在另一實施例中，在技巧模式的回放期間，由處理 器244將存儲在存儲裝置中的注釋提供給解壓縮引擎222。在又一實施例中，僅在技巧模式 期間提供注釋，其中處理器244編程了解壓縮引擎222來執(zhí)行技巧模式。
注釋可以僅僅是位圖相關(guān)信息。處理器244可以抽取來自頂層的圖片和/或丟棄 來自底層的圖片，如下文進一步描述的。
分組化壓縮流還可由信號處理系統(tǒng)214輸出，并作為對解壓縮引擎222的輸入而 提供，以用于音頻和/或視頻解壓縮。信號處理系統(tǒng)214可以包括其他組件(未示出)，包 括存儲器、解密器、采樣器、數(shù)字化器(例如模數(shù)轉(zhuǎn)換器)，和復(fù)用器，等等。解復(fù)用系統(tǒng)215 分析(例如讀取并解釋)傳輸分組，并將與對應(yīng)于AVC流的一個或多個位圖相對應(yīng)的信息 存放到DRAM 252中。
在實現(xiàn)對傳輸流的解復(fù)用和分析時，處理器244解釋信號處理系統(tǒng)214所輸出的 數(shù)據(jù)，并根據(jù)與視頻流相對應(yīng)的位圖相關(guān)信息，生成包括壓縮視頻流中某些圖片的絕對開 始位置的表或數(shù)據(jù)結(jié)構(gòu)(索引表20 形式的輔助數(shù)據(jù)。處理器244還處理與位圖相關(guān)信 息相對應(yīng)的信息，以做出用于PVR操作的注釋。注釋由處理器244存儲在存儲裝置中。在 一個實施例中，位圖相關(guān)信息由注釋構(gòu)成，并且其存儲在硬盤驅(qū)動器中。這種輔助數(shù)據(jù)被用 來便利在未來的PVR操作期間對所需視頻數(shù)據(jù)的檢索。
解復(fù)用系統(tǒng)215可以分析接收到的傳輸流(或由壓縮引擎217生成的流，該流在 一些實施例中可以是節(jié)目流)而不干擾其視頻流內(nèi)容，并將經(jīng)分析的傳輸流(或所生成的 節(jié)目流)存放到DRAM 252中。即使視頻節(jié)目是加密了的，處理器244也可生成注釋，這是 因為AVC流的位圖相關(guān)信息是未加密地承載的。處理器244使得DRAM 252中的傳輸流被 傳遞到存儲裝置273?？梢源鎯α硗獾南嚓P(guān)安全性、授權(quán)和/或加密信息。作為替代或補 充，與AVC流相對應(yīng)的位圖相關(guān)信息可以具有包括圖片之間互相關(guān)性的表或數(shù)據(jù)結(jié)構(gòu)的形 式，如下文進一步說明的。
注意，在一個實施例中，本文中對解碼系統(tǒng)的提及包括解碼功能和合作元件，例如 在解壓縮引擎222、處理器M4、信號處理系統(tǒng)214和存儲器的總的功能中找到的那些。在 一些實施例中，解碼系統(tǒng)可包括更少、更多或不同的元件。而且，某些系統(tǒng)和方法實施例包 括來自頭端的組件(例如編碼器111等)和/或來自DHCT 200的組件，但在一些實施例中可找到更少或更多的組件。
AVC流或其他壓縮視頻流包括可根據(jù)圖片互相關(guān)性層次結(jié)構(gòu)或圖片相關(guān)性層來編 碼的圖片。圖片基于圖片互相關(guān)性而與層的層次結(jié)構(gòu)相關(guān)聯(lián)。每個壓縮圖片屬于至多一層。 層是從作為頂層的層編號1開始，從上到下順序編號的。底層具有最高編號。一層中的圖 片不依賴于任何更高編號層上的圖片。從而，將向位圖相關(guān)信息提供一致的標識，以使得與 一層相對應(yīng)的任何所標識的圖片不依賴于屬于任何更高編號層的圖片。層的層次結(jié)構(gòu)的另 一方面在于，對一些圖片的解碼依賴于特定的其他圖片。因此，如果一個圖片用作其他圖片 的參考圖片，則它可被認為是比其他圖片更重要。事實上，特定的一組圖片可基于圖片互相 關(guān)性而在重要性的層次結(jié)構(gòu)中觀看。
流生成器的一個實施例選擇I和IDR圖片以將其包括在頂層中。另一實施例還包 括在頂層中的前向預(yù)測圖片。
錨圖片可以是I圖片、IDR圖片、或僅依賴于過去的參考圖片的FPP(前向預(yù)測圖 片)。在一些實施例中，如果FPP僅依賴于最近解碼的錨圖片，則FPP是錨圖片。
圖片可被分類為術(shù)語特定的圖片互相關(guān)性層或“級”，并且流生成器的某些實施例 可包括用于層次結(jié)構(gòu)的某一層以上的層(例如頂部兩層)的位圖相關(guān)信息。在另一實施例 中，位圖相關(guān)信息可以僅針對層次結(jié)構(gòu)的特定層以下的層(例如底部兩層)而提供。在又 一實施例中，位圖相關(guān)信息可以僅針對層次結(jié)構(gòu)的特定層以下的層、針對層次結(jié)構(gòu)的某一 層以上的層，或針對頂部層和底部層的組合而提供。位圖相關(guān)信息將始終從頂層開始，和/ 或從底層(最高編號)開始。圖片的對應(yīng)層可以理解為對其在解碼其他圖片時的重要性的 量度——一些參考圖片比其他參考圖片更重要，因為它們的解碼后和重建后的信息傳播通 過多級的參考。
本領(lǐng)域普通技術(shù)人員還應(yīng)認識到，雖然在本公開中使用了 AVC圖片類型，但本文 中所公開的系統(tǒng)和方法可應(yīng)用于任何參考一個或多個圖片來壓縮另一圖片的數(shù)字視頻流。
圖3是示出在包含諸如AVC流之類的視頻流的傳輸流部分和對應(yīng)的位圖相關(guān)信息 的生成中選擇的組件的框圖。在一些實施例中，傳輸流的生成可以發(fā)生在頭端110處，或頭 端110的上游(或下游)。在一些實施例中，用于視頻流的位圖相關(guān)信息可以在DHCT 200 處生成，兩者都在傳輸流中提供。在一個替代實施例中，兩者都在節(jié)目流中提供。在另外一 些實施例中，可以在頭端110和DHCT 200處生成傳輸流。壓縮引擎310(其在一些實施例 中可以指圖1的編碼器111，或在一些實施例中可以指圖2的壓縮引擎217，等等)接收作 為輸入的視頻信號300，例如數(shù)字化未壓縮視頻信號或解壓縮的視頻信號。壓縮引擎310輸 出諸如AVC視頻流之類的壓縮視頻流312和/或其他數(shù)據(jù)(例如位圖相關(guān)信息)，其中這種 壓縮圖片是按發(fā)送順序設(shè)在視頻流中的。分組化器314將AVC視頻流312分組化以輸出分 組流。
遍及本說明書，用AVC流作為例子。但是，特定實施例也可應(yīng)用于根據(jù)視頻壓縮規(guī) 范壓縮的任何壓縮視頻流，所述視頻壓縮規(guī)范考慮到了 (1)任何要通過參考多個其他圖 片而壓縮的圖片，和/或( 任何未確定性地從視頻流中其對應(yīng)的圖片類型信息傳達或暗 示其實際圖片互相關(guān)性特性的壓縮圖片。這里，提及了與AVC壓縮圖片相對應(yīng)的“圖片類 型”，作為由AVC流中一個或可能多個各自的字段利用傳達“圖片類型”或“片段”(slice) 的類型的語義傳達的信息。即，根據(jù)AVC標準，圖片類型可以通過不同的方法在AVC流中傳達。例如，圖片類型可以由“訪問單元定界符”(access unit delimiter)中的“primary— piC_type”字段來表達?；蛘?，圖片類型可以由分別與AVC壓縮圖片的一個或多個各自的 片段中的每一個片段相對應(yīng)的一個或多個“slice_type”字段共同表達。AVC壓縮圖片的 每個片段的“slicejieader”包括其“sliCe_type”字段。AVC壓縮圖片可以僅具有一個片 段。雖然將圖片類型信息描述為在標準格式的具體字段或部分中傳遞，但其他用于傳達這 種信息的布置或方法也是可能的。位圖相關(guān)信息可以包括在網(wǎng)絡(luò)適配層中(如AVC規(guī)范中 所描述的)或其他任何層、結(jié)構(gòu)、流、單元、位置或地點中。
AVC中有兩種主要的壓縮圖片的方法幀內(nèi)antra)和幀間Qnter)(或非幀內(nèi) (Non-Intra))壓縮。幀內(nèi)壓縮是不參考其他圖片而完成的，但通常表現(xiàn)出比幀間壓縮更低 的壓縮效率。幀間壓縮通過參考一個或多個其他圖片而利用了時間上的冗余和不相關(guān)性。 至少一個其他圖片依賴于參考圖片來進行其壓縮。在由壓縮引擎進行的AVC壓縮期間使 用參考圖片的解壓縮版本，來預(yù)測依賴于該參考圖片的圖片的至少一部分。在由諸如DHCT 200中的解壓縮引擎222之類的解壓縮引擎進行的AVC流解壓縮期間，也依賴于參考圖片來 解壓縮并重建至少一個其他圖片的至少一部分。不是參考圖片的圖片(例如不被至少一個 其他圖片依賴的圖片)是非參考圖片。
應(yīng)當理解，遍及本說明書，在參考圖片上下文中的術(shù)語“依賴”或“相關(guān)性”指“直 接”相關(guān)性。這些術(shù)語不指間接相關(guān)性，例如通過參考第一圖片，第一圖片又參考第二圖片， 從而造成的第二圖片的數(shù)據(jù)的傳播。
圖片的輸出時間，或圖片輸出時間指其顯示時間，該顯示時間處于該圖片被完全 解壓縮并重建的時間，或在該圖片被完全解壓縮并重建之后。例如，圖片的輸出時間對應(yīng)于 DHCT 200中的輸出系統(tǒng)248將AVC圖片的解壓縮版本提供到顯示裝置140的時間。輸出圖 片通常指其希望的解壓縮版本的輸出。注意，在其所依賴的參考圖片全部解壓縮之前就被 解壓縮并輸出的圖片很可能導(dǎo)致不完整的視覺信息，從而這種輸出圖片不代表希望的解壓 縮版本。根據(jù)修改后的MPEG-2系統(tǒng)標準中用于傳輸AVC流的規(guī)范，解碼時間戳(DTS)和呈 現(xiàn)時間戳(PTS)通常與AVC流中的圖片相關(guān)聯(lián)。圖片的PTS，不管是設(shè)在傳輸流中還是由 DHCT 200中的解壓縮引擎222得到的，都對應(yīng)于其在AVC流正?；胤拍Ｊ降膶嵭衅陂g的假 定輸出時間。圖片的DTS對應(yīng)于其解壓縮時間，并且也可設(shè)在傳輸流中或由DHCT 200中的 解壓縮引擎222得到。AVC流中的相繼壓縮圖片由DHCT 200中的解壓縮引擎222按其發(fā)送 順序(即，也是接收順序)解壓縮，因而具有相繼的解壓縮時間。雖然本文中提供的公開的 某些實施例主要考慮和實現(xiàn)了根據(jù)位圖相關(guān)信息來解碼所抽取的圖片和/或處理所丟棄 的圖片方面的優(yōu)勢，但實施例也可關(guān)注呈現(xiàn)順序的分析和優(yōu)化。一般而言，位圖相關(guān)信息可 由任何軟件進程、硬件裝置(或其組合)在任何時間用在創(chuàng)建、編碼、分發(fā)、處理/解碼和顯 示鏈中以實現(xiàn)好處。
圖片的發(fā)送順序是根據(jù)各自具有相應(yīng)優(yōu)先級的若干排序規(guī)則確立的。最高優(yōu)先級 的排序規(guī)則要求每個參考圖片在AVC流中在所有參考它的圖片之前發(fā)送。具有高優(yōu)先級的 第二排序規(guī)則要求在其他情況下將會具有相同排序優(yōu)先級的圖片按其各自的輸出時間從 早到晚發(fā)送。
視頻編碼標準通常假設(shè)一假定瞬時解碼器，這意味著壓縮圖片可以在其DTS處被 瞬時解碼。圖片的PTS可以等于其DTS，從而假定瞬時解碼器在這種情況下假設(shè)該圖片被瞬11時解碼并輸出。
根據(jù)AVC流的圖片速率或幀速率定義了圖片輸出間隔。例如，如果AVC流對應(yīng)于一 60圖片每秒的視頻信號，則圖片輸出間隔約等于16. 66毫秒。每個接連的圖片輸出間隔開 始于圖片輸出時間，并且圖片的輸出遍及圖片輸出間隔。在一個實施例中，解壓縮引擎222 所輸出的每個圖片的實際輸出時間被從其假定輸出時間或PTS延遲了一個圖片輸出間隔。 即，每個圖片的實際輸出時間等于該圖片的PTS加上一個圖片輸出間隔。過去參考圖片是 一先前解壓縮的參考圖片，它所具有的輸出時間在參考它的圖片之前。同樣，未來參考圖片 是一先前解壓縮的參考圖片，它所具有的輸出時間在參考它的圖片之后。
AVC幀內(nèi)圖片或I圖片不參考其他圖片，但通常被其他圖片所參考。與MPEG-2視 頻不同，AVC中的幀內(nèi)壓縮使得可將被壓縮的圖片的區(qū)域從同一圖片的其他部分的解壓縮 版本預(yù)測出來。AVC “瞬時解碼刷新”圖片或IDR圖片是如下的圖片，其使得正被用作參考 圖片的所有先前解壓縮的圖片在該IDR圖片的解壓縮之后不再被用作參考圖片。AVC中的 P圖片和B圖片被允許包含幀內(nèi)壓縮部分。與在MPEG-2視頻中一樣，AVC中的P圖片和B 圖片使得可將圖片的任何部分或可能所有部分從“先前解壓縮的”參考圖片幀間預(yù)測出來。 還與MPEG-2視頻類似的是，AVC中P圖片任何部分的幀間預(yù)測限于每次最多使用一個參考 圖片。然而，與MPEG-2不同的是，AVC P圖片的每個不同的幀間預(yù)測部分可從若干不同參 考圖片中的任何一個預(yù)測出來。與MPEG-2視頻類似的是，AVC中B圖片任何部分的幀間預(yù) 測限于最多使用兩個參考圖片。但盡管MPEG-2視頻對于B圖片的所有部分最多使用兩個 參考圖片，但允許對AVC B圖片的每個不同的幀間預(yù)測部分使用若干不同參考圖片中的任 何參考圖片。
不同AVC P圖片所依賴于的參考圖片的總數(shù)可能各自不同。類似地，不同AVC B 圖片所依賴于的參考圖片的總數(shù)可能各自不同。根據(jù)AVC標準，AVC流中所允許的參考圖 片的“最大數(shù)量”根據(jù)針對AVC流規(guī)定的“級別”(Level)和該AVC流中壓縮圖片的空間分 辨率而不同。此外，AVC參考圖片不具有相對于以它們?yōu)閰⒖嫉膱D片的預(yù)定位置。AVC標準 中的這些靈活性導(dǎo)致了更好的壓縮效率。然而，它們妨礙了視頻處理裝置的流操縱能力，這 是因為關(guān)于AVC流中所具有的圖片類型為P圖片或B圖片的壓縮圖片的圖片互相關(guān)特性， 沒有暗示任何推斷。
因此，AVC標準通過使得圖片的每個不同的幀間預(yù)測部分可從多個不同參考圖片 (例如16個參考圖片)中任何圖片的“至多一個”預(yù)測出來而規(guī)定了 P圖片。與將幀間預(yù) 測進一步限制為參考一個“預(yù)定的”過去參考圖片的MPEG-2視頻標準或其他視頻壓縮規(guī)范 不同的是，在AVC中沒有這種限制。例如，AVC P圖片的第一部分可以依賴于一個參考圖片， 另一部分可依賴于不同的參考圖片。事實上，AVC P圖片的第一部分所參考的圖片可以是 一過去參考圖片，第二部分可依賴于一未來參考圖片。作為AVC中所允許的精細且復(fù)雜的 圖片互相關(guān)性的另一示例，第一AVC P圖片可依賴于四個未來參考圖片，第二AVC P圖片可 依賴于三個過去參考圖片，第三AVC P圖片可既依賴于多個過去參考圖片又依賴于多個未 來參考圖片。
AVC標準對B圖片的規(guī)定也不同于MPEG-2視頻標準。MPEG-2視頻將B圖片規(guī)定 為雙向圖片，使得圖片的任何部分可利用不多于兩個參考圖片——一個是“預(yù)定的”未來參 考圖片，另一個是“預(yù)定的”過去參考圖片——的相關(guān)性被壓縮。相同的兩個參考圖片或它們中任意一個必須被用作用來預(yù)測該B圖片的任何部分的參考圖片。另一方面，AVC B圖 片可依賴于多個參考圖片，例如多達16個參考圖片，只要該B圖片的任何部分通過該多個 參考圖片的至多兩個區(qū)域來預(yù)測即可。當通過兩個區(qū)域來預(yù)測B圖片的區(qū)域時，將其稱為 被雙預(yù)測，而非雙向預(yù)測。還與MPEG-2視頻不同的是，AVC B圖片可以被用作其他P圖片 或B圖片的參考圖片。
作為AVC B圖片中所允許的精細且復(fù)雜的圖片互相關(guān)性的另一示例，AVC B圖片 的第一區(qū)域可以從兩個過去參考圖片雙預(yù)測出來，第二區(qū)域可以從兩個未來參考圖片雙預(yù) 測出來，第三區(qū)域可以從過去參考圖片和未來參考圖片雙預(yù)測出來，并且這三個區(qū)域依賴 于六個不同的參考圖片。AVC流中第一 B圖片所使用的這組參考圖片可以不同于第二 B圖 片所使用的這組參考圖片，即使這兩個B圖片都處于連續(xù)的發(fā)送順序或具有連續(xù)的輸出時 間也是如此。如前所述，AVC參考圖片相對于以它們?yōu)閰⒖嫉膱D片沒有預(yù)定位置。應(yīng)當很 清楚的是，圖片(或圖片部分)相關(guān)性的許多類型和組合是可能的，并且可以創(chuàng)建不同類型 的輔助信息來描述圖片之間的互相關(guān)性或關(guān)系，其向以后對圖片信息的處理提供了好處。
增加的復(fù)雜性包括如下的事實不作為參考圖片的I圖片是非參考圖片。此外，一 些I圖片可能比其他I圖片更重要，這依賴于AVC流中I圖片的相對位置和/或依賴于多 少其他AVC壓縮圖片參考該I圖片。
應(yīng)當意識到，盡管一些視頻壓縮規(guī)范具有各自暗示具體圖片互相關(guān)性特性的圖片 類型，但AVC流中壓縮圖片的圖片類型不能賴以暗示表現(xiàn)出某種特性的AVC壓縮圖片。此 外，即使圖片類型能傳達有用的信息，也存在其他方面使得難以容易地窺視和識別AVC流 中具有某一特性(包括互相關(guān)性在內(nèi)的特性)的圖片，例如當承載AVC流的傳輸分組的有 效載荷被加密或加擾的時候。在傳輸分組的有效載荷中找到slice_type (片段類型)和其 他所需數(shù)據(jù)字段以驗證圖片的某一特性可能是困難的且需要進入AVC流的大量遍歷，尤其 是在所需數(shù)據(jù)字段相對于傳輸分組的有效載荷的起始或相對于其他某個可識別的定界符 的對準不同的情況下。
遍及本說明書，AVC流中連續(xù)圖片的序列或AVC流中的連續(xù)圖片指按其發(fā)送順序 的連續(xù)壓縮圖片，或等同地指AVC流中具有相繼解碼時間戳的壓縮圖片的序列。
可丟棄圖片是非參考圖片。具有延遲了的輸出時間的可丟棄圖片是所具有的PTS 晚于其DTS的可丟棄圖片。即，它是并非在其被壓縮之后立即被輸出的可丟棄圖片，并且雖 然它未被其他任何圖片所參考，但它進入了 AVC標準中規(guī)定的“解碼圖片緩沖器”(DPB)達 至少一個圖片輸出間隔。DPB駐留在DHCT 200的解壓縮存儲器四9中，雖然不限于駐留在 該特定位置。
現(xiàn)在將注意力轉(zhuǎn)向圖4A和圖4B，它們是示出了傳輸流生成器所提供的示例壓縮 圖片序列中圖片互相關(guān)性的框圖。圖4A的第一行402包括示例性GOP的輸出順序，例如在 解壓縮引擎222處按解碼順序404(即，發(fā)送順序)接收和解碼。GOP包括壓縮圖片(由圖 片類型指定，例如I、P或B)的序列。圖片互相關(guān)性部分地由每個圖片(在各個圖片頂部 編號為1-25的圖片)上方和下方的箭頭示出。在一圖片處示出的箭頭尾部描繪出該圖片 作為對示出了相應(yīng)箭頭頭部的另一圖片的參考圖片。即，箭頭傳達了該另一圖片是從該參 考圖片預(yù)測出來的。例如，在圖4A中，圖3是從圖片1和圖片5預(yù)測出來的(因而依賴于 圖片1和圖片5)。雖然所示出和描述的具有邊界之間(例如，圖片1和9之間，以及圖片9和17之間)類似的相關(guān)性模式，但本領(lǐng)域普通技術(shù)人員應(yīng)意識到，不同界定群組之間可以 找到不同的模式和/或相關(guān)性，如圖4B所示(例如，參見圖片1和9所界定的模式內(nèi)圖片1 和4以及圖片5和2之間所揭示的圖片互相關(guān)性，以及它們的互相關(guān)性如何與圖片9和17 所界定的模式中所示的圖片互相關(guān)性不同)。
圖4A的下面一行402是解碼順序404，其與解壓縮引擎222處對圖片進行解碼以 用于重建的順序相對應(yīng)。由于需要在對圖片進行解碼之間先具有參考圖片，圖片的發(fā)送順 序與輸出或顯示順序不同。注意，P圖片可以被前向預(yù)測或后向預(yù)測，并且通常，該事實直 到圖片被解碼才變得明顯。例如，圖片類型的知識(例如由頭部所確定的)不一定傳達了 如何采用的預(yù)測或圖片互相關(guān)性。
在MPEG-2中，可丟棄圖片可以立即輸出(不需要保留)，雖然通常，出于實現(xiàn)的原 因，這種圖片被臨時存儲達至少一圖片周期或間隔。在AVC流中，即使對于可丟棄圖片，也 存在將可丟棄的解碼圖片延遲并因而保留在解碼圖片緩沖器(DPB)中的情況。在一個實施 例中，如果一圖片還未被輸出或如果需要該圖片作為還未被解壓縮的另一圖片的參考，則 將該圖片保留在DPB中。
現(xiàn)在將注意力轉(zhuǎn)向圖5和圖6中示出的層的說明。圖5示出了圖片互相關(guān)性層的 層次結(jié)構(gòu)的示例。圖片互相關(guān)性層的層次結(jié)構(gòu)具有“T”個層，T是底層。視頻流中的圖片僅 可屬于T個層中的一個。然而，流生成器可以選擇不在其所提供的位圖相關(guān)信息中標識屬 于一些中間層的圖片。頂層或?qū)? 502包括視頻流中可獨立于層2到T中的圖片而被解碼 的圖片。頂層是圖片抽取的第一級。每個相繼的層可獨立于視頻流中屬于更高編號層的圖 片而被解碼。例如，從層次結(jié)構(gòu)頂部開始的第二層，層2 504可獨立于屬于層3到T的圖片 而被解碼。頂層或?qū)? 502標識圖片可抽取性的第一級。圖片可抽取性，即可從視頻流中 抽取的圖片的數(shù)量，是從頂部到底部增加的，而圖片可丟棄性，即可從視頻流丟棄的圖片的 數(shù)量，是從底部到頂部增加的。相反，圖片可丟棄性從頂部到底部減少，且圖片可抽取性從 底部到頂部減少。層1 502包括圖片可抽取性的第一級，和圖片可丟棄性的最后一級。第T 層508(底層)包括圖片可丟棄性的第一級，和圖片可抽取性的最后一級。第(T-I)層506 包括圖片可丟棄性的第二級和圖片可抽取性的倒數(shù)第二級，等等。
總之，層1 502圖片包括獨立于層2 504到層T 508而可解碼的圖片。層2 504 圖片是獨立于層3到層T 508中的圖片而可解碼的圖片，依此類推。
底層，層T 508中的圖片可被丟棄而不影響與較低編號層相對應(yīng)的視頻流中其余 圖片的可解碼性。層T 508圖片是可丟棄而不影響層1 502到層(T-l)506中的圖片的可 解碼性的圖片。層(T-I)圖片是可丟棄而不影響層1 502到層(T-2)(未示出)中的圖片 的可解碼性的圖片。
第一層或?qū)? 502包括視頻流中如下的編碼圖片(即壓縮圖片)，所述編碼圖片 當從視頻流中諸如隨機訪問點之類的起始點開始逐個地(progressively)被抽取時，可獨 立于視頻流中的其他編碼圖片而被解碼并輸出。第二層或?qū)? 504包括視頻流中如下的 編碼圖片，所述編碼圖片當從視頻流中相同的起始點開始逐個地被抽取時，與利用屬于層1 502的圖片的逐個抽取相合作，增加了另一級的圖片抽取。從而，層1 502和層2 504可獨 立于視頻流中“被確定為不屬于”或“未被識別為”層1 502或?qū)? 504編碼圖片的其他編 碼圖片而被解碼和輸出。更一般而言，對于從1到T的任意值K，被識別為或確定為屬于從層1到層K的層的編碼圖片可以通過從一起始點開始逐個地抽取視頻流中的所有編碼圖片 而被獨立地解碼和輸出，如果它們被分類為或確定為屬于層1到層K當中的一層的話。在 DHCT 200處，從所接收或所提供的位圖相關(guān)信息，將屬于層1到層K的圖片識別為或確定為 屬于層1到層K。從而，如果以逐個的方式，屬于層1到層K的“所有”圖片都(1)從一起 始點開始從視頻流中被抽取，并且(2)被解碼，則視頻流中被分類為或?qū)儆趯?到層K中一 層的下一圖片可被抽取和解碼，這是因為該下一圖片針對時間預(yù)測和/或針對運動補償而 依賴于的所有圖片或該下一圖片作為參考圖片而參考的所有圖片都將會已經(jīng)(1)被從視 頻流中抽取，⑵被解碼和(3)可用于參考。
注意，遍及本說明書，對屬于一層的圖片或一層中的圖片的提及應(yīng)被理解為與一 層相關(guān)聯(lián)的圖片或與一層相對應(yīng)的圖片。一個圖片最多與一個層相關(guān)聯(lián)或?qū)?yīng)。位圖相關(guān) 信息標識出視頻流中一個或多個分別的圖片所關(guān)聯(lián)或?qū)?yīng)的單個層。位圖相關(guān)信息可不標 識流中一個或多個圖片所關(guān)聯(lián)或?qū)?yīng)的層。
視頻流中一第K層編碼圖片可被抽取并保證解碼成其希望的完整的全部重建，條 件是在該特定的層K編碼圖片的抽取之前，對所有緊接在前的層K編碼圖片的抽取和解碼 已被逐個地執(zhí)行達一有限時間量。這是因為視頻編碼可以執(zhí)行跨GOP邊界的時間參考。在 一個實施例中，視頻流中一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重建， 條件是自從或針對視頻流中緊接在該特定的層K編碼圖片之前的最后“η”個隨機訪問點 (RAP)，所有屬于層1到層K的編碼圖片都已被逐個地抽取和解碼。例如，如果諸如快進之 類的回放模式或技巧模式要從視頻流的一特定或希望位置開始，則可能必須在視頻流的該 特定位置之前的第二 RAP(即η = 2)處開始解碼。RAP可利用MPEG-2傳輸層級或?qū)拥念^ 部和/或適配字段頭部中的一個或多個具體標志來通知和標識。例如，諸如MPEG-2系統(tǒng) (MPEG-2 Systems)之類的規(guī)范提供了用于通知RAP的傳輸流中的指示符，例如隨機訪問點 指示符和/或基本流優(yōu)先級指示符。在一個實施例中，RAP指AVC比特流中的一個訪問單 元(或圖片)，在該訪問單元(或圖片)處接收機可開始對視頻流的解碼。訪問單元還包括 用于將相關(guān)聯(lián)圖片解碼的序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)，以及將視頻流的圖片解 碼和輸出所需的其他任何必需的參數(shù)或參數(shù)集。隨機訪問點可承載I圖片或IDR圖片。在 一個實施例中，GOP(其通常是一 MPEG-2術(shù)語)等同于在兩個或更多個RAP之間找到的圖 片序列和圖片互相關(guān)性。
在替代實施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是自從或針對視頻流中緊接在該特定的層K編碼圖片之前的最后“η”個圖片群組 (GOP)的開始，所有屬于層1到層K的編碼圖片都已被逐個地抽取和解碼。
在又一實施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是至少在視頻流中該特定的層K編碼圖片的位置之前該視頻流中最后“η”個I圖 片或IDR圖片的解碼之后，所有屬于層1到層K的編碼圖片都已被逐個地抽取和解碼。在 一個實施例中，“η”可對于連續(xù)的I圖片具有第一值，并對連續(xù)的IDR圖片具有第二值。
在又一實施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是在該視頻流中該特定的層K編碼圖片的位置之前屬于層1到層K當中的層的至 少G個連續(xù)的編碼圖片都已被逐個地抽取和解碼。
將層應(yīng)用于一 MPEG-2視頻流中諸如PVR之類的一示例實現(xiàn)方式，該視頻流編碼了一普通G0P，其中按輸出順序的圖片如下IBBPBBPBBPBB P依此類推，頂層，層 1 502可以是足夠的。例如，可在快進或倒帶操作中排他地利用I圖片。但是假設(shè)針對技巧 模式需要更精細的粒度級別，或者為了提高技巧模式操作中圖片的放置或移除的精度?？?以增加第二和/或第三層以在應(yīng)對AVC的復(fù)雜性的同時允許該提高的功能。注意，根據(jù)所 需的技巧模式功能(例如速度、方向等)，一個實施例可以將頂層中的圖片解碼(例如1 技巧模式)。在一些實施例中，可以利用來自頂部兩層的圖片實現(xiàn)解碼。
位圖相關(guān)信息和/或?qū)拥淖R別可以根據(jù)多種方式實現(xiàn)，如圖6所示。在一些實施 例中，可以實現(xiàn)自底向上方式602(例如經(jīng)由解壓縮引擎)，其中從最高編號層(即，第一可 丟棄性級圖片)開始識別圖片，然后進行到層的層次結(jié)構(gòu)中相繼降序編號層中一個或多個 層的圖片。在一些實施例中，可以實現(xiàn)自頂向下方式604，其中從第一可抽取性級開始識別 圖片，然后進行到層的層次結(jié)構(gòu)中相繼升序編號層中的圖片。在一些實施例中，可基于自底 向上方式602和自頂向下方式604的組合，實現(xiàn)混合方式606。
提供了關(guān)于層次結(jié)構(gòu)層的背景和屬于各層的圖片的屬性，現(xiàn)在將注意力轉(zhuǎn)向通過 提供位圖相關(guān)信息顯式地標識給定層中圖片的系統(tǒng)和方法，所述位圖相關(guān)信息可包括一個 或多個位圖。位圖被斷言(assert)且被斷言的位圖被提供，其中每個位圖的比特(或字 段)被相繼排序以對應(yīng)于視頻流的發(fā)送順序的相繼圖片的順序?？梢詮闹T如上述的隨機訪 問點之類的給定起始點開始對可抽取的或所抽取的圖片進行解碼。位圖相關(guān)信息的其他目 的包括使能圖片的放棄(dropping)(例如，網(wǎng)絡(luò)流管理等)，可縮放性，等等。位圖不是在每 個圖片處提供的，但在一個實施例中，在每個隨機訪問點(RAP)處提供，有時在視頻流的其 他位置提供，這將在下文中進一步說明。如果針對屬于頂層的圖片提供了位圖，并且該位圖 的比特被排序以對應(yīng)于發(fā)送順序的圖片，則可以順序地從RAP開始抽取圖片并將其解碼， 其中可保證所有圖片能被解碼并重建到其各自的希望的解壓縮版本。
在一個實施例中，在傳輸流中通知與層和位圖有關(guān)的位圖相關(guān)信息的存在，并且 提供了包含標志的數(shù)據(jù)字段以指示或斷言分別與一個或多個層相對應(yīng)的一個或多個位圖 的存在。對位圖的處理可以使用“自頂向下”方式實現(xiàn)，從“頂層”(例如層1，圖5)開始抽 取圖片，或“自底向上”方式或“底層”圖片(例如層T，圖5)被丟棄。例如，數(shù)據(jù)字段或標志 可指示或斷言與一個或多個層相對應(yīng)的各位圖的存在。各個位圖標識屬于相應(yīng)層的圖片。 圖片可從與頂層或相繼的頂部層相對應(yīng)的位圖識別出來，被抽取和解碼?；蛘撸瑘D片可從與 底層或相繼的底部層相對應(yīng)的位圖識別出來，被丟棄，并且視頻流中其余的圖片被解碼。位 圖的經(jīng)排序的比特中單個比特的第一值(例如“1”)將單個圖片斷言為屬于與該位圖相對 應(yīng)的層。斷言標志字段中標志的第一標志值斷言相應(yīng)位圖的存在。例如，可針對與底層相 對應(yīng)的斷言標志字段的標志或子字段設(shè)置第一標志值，以斷言與該底層相對應(yīng)的單個位圖 的存在。關(guān)于底層的圖片是可丟棄的，并且當被丟棄時，導(dǎo)致視頻流中完全可重建到其希望 的解壓縮版本而不依靠所丟棄圖片的可解碼圖片。在一個實施例中，位圖相關(guān)信息、斷言標 志字段和被相應(yīng)的斷言標志斷言為存在的位圖被設(shè)置在傳輸流中與RAP和跟該RAP相關(guān)聯(lián) 的圖片相對應(yīng)的位置。注意，不是對每個圖片提供位圖相關(guān)信息的，但至少在每個RAP(例 如，用于容許頻道改變)和/或在視頻流中如本文中所描述的可允許的其他位置設(shè)置之。
在一個實施例中，還在視頻流中預(yù)先規(guī)定的圖片增量處設(shè)置位圖相關(guān)信息，例如 每16個圖片，每32個圖片等。
斷言標志字段和/或位圖的存在(即，位圖相關(guān)信息)是在傳輸流中通知的。換 言之，一具體消息承載位圖相關(guān)信息。也可以設(shè)置“通告”來警告在傳輸流中存在承載位圖 相關(guān)信息的具體消息。例如，可以通過PMT的ES信息循環(huán)，利用相應(yīng)的具體通告來通告承 載位圖相關(guān)信息的具體消息。這種通告用于僅標識出該傳輸流包含承載位圖相關(guān)信息的具 體消息。在一個實施例中，該具體消息的格式可以經(jīng)由被指派的消息標識(例如描述符標 簽)和相應(yīng)的消息長度(例如標簽長度)。例如，一描述符標簽可向解碼器傳達特定類型 (例如對應(yīng)于多個標簽值之一)的信息存在于傳輸流中。在一個示例中，假設(shè)了用于標志斷 言的一個字節(jié)，并且在消息中存在三個被斷言存在的層，所斷言的層分別對應(yīng)于三個各16 比特O字節(jié))的位圖。因而，對應(yīng)于位圖的6個字節(jié)(3個位圖X各2字節(jié))加上對應(yīng)于 斷言標志的一個字節(jié)構(gòu)成了總共7個字節(jié)，作為所指示的消息有效載荷的長度。消息的有 效載荷跟在用于描述符標簽的第一字段和用于長度的第二字段之后。
圖7示出了斷言標志字段的示例，作為包含多個標志或子字段的數(shù)據(jù)結(jié)構(gòu)700，揭 示了五個斷言標志(例如各1比特)，其分別對應(yīng)于五個層(從頂層Tl到底層TT或T5)。 數(shù)據(jù)結(jié)構(gòu)可以是另一包含完整字節(jié)的字段的一子字段。應(yīng)當理解在一些實現(xiàn)方式中可利用 更少或更多層，而且層優(yōu)先級命名規(guī)則可以相反(例如Tl可以是底層，T5是頂層)。如上 所述，對圖片的標識可以是根據(jù)一種或多種方式的，包括自頂向下、自底向上，或混合方式。 在此示例中，頂層斷言標志702和底層斷言標志704各自被設(shè)置，因而當數(shù)據(jù)結(jié)構(gòu)的相應(yīng)斷 言比特中存在第一標志值時，提供了相應(yīng)的位圖706和708。
在一個實施例中，位圖706和708的長度是固定的(例如以字節(jié)或比特為單位， 例如16比特，或8的倍數(shù)，僅作為一個示例)，并且每個位圖與視頻流中發(fā)送順序的緊接在 前的圖片相關(guān)，包括位于視頻流中提供了位圖相關(guān)信息的位置或與這樣的位置相關(guān)聯(lián)的圖 片。在一些實施例中，位圖對應(yīng)于視頻流的發(fā)送順序的緊接在后的圖片，包括位于視頻流中 提供了位圖相關(guān)信息的位置或與這樣的位置相關(guān)聯(lián)的圖片。在一個實施例中，位圖的長度 可以是預(yù)定的，例如每16個圖片或其他所定義的周期。即，不需要給出長度字段，這是因為 位圖長度是預(yù)定的(并且各自具有相同的預(yù)定長度)。例如，如果針對一給定層斷言了一 比特，則相應(yīng)位圖的長度是預(yù)定長度。雖然上面描述了每16個圖片的預(yù)定長度，但可使用 其他預(yù)定長度，例如每8個，M個，32個，以及其他數(shù)量的圖片。在一些實施例中，可經(jīng)由長 度字段(例如跟在數(shù)據(jù)結(jié)構(gòu)700之后)顯式提供位圖的長度，或者作為數(shù)據(jù)700的用于位 圖長度的指定子字段，并且在一個實施例中作為固定值提供，或者在其他實施例中長度可 以變化。例如，所提供的長度可應(yīng)用于與所斷言的標志相對應(yīng)的每一個位圖。傳達長度的 單個值可應(yīng)用于每個位圖。在一些實施例中，可傳達每個標志每個位圖長度，作為數(shù)據(jù)結(jié)構(gòu) 700的一部分。在一些實施例中，可利用一個或多個另外的數(shù)據(jù)結(jié)構(gòu)，傳達針對各位圖的多 個長度。例如，如果可斷言總共8個標志，并且這些標志中的三個被斷言了，則在關(guān)于這三 個位圖的斷言標志字段之后提供三個長度。在一些實施例中，在斷言標志字段之后提供長 度。
位圖的長度(例如關(guān)于與所設(shè)置或斷言的標志相對應(yīng)的位圖的長度)影響編碼器 和解碼器的性能。例如，如果針對可丟棄圖片設(shè)置了位圖，則要解決的一個問題是該位圖是 否對應(yīng)于流中先前的圖片(例如最近32個圖片)。如果編碼器提供了針對先前32個圖片 的位圖，則編碼器不需要造成延遲(雖然解碼器需要，但解碼器可以知道或被告知，針對這些圖片的位圖相關(guān)信息被提供在該流中將會跟隨所接收圖片之后很快到達的消息上)，這 是因為當圖片被從編碼器輸出時，圖片的類型被提示，并且可以在與從編碼器輸出32個圖 片的結(jié)尾相對應(yīng)的時間提供位圖(例如四(4)字節(jié)位圖)。另一方面，如果由編碼器針對 接下來的32個圖片提供位圖，則位圖將與第一圖片的輸出一起提供(或在與第一圖片的輸 出相對應(yīng)的時間提供)，因而在編碼器處造成了延遲(但是在解碼器處沒有或很少有延遲) 以處理32個圖片來使能位圖的提供。另外，給定MPEG-2傳輸分組中188個字節(jié)的約束，適 配字段表示非有效載荷數(shù)據(jù)，導(dǎo)致隨著位圖長度增加而增加的開銷。因而，由于位圖長度是 在編碼器處造成的延遲與在解碼器處造成的延遲之間的折中，并且給定固定大小傳輸分組 的約束，因此確定位圖大小的方式是不在任一裝置處施加不必要的延遲或消費不必要的分 組長度。
一種示例性的數(shù)據(jù)結(jié)構(gòu)可包括針對與層數(shù)(例如用作標志的比特數(shù)，例如作為多 個示例中的一個示例，8的倍數(shù))相對應(yīng)的字節(jié)的無符號“char”的格式。在一些實施例中， 省略了層數(shù)，而代之以包含斷言標志的一個或多個字節(jié)或數(shù)據(jù)字段。一旦設(shè)置了斷言標志， 在一個實施例中就存在用于在承載位圖相關(guān)信息的具體消息中提供相應(yīng)位圖的預(yù)定順序。 例如，位圖可在斷言標志字段之后按從頂?shù)降椎膶禹樞蚺判?。在一些實施例中，它們可從?層到頂層排序。
在自頂向下方式中，例如由DHCT 200來抽取頂層圖片以實現(xiàn)所抽取圖片的視頻 回放模式，解碼和輸出。在擁塞網(wǎng)絡(luò)中也可從視頻流抽取圖片，例如在路由器或交換機處或 由其他網(wǎng)絡(luò)處理元件來進行，從而以較低比特率提供視頻流的字序列。
作為另一示例，參照圖8，示出了數(shù)據(jù)結(jié)構(gòu)800，其具有多個標志字段，其中設(shè)置了 (例如設(shè)為“1”或“開”)對應(yīng)于頂層標志802、第二層標志804和最后層標志806的比特。 因此，提供三個位圖(在此示例中，長度各為16比特，總共48比特)，即，對應(yīng)于頂層標志 802的頂層位圖808、對應(yīng)于第二層標志804的第二層位圖810，以及對應(yīng)于底層標志806的 底層位圖812。在一個實施例中，所建立的順序是從最重要(頂層)到最不重要的圖片(底 層)。從而，首先處理頂層位圖808，然后是第二層位圖810，然后是最后層位圖812。中間 標志表示不關(guān)心狀況(例如設(shè)為0)，雖然在一些實施例中可被設(shè)置或斷言。
如圖8所示，對于先前16個圖片(或在一些實施例中對于后續(xù)16個圖片)存在 三個位圖(808、810和81 。如上所述，位圖是與單個圖片相關(guān)聯(lián)地提供的(而非針對傳輸 流中每個圖片提供)。然而，出現(xiàn)了一個恢復(fù)(resumption)的問題，例如對于接下來的16 個圖片要做什么，這將在下文進一步描述。還要解決一個關(guān)聯(lián)方面的問題——如何將接下 來的16個圖片與位圖相關(guān)聯(lián)。如果用于接下來16個圖片的位圖在下一適配字段中提供， 則延遲可能是不可接受的，并且所提供的信息可能不對應(yīng)于與用于先前16個圖片相同的 標簽。此外，編碼器由于存在場景改變而改變了 I圖片的位置(例如MPEG-2中的GOP改變 了)，并且存在從第一視頻流到第二流的接合(splice)操作，正如當從視頻節(jié)目進入廣告 時一樣。另外，適配字段是可選的，提供得太頻繁可能導(dǎo)致低效的壓縮。此外，如果在適配 字段中放置了用于太多圖片的信息(以覆蓋先前的16個圖片及未來的圖片或用于太多的 圖片)則延遲太長了。
與解碼器需要找到位圖相關(guān)信息的能力的概念類似，解碼器需要有能力識別或關(guān) 聯(lián)與位圖相關(guān)信息相對應(yīng)的圖片。在一個實施例中，該關(guān)聯(lián)是以預(yù)定方式(例如使用現(xiàn)有18的傳輸流機制)完成的。在一個實施例中，可使用起始碼來標識圖片開始的地方。例如，PES 分組中圖片的開始可與傳輸分組有效載荷的開始對準。因而，可標識圖片的開始以使能圖 片的抽取(以用于解碼或丟棄)。在一些實施例中，在傳輸級可獲得的信息使得能夠標識 圖片的開始。例如，對于承載視頻流的MPEG-2傳輸流分組，有效載荷單元起始指示符可利 用MPEG-2 PES分組的首個字節(jié)來標識傳輸流分組有效載荷何時開始。一旦在RAP處識別 了首個圖片的位置，則處理按發(fā)送順序依次基于位圖而繼續(xù)(例如位圖列表比特位置按發(fā) 送順序?qū)?yīng)于圖片)。
參照圖8，位圖808對應(yīng)于頂層圖片，并且在此示例中具有16比特的長度。位圖 810對應(yīng)于層T2 (從頂部數(shù)的第二層)，并且也具有16比特的長度。位圖812對應(yīng)于底層 (可丟棄)圖片，并且具有16比特的長度。各個位圖808、810和812的16比特對應(yīng)于給 定圖片實例的16個圖片。注意，在位圖808中示出了 16個塊以表示16個圖片，其中虛線 代替了位圖810和812中這些塊當中的許多塊以表示同樣數(shù)量的塊或圖片。而且，注意僅 幾個塊被表示為設(shè)置了比特，理解為其他塊將會要么被設(shè)置(例如1)或未設(shè)置(例如0)。 此外，注意如果在給定層中的比特被設(shè)置，則該比特將會對于相應(yīng)位置在其他所有位圖中 為零。換言之，在位圖當中一個圖片僅能讓一個比特開啟最多一次，這是因為一個圖片僅能 對應(yīng)于單個層。例如，位圖808的比特位置814(對應(yīng)于第一圖片)被設(shè)置，而位圖810和 812的比特位置814是零。由于位圖808對應(yīng)于頂層圖片(例如I、IDR、前向預(yù)測圖片)， 因此針對圖片之一(例如比特位置814所標識的第一圖片)設(shè)置的比特反映了如下事實 在其他層中未找到頂層圖片。類似地，與序列中第二圖片相對應(yīng)的比特位置816針對位圖 810被設(shè)置，但對于位圖808和812中的相同位置是零。同樣，比特位置818針對位圖818 被設(shè)置，并且對于位圖808和810是零。
圖8還示出了在一些實施例中可以通過邏輯運算來完成對層圖片的抽取。例如， 采用自頂向下方式，頂部兩層808和810的比特位置可以經(jīng)歷邏輯或運算，所產(chǎn)生的所抽取 的圖片具有如下的特性它們是可自解碼的(例如，滿足用于參考的所有圖片互相關(guān)性)。
另外，如果采用自底向上方式，則也可以確定哪些圖片是可自解碼的，即使提供了 單個位圖(例如位圖812)。例如，如果對底層位圖812的比特位置執(zhí)行邏輯非，則結(jié)果是可 解碼的圖片(這是因為由底層位圖812的比特位置標識的圖片對應(yīng)于可丟棄圖片)。
此外，如果斷言了對應(yīng)于層次結(jié)構(gòu)的倒數(shù)第二層的位圖，則可對底層和倒數(shù)第二 層執(zhí)行邏輯或運算，并且可對邏輯或運算的結(jié)果執(zhí)行邏輯非運算以揭示可自解碼圖片。
圖9A-9D是示出基于圖4A中的壓縮圖片的序列的示例位圖構(gòu)造的框圖。在圖9A 中，頂層(Tl，使用圖5所示的慣例)位圖902被示為在與頂層圖片P9、P17和、相對應(yīng)的 位置設(shè)置了比特(例如“1”)。注意，比特設(shè)定對應(yīng)于圖片的發(fā)送順序。在一個實施例中， 編碼器(例如編碼器111)可排他地提供層1圖片。
圖9B是示出提供了與第二層(T2)圖片B5、B13和B21并設(shè)置了相應(yīng)比特的另一位 圖904的框圖。注意，如上所述，在圖片排他地與一個給定層相關(guān)聯(lián)的情況下，比特不在不 同位圖當中針對相同的圖片被設(shè)置。
圖9C增加了與第三層CH)相對應(yīng)的另一位圖906，在此示例中該T3也對應(yīng)于倒 數(shù)第二重要的層(例如層(T-D)0如圖所示，設(shè)置了對應(yīng)于T3圖片B3、B7、Bn、B15、B19和B23 的比特。
圖9D增加了另一位圖908，其中針對對應(yīng)的可丟棄(層T)圖片Iv b4、b6、b8、b10、 b12、b14、b16、b18、l32(l和b22設(shè)置了比特。如上所述，圖片都沒有在多個位圖當中設(shè)置多于一個 的比特。
圖9E示出了一個實施例，其中位圖908是唯一所提供的位圖，輔助了對圖片的丟 棄(或如上所述，使用邏輯非運算輔助了對可解碼圖片的抽取)。
注意，雖然在AVC環(huán)境的上下文中說明了以上位圖，但想到了 MPEG-2視頻，具體而 言是MPEG-2視頻GOP處于本文中所公開的實施例的范圍之內(nèi)。例如，與圖8和圖9中示出 的標志字段相似的標志字段可以斷言(設(shè)置)與頂層位圖和底層位圖相對應(yīng)的比特。頂層 位圖可以針對I圖片和P圖片(按發(fā)送順序)設(shè)置比特位置，而底層位圖(可丟棄的B圖 片)具有相反的比特設(shè)定(例如頂位圖的異或)。
注意在一個實施例中，可以設(shè)置與頂層圖片的位圖相對應(yīng)的一另外字段，該字段 表示在何點處(或在何點之后)圖片完全達到其希望的解壓縮版本。例如，如上所述，可在 適配字段中使用一字節(jié)來傳達層數(shù)(數(shù)據(jù)結(jié)構(gòu)或標志字段，例如圖8中的800)，并且可以使 用另一字節(jié)來傳達圖片中的何點處(例如，對應(yīng)于一示例位圖的16個圖片)在解碼后人們 獲得了完全重建。這種字段在如下情形中可能是有幫助的，例如在所述情形中，在達到完全 重建之前需要訪問第二 RAP。
上述的一個問題是關(guān)于位圖相關(guān)信息的恢復(fù)的。例如，由于位圖相關(guān)信息不是對 每個圖片提供的，而是關(guān)于一個圖片序列，因此出現(xiàn)了如下的問題對于隨后的圖片如何傳 播位圖處理。為了后續(xù)討論的目的，作出如下的假設(shè)位圖是16比特長(因而對應(yīng)于16個 圖片)，但要理解可采用其他比特長度，固定或可變，預(yù)定或其他方式都可以。處理一般地 開始于RAP，因而在一個實施例中，在每個RAP處提供位圖。在一個實施例中，位圖總是在 RAP處提供。然而，這并不一定意味著SRAP將會每16個圖片地出現(xiàn)(例如，RAPS可以相 隔5秒或其他值)。在一些實施例中，每16個圖片地提供位圖(而不管第16個圖片是不 是RAP)，例如假設(shè)了 16比特的預(yù)定(或顯式地提供的)位圖長度對應(yīng)于16個圖片。在一 些實施例中，位圖相關(guān)信息可以在先前的位圖相關(guān)信息仍活動時被提供，例如在預(yù)定圖片 長度期滿之前(例如在第16個圖片之前)設(shè)置了 RAP的時候。在一些實施例中，在先前的 位圖相關(guān)信息仍活動時(即，在預(yù)定圖片長度期滿之前)對位圖相關(guān)信息的提供導(dǎo)致“清 賬”(clean-slate)。換言之，假設(shè)新提供的位圖相關(guān)信息在與提供了上次位圖相關(guān)信息的 視頻流位置相關(guān)聯(lián)的圖片處生效。例如，如果位圖相關(guān)信息在第12個圖片處被提供，則與 比特位置12-16(或在一些實施例中，13-16)相對應(yīng)的位圖的所有比特被忽略，并且對于接 下來的16個圖片(或在一些實施例中，對于其余圖片)，采用最近到達的位圖相關(guān)信息。
在一些實施例中，可以施加如下的要求期滿前位圖僅在與頂層圖片相對應(yīng)或關(guān) 聯(lián)的視頻流位置中提供，其中這種頂層圖片在活動位圖相關(guān)信息中用如下方式標識出來: 位圖中與頂層相對應(yīng)的比特具有指示出圖片是頂層圖片的第一值。在一個替代實施例中， 位圖相關(guān)信息只有在與當前位圖相關(guān)信息中所標識的頂層圖片相對應(yīng)的視頻流位置處才 能取代活動或當前的位圖相關(guān)信息。
在一個實施例中，對位圖相關(guān)信息的恢復(fù)總是跟與頂層相對應(yīng)的活動位圖相關(guān)信 息中最后標識的圖片同時發(fā)生。此外，在此實施例中，在當前位圖相關(guān)信息期滿之后的圖片 處(在第16個圖片之后)，下一位圖相關(guān)信息可以變?yōu)榛顒拥?。在一些實施例中，一標志可以利用第一和第二值來指示針對下一位圖相關(guān)信息的兩個激活點之一，要么是在與當前位 圖相關(guān)信息相對應(yīng)的圖片期滿處，要么是在提供下一位圖相關(guān)信息的圖片(例如一頂層圖 片)處。
在一些實施例中，處理可以恢復(fù)，或者在一些實施例中，恢復(fù)可以發(fā)生在一不同的 位置。在一些實施例中，可以在期滿前引入(設(shè)置)一層。在這種情況下，一個實施例需要 聚合(aggregation)，而在一些實施例中，不采用聚合(例如，不隨機地聚合層)。一個實施 例可能需要有如下的要求對所有圖片的記賬(accounting)保持一致。在一些實施例中， 期滿前RAP導(dǎo)致位圖處理的期滿(例如，對間隙(gap)的容許)。因此，對位圖處理的恢復(fù) 或繼續(xù)可以根據(jù)這多種選項中的一種或多種而繼續(xù)。
在一些實施例中，包含斷言標志字段的數(shù)據(jù)結(jié)構(gòu)還包含另外的比特或字段，用于 傳達重復(fù)先前的(例如，剛剛期滿的)位圖，從而無須重傳位圖。例如，在一個實施例中，對 于層(例如5個層)使用了 5個比特，并且使用了第六比特用來表明重復(fù)功能。在一個實 施例中，采用了兩個其他比特，以用于四個位圖長度值(例如用于位圖中的字節(jié)數(shù))，例如 如下
00 缺省值(例如，用于16比特，雖然不限于此)
01 :8 比特
02 24 比特
03 32 比特
因此，存在缺省值(上面用16比特來描述，但要理解在一些實施例中可使用其他 值)和三個替代值，在一個實施例中它們各為8比特的倍數(shù)。
在一些實施例中，斷言標志字段中N個連續(xù)比特被排序以表示針對可能的大于N 的層數(shù)，從頂層到底層的對應(yīng)關(guān)系。當提供位圖相關(guān)信息時，任何一次最多斷言N-I個層。 這意味著N個比特中至少一個必須是不斷言針對層的位圖存在的第二值(例如等于“0”)。 根據(jù)層的層次結(jié)構(gòu)屬性，具有第二值的比特的位置和針對位圖存在的斷言受限于以下條 件
1.頂層(即，其位圖的存在)僅在所有更低編號層也都被斷言的情況下才能被斷 言。因而，N比特當中對應(yīng)于頂層的比特只有與所有更低編號層(如果有的話)相對應(yīng)的 比特也具有第一值(例如，等于“1”)才能具有第一值。
2.底層僅在所有更高編號層也都被斷言的情況下才能被斷言。因而，N比特當中 對應(yīng)于底層的比特只有與所有更高編號層(如果有的話)相對應(yīng)的比特也具有第一值才能具有第一值。
3.由于層數(shù)大于N，因此必須總是有具有第二值的比特。如果斷言了頂部層和底 部層的任意組合，則在N比特值的N-2個中間(或中心)比特內(nèi)必須有至少一個具有第二 值的比特。
在一些實現(xiàn)方式中，將哪個比特的分配設(shè)為零依賴于用來提供位圖相關(guān)信息的方 式。例如，在自頂向下方式中，除了底層比特之外，所有比特都可設(shè)置為1。類似地，如果實 現(xiàn)了自底向上方式，則除了頂層比特之外，所有比特都可設(shè)置為1。
在一些實施例中，用于通知重復(fù)在上一活動或所提供的位圖相關(guān)信息期間使用的 位圖相關(guān)信息的一種機制是使用未被允許的N比特的模式作為重復(fù)標志。例如，如果N =5比特，則N比特的中間或中心比特可被設(shè)為第一值。因此，在一些實施例中，重復(fù)功能可以 通過非法模式來通知，該非法模式例如是關(guān)于最重要和最不重要比特的“邊緣”比特是零的 情況。
考慮如下的示例其中每個位圖長度是16比特，并且僅斷言(8個可能的層當中 的)5個層，其中N = 5?？梢酝ㄟ^非法模式(例如00100，假設(shè)自底向上或自頂向下方式) 來通知重復(fù)功能。利用其他3比特，可以進行8種不同組合或排列。
在一些實施例中，位圖的長度可以從在承載位圖相關(guān)信息的具體消息中所傳達的 長度字段的值暗示或得到。例如，可以通過如下方式得到位圖長度從該消息的長度字段的 值減去一字節(jié)以計入斷言標志，對斷言標志字段值的比特數(shù)(“B”)進行計數(shù)，然后除以B。
在一些實施例中，關(guān)于圖片互相關(guān)性的信息在無位圖的情況下提供。例如，所提供 的信息僅僅是一層斷言字段(或當使用了多個字節(jié)時的一層斷言字段)，其包括分別對應(yīng) 于M個層的M個比特，其中M小于等于8。M個比特被排序以分別表示從頂層到底層的M個 層。M個比特中僅一個比特被允許具有第一值(等于“1”)以斷言針對對應(yīng)圖片的層，該對 應(yīng)圖片是視頻流中與傳輸分組的斷言標志字段的位置相關(guān)聯(lián)的圖片。例如，與上述類似，可 在MPEG-2傳輸分組的適配字段中設(shè)置層斷言字段，并且包含對應(yīng)圖片的PES分組的頭部的 開始可以位于同一傳輸分組的有效載荷的開始。從而，可以針對單個圖片斷言層，但并非視 頻流中的所有圖片需要被斷言。例如，斷言屬于中間層的圖片可能是不希望或不必要的。在 一些實施例中，與RAP相關(guān)聯(lián)的圖片不需要利用層斷言字節(jié)被斷言，這是因為它可被假設(shè) 為屬于頂層，層1。在一些實施例中，當不需要層斷言字節(jié)來斷言RAP圖片的層時，層斷言字 節(jié)可表示與視頻流中下一層1圖片所位于的RAP圖片相距的圖片數(shù)。
在一些實施例中，指派層斷言字節(jié)的一比特來傳達頂層斷言或底層斷言。換言之， 第一值(例如“1”)斷言頂層斷言，第二值斷言底層斷言。M個已排序比特當中的單個比特 斷言針對該圖片的層。如果作出了頂層斷言，則M個已排序比特分別對應(yīng)于M個底部層，從 底層開始。如果作出了頂層斷言，則M個已排序比特分別對應(yīng)于M個頂部層，從頂層開始。
在另一實施例中，層斷言字節(jié)包含(1)用于傳達頂層或底層斷言的比特，分別對 應(yīng)于M個層的M個比特(剛才描述過)，以及下一圖片字段。該下一圖片字段標識視頻流中 屬于層次結(jié)構(gòu)中與針對當前圖片所斷言的層相同層的圖片的位置。如果下一圖片字段等于 零，則其不標識圖片的位置。下一圖片字段中的非零值對應(yīng)于視頻流中按發(fā)送順序與當前 圖片相距的圖片數(shù)，并且從而標識出與當前圖片屬于同一層的下一圖片。
在一些實施例中，例如擴展到上面討論層斷言字節(jié)(或字段)的實施例的實施例 中，當隔行視頻的圖片被編碼為兩個單獨的PES分組中的兩個場時，層斷言字節(jié)(或等同 地，層斷言字段)的一比特可以分別利用兩個值標識出該場是底部場還是頂部場。在一些 實施例中，另一字段可以標識出與正被斷言為屬于一層的當前圖片相對應(yīng)的場的相對位置 (例如，通過與當前場相距的場數(shù))。
注意，本文中描述的某些實施例包括駐留于一個或多個位置，包括DHCT、網(wǎng)絡(luò)裝置 等的功能，后者可能由于網(wǎng)絡(luò)擁塞而丟棄圖片，因而保留(一個或多個)頂部層圖片，如果 這種設(shè)備的邏輯“知道”如下事實保證非頂層圖片可以被丟棄且保證頂層(無論它是哪個 層“η”)在所有層η及以上圖片被保留的情況下是可自解碼的。另外，在一些實施例中，這 種網(wǎng)絡(luò)設(shè)備中的邏輯可以執(zhí)行本文中描述的確定方法，因而不再需要DHCT中的編碼功能來執(zhí)行這種功能。
雖然關(guān)于“圖片”描述了操作，但可以類似地使用其他任何數(shù)據(jù)集合，例如圖片群 組，塊，宏塊，片段或其他圖片部分，等等。
可使用任何合適的編程語言來實現(xiàn)特定實施例的例程，包括C、C++、Java、匯編語 言，等等。可采用不同編程技術(shù)，例如面向過程的或面向?qū)ο蟮摹＠炭梢栽趩蝹€處理裝置 或多個處理器上執(zhí)行。雖然可以按具體順序提供步驟、操作或計算，但該順序可以在一些實 施例中改變。在一些實施例中，在本說明書中示為順序的多個步驟可以同時執(zhí)行。本文中 描述的操作序列可被另一進程，例如操作系統(tǒng)，內(nèi)核等中斷、掛起，或以其他方式控制。例程 可以在操作系統(tǒng)環(huán)境中運行或作為單獨例程運行，其占據(jù)系統(tǒng)處理的所有或重要部分?？?以在硬件、軟件或二者組合中執(zhí)行功能。
在本文中的描述中，提供了許多具體細節(jié)，例如組件和/或方法的示例，以提供對 特定實施例的透徹理解。但本領(lǐng)域普通技術(shù)人員將認識到，特定實施例沒有這些具體細節(jié) 中的一個或多個，或利用其他設(shè)備、系統(tǒng)、組件、方法、部件、材料、部分等等來實現(xiàn)。在其他 實例中，沒有具體詳細示出或描述公知的結(jié)構(gòu)、材料或操作，以免模糊特定實施例的方面。
特定實施例可以使用被編程的通用數(shù)字計算機、通過使用專用集成電路、可編程 邏輯器件、現(xiàn)場可編程門陣列、光、化學(xué)、生物、量子或納米工程系統(tǒng)、組件和機構(gòu)來實現(xiàn)。一 般而言，特定實施例的功能可通過本領(lǐng)域公知的任意手段來實現(xiàn)?？梢允褂梅植际铰?lián)網(wǎng)的 系統(tǒng)、組件和/或電路。數(shù)據(jù)的通信或傳送可以是有線的、無線的，或通過其他任何手段。
所說明的特定實施例的前述描述，包括在摘要中所描述的內(nèi)容不希望是窮舉的或 將公開內(nèi)容限制為本文中所公開的精確形式。各種等同修改的具體特定實施例在本領(lǐng)域技 術(shù)人員將會認識和明白的精神和范圍內(nèi)是可能的。如上所述，考慮到前述對所說明特定實 施例的描述可以對本發(fā)明的系統(tǒng)和方法進行這些修改，它們應(yīng)包括在公開內(nèi)容的范圍內(nèi)。
從而，盡管本文中參考特定實施例描述了各種系統(tǒng)和方法，但前述公開內(nèi)容希望 包含多種修改、各種改變和替換，并且應(yīng)認識到，在一些實例中，特定實施例的某些特征可 以被采用而沒有相應(yīng)的其他特征的采用，這不會脫離所闡述的公開內(nèi)容的范圍。因此，可以 作出許多修改以使特定情形或材料適用于公開內(nèi)容的實質(zhì)范圍。希望各種實施例不限于所 附權(quán)利要求書中使用的特定術(shù)語和/或作為想到的實施系統(tǒng)和方法的最佳模式而公開的 特定實施例，而是某些實施例將包含落入所附權(quán)利要求范圍內(nèi)的任意和所有的特定實施例 和等同物。
權(quán)利要求
1.一種方法，包括提供視頻流，其中該視頻流中的相繼圖片是按發(fā)送順序提供的；以及提供多個標志的第一實例，所述多個標志分別與多個圖片互相關(guān)性層相關(guān)聯(lián)，其中多 個所提供的所述標志中的任何標志的第一標志值斷言對應(yīng)于與該標志相關(guān)聯(lián)的圖片互相 關(guān)性層的字段的存在。
2.如權(quán)利要求1所述的方法，還包括提供第一組字段，其中所述第一組字段中所提供的字段的數(shù)量對應(yīng)于所述第一實例中 具有所述第一標志值的多個所提供標志的數(shù)量，其中所述第一組字段與所述視頻流中第一 組多個相繼圖片(FP0SPITVQ相關(guān)聯(lián)，其中所述第一組字段中每個字段分別對應(yīng)于一相應(yīng) 的圖片互相關(guān)性層，其中所述第一組字段的每個字段包括已排序的子字段，其中所述第一 組字段的每個字段中所述已排序的子字段中的第一子字段對應(yīng)于所述FP0SPITVS按發(fā)送 順序的第一圖片，其中所述第一組字段的每個字段中所述第一子字段之后的每個相繼的已 排序子字段分別對應(yīng)于所述FP0SPITVS的第一圖片之后按發(fā)送順序的每個相繼圖片，并且 其中所述FP0SPITVS中的每個相繼圖片由所述第一組字段中至多一個相應(yīng)的已排序子字 段標識。
3.如權(quán)利要求2所述的方法，還包括在所述FP0SPITVS之后，在所述視頻流中提供第二組多個相繼圖片(SP0SPITVS)，其中 所述SP0SPITVS的第一所提供圖片是在所述FP0SPITVS的最后所提供圖片之后提供的。
4.如權(quán)利要求3所述的方法，還包括提供所述多個標志的第二實例。
5.如權(quán)利要求4所述的方法，還包括提供第二組字段，其中所述第二組字段中所提供 字段的數(shù)量對應(yīng)于具有所述第一標志值的多個所提供標志的數(shù)量；提供與所述SP0SPITVS 相關(guān)聯(lián)的第二組字段，其中所述第二組多個字段中的每個字段分別對應(yīng)于一圖片互相關(guān)性 層，其中所述第二組多個字段的每個字段包括已排序的子字段，其中所述第二組多個字段 的每個字段中所述已排序的子字段中的第一子字段對應(yīng)于所述SP0SPITVS按發(fā)送順序的 第一圖片，其中所述第二組多個字段的每個字段中所述第一子字段之后的每個相繼的已排 序子字段分別對應(yīng)于所述SP0SPITVS的第一圖片之后按發(fā)送順序的每個相繼圖片，并且其 中所述SP0SPITVS中的每個相繼圖片由所述第二組多個字段中相應(yīng)的多個已排序子字段 中至多一個子字段標識。
6.一種方法，包括接收視頻流；以及處理壓縮視頻和標識與各互相關(guān)性層相對應(yīng)的圖片的信息。
7.如權(quán)利要求6所述的方法，其中接收視頻流還包括接收標識所述視頻流中圖片的信 息，其中所述圖片包括壓縮圖片。
8.如權(quán)利要求7所述的方法，還包括從所述視頻流中抽取所標識的圖片中的一個或多 個圖片。
9.一種方法，包括提供視頻流；以及提供標識與各圖片互相關(guān)性層相對應(yīng)的所述視頻流中壓縮圖片的信息。
全文摘要
在一個實施例中，一種方法包括提供視頻流；以及提供標識與各圖片互相關(guān)性層相對應(yīng)的所述視頻流中壓縮圖片的信息。
文檔編號H04N7/50GK102037731SQ200980118689
公開日2011年4月27日 申請日期2009年5月18日 優(yōu)先權(quán)日2008年5月21日
發(fā)明者本杰明·M·庫克, 阿圖羅·A·羅德里谷茲 申請人:思科技術(shù)公司