專利名稱：使用元數(shù)據(jù)來處理多個視頻流的方法和設備的制作方法
技術領域：
本發(fā)明描述了一種用于處理多個視頻流的方法和設備。具體地， 所述方法和設備用于通過使用特定的元數(shù)據(jù)來動態(tài)地覆蓋兩個或更多 個視頻流。
背景技術：
通?；谟脖P驅(qū)動器(HDD)或光盤的音頻/視頻(AV)數(shù)據(jù)重放 設備具有訪問附加數(shù)據(jù)的多種不同的可能，例如因特網(wǎng)訪問、通用串 行總線(USB)接口等，以下載附加的內(nèi)容。一些高端電視機通過使用畫中畫(PIP)技術提供了同時觀看兩個或更多個節(jié)目的能力，然而其使用了不同的專有技術方案。電視機 在同一屏幕上表現(xiàn)不同視頻序列的方式是不靈活的，但在電視機制造后就立刻固定下來。可用的PIP技術在工作時沒有使用從AV內(nèi)容中提取出的任何幫助信息。發(fā)明內(nèi)容所描述的可用于視頻覆蓋的技術是不靈活的。因此，本發(fā)明解決了如下問題提供了一種以靈活的方式把視頻序列覆蓋到另一視頻序 列(或靜態(tài)視頻圖像)的方法和設備，具體地，本發(fā)明向?qū)μ囟ǖ墓?jié) 目視覺外觀感興趣的某些人提供了對該視頻覆蓋的控制能力，例如節(jié) 目提供者、預先錄制的AV內(nèi)容的作者、用戶。本發(fā)明提供了在表現(xiàn)時改變對不同視頻序列的覆蓋的決策方式。 因此，本發(fā)明把靜態(tài)視頻覆蓋改變?yōu)殪`活的動態(tài)視頻覆蓋處理系統(tǒng)。 利用這個改變，例如內(nèi)容提供者變得能夠控制該覆蓋。這是視頻序列動態(tài)組合的主要步驟。本發(fā)明的要點是，向視頻序列添加元數(shù)據(jù)，該元數(shù)據(jù)包含覆蓋參 數(shù)，并且能夠用于控制把該視頻序列覆蓋到另一視頻序列或靜態(tài)圖像。 原理上，被覆蓋的視頻序列包含該元數(shù)據(jù)是足夠的。在這種情況下， 該覆蓋可能與向其覆蓋的其他視頻序列或圖像無關。然而，可以在視 頻序列內(nèi)標識與覆蓋參數(shù)有關的特定的其他視頻序列或視頻序列組。 此外，可以把覆蓋元數(shù)據(jù)插入視頻序列，其定義了如何對另一視頻序 列進行覆蓋，例如針對特定場景禁止覆蓋顯示器中的特定區(qū)域。對于發(fā)生沖突的情況，可以為單個的、若干個或所有的參數(shù)定義 優(yōu)先級。例如，第一視頻序列可以包含定義了特定場景的元數(shù)據(jù)，例 如時間戳，而且其針對這個場景進一步定義了不能覆蓋的矩形區(qū)域，例如為顯示器高度的20-80%，以及顯示器寬度的0-100%。第二視頻序 列可以包含元數(shù)據(jù)，如果該序列用于覆蓋，則該元數(shù)據(jù)定義了其應當 在可視幀中呈現(xiàn)，例如顯示器寬度的0-10%以及優(yōu)選地是顯示器高度的 50%，即左邊線的中心高度。在這種情況下，可以把幀上移或下移，使 其顯示在禁止區(qū)域之外，因為參數(shù)"50%高度"的優(yōu)先級比其他的要低。 如果第一序列中的禁止區(qū)域也具有較低的優(yōu)先級，即其"不應"被覆 蓋，則可以對第二序列進行定位，使得這兩個條件均實現(xiàn)。如果第二 視頻序列單獨地顯示，即沒有發(fā)生覆蓋，則忽略這些元數(shù)據(jù)。本發(fā)明的優(yōu)點是，其可以提供各種有用的特征，例如可以在背景 視頻序列上對一個或更多個視頻序列進行移動、縮放、alpha混合和/ 或重疊。Alpha混合是用于場景之間的平滑轉(zhuǎn)變的常見技術。這些特征 不需要是靜態(tài)可用的，即它們可以動態(tài)地從因特網(wǎng)或閃存或附加的盤 (例如對已記錄的電影進行更新)等而下載。根據(jù)本發(fā)明，向視頻序列提供了特定的元數(shù)據(jù)，該元數(shù)據(jù)描述了 如何把不同的(但是確定的)視頻序列"粘"到一起。元數(shù)據(jù)的格式 應當是標準化的，從而不同的重放設備能夠處理/解釋這種元數(shù)據(jù)。當 前，這種元數(shù)據(jù)是不可用的。根據(jù)本發(fā)明的重放設備可以對適合的元數(shù)據(jù)進行解釋，而且其具 有HW/SW(例如3D圖形加速器)以執(zhí)行相應的重疊處理等。對于來自因特網(wǎng)的元數(shù)據(jù)，該設備可以方便地下載該數(shù)據(jù)。對于來自閃存卡讀卡器或USB的元數(shù)據(jù)，該設備具有適合的連接器。此外，該設備能夠把該 元數(shù)據(jù)存儲在可訪問的存儲區(qū)域中，例如本地DRAM。針對視頻序列與元數(shù)據(jù)的混合，存在多種可能元數(shù)據(jù)可以和AV 流進行交錯，元數(shù)據(jù)可以存儲在單獨的文件中，或者元數(shù)據(jù)可以與針 對特定電影的視頻流(例如電影導演的訪談首部)并行地傳遞。在后 者的情況下，該傳遞包含針對重疊的重放的所有必須的附加數(shù)據(jù)。此 外，存在不同的方式把兩個或更多個特定的視頻流進行重疊。所以， 對于相同的視頻序列，可以使用多于一個的元數(shù)據(jù)組。本發(fā)明所使用的元數(shù)據(jù)描述了怎樣在相同的視頻屏幕上把兩個 或更多個視頻序列進行重疊。這個重疊在廣闊范圍內(nèi)是可行的，即非 常靈活。這意味著元數(shù)據(jù)包含例如與針對覆蓋的視頻序列的顯示的幾何外觀有關的信息，重疊定時(優(yōu)選地是視頻流針對彼此的重疊定 時，這對于音頻流的同步尤其有用)，特效元數(shù)據(jù)(例如淡入淡出，顏 色改變，針對PIP的可視流，等等)，以及流元數(shù)據(jù)。


與具體實施方式
圖l示出了根據(jù)本發(fā)明的用于幀重疊的設備，以說明怎樣以及針對 哪個解碼步驟使用哪種元數(shù)據(jù)來執(zhí)行動態(tài)視頻重疊。虛線箭頭指示使 用哪種元數(shù)據(jù)來執(zhí)行特定的解碼步驟。實線箭頭指示視頻序列數(shù)據(jù)流。 視頻流數(shù)據(jù)的格式可以逐步驟地改變。例如最初視頻序列數(shù)據(jù)具有壓縮格式(例如MPEG-2、 MPEG-4或VC-1，等)，而在下一步驟中其被解碼 到幀緩沖器中(例如位圖狀格式)。最后，重疊的視頻可以具有YUV4: 2: 0格式。此外，圖l示出在元數(shù)據(jù)自身內(nèi)提供了分層。重疊定時元數(shù)據(jù)控制 幾何和特效元數(shù)據(jù)。這是重要的，因為例如子視頻序列在屏幕上的位 置在重放期間可能發(fā)生改變，而定時不會改變。例如，子視頻序列可 能水平地平滑移動，或整個視頻幀被放大/縮小。示范性地，屏幕上顯 示不同流的若干縮略視頻，每個流一個縮略視頻，而且用戶使用菜單 來選擇這些縮略視頻之一。作為特效，該縮略視頻的分辨率會提升，直到其覆蓋整個屏幕為止。這在直覺上提供了這樣一種印象，即該選擇與以全屏幕大小隨后立即進行的視頻重放有關。這在圖4-6中描述。此外，分層中的上層可以控制定時元數(shù)據(jù)。這可以是用戶交互。 用戶可以在不同的重放節(jié)目之間進行切換，例如DVD所使用的不同的節(jié)目鏈(PGC)。其類似于播放列表，即用戶可以切換至另一個重疊節(jié)目。 由于元數(shù)據(jù)的分層，上層可以推翻(override)下層的設置。例 如，可以對子視頻進行裁剪，并且可以改變像素縱橫比。所以，應當 把下層元數(shù)據(jù)作為缺省數(shù)據(jù)來處理。有利地，如果以單獨的文件來存儲該元數(shù)據(jù)，那么應當使用像XML 這樣的開放文檔格式來進行存儲。如果元數(shù)據(jù)被嵌入視頻流自身中， 則針對嵌入的元數(shù)據(jù)而使用的格式必須遵循視頻流格式的特定約束， 例如，避免user—data ()字段中的起始代碼位于MPEG-2或MPEG-4視頻流中。圖2和3示出了用戶如何才能分別訂購影碟、額外的獎賞資料(例 如通過因特網(wǎng))和有關的元數(shù)據(jù)。作為示例，用戶購買了光盤形式的 電影，打開包裝并查看導演的評論視頻序列的憑單。用戶必須連接至 內(nèi)容提供者的網(wǎng)頁(例如迪斯尼)，并進行注冊。當在內(nèi)容提供者的網(wǎng) 頁上進行注冊之后，用戶能夠訪問附加的導演的評論視頻序列。用戶 通過其DSL連接以下載該視頻序列。在完成下載后，用戶希望看一下其 最新下載的獎勵。用戶把下載的獎勵放到重放設備的HDD上。然后，用 戶啟動對新下載的視頻序列的重放。重放設備識別所插入的元數(shù)據(jù)。 所以，重放設備知曉這個視頻序列將會連同特定的電影而重放。如果 還沒有插入電影，則重放設備會告知用戶(例如通過UI)用戶應當插 入適合的盤。當插入該盤時，重放設備開始對這兩個視頻序列進行重 放，正如連同獎勵內(nèi)容一同傳遞的元數(shù)據(jù)(例如被合并在同一個流中) 所定義的那樣。屏幕上顯示的電影與導演的臉部重疊。導演講解當前 所顯示的場景。獎勵視頻序列包含元數(shù)據(jù)的播放列表，即一組評論的 部分。所以，用戶可以選擇若干評論的場景之一，例如類似下文的播 放列表1.導演評論整個電2. 導演評論特技3. 導演評論FX場景4. 演員1評論色情場景5. 演員2評論拍攝期間發(fā)生的一些有趣的情況 在這個示例中，兩個電影是可用的(原始電影和獎勵視頻序列)，而且有5組元數(shù)據(jù)。每一組均組合了主視頻的不同部分以及獎勵視頻， 并設置了當視頻產(chǎn)生重疊時(同步)對視頻重疊的位置的控制(幾何 信息)，使用重疊效果(例如alpha混合)，以及如何對這兩個流中的音 頻進行混合。甚至可以添加針對用戶交互的信息，例如可以提供可以 繼續(xù)的不同方式(例如"結(jié)束重放"和"再次播放"以及"到下一個 元數(shù)據(jù)組")。在這個示例中，在生產(chǎn)出光盤的主盤(master)后完成主電影。 但是，內(nèi)容提供者之后可以通過使用根據(jù)本發(fā)明的元數(shù)據(jù)、把該元數(shù) 據(jù)與適合的視頻進行組合、并使其在用戶的因特網(wǎng)入口上可用，從而 為這個電影添加附加信息。有利地，內(nèi)容提供者可以通過這個特征在 任意時候來添加與電影有關的有趣信息。例如可以通過信件或直接的 電子郵件告知顧客。所以，可以更好地保持顧客。電影制片人使用越來越依賴于計算機的拍攝，即人工產(chǎn)生的場景 的數(shù)量在當前的電影中急劇增長。因此，更加容易地產(chǎn)生不同的視頻 序列。作為另一個示例，用戶購買帶有色情電影的光盤。然而，電影 中所顯示的多數(shù)人是穿著衣服的。在支付費用后，用戶可以從內(nèi)容提 供者的因特網(wǎng)入口下載特定的視頻序列信息，該信息提供了期望的觀 看。這個特定的視頻序列信息(SVSI)包含不同的視頻序列，其逐像 素地改變了色情電影的外觀。為了重放，重放設備根據(jù)所傳遞的本發(fā) 明的元數(shù)據(jù)對兩個視頻序列進行重疊。所添加的差別視頻序列改變了 某些像素的外觀。在這個示例中，其在某些場景中去除了一些演員的 適當?shù)囊路Ｋ?，顧客通過向內(nèi)容提供者支付附加費用并從因特網(wǎng) 下載差別視頻序列，可以獲得不受約束的更多裸漏皮膚的觀看?？煽?到的皮膚的量可能取決于付費數(shù)。在類似的示例中，可以通過應用該 特征、根據(jù)當前時尚來改變電影中演員所穿的衣服，或者可以改變電影場景的背景(即虛擬位置)。在另一示例中，用戶購買帶有電影的光盤。若干演員在該電影中 扮演角色。內(nèi)容提供者把該電影分為背景場景和演員的頭部(作為視 頻序列)。把背景場景和演員的頭部相重疊將會執(zhí)行電影的實際重放。 本發(fā)明的元數(shù)據(jù)描述了何時將哪個頭部與背景視頻在幀內(nèi)的正確位置 處相重疊。這用于控制重疊處理。此外，本發(fā)明的元數(shù)據(jù)包含與所顯示的頭部有關的信息，即其三維(3D)位置和與攝像機的相對位置，針對頭部的照明等級和方向，自然環(huán)境(例如有風、水下、離心力)， 等等。顧客可能希望調(diào)換演員。所以，用戶向重放引擎給出與期望的演員(例如顧客自身)的3維頭部有關的適合的信息。這可以通過對頭 部進行掃描而完成，例如一些頭部的電子照片和重放設備中的一些軟 件，該軟件產(chǎn)生了期望的頭部的適合的3D模型。利用一些典型的3D引擎(如當前的圖形加速器中所使用的)，重放設備能夠?qū)崟r地產(chǎn)生適合 的頭部，該頭部將會與背景視頻發(fā)生重疊。當前的3D引擎甚至可以處 理復雜的結(jié)構，例如風中的長發(fā)。對于第一個簡單版本來說，可能出 現(xiàn)的是用戶掃描期望的頭部，并將該信息發(fā)送至內(nèi)容提供者。內(nèi)容提 供者產(chǎn)生重疊視頻，并將其發(fā)回給用戶。用戶可以如上文所述的那樣 來使用這個接收到的序列。然而，最后的示例描述了一種方法，其中內(nèi)容提供者首先產(chǎn)生背 景視頻和頭部分離的視頻。另外，內(nèi)容提供者提供元數(shù)據(jù)，所述元數(shù) 據(jù)告知哪個頭部將會顯示在哪個位置。內(nèi)容提供者還可以提供演員的 3D模型以及元數(shù)據(jù)，所述元數(shù)據(jù)告知重放設備怎樣來產(chǎn)生這個頭部的 適合的投影。具有該內(nèi)容的盤被放到主盤上，即它是像電影自身那樣的靜態(tài)內(nèi) 容。可以把其他演員的臉部添加到這個盤(靜態(tài)信息)。這樣，用戶可 以通過使用所購買的盤上的內(nèi)容來調(diào)換演員。此外，內(nèi)容提供者可以 通過從他的因特網(wǎng)入口進行下載而提供針對該電影的其他演員以作為 獎賞資料。此外，內(nèi)容提供者可以通過從顧客處接收足以產(chǎn)生所需的 3D模型的適合的照片而把3D模型置于電影中。這將會是另一個商業(yè)模 型。甚至可能的是，顧客可以和其他用戶交換3D模型。所以，這個示例中的重放設備支持兩種重疊方式1) 把己投影的視頻序列與背景視頻進行重疊(例如原始演員的頭部)2) 把重放期間基于頭部的3維模型實時計算的投影進行重疊。附 加的元數(shù)據(jù)(例如頭部的位置和照明信息，以及與自然環(huán)境有關的信 息等)由內(nèi)容提供者來傳遞(可能已經(jīng)存在于盤上，或可以通過因特 網(wǎng)作為獎賞資料而傳遞)。在另一示例中，用戶產(chǎn)生自有菜單，以獲取對可用視頻的概覽。 用戶產(chǎn)生根據(jù)本發(fā)明的元數(shù)據(jù)，該元數(shù)據(jù)描述了在何處把多少個縮略 視頻與背景電影進行重疊。用戶還可以決定所選縮略視頻的行為(用于導航)，以及激活之后該縮略視頻的外觀。圖4示出了針對這個示例 而開發(fā)的菜單。用戶產(chǎn)生的3*3縮略視頻菜單與背景視頻?？s略視頻的 選擇(例如通過導航按鈕上、下、左、右)將會把所選的視頻序列放 大一些，如圖5中所示。如果用戶激活了這個縮略視頻(即最終選擇)， 那么該縮略視頻變大直到其覆蓋整個屏幕。然后，可以開始常規(guī)的重 放。在這個示例中，用戶自身產(chǎn)生了用于定義視頻應當位于何處的元 數(shù)據(jù)。在這種情況下，與特定呈現(xiàn)的視頻有關的知識以及菜單結(jié)構不 需要是固定的，即在菜單的產(chǎn)生期間，哪些特定視頻將在該菜單中的 特定位置處呈現(xiàn)是不清楚的，即通過實時地解釋來自視頻流自身的流 信息(以獲得格式和分辨率等)和幾何信息以及來自用戶菜單結(jié)構的 信息，來完成重疊。所以，這些元數(shù)據(jù)是必需的，但通常是分離的。 內(nèi)容提供者可以提供一些軟件和/或模板來產(chǎn)生該菜單。重放設備可以 支持該菜單的產(chǎn)生。可以不同地放置根據(jù)本發(fā)明的元數(shù)據(jù)。該元數(shù)據(jù)可以和重疊的視頻序列位于同一個介質(zhì)上(例如HDD或光 盤，例如DVD、 HD-DVD或藍光盤)。通常，其可以和至少一個重疊的視 頻序列位于同一個介質(zhì)上。元數(shù)據(jù)還可以和重疊的視頻序列位于不同的介質(zhì)上。此外，元數(shù)據(jù)可以從其他源分別接收(例如USB、閃存、因特網(wǎng)，等等)。存在視頻序列與元數(shù)據(jù)的各種可能的混合 *元數(shù)據(jù)可以與AV流交錯。〇這意味著內(nèi)容提供者在創(chuàng)作期間決定與視頻重疊有關的一 些或一切。〇在技術上，這可以通過把元數(shù)據(jù)存儲在例如MPEG-2視頻或 MPEG-4視頻或VC-l流中的user—data ()中而完成。〇另一種備選是，把元數(shù)據(jù)存儲在傳輸流中單獨的傳輸分組中(例如BD內(nèi)容的.m2ts文件中)。 O然而，這種元數(shù)據(jù)需要特殊標準以對于不同的重放設備均為 可讀的。*元數(shù)據(jù)可以存儲在單獨文件中。O這意味著在視頻序列的創(chuàng)作之后，可以把元數(shù)據(jù)鏈接至文 件。這種元數(shù)據(jù)可以是從內(nèi)容提供者的網(wǎng)頁上下載的附加 獎賞資料，作為訪問內(nèi)容提供者的網(wǎng)頁或進行自愿注冊的 用戶的獎勵(以實現(xiàn)顧客忠誠度和顧客追蹤)。O在技術上，這可以通過把元數(shù)據(jù)存儲在特定文件中而完成。O備選的是，把這個元數(shù)據(jù)存儲在其他信息文件中，例如存 儲在藍光盤的".clpi" (ClipInfo)或".即ls" (PlayList) 文件中，或存儲在DVD的".IF0"文件中。O然而，這種元數(shù)據(jù)需要特殊標準以對于不同的重放設備均 為可讀的。*針對特定電影，例如特殊盤上的電影，可以把元數(shù)據(jù)和視頻流 一同傳遞(例如電影導演的"訪談首部")。所以，該傳遞包含 針對重疊式重放的所有必需的附加數(shù)據(jù)。*存在不同的方式把等同的視頻流進行重疊。所以，對于相同的 視頻序列，可以使用多于一個的元數(shù)據(jù)組。其優(yōu)先地可以是隱 式或顯式的，或用戶可以選擇優(yōu)選的元數(shù)據(jù)組。應當進行重疊的視頻序列的位置*該視頻序列可以位于同一個介質(zhì)上(例如HDD或光盤)。 *該視頻序列可以位于不同的介質(zhì)上。可以通過網(wǎng)絡來實現(xiàn)同時 的重放。*視頻序列可以分別從其他源接收(例如USB、閃存、因特網(wǎng)， 等等)，例如流視頻。例如，"電影導演"序列直接從內(nèi)容提供 者的因特網(wǎng)服務器(流)獲得而實際的電影從光盤上讀取。重 放設備通過對根據(jù)本發(fā)明的元數(shù)據(jù)進行解釋，把這兩個視頻序 列同時進行重疊。元數(shù)據(jù)的內(nèi)容元數(shù)據(jù)描述了怎樣把兩個或更多個視頻序列與在相同的視頻屏幕 上進行重疊。有利地，該重疊在很大范圍內(nèi)都是可能的，即非常靈活。這意味著元數(shù)據(jù)包含例如與如下內(nèi)容有關的信息*幾何顯示元數(shù)據(jù)o顯示器內(nèi)的位置〇對所呈現(xiàn)的幀的縮放 ■可以把可能的縮放等級限制為固定的數(shù)值組，以簡化該 縮放的實現(xiàn)，即為了簡化硬件要求。o顯示之前的旋轉(zhuǎn)■可以把可能的旋轉(zhuǎn)等級限制為固定的數(shù)值組，以簡化 該旋轉(zhuǎn)的實現(xiàn)，即為了減小硬件要求。o失真(例如縱橫比)，如果■推翻縱橫比，例如元數(shù)據(jù)約束與視頻流所指示的不同 的縱橫比■水平和/或垂直地對整個視頻進行翻轉(zhuǎn)o幀裁剪信息，如果O推翻像素縱橫比，例如元數(shù)據(jù)約束與視頻流所指示的不同的 縱橫比 *重疊定時元數(shù)據(jù)O使用定時信息和流訪問點來對整個重疊處理進行同步。這可以是精確地或大致地同步的視頻場、視頻幀或音頻幀 O如果沒有可用的特定定時信息，則可以使用缺省值來代替 O通常，定時信息可以描述起始時間、結(jié)束時間、持續(xù)時間或任意這些的混合O在視頻序列中進行導航的信息，像DVD中的節(jié)目鏈(PGC)，公布于因特網(wǎng)上http:〃www. dvd-replica. com/DVD/pgcaL php ■(無止境的〉循環(huán)，或完成一次呈現(xiàn)后的停止 ■為了進行重放，對視頻序列的部分進行重新排列 ■指示可能的用戶交互(像PGC) 〇在不同的幾何元數(shù)據(jù)和/或特效元數(shù)據(jù)之間進行切換的信息?？梢允且曨l場或視頻幀或大致同步。 O能夠以不同的精確等級而提供的信息■大致同步(即，通常是幾個幀周期的階次) ■嚴格同步(即，幀精確或場精確) O針對音頻的信息■切換至適合的音頻流，或 ■指示重疊音頻流(指示音頻流是否應當重疊) ■重疊等級(例如指示哪個音頻流應當放在前景或背景 中)■ 2D或3D位置(指示幾何位置，即特定音頻的音頻應當來到/可聽到的位置) ■指示混合前每一個音頻流的音量 ■音效(例如向音頻添加回響效果) 翻如果這些音頻行為是可用的，則它們推翻針對其他元 數(shù)據(jù)類型的音頻的特效 特效元數(shù)據(jù) O淡入淡出 O顏色變化 O幀邊界的幀〇指示所使用的重疊方法■針對透明度的色度鍵控信息(通常需要顏色范圍， 因為視頻壓縮可能遞送相同透明度區(qū)域中的多 樣值)■針對如下的全局透明度值 單一視頻序列 若干視頻序列 ■向背景視頻添加子視頻 ■把子視頻與背景視頻進行異或組合 O針對不同顯示區(qū)域的不同效果，例如透明度值取決于所使用的顯示類型 〇多個其他效果是可能的 O音效■音效(例如向音頻添加回響效果)*流元數(shù)據(jù)o與視頻序列有關的詳細技術信息 ■壓縮格式(例如位圖序列、MPEG-2、 MPEG-4、 VC-1，等) ■分辨率■縱橫比(針對幀和針對像素)■所使用的顏色空間(例如針對HDTV的ITU 709或針對SDTV的ITU 624，等) ■幀速率 ■隔行/逐行 ■色度鍵控值，如果 ■針對亮度的平均或中間值 O與視頻序列有關的詳細內(nèi)容信息■流派■ 演員■等等O音頻屬性■指示音頻流的音量■ 2D或3D位置(指示幾何位置，即特定音頻的音頻應當來到/可聽到的位置) ■指示混合前每一個音頻流的音量如果元數(shù)據(jù)位于第二子流中(即將與其他進行重疊的子流)，則考慮如下內(nèi)容。其可以位于a) 在視頻基本流(ES)中(user—data ()， MPEG-2， MPEG-4視頻，VC-1)b) 在包含視頻ES的傳輸流(m2ts)中；同一傳輸流(TS)中還可能包含次要音頻c) 在相應的TS的ClipInfo文件(clpi)中d) 在播放列表文件(mpls)中e) 作為單獨的元數(shù)據(jù)文件針對元數(shù)據(jù)內(nèi)容/目的的示例a) 位置(包括幀精確的修改)b) 縮放(包括動態(tài)或幀精確的修改)c) 從預定義的固定縮放因數(shù)中進行選擇d) 針對透明度的色度鍵控信息(NB:考慮由于壓縮的顏色范圍)e) 全局透明度值f) 取決于顯示器(顯示類型)的透明度g) 顏色范圍信息針對HDTV的ITU-(T或R)709，針對SDTV的ITU 6 h) 重疊像素縱橫比信息i) 翻轉(zhuǎn)信息 j)旋轉(zhuǎn)信息 k)效果1)針對PIP (畫中畫)的幀m)針對異步PIP的開始&停止信息n)基礎亮度，以實現(xiàn)具有吸引人的外觀的統(tǒng)一/穩(wěn)定的多PIP o)對兩個圖像進行計算(例如光柵操作)(例如減去圖像對象)根據(jù)本發(fā)明的所有元數(shù)據(jù)可選地還能夠修改子視頻幀。此外，所有這些元數(shù)據(jù)可能僅用于缺省值，即它們可以被例如 BD-Java API調(diào)用所重寫。這樣，上述元數(shù)據(jù)退化為這些缺省值。典型地，次要視頻是可以從因特網(wǎng)下載并存儲在本地存儲器中的 內(nèi)容，所以不需把混合元數(shù)據(jù)存儲在光盤上(可以是R0M盤)。還可能 的是，主要和次要視頻數(shù)據(jù)均位于同一數(shù)據(jù)載體上，例如光R0M盤。一個典型應用是，針對第一視頻中的特定場景，例如表示為開始 和結(jié)束時間戳，根據(jù)本發(fā)明的元數(shù)據(jù)定義了顯示器中哪些區(qū)域相對較 暗，和/或哪些區(qū)域相對較亮。該信息還可以和針對覆蓋的禁止區(qū)或優(yōu) 選區(qū)相結(jié)合，其中該場景用作背景。如果應當在單獨的窗口中把第二 視頻覆蓋到該場景上，則該第二視頻包含有元數(shù)據(jù)，所述元數(shù)據(jù)例如 指示其內(nèi)容更加明亮，或指示其內(nèi)容應當在暗區(qū)上呈現(xiàn)，所述窗口可以自動地定位，以滿都所有這些要求，即它自動地定位在被指示為"暗" 的區(qū)域上。此外，如果背景改變，則第一視頻的元數(shù)據(jù)指示這個改變， 并且第二覆蓋視頻可以自動地移至另一區(qū)域，其中所有條件都得以實 現(xiàn)。這個移動優(yōu)選地是平滑移動，而不是跳躍。在另一示例中，第一視頻流是游戲，例如合成地呈現(xiàn)的游戲?？?以把提供游戲中其他角色的不同視野的其他視頻流進行覆蓋。例如， 游戲者A出現(xiàn)在其屏幕區(qū)域上，該屏幕區(qū)域上顯示處其他游戲者B和C的并發(fā)動作。這些其他的游戲者可以是人，例如在線游戲，也可以是 虛擬的。因此，其他兩個流覆蓋到背景場景，顯示出游戲者自己的視 野。覆蓋幀的位置由附加到各個流的元數(shù)據(jù)來定義。這些元數(shù)據(jù)還可 以取決于例如各個游戲者所執(zhí)行的動作。在另一示例中，第一視頻流是靜態(tài)圖像或連續(xù)重復的短場景，例 如用作菜單的背景。覆蓋了若干視頻流，例如與用戶在其視頻庫中所 擁有的視頻的摘要相對應。附加到第一視頻流的元數(shù)據(jù)提供的視頻流 的顯示區(qū)域，所以l.每一個視頻可以以圖標而顯示，2.可以顯示所定義數(shù)目的視頻圖標，以及3.圖標之間留有一些空間，所以可以看到 背景，但每一個圖標盡可能的大。例如，元數(shù)據(jù)定義了在四列和三行中顯示12個視頻流，其中每一列具有25%的寬度，每一行具有33.3%的 高度，而每一個圖標使用其寬度和高度的80%，即其面積的81%，所以 可以看到背景上的每一條邊上所剩余的10%。在類似的示例中，不應當 顯示背景，但與可用視頻流的個數(shù)無關地，每一個圖標將具有屏幕上 的最大面積。例如，當庫中存在兩個視頻時，每一個視頻對顯示器享 有相同的面積(直到特定的最小尺寸)，這由附加到背景的元數(shù)據(jù)動態(tài) 地進行控制。作為特殊優(yōu)點，所述面積定義的相對類型允許進行調(diào)整，以分別 適合于所有的顯示器尺寸或分辨率。
權利要求
1、一種用于動態(tài)地覆蓋兩個或更多個視頻流的方法，其中，元數(shù)據(jù)與至少一個視頻流相關聯(lián)，所述方法包括步驟-顯示作為所述視頻流之一的第一視頻流；-提取所述元數(shù)據(jù)；-檢測步驟，檢測的內(nèi)容是所提取的元數(shù)據(jù)定義了怎樣覆蓋兩個或更多個視頻流；以及-根據(jù)所述元數(shù)據(jù)所定義的那樣，把至少第二視頻流覆蓋到第一視頻流。
2、 根據(jù)權利要求l所述的方法，其中，所述元數(shù)據(jù)包含位置數(shù)據(jù)， 所述位置數(shù)據(jù)定義了用于把兩個或更多個視頻流進行覆蓋的顯示區(qū) 域，所述顯示區(qū)域與顯示器尺寸有關。
3、 根據(jù)權利要求1或2所述的方法，其中，所述元數(shù)據(jù)包含定時 信息，所述定時信息規(guī)定了用于把第二視頻流覆蓋到第一視頻流的時 間。
4、 根據(jù)權利要求2或3所述的方法，其中，所述元數(shù)據(jù)包含位置 數(shù)據(jù)的優(yōu)先級，而且在發(fā)生沖突的情況下，應用具有較高優(yōu)先級的位 置數(shù)據(jù)。
5、 根據(jù)權利要求2-4中任意一項所述的方法，其中，所述元數(shù)據(jù) 還包含與元數(shù)據(jù)相關聯(lián)的視頻流的格式信息、內(nèi)容信息和/或音頻屬 性。
6、 根據(jù)權利要求1-5中任意一項所述的方法，其中，借助于播放 列表把元數(shù)據(jù)與視頻流進行關聯(lián)。
7、 根據(jù)權利要求1-6中任意一項所述的方法，其中，所述元數(shù)據(jù) 與第一視頻流相關聯(lián)，而且定義了如何把至少第二視頻流覆蓋到另一 視頻流。
8、 根據(jù)權利要求l-6中任意一項所述的方法，其中，所述元數(shù)據(jù) 與第二視頻流相關聯(lián)，而且定義了如何把第二視頻流覆蓋到其他流。
9、 根據(jù)上述任意一項權利要求所述的方法，其中，所述元數(shù)據(jù)包含針對第二視頻流的縮放信息或透明度信息。
10、 根據(jù)上述任意一項權利要求所述的方法，其中，所述元數(shù)據(jù) 包含針對第二視頻流的顏色范圍信息、翻轉(zhuǎn)信息和/或旋轉(zhuǎn)信息。
11、 根據(jù)上述任意一項權利要求所述的方法，其中，所述元數(shù)據(jù) 包含特效數(shù)據(jù)，例如淡入淡出數(shù)據(jù)，顏色變化數(shù)據(jù)，幀邊界的幀數(shù)據(jù)， 或?qū)⒁褂玫闹丿B方法的指示。
12、 根據(jù)權利要求9-ll中任意一項所述的方法，其中，所述元數(shù)據(jù)僅針對特定的顯示類型而定義了所述透明度信息和/或所述特效數(shù) 據(jù)。
13、 根據(jù)上述任意一項權利要求所述的方法，其中，第二視頻流 包含差別視頻數(shù)據(jù)，所述差別視頻數(shù)據(jù)在像素級別上改變了第一視頻 流的外觀。
14、 根據(jù)權利要求13所述的方法，其中，所述元數(shù)據(jù)包含投影信 息，所述方法還包括步驟-產(chǎn)生或接收定義三維模型的數(shù)據(jù)； -根據(jù)所述投影信息，計算三維模型的投影；以及 -把所述投影數(shù)據(jù)作為差別視頻數(shù)據(jù)包括到第二視頻流中。
15、 根據(jù)上述任意一項權利要求所述的方法，其中，可以在呈現(xiàn) 時對所述元數(shù)據(jù)進行修改。
16、 根據(jù)上述任意一項權利要求所述的方法，還包括步驟 -檢測步驟，所述檢測的內(nèi)容是第二視頻流被選擇，以及 -基于該檢測，自動地增大第二視頻流的顯示區(qū)域。
17、 根據(jù)權利要求l所述的方法，其中，所述元數(shù)據(jù)包含位置數(shù) 據(jù)、定時數(shù)據(jù)以及特效數(shù)據(jù)，而且存在分層，所述分層定義了由所述 定時數(shù)據(jù)來控制所述位置數(shù)據(jù)和所述特效元數(shù)據(jù)。
18、 根據(jù)上述任意一項權利要求所述的方法，其中，與第一視頻 流相關聯(lián)的第一元數(shù)據(jù)指示顯示區(qū)域的亮度值，而與第二視頻流相關 聯(lián)的第二元數(shù)據(jù)包含對第二視頻流的亮度值指示，所述方法還包括步 驟-基于第一視頻流的所述顯示區(qū)域的所述亮度值以及第二視頻流 的亮度值指示，自動地產(chǎn)生位置信息，其中，根據(jù)所產(chǎn)生的位置信息 把第二視頻流覆蓋到第一視頻流。
19、 一種用于動態(tài)地覆蓋兩個或更多個視頻流的設備，其中，元 數(shù)據(jù)與至少一個視頻流相關聯(lián)，所述設備包括-用于讀取和提取所述元數(shù)據(jù)的裝置；以及-用于覆蓋兩個或更多個視頻流的裝置，其中，所提取的元數(shù)據(jù) 定義了如何覆蓋視頻流。
20、 根據(jù)權利要求19所述的設備，還包括用于根據(jù)所提取的元數(shù) 據(jù)來產(chǎn)生位置數(shù)據(jù)的裝置，所述位置數(shù)據(jù)定義了用于把至少第二視頻 流覆蓋到第一視頻流的顯示區(qū)域，其中，所述顯示區(qū)域與顯示器尺寸 有關。
21、 根據(jù)權利要求19或20所述的設備，還包括 -用于從所述元數(shù)據(jù)中提取時間同步信息的裝置；以及 -用于執(zhí)行被覆蓋的視頻流之間的時間同步的裝置，其中，時間同步取決于所述定時同步信息，可以是幀/場精確的或是粗略的。
22、 根據(jù)權利要求19-21中任意一項所述的設備，其中，所述元 數(shù)據(jù)包含投影信息，所述設備還包括-用于接收定義三維模型的數(shù)據(jù)的裝置；-用于根據(jù)所述投影信息來計算三維模型的投影的裝置；以及 -用于把所述投影數(shù)據(jù)作為差別視頻數(shù)據(jù)而包括到第二視頻流中 的裝置。
23、 根據(jù)權利要求19-22中任意一項所述的設備，還包括用于在 表現(xiàn)時修改所述元數(shù)據(jù)的裝置。
24、 根據(jù)權利要求19-23中任意一項所述的設備，還包括-用于檢測的裝置，所述的檢測的內(nèi)容是第二視頻流被選擇；以及-基于所述檢測而自動地增大第二視頻流的顯示區(qū)域的裝置。
全文摘要
一種用于動態(tài)地覆蓋兩個或更多個視頻流的方法和設備，該方法和設備使用專用的元數(shù)據(jù)，所述元數(shù)據(jù)附加到至少一個視頻流中。
文檔編號H04N5/445GK101223778SQ200680026366
公開日2008年7月16日 申請日期2006年7月5日 優(yōu)先權日2005年7月18日
發(fā)明者哈穆特·彼特斯, 安德杰·休佐夫, 德克·加道夫, 拉爾夫·奧斯特曼, 約斯特·仁魯普, 維·亞森, 馬克·溫特 申請人:湯姆森許可貿(mào)易公司