專利名稱：利用靈活宏塊排序?qū)θ我鈹?shù)目的源流進行視頻合成的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及通過數(shù)字網(wǎng)絡(luò)進行視頻數(shù)據(jù)傳輸?shù)念I(lǐng)域。
背景技術(shù)：
對端用戶設(shè)備上的多媒體內(nèi)容的日益增長的需求以及可用于遞送該內(nèi)容的有限 帶寬使得開發(fā)出了非常高效且高度穩(wěn)定的視頻編碼算法。例如，H.264/AVC(高級視頻編 碼)數(shù)字視頻編碼標(biāo)準(zhǔn)因其可在易產(chǎn)生錯誤的環(huán)境中提供高質(zhì)量視頻而聞名，這種編碼標(biāo) 準(zhǔn)是由國際電信聯(lián)盟(ITU)視頻編碼專家組(VCEG)與國際標(biāo)準(zhǔn)化組織ISO/國際電工技術(shù) 委員會(IEC) IEC運動圖像專家組(MPEG) —起編著的。已出現(xiàn)的稱為H. 264/SVC(可伸縮 視頻編碼)的、對H. 264/AVC的可伸縮擴展定義了包含不可伸縮的基本層以及一個或多個 增強層的可伸縮視頻比特流。H. 264標(biāo)準(zhǔn)包含稱為靈活宏塊排序(FM0)的特征，該特征允許多個“不同的片段組 (slice group) ”以如下方式在H. 264影像中被創(chuàng)建任一宏塊(16X 16個像素的塊)都不 被來自同一片段組的任何其它宏塊包圍。在片段組內(nèi)部，所有宏塊以光柵掃描順序被排序。 基本上，每個片段組就像其自身的小型迷你影像。例如，可對一個片段組進行幀內(nèi)編碼，同 時可以根據(jù)基準(zhǔn)影像中的相同的對應(yīng)片段組來對相鄰組進行預(yù)測性編碼。比如說對于視頻 會議，F(xiàn)M0特征使得能夠從多個源中取出獨立的貢獻流(contributing stream)并且將這 些流組合成為一個流的合成影像。


將從下面的詳細描述和附圖更全面地理解本發(fā)明，然而，詳細描述和附圖不應(yīng)當(dāng) 被認為是將本發(fā)明限制為所示出的具體實施例，而是僅用于說明和理解。圖1圖示出了示例視頻通信系統(tǒng)。圖2A圖示出了由圖1的合成器產(chǎn)生的示例合成影像。圖2B圖示出了由圖1的合成器產(chǎn)生的另一示例合成影像。圖3A圖示出了由圖1的合成器產(chǎn)生的示例合成影像。圖3B圖示出了針對圖3A的合成影像進行編碼得到的片段組的示例集合。圖4A圖示出了由合成器進行編碼以從四個進入的視頻比特流創(chuàng)建影像的片段組 的示例集合。圖4B圖示出了被生成為單個視頻比特流的示例影像，該單個視頻比特流包含圖 4A所示的各個進入的視頻圖像片段組。圖4C圖示出了被生成為單個視頻比特流的另一示例影像，該單個視頻比特流包 含圖4A所示的各個進入的視頻圖像片段組。圖5圖示出了圖1所示的合成器的操作的示例方法。圖6圖示出了示例節(jié)點或網(wǎng)絡(luò)設(shè)備的基本組件。
具體實施例方式在下面的描述中，闡述了諸如設(shè)備類型、系統(tǒng)配置、協(xié)議、應(yīng)用、方法等之類的具體 細節(jié)，以提供對這里的公開的透徹理解。然而，相關(guān)技術(shù)領(lǐng)域的技術(shù)人員將會理解，這些具 體細節(jié)不是實踐所描述的實施例所必需的。在本發(fā)明的上下文中，計算機網(wǎng)絡(luò)是用于在諸如中間節(jié)點和端節(jié)點(也稱為端 點)之類的節(jié)點之間傳送數(shù)據(jù)的互連子網(wǎng)在地理上的分布式集合。局域網(wǎng)(LAN)是這種子 網(wǎng)的示例；多個LAN可以通過諸如路由器、橋接器或交換機之類的中間網(wǎng)絡(luò)節(jié)點而被進一 步互連，以擴展計算機網(wǎng)絡(luò)的有效“大小”并且增加通信節(jié)點的數(shù)目。設(shè)備或節(jié)點的示例包 括服務(wù)器、混合器、控制單元以及個人計算機。通常，節(jié)點通過根據(jù)預(yù)定協(xié)議交換數(shù)據(jù)的離 散幀或分組來進行通信。視頻接收機設(shè)備表示能夠接收、解碼或呈現(xiàn)數(shù)字視頻圖像的任何裝置、節(jié)點、終端 或其它設(shè)備。視頻接收機設(shè)備的示例包括視頻家電(例如視頻監(jiān)視器等)、個人數(shù)字助理 (PDA)；諸如筆記本型、膝上型或桌上型計算機之類的個人計算機(PC)；電視設(shè)備、機頂盒 (STB)、蜂窩電話、視頻電話，或者能夠接收、解碼或呈現(xiàn)數(shù)字視頻圖像的任何其它設(shè)備、組 件、元件或?qū)ο?。諸如貢獻流或源流(source stream)之類的視頻流是根據(jù)諸如ITUH. 264之類的 視頻編碼規(guī)范進行了編碼的影像序列。視頻編碼規(guī)范可以允許在不需要與SVC相對應(yīng)的遞 增的增強層的情況下對視頻源編碼。這里的H. 264/SVC流是指除了包含基本層的經(jīng)編碼視 頻以外還包含至少一個增強層的視頻流。視頻合成器(簡稱為“合成器”)是能夠執(zhí)行如下操作的任何設(shè)備接收兩個或更 多個數(shù)字視頻輸入流，并且通過對任意的組份流執(zhí)行最少的或者不執(zhí)行片段層下的解碼或 重新編碼操作來將它們組合為單個數(shù)字視頻輸出流。任意片段排序(AS0)是用于重組影像中宏塊的順序的技術(shù)，其消除了對等待來自 所有源的全部影像集合到達的需要。鍾在一個實施例中，視頻合成器接收多個視頻源流。源流可以包括H. 264/AVC流、 H. 264-SVC流，或者H. 264/AVC流與H. 264/SVC流的組合。遵循H. 264標(biāo)準(zhǔn)(例如，將來對 現(xiàn)有定義的增強或擴展)的其它類型的流也可以被接收作為視頻合成器的輸入。合成器首 先處理來自每個源流的已有H. 264頭部以在所產(chǎn)生的組合流中提供適當(dāng)?shù)男畔?。頭部根據(jù) 需要從源流中被移除，然而一些經(jīng)過解析或解譯的信息根據(jù)需要被保留或修改，以影響組 合流中的合成影像。經(jīng)過處理的頭部信息可以包括片段頭部、影像參數(shù)集、序列參數(shù)集以及 網(wǎng)絡(luò)抽象層(NAL)頭部。來自每個流的經(jīng)編碼宏塊被保留并被添加到具有影像參數(shù)集(PPS)的影像中，影 像參數(shù)集將它們標(biāo)識為包含多個片段組的較大合成影像的一部分。由于每個貢獻流是影像 序列，因此，合成器產(chǎn)生合成影像的序列，其中每個合成影像對應(yīng)于順序時間間隔中的相應(yīng) 時間間隔。以如下方式來執(zhí)行合成當(dāng)進行解碼和顯示時，使得經(jīng)組合的流能夠被可視地同 步呈現(xiàn)。從貢獻流合成影像的順序行進可以基于具有在合成操作所對應(yīng)的時間間隔內(nèi)的傳 輸或呈現(xiàn)時間的影像。例如可以將與影像相關(guān)聯(lián)的時間表達為相對于基準(zhǔn)時鐘的時間戳。 在一種實現(xiàn)方式中，僅具有在相對應(yīng)時間間隔內(nèi)的關(guān)聯(lián)時間的影像被合成。在一個實施例中，僅具有在相對應(yīng)時間間隔內(nèi)的關(guān)聯(lián)時間的影像被合成。利用FM0和AS0技術(shù)，可以以時間一致的方式來組合進入的影像以產(chǎn)生合成影像 流。AS0提供了將以特定順序(例如光柵掃描順序)進行發(fā)送或解碼的合成影像的各個部 分。因此，各個源流不必被延遲以等待來自其它源的流到達。注意，所有合成操作都發(fā)生在 已編碼的域中。通過利用FM0和AS0技術(shù)僅對流執(zhí)行有限的修改，合成器的等待時間被保 持為可接受的延時。在一個實施例中，合成影像中的貢獻流的光柵掃描順序被維持達一等 待時間量，該等待時間量不會超過典型的視頻交換的等待時間(例如，少于20毫秒)。根據(jù)一個實施例，兩個或更多個源視頻流中的任意數(shù)目的源視頻流可以被合成在 一起。另外，具有多樣化的分辨率、高寬比等的源流可以被合成在一起以形成單個較大影 像。在具體實施例中，合成器還將不同配置屬性(profile)的貢獻流組合為單個配置屬性。在另一實施例中，用于合成的最大數(shù)目的貢獻流被設(shè)置為預(yù)定閾值。如果貢獻流 的數(shù)目超過了閾值，則具有相同影像分辨率和/或AVC特性的某些貢獻流并排地或在彼此 的排頭處被連接起來作為片段組。圖1圖示出了示例視頻通信系統(tǒng)10，該系統(tǒng)示出了位于IP網(wǎng)絡(luò)11上的視頻合成 器15，其接收三個進入視頻源流由視頻源12 (源)產(chǎn)生的H. 264/AVC流、由視頻源13 (源 2)產(chǎn)生的H.264/SVC流，以及由視頻源14(源3)產(chǎn)生的H.264/SVC流。IP視頻終端通過 H. 320線路連接。在此實施例中，合成器15產(chǎn)生單個較大的遵循H. 264/AVC的影像，其具有 被接合(pieced)或合成在一起的源影像。該單個較大的遵循H. 264/AVC的影像被示為去 往接收機(例如，視頻終端)17的單個傳輸流。作為示例，視頻終端17可以包括個人計算 機(PC)，該個人計算機包括標(biāo)準(zhǔn)音頻視頻編解碼器，并且可操作來從接收到的H. 264/AVC 流呈現(xiàn)視頻圖像或影像。將會理解，在圖1的實施例中，無需執(zhí)行對源圖像的伸縮。在三個接合在一起的源 影像不形成完整連續(xù)的矩形的情況中，可以添加一個或多個另外的“墊料(pad) ”片段組，以 形成輸出到接收機17的單個較大合成影像。墊料片段組可以包括用來填充合成輸出影像 的一區(qū)域的空白的或單色的或其它類型的圖像，以使得該較大輸出影像形成為矩形形狀。 本領(lǐng)域從業(yè)者將會進一步理解，相對于H. 264-SVC流，視頻合成器可以減少對流的伸縮，由 此使得能夠控制合成的整個比特速率。圖2A圖示出了所使用的墊料片段組，其示出了由圖1的視頻合成器15產(chǎn)生的示 例合成影像20。如圖可見，三個視頻源，源h分別產(chǎn)生了合成影像的區(qū)塊或區(qū)域21-23，根 據(jù)源流的影像大小，每個區(qū)域具有320X240個像素的大小。然而，由于僅包括了三個源影 像，因此合成器創(chuàng)建了第四區(qū)域24以產(chǎn)生具有640X480個像素(VGA大小)的矩形形狀的 合成影像，第四區(qū)域24包括可利用恒定的空白色或者替代地利用某種恒定圖像啟動畫面 (splash screen)進行編碼的墊料片段組。由于影像24利用FM0和AS0技術(shù)被合成為多個 片段組，因此區(qū)域24可以包括單個墊料片段。本領(lǐng)域從業(yè)人員將理解，形成背景或填充較 大合成影像的區(qū)塊的墊料片段組可以曾經(jīng)被幀內(nèi)編碼。取決于接收機17的精密程度，合成影像20可以如圖2A所示那樣被呈現(xiàn)，或者替 代地，被呈現(xiàn)為320 X 720影像26 (圖2B所示)或960X240影像(未示出)。注意，由于合 成影像20比每個原始的源影像大，因此，接收機編解碼器可能需要協(xié)商較高的比特速率來 接收合成圖像。然而，實際經(jīng)編碼的影像仍然完全遵循H. 264-AVC，這意味著其應(yīng)當(dāng)可由大多數(shù)(如果不是所有的話)現(xiàn)有解碼器進行解碼。更高級的解碼器可以取用得到的圖像， 并根據(jù)需要對其進行伸縮以用于呈現(xiàn)。作為另一示例，由一個通用圖像格式(CIF)圖像(352X288個像素)和四個四分 之一 CIF(QCIF)圖像(每個圖像具有176X144個像素)構(gòu)成的五個視頻源可由圖1的合 成器片裝在一起，以形成單個VGA大小的圖像(640X480個像素)。圖3A圖示出了由圖1的合成器產(chǎn)生的另一示例合成影像30。與先前示例中一樣， 視頻合成器將源圖像轉(zhuǎn)換為較大圖像的片段組，并且隨后添加“墊料片段組”以創(chuàng)建遵循現(xiàn) 有H. 264-AVC標(biāo)準(zhǔn)的圖像。圖3A的影像30是由如下四個源影像構(gòu)成的單個VGA大小的圖像 (640X480個像素)位于左上區(qū)域31中的單個320X240影像(源》，以及位于分別位于影像 30的區(qū)域32-34內(nèi)的三個160 X 120影像36,38和40 (源2_4)。陰影區(qū)塊37,39和41包括分別 用于源圖像36、38和40的無損編碼背景。注意，每個片段組獨立于所有其它片段組被編碼。圖3B圖示出了針對圖3A的合成影像30編碼得到的片段組的示例集合。注意，片 段1對來自源i的圖像編碼，片段4對來自源2的圖像編碼，片段9對來自源3的圖像編碼， 并且片段11對來自源4的圖像編碼。其余片段組(片段2-3、5-8、10以及12-13)包括經(jīng) 編碼以為較小(160X120)圖像提供背景或填充顏色的墊料片段組。在某些實施例中，除了利用簡單的恒定圖像對墊料片段組編碼以外，還可以利用 容易將墊料片段組標(biāo)識為墊料區(qū)域的不同圖案來強調(diào)(key)墊料片段組。這種強調(diào)可以包 括少量的PCM編碼的宏塊，這些宏塊具有指示它們包括用于源影像的填料(padding)的特 有圖案。簡單的解碼器可以呈現(xiàn)這些墊料片段組而僅給墊料圖像帶來極少損害。增強型或 更精密的解碼器可以檢測到這些被強調(diào)的片段組，并且認識到所有其它片段組是各個合成 的圖像。這將允許解碼器獨立地伸縮并呈現(xiàn)每個合成片段組，從而產(chǎn)生增強的呈現(xiàn)。圖4A圖示出了以從四個較小的進入視頻比特流創(chuàng)建大的合成影像45的方式組織 的片段組的示例集合。影像45可由合成器輸出為被發(fā)送到一個或多個接收機設(shè)備的單個 視頻比特流。四個進入視頻比特流的每個的影像圖像被示為作為160X 120圖像(V》的片 段組3、作為另一 160X120圖像(V2)的片段組10、作為320X240圖像(V3)的片段組11，以 及作為另一 320X240圖像(V4)的片段組12?？梢詫μ砑拥接跋?5中的墊料片段組編碼 以產(chǎn)生圍繞較小的義和^圖像的統(tǒng)一背景(例如，彩色或空白區(qū)塊)。即是說，片段組1、 2、4和5包括為視頻圖像Vi (片段組3)提供背景區(qū)域的墊料片段組，并且片段組6、7、8和 9包括為視頻圖像V2(片段組10)提供背景區(qū)域的墊料片段組。應(yīng)當(dāng)明白，可以利用FM0以各種由直線構(gòu)成的形狀來產(chǎn)生合成圖像中的墊料片段 組，而不局限于矩形。本領(lǐng)域從業(yè)人員將會理解，F(xiàn)M0包括可以用來標(biāo)記感興趣宏塊區(qū)域的 多種不同類型的圖案。圖4B圖示出了從圖4A所示的視頻圖像片段組產(chǎn)生的示例影像50。影像50可以 由能夠接收包括圖4A所示的片段組的單個傳輸比特流的視頻編解碼器生成。這里，解碼器 已經(jīng)丟棄了墊料片段組，并且在影像左側(cè)將視頻圖像A布置在V2之上，將圖像V3布置在中 間，并將V4布置在右側(cè)。在此布置中，合成影像50具有800X240個像素的大小。圖4C圖示出了從圖4A所示的視頻圖像片段產(chǎn)生的另一示例影像52。在此示例 中，解碼器將視頻圖像v3布置最上面，并且在V4之上，同時將圖像Vi和v2并排地布置在影 像底部。在此布置中，合成影像52具有320X600個像素的大小。
圖5圖示出了圖1所示的合成器的操作的示例方法。處理開始于其每個具有不同 配置屬性(例如，一些為AVC并且其它為SVC，具有多種分辨率和幀率)的多個H. 264視頻 流被合成器獲取(塊53)?；镜?，合成器利用FM0將這些流的每個轉(zhuǎn)換為分離的片段組， 并且隨后利用AS0將它們輸出為單個流。即，多個進入的視頻比特流被組織為包括合成影 像的單個比特流，該合成影像包括多個被獲取的視頻比特流。為了獲得該結(jié)果，合成器首先從每個進入流中去除已有的H. 264頭部信息(塊 54)。一旦進入的H. 264的頭部被剝離，合成器就將宏塊從源流轉(zhuǎn)換為片段組(塊55)。每 個源視頻圖像可以包括單個片段；然而，由于分離的源圖像被合成為較大影像，因此，可能 需要添加墊料片段組以創(chuàng)建與某種輸出顯示格式相符的矩形合成影像大小。然后，利用FM0 和AS0技術(shù)將片段組重新排序為具有適當(dāng)片段組頭部的單個合成輸出流(塊56)。如前面 所討論的，接收輸出流的、遵循H. 264/AVC的解碼器可以簡單地將合成影像呈現(xiàn)為具有給 定的填料區(qū)域布置的大的矩形。更高級的解碼器可以具有如下能力識別包含在輸出流中 的填料信息，選擇有效的視頻部分，并且分別地顯示它們或者將它們布置為另一顯示格式。在另一實施例中，將進入流格式化為片段組的視頻合成器創(chuàng)建具有新的(例如專 用的)字段的影像參數(shù)集，這些新字段將伸縮參數(shù)(scalingparameter)附加到每個片段 組。這些伸縮參數(shù)可以指示解碼器將片段組(無論它們當(dāng)前的寬度和高度如何)呈現(xiàn)為N 個宏塊寬乘以M個宏塊高的圖像，其中，N和M為整數(shù)。伸縮參數(shù)還可以向解碼器指示影像 是否應(yīng)當(dāng)被延展、裁剪、填充或者它們的某種組合，以獲得新的經(jīng)伸縮的格式。然后，利用 FM0和AS0技術(shù)將片段組置于特定坐標(biāo)系中。然而，片段組不一定被相加成為形成矩形的圖 像。而是，伸縮參數(shù)將確保解碼器將各個片段組伸縮為矩形。圖6圖示出了示例網(wǎng)絡(luò)設(shè)備或節(jié)點60(例如，合成器或接收機設(shè)備)的基本組件。 節(jié)點60通常包括多個基本子系統(tǒng)，這多個基本子系統(tǒng)包括處理器子系統(tǒng)61、主存儲器62以 及輸入/輸出(I/O)子系統(tǒng)65。數(shù)據(jù)在主存儲器(“系統(tǒng)存儲器”)62與處理器子系統(tǒng)61 之間通過存儲器總線63傳送，并且在處理器與I/O子系統(tǒng)之間通過系統(tǒng)總線66傳送。系 統(tǒng)總線的示例可以包括傳統(tǒng)的閃電數(shù)據(jù)傳輸(或高速傳輸)總線以及傳統(tǒng)的外圍組件互連 (PCI)總線。節(jié)點60還可以包括耦合到系統(tǒng)總線66的、用于執(zhí)行其它功能的其它硬件單元 /模塊64。處理器子系統(tǒng)61可以包括一個或多個處理器以及控制器設(shè)備，控制器設(shè)備并入 了包括系統(tǒng)存儲器控制器在內(nèi)的一組功能，該組功能支持一個或多個系統(tǒng)總線以及直接存 儲器訪問(DMA)引擎。應(yīng)當(dāng)明白，本發(fā)明的元件還可以被提供為可以包括機器可讀介質(zhì)的計算機程序產(chǎn) 品，機器可讀介質(zhì)上存儲有可用來對計算機(例如，處理器或其它電子設(shè)備)編程以執(zhí)行操 作序列的指令。替代地，操作可由硬件和軟件的組合來執(zhí)行。機器可讀介質(zhì)可以包括但不 限于軟盤、光盤、CD-ROM以及磁光盤，ROM、RAM、EPROM、EEPR0M、磁卡或光學(xué)卡、傳播介質(zhì)或 者適合于存儲電子指令的其它類型的媒體/機器可讀介質(zhì)。例如，本發(fā)明的元件可以作為 計算機程序產(chǎn)品被下載，其中，程序可以經(jīng)由通信鏈路(例如，調(diào)制解調(diào)器或網(wǎng)絡(luò)連接)以 在載波或其它傳播介質(zhì)中包含的數(shù)據(jù)信號的方式從遠程計算機或電話設(shè)備被傳送到作出 請求的進程。另外，雖然已結(jié)合具體實施例描述了本發(fā)明，然而，各種修改和變更也將在本發(fā)明 的范圍內(nèi)。因此，說明書和附圖應(yīng)被認為是說明性的而非限制性的意思。
權(quán)利要求
一種方法，包括由合成器接收多個即N個遵循H.264的源視頻流，其中，N是大于1的整數(shù)；利用靈活宏塊排序(FMO)將所述N個源視頻流中的每個源視頻流轉(zhuǎn)換為源片段組；將墊料片段組添加到所述源片段組以創(chuàng)建遵循H.264/AVC標(biāo)準(zhǔn)的合成圖像；并且將所述源片段組和墊料片段組重新排序為單個合成輸出流。
2.如權(quán)利要求1所述的方法，其中，所述遵循H.264的源視頻流中的每個源視頻流具有 不同的影像配置屬性。
3.如權(quán)利要求1所述的方法，其中，所述多個遵循H.264的源視頻流包括至少一個 H. 264/SVC 流。
4.如權(quán)利要求1所述的方法，其中，所述多個遵循H.264的源視頻流包括一個或多個 H. 264/AVC流以及一個或多個H. 264/SVC流。
5.如權(quán)利要求1所述的方法，其中，所述合成圖像具有矩形形狀，并且包括所述源視頻 流中的每個源視頻流的源圖像。
6.如權(quán)利要求1所述的方法，其中，所述合成圖像具有矩形形狀，并且具有比任何源圖 像的大小大的大小。
7.如權(quán)利要求1所述的方法，還包括從所述源視頻流中的每個源視頻流中去除H.264頭部信息。
8.如權(quán)利要求1所述的方法，其中，所述重新排序是利用任意片段排序(AS0)實現(xiàn)的。
9.如權(quán)利要求1所述的方法，還包括由解碼器將所述合成圖像呈現(xiàn)為包括由所述墊 料片段組定義的一個或多個墊料區(qū)域的大的矩形影像。
10.如權(quán)利要求5所述的方法，還包括利用一圖案來強調(diào)所述墊料片段組，所述圖案 將所述墊料片段組標(biāo)識為所述源圖像的填料。
11.如權(quán)利要求5所述的方法，還包括 由解碼器接收所述單個合成輸出流； 識別所述墊料片段組；選擇所述源圖像，并且 分別顯示所述源圖像中的每個源圖像，或者 將所述源圖像布置為另一顯示格式。
12.一種方法，包括由合成器將多個即N個源視頻流格式化為片段組，其中，N是大于1的整數(shù)； 創(chuàng)建包括伸縮參數(shù)的影像參數(shù)集(PPS)，所述伸縮參數(shù)被附加到所述片段組中的每個 片段組，并且所述伸縮參數(shù)包括指示解碼器將所述片段組伸縮為產(chǎn)生矩形合成圖像的格式 的呈現(xiàn)信息。
13.如權(quán)利要求12所述的方法，其中，所述格式遵循H.264標(biāo)準(zhǔn)。
14.如權(quán)利要求12所述的方法，還包括利用靈活宏塊排序(FM0)和任意片段排序 (AS0)技術(shù)將所述片段組置于特定坐標(biāo)系中。
15.一種被編碼在一個或多個介質(zhì)中供執(zhí)行的邏輯，并且當(dāng)所述邏輯被執(zhí)行時可操作 用于接收多個即N個源視頻流，其中，N是大于1的整數(shù)，所述源視頻流中的至少兩個源視頻流具有不同的配置屬性；利用靈活宏塊排序(FM0)將所述N個源視頻流中的每個源視頻流轉(zhuǎn)換為源片段組；將墊料片段組添加到所述源片段組以創(chuàng)建合成圖像；并且利用任意片段排序(AS0)將所述源片段組和墊料片段組重新排序為單個合成輸出流。
16.如權(quán)利要求15所述的邏輯，其中，所述合成圖像具有遵循H.264標(biāo)準(zhǔn)的格式。
17.如權(quán)利要求15所述的邏輯，其中，所述合成圖像具有矩形形狀，并且包括所述源視 頻流中的每個源視頻流的源圖像。
18.如權(quán)利要求15所述的邏輯，其中，所述多個源視頻流包括一個或多個H.264/AVC流 以及一個或多個H. 264/SVC流。
19.如權(quán)利要求13所述的邏輯，其中，當(dāng)所述介質(zhì)被執(zhí)行時還可操作用于從所述源視 頻流中的每個源視頻流中去除頭部信息。
20.一種系統(tǒng)，包括合成器，可操作用于接收多個源視頻流，并且利用靈活宏塊排序(FM0)將所述源視頻 流中的每個源視頻流轉(zhuǎn)換為源片段組，所述每個源視頻流包含源圖像，所述合成器還可操 作用于向所述源片段組添加墊料片段組以創(chuàng)建合成圖像，所述合成器將所述源片段組和所 述墊料片段組重新排序為單個合成輸出流；以及設(shè)備，可操作用于接收所述單個合成輸出流，并且將合成圖像顯示為具有比任何所述 源圖像的大小大的大小的矩形影像。
21.如權(quán)利要求20所述的系統(tǒng)，其中，所述設(shè)備還可操作用于識別所述墊料片段組，選 擇所述源圖像，并且分別顯示所述源圖像中的每個源圖像或者將所述源圖像布置為另一顯 示格式。
全文摘要
在一個實施例中，一種系統(tǒng)包括合成器，該合成器可操作來接收多個源視頻流，并且利用靈活宏塊排序(FMO)將每個源視頻流轉(zhuǎn)換為源片段組，每個源視頻流包含源圖像。合成器還可操作來向源片段組添加墊料片段組以創(chuàng)建合成圖像，并將源片段組和墊料片段組重新排序為單個合成輸出流。一設(shè)備接收單個合成輸出流，并且將合成圖像顯示為具有比任何源圖像的大小大的大小的矩形影像。要強調(diào)的是，提供本摘要是為了符合需要使得搜索者或其它讀者快速確定本技術(shù)公開的主題的摘要的規(guī)則。
文檔編號H04N7/26GK101803387SQ200880106264
公開日2010年8月11日 申請日期2008年9月8日 優(yōu)先權(quán)日2007年9月10日
發(fā)明者蘭德爾·B·拜德, 阿圖羅·A·羅德里谷茲 申請人:思科技術(shù)公司