專利名稱：對視頻通話的畫中畫處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編碼及解碼，且更特定來說涉及用于對涉及到畫中畫(PIP)
呈現(xiàn)的視頻通話(VT)應(yīng)用的信息進(jìn)行處理的技術(shù)。
背景技術(shù)：
人們已制訂了大量不同的視頻編碼標(biāo)準(zhǔn)來用于對數(shù)字視頻序列進(jìn)行編碼。例如， 運(yùn)動畫面專家組(MPEG)已開發(fā)出大量標(biāo)準(zhǔn)，其中包含MPEG-l、MPEG-2和MPEG-4。 其它實(shí)例包含國際電信聯(lián)盟(ITU) &263標(biāo)準(zhǔn)和新興1丁1;11.264標(biāo)準(zhǔn)。這些視頻編碼 標(biāo)準(zhǔn)一般通過以壓縮方式對數(shù)據(jù)進(jìn)行編碼來支持視頻序列的改進(jìn)傳輸效率。
視頻通話(VT)準(zhǔn)許用戶分享視頻和音頻信息以支持例如視頻會議的應(yīng)用。例示性 視頻通話標(biāo)準(zhǔn)包含由對話起始協(xié)議(SIP)、 ITU H.323標(biāo)準(zhǔn)和ITU H.324標(biāo)準(zhǔn)定義的標(biāo) 準(zhǔn)。在雙向VT中，用戶發(fā)送并接收視頻信息。某些VT系統(tǒng)提供畫中畫(PIP)特征， 其準(zhǔn)許用戶觀看來自遠(yuǎn)程用戶的傳入視頻和發(fā)送到遠(yuǎn)程用戶的傳出視頻兩者。
利用所述畫中畫特征，傳出視頻可呈現(xiàn)在覆蓋在含有傳入視頻的較大畫面上的較 小畫面中。所述較大畫面通常占據(jù)整個視頻幀。所述較小畫面可占據(jù)所述視頻幀的約 20%到25%，覆蓋了所述較大畫面的一部分。畫中畫特征可準(zhǔn)許用戶觀看傳出視頻來 確保正確的照相機(jī)對準(zhǔn)。例如，用戶可能希望確保其面部或另一對象將在傳出視頻幀 中完全可見。通過使用畫中畫特征，所述用戶可更好地定位照相機(jī)以改進(jìn)傳出視頻的 內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明旨在用于對視頻通話(VT)進(jìn)行畫中畫(PIP)處理的技術(shù)。根據(jù)所揭示技 術(shù)，本地視頻通信裝置將畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置。通過使用畫中畫信息， 所述遠(yuǎn)程視頻通信裝置對傳輸?shù)奖镜匾曨l傳輸裝置的視頻的非畫中畫區(qū)域應(yīng)用優(yōu)先編 碼。
當(dāng)啟用畫中畫特征時，本地視頻通信裝置呈現(xiàn)一視頻幀，其含有從遠(yuǎn)程視頻通信 裝置接收的傳入視頻和傳輸?shù)竭h(yuǎn)程視頻通信裝置的傳出視頻。所述傳入視頻大致占據(jù) 整個視頻幀。所述傳出視頻占據(jù)視頻幀的較小區(qū)域，所述區(qū)域稱作畫中畫區(qū)域。本地 視頻通信裝置將畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置。
畫中畫信息識別其中將傳出視頻呈現(xiàn)給本地視頻通信裝置的用戶的畫中畫區(qū)域。畫中畫信息可嵌入到已編碼的傳出視頻中，或可以通過帶外信令技術(shù)傳輸。在某些實(shí) 施例中，畫中畫內(nèi)容和畫中畫信息可以從中間網(wǎng)絡(luò)服務(wù)器提供。
通過使用畫中畫信息，遠(yuǎn)程視頻通信裝置對傳入視頻中在畫中畫區(qū)域外部的區(qū)進(jìn) 行優(yōu)先編碼。遠(yuǎn)程視頻通信裝置可以用較低的質(zhì)量對傳入視頻中在畫中畫區(qū)域內(nèi)部的 區(qū)進(jìn)行編碼。或者，遠(yuǎn)程視頻通信裝置可以跳過對傳入視頻中在畫中畫區(qū)域內(nèi)部的區(qū) 的編碼。在任一情況下，畫中畫信息從本地視頻通信裝置到遠(yuǎn)程視頻通信裝置的傳輸 都準(zhǔn)許以增強(qiáng)的視覺質(zhì)量對傳入視頻的非畫中畫區(qū)域進(jìn)行編碼。
畫中畫信息的交換使遠(yuǎn)程視頻通信裝置知曉由本地視頻通信裝置指定的畫中畫。 從這個意義上來說，視頻通信裝置合并有能夠處理從另一視頻通信裝置遠(yuǎn)程指定的畫
中畫信息的"畫中畫感知的(PIP-aware)"視頻編解碼器(CODEC)，且基于所述畫中 畫信息對傳出視頻進(jìn)行編碼。在某些實(shí)施例中，視頻通信裝置還可以基于本地指定的 畫中畫信息對傳入視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先解碼，例如，通過跳過或應(yīng)用畫中畫 區(qū)域中較低復(fù)雜度的錯誤隱藏或后處理。
在一個實(shí)施例中，本發(fā)明提供一種方法，其包括接收畫中畫(PIP)信息；及 基于所述畫中畫信息對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行編碼。
在另一實(shí)施例中，本發(fā)明提供一種方法，其包括對將要傳輸?shù)竭h(yuǎn)程視頻通信裝 置的視頻進(jìn)行編碼；及將所述視頻和畫中畫(PIP)信息傳輸?shù)剿鲞h(yuǎn)程視頻通信裝置。
在附加實(shí)施例中，本發(fā)明提供一種視頻通信裝置，其包括模塊，其接收畫中畫 (PIP)信息；及視頻編碼器，其基于所述畫中畫信息對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置 的視頻進(jìn)行編碼。
在進(jìn)一步的實(shí)施例中，本發(fā)明提供一種視頻通信裝置，其包括編碼器，其對將 要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行編碼；及信令模塊，其將畫中畫(PIP)信息發(fā)
送到所述遠(yuǎn)程視頻通信裝置。
在另一實(shí)施例中，本發(fā)明提供一種視頻通信系統(tǒng)，其包括本地視頻通信裝置， 及遠(yuǎn)程視頻通信裝置，其中所述遠(yuǎn)程視頻通信裝置將遠(yuǎn)程畫中畫(PIP)信息傳輸?shù)剿?述本地視頻通信裝置，且所述本地視頻通信裝置基于遠(yuǎn)程畫中畫信息對視頻進(jìn)行編碼 以傳輸?shù)剿鲞h(yuǎn)程視頻通信裝置。
本文所描述的技術(shù)可實(shí)施于硬件、軟件、固件，或其任一組合中。如果實(shí)施于軟 件中，則所述技術(shù)可部分地通過計(jì)算機(jī)可讀媒體來實(shí)現(xiàn)，所述計(jì)算機(jī)可讀媒體包括含 有在由處理器執(zhí)行時執(zhí)行本文所述方法的一者或多者的指令的程序代碼。
在附圖及下文說明中將列舉一個或多個實(shí)施例的細(xì)節(jié)。依據(jù)所述說明及圖式并依 據(jù)權(quán)利要求書，本發(fā)明的其它特征、目的及優(yōu)點(diǎn)將顯而易見。


圖1是圖解說明合并有畫中畫感知的視頻編解碼器(CODEC)的視頻編碼及解碼系統(tǒng)的框圖。
圖2是圖解說明視頻幀中呈現(xiàn)在與無線視頻通信裝置相關(guān)聯(lián)的顯示器上的畫中畫
區(qū)域的呈現(xiàn)的圖式。圖3是圖解說明合并有畫中畫感知的編解碼器的視頻通信裝置
的框圖。
圖4是圖解說明視頻幀中呈現(xiàn)給用戶的畫中畫和非畫中畫區(qū)域的圖式。 圖5是圖解說明處理畫中畫信息來對傳出視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先編碼的流 程圖。
圖6是圖解說明處理畫中畫信息來對傳出視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先編碼且對 傳入視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先解碼的流程圖。
圖7是圖解說明視頻編碼和解碼系統(tǒng)的框圖，其中畫中畫內(nèi)容和信息由中間網(wǎng)絡(luò) 服務(wù)器來提供。
具體實(shí)施例方式
圖1是圖解說明合并有畫中畫感知的視頻編解碼器(CODEC)的視頻編碼及解 碼系統(tǒng)10的框圖。如下文將描述，當(dāng)在視頻通話(VT)中使用畫中畫特征時，系統(tǒng) IO可增強(qiáng)視頻質(zhì)量。系統(tǒng)IO解決在視頻幀的一部分被畫中畫區(qū)域覆蓋時對所述視頻 幀進(jìn)行編碼的問題，當(dāng)在遠(yuǎn)程顯示器上觀看時，所述畫中畫區(qū)域可以是較小的本地預(yù) 覽窗口。
如圖1中所示，系統(tǒng)IO包含第一視頻通信裝置12和第二視頻通信裝置14。通信 裝置12、 14通過傳輸信道16連接。傳輸信道16可以是有線或無線媒體。系統(tǒng)10支 持用于視頻通話的視頻通信裝置12、 14之間的雙向音頻和視頻傳輸。裝置12、 14可 以按大致對稱的方式操作?？稍谛诺?6的相對末端上提供互逆的編碼、解碼、多路復(fù) 用(MUX)和多路分用(DEMUX)組件。
在圖1的實(shí)例中，視頻通信裝置12包含多路復(fù)用/多路分用組件18、畫中畫感知 的視頻編解碼器20及音頻編解碼器22。類似地，視頻通信裝置14包含多路復(fù)用/多路 分用組件26、畫中畫感知的視頻編解碼器28及音頻編解碼器30。如果每一編解碼器 20、 28都能夠處理從另一視頻通信裝置12、 14或從中間服務(wù)器遠(yuǎn)程提供的畫中畫信 息，則其都是"畫中畫感知的"。以這種方式，每一編解碼器20、 28都通過考慮覆蓋 在接收裝置處的畫中畫幀來對視頻幀進(jìn)行編碼，以改進(jìn)所述視頻幀的可見區(qū)域的視頻 質(zhì)量。在某些實(shí)施例中，編解碼器20、 28還可以響應(yīng)于在其自身的視頻通信裝置中本 地指定的畫中畫信息或由中間服務(wù)器提供的畫中畫信息。
視頻通信裝置12、 14可以實(shí)施為為視頻流、視頻通話或此二者配備的無線移動 終端或有線終端。為此，視頻通信裝置12、 14可進(jìn)一步包含適當(dāng)?shù)陌l(fā)射、接收、調(diào)制 解調(diào)及處理電子裝置，以支持無線通信。無線移動終端的實(shí)例包含移動無線電電話、 移動個人數(shù)字助理(PDA)、移動計(jì)算機(jī)，或其它配備有無線通信能力和視頻編碼及/或解碼能力的移動裝置。有線終端的實(shí)例包含桌上型計(jì)算機(jī)、視頻電話、網(wǎng)絡(luò)應(yīng)用程序、 機(jī)頂盒、交互式電視機(jī)等。視頻通信裝置12、 14的任一者均可經(jīng)配置以發(fā)送視頻信息、 接收視頻信息，或發(fā)送及接收視頻信息以及音頻信息。
根據(jù)所揭示技術(shù)，本地視頻通信裝置12呈現(xiàn)含有從遠(yuǎn)程視頻通信裝置14接收的 傳入視頻和傳輸?shù)剿鲞h(yuǎn)程視頻通信裝置的傳出視頻的視頻幀。所述傳入視頻占據(jù)大 致整個視頻幀。所述傳出視頻占據(jù)本地呈現(xiàn)的視頻幀的較小區(qū)域。這個較小區(qū)域稱作 畫中畫區(qū)域。本地視頻通信裝置12將畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置14。所述 畫中畫信息指示，本地視頻通信裝置12的用戶已經(jīng)激活了畫中畫特征。利用這個指示， 遠(yuǎn)程視頻通信裝置14可為畫中畫區(qū)域采用將由本地視頻通信裝置12的用戶觀看到的 默認(rèn)位置和尺寸。或者，如果畫中畫區(qū)域的特性是可變的，則畫中畫信息還可以識別 其中將傳出視頻呈現(xiàn)給本地視頻通信裝置12 (例如，根據(jù)位置和尺寸)的用戶的畫中 畫區(qū)域。畫中畫信息可嵌入在已編碼的傳出視頻中，或可以通過帶外信令技術(shù)來傳輸。
通過使用畫中畫信息，遠(yuǎn)程視頻通信裝置14對傳入視頻在畫中畫區(qū)域外部的區(qū) 進(jìn)行優(yōu)先編碼。所述畫中畫區(qū)域是其中將傳出視頻呈現(xiàn)為畫中畫內(nèi)容的區(qū)域。遠(yuǎn)程視 頻通信裝置14可以用較低的質(zhì)量對傳入視頻在畫中畫區(qū)域內(nèi)部的區(qū)進(jìn)行編碼?；蛘?， 因?yàn)閭魅胍曨l在畫中畫區(qū)域中通常是完全遮蔽的，所以遠(yuǎn)程視頻通信裝置14可以更優(yōu) 選地跳過對傳入視頻在畫中畫區(qū)域內(nèi)部的區(qū)的編碼。在任一情況下，畫中畫信息從本 地視頻通信裝置12到遠(yuǎn)程視頻通信裝置14的傳輸都準(zhǔn)許以增強(qiáng)的質(zhì)量對傳入視頻的 非畫中畫區(qū)域進(jìn)行編碼。
畫中畫信息的交換使遠(yuǎn)程視頻通信裝置14知曉由本地視頻通信裝置12指定的畫 中畫。從這個意義上來說，遠(yuǎn)程視頻通信裝置14合并有能夠處理遠(yuǎn)程指定的來自視頻 通信裝置12的畫中畫信息的"畫中畫感知的"視頻編解碼器(CODEC)，且基于所述 畫中畫信息對傳出視頻進(jìn)行編碼。本地視頻通信裝置12可包含互逆功能。在某些實(shí)施 例中，視頻通信裝置12、 14還可以基于本地指定的畫中畫信息對傳入視頻的非畫中畫 區(qū)域進(jìn)行優(yōu)先解碼，例如，通過跳過或應(yīng)用對傳入視頻在畫中畫區(qū)域中的低復(fù)雜度錯 誤隱藏或后處理。
由本地視頻通信裝置12傳輸?shù)漠嬛挟嬓畔⒖梢灾付ㄒ曨l幀中的坐標(biāo)。所述坐標(biāo) 可以界定其中將呈現(xiàn)傳出視頻的畫中畫區(qū)域的邊界。畫中畫區(qū)域的坐標(biāo)可以是視頻幀 中的x-y坐標(biāo)。然而，所述x-y坐標(biāo)可經(jīng)處理來產(chǎn)生畫中畫映射。確切地說，所述坐 標(biāo)可以呈現(xiàn)為視頻塊映射的形式，例如畫中畫宏塊(MB)映射。所述宏塊映射識別駐 留在視頻幀的畫中畫區(qū)域中的宏塊。畫中畫宏塊映射可以將畫中畫中的宏塊標(biāo)記為1， 并將畫中畫外的宏塊標(biāo)記為O，.以容易地識別包含在畫中畫的(l)中及從畫中畫的(O)中 排除的宏塊?；蛘撸嬛挟嬓畔⒖苫诋嬛挟嫼陦K映射，但是包含較少量的信息而不 足以識別遠(yuǎn)程視頻通信裝置14的畫中畫區(qū)域。宏塊是形成幀的一部分的視頻塊。宏塊 的尺寸可以是16x16個像素。然而，其它的宏塊尺寸也是可能的。因此，宏塊可指代 任何視頻塊，其包含但不限于在特定視頻編碼標(biāo)準(zhǔn)(例如，MPEG-1、 MPEG-2和MPEG-4、 ITUH.263、 ITUH.264)或任何其它標(biāo)準(zhǔn)中所界定的宏塊。
畫中畫宏塊映射可選擇最緊密地符合相關(guān)畫中畫區(qū)域的坐標(biāo)的宏塊邊界。例如， 如果畫中畫區(qū)域跨越一宏塊，則畫中畫宏塊映射可將畫中畫區(qū)域邊界放置在相關(guān)宏塊 的外部邊緣或內(nèi)部邊緣處。換句話說，畫中畫宏塊映射可經(jīng)配置以只包含整個地位于 畫中畫區(qū)域中的宏塊，或還包含部分地位于畫中畫區(qū)域中的宏塊。在任一情況下，畫 中畫宏塊映射可識別最緊密接近指定畫中畫區(qū)域的一組全宏塊。視頻編碼器44或視頻 解碼器50以宏塊級來操作，且通常將需要將畫中畫區(qū)域信息轉(zhuǎn)換為宏塊映射。通過將 個別宏塊指明為包含在畫中畫區(qū)域中或從所述畫中畫區(qū)域排除，畫中畫宏塊映射還可 以準(zhǔn)許界定具有不規(guī)則或非矩形形狀的畫中畫區(qū)域。
通過使用由本地視頻通信裝置12傳輸?shù)漠嬛挟嬓畔?，遠(yuǎn)程視頻通信裝置通過優(yōu) 先位分配或量化來對傳入視頻的對應(yīng)畫中畫或非畫中畫區(qū)域應(yīng)用優(yōu)先編碼。確切地說， 可將附加的編碼位分配到非畫中畫區(qū)域，而可將減少數(shù)量的編碼位或零編碼位分配到 畫中畫區(qū)域，由此來改進(jìn)傳入視頻的非畫中畫區(qū)域的圖像質(zhì)量。以這種方式，本地視 頻通信裝置12能夠遠(yuǎn)程地影響由遠(yuǎn)程視頻通信裝置14進(jìn)行的視頻編碼。由遠(yuǎn)程視頻 通信裝置14進(jìn)行的優(yōu)先編碼準(zhǔn)許本地視頻通信裝置12的用戶更清晰地觀看非畫中畫 區(qū)域中的傳入視頻。
本地視頻通信裝置12還可以本地應(yīng)用畫中畫信息來對傳入視頻的區(qū)域進(jìn)行優(yōu)先 解碼。在知曉(a)傳入視頻的畫中畫區(qū)域?qū)⒈粋鞒鲆曨l遮蔽且(b)如果遠(yuǎn)程視頻通信裝置 14是畫中畫感知的則傳入視頻的畫中畫區(qū)域可能甚至不會被編碼的情況下，本地視頻 通信裝置12可應(yīng)用優(yōu)先解碼對傳入視頻的畫中畫區(qū)域應(yīng)用較低復(fù)雜度錯誤隱藏或后 處理技術(shù)。在這種情況下，本地視頻通信裝置12可以對從遠(yuǎn)程視頻通信裝置14接收 的傳入視頻的非畫中畫區(qū)域應(yīng)用標(biāo)準(zhǔn)的或較高復(fù)雜度的錯誤隱藏或后處理。因此，既 可在本地視頻通信裝置12中本地使用畫中畫信息，也可在遠(yuǎn)程視頻通信裝置14中遠(yuǎn) 程使用畫中畫信息來進(jìn)行優(yōu)先編碼。
系統(tǒng)10可根據(jù)對話起始協(xié)議(SIP)、 ITUR323標(biāo)準(zhǔn)、ITUH.324標(biāo)準(zhǔn)或其它標(biāo)準(zhǔn) 來支持視頻通話。每一視頻編解碼器20、 28均根據(jù)視頻壓縮標(biāo)準(zhǔn)(例如MPEG-2、 MPEG-4、 ITUH.263或ITUH.264)產(chǎn)生已編碼的視頻數(shù)據(jù)。如圖1中進(jìn)一步顯示， 視頻編解碼器20、 28可以與相應(yīng)的音頻編解碼器22、 30整合，并包含適當(dāng)?shù)亩嗦窂?fù) 用/多路分用組件18、 26來處理數(shù)據(jù)流的音頻和視頻部分。多路復(fù)用-多路分用單元18、 26可以符合ITU H.223多路復(fù)用器協(xié)議、或例如用戶數(shù)據(jù)報協(xié)議(UDP)的其它協(xié)議。
圖2是圖解說明視頻幀36中呈現(xiàn)在與無線視頻通信裝置12相關(guān)聯(lián)的顯示器38 上的畫中畫區(qū)域34的呈現(xiàn)的圖式。在圖2的實(shí)例中，畫中畫區(qū)域34是含有將由裝置 12編碼并傳輸?shù)膫鞒鲆曨l的矩形區(qū)域。畫中畫區(qū)域34準(zhǔn)許裝置12的用戶觀看傳輸?shù)?另一裝置的傳出視頻。雖然畫中畫區(qū)域34可含有任何圖像或?qū)ο螅尸F(xiàn)在畫中畫區(qū) 域內(nèi)的對象通常為本地視頻通信裝置12的用戶的面部，或頭部及肩部。所述用戶是作 為和另一有線或無線視頻通信裝置的用戶進(jìn)行視頻會議的參與者的人。畫中畫區(qū)域34覆蓋傳入視頻呈現(xiàn)在視頻幀36中的小部分區(qū)域。例如，畫中畫區(qū) 域34可以覆蓋視頻幀36的約20%到25%。畫中畫區(qū)域34的尺寸、形狀及位置可以 是固定的或可調(diào)節(jié)的，且可以手動地或自動地以各種各樣的方式對其進(jìn)行界定、描述 或調(diào)節(jié)。出于本地觀看的目的而呈現(xiàn)在本地視頻通信裝置12上的畫中畫區(qū)域34的內(nèi) 容還被編碼并作為傳出視頻從本地視頻通信裝置40傳輸?shù)竭h(yuǎn)程視頻通信裝置14。然 后，遠(yuǎn)程視頻通信裝置14將從本地視頻通信裝置接收的傳出視頻呈現(xiàn)在全尺寸的視頻 幀中。同樣地，本地視頻通信裝置12接收傳入視頻以在視頻幀36的畫中畫區(qū)域34 中以全尺寸來呈現(xiàn)。
畫中畫區(qū)域34的內(nèi)容可以由與本地視頻通信裝置12相關(guān)聯(lián)的視頻捕獲裝置來捕 獲?；蛘撸嬛挟媴^(qū)域34的內(nèi)容可以從視頻檔案中產(chǎn)生。例如，畫中畫區(qū)域34可以 含有信息性覆蓋(例如，廣告、呼叫狀態(tài)、網(wǎng)絡(luò)狀態(tài)，或其它圖形或文本信息)而不 是本地捕獲的視頻。在任一情況下，界定畫中畫區(qū)域34的位置和尺寸的畫中畫信息協(xié) 助遠(yuǎn)程視頻通信裝置14來對傳入視頻中傳輸?shù)奖镜匾曨l通信裝置12的非畫中畫覆蓋 區(qū)域進(jìn)行優(yōu)先編碼。
圖3是圖解說明合并有畫中畫感知的編解碼器20的視頻通信裝置12的框圖。 雖然圖3繪示圖1的視頻通信裝置12，但可類似地構(gòu)造視頻通信裝置14。視頻通信裝 置12或14可以起到接收及發(fā)送器裝置的作用以支持視頻通話。然而，出于圖解說明 的目的，根據(jù)視頻通信裝置12的透視圖，可將操作描述為傳入視頻的接收及傳出視頻 的發(fā)送。如圖3中所顯示，視頻通信裝置12包含畫中畫感知的編解碼器20、視頻捕 獲裝置40和用戶界面42。雖然圖3中顯示有通信信道16,但出于易于圖解說明的目 的將多路復(fù)用-多路分用及音頻組件省去。視頻捕獲裝置40可以是與視頻通信裝置12 整合在一起或以可操作方式耦合到視頻通信裝置12的攝像機(jī)。例如，在某些實(shí)施例中， 視頻捕獲裝置40可以與移動電話整合在一起，以形成所謂的攝像機(jī)電話或視頻電話。 以這種方式，視頻捕獲裝置40支持移動視頻通話應(yīng)用。
用戶界面42可以包含顯示器裝置，例如，液晶顯示器(LCD)、等離子屏幕、投 影機(jī)顯示器或任何其它可與視頻通信裝置12整合在一起或以可操作方式耦合到視頻 通信裝置12的顯示器設(shè)備。顯示器裝置將視頻影像呈現(xiàn)給視頻通信裝置12的用戶。 所述視頻影像可以包含由視頻捕獲裝置40本地獲得且呈現(xiàn)在畫中畫區(qū)域34中的傳出 視頻。所述視頻影像還可以包含從遠(yuǎn)程視頻通信裝置14接收的傳入視頻。另外，用戶 界面42可以包含各種各樣的用戶輸入媒體的任一者，其中包含硬鍵、軟鍵、各種指向 裝置、記錄筆及類似裝置，以供由視頻通信裝置12的用戶來輸入信息。在某些實(shí)施例 中，顯示器裝置及用戶界面42的用戶輸入媒體可以與移動電話整合在一起。視頻通信 裝置12的用戶依賴于用戶界面42來觀看畫中畫區(qū)域34中的傳入視頻和傳出視頻。另 外，所述用戶可以依賴于用戶界面42來輸入用于界定畫中畫區(qū)域34的尺寸、形狀或 位置的信息。
如圖3中進(jìn)一步顯示，畫中畫感知的編解碼器20包含畫中畫感知的視頻編碼器44、畫中畫信息提取模塊46、畫中畫信息信令模塊48、及畫中畫感知的視頻解碼器 50。畫中畫感知的視頻編碼器44對從視頻捕獲裝置40獲得的本地產(chǎn)生視頻("LOCAL VIDEO")進(jìn)行編碼以便傳輸?shù)竭h(yuǎn)程接收裝置。術(shù)語"本地"指明與從遠(yuǎn)程視頻通信裝 置(例如，視頻通信裝置14)接收的"遠(yuǎn)程"視頻相比本地產(chǎn)生于視頻通信裝置12 中的視頻。在圖3的實(shí)例中，畫中畫感知的視頻編碼器44使用從遠(yuǎn)程視頻通信裝置 14獲得的畫中畫信息來對本地視頻進(jìn)行優(yōu)先編碼，并產(chǎn)生用于經(jīng)由信道16傳輸?shù)竭h(yuǎn) 程視頻通信裝置14的傳出視頻("ENCODED OUTGOING VIDEO")。
畫中畫信息提取模塊46從遠(yuǎn)程視頻通信裝置14接收傳入畫中畫信息 ("INCOMING PIPINFO")。所述傳入畫中畫信息可以通過帶內(nèi)信令或帶外信令來接 收。在使用帶內(nèi)信令時，傳入畫中畫信息可以嵌入到傳入視頻位流中。在這種情況下， 畫中畫信息提取模塊46可以與畫中畫感知的視頻解碼器50協(xié)同操作以在已解碼傳入 視頻中搜尋畫中畫信息。在使用帶外信令時，傳入畫中畫信息可以從傳入視頻位流單 獨(dú)地傳輸，例如可以通過實(shí)時輸送控制協(xié)議(RTCP)報告、汀1111245協(xié)議消息傳送 或會話起始協(xié)議(SIP)消息傳送。傳入畫中畫信息可以界定呈現(xiàn)給遠(yuǎn)程視頻通信裝置 14的用戶的畫中畫區(qū)域的尺寸和位置，除非已知默認(rèn)尺寸和位置可適用。
在如上文提到的帶內(nèi)信令的情形中，畫中畫信息可嵌入到從遠(yuǎn)程視頻通信裝置14 接收的已編碼視頻位流中。例如，在MPEG4位流格式中，存在可用于描述位流的嵌 入信息的稱為"user—data"的字段。在不違背位流順從性的情況下，所述"useLdata"字段 或其它位流格式的類似字段可以用于嵌入畫中畫信息。或者，可以通過所謂的數(shù)據(jù)隱 藏技術(shù)(例如，隱寫術(shù))來將畫中畫信息嵌入到視頻位流中。在任一情況下，畫中畫 信息提取模塊46都可以經(jīng)配置來在user—data字段中或來自遠(yuǎn)程裝置14的傳入視頻中 的其它處搜尋畫中畫信息。
傳入畫中畫信息可以根據(jù)視頻幀中落入畫中畫區(qū)域內(nèi)部的坐標(biāo)或宏塊(MB)來 界定畫中畫區(qū)域?；蛘?，傳入畫中畫信息可僅指示，已經(jīng)激活畫中畫特征且應(yīng)為畫中 畫區(qū)域采用默認(rèn)尺寸和位置。在圖3的實(shí)例中，基于傳入畫中畫信息，畫中畫信息提 取模塊46產(chǎn)生畫中畫宏塊映射，其識別落入遠(yuǎn)程視頻通信裝置14的畫中畫區(qū)域中的 宏塊。例如，如先前所論述，畫中畫信息可以將宏塊標(biāo)記為被畫中畫區(qū)域覆蓋或不被 畫中畫區(qū)域覆蓋。
通過使用畫中畫宏塊映射，畫中畫感知的視頻編碼器44對本地視頻中不在由畫 中畫宏塊映射所識別的畫中畫區(qū)域中的區(qū)域進(jìn)行優(yōu)先編碼。例如，如果宏塊駐留在畫 中畫區(qū)域中，畫中畫宏塊映射可以引導(dǎo)畫中畫感知的視頻編碼器44來強(qiáng)制宏塊不被編 碼。以這種方式，可替代地保存本應(yīng)花費(fèi)在編碼運(yùn)動向量上的位及紋理位，來對由畫 中畫宏塊映射識別為位于畫中畫區(qū)域中的那些宏塊進(jìn)行編碼。結(jié)果，非畫中畫區(qū)域(也 就是視頻幀中沒有被畫中畫內(nèi)容覆蓋的區(qū)域)中的視頻質(zhì)量得以改進(jìn)。
優(yōu)先編碼可以涉及到本地視頻中在畫中畫區(qū)域內(nèi)部的區(qū)域和本地視頻中在畫中 畫區(qū)域外部的區(qū)域之間的編碼位的加權(quán)分配。然而，本地視頻中在畫中畫區(qū)域內(nèi)部的區(qū)域?qū)⒈煌耆诒巍Ｒ虼?，更?yōu)選地，應(yīng)跳過對本地視頻中落入畫中畫區(qū)域中的宏塊 的編碼。在任一情況下，正常情況下將用以由畫中畫區(qū)域遮蔽的本地視頻的位可替代 地用于本地視頻的剩余部分，由此來改進(jìn)本地視頻的可見區(qū)域的視覺質(zhì)量。
遠(yuǎn)程視頻通信裝置14可以包含互逆功能，也就是畫中畫感知的編解碼器。為了
將畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置14,本地視頻通信裝置12包含畫中畫信息信 令模塊48。畫中畫信息信令模塊48可以從用戶界面42接收本地畫中畫信息("LOCAL PIP INFO"),并產(chǎn)生用于經(jīng)由信道16傳輸?shù)竭h(yuǎn)程視頻通信裝置14的傳出畫中畫信息 ("OUTGOING PIPINFO")?？稍谟脩艏せ町嬛挟嬏卣鲿r自動地激活畫中畫信息信令 模塊48。像傳入畫中畫信息一樣，可經(jīng)由帶內(nèi)或帶外信令來傳輸提供給遠(yuǎn)程視頻通信 裝置14的傳出畫中畫信息。在帶內(nèi)信令的情形中，畫中畫信息信令模塊48可以與畫 中畫感知的視頻編碼器44協(xié)同操作來將傳出畫中畫信息放置在已編碼傳出視頻位流 中。
和傳入畫中畫信息一樣，傳出畫中畫信息可以界定畫中畫區(qū)域的位置和尺寸。然 而，傳出畫中畫信息旨在由本地視頻通信裝置12呈現(xiàn)的畫中畫區(qū)域。由本地視頻通信 裝置12呈現(xiàn)的畫中畫區(qū)域覆蓋從遠(yuǎn)程視頻通信裝置14接收的傳入視頻的一小部分。 通過使用傳出畫中畫信息，遠(yuǎn)程視頻通信裝置14對由畫中畫感知的視頻解碼器50接 收的已編碼傳入視頻("ENCODED INCOMING VIDEO")應(yīng)用優(yōu)先編碼。以這種方式， 可改進(jìn)本地視頻通信裝置12的用戶可見的傳入視頻部分的視覺質(zhì)量。
視情況，還可將傳出畫中畫信息提供給畫中畫感知的視頻解碼器50來用于對已 編碼傳入視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先解碼。例如，除了將傳出畫中畫信息傳輸?shù)竭h(yuǎn) 程視頻通信裝置14之外，畫中畫信息信令模塊48還可以向畫中畫感知的視頻解碼器 50提供畫中畫宏塊映射。所述畫中畫宏塊映射識別傳入視頻中將由本地呈現(xiàn)的畫中畫 區(qū)域覆蓋或遮蔽的宏塊。畫中畫感知的視頻解碼器50使用畫中畫宏塊映射來對傳入視 頻中不在畫中畫區(qū)域內(nèi)部的區(qū)域進(jìn)行優(yōu)先解碼。確切地說，畫中畫感知的視頻解碼器 50可以對傳入視頻的非畫中畫區(qū)域應(yīng)用更高質(zhì)量的錯誤隱藏或后處理技術(shù)，或整個地 跳過對傳入視頻中將由本地呈現(xiàn)的畫中畫區(qū)域覆蓋的區(qū)域的錯誤隱藏或后處理。 一般 來說，畫中畫感知的視頻解碼器50對傳入視頻的非畫中畫宏塊應(yīng)用比對傳入視頻的畫 中畫宏塊更好的錯誤隱藏或后處理。在某些情況下，完全地跳過對畫中畫宏塊的解碼、 錯誤隱藏或后處理。
傳入畫中畫信息和傳出畫中畫信息可以在本地視頻通信裝置12和遠(yuǎn)程視頻通信 裝置14之間周期性地或間歇地交換。例如，在帶內(nèi)信令的情形中，畫中畫信息可以周 期性地嵌入每一幀或所選幀中?；蛘撸瑢τ趲庑帕顏碚f，畫中畫信息可以通過周期 性的或間歇的消息來發(fā)送。然而，畫中畫區(qū)域的尺寸和位置可以是固定的，或可相對 不頻繁地改變。因此，考慮到帶寬和處理效率，相對不頻繁地發(fā)送畫中畫信息或只在 相關(guān)畫中畫區(qū)域的尺寸或位置中存在變化時發(fā)送畫中畫信息可能是合乎需要的。
根據(jù)某些實(shí)施例，視頻通信裝置12、 14可經(jīng)配置以采用固定的默認(rèn)畫中畫區(qū)域，直到對所述畫中畫區(qū)域的尺寸或位置做出改變(如果準(zhǔn)許)。作為進(jìn)一步的考慮，畫中 畫特征可以不是總是激活的。畫中畫信息可以只包含對是否已激活畫中畫特征的指示， 所述指示可周期性地或在激活時發(fā)送。如果所述畫中畫區(qū)域是固定的，則畫中畫信息 可以只包含對畫中畫特征激活的指示。如果畫中畫區(qū)域是可調(diào)節(jié)的，則畫中畫信息可 包含對畫中畫特征激活以及畫中畫區(qū)域的可應(yīng)用尺寸和位置信息的指示。在任何情況 下，畫中畫信息都準(zhǔn)許視頻通信裝置12、 14對視頻的非畫中畫區(qū)域進(jìn)行優(yōu)先編碼以增 強(qiáng)視覺質(zhì)量。
可以用各種各樣的方式形成畫中畫感知的視頻編碼器44、畫中畫信息提取模塊 46、畫中畫信息信令模塊48、及畫中畫感知的視頻解碼器50，來作為離散功能模塊或 作為囊括歸屬于每一模塊的功能的單片模塊。在任何情況下，畫中畫感知的編解碼器 20的各種組件可以用硬件、軟件、固件或其組合來實(shí)現(xiàn)。例如，這種組件可以操作為 在下列裝置上執(zhí)行的軟件過程 一個或多個微處理器或數(shù)字信號處理器(DSP)、 一個或 多個專用集成電路(ASIC)、 一個或多個場可編程門陣列(FPGA)、或其它等效集成或離 散邏輯電路。如果實(shí)施在軟件中，則所述技術(shù)可部分地通過計(jì)算機(jī)可讀媒體來實(shí)現(xiàn)， 所述計(jì)算機(jī)可讀媒體包括含有當(dāng)在處理器(例如DPS)中執(zhí)行所述指令時可執(zhí)行本文 所描述方法的一者或多者的指令的程序代碼。
圖4是圖解說明呈現(xiàn)給用戶的視頻幀中的傳入視頻的畫中畫和非畫中畫區(qū)域的圖 式。在圖4的實(shí)例中，呈現(xiàn)于顯示器38上的傳出視頻的幀36包含將不會被遠(yuǎn)程視頻 通信裝置14處的畫中畫內(nèi)容覆蓋的非畫中畫覆蓋區(qū)域52，及將會被畫中畫內(nèi)容覆蓋 的畫中畫覆蓋區(qū)域54。通過使用指示由遠(yuǎn)程視頻通信裝置14產(chǎn)生的畫中畫內(nèi)容的位 置和尺寸的畫中畫信息，本地視頻通信裝置12的畫中畫感知的視頻編碼器46對非畫 中畫區(qū)域52應(yīng)用優(yōu)先編碼。同樣，畫中畫信息可包含畫中畫宏塊映射。畫中畫感知的 視頻編碼器46重新捕獲正常情況下將用于對畫中畫覆蓋區(qū)域54中的宏塊進(jìn)行編碼的 編碼位。重新捕獲的位可用于對非畫中畫覆蓋區(qū)域52中的宏塊進(jìn)行編碼以達(dá)到更高的 視覺質(zhì)量，而不是被廢棄。畫中畫覆蓋區(qū)域54可以用較低質(zhì)量來編碼或被完全跳過。 當(dāng)畫中畫內(nèi)容使畫中畫覆蓋區(qū)域54完全遮蔽時，跳過編碼通常將是優(yōu)選的。如果以半 透明的方式呈現(xiàn)畫中畫內(nèi)容，則對畫中畫覆蓋區(qū)域54的低質(zhì)量編碼可能是合乎需要 的。
圖5是圖解說明處理畫中畫信息以對傳出視頻的非畫中畫覆蓋區(qū)域進(jìn)行優(yōu)先編碼 的流程圖。將參照圖3中顯示的組件來描述圖5中所顯示的操作。如圖5中所顯示， 在接收到傳入視頻(56)時，畫中畫感知的視頻解碼器50對傳入視頻進(jìn)行解碼(58)。 然后，與用戶界面42相關(guān)聯(lián)的顯示器向本地視頻通信裝置12的用戶顯示已解碼的視 頻(60)。
畫中畫信息提取模塊50在傳入視頻位流中帶內(nèi)搜尋畫中畫信息，或經(jīng)由信令協(xié) 議而帶外搜尋傳入畫中畫信息。如果沒有可用的傳入畫中畫信息(62)，則畫中畫信息 提取模塊48通知畫中畫感知的視頻編碼器46。在這種情況下，畫中畫感知的視頻編碼器46在沒有優(yōu)先編碼的情況下對傳出視頻的每一幀進(jìn)行整體編碼(64)。如果存在 可用的傳入畫中畫信息，則畫中畫信息提取模塊48提取畫中畫信息(66)并產(chǎn)生識別 將由遠(yuǎn)程畫中畫區(qū)域覆蓋的宏塊的畫中畫宏塊映射(68)。
通過使用畫中畫宏塊映射，畫中畫感知的視頻編碼器46對傳出視頻的非畫中畫 覆蓋區(qū)域進(jìn)行編碼(70)，并跳過對傳出視頻的畫中畫覆蓋區(qū)域的編碼(72)。正常情 況下將用于傳出視頻的畫中畫覆蓋區(qū)域的編碼位替代地用于對傳出視頻的非畫中畫覆 蓋區(qū)域進(jìn)行編碼，由此來增強(qiáng)視覺質(zhì)量。 一旦針對幀完成對傳出視頻的優(yōu)先編碼，畫 中畫信息信令模塊48即確定本地視頻通信裝置12是否已經(jīng)指定了本地畫中畫信息 (75)。如果已經(jīng)指定，則畫中畫信息信令模塊48將畫中畫信息嵌入到傳出視頻中， 或者將所述畫中畫信息發(fā)送到遠(yuǎn)程視頻通信裝置14 (77)。如果沒有指定本地畫中畫， 則處理器繼續(xù)到下一幀。
可逐個幀地或間歇地提供傳入和傳出畫中畫信息。 一旦獲得傳入畫中畫信息，其 可繼續(xù)由本地視頻通信12用于對傳出視頻進(jìn)行編碼，直到遠(yuǎn)程視頻通信裝置14另外 進(jìn)行指示。或者，畫中畫信息提取模塊50可以為已處理的每一幀接收傳入畫中畫信息， 也就是如圖5的實(shí)例中所顯示的每一循環(huán)迭代。正常情況下，畫中畫邊界可能遇到宏 塊邊界。在某些實(shí)施例中，如果畫中畫邊界平分宏塊，則可以相依于設(shè)計(jì)偏好將所述 宏塊視為包含在畫中畫區(qū)域中或從畫中畫區(qū)域中排除。
圖6是圖解說明處理畫中畫信息以對傳出視頻的非畫中畫覆蓋區(qū)域進(jìn)行優(yōu)先編碼 且對傳入視頻的非畫中畫覆蓋區(qū)域進(jìn)行優(yōu)先解碼的流程圖。將參照圖3中顯示的組件 來描述圖6中所顯示的操作。如圖6中所顯示，在接收到傳入視頻(74)時，畫中畫 信息信令模塊48確定本地視頻通信裝置12是否已經(jīng)指定了本地畫中畫信息(76)。如 果已經(jīng)指定，則將本地畫中畫信息作為傳出畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置14， 如下文將描述。另外，在知曉傳入視頻的一部分將由本地畫中畫區(qū)域遮蔽的情況下， 本地畫中畫信息可用于傳入視頻的解碼。
如果沒有指定本地畫中畫(76),則畫中畫感知的視頻解碼器50在沒有任何優(yōu)先 解碼的情況下對傳入視頻進(jìn)行解碼(78)，且用戶界面42顯示所述已解碼的視頻(80)。 然而，如果已指定本地畫中畫(76)，則畫中畫信息提取模塊46從本地畫中畫信息中 提取畫中畫信息(82)，并產(chǎn)生由畫中畫感知的視頻解碼器50用來對從遠(yuǎn)程視頻通信 裝置14接收的傳入視頻進(jìn)行解碼的畫中畫宏塊映射(84)。確切地說，(例如)通過使 用標(biāo)準(zhǔn)的錯誤隱藏和后處理，畫中畫感知的視頻解碼器50對傳入視頻的非畫中畫覆蓋 區(qū)域進(jìn)行解碼(86),然而，通過使用畫中畫宏塊映射，畫中畫感知的視頻解碼器50 跳過錯誤隱藏和后處理，或?qū)魅胍曨l的畫中畫覆蓋區(qū)域應(yīng)用較低質(zhì)量的錯誤隱藏和 后處理(88)。然后，畫中畫信息信令模塊48發(fā)送或嵌入由遠(yuǎn)程視頻通信裝置14使用 的傳出畫中畫信息(90)，且由用戶界面42來顯示已解碼的視頻(80)。
跳過對傳入視頻的畫中畫覆蓋區(qū)的解碼是有意義的，因?yàn)楸镜禺嬛挟媴^(qū)域?qū)⒄诒?那個區(qū)。如果遠(yuǎn)程視頻通信裝置是畫中畫感知的，則傳入視頻的畫中畫覆蓋區(qū)無論如何將甚至不會被編碼。然而，當(dāng)本地視頻通信裝置12正在從非畫中畫感知的遠(yuǎn)程視頻
通信裝置中接收傳入視頻時，也可應(yīng)用優(yōu)先解碼。因此，可應(yīng)用畫中畫感知處理以基 于用于接收傳出視頻的裝置的遠(yuǎn)程畫中畫信息對傳出視頻進(jìn)行編碼，基于用于接收傳 入視頻的裝置的本地畫中畫信息對傳入視頻進(jìn)行解碼，或此兩者。畫中畫感知的處理 可由作為其中呈現(xiàn)畫中畫的視頻會議的參與者的一個或兩個裝置在所述視頻會議的任
一端使用。
如圖6中進(jìn)一步顯示，畫中畫信息提取模塊46確定傳入畫中畫信息是否已經(jīng)由 遠(yuǎn)程視頻通信裝置14通過帶內(nèi)或帶外信令傳輸(92)。如果沒有，則畫中畫信息提取 模塊46不向畫中畫感知的視頻編碼器44提供畫中畫宏塊映射，或所述畫中畫宏塊映 射指示零區(qū)的畫中畫區(qū)域。在任一情況下，在不對畫中畫覆蓋和非畫中畫覆蓋區(qū)域進(jìn) 行優(yōu)先編碼的情況下對傳出視頻進(jìn)行整體地編碼(94)。然而，如果存在可用的傳入畫 中畫信息(92),則畫中畫信息提取模塊46提取畫中畫信息(96)并產(chǎn)生由畫中畫感 知的視頻編碼器44使用的畫中畫宏塊映射(98)。提取可能涉及到坐標(biāo)或其它值的轉(zhuǎn) 換，以識別視頻幀中被畫中畫區(qū)域覆蓋的宏塊。畫中畫感知的視頻編碼器44使用畫中 畫宏塊映射來對傳出視頻的非畫中畫覆蓋區(qū)域進(jìn)行編碼(100)，并跳過對傳出視頻的 畫中畫覆蓋區(qū)域的編碼(102)。
圖7是圖解說明其中由中間網(wǎng)絡(luò)服務(wù)器106提供畫中畫內(nèi)容和信息的視頻編碼和 解碼系統(tǒng)104的框圖。在這一揭示內(nèi)容中， 一般己將畫中畫內(nèi)容描述為由視頻通信裝 置12、 14產(chǎn)生的內(nèi)容，例如傳出視頻。然而，所述畫中畫內(nèi)容可包含其它信息作為傳 出視頻的替代或附加。例如，傳送信息(例如，時間、日期、已過去的視頻會議時間、 網(wǎng)絡(luò)狀態(tài)、及類似信息)的文本或圖形信息可呈現(xiàn)于畫中畫區(qū)域中。這種信息可本地 產(chǎn)生于視頻通信裝置12、 14中?；蛘撸@種畫中畫內(nèi)容可由中間畫中畫服務(wù)器106 產(chǎn)生。在這種情況下，可提供和畫中畫服務(wù)器106通信的網(wǎng)絡(luò)基礎(chǔ)設(shè)施設(shè)備108來將 畫中畫內(nèi)容添加到在視頻通信裝置12、 14之間傳輸?shù)囊丫幋a視頻。
出于這個目的，網(wǎng)絡(luò)設(shè)備108可包含足以準(zhǔn)許將畫中畫內(nèi)容放置在視頻流中的編 碼器和解碼器組件?；蛘?，可將畫中畫內(nèi)容從網(wǎng)絡(luò)設(shè)備108發(fā)送到各自的視頻通信裝 置12、 14并放置在已解碼的視頻中。作為狀態(tài)信息的替代信息，由畫中畫服務(wù)器106 提供的畫中畫內(nèi)容可包含用于商業(yè)產(chǎn)品或服務(wù)的廣告信息或信息性公共服務(wù)消息。的 確，畫中畫內(nèi)容不限于任何特定類型的內(nèi)容，且可包含發(fā)送者視頻、廣告、公共或私 人信息、或任何呈現(xiàn)為覆蓋在己解碼視頻的一部分上的內(nèi)容。在任何情況下，由畫中 畫服務(wù)器106產(chǎn)生的畫中畫內(nèi)容顯示于覆蓋在已解碼視頻的一部分上的畫中畫區(qū)域 中。因此，已解碼視頻的一部分被畫中畫區(qū)域遮蔽，從而使本文中所描述的優(yōu)先編碼 或解碼成為合乎需要的。為支持優(yōu)先編碼、解碼或此二者，網(wǎng)絡(luò)設(shè)備108從本地視頻 通信裝置12接收視頻、添加來自畫中畫服務(wù)器106的畫中畫內(nèi)容、并將所述視頻和所 述畫中畫內(nèi)容發(fā)送到遠(yuǎn)程視頻通信裝置14。
另外，網(wǎng)絡(luò)設(shè)備108通過帶內(nèi)或帶外信令將指定畫中畫區(qū)域的尺寸和位置的畫中畫信息發(fā)送到遠(yuǎn)程視頻通信裝置14，用以對不被所述畫中畫區(qū)域覆蓋的視頻進(jìn)行優(yōu)先
編碼或解碼。從圖7可顯而易見，網(wǎng)絡(luò)設(shè)備108可對本地和遠(yuǎn)程視頻通信裝置12、 14 互逆地操作。確切來說，網(wǎng)絡(luò)設(shè)備108將來自視頻通信裝置12的視頻和來自畫中畫服 務(wù)器106的畫中畫內(nèi)容連同畫中畫信息一起提供給視頻通信裝置14。類似地，網(wǎng)絡(luò)設(shè) 備108將來自視頻通信裝置14的視頻和來自畫中畫服務(wù)器106的畫中畫內(nèi)容連同畫中 畫信息一起提供給視頻通信裝置12。所述畫中畫內(nèi)容以及所述畫中畫內(nèi)容的尺寸和位 置對視頻通信裝置12、 14來說可以是相同的或不同的。
本文所描述的技術(shù)可實(shí)施于硬件、軟件、固件、或其任一組合中。如果實(shí)施在軟 件中，則所述技術(shù)可部分地通過計(jì)算機(jī)可讀媒體來實(shí)現(xiàn)，所述計(jì)算機(jī)可讀媒體包括含 有指令的程序代碼，當(dāng)執(zhí)行所述指令時，可執(zhí)行上文所描述方法的一者或多者。在這 種情況下，所述計(jì)算機(jī)可讀媒體可包括隨機(jī)存取存儲器(RAM)，例如同步動態(tài)隨機(jī) 存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取存儲器(NVRAM)、 電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體及類 似裝置。
所述程序代碼可由一個或多個處理器來執(zhí)行，例如一個或多個數(shù)字信號處理器 (DSP)、通用微處理器、專用集成電斷ASIC)、場可編程邏輯陣列(FPGA)、或其它等 效集成或離散邏輯電路。在某些實(shí)施例中，可在經(jīng)配置用于編碼和解碼的專用軟件模 塊或硬件單元中提供本文所描述的功能，或?qū)⒈疚乃枋龅墓δ芎喜⒌浇M合視頻編解 碼器(CODEC)中。
本文已經(jīng)描述了各種實(shí)施例。這些及其它實(shí)施例仍歸屬于以下權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1. 一種方法，其包括接收畫中畫(PIP)信息；及基于所述畫中畫信息對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行編碼。
2、 如權(quán)利要求1所述的方法，其中接收畫中畫信息包含從服務(wù)器接收所述畫中畫信息。
3、 如權(quán)利要求2所述的方法，其中所述畫中畫信息包含廣告、狀態(tài)信息及已過 去的視頻電話會議時間中的至少一者。
4、 如權(quán)利要求1所述的方法，其中接收畫中畫信息包含從所述遠(yuǎn)程視頻通信裝 置接收所述畫中畫信息。
5、 如權(quán)利要求4所述的方法，其中所述畫中畫信息指示由所述遠(yuǎn)程視頻通信裝 置呈現(xiàn)的畫中畫區(qū)域的尺寸和位置。
6、 如權(quán)利要求4所述的方法，其中編碼包含對所述視頻中不被由所述遠(yuǎn)程視頻 通信裝置呈現(xiàn)的畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先編碼。
7、 如權(quán)利要求6所述的方法，其中優(yōu)先編碼包含以比所述視頻中被所述畫中畫 區(qū)域覆蓋的區(qū)域更高的質(zhì)量對所述視頻中不被所述畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行編碼。
8、 如權(quán)利要求6所述的方法，其中優(yōu)先編碼包含對所述視頻中不被所述畫中畫 區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼及跳過對所述視頻中被所述畫中畫區(qū)域覆蓋的區(qū)域的編 碼。
9、 如權(quán)利要求8所述的方法，其中優(yōu)先編碼包含使用附加編碼位對所述視頻中 不被所述畫中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼，所述附加編碼位原本將用于對所述視 頻中被所述畫中畫區(qū)域覆蓋的所述區(qū)域迸行編碼。
10、 如權(quán)利要求l所述的方法，其進(jìn)一步包括基于所述畫中畫信息產(chǎn)生畫中畫宏 塊(MB)映射，其中所述畫中畫宏塊映射識別所述視頻中被所述畫中畫區(qū)域覆蓋的宏 塊，且其中編碼包含跳過對所述已識別宏塊的編碼。
11、 如權(quán)利要求l所述的方法，其進(jìn)一步包括 從所述遠(yuǎn)程視頻通信裝置中接收已編碼視頻； 從本地視頻通信裝置中接收本地畫中畫信息； 基于所述本地畫中畫信息對所述已編碼視頻進(jìn)行解碼；及 將所述已解碼視頻呈現(xiàn)在所述本地視頻通信裝置處。
12、 如權(quán)利要求11所述的方法，其中所述本地畫中畫信息指示由所述本地視頻 通信裝置呈現(xiàn)的本地畫中畫區(qū)域的尺寸和位置。
13、 如權(quán)利要求11所述的方法，其中解碼包含對所述已接收視頻中不被由所述 本地視頻通信裝置呈現(xiàn)的本地畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先解碼。
14、 如權(quán)利要求13所述的方法，其中優(yōu)先解碼包含跳過對所述已接收視頻中被 所述本地畫中畫區(qū)域覆蓋的區(qū)域的錯誤隱藏和后處理中的至少一者。
15、 如權(quán)利要求1所述的方法，其中對視頻進(jìn)行編碼包含對本地視頻通信裝置中 的所述視頻進(jìn)行編碼，且其中所述本地視頻通信裝置和所述遠(yuǎn)程視頻通信裝置中的至 少一者包含參加到視頻通話中的移動無線裝置。
16、 如權(quán)利要求15所述的方法，其中所述移動無線裝置包含具有攝像機(jī)和視頻 顯示器的移動電話。
17、 一種方法，其包括對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行編碼；及 將所述視頻和畫中畫(PIP)信息傳輸?shù)剿鲞h(yuǎn)程視頻通信裝置。
18、 如權(quán)利要求17所述的方法，其中所述畫中畫信息指示由本地視頻通信裝置 呈現(xiàn)的畫中畫區(qū)域的尺寸和位置。
19、 如權(quán)利要求17所述的方法，其進(jìn)一步包括從所述遠(yuǎn)程視頻通信裝置中接收 遠(yuǎn)程畫中畫信息，其中編碼包含基于所述遠(yuǎn)程畫中畫信息對所述視頻進(jìn)行編碼。、 如權(quán)利要求19所述的方法，其中所述遠(yuǎn)程畫中畫信息指示由所述遠(yuǎn)程視頻 通信裝置呈現(xiàn)的畫中畫區(qū)域的尺寸和位置，且其中編碼包含對所述視頻中不被由所述 遠(yuǎn)程視頻通信裝置呈現(xiàn)的所述畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先編碼。
20、 如權(quán)利要求17所述的方法，其中對視頻進(jìn)行編碼包含對本地視頻通信裝置 中的所述視頻進(jìn)行編碼，且其中所述本地視頻通信裝置和所述遠(yuǎn)程視頻通信裝置中的 至少一者包含參加到視頻通話中的移動無線裝置。
21、 一種視頻通信裝置，其包括 模塊，其接收畫中畫(PIP)信息；及視頻編碼器，其基于所述畫中畫信息對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行 編碼。
22、 如權(quán)利要求21所述的裝置，所述模塊從服務(wù)器接收畫中畫信息。
23、 如權(quán)利要求22所述的裝置，其中所述畫中畫信息包含廣告、狀態(tài)信息、及 已過去的視頻電話會議時間中的至少一者。
24、 如權(quán)利要求21所述的裝置，其中所述模塊從所述遠(yuǎn)程視頻通信裝置接收畫 中畫信息。
25、 如權(quán)利要求24所述的裝置，其中所述畫中畫信息指示由所述遠(yuǎn)程視頻通信 裝置呈現(xiàn)的畫中畫區(qū)域的尺寸和位置。
26、 如權(quán)利要求24所述的裝置，其中所述視頻編碼器對所述視頻中未被由所述 遠(yuǎn)程視頻通信裝置呈現(xiàn)的畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先編碼。
27、 如權(quán)利要求26所述的裝置，其中所述視頻編碼器以比所述視頻中被所述畫 中畫區(qū)域覆蓋的區(qū)域更高的質(zhì)量對所述視頻中不被所述畫中畫區(qū)域覆蓋的所述區(qū)域進(jìn) 行優(yōu)先編碼。
28、 如權(quán)利要求26所述的裝置，其中所述視頻編碼器對所述視頻中不被所述畫 中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼，并跳過對所述視頻中被所述畫中畫區(qū)域覆蓋的區(qū) 域的編碼。
29、 如權(quán)利要求28所述的裝置，其中所述視頻編碼器使用附加的編碼位對所述 視頻中不被所述畫中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼，所述附加編碼位原本將用于對 所述裝置中被所述畫中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼。
30、 如權(quán)利要求24所述的裝置，其中所述模塊基于所述畫中畫信息產(chǎn)生畫中畫 宏塊(MB)，其中所述畫中畫宏塊映射識別所述視頻中被所述畫中畫區(qū)域覆蓋的宏塊， 且其中所述視頻編碼器跳過對所述已識別宏塊的編碼。
31、 如權(quán)利要求24所述的裝置，其中所述裝置是從所述遠(yuǎn)程視頻通信裝置接收 己編碼視頻的本地視頻通信裝置，所述裝置進(jìn)一步包括模塊，其為所述本地視頻通信裝置接收本地畫中畫信息；及 解碼器，其基于所述本地畫中畫信息對來自所述遠(yuǎn)程視頻通信裝置的所述己編碼 視頻進(jìn)行解碼。
32、 如權(quán)利要求31所述的裝置，其中所述本地畫中畫信息指示由所述本地視頻 通信裝置呈現(xiàn)的本地畫中畫區(qū)域的尺寸和位置。
33、 如權(quán)利要求31所述的裝置，其中所述解碼器對所述已接收視頻中未被由所 述本地視頻通信裝置呈現(xiàn)的本地畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先解碼。
34、 如權(quán)利要求33所述的裝置，其中所述解碼器跳過對所述已接收視頻中被所 述本地畫中畫區(qū)域覆蓋的區(qū)域的錯誤隱藏和后處理中的至少一者。
35、 如權(quán)利要求24所述的裝置，其中所述裝置包含參加到視頻通話中的移動無 線裝置。
36、 如權(quán)利要求21所述的裝置，其進(jìn)一步包括攝像機(jī)和視頻顯示器。
37、 一種視頻通信裝置，其包括編碼器，其對將要傳輸?shù)竭h(yuǎn)程視頻通信裝置的視頻進(jìn)行編碼；及信令模塊，其將畫中畫(PIP)信息發(fā)送到所述遠(yuǎn)程視頻通信裝置。
38、 如權(quán)利要求37所述的裝置，其中所述畫中畫信息指示由所述視頻通信裝置 呈現(xiàn)的畫中畫區(qū)域的尺寸和位置。
39、 如權(quán)利要求37所述的裝置，其進(jìn)一步包括從所述遠(yuǎn)程視頻通信裝置中接收 遠(yuǎn)程畫中畫信息的模塊，其中所述編碼器基于所述遠(yuǎn)程畫中畫信息對所述視頻進(jìn)行編 碼。
40、 如權(quán)利要求39所述的裝置，其中所述遠(yuǎn)程畫中畫信息指示由所述遠(yuǎn)程視頻 通信裝置呈現(xiàn)的畫中畫區(qū)域的尺寸和位置，且其中所述編碼器對所述視頻中未被由所 述遠(yuǎn)程視頻通信裝置呈現(xiàn)的所述畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先編碼。
41、 一種視頻通信系統(tǒng)，其包括 本地視頻通信裝置；及遠(yuǎn)程視頻通信裝置，其中所述遠(yuǎn)程視頻通信裝置將遠(yuǎn)程畫中畫(PIP)信息傳輸?shù)剿霰镜匾曨l通信 裝置，且所述本地視頻通信裝置基于所述遠(yuǎn)程畫中畫信息對視頻進(jìn)行編碼以供傳輸?shù)?所述遠(yuǎn)程視頻通信裝置。
42、 如權(quán)利要求41所述的系統(tǒng)，其中所述畫中畫信息指示由所述遠(yuǎn)程視頻通信 裝置呈現(xiàn)的畫中畫區(qū)域的尺寸和位置。
43、 如權(quán)利要求41所述的系統(tǒng)，其中所述本地視頻通信裝置對所述視頻中不被 由所述遠(yuǎn)程視頻通信裝置呈現(xiàn)的畫中畫區(qū)域覆蓋的區(qū)域進(jìn)行優(yōu)先編碼。
44、 如權(quán)利要求41所述的系統(tǒng)，其中所述本地視頻通信裝置跳過對所述視頻中 被所述畫中畫區(qū)域覆蓋的區(qū)域的編碼，并使用附加的編碼位對所述視頻中不被所述畫 中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼，所述附加編碼位原本將用于對所述視頻中被所述 畫中畫區(qū)域覆蓋的所述區(qū)域進(jìn)行編碼。
45、 如權(quán)利要求41所述的系統(tǒng)，其中所述本地視頻通信裝置將本地畫中畫信息 傳輸?shù)剿鲞h(yuǎn)程視頻通信裝置，且所述遠(yuǎn)程視頻通信裝置基于所述本地畫中畫信息對 視頻進(jìn)行編碼以供傳輸?shù)剿霰镜匾曨l通信裝置。
46、 如權(quán)利要求41所述的系統(tǒng)，其中所述本地視頻通信裝置基于所述本地畫中畫信息對從所述遠(yuǎn)程視頻通信裝置接收的視頻進(jìn)行解碼。
47、 如權(quán)利要求41所述的系統(tǒng)，其中所述本地和遠(yuǎn)程視頻通信裝置中的至少一者為移動無線通信裝置。
全文摘要
本揭示內(nèi)容針對用于對視頻通話(VT)進(jìn)行畫中畫(PIP)處理的技術(shù)。根據(jù)所揭示技術(shù)，本地視頻通信裝置將畫中畫信息傳輸?shù)竭h(yuǎn)程視頻通信裝置。通過使用所述畫中畫信息，所述遠(yuǎn)程視頻通信裝置對傳輸?shù)剿霰镜匾曨l通信裝置的視頻的非畫中畫區(qū)域應(yīng)用優(yōu)先編碼。
文檔編號H04N7/14GK101288303SQ200680038264
公開日2008年10月15日 申請日期2006年8月21日 優(yōu)先權(quán)日2005年8月19日
發(fā)明者哈立德·希勒米·厄勒-馬列, 李彥輯, 蔡明章 申請人:高通股份有限公司