改進(jìn)的屏幕內(nèi)容和混合內(nèi)容編碼的制作方法
【專利摘要】一種裝置，包括處理器，用于：獲取包括圖像的混合內(nèi)容視頻，所述圖像包括計(jì)算機(jī)生成屏幕內(nèi)容(screen content，SC)和自然內(nèi)容(natural content，NC)；將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；以及通過(guò)使用SC編碼工具對(duì)所述SC區(qū)域進(jìn)行編碼和使用NC編碼工具對(duì)所述NC區(qū)域進(jìn)行編碼來(lái)對(duì)所述圖像進(jìn)行編碼；以及與所述處理器連接的發(fā)射器，其中，所述發(fā)射器用于向客戶端設(shè)備傳輸數(shù)據(jù)，所述數(shù)據(jù)包括所述編碼后的圖像和分區(qū)的邊界指示。
【專利說(shuō)明】改進(jìn)的屏幕內(nèi)容和混合內(nèi)容編碼
[0001] 相關(guān)申請(qǐng)案交叉申請(qǐng)
[0002] 本申請(qǐng)要求2014年3月 13 日由Thorsten Laude、Ma;rco Munderloh和Joern Ostermann遞交的發(fā)明名稱為"改進(jìn)的屏幕內(nèi)容和混合內(nèi)容編碼（Improved Screen Content And Mixed Content Codingr 的第61/952,160號(hào)美國(guó)臨時(shí)專利申請(qǐng)案和2015年3 月11 日由Thorsten Laude、Ma;rco Munderloh和Joern Ostermann遞交的發(fā)明名稱為。改進(jìn) 的屏幕內(nèi)容和混合內(nèi)容編碼（Improved Screen Content And Mixed Content Coding)"的 第14/645,136號(hào)美國(guó)專利申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，運(yùn)兩個(gè)在先申請(qǐng)的全部?jī)?nèi)容W引入的 方式并入本文本中。
[0003] 關(guān)于由聯(lián)邦政府贊助研究或開發(fā)的聲明
[0004] 不適用
[0005] 參考縮微膠片附錄
[0006] 不適用
【背景技術(shù)】
[0007] 隨著云服務(wù)的近期發(fā)展及智能手機(jī)和平板電腦等移動(dòng)設(shè)備部署為內(nèi)容顯示設(shè)備， 新出現(xiàn)的情況是:計(jì)算機(jī)生成的內(nèi)容在一個(gè)設(shè)備上生成但使用第二設(shè)備來(lái)顯示。此外，可要 求運(yùn)種設(shè)備來(lái)同時(shí)顯示相機(jī)采集內(nèi)容和計(jì)算機(jī)生成內(nèi)容，從而導(dǎo)致需要顯示混合內(nèi)容。相 機(jī)采集內(nèi)容和計(jì)算機(jī)生成內(nèi)容的特征在邊緣銳度、不同顏色的數(shù)量、壓縮等方面有顯著差 異。用于顯示視頻采集內(nèi)容的視頻編碼和解碼機(jī)制在顯示計(jì)算機(jī)生成內(nèi)容時(shí)效果不好，反 之亦然。例如，嘗試使用用于顯示視頻采集內(nèi)容的視頻編碼和解碼機(jī)制來(lái)顯示計(jì)算機(jī)生成 內(nèi)容可導(dǎo)致顯示的計(jì)算機(jī)生成內(nèi)容的那一部分編碼失真、模糊、文件過(guò)大等(反之亦然）。

【發(fā)明內(nèi)容】

[000引在一項(xiàng)實(shí)施例中，本發(fā)明包括一種裝置，所述裝置包括處理器，用于：獲取包括圖 像的混合內(nèi)容視頻，所述圖像包括計(jì)算機(jī)生成屏幕內(nèi)容（screen content，SC)和自然內(nèi)容 (natural content，NC);將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；W及通過(guò)使用SC編碼工具對(duì) 所述SC區(qū)域進(jìn)行編碼和使用NC編碼工具對(duì)所述NC區(qū)域進(jìn)行編碼來(lái)對(duì)所述圖像進(jìn)行編碼；W 及與所述處理器連接的發(fā)射器，其中，所述發(fā)射器用于向客戶端設(shè)備傳輸數(shù)據(jù)，所述數(shù)據(jù)包 括所述編碼后的圖像和分區(qū)的邊界指示。
[0009]在另一項(xiàng)實(shí)施例中，本發(fā)明包括一種在客戶端設(shè)備處對(duì)混合內(nèi)容視頻進(jìn)行解碼的 方法，所述方法包括:接收包括編碼后混合內(nèi)容視頻的比特流，所述混合內(nèi)容視頻包括圖 像，其中，每個(gè)圖像包括SC和NC;在所述比特流中接收包括所述SC內(nèi)容的SC區(qū)域與包括所述 NC內(nèi)容的NC區(qū)域之間的分區(qū)邊界的指示;對(duì)所述分區(qū)邊界界定的所述SC區(qū)域進(jìn)行解碼，其 中，對(duì)所述SC區(qū)域進(jìn)行解碼包括使用SC編碼工具；對(duì)所述分區(qū)邊界界定的所述NC區(qū)域進(jìn)行 解碼，其中，對(duì)所述NC區(qū)域進(jìn)行解碼包括使用與所述SC編碼工具不同的NC編碼工具；W及將 所述解碼后的SC區(qū)域和所述解碼后的NC區(qū)域作為解碼后的混合內(nèi)容視頻轉(zhuǎn)發(fā)給顯示器。
[0010] 在另一項(xiàng)實(shí)施例中，本發(fā)明包括一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括 存儲(chǔ)在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令，從而當(dāng)所述計(jì)算機(jī)可執(zhí)行指令由 處理器執(zhí)行時(shí)，使網(wǎng)元(network element,肥)執(zhí)行W下操作：獲取包括圖像的混合內(nèi)容視 頻，所述圖像包括SC和NC，將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域;將所述SC區(qū)域中的圖像數(shù)據(jù) 編碼為至少一個(gè)SC子流;將所述NC區(qū)域中的圖像數(shù)據(jù)編碼為至少一個(gè)NC子流；W及通過(guò)發(fā) 射器將所述子流傳輸給客戶端設(shè)備，W便重新組合為所述混合內(nèi)容視頻。
[0011] 結(jié)合附圖和權(quán)利要求書，可W從下文的詳細(xì)描述中更清楚地理解運(yùn)些和其它特 征。
【附圖說(shuō)明】
[0012] 為了更透徹地理解本發(fā)明，現(xiàn)參閱結(jié)合附圖和【具體實(shí)施方式】而描述的W下簡(jiǎn)要說(shuō) 明，其中的相同參考標(biāo)號(hào)表示相同部分。
[001 ：3 ]圖1示出了包括SC和NC的示例性混合內(nèi)容視頻；
[0014] 圖2為用于編碼和發(fā)送混合內(nèi)容視頻的網(wǎng)絡(luò)的實(shí)施例的示意圖；
[0015] 圖3為在網(wǎng)絡(luò)中充當(dāng)節(jié)點(diǎn)的NE的實(shí)施例的示意圖；
[0016] 圖4為編碼和發(fā)送混合內(nèi)容視頻的方法的實(shí)施例的流程圖；
[0017] 圖5為將混合內(nèi)容視頻按多個(gè)專用子流進(jìn)行編碼和發(fā)送的方法的實(shí)施例的流程 圖；
[0018] 圖6為解碼混合內(nèi)容視頻的方法的實(shí)施例的流程圖；
[0019] 圖7為量化參數(shù)(quantization parameter,QP)管理的方法的實(shí)施例的示意圖；
[0020] 圖8示出了包括SC和NC的另一種示例性混合內(nèi)容視頻；
[0021] 圖9為與混合內(nèi)容視頻相關(guān)聯(lián)的示例性分區(qū)信息的示意圖；
[0022] 圖10示出了包括SC的SC分割圖像的實(shí)施例；
[0023] 圖11示出了包括NC的NC分割圖像的實(shí)施例。
【具體實(shí)施方式】
[0024] 首先應(yīng)理解，盡管下文提供一項(xiàng)或多項(xiàng)實(shí)施例的說(shuō)明性實(shí)施例，但所公開的系統(tǒng) 和/或方法可使用任何數(shù)目的技術(shù)來(lái)實(shí)施，無(wú)論該技術(shù)是當(dāng)前已知還是現(xiàn)有的。本發(fā)明決不 應(yīng)限于下文所說(shuō)明的說(shuō)明性實(shí)施例、附圖和技術(shù)，包括本文所說(shuō)明并描述的示例性設(shè)計(jì)和 實(shí)施例，而是可在所附權(quán)利要求書的范圍W及其等效物的完整范圍內(nèi)修改。
[0025] 下面的本發(fā)明使用了多個(gè)術(shù)語(yǔ)，在實(shí)施例中，運(yùn)些術(shù)語(yǔ)解釋如下：片：帖中獨(dú)立編 碼/解碼的空間不同的區(qū)域;片頭:用于發(fā)送與特定片相關(guān)聯(lián)的信息的數(shù)據(jù)結(jié)構(gòu);編碼區(qū)塊： 帖中獨(dú)立編碼/解碼的不同空間的矩形區(qū)域，形成劃分整個(gè)圖像的運(yùn)種區(qū)域的網(wǎng)格的一部 分；塊：樣本的MxN(Μ列乘WN行）陣列或變換系數(shù)的MxN陣列；最大編碼單元（largest coding unit,LCU)網(wǎng)格一一用于將像素塊劃分為用于視頻編碼的宏塊的網(wǎng)格結(jié)構(gòu);編碼單 元(coding unit,CU):亮度樣本編碼塊、具有Ξ個(gè)樣本陣列的圖像的兩個(gè)對(duì)應(yīng)的色度樣本 編碼塊，或黑白圖像或使用Ξ個(gè)單獨(dú)色彩平面和語(yǔ)法結(jié)構(gòu)進(jìn)行編碼的圖像的樣本編碼塊， 其中色彩平面和語(yǔ)法結(jié)構(gòu)用于對(duì)樣本進(jìn)行編碼；圖像參數(shù)集（picture parameter set, PPS):包含適用于零個(gè)或多個(gè)整體編碼后的圖像的語(yǔ)法元素的語(yǔ)法結(jié)構(gòu)，由在每個(gè)片斷頭 部中發(fā)現(xiàn)的語(yǔ)法元素確定。序列參數(shù)集（Sequence化rameter Set,SPS):包含適用于零個(gè) 或多個(gè)整體編碼后的視頻序列的語(yǔ)法元素的語(yǔ)法結(jié)構(gòu)，由在PPS中發(fā)現(xiàn)的語(yǔ)法元素的內(nèi)容 確定，PPS由在每個(gè)片斷頭部中發(fā)現(xiàn)的語(yǔ)法元素引用;預(yù)測(cè)單元(prediction unit,PU):亮 度樣本預(yù)測(cè)塊、具有Ξ個(gè)色度樣本陣列的圖像的兩個(gè)對(duì)應(yīng)預(yù)測(cè)塊，或黑白圖像或使用Ξ個(gè) 單獨(dú)的色彩平面和語(yǔ)法結(jié)構(gòu)進(jìn)行編碼的圖像的樣本預(yù)測(cè)塊，其中色彩平面和語(yǔ)法結(jié)構(gòu)用于 對(duì)預(yù)測(cè)塊樣本進(jìn)行預(yù)測(cè)；補(bǔ)充增強(qiáng)信息（supplemental enhancement information，SEI): 可插入到視頻比特流中W增強(qiáng)視頻的使用的額外信息；亮度:指示圖像樣本的明亮度的信 息；色度：指示圖像樣本的顏色的信息，其可用紅色差色度分量(red difference chroma component,Cr)和藍(lán)色差色度分量（blue difference chroma component,化）來(lái)描述；QP: 包括指示樣本的量化的信息的參數(shù)，其中，量化表示將一系列值壓縮為單個(gè)值。
[0026] 發(fā)生混合內(nèi)容視頻的一個(gè)可能場(chǎng)景是：應(yīng)用在遠(yuǎn)端服務(wù)器上運(yùn)行，要向本地用戶 工作站轉(zhuǎn)發(fā)顯示輸出。另外一個(gè)示例性場(chǎng)景是:將智能手機(jī)或平板電腦屏幕復(fù)制到電視設(shè) 備的屏幕，W允許用戶在比移動(dòng)設(shè)備屏幕更大的屏幕上觀看電影。運(yùn)些場(chǎng)景需要高效傳輸 SC，即應(yīng)當(dāng)在遵守現(xiàn)有傳輸系統(tǒng)給定的數(shù)據(jù)速率限制的同時(shí)能夠呈現(xiàn)視覺(jué)質(zhì)量足夠好的SC 信號(hào)。運(yùn)個(gè)挑戰(zhàn)的示例性方案為:使用視頻編碼技術(shù)來(lái)壓縮SC，例如，通過(guò)使用像運(yùn)動(dòng)圖像 專家組（Moving Pictures E邱ert Group,MPEG)版本2(MPEG version two,MPEG-2)、MPEG 版本4(MPEG version four,MPEG-4)、高級(jí)視頻編碼(Advanced Video Coding，AVC)、高效 率視頻編碼化igh Efficien巧Video Coding,皿VC)等視頻編碼標(biāo)準(zhǔn)。開發(fā)皿VC的目的是 壓縮相機(jī)采集內(nèi)容等NC，導(dǎo)致NC的壓縮性能較好而SC的壓縮性能較差。
[0027] 值得注意的是，除了其它屬性，NC和SC信號(hào)的特征在邊緣銳度、不同顏色的數(shù)量等 方面有顯著差異。因此，一些SC編碼(SC coding，SCC)方法可能在NC上表現(xiàn)不好，一些肥VC 編碼工具可能在SC上表現(xiàn)不好。例如，HEVC編碼器要么呈現(xiàn)SC的效果非常差，編碼失真嚴(yán) 重，例如文本模糊和邊緣模糊，要么W很高的比特率呈現(xiàn)SC視頻，使得SC的呈現(xiàn)質(zhì)量高。在 使用SCC機(jī)制對(duì)整個(gè)帖進(jìn)行編碼的情況下，運(yùn)種機(jī)制在SC上表現(xiàn)良好，但在描述NC信號(hào)時(shí)表 現(xiàn)較差。運(yùn)個(gè)挑戰(zhàn)的一個(gè)解決方案是:如果序列/圖像只包含SC或NC，則按序列和/或圖像層 級(jí)啟用或禁用SCC工具和/或常規(guī)編碼工具。然而，運(yùn)種方法對(duì)包括自然和屏幕內(nèi)容兩者的 混合內(nèi)容不適用。
[0028] 本文公開的是用于改善屏幕內(nèi)容和混合內(nèi)容編碼W支持高效且質(zhì)量穩(wěn)定地顯示 混合視頻內(nèi)容的各種機(jī)制。將混合視頻內(nèi)容分區(qū)為NC區(qū)域和SC區(qū)域。使用NC專用編碼工具 對(duì)NC區(qū)域進(jìn)行編碼，使用SC專用編碼工具對(duì)SC區(qū)域進(jìn)行編碼。此外，通過(guò)對(duì)不同區(qū)域采用不 同的QP，可低于SC區(qū)域的分辨率對(duì)NC區(qū)域進(jìn)行編碼，便于減小文件大小而不會(huì)降低SC 區(qū)域的質(zhì)量。將分區(qū)信息和編碼后的混合內(nèi)容視頻一起發(fā)送給客戶端，使得客戶端分別對(duì) 每個(gè)區(qū)域進(jìn)行解碼。編碼實(shí)體(例如服務(wù)器)也可指示客戶端為每個(gè)區(qū)域啟用/禁用編碼工 具，降低了在解碼時(shí)的處理要求(例如，在不需要時(shí)可關(guān)閉不需要用的編碼工具）。在替代實(shí) 施例中，將每個(gè)區(qū)域(例如NC區(qū)域或SC區(qū)域)編碼在視頻流的不同比特流/子流中。然后，客 戶端可對(duì)每個(gè)比特流進(jìn)行編碼，并組合區(qū)域W創(chuàng)建NC和SC內(nèi)容的合成圖像。
[0029] 圖1示出了包括SC 120和NC 110的混合內(nèi)容視頻100的實(shí)施例。視頻序列為組成視 頻流的時(shí)間部分的多個(gè)相關(guān)圖像。圖像還可指帖或圖片?；旌蟽?nèi)容視頻100示出了視頻序列 中的單個(gè)圖像。SC 120為SC的示例，SC是作為計(jì)算機(jī)程序或應(yīng)用的界面而生成的視覺(jué)輸出。 例如，sc可包括web瀏覽器窗口、文本編輯界面、郵件程序界面、圖表、圖等等。sc通常包括銳 化邊緣和相對(duì)少的通常選擇用來(lái)對(duì)比的顏色。NC 110為NC的一個(gè)示例。NC是視頻記錄設(shè)備 采集的視覺(jué)輸出或生成的用來(lái)模擬采集的視頻的計(jì)算機(jī)圖形。例如，NC包括諸如體育比賽、 電影、電視內(nèi)容、網(wǎng)絡(luò)視頻等真實(shí)世界圖像。NC還包括計(jì)算機(jī)圖像影像(computer graphi CS imagery，CGI)，用于模擬諸如視頻比賽輸出、基于CGI的電影等真實(shí)世界影像。因?yàn)镹C顯示 或模擬真實(shí)世界圖像，所WNC包括模糊邊緣和相對(duì)較多的顏色，相鄰顏色有細(xì)微改變?？煽?出的是，混合內(nèi)容視頻100,在視頻100上普遍使用設(shè)計(jì)用于NC的編碼工具會(huì)導(dǎo)致SC 120的 性能較差。此外，在混合內(nèi)容視頻100上普遍使用設(shè)計(jì)用于SC的編碼工具會(huì)導(dǎo)致NC 110的性 能較差。應(yīng)注意，如本文使用的術(shù)語(yǔ)編碼工具包括用于對(duì)內(nèi)容進(jìn)行編碼的編碼工具和用于 對(duì)內(nèi)容進(jìn)行解碼的解碼工具兩者。
[0030] 圖2為網(wǎng)絡(luò)200的實(shí)施例的示意圖，網(wǎng)絡(luò)200用于編碼和發(fā)送混合內(nèi)容視頻，例如， 混合內(nèi)容視頻100。網(wǎng)絡(luò)200包括視頻源221、服務(wù)器211和客戶端201。視頻源221生成NC和SC 兩者，并將它們轉(zhuǎn)發(fā)給服務(wù)器211進(jìn)行編碼。在替代實(shí)施例中，視頻源221可包括多個(gè)節(jié)點(diǎn)， 運(yùn)些節(jié)點(diǎn)可不直接連接。在另一替代實(shí)施例中，視頻源221與服務(wù)器211可位于相同位置。例 如，視頻源221可包括：用于記錄和流式傳輸實(shí)時(shí)視頻的視頻相機(jī)，W及用于流式傳輸與記 錄的視頻相關(guān)聯(lián)的演示幻燈片的計(jì)算機(jī)。作為另一實(shí)施例，視頻源221可W是用于將附接顯 示器的內(nèi)容轉(zhuǎn)發(fā)給服務(wù)器211的計(jì)算機(jī)、手機(jī)、平板電腦等。不管在哪一個(gè)實(shí)施例，都會(huì)將SC 內(nèi)容和NC內(nèi)容轉(zhuǎn)發(fā)給服務(wù)器211進(jìn)行編碼并分發(fā)給客戶端201。
[0031] 服務(wù)器211可為用于如本文所述的混合視頻內(nèi)容的任何設(shè)備。作為非限制性示例， 服務(wù)器211可位于如圖2所示的云網(wǎng)絡(luò)中，可作為專用服務(wù)器位于家庭/辦公室中，或可包括 視頻源221。不管在哪一個(gè)實(shí)施例中，服務(wù)器211都會(huì)接收混合內(nèi)容視頻，將視頻的帖和/或 帖的子部分分區(qū)為一個(gè)或多個(gè)SC區(qū)域和一個(gè)或多個(gè)NC區(qū)域。服務(wù)器211通過(guò)對(duì)SC區(qū)域使用 SC編碼工具和對(duì)NC區(qū)域使用NC工具來(lái)分別對(duì)SC區(qū)域和NC區(qū)域進(jìn)行編碼。此外，可分別修改 SC區(qū)域和NC區(qū)域的分辨率W優(yōu)化視頻的文件大小和分辨率質(zhì)量。例如，在文件大小上，壓縮 NC比壓縮SC的效果好，因?yàn)镹C視頻通常比SC視頻復(fù)雜的多。因此，可大幅度壓縮NC視頻而不 大幅度壓縮SC視頻，運(yùn)可減少文件大小而不過(guò)分降低SC視頻的質(zhì)量。服務(wù)器211用于向客戶 端201傳輸編碼后的混合視頻內(nèi)容。在一項(xiàng)實(shí)施例中，視頻內(nèi)容可作為帖的比特流傳輸，每 個(gè)帖包括SC編碼區(qū)域和NC編碼區(qū)域。在另一項(xiàng)實(shí)施例中，將SC區(qū)域編碼在SC子流中，將NC區(qū) 域編碼在NC子流中。然后，將子流傳輸給客戶端201W組合成合成圖像。在任一實(shí)施例中，月良 務(wù)器211用于向客戶端201傳輸數(shù)據(jù)W幫助客戶端201對(duì)混合視頻內(nèi)容進(jìn)行解碼。傳輸給客 戶端201的數(shù)據(jù)包括指示每個(gè)SC和NC區(qū)域的邊界的分區(qū)信息。該數(shù)據(jù)還可包括每個(gè)區(qū)域要 啟用或禁用的編碼工具的隱式或顯式指示。該數(shù)據(jù)還可包括每個(gè)區(qū)域的QP，其中，QP描述每 個(gè)區(qū)域的壓縮。
[0032] 客戶端201可是用于接收和解碼混合內(nèi)容視頻的任何設(shè)備?？蛻舳?01還可用于顯 示解碼后的內(nèi)容。例如，客戶端201可是連接到電視的機(jī)頂盒、計(jì)算機(jī)、手機(jī)、平板電腦等。客 戶端201接收編碼后的混合視頻內(nèi)容，基于從服務(wù)器接收到的數(shù)據(jù)(例如，分區(qū)信息、編碼工 具信息、QP等）對(duì)混合視頻內(nèi)容進(jìn)行解碼，并轉(zhuǎn)發(fā)解碼后的混合視頻內(nèi)容W向終端用戶顯 示。根據(jù)實(shí)施例，客戶端201基于分區(qū)信息對(duì)每個(gè)帖的每個(gè)區(qū)域進(jìn)行解碼，或基于分區(qū)信息 對(duì)各個(gè)子流進(jìn)行解碼并將來(lái)自各個(gè)子流的區(qū)域組成合成圖像。
[0033] 通過(guò)將混合內(nèi)容視頻分區(qū)為SC區(qū)域和NC區(qū)域，可W通過(guò)給關(guān)聯(lián)區(qū)域使用最合適的 機(jī)制來(lái)單獨(dú)對(duì)各個(gè)區(qū)域進(jìn)行編碼。運(yùn)種分區(qū)解決了同一圖像中的NC區(qū)域和SC區(qū)域的圖像處 理要求不同的問(wèn)題。分區(qū)和單獨(dú)處理每個(gè)區(qū)域緩解了對(duì)使用非常復(fù)雜的編碼系統(tǒng)來(lái)同時(shí)處 理NC和SC圖像數(shù)據(jù)的需求。存在多種機(jī)制來(lái)劃分區(qū)域、傳輸分區(qū)數(shù)據(jù)、啟用/禁用編碼工具， 指示量化和向客戶端201轉(zhuǎn)發(fā)編碼后的混合視頻內(nèi)容，運(yùn)在下文中有更詳細(xì)的論述。
[0034] 圖3是肥300的實(shí)施例的示意圖，肥300在網(wǎng)絡(luò)中作為節(jié)點(diǎn)，諸如服務(wù)器211、客戶 端201和/或視頻源221，并用于對(duì)混合內(nèi)容視頻100等混合內(nèi)容視頻進(jìn)行編碼和/或解碼。肥 300可在單個(gè)節(jié)點(diǎn)中實(shí)現(xiàn)，或者肥300的功能可在網(wǎng)絡(luò)中的多個(gè)節(jié)點(diǎn)實(shí)現(xiàn)。本領(lǐng)域技術(shù)人員 將認(rèn)識(shí)到，術(shù)語(yǔ)肥包括各種設(shè)備，其中肥300僅僅是一個(gè)示例。包括肥300是為了論述清 楚，而絕非意在將本發(fā)明的應(yīng)用限制為特定肥實(shí)施例或一類肥實(shí)施例。至少一些在本發(fā)明 中描述的特征/方法可在肥300等網(wǎng)絡(luò)裝置或組件中實(shí)現(xiàn)。例如，本發(fā)明中的特征/方法可 使用硬件、固件和/或安裝W在硬件上運(yùn)行的軟件來(lái)實(shí)現(xiàn)。肥300可為通過(guò)網(wǎng)絡(luò)傳送的帖的 任何設(shè)備，例如交換機(jī)、路由器、網(wǎng)橋、服務(wù)器、客戶端、視頻采集設(shè)備等。如圖3所示，肥300 可W包括收發(fā)器(Tx/Rx)310,其可W是發(fā)射器、接收器或它們的組合。Tx/Rx 310可禪合到 多個(gè)下行端口320(例如，下行接口）W傳輸和/或接收來(lái)自其它節(jié)點(diǎn)的帖，并且Tx/Rx 310可 禪合到多個(gè)上行端口 350 (例如，上行接口）W傳輸和/或接收來(lái)自其它節(jié)點(diǎn)的帖。處理器330 可禪合到Tx/Rx31〇W處理帖和/或確定向哪些節(jié)點(diǎn)發(fā)送帖。處理器330可包括一個(gè)或多個(gè)多 核處理器和/或存儲(chǔ)設(shè)備332,其可充當(dāng)數(shù)據(jù)存儲(chǔ)、緩沖區(qū)等。處理器330可實(shí)現(xiàn)為通用處理 器，或可為一個(gè)或多個(gè)專用集成電路(a卵lication specific integrated circuit,ASIC) 和/或數(shù)字信號(hào)處理器(digital si即al processor,DSP)的一部分。處理器330可包括混合 內(nèi)容編碼模塊334，其可根據(jù)實(shí)施例執(zhí)行方法400、500、600和/或700。在一項(xiàng)實(shí)施例中，混合 內(nèi)容編碼模塊334對(duì)SC和NC區(qū)域進(jìn)行分區(qū)，基于分區(qū)對(duì)混合內(nèi)容視頻進(jìn)行編碼，將分區(qū)信 息、編碼工具信息、量化信息和/或編碼后的視頻發(fā)送給客戶端。在另一項(xiàng)實(shí)施例中，混合內(nèi) 容編碼模塊334基于分區(qū)和從服務(wù)器接收到的相關(guān)信息接收和解碼混合視頻內(nèi)容。在一項(xiàng) 替代實(shí)施例中，混合內(nèi)容編碼模塊334可實(shí)現(xiàn)為存儲(chǔ)在存儲(chǔ)器332的指令，例如，其可作為計(jì) 算機(jī)程序產(chǎn)品由處理器330來(lái)執(zhí)行。在另一替代實(shí)施例中，混合內(nèi)容編碼模塊334可在單獨(dú) 的肥上實(shí)現(xiàn)。下行端口 320和/或上行端口 350可包含電和/或光傳輸和/或接收部件。
[0035] 可理解，通過(guò)將可執(zhí)行指令編程和/或加載到肥300中，處理器330、混合內(nèi)容編碼 模塊334、下行端口 320、Tx/Rx 310、存儲(chǔ)器332和/或上行端口 350中的至少一個(gè)會(huì)發(fā)生改 變，將NE 300部分轉(zhuǎn)換為具有本發(fā)明所提出的新穎功能的特定機(jī)器或裝置，例如，多核轉(zhuǎn)發(fā) 架構(gòu)。對(duì)電子工程和軟件工程領(lǐng)域來(lái)說(shuō)，通過(guò)將可執(zhí)行軟件加載到計(jì)算機(jī)而可實(shí)現(xiàn)的功能 可通過(guò)公知的設(shè)計(jì)規(guī)則轉(zhuǎn)換為硬件實(shí)現(xiàn)是基本的。決定使用軟件還是硬件來(lái)實(shí)施一個(gè)概念 通常取決于設(shè)計(jì)穩(wěn)定性及要生產(chǎn)的單元數(shù)量而不是取決于軟件領(lǐng)域轉(zhuǎn)換至硬件領(lǐng)域中所 設(shè)及的任何問(wèn)題。通常，還會(huì)經(jīng)常變化的設(shè)計(jì)可優(yōu)選在軟件中實(shí)現(xiàn)，因?yàn)橛布?shí)現(xiàn)的重制比 軟件設(shè)計(jì)的重制更昂貴。通常，穩(wěn)定的及會(huì)大量生產(chǎn)的設(shè)計(jì)可優(yōu)選在在ASIC運(yùn)樣的中硬件 中實(shí)現(xiàn)，因?yàn)橥ㄟ^(guò)硬件實(shí)現(xiàn)大量生產(chǎn)要比軟件實(shí)現(xiàn)便宜。設(shè)計(jì)可能經(jīng)常W軟件形式進(jìn)行開 發(fā)與測(cè)試，隨后通過(guò)該領(lǐng)域熟知的設(shè)計(jì)規(guī)則轉(zhuǎn)換為對(duì)軟件的指令進(jìn)行硬連線的專用集成電 路中的等效硬件實(shí)現(xiàn)。由新的ASIC控制的機(jī)器是特定機(jī)器或裝置，同樣地，編程過(guò)的電腦 和/或加載了可執(zhí)行指令的計(jì)算機(jī)也可視為特定機(jī)器或裝置。
[0036] 圖4是編碼和傳輸混合內(nèi)容視頻100等混合內(nèi)容視頻的方法400的實(shí)施例的流程 圖。方法400可由服務(wù)器211和/或肥300等網(wǎng)絡(luò)設(shè)備來(lái)實(shí)現(xiàn)，并可開始于從接收要編碼為混 合內(nèi)容視頻的視頻內(nèi)容。例如，在步驟401中，從視頻源221接收包括NC和SC的混合內(nèi)容視頻 信號(hào)。在步驟403中，將視頻分區(qū)為NC區(qū)域和SC區(qū)域?？苫趶腘C視頻圖像的視頻信號(hào)源接 收到的數(shù)據(jù)和/或基于從創(chuàng)建SC圖像的處理器接收到的數(shù)據(jù)作出分區(qū)決定，運(yùn)些數(shù)據(jù)指示 NC和SC在帖內(nèi)的位置。在替代實(shí)施例中，方法400在分區(qū)前可檢查帖W確定SC和NC位置。
[0037] 可W使用多個(gè)機(jī)制來(lái)對(duì)NC區(qū)域和SC區(qū)域進(jìn)行分區(qū)。例如，可將區(qū)域分區(qū)成方形區(qū) 域或矩形區(qū)域。在一項(xiàng)實(shí)施例中，使用像素坐標(biāo)來(lái)描述分區(qū)的邊界。作為示例，坐標(biāo)可通過(guò) NC區(qū)域、SC區(qū)域或兩者的左上角和右下角位置的水平和垂直分量來(lái)表示。在其它示例中，坐 標(biāo)通過(guò)NC區(qū)域、SC區(qū)域或兩者的左下角和右上角位置的水平和垂直分量來(lái)表示。在另一項(xiàng) 實(shí)施例中，每個(gè)圖像被量化為網(wǎng)格，其中兩個(gè)點(diǎn)之間的最小距離大于完整像素距離，諸如對(duì) 應(yīng)于HEVC宏塊的LCU網(wǎng)格或用于預(yù)測(cè)性編碼的CU網(wǎng)格。然后使用網(wǎng)格坐標(biāo)來(lái)描述分區(qū)的邊 界。坐標(biāo)可通過(guò)NC區(qū)域、SC區(qū)域或兩者的左上角和右下角位置的水平和垂直分量來(lái)表示。作 為其它示例，坐標(biāo)也可通過(guò)NC區(qū)域、SC區(qū)域或兩者的左下角和右上角位置的水平和垂直分 量來(lái)表示不同的分區(qū)可能性由信令開銷與區(qū)域邊界的精度之間的平衡點(diǎn)決定。如果使用了 準(zhǔn)確的坐標(biāo)來(lái)描述區(qū)域的大小，則可在圖像中SC結(jié)束W及NC開始的位置準(zhǔn)確地設(shè)置分區(qū)的 邊界。但是，考慮到編碼工具可能按塊操作，所W分區(qū)可應(yīng)用于使分區(qū)邊界與相關(guān)編碼工具 使用的塊大小相匹配。如果區(qū)域的邊界僅可在一個(gè)較大的網(wǎng)格上表示，例如為L(zhǎng)CU或CU大小 的幾倍，那么SC區(qū)域在區(qū)域邊界處可包含NC的一些行和/或列，反之亦然。另一方面，網(wǎng)格較 大會(huì)引入更少的信令開銷。
[0038] 作為另一示例，可將運(yùn)些區(qū)域分區(qū)為任意形狀的區(qū)域。如果區(qū)域具有任意的形狀， 那么它們可更好地適應(yīng)帖的內(nèi)容。然而，任意形狀作為語(yǔ)法元素的描述比矩形或正方形形 狀的區(qū)域需要更多的數(shù)據(jù)。在采用任意形狀的區(qū)域時(shí)，可W將運(yùn)些區(qū)域映射到正方形或矩 形網(wǎng)格。運(yùn)種映射可支持使用基于塊的編碼工具。如果NC和/或SC區(qū)域在諸如LCU網(wǎng)格等網(wǎng) 格上表示，那么，當(dāng)LCU的某些子CU屬于SC區(qū)域而同一LCU的其它子CU屬于NC區(qū)域時(shí)，也可應(yīng) 用運(yùn)一映射過(guò)程。例如，當(dāng)塊的至少一個(gè)樣本包括N別寸、當(dāng)塊的所有樣本都包括N別寸，或當(dāng) 塊中NC樣本與SC樣本的比率比超過(guò)預(yù)定闊值(例如百分之屯十五，百分之五十，百分之二十 五等)時(shí)，塊可理解為被映射的NC區(qū)域的一部分。在其它示例中，當(dāng)塊的至少一個(gè)樣本包含 S別寸、當(dāng)塊的所有樣本都包括S別寸，或當(dāng)在塊中SC樣本與NC樣本的比率超過(guò)預(yù)定闊值(例如 百分之屯十五，百分之五十，百分之二十五，等）時(shí)，塊可理解為被映射的SC區(qū)域的一部分。 此外，可使用小型塊，例如4X4塊，和/或細(xì)的基于非像素的網(wǎng)格，W更好地適應(yīng)區(qū)域邊界， W便減少不正確地映射到NC或SC區(qū)域的樣本的數(shù)目。
[0039] 分區(qū)還可跨越多個(gè)帖使用。例如，分區(qū)可在序列的編碼開始時(shí)創(chuàng)建，并對(duì)整個(gè)序列 保持有效而不改變。分區(qū)還可在序列的編碼開始時(shí)創(chuàng)建并保持有效，直到需要新分區(qū)，例 如，由于事件(例如，調(diào)整混合視頻內(nèi)容的窗口大小）、時(shí)間到期和/或在編碼完預(yù)定數(shù)量的 帖后。分區(qū)實(shí)施例的實(shí)施是基于效率與復(fù)雜度之間的平衡。最有效的分區(qū)方案可能設(shè)及在 同一時(shí)間將每個(gè)整帖分區(qū)。將分區(qū)限制在每個(gè)帖的小區(qū)域可允許提升編碼并行化。
[0040] 在步驟405中，基于分區(qū)使用NC工具對(duì)NC區(qū)域進(jìn)行編碼。在步驟407中，基于分區(qū)使 用SC工具對(duì)SC區(qū)域進(jìn)行編碼。有些NC工具可能對(duì)SC區(qū)域無(wú)益，有些SC工具可能對(duì)NC區(qū)域無(wú) 益。因此，基于不同編碼工具分別對(duì)NC區(qū)域和sc區(qū)域進(jìn)行編碼。此外，大多數(shù)sc區(qū)域可W非 常有效地進(jìn)行編碼，但描述NC區(qū)域需要的比特率可能要高得多。為了符合相關(guān)傳輸或存儲(chǔ) 系統(tǒng)的數(shù)據(jù)速率要求，可能需要減少混合視頻內(nèi)容比特流的數(shù)據(jù)速率。考慮到人在SC和NC 編碼誤差的認(rèn)知上的視覺(jué)感知系統(tǒng)的特性，在編碼期間降低數(shù)據(jù)速率可分別應(yīng)用于NC和SC 區(qū)域。例如，微小的質(zhì)量下降在SC區(qū)域可能感知得到，但在NC區(qū)域卻感知不到。因此，可通過(guò) 對(duì)不同區(qū)域使用不同質(zhì)量的表示來(lái)對(duì)圖像的NC和SC區(qū)域進(jìn)行編碼。在一項(xiàng)實(shí)施例中，NC和 SC區(qū)域可使用不同的QP。作為一個(gè)具體示例，NC區(qū)域使用的QP可比SC區(qū)域的高，導(dǎo)致NC區(qū)域 的量化比SC區(qū)域的粗糖。由于NC區(qū)域中的大量顏色和陰影，NC區(qū)域可負(fù)責(zé)混合內(nèi)容視頻的 總數(shù)據(jù)速率的主要部分。運(yùn)樣，NC區(qū)域使用較高的QP而SC區(qū)域使用較低的QP可顯著降低混 合內(nèi)容視頻的總數(shù)據(jù)速率，同時(shí)保持SC區(qū)域中的高視覺(jué)質(zhì)量和NC區(qū)域中的合理的高感知視 覺(jué)質(zhì)量。還可應(yīng)用其它機(jī)制來(lái)實(shí)現(xiàn)NC和SC區(qū)域的不同質(zhì)量的表示。例如，每個(gè)NC和/或SC區(qū) 域可使用不同的QP值，而不是所有NC區(qū)域使用一個(gè)QP值，所有SC區(qū)域使用一個(gè)QP值。此外， SC和/或NC區(qū)域的每個(gè)色度分量可使用不同的QP偏移。
[0041] 在步驟409中，將編碼后的混合內(nèi)容視頻、分區(qū)信息、編碼工具信息和量化信息傳 輸給客戶端W進(jìn)行解碼。存在用于發(fā)送分區(qū)信息的多個(gè)實(shí)施例。例如，SC區(qū)域分區(qū)、NC區(qū)域 分區(qū)或兩者可作為比特流的一部分與編碼后的混合視頻內(nèi)容一起傳輸。對(duì)于每個(gè)圖片/圖 像、序列的每個(gè)片、序列的每個(gè)編碼區(qū)塊、序列的每個(gè)塊(例如，每個(gè)LCU或CU)和/或每個(gè)任 意形狀的區(qū)域，無(wú)論何時(shí)分區(qū)發(fā)生變化，分區(qū)信息都可在序列的開始處發(fā)送。一旦確定了 SC 區(qū)域和NC區(qū)域，它們就可作為編碼后的混合內(nèi)容視頻比特流的一部分發(fā)送。在各種實(shí)施例 中，分區(qū)信息、編碼工具信息和/或量化信息可作為視頻圖像參數(shù)集(picture parameter set, PPS)、序列參數(shù)集（sequence parameter set, SPS)、片頭、CU層信息、預(yù)測(cè)單元 (prediction unit,PU)層信息、編碼樹單元（coding tree unit,TU)層信息的一部分發(fā)送 和/或在補(bǔ)充增強(qiáng)信息（supplement! enhancement information,沈I)消息中發(fā)送。還可 使用其它分區(qū)形式，例如通過(guò)角位置與區(qū)域的寬度和高度一起指定NC和/或SC的角。使用前 一圖像的NC和/或SC區(qū)域來(lái)預(yù)測(cè)后續(xù)圖像的NC和/或SC區(qū)域可減少信令開銷。例如，所有的 NC和/或SC區(qū)域可從先前的圖像復(fù)制；可顯式地發(fā)送一些NC和/或SC區(qū)域，同時(shí)從先前的圖 像復(fù)制一些NC和/或SC區(qū)域;或可發(fā)送前一圖像的NC和/或SC區(qū)域與當(dāng)前圖像的NC和/或SC 區(qū)域之間的相對(duì)變化(例如，當(dāng)NC和/或SC區(qū)域的位置和/或大小發(fā)生變化）。
[0042] 在一些實(shí)施例中，客戶端可基于分區(qū)信息隱式地確定使用哪些編碼工具(例如，用 于SC區(qū)域的SC工具和用于NC區(qū)域的NC工具）。在另一項(xiàng)實(shí)施例中，使用編碼工具信息的信令 來(lái)在客戶端禁用和/或啟用NC區(qū)域和/或SC區(qū)域的編碼工具。在某些情況下，啟用或禁用編 碼工具的決定可不僅僅基于圖像的樣本是屬于NC區(qū)域還是SC區(qū)域運(yùn)一判定。例如，當(dāng)NC和/ 或SC區(qū)域是任意形狀時(shí)，啟用/禁用編碼工具的信令可有益。當(dāng)應(yīng)用于任意形狀的區(qū)域時(shí)， 基于塊的編碼工具可應(yīng)用于區(qū)域邊界的兩側(cè)，使得工具為NC和SC所用?？蛻舳丝赡軟](méi)有足 夠的信息來(lái)確定區(qū)域是使用SC編碼工具還是NC編碼工具。因此，區(qū)域要啟用/禁用的編碼工 具可由客戶端顯式地發(fā)送或隱式地確定。然后，客戶端可基于編碼工具信息和/或基于分區(qū) 信息來(lái)啟用或禁用區(qū)域的編碼工具。作為另一示例，當(dāng)禁用了圖像的特定區(qū)域的特定編碼 工具時(shí)，降低了編碼步驟405和/或407處的復(fù)雜度。降低編碼步驟的復(fù)雜度可降低成本、功 耗和延遲，有益于編碼器(例如服務(wù)器）的其它屬性。例如，可通過(guò)限制不利于特定SC和/或 NC區(qū)域的特定內(nèi)容的模式?jīng)Q策過(guò)程和速率失真優(yōu)化來(lái)降低編碼復(fù)雜度，運(yùn)可能需要信令。 此外，一些模式?jīng)Q策過(guò)程和速率失真優(yōu)化可能從來(lái)都不利于特定類型的內(nèi)容，并且可隱式 地確定或可發(fā)送。例如，可禁用所有SC區(qū)域的變換編碼方法并可禁用所有NC區(qū)域的調(diào)色板 編碼方法。作為另一個(gè)示例，可向NC區(qū)域和/或SC區(qū)域發(fā)送不同的色度采樣格式。
[0043] 還可采用與發(fā)送分區(qū)信息和/或編碼工具信息大體上類似的方式來(lái)向客戶端發(fā)送 量化信息。例如，NC和/或SC區(qū)域的不同QP值可隱式地推斷或作為混合內(nèi)容視頻比特流的一 部分發(fā)送。SC和/或NC區(qū)域的QP值可作為PPS、SPS、片頭、CU層信息、PU層信息、TU層信息的一 部分發(fā)送和/或作為SEI消息發(fā)送。
[0044] 通過(guò)傳輸如本文所述的編碼后的混合內(nèi)容視頻、分區(qū)信息、編碼工具信息和量化 信息，方法400可在編碼時(shí)分別處理每個(gè)SC區(qū)域和NC區(qū)域，W創(chuàng)建高效編碼后的混合視頻內(nèi) 容比特流，該混合視頻內(nèi)容比特流可由客戶端設(shè)備進(jìn)行解碼。
[0045] 應(yīng)注意，描述方法400的步驟是為了簡(jiǎn)化論述。然而，應(yīng)理解，可W在連續(xù)的循環(huán)中 執(zhí)行方法400來(lái)對(duì)作為視頻序列一部分的多個(gè)圖像進(jìn)行編碼。此外，方法400的步驟可W不 按順序執(zhí)行，取決于實(shí)施例。例如，為了帖的精細(xì)分區(qū)，步驟403可在一個(gè)循環(huán)中多次執(zhí)行； 當(dāng)對(duì)多個(gè)帖采用分區(qū)時(shí)，步驟403可在多個(gè)循環(huán)中執(zhí)行一次。此外，步驟405和407可按順序 執(zhí)行或并行執(zhí)行。此外，傳輸步驟409可在所有的編碼完成后開始或與方法400的其它步驟 并行開始，運(yùn)取決于實(shí)施例。因此，圖4所描述的方法400的順序應(yīng)視為說(shuō)明性的而非限制性 的。
[0046] 圖5是在多個(gè)專用子流中編碼和發(fā)送混合內(nèi)容視頻100等混合內(nèi)容視頻的方法500 的實(shí)施例的流程圖。方法500可由服務(wù)器211等服務(wù)器使用，并且與方法400基本上類似（因 此在相似的條件下實(shí)現(xiàn)），但混合內(nèi)容視頻圖像的每個(gè)區(qū)域使用了專用的比特流。運(yùn)種比特 流在本文中稱為子流。在步驟501中，采用與步驟401基本上類似的方式來(lái)接收混合內(nèi)容視 頻。在步驟503中，將視頻圖像分區(qū)為包含NC區(qū)域的NC圖像和包含SC區(qū)域的SC圖像。例如，采 用與步驟403基本上類似的方式將每個(gè)圖像分區(qū)為NC區(qū)域和SC區(qū)域。每個(gè)NC區(qū)域分割為NC 圖像，每個(gè)SC區(qū)域分割為SC圖像。在步驟505中，使用NC編碼工具將NC圖像編碼為一個(gè)或多 個(gè)NC子流。在步驟507中，使用SC編碼工具將SC圖像編碼為一個(gè)或多個(gè)SC子流。在步驟509 中，將NC子流和SC子流傳輸給客戶端，例如客戶端201，W采用與步驟409類似的方式將子流 和子流的分區(qū)信息、編碼工具信息和量化信息一起進(jìn)行解碼。
[0047] 與方法400-樣，方法500可部署在多個(gè)實(shí)施例中。例如，單個(gè)NC子流可用于所有NC 區(qū)域，而單個(gè)SC子流可用于所有SC區(qū)域。另外，可將NC區(qū)域和/或SC區(qū)域中的每一個(gè)進(jìn)一步 細(xì)分，使得每個(gè)子區(qū)域被分配給單獨(dú)的子流。此外，例如通過(guò)基于量化、使用的編碼工具等 將運(yùn)些子區(qū)域分組，某些子區(qū)域可在子流中組合，而其它子區(qū)域被分配給專用的子流。通過(guò) 將每個(gè)混合內(nèi)容圖像分割為多個(gè)圖像，每個(gè)分割后的圖像可分別編碼，然后發(fā)送到客戶端， W組合成合成圖像。
[0048] 在一項(xiàng)實(shí)施例中，在步驟505和/或507中，可對(duì)每個(gè)子流進(jìn)行編碼，W具有不同的 分辨率。例如，子流的分辨率可分別對(duì)應(yīng)于相應(yīng)的NC和SC區(qū)域的大小?？墒褂米恿骱?或掩 碼的分辨率來(lái)定義子流應(yīng)如何在解碼器處合成W產(chǎn)生輸出。在步驟509中，可例如通過(guò)使用 MPEG-4場(chǎng)景的二進(jìn)制格式(MPEG-4Bina巧化rmat for Scenes，BIFS)和/或MPEG輕量級(jí)應(yīng) 用場(chǎng)景表示（MPEG Li曲twei曲t A卵lication Scene Representation，LASeR)等協(xié)議將分 辨率和/或掩碼作為分區(qū)信息來(lái)傳輸。在另一項(xiàng)實(shí)施例中，所有的子流可采用相同的分辨 率，運(yùn)可使子流在客戶端/解碼器處的組合更容易。在運(yùn)種情況下，可通過(guò)應(yīng)用指示哪些區(qū) 域應(yīng)從哪個(gè)子流中提取的掩碼來(lái)組合子流。區(qū)域提取后可進(jìn)行區(qū)域的合成W得到最終圖 像。
[0049] 在將多個(gè)區(qū)域編碼為多個(gè)子流的實(shí)施例中，某些區(qū)域可能不是一直包括圖像內(nèi) 容，例如，當(dāng)在混合內(nèi)容視頻序列期間調(diào)整窗口大小、關(guān)閉窗口時(shí)。在運(yùn)種情況下，相關(guān)的子 流可能不是一直攜帶圖像數(shù)據(jù)。為了確保適當(dāng)?shù)慕獯a，可分配和/或發(fā)送定義的值/默認(rèn)值 來(lái)幫助解碼器將子流組合成正確的合成圖像。例如，當(dāng)子流不包括映射內(nèi)容時(shí)，在步驟505 和/或507中，可給相關(guān)樣本分配固定值(例如0)，其可代表統(tǒng)一的顏色(例如綠色）。在解碼 期間，可使用固定值/顏色作為掩碼信息。
[0050] 作為另一項(xiàng)實(shí)施例，在編碼步驟505和/或507期間，可將具有映射內(nèi)容的區(qū)域擴(kuò)展 到無(wú)映射內(nèi)容的區(qū)域。例如，當(dāng)子流中區(qū)域的大小和/或位置未與相關(guān)聯(lián)的編碼系統(tǒng)的CU或 塊網(wǎng)格對(duì)齊的時(shí)候，可采用運(yùn)一實(shí)施例。因此，為便于解碼，運(yùn)些區(qū)域可W擴(kuò)展到相關(guān)聯(lián)的 網(wǎng)格。此外，當(dāng)內(nèi)容區(qū)域是非矩形的，可將內(nèi)容區(qū)域擴(kuò)展為矩形形狀的區(qū)域。擴(kuò)展可設(shè)及復(fù) 制有映射內(nèi)容的區(qū)域的邊緣樣本和/或基于有映射內(nèi)容區(qū)域的樣本的插值。還可使用定向 擴(kuò)張方法。例如，可應(yīng)用皿VC帖內(nèi)預(yù)測(cè)方法來(lái)將具有映射內(nèi)容的區(qū)域擴(kuò)展到?jīng)]有映射內(nèi)容 的區(qū)域。
[0051] 應(yīng)注意，NC區(qū)域可包括先前編碼的內(nèi)容，如已通過(guò)其它視頻編碼標(biāo)準(zhǔn)壓縮的已接 收內(nèi)容。例如，NC區(qū)域的第一部分可包括第一軟件窗口中的壓縮視頻，而壓縮圖像(例如，聯(lián) 合圖像專家組(陸otogra地ic E邱erts Group,肝EG))可W第二窗口中顯示。對(duì)先前已編碼 的內(nèi)容進(jìn)行再編碼可能會(huì)導(dǎo)致負(fù)效率W及數(shù)據(jù)丟失增加。因此，包含先前已編碼材料的區(qū) 域可將原始?jí)嚎s比特流用于與運(yùn)些區(qū)域相關(guān)聯(lián)的子流。
[0052] 圖6是對(duì)混合內(nèi)容視頻100等混合內(nèi)容視頻進(jìn)行解碼的方法600的實(shí)施例的流程 圖。方法600可由客戶端201等客戶端使用，并且在(例從如服務(wù)器211)接收到編碼后的混合 內(nèi)容視頻時(shí)開始。在步驟601中，從例如服務(wù)器211接收編碼后的混合內(nèi)容視頻、分區(qū)信息、 編碼工具信息和/或量化信息作為步驟409或509的結(jié)果。在步驟603中，基于分區(qū)信息指示 的邊界通過(guò)使用編碼工具信息指示的SC編碼工具W及基于SC區(qū)域的量化信息對(duì)SC區(qū)域進(jìn) 行解碼。例如，可通過(guò)在步驟601中接收的分區(qū)信息確定每個(gè)區(qū)域的位置和大小?？赏ㄟ^(guò)顯 式編碼工具信息確定或基于分區(qū)信息隱式地確定要啟用和/或禁用的編碼工具。然后，可基 于SC區(qū)域的位置/大小(例如，分區(qū)邊界）W及基于在步驟601中接收到的任何量化/QP值通 過(guò)將所確定/發(fā)送的編碼工具應(yīng)用于SC區(qū)域來(lái)對(duì)SC區(qū)域進(jìn)行解碼。在步驟605中，基于分區(qū) 信息指示的邊界通過(guò)使用編碼工具信息指示的NC編碼(NC coding,NCC)工具W及基于NC區(qū) 域的量化信息，采用與步驟603基本上類似的方式對(duì)NC區(qū)域進(jìn)行解碼。在SC區(qū)域和NC區(qū)域在 多個(gè)專用子流中接收的實(shí)施例中，步驟603和605還包括:基于分區(qū)信息將每個(gè)圖像的解碼 后區(qū)域組合成合成圖像。在步驟607中，向顯示器轉(zhuǎn)發(fā)解碼后的混合視頻內(nèi)容。與方法400和 500-樣，方法600的步驟可不按順序執(zhí)行和/或根據(jù)需要并行執(zhí)行來(lái)對(duì)所接收的視頻進(jìn)行 解碼。
[0053] 為了進(jìn)一步闡明方法400、500和600中的分區(qū)信息信令、編碼工具信令和/或量化 信令，應(yīng)注意，例如，基于解碼器處的信令、信號(hào)分析等，解碼器(例如，客戶端201)可知曉信 號(hào)中的不同內(nèi)容類型（例如，NC和/或sc)和圖像中NC和/或sc區(qū)域的位置。要在解碼器處啟 用/禁用的編碼工具是基于顯式信令或隱式地基于指示SC區(qū)域和NC區(qū)域的分區(qū)信息。當(dāng)編 碼工具被禁用時(shí)，解碼器可能不會(huì)在與相關(guān)聯(lián)的比特流和/或子流中得到與被禁用的編碼 工具相關(guān)聯(lián)的語(yǔ)法元素。例如，解碼器可能會(huì)禁用SC區(qū)域內(nèi)的塊的變換編碼。具體地， transfo;rm_skip_f lag[xO] [yO] kick]可能不會(huì)存在于相關(guān)聯(lián)的比特流中，但對(duì)區(qū)域內(nèi)的 一些或所有顏色分量來(lái)說(shuō)，可由解碼器推斷為1。陣列索引x〇，y〇指定考慮的變換塊的左上 角亮度樣本相對(duì)于圖像的左上角亮度樣本的位置(x〇，y〇)。陣列索引cldx指定顏色分量的 指標(biāo)，例如，對(duì)于亮度等于0,對(duì)于化等于1，對(duì)于Cr等于2。解碼器還可使用與NC和SC區(qū)域相 關(guān)聯(lián)的不同色度采樣格式。色度采樣格式使用符號(hào)J:a:b，其中J指示采樣區(qū)域(例如，在像 素、網(wǎng)格坐標(biāo)中等等)的寬度，a指示采樣區(qū)域的第一行中色度樣本的數(shù)目，b指示J的第一行 和J的第二行之間的色度樣本的變化次數(shù)。4:2:0采樣格式可足W滿足人類視覺(jué)感知系統(tǒng)對(duì) NC的需求和能力，而4:4:4采樣格式可用于SC。在一項(xiàng)實(shí)施例中，4:4:4采樣格式可用于圖像 的SC區(qū)域，4:2:0采樣格式可用于圖像的NC區(qū)域。色度采樣格式可由解碼器基于分區(qū)信息隱 式地確定，或者可作為一種編碼工具信息來(lái)接收。運(yùn)種色度采樣格式信息可作為PPS、SPS、 片頭、CU層信息、PU層信息、TU層信息的一部分發(fā)送和/或在SEI消息中發(fā)送。
[0化4]圖7是QP管理方法的實(shí)施例的示意圖700,其可與方法400、500和/或600-起使用。 如上所述，對(duì)于NC和/或SC區(qū)域，可發(fā)送不同的QP值作為量化信息。解碼器可從左到右(或反 之似及從上到下(或反之閑圖像進(jìn)行解碼。因?yàn)镾C區(qū)域可包圍NC區(qū)域(或反之），所W客戶 端201等解碼器在區(qū)域間移動(dòng)時(shí)可能需要反復(fù)改變QP值。例如，在步驟603和605中，在區(qū)域 之間移動(dòng)時(shí)，可通過(guò)重新建立先前使用的QP值來(lái)改進(jìn)解碼。圖700包含內(nèi)容711(例如NC內(nèi) 容)和內(nèi)容713(例如SC內(nèi)容）。內(nèi)容711和713需要不同的QP值W進(jìn)行適當(dāng)?shù)慕獯a。解碼時(shí)，解 碼器可首先對(duì)前一區(qū)域701進(jìn)行解碼，接著是當(dāng)前區(qū)域703,然后是下一區(qū)域705。一旦完成 對(duì)前一區(qū)域701的解碼，可存儲(chǔ)前一區(qū)域701的QP值作為下一區(qū)域705的QP值的預(yù)測(cè)值，因?yàn)?區(qū)域701和705都包括同一內(nèi)容區(qū)域中的內(nèi)容713。然后，在當(dāng)前區(qū)域的解碼期間，可使用當(dāng) 前區(qū)域703的QP值。在當(dāng)前區(qū)域703完成時(shí)，解碼器可重新建立在前一量化組/內(nèi)容區(qū)域(按 解碼順序）中使用的最后一個(gè)QP值(例如，前一區(qū)域701的)作為下一個(gè)量化組/內(nèi)容區(qū)域(按 解碼順序）中的QP值的預(yù)測(cè)值。此外，還可在對(duì)下一區(qū)域705進(jìn)行解碼之前存儲(chǔ)當(dāng)前區(qū)域703 的QP值，運(yùn)可允許在解碼器返回到內(nèi)容711時(shí)重新建立當(dāng)前區(qū)域703的QP值。通過(guò)重新建立 內(nèi)容區(qū)域之間的QP值，解碼器在內(nèi)容區(qū)域之間移動(dòng)時(shí)可在QP值之間進(jìn)行切換。
[0055]如上文所述，可使用多個(gè)機(jī)制來(lái)發(fā)送和/或推斷分區(qū)信息和量化信息。本文公開了 可用于發(fā)送運(yùn)類信息的具體示例性實(shí)施例。表1描述了可用于通過(guò)由D.Flynn等人起草的 肥VC范圍擴(kuò)展文本規(guī)范：草案6(皿VC Range Extensions text specification:化aft 6) 在片頭中發(fā)送與NC區(qū)域相關(guān)的分區(qū)信息的具體源代碼，該規(guī)范W引入的方式并入本文本 中。
[0化引 表1
[0化9] 如表1所示，nc_areas_enabletflag可設(shè)置為等于1指為片啟用了發(fā)送NC區(qū)域， nc_areas_enabled_f lag可設(shè)置為等于0，指沒(méi)有為片發(fā)送NC區(qū)域。numbe;r_nc_areas_ minusl加1可指為片發(fā)送的NC區(qū)域的數(shù)目。nc_area_left_list_entry[i]可指第i個(gè)NC區(qū)域 的左上角像素的水平位置。nc_areas_top_list_entry[i]可指第i個(gè)NC區(qū)域的左上角像素 的垂直位置。nc_area_width_list_en1:ry[i]可指第i個(gè)NC區(qū)域的寬度。nc_area_hei曲t_ list_entry[i]可指第i個(gè)NC區(qū)域的高度。
[0060] 表2描述了可用于通過(guò)皿VC范圍擴(kuò)展文本規(guī)范:草案6(皿VC Range Extensions text specification:化aft 6)在片頭發(fā)送與SC區(qū)域相關(guān)的分區(qū)信息的具體源代碼。
[0061]

[0063] 表 2
[0064] 如表2所示，sc_areas_enabled_flag可設(shè)置為等于1，指為片啟用了發(fā)送SC區(qū)域。 sc_areas_enabled_f lag可設(shè)置為等于0，指沒(méi)有為片發(fā)送SC區(qū)域。numbe;r_sc_areas_ minusl加1可指為片發(fā)送的SC區(qū)域的數(shù)目。sc_area_left_list_entry[i]可指第i個(gè)SC區(qū)域 的左上角像素的水平位置。sc_areas_top_list_entry[i]可定第i個(gè)SC區(qū)域的左上角像素 的垂直位置。sc_area_width_list_en1:ry[i]可指第i個(gè)SC區(qū)域的寬度。sc_area_hei曲t_ list_entry[i]可指第i個(gè)SC區(qū)域的高度。
[00化]表3描述了可用于通過(guò)皿VC范圍擴(kuò)展文本規(guī)范：草案6(皿VC Range Extensions textspecification:化aft6)將與NC/SC區(qū)域相關(guān)的分區(qū)信息作為CU語(yǔ)法的一部分來(lái)發(fā) 送的具體源代碼。
[0066]
[0067]表 3
[006引如表3所示，cu_nc_area_f lag可設(shè)置為等于1，指當(dāng)前CU屬于NC區(qū)域。州_nc_area_ flag可設(shè)置為等于0,指當(dāng)前CU屬于SC區(qū)域。
[0069] 表4描述了可用于通過(guò)皿VC范圍擴(kuò)展文本規(guī)范:草案6(皿VC Range Extensions text specification:化aft 6)將與NC/SC區(qū)域相關(guān)的QP信息作為PPS的一部分來(lái)發(fā)送的具 體源代碼。
[0072] 表 4
[0073] 如表4所示，pps_nc_qp_offset可指定用于推導(dǎo)NC區(qū)域的量化參數(shù)的偏移值。片的 初始NC區(qū)域QP值SliceNcQpY按如下推導(dǎo)：SliceNc如Y = 26+init_qp_minus26+slice_qp_ de 11:a+pps_nc_qp_of fset。也可使用類似的過(guò)程來(lái)指定SC片的QP值。
[0074] 表5描述了可結(jié)合皿VC范圍擴(kuò)展文本規(guī)范：草案6(肥VC Range Extensions text specification:化aft 6)使用的量化參數(shù)的推導(dǎo)過(guò)程。
[0077] 表 5
[0078] 應(yīng)注意，在表1至表5中使用了具體的參數(shù)/功能，為了清楚和簡(jiǎn)潔起見(jiàn)，其中一些 參數(shù)/功能在此不再重復(fù)。不過(guò)，運(yùn)類參數(shù)/功能在皿VC范圍擴(kuò)展文本規(guī)范：草案6(皿VC Range Extensions text specification:draft 6)中有進(jìn)一步論述。
[0079] 圖8示出了包括SC 820和NC 810的另一示例性混合內(nèi)容視頻800?；旌蟽?nèi)容視頻 800可基本上類似于混合視頻內(nèi)容100,是作為可通過(guò)使用本文所述的機(jī)制根據(jù)方法400、 500和/或600進(jìn)行編碼/解碼的視頻圖像的具體示例而示出。例如，混合內(nèi)容視頻800可在步 驟401或501中接收，并在步驟403或503中分區(qū)。SC 820和NC 810可基本上類似于SC 120和 NC 110。
[0080] 圖9為與混合內(nèi)容視頻800相關(guān)聯(lián)的分區(qū)信息900的示意圖。在分區(qū)后，混合內(nèi)容視 頻800包括NC區(qū)域910和SC區(qū)域920。如圖8至圖9所示，NC區(qū)域910是準(zhǔn)確描述NC 810的多邊 形非矩形區(qū)域，sc區(qū)域920是準(zhǔn)確描述的sc 820的多邊形非矩形區(qū)域?？烧J(rèn)為NC區(qū)域910和 SC區(qū)域920是任意的。因此，如上所述，區(qū)域910和920可被編碼為任意區(qū)域、映射到網(wǎng)格和/ 或細(xì)分為額外的子區(qū)域(例如，多個(gè)矩形區(qū)域）。例如，在步驟409和/或509中，向客戶端(例 如，客戶端201)發(fā)送包括NC區(qū)域910和SC區(qū)域920的分區(qū)信息900 W支持解碼，在步驟601中， 客戶端接收分區(qū)信息900?；诜謪^(qū)信息900,客戶端可W對(duì)混合內(nèi)容視頻800進(jìn)行解碼。 [0081 ]圖10示出了包括SC 1020的SC分割圖像1000的實(shí)施例，SC 1020可為基于分區(qū)信息 900的SC區(qū)域920的混合視頻內(nèi)容800的SC 820等。SC分割圖像1000可通過(guò)步驟503和507創(chuàng) 建。SC分割圖像1000僅包括編碼后的SC 820,而NC 810替換為掩碼1010,掩碼1010可包括固 定值(例如0)、固定顏色(例如綠色)或其它掩碼數(shù)據(jù)。因此，將掩碼1010應(yīng)用于SCW外的NC， W允許將SC編碼到SC分割圖像1000中。一旦被編碼，可在SC子流中將SC分割圖像1000傳輸 給解碼器(例如，客戶端201)。
[0082] 圖11示出了包括NC 1110的NC分割圖像1100的實(shí)施例，NC 1110可為基于分區(qū)信息 900的NC區(qū)域910的混合視頻內(nèi)容800的NC 810等。SC分割圖像可通過(guò)步驟503和505創(chuàng)建。SC 分割圖像1000僅包括編碼后的NC 810,而SC 810替換為掩碼1120,掩碼1120可包括固定值 (例如0)、固定顏色(例如綠色)或其它掩碼數(shù)據(jù)。因此，將掩碼1120應(yīng)用于NCW外的SC，W允 許將NC編碼到NC分割圖像1100中。一旦被編碼，可在NC子流中將NC分割圖像1100傳輸給解 碼器(例如，客戶端201)。應(yīng)注意，掩碼1010和1120可基本上類似或者可包括不同的固定值、 顏色或掩碼數(shù)據(jù)。在接收到SC分割圖像1000、NC分割圖像1100和分區(qū)信息900(例如，在步驟 601中）后，解碼器/客戶端可對(duì)SC和NC區(qū)域進(jìn)行解碼，并將它們組合成相當(dāng)于混合內(nèi)容視頻 800的合成圖像(例如，在步驟603和605中）。然后，在步驟607中，可將合成圖像轉(zhuǎn)發(fā)給顯示 器W便用戶觀看。
[0083] 雖然本發(fā)明多個(gè)具體實(shí)施例，但應(yīng)當(dāng)理解，所公開的系統(tǒng)和方法也可通過(guò)其它多 種具體形式體現(xiàn)，而不會(huì)脫離本發(fā)明的精神或范圍。本發(fā)明的示例應(yīng)被視為說(shuō)明性而非限 制性的，且本發(fā)明并不限于本文本所給出的細(xì)節(jié)。例如，各種元件或部件可W在另一系統(tǒng)中 組合或合并，或者某些特征可W省略或不實(shí)施。
[0084] 此外，在不脫離本發(fā)明的范圍的情況下，各種實(shí)施例中描述和說(shuō)明為離散或單獨(dú) 的技術(shù)、系統(tǒng)和方法可W與其它系統(tǒng)、模塊、技術(shù)或方法進(jìn)行組合或合并。展示或論述為彼 此禪合或直接禪合或通信的其它項(xiàng)也可W采用電方式、機(jī)械方式或其它方式通過(guò)某一接 口、設(shè)備或中間部件間接地禪合或通信。其它變更、替換、更替示例對(duì)本領(lǐng)域技術(shù)人員而言 是顯而易見(jiàn)的，均不脫離此處公開的精神和范圍。
【主權(quán)項(xiàng)】
1. 一種裝置，其特征在于，包括： 處理器，用于： 獲取包括圖像的混合內(nèi)容視頻，所述圖像包括計(jì)算機(jī)生成屏幕內(nèi)容（screen content， SC)和自然內(nèi)容(natural content，NC); 將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；以及 通過(guò)使用SC編碼工具對(duì)所述SC區(qū)域進(jìn)行編碼和使用NC編碼工具對(duì)所述NC區(qū)域進(jìn)行編 碼來(lái)對(duì)所述圖像進(jìn)行編碼；以及 與所述處理器連接的發(fā)射器，所述發(fā)射器用于向客戶端設(shè)備傳輸數(shù)據(jù)， 其中，所述數(shù)據(jù)包括所述編碼后的圖像和所述圖像的分區(qū)的邊界指示。2. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述SC內(nèi)容包括計(jì)算機(jī)應(yīng)用生成的圖像內(nèi) 容，所述NC內(nèi)容包括圖像記錄設(shè)備采集的圖像內(nèi)容或圖像記錄設(shè)備采集的計(jì)算機(jī)生成圖像 內(nèi)容的仿真圖像內(nèi)容。3. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述對(duì)所述圖像進(jìn)行編碼包括應(yīng)用量化參 數(shù)(quantization parameter，QP)來(lái)減少傳輸所述圖像所需的帶寬，應(yīng)用于第一圖像的SC 區(qū)域的SC QP值與應(yīng)用于所述第一圖像的NC區(qū)域的NC QP值不同。4. 根據(jù)權(quán)利要求3所述的裝置，其特征在于，所述NC QP值大于所述SC QP值，使得所述 NC區(qū)域的質(zhì)量相比于所述SC區(qū)域的質(zhì)量有所下降。5. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，每個(gè)圖像包括一組子部分，以及傳輸每個(gè) 圖像中每個(gè)子部分的分區(qū)邊界的指示。6. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述分區(qū)邊界的指示指示了所述SC區(qū)域的 大小和位置以及所述NC區(qū)域的大小和位置。7. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述分區(qū)邊界的指示包括指示分區(qū)邊界的 像素坐標(biāo)。8. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述圖像通過(guò)量化為網(wǎng)格的坐標(biāo)描述，所 述分區(qū)邊界的指示包括所述網(wǎng)格上的坐標(biāo)，所述坐標(biāo)指示所述分區(qū)邊界。9. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述SC區(qū)域和NC區(qū)域中的至少一個(gè)包括非 矩形形狀，所述對(duì)所述圖像進(jìn)行分區(qū)包括:將所述非矩形形狀映射到矩形網(wǎng)格，所述矩形網(wǎng) 格描述包括所述非矩形形狀的關(guān)聯(lián)圖像。10. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述圖像中的至少一個(gè)包括子部分，所述 子部分包括至少一個(gè)NC像素和至少一個(gè)SC像素，所述對(duì)所述圖像進(jìn)行分區(qū)包括：當(dāng)NC內(nèi)容 像素與SC內(nèi)容像素的比率超過(guò)預(yù)定閾值時(shí)，將所述子部分映射到NC區(qū)域。11. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，在圖像參數(shù)集(picture parameter set， PPS)、序列參數(shù)集（sequence parameter set，SPS)、片頭、編碼單元（coding unit，CU)數(shù) 據(jù)、預(yù)測(cè)單元（prediction unit，PU)數(shù)據(jù)、補(bǔ)充增強(qiáng)信息（supplemental enhancement inf ormat i on，SEI)消息或它們的組合中傳輸所述分區(qū)邊界的指示。12. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，在所述圖像的序列的開始處傳輸所述分 區(qū)邊界的指示，所述指示描述所述序列的分區(qū)邊界。13. 根據(jù)權(quán)利要求12所述的裝置，其特征在于，圖像之間的分區(qū)邊界會(huì)發(fā)生改變，所述 數(shù)據(jù)包括描述相對(duì)于前一指示的變化的后續(xù)指示。14. 一種在客戶端設(shè)備處對(duì)混合內(nèi)容視頻進(jìn)行解碼的方法，其特征在于，所述方法包 括： 接收包括編碼后混合內(nèi)容視頻的比特流，所述混合內(nèi)容視頻包括圖像，其中，每個(gè)圖像 包括計(jì)算機(jī)生成屏幕內(nèi)容（screen content，SC)和自然內(nèi)容(natural content，NC); 在所述比特流中接收包括所述SC內(nèi)容的SC區(qū)域與包括所述NC內(nèi)容的NC區(qū)域之間的分 區(qū)的邊界指示； 對(duì)所述分區(qū)邊界界定的所述SC區(qū)域進(jìn)行解碼，其中，對(duì)所述SC區(qū)域進(jìn)行解碼包括使用 SC編碼工具； 對(duì)所述分區(qū)邊界界定的所述NC區(qū)域進(jìn)行解碼，其中，對(duì)所述NC區(qū)域進(jìn)行解碼包括使用 與所述SC編碼工具不同的NC編碼工具；以及 將所述解碼后的SC區(qū)域和所述解碼后的NC區(qū)域作為解碼后的混合內(nèi)容視頻轉(zhuǎn)發(fā)給顯 示器。15. 根據(jù)權(quán)利要求14所述的方法，其特征在于，還包括:在所述比特流中接收所述SC區(qū) 域中要使用的所述SC編碼工具的指示和在所述NC區(qū)域中要使用的所述NC編碼工具的指示。16. 根據(jù)權(quán)利要求14所述的方法，其特征在于，還包括:在所述比特流中接收所述SC區(qū) 域中要禁用的NC編碼工具的指示和在所述NC區(qū)域中要禁用的SC編碼工具的指示。17. 根據(jù)權(quán)利要求14所述的方法，其特征在于，基于所述分區(qū)邊界隱式地選擇所述SC編 碼工具和所述NC編碼工具。18. 根據(jù)權(quán)利要求14所述的方法，其特征在于，對(duì)于所述SC區(qū)域，所述SC編碼工具使用 第一色度采樣格式;對(duì)于所述NC區(qū)域，所述NC編碼工具使用第二色度采樣格式;所述第一色 度采樣格式不同于所述第二色度采樣格式。19. 一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括存儲(chǔ)在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上的計(jì)算 機(jī)可執(zhí)行指令，從而當(dāng)所述計(jì)算機(jī)可執(zhí)行指令由處理器執(zhí)行時(shí)，使網(wǎng)元(network element， NE)執(zhí)行以下操作： 獲取包括圖像的混合內(nèi)容視頻，所述圖像包括計(jì)算機(jī)生成屏幕內(nèi)容（screen content， SC)和自然內(nèi)容(natural content，NC)，將所述圖像分區(qū)為包括SC的SC圖像和包括NC的NC 圖像； 將所述SC圖像編碼為至少一個(gè)SC子流； 將所述NC圖像編碼為至少一個(gè)NC子流；以及 通過(guò)發(fā)射器將所述子流傳輸給客戶端設(shè)備，以便重新組合成所述混合內(nèi)容視頻。20. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，每個(gè)圖像包括多個(gè)SC區(qū)域和 多個(gè)NC區(qū)域，將每個(gè)區(qū)域的圖像數(shù)據(jù)編碼為不同的專用子流，所述區(qū)域的所述專用子流使 用不同的圖像分辨率。21. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述將所述SC圖像編碼為SC 子流還包括對(duì)所述SC以外的圖像數(shù)據(jù)使用掩碼。22. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述將所述NC圖像編碼為NC 子流還包括對(duì)所述NC以外的圖像數(shù)據(jù)使用掩碼。23. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述將所述SC圖像編碼為子 流還包括:在將所述SC圖像編碼為所述子流之前，將分區(qū)后的SC區(qū)域和相關(guān)內(nèi)容擴(kuò)展到預(yù) 定大小。24.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述將所述NC圖像編碼為子 流還包括:在將所述NC圖像編碼為所述子流之前，將分區(qū)后的NC區(qū)域和相關(guān)內(nèi)容擴(kuò)展到預(yù) 定大小。
【文檔編號(hào)】H04N19/00GK106063263SQ201580010315
【公開日】2016年10月26日
【申請(qǐng)日】2015年3月12日
【發(fā)明人】索斯滕·勞德, 馬可·莫德蘭, 約恩·奧斯特曼
【申請(qǐng)人】華為技術(shù)有限公司