專(zhuān)利名稱：用于視頻顯示系統(tǒng)的流送技術(shù)的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及視頻顯示器，尤其涉及用于生成、傳達(dá)和呈現(xiàn)分解式多流(DMS)的視頻顯示系統(tǒng)。背景視頻顯示器被用在各種設(shè)備中。此類(lèi)設(shè)備包括但不限于數(shù)字電視、無(wú)線通信設(shè)備、個(gè)人數(shù)字助理(PDA)、膝上型或臺(tái)式計(jì)算機(jī)、工作站、數(shù)碼相機(jī)、攝像機(jī)、數(shù)字媒體播放器、視頻游戲設(shè)備、便攜式電影播放器、電子閱讀器、平板計(jì)算機(jī)、蜂窩或衛(wèi)星無(wú)線電電話、智能電 話、以及類(lèi)似設(shè)備。視頻顯示系統(tǒng)往往包括生成給客戶機(jī)設(shè)備(諸如顯示器)的視頻內(nèi)容流的主機(jī)設(shè)備(諸如計(jì)算機(jī))。在許多情形中，主機(jī)設(shè)備可包括其自己的顯示器，但是仍向可包括比主機(jī)設(shè)備的顯示器更大的顯示器的客戶機(jī)設(shè)備傳達(dá)視頻數(shù)據(jù)。不同的技術(shù)和標(biāo)準(zhǔn)正在被開(kāi)發(fā)以允許在高速無(wú)線鏈路上將此類(lèi)視頻內(nèi)容從主機(jī)設(shè)備傳達(dá)給客戶機(jī)設(shè)備，以使得主機(jī)設(shè)備和客戶機(jī)設(shè)備兩者都能夠顯示該視頻內(nèi)容。ー些視頻顯示系統(tǒng)生成被稱為信號(hào)合成流(SCS)的視頻內(nèi)容流。SCS包括單個(gè)視頻流，盡管視頻內(nèi)容仍可包括有時(shí)可呈現(xiàn)為不同流的不同區(qū)域。在這種情形中，主機(jī)設(shè)備可生成SCS，并且客戶機(jī)設(shè)備可從主機(jī)設(shè)備接收SCS并呈現(xiàn)該信號(hào)視頻流以顯示該內(nèi)容。實(shí)質(zhì)上，通過(guò)SCS，主機(jī)設(shè)備發(fā)送“屏幕截圖”幀(例如，顯示緩沖器的全部?jī)?nèi)容)。這些屏幕截圖可能包括不同的內(nèi)容窗，但是SCS中的不同內(nèi)容窗不是分開(kāi)的流，而僅是這些屏幕截圖的一部分。與生成SCS的系統(tǒng)形成對(duì)比，其他類(lèi)型的視頻顯示系統(tǒng)生成被稱為分解式多流(DMS)的視頻內(nèi)容流。DMS包括兩個(gè)或更多個(gè)不同的視頻內(nèi)容流，這些視頻內(nèi)容流可對(duì)應(yīng)于可觀看區(qū)域中分開(kāi)的區(qū)劃，或者可能地對(duì)應(yīng)于可觀看區(qū)域內(nèi)的交疊區(qū)劃。在這種情形中，主機(jī)設(shè)備可生成包括該兩個(gè)或更多個(gè)不同視頻內(nèi)容流的DMS，并且客戶機(jī)設(shè)備可從主機(jī)設(shè)備接收該DMS并在顯示屏上呈現(xiàn)包括納入到該DMS中的該兩個(gè)或更多個(gè)不同視頻內(nèi)容流的視頻。主機(jī)設(shè)備可在屏幕的不同區(qū)域中呈現(xiàn)DMS的不同流，并且在一些情形中，DMS內(nèi)的不同流的不同區(qū)域可能交疊。概述本公開(kāi)描述能夠改善由視頻顯示系統(tǒng)的主機(jī)設(shè)備來(lái)生成分解式多流(DMS)和由視頻顯示系統(tǒng)的客戶機(jī)設(shè)備來(lái)顯示DMS的技木。這些技術(shù)可對(duì)DMS內(nèi)的不同流應(yīng)用不同的幀率,并且這些幀率可取決于不同流內(nèi)的內(nèi)容。例如,DMS內(nèi)的一個(gè)流可包括可用相對(duì)較高的幀率(諸如通常在視頻回放中使用的每秒10-120幀)來(lái)呈現(xiàn)的全運(yùn)動(dòng)視頻信息序列，然而，DMS內(nèi)的另ー個(gè)流可以與顯示的背景、各種圖形用戶界面控制窗或元素、或者包括非視頻內(nèi)容(諸如電子郵件或文檔)的顯示窗相關(guān)聯(lián)?？梢杂帽扔糜谌\(yùn)動(dòng)視頻信息序列的幀率慢得多的幀率來(lái)呈現(xiàn)DMS中的第二流。另外，如果這些不同的流與顯示屏的可觀看區(qū)域內(nèi)的交疊區(qū)域相關(guān)聯(lián)，那么諸技術(shù)可用來(lái)減少一個(gè)或兩個(gè)流在交疊區(qū)劃中的數(shù)據(jù)。還描述了能夠改善DMS的其他技木。主機(jī)設(shè)備可包括計(jì)算機(jī)設(shè)備(諸如膝上型計(jì)算機(jī)、智能電話或其他計(jì)算機(jī)設(shè)備)，并且客戶機(jī)設(shè)備可包括被用來(lái)呈現(xiàn)與計(jì)算機(jī)設(shè)備相同的輸出的無(wú)線顯示器。DMS可被用來(lái)在高速無(wú)線鏈路上傳達(dá)數(shù)據(jù)，以使得主機(jī)設(shè)備(例如，計(jì)算機(jī)設(shè)備)和客戶機(jī)設(shè)備(例如，無(wú)線顯示器)兩者都能夠顯示類(lèi)似的內(nèi)容。在給定內(nèi)容本身可以在不同的流中有所不同或者可以在顯示器的可觀看區(qū)域內(nèi)交疊的條件下，本公開(kāi)描述了用于改善DMS的技木。為了在主機(jī)設(shè)備處生成DMS，主機(jī)設(shè)備不僅可以訪問(wèn)該主機(jī)設(shè)備處的顯示緩沖器，而且還可以從生成內(nèi)容的應(yīng)用訪問(wèn)內(nèi)容。當(dāng)例如由于不能從生成內(nèi)容的應(yīng)用訪問(wèn)內(nèi)容而使DMS不可能或者不合需時(shí)，可實(shí)現(xiàn)信號(hào)合成流(SCS)技術(shù)作為用于從主機(jī)設(shè)備向客戶機(jī)設(shè)備傳達(dá)數(shù)據(jù)的回退技木。在一個(gè)示例中，本公開(kāi)描述ー種方法，該方法包括經(jīng)由視頻顯示系統(tǒng)的主機(jī)設(shè)備生成DMS，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。該方法還包括從該主機(jī)設(shè)備向視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)該DMS。在另ー個(gè)示例中，本公開(kāi)描述ー種方法，該方法包括在視頻顯示系統(tǒng)的客戶機(jī)處接收來(lái)自視頻顯示系統(tǒng)的主機(jī)設(shè)備的DMS，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。該方法還包括在客戶機(jī)設(shè)備上呈現(xiàn)第一顯示內(nèi)容和第二顯示內(nèi)容。在另ー個(gè)示例中，本公開(kāi)描述一種視頻顯示系統(tǒng)的主機(jī)設(shè)備，該主機(jī)設(shè)備包括生成DMS的DMS生成器，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第ニ幀率，第一幀率不同于第二幀率。該主機(jī)設(shè)備還包括從該主機(jī)設(shè)備向視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)該DMS的傳輸單元。在另ー個(gè)示例中，本公開(kāi)描述ー種視頻顯示系統(tǒng)的客戶機(jī)設(shè)備，該客戶機(jī)設(shè)備包括從主機(jī)設(shè)備接收DMS的傳輸單兀,其中該DMS定義顯不窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。該客戶機(jī)設(shè)備還包括顯示單元和DMS呈現(xiàn)單元，該DMS呈現(xiàn)單元在該顯示単元上呈現(xiàn)第一顯示內(nèi)容和第二顯示內(nèi)容。在另ー個(gè)示例中，本公開(kāi)描述一種視頻顯示系統(tǒng)的主機(jī)設(shè)備，該主機(jī)設(shè)備包括用于生成DMS的裝置，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率；以及用于從該主機(jī)設(shè)備向視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)該DMS的裝置。在另ー個(gè)示例中，本公開(kāi)描述ー種視頻顯示系統(tǒng)的客戶機(jī)設(shè)備，該客戶機(jī)設(shè)備包 括用于從視頻顯示系統(tǒng)的主機(jī)設(shè)備接收DMS的裝置，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率；以及用于在客戶機(jī)設(shè)備上呈現(xiàn)第一顯示內(nèi)容和第二顯示內(nèi)容的裝置。
本公開(kāi)中所描述的技術(shù)可以至少部分地在硬件中實(shí)現(xiàn)，可能地使用軟件或固件的諸方面與硬件組合實(shí)現(xiàn)。如果在軟件或固件中實(shí)現(xiàn)，那么可以在諸如微處理器、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或數(shù)字信號(hào)處理器(DSP)之類(lèi)的一個(gè)或更多個(gè)處理器中執(zhí)行該軟件或固件。執(zhí)行這些技術(shù)的軟件可以最初存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中并且載入處理器以及在處理器中執(zhí)行。相應(yīng)地，本公開(kāi)還構(gòu)想了一種包括指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，這些指令一旦在視頻顯示系統(tǒng)的主機(jī)設(shè)備的處理器中被執(zhí)行就使該主機(jī)設(shè)備生成DMS，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率；以及從該主機(jī)設(shè)備向視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)該DMS。在另一個(gè)示例中，本公開(kāi)描述一種包括指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，這些指令一旦在視頻顯示系統(tǒng)的客戶機(jī)設(shè)備的處理器中被執(zhí)行就使該客戶機(jī)設(shè)備從視頻顯示系統(tǒng)的主機(jī)設(shè)備接收DMS，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率；以及在客戶機(jī)設(shè)備上呈現(xiàn)第一顯示內(nèi)容和第二顯示內(nèi)容。在附圖及以下說(shuō)明中闡述本公開(kāi)的一個(gè)或更多個(gè)示例的詳情。本公開(kāi)的其他特征、目的、以及優(yōu)勢(shì)將可從此說(shuō)明和附圖、以及從所附權(quán)利要求書(shū)變明白。附圖簡(jiǎn)述圖I是解說(shuō)可被用來(lái)實(shí)現(xiàn)本公開(kāi)的技術(shù)的示例系統(tǒng)的框圖。圖2是對(duì)顯示屏的概念解說(shuō)，該顯示屏可包括對(duì)應(yīng)于分解式多流(DMS)的不同視頻流的兩個(gè)分開(kāi)顯示內(nèi)容區(qū)域。圖3是與本公開(kāi)的一個(gè)示例一致的主機(jī)設(shè)備的示例性框圖。圖4是與本公開(kāi)的一個(gè)示例一致的客戶機(jī)設(shè)備的示例性框圖。圖5-8是解說(shuō)與本公開(kāi)一致的可由主機(jī)設(shè)備實(shí)現(xiàn)的技術(shù)的流程圖。圖9-11是解說(shuō)與本公開(kāi)一致的可由客戶機(jī)設(shè)備實(shí)現(xiàn)的技術(shù)的流程圖。詳細(xì)描述本公開(kāi)描述能夠改善由視頻顯示系統(tǒng)的主機(jī)設(shè)備來(lái)生成分解式多流(DMS)和由視頻顯示系統(tǒng)的客戶機(jī)設(shè)備來(lái)顯示DMS的技術(shù)。DMS是指用于顯示器的數(shù)據(jù)流，該數(shù)據(jù)流本身包括可與可觀看區(qū)域的分開(kāi)區(qū)劃對(duì)應(yīng)的或者可能與可觀察區(qū)域內(nèi)的交疊區(qū)劃對(duì)應(yīng)的兩個(gè)或更多個(gè)不同內(nèi)容流。主機(jī)設(shè)備可生成包括兩個(gè)或更多個(gè)不同內(nèi)容流的DMS，并且客戶機(jī)設(shè)備可從主機(jī)設(shè)備接收該DMS并在顯示屏上呈現(xiàn)包括納入到該DMS中的該兩個(gè)或更多個(gè)不同視頻內(nèi)容流的視頻。主機(jī)設(shè)備可在屏幕的不同區(qū)域中呈現(xiàn)DMS的不同流，并且在一些情形中，不同DMS流的不同區(qū)域可能交疊。與DMS流形成對(duì)比，一些視頻顯示系統(tǒng)生成被稱為信號(hào)合成流(SCS)的視頻內(nèi)容流。SCS包括可在主機(jī)設(shè)備中作為屏幕截圖來(lái)觀看的單個(gè)視頻流。實(shí)質(zhì)上，通過(guò)SCS，主機(jī)設(shè)備向客戶機(jī)設(shè)備發(fā)送其顯示緩沖器中的全部?jī)?nèi)容。這些所謂的“屏幕截圖”可能包括不同的內(nèi)容窗，但是SCS中的不同內(nèi)容窗不是分開(kāi)的流，而僅是這些屏幕截圖的一部分。如果主機(jī)設(shè)備顯示兩個(gè)分開(kāi)的窗口(一個(gè)窗口顯示全運(yùn)動(dòng)視頻并且另一個(gè)窗口顯示相對(duì)靜態(tài)的內(nèi)容)，那么SCS典型情況下將以對(duì)應(yīng)于全運(yùn)動(dòng)視頻的幀率來(lái)發(fā)送屏幕截圖。SCS技術(shù)可能是連同全運(yùn)動(dòng)視頻一起發(fā)送相對(duì)靜態(tài)的內(nèi)容的一種非常效率低下的方式。這些技術(shù)可對(duì)DMS內(nèi)的不同流應(yīng)用不同的幀率，并且這些幀率可取決于不同流內(nèi)的內(nèi)容。例如，DMS內(nèi)的一個(gè)流可包括可用相對(duì)較高的幀率(諸如通常在視頻回放中使用的每秒10-120幀)來(lái)呈現(xiàn)的視頻信息序列，然而，DMS內(nèi)的另一流可以與顯示的背景、各種圖形用戶界面控制窗或元件、或者包括非視頻內(nèi)容(諸如電子郵件或文檔)的顯示窗相關(guān)聯(lián)?？梢杂帽扔糜谌\(yùn)動(dòng)視頻信息序列的幀率慢得多的幀率來(lái)呈現(xiàn)該一個(gè)或多個(gè)第二流(例如，包括相對(duì)靜態(tài)的內(nèi)容的流)。另外，如果這些不同的流與顯示屏的可觀看區(qū)域內(nèi)的交疊區(qū)域相關(guān)聯(lián)，那么諸技術(shù)可用來(lái)減少一個(gè)或兩個(gè)流在交疊區(qū)劃中的數(shù)據(jù)。還描述了能夠改善DMS的許多其他技術(shù)。作為示例，第一幀率可以是每秒10-120幀，并且每秒約30幀對(duì)于許多流送視頻應(yīng)用而言可以是足夠的。與之對(duì)比，第二幀率可以為每秒1-10幀之間，并且每秒約4幀對(duì)于一般不包括全運(yùn)動(dòng)視頻的應(yīng)用而言可以是足夠的。主機(jī)設(shè)備可包括計(jì)算機(jī)設(shè)備(諸如膝上型計(jì)算機(jī)或智能電話)，并且客戶機(jī)設(shè)備可包括被用來(lái)呈現(xiàn)與計(jì)算機(jī)設(shè)備相同的輸出的無(wú)線顯示器。DMS可被用來(lái)在高速無(wú)線鏈路上傳達(dá)數(shù)據(jù)，以使得主機(jī)設(shè)備(例如，計(jì)算機(jī)設(shè)備)和客戶機(jī)設(shè)備(例如，無(wú)線顯示器)兩者都能夠顯示類(lèi)似的內(nèi)容。在給定內(nèi)容本身可以在不同的流中有所不同或者可以在顯示器的可觀看區(qū)域內(nèi)交疊的條件下，本公開(kāi)提供用于改善DMS的技術(shù)。為了在主機(jī)設(shè)備處生成DMS，主機(jī)設(shè)備不僅可以訪問(wèn)該主機(jī)設(shè)備處的顯示緩沖器，而且還可以從生成內(nèi)容的應(yīng)用訪問(wèn)內(nèi)容。當(dāng)例如由于不能從生成內(nèi)容的應(yīng)用訪問(wèn)內(nèi)容而使DMS不可能或者不合需時(shí)，可實(shí)現(xiàn)SCS技術(shù)作為用于從主機(jī)設(shè)備向客戶機(jī)設(shè)備傳達(dá)數(shù)據(jù)的回退技術(shù)。圖I是解說(shuō)可被用來(lái)實(shí)現(xiàn)本公開(kāi)的技術(shù)的示例視頻顯示系統(tǒng)的框圖。圖I的系統(tǒng)包括主機(jī)設(shè)備10和客戶機(jī)設(shè)備20。在解說(shuō)性示例中，主機(jī)設(shè)備10可包括膝上型設(shè)備或智能電話，并且客戶機(jī)設(shè)備20可包括分開(kāi)的被用來(lái)呈現(xiàn)與在主機(jī)設(shè)備上所呈現(xiàn)的內(nèi)容相同的內(nèi)容的外部顯示設(shè)備。主機(jī)設(shè)備10和客戶機(jī)設(shè)備20可以經(jīng)由短程高速無(wú)線協(xié)議來(lái)傳達(dá)數(shù)據(jù)。然而，此示例僅是示例性的。主機(jī)設(shè)備10和客戶機(jī)設(shè)備20可替換地包括經(jīng)由DMS技術(shù)來(lái)傳達(dá)數(shù)據(jù)的任何兩個(gè)計(jì)算機(jī)設(shè)備。主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間的通信鏈路典型情況下是短程無(wú)線鏈路。然而，在其他示例中，主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間的鏈路可遵循任何有線或無(wú)線協(xié)議，并且可包括諸如路由器、交換機(jī)或其他組網(wǎng)設(shè)備之類(lèi)的中間設(shè)備。主機(jī)設(shè)備10可訪問(wèn)不同的內(nèi)容(例如，內(nèi)容I 12A、內(nèi)容2 12B、和內(nèi)容N 12N)。內(nèi)容12可經(jīng)由顯示緩沖器供主機(jī)設(shè)備訪問(wèn)，但是也可以從呈現(xiàn)該內(nèi)容的一個(gè)或更多個(gè)特定應(yīng)用來(lái)分別訪問(wèn)。作為一個(gè)示例，內(nèi)容12A可包括來(lái)自視頻回放應(yīng)用的內(nèi)容，而內(nèi)容12B可包括來(lái)自電子郵件應(yīng)用或文字處理應(yīng)用的內(nèi)容。 主機(jī)設(shè)備10包括生成分解式多流(DMS)的DMS生成器14，其中該DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。例如，如果內(nèi)容12A包括來(lái)自視頻回放應(yīng)用的內(nèi)容并且內(nèi)容12B包括來(lái)自電子郵件應(yīng)用或文字處理應(yīng)用的內(nèi)容，那么內(nèi)容12A可被編碼成DMS的第一流，該第一流具有比用于內(nèi)容12B的幀率更高的幀率。圖2是對(duì)顯示屏的概念解說(shuō)，該顯示屏包括對(duì)應(yīng)于DMS的不同視頻流的兩個(gè)分開(kāi)顯示內(nèi)容區(qū)域。如圖2中所示，可觀看區(qū)域202包括第一呈現(xiàn)區(qū)域204和第二呈現(xiàn)區(qū)域206。另外，在此示例中，第一呈現(xiàn)區(qū)域204和第二呈現(xiàn)區(qū)域206兩者均包括交疊區(qū)域205。DMS可包括兩個(gè)分開(kāi)的用于傳達(dá)第一呈現(xiàn)區(qū)域204和第二呈現(xiàn)區(qū)域206的內(nèi)容的流。DMS還可包括附加流，即，大于兩個(gè)流。第一呈現(xiàn)區(qū)域204可包括全運(yùn)動(dòng)視頻序列并可在DMS中以每秒30幀或類(lèi)似幀率來(lái)編碼。第二呈現(xiàn)區(qū)域206可包括與諸如電子郵件或文字處理應(yīng)用之類(lèi)的更靜態(tài)的應(yīng)用相關(guān)聯(lián)的窗口。第二呈現(xiàn)區(qū)域206可替換地或附加地包括背景數(shù)據(jù)、圖形用戶界面元件(諸 如對(duì)第一呈現(xiàn)區(qū)域204中的內(nèi)容的控制)。再次參照?qǐng)DI，主機(jī)設(shè)備10包括從主機(jī)設(shè)備10向客戶機(jī)設(shè)備20傳達(dá)DMS的多媒體傳輸單元16。同樣，DMS包括與不同呈現(xiàn)區(qū)域(諸如第一呈現(xiàn)區(qū)域204和第二呈現(xiàn)區(qū)域206)相關(guān)聯(lián)的兩個(gè)或更多個(gè)不同流?？蛻魴C(jī)20同樣包括用于從主機(jī)設(shè)備10接收DMS的多媒體傳輸單元22。在從主機(jī)設(shè)備10向客戶機(jī)設(shè)備20傳達(dá)DMS時(shí)，該通信可用于以在形成該DMS時(shí)所定義的幀率來(lái)發(fā)送這些流。即，可以從主機(jī)設(shè)備10向客戶機(jī)設(shè)備20發(fā)送DMS，使得第一內(nèi)容是以第一巾貞率發(fā)送的，第二內(nèi)容是以第二巾貞率發(fā)送的，第一巾貞率不同于第二幀率。傳輸單元16和22可包括能夠彼此無(wú)線地通信的無(wú)線單元。傳輸單元16和22可在用于無(wú)線通信的任何無(wú)線頻率上進(jìn)行通信，傳輸單元16和22中的任一者可使用用于此類(lèi)通信的各種無(wú)線技術(shù)或標(biāo)準(zhǔn)中的任一者，包括短程或長(zhǎng)程無(wú)線標(biāo)準(zhǔn)、蜂窩電話標(biāo)準(zhǔn)、wi-fi、超寬帶通信、空白空間通信、或者類(lèi)似技術(shù)或標(biāo)準(zhǔn)。如果空白空間或者有執(zhí)照電視TV頻帶被用于通信，那么傳輸單元16可包括感測(cè)能力(或者使用諸如全球定位之類(lèi)的其他技術(shù))以確保諸頻率可供使用。在客戶機(jī)處，DMS呈現(xiàn)單元24可被調(diào)用以在顯示單元26上呈現(xiàn)DMS的不同流。如以下更詳細(xì)地描述的，DMS呈現(xiàn)單元24可將不同的緩沖技術(shù)和不同的等待時(shí)間規(guī)則用于DMS中的不同內(nèi)容流。例如，相對(duì)于與諸如電子郵件之類(lèi)的其他應(yīng)用相關(guān)聯(lián)的流而言，全運(yùn)動(dòng)視頻可能需要較多緩沖以確保視頻無(wú)中斷地顯示，但是可能在呈現(xiàn)全運(yùn)動(dòng)視頻之前容許較多的等待時(shí)間或延遲。電子郵件或其他應(yīng)用可能(由于使用較慢的幀率而)不需要全運(yùn)動(dòng)視頻所需要的緩沖程度，但是可能在顯示屏的任何變化中不容許等待時(shí)間或延遲。出于這些或其他原因，DMS呈現(xiàn)單元24可以不同于第二內(nèi)容地緩沖第一內(nèi)容，并且可對(duì)由顯示單元26進(jìn)行的對(duì)第一內(nèi)容的顯示和對(duì)第二內(nèi)容的顯示應(yīng)用不同的等待時(shí)間規(guī)則。根據(jù)本公開(kāi)，主機(jī)設(shè)備10的DMS生成器14可動(dòng)態(tài)地調(diào)整DMS中與第一呈現(xiàn)區(qū)域204相關(guān)聯(lián)的第一幀率，并動(dòng)態(tài)地調(diào)整DMS中與第二呈現(xiàn)區(qū)域206相關(guān)聯(lián)的第二幀率。對(duì)第一和第二幀率中的一者或兩者的這些動(dòng)態(tài)調(diào)整可以基于第一內(nèi)容和第二內(nèi)容。如以下更詳細(xì)地描述的，DMS生成器14可從應(yīng)用截取第一內(nèi)容，但是簡(jiǎn)單地從主機(jī)設(shè)備10的顯示緩沖器捕捉第二內(nèi)容。在這樣做時(shí)，DMS生成器14還可控制(并且可動(dòng)態(tài)地增大或減小)與從顯示緩沖器捕捉第二內(nèi)容相關(guān)聯(lián)的捕捉率。DMS生成器14可任選地包括用于編碼DMS中的一個(gè)或更多個(gè)流的編碼器，在這種情形中，DMS呈現(xiàn)單元24將包括互逆的解碼器。如所提及的，第一呈現(xiàn)區(qū)域204和第二呈現(xiàn)區(qū)域206可包括交疊區(qū)域205 (亦被稱為交疊區(qū)劃)。為了促成DMS中的數(shù)據(jù)減少和解碼的簡(jiǎn)化，DMS生成器14可在一些示例中在DMS中生成標(biāo)識(shí)第一內(nèi)容或第二內(nèi)容中的哪一者在交疊區(qū)域中處于頂層的信息(例如，句法信息)。此句法信息可包括可允許DMS呈現(xiàn)單元24查明第一內(nèi)容或第二內(nèi)容中的哪一者在交疊區(qū)域205中處于頂層的z排序信息或坐標(biāo)。在這種情形中，DMS 14還可減少或消除第一內(nèi)容或第二內(nèi)容在交疊區(qū)域205中的數(shù)據(jù)，其中所減少或消除的數(shù)據(jù)在交疊區(qū)域中處于其他數(shù)據(jù)以下。在一些情形中，例如，如果從特定應(yīng)用截取內(nèi)容是不可能的或者不切實(shí)際的，那么DMS生成器14可包括直接從顯示緩沖器生成包括第一內(nèi)容和第二內(nèi)容的SCS的能力。在這種情形中，DMS生成器可確定從應(yīng)用截取第一內(nèi)容或第二內(nèi)容是不可能的，并且可響應(yīng)于確定從應(yīng)用截取第一內(nèi)容或第二內(nèi)容是不可能的而直接從主機(jī)設(shè)備10處的顯示緩沖器生成包括第一內(nèi)容和第二內(nèi)容的SCS。用戶輸入也可被用來(lái)定義DMS。例如，DMS生成器14可 被配置成響應(yīng)于用戶輸入而調(diào)整DMS以便僅包括第一內(nèi)容或第二內(nèi)容中的一者。另外，DMS生成器14可確定在主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間可用的帶寬。該可用帶寬可定義在任何給定的時(shí)間可用的數(shù)據(jù)傳輸率。DMS生成器14可在一些示例中基于可用帶寬來(lái)調(diào)整第一幀率和第二幀率中的一者或兩者。補(bǔ)充地或替換地，DMS生成器14可基于可用帶寬來(lái)動(dòng)態(tài)地編碼第一內(nèi)容和第二內(nèi)容中的一者或兩者。DMS生成器14還可基于正在被傳達(dá)的內(nèi)容的類(lèi)型來(lái)動(dòng)態(tài)地編碼第一內(nèi)容和第二內(nèi)容中的一者或兩者。在許多情形中，可能希望如本文中所描述的那樣編碼從顯示緩沖器捕捉到的內(nèi)容。從應(yīng)用截取的內(nèi)容可能已被編碼。在一些情形中，從應(yīng)用截取的內(nèi)容可以是經(jīng)轉(zhuǎn)碼的(即，被解碼并且隨后以不同的編碼格式來(lái)重新編碼)一般而言，短語(yǔ)“單個(gè)合成流”(SCS)在本文中被用來(lái)指代以壓縮或未壓縮的形式端對(duì)端(例如，從主機(jī)設(shè)備10向客戶機(jī)設(shè)備20)地傳送整個(gè)顯示緩沖器的技術(shù)。通過(guò)SCS，也可按壓縮或未壓縮的形式端對(duì)端地傳送部分顯示更新。與之對(duì)比，短語(yǔ)“分解式多流”(DMS)是指除了來(lái)自顯示緩沖器的其余顯示內(nèi)容之外還傳遞直接來(lái)自應(yīng)用(例如，媒體播放器應(yīng)用)的預(yù)壓縮內(nèi)容(例如，視頻)的技術(shù)。針對(duì)DMS技術(shù)的數(shù)種標(biāo)準(zhǔn)化的規(guī)范目前正在開(kāi)發(fā)中，包括“VESA Net2Display”和“USB-IF顯示”。支持SCS方法的規(guī)范可包括VESA Net2Display、USB-IF顯示和其他商業(yè)VNC系統(tǒng)。DMS方法可定義許多優(yōu)點(diǎn)，諸如預(yù)壓縮內(nèi)容的質(zhì)量保持以及與主機(jī)設(shè)備10相關(guān)聯(lián)的主機(jī)平臺(tái)上的資源和功率節(jié)省。然而，DMS具有數(shù)個(gè)缺點(diǎn)。這些缺點(diǎn)可包括DMS可能對(duì)客戶機(jī)設(shè)備20強(qiáng)加附加要求的實(shí)情，這些附加要求可能會(huì)增加客戶機(jī)設(shè)備20的成本和復(fù)雜度。此類(lèi)對(duì)客戶機(jī)設(shè)備20支持DMS的附加要求可包括同時(shí)解碼兩個(gè)或更多個(gè)視頻流的能力以及合成并呈現(xiàn)兩個(gè)或更多個(gè)流的經(jīng)解碼輸出的能力。合成并呈現(xiàn)兩個(gè)或更多個(gè)流的經(jīng)解碼輸出的能力可在一些情形中要求作為多個(gè)顯示表面的合成的一部分來(lái)執(zhí)行色度鍵控和a混合的能力。另外，當(dāng)其他內(nèi)容動(dòng)態(tài)地覆蓋在正呈現(xiàn)全運(yùn)動(dòng)視頻的區(qū)域之上時(shí)，對(duì)色度鍵控和a混合的要求可以變重要。此類(lèi)動(dòng)態(tài)內(nèi)容的示例可包括由用戶動(dòng)作生成的下拉式菜單、由主機(jī)設(shè)備10上的操作系統(tǒng)生成的對(duì)話框和警報(bào)。有時(shí)，例如，這些或其他條目可由主機(jī)設(shè)備10和客戶機(jī)設(shè)備20直接在正呈現(xiàn)影片的區(qū)域之上呈現(xiàn)。本公開(kāi)的技術(shù)可通過(guò)簡(jiǎn)單地使用句法信息標(biāo)識(shí)哪個(gè)呈現(xiàn)區(qū)域在交疊區(qū)域中處于頂層來(lái)簡(jiǎn)化這些實(shí)例中的DMS并避免對(duì)色度鍵控和/或a混合的需要。
即使在可能不必捕捉和編碼背景顯示表面的情況下，許多主機(jī)設(shè)備實(shí)現(xiàn)也可依賴高級(jí)應(yīng)用程序接口(API)(例如，圖形驅(qū)動(dòng)程序接口(GDI))來(lái)周期性地捕捉背景表面。例如，可以從DMS消除被覆蓋的全運(yùn)動(dòng)視頻部分地(或全部地)隱藏的區(qū)域，以便減少主機(jī)設(shè)備資源的使用并且減少在主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間傳送的數(shù)據(jù)量。另外，對(duì)于無(wú)線觸摸屏實(shí)現(xiàn)，在客戶機(jī)設(shè)備20處對(duì)觸摸事件的捕捉可以在整個(gè)顯示屏上是合意的，從而跨越DMS中所有收到流的呈現(xiàn)位置。另外，當(dāng)客戶機(jī)設(shè)備20不支持特定媒體類(lèi)型的預(yù)壓縮內(nèi)容時(shí)，DMS可能失效。如果客戶機(jī)設(shè)備20不支持該媒體類(lèi)型，那么該媒體類(lèi)型的許多方面(諸如分辨率、所使用的特定編碼類(lèi)型、所使用的色彩空間、取向、縱橫比、或其他因素)可能使DMS失效。當(dāng)主機(jī)設(shè)備10不能例如從媒體播放器應(yīng)用截取預(yù)壓縮內(nèi)容時(shí)，DMS也可能失效。這可能發(fā)生在媒體播放器是以單片形式實(shí)現(xiàn)的并且沒(méi)有在使用有助于截取的公知媒體框架的情況下。另外，當(dāng)(分開(kāi)的流的)組合吞吐量要求超過(guò)主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間可用的傳輸鏈路容量(即，可用帶寬)時(shí)，DMS可能失效。信道狀況可能在無(wú)線顯示會(huì) 話開(kāi)始時(shí)出現(xiàn)，或者在無(wú)線顯示會(huì)話過(guò)程期間的任何時(shí)間點(diǎn)動(dòng)態(tài)地出現(xiàn)。本公開(kāi)的技術(shù)可提供對(duì)上述伴隨DMS的這些議項(xiàng)和問(wèn)題的解決方案。僅使用SCS技術(shù)的系統(tǒng)可能被迫將整個(gè)顯示區(qū)域作為單個(gè)單元來(lái)對(duì)待。由此，在這種情形中，客戶機(jī)設(shè)備20可以通過(guò)實(shí)現(xiàn)用于回放的共用抖動(dòng)緩沖器來(lái)針對(duì)等待時(shí)間統(tǒng)一地對(duì)待不同的顯示區(qū)域。這可給出為了較靜態(tài)應(yīng)用的生產(chǎn)率和響應(yīng)性而使等待時(shí)間最小化(并且因此使抖動(dòng)緩沖最小化)與(通過(guò)增加抖動(dòng)緩沖來(lái))增強(qiáng)全運(yùn)動(dòng)視頻回放應(yīng)用的平滑度之間的折衷。另外，在折衷諸如壓縮數(shù)據(jù)傳輸對(duì)未壓縮數(shù)據(jù)傳輸之類(lèi)的質(zhì)量參數(shù)時(shí)，僅使用SCS技術(shù)的系統(tǒng)可被迫對(duì)整個(gè)顯示區(qū)域應(yīng)用統(tǒng)一的處理。在這種情形中，動(dòng)態(tài)自適應(yīng)可能是受約束的并且可能被要求跨整個(gè)顯示區(qū)域統(tǒng)一地應(yīng)用。在與本發(fā)明一致的情況下，例如，對(duì)于低成本的客戶機(jī)實(shí)現(xiàn)而言，可以放寬對(duì)DMS客戶機(jī)(即，客戶機(jī)設(shè)備20)的各種要求。雖然在客戶機(jī)設(shè)備20處可能仍需要同時(shí)解碼兩個(gè)或更多個(gè)視頻流的能力，但是背景表面的編碼幀率可被顯著減小以便使總解碼幀率最小化。以下更詳細(xì)地討論DMS內(nèi)的各流中的一個(gè)流的幀率減小?？梢栽诳蛻魴C(jī)設(shè)備20處通過(guò)僅要求對(duì)交疊呈現(xiàn)區(qū)域中的內(nèi)容的相對(duì)簡(jiǎn)單的z排序來(lái)簡(jiǎn)化合成并呈現(xiàn)兩個(gè)或更多個(gè)流的經(jīng)解碼輸出的能力。這可避免客戶機(jī)設(shè)備20處的混合操作和色度鍵控應(yīng)用。該方案可被如下補(bǔ)充以處置需要在正呈現(xiàn)全運(yùn)動(dòng)視頻的區(qū)域之上顯示的內(nèi)容。在一個(gè)示例中，主機(jī)設(shè)備10可檢測(cè)要在全運(yùn)動(dòng)視頻覆蓋表面之上顯示的內(nèi)容的存在(或者后續(xù)的移除)。此檢測(cè)可以由主機(jī)設(shè)備10以數(shù)種方式達(dá)成，例如，經(jīng)由對(duì)提供更新的矩形坐標(biāo)的顯示驅(qū)動(dòng)程序更新的截取，或者經(jīng)由在知道全運(yùn)動(dòng)視頻覆蓋表面的坐標(biāo)的情況下在戰(zhàn)略性位置處掃描全圖形驅(qū)動(dòng)程序接口(GDI)捕捉緩沖器。另外，主機(jī)設(shè)備10可經(jīng)由控制消息(或者其他句法元素)來(lái)信令客戶機(jī)設(shè)備20，以便向該客戶機(jī)設(shè)備通知此類(lèi)z排序。一旦接收到來(lái)自主機(jī)設(shè)備10的控制消息，客戶機(jī)設(shè)備20就可以控制(在一些情形中交換)兩個(gè)分開(kāi)的流的z次序。這可能使全運(yùn)動(dòng)視頻內(nèi)容在有用戶界面警報(bào)要顯示時(shí)被臨時(shí)隱藏，但是這對(duì)于低成本且相對(duì)簡(jiǎn)單的客戶機(jī)設(shè)備實(shí)現(xiàn)而言可以是可接受的限制。對(duì)于依賴高級(jí)API (例如，GDI)來(lái)周期性地捕捉背景表面的主機(jī)設(shè)備實(shí)現(xiàn)，可以按數(shù)種不同的方式來(lái)使用于捕捉和編碼背景顯示表面的主機(jī)平臺(tái)開(kāi)銷(xiāo)最小化。在一個(gè)示例中，當(dāng)有全運(yùn)動(dòng)視頻覆蓋表面活躍時(shí)，GDI捕捉率可被顯著減小(例如，減小到4Hz)。此降低的捕捉率的影響可減小幀率，但是在大多數(shù)境況中可能是不可察覺(jué)的，因?yàn)橹車(chē)娘@示區(qū)域通常是靜態(tài)的 (或者典型情況下以相對(duì)于任何全運(yùn)動(dòng)視頻覆蓋表面而言低得多的速率變化)。另外，當(dāng)全運(yùn)動(dòng)視頻覆蓋表面區(qū)域由⑶I捕捉掩蓋時(shí)(如在主機(jī)設(shè)備上有硬件加速解碼時(shí)就可以是這種情形)，減小的幀率(和減小的捕捉率)的此類(lèi)益處可以甚至更加顯著。在GDI捕捉期間，可以用空元數(shù)據(jù)或“黑色”來(lái)填充交疊區(qū)劃內(nèi)的被掩蓋區(qū)域，這可在降低的捕捉率下改善編碼效率。此對(duì)被掩蓋的交疊區(qū)劃的“涂黑”可以與較低的GDI捕捉率相互促進(jìn)，因?yàn)樵谡尸F(xiàn)全運(yùn)動(dòng)視頻的“黑色”區(qū)域中不生成運(yùn)動(dòng)，并且在一些情形中，任何編碼器比特預(yù)算可以花在周?chē)鷧^(qū)域中以關(guān)于給定的比特預(yù)算改善視頻質(zhì)量。在極端示例中，如果主機(jī)設(shè)備10檢測(cè)到全運(yùn)動(dòng)視頻覆蓋表面占據(jù)整個(gè)顯示區(qū)域(這可能發(fā)生在媒體播放器應(yīng)用處于“全屏”模式時(shí))，那么GDI捕捉率可退化到0Hz。當(dāng)主機(jī)設(shè)備媒體播放器應(yīng)用不處于全屏模式時(shí)，例如，如果用戶選擇不在客戶機(jī)設(shè)備的無(wú)線顯示器上使全部用戶界面可視化，那么也可任選地模擬此GDI捕捉率退化到0Hz。如果客戶機(jī)設(shè)備的無(wú)線顯示器是電視(TV)屏幕，在這種情況中希望在客戶機(jī)上僅使全運(yùn)動(dòng)覆蓋表面可視化，那么這可以是合適的選擇。對(duì)于無(wú)線觸摸屏實(shí)現(xiàn)，在客戶機(jī)設(shè)備20處對(duì)觸摸事件的捕捉可以在整個(gè)顯示屏上達(dá)成，從而跨越所有收到DMS流的呈現(xiàn)位置?？蛻魴C(jī)設(shè)備20可以呈現(xiàn)與整個(gè)顯示區(qū)域一致的附加虛擬窗表面。此虛擬窗表面可以是對(duì)于用戶而言透明的窗口，以使得該虛擬窗表面不隱藏任何接收到并呈現(xiàn)的實(shí)際顯示流。(使用標(biāo)準(zhǔn)操作系統(tǒng)接口的)觸摸屏捕捉可以在客戶機(jī)設(shè)備20處的此虛擬表面上被執(zhí)行，并且可被恰適地縮放到主機(jī)設(shè)備顯示屏大小。在實(shí)現(xiàn)本公開(kāi)中所描述的技術(shù)時(shí)，主機(jī)設(shè)備10可以在客戶機(jī)設(shè)備20不支持預(yù)壓縮內(nèi)容的媒體類(lèi)型時(shí)回退到SCS模式。媒體類(lèi)型的諸方面可包括分辨率、所使用的編碼、色彩空間、取向、縱橫比、或者其他因素。另外，在實(shí)現(xiàn)本公開(kāi)中所描述的技術(shù)時(shí)，主機(jī)設(shè)備10可在該主機(jī)設(shè)備10不能從被用來(lái)呈現(xiàn)內(nèi)容的應(yīng)用(諸如媒體播放器應(yīng)用)截取預(yù)壓縮內(nèi)容時(shí)回退到SCS模式。例如，這可能發(fā)生在應(yīng)用(諸如媒體播放器應(yīng)用)不使用主機(jī)設(shè)備10已知的媒體框架或者媒體另行不利于由主機(jī)設(shè)備10截取的情況下。當(dāng)主機(jī)設(shè)備10檢測(cè)到(所有DMS流的)組合吞吐量要求超過(guò)主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間的可用傳輸鏈路容量(例如，可用帶寬)時(shí)，主機(jī)設(shè)備10可以執(zhí)行各種操作。在一個(gè)此類(lèi)示例中，主機(jī)設(shè)備10可以通過(guò)適應(yīng)性調(diào)整諸如在編碼中使用的量化參數(shù)、幀率、比特率或其他參數(shù)之類(lèi)的一個(gè)或更多個(gè)參數(shù)來(lái)降低用于背景表面的吞吐量預(yù)算。如果這仍不足以使兩個(gè)流容適在主機(jī)設(shè)備10與客戶機(jī)設(shè)備20之間的可用傳輸鏈路容量?jī)?nèi)，那么客戶機(jī)設(shè)備20可以回返到SCS模式，其中適當(dāng)?shù)厥沽炕瘏?shù)、幀率、比特率或其他元素降格。不足的信道容量狀況可能在無(wú)線顯示會(huì)話開(kāi)始時(shí)出現(xiàn)，或者在無(wú)線顯示會(huì)話過(guò)程期間動(dòng)態(tài)地出現(xiàn)。客戶機(jī)設(shè)備20可以針對(duì)等待時(shí)間不同地對(duì)待收到流中的每個(gè)流。例如，相對(duì)于用于全運(yùn)動(dòng)視頻的抖動(dòng)緩沖器，客戶機(jī)設(shè)備20可以為背景表面流實(shí)現(xiàn)較小的抖動(dòng)緩沖器?？蛻魴C(jī)設(shè)備還可應(yīng)用不同的等待時(shí)間規(guī)則以確保不為背景表面流引入等待時(shí)間。等待時(shí)間對(duì)于全運(yùn)動(dòng)視頻而言可以是較為容許的，并且可能最初是合意的以幫助避免稍后在視頻序列中的視頻播放中斷。與用于背景表面流的較小抖動(dòng)緩沖器形成對(duì)比，客戶機(jī)設(shè)備20可以實(shí)現(xiàn)相對(duì)較大的用于全運(yùn)動(dòng)視頻覆蓋表面的抖動(dòng)緩沖器以改善視頻回放應(yīng)用的平滑度。關(guān)于DMS的特定延遲的實(shí)現(xiàn)還可以由主機(jī)設(shè)備10例如經(jīng)由為DMS內(nèi)的每個(gè)流添加呈現(xiàn)時(shí)間戳來(lái)控制，每個(gè)流可由主機(jī)設(shè)備10唯一性地補(bǔ)償。主機(jī)設(shè)備10還可取決于DMS狀態(tài)(即，目前是否有全運(yùn)動(dòng)視頻覆蓋表面活躍)和傳輸鏈路容量的可用性來(lái)在對(duì)背景表面的傳輸?shù)膲嚎s模式與未壓縮模式之間進(jìn)行選擇。例如，每當(dāng)有全運(yùn)動(dòng)視頻覆蓋表面活躍時(shí)，主機(jī)設(shè)備10可以選取較低幀率下的未壓縮模式。在這種情形中，對(duì)背景表面的未壓縮模式傳輸可以是全表面屏幕截圖，或者是部分更新以修改已由客戶機(jī)設(shè)備20接收到的先前屏幕截圖。在任一情形中，可以例如使用色度亞采樣、游程編碼或其他技術(shù)來(lái)輕微地壓縮這些屏幕截圖或更新。圖3是可對(duì)應(yīng)于圖I的主機(jī)設(shè)備10的主機(jī)設(shè)備300的框圖。在此示例中，主機(jī)設(shè) 備300包括主機(jī)應(yīng)用單元302，該主機(jī)應(yīng)用單元302可包括在處理器上工作的主機(jī)操作系統(tǒng)。主機(jī)設(shè)備300還包括主機(jī)顯示系統(tǒng)304，該主機(jī)顯示系統(tǒng)304可包括顯示器和用于主機(jī)設(shè)備300上的顯示器的軟件驅(qū)動(dòng)程序。顯示緩沖器306也可構(gòu)成主機(jī)顯示系統(tǒng)304的一部分，但是被分開(kāi)示出，因?yàn)樽鳛镈MS生成的一部分，這些顯示緩沖器可由DMS生成器308訪問(wèn)。DMS生成器308可對(duì)應(yīng)于圖I的DMS生成器12。主機(jī)設(shè)備300還包括可對(duì)應(yīng)于圖I的多媒體傳輸單兀14的多媒體傳輸單兀310。傳輸接口 316可包括主機(jī)設(shè)備300上的一個(gè)或更多個(gè)天線，以及用于無(wú)線通信的空中接口。主機(jī)設(shè)備300可包括媒體播放器單元312，并且DMS生成器308可以能夠(諸如經(jīng)由中斷)直接從媒體播放器單元312獲得內(nèi)容以納入到DMS中。主機(jī)設(shè)備300可任選地包括用于編碼包括在DMS中的一個(gè)或更多個(gè)流的編碼器314。編碼器314可包括任何視頻編碼器，諸如遵循ITU-H. 263、ITU-H. 264、ITU-H. 265、或者其他公共或?qū)Ｓ幸曨l編碼標(biāo)準(zhǔn)或技術(shù)的編碼器。在許多情形中，可能希望調(diào)用編碼器314來(lái)編碼從顯示緩沖器306捕捉到的內(nèi)容。從媒體播放器單元312截取的內(nèi)容可能已被編碼。在一些情形中，從媒體播放器單元312截取的內(nèi)容可以由編碼器314轉(zhuǎn)碼(即，解碼并且隨后以不同的編碼格式來(lái)重新編碼)。DMS生成器308生成DMS,該DMS定義顯不窗的第一區(qū)域中的第一內(nèi)容和顯不窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。與第一幀率相關(guān)聯(lián)的第一內(nèi)容可包括直接從媒體播放器單元312接收到的視頻信息。在這種情形中，DMS生成器308可向媒體播放器單元312發(fā)布中斷以指示媒體播放器單元312將其視頻流直接提供給DMS生成器。媒體播放器單元312還可將其視頻流提供給主機(jī)顯示系統(tǒng)304以由與主機(jī)設(shè)備300相關(guān)聯(lián)的顯示設(shè)備進(jìn)行顯示。除了直接從媒體播放器單元312接收到的此第一流之外，DMS生成器308還可從顯示緩沖器306接收實(shí)質(zhì)上為SCS的第二流。DMS生成器308可生成包括第一和第二流兩者的DMS，并可生成DMS的具有不同幀率的不同流。例如，直接從媒體播放器單元312接收到的第一流可定義在視頻回放情況下常見(jiàn)的相對(duì)較高的幀率(諸如每秒10-30幀)。從顯示緩沖器306接收到的第二流可定義相對(duì)較慢的幀率(諸如每秒I到10幀)。如果第一內(nèi)容和第二內(nèi)容的區(qū)域交疊，那么DMS生成器308可以使用本公開(kāi)的技術(shù)來(lái)避免發(fā)送這兩個(gè)流在交疊區(qū)域中的數(shù)據(jù)。取而代之的是，DMS生成器308可以生成標(biāo)識(shí)哪個(gè)流在頂層的DMS信息，并可消除來(lái)自在底層的流(具體而言在交疊區(qū)域中)的數(shù)據(jù)。在這種情形中，生成DMS可包括減少或消除第一內(nèi)容或第二內(nèi)容在交疊區(qū)域中的數(shù)據(jù)，其中所減少或消除的數(shù)據(jù)在交疊區(qū)域中處于其他數(shù)據(jù)以下。在一些情形中，DMS生成器308還可動(dòng)態(tài)地減小或動(dòng)態(tài)地增大其與捕捉來(lái)自顯示緩沖器306的第二內(nèi)容相關(guān)聯(lián)的捕捉率，并且這些調(diào)整可以基于第一內(nèi)容和/或第二內(nèi)容。編碼器314可被調(diào)用以編碼DMS的第一內(nèi)容、DMS的第二內(nèi)容、或者第一和第二內(nèi)容兩者。編碼器314可根據(jù)ITU-H. 263、ITU-H. 264、ITU-H. 265或其他公共或?qū)Ｓ幸曨l編碼標(biāo)準(zhǔn)或技術(shù)來(lái)編碼數(shù)據(jù)。在一些情形中，DMS生成器308可確定從媒體播放器單元312截取第一內(nèi)容是不可能的，并且在這種情形中，可以響應(yīng)于確定從應(yīng)用截取第一內(nèi)容或第二內(nèi)容是不可能的而直接從顯示緩沖器306生成包括第一內(nèi)容和第二內(nèi)容的SCS。在這種情形中，SCS可被認(rèn)為是在內(nèi)容不可從應(yīng)用得到而僅可從顯示緩沖器306得到的情形中回退到DMS。在不同的示例中，第一內(nèi)容包括視頻序列并且第二內(nèi)容包括非視頻應(yīng)用的輸出。 在一些情形中，第二內(nèi)容可包括在第一內(nèi)容的視頻序列周?chē)纬煽蚣艿膱D形用戶界面元素。在其他情形中，第二內(nèi)容可包括圖形用戶界面控制元素或者可與第一內(nèi)容交疊的分開(kāi)的圖形用戶界面窗口。在另一些情形中，第二內(nèi)容可包括與諸如電子郵件或文字處理應(yīng)用之類(lèi)的不同應(yīng)用相關(guān)聯(lián)的分開(kāi)的窗口。若希望，則DMS可以響應(yīng)于用戶輸入而被調(diào)整成僅包括第一內(nèi)容或第二內(nèi)容中的一者。在另一些示例中，DMS生成器308可以在生成DMS時(shí)考慮其他因素(諸如可用帶寬)。例如，DMS生成器308可確定在主機(jī)設(shè)備300與客戶機(jī)設(shè)備之間可用的帶寬，并可基于可用的帶寬來(lái)調(diào)整第一幀率和第二幀率中的一者或兩者。如果作為DMS生成過(guò)程的一部分，編碼器314由DMS生成器308調(diào)用以在DMS中創(chuàng)生經(jīng)編碼內(nèi)容，那么作為DMS生成過(guò)程的一部分，DMS生成器308還可調(diào)整編碼參數(shù)。作為一個(gè)示例，DMS生成器308可確定在主機(jī)設(shè)備300與客戶機(jī)設(shè)備之間可用的帶寬，并可基于可用的帶寬來(lái)使編碼器314動(dòng)態(tài)地編碼第一內(nèi)容和第二內(nèi)容中的一者或兩者。DMS可被轉(zhuǎn)發(fā)給主機(jī)設(shè)備300的多媒體傳輸單元310以經(jīng)由傳輸接口 316向客戶機(jī)設(shè)備(未示出)進(jìn)行傳達(dá)。多媒體傳輸單元310和傳輸接口 316可將各種無(wú)線技術(shù)或標(biāo)準(zhǔn)中的任一者用于此類(lèi)通信，包括短程或長(zhǎng)程無(wú)線標(biāo)準(zhǔn)、蜂窩電話標(biāo)準(zhǔn)、wi-fi、超寬帶通信、空白空間通信、或者類(lèi)似技術(shù)或標(biāo)準(zhǔn)。如果空白空間或者有執(zhí)照電視TV頻帶被用于通信，那么多媒體傳輸單元310可包括感測(cè)能力(或者使用諸如全球定位之類(lèi)的其他技術(shù))以確保諸頻率在傳輸接口 316上可用。圖4是可對(duì)應(yīng)于圖I的客戶機(jī)設(shè)備20的客戶機(jī)設(shè)備400的框圖。在此示例中，客戶機(jī)設(shè)備400包括客戶機(jī)應(yīng)用單元402，該客戶機(jī)應(yīng)用單元302可包括在處理器上工作的客戶機(jī)操作系統(tǒng)。客戶機(jī)設(shè)備400還包括客戶機(jī)顯示系統(tǒng)404，該客戶機(jī)顯示系統(tǒng)304可包括顯示器和用于客戶機(jī)設(shè)備400上的顯示器的軟件驅(qū)動(dòng)程序。DMS呈現(xiàn)單元406可對(duì)應(yīng)于圖I的DMS呈現(xiàn)單元24?？蛻魴C(jī)設(shè)備400還包括可對(duì)應(yīng)于圖I的多媒體傳輸單元22的多媒體傳輸單元408。傳輸接口 412可包括客戶機(jī)設(shè)備400上的一個(gè)或更多個(gè)天線，以及用于來(lái)自主機(jī)設(shè)備(圖4中未示出)的無(wú)線通信的空中接口?？蛻魴C(jī)設(shè)備400可任選地包括用于解碼包括在DMS中的一個(gè)或更多個(gè)流的解碼器410。解碼器410可包括遵循ITU-H. 263、ITU-H. 264、ITU-H. 265或其他公共或?qū)Ｓ幸曨l編碼標(biāo)準(zhǔn)或技術(shù)的解碼器?？蛻魴C(jī)設(shè)備400經(jīng)由傳輸接口 412和多媒體傳輸單元408從主機(jī)設(shè)備接收DMS流。如本公開(kāi)中所解釋的，DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和顯示窗的第二區(qū)域中的第二內(nèi)容，其中第一內(nèi)容定義DMS中的第一幀率并且第二顯示內(nèi)容定義DMS中的第二幀率，第一幀率不同于第二幀率。DMS呈現(xiàn)單元406在客戶機(jī)設(shè)備400的客戶機(jī)顯示系統(tǒng)404上呈現(xiàn)第一顯示內(nèi)容和第二顯示內(nèi)容。同樣，在一個(gè)示例中，第一內(nèi)容包括視頻序列并且第二內(nèi)容包括非視頻應(yīng)用的輸出。在另一個(gè)示例中，第一內(nèi)容包括視頻序列并且第二內(nèi)容包括圖形用戶界面元素。在這些示例中，第一幀率可以大于第二幀率。在一些情形中，可能希望DMS呈現(xiàn)單元406和/或客戶機(jī)顯示系統(tǒng)404為DMS中的不同內(nèi)容實(shí)現(xiàn)不同類(lèi)型的緩沖和等待時(shí)間規(guī)則。例如，客戶機(jī)顯示系統(tǒng)404可包括顯示緩沖器，并且可不同于第二內(nèi)容地緩沖第一內(nèi)容。另外，客戶機(jī)顯示系統(tǒng)404可對(duì)第一內(nèi)容的顯示和第二內(nèi)容的顯示應(yīng)用不同的等待時(shí)間規(guī)則。例如，相對(duì)于與諸如電子郵件之類(lèi)的其他應(yīng)用相關(guān)聯(lián)的流，全運(yùn)動(dòng)視頻可能要求較多緩沖以確保視頻被無(wú)中斷地顯示，但是可能在呈現(xiàn)全運(yùn)動(dòng)視頻之前容許較多的等待時(shí)間或延遲。電子郵件或其他應(yīng)用可能(由于使用較慢的幀率而)不需要全運(yùn)動(dòng)視頻所需要的緩沖程度，但是可能在顯示屏的任何變化中不容許等待時(shí)間或延遲。出于這些或其他原因，DMS呈現(xiàn)單元406和/或客戶機(jī)顯示系統(tǒng)404可以不同于第二內(nèi)容地緩沖第一內(nèi)容，并且可對(duì)由客戶機(jī)顯示系統(tǒng)404進(jìn)行的對(duì)第一內(nèi)容的顯示和對(duì)第二內(nèi)容的顯示應(yīng)用不同的等待時(shí)間規(guī)則。圖5是解說(shuō)用于生成DMS的技術(shù)的流程圖。將從主機(jī)設(shè)備300的角度來(lái)描述圖5，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖5中所示，主機(jī)設(shè)備300的DMS生成器308從媒體播放器單元312訪問(wèn)第一內(nèi)容(501)并從顯示緩沖器306訪問(wèn)第二內(nèi)容(502)。DMS生成器308生成包括為不同的幀率的第一內(nèi)容和第二內(nèi)容的DMS (503)，并諸如經(jīng)由多媒體傳輸單元310和傳輸接口 316來(lái)向客戶機(jī)設(shè)備傳達(dá)該DMS (504)。在一些情形中，附加內(nèi)容(即，附加流)也可被包括在DMS中。圖6是解說(shuō)用于生成DMS的技術(shù)的另一個(gè)流程圖。也將從主機(jī)設(shè)備300的角度來(lái)描述圖6，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖6中所示，主機(jī)設(shè)備300的DMS生成器308從媒體播放器單元312訪問(wèn)第一內(nèi)容(601)并從顯示緩沖器306訪問(wèn)第二內(nèi)容￠02)。DMS生成器308生成包括為不同幀率的第一內(nèi)容和第二內(nèi)容的DMS(603)。另外，DMS生成器308生成DMS信息(604)，該DMS信息可包括指示客戶機(jī)設(shè)備如何重構(gòu)第一內(nèi)容和第二內(nèi)容的句法信息(例如，元數(shù)據(jù))。例如，在第一內(nèi)容與第二內(nèi)容之間有交疊的情形中，該DMS信息可包括關(guān)于該交疊區(qū)域的z坐標(biāo)信息。在這種情形中，DMS內(nèi)在該交疊區(qū)域中處于其他流之下的流可被編碼為空元數(shù)據(jù)或黑色數(shù)據(jù)以減少在其中有些東西被其他流覆蓋的區(qū)域中的數(shù)據(jù)量。主機(jī)設(shè)備300隨后諸如經(jīng)由多媒體傳輸單元310和傳輸接口 316來(lái)向客戶機(jī)設(shè)備傳達(dá)該DMS和DMS信息(605)。圖7是解說(shuō)用于生成DMS的技術(shù)的另一個(gè)流程圖。也將從主機(jī)設(shè)備300的角度來(lái)描述圖7，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖7中所示，主機(jī)設(shè)備300的DMS生成器308從媒體播放器單元312訪問(wèn)第一內(nèi)容(701)并從顯示緩沖器306訪問(wèn)第二內(nèi)容(702)。 DMS生成器308基于內(nèi)容本身動(dòng)態(tài)地定義第一和第二內(nèi)容的幀率(703)。例如，DMS生成器308可向任何視頻信息指派較高的幀率，而向較靜態(tài)的流指派較慢的幀率。在一些情形中，幀率可由訪問(wèn)位置來(lái)確定。例如，來(lái)自媒體播放器單元312的視頻信息可被指派比來(lái)自顯示緩沖器306的任何數(shù)據(jù)的幀率更高的幀率。諸如來(lái)自電子郵件應(yīng)用或文字處理應(yīng)用之類(lèi)的其他應(yīng)用的數(shù)據(jù)可同樣地被指派比來(lái)自媒體播放器單元312或另一個(gè)源的視頻數(shù)據(jù)的幀率更低的幀率。在任何情形中，DMS生成器308生成包括為這些動(dòng)態(tài)定義的不同幀率的第一內(nèi)容和第二內(nèi)容的DMS(704)。不同的速率可以在速率可以隨內(nèi)容的變化而改變的意義上是動(dòng)態(tài)的。在任何給定情況下，此類(lèi)變化可以基于內(nèi)容的源或者內(nèi)容的實(shí)際類(lèi)型。圖8是解說(shuō)用于在不同的情景中生成DMS或SCS的技術(shù)的流程圖。也將從主機(jī)設(shè)備300的角度來(lái)描述圖8，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖8中所示，主機(jī)設(shè)備300的DMS生成器308確定是否可從與媒體播放器單元312相關(guān)聯(lián)的應(yīng)用得到視頻內(nèi)容(801)。若否(“否”801)，則DMS生成器可默認(rèn)使用SCS技術(shù)。在這種情形中(“否”801)，DMS生成器從顯示緩沖器306訪問(wèn)內(nèi)容(806)，并以一個(gè)恒定的幀率生成包括顯示緩沖器306的整個(gè)內(nèi)容的SCS (807)。主機(jī)設(shè)備300隨后諸如經(jīng)由多媒體傳輸單元310和傳輸接口 316來(lái)向客戶機(jī)設(shè)備傳達(dá)該SCS (808)。如果主機(jī)設(shè)備300的DMS生成器308確定可從與媒體播放器單元312相關(guān)聯(lián)的應(yīng)用得到視頻內(nèi)容(“是”801)，那么DMS生成器可實(shí)現(xiàn)DMS技術(shù)。在這種情形中(“是”801)，DMS生成器308從與媒體播放器單元312相關(guān)聯(lián)的應(yīng)用訪問(wèn)視頻內(nèi)容(802)，并分開(kāi)地從顯示緩沖器306訪問(wèn)非視頻內(nèi)容(803)。DMS生成器308生成包括為不同幀率的不同內(nèi)容的DMS (804)，并諸如經(jīng)由多媒體傳輸單元310和傳輸接口 316來(lái)向客戶機(jī)設(shè)備傳達(dá)該DMS(805)。圖9是解說(shuō)用于在客戶機(jī)設(shè)備上處理DMS的技術(shù)的流程圖。將從客戶機(jī)設(shè)備400的角度來(lái)描述圖9，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖9中所示，DMS呈現(xiàn)單元406接收DMS(901)。例如，DMS可以是從主機(jī)設(shè)備傳達(dá)并在客戶機(jī)設(shè)備400處經(jīng)由傳輸接口 412和多媒體傳輸單元408接收的。多媒體傳輸單元408將DMS轉(zhuǎn)發(fā)給DMS呈現(xiàn)單元406。DMS呈現(xiàn)單元406基于該DMS生成第一內(nèi)容(902)并基于該DMS生成第二內(nèi)容(903)。DMS呈現(xiàn)單元406使客戶機(jī)顯示系統(tǒng)404以可由DMS定義的不同幀率來(lái)顯示第一和第二內(nèi)容(904)。此對(duì)該兩個(gè)或更多個(gè)流的顯示可任選地包括本文中所描述的其他技術(shù)中的任何一種技術(shù)，諸如用于處置不同流在交疊區(qū)域中的覆蓋的技術(shù)。

圖10是解說(shuō)用于在客戶機(jī)設(shè)備上處理DMS的技術(shù)的流程圖。也將從客戶機(jī)設(shè)備400的角度來(lái)描述圖10，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖10中所示，DMS呈現(xiàn)單元406接收DMS (1001)，并且還接收可包括與DMS相關(guān)聯(lián)的元數(shù)據(jù)或其他邊信息或句法信息的DMS信息(1002)。DMS和DMS信息可以是從主機(jī)設(shè)備傳達(dá)并在客戶機(jī)設(shè)備400處經(jīng)由傳輸接口 412和多媒體傳輸單元408接收的。多媒體傳輸單元408將該DMS和DMS信息轉(zhuǎn)發(fā)給DMS呈現(xiàn)單元406。DMS呈現(xiàn)單元406基于該DMS生成第一內(nèi)容(1003)并基于該DMS生成第二內(nèi)容(1004)。DMS呈現(xiàn)單元406使客戶機(jī)顯示系統(tǒng)404以不同的幀率并基于DMS信息來(lái)顯示第一和第二內(nèi)容(1005)。不同的幀率可以由DMS本身來(lái)定義。DMS信息可包括定義第一和第二流的交互的信息。例如，DMS信息可包括定義DMS流內(nèi)的第一和第二內(nèi)容中的哪個(gè)內(nèi)容覆蓋在另一個(gè)內(nèi)容之上的Z坐標(biāo)(即，深度)信息。該Z坐標(biāo)(S卩，深度)信息可定義不同流的相對(duì)深度以便定義對(duì)于任何交疊區(qū)域而言哪個(gè)內(nèi)容在頂層以及哪個(gè)內(nèi)容在下層。在交疊 區(qū)域中處于其他內(nèi)容下面的內(nèi)容可以在DMS流中留空或涂黑，以便改善吞吐量。由于該數(shù)據(jù)在其他數(shù)據(jù)以下，因而該數(shù)據(jù)無(wú)論如何都會(huì)被阻止查看，所以將DMS流中的此類(lèi)數(shù)據(jù)留空或涂黑將不會(huì)被客戶機(jī)設(shè)備400處的用戶觀察到。圖11是解說(shuō)用于在客戶機(jī)設(shè)備上處理DMS的技術(shù)的流程圖。也將從客戶機(jī)設(shè)備400的角度來(lái)描述圖11，盡管類(lèi)似的技術(shù)也可由其他設(shè)備應(yīng)用。如圖11中所示，DMS呈現(xiàn)單元406接收包括第一和第二內(nèi)容的DMS(IlOl)。例如，DMS可以是從主機(jī)設(shè)備傳達(dá)并在客戶機(jī)設(shè)備400處經(jīng)由傳輸接口 412和多媒體傳輸單元408接收的。多媒體傳輸單元408將該DMS轉(zhuǎn)發(fā)給DMS呈現(xiàn)單元406。DMS呈現(xiàn)單元406使客戶機(jī)顯示系統(tǒng)404緩沖來(lái)自該DMS的第一內(nèi)容(1102)并緩沖來(lái)自該DMS的第二內(nèi)容(1103)。由客戶機(jī)顯示系統(tǒng)404使用的緩沖器可取決于內(nèi)容。例如，較大的緩沖器可被用于實(shí)時(shí)視頻數(shù)據(jù)，而較小的緩沖器(可能定義比較大的緩沖器的等待時(shí)間少的等待時(shí)間)可被用于其他類(lèi)型的數(shù)據(jù)，諸如圖形數(shù)據(jù)或與諸如電子郵件應(yīng)用或文字處理應(yīng)用之類(lèi)的其他類(lèi)型的應(yīng)用相關(guān)聯(lián)的數(shù)據(jù)。相應(yīng)地，客戶機(jī)顯示系統(tǒng)404根據(jù)對(duì)不同的內(nèi)容所應(yīng)用的緩沖和等待時(shí)間規(guī)則來(lái)以不同的幀率顯示第一和第二內(nèi)容(1104)。這些緩沖和等待時(shí)間規(guī)則可以因此類(lèi)不同內(nèi)容類(lèi)型而不同以便改善對(duì)全運(yùn)動(dòng)視頻信息的呈現(xiàn)，相對(duì)于來(lái)自其他類(lèi)型的應(yīng)用的圖形元素或數(shù)據(jù)，對(duì)全運(yùn)動(dòng)視頻信息的呈現(xiàn)可以容許較長(zhǎng)的等待時(shí)間并需要較多的緩沖以確保輸出視頻的平滑度。例如，圖形元素流或來(lái)自其他類(lèi)型的應(yīng)用的數(shù)據(jù)流可能需要較短的等待時(shí)間(即，較多的響應(yīng)性)但是可能不需要全運(yùn)動(dòng)視頻序列所希望的較大的緩沖程度。在另一些示例中，在DMS的第一流中包括實(shí)時(shí)視頻時(shí)，與背景數(shù)據(jù)(例如，第二流中的數(shù)據(jù))相關(guān)聯(lián)的幀率可被特別地減小。此技術(shù)可改善客戶機(jī)設(shè)備中的有限資源的使用并改善資源有限的此類(lèi)情形中的視頻呈現(xiàn)。為了實(shí)現(xiàn)此類(lèi)技術(shù)，當(dāng)DMS的第一流中包括實(shí)時(shí)視頻時(shí)，主機(jī)設(shè)備處與為DMS的第二流而捕捉顯示緩沖器中的數(shù)據(jù)相關(guān)聯(lián)的GDI捕捉率可被減小。在另一些示例中，數(shù)據(jù)可被包括在DMS中作為另一個(gè)流(例如，第三流)以提供跨越DMS流中的第一和第二內(nèi)容的觸摸屏覆蓋。在這種情形中，觸摸屏覆蓋可包括用于在客戶機(jī)設(shè)備處提供觸摸屏捕捉或反饋的透明窗。用于在顯示系統(tǒng)的主機(jī)和客戶機(jī)設(shè)備中促成觸摸屏捕捉的其他技術(shù)也可被使用。應(yīng)當(dāng)注意，以上討論專(zhuān)注于包括兩個(gè)流的DMS。然而，本公開(kāi)的技術(shù)可被擴(kuò)展到包括附加流(即，多于兩個(gè)流的)DMS。該DMS可包括第一流、第二流、第三流、第四流等。DSM中的不同流中的一些或全部的幀率可以按動(dòng)態(tài)方式來(lái)定義，如本文中所描述的那樣。各種其他技術(shù)也可被用來(lái)解決關(guān)于兩個(gè)以上流的交疊問(wèn)題或其他特征。本公開(kāi)中所描述的技術(shù)可至少部分地在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。例如，所描述的技術(shù)的各種方面可以在一個(gè)或更多個(gè)處理器內(nèi)實(shí)現(xiàn)，包括一個(gè)或更多個(gè)微處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、或任何其他等效的集成或分立邏輯電路系統(tǒng)以及此類(lèi)組件的任何組合。術(shù)語(yǔ)“處理器”或“處理電路系統(tǒng)”可以一般而言指代單獨(dú)的或者與其他邏輯電路系統(tǒng)相組合的上述邏輯電路系統(tǒng)中的任一者，或者諸如執(zhí)行處理的分立硬件之類(lèi)的任何其他等效的電路系統(tǒng)。此類(lèi)硬件、軟件和固件可在相同的設(shè)備內(nèi)或者在分開(kāi)的設(shè)備內(nèi)實(shí)現(xiàn)以支持本公開(kāi)中所描述的各種操作和功能。另外，所描述的單元、模塊或組件中的任一者可被一起實(shí)現(xiàn)或者被分開(kāi)地實(shí)現(xiàn)為分立的但是可互操作的邏輯設(shè)備。將不同的特征描述為模塊或單元旨在突出不同的功能方面并且未必暗示此類(lèi)模塊或單元必須由分開(kāi)的硬件或軟件組件來(lái)實(shí)現(xiàn)。更確切地說(shuō)，與一個(gè)或更或多個(gè)模塊或單元相關(guān)聯(lián)的功能性可由分開(kāi)的硬件、固件和/或軟件組件來(lái)執(zhí)行，或者被整合在共用的或分開(kāi)的硬件或軟件組件中。本公開(kāi)所描述的技術(shù)還可被存儲(chǔ)、實(shí)施或編碼在諸如存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)之類(lèi)的計(jì)算機(jī)可讀介質(zhì)中。嵌入在或編碼在計(jì)算機(jī)可讀介質(zhì)中的指令可在例如這些指令由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)使該一個(gè)或更多個(gè)處理器執(zhí)行本文中所描述的技術(shù)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、硬盤(pán)、CD-ROM、軟盤(pán)、磁帶、磁介質(zhì)、光介質(zhì)、或其他有形的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可包括對(duì)應(yīng)于諸如以上所列出的那些有形存儲(chǔ)介質(zhì)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀介質(zhì)還可包括通信介質(zhì)，通信介質(zhì)包括例如根據(jù)通信協(xié)議來(lái)促成從一地到另一地的計(jì)算機(jī)程序轉(zhuǎn)送的任何介質(zhì)。以此方式，短語(yǔ)“計(jì)算機(jī)可讀介質(zhì)” 一般而言可對(duì)應(yīng)于(I)非易失性的有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及(2)諸如暫態(tài)信號(hào)或載波之類(lèi)的 非有形計(jì)算機(jī)可讀通信介質(zhì)。已描述了各種方面和示例。然而，可以對(duì)本公開(kāi)的結(jié)構(gòu)或技術(shù)作出修改而不會(huì)脫離所附權(quán)利要求的范圍。
權(quán)利要求
1.ー種方法，包括 經(jīng)由視頻顯示系統(tǒng)的主機(jī)設(shè)備生成分解式多流(DMS)，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 從所述主機(jī)設(shè)備向所述視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)所述DMS。
2.如權(quán)利要求I所述的方法，其特征在干，進(jìn)ー步包括基于所述第一內(nèi)容和所述第二內(nèi)容來(lái)動(dòng)態(tài)地調(diào)整所述DMS中的所述第一幀率和所述第二幀率。
3.如權(quán)利要求I所述的方法，其特征在干，生成所述DMS包括從應(yīng)用截取所述第一內(nèi)容以及從所述主機(jī)設(shè)備中的顯示緩沖器捕捉所述第二內(nèi)容。
4.如權(quán)利要求3所述的方法，其特征在干，進(jìn)ー步包括基于所述第一內(nèi)容和所述第二內(nèi)容來(lái)動(dòng)態(tài)地減小與從所述顯示緩沖器捕捉所述第二內(nèi)容相關(guān)聯(lián)的捕捉率。
5.如權(quán)利要求I所述的方法，其特征在于，生成所述DMS包括編碼所述第二內(nèi)容。
6.如權(quán)利要求I所述的方法，其特征在于，所述第一區(qū)域和所述第二區(qū)域皆包括交疊區(qū)域，所述方法進(jìn)ー步包括 在所述DMS中生成標(biāo)識(shí)所述第一內(nèi)容或所述第二內(nèi)容中的哪ー者在所述交疊區(qū)域中處于頂層的信息。
7.如權(quán)利要求6所述的方法，其特征在于，生成所述DMS包括減少或消除所述第一內(nèi)容或所述第二內(nèi)容在所述交疊區(qū)域中的數(shù)據(jù)，其中被減少或消除的數(shù)據(jù)在所述交疊區(qū)域中處于其他數(shù)據(jù)以下。
8.如權(quán)利要求I所述的方法，其特征在干，生成所述DMS包括從應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容。
9.如權(quán)利要求8所述的方法，其特征在干，進(jìn)ー步包括 確定從所述應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容是不可能的；以及 響應(yīng)于確定從所述應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容是不可能的而直接從所述主機(jī)設(shè)備處的顯示緩沖器生成包括所述第一內(nèi)容和所述第二內(nèi)容的信號(hào)合成流(SCS)。
10.如權(quán)利要求I所述的方法，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括非視頻應(yīng)用的輸出。
11.如權(quán)利要求10所述的方法，其特征在于，所述第一幀率大于所述第二幀率。
12.如權(quán)利要求I所述的方法，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括圖形用戶界面元素。
13.如權(quán)利要求I所述的方法，其特征在于，進(jìn)ー步包括響應(yīng)于用戶輸入而將所述DMS調(diào)整成僅包括所述第一內(nèi)容或所述第二內(nèi)容中的一者。
14.如權(quán)利要求I所述的方法，其特征在干，進(jìn)ー步包括 確定所述主機(jī)設(shè)備與所述客戶機(jī)設(shè)備之間可用的帶寬；以及 基于所述可用的帶寬來(lái)調(diào)整所述第一幀率和所述第二幀率中的一者或兩者。
15.如權(quán)利要求I所述的方法，其特征在干，進(jìn)ー步包括 確定所述主機(jī)設(shè)備與所述客戶機(jī)設(shè)備之間可用的帶寬；以及 基于所述可用的帶寬來(lái)動(dòng)態(tài)地編碼所述第一內(nèi)容和所述第二內(nèi)容中的一者或兩者。
16.如權(quán)利要求I所述的方法，其特征在干，進(jìn)ー步包括動(dòng)態(tài)地編碼所述第一內(nèi)容和所述第二內(nèi)容中的一者或兩者。
17.—種方法,包括 在視頻顯示系統(tǒng)的客戶機(jī)設(shè)備處從所述視頻顯示系統(tǒng)的主機(jī)設(shè)備接收分解式多流(DMS)，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 在所述客戶機(jī)設(shè)備上呈現(xiàn)所述第一顯示內(nèi)容和所述第二顯示內(nèi)容。
18.如權(quán)利要求17所述的方法，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第ニ內(nèi)容包括非視頻應(yīng)用的輸出。
19.如權(quán)利要求18所述的方法，其特征在于，所述第一幀率大于所述第二幀率。
20.如權(quán)利要求17所述的方法，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第ニ 內(nèi)容包括圖形用戶界面元素。
21.如權(quán)利要求17所述的方法，其特征在干，進(jìn)ー步包括 在所述客戶機(jī)設(shè)備中不同于所述第二內(nèi)容地緩沖所述第一內(nèi)容。
22.如權(quán)利要求21所述的方法，其特征在干，進(jìn)ー步包括對(duì)由所述客戶機(jī)設(shè)備進(jìn)行的對(duì)所述第一內(nèi)容的顯示和由所述客戶機(jī)設(shè)備進(jìn)行的對(duì)所述第二內(nèi)容的顯示應(yīng)用不同的等待時(shí)間規(guī)則。
23.一種視頻顯示系統(tǒng)的主機(jī)設(shè)備，所述主機(jī)設(shè)備包括 分解式多流(DMS)生成器，其生成DMS，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 傳輸單元，所述傳輸単元從所述主機(jī)設(shè)備向所述視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)所述DMS。
24.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器基于所述第一內(nèi)容和所述第二內(nèi)容來(lái)動(dòng)態(tài)地調(diào)整所述DMS中的所述第一幀率和所述第二幀率。
25.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器從應(yīng)用截取所述第一內(nèi)容并且從所述主機(jī)設(shè)備中的顯示緩沖器捕捉所述第二內(nèi)容。
26.如權(quán)利要求25所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器基于所述第一內(nèi)容和所述第二內(nèi)容來(lái)動(dòng)態(tài)地減小與從所述顯示緩沖器捕捉所述第二內(nèi)容相關(guān)聯(lián)的捕捉率。
27.如權(quán)利要求25所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器使用編碼器來(lái)編碼所述DMS中的所述第二內(nèi)容。
28.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在干，所述第一區(qū)域和所述第二區(qū)域皆包括交疊區(qū)域，所述DMS生成器 在所述DMS中生成標(biāo)識(shí)所述第一內(nèi)容或所述第二內(nèi)容中的哪ー者在所述交疊區(qū)域中處于頂層的信息。
29.如權(quán)利要求28所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器減少或消除所述第一內(nèi)容或所述第二內(nèi)容在所述交疊區(qū)域中的數(shù)據(jù)，其中被減少或消除的數(shù)據(jù)在所述交疊區(qū)域中處于其他數(shù)據(jù)以下。
30.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器從應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容。
31.如權(quán)利要求30所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器 確定從所述應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容是不可能的；以及 響應(yīng)于確定從所述應(yīng)用截取所述第一內(nèi)容或者所述第二內(nèi)容是不可能的而直接從所述主機(jī)設(shè)備處的顯示緩沖器生成包括所述第一內(nèi)容和所述第二內(nèi)容的信號(hào)合成流(SCS)。
32.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括非視頻應(yīng)用的輸出。
33.如權(quán)利要求32所述的主機(jī)設(shè)備，其特征在于，所述第一幀率大于所述第二幀率。
34.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括圖形用戶界面元素。
35.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器響應(yīng)于用戶輸入而將所述DMS調(diào)整成僅包括所述第一內(nèi)容或所述第二內(nèi)容中的一者。
36.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器 確定所述主機(jī)設(shè)備與所述客戶機(jī)設(shè)備之間可用的帶寬；以及 基于所述可用的帶寬來(lái)調(diào)整所述第一幀率和所述第二幀率中的一者或兩者。
37.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器 確定所述主機(jī)設(shè)備與所述客戶機(jī)設(shè)備之間可用的帶寬；以及 基于所述可用的帶寬來(lái)動(dòng)態(tài)地編碼所述第一內(nèi)容和所述第二內(nèi)容中的一者或兩者。
38.如權(quán)利要求23所述的主機(jī)設(shè)備，其特征在于，所述DMS生成器動(dòng)態(tài)地編碼所述第一內(nèi)容和所述第二內(nèi)容中的一者或兩者。
39.ー種視頻顯示系統(tǒng)的客戶機(jī)設(shè)備，所述客戶機(jī)設(shè)備包括 傳輸單元，所述傳輸單元從主機(jī)設(shè)備接收分解式多流(DMS)，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率； 顯示單元；以及 DMS呈現(xiàn)單元，所述DMS呈現(xiàn)單元在所述顯示単元上呈現(xiàn)所述第一顯示內(nèi)容和所述第ニ顯示內(nèi)容。
40.如權(quán)利要求39所述的客戶機(jī)設(shè)備，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括非視頻應(yīng)用的輸出。
41.如權(quán)利要求40所述的客戶機(jī)設(shè)備，其特征在于，所述第一幀率大于所述第二幀率。
42.如權(quán)利要求39所述的客戶機(jī)設(shè)備，其特征在于，所述第一內(nèi)容包括視頻序列并且所述第二內(nèi)容包括圖形用戶界面元素。
43.如權(quán)利要求39所述的客戶機(jī)設(shè)備，其特征在于，所述顯示単元包括被配置成不同于所述第二內(nèi)容地緩沖所述第一內(nèi)容的緩沖器。
44.如權(quán)利要求39所述的客戶機(jī)設(shè)備，其特征在于，所述呈現(xiàn)単元被配置成對(duì)由所述顯示單元進(jìn)行的對(duì)所述第一內(nèi)容的顯示和由所述顯示單元進(jìn)行的對(duì)所述第二內(nèi)容的顯示應(yīng)用不同的等待時(shí)間規(guī)則。
45.ー種包括指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述指令一旦在視頻顯示系統(tǒng)的主機(jī)設(shè)備的處理器中執(zhí)行就使所述主機(jī)設(shè)備 生成分解式多流(DMS)，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第ニ顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 從主機(jī)設(shè)備向所述視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)所述DMS。
46.ー種包括指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述指令一旦在視頻顯示系統(tǒng)的客戶機(jī)設(shè)備的處理器中執(zhí)行就使所述客戶機(jī)設(shè)備 從所述視頻顯示系統(tǒng)的主機(jī)設(shè)備接收分解式多流(DMS)，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所 述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率， 在所述客戶機(jī)設(shè)備上呈現(xiàn)所述第一顯示內(nèi)容和所述第二顯示內(nèi)容。
47.一種視頻顯示系統(tǒng)的主機(jī)設(shè)備，所述主機(jī)設(shè)備包括 用于生成分解式多流(DMS)的裝置，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 用于從所述主機(jī)設(shè)備向所述視頻顯示系統(tǒng)的客戶機(jī)設(shè)備傳達(dá)所述DMS的裝置。
48.ー種視頻顯示系統(tǒng)的客戶機(jī)設(shè)備，所述客戶機(jī)設(shè)備包括 用于從所述視頻顯示系統(tǒng)的主機(jī)設(shè)備接收分解式多流(DMS)的裝置，其中所述DMS定義顯示窗的第一區(qū)域中的第一內(nèi)容和所述顯示窗的第二區(qū)域中的第二內(nèi)容，其中所述第一內(nèi)容定義所述DMS中的第一幀率并且所述第二顯示內(nèi)容定義所述DMS中的第二幀率，所述第一幀率不同于所述第二幀率；以及 用于在所述客戶機(jī)設(shè)備上呈現(xiàn)所述第一顯示內(nèi)容和所述第二顯示內(nèi)容的裝置。
全文摘要
本公開(kāi)描述能夠改善由視頻顯示系統(tǒng)的主機(jī)設(shè)備生成分解式多流(DMS)和由視頻顯示系統(tǒng)的客戶機(jī)設(shè)備顯示DMS的技術(shù)。這些技術(shù)可對(duì)DMS內(nèi)的不同流應(yīng)用不同的幀率，并且這些幀率可取決于內(nèi)容。例如，DMS內(nèi)的一個(gè)流可包括可按相對(duì)較高的幀率來(lái)呈現(xiàn)的全運(yùn)動(dòng)視頻信息序列。然而，DMS內(nèi)的另一流可以與顯示的背景、各種圖形用戶界面控制窗或元素、或者包括非視頻內(nèi)容(諸如電子郵件或文檔)的顯示窗相關(guān)聯(lián)?？梢杂帽扔糜谌\(yùn)動(dòng)視頻信息序列的幀率慢得多的幀率來(lái)呈現(xiàn)DMS中的第二流。
文檔編號(hào)G06F3/14GK102656551SQ201080057871
公開(kāi)日2012年9月5日 申請(qǐng)日期2010年12月14日 優(yōu)先權(quán)日2009年12月14日
發(fā)明者F·肖卡特, K·拉賈馬尼, X·王 申請(qǐng)人:高通股份有限公司