生成視頻窗格布局的制作方法
【專利說明】生成視頻窗格布局
[0001]相關(guān)串請的交叉引用
[0002]本申請基于2013年6月27日提交的美國臨時申請N0.61/840，294的優(yōu)先權(quán)權(quán)益并要求該申請的優(yōu)先權(quán)利益，該申請的全部內(nèi)容通過引用結(jié)合于此。
技術(shù)領(lǐng)域
[0003]本申請一般地涉及在視頻電話會議的接收端生成視頻窗格布局。
_4] 相關(guān)領(lǐng)域的討論
[0005]在此所提供的“背景”描述是為了一般地提供本公開的情景的目的。在該背景部分所描述的程度，本文所描述的工作以及該描述中不另外被認為是提交申請時的現(xiàn)有技術(shù)的方面不被明確或隱含地承認為現(xiàn)有技術(shù)。
[0006]視頻會議系統(tǒng)用于不位于同一位置的兩方或多方、或者兩個或多個參與者之間傳輸視頻和音頻二者。圖8為典型的視頻會議系統(tǒng)的框圖。在圖8中，端點82、84和86經(jīng)由網(wǎng)絡(luò)80連接至多點控制單元(MCU)88。該網(wǎng)絡(luò)可以為私有網(wǎng)絡(luò)或公共網(wǎng)絡(luò)，比如互聯(lián)網(wǎng)，并且可以具有無線和有線組件。每個端點82、84和86向MCU 88發(fā)送相應(yīng)參與者的圖像和聲音數(shù)據(jù)，MCU 88然后處理該聲音和視頻數(shù)據(jù)并將結(jié)果發(fā)送給端點82、84和86。由MCU 88執(zhí)行的處理可以包括將視頻和音頻數(shù)據(jù)合并在某一布局中用于在端點82、84和86中的每一個端點處呈現(xiàn)。
[0007]在由端點82、84和86所接收的布局中，用戶可以觀看視頻的多個窗格，其中視頻的多個窗格通常相對應(yīng)于會議中的其它參與者且可能對應(yīng)于內(nèi)容視頻流。由于端點可以包括被安裝在視頻會議室中的大屏幕、個人計算機的屏幕、或者甚至包括電話或平板電腦的屏幕，因此用戶可以在各種尺寸的屏幕上觀看視頻的多個窗格。此外，各種屏幕分辨率也是可能的，并且并不總是與屏幕尺寸相聯(lián)系一一一些4英寸的電話屏幕比60英寸的監(jiān)視器具有更高的分辨率。
【附圖說明】
[0008]通過參考附圖，可以獲得對本公開更為完全的理解，其中:
[0009]圖1A-1C示出了示例性的視頻會議端點場景；
[0010]圖2為由接收設(shè)備執(zhí)行的示例性方法的流程圖；
[0011]圖3為由接收設(shè)備執(zhí)行的方法的另一示例性實現(xiàn)方式的流程圖；
[0012]圖4為由發(fā)生終端執(zhí)行的示例性方法的流程圖；
[0013]圖5為由發(fā)送終端執(zhí)行方法的另一示例性實現(xiàn)方式的流程圖；
[0014]圖6示出了基于參與者的數(shù)目和屏幕尺寸的變化，視頻窗格尺寸的示例性變化；
[0015]圖7為示出了示例性接收設(shè)備和示例性發(fā)送設(shè)備的硬件組件的框圖；以及
[0016]圖8為視頻會議系統(tǒng)的框圖。
[0017]示例實施例描沐
[0018]概述
[0019]由第一視頻會議設(shè)備執(zhí)行的示例性方法包括:在第一視頻會議設(shè)備處確定將在第二視頻會議設(shè)備處顯示的多個視頻內(nèi)容的窗格尺寸，其中窗格尺寸是基于第二視頻會議設(shè)備的最小視頻窗格尺寸來確定的。該示例性方法還包括從第一視頻會議設(shè)備向第二視頻會議設(shè)備發(fā)送視頻流，所述視頻流包括具有所確定的窗格尺寸的多個視頻內(nèi)容的至少一個子集，其中所確定的窗格尺寸等于或大于最小視頻窗格尺寸。
【具體實施方式】
[0020]在本文的附圖和描述中，相同的參考數(shù)字在若干視圖中指定相同或相應(yīng)部分/步驟。流程圖或者功能性框圖中的任何過程、描述或塊應(yīng)當(dāng)被理解為表示模塊、段、代碼部分，所述模塊、段、代碼部分包括一個或多個可執(zhí)行指令以用于實施本文所描述的過程/算法中的具體邏輯功能或步驟，以及改變實施被包括于本公開的示例性實施方式的范圍之內(nèi)，其中，功能可以不按照所示出或所討論的順序執(zhí)行，包括大體上同時或相反的順序，這取決于所涉及的功能。
[0021]在以下的公開中，根據(jù)示例性實施方式，術(shù)語“發(fā)送設(shè)備”指向另一視頻會議設(shè)備發(fā)送信息(比如，視聽流)的視頻會議設(shè)備。接收視聽流的視頻會議設(shè)備被稱為“接收設(shè)備”。然而，這些術(shù)語僅用于幫助對本公開的某些示例性方面的理解，不應(yīng)當(dāng)被視為限定。視頻會議設(shè)備可以假設(shè)在視頻會議期間，同時具有發(fā)送設(shè)備和接收設(shè)備的功能。視頻會議設(shè)備還可以包括MCU。
[0022]取決于被用戶觀看的屏幕的尺寸，具有某一視頻窗格尺寸，低于該視頻窗格尺寸的視頻窗格為次優(yōu)小。例如，盡管1080p的視頻流可能適合于會議室內(nèi)的60英寸屏幕，在該1080p的視頻流中，各個參與者被顯示在192x108像素的子窗格內(nèi)，并且60英寸屏幕將顯現(xiàn)為近似12x9cm，但對于在桌面電話的6英寸顯示屏上呈現(xiàn)的同一視頻流，窗格尺寸僅為1.2x0.9cm，太小而不實用，用戶體驗可能顯著較差。
[0023]圖1A-1C圖示了各種示例性屏幕尺寸，這些屏幕尺寸可以被視頻會議系統(tǒng)的參與者使用。圖1A示出了視頻會議室，在該視頻會議室中，參與者(102)觀看大屏幕(100)，該大屏幕(100)顯示遠程參與者的視頻窗格(110)和內(nèi)容視頻流的視頻窗格(108)。圖1B示出了視頻會議場景，在該視頻會議場景中，參與者(102)在計算機監(jiān)視器上觀看視頻窗格(108和110)。最后，圖1C示出了在移動設(shè)備(104)上觀看視頻窗格(108和110)的參與者(102)。
[0024]示例性實施方式以有效和響應(yīng)式的方式來處理各種示例性的屏幕尺寸。如果接收設(shè)備傳遞它們將顯示的各個窗格的最小尺寸限制，則將避免某些問題，這些問題包括需要高權(quán)重協(xié)議和信令開銷以及對會議改變的延遲響應(yīng)。在這種情況下，即使當(dāng)輸入流和會議屬性改變時，發(fā)送設(shè)備可以保證它決不會向接收設(shè)備提供不適當(dāng)小的視頻窗格。如果輸入流或會議屬性改變，則發(fā)送設(shè)備可以立即改變向接收設(shè)備提供的布局，而無需與接收設(shè)備進行任何通信，這使改變到新布局的延遲最小化，并且降低了發(fā)送設(shè)備和接收設(shè)備之間的信令開銷。此外，根據(jù)示例性實施方式，發(fā)送設(shè)備未被不靈活的窗格尺寸策略阻礙，或者當(dāng)會議的組成動態(tài)變化時，發(fā)送設(shè)備未被與每一個接收設(shè)備通信的需求阻礙。
[0025]圖2根據(jù)示例性實施方式，通過算法流程圖描述了由接收設(shè)備執(zhí)行的示例性方法。在步驟202，接收設(shè)備確定可以在其上最優(yōu)顯示的最小視頻窗格尺寸。針對所有視頻類型，該最小視頻窗格尺寸可以為最小值，或者它可以對不同類型的視頻施加不同的限制。例如，與顯示具有文字的幻燈片相比，在較小的窗格中顯示參與者的全動態(tài)視頻可能是可接受的。此外，針對會議中的不同參與者可能還存在不同限制。例如，不同的最小視頻窗格尺寸被分配給對于會議具有不同重要度的參與者。這里，術(shù)語“最小視頻窗格尺寸”包括被分配給不同類型的視頻或被分配給不同會議參與者的不同的最小視頻窗格尺寸。
[0026]對最小視頻窗格尺寸的確定可以由接收設(shè)備或者由發(fā)送設(shè)備進行。例如，接收設(shè)備可以表達其屏幕的物理尺寸。在這種情形下，發(fā)送設(shè)備可以在其端使用硬編碼邏輯或用戶可配置邏輯，以確定用于在這一尺寸的窗格上顯示的被編碼的視頻窗格的相應(yīng)可接受尺寸。該通信可以被包括于呼叫信令協(xié)議中或任何其它信令信道中，比如新媒體層會議控制協(xié)議。在會話初始協(xié)議(SIP)的情形下，屏幕尺寸可以用針對每視頻m行(m-line)的新媒體屬性來表達，比如“a =屏幕尺寸:x = 180，y = 120”以毫米表示規(guī)格。在這一示例中，發(fā)送設(shè)備基于接收設(shè)備的屏幕的物理尺寸，做出關(guān)于最小窗格尺寸的決定。
[0027]替代地，接收設(shè)備可以發(fā)送該最小視頻窗格尺寸作為整體的流尺寸的比例。在SIP中，這可以用針對每視頻m行的聲明式會話描述協(xié)議(SDP)屬性來完成，比如“a =最小組合窗格0.1，幻燈片0.4”表示，除了幻燈片的窗格(該幻燈片的窗格不應(yīng)小于整體視頻尺寸的4/10)以外，沒有內(nèi)部窗格應(yīng)