專利名稱：一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域的多媒體視頻技術(shù)，特別涉及一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法、裝置及系統(tǒng)。
背景技術(shù)：
視頻會(huì)議系統(tǒng)允許會(huì)議參與者實(shí)時(shí)地交互語(yǔ)音、視頻和數(shù)據(jù)，極大地方便了會(huì)議參與者之間的溝通與交流。如圖1所示的視頻會(huì)議系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中，多點(diǎn)控制單元(MCU，Multipoint Control Unit)連接參加會(huì)議的各會(huì)場(chǎng)，用于接收會(huì)場(chǎng)信號(hào)、處理會(huì)場(chǎng)信號(hào)以及將處理后的會(huì)場(chǎng)信號(hào)下發(fā)到與會(huì)的各個(gè)會(huì)場(chǎng)；用戶終端設(shè)備主要實(shí)現(xiàn)語(yǔ)音、圖像和數(shù)據(jù)的輸入和輸出，以及進(jìn)行通信連接和數(shù)據(jù)收發(fā)等功能；兩個(gè)以上的用戶終端設(shè)備和MCU構(gòu)建了一個(gè)多點(diǎn)、實(shí)時(shí)的會(huì)議通信環(huán)境，用戶通過(guò)終端設(shè)備觀看其他用戶的圖像并收聽其他用戶的聲音。
為滿足視頻會(huì)議中的與會(huì)者在同一時(shí)間能夠同時(shí)了解所有或部分其他與會(huì)者的圖像信息的需求，現(xiàn)有技術(shù)提供了可以在視頻會(huì)議中實(shí)現(xiàn)多畫面顯示的方式一種多畫面顯示的實(shí)現(xiàn)方法的主要處理流程如下1、將來(lái)自各會(huì)議終端的會(huì)場(chǎng)圖像終端數(shù)據(jù)通過(guò)H.221幀處理模塊處理，形成滿足H.221標(biāo)準(zhǔn)的多個(gè)源高速串行圖像數(shù)據(jù)碼流；2、所述多個(gè)源高速串行圖像數(shù)據(jù)碼流通過(guò)源高速串行數(shù)據(jù)通道，徑交換網(wǎng)片交換到一個(gè)或多個(gè)目標(biāo)高速串行數(shù)據(jù)通道，形成電視墻目標(biāo)監(jiān)控終端的一個(gè)或多個(gè)目標(biāo)高速串行圖像數(shù)據(jù)碼流；3、將目標(biāo)圖像數(shù)據(jù)碼流發(fā)送至圖像解碼模塊，經(jīng)過(guò)解幀形成H.261格式或H.263格式的圖像碼流后進(jìn)行數(shù)字圖像解碼，獲得CCIR601格式標(biāo)準(zhǔn)數(shù)字圖像和通用中間格式CIF標(biāo)準(zhǔn)數(shù)字圖像；4、將CCIR601格式標(biāo)準(zhǔn)數(shù)字圖像進(jìn)行模擬圖像編碼，轉(zhuǎn)換為模擬視頻信號(hào)后發(fā)送至電視墻目標(biāo)監(jiān)控終端顯示；5、將所述CIF標(biāo)準(zhǔn)數(shù)字圖像發(fā)送至畫面組合模塊組合成一定模式的組合畫面，將組合畫面編碼后進(jìn)行組幀形成多畫面圖像數(shù)據(jù)碼流，通過(guò)交換網(wǎng)片交換和H.221幀處理模塊處理后發(fā)送給各個(gè)終端，從而實(shí)現(xiàn)各個(gè)終端多畫面顯示。
該技術(shù)方案主要針對(duì)某種具體的會(huì)議電視系統(tǒng)，需要在MCU側(cè)架設(shè)會(huì)議電視墻，因此應(yīng)用局限性較大；另外該方法中各個(gè)與用戶只能觀看相同的多畫面圖像，不能自主選擇畫面，同時(shí)也不能實(shí)現(xiàn)多畫面和單畫面之間的相互轉(zhuǎn)換以選擇感興趣的某一與會(huì)者的圖像信息，因此多畫面顯示功能單一。
另一種通過(guò)視頻會(huì)議系統(tǒng)的轉(zhuǎn)碼器實(shí)現(xiàn)多畫面的方法，其主要處理流程如下1、對(duì)接收的用戶視頻信號(hào)進(jìn)行解碼、采樣，并將采樣后得到的各視頻信號(hào)存入內(nèi)存中；2、通過(guò)多個(gè)畫面復(fù)合器從該內(nèi)存中讀出采樣后的各視頻信號(hào)并進(jìn)行復(fù)合，形成多個(gè)相同的復(fù)合多畫面；3、對(duì)各個(gè)復(fù)合多畫面進(jìn)行采樣后通過(guò)對(duì)應(yīng)的編碼器進(jìn)行編碼，并輸出編碼壓縮后的視頻信號(hào)。
該技術(shù)方案通過(guò)轉(zhuǎn)碼器解決了多個(gè)用戶視頻信號(hào)具有不同的圖像象素精度的問(wèn)題，但是，該方法中各個(gè)與會(huì)用戶只能觀看相同的多畫面圖像，不能自主選擇畫面，同時(shí)也不能實(shí)現(xiàn)多畫面和單畫面之間的相互轉(zhuǎn)換以選擇感興趣的某一與會(huì)者的圖像信息，因此多畫面顯示功能單一。
現(xiàn)有技術(shù)中還提供了在視頻會(huì)議進(jìn)行中根據(jù)視頻會(huì)議中參與的人數(shù)或輸入到視頻會(huì)議系統(tǒng)的視頻源的個(gè)數(shù)動(dòng)態(tài)決定多畫面的復(fù)合模式的方法，當(dāng)視頻會(huì)議中參加人數(shù)增加或者減少時(shí)，多畫面的復(fù)合模式相應(yīng)動(dòng)態(tài)調(diào)整，但是，該方法中各個(gè)與會(huì)用戶只能觀看相同的多畫面圖像，不能自主選擇畫面，同時(shí)也不能實(shí)現(xiàn)多畫面和單畫面之間的相互轉(zhuǎn)換以選擇感興趣的某一與會(huì)者的圖像信息，多畫面顯示功能單一。
綜上可以看出，現(xiàn)有視頻會(huì)議中實(shí)現(xiàn)多畫面顯示的過(guò)程中存在著多畫面顯示功能單一的問(wèn)題，各與會(huì)用戶只能同時(shí)觀看相同的多畫面圖像，而不能根據(jù)觀看需要選擇畫面顯示模式，同時(shí)也不能在多畫面顯示模式和單畫面顯示模式之間進(jìn)行切換，因此在視頻會(huì)議中不能滿足用戶的觀看需求。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法、裝置及系統(tǒng)，用于實(shí)現(xiàn)參與視頻業(yè)務(wù)的用戶可以根據(jù)需要自主選擇畫面顯示模式以觀看圖像。
一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法，包括步驟多點(diǎn)控制單元MCU接收切換請(qǐng)求消息，所述請(qǐng)求消息包括畫面顯示模式表明畫面顯示的子畫面數(shù)；所述MCU根據(jù)所述畫面顯示模式確定需要的畫面混合器，并向發(fā)送切換請(qǐng)求消息的用戶終端輸出與請(qǐng)求的畫面顯示模式對(duì)應(yīng)的畫面圖像。
一種在視頻業(yè)務(wù)中實(shí)現(xiàn)多畫面顯示的方法，包括步驟多點(diǎn)控制單元MCU指定一個(gè)默認(rèn)的畫面混合器；所述默認(rèn)畫面混合器根據(jù)多畫面控制信息對(duì)參與視頻業(yè)務(wù)的用戶終端對(duì)應(yīng)的視頻源圖像信息進(jìn)行多畫面組合；所述MCU將組合后的多畫面圖像輸出給各用戶終端。
一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的裝置，包括控制模塊，用于管理多畫面控制信息，并向參與視頻業(yè)務(wù)的用戶終端播放視頻菜單提示信息，以及根據(jù)用戶選擇的畫面顯示模式動(dòng)態(tài)確定畫面混合器；解碼模塊，用于對(duì)各用戶終端的視頻源圖像數(shù)據(jù)碼流進(jìn)行解碼；
畫面組合模塊，用于根據(jù)所述多畫面控制信息通過(guò)一個(gè)或多個(gè)畫面混合器進(jìn)行多畫面組合；編碼模塊，用于對(duì)組合后的多畫面圖像信息進(jìn)行相應(yīng)編碼，并將得到的多畫面圖像輸出給用戶終端。
一種視頻業(yè)務(wù)系統(tǒng)，包括多點(diǎn)控制單元MCU、通過(guò)網(wǎng)絡(luò)與所述MCU相連的多個(gè)用戶終端；所述MCU向參與視頻業(yè)務(wù)的用戶終端播放視頻菜單提示信息；用戶終端根據(jù)用戶選擇的畫面顯示模式向所述MCU發(fā)送切換請(qǐng)求消息，所述畫面顯示模式表明畫面顯示的子畫面數(shù)；所述MCU根據(jù)所述畫面顯示模式確定需要的畫面混合器，并向發(fā)送切換請(qǐng)求消息的用戶終端輸出與請(qǐng)求的畫面顯示模式對(duì)應(yīng)的畫面圖像。
上述多點(diǎn)控制單元MCU根據(jù)用戶選擇的畫面顯示模式向該用戶所在的終端輸出與該畫面顯示模式對(duì)應(yīng)的畫面圖像，參與視頻業(yè)務(wù)的用戶可以以相同的畫面顯示模式觀看圖像，也可以根據(jù)需要自主選擇畫面顯示模式觀看圖像，實(shí)現(xiàn)了用戶在多畫面顯示模式之間、多畫面顯示模式與單畫面顯示模式之間的靈活切換，滿足了用戶差異化觀看會(huì)議圖像的需求。


圖1為現(xiàn)有技術(shù)中會(huì)議視頻系統(tǒng)結(jié)構(gòu)示意圖；圖2為本發(fā)明實(shí)施例中多點(diǎn)控制單元結(jié)構(gòu)示意圖；圖3為本發(fā)明實(shí)施例中畫面組合模塊結(jié)構(gòu)示意圖；圖4為本發(fā)明實(shí)施例中多畫面顯示模式示意圖；圖5A為本發(fā)明實(shí)施例中多個(gè)用戶終端以四畫面顯示模式顯示會(huì)議圖像的實(shí)現(xiàn)原理圖；圖5B為本發(fā)明實(shí)施例中多個(gè)用戶終端以四畫面顯示模式顯示會(huì)議圖像的示意圖；圖6A為本發(fā)明實(shí)施例中用戶A選擇六畫面顯示模式顯示會(huì)議圖像的實(shí)現(xiàn)流程圖；圖6B為本發(fā)明實(shí)施例中用戶A選擇六畫面顯示模式時(shí)，用戶A、B、C、D終端顯示會(huì)議圖像的示意圖；圖7A為本發(fā)明實(shí)施例中用戶C選擇單畫面顯示模式顯示會(huì)議圖像的實(shí)現(xiàn)流程圖；圖7B為本發(fā)明實(shí)施例中用戶C選擇單畫面顯示模式時(shí)，用戶A、B、C、D終端顯示會(huì)議圖像的示意圖；圖8A為本發(fā)明實(shí)施例中邊框標(biāo)識(shí)子畫面的實(shí)現(xiàn)流程圖；圖8B為本發(fā)明實(shí)施例中邊框標(biāo)識(shí)子畫面的顯示示意圖。
具體實(shí)施例方式
為解決現(xiàn)有技術(shù)中多畫面顯示功能單一以及用戶不能在多畫面和單畫面顯示模式之間進(jìn)行轉(zhuǎn)換的問(wèn)題，本實(shí)施例以視頻會(huì)議系統(tǒng)為例對(duì)本發(fā)明實(shí)施例技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。
本實(shí)施例中的視頻會(huì)議系統(tǒng)如圖1所示，包括多點(diǎn)控制單元MCU、通過(guò)網(wǎng)絡(luò)與MCU連接的多個(gè)用戶終端，其中，多點(diǎn)控制單元MCU結(jié)構(gòu)如圖2所示，該MCU包括控制模塊20、解碼模塊21、畫面組合模塊22和編碼模塊23；其中控制模塊20，用于管理多畫面控制信息，該信息通過(guò)和參與視頻會(huì)議的用戶終端協(xié)商獲取，并向參與視頻會(huì)議的用戶終端播放視頻菜單提示信息，以及根據(jù)用戶選擇的畫面顯示模式動(dòng)態(tài)分配畫面混合器；所述多畫面控制信息包括輸入視頻源信息、畫面混合信息和多畫面輸出信息；輸入視頻源信息包括各解碼器的標(biāo)識(shí)信息和各輸入視頻源圖像象素精度等；畫面混合信息包括本會(huì)場(chǎng)所有需要支持的畫面混合器的數(shù)目、多畫面圖像象素精度和各畫面混合器的屬性信息，其中，多畫面圖像象素精度通常確定為各與會(huì)終端中的最大圖像象素精度，也可以根據(jù)系統(tǒng)需要進(jìn)行設(shè)置，畫面混合器的屬性信息包括多畫面顯示的模式、該多畫面顯示模式中各子畫面的位置以及各子畫面對(duì)應(yīng)編碼器的標(biāo)識(shí)信息等；多畫面輸出信息包括各編碼器標(biāo)識(shí)信息、對(duì)應(yīng)的混合器標(biāo)識(shí)和輸出圖像象素精度等。
所述控制模塊20在視頻會(huì)議初始化時(shí)，指定一個(gè)默認(rèn)的畫面混合器，該畫面混合器的屬性可以在會(huì)議進(jìn)行過(guò)程中根據(jù)參與視頻會(huì)議的用戶終端數(shù)量動(dòng)態(tài)改變，但是不能刪除；在視頻會(huì)議進(jìn)行過(guò)程中，根據(jù)用戶選擇的畫面顯示模式確定相應(yīng)的畫面混合器，可以增加相應(yīng)的畫面混混合器，也可以動(dòng)態(tài)刪除這些畫面混合器。
解碼模塊21，由多個(gè)解碼器組成，用于對(duì)參與視頻會(huì)議的用戶終端的視頻源圖像碼流進(jìn)行解碼，并將解碼得到的視頻源圖像信息通過(guò)數(shù)據(jù)總線傳送給畫面組合模塊22；用戶終端輸出的每個(gè)圖像碼流對(duì)應(yīng)分配一個(gè)解碼器，每個(gè)解碼器使用與輸入的圖像碼流編碼算法相匹配的解碼算法(如H.263、MPEG-4等)對(duì)輸入圖像碼流進(jìn)行解碼，還原出圖像信息；每個(gè)解碼器均支持多種解碼算法，在分配給輸入圖像碼流時(shí)進(jìn)行初始化匹配算法。
畫面組合模塊22，用于根據(jù)多畫面控制信息通過(guò)一個(gè)或多個(gè)畫面混和器對(duì)解碼器輸出的多個(gè)視頻源圖像信息進(jìn)行多畫面組合，并將組合后的多畫面圖像信息通過(guò)數(shù)據(jù)總線傳送給編碼模塊23；如圖3所示，所述畫面組合模塊22進(jìn)一步包括圖像數(shù)據(jù)輸入單元220，用于接收所述解碼模塊21輸出的視頻源圖像信息；多個(gè)第一采樣器221，用于將圖像數(shù)據(jù)輸入單元220中的對(duì)應(yīng)視頻源圖像的象素精度與該視頻源圖像在多畫面中對(duì)應(yīng)位置的圖像象素精度進(jìn)行比較，當(dāng)兩者不一致時(shí)，對(duì)視頻源圖像信息進(jìn)行采樣，并將采樣后的視頻源圖像信息輸出到畫面混合器222；否則，將視頻源圖像信息直接輸出到畫面混合器222；采樣包括升采樣和降采樣，如將象素精度為704×576(4CIF)的圖像降采樣為352×288(CIF)的圖像，或者將象素精度為176×144(QCIF)的圖像升采樣為象素精度為352×288(CIF)的圖像；畫面混合器222，用于對(duì)第一采樣器221中輸出的各視頻源圖像信息進(jìn)行多畫面組合，并將組合后的多畫面圖像信息輸出到第二采樣器223；多個(gè)第二采樣器223，用于將畫面混合器222輸出的多畫面圖像的象素精度和多畫面輸出信息中的輸出圖像象素精度進(jìn)行比較，當(dāng)兩者不一致時(shí)將多畫面圖像信息進(jìn)行相應(yīng)采樣并將采樣后得到的多畫面圖像信息通過(guò)數(shù)據(jù)總線傳送給圖像數(shù)據(jù)輸出單元224；否則，將多畫面圖像信息直接輸出到圖像數(shù)據(jù)輸出單元224；圖像數(shù)據(jù)輸出單元224，用于將圖像信息輸出給編碼模塊23。
所述畫面組合模塊22中的畫面混合器222可以是一個(gè)或多個(gè)，第一畫面混合器在會(huì)議初始化時(shí)被指定或設(shè)置為默認(rèn)畫面混合器，第一畫面混合器屬性可以在會(huì)議進(jìn)行過(guò)程中改變，但不能被刪除；在會(huì)議進(jìn)行中，可以增加其他畫面混合器，也可以動(dòng)態(tài)刪除該畫面混合器，以滿足用戶差異化的觀看需求；控制模塊20根據(jù)用戶的操作信息，對(duì)多畫面控制信息中的輸入視頻源信息、畫面混合信息和多畫面輸出信息進(jìn)行刷新，第一采樣器221、畫面混合器222和第二采樣器223根據(jù)新的多畫面控制信息進(jìn)行相應(yīng)的處理。
編碼模塊23，由多個(gè)編碼器組成，用于對(duì)畫面組合模塊22輸出的多畫面圖像信息進(jìn)行編碼，形成和與會(huì)終端解碼算法相匹配的多畫面圖像壓縮碼流，并將其分別輸出到各與會(huì)終端，與會(huì)終端對(duì)接收到的多畫面圖像壓縮碼流進(jìn)行相應(yīng)解碼后在本地顯示多畫面圖像；每個(gè)編碼器均支持多種編碼算法，在分配給輸出圖像碼流時(shí)進(jìn)行初始化匹配，一個(gè)編碼器可以對(duì)應(yīng)一個(gè)或多個(gè)與會(huì)終端；與會(huì)終端多畫面顯示的示意圖如圖4所示，每個(gè)畫面混合器支持的多畫面顯示模式可以是其中的任一種，但并不局限圖示幾種情況。
在本實(shí)施例中，視頻業(yè)務(wù)初始化時(shí)MCU指定一個(gè)默認(rèn)的畫面混和器并根據(jù)業(yè)務(wù)需要選擇畫面顯示模式，進(jìn)一步通過(guò)該默認(rèn)畫面混合器進(jìn)行多畫面組合從而實(shí)現(xiàn)多畫面顯示，這樣能夠減少畫面混和器的使用數(shù)量，從而節(jié)省資源。
為了更清楚地說(shuō)明本實(shí)施例中多畫面顯示的實(shí)現(xiàn)過(guò)程，下面通過(guò)具體的實(shí)例進(jìn)行說(shuō)明。
實(shí)例一用戶A、B、C和D終端連接到視頻會(huì)議中，其中，用戶A、B、C和D終端的視頻屬性如下表所示

控制模塊初始化用戶A、B、C、D終端觀看會(huì)議的多畫面顯示模式，第一畫面混合器的多畫面顯示模式設(shè)置為四畫面顯示模式，即用戶A、B、C、D終端的圖像各占畫面的1/4，多畫面圖像象素精度選擇為CIF(352×288)；如圖5A所示，四畫面顯示的實(shí)現(xiàn)原理如下用戶接入會(huì)場(chǎng)后，控制模塊分配給每個(gè)用戶對(duì)應(yīng)的解碼器并初始化解碼算法，各解碼器將各用戶輸入的視頻源圖像碼流還原成對(duì)應(yīng)的視頻源圖像信息后輸出；用戶A終端對(duì)應(yīng)的解碼器1和用戶C終端對(duì)應(yīng)的解碼器3使用的解碼算法初始化為H.263，用戶B終端對(duì)應(yīng)的解碼器2和用戶D終端對(duì)應(yīng)的解碼器4使用的解碼算法初始化為MPEG-4；解碼器1、2、3、4分別對(duì)用戶A、B、C、D終端的圖像碼流進(jìn)行解碼，并將還原得到的視頻源圖像信息分別輸出到畫面組合模塊中的圖像數(shù)據(jù)輸入單元。
第一采樣器1、2根據(jù)用戶A、B終端輸入的視頻源圖像的象素精度和多畫面圖像象素精度判定用戶A、B終端對(duì)應(yīng)的解碼圖像信息需要降采樣，因此第一采樣器1、2分別對(duì)用戶A、B終端對(duì)應(yīng)的解碼圖像信息進(jìn)行降采樣，并將采樣后得到的圖像象素精度為QCIF(176×144)的圖像輸出到畫面混合器；由于用戶C、D終端對(duì)應(yīng)的解碼圖像象素精度為QCIF(176×144)，因此第一采樣器3、4判定其圖像信息不需要進(jìn)行采樣，直接將解碼圖像信息輸出到畫面混合器。
畫面混合器根據(jù)畫面混合信息中的多畫面顯示模式將第一采樣器1、2、3、4輸出的用戶A、B、C、D終端對(duì)應(yīng)的視頻源圖像信息組合成一個(gè)四畫面圖像信息，并將其輸出給第二采樣器。
第二采樣器1、2根據(jù)各用戶終端的輸出圖像象素精度判定該四畫面圖像信息針對(duì)用戶A、B終端不需要進(jìn)行采樣，通過(guò)圖像數(shù)據(jù)輸出單元將其分別輸出給對(duì)應(yīng)的編碼器1、2；第二采樣器3、4判定該四畫面圖像信息針對(duì)用戶C、D終端需要進(jìn)行降采樣，因此，第二采樣器3、4對(duì)四畫面圖像信息降采樣，并將采樣后得到的圖像象素精度為QCIF(176×144)的圖像通過(guò)圖像數(shù)據(jù)輸出單元分別輸出給對(duì)應(yīng)的編碼器3、4。
編碼器1、2、3、4對(duì)畫面組合模塊輸出的四畫面圖像信息分別進(jìn)行編碼，并輸出與用戶A、B、C、D終端解碼算法相匹配的圖像壓縮碼流給對(duì)應(yīng)的用戶終端。
用戶A、B、C、D終端對(duì)接收到的圖像壓縮碼流進(jìn)行解碼后在本地分別顯示四畫面圖像，其顯示的示意圖如圖5B所示。
上述實(shí)例中用戶A、B、C、D終端以相同的四畫面顯示模式觀看會(huì)議圖像，本實(shí)施例在會(huì)議進(jìn)行中用戶可以通過(guò)終端操作選擇其他多畫面顯示模式觀看會(huì)議圖像，并自由切換畫面顯示模式而不影響其他與會(huì)方的觀看，如圖6A所示，用戶切換多畫面顯示模式的具體實(shí)現(xiàn)過(guò)程如下步驟600、MCU在會(huì)議進(jìn)行過(guò)程中定時(shí)播放視頻菜單提示信息，提示用戶如何進(jìn)行相關(guān)操作。
步驟601、用戶根據(jù)提示信息，在需要其他多畫面顯示模式觀看會(huì)議圖像時(shí)通過(guò)終端操作選擇相應(yīng)的多畫面顯示模式，由用戶所在終端向MCU發(fā)送切換請(qǐng)求。
步驟602、MCU根據(jù)切換請(qǐng)求更新多畫面控制信息，確定需要的畫面混和器。
步驟603、MCU根據(jù)更新后的多畫面控制信息通過(guò)確定的畫面混和器進(jìn)行多畫面組合，并向發(fā)送切換請(qǐng)求的用戶終端輸出滿足用戶選擇的多畫面顯示模式的多畫面圖像和向其他用戶終端輸出對(duì)應(yīng)的多畫面圖像。
實(shí)例二在實(shí)例一的會(huì)議進(jìn)行中，用戶A通過(guò)終端操作選擇六畫面顯示模式觀看會(huì)議圖像，由用戶A終端向MCU發(fā)送切換畫面顯示模式的請(qǐng)求，MCU根據(jù)該請(qǐng)求將畫面混合信息進(jìn)行更新，并確定需要增加第二畫面混合器，其屬性包括六畫面顯示模式、該六畫面顯示模式中各子畫面的位置以及各子畫面對(duì)應(yīng)的編碼器標(biāo)識(shí)信息等。第一采樣器根據(jù)輸入視頻源信息和畫面混合信息以及第一畫面混合器和第二畫面混合器的屬性信息，選擇用戶A、B、C、D終端對(duì)應(yīng)的解碼視頻源圖像信息并對(duì)其進(jìn)行相應(yīng)采樣處理；第一畫面混合器和第二畫面混合器分別對(duì)各視頻源圖像信息進(jìn)行四畫面組合和六畫面組合；第二采樣器將第一畫面混合器組合后的四畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶B終端對(duì)應(yīng)的編碼器2，將組合后的四畫面圖像信息進(jìn)行降采樣，并將采樣后的四畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶C、D終端對(duì)應(yīng)的編碼器3、4，將第二畫面混合器組合后的六畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶A終端對(duì)應(yīng)的編碼器1；編碼器1、2、3、4對(duì)畫面組合模塊對(duì)應(yīng)輸出的多畫面圖像信息進(jìn)行編碼后輸出給對(duì)應(yīng)的用戶終端；用戶A、B、C、D終端對(duì)接收到的圖像壓縮碼流進(jìn)行解碼后在本地分別顯示對(duì)應(yīng)的多畫面圖像，即用戶A在終端上觀看會(huì)議的六畫面圖像，用戶B、C、D在各自的終端上觀看會(huì)議的四畫面圖像，各用戶終端多畫面顯示的示意圖如圖6B所示。
用戶通過(guò)終端操作選擇多畫面顯示模式觀看會(huì)議圖像，同時(shí)也可以根據(jù)需要選擇單畫面顯示模式觀看會(huì)議圖像，圖7A所示，用戶選擇單畫面顯示模式觀看會(huì)議圖像的具體實(shí)現(xiàn)過(guò)程如下步驟700、MCU在會(huì)議進(jìn)行過(guò)程中定時(shí)播放視頻菜單提示信息，提示用戶如何進(jìn)行相關(guān)操作。
步驟701、用戶根據(jù)提示信息，在需要單畫面顯示模式觀看會(huì)議圖像時(shí)通過(guò)終端操作選擇相應(yīng)的單畫面顯示模式，由用戶所在終端向MCU發(fā)送切換請(qǐng)求。
步驟702、MCU根據(jù)切換請(qǐng)求更新多畫面控制信息。
步驟703、MCU向發(fā)送切換請(qǐng)求的用戶終端直接輸出對(duì)應(yīng)的單畫面圖像，并根據(jù)多畫面控制信息通過(guò)原來(lái)畫面混合進(jìn)行多畫面組合，向其他用戶終端輸出對(duì)應(yīng)的多畫面圖像。
實(shí)例三在實(shí)例二的會(huì)議進(jìn)行中，用戶C通過(guò)終端操作選擇觀看用戶A的單畫面圖像后，用戶C終端向MCU發(fā)送切換畫面模式的請(qǐng)求，MCU根據(jù)該請(qǐng)求將畫面混合信息進(jìn)行更新，并確定只需要第一畫面混合器和第二畫面混合器，其對(duì)應(yīng)的屬性信息保持不變；第一采樣器根據(jù)輸入視頻源信息和畫面混合信息以及第一畫面混合器和第二畫面混合器的屬性信息，選擇用戶A、B、C、D終端對(duì)應(yīng)的解碼圖像信息并進(jìn)行相應(yīng)采樣處理；第一畫面混合器和第二畫面混合器分別進(jìn)行四畫面組合和六畫面組合；第二采樣器將第一畫面混合器組合后的四畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶B終端對(duì)應(yīng)的編碼器2，將組合后的四畫面圖像信息進(jìn)行降采樣，并將采樣后得到的四畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶D終端對(duì)應(yīng)的編碼器4，將第二畫面混合器組合后的六畫面圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出給用戶A終端對(duì)應(yīng)的編碼器1；第一采樣器將用戶A終端對(duì)應(yīng)的解碼圖像象素信息降采樣成QCIF(176×144)后將采樣后的圖像信息通過(guò)圖像數(shù)據(jù)輸出單元輸出到用戶C終端對(duì)應(yīng)的編碼器3；編碼器1、2、3、4對(duì)畫面組合模塊對(duì)應(yīng)輸出的畫面圖像信息進(jìn)行編碼后輸出給對(duì)應(yīng)的用戶終端；用戶A、B、C、D終端對(duì)接收到的圖像壓縮碼流進(jìn)行解碼后在本地分別顯示對(duì)應(yīng)的畫面圖像，即用戶C在終端上觀看用戶A的圖像信息，用戶A在終端上觀看六畫面模式的圖像信息，用戶B和用戶D分別在終端上觀看四畫面的圖像信息；各用戶終端多畫面顯示的示意圖如圖7B所示。
另外，本實(shí)施例中對(duì)多畫面中某個(gè)子畫面進(jìn)行邊框標(biāo)識(shí)以突出顯示該畫面圖像，例如對(duì)當(dāng)前發(fā)言的與會(huì)方D的子畫面進(jìn)行邊框標(biāo)識(shí)以突出顯示其圖像，如圖8A所示，實(shí)現(xiàn)邊框標(biāo)識(shí)突出顯示的具體過(guò)程如下步驟800、MCU確定需要邊框標(biāo)識(shí)的用戶終端對(duì)應(yīng)的子畫面信息。
步驟801、MCU更新多畫面控制信息。
步驟802、MCU將該子畫面信息記錄到畫面混合器中。
步驟803、畫面混合器完成多畫面組合后對(duì)該子畫面圖像進(jìn)行邊框標(biāo)識(shí)。
步驟804、MCU向用戶終端輸出具有邊框標(biāo)識(shí)的畫面圖像。
該過(guò)程中圖像信息的解碼、多畫面組合以及編碼的過(guò)程與上述實(shí)施例中的實(shí)現(xiàn)過(guò)程同理，不再贅述；用戶A、B、C、D終端的多畫面顯示的示意圖如圖8B所示。
本實(shí)施例中提供的多畫面顯示的實(shí)現(xiàn)方法中，與會(huì)終端在會(huì)議初始時(shí)以相同的多畫面顯示模式觀看會(huì)議圖像，在會(huì)議的進(jìn)行中，用戶可以根據(jù)需要選擇觀看會(huì)議圖像的多畫面顯示模式或者單畫面顯示模式，滿足了用戶差異化觀看會(huì)議圖像的需求；本實(shí)施例中與會(huì)用戶可以通過(guò)終端操作在多畫面顯示模式和單畫面顯示模式之間進(jìn)行切換，其實(shí)現(xiàn)方法簡(jiǎn)單靈活；另外，本實(shí)施例中將多畫面中的子畫面進(jìn)行邊框標(biāo)識(shí)突出顯示畫面，滿足了業(yè)務(wù)多樣化的需要。
上述以視頻會(huì)議為實(shí)例對(duì)本發(fā)明實(shí)施例技術(shù)方案的實(shí)現(xiàn)過(guò)程進(jìn)行說(shuō)明，但本發(fā)明實(shí)施例技術(shù)方案不局限于視頻會(huì)議，還適應(yīng)于其他視頻業(yè)務(wù)，如視頻交互式語(yǔ)音應(yīng)答(IVR，Interactive Voice Response)業(yè)務(wù)、多方參與的視頻通訊業(yè)務(wù)等，在其他視頻業(yè)務(wù)系統(tǒng)中實(shí)現(xiàn)上述方法時(shí)對(duì)處理器(如MCU)在功能上的要求與本實(shí)施例中MCU功能相似或相同，其實(shí)現(xiàn)畫面顯示和畫面切換的過(guò)程與本實(shí)施例中的實(shí)現(xiàn)過(guò)程同理，不再贅述。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若對(duì)本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法，其特征在于，包括步驟多點(diǎn)控制單元MCU接收切換請(qǐng)求消息，所述請(qǐng)求消息包括畫面顯示模式表明畫面顯示的子畫面數(shù)；所述MCU根據(jù)所述畫面顯示模式確定需要的畫面混合器，并向發(fā)送切換請(qǐng)求消息的用戶終端輸出與請(qǐng)求的畫面顯示模式對(duì)應(yīng)的畫面圖像。
2.如權(quán)利要求1所述的方法，其特征在于，所述MCU判斷用戶終端請(qǐng)求切換單畫面顯示模式時(shí)，向發(fā)送該切換請(qǐng)求消息的用戶終端直接輸出對(duì)應(yīng)的單畫面圖像；所述MCU判斷用戶終端請(qǐng)求切換多畫面模式時(shí)，通過(guò)確定的畫面混合器進(jìn)行多畫面組合后向發(fā)送該切換請(qǐng)求消息的用戶終端輸出對(duì)應(yīng)的多畫面圖像。
3.如權(quán)利要求1或2所述的方法，其特征在于，在視頻業(yè)務(wù)初始化時(shí)，所述MCU指定一個(gè)默認(rèn)的畫面混合器，由所述默認(rèn)畫面混合器根據(jù)多畫面控制信息進(jìn)行多畫面組合，并將組合后的多畫面圖像輸出給各用戶終端。
4.如權(quán)利要求3所述的方法，其特征在于，所述MCU在視頻業(yè)務(wù)進(jìn)行中根據(jù)參與視頻業(yè)務(wù)的用戶終端數(shù)量動(dòng)態(tài)修改所述默認(rèn)畫面混合器的屬性信息。
5.如權(quán)利要求4所述的方法，其特征在于，所述屬性信息包括多畫面顯示模式、各子畫面的顯示位置。
6.如權(quán)利要求3所述的方法，其特征在于，所述MCU將需要邊框標(biāo)識(shí)的子畫面圖像的相關(guān)信息記錄到畫面混合器中，所述畫面混合器完成多畫面組合后對(duì)該子畫面圖像進(jìn)行邊框標(biāo)識(shí)。
7.一種在視頻業(yè)務(wù)中實(shí)現(xiàn)多畫面顯示的方法，其特征在于，包括步驟多點(diǎn)控制單元MCU指定一個(gè)默認(rèn)的畫面混合器；所述默認(rèn)畫面混合器根據(jù)多畫面控制信息對(duì)參與視頻業(yè)務(wù)的用戶終端對(duì)應(yīng)的視頻源圖像信息進(jìn)行多畫面組合；所述MCU將組合后的多畫面圖像輸出給各用戶終端。
8.如權(quán)利要求7所述的方法，其特征在于，所述MCU在視頻業(yè)務(wù)進(jìn)行中根據(jù)參與視頻業(yè)務(wù)的用戶終端數(shù)量動(dòng)態(tài)修改所述默認(rèn)畫面混合器的屬性信息。
9.如權(quán)利要求8所述的方法，其特征在于，所述屬性信息包括多畫面顯示模式、各子畫面的顯示位置。
10.如權(quán)利要求7-9任一項(xiàng)所述的方法，其特征在于，所述MCU將需要邊框標(biāo)識(shí)的子畫面圖像的相關(guān)信息記錄到畫面混合器中，所述畫面混合器完成多畫面組合后對(duì)該子畫面圖像進(jìn)行邊框標(biāo)識(shí)。
11.一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的裝置，其特征在于，包括控制模塊，用于管理多畫面控制信息，并向參與視頻業(yè)務(wù)的用戶終端播放視頻菜單提示信息，以及根據(jù)用戶選擇的畫面顯示模式動(dòng)態(tài)確定畫面混合器；解碼模塊，用于對(duì)各用戶終端的視頻源圖像數(shù)據(jù)碼流進(jìn)行解碼；畫面組合模塊，用于根據(jù)所述多畫面控制信息通過(guò)一個(gè)或多個(gè)畫面混合器進(jìn)行多畫面組合；編碼模塊，用于對(duì)組合后的多畫面圖像信息進(jìn)行相應(yīng)編碼，并將得到的多畫面圖像輸出給用戶終端。
12.如權(quán)利要求11所述的裝置，其特征在于，所述控制模塊在視頻業(yè)務(wù)初始化時(shí)指定一個(gè)默認(rèn)的畫面混合器進(jìn)行多畫面組合；所述控制模塊在視頻業(yè)務(wù)進(jìn)行過(guò)程中根據(jù)用戶選擇的畫面顯示模式確定需要的的畫面混合器。
13.如權(quán)利要求12所述的裝置，其特征在于，所述控制模塊在視頻業(yè)務(wù)進(jìn)行中根據(jù)參與視頻業(yè)務(wù)的用戶終端數(shù)量動(dòng)態(tài)修改所述默認(rèn)畫面混合器的屬性信息。
14.如權(quán)利要求11-13任一項(xiàng)所述的裝置，其特征在于，所述控制模塊將需要邊框標(biāo)識(shí)的子畫面圖像的相關(guān)信息記錄到畫面混合器中，所述畫面混合器完成多畫面組合后對(duì)該子畫面圖像進(jìn)行邊框標(biāo)識(shí)。
15.如權(quán)利要求14所述的裝置，其特征在于，所述裝置為多點(diǎn)控制單元MCU。
16.一種視頻業(yè)務(wù)系統(tǒng)，其特征在于，包括多點(diǎn)控制單元MCU、通過(guò)網(wǎng)絡(luò)與所述MCU相連的多個(gè)用戶終端；所述MCU向參與視頻業(yè)務(wù)的用戶終端播放視頻菜單提示信息；用戶終端根據(jù)用戶選擇的畫面顯示模式向所述MCU發(fā)送切換請(qǐng)求消息，所述畫面顯示模式表明畫面顯示的子畫面數(shù)；所述MCU根據(jù)所述畫面顯示模式確定需要的畫面混合器，并向發(fā)送切換請(qǐng)求消息的用戶終端輸出與請(qǐng)求的畫面顯示模式對(duì)應(yīng)的畫面圖像。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述MCU在視頻業(yè)務(wù)初始化時(shí)指定一個(gè)默認(rèn)的畫面混合器進(jìn)行多畫面組合；所述MCU在視頻業(yè)務(wù)進(jìn)行過(guò)程中根據(jù)用戶選擇的畫面顯示模式確定需要的的畫面混合器。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述MCU在視頻業(yè)務(wù)進(jìn)行過(guò)程中，根據(jù)參與視頻業(yè)務(wù)的用戶終端數(shù)量動(dòng)態(tài)修改所述默認(rèn)畫面混合器的屬性信息。
19.如權(quán)利要求16-18任一項(xiàng)所述的系統(tǒng)，其特征在于，所述MCU包括控制模塊，用于管理多畫面控制信息，并向參與視頻業(yè)務(wù)的用戶終端播放視頻菜單提示信息，以及根據(jù)用戶選擇的畫面顯示模式動(dòng)態(tài)確定畫面混合器；解碼模塊，用于對(duì)各用戶終端的視頻源圖像數(shù)據(jù)碼流進(jìn)行解碼；畫面組合模塊，用于根據(jù)所述多畫面控制信息通過(guò)一個(gè)或多個(gè)畫面混合器進(jìn)行多畫面組合；編碼模塊，用于對(duì)組合后的多畫面圖像信息進(jìn)行相應(yīng)編碼，并將得到的多畫面圖像輸出給用戶終端。
20.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述控制模塊將需要邊框標(biāo)識(shí)的子畫面圖像的相關(guān)信息記錄到畫面混合器中，所述畫面混合器完成多畫面組合后對(duì)該子畫面圖像進(jìn)行邊框標(biāo)識(shí)。
全文摘要
本發(fā)明公開了一種在視頻業(yè)務(wù)中實(shí)現(xiàn)畫面切換的方法、裝置及系統(tǒng)，用以解決現(xiàn)有技術(shù)中參與視頻業(yè)務(wù)的用戶不能根據(jù)需要選擇畫面顯示模式以觀看畫面圖像的問(wèn)題，該發(fā)明方法由多點(diǎn)控制單元接收切換請(qǐng)求消息，所述請(qǐng)求消息包括畫面顯示模式表明畫面顯示的子畫面數(shù)；所述多點(diǎn)控制單元根據(jù)所述畫面顯示模式確定需要的畫面混合器，并向發(fā)送切換請(qǐng)求消息的用戶終端輸出與請(qǐng)求的畫面顯示模式對(duì)應(yīng)的畫面圖像。采用本發(fā)明方法，用戶可以根據(jù)需要選擇畫面顯示模式，同時(shí)還可以在多畫面顯示模式和單畫面顯示模式之間進(jìn)行相互切換，滿足了用戶的不同觀看需要。
文檔編號(hào)H04N7/15GK101031065SQ20071009757
公開日2007年9月5日 申請(qǐng)日期2007年4月27日 優(yōu)先權(quán)日2007年4月27日
發(fā)明者朱祥文, 吳宗武, 周旭鋒, 莫燕, 瞿新, 劉家鋒, 李淵 申請(qǐng)人:華為技術(shù)有限公司