一種多點(diǎn)視頻匯聚系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種多點(diǎn)視頻匯聚系統(tǒng)，所述多點(diǎn)視頻匯聚系統(tǒng)包括移動(dòng)終端和視頻匯聚服務(wù)器，其中，所述視頻匯聚服務(wù)器包括管理服務(wù)器，所述管理服務(wù)器包括視頻匯聚單元，所述視頻匯聚單元包括發(fā)言方確認(rèn)模塊、特寫采集命令發(fā)送模塊、特寫視頻圖像接收模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊以及匯聚模塊。根據(jù)本發(fā)明，可以實(shí)現(xiàn)對(duì)于視頻匯聚系統(tǒng)的控制和管理。
【專利說明】 一種多點(diǎn)視頻匯聚系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多點(diǎn)視頻匯聚【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]4G業(yè)務(wù)給移動(dòng)終端用戶提供了更豐富的網(wǎng)絡(luò)帶寬和優(yōu)質(zhì)的服務(wù)，隨之帶來的移動(dòng)業(yè)務(wù)也在不斷擴(kuò)大，意味著人們可以享受更加高速的移動(dòng)網(wǎng)絡(luò)帶寬。通過4G網(wǎng)絡(luò)，移動(dòng)終端也可以像計(jì)算機(jī)一樣實(shí)現(xiàn)高質(zhì)量的語音、視頻傳輸以及流媒體播放等諸多的增值業(yè)務(wù)。隨著4G業(yè)務(wù)運(yùn)營的到來，網(wǎng)絡(luò)運(yùn)營商必然會(huì)給用戶提供有線和無線等多樣化的技術(shù)手段。通過業(yè)務(wù)融合，給用戶帶來無所不在的視頻服務(wù)。其中，基于移動(dòng)終端的多點(diǎn)視頻匯聚是最常用、最便捷的方式。
[0003]基于移動(dòng)終端的多點(diǎn)視頻匯聚系統(tǒng)可以在一個(gè)通訊信道上承載視頻、音頻等多媒體的數(shù)據(jù)，從而實(shí)現(xiàn)多點(diǎn)實(shí)時(shí)通信。即通過移動(dòng)終端將不同地點(diǎn)人員場(chǎng)景的多媒體數(shù)據(jù)實(shí)時(shí)傳送至多個(gè)客戶端，為用戶提供了極大的便攜性。基于移動(dòng)終端的多點(diǎn)視頻匯聚系統(tǒng)是一種便攜、即時(shí)、高效并擁有非常廣泛市場(chǎng)的新型通訊系統(tǒng)。然而，現(xiàn)有的多點(diǎn)視頻匯聚系統(tǒng)，業(yè)務(wù)種類少、通信效率低、兼容性一般，越來越不能滿足基于4G的視頻業(yè)務(wù)的需求。為了實(shí)現(xiàn)4G業(yè)務(wù)需求，基于移動(dòng)終端的多點(diǎn)視頻匯聚系統(tǒng)應(yīng)當(dāng)至少滿足以下的功能需求:
[0004](I)通信功能需求:能夠響應(yīng)和處理客戶端的呼叫；可以協(xié)商客戶端之間音視頻編解碼的格式；能夠?qū)崿F(xiàn)在不中斷會(huì)議的情況下，動(dòng)態(tài)添加或者刪除通信成員；實(shí)現(xiàn)一點(diǎn)對(duì)多點(diǎn)、組播、廣播等的通信方式。
[0005](3)多點(diǎn)視頻會(huì)議的視頻圖像控制:能夠根據(jù)視頻會(huì)議參與人員以及發(fā)言情況對(duì)視頻會(huì)議的視頻圖像進(jìn)行控制，從而改善參與視頻會(huì)議的移動(dòng)終端用戶之間的交互體驗(yàn)。
[0006]基于此，急需一種能夠滿足上述需求的多點(diǎn)視頻匯聚系統(tǒng)。


【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是:如何實(shí)現(xiàn)視頻匯聚的控制管理。為此，本發(fā)明提出一種多點(diǎn)視頻匯聚系統(tǒng)，可充分地解決由于現(xiàn)有技術(shù)的限制和缺陷導(dǎo)致的一個(gè)或多個(gè)問題。
[0008]本發(fā)明另外的優(yōu)點(diǎn)、目的和特性，一部分將在下面的說明書中得到闡明，而另一部分對(duì)于本領(lǐng)域的普通技術(shù)人員通過對(duì)下面的說明的考察將是明顯的或從本發(fā)明的實(shí)施中學(xué)到。通過在文字的說明書和權(quán)利要求書及附圖中特別地指出的結(jié)構(gòu)可實(shí)現(xiàn)和獲得本發(fā)明目的和優(yōu)點(diǎn)。
[0009]本發(fā)明提供了一種基于多點(diǎn)視頻匯聚系統(tǒng)，所述系統(tǒng)包括移動(dòng)終端和視頻匯聚服務(wù)器，所述視頻匯聚服務(wù)器包括管理服務(wù)器，所述管理服務(wù)器包括視頻匯聚單元，所述視頻匯聚單元包括發(fā)言方確認(rèn)模塊、特寫采集命令發(fā)送模塊、特寫視頻圖像接收模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊以及匯聚模塊，其中，
[0010]發(fā)言方確認(rèn)模塊包括視頻圖像分析子模塊、視頻語音分析子模塊、發(fā)言方識(shí)別子模塊；視頻圖像分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的圖像信息進(jìn)行檢測(cè)，確定是否存在嘴部動(dòng)作以及嘴部所面對(duì)的方向，具體的，視頻圖像分析子模塊基于顏色差異檢測(cè)嘴部邊緣形狀及其所面對(duì)的方向朝向，進(jìn)而基于所檢測(cè)到的嘴部邊緣形狀確定嘴部張合程度以及嘴部張合程度的變化值，當(dāng)檢測(cè)到嘴部張合程度隨時(shí)間連續(xù)變化時(shí)，判定存在嘴部動(dòng)作，否則判定不存在嘴部動(dòng)作；視頻語音分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的語音信息進(jìn)行檢測(cè)，確定是否存在聲音信號(hào)；發(fā)言方識(shí)別子模塊，用于根據(jù)視頻圖像分析子模塊和視頻語音分析子模塊的分析結(jié)果，從參加視頻會(huì)議的多個(gè)移動(dòng)終端中識(shí)別出發(fā)言方，具體的，當(dāng)視頻圖像分析子模塊基于某一移動(dòng)終端的視頻信號(hào)判定存在嘴部動(dòng)作，且視頻語音分析子模塊基于該移動(dòng)終端的視頻信號(hào)判定存在聲音信號(hào)時(shí)，發(fā)言方識(shí)別子模塊將該移動(dòng)終端確定為發(fā)言方。
[0011]特寫采集命令發(fā)送模塊，用于當(dāng)發(fā)言方將所述移動(dòng)終端確定為發(fā)言方時(shí)，發(fā)送特寫采集命令至該移動(dòng)終端，該特寫采集命令用于獲取該移動(dòng)終端發(fā)言方的特寫視頻圖像。
[0012]特寫視頻圖像接收模塊，用于從移動(dòng)終端獲取特寫視頻圖像。
[0013]匯聚位置確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果，將所識(shí)別出的發(fā)言方的視頻圖像定位到最終視頻圖像的預(yù)定位置；并且，根據(jù)發(fā)言方確認(rèn)模塊的視頻圖像分析子模塊所識(shí)別出的發(fā)言方嘴部正對(duì)的方向，將其他移動(dòng)終端的視頻圖像定位到最終視頻圖像的預(yù)定位置。
[0014]匯聚比例確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果將所識(shí)別出的發(fā)言方的視頻圖像在最終視頻圖像中的顯示比例設(shè)置為預(yù)定值。
[0015]特寫視頻圖像位置確認(rèn)模塊，用于當(dāng)發(fā)言方特寫視頻圖像接收模塊從移動(dòng)終端獲取到特寫視頻圖像時(shí)，將該發(fā)言方特寫視頻圖像定位到匯聚位置確認(rèn)模塊所確認(rèn)的該發(fā)言方的視頻圖像位置，并且覆蓋該發(fā)言方視頻圖像。
[0016]匯聚模塊，用于根據(jù)發(fā)言方確認(rèn)模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊的確認(rèn)結(jié)果，對(duì)移動(dòng)終端的視頻圖像進(jìn)行合并拼接，得到最終視頻圖像。
[0017]所述移動(dòng)終端包括視頻圖像采集模塊、格式轉(zhuǎn)換模塊、分辨率轉(zhuǎn)換模塊、編碼模塊；其中，所述視頻圖像采集模塊包括普通視頻圖像采集模塊和特寫視頻圖像采集模塊，所述普通視頻圖像采集模塊用于通過攝像頭采集視頻圖像，所述特寫視頻圖像采集模塊用于當(dāng)移動(dòng)終端接收到特寫采集命令時(shí)，通過另一攝像頭采集特寫視頻圖像；格式轉(zhuǎn)換模塊，用于將通過視頻圖像采集模塊采集的視頻圖像的格式轉(zhuǎn)換成用于數(shù)字視頻信號(hào)處理的格式；分辨率轉(zhuǎn)換模塊，用于將從格式轉(zhuǎn)換模塊輸出的視頻信號(hào)的分辨率降低為預(yù)先設(shè)定的分辨率；編碼模塊，用于對(duì)從分辨率轉(zhuǎn)換模塊輸出的視頻信號(hào)進(jìn)行編碼。
[0018]優(yōu)選的，視頻圖像分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的圖像信息進(jìn)行檢測(cè)，確定是否存在嘴部動(dòng)作以及嘴部所面對(duì)的方向，具體包括:視頻圖像分析模塊基于顏色差異檢測(cè)嘴部邊緣形狀及其所面對(duì)的方向，進(jìn)而基于所檢測(cè)到的嘴部邊緣形狀確定嘴部張合程度以及嘴部張合程度的變化值，當(dāng)檢測(cè)到嘴部張合程度隨時(shí)間連續(xù)變化時(shí)，判定存在嘴部動(dòng)作，否則判定不存在嘴部動(dòng)作。
[0019]優(yōu)選的，發(fā)言方識(shí)別子模塊，根據(jù)視頻圖像分析子模塊和視頻語音分析子模塊的分析結(jié)果，從參加視頻會(huì)議的多個(gè)移動(dòng)終端中識(shí)別出發(fā)言方，具體包括:當(dāng)視頻圖像分析子模塊基于某一移動(dòng)終端的視頻信號(hào)判定存在嘴部動(dòng)作，且視頻語音分析模塊基于該移動(dòng)終端的視頻信號(hào)判定存在聲音信號(hào)時(shí)，發(fā)言方識(shí)別子模塊將該移動(dòng)終端識(shí)別為發(fā)言方。
[0020]優(yōu)選的，所述匯聚位置確認(rèn)模塊將所識(shí)別出的發(fā)言方的視頻圖像定位到最終視頻圖像的預(yù)定位置，具體包括:將識(shí)別出的發(fā)言方的視頻圖像定位在最終視頻圖像的正中央。
[0021]優(yōu)選的，所述特寫視頻圖像采集模塊為高清攝像頭。

【專利附圖】

【附圖說明】
[0022]圖1為根據(jù)本發(fā)明實(shí)施例的多點(diǎn)視頻匯聚系統(tǒng)的結(jié)構(gòu)示意圖。
[0023]圖2為根據(jù)本發(fā)明實(shí)施例的視頻匯聚單元的結(jié)構(gòu)示意圖。
[0024]圖3為根據(jù)本發(fā)明實(shí)施例的移動(dòng)終端的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0025]下面參照附圖對(duì)本發(fā)明進(jìn)行更全面的描述，其中說明本發(fā)明的示例性實(shí)施例。
[0026]如圖1所示，所述的多點(diǎn)視頻匯聚系統(tǒng)主要由移動(dòng)終端和視頻匯聚服務(wù)器兩部分構(gòu)成。移動(dòng)終端包括Π界面，并通過SIP協(xié)議完成會(huì)議服務(wù)器的信令傳輸與通信。移動(dòng)終端還具備音、視頻編解碼的功能，能夠?qū)碜苑?wù)器的媒體流進(jìn)行處理。
[0027]視頻匯聚服務(wù)器包括管理服務(wù)器、位置服務(wù)器、代理服務(wù)器和注冊(cè)服務(wù)器。視頻匯聚系統(tǒng)能夠獲取移動(dòng)終端用戶的信息，首先要確定該用戶身份是否合法，即驗(yàn)證該用戶是否為系統(tǒng)注冊(cè)用戶，同時(shí)獲取該用戶終端位置信息，這樣一套功能則需要注冊(cè)服務(wù)器、位置服務(wù)器和代理服務(wù)器來集中完成，其中注冊(cè)服務(wù)器專門負(fù)責(zé)終端的注冊(cè)請(qǐng)求，位置服務(wù)器將終端位置與注冊(cè)通過的SIP標(biāo)識(shí)符綁定到一起，代理服務(wù)器則作為一個(gè)中間實(shí)體，對(duì)名字進(jìn)行解析，并代理某個(gè)終端向視頻匯聚服務(wù)器發(fā)出呼叫請(qǐng)求，類似網(wǎng)絡(luò)中的路由功能。管理服務(wù)器是多點(diǎn)視頻匯聚系統(tǒng)中的核心設(shè)備，它主要負(fù)責(zé)對(duì)多個(gè)終端的信令進(jìn)行交互處理，并通過SIP協(xié)議棧服務(wù)完成終端之間的通信關(guān)系。
[0028]管理服務(wù)器包括會(huì)議管理單元和視頻處理單元。會(huì)議管理單元，用于管理已開會(huì)議、當(dāng)前會(huì)議和未來會(huì)議，包括五個(gè)模塊:預(yù)定會(huì)議模塊、會(huì)議查詢模塊、會(huì)議修改模塊、會(huì)議刪除模塊以及與會(huì)人員管理模塊。
[0029]預(yù)定會(huì)議模塊，用于增加一個(gè)預(yù)訂會(huì)議，提供該會(huì)議的具體信息，內(nèi)容包括:會(huì)議名稱、會(huì)議擁有者、會(huì)議編號(hào)、主持人密碼、主持人能夠發(fā)言還是記錄、用戶密碼、用戶是能夠發(fā)言或者旁聽、會(huì)議開始時(shí)間、會(huì)議持續(xù)時(shí)間、會(huì)議重新開始時(shí)間、最大參與人數(shù)、邀請(qǐng)哪些人參加會(huì)議等等。
[0030]會(huì)議查詢模塊，會(huì)議查詢模塊又包含了三個(gè)子模塊，分別為:已開會(huì)議查詢模塊、當(dāng)前會(huì)議查詢模塊和未來會(huì)議查詢模塊，分別用于查詢已開會(huì)議、當(dāng)前正在進(jìn)行的會(huì)議以及未來會(huì)議，并可顯示會(huì)議的具體信息，內(nèi)容包括:會(huì)議編號(hào)、會(huì)議名稱、會(huì)議開始時(shí)間、會(huì)議結(jié)束時(shí)間、最多可參加會(huì)議的人數(shù)、實(shí)際參加會(huì)議的人數(shù)等等。
[0031]會(huì)議修改模塊，用于修改任何正在進(jìn)行中的會(huì)議和還沒有進(jìn)行中的會(huì)議。對(duì)于正在進(jìn)行中的會(huì)議，可以修改下列信息:會(huì)議結(jié)束時(shí)間、最多可參加會(huì)議的人數(shù)。對(duì)于還沒有開始的會(huì)議，可以修改其任何信息，包括:會(huì)議名稱、會(huì)議擁有者、會(huì)議編號(hào)、主持人密碼、主持人能夠發(fā)言還是記錄、用戶密碼、用戶是能夠發(fā)言或者旁聽、會(huì)議開始時(shí)間、會(huì)議持續(xù)時(shí)間、會(huì)議重新開始時(shí)間、最大參與人數(shù)、邀請(qǐng)哪些人參加會(huì)議等等。
[0032]會(huì)議刪除模塊，用于刪除會(huì)議，會(huì)議可以是己經(jīng)開過的會(huì)議，也可以是未來的會(huì)議，但不能刪除正在參加的會(huì)議，管理員只能夠?qū)?huì)議終結(jié)，然后再另行刪除。
[0033]與會(huì)人員管理模塊，用于管理正在召開的某個(gè)會(huì)議的與會(huì)人員，包括將與會(huì)人員靜音、解除靜音、將其從會(huì)議中踢出、允許新成員加入會(huì)議等等。
[0034]圖2示出了根據(jù)本發(fā)明的管理服務(wù)器的視頻匯聚單元的框圖。視頻匯聚單元包括發(fā)言方確認(rèn)模塊、特寫采集命令發(fā)送模塊、特寫視頻圖像接收模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊以及匯聚模塊。
[0035]發(fā)言方確認(rèn)模塊包括視頻圖像分析子模塊、視頻語音分析子模塊、發(fā)言方識(shí)別子模塊。其中，視頻圖像分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的圖像信息進(jìn)行檢測(cè)，確定是否存在嘴部動(dòng)作以及嘴部所面對(duì)的方向，具體的，視頻圖像分析子模塊基于顏色差異檢測(cè)嘴部邊緣形狀及其所面對(duì)的方向，進(jìn)而基于所檢測(cè)到的嘴部邊緣形狀確定嘴部張合程度以及嘴部張合程度的變化值，當(dāng)檢測(cè)到嘴部張合程度隨時(shí)間連續(xù)變化時(shí)，判定存在嘴部動(dòng)作，否則判定不存在嘴部動(dòng)作；視頻語音分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的語音信息進(jìn)行檢測(cè)，確定是否存在聲音信號(hào)；發(fā)言方識(shí)別子模塊，用于根據(jù)視頻圖像分析子模塊和視頻語音分析子模塊的分析結(jié)果，從參加視頻會(huì)議的多個(gè)移動(dòng)終端中識(shí)別出發(fā)言方，具體的，當(dāng)視頻圖像分析子模塊基于某一移動(dòng)終端的視頻信號(hào)判定存在嘴部動(dòng)作，且視頻語音分析子模塊基于該移動(dòng)終端的視頻信號(hào)判定存在聲音信號(hào)時(shí)，發(fā)言方識(shí)別子模塊將該移動(dòng)終端識(shí)別為發(fā)言方。
[0036]特寫采集命令發(fā)送模塊，用于當(dāng)發(fā)言方將所述移動(dòng)終端確定為發(fā)言方時(shí)，發(fā)送特寫采集命令至該移動(dòng)終端，該特寫采集命令用于獲取該移動(dòng)終端發(fā)言方的特寫視頻圖像。
[0037]特寫視頻圖像接收模塊，用于從移動(dòng)終端獲取特寫視頻圖像。
[0038]匯聚位置確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果，將所識(shí)別出的發(fā)言方的視頻圖像定位到最終視頻圖像的預(yù)定位置，例如將識(shí)別出的發(fā)言方的視頻圖像定位在最終視頻圖像的正中央；并且，根據(jù)發(fā)言方確認(rèn)模塊的視頻圖像分析子模塊所識(shí)別出的發(fā)言方嘴部正對(duì)的方向，將其他移動(dòng)終端的視頻圖像定位到最終視頻圖像的預(yù)定位置，例如，當(dāng)識(shí)別出的發(fā)言方嘴部正對(duì)的方向?yàn)檎龑?duì)屏幕時(shí)，則將其他移動(dòng)終端的視頻圖像定位到發(fā)言方視頻圖像的周圍，當(dāng)識(shí)別出的發(fā)言方嘴部正對(duì)的方向?yàn)槊嫦蜃髠?cè)時(shí)，將其他移動(dòng)終端的視頻圖像定位到發(fā)言方視頻圖像的左側(cè)，當(dāng)識(shí)別出的發(fā)言方嘴部正對(duì)的方向?yàn)槊嫦蛴覀?cè)時(shí)，將其他移動(dòng)終端的視頻圖像定位到發(fā)言方視頻圖像的右側(cè)。
[0039]匯聚比例確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果將所識(shí)別出的發(fā)言方的視頻圖像在最終視頻圖像中的顯示比例設(shè)置為預(yù)定值，例如將識(shí)別出的發(fā)言方的視頻圖像在最終視頻圖像中的顯示比例設(shè)置為1/4。
[0040]特寫視頻圖像位置確認(rèn)模塊，用于當(dāng)發(fā)言方特寫視頻圖像接收模塊從移動(dòng)終端獲取到特寫視頻圖像時(shí)，將該發(fā)言方特寫視頻圖像定位到匯聚位置確認(rèn)模塊所確認(rèn)的該發(fā)言方的視頻圖像位置，并且覆蓋該發(fā)言方視頻圖像。
[0041]匯聚模塊，用于根據(jù)發(fā)言方確認(rèn)模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊的確認(rèn)結(jié)果，對(duì)移動(dòng)終端的視頻圖像進(jìn)行合并拼接，得到最終視頻圖像。
[0042]圖3示出了根據(jù)本發(fā)明的一個(gè)移動(dòng)終端的框圖。該移動(dòng)終端包括視頻圖像采集模塊、格式轉(zhuǎn)換模塊、分辨率轉(zhuǎn)換模塊、編碼模塊。其中，所述視頻圖像采集模塊包括普通視頻圖像采集模塊和特寫視頻圖像采集模塊，所述普通視頻圖像采集模塊用于通過攝像頭采集視頻圖像，所述特寫視頻圖像采集模塊用于當(dāng)接收到特寫采集命令時(shí)，通過另一攝像頭采集特寫視頻圖像，該攝像頭例如可以是高清攝像頭；格式轉(zhuǎn)換模塊，用于將通過視頻圖像采集模塊采集的視頻圖像的格式轉(zhuǎn)換成用于數(shù)字視頻信號(hào)處理的格式，例如，通過攝像機(jī)接收到的圖像為RGB格式的VGA信號(hào)，格式轉(zhuǎn)換模塊將該RGB格式的VGA信號(hào)轉(zhuǎn)換成YCbCr格式的VGA信號(hào)；分辨率轉(zhuǎn)換模塊，用于將從格式轉(zhuǎn)換模塊輸出的視頻信號(hào)的分辨率降低為預(yù)先設(shè)定的分辨率；編碼模塊，用于對(duì)從分辨率轉(zhuǎn)換模塊輸出的視頻信號(hào)進(jìn)行編碼。
[0043]以上內(nèi)容僅為本發(fā)明的較佳實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【權(quán)利要求】
1.一種多點(diǎn)視頻匯聚系統(tǒng)，所述多點(diǎn)視頻匯聚系統(tǒng)包括移動(dòng)終端和視頻匯聚服務(wù)器，其特征在于: 所述視頻匯聚服務(wù)器包括管理服務(wù)器，所述管理服務(wù)器包括視頻匯聚單元，所述視頻匯聚單元包括發(fā)言方確認(rèn)模塊、特寫采集命令發(fā)送模塊、特寫視頻圖像接收模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊以及匯聚模塊，其中， 發(fā)言方確認(rèn)模塊包括視頻圖像分析子模塊、視頻語音分析子模塊、發(fā)言方識(shí)別子模塊；視頻圖像分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的圖像信息進(jìn)行檢測(cè)，確定是否存在嘴部動(dòng)作以及嘴部所面對(duì)的方向，具體的，視頻圖像分析子模塊基于顏色差異檢測(cè)嘴部邊緣形狀及其所面對(duì)的方向朝向，進(jìn)而基于所檢測(cè)到的嘴部邊緣形狀確定嘴部張合程度以及嘴部張合程度的變化值，當(dāng)檢測(cè)到嘴部張合程度隨時(shí)間連續(xù)變化時(shí)，判定存在嘴部動(dòng)作，否則判定不存在嘴部動(dòng)作；視頻語音分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的語音信息進(jìn)行檢測(cè)，確定是否存在聲音信號(hào)；發(fā)言方識(shí)別子模塊，用于根據(jù)視頻圖像分析子模塊和視頻語音分析子模塊的分析結(jié)果，從參加視頻會(huì)議的多個(gè)移動(dòng)終端中識(shí)別出發(fā)言方，具體的，當(dāng)視頻圖像分析子模塊基于某一移動(dòng)終端的視頻信號(hào)判定存在嘴部動(dòng)作，且視頻語音分析子模塊基于該移動(dòng)終端的視頻信號(hào)判定存在聲音信號(hào)時(shí)，發(fā)言方識(shí)別子模塊將該移動(dòng)終端確定為發(fā)言方； 特寫采集命令發(fā)送模塊，用于當(dāng)發(fā)言方將所述移動(dòng)終端確定為發(fā)言方時(shí)，發(fā)送特寫采集命令至該移動(dòng)終端，該特寫采集命令用于獲取該移動(dòng)終端發(fā)言方的特寫視頻圖像； 特寫視頻圖像接收模塊，用于從移動(dòng)終端獲取特寫視頻圖像； 匯聚位置確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果，將所識(shí)別出的發(fā)言方的視頻圖像定位到最終視頻圖像的預(yù)定位置；并且，根據(jù)發(fā)言方確認(rèn)模塊的視頻圖像分析子模塊所識(shí)別出的發(fā)言方嘴部正對(duì)的方向，將其他移動(dòng)終端的視頻圖像定位到最終視頻圖像的預(yù)定位置； 匯聚比例確認(rèn)模塊，用于根據(jù)發(fā)言方確認(rèn)模塊的確認(rèn)結(jié)果將所識(shí)別出的發(fā)言方的視頻圖像在最終視頻圖像中的顯示比例設(shè)置為預(yù)定值； 特寫視頻圖像位置確認(rèn)模塊，用于當(dāng)發(fā)言方特寫視頻圖像接收模塊從移動(dòng)終端獲取到特寫視頻圖像時(shí)，將該發(fā)言方特寫視頻圖像定位到匯聚位置確認(rèn)模塊所確認(rèn)的該發(fā)言方的視頻圖像位置，并且覆蓋該發(fā)言方視頻圖像； 匯聚模塊，用于根據(jù)發(fā)言方確認(rèn)模塊、匯聚位置確認(rèn)模塊、匯聚比例確認(rèn)模塊、特寫視頻圖像位置確認(rèn)模塊的確認(rèn)結(jié)果，對(duì)移動(dòng)終端的視頻圖像進(jìn)行合并拼接，得到最終視頻圖像； 所述移動(dòng)終端包括視頻圖像采集模塊、格式轉(zhuǎn)換模塊、分辨率轉(zhuǎn)換模塊、編碼模塊；其中，所述視頻圖像采集模塊包括普通視頻圖像采集模塊和特寫視頻圖像采集模塊，所述普通視頻圖像采集模塊用于通過攝像頭采集視頻圖像，所述特寫視頻圖像采集模塊用于當(dāng)移動(dòng)終端接收到特寫采集命令時(shí)，通過另一攝像頭采集特寫視頻圖像；格式轉(zhuǎn)換模塊，用于將通過視頻圖像采集模塊采集的視頻圖像的格式轉(zhuǎn)換成用于數(shù)字視頻信號(hào)處理的格式；分辨率轉(zhuǎn)換模塊，用于將從格式轉(zhuǎn)換模塊輸出的視頻信號(hào)的分辨率降低為預(yù)先設(shè)定的分辨率；編碼模塊，用于對(duì)從分辨率轉(zhuǎn)換模塊輸出的視頻信號(hào)進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的多點(diǎn)視頻匯聚系統(tǒng)，其特征在于，視頻圖像分析子模塊，對(duì)從所述移動(dòng)終端接收到的視頻信號(hào)的圖像信息進(jìn)行檢測(cè)，確定是否存在嘴部動(dòng)作以及嘴部所面對(duì)的方向，具體包括:視頻圖像分析模塊基于顏色差異檢測(cè)嘴部邊緣形狀及其所面對(duì)的方向，進(jìn)而基于所檢測(cè)到的嘴部邊緣形狀確定嘴部張合程度以及嘴部張合程度的變化值，當(dāng)檢測(cè)到嘴部張合程度隨時(shí)間連續(xù)變化時(shí)，判定存在嘴部動(dòng)作，否則判定不存在嘴部動(dòng)作。
3.根據(jù)權(quán)利要求1所述的多點(diǎn)視頻匯聚系統(tǒng)，其特征在于，發(fā)言方識(shí)別子模塊，根據(jù)視頻圖像分析子模塊和視頻語音分析子模塊的分析結(jié)果，從參加視頻會(huì)議的多個(gè)移動(dòng)終端中識(shí)別出發(fā)言方，具體包括:當(dāng)視頻圖像分析子模塊基于某一移動(dòng)終端的視頻信號(hào)判定存在嘴部動(dòng)作，且視頻語音分析模塊基于該移動(dòng)終端的視頻信號(hào)判定存在聲音信號(hào)時(shí)，發(fā)言方識(shí)別子模塊將該移動(dòng)終端識(shí)別為發(fā)言方。
4.根據(jù)權(quán)利要求1所述的多點(diǎn)視頻匯聚系統(tǒng)，其特征在于，所述匯聚位置確認(rèn)模塊將所識(shí)別出的發(fā)言方的視頻圖像定位到最終視頻圖像的預(yù)定位置，具體包括:將識(shí)別出的發(fā)言方的視頻圖像定位在最終視頻圖像的正中央。
5.根據(jù)權(quán)利要求1所述的多點(diǎn)視頻匯聚系統(tǒng)，其特征在于，所述特寫視頻圖像采集模塊為聞清攝像頭。
【文檔編號(hào)】H04N21/258GK104270655SQ201410579805
【公開日】2015年1月7日 申請(qǐng)日期:2014年10月24日 優(yōu)先權(quán)日:2014年10月24日
【發(fā)明者】任德新, 李志敏 申請(qǐng)人:四川省科本哈根能源科技有限公司