專利名稱：：一種應用層組播視頻會議系統(tǒng)的制作方法
技術領域：
：本發(fā)明涉及一種播視頻會議系統(tǒng)，尤其涉及一種應用層組播視頻會議系統(tǒng)。
背景技術：
：早期視頻會議系統(tǒng)的發(fā)展經(jīng)歷了從撥號群組視頻會議系統(tǒng)到ISDN桌面視頻會議系統(tǒng)，再到LAN上的視頻會議系統(tǒng)的過程。之后在以上技術的基礎上，基于Internet的多媒體視頻會議系統(tǒng)逐漸發(fā)展起來。隨著IP組播技術的應用，目前應用較多的是基于IP組播網(wǎng)絡的視頻會議系統(tǒng)，利用IP組播技術可構建具有組播能力的網(wǎng)絡。組播允許路由器一次將數(shù)據(jù)包復制到多個通道上，降低了網(wǎng)絡帶寬要求，有效節(jié)省傳輸帶寬，這對于需要在多點之間傳輸流媒體的視頻會議尤其具有重要意義。同時，IP組播按照路由協(xié)議形成路由器組成的組播樹向組成員發(fā)送組播數(shù)據(jù)，不需要MCU(MultipointControlUnit,多點處理單元)，通過軟件來實現(xiàn)視頻會議終端任意多點的視頻會議功能，大大節(jié)省了系統(tǒng)成本。雖然IP組播視頻會議系統(tǒng)技術具有較高的效率，可以保證每條鏈路都不會有冗余數(shù)據(jù)，但是由于IP組播需要路由器的支持以及高層功能不易實現(xiàn)等原因，其推廣使用受到了很大的限制。應用層組播是指在網(wǎng)絡協(xié)議的應用層實現(xiàn)的組播。它與IP組播最大的區(qū)別在于，應用層組播的主要功能在主機上實現(xiàn)(也被稱為EndSystem,也即端系統(tǒng)，區(qū)別于路由器)實現(xiàn)的，即由主機來進行數(shù)據(jù)的復制和轉發(fā)。應用層組播在應用層形成一個邏輯網(wǎng)絡利用路由層的單播方式向組成員進行組播。同時相比IP組播，應用層組播在網(wǎng)絡擁塞控制和安全等問題方面有著優(yōu)秀表現(xiàn)。在這種情況下，應用層組播視頻會議系統(tǒng)的研究愈加重要。
發(fā)明內容本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種應用層組播視頻會議系統(tǒng)。本發(fā)明的目的是通過以下技術方案來實現(xiàn)的一種應用層組播視頻會議系統(tǒng)，它主要由計算機、視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊和Spines應用層覆蓋網(wǎng)絡平臺組成；所述視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊分別與計算機相連；所述視頻處理模塊、聲像同步控制模塊和音頻處理模塊依次相連，并分別與Spines應用層覆蓋網(wǎng)絡平臺相連。本發(fā)明的有益效果是，本發(fā)明應用層組播視頻會議系統(tǒng)可直接通過計算機實現(xiàn)系統(tǒng)應用與數(shù)據(jù)發(fā)送接收，并且本系統(tǒng)中的應用層組播技術使系統(tǒng)具有很好的網(wǎng)絡靈活性，同時應用層組播便于實現(xiàn)和推廣，只需改變端系統(tǒng)，而不需要對路由器進行任何修改；應用層組播便于針對特定應用進行優(yōu)化，可以針對不同的應用使用不同的實現(xiàn)方案，而不必象IP組播那樣必須統(tǒng)一到一個模型中。圖1是系統(tǒng)模塊圖；圖2是Directshow整體構架圖3是音頻處理流程圖4是Spines軟件結構圖。具體實施例方式如圖1所示，本發(fā)明應用層組播視頻會議系統(tǒng)主要由計算機、視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊和Spines應用層覆蓋網(wǎng)絡平臺組成。視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊分別與計算機相連；視頻處理模塊、聲像同步控制模塊和音頻處理模塊依次相連，并分別與Spines應用層覆蓋網(wǎng)絡平臺相連。其中，計算機實現(xiàn)人機交互，并包括提供給用戶的操作界面。視頻處理模塊負責視頻信息的捕獲、壓縮、解壓縮和回放等功能。音頻處理模塊負責音頻信息的捕獲、壓縮、解壓縮和回放等功能；會議管理和控制模塊完成整個會議進程的管理和控制。聲像同步控制模塊提供視頻流傳輸質量的保證，通過調整視頻信息發(fā)送率，使視頻信息在帶寬動態(tài)變化的網(wǎng)絡也能有效地傳輸。Spines應用層覆蓋網(wǎng)絡平臺，搭建應用層組播平臺，提供應用層組播技術支持，并與底層網(wǎng)絡相連接。計算機模塊由服務器和客戶機組成。服務器的組成為一臺高性能計算機與網(wǎng)卡?？蛻魴C組成為普通計算機，音箱，聲卡，網(wǎng)卡，攝像頭，麥克風和客戶端運行環(huán)境等。各設備作用如下服務器端設備高性能計算機運行服務器程序；網(wǎng)卡連接因特網(wǎng)，實現(xiàn)基本的網(wǎng)絡通信；客戶端設備普通臺式機；網(wǎng)卡連接因特網(wǎng)，實現(xiàn)基本的網(wǎng)絡通信；聲卡將麥克風接入聲卡，通過聲卡采集參會者的音頻媒體；音箱播放所請求的音頻；攝像頭用于捕獲參會者的視頻媒體；麥克風用于聲音輸入。視頻處理模塊的功能包括視頻的采集和播放，視頻的壓縮/解壓縮，視頻的發(fā)送和接收。如圖2所示，系統(tǒng)采用了MicrosoftWindows平臺上的Direc:tsh0W流式媒體體系結構，它提供媒體流的高質量的捕捉與回放。與通常所采用的VideoForWindowsAPI視頻采樣相比；Directshow的硬件效率更高，可自動使用硬件加速，節(jié)省系統(tǒng)資源。對視頻信號的壓縮，系統(tǒng)采用了H.263標準實現(xiàn)壓縮，H.263是H.323標準推薦使用的視頻編碼/解碼器之一，H.263是目前較先進的網(wǎng)絡壓縮算法，具有中等的壓縮質量，且壓縮算法簡單、壓縮快速和壓縮比高。為了適應Internet帶寬的動態(tài)變化，增強系統(tǒng)對網(wǎng)絡環(huán)境的適應性，系統(tǒng)在壓縮算法上作了一些改進發(fā)送端周期性地分析各個接收終端的接收狀況，獲得當前網(wǎng)絡的傳輸速率，以此調整壓縮算法的各個參數(shù)，從而獲得最好的幀率和質量。視頻的傳輸由視頻通信進程完成。視頻處理的設計是基于Directshow平臺的，F(xiàn)ilterGraph在Directshow中已經(jīng)定義好了，所以只需要設計好自己的Fi1ter，然后放入Fi1terGr即h中，讓其控制運行，實現(xiàn)需要的功能。對于視頻模塊需要兩個鏈路A視頻采集一視頻壓縮一視頻數(shù)據(jù)一組播發(fā)送B視頻數(shù)據(jù)一組播接收一視頻解壓一視頻播放在Directshow中實現(xiàn)一個視頻捕獲預覽程序大概可以分為以下幾個步驟A創(chuàng)建一個FilterGr即hManager實例，并通過調用IGr即hBuilder接口引出MediaControl，IVideowindow，MediaEventEx三個接口。應用程序通過調用Videowindow接口設置視頻窗口的大小和位置；通過設定控制按鈕調用MediaControl接口實現(xiàn)視頻播放的開始和停止。B創(chuàng)建一個C即tureGr即h實例，得至ljIC即tureGr即hBuilderZ接口，F(xiàn)ilterGr即hManager的IGr即hBuilder接口相關聯(lián)，初始化FilterGr即h。C運用枚舉系統(tǒng)設備方法，列舉所有使用的視頻捕獲設備，用戶可以選擇任一設備，將其對應的C即tureFilter加入到初始化后的FilterGr即h中。D設計使用的C即tureFilter只有一個C即tureOutputPin，F(xiàn)ilterGr即hManager會自動接入一個SmartTeeFilter提供PreviewPin，以便實現(xiàn)在預覽視頻和存儲到文件同時進行。網(wǎng)絡傳輸部分的主要工作是編程實現(xiàn)組播通信，基本步驟如下A創(chuàng)建socketB綁定本地地址和端口C加入組播組D設置TTL生命周期E發(fā)送數(shù)據(jù)到組播地址F從組播組中接收數(shù)據(jù)音頻處理模塊的功能包括音頻的采集和播放，音頻的壓縮和解壓縮，音頻的發(fā)送和接收。Microsoft公司的WindowsMultimedia為應用程序加入了音頻和視頻的支持，以實現(xiàn)多媒體功能。在系統(tǒng)中，實現(xiàn)音頻采集和壓縮/解壓時使用了MultimediaAudio中的wave函數(shù)集禾口ACM(AudioCompressionManager)，其中音頻壓縮模塊采用MicrosoftG.723.ICODEC，G.723是H.323標準推薦使用的音頻編碼/解碼器之一；實現(xiàn)音頻混音和回放時使用了DirectX的組件DirectSound。音頻的傳輸由音頻通信進程完成。系統(tǒng)的音頻處理模塊的主要流程如圖3所示。整個模塊將它封裝在一個DLL文件中，以下介紹幾個設計中比較重要的類①CWaveln，它是一個封裝了Waveln即i的類，它主要的功能是從設備中采集相應的信息數(shù)據(jù)流并將數(shù)據(jù)封裝成一個自定義的結構幀。②CWaveout，對應于CWaveln，也是一個封裝了Wavelnapi的類，它的主要功能是把網(wǎng)絡收集到的數(shù)據(jù)幀在設備中播放出來。③CSortData，它的作用是管理數(shù)據(jù)，調整亂序包的順序。CUdpsocket繼承于CAsyncsocket，用于將數(shù)據(jù)發(fā)送到服務器。CRecsocket也繼承于CAsyncsocket,用于觸發(fā)其OnReceive事件來處理到來的數(shù)據(jù)，如果標識為服務器就將數(shù)據(jù)轉發(fā)出去，為客戶端則原地播放。接下來將設計好的各個功能類，引出到接口類中，聲像同步控制是所有視頻會議系統(tǒng)必需解決的關鍵技術和技術難點。根據(jù)系統(tǒng)的特點，提出了相應的解決方案。在該系統(tǒng)中，發(fā)送終端把視頻流和音頻流分開直接傳給接收終端，即兩種媒體流沒有混合起來，而分別走不同的網(wǎng)絡虛擬通道。由于視頻數(shù)據(jù)量很大，分開音、視頻數(shù)據(jù)傳輸?shù)奶幚矸椒梢栽趲捿^窄的網(wǎng)絡上保證音頻數(shù)據(jù)的平滑輸送，但其缺點是聲像不同步的問題嚴重。在解決同步問題時，作者根據(jù)不同的網(wǎng)絡狀況使用相應的解決措施。網(wǎng)絡運行狀況有兩種情況一是網(wǎng)絡暢通，即網(wǎng)絡帶寬能保證音、視頻流按照預定的速率傳輸，多媒體數(shù)據(jù)基本沒有丟失；二是網(wǎng)絡擁塞，音、視頻流不能按原定的傳輸速率傳送，音、視頻信息包丟失嚴重的情況。前一種情況，同步問題主要利用音、視頻RTP包頭的時間戳字段來解決。后者由QoS控制模塊分析RTCP傳遞的報文信息，根據(jù)實時的網(wǎng)絡狀況，控制多媒體數(shù)據(jù)的發(fā)送數(shù)據(jù)量，及時有效地實現(xiàn)同步。系統(tǒng)由軟件實現(xiàn)會議管理器的功能，會議管理貫穿著會議的整個過程，包括會議的發(fā)起、結束，會員的入會、離會，身份認證及發(fā)言權控制，議題的產(chǎn)生及管理等。模塊有六個組成部分會員信息庫、發(fā)言處理、過程管理、信息查詢、注冊入會、離會管理。所有與會人員的活動信息被組織成數(shù)據(jù)庫結構存儲在每個與會結點中，由會議管理器產(chǎn)生和動態(tài)維護。會議管理器產(chǎn)生的會議管理信息按RTCP協(xié)議組包，由UDP通過會議管理端口以IPMulticast方式實時傳遞給所有與會人員。整個會議管理由服務器端的控制器和客戶端的控制器協(xié)商完成。如圖4所示，Spines是一個源代碼公開的通用覆蓋網(wǎng)絡系統(tǒng)，由約翰_霍普金斯大學的分布式網(wǎng)絡實驗室所建立。Spines分為兩個層次:用戶層和覆蓋網(wǎng)絡節(jié)點層。用戶程序要使用Spines覆蓋網(wǎng)絡提供的服務，首先要連接到最近的節(jié)點，這樣就可以通過Spines覆蓋網(wǎng)絡向其他的用戶發(fā)送數(shù)據(jù)了。當節(jié)點接收到來自用戶或者其他節(jié)點的數(shù)據(jù)時，就選擇適當?shù)穆酚赊D發(fā)數(shù)據(jù)。經(jīng)過逐跳傳輸，數(shù)據(jù)到達目的節(jié)點，目的節(jié)點根據(jù)數(shù)據(jù)包的端口，把數(shù)據(jù)提交給用戶程序。Spines提供了端到端的可靠傳輸和不可靠傳輸，可靠傳輸使用了類TCP傳輸模式。如圖4所示，采用兩層的結構是因為Spines是分布式的網(wǎng)絡。節(jié)點之間的連接通過Hello協(xié)議來管理，節(jié)點通過StateFlood協(xié)議來傳播拓撲信息和多播信息，每個節(jié)點都維護著整個覆蓋網(wǎng)絡的結構信息，而且節(jié)點還要處理用戶的請求和處理數(shù)據(jù)，所以Spines覆蓋網(wǎng)絡不能擴展的很大，一般來說可以擴展到幾百個節(jié)點。雖然只有幾百個節(jié)點，但是每個節(jié)點可以支持將近一千個用戶。這樣，兩層的結構可以很好的解決擴展性的問題。該系統(tǒng)是基于Spines覆蓋網(wǎng)絡平臺的視頻會議系統(tǒng)，它的網(wǎng)絡傳輸基本依托于Spines系統(tǒng)。具體實現(xiàn)步驟分為兩步，一是按照一般IP組播系統(tǒng)進行網(wǎng)絡傳輸?shù)脑O計，二是將Spines系統(tǒng)的對應接口與IP組播時的接口相替換。詳細說明如下在IP組播模塊設計過程中，系統(tǒng)的應用平臺是Windows操作系統(tǒng)，使用的是WinSock規(guī)范。系統(tǒng)的開發(fā)工具是MicrosoftVisualC++6.0，它提供了MFC類CAsyncSocket類，該類封裝了WindowsSocketAPI,為Windows程序員提供了一個面向對象的WindowsSocket抽象，大大方便了程序員在C++這種面向對象的開發(fā)環(huán)境里使用WinSock規(guī)范開發(fā)基于TCP/IP的通信軟件。系統(tǒng)所有通信進程對象都是從CAsyncSocket類派生的，包括視頻通信進程；音頻通信進程；音像傳輸同步進程；會議管理通信進程。在TCP/IP協(xié)議組中，網(wǎng)絡層提供了三種IP數(shù)據(jù)包傳送方式一是8-IP點對點(IPUnicast)方式；二是廣播方式(IPBroadcast);三是組播方式(IPMulticast)。系統(tǒng)采用了IP組播機制來傳送多媒體數(shù)據(jù)。系統(tǒng)用了WindowsSocket2.0標準的組播專用API編寫組播通信模塊。前面提到的系統(tǒng)的幾個通信進程中，凡是基于UDP的都是組播通信進程，系統(tǒng)的組播通信進程包括視頻通信進程CVideoSocket()，音頻通信進程CSoundSocket()，視頻通信質量反饋進程CVideoFeedBackSocket()以及會議管理器的三個進程CManageSocket、CSpeakCtrlSocket和CApplySpeakSocket等一共七個進程組成。它們都從MicrosoftVisualC++6.0的MFC中CAsyncSocket類繼承。IP組播模塊是TCP/IP協(xié)議的應用通信系統(tǒng)，它的網(wǎng)絡層和傳輸層基本依托于TCP/IP，是TCP/IP協(xié)議網(wǎng)絡層和傳輸層的具體應用。系統(tǒng)的網(wǎng)絡層采用了TCP/IP的IGMP協(xié)議，而傳輸層主要用UDP協(xié)議。該系統(tǒng)遵照H.323建議，音、視頻數(shù)據(jù)用UDP來傳輸。但高效率的UDP并不考慮可靠性，因而簡單地用UDP替代TCP并不足以使多媒體程序在8-分組網(wǎng)上運行，還需要使用一些基于UDP之上的協(xié)議，對通過UDP傳輸?shù)臄?shù)據(jù)進行重排和補償?shù)日聿僮?。在系統(tǒng)中，音頻和視頻數(shù)據(jù)遵照RTP報文格式打包，而且設計各自的RTP擴展頭，配合完成適合該系統(tǒng)特點的打包、傳輸、解包方案。另外，在RTP的設計中，用RR報文提供視頻傳輸質量反饋，用會員信息SDES報文提供會議管理信息，而與會者退出會議時使用了BYE報文知會其他會員。將Spines覆蓋網(wǎng)絡平臺接入視頻會議系統(tǒng)，具體接入時，用Spines中的Spines—lib庫文件將對應端口函數(shù)與Windows下的函數(shù)相互替換，即可將接入視頻會議系統(tǒng)。SpineS_lib庫文件中的SPINES端口與IP組播模塊對應接口對照如下<table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage8</column></row><table>權利要求一種應用層組播視頻會議系統(tǒng)，其特征在于，它主要由計算機、視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊和Spines應用層覆蓋網(wǎng)絡平臺組成。所述視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊分別與計算機相連。所述視頻處理模塊、聲像同步控制模塊和音頻處理模塊依次相連，并分別與Spines應用層覆蓋網(wǎng)絡平臺相連。全文摘要本發(fā)明公開了一種應用層組播視頻會議系統(tǒng)，它主要由計算機、視頻處理模塊、音頻處理模塊、會議管理和控制模塊、聲像同步控制模塊和Spines應用層覆蓋網(wǎng)絡平臺組成；本發(fā)明可直接通過計算機實現(xiàn)系統(tǒng)應用與數(shù)據(jù)發(fā)送接收，并且本系統(tǒng)中的應用層組播技術使系統(tǒng)具有很好的網(wǎng)絡靈活性，同時應用層組播便于實現(xiàn)和推廣，只需改變端系統(tǒng)，而不需要對路由器進行任何修改；應用層組播便于針對特定應用進行優(yōu)化，可以針對不同的應用使用不同的實現(xiàn)方案，而不必像IP組播那樣必須統(tǒng)一到一個模型中。文檔編號H04N7/26GK101710959SQ20091015499公開日2010年5月19日申請日期2009年12月10日優(yōu)先權日2009年12月10日發(fā)明者劉奇,趙問道申請人:浙江大學