本發(fā)明涉及通信領(lǐng)域,尤其涉及一種調(diào)整媒體流傳輸?shù)姆椒把b置。
背景技術(shù):
多點(diǎn)視頻會(huì)議系統(tǒng)(英文全稱:multipointvideoconferencingsystem,英文簡稱:mpvcs)允許3個(gè)或3個(gè)以上不同地點(diǎn)的發(fā)送端同時(shí)參與的會(huì)議系統(tǒng),該系統(tǒng)還包括中心控制設(shè)備。發(fā)送端通過網(wǎng)絡(luò)將媒體流發(fā)送給中心控制設(shè)備,媒體流包括視頻流和音頻流,中心控制設(shè)備負(fù)責(zé)接收各發(fā)送端通過網(wǎng)絡(luò)發(fā)送的媒體流,中心控制設(shè)備獲取到多路視頻流后,確定將一路視頻流或多路視頻流合并成一路視頻流廣播出去,以供其他會(huì)場的發(fā)送端接收。通常,中心控制設(shè)備將音量大的發(fā)送端的音頻流發(fā)送至其他發(fā)送端,同時(shí),對(duì)與其音頻相關(guān)的視頻做策略選擇。
中心控制設(shè)備仍然會(huì)接收到音量較低的音頻流,但是,該音量較低的音頻流不會(huì)被混音發(fā)送至其他發(fā)送端,這樣,對(duì)于這些音量較低的音頻流照樣占用發(fā)送端與中心控制設(shè)備間的處理資源,導(dǎo)致發(fā)送端與中心控制設(shè)備間的處理資源的浪費(fèi)。
在現(xiàn)有技術(shù)中,互聯(lián)網(wǎng)工程任務(wù)組(英文全稱:internetengineeringtaskforce,英文簡稱:ietf)規(guī)定了請(qǐng)求評(píng)議(英文全稱:requestforcomments,英文簡稱:rfc)。rfc3264是基于會(huì)話描述協(xié)議(英文全稱:sessiondescriptionprotocol,英文簡稱:sdp)可用于控制媒體流暫停或恢復(fù)。具體的,通過在信令面由會(huì)話兩端的任一側(cè)發(fā)起會(huì)話重協(xié)商,在相應(yīng)的需暫?;蚧謴?fù)的媒體流對(duì)應(yīng)的m行置為去激活(inactive)來實(shí)現(xiàn)該媒體流單向或者雙向的發(fā)送控制。待雙方協(xié)商完成后,媒體路徑對(duì)應(yīng)通道的媒體流將會(huì)執(zhí)行相應(yīng)的控制,即暫停。但是,上述方法耗費(fèi)信令太多,不適用于在多點(diǎn)會(huì)場,及音量動(dòng)態(tài)變化的情況。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種調(diào)整媒體流傳輸?shù)姆椒把b置,能夠根據(jù)音量自適應(yīng)控制媒體流暫停,從而提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
上述目標(biāo)和其他目標(biāo)將通過獨(dú)立權(quán)利要求中的特征來達(dá)成。進(jìn)一步的實(shí)現(xiàn)方式在從屬權(quán)利要求、說明書和附圖中體現(xiàn)。
第一方面,提供一種調(diào)整媒體流傳輸?shù)姆椒?,包括?/p>
首先,中心控制設(shè)備獲取n個(gè)發(fā)送端發(fā)送的實(shí)時(shí)傳輸協(xié)議rtp報(bào)文,每個(gè)所述rtp報(bào)文包括音頻流的音量,n為大于等于2的自然數(shù),目前主流的中心控制設(shè)備有多點(diǎn)控制單元(英文全稱:multi-pointcontrolunit,英文簡稱:mcu),發(fā)送端也就是多媒體通信終端設(shè)備,例如,可以是視頻會(huì)議終端或桌面式視頻終端等;
然后,中心控制設(shè)備根據(jù)n個(gè)音頻流的音量確定第一音量閾值;并確定音量小于或等于所述第一音量閾值的音頻流;
最后,中心控制設(shè)備向所述音量小于或等于所述第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的實(shí)時(shí)傳輸控制協(xié)議rtcp報(bào)文,x為大于等于1且小于n的自然數(shù),所述暫停指示用于指示所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,發(fā)送端也就是多媒體通信終端設(shè)備,例如,可以是視頻會(huì)議終端或桌面式視頻終端等。
上述第一方面提供的調(diào)整媒體流傳輸?shù)姆椒ǎ行目刂圃O(shè)備接收到n個(gè)發(fā)送端上報(bào)的音頻流的音量后,根據(jù)n個(gè)音頻流的音量確定第一音量閾值,并確定音量小于或等于所述第一音量閾值的音頻流,向音量小于或等于第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文,指示每個(gè)發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
其中,中心控制設(shè)備根據(jù)n個(gè)音頻流的音量確定第一音量閾值具體的可以采用以下兩種方法:
在第一方面的第一種可實(shí)現(xiàn)方式中,首先,中心控制設(shè)備按照n路音頻流的音量從大到小排序;然后,從按照n路音頻流的音量從大到小排序 的音頻流中,將從第一路至第m路的前m路確定為m路音頻流,m為大于等于1且小于n的自然數(shù),m表示已混音路數(shù),且m小于或等于預(yù)設(shè)混音路數(shù)l,即已混音的音頻流的路數(shù)可以與預(yù)設(shè)混音路數(shù)相等也可以小于預(yù)設(shè)混音路數(shù),x表示未混音路數(shù),n=m+x,所述m路音頻流為已混音的音頻流;最后,將第m路的音頻流的音量與第m+1路的音頻流的音量間的音量確定為所述第一音量閾值。
上述第一方面的第一種可實(shí)現(xiàn)方式提供的中心控制設(shè)備動(dòng)態(tài)的確定音量閾值的具體方法,能夠更加實(shí)時(shí)準(zhǔn)確地判斷發(fā)送端上報(bào)的音頻流的音量。
在第一方面的第二種可實(shí)現(xiàn)方式中,所述中心控制設(shè)備根據(jù)n個(gè)音頻流的音量的平均值確定所述第一音量閾值。
上述第一方面的第二種可實(shí)現(xiàn)方式提供的中心控制設(shè)備靜態(tài)的確定音量閾值的具體方法,這樣判斷發(fā)送端上報(bào)的音頻流的音量的速度較快。
結(jié)合第一方面、第一方面的第一種可實(shí)現(xiàn)方式和第一方面的第二種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第三種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括閾值,所述閾值用于表示所述第一音量閾值,使得接收到包括暫停指示的rtcp報(bào)文的音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端根據(jù)所述第一音量閾值實(shí)時(shí)監(jiān)測音頻流的音量,當(dāng)所述任一發(fā)送端的音頻流的音量大于所述第一音量閾值時(shí)向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。所述包括暫停指示的rtcp報(bào)文還包括閾值類型。
上述第一方面的第三種可實(shí)現(xiàn)方式提供了rtcp報(bào)文包括的具體內(nèi)容,這樣以便于發(fā)送端接收到這些內(nèi)容,存儲(chǔ)這些內(nèi)容,根據(jù)更新后的音頻流的音量大小來判斷是否需要向中心控制設(shè)備發(fā)送音頻流。
結(jié)合第一方面、第一方面的第一種可實(shí)現(xiàn)方式和第一方面的第三種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第四種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括剩余最大數(shù),所述剩余最大數(shù)用于表示還可混音路數(shù),所述還可混音路數(shù)為l-m,l表示預(yù)設(shè)混音路數(shù),m表示已混音路數(shù),當(dāng)所述還可混音路數(shù)大于0時(shí),使所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端向所述中心控制設(shè)備包括恢復(fù)請(qǐng)求rtcp報(bào)文。
結(jié)合第一方面、第一方面的第一種可實(shí)現(xiàn)方式和第一方面的第四種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第五種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括是否關(guān)聯(lián)視頻流,所述是否關(guān)聯(lián)視頻流用于指示所 述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端暫停向所述中心控制設(shè)備發(fā)送音頻流的同時(shí)暫停向所述中心控制設(shè)備發(fā)送與所述音頻流關(guān)聯(lián)的視頻流。
上述第一方面的第五種可實(shí)現(xiàn)方式提供了rtcp報(bào)文包括的具體內(nèi)容,這樣以便于發(fā)送端接收到這些內(nèi)容,存儲(chǔ)這些內(nèi)容,暫停向中心控制設(shè)備發(fā)送與所述音頻流關(guān)聯(lián)的視頻流,提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
結(jié)合第一方面、第一方面的第一種可實(shí)現(xiàn)方式至第一方面的第五種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第六種可實(shí)現(xiàn)方式中,在所述中心控制設(shè)備向所述音量小于等于所述第一音量閾值的音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文之后,所述方法還包括:
所述中心控制設(shè)備接收所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送的包括暫停響應(yīng)的rtcp報(bào)文,所述暫停響應(yīng)用于表示x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端已暫停向中心控制設(shè)備發(fā)送音頻流。
結(jié)合第一方面的第一種可實(shí)現(xiàn)方式至第一方面的第六種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第七種可實(shí)現(xiàn)方式中,在所述中心控制設(shè)備向所述音量小于或等于所述第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文之后,所述方法還包括:
所述中心控制設(shè)備接收第一發(fā)送端發(fā)送的包括恢復(fù)請(qǐng)求的rtcp報(bào)文,所述恢復(fù)請(qǐng)求包括所述第一發(fā)送端更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于請(qǐng)求中心控制設(shè)備指示第一發(fā)送端向中心控制設(shè)備發(fā)送音頻流,所述第一發(fā)送端為x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中的任一發(fā)送端;
所述中心控制設(shè)備判斷所述第一發(fā)送端更新的音頻流的音量是否大于已混音路數(shù)中任一路音頻流的音量;
若所述第一發(fā)送端更新的音頻流的音量大于已混音路數(shù)中任一路音頻流的音量,所述中心控制設(shè)備根據(jù)所述第一發(fā)送端更新的音頻流的音量和n-1發(fā)送端的音頻流的音量確定第二音量閾值;
所述中心控制設(shè)備確定音量小于或等于所述第二音量閾值的音頻流;
所述中心控制設(shè)備向所述音量小于或等于所述第二音量閾值的y個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文,y為大于等于1且小于n的自然數(shù)。
上述第一方面的第七種可實(shí)現(xiàn)方式中,中心控制設(shè)備可以根據(jù)發(fā)送端發(fā)送的恢復(fù)請(qǐng)求攜帶的音頻流的音量來判斷是否恢復(fù)發(fā)送端發(fā)送音頻流, 從而提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
結(jié)合第一方面的第七種可實(shí)現(xiàn)方式,在第八種可實(shí)現(xiàn)方式中,在所述中心控制設(shè)備接收第一發(fā)送端發(fā)送的包括恢復(fù)請(qǐng)求的rtcp報(bào)文之后,所述方法還包括:
所述中心控制設(shè)備判斷已混音路數(shù)是否小于所述中心控制設(shè)備預(yù)設(shè)混音路數(shù);
當(dāng)所述已混音路數(shù)小于所述預(yù)設(shè)混音路數(shù),所述中心控制設(shè)備向所述第一發(fā)送端發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文,所述包括恢復(fù)響應(yīng)的rtcp報(bào)文還包括還可混音路數(shù),所述還可混音路數(shù)為預(yù)設(shè)混音路數(shù)與已混音路數(shù)之差,所述恢復(fù)響應(yīng)用于中心控制設(shè)備指示所述第一發(fā)送端向中心控制設(shè)備發(fā)送音頻流;
所述中心控制設(shè)備判斷所述第一發(fā)送端更新的音頻流的音量是否大于已混音路數(shù)中任一路音頻流的音量包括:
當(dāng)所述已混音路數(shù)等于所述預(yù)設(shè)混音路數(shù),所述中心控制設(shè)備判斷所述第一發(fā)送端更新的音頻流的音量是否大于已混音路數(shù)中任一路音頻流的音量。
結(jié)合第一方面、第一方面的第一種可實(shí)現(xiàn)方式至第一方面的第八種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第九種可實(shí)現(xiàn)方式中,在所述中心控制設(shè)備向所述音量小于等于所述第一音量閾值的音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文之后,所述方法還包括:
所述中心控制設(shè)備向所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括更新消息的rtcp報(bào)文,所述更新消息包括第三音量閾值和還可混音路數(shù),所述還可混音路數(shù)為預(yù)設(shè)混音路數(shù)與已混音路數(shù)之差。
第二方面,提供一種調(diào)整媒體流傳輸?shù)姆椒?,包括?/p>
首先,發(fā)送端向中心控制設(shè)備發(fā)送實(shí)時(shí)傳輸協(xié)議rtp報(bào)文,所述rtp報(bào)文包括音頻流的音量;再接收所述中心控制設(shè)備發(fā)送的包括暫停指示的實(shí)時(shí)傳輸控制協(xié)議rtcp報(bào)文,所述暫停指示用于指示發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流;
然后,所述發(fā)送端向所述中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文,所述暫停響應(yīng)用于表示發(fā)送端已暫停向中心控制設(shè)備發(fā)送音頻流。
上述第二方面提供的調(diào)整媒體流傳輸?shù)姆椒?,發(fā)送端向中心控制設(shè)備發(fā)送音頻流的音量,使得中心控制設(shè)備接收到n個(gè)發(fā)送端上報(bào)的音頻流的 音量后,根據(jù)n個(gè)音頻流的音量確定第一音量閾值,并確定音量小于或等于所述第一音量閾值的音頻流,向音量小于或等于第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文,指示每個(gè)發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
在第二方面的第一種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括第一音量閾值,所述方法還包括:
所述發(fā)送端保存所述第一音量閾值;
所述發(fā)送端監(jiān)測該發(fā)送端的音頻流的音量;
所述發(fā)送端判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于所述第一音量閾值;
所述發(fā)送端向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文,所述恢復(fù)請(qǐng)求包括所述發(fā)送端更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于請(qǐng)求中心控制設(shè)備指示發(fā)送端向中心控制設(shè)備發(fā)送音頻流;
所述發(fā)送端接收所述中心控制設(shè)備發(fā)送的包括恢復(fù)響應(yīng)的rtcp報(bào)文,所述恢復(fù)響應(yīng)用于指示發(fā)送端向中心控制設(shè)備發(fā)送音頻流。
在第二方面的第二種可實(shí)現(xiàn)方式中,在所述發(fā)送端向所述中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文之后,所述方法還包括:
所述發(fā)送端接收所述中心控制設(shè)備發(fā)送的包括更新消息的rtcp報(bào)文,所述更新消息包括第三音量閾值和還可混音路數(shù);
所述發(fā)送端保存所述第三音量閾值;
所述發(fā)送端監(jiān)測該發(fā)送端的音頻流的音量;
所述發(fā)送端判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于所述第三音量閾值;
所述發(fā)送端向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文,所述恢復(fù)請(qǐng)求包括所述發(fā)送端更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于請(qǐng)求中心控制設(shè)備指示發(fā)送端向中心控制設(shè)備發(fā)送音頻流。
結(jié)合第二方面、第二方面的第一種可實(shí)現(xiàn)方式至第二方面的第二種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第二方面的第三種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括還可混音路數(shù),所述包括恢復(fù)響應(yīng)的 rtcp報(bào)文還包括還可混音路數(shù),所述更新消息還包括還可混音路數(shù),所述還可混音路數(shù)為預(yù)設(shè)混音路數(shù)與已混音路數(shù)之差,所述方法還包括:
所述發(fā)送端判斷所述還可混音路數(shù)大于0;
所述發(fā)送端向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
結(jié)合第二方面、第二方面的第一種可實(shí)現(xiàn)方式至第二方面的第三種可實(shí)現(xiàn)方式中任一種可實(shí)現(xiàn)方式,在第二方面的第四種可實(shí)現(xiàn)方式中,所述包括暫停指示的rtcp報(bào)文還包括是否關(guān)聯(lián)視頻流,所述是否關(guān)聯(lián)視頻流用于指示發(fā)送端暫停向所述中心控制設(shè)備發(fā)送音頻流的同時(shí)暫停向所述中心控制設(shè)備發(fā)送與所述音頻流關(guān)聯(lián)的視頻流。
第三方面,提供一種中心控制設(shè)備,包括:接收單元,用于接收發(fā)送端發(fā)送的rtp報(bào)文或rtcp報(bào)文,處理單元,用于處理接收到的rtp報(bào)文或rtcp報(bào)文,發(fā)送單元,用于向發(fā)送端發(fā)送rtcp報(bào)文。具體的實(shí)現(xiàn)方式可以參考第一方面提供的調(diào)整媒體流傳輸?shù)姆椒ㄖ兄行目刂圃O(shè)備的行為的功能。
第四方面,提供一種發(fā)送端,包括:接收單元,用于接收中心控制設(shè)備發(fā)送的rtcp報(bào)文,處理單元,用于處理接收到的rtcp報(bào)文,發(fā)送單元,用于向中心控制設(shè)備發(fā)送rtcp報(bào)文或rtp報(bào)文。具體的實(shí)現(xiàn)方式可以參考第二方面提供的調(diào)整媒體流傳輸?shù)姆椒ㄖ邪l(fā)送端的行為的功能。
需要說明的是,上述第三方面和第四方面所述功能模塊可以通過硬件實(shí)現(xiàn),也可以通過硬件執(zhí)行相應(yīng)的軟件實(shí)現(xiàn)。所述硬件或軟件包括一個(gè)或多個(gè)與上述功能相對(duì)應(yīng)的模塊。例如,通信接口,用于完成接收單元和發(fā)送單元的功能,處理器,用于完成處理單元的功能,存儲(chǔ)器,用于存儲(chǔ)音量閾值。處理器、通信接口和存儲(chǔ)器通過總線連接并完成相互間的通信。具體的,可以參考第一方面提供的調(diào)整媒體流傳輸?shù)姆椒ㄖ兄行目刂圃O(shè)備的行為的功能,以及第二方面提供的調(diào)整媒體流傳輸?shù)姆椒ㄖ邪l(fā)送端的行為的功能。
本發(fā)明中,中心控制設(shè)備和發(fā)送端的名字對(duì)設(shè)備本身不構(gòu)成限定,在實(shí)際實(shí)現(xiàn)中,這些設(shè)備可以以其他名稱出現(xiàn)。只要各個(gè)設(shè)備的功能和本發(fā)明類似,屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)。
本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡明易懂。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例提供的一種多點(diǎn)視頻會(huì)議系統(tǒng)示意圖;
圖2為本發(fā)明實(shí)施例提供的一種音頻流的流向示意圖;
圖3為本發(fā)明實(shí)施例提供的一種視頻流的流向示意圖;
圖4為本發(fā)明實(shí)施例提供的一種計(jì)算機(jī)硬件結(jié)構(gòu)示意圖;
圖5為本發(fā)明實(shí)施例提供的一種調(diào)整媒體流傳輸?shù)姆椒鞒虉D;
圖6為本發(fā)明實(shí)施例提供的另一種調(diào)整媒體流傳輸?shù)姆椒鞒虉D;
圖7為本發(fā)明實(shí)施例提供的又一種調(diào)整媒體流傳輸?shù)姆椒鞒虉D;
圖8為本發(fā)明實(shí)施例提供的再一種調(diào)整媒體流傳輸?shù)姆椒鞒虉D;
圖9為本發(fā)明實(shí)施例提供的又一種調(diào)整媒體流傳輸?shù)姆椒鞒虉D;
圖10為本發(fā)明實(shí)施例提供的一種rtcp報(bào)文結(jié)構(gòu)示意圖;
圖11為本發(fā)明實(shí)施例提供的一種中心控制設(shè)備結(jié)構(gòu)示意圖;
圖12為本發(fā)明實(shí)施例提供的一種發(fā)送端結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述。
本發(fā)明的基本原理在于:中心控制設(shè)備在混音之后,仍然會(huì)接收到音量較低的音頻流,導(dǎo)致發(fā)送端與中心控制設(shè)備間的處理資源的浪費(fèi)的情況下,中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量確定音量閾值,并確定音量小于或等于音量閾值的音頻流,向音量小于或等于音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的實(shí)時(shí)傳輸控制協(xié)議(英文全稱:real-timetransportcontrolprotocol,英文簡稱:rtcp)報(bào)文,暫停指示用于指示發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,能夠有效提高發(fā)送端與中心控制設(shè) 備間的處理資源的利用率。
下面將參考附圖詳細(xì)描述本發(fā)明的實(shí)施方式。
實(shí)施例1
本發(fā)明實(shí)施例提供一種多點(diǎn)視頻會(huì)議系統(tǒng)示意圖,如圖1所示,包括:中心控制設(shè)備、網(wǎng)絡(luò)、發(fā)送端1、發(fā)送端2、發(fā)送端3、發(fā)送端4和發(fā)送端5。中心控制設(shè)備和發(fā)送端分別與網(wǎng)絡(luò)連接。
5個(gè)發(fā)送端可以位于不同地點(diǎn)會(huì)場,例如,深圳會(huì)場,北京會(huì)場,上海會(huì)場,成都會(huì)場和西安會(huì)場。本發(fā)明在此對(duì)會(huì)議的地點(diǎn)不做限定,還可以在其他會(huì)場,這里只是示意性說明。
發(fā)送端也就是多媒體通信終端設(shè)備,例如,可以是視頻會(huì)議終端或桌面式視頻終端,也可以是其他多媒體通信終端設(shè)備。發(fā)送端用于采集該發(fā)送端所處會(huì)場的視頻和音頻等信號(hào),通過網(wǎng)絡(luò)傳輸?shù)狡渌l(fā)送端或中心控制設(shè)備。發(fā)送端也可以接上顯示設(shè)備,例如電視機(jī),電視機(jī)作為回顯設(shè)備顯示圖像。發(fā)送端通常包括核心編解碼器、攝像頭、全向麥克風(fēng)和遙控器。核心編解碼器用于將攝像頭和麥克風(fēng)輸入的圖像及聲音編碼通過網(wǎng)絡(luò)發(fā)送,同時(shí)將網(wǎng)絡(luò)傳輸來的視頻解碼后,將圖像還原到顯示設(shè)備上,并將網(wǎng)絡(luò)傳輸來的音頻解碼后,將聲音還原到音響上,即實(shí)現(xiàn)了與其他發(fā)送端的實(shí)時(shí)交互。
中心控制設(shè)備用于對(duì)輸入的多路會(huì)議信號(hào)進(jìn)行切換,會(huì)議信號(hào)包含音頻、視頻及數(shù)據(jù)中至少一種信號(hào)。中心控制設(shè)備對(duì)音頻信號(hào)采取多路混合的方式或切換方式傳送,對(duì)視頻信號(hào)采取直接分配的方式傳送,對(duì)于數(shù)據(jù)信號(hào)采取廣播方式或無損音頻編碼(英文全稱:meridianlosslesspacking,英文簡稱:mlp)方式傳送。此外,中心控制設(shè)備還要完成對(duì)通信控制信號(hào)和網(wǎng)絡(luò)接口信號(hào)的處理。
示例的,中心控制設(shè)備接收到發(fā)送端1的音頻流1、發(fā)送端2的音頻流2、發(fā)送端3的音頻流3和發(fā)送端4的音頻流4后,可以將對(duì)所有音頻流按照從大到小的音量進(jìn)行排序,獲取最大音量的前m路音頻流,將前m路音頻流進(jìn)行混音,再發(fā)送至所有發(fā)送端。假設(shè)標(biāo)識(shí)*號(hào)的表示當(dāng)前會(huì)場中音量最大的2路音頻,如圖2所示,將音頻流3和音頻流4混音,將音頻流3和音頻流4的混音發(fā)送至發(fā)送端1和發(fā)送端2,只將音頻流3發(fā)送至發(fā)送端4,只將音頻流4發(fā)送至發(fā)送端3,而不必將接收方的音頻流混音,避免其聽到回音,即不必將音頻流3發(fā)送至發(fā)送端3,將音頻流4發(fā) 送至發(fā)送端4。
若發(fā)送端1顯示發(fā)送端3的視頻流,發(fā)送端2顯示發(fā)送端3的視頻流,發(fā)送端4顯示發(fā)送端3的視頻流,發(fā)送端3顯示發(fā)送端1的視頻流,此時(shí),中心控制設(shè)備指示其他發(fā)送端切換畫面,顯示與最大音量的音頻相關(guān)的視頻,假設(shè)最大音量為音頻流4的音量,如圖3所示,發(fā)送端1顯示發(fā)送端4的視頻流,發(fā)送端2顯示發(fā)送端4的視頻流,發(fā)送端4仍然顯示發(fā)送端3的視頻流,發(fā)送端3顯示發(fā)送端4的視頻流。
目前主流的中心控制設(shè)備有多點(diǎn)控制單元(英文全稱:multi-pointcontrolunit,英文簡稱:mcu),多點(diǎn)控制單元未來有可能被其他實(shí)現(xiàn)相同功能的設(shè)備替代,都在本發(fā)明的范圍內(nèi)。
網(wǎng)絡(luò)可以是ip網(wǎng)絡(luò),用于傳輸中心控制設(shè)備與不同會(huì)場的發(fā)送端間的信號(hào)。網(wǎng)絡(luò)也可以是其他形式的傳輸網(wǎng)絡(luò),本發(fā)明在此不做限定。
如圖4所示,圖1中的中心控制設(shè)備和發(fā)送端可以以圖4中的計(jì)算機(jī)設(shè)備(或系統(tǒng))的方式來實(shí)現(xiàn)。
圖4所示為本發(fā)明實(shí)施例提供的計(jì)算機(jī)設(shè)備示意圖。計(jì)算機(jī)設(shè)備100包括至少一個(gè)處理器101,通信總線102,存儲(chǔ)器103以及至少一個(gè)通信接口104。
處理器101可以是一個(gè)處理器,也可以是多個(gè)處理元件的統(tǒng)稱。例如,處理器101可以是一個(gè)通用中央處理器(英文全稱:centralprocessingunit,英文簡稱:cpu),也可以是特定應(yīng)用集成電路(英文全稱:application-specificintegratedcircuit,英文簡稱:asic),或一個(gè)或多個(gè)用于控制本發(fā)明方案程序執(zhí)行的集成電路,例如:一個(gè)或多個(gè)微處理器(英文全稱:digitalsignalprocessor,英文簡稱:dsp),或,一個(gè)或者多個(gè)現(xiàn)場可編程門陣列(英文全稱:fieldprogrammablegatearray,英文簡稱:fpga)。
在具體實(shí)現(xiàn)中,作為一種實(shí)施例,處理器101可以包括一個(gè)或多個(gè)cpu,例如圖4中的cpu0和cpu1。
在具體實(shí)現(xiàn)中,作為一種實(shí)施例,計(jì)算機(jī)設(shè)備100可以包括多個(gè)處理器,例如圖4中的處理器101和處理器108。這些處理器中的每一個(gè)可以是一個(gè)單核(single-cpu)處理器,也可以是一個(gè)多核(multi-cpu)處理器。這里的處理器可以指一個(gè)或多個(gè)設(shè)備、電路、和/或用于處理數(shù)據(jù)(例如計(jì)算機(jī)程序指令)的處理核。
通信總線102可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英文全稱:industrystandardarchitecture,英文簡稱:isa)總線、外部設(shè)備互連(英文全稱:peripheralcomponent,英文簡稱:pci)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英文全稱:extendedindustrystandardarchitecture,英文簡稱:eisa)總線等。該總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示,圖4中僅用一條粗線表示,但并不表示僅有一根總線或一種類型的總線。
存儲(chǔ)器103可以是只讀存儲(chǔ)器(英文全稱:read-onlymemory,英文簡稱:rom)或可存儲(chǔ)靜態(tài)信息和指令的其他類型的靜態(tài)存儲(chǔ)設(shè)備,隨機(jī)存取存儲(chǔ)器(英文全稱:randomaccessmemory,英文簡稱:ram)或者可存儲(chǔ)信息和指令的其他類型的動(dòng)態(tài)存儲(chǔ)設(shè)備,也可以是電可擦可編程只讀存儲(chǔ)器(英文全稱:electricallyerasableprogrammableread-onlymemory,英文簡稱:eeprom)、只讀光盤(英文全稱:compactdiscread-onlymemory,英文簡稱:cd-rom)或其他光盤存儲(chǔ)、光碟存儲(chǔ)(包括壓縮光碟、激光碟、光碟、數(shù)字通用光碟、藍(lán)光光碟等)、磁盤存儲(chǔ)介質(zhì)或者其他磁存儲(chǔ)設(shè)備、或者能夠用于攜帶或存儲(chǔ)具有指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并能夠由計(jì)算機(jī)存取的任何其他介質(zhì),但不限于此。存儲(chǔ)器可以是獨(dú)立存在,通過總線與處理器相連接。存儲(chǔ)器也可以和處理器集成在一起。
其中,所述存儲(chǔ)器103用于存儲(chǔ)執(zhí)行本發(fā)明方案的應(yīng)用程序代碼,并由處理器101來控制執(zhí)行。所述處理器101用于執(zhí)行所述存儲(chǔ)器103中存儲(chǔ)的應(yīng)用程序代碼。
所述通信接口104,使用任何收發(fā)器一類的裝置,用于與其他設(shè)備或通信網(wǎng)絡(luò)通信,如以太網(wǎng),無線接入網(wǎng)(ran),無線局域網(wǎng)(英文全稱:wirelesslocalareanetworks,英文簡稱:wlan)等。通信接口104可以包括接收單元實(shí)現(xiàn)接收功能,以及發(fā)送單元實(shí)現(xiàn)發(fā)送功能。
在具體實(shí)現(xiàn)中,作為一種實(shí)施例,圖4所示的計(jì)算機(jī)設(shè)備100可以是圖1中的發(fā)送端。
通信接口104,用于接收中心控制設(shè)備發(fā)送的包括暫停指示的rtcp報(bào)文、包括恢復(fù)響應(yīng)的rtcp報(bào)文或包括更新消息的rtcp報(bào)文。
所述通信接口104,還用于向中心控制設(shè)備發(fā)送媒體流,媒體流包括音頻流和視頻流。
所述通信接口104,還用于向中心控制設(shè)備發(fā)送包括暫停響應(yīng)的 rtcp報(bào)文或包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
處理器101,用于判斷監(jiān)測到的發(fā)送端更新的音頻流的音量大于音量閾值。
存儲(chǔ)器103,用于存儲(chǔ)包括暫停指示的rtcp報(bào)文、包括恢復(fù)響應(yīng)的rtcp報(bào)文或包括更新消息的rtcp報(bào)文中包括的內(nèi)容,例如,音量閾值或還可混音路數(shù)。
計(jì)算機(jī)設(shè)備100還可以包括輸出設(shè)備105和輸入設(shè)備106。輸出設(shè)備105可以是顯示設(shè)備或音響,顯示設(shè)備用于顯示接收到的視頻流,音響用于輸出接收到的音頻流。輸入設(shè)備106可以是攝像頭或者麥克風(fēng),攝像頭用于獲取會(huì)場的景象,即視頻流,麥克風(fēng)用于獲取會(huì)場的聲音,即音頻流。
在具體實(shí)現(xiàn)中,作為一種實(shí)施例,圖4所示的計(jì)算機(jī)設(shè)備100可以是圖1中的中心控制設(shè)備。
通信接口104,用于接收發(fā)送端發(fā)送的實(shí)時(shí)傳輸協(xié)議(英文全稱:real-timetransportprotocol,英文簡稱:rtp)報(bào)文,每個(gè)所述rtp報(bào)文包括音頻流的音量,n為大于等于2的自然數(shù)。
所述通信接口104,還用于接收發(fā)送端發(fā)送的包括暫停響應(yīng)的rtcp報(bào)文,以及包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
所述通信接口104,還用于向發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文、發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文,以及包括更新消息的rtcp報(bào)文。
處理器101,用于根據(jù)音頻流的音量確定音量閾值,確定音量小于或等于所述第一音量閾值的音頻流。
存儲(chǔ)器103,用于存儲(chǔ)根據(jù)音頻流的音量確定音量閾值,以及待處理的音頻流和與該音頻流相關(guān)的視頻流。
實(shí)施例2
本發(fā)明實(shí)施例提供一種調(diào)整媒體流傳輸?shù)姆椒ǎ鐖D5所示,包括:
步驟201、發(fā)送端1至發(fā)送端n分別向中心控制設(shè)備發(fā)送rtp報(bào)文。
rtp報(bào)文包括音頻流和該音頻流的音量。
步驟202、中心控制設(shè)備接收rtp報(bào)文。
中心控制設(shè)備接收n個(gè)發(fā)送端分別發(fā)送的rtp報(bào)文。
步驟203、中心控制設(shè)備獲取n個(gè)rtp報(bào)文。
中心控制設(shè)備獲取n個(gè)發(fā)送端發(fā)送的rtp報(bào)文。每個(gè)所述rtp報(bào)文包括音頻流和音頻流的音量,n為大于等于2的自然數(shù)。
步驟204、中心控制設(shè)備確定第一音量閾值。
具體的,中心控制設(shè)備根據(jù)n個(gè)音頻流的音量確定第一音量閾值。
可選的,該第一音量閾值可以為動(dòng)態(tài)閾值,適用于活躍度較高的會(huì)議如研討類,動(dòng)態(tài)閾值可以為一個(gè)取值范圍內(nèi)的任意一個(gè)值。具體的,首先,中心控制設(shè)備按照n路音頻流的音量從大到小排序;再從按照n路音頻流的音量從大到小排序的音頻流中,將從第一路音頻流至第m路音頻流的前m路音頻流確定為中心控制設(shè)備需要進(jìn)行混音的m路音頻流,m為大于等于1且小于n的自然數(shù),m表示已混音路數(shù),且m小于或等于預(yù)設(shè)混音路數(shù),所述m路音頻流為已混音的音頻流。進(jìn)一步的,中心控制設(shè)備將第m路的音頻流的音量與第m+1路的音頻流的音量間的音量確定為所述第一音量閾值。
可選的,該第一音量閾值可以為靜態(tài)閾值,適用于活躍度較低的會(huì)議如培訓(xùn)類或宣講類,靜態(tài)閾值可設(shè)置為基礎(chǔ)性地背景噪音。中心控制設(shè)備先獲取n個(gè)音頻流的音量的平均值,然后,根據(jù)n個(gè)音頻流的音量的平均值確定所述第一音量閾值。進(jìn)一步的,中心控制設(shè)備確定音量大于所述第一音量閾值的音頻流,若音量大于所述第一音量閾值的音頻流的個(gè)數(shù)大于預(yù)設(shè)混音路數(shù),將音量大于所述第一音量閾值的音頻流按照音量從大到小排序,獲取預(yù)設(shè)混音路數(shù)的音頻流,將預(yù)設(shè)混音路數(shù)的音頻流進(jìn)行混音;若音量大于所述第一音量閾值的音頻流的個(gè)數(shù)小于等于預(yù)設(shè)混音路數(shù),直接將音量大于所述第一音量閾值的音頻流進(jìn)行混音。
步驟205、中心控制設(shè)備確定音量小于或等于第一音量閾值的音頻流。
步驟206、中心控制設(shè)備向音量小于或等于第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文。
所述暫停指示用于指示x個(gè)音頻流對(duì)應(yīng)的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。
進(jìn)一步的,所述包括暫停指示的rtcp報(bào)文還包括閾值,所述閾值用于表示所述第一音量閾值,使得接收到包括暫停指示的rtcp報(bào)文的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端根據(jù)所述第一音量閾值實(shí)時(shí)監(jiān)測音頻流的音量,當(dāng)所述任一發(fā)送端的音頻流的音量大于所述第一音量閾值時(shí)向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
可選的,所述包括暫停指示的rtcp報(bào)文還包括剩余最大數(shù),所述剩余最大數(shù)用于表示還可混音路數(shù),所述還可混音路數(shù)為l-m,l表示預(yù)設(shè) 混音路數(shù),m表示已混音路數(shù),當(dāng)所述還可混音路數(shù)大于0時(shí),使所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端向所述中心控制設(shè)備包括恢復(fù)請(qǐng)求rtcp報(bào)文;
可選的,所述包括暫停指示的rtcp報(bào)文還包括是否關(guān)聯(lián)視頻流,所述是否關(guān)聯(lián)視頻流用于指示所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端暫停向所述中心控制設(shè)備發(fā)送音頻流的同時(shí)暫停向所述中心控制設(shè)備發(fā)送與所述音頻流關(guān)聯(lián)的視頻流。
步驟207、發(fā)送端n接收中心控制設(shè)備發(fā)送的包括暫停指示的rtcp報(bào)文。
所述暫停指示用于指示發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。
步驟208、發(fā)送端n向中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文。
所述暫停響應(yīng)用于表示發(fā)送端已暫停向中心控制設(shè)備發(fā)送音頻流。
步驟209、中心控制設(shè)備發(fā)送音頻流。
中心控制設(shè)備再向所有發(fā)送端發(fā)送音頻流,但是中心控制設(shè)備不接收發(fā)送端n的音頻流。
這樣一來,中心控制設(shè)備接收到n個(gè)發(fā)送端上報(bào)的音頻流的音量后,根據(jù)n個(gè)音頻流的音量確定第一音量閾值,并確定音量小于或等于所述第一音量閾值的音頻流,向音量小于或等于第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文,指示每個(gè)發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
實(shí)施例3
本發(fā)明實(shí)施例提供一種調(diào)整媒體流傳輸?shù)姆椒?,假設(shè)有5個(gè)發(fā)送端參加會(huì)議,如圖6所示,包括:
步驟301、中心控制設(shè)備接收rtp報(bào)文。
中心控制設(shè)備接收所有發(fā)送端發(fā)送的rtp報(bào)文。示例的,假設(shè)中心控制設(shè)備接收到發(fā)送端1發(fā)送的包括第一音頻流和第一音頻流的音量的rtp報(bào)文,還接收到發(fā)送端2發(fā)送的包括第二音頻流和第二音頻流的音量的rtp報(bào)文,還接收到發(fā)送端3發(fā)送的包括第三音頻流和第三音頻流的音量的rtp報(bào)文,還接收到發(fā)送端4發(fā)送的包括第四音頻流和第四音頻 流的音量的rtp報(bào)文,還接收到發(fā)送端5發(fā)送的包括第五音頻流和第五音頻流的音量的rtp報(bào)文。
步驟302、中心控制設(shè)備確定第一音量閾值。
中心控制設(shè)備按照五路音頻流的音量確定第一音量閾值,首先,中心控制設(shè)備按照五路音頻流的音量從大到小排序。
假設(shè)第一音頻流的音量為a,第二音頻流的音量為b,第三音頻流的音量為c,第四音頻流的音量為d,第五音頻流的音量為e,若e>c>d>b>a,再從按照五路音頻流的音量從大到小排序的音頻流中,將第五音頻流、第三音頻流和第四音頻流這前三路音頻流確定為中心控制設(shè)備需要進(jìn)行混音的三路音頻流。需要說明的是,通常,現(xiàn)有技術(shù)中最多混音三路,如果混合大于三路的音頻流,人耳可能無法識(shí)別該多路混音。當(dāng)然,也可以不限于三路。
進(jìn)一步的,中心控制設(shè)備將第四路的音頻流的音量與第二路的音頻流的音量間的任一個(gè)音量確定為所述第一音量閾值。
步驟303、中心控制設(shè)備確定第二音頻流的音量等于第一音量閾值,以及第一音頻流的音量小于第一音量閾值。
需要說明的是,在一種實(shí)現(xiàn)方式中,若已混音路數(shù)小于預(yù)設(shè)混音路數(shù),也可以將音頻流的音量等于第一音量閾值的音頻流進(jìn)行混音。
步驟304、中心控制設(shè)備向發(fā)送端1和發(fā)送端2發(fā)送包括暫停指示的rtcp報(bào)文。
所述暫停指示用于指示發(fā)送端1和發(fā)送端2暫停向中心控制設(shè)備發(fā)送音頻流。進(jìn)一步的,包括暫停指示的rtcp報(bào)文還包括閾值,所述閾值用于表示所述第一音量閾值,使得接收到包括暫停指示的rtcp報(bào)文的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端根據(jù)所述第一音量閾值實(shí)時(shí)監(jiān)測音頻流的音量,當(dāng)所述任一發(fā)送端的音頻流的音量大于所述第一音量閾值時(shí)向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文,x為大于等于1且小于n的自然數(shù)。
包括暫停指示的rtcp報(bào)文還包括剩余最大數(shù)和是否關(guān)聯(lián)視頻流,所述剩余最大數(shù)用于表示還可混音路數(shù),所述還可混音路數(shù)為l-m,l表示預(yù)設(shè)混音路數(shù),m表示已混音路數(shù),當(dāng)所述還可混音路數(shù)大于0時(shí),使所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中任一發(fā)送端向所述中心控制設(shè)備包括恢復(fù)請(qǐng)求rtcp報(bào)文,所述是否關(guān)聯(lián)視頻流用于指示所述x個(gè)音頻流對(duì)應(yīng)的 發(fā)送端中任一發(fā)送端暫停向所述中心控制設(shè)備發(fā)送音頻流的同時(shí)暫停向所述中心控制設(shè)備發(fā)送與所述音頻流關(guān)聯(lián)的視頻流。
步驟305、發(fā)送端1接收中心控制設(shè)備發(fā)送的包括暫停指示的rtcp報(bào)文。
步驟306、發(fā)送端2接收中心控制設(shè)備發(fā)送的包括暫停指示的rtcp報(bào)文。
步驟307、發(fā)送端1向中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文。
所述暫停響應(yīng)用于表示發(fā)送端1已暫停向中心控制設(shè)備發(fā)送音頻流。
步驟308、發(fā)送端2向中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文。
所述暫停響應(yīng)用于表示發(fā)送端2已暫停向中心控制設(shè)備發(fā)送音頻流。
步驟309、中心控制設(shè)備發(fā)送混音。
其中,中心控制設(shè)備將發(fā)送端3的第三音頻流、發(fā)送端4的第四音頻流和發(fā)送端5的第五音頻流的混音發(fā)送至發(fā)送端1。
中心控制設(shè)備將發(fā)送端3的第三音頻流、發(fā)送端4的第四音頻流和發(fā)送端5的第五音頻流的混音發(fā)送至發(fā)送端2。
中心控制設(shè)備將發(fā)送端4的第四音頻流和發(fā)送端5的第五音頻流的混音發(fā)送至發(fā)送端3。
中心控制設(shè)備將發(fā)送端3的第三音頻流和發(fā)送端5的第五音頻流的混音發(fā)送至發(fā)送端4。
中心控制設(shè)備將發(fā)送端3的第三音頻流和發(fā)送端4的第四音頻流的混音發(fā)送至發(fā)送端5。
這樣一來,中心控制設(shè)備接收到5個(gè)發(fā)送端上報(bào)的音頻流的音量后,根據(jù)音頻流的音量確定第一音量閾值,并取得發(fā)送端1的音量小于第一音量閾值,以及發(fā)送端2的音量等于第一音量閾值,向發(fā)送端1和發(fā)送端2發(fā)送包括暫停指示的rtcp報(bào)文。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
上述圖6所示的方法步驟具體的可以由圖4所示的計(jì)算機(jī)設(shè)備實(shí)現(xiàn)。示例的,步驟301所述的接收rtp報(bào)文,和步驟304所述的發(fā)送rtcp報(bào)文,以及步驟305所述的接收rtcp報(bào)文,步驟309所述的發(fā)送音頻流,以及其他發(fā)送接收的方法步驟都可以由通信接口104來實(shí)現(xiàn)。步驟 302所述的確定第一音量閾值,步驟303所述的確定音量小于或等于第一音量閾值的音頻流等處理報(bào)文的方法步驟可以由處理器101來實(shí)現(xiàn)。
如圖7所示,在發(fā)送端被暫停向中心控制設(shè)備發(fā)送音頻流之后,還可以按照下面的方法來恢復(fù)音頻流的發(fā)送。例如,可以在步驟309之后,暫停發(fā)送音頻流的發(fā)送端可以繼續(xù)監(jiān)測音頻流的音量,判斷音量是否大于音量閾值,從而向中心控制設(shè)備發(fā)送音頻流,具體的還包括以下步驟。
步驟310、發(fā)送端1保存第一音量閾值。
步驟311、發(fā)送端2保存第一音量閾值。
步驟312、發(fā)送端1監(jiān)測該發(fā)送端的音頻流的音量。
步驟313、發(fā)送端1判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于第一音量閾值。
步驟314、發(fā)送端1向中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
所述恢復(fù)請(qǐng)求包括發(fā)送端1更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于發(fā)送端1請(qǐng)求中心控制設(shè)備指示發(fā)送端1向中心控制設(shè)備發(fā)送音頻流。
進(jìn)一步的,包括恢復(fù)請(qǐng)求的rtcp報(bào)文還包括視頻流的關(guān)聯(lián)情況,發(fā)送端請(qǐng)求中心控制設(shè)備指示該發(fā)送端向中心控制設(shè)備發(fā)送音頻流的同時(shí),還請(qǐng)求中心控制設(shè)備指示該發(fā)送端向中心控制設(shè)備發(fā)送視頻流。與音頻流關(guān)聯(lián)的視頻流都需要保持同音頻流相關(guān)的操作。
步驟315、中心控制設(shè)備接收發(fā)送端1發(fā)送的包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
步驟316、中心控制設(shè)備判斷發(fā)送端1更新的音頻流的音量是否大于已混音路數(shù)中任一路音頻流的音量。
判斷發(fā)送端1再次上報(bào)的更新的音頻流的音量是否大于第五音頻流的音量、第四音頻流的音量和第三音頻流的音量。
若發(fā)送端1的音頻流的音量大于已混音路數(shù)中任一路音頻流的音量,執(zhí)行步驟317至步驟322;若發(fā)送端1更新的音頻流的音量小于或等于所有已混音的音頻流的音量,中心控制設(shè)備繼續(xù)按照已混音的音頻流發(fā)送給發(fā)送端,執(zhí)行步驟309。
假設(shè)發(fā)送端1再次上報(bào)更新的音頻流的音量大于第三音頻流的音量。
步驟317、中心控制設(shè)備根據(jù)發(fā)送端1更新的音頻流的音量和其他發(fā)送端的音頻流的音量確定第二音量閾值。
具體的確定方法可以參考步驟204中的具體描述。
步驟318、中心控制設(shè)備確定第二音頻流的音量等于第二音量閾值,以及第三音頻流的音量小于第二音量閾值。
步驟319、中心控制設(shè)備向發(fā)送端3發(fā)送包括暫停指示的rtcp報(bào)文。
所述中心控制設(shè)備向所述音量小于或等于所述第二音量閾值的y個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文。
步驟320、發(fā)送端3向中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文。
需要說明的是,包括暫停響應(yīng)的rtcp報(bào)文還包括第二音量閾值,以便于發(fā)送端3保存該第二音量閾值,監(jiān)測發(fā)送端3的音頻流的音量,判斷監(jiān)測到的該發(fā)送端3更新的音頻流的音量大于所述第二音量閾值,向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
步驟321、中心控制設(shè)備向發(fā)送端1發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文。
所述恢復(fù)響應(yīng)用于中心控制設(shè)備指示該發(fā)送端1向中心控制設(shè)備發(fā)送音頻流。
步驟322、中心控制設(shè)備發(fā)送混音。
其中,中心控制設(shè)備接收發(fā)送端1發(fā)送的更新的音頻流后,中心控制設(shè)備將發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端1。
中心控制設(shè)備將發(fā)送端1更新的音頻流、發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端2。
中心控制設(shè)備將發(fā)送端1更新的音頻流、發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端3。
中心控制設(shè)備將發(fā)送端1更新的音頻流和發(fā)送端5再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端4。
中心控制設(shè)備發(fā)送端1更新的音頻流和發(fā)送端4再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端5。
這樣一來,接收到暫停指示的發(fā)送端,暫停向中心控制設(shè)備發(fā)送音頻流,并保存音量閾值,通過繼續(xù)實(shí)時(shí)監(jiān)測該發(fā)送端的音頻流的音量,當(dāng)音頻流的音量大于音量閾值時(shí),向中心控制設(shè)備發(fā)送恢復(fù)請(qǐng)求,以便于向中心控制設(shè)備發(fā)送更新的音頻流,使得發(fā)送端能夠接收到清楚的混音。
上述圖7所示的方法步驟具體的可以由圖4所示的計(jì)算機(jī)設(shè)備實(shí)現(xiàn)。示例的,步驟310和步驟311所述的保存第一音量閾值由存儲(chǔ)器103來實(shí)現(xiàn);步驟314所述的發(fā)送rtcp報(bào)文和步驟322所述的發(fā)送音頻流, 以及其他發(fā)送接收的方法步驟都可以由通信接口104來實(shí)現(xiàn)。步驟312所述的監(jiān)測該發(fā)送端的音頻流的音量,步驟313所述的判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于第一音量閾值,步驟317所述的確定第二音量閾值等處理報(bào)文的方法步驟,可以由處理器101來實(shí)現(xiàn)。
如圖8所示,在發(fā)送端被暫停向中心控制設(shè)備發(fā)送音頻流之后,還可以按照下面的方法來恢復(fù)音頻流的發(fā)送,中心控制設(shè)備通過判斷混音路數(shù)是否還可以再混音,從而向暫停發(fā)送音頻流的發(fā)送端發(fā)送恢復(fù)響應(yīng),具體的還包括以下步驟。
步驟323、中心控制設(shè)備判斷已混音路數(shù)是否小于中心控制設(shè)備預(yù)設(shè)混音路數(shù)。
可選的,中心控制設(shè)備可能接收到中心控制設(shè)備允許發(fā)送音頻流的發(fā)送端發(fā)送的離會(huì)消息,中心控制設(shè)備判斷已混音路數(shù)小于中心控制設(shè)備預(yù)設(shè)混音路數(shù)。
可選的,由于音頻流是實(shí)時(shí)傳輸,每時(shí)每刻的音頻流的音量大小可能不同,中心控制設(shè)備可能接收到發(fā)送端發(fā)送的音頻流的音量小于音量閾值,則不允許該發(fā)送端發(fā)送音頻流,中心控制設(shè)備判斷已混音路數(shù)小于中心控制設(shè)備預(yù)設(shè)混音路數(shù)。
當(dāng)所述已混音路數(shù)小于所述預(yù)設(shè)混音路數(shù),執(zhí)行步驟324或步驟326。
需要說明的是,當(dāng)發(fā)送端1的音頻流的音量大于發(fā)送端2的音頻流的音量,且發(fā)送端1的音頻流的音量大于第一音量閾值,執(zhí)行步驟324。同理,當(dāng)發(fā)送端2的音頻流的音量大于發(fā)送端1的音頻流的音量,且發(fā)送端2的音頻流的音量大于第一音量閾值,執(zhí)行步驟326。
當(dāng)所述已混音路數(shù)等于所述預(yù)設(shè)混音路數(shù),執(zhí)行步驟309,繼續(xù)發(fā)送混音。
步驟324、中心控制設(shè)備向發(fā)送端1發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文。
所述恢復(fù)響應(yīng)用于中心控制設(shè)備指示該發(fā)送端向中心控制設(shè)備發(fā)送音頻流。
步驟325、中心控制設(shè)備發(fā)送混音。
其中,中心控制設(shè)備接收發(fā)送端1發(fā)送的更新的音頻流后,中心控制設(shè)備將發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端1。
中心控制設(shè)備將發(fā)送端1更新的音頻流、發(fā)送端4再次上報(bào)的音頻流 和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端2。
中心控制設(shè)備將發(fā)送端1更新的音頻流、發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端3。
中心控制設(shè)備將發(fā)送端1更新的音頻流和發(fā)送端5再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端4。
中心控制設(shè)備發(fā)送端1更新的音頻流和發(fā)送端4再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端5。
步驟326、中心控制設(shè)備向發(fā)送端2發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文。
步驟327、中心控制設(shè)備向發(fā)送端2、發(fā)送端4和發(fā)送端5發(fā)送混音。
其中,中心控制設(shè)備接收發(fā)送端2發(fā)送的更新的音頻流后,中心控制設(shè)備將發(fā)送端2更新的音頻流、發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端1。
中心控制設(shè)備將發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端2。
中心控制設(shè)備將發(fā)送端2更新的音頻流、發(fā)送端4再次上報(bào)的音頻流和發(fā)送端5再次上報(bào)的音頻流發(fā)送至發(fā)送端3。
中心控制設(shè)備將發(fā)送端2更新的音頻流和發(fā)送端5再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端4。
中心控制設(shè)備發(fā)送端2更新的音頻流和發(fā)送端4再次上報(bào)的音頻流混音后發(fā)送至發(fā)送端5。
需要說明的是,在步驟316之前,可以先執(zhí)行步驟323,中心控制設(shè)備判斷已混音路數(shù)是否小于中心控制設(shè)備預(yù)設(shè)混音路數(shù),當(dāng)已混音路數(shù)等于預(yù)設(shè)混音路數(shù),中心控制設(shè)備再判斷所述發(fā)送端的音頻流的音量是否大于已混音路數(shù)中任一路音頻流的音量。
這樣一來,接收到暫停指示的發(fā)送端,暫停向中心控制設(shè)備發(fā)送音頻流后,若中心控制設(shè)備判斷已混音路數(shù)小于中心控制設(shè)備預(yù)設(shè)混音路數(shù),主動(dòng)向暫停向中心控制設(shè)備發(fā)送音頻流的發(fā)送端發(fā)送包括恢復(fù)響應(yīng)的rtcp報(bào)文,來指示該發(fā)送端向中心控制設(shè)備發(fā)送音頻流,提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
上述圖8所示的方法步驟具體的可以由圖4所示的計(jì)算機(jī)設(shè)備實(shí)現(xiàn)。示例的,步驟324所述的發(fā)送rtcp報(bào)文和步驟325所述的發(fā)送音頻流,以及其他發(fā)送接收的方法步驟都可以由通信接口104來實(shí)現(xiàn)。步驟323 所述的判斷已混音路數(shù)是否小于中心控制設(shè)備預(yù)設(shè)混音路數(shù)等處理報(bào)文的方法步驟,可以由處理器101來實(shí)現(xiàn)。
如圖9所示,在發(fā)送端被暫停向中心控制設(shè)備發(fā)送音頻流之后,還可以按照下面的方法來發(fā)送更新消息。例如,可以在步驟309之后,所述方法還包括以下步驟。
步驟328、中心控制設(shè)備向發(fā)送端1發(fā)送包括更新消息的rtcp報(bào)文。
所述更新消息包括第三音量閾值和還可混音路數(shù),所述還可混音路數(shù)為預(yù)設(shè)混音路數(shù)與已混音路數(shù)之差。
步驟329、中心控制設(shè)備向發(fā)送端2發(fā)送包括更新消息的rtcp報(bào)文。
步驟330、發(fā)送端1接收中心控制設(shè)備發(fā)送的包括更新消息的rtcp報(bào)文。
步驟331、發(fā)送端2接收中心控制設(shè)備發(fā)送的包括更新消息的rtcp報(bào)文。
步驟332、發(fā)送端1保存第三音量閾值。
步驟333、發(fā)送端1監(jiān)測該發(fā)送端的音頻流的音量。
當(dāng)監(jiān)測到的該發(fā)送端1更新的音頻流的音量大于第三音量閾值時(shí),或,當(dāng)還可混音路數(shù)大于0時(shí),執(zhí)行步驟334。
步驟334、發(fā)送端1向中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
所述恢復(fù)請(qǐng)求包括所述發(fā)送端更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于發(fā)送端請(qǐng)求中心控制設(shè)備指示該發(fā)送端向中心控制設(shè)備發(fā)送音頻流。
步驟335、中心控制設(shè)備接收發(fā)送端1發(fā)送的包括恢復(fù)請(qǐng)求的rtcp報(bào)文。
中心控制設(shè)備接收發(fā)送端1發(fā)送的包括恢復(fù)請(qǐng)求的rtcp報(bào)文之后的詳細(xì)步驟可以參考步驟316及以后的步驟所述,本發(fā)明在此不再贅述。
同理,發(fā)送端2也可以執(zhí)行步驟332至步驟334。
這樣一來,接收到暫停指示的發(fā)送端,暫停向中心控制設(shè)備發(fā)送音頻流后,中心控制設(shè)備還可以主動(dòng)向暫停向中心控制設(shè)備發(fā)送音頻流的發(fā)送端發(fā)送包括更新消息的rtcp報(bào)文,該更新消息的rtcp報(bào)文包括第三音量閾值和還可混音路數(shù),使得發(fā)送端通過判斷該發(fā)送端更新的音頻流的音量大于第三音量閾值時(shí),或,當(dāng)還可混音路數(shù)大于0時(shí),再向中心控制設(shè)備發(fā)送音頻流,從而提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
上述圖9所示的方法步驟具體的可以由圖4所示的計(jì)算機(jī)設(shè)備實(shí)現(xiàn)。示例的,步驟332所述的保存第三音量閾值由存儲(chǔ)器103來實(shí)現(xiàn);步驟328所述的發(fā)送rtcp報(bào)文和步驟330所述的接收rtcp報(bào)文,以及其他發(fā)送接收的方法步驟都可以由通信接口104來實(shí)現(xiàn)。步驟333所述的監(jiān)測該發(fā)送端的音頻流的音量等處理報(bào)文的方法步驟,可以由處理器101來實(shí)現(xiàn)。
上述方法,中心控制設(shè)備向發(fā)送端及時(shí)發(fā)送更新消息,使得發(fā)送端能夠恢復(fù)發(fā)送音頻流。實(shí)際應(yīng)用中,可以周期性的發(fā)送更新消息,周期可以根據(jù)實(shí)際情況自行設(shè)定,這里不做限定。
如圖10所示,本發(fā)明提供一種rtcp報(bào)文結(jié)構(gòu)示意圖,包括:
目標(biāo)同步信源標(biāo)識(shí)符(targetssrc),占32位,該標(biāo)識(shí)符是隨機(jī)選擇的,參加同一視頻會(huì)議的兩個(gè)同步信源不能有相同的ssrc。
類型(type)用于表示rtcp報(bào)文為暫停、恢復(fù)、更新或響應(yīng)中那種類型的報(bào)文。該包括暫停指示的rtcp報(bào)文的類型表示暫停。
版本(res)用于表示協(xié)議的版本。
參數(shù)長度(parameterlen)用于表示rtcp報(bào)文的長度。
當(dāng)rtcp報(bào)文為包括暫停指示的rtcp報(bào)文,該rtcp報(bào)文還包括暫停標(biāo)識(shí)(pauseid)用于表示暫停發(fā)送音頻流的發(fā)送端的標(biāo)識(shí)。
該包括暫停指示的rtcp報(bào)文還包括閾值類型(typethreshold)用于表示動(dòng)態(tài)閾值或靜態(tài)閾值。閾值(thresholdvalue)用于表示音量閾值。
可選的,該包括暫停指示的rtcp報(bào)文還包括剩余最大數(shù)(remainingmixnum)用于表示還可混音路數(shù),表示中心控制設(shè)備能支持的最大混音路數(shù)減去實(shí)際已經(jīng)混音路數(shù)。
可選的,該包括暫停指示的rtcp報(bào)文還包括是否關(guān)聯(lián)視頻流(isrelatedvideo)用于表示中心控制設(shè)備是否需要對(duì)音頻流關(guān)聯(lián)的視頻流做同音頻流相同的暫?;蚧謴?fù)操作,可以用是或否表示。是就表示需要對(duì)音頻流關(guān)聯(lián)的視頻流做同音頻流相同的暫?;蚧謴?fù)操作;否就表示不需要對(duì)音頻流關(guān)聯(lián)的視頻流做同音頻流相同的暫?;蚧謴?fù)操作。
需要說明的是,暫停標(biāo)識(shí)、閾值類型、閾值、剩余最大數(shù)和是否關(guān)聯(lián)視頻流可以在rtcp報(bào)文的保留位設(shè)置。
進(jìn)一步,當(dāng)rtcp報(bào)文為包括恢復(fù)請(qǐng)求的rtcp報(bào)文,該包括恢復(fù)請(qǐng)求的rtcp報(bào)文還包括音頻流的音量(audiolevel)用于表示音頻流 的音量值。
實(shí)施例4
本發(fā)明實(shí)施例提供一種中心控制設(shè)備30,如圖11所示,包括:
接收單元301,用于獲取n個(gè)發(fā)送端發(fā)送的實(shí)時(shí)傳輸協(xié)議rtp報(bào)文,每個(gè)所述rtp報(bào)文包括音頻流的音量,n為大于等于2的自然數(shù);
處理單元302,用于根據(jù)n個(gè)音頻流的音量確定第一音量閾值;
所述處理單元302,還用于確定音量小于或等于所述第一音量閾值的音頻流;
發(fā)送單元303,用于向所述音量小于或等于所述第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的實(shí)時(shí)傳輸控制協(xié)議rtcp報(bào)文,x為大于等于1且小于n的自然數(shù),所述暫停指示用于指示所述x個(gè)音頻流對(duì)應(yīng)的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。
這樣一來,中心控制設(shè)備接收到n個(gè)發(fā)送端上報(bào)的音頻流的音量后,根據(jù)n個(gè)音頻流的音量確定第一音量閾值,并確定音量小于或等于所述第一音量閾值的音頻流,向音量小于或等于第一音量閾值的x個(gè)音頻流對(duì)應(yīng)的發(fā)送端中每個(gè)發(fā)送端發(fā)送包括暫停指示的rtcp報(bào)文,指示每個(gè)發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流。從而中心控制設(shè)備根據(jù)發(fā)送端上報(bào)的音頻流的音量來確定混音的音頻流,進(jìn)一步向不需要混音的發(fā)送端發(fā)送暫停指示,使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
在本實(shí)施例中,中心控制設(shè)備30是以功能單元的形式來呈現(xiàn)。這里的“單元”可以指特定應(yīng)用集成電路(英文全稱:application-specificintegratedcircuit,英文簡稱:asic),電路,執(zhí)行一個(gè)或多個(gè)軟件或固件程序的處理器和存儲(chǔ)器,集成邏輯電路,和/或其他可以提供上述功能的器件。在一個(gè)簡單的實(shí)施例中,本領(lǐng)域的技術(shù)人員可以想到中心控制設(shè)備30可以采用圖11所示的形式。接收單元301,處理單元302和發(fā)送單元303可以通過圖4的計(jì)算機(jī)設(shè)備來實(shí)現(xiàn),具體的,接收單元301,和發(fā)送單元303可以由通信接口104實(shí)現(xiàn),處理單元302可以由處理器101實(shí)現(xiàn)。
實(shí)施例5
本發(fā)明實(shí)施例提供一種發(fā)送端40,如圖12所示,包括:
發(fā)送單元401,用于向中心控制設(shè)備發(fā)送實(shí)時(shí)傳輸協(xié)議rtp報(bào)文,所述rtp報(bào)文包括音頻流的音量;
接收單元402,用于接收所述中心控制設(shè)備發(fā)送的包括暫停指示的實(shí)時(shí)傳輸控制協(xié)議rtcp報(bào)文,所述暫停指示用于指示發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流;
所述發(fā)送單元401,還用于向所述中心控制設(shè)備發(fā)送包括暫停響應(yīng)的rtcp報(bào)文,所述暫停響應(yīng)用于表示發(fā)送端已暫停向中心控制設(shè)備發(fā)送音頻流。
這樣一來,發(fā)送端向中心控制設(shè)備發(fā)送音頻流和音頻流的音量,中心控制設(shè)備接收到多個(gè)發(fā)送端上報(bào)的音頻流的音量后,根據(jù)音頻流的音量確定混音路數(shù)以及音量閾值,當(dāng)音頻流的音量小于等于音量閾值,向該音頻流所對(duì)應(yīng)的發(fā)送端發(fā)送rtcp報(bào)文,該rtcp報(bào)文包括暫停指示,指示發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,發(fā)送端接收到中心控制設(shè)備發(fā)送的暫停指示,后暫停向中心控制設(shè)備發(fā)送音頻流。從而使得不需要混音的發(fā)送端暫停向中心控制設(shè)備發(fā)送音頻流,能夠有效提高發(fā)送端與中心控制設(shè)備間的處理資源的利用率。
所述包括暫停指示的rtcp報(bào)文還包括第一音量閾值,如圖12所示,所述發(fā)送端40還包括:
存儲(chǔ)單元403,用于保存所述第一音量閾值;
監(jiān)測單元404,用于監(jiān)測該發(fā)送端的音頻流的音量;
處理單元405,用于判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于所述第一音量閾值;
所述發(fā)送單元401,還用于向所述中心控制設(shè)備發(fā)送包括恢復(fù)請(qǐng)求的rtcp報(bào)文,所述恢復(fù)請(qǐng)求包括所述發(fā)送端更新的音頻流的音量,所述恢復(fù)請(qǐng)求用于請(qǐng)求中心控制設(shè)備指示發(fā)送端向中心控制設(shè)備發(fā)送音頻流。
所述接收單元402,還用于接收所述中心控制設(shè)備發(fā)送的包括更新消息的rtcp報(bào)文,所述更新消息包括第二音量閾值和還可混音路數(shù);
所述存儲(chǔ)單元403,還用于保存所述第二音量閾值;
所述監(jiān)測單元404,還用于監(jiān)測該發(fā)送端的音頻流的音量;
所述處理單元405,還用于判斷監(jiān)測到的該發(fā)送端更新的音頻流的音量大于所述第二音量閾值。
在本實(shí)施例中,發(fā)送端40是以功能單元的形式來呈現(xiàn)。這里的“單元”可以指特定應(yīng)用集成電路(英文全稱:application-specificintegratedcircuit,英文簡稱:asic),電路,執(zhí)行一個(gè)或多個(gè)軟件或固件程序的處理 器和存儲(chǔ)器,集成邏輯電路,和/或其他可以提供上述功能的器件。在一個(gè)簡單的實(shí)施例中,本領(lǐng)域的技術(shù)人員可以想到發(fā)送端40可以采用圖12所示的形式。發(fā)送單元401、接收單元402、存儲(chǔ)單元403、監(jiān)測單元404和處理單元405可以通過圖4的計(jì)算機(jī)設(shè)備來實(shí)現(xiàn),具體的,接收單元402,和發(fā)送單元401可以由通信接口104實(shí)現(xiàn),處理單元302和監(jiān)測單元404可以由處理器101實(shí)現(xiàn)。
本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),用于儲(chǔ)存為上述圖11所示的中心控制設(shè)備所用的計(jì)算機(jī)軟件指令,其包含用于執(zhí)行上述方法實(shí)施例所設(shè)計(jì)的程序。通過執(zhí)行存儲(chǔ)的程序,可以實(shí)現(xiàn)控制音頻流的暫停。
本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),用于儲(chǔ)存為上述圖12所示的發(fā)送端所用的計(jì)算機(jī)軟件指令,其包含用于執(zhí)行上述方法實(shí)施例所設(shè)計(jì)的程序。通過執(zhí)行存儲(chǔ)的程序,可以實(shí)現(xiàn)控制音頻流的暫停。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的裝置和單元的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再贅述。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理包括,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。
本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成,前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),執(zhí)行包括上述方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:只讀存儲(chǔ)器(read-onlymemory,rom)、隨機(jī)存取存儲(chǔ)器(random-accessmemory,ram)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。