專利名稱：視頻指揮調(diào)度系統(tǒng)中的混音方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音通信技術(shù)領(lǐng)域，尤其涉及視頻指揮調(diào)度系統(tǒng)中的混音方法。
背景技術(shù)：
隨著技術(shù)的飛速發(fā)展和各行業(yè)競爭的日益激烈，降低運(yùn)營成本、提高工作效率、加強(qiáng)異 地各部門之間的聯(lián)系、保證上級對下級工作環(huán)境和工作狀況的清晰了解等問題逐漸顯現(xiàn)出來， 視頻指揮調(diào)度系統(tǒng)應(yīng)運(yùn)而生，而在實(shí)際的視頻指揮調(diào)度應(yīng)用中，語音信號仍然是不可或缺的
重要信息。
通常，視頻指揮,度系統(tǒng)采用的混音方法與視頻會議類似(模型參見P 1)，即首先獲取 各與會方的音頻信號，然后將各方的信號量以平等的權(quán)重進(jìn)行混合，混合的方法有①直接 將音頻數(shù)據(jù)進(jìn)行加和，在與會方較多的情況下，有可能過多的人同時(shí)說話導(dǎo)致音頻信號溢出 從而失真；如果背景噪聲較大的話，疊加后的噪聲甚至可能直接掩蓋有效音頻信號；②按比 例減小音頻數(shù)據(jù)大小，然后進(jìn)行加和，這樣有可能在同時(shí)說話的人較少時(shí)混合輸出的音量太 ??；③強(qiáng)行抑制越界，也就是在加和各方音頻數(shù)據(jù)之后，在溢出的區(qū)域乘以衰減因子以消除 音頻數(shù)據(jù)越界現(xiàn)象。
綜上所述，由于混音算法本身的固有缺陷，導(dǎo)致了與會方數(shù)量和會議效果都受到限制， 從而面減少了會議中有效參與方，也浪費(fèi)了有限的語音帶寬資源。本專利提出的混音方法能 夠很好的解決上述問題，在視頻指揮調(diào)度系統(tǒng)中應(yīng)用優(yōu)勢明顯，在視頻會議中也是一種很好 的混音方法。
視頻指揮調(diào)度系統(tǒng)中，通常根據(jù)與會各方的重要性將各方區(qū)分開
1. 指揮方通常是指揮調(diào)度系統(tǒng)中的上級，而這里的上級還直接參與指揮調(diào)度。
2. 接收方通常是指揮調(diào)度系統(tǒng)中的下級，而這里的下級還負(fù)責(zé)接受指揮方的指揮并對 指揮方發(fā)出的命令做出相應(yīng)的動作。
3. 參與方具有一定的指揮權(quán)限但是更多是以旁聽或顧問的身份與會。
4. 收聽方參與會議但沒有話語權(quán)。
由圖1所示，在普通的視頻指揮調(diào)度系統(tǒng)中，通常先解碼各與會方的音頻流，然后直接 進(jìn)行混合處理，再進(jìn)行編碼發(fā)送。這樣導(dǎo)致
1. 在參與方較多且背景噪聲較大的場合，由于噪聲疊加導(dǎo)致與會的重要信號被淹沒；
2. 沒有突出與會指揮方和接收方的重要性，保證他們的音頻數(shù)據(jù)能夠在系統(tǒng)中順暢的傳輸。
3.混合后輸出的音頻信號舒適度較差。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種混音方法，最大限度的保留視頻指揮調(diào)度系統(tǒng)中的重要信號， 突出指揮方和接收方的重要性，從而保證視頻指揮調(diào)度系統(tǒng)的有效運(yùn)行。 本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的 視頻指揮調(diào)度系統(tǒng)中的混音方法，包括以下步驟
A. 接收并解碼接收各與會方音頻數(shù)據(jù)并將其解碼。
B. 前處理①分析出音頻信號中噪聲信號的取值范圍，從而消除噪聲信號的影響；②根 據(jù)各與會方事要性分配不同的權(quán)重。
C. 混合處理將各路音頻信號進(jìn)行加權(quán)混合，獲得輸出音頻信號。
D. 后處理針對視頻指揮調(diào)度系統(tǒng)中不同的應(yīng)用環(huán)境進(jìn)行音頻信號的后處理，提高音頻 信號的舒適度。
E. 編碼并發(fā)送在帶寬有限的情況下優(yōu)先保證重要的參與方的音頻質(zhì)量。


圖1所示為普通視頻會議系統(tǒng)的模型
圖2所示為本發(fā)明所實(shí)施的混音方法示意圖 圖3所示為本發(fā)明所實(shí)施的混音方法流程圖
具體實(shí)施例方式
下面根據(jù)附圖和實(shí)例對本發(fā)明做進(jìn)一步詳細(xì)說明
混音系統(tǒng)簡化模型如圖2所示，假定與會方只有指揮方(A)，接收方(B)，參與方(C)， 收聽方(D)。則混音處理的詳細(xì)步驟(流程圖參見圖3)為
1. 接收并解碼接收各與會方的碼流，并將其解碼，解碼后的數(shù)據(jù)分別為A(x)、 B(x)、 C(x)。
2. 前處理這是混音中的核心部分。在Ai(x)、 Bi(x)、 Ci(x)中，有的與會方是有效音頻 信號，而有的與會方的音頻信號可能只是噪聲信號；而在有效音頻信號中，也可能包 含噪聲信息。因此，需要在前處理部分消除噪聲信號的影響，則在混合處理部分就能 夠更好的保留有效數(shù)據(jù)信息。
2.1降噪處理對Ai(x)、 Bi(x)、 Ci(x)進(jìn)行的降噪處理是相同的，即取連續(xù)的幾個(gè)時(shí)間片，對它們進(jìn)行能量分析，根據(jù)能量對比差別從而估算出噪聲的能量范圍(每 間隔一段時(shí)間重新估算一次)。當(dāng)與會方的某些時(shí)間段的數(shù)據(jù)范圍在噪聲的能量 范圍之內(nèi)，則直接將其置零，而在有效時(shí)間片則減去噪聲數(shù)據(jù)。這樣， 一方面減 少了參與混合處理的數(shù)據(jù)輸入方，另一方面也避免了由于與會方過多造成疊加噪 聲過大的情況。
2.2分配權(quán)重通常，進(jìn)行混音時(shí)是將各與會方的聲音進(jìn)行加和的，這也就意味著各 與會方不論其重要性，進(jìn)行加和的語音信號的權(quán)重都是1，這樣在時(shí)間片中僅有 一人或少數(shù)幾人發(fā)言時(shí)，語音失真的可能性較小，而當(dāng)出現(xiàn)同時(shí)發(fā)言人數(shù)較多的 情況，則即淹沒了重要與會人員的聲音，又使得混合的聲音失真。而通過合理的 分配權(quán)重則能夠很好的解決這一問題。所謂權(quán)重，指的就是根據(jù)個(gè)與會人員重要 性為瑪分配不同的比例因子，從而最大限度的保證重要的與會人員的音頻數(shù)據(jù)不 會被掩蓋或者丟失。下面將針對不同的角色提取比例因子
a) 指揮方在某些視頻指揮調(diào)度系統(tǒng)中，由于接收方背景噪聲過大，可能導(dǎo) 致噪聲信號完全掩蓋了接收方的有效信號，在這種情況下，只能以視頻作 為輔助，因此，指揮方的音頻顯得尤為重要。在這種情況下，有必要提高 指揮方的比例因子，并同時(shí)降低其余各方的比例因子。
b) 接收方在通常環(huán)境下，為了保證語音的交互，因此，指揮方和接收方的 重要性是相當(dāng)?shù)?，因此，可以將指揮方和接收方作為重要參與方，而將其 余各方看作次要參與方，并由此確保重要參與方的權(quán)重較大，而次要參與 方的權(quán)重較小。
C) 參與方通常參與方是作為次要參與方與會的，但是不排除有的次要參與 方能夠在特殊場合下發(fā)揮作用，因此，系統(tǒng)中將對次要參與方的與會重要 性進(jìn)行自適應(yīng)調(diào)整和判定，當(dāng)某些次要參與方累加發(fā)言時(shí)間較長時(shí)，將能 夠獲得和重要參與方相當(dāng)?shù)臋?quán)重，而當(dāng)其發(fā)言時(shí)間減少時(shí)，則減小其權(quán)重。
3. 混合處理就是將各與會方的聲音混合起來。由于在前處理部分已經(jīng)對各與會方的音 頻數(shù)據(jù)的權(quán)重進(jìn)行了適當(dāng)?shù)姆峙洌虼?，這里的混音就是對音頻數(shù)據(jù)進(jìn)行簡單的加權(quán) 處理。
4. 后處理經(jīng)過混合處理后，各方的混音數(shù)據(jù)為Ao(x)、 Bo(x)、 Co(x)、 Do(x)。由于混
合處理是將各方聲音的疊加，因此，可能出現(xiàn)如下兩種對音效影響較明顯的情況
4.1平滑處理混合處理是以時(shí)間片為單位對音頻數(shù)據(jù)進(jìn)行混合的，因此，時(shí)間間隔
之間可能會出現(xiàn)信號的突然上升或者突然下降的跳變現(xiàn)象，這樣會出現(xiàn)一些不協(xié)
6調(diào)的聲音，因此，需要對其進(jìn)行濾波處理，平滑音頻信號。 4.2平抑處理加權(quán)后的音頻信號可能在某些時(shí)間片內(nèi)有較多的數(shù)據(jù)溢出，也可能在 極少的時(shí)間片內(nèi)出現(xiàn)數(shù)據(jù)過大而其他時(shí)間的數(shù)據(jù)則非常小的情況，因此，有必要 針對不同的情境對音頻數(shù)據(jù)進(jìn)行不同的加工處理。針對前一種情況則將音頻數(shù)據(jù) 乘以一個(gè)比例因子縮小音頻數(shù)據(jù)；而針對后一種情況，則需要采用抑制因子，將 過于突出的波峰強(qiáng)行限制在非溢出范圍內(nèi)。 5.編碼和發(fā)送對于帶寬有限的環(huán)境下，為重要參與方分配的較大的帶寬，而為次要參
與方分配的較小的帶寬。 以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā) 明的保護(hù)范圍之,內(nèi)。
權(quán)利要求
1.一種視頻指揮調(diào)度系統(tǒng)的混音方法，包括以下步驟1.1接收各與會方的碼流并解碼；1.2對解碼后的數(shù)據(jù)進(jìn)行前處理；a)降噪處理通過較長時(shí)間的分析，提取出噪聲所在音頻數(shù)據(jù)的數(shù)值范圍，并以此為依據(jù)，置零純噪聲信號的時(shí)間片，其余時(shí)間片則減去預(yù)估的噪聲信號。b)提取能量因子根據(jù)各與會方的重要性和參與度的不同，智能的分配各信號進(jìn)行混音的權(quán)重(能量因子)。1.3根據(jù)對各與會方分配的權(quán)重，對各音頻數(shù)據(jù)進(jìn)行混合處理；1.4對混合后的數(shù)據(jù)進(jìn)行后處理a)平滑處理對混合后的音頻數(shù)據(jù)進(jìn)行平滑濾波處理；b)平抑處理將某些音量過大的時(shí)間片的音頻數(shù)據(jù)強(qiáng)制壓低在有效值范圍內(nèi)，防止溢出現(xiàn)象發(fā)生。1.5編碼和發(fā)送在編碼時(shí)，優(yōu)先保證重要參與方的音頻質(zhì)量。
2. 根據(jù)專利要求1所述的方法，其特征在于在視頻指揮調(diào)度系統(tǒng)中，側(cè)重于一方指揮， 另一方服從指揮并反饋信息這樣一種模式，因此，同一時(shí)間段說話的人非常少，但是 有權(quán)參與的人員可能比較多，因此，造成的疊加噪聲對有效信號造成的影響較大。
3. 根據(jù)專利要求2所述的方法，其特征在于通過一段時(shí)間對各與會音頻數(shù)據(jù)信號進(jìn)行 的能量分析，估算出噪聲信號的大致范圍。
4. 根據(jù)專利要求3所述的方法，其特征在于將等于或低于噪聲范圍的信號置零，而其 余信號需要減去估算的噪聲范圍。
5. 根據(jù)專利要求1所述的方法，其特征在于根據(jù)與會方的重要性和參與度的不同，為 音頻信號分配不同的權(quán)重，如一般參與方權(quán)重為1，重要參與方權(quán)重為2，次要參與方權(quán)重為0.5等。
6. 根據(jù)專利要求5所述的方法，其特征在于通過長時(shí)間累計(jì)估算參與方音頻信號的有效時(shí)間，再通過各方有效音頻時(shí)間的相對關(guān)系，從而確定與會各方的權(quán)重，而對于重 要參與方權(quán)重不低于1，次要參與方權(quán)重不高于1，從而保證參與視頻指揮調(diào)度系統(tǒng) 的重要參與方的有效音頻數(shù)據(jù)不被削弱。
7. 根據(jù)專利要求1所述的方法，其特征在于各與會方音頻數(shù)據(jù)乘以各自的權(quán)重，再進(jìn) 行累加，獲得各方的混合后輸出的原始音頻數(shù)據(jù)。
8. 根據(jù)專利要求1所述的方法，其特征在于對混音后的數(shù)據(jù)進(jìn)行平滑處理，由于人發(fā)出的聲音信號通常是緩慢漸變的數(shù)據(jù)，因此，對音頻數(shù)據(jù)進(jìn)行平滑處理能夠有效的提高舒適度。
9. 根據(jù)專利要求1所述的方法，其特征在于由于某些時(shí)間片可能出現(xiàn)較多的音頻數(shù)據(jù) 溢出情況，此時(shí)需要乘以一個(gè)統(tǒng)一的比例因子縮小音頻數(shù)據(jù)。
10. 根據(jù)專利要求1所述的方法，其特征在于由于某些極短的時(shí)間片可能出現(xiàn)聲音信號 遠(yuǎn)大于周邊信號(如突發(fā)性噪聲等)，為充分保證周邊信號的音量，將過大的信號乘 以衰減因子使其在合理范圍內(nèi)。
全文摘要
本發(fā)明提供了一種在視頻指揮調(diào)度系統(tǒng)中的混音方法，該方法包括A.根據(jù)視頻指揮調(diào)度系統(tǒng)的應(yīng)用場景分析噪聲信號的范圍，并在音頻數(shù)據(jù)信號中去除噪聲信號的影響；B.根據(jù)智能判定與會方的重要性并分配不同的權(quán)重；C.將與會各方的音頻數(shù)據(jù)乘以各自的權(quán)重，再作為混合處理的輸入方并累加算出輸出的音頻數(shù)據(jù)；D.對輸出的音頻信號進(jìn)行平滑處理；E.平抑部分溢出過大的波形；F.根據(jù)與會各方重要性的不同分配不同的帶寬。由上述發(fā)明提供的技術(shù)方案可以看出，本發(fā)明通過對各與會人員語音信號的分析，有效的消除了噪聲信號的影響，大幅度提高了語音傳輸系統(tǒng)中的有效信息量，保證了指揮調(diào)度系統(tǒng)在多種應(yīng)用環(huán)境下能夠可靠的運(yùn)行。
文檔編號H04N7/15GK101674450SQ20081021607
公開日2010年3月17日 申請日期2008年9月10日 優(yōu)先權(quán)日2008年9月10日
發(fā)明者劉為超 申請人:深圳市邦彥信息技術(shù)有限公司