1.一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述系統(tǒng)包括:至少兩個(gè)視頻通話(huà)終端,多噪音過(guò)濾處理引擎、以及多噪音過(guò)濾API管理服務(wù)器;所述多噪音過(guò)濾處理引擎、多噪音過(guò)濾API管理服務(wù)器通過(guò)通信網(wǎng)與兩個(gè)視頻通話(huà)終端連接;
一端的視頻通話(huà)終端進(jìn)行遠(yuǎn)場(chǎng)視頻通話(huà)時(shí),通話(huà)者遠(yuǎn)場(chǎng)聲音和多種噪音源會(huì)同時(shí)被視頻通話(huà)終端接收和錄制;
多噪音過(guò)濾處理引擎對(duì)遠(yuǎn)場(chǎng)聲音和多種噪音源進(jìn)行過(guò)濾處理;
多噪音過(guò)濾API管理服務(wù)器抑制多種噪音源增強(qiáng)通話(huà)主體的聲音,
另一端的視頻通話(huà)終端再接收經(jīng)過(guò)處理后的通話(huà)者主體的聲音。
2.根據(jù)權(quán)利要求1所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述視頻通話(huà)終端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話(huà)中間件模塊、麥克風(fēng)陣列錄音模塊、原始聲音增強(qiáng)模塊、通話(huà)主聲音和噪音源分離模塊、多噪音過(guò)濾引擎API、通話(huà)主聲音和噪音源合并模塊、視頻通話(huà)音視頻打包模塊、視頻通話(huà)傳輸模塊;
所述硬件驅(qū)動(dòng):設(shè)備包括內(nèi)部或外部硬件模塊,硬件驅(qū)動(dòng)是硬件模塊的驅(qū)動(dòng)軟件,一般在操作系統(tǒng)初始化階段完成初始化;
所述操作系統(tǒng)是設(shè)備硬件和硬件接口的統(tǒng)一接口抽象,操作系統(tǒng)是軟件運(yùn)行的基礎(chǔ)環(huán)境;
所述視頻通話(huà)中間件模塊:具有視頻通話(huà)功能基礎(chǔ)功能的軟件包;
所述麥克風(fēng)陣列錄音模塊:調(diào)用操作系統(tǒng)的麥克風(fēng)陣列接口,錄制聲音的模塊;
所述原始聲音增強(qiáng)模塊:調(diào)用音頻算法,將錄制的原始聲音增強(qiáng),即聲音信號(hào)的放大處理;
所述通話(huà)主聲音和噪音源分離模塊:調(diào)用多噪音過(guò)濾引擎API,將增強(qiáng)原始聲音作為輸入,輸出主聲音和噪音源;
所述多噪音過(guò)濾引擎API:作用是將增強(qiáng)原始聲音作為輸入,輸出主聲音人聲和噪音源;多噪音過(guò)濾引擎API能部署在本地設(shè)備或服務(wù)器上;
所述通話(huà)主聲音和噪音源合并模塊:增強(qiáng)主聲音,并抑制噪音源后,再將增強(qiáng)后的主聲音和減弱后的噪音源,合成一個(gè)聲音;
所述視頻通話(huà)音視頻打包模塊:視頻流按照H264/H265編碼方式編碼,再封裝成PES流;音頻按照AAC,AC3編碼方式編碼,再封裝PES流;音視頻的PES流再打包成適合網(wǎng)絡(luò)傳輸?shù)腡S流;
所述視頻通話(huà)傳輸模塊:TS流按照視頻通話(huà)業(yè)務(wù)邏輯在通信網(wǎng)絡(luò)中傳輸。
3.根據(jù)權(quán)利要求2所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述視頻通話(huà)中間件模塊包括:輸入設(shè)備管理模塊、音視頻預(yù)處理模塊、音視頻編碼模塊、音視頻打包模塊、以及網(wǎng)絡(luò)傳輸模塊。
4.根據(jù)權(quán)利要求2所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)中要關(guān)注數(shù)據(jù)的在各個(gè)模塊的輸入和輸出;
遠(yuǎn)場(chǎng)聲音輸入,包括:通話(huà)語(yǔ)音、環(huán)境噪音、回聲噪音、混響噪音和多人聲噪音;
麥克風(fēng)陣列錄音模塊接收和錄制上述遠(yuǎn)場(chǎng)聲音,并輸出數(shù)字信號(hào)的聲音;
數(shù)字化的遠(yuǎn)場(chǎng)聲音輸入到多噪音過(guò)濾處理引擎;
多噪音過(guò)濾處理引擎訪問(wèn)多噪音過(guò)濾API管理服務(wù)器獲取多噪音過(guò)濾引擎API;
多噪音過(guò)濾API管理服務(wù)器管理外部多噪音過(guò)濾引擎API;
多噪音過(guò)濾處理引擎調(diào)用多噪音過(guò)濾引擎API處理數(shù)字化的遠(yuǎn)場(chǎng)聲音,處理后得到增強(qiáng)遠(yuǎn)場(chǎng)人聲抑制多噪音源的聲音數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述多噪音過(guò)濾API管理服務(wù)器主要有以下功能:維護(hù)多噪音過(guò)濾引擎API,管理外部多噪音過(guò)濾引擎API,維護(hù)外部多噪音過(guò)濾引擎API適配內(nèi)部多噪音過(guò)濾引擎API;維護(hù)多噪音過(guò)濾引擎API的更新策略,維護(hù)外部多噪音過(guò)濾引擎API的管理策略,負(fù)責(zé)審計(jì)多噪音過(guò)濾引擎API的服務(wù)質(zhì)量。
6.根據(jù)權(quán)利要求1所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)系統(tǒng),其特征在于:所述遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)操作具體為:一端的視頻通話(huà)終端的麥克風(fēng)陣列錄音模塊接收遠(yuǎn)場(chǎng)視頻通話(huà)參與者的聲音以及相關(guān)聯(lián)的多種噪音源,視頻通話(huà)終端將原始的聲音數(shù)據(jù)通過(guò)原始聲音增強(qiáng)模塊做信號(hào)放大處理,然后交由本地或在線(xiàn)多噪音過(guò)濾處理引擎處理;本地或在線(xiàn)多噪音過(guò)濾處理引擎處理首先:通過(guò)通話(huà)主聲音和噪音源分離模塊分離出通話(huà)主體的聲音和多種噪音源;進(jìn)而通過(guò)所述多噪音過(guò)濾引擎API增強(qiáng)通話(huà)主體的聲音并抑制多種噪音源;進(jìn)而通過(guò)所述通話(huà)主聲音和噪音源合并模塊將增強(qiáng)后的通話(huà)主體聲音和抑制后的多種噪音源合并,并回傳給視頻通話(huà)終端;視頻通話(huà)終端將視頻數(shù)據(jù)和處理后的音頻數(shù)據(jù)通過(guò)所述視頻通話(huà)音視頻打包模塊打包成適合網(wǎng)絡(luò)傳輸?shù)木W(wǎng)絡(luò)包,經(jīng)過(guò)視頻通話(huà)中間件模塊的視頻通話(huà)傳輸模塊將音視頻數(shù)據(jù)傳輸給另一端的視頻通話(huà)終端。
7.一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述方法需提供至少兩個(gè)視頻通話(huà)終端,多噪音過(guò)濾處理引擎、以及多噪音過(guò)濾API管理服務(wù)器;
所述方法具體為:一端的視頻通話(huà)終端進(jìn)行遠(yuǎn)場(chǎng)視頻通話(huà)時(shí),通話(huà)者遠(yuǎn)場(chǎng)聲音和多種噪音源會(huì)同時(shí)被視頻通話(huà)終端接收和錄制;在通過(guò)多噪音過(guò)濾處理引擎對(duì)遠(yuǎn)場(chǎng)聲音和多種噪音源進(jìn)行過(guò)濾處理;進(jìn)而多噪音過(guò)濾API管理服務(wù)器抑制多種噪音源增強(qiáng)通話(huà)主體的聲音,再將處理后的通話(huà)者主體的聲音發(fā)送給另一端的視頻通話(huà)終端。
8.根據(jù)權(quán)利要求7所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述視頻通話(huà)終端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話(huà)中間件模塊、麥克風(fēng)陣列錄音模塊、原始聲音增強(qiáng)模塊、通話(huà)主聲音和噪音源分離模塊、多噪音過(guò)濾引擎API、通話(huà)主聲音和噪音源合并模塊、視頻通話(huà)音視頻打包模塊、視頻通話(huà)傳輸模塊;
所述硬件驅(qū)動(dòng):設(shè)備包括內(nèi)部或外部硬件模塊,硬件驅(qū)動(dòng)是硬件模塊的驅(qū)動(dòng)軟件,一般在操作系統(tǒng)初始化階段完成初始化;
所述操作系統(tǒng)是設(shè)備硬件和硬件接口的統(tǒng)一接口抽象,操作系統(tǒng)是軟件運(yùn)行的基礎(chǔ)環(huán)境;
所述視頻通話(huà)中間件模塊:具有視頻通話(huà)功能基礎(chǔ)功能的軟件包;
所述麥克風(fēng)陣列錄音模塊:調(diào)用操作系統(tǒng)的麥克風(fēng)陣列接口,錄制聲音的模塊;
所述原始聲音增強(qiáng)模塊:調(diào)用音頻算法,將錄制的原始聲音增強(qiáng),即聲音信號(hào)的放大處理;
所述通話(huà)主聲音和噪音源分離模塊:調(diào)用多噪音過(guò)濾引擎API,將增強(qiáng)原始聲音作為輸入,輸出主聲音和噪音源;
所述多噪音過(guò)濾引擎API:作用是將增強(qiáng)原始聲音作為輸入,輸出主聲音人聲和噪音源;多噪音過(guò)濾引擎API能部署在本地設(shè)備或服務(wù)器上;
所述通話(huà)主聲音和噪音源合并模塊:增強(qiáng)主聲音,并抑制噪音源后,再將增強(qiáng)后的主聲音和減弱后的噪音源,合成一個(gè)聲音;
所述視頻通話(huà)音視頻打包模塊:視頻流按照H264/H265編碼方式編碼,再封裝成PES流;音頻按照AAC,AC3編碼方式編碼,再封裝PES流;音視頻的PES流再打包成適合網(wǎng)絡(luò)傳輸?shù)腡S流;
所述視頻通話(huà)傳輸模塊:TS流按照視頻通話(huà)業(yè)務(wù)邏輯在通信網(wǎng)絡(luò)中傳輸。
9.根據(jù)權(quán)利要求8所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述視頻通話(huà)中間件模塊包括:輸入設(shè)備管理模塊、音視頻預(yù)處理模塊、音視頻編碼模塊、音視頻打包模塊、以及網(wǎng)絡(luò)傳輸模塊。
10.根據(jù)權(quán)利要求8所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)中要關(guān)注數(shù)據(jù)的在各個(gè)模塊的輸入和輸出;
遠(yuǎn)場(chǎng)聲音輸入,包括:通話(huà)語(yǔ)音、環(huán)境噪音、回聲噪音、混響噪音和多人聲噪音;
麥克風(fēng)陣列錄音模塊接收和錄制上述遠(yuǎn)場(chǎng)聲音,并輸出數(shù)字信號(hào)的聲音;
數(shù)字化的遠(yuǎn)場(chǎng)聲音輸入到多噪音過(guò)濾處理引擎;
多噪音過(guò)濾處理引擎訪問(wèn)多噪音過(guò)濾API管理服務(wù)器獲取多噪音過(guò)濾引擎API;
多噪音過(guò)濾API管理服務(wù)器管理外部多噪音過(guò)濾引擎API;
多噪音過(guò)濾處理引擎調(diào)用多噪音過(guò)濾引擎API處理數(shù)字化的遠(yuǎn)場(chǎng)聲音,處理后得到增強(qiáng)遠(yuǎn)場(chǎng)人聲抑制多噪音源的聲音數(shù)據(jù)。
11.根據(jù)權(quán)利要求8所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述多噪音過(guò)濾API管理服務(wù)器主要有以下功能:維護(hù)多噪音過(guò)濾引擎API,管理外部多噪音過(guò)濾引擎API,維護(hù)外部多噪音過(guò)濾引擎API適配內(nèi)部多噪音過(guò)濾引擎API;維護(hù)多噪音過(guò)濾引擎API的更新策略,維護(hù)外部多噪音過(guò)濾引擎API的管理策略,負(fù)責(zé)審計(jì)多噪音過(guò)濾引擎API的服務(wù)質(zhì)量。
12.根據(jù)權(quán)利要求8所述的一種遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)方法,其特征在于:所述遠(yuǎn)場(chǎng)語(yǔ)音增強(qiáng)的視頻通話(huà)操作具體為:一端的視頻通話(huà)終端的麥克風(fēng)陣列錄音模塊接收遠(yuǎn)場(chǎng)視頻通話(huà)參與者的聲音以及相關(guān)聯(lián)的多種噪音源,視頻通話(huà)終端將原始的聲音數(shù)據(jù)通過(guò)原始聲音增強(qiáng)模塊做信號(hào)放大處理,然后交由本地或在線(xiàn)多噪音過(guò)濾處理引擎處理;本地或在線(xiàn)多噪音過(guò)濾處理引擎處理首先:通過(guò)通話(huà)主聲音和噪音源分離模塊分離出通話(huà)主體的聲音和多種噪音源;進(jìn)而通過(guò)所述多噪音過(guò)濾引擎API增強(qiáng)通話(huà)主體的聲音并抑制多種噪音源;進(jìn)而通過(guò)所述通話(huà)主聲音和噪音源合并模塊將增強(qiáng)后的通話(huà)主體聲音和抑制后的多種噪音源合并,并回傳給視頻通話(huà)終端;視頻通話(huà)終端將視頻數(shù)據(jù)和處理后的音頻數(shù)據(jù)通過(guò)所述視頻通話(huà)音視頻打包模塊打包成適合網(wǎng)絡(luò)傳輸?shù)木W(wǎng)絡(luò)包,經(jīng)過(guò)視頻通話(huà)中間件模塊的視頻通話(huà)傳輸模塊將音視頻數(shù)據(jù)傳輸給另一端的視頻通話(huà)終端。