本發(fā)明屬于智能汽車，具體涉及一種整車聽覺方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、隨著汽車技術(shù)的發(fā)展，汽車的智能化要求也日益提高，現(xiàn)有技術(shù)中，雖然存在通過獲取環(huán)境中的語音進(jìn)行回答的技術(shù)及對(duì)應(yīng)的支撐場(chǎng)景，但是現(xiàn)有的語音識(shí)別技術(shù)的準(zhǔn)確化程度較低，較為依賴現(xiàn)有的語音識(shí)別模型或者算法，且僅用于智能交互，無法滿足用戶的需求。

2、尤其是在汽車自動(dòng)駕駛化程度日益發(fā)展的進(jìn)程中，如何通過感知外界聲音來輔助汽車實(shí)現(xiàn)自動(dòng)駕駛和與用戶的智能交互服務(wù)，以及如何通過感知外界聲音及時(shí)了解汽車自身狀態(tài)和與汽車關(guān)聯(lián)較大的外界狀態(tài)，從而滿足行車安全是現(xiàn)有技術(shù)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述的現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的是提供一種整車聽覺方法、系統(tǒng)及介質(zhì)，解決了現(xiàn)有汽車整車不具備類人聽覺能力的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案。

3、本發(fā)明第一方面提供一種整車聽覺方法，包括：

4、獲取待訓(xùn)練聲音；

5、對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記，得到標(biāo)記聲音及其對(duì)應(yīng)的聽覺標(biāo)簽；

6、將標(biāo)記聲音和對(duì)應(yīng)的聽覺標(biāo)簽在預(yù)設(shè)模型中進(jìn)行訓(xùn)練，得到聽覺模型；

7、采集環(huán)境聲音并對(duì)其進(jìn)行聲音處理；

8、基于所述聽覺模型對(duì)聲音處理后的環(huán)境聲音進(jìn)行識(shí)別，生成聽覺結(jié)果。

9、作為本發(fā)明的一種實(shí)施方式，所述預(yù)設(shè)模型由基于各運(yùn)行節(jié)點(diǎn)的卷積神經(jīng)網(wǎng)絡(luò)和門控遞歸神經(jīng)網(wǎng)絡(luò)組成，所述卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用于第一運(yùn)行節(jié)點(diǎn)，所述門控遞歸神經(jīng)網(wǎng)絡(luò)被應(yīng)用于第二運(yùn)行節(jié)點(diǎn)。

10、作為本發(fā)明的一種實(shí)施方式，所述將標(biāo)記聲音和對(duì)應(yīng)的聽覺標(biāo)簽在預(yù)設(shè)模型中進(jìn)行訓(xùn)練，得到聽覺模型，包括：

11、將所述標(biāo)記聲音輸入卷積神經(jīng)網(wǎng)絡(luò)；

12、通過該卷積神經(jīng)網(wǎng)絡(luò)的自定義重塑層將卷積神經(jīng)網(wǎng)絡(luò)模型的輸出轉(zhuǎn)化為序列，并輸入至門控遞歸神經(jīng)網(wǎng)絡(luò)中，輸出聽覺標(biāo)簽，并進(jìn)行預(yù)設(shè)次數(shù)的訓(xùn)練，得到聽覺模型。

13、作為本發(fā)明的一種實(shí)施方式，所述待訓(xùn)練聲音至少包括：

14、噪聲、石擊聲、車輛過坎聲、汽車鳴笛聲、人類語言聲和人類非語言聲。

15、作為本發(fā)明的一種實(shí)施方式，所述對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記，得到標(biāo)記聲音及其對(duì)應(yīng)的聽覺標(biāo)簽，包括：

16、對(duì)噪聲進(jìn)行標(biāo)記，得到標(biāo)記聲音為風(fēng)噪聲、路噪聲、異響噪聲和電機(jī)噪聲中的至少一種聲音，所述風(fēng)噪聲和所述路噪聲對(duì)應(yīng)的聽覺標(biāo)簽為車輛被動(dòng)動(dòng)作，所述異響噪聲和所述電機(jī)噪聲對(duì)應(yīng)的聽覺標(biāo)簽為車輛主動(dòng)動(dòng)作；和/或

17、對(duì)石擊聲進(jìn)行標(biāo)記，得到標(biāo)記聲音為石擊玻璃聲、石擊鈑金聲和石擊護(hù)板聲中的至少一種聲音，且其對(duì)應(yīng)的聽覺標(biāo)簽均為車輛被動(dòng)動(dòng)作；和/或

18、對(duì)車輛過坎聲進(jìn)行標(biāo)記，得到標(biāo)記聲音為車輛壓井蓋聲、車輛過深坑聲和車輛過減速帶聲中的至少一種聲音，且其對(duì)應(yīng)的聽覺標(biāo)簽均為車輛被動(dòng)動(dòng)作。

19、作為本發(fā)明的一種實(shí)施方式，所述采集環(huán)境聲音并對(duì)其進(jìn)行聲音處理，包括：

20、對(duì)采集到的環(huán)境聲音進(jìn)行濾波處理，并在濾波處理后按照預(yù)設(shè)時(shí)間片段截取，得到多個(gè)環(huán)境聲音片段；

21、通過梅爾頻譜提取該多個(gè)環(huán)境聲音片段中的音頻特征，得到頻譜圖像，所述頻譜圖像即為進(jìn)行聲音處理后的環(huán)境聲音。

22、本發(fā)明第二方面提供一種整車聽覺系統(tǒng)，包括：

23、獲取單元，至少用于獲取待訓(xùn)練聲音；

24、標(biāo)記單元，至少用于對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記，得到標(biāo)記聲音及其對(duì)應(yīng)的聽覺標(biāo)簽；

25、訓(xùn)練單元，至少用于將標(biāo)記聲音和對(duì)應(yīng)的聽覺標(biāo)簽在預(yù)設(shè)模型中進(jìn)行訓(xùn)練，得到聽覺模型；

26、采集單元，至少用于采集環(huán)境聲音并對(duì)其進(jìn)行聲音處理；

27、生成單元，至少用于基于所述聽覺模型對(duì)聲音處理后的環(huán)境聲音進(jìn)行識(shí)別，生成聽覺結(jié)果。

28、作為本發(fā)明的一種實(shí)施方式，所述采集單元與云端服務(wù)器連接，包括車載麥克風(fēng)和車載mcu；

29、車載麥克風(fēng)作為環(huán)境聲音的收集傳感器收集環(huán)境聲音，車載mcu作為環(huán)境聲音的聲音采集器采集環(huán)境聲音，車載mcu將采集到的周圍環(huán)境聲音，傳輸至云端服務(wù)器。

30、本發(fā)明第三方面提供一種電子設(shè)備，包括：

31、至少一個(gè)處理器；以及與所述處理器通信連接的至少一個(gè)存儲(chǔ)器，其中：所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令能夠執(zhí)行如本發(fā)明第一方面所述的方法的步驟。

32、本發(fā)明第四方面提供一種可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行如本發(fā)明第一方面所述的方法的步驟。

33、綜上所述，與現(xiàn)有技術(shù)相比，本發(fā)明包括以下至少一種有益技術(shù)效果：

34、1.本發(fā)明通過對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記后，能夠?qū)⒉杉降穆曇襞c預(yù)設(shè)的聽覺標(biāo)簽相匹配，實(shí)現(xiàn)聲音及其標(biāo)簽的對(duì)應(yīng)分類；

35、2.本發(fā)明通過訓(xùn)練得到的聽覺模型能夠識(shí)別采集到的環(huán)境聲音，區(qū)分不同的聲音及其對(duì)應(yīng)的視覺標(biāo)簽，生成具體的聽覺輸出，如識(shí)別出的標(biāo)記聲音是風(fēng)噪聲、路噪聲、異響噪聲或電機(jī)噪聲等，有利于觸發(fā)預(yù)警行為或執(zhí)行相應(yīng)的控制行為，以響應(yīng)識(shí)別到的聲音事件，提高了用戶行車體驗(yàn)和用車安全。

技術(shù)特征：

1.一種整車聽覺方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的整車聽覺方法，其特征在于，所述預(yù)設(shè)模型由基于各運(yùn)行節(jié)點(diǎn)的卷積神經(jīng)網(wǎng)絡(luò)和門控遞歸神經(jīng)網(wǎng)絡(luò)組成，所述卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用于第一運(yùn)行節(jié)點(diǎn)，所述門控遞歸神經(jīng)網(wǎng)絡(luò)被應(yīng)用于第二運(yùn)行節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的整車聽覺方法，其特征在于，所述將標(biāo)記聲音和對(duì)應(yīng)的聽覺標(biāo)簽在預(yù)設(shè)模型中進(jìn)行訓(xùn)練，得到聽覺模型，包括：

4.根據(jù)權(quán)利要求1所述的整車聽覺方法，其特征在于，所述待訓(xùn)練聲音至少包括：

5.根據(jù)權(quán)利要求4所述的整車聽覺方法，其特征在于，所述對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記，得到標(biāo)記聲音及其對(duì)應(yīng)的聽覺標(biāo)簽，包括：

6.根據(jù)權(quán)利要求1所述的整車聽覺方法，其特征在于，所述采集環(huán)境聲音并對(duì)其進(jìn)行聲音處理，包括：

7.一種整車聽覺系統(tǒng)，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的整車聽覺系統(tǒng)，其特征在于，所述采集單元與云端服務(wù)器連接，包括車載麥克風(fēng)和車載mcu；

9.一種電子設(shè)備，其特征在于，包括：

10.一種可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行如權(quán)利要求1-6任一項(xiàng)所述的整車聽覺方法的步驟。

技術(shù)總結(jié)
本發(fā)明屬于智能汽車技術(shù)領(lǐng)域，具體涉及一種整車聽覺方法、系統(tǒng)及介質(zhì)，其中，所述整車聽覺方法包括獲取待訓(xùn)練聲音；對(duì)待訓(xùn)練聲音進(jìn)行標(biāo)記，得到標(biāo)記聲音及其對(duì)應(yīng)的聽覺標(biāo)簽；將標(biāo)記聲音和對(duì)應(yīng)的聽覺標(biāo)簽在預(yù)設(shè)模型中進(jìn)行訓(xùn)練，得到聽覺模型；采集環(huán)境聲音并對(duì)其進(jìn)行聲音處理；基于所述聽覺模型對(duì)聲音處理后的環(huán)境聲音進(jìn)行識(shí)別，生成聽覺結(jié)果。本發(fā)明解決了現(xiàn)有汽車整車不具備類人聽覺能力的問題。

技術(shù)研發(fā)人員：徐云峰,康飛
受保護(hù)的技術(shù)使用者：智己汽車科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2