本發(fā)明涉及駕駛監(jiān)控，尤其涉及一種危險(xiǎn)駕駛行為識(shí)別方法及裝置。

背景技術(shù)：

1、依據(jù)世界衛(wèi)生組織(世衛(wèi)組織)報(bào)告，全球每年因道路交通事故死亡的人數(shù)達(dá)到驚人的120萬人；危險(xiǎn)駕駛?cè)匀皇沁@些事故的主要原因之一(約占45％)。而導(dǎo)致危險(xiǎn)駕駛主要包含分心駕駛以及疲勞駕駛等。

2、值得注意的是，在實(shí)時(shí)監(jiān)控危險(xiǎn)駕駛方面，技術(shù)已經(jīng)取得了重大進(jìn)展。隨著先進(jìn)駕駛輔助系統(tǒng)(adas)等商業(yè)嘗試和大量研究工作，該領(lǐng)域得到了很好的研究。例如，近年來觀察到計(jì)算機(jī)視覺和基于車身可穿戴設(shè)備的駕駛行為監(jiān)測方法有良好的應(yīng)用。然而，基于視覺的方法受到個(gè)人隱私問題的挑戰(zhàn)，特別是對(duì)于公共和共享車輛。此外，檢測精度也受到多個(gè)因素的限制，例如照明條件，相機(jī)的方向等。同樣，基于可穿戴設(shè)備的方法也很難推廣，因?yàn)橐_保司機(jī)總是配備所需的可穿戴設(shè)備并不容易。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提出一種危險(xiǎn)駕駛行為識(shí)別方法及裝置，以解決現(xiàn)有監(jiān)控危險(xiǎn)駕駛方面存在個(gè)人隱私泄露問題、檢測精度差以及可穿戴設(shè)備難以保證司機(jī)配備的問題。

2、基于上述目的，本發(fā)明提供了一種危險(xiǎn)駕駛行為識(shí)別方法，包括獲取原始數(shù)據(jù)，所述原始數(shù)據(jù)為車內(nèi)駕駛員不同駕駛行為的回波數(shù)據(jù)；對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，獲得三域譜圖，所述三域譜圖包括駕駛員行為的時(shí)間-距離圖、時(shí)間-多普勒?qǐng)D和速度節(jié)奏圖；將三域譜圖劃分為訓(xùn)練集和驗(yàn)證集；搭建卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的自編碼器，將訓(xùn)練集輸入到自編碼器，獲得與駕駛員動(dòng)態(tài)行為有關(guān)的局部特征；將局部特征的時(shí)間或空間維度進(jìn)行融合得到：時(shí)間-距離-多普勒特征ft和時(shí)間-距離-節(jié)奏特征fs；利用transformer和cnn構(gòu)建分支網(wǎng)絡(luò)，將時(shí)間-距離-多普勒特征ft和時(shí)間-距離-節(jié)奏特征fs分別輸入所述分支網(wǎng)絡(luò)中，獲得高維度的特征向量；將高維度的特征向量添加兩個(gè)可訓(xùn)練參數(shù)α和β，α和β分別表示兩個(gè)分支網(wǎng)絡(luò)分類性能的貢獻(xiàn)，采用可訓(xùn)練加權(quán)平均策略依據(jù)α和β融合分支網(wǎng)絡(luò)輸出的兩個(gè)深層次的駕駛員動(dòng)態(tài)行為特征，得到駕駛員動(dòng)態(tài)行為特征的最終特征向量；將最終特征向量通過全連接層(fc)將64維的最終特征向量映射到9維，輸出駕駛員行為標(biāo)簽，完成危險(xiǎn)駕駛行為識(shí)別。

3、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述獲取原始數(shù)據(jù)，包括使用毫米波雷達(dá)和數(shù)據(jù)采集卡采集駕駛員行為的原始回波數(shù)據(jù)。

4、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，獲得三域譜圖，包括采用均值相消法濾除靜態(tài)雜波的干擾，并采用二維快速傅里葉變換和非相干積累的方法得到三域譜圖。

5、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述采用均值相消法濾除靜態(tài)雜波的干擾，包括基于靜態(tài)目標(biāo)的回波在多幀數(shù)據(jù)中基本保持不變，而動(dòng)態(tài)目標(biāo)的回波則會(huì)隨時(shí)間變化，通過對(duì)每個(gè)距離單元在所有幀上的數(shù)據(jù)取均值，將每幀的回波信號(hào)減去這一均值，去除了靜態(tài)目標(biāo)的影響，僅保留與檢測目標(biāo)相關(guān)的動(dòng)態(tài)目標(biāo)信號(hào)。

6、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述采用非相干積累的方法，包括在目標(biāo)速度變化較大、相位快速變化的情況下，過對(duì)多個(gè)脈沖回波的幅度或功率進(jìn)行累加，非相干積累可以有效地增強(qiáng)目標(biāo)信號(hào)的強(qiáng)度。

7、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述獲得三域譜圖，包括對(duì)預(yù)處理后的數(shù)據(jù)的每一幀數(shù)據(jù)的距離維和多普勒維分別進(jìn)行一維fft，得到距離-多普勒譜，將距離信息和多普勒信息分別在時(shí)間維上堆積，得到時(shí)間-距離圖和時(shí)間-多普勒?qǐng)D；對(duì)時(shí)間-多普勒?qǐng)D譜的數(shù)據(jù)矩陣中的每個(gè)頻倉沿時(shí)間軸進(jìn)行一維fft，得到速度節(jié)奏圖。

8、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述搭建卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的自編碼器，將訓(xùn)練集輸入到自編碼器，獲得與駕駛員動(dòng)態(tài)行為有關(guān)的局部特征，包括

9、所述自編碼器由兩種卷積編碼器組成:編碼器i和編碼器ii；編碼器i和編碼器ii都包括輸入層、卷積層、批歸一化層和激活函數(shù)層；

10、所述輸入層的形狀根據(jù)所述三域譜圖的結(jié)構(gòu)決定；每個(gè)所述卷積層使用conv2d函數(shù)創(chuàng)建，指定所述卷積層的濾波器數(shù)量和濾波器大小，指定所述激活函數(shù)層的具體激活函數(shù)和所述卷積層的填充方式；每個(gè)卷積層后面緊跟一個(gè)批歸一化層，對(duì)輸出通道的特征進(jìn)行歸一化處理，批歸一化層處理后將輸出導(dǎo)入所述激活函數(shù)層，重復(fù)上述步驟五次，構(gòu)建五層卷積網(wǎng)絡(luò)。

11、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述將局部特征的時(shí)間或空間維度進(jìn)行融合，包括

12、采用所述自編碼器的編碼器i分別從訓(xùn)練集的時(shí)間-距離圖(tr)和時(shí)間-多普勒?qǐng)D(td)中提取距離和多普勒語義特征；同時(shí)，采用所述自編碼器的編碼器ii從訓(xùn)練集的速度節(jié)奏圖中提取節(jié)奏特征；

13、特征提取結(jié)束后將時(shí)間-距離圖(tr)和時(shí)間-多普勒?qǐng)D(td)的編碼特征按時(shí)間維度進(jìn)行拼接得到時(shí)間-距離-多普勒特征ft，將時(shí)間-距離圖(tr)和時(shí)間-多普勒?qǐng)D(td)的編碼特征按空間維度進(jìn)行拼接得到時(shí)間-距離-節(jié)奏特征fs。

14、作為本申請(qǐng)的進(jìn)一步改進(jìn)，所述利用transformer和cnn構(gòu)建分支網(wǎng)絡(luò)，包括利用層歸一化、多頭注意力機(jī)制和多層感知機(jī)構(gòu)建transformer模塊提取的抽象表示，用來處理時(shí)間-距離-多普勒特征ft得到更深層次特征fcnn；利用展平層、卷積層、激活函數(shù)、批歸一化、最大池化和輸出層構(gòu)建1d-cnn模塊提取的抽象表示，用來處理時(shí)間-距離-節(jié)奏特征fs得到更深層次特征ftran；采用可訓(xùn)練加權(quán)平均策略融合得到輸入全連接層的最終特征向量ffuse。

15、一種危險(xiǎn)駕駛行為識(shí)別裝置，包括

16、獲取模塊，用于獲取原始數(shù)據(jù)，所述原始數(shù)據(jù)為車內(nèi)駕駛員不同駕駛行為的回波數(shù)據(jù)；

17、預(yù)處理模塊，用于對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，獲得三域譜圖，所述三域譜圖包括駕駛員行為的時(shí)間-距離圖、時(shí)間-多普勒?qǐng)D和速度節(jié)奏圖；

18、劃分模塊，用于將三域譜圖劃分為訓(xùn)練集和驗(yàn)證集；

19、第一階段處理模塊，用于搭建卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的自編碼器，將訓(xùn)練集輸入到自編碼器，獲得與駕駛員動(dòng)態(tài)行為有關(guān)的局部特征；

20、融合模塊，用于將局部特征的時(shí)間或空間維度進(jìn)行融合得到：時(shí)間-距離-多普勒特征ft和時(shí)間-距離-節(jié)奏特征fs；

21、第二階段處理模塊，用于利用transformer和cnn構(gòu)建分支網(wǎng)絡(luò)，將時(shí)間-距離-多普勒特征ft和時(shí)間-距離-節(jié)奏特征fs分別輸入所述分支網(wǎng)絡(luò)中，獲得高維度的特征向量；

22、特征處理輸出模塊，用于將高維度的特征向量添加兩個(gè)可訓(xùn)練參數(shù)α和β，α和β分別表示兩個(gè)分支網(wǎng)絡(luò)分類性能的貢獻(xiàn)，采用可訓(xùn)練加權(quán)平均策略依據(jù)α和β融合分支網(wǎng)絡(luò)輸出的兩個(gè)深層次的駕駛員動(dòng)態(tài)行為特征，得到駕駛員動(dòng)態(tài)行為特征的最終特征向量；

23、輸出模塊，用于將最終特征向量通過全連接層(fc)將64維的最終特征向量映射到9維，輸出駕駛員行為標(biāo)簽，完成危險(xiǎn)駕駛行為識(shí)別。

24、本發(fā)明的有益效果：通過獲取原始回波數(shù)據(jù)判斷車內(nèi)駕駛員不同駕駛行為，同步解決了個(gè)人隱私泄露問題、檢測精度差以及可穿戴設(shè)備難以保證司機(jī)配備的問題。

技術(shù)特征：

1.一種危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，包括

2.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述獲取原始數(shù)據(jù)，包括

3.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述

4.根據(jù)權(quán)利要求3所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述

5.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述采用非相干積累的方法包括：

6.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述搭建卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的自編碼器，將訓(xùn)練集輸入到自編碼器，獲得與駕駛員動(dòng)態(tài)行為有關(guān)的局部特征，包括

7.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述將局部特征的時(shí)間或空間維度進(jìn)行融合，包括

8.根據(jù)權(quán)利要求1所述的危險(xiǎn)駕駛行為識(shí)別方法，其特征在于，所述利用transformer和cnn構(gòu)建分支網(wǎng)絡(luò)，包括

9.一種危險(xiǎn)駕駛行為識(shí)別裝置，其特征在于，包括

技術(shù)總結(jié)
本發(fā)明涉及駕駛監(jiān)控技術(shù)領(lǐng)域，具體涉及一種危險(xiǎn)駕駛行為識(shí)別方法及裝置，為解決現(xiàn)有監(jiān)控危險(xiǎn)駕駛方面存在個(gè)人隱私泄露問題、檢測精度差以及可穿戴設(shè)備難以保證司機(jī)配備的問題。該識(shí)別方法包括獲取原始數(shù)據(jù)；預(yù)處理，獲得三域譜圖；將三域譜圖劃分為訓(xùn)練集和驗(yàn)證集；搭建自編碼器，將訓(xùn)練集輸入到自編碼器，獲得局部特征；將局部特征的時(shí)間或空間維度進(jìn)行融合得到時(shí)間?距離?多普勒特征F<subgt;t</subgt;和時(shí)間?距離?節(jié)奏特征F<subgt;s</subgt;；利用Transformer和CNN構(gòu)建分支網(wǎng)絡(luò)，將F<subgt;t</subgt;和F<subgt;s</subgt;分別輸入所述分支網(wǎng)絡(luò)中，獲得高維度的特征向量；將高維度的特征向量添加兩個(gè)可訓(xùn)練參數(shù)α和β，得到駕駛員動(dòng)態(tài)行為特征的最終特征向量；輸出駕駛員行為標(biāo)簽，完成危險(xiǎn)駕駛行為識(shí)別。

技術(shù)研發(fā)人員：鄧虎,程桂花,陳付龍,王姜濤
受保護(hù)的技術(shù)使用者：安徽師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9