本發(fā)明涉及駕駛員檢測，尤其涉及一種面向駕駛室的駕駛員檢測方法。

背景技術(shù)：

1、隨著并入車輛的技術(shù)量增加，對于車輛的駕駛員和乘客而言可用的信息的量也因此增加。在車輛移動時，尤其是當存在某個水平的所需交互時，該信息可能變得使駕駛員分心。結(jié)果，在車輛處于運動中時可以禁用或限制選擇車內(nèi)的交互特征。

2、公告號為cn?110348350?a的中國專利公開了一種基于面部表情的駕駛員狀態(tài)檢測方法，通過灰度化、gamma校正以及pca降維處理，使得面部圖像大小減小、特征增強。在此基礎(chǔ)上，本發(fā)明構(gòu)建了一個依次連接的四層結(jié)構(gòu)、平均池化層、dropout層以及softmax分類器構(gòu)成的面部表情識別卷據(jù)神經(jīng)網(wǎng)絡(luò)，其參數(shù)數(shù)量小，同時，其中的inception結(jié)構(gòu)設(shè)計采用了一種新的形式，將傳統(tǒng)的規(guī)則卷積3*3卷積拆成1*3卷積和3*1卷積，這樣一方面節(jié)約了大量參數(shù)，加速運算并減輕了過擬合，并增加了一層非線性擴展模型表達能力，可以處理更多、更豐富的空間特征，增加特征多樣性。這種inception結(jié)構(gòu)設(shè)計使得面部表情識別卷據(jù)神經(jīng)網(wǎng)絡(luò)變得更加輕量化，同時具有更好的檢測效果即提高了駕駛員狀態(tài)檢測的準確率。該專利存在以下幾個缺陷：1、只考慮了駕駛員面部表情檢測，具有一定的局限性。2、基于神經(jīng)網(wǎng)絡(luò)識別面部表情，此過程時間耗費時間長，不能實時檢測和響應(yīng)，具有一定的延時性。

3、公告號為cn?116363636?a的中國專利公開了一種駕駛員狀態(tài)檢測方法、裝置、設(shè)備及存儲介質(zhì)。該方法包括：獲取待檢測圖像；將待檢測圖像輸入至預(yù)訓練的駕駛員狀態(tài)檢測模型中，根據(jù)輸出的生成結(jié)果確定與待檢測圖像對應(yīng)的駕駛員狀態(tài)檢測結(jié)果；其中，駕駛員狀態(tài)檢測模型中至少包括特征提取模塊、多任務(wù)信息檢測模塊、遮擋檢測模塊、疲勞檢測模塊和分心檢測模塊。本發(fā)明實施例的技術(shù)方案，避免失效場景對應(yīng)圖像進入后續(xù)計算流程，減少了針對失效場景的數(shù)據(jù)計算量，同時避免了失效場景對應(yīng)檢測結(jié)果的輸出，提升了依據(jù)生成結(jié)果確定的駕駛員狀態(tài)檢測結(jié)果的準確率，提升了整體算法的魯棒性。該專利存在以下幾個缺陷：1、只考慮了駕駛員狀態(tài)表情檢測，具有一定的局限性。2、基于特征檢測的訓練模型，無法自適應(yīng)環(huán)境變化和數(shù)據(jù)更新，不能實時更新數(shù)據(jù)模型和響應(yīng)，具有一定的延時性。

4、上述兩種方法中存在以下技術(shù)缺點，第一只考慮了駕駛員的面部圖像來判斷駕駛員狀態(tài)，具有一定的局限性。第二神經(jīng)網(wǎng)絡(luò)模型和特征檢測訓練模型無法適應(yīng)環(huán)境變化，不能實時檢測數(shù)據(jù)和更新模型，具有一定得延時性。因此，需要設(shè)計一種全方位的面向駕駛室的駕駛員檢測方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種面向駕駛室的駕駛員檢測方法，解決現(xiàn)有檢測方法只考慮了駕駛員的面部圖像來判斷駕駛員狀態(tài)，具有一定的局限性和神經(jīng)網(wǎng)絡(luò)模型和特征檢測訓練模型無法適應(yīng)環(huán)境變化，不能實時檢測數(shù)據(jù)和更新模型，具有一定得延時性的技術(shù)問題。面向駕駛室的駕駛員行為和車內(nèi)環(huán)境進行監(jiān)測，實現(xiàn)檢測結(jié)果更加穩(wěn)定和準確。

2、為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種面向駕駛室的駕駛員檢測方法，通過設(shè)置攝像頭實時獲取到駕駛員的狀態(tài)數(shù)據(jù)和車內(nèi)環(huán)境的變化，設(shè)置車內(nèi)主駕駛位的紅外攝像頭進行夜間檢測，通過攝像頭和紅外攝像頭對車內(nèi)駕駛員狀態(tài)和車內(nèi)容周邊環(huán)境的數(shù)據(jù)采集，數(shù)據(jù)采集后進行分析處理提醒駕駛員行車安全。

4、進一步地，車內(nèi)攝像頭和紅外傳感器結(jié)合，全天性監(jiān)測，特別是晚上行車時，感知到駕駛員的面部表情和身體行為的數(shù)據(jù)，并且獲取到車內(nèi)環(huán)境的數(shù)據(jù)，包括副駕人員的動態(tài)和后排乘客的動態(tài)，把數(shù)據(jù)傳給車載系統(tǒng)，然后，基于yolov5算法對整車的車內(nèi)環(huán)境進行建模訓練和分析預(yù)測，根據(jù)傳遞的實時數(shù)據(jù)進行分析駕駛員的狀態(tài)及可能影響駕駛員駕駛的任何行為，判斷駕駛員的狀態(tài)是否在玩手機、疲勞駕駛、或者車內(nèi)兒童有干擾駕駛的行為，如果有，輔助駕駛系統(tǒng)會進行語音提醒駕駛員專心駕駛。

5、3.根據(jù)權(quán)利要求1所述的一種面向駕駛室的駕駛員檢測方法，其特征在于：對車內(nèi)駕駛員狀態(tài)和車內(nèi)容周邊環(huán)境的數(shù)據(jù)采的具體過程為：

6、(1)實時圖像采集：通過安裝在汽車內(nèi)部的光學攝像頭，實時獲取駕駛員的面部和眼部圖像；

7、(2)紅外輻射檢測：通過紅外傳感器檢測和接收車內(nèi)物體發(fā)出的紅外輻射，實現(xiàn)對車內(nèi)環(huán)境的感知，溫度差異識別：由于不同物體的溫度差異，紅外傳感器準確地檢測到目標物體，環(huán)境狀態(tài)判斷：根據(jù)檢測到的紅外輻射信息，判斷車內(nèi)環(huán)境的溫度、濕度的狀態(tài)，以及是否存在過熱或者過冷異常情況；

8、(3)將攝像頭和紅外傳感器獲取的信息進行融合，以獲取更全面、準確的駕駛員狀態(tài)和車內(nèi)環(huán)境信息，將收集到的數(shù)據(jù)傳給智能駕駛系統(tǒng)。

9、進一步地，yolov5算法建立模型過程為：

10、(1)模型設(shè)計：yolov5作為基礎(chǔ)模型，組成部分包括輸入端、back-bone、neck以及輸出端，輸入端：yolov5在輸入端對圖片進行了數(shù)據(jù)增強，為提升檢測效果，將原數(shù)據(jù)與增強后所得圖片進行拼接后再傳入網(wǎng)絡(luò)進行卷積運算，其次，yolov5采用自適應(yīng)錨框計算，并對自適應(yīng)圖片進行縮小、放大操作，以獲取合適的錨框，back-bone：對圖片進行切片操作，以獲得無信息損失的下采樣特征圖，優(yōu)化了模型計算復(fù)雜的問題，通過減少參數(shù)量提升模型的檢測速度，提取不同尺寸的空間特征信息，實現(xiàn)特征融合，豐富了特征圖的表達能力，可以檢測若干目標，有利于提升模型的魯棒性以及檢測精度，neck：實現(xiàn)高層特征信息的傳遞與融合，從而將獲得的更有效的信息傳輸?shù)筋A(yù)測層，輸出端：通過非極大值抑制保留概率較大的預(yù)測結(jié)果，解決若干目標框篩選的問題，實現(xiàn)目標框去重；

11、(2)模型訓練：將不同的行為數(shù)據(jù)形成的特征向量進行編號，形成不同車內(nèi)行為的模型集，得到對應(yīng)的三類車內(nèi)行為模型，根據(jù)數(shù)據(jù)集的特點和需求，配置yolov5的參數(shù)，參數(shù)包括輸入尺寸、車內(nèi)模型、車內(nèi)結(jié)構(gòu)尺寸、訓練輪數(shù)，使用標注的數(shù)據(jù)集訓練yolov5模型，經(jīng)過不斷的訓練后，直到模型在驗證集上達到設(shè)定的效果；

12、(3)模型評估和優(yōu)化：使用前期收集到的測試集評估模型的性能，包括準確率、精確率、召回率、f1分數(shù)、roc曲線和auc值的指標，準確率：accuracy＝(tp+tn)/(tp+fp+tn+fn)，正確分類的樣本數(shù)與總樣本數(shù)之比，精確率為：precision＝tp/(tp+fp)，衡量模型預(yù)測為正樣本的實例中，真正為正樣本的比例，召回率：recall＝tp/(tp+fn)，衡量模型能夠找出所有正樣本的能力，f1?score分數(shù)為：f1?score＝2*(precision*recall)/(precision+recall)，roc曲線和auc值為auc-roc：估分類模型的效果，auc值越大，模型性能越好，根據(jù)評估結(jié)果對模型進行優(yōu)化，優(yōu)化包括調(diào)整模型參數(shù)、使用數(shù)據(jù)增強技術(shù)、嘗試不同的模型架構(gòu)；

13、(4)實時分析和預(yù)測：通過攝像頭獲取車內(nèi)的實時視頻流，紅外傳感器提供的信息作為攝像頭數(shù)據(jù)的補充，特別是在光線條件不好或駕駛員佩戴眼鏡的情況下，對實時視頻流進行必要的預(yù)處理，預(yù)處理包括調(diào)整分辨率、色彩空間轉(zhuǎn)換，使用訓練好的yolov5模型對預(yù)處理后的視頻幀進行目標檢測，識別出駕駛員的面部、手部動作、手機、兒童的關(guān)鍵對象，通過與預(yù)定標準進行比較，最終確定車內(nèi)容行為是否符合預(yù)期的三種模型標準，并且yolov5模型不斷自我訓練和優(yōu)化：引入cpa-enhancer鏈式思考網(wǎng)絡(luò)的自適應(yīng)增強器，提升物體檢測性能，特別是在復(fù)雜環(huán)境下；實時對收集到的數(shù)據(jù)進行訓練集劃分，然后通過后臺配置腳本使用劃分后的訓練集啟動訓練過程，訓練過程中，模型會通過反向傳播算法不斷調(diào)整參數(shù)，以最小化損失函數(shù)。

14、進一步地，結(jié)合不同的場景意圖，為車輛內(nèi)的駕駛行為設(shè)計3類不同模型，其中3類模型分別為：駕駛員雙眼直視前方模型、駕駛員雙手是否握在方向盤模型、前后排乘客干擾駕駛員行為模型，收集包含各種車內(nèi)場景和駕駛員行為的視頻數(shù)據(jù)，視頻數(shù)據(jù)包括駕駛員正常駕駛、疲勞駕駛、玩手機、車內(nèi)兒童干擾的數(shù)據(jù)，使用標注工labelimg對視頻幀中的關(guān)鍵對象進行標注，包括駕駛員的面部、手機、兒童，標注將用于訓練yolov5模型，不同的車內(nèi)容行文會形成不同的模型數(shù)據(jù)，經(jīng)過量化編碼后會形成不同的特征向量，通過對特征向量的區(qū)分就可以最終得到車內(nèi)行為的區(qū)分。

15、進一步地，輔助駕駛系統(tǒng)提醒駕駛員專心駕駛的過程：

16、根據(jù)算法模型實時計算得到的分析結(jié)果發(fā)送信號給到車載系統(tǒng)，車載系統(tǒng)根據(jù)收到的信號指令，播放語音提示駕駛員當前的駕駛情況，提示信息包括當前出現(xiàn)的情況，比如駕駛員分心沒有注視前方或者玩手機等情況，以及提醒駕駛員專心駕駛，避免出現(xiàn)交通事故。

17、本發(fā)明由于采用了上述技術(shù)方案，具有以下有益效果：

18、本發(fā)明不僅考慮了駕駛員的面部表情、駕駛員肢體情況等，還包括了對車內(nèi)環(huán)境進行監(jiān)測，通過使用紅外傳感器+攝像頭的結(jié)合，實現(xiàn)了再夜間行車時更好的車內(nèi)環(huán)境監(jiān)測，更好的及時提醒駕駛員專心開車，針對車內(nèi)駕駛員、車內(nèi)環(huán)境包括乘客等進行數(shù)據(jù)采集，算法模型可以基于收集到數(shù)據(jù)集進行更新完善模型，實時性效果更佳。

19、本發(fā)明不僅從駕駛員的角度，還增加了對車內(nèi)環(huán)境的檢測，全方位監(jiān)測車內(nèi)可能對駕駛產(chǎn)生影響的情況。增加紅外傳感器，能夠更加適應(yīng)夜間行車，即時提醒駕駛員夜間行車的安全，yolov5算法具有高精度、更快速的檢測速度、擴展性更好，結(jié)合后臺控制腳本，能夠?qū)κ占綌?shù)據(jù)進行實時分析和優(yōu)化模型，實時監(jiān)測和提醒駕駛員專心行駛。