本發(fā)明涉及人工智能，尤其涉及基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法。

背景技術(shù)：

1、駕駛員狀態(tài)檢測(cè)是保障交通安全的重要技術(shù)之一。目前的大多數(shù)駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)主要依賴于對(duì)圖像數(shù)據(jù)的分析，通過(guò)攝像頭捕捉駕駛員的面部特征，進(jìn)而評(píng)估其注意力狀態(tài)和疲勞程度。但是，圖像數(shù)據(jù)的分析受限于外部環(huán)境因素的影響，例如光照條件的變化和攝像頭視角的不穩(wěn)定性都會(huì)影響圖像數(shù)據(jù)的質(zhì)量，從而降低駕駛員狀態(tài)檢測(cè)結(jié)果的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，用以解決現(xiàn)有技術(shù)中外部環(huán)境因素影響圖像數(shù)據(jù)質(zhì)量導(dǎo)致駕駛員狀態(tài)結(jié)果準(zhǔn)確性降低的缺陷，實(shí)現(xiàn)提高駕駛員狀態(tài)檢測(cè)結(jié)果的準(zhǔn)確性。

2、本發(fā)明提供基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述方法包括：

3、獲取目標(biāo)時(shí)間段內(nèi)各個(gè)預(yù)設(shè)時(shí)刻的駕駛圖像以及車輛數(shù)據(jù)，所述駕駛圖像為對(duì)駕駛員位置進(jìn)行成像得到的圖像，所述車輛數(shù)據(jù)反映駕駛員對(duì)車輛的操控狀態(tài)，相鄰的所述預(yù)設(shè)時(shí)刻之間間隔預(yù)設(shè)時(shí)長(zhǎng)；

4、將所述駕駛圖像輸入至已訓(xùn)練的人臉檢測(cè)模型中，獲取所述人臉檢測(cè)模型輸出的駕駛員人臉區(qū)域圖像；

5、基于所述駕駛員人臉區(qū)域圖像確定駕駛員人臉特征，所述駕駛員人臉特征至少包括頭部姿態(tài)角、視線角度以及眼睛縱橫比，所述頭部姿態(tài)角以及所述視線角度是將所述駕駛員人臉區(qū)域圖像分別輸入至已訓(xùn)練的姿態(tài)角檢測(cè)模型和視線角度檢測(cè)模型得到的，所述眼睛縱橫比是基于眼部關(guān)鍵點(diǎn)得到的，所述眼部關(guān)鍵點(diǎn)是將所述駕駛員人臉區(qū)域圖像輸入至已訓(xùn)練的關(guān)鍵點(diǎn)檢測(cè)模型得到的；

6、生成輸入數(shù)據(jù)，將所述輸入數(shù)據(jù)輸入至已訓(xùn)練的狀態(tài)檢測(cè)模型中，獲取所述狀態(tài)檢測(cè)模型輸出的駕駛員狀態(tài)檢測(cè)結(jié)果，所述輸入數(shù)據(jù)至少包括所述駕駛員人臉特征、所述車輛數(shù)據(jù)以及至少一組歷史駕駛員狀態(tài)數(shù)據(jù)，每組所述歷史駕駛員狀態(tài)數(shù)據(jù)包括歷史時(shí)刻得到的駕駛員狀態(tài)檢測(cè)結(jié)果以及所述歷史時(shí)刻得到的駕駛員狀態(tài)檢測(cè)結(jié)果對(duì)應(yīng)的所述駕駛員人臉特征和所述車輛數(shù)據(jù)，所述歷史時(shí)刻早于所述目標(biāo)時(shí)間段內(nèi)的第一個(gè)所述預(yù)設(shè)時(shí)刻。

7、根據(jù)本發(fā)明提供的一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述生成輸入數(shù)據(jù)，包括：

8、在多個(gè)早于所述目標(biāo)時(shí)間段內(nèi)的第一個(gè)所述預(yù)設(shè)時(shí)刻的時(shí)刻中隨機(jī)確定所述歷史時(shí)刻；

9、在駕駛員狀態(tài)檢測(cè)結(jié)果庫(kù)中查找所述歷史時(shí)刻對(duì)應(yīng)的駕駛員狀態(tài)檢測(cè)結(jié)果；

10、其中，所述駕駛員狀態(tài)檢測(cè)結(jié)果庫(kù)中包括多個(gè)時(shí)刻對(duì)應(yīng)的駕駛員狀態(tài)檢測(cè)結(jié)果，所述駕駛員狀態(tài)檢測(cè)結(jié)果庫(kù)中的駕駛員狀態(tài)檢測(cè)結(jié)果包括第一駕駛員狀態(tài)檢測(cè)結(jié)果以及第二駕駛員狀態(tài)檢測(cè)結(jié)果，所述第一駕駛員狀態(tài)檢測(cè)結(jié)果是基于所述狀態(tài)檢測(cè)模型得到的，所述第二駕駛員狀態(tài)檢測(cè)結(jié)果是基于標(biāo)注得到的。

11、根據(jù)本發(fā)明提供的一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述車輛數(shù)據(jù)至少包括剎車開度變化率、方向盤角速度和車輛加速度；獲取所述目標(biāo)時(shí)間段內(nèi)各個(gè)所述預(yù)設(shè)時(shí)刻的所述車輛數(shù)據(jù)，包括：

12、通過(guò)車輛can總線獲取所述各個(gè)預(yù)設(shè)時(shí)刻的所述車輛數(shù)據(jù)。

13、根據(jù)本發(fā)明提供的一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述狀態(tài)檢測(cè)模型的訓(xùn)練過(guò)程包括：

14、基于多組第一訓(xùn)練數(shù)據(jù)對(duì)所述狀態(tài)檢測(cè)模型進(jìn)行訓(xùn)練，得到初步訓(xùn)練后的所述狀態(tài)檢測(cè)模型，所述第一訓(xùn)練數(shù)據(jù)包括第一樣本輸入數(shù)據(jù)以及所述第一樣本輸入數(shù)據(jù)對(duì)應(yīng)的駕駛員狀態(tài)標(biāo)簽；

15、基于多組第二訓(xùn)練數(shù)據(jù)以及初步訓(xùn)練后的所述狀態(tài)檢測(cè)模型，確定所述駕駛員人臉特征以及所述車輛數(shù)據(jù)中的目標(biāo)數(shù)據(jù)類型，其中，所述第二訓(xùn)練數(shù)據(jù)包括第二樣本輸入數(shù)據(jù)以及所述第二樣本輸入數(shù)據(jù)對(duì)應(yīng)的駕駛員狀態(tài)標(biāo)簽，多個(gè)所述第二樣本輸入數(shù)據(jù)中包括的所述駕駛員人臉特征以及所述車輛數(shù)據(jù)中的數(shù)據(jù)類型存在差異；

16、基于確定的所述駕駛員人臉特征以及所述車輛數(shù)據(jù)中的所述目標(biāo)數(shù)據(jù)類型，生成多組第三訓(xùn)練數(shù)據(jù)，基于所述第三訓(xùn)練數(shù)據(jù)對(duì)初步訓(xùn)練后的所述狀態(tài)檢測(cè)模型進(jìn)行再次訓(xùn)練，其中，所述第三訓(xùn)練數(shù)據(jù)中包括第三樣本輸入數(shù)據(jù)以及所述第三樣本輸入數(shù)據(jù)對(duì)應(yīng)的駕駛員狀態(tài)標(biāo)簽，所述第三樣本輸入數(shù)據(jù)中包括的所述駕駛員人臉特征以及所述車輛數(shù)據(jù)的數(shù)據(jù)類型為所述目標(biāo)數(shù)據(jù)類型。

17、根據(jù)本發(fā)明提供的一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述將所述輸入數(shù)據(jù)輸入至已訓(xùn)練的狀態(tài)檢測(cè)模型中，獲取所述狀態(tài)檢測(cè)模型輸出的駕駛員狀態(tài)檢測(cè)結(jié)果，包括：

18、將所述駕駛員人臉特征輸入至所述狀態(tài)檢測(cè)模型中的統(tǒng)計(jì)模塊，獲取所述統(tǒng)計(jì)模塊輸出的所述目標(biāo)時(shí)間段內(nèi)各個(gè)預(yù)設(shè)時(shí)刻的所述駕駛員人臉特征的統(tǒng)計(jì)特征，所述統(tǒng)計(jì)特征反映所述目標(biāo)時(shí)間段內(nèi)所述駕駛員人臉特征的變化情況；

19、將所述統(tǒng)計(jì)特征、所述車輛數(shù)據(jù)以及至少一組所述歷史駕駛員狀態(tài)數(shù)據(jù)輸入至所述狀態(tài)檢測(cè)模型中的分類模塊，獲取所述分類模塊輸出的駕駛員狀態(tài)檢測(cè)結(jié)果。

20、根據(jù)本發(fā)明提供的一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，所述將所述輸入數(shù)據(jù)輸入至已訓(xùn)練的狀態(tài)檢測(cè)模型之前，包括：

21、基于所述輸入數(shù)據(jù)的理論數(shù)據(jù)范圍，對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)裁剪和歸一化處理。

22、本發(fā)明還提供一種基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)裝置，所述裝置包括：

23、數(shù)據(jù)獲取模塊，用于獲取目標(biāo)時(shí)間段內(nèi)各個(gè)預(yù)設(shè)時(shí)刻的駕駛圖像以及車輛數(shù)據(jù)，所述駕駛圖像為對(duì)駕駛員位置進(jìn)行成像得到的圖像，所述車輛數(shù)據(jù)反映駕駛員對(duì)車輛的操控狀態(tài)，相鄰的所述預(yù)設(shè)時(shí)刻之間間隔預(yù)設(shè)時(shí)長(zhǎng)；

24、人臉檢測(cè)模塊，用于將所述駕駛圖像輸入至已訓(xùn)練的人臉檢測(cè)模型中，獲取所述人臉檢測(cè)模型輸出的駕駛員人臉區(qū)域圖像；

25、人臉特征提取模塊，用于基于所述駕駛員人臉區(qū)域圖像確定駕駛員人臉特征，所述駕駛員人臉特征至少包括頭部姿態(tài)角、視線角度以及眼睛縱橫比，所述頭部姿態(tài)角以及所述視線角度是將所述駕駛員人臉區(qū)域圖像分別輸入至已訓(xùn)練的姿態(tài)角檢測(cè)模型和視線角度檢測(cè)模型得到的，所述眼睛縱橫比是基于眼部關(guān)鍵點(diǎn)得到的，所述眼部關(guān)鍵點(diǎn)是將所述駕駛員人臉區(qū)域圖像輸入至已訓(xùn)練的關(guān)鍵點(diǎn)檢測(cè)模型得到的；

26、模型推理模塊，用于生成輸入數(shù)據(jù)，將所述輸入數(shù)據(jù)輸入至已訓(xùn)練的狀態(tài)檢測(cè)模型中，獲取所述狀態(tài)檢測(cè)模型輸出的駕駛員狀態(tài)檢測(cè)結(jié)果，所述輸入數(shù)據(jù)至少包括所述駕駛員人臉特征、所述車輛數(shù)據(jù)以及至少一組歷史駕駛員狀態(tài)數(shù)據(jù)，每組所述歷史駕駛員狀態(tài)數(shù)據(jù)包括歷史時(shí)刻得到的駕駛員狀態(tài)檢測(cè)結(jié)果以及所述歷史時(shí)刻得到的駕駛員狀態(tài)檢測(cè)結(jié)果對(duì)應(yīng)的所述駕駛員人臉特征和所述車輛數(shù)據(jù)，所述歷史時(shí)刻早于所述目標(biāo)時(shí)間段內(nèi)的第一個(gè)所述預(yù)設(shè)時(shí)刻。

27、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一種所述基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法。

28、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法。

29、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法。

30、本發(fā)明提供的基于駕駛圖像和車輛數(shù)據(jù)的駕駛員狀態(tài)檢測(cè)方法，通過(guò)在獲取駕駛圖像進(jìn)行駕駛員人臉檢測(cè)，得到包括頭部姿態(tài)角、視線角度以及眼睛縱橫比等多樣化類型的駕駛員人臉特征之外，還獲取反映駕駛員對(duì)車輛的操控狀態(tài)的車輛數(shù)據(jù)、歷史時(shí)刻得到的駕駛員狀態(tài)檢測(cè)結(jié)果以及其對(duì)應(yīng)的駕駛員人臉特征和車輛數(shù)據(jù)，這些數(shù)據(jù)可以為基于駕駛圖像得到的駕駛員人臉特征提供補(bǔ)充信息，彌補(bǔ)駕駛圖像受到外界影響質(zhì)量降低導(dǎo)致的駕駛員人臉特征準(zhǔn)確度丟失，實(shí)現(xiàn)提高駕駛員狀態(tài)檢測(cè)結(jié)果準(zhǔn)確性的效果。