本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)。

背景技術(shù)：

隨著交通基礎(chǔ)設(shè)施的完善，刺激我國機動車數(shù)量的迅猛增長。交通安全問題已經(jīng)成為當(dāng)今社會亟待解決的一大難題。據(jù)調(diào)查研究表明:交通事故的起因85％是由駕駛員自身造成的。因此，為降低交通事故，保障駕駛安全，智能化監(jiān)測車輛行駛過程中駕駛員的狀態(tài)，實時的對駕駛員駕駛過程中因疲勞駕駛、注意力不集中等駕駛狀態(tài)進行預(yù)警是很有必要的。

目前，針對駕駛員狀態(tài)的監(jiān)測技術(shù)，主要表現(xiàn)在以下幾個方面：

第一類，基于駕駛員生理信號的檢測方法，主要是采用腦電信號檢測和心電信號檢測獲取駕駛員的狀態(tài)，其不足之處在于駕駛員需要佩戴各種儀器，在實際應(yīng)用中會對駕駛員操作造成干擾難以得到推廣。

第二類，基于駕駛員疲勞狀態(tài)的監(jiān)測，其不足之處在于監(jiān)測方式單一，這種單一檢測很難體現(xiàn)出駕駛員駕駛狀態(tài)的復(fù)雜性，缺乏多種特征信息的融合處理，監(jiān)測的準(zhǔn)確性不高。

本發(fā)明針對現(xiàn)有的駕駛員狀態(tài)監(jiān)測技術(shù)的不足，利用微軟kinect的人臉識別技術(shù)提出了基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，通過對駕駛員駕駛過程中的面部表情識別，眼部狀態(tài)，嘴部狀態(tài)，頭部姿態(tài)等狀態(tài)進行聯(lián)合檢測，然后采用模糊評價和d-s證據(jù)理論對多種駕駛員狀態(tài)特征進行信息的融合，進一步對駕駛員的狀態(tài)進行評估，提高駕駛員狀態(tài)的識別準(zhǔn)確度，并進行實時預(yù)警，從而達到預(yù)防交通事故的作用。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的不足，提出一種基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)包括：面部特征信息采集模塊、信息處理模塊、多特征信息融合模塊、報警模塊、數(shù)據(jù)庫存儲模塊。所述的面部特征信采集模塊的輸出端與信息處理模塊的輸入端進行通過數(shù)據(jù)線連接，多特征信息融合模塊的輸出端與報警模塊的輸入端通過數(shù)據(jù)線連接。面部特征采集模塊用于獲取駕駛員面部特征、眼部狀態(tài)、嘴部狀態(tài)、頭部狀態(tài)信息；信息處理模塊用于對采集的數(shù)據(jù)進行處理，獲取表情、疲勞的參數(shù)；多特征信息處理模塊用于對表情、疲勞參數(shù)進行模糊處理，對駕駛員狀態(tài)進行綜合評估，如監(jiān)測到狀態(tài)不好則向報警模塊發(fā)送相應(yīng)的狀態(tài)異常信號；報警模塊用于在接收到異常信號后進行報警；數(shù)據(jù)存儲模塊用于對駕駛員的狀態(tài)信息進行存儲。

本發(fā)明實現(xiàn)上述創(chuàng)新的方案是：利用kinect提供的紅外圖像及人臉識別模塊獲取駕駛員面部特征點信息，對駕駛員面部表情、嘴部、眼部、頭部等特征進行監(jiān)測，通過kinect獲取的紅外圖像數(shù)據(jù)的預(yù)處理，并通過融合各種特征信息，綜合判斷駕駛員的狀態(tài)，提高白天尤其是夜晚的駕駛員狀態(tài)監(jiān)測的準(zhǔn)確率。面部表情包括高興、驚訝、恐懼、悲傷、憤怒、厭惡。

本發(fā)明提出的技術(shù)方案采用kinect傳感器對駕駛員進行檢測，免去了駕駛員佩戴各種儀器帶來的不便，只需將kinect傳感器置于駕駛員的前方就能很便捷對駕駛員進行監(jiān)測，并且kinect提供的人臉識別模塊對人臉定位效率很高。本發(fā)明提出的技術(shù)方案采用的kinect傳感器帶有彩色攝像頭和紅外攝像頭，可以用于白天與夜間的監(jiān)測，有效的解決了夜間監(jiān)測不準(zhǔn)確的問題。kinect傳感器提供的人臉識別sdk可以用于駕駛員的面部表情識別(高興、驚訝、恐懼、悲傷、憤怒、厭惡)，結(jié)合疲勞狀態(tài)(眼部、嘴部、頭部)可以綜合監(jiān)測行車過程中駕駛員不專心、疲勞駕駛等問題。本發(fā)明提出的技術(shù)方案采用d-s多特征信息融合技術(shù)通過對駕駛員不專心、疲勞等多種特征進行信息融合，提高了駕駛員異常狀態(tài)檢測的準(zhǔn)確性。

附圖說明

圖1是人臉的3d面部特征信息圖

圖2是發(fā)明基于kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)總體工作流程圖

具體實施方式

本發(fā)明用于提供一種基于kinect的駕駛員狀態(tài)檢測系統(tǒng)，為了使本發(fā)明的目的、技術(shù)方案及效果更佳清楚、明確，下面現(xiàn)結(jié)合附圖，對本發(fā)明的具體實施方式進行詳細(xì)描述，但應(yīng)當(dāng)理解此處所描述的具體實施方式僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

本實例公開了一種基于kinect的駕駛員狀態(tài)檢測系統(tǒng)，具體實現(xiàn)步驟如下：

1、當(dāng)光線強時，kinect傳感器啟動彩色攝像機，獲取其周圍環(huán)境的彩色圖像。同時快速地進行骨骼監(jiān)測，高效地對人臉進行定位，獲取駕駛員臉部輪廓數(shù)據(jù)、嘴部張合狀態(tài)數(shù)據(jù)、頭部姿態(tài)角度數(shù)據(jù)、眼部睜閉眼狀態(tài)數(shù)據(jù)。當(dāng)光線弱時，kinect傳感器啟動紅外攝像機，對周圍環(huán)境進行監(jiān)測，并獲取相關(guān)數(shù)據(jù)。

2、信息處理模塊將獲取的數(shù)據(jù)進行分析，將數(shù)據(jù)與處理模塊預(yù)置的閾值進行比對，然后進行表情的識別和疲勞的識別。頭部信息處理分析：獲取1分鐘內(nèi)駕駛員是否長時間低頭，可以獲取頭部的pitch俯仰角，角度在-90°到90°之間，我們可以預(yù)置當(dāng)角度小于-15°且持續(xù)一段時間3s則判定是長時間低頭；嘴部信息處理分析：通過面部運動單元獲取嘴部參數(shù)pau,當(dāng)pau[1]＝1時嘴部完全張開，pau[1]＝0時嘴部閉合。我們可以預(yù)置當(dāng)pau[1]大于0.5時，嘴部在長大，持續(xù)一段時間3s則判定打了哈欠；眼部信息處理分析：采用percloss算法標(biāo)準(zhǔn)，統(tǒng)計1分鐘內(nèi)彩色/紅外圖像的總幀數(shù)n0,對每一幀進行分析，統(tǒng)計有效的幀數(shù)n1,閉眼的幀數(shù)n2，那么percloss值為n2/n1?？梢灶A(yù)置當(dāng)percloss值大于0.7時，就處于疲勞狀態(tài)；面部表情信息處理分析：獲取駕駛員面部特征，根據(jù)面部運動編碼單元，進行運動單元組合，就可以實現(xiàn)表情的識別。

3、多特征信息融合模塊中，首先將運用模糊評價方法對信息進行初步的融合，以模糊評價結(jié)果作為d-s證據(jù)理論的基本概率賦值，并利用d-s證據(jù)理論對其進行決策融合得出最終的決策結(jié)果。駕駛員評估等級為：{好，一般，較差，差}。

4、報警模塊在收到信息融合輸出的異常信號后，報警裝置進行實時的報警。

5、數(shù)據(jù)庫存儲模塊用于對駕駛員的狀態(tài)信息進行本地存儲，以供日后進行信息的查詢，同時對歷史數(shù)據(jù)的分析可以歸納出駕駛員的駕駛習(xí)慣和規(guī)律，可以事先給駕駛員警告。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明請求保護一種基于Kinect的駕駛員狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)包括：面部特征信息采集模塊、信息處理模塊、多特征信息融合模塊、報警模塊、數(shù)據(jù)庫存儲模塊。利用Kinect提供的紅外攝像頭和彩色攝像頭機人臉識別模塊獲取面部特征信息，對駕駛員面部表情、嘴部、眼部、頭部等特征進行監(jiān)測，聯(lián)合圖像處理技術(shù)對Kinect獲取的數(shù)據(jù)進行預(yù)處理，并通過融合各種特征信息，綜合判斷駕駛員的狀態(tài)，當(dāng)監(jiān)測到駕駛員狀態(tài)異常時，報警模塊進行實時地報警，并將駕駛員的狀態(tài)信息存儲到本地數(shù)據(jù)庫中，以供歷史數(shù)據(jù)的查詢，同時通過歷史數(shù)據(jù)歸納出駕駛員的駕駛習(xí)慣，提前做出預(yù)警。能有效地提高白天尤其是夜晚的駕駛員狀態(tài)監(jiān)測的準(zhǔn)確率。

技術(shù)研發(fā)人員：王君龍;黃俊;譚欽紅
受保護的技術(shù)使用者：重慶郵電大學(xué)
技術(shù)研發(fā)日：2017.07.06
技術(shù)公布日：2017.09.22