本發(fā)明涉及到用于駕駛員疲勞狀態(tài)檢測(cè)的圖像處理方法，具體地說，是一種基于人臉檢測(cè)和人眼狀態(tài)識(shí)別的疲勞檢測(cè)方法。

背景技術(shù)：

目前，疲勞駕駛是當(dāng)今交通安全的重要隱患之一。駕駛?cè)嗽谄跁r(shí)，其對(duì)周圍環(huán)境的感知能力、形勢(shì)判斷能力和對(duì)車輛的操控能力都有不同程度的下降，因此很容易發(fā)生交通事故。統(tǒng)計(jì)數(shù)據(jù)表明，在2010年至2011年我國(guó)直接由疲勞駕駛導(dǎo)致的死亡人數(shù)分別占機(jī)動(dòng)車駕駛?cè)私煌ㄕ厥驴偹劳鋈藬?shù)的11.35％和12.5％，大約每年有9000人死于疲勞駕駛。因此，研究開發(fā)高性能的駕駛?cè)似跔顟B(tài)實(shí)時(shí)監(jiān)測(cè)及預(yù)警技術(shù)，對(duì)改善我國(guó)交通安全狀況意義重大。

基于駕駛員“臉部生理圖像”的方法進(jìn)行駕駛員疲勞狀態(tài)檢測(cè)是一種前沿技術(shù)。該方法利用人員的面部圖像特征、眼部信號(hào)、頭部運(yùn)動(dòng)特性等獲得駕駛?cè)说臓顟B(tài)和信息。例如，駕駛?cè)藛T眼球的運(yùn)動(dòng)和眨眼信息被認(rèn)為是反映疲勞的重要特征，其中眨眼幅度、眨眼頻率和平均閉合時(shí)間都可直接用于檢測(cè)疲勞。

然而，在實(shí)車工況下，由于光照變化的頻繁，面部視頻圖像變得異常復(fù)雜，其面部視頻圖像處理過程中對(duì)人臉和眼睛區(qū)域定位不準(zhǔn) 確，這勢(shì)必會(huì)影響疲勞檢測(cè)方法的準(zhǔn)確率以及工程應(yīng)用的泛化能力。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于人臉檢測(cè)和人眼狀態(tài)識(shí)別的疲勞檢測(cè)方法，基于所獲取的駕駛員面部圖像，進(jìn)行定位、檢測(cè)、跟蹤、判別等一系列智能分析處理環(huán)節(jié)，完成對(duì)人員的狀態(tài)監(jiān)測(cè)及行為分析，運(yùn)行速率高，識(shí)別效果好。

為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于人臉檢測(cè)和人眼狀態(tài)識(shí)別的疲勞檢測(cè)方法，其關(guān)鍵在于：

步驟1：按照k幀/秒的采樣率對(duì)駕駛員的監(jiān)控視頻進(jìn)行采樣，獲得單位時(shí)間T₀內(nèi)的人臉樣本集；

步驟2：采用自適應(yīng)增強(qiáng)算法從已采集的樣本集中訓(xùn)練出最終分類器；

步驟3：加載人臉樣本集中的待檢圖像幀至最終分類器中，通過對(duì)圖像像素點(diǎn)的掃描，找到圖像中包含人臉的圖像，獲得人臉圖像集，并標(biāo)定該區(qū)域；

步驟4：采用最大類間方差法對(duì)在不同的光線下的人臉精確區(qū)域進(jìn)行不同閾值的二值化處理，并求得最佳閾值，然后采用垂直灰度投影法對(duì)人眼區(qū)域進(jìn)行精確定位，獲得最佳的人眼睜閉狀態(tài)時(shí)的眼部形狀；

步驟5：根據(jù)得到的人眼睜閉狀態(tài)圖像，采用PERCLOS方法判斷被測(cè)者的疲勞狀態(tài)。

進(jìn)一步的技術(shù)方案是，步驟2中所述自適應(yīng)增強(qiáng)算法的具體步驟如下：

步驟2-1：令所述人臉樣本集為S＝{(x_i,y_i)|i＝1,2,...,N}，按照w_mi＝1/N初始化N個(gè)樣本的權(quán)值，得到樣本的初始訓(xùn)練數(shù)據(jù)集D_m＝(w_m,1,w_m,2…w_m,i…,w_m,N)，其中w_m,i表示在第m輪迭代中賦給樣本(x_i,y_i)的權(quán)值，m＝1～M；

步驟2-2：使用具有權(quán)值分布D_m的訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)，并按照G_m(x)：x→{-1,+1}得到基本分類器G_m(x)，其中，x→{-1,+1}表示將樣本x分別分離為正樣本和負(fù)樣本；

步驟2-3：按照計(jì)算基本分類器G_m(x)在訓(xùn)練數(shù)據(jù)集上的分類誤差率e_m，其中，I(G_m(x_i)≠y_i)為被基本分類器G_m(x)誤分類的樣本權(quán)值；

步驟2-4：根據(jù)步驟2-3中計(jì)算得出的分類誤差率e_m，按照 計(jì)算基本分類器G_m(x)在最終分類器中所占的權(quán)重α_m；

步驟2-5：按照D_m+1＝(w_m+1,1,w_m+1,2…w_m+1,i…,w_m+1,N)更新訓(xùn)練數(shù)據(jù)集，按照更新樣本(x_i,y_i)的權(quán)值，其中 為使得D_m+1呈概率分布的規(guī)范化因子；

步驟2-6：在各次迭代中按照得出各次迭代中的弱分類器f(x)，然后按照G(x)＝sign(f(x))組合得到的各個(gè)弱分 類器得出最終分類器G(x)。

進(jìn)一步的技術(shù)方案是，步驟2中所述最終分類器的訓(xùn)練工具是OpenCV系統(tǒng)自帶的haar training算法。

進(jìn)一步的技術(shù)方案是，步驟4中所述最大類間方差法的步驟如下：

步驟4-1：對(duì)于某一幅圖像，令其灰度級(jí)為1～J，灰度值為j的像素?cái)?shù)目為k，則按照計(jì)算該幅圖像的像素總數(shù)K，并按照計(jì)算各灰度值出現(xiàn)的概率為P_j；

步驟4-2：以人眼區(qū)域?yàn)槟繕?biāo)區(qū)域，其余為背景區(qū)域，按照 計(jì)算目標(biāo)區(qū)域占圖像比例w₁，并按照 計(jì)算背景區(qū)域占圖像比例w₂，其中，t＝1～J；

步驟4-3：按照μ＝w₁*μ₁+w₂*μ₂計(jì)算圖像的平均灰度值μ，并按照δ²(j)＝w₁*(μ₁-μ)+w₂*(μ₂-μ)取得最大值時(shí)的最佳閾值j₀，其中，μ₁為目標(biāo)區(qū)域的平均灰度值，μ₂為背景區(qū)域的平均灰度值。

更進(jìn)一步的技術(shù)方案是，步驟5中所述PERCLOS方法的具體步驟如下：

步驟5-1：按照計(jì)算單位時(shí)間T₀內(nèi)眼睛處于閉合狀態(tài)的幀數(shù)占所獲取的視頻流的總幀數(shù)的比例F；

其中，B為單位時(shí)間T₀內(nèi)視頻流的總幀數(shù)，p(t)為當(dāng)前幀圖像中人眼的睜閉狀態(tài)，t＝1～T₀；

步驟5-2：計(jì)算出的比例F與預(yù)設(shè)閾值A(chǔ)1、A2進(jìn)行比較，當(dāng)F＜A1時(shí)，判斷駕駛員處于正常駕駛狀態(tài)；當(dāng)A2＞F＞A1時(shí)，判斷駕駛員處于輕度疲勞狀態(tài)；當(dāng)F＞A2時(shí)，判斷駕駛員處于嚴(yán)重疲勞狀態(tài)。

進(jìn)一步的技術(shù)方案是，所述預(yù)設(shè)閾值A(chǔ)1取值為0.4；所述預(yù)設(shè)閾值A(chǔ)2取值為0.7。

本發(fā)明基于所獲取的駕駛員面部圖像，首先加載待檢圖像幀至分類器中，通過對(duì)圖像像素點(diǎn)的掃描，找到圖像中包含的人臉，區(qū)別出人臉和非人臉，在已標(biāo)定的人臉區(qū)域中進(jìn)行，縮小計(jì)算區(qū)域，排除非人臉因素的干擾；然后準(zhǔn)確識(shí)別出人眼精確區(qū)域，最后根據(jù)人眼正比狀態(tài)，精確識(shí)別出駕駛員的疲勞狀態(tài)。

本發(fā)明的顯著效果是：基于所獲取的駕駛員面部圖像，進(jìn)行定位、檢測(cè)、跟蹤、判別等一系列智能分析處理環(huán)節(jié)，完成對(duì)人員的狀態(tài)監(jiān)測(cè)及行為分析，運(yùn)行速率高，識(shí)別效果好；且可根據(jù)駕駛?cè)藛T的狀態(tài)，進(jìn)行有效預(yù)警，從而為避免疲勞駕駛導(dǎo)致交通事故提供有效幫助。

附圖說明

圖1是本發(fā)明的算法流程圖；

圖2是所述自適應(yīng)增強(qiáng)算法的算法流程圖；

圖3是所述最大類間方差法的算法流程圖；

圖4是不同光線下人眼的Ostu自適應(yīng)閾值的灰度圖；

圖5是不戴眼鏡時(shí)的灰度投影圖；

圖6是戴眼鏡時(shí)的灰度投影圖；

圖7是定位出的人眼精確區(qū)域圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式以及工作原理作進(jìn)一步詳細(xì)說明。

如圖1所示，一種基于人臉檢測(cè)和人眼狀態(tài)識(shí)別的疲勞檢測(cè)方法，步驟如下：

首先步驟1：按照k幀/秒的采樣率對(duì)駕駛員的監(jiān)控視頻進(jìn)行采樣，獲得單位時(shí)間T₀內(nèi)的人臉樣本集；

步驟2：采用自適應(yīng)增強(qiáng)算法從已采集的樣本集中訓(xùn)練出最終分類器G(x)；

人臉檢測(cè)環(huán)節(jié)是人眼定位前的重要步驟。AdaBoost，是英文"AdaptiveBoosting"(自適應(yīng)增強(qiáng))的縮寫，本發(fā)明采用Adaboost算法，利用OpenCV提供的樣本訓(xùn)練和檢測(cè)方法。首先采集樣本，使用haartraining應(yīng)用程序，從已采集的樣本集中訓(xùn)練出分類器，該分類器可以很好地區(qū)別出人臉和非人臉；在檢測(cè)環(huán)節(jié)，加載待檢圖像幀至分類器中，通過對(duì)圖像像素點(diǎn)的掃描，找到圖像中包含的人臉，標(biāo)定該區(qū)域。給定一個(gè)訓(xùn)練數(shù)據(jù)集T＝{(x1,y1),(x2,y2)…(xN,yN)}，其中實(shí)例 而實(shí)例空間yi屬于標(biāo)記集合{-1,+1}，Adaboost的目的就是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一系列弱分類器或基本分類器，然后將這些弱分類器組合成一個(gè)強(qiáng)分類器。

如圖2所示，其步驟如下：

步驟2-1：令所述人臉樣本集為S＝{(x_i,y_i)|i＝1,2,...,N}，按照w_mi＝1/N初始化N個(gè)樣本的權(quán)值，得到樣本的初始訓(xùn)練數(shù)據(jù)集D_m＝(w_m,1,w_m,2…w_m,i…,w_m,N)，其中w_m,i表示在第m輪迭代中賦給樣本(x_i,y_i)的權(quán)值，m＝1～M；

步驟2-2：使用具有權(quán)值分布D_m的訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)，并按照G_m(x)：x→{-1,+1}得到基本分類器G_m(x)，其中，x→{-1,+1}表示將樣本x分別分離為正樣本和負(fù)樣本；

步驟2-3：按照計(jì)算基本分類器G_m(x)在訓(xùn)練數(shù)據(jù)集上的分類誤差率e_m，其中，I(G_m(x_i)≠y_i)為被基本分類器G_m(x)誤分類的樣本權(quán)值；

步驟2-4：根據(jù)步驟2-3中計(jì)算得出的分類誤差率e_m，按照 計(jì)算基本分類器G_m(x)在最終分類器中所占的權(quán)重α_m；

步驟2-5：按照D_m+1＝(w_m+1,1,w_m+1,2…w_m+1,i…,w_m+1,N)更新訓(xùn)練數(shù)據(jù)集，按照更新樣本(x_i,y_i)的權(quán)值，其中 為使得D_m+1呈概率分布的規(guī)范化因子；

步驟2-6：在各次迭代中按照得出各次迭代中的弱分類器f(x)，然后按照$G\left(x\right)=sign\left(f\right(x\left)\right)=sign\left(\underset{m=1}{\overset{M}{\Σ}}{\mathrm{\α}}_m{G}_m\right(x\left)\right)$組合得到的各個(gè)弱分類器得出最終分類器G(x)。

接著步驟3：加載人臉樣本集中的待檢圖像幀至最終分類器中，通過對(duì)圖像像素點(diǎn)的掃描，找到圖像中包含人臉的圖像，獲得人臉圖 像集，并標(biāo)定該區(qū)域；

步驟4：采用最大類間方差法對(duì)在不同的光線下的人臉精確區(qū)域進(jìn)行不同閾值的二值化處理，并求得最佳閾值，然后采用垂直灰度投影法對(duì)人眼區(qū)域進(jìn)行精確定位，獲得最佳的人眼睜閉狀態(tài)時(shí)的眼部形狀；

通過最大類間方差法(Otsu)在不同的光線下對(duì)人臉精確區(qū)域進(jìn)行不同閾值的二值化，分別獲取最佳的人眼睜閉狀態(tài)時(shí)的眼部形狀。通過對(duì)連續(xù)N幀的對(duì)比可以判斷，黑色像素值面積最小時(shí)可認(rèn)為駕駛員當(dāng)前處于閉眼狀態(tài)，其他情況下處于睜眼或者半睜眼狀態(tài)。

最大類間方差法(Otsu)是一種全局閾值選取法，它根據(jù)最小二乘原理推導(dǎo)出來，基于直方圖即圖像的灰度信息來選取閾值，該算法被認(rèn)為閾值自動(dòng)選取方法的最優(yōu)方法之一，該方法具有算法簡(jiǎn)單、分割速度快等優(yōu)點(diǎn)，特別是對(duì)于信噪比較高的圖像具有很好的分割效果。

其基本思路是將直方圖在某一閾值處分割成兩組，當(dāng)被分成的兩組的方差為最大時(shí)，得到閾值。因?yàn)榉讲钍腔叶确植季鶆蛐缘囊环N量度，方差值越大，說明構(gòu)成圖像的兩部分差別越大，當(dāng)部分目標(biāo)錯(cuò)分為背景或部分背景錯(cuò)分為目標(biāo)都會(huì)導(dǎo)致兩部分差別變小，因此使類間方差最大的分割意味著錯(cuò)分概率最小。

如圖3所示，其具體步驟如下：

步驟4-1：對(duì)于某一幅圖像，令其灰度級(jí)為1～J，灰度值為j的像 素?cái)?shù)目為k，則按照計(jì)算該幅圖像的像素總數(shù)K，并按照計(jì)算各灰度值出現(xiàn)的概率為P_j；

步驟4-2：以灰度t為門限將圖像分為目標(biāo)和背景兩個(gè)區(qū)域，按照計(jì)算目標(biāo)區(qū)域占圖像比例w₁，按照計(jì)算背景區(qū)域占圖像比例w₂，其中，t＝1～J；

步驟4-3：按照μ＝w₁*μ₁+w₂*μ₂計(jì)算圖像的平均灰度值μ，并按照δ²(j)＝w₁*(μ₁-μ)+w₂*(μ₂-μ)取得最大值時(shí)的最佳閾值j₀，其中，μ₁為目標(biāo)區(qū)域的平均灰度值，μ₂為背景區(qū)域的平均灰度值。圖4實(shí)驗(yàn)了不同光線下人眼的Ostu自適應(yīng)閾值化?？梢钥吹剑搜坌Ч^好。

在解決自適應(yīng)閾值問題之后，我們看到，眼睛區(qū)域的灰度較周圍皮膚灰度而言，灰度值低，灰度變化較大，所以，我們可以采用垂直灰度投影法來精確定位人眼區(qū)域。

我們這里以人的右眼(左邊的眼)作為人臉精確定位的目標(biāo)。如圖所示，將不戴眼鏡和戴眼鏡粗略人眼區(qū)域圖像進(jìn)行自適應(yīng)閾值化處理，得到二值化圖像，對(duì)圖像進(jìn)行垂直方向和水平方向的灰度投影。

本系統(tǒng)利用兩個(gè)大小相當(dāng)于圖像高度和寬度的數(shù)組v[width]和H[Height]實(shí)現(xiàn)了灰度投影的計(jì)算。對(duì)于垂直方向的灰度投影，利用雙層循環(huán)分別計(jì)算每個(gè)像素高度上的水平方向黑色像素點(diǎn)總和，計(jì)入H[i]；水平方向上的計(jì)算類似。接下來，再次遍歷兩個(gè)數(shù)組，經(jīng)過繪 圖得到了如圖5和6所示的直方圖。

(1)從垂直方向直方圖中可以看到有兩個(gè)最高值，上面的最高值代表眉毛垂直中心，而下面的最高值代表眼睛的垂直中心，從大量的試驗(yàn)中，我們發(fā)現(xiàn)，在這樣的人眼粗略區(qū)域中，只要二值化的閾值選取(前文已陳述)恰當(dāng)，眼鏡不會(huì)成為最高兩個(gè)值的干擾，眉毛中心和眼睛中心總會(huì)成為最高的兩個(gè)波峰，而眉毛的波峰始終在上方，眼睛的波峰始終在下方。這樣我們就可以通過對(duì)數(shù)組H[i]的值進(jìn)行排序篩選，找出最大的兩個(gè)值，標(biāo)定兩個(gè)波峰的Y坐標(biāo)，從而經(jīng)排除后確定了人眼精確區(qū)域的中心Y坐標(biāo)；我們?cè)偎阉魃舷聝刹ǚ遄鴺?biāo)之間的波谷(代表眼睛眉毛的中間區(qū)域)的Y坐標(biāo)，這樣也得到了上邊框的Y坐標(biāo)，自然也便極易得到下邊框的Y坐標(biāo)。

(2)人臉精確區(qū)域左邊框和右邊框的X坐標(biāo)不可從波峰判斷出人眼的水平中心，因?yàn)槊济幕叶茸兓遣灰?guī)律的、不確定的，特別是戴眼鏡的駕駛員的水平灰度變化。從圖中所示的水平方向投影直方圖中我們看到，從左至右出現(xiàn)了三個(gè)甚至更多的波谷，各自代表著眼睛左側(cè)的皮膚、眼睛右側(cè)的皮膚以及兩眼之間的區(qū)域。我們可以這樣，遍歷V[i]數(shù)組進(jìn)行排序，確定數(shù)值最低的五組數(shù)據(jù)，在這五組數(shù)據(jù)中找出X坐標(biāo)處于最左側(cè)的兩組數(shù)據(jù)。這樣，便確定了人眼精確區(qū)域的左邊框和右邊框的X坐標(biāo)。

(3)通過上述算法操作，人眼精確區(qū)域矩形框的四點(diǎn)坐標(biāo)都可以輕松獲得，從而簡(jiǎn)單實(shí)現(xiàn)了右眼的矩形區(qū)域的精確定位。對(duì)于戴眼鏡的駕駛員來說，可能會(huì)包含眼鏡框的部分，但這個(gè)結(jié)果對(duì)我們后續(xù) 的處理不會(huì)產(chǎn)生干擾。如圖7所示。

通過視頻采集設(shè)備獲得駕駛員實(shí)時(shí)圖像，自動(dòng)分析駕駛員的頭部姿態(tài)、眼睛運(yùn)動(dòng)規(guī)律以及面部特征等信息來確定駕駛員精神狀態(tài)，并給出相應(yīng)的預(yù)警提示。研究表明，相比臉部或頭部運(yùn)動(dòng)規(guī)律而言，眼睛的活動(dòng)規(guī)律，如眨眼頻率、眨眼快慢、眼睛張開幅度以及眼睛的注視方向等能更好地反映出當(dāng)前時(shí)刻實(shí)驗(yàn)對(duì)象的精神狀態(tài)好壞。

因此，如果能夠獲得每一幀圖像中雙眼大小、眼球位置以及運(yùn)動(dòng)變化的信息，就可以將一段時(shí)間內(nèi)駕駛員的眼部活動(dòng)規(guī)律統(tǒng)計(jì)出來，再結(jié)合疲勞狀態(tài)分析指標(biāo)，就能夠?qū)︸{駛員疲勞狀態(tài)進(jìn)行評(píng)價(jià)。

人臉檢測(cè)和人眼判斷識(shí)別就是為了確定駕駛員的疲勞狀態(tài)。系統(tǒng)需要建立一個(gè)能夠預(yù)測(cè)駕駛疲勞進(jìn)程的數(shù)學(xué)模型，以便有效的監(jiān)控駕駛疲勞的情況。該系統(tǒng)將使用PERCLOS的變形做為檢測(cè)依據(jù)。我們并沒有使用P80、P70等標(biāo)準(zhǔn)做為閉眼的判斷依據(jù)。

最后進(jìn)入步驟5：根據(jù)得到的人眼睜閉狀態(tài)圖像，采用PERCLOS方法判斷被測(cè)者的疲勞狀態(tài)。

根據(jù)前面的分析，每一幀圖像駕駛員眼睛狀態(tài)分為開、閉兩種，我們不能只根據(jù)當(dāng)前一幀駕駛員眼睛的狀態(tài)來判斷疲勞，這就需要根據(jù)駕駛員眼睛狀態(tài)的連續(xù)時(shí)間系列數(shù)據(jù)統(tǒng)計(jì)駕駛員疲勞狀態(tài)。用“0”、“1”表示閉眼和睜眼，則駕駛員眼睛狀態(tài)就是由“0”、“1”組成的一個(gè)時(shí)間狀態(tài)系列。此時(shí)，PERCLOS為一分鐘內(nèi)“0”所占的比例。具體步驟如下：

步驟5-1：按照計(jì)算單位時(shí)間T₀內(nèi)眼睛處于閉合狀 態(tài)的幀數(shù)占所獲取的視頻流的總幀數(shù)的比例F；

其中，B為單位時(shí)間T₀內(nèi)視頻流的總幀數(shù)，p(t)為當(dāng)前幀圖像中人眼的睜閉狀態(tài)，t＝1～T₀；

步驟5-2：計(jì)算出的比例F與預(yù)設(shè)閾值A(chǔ)1、A2進(jìn)行比較，當(dāng)F＜A1時(shí)，判斷駕駛員處于正常駕駛狀態(tài)；當(dāng)A2＞F＞A1時(shí)，判斷駕駛員處于輕度疲勞狀態(tài)；當(dāng)F＞A2時(shí)，判斷駕駛員處于嚴(yán)重疲勞狀態(tài)。

本例中，優(yōu)選所述預(yù)設(shè)閾值A(chǔ)1取值為0.4；所述預(yù)設(shè)閾值A(chǔ)2取值為0.7。

本系統(tǒng)不斷選取連續(xù)20幀進(jìn)行一次疲勞程度判斷。并可根據(jù)駕駛?cè)藛T的轉(zhuǎn)臺(tái)，進(jìn)行如下警示：

1、當(dāng)PERCLOS的值小于0.4時(shí)，系統(tǒng)判斷駕駛員處于正常駕駛狀態(tài)，不做任何處理；

2、當(dāng)PERCLOS的值大于0.4時(shí)，系統(tǒng)判斷駕駛員處于輕度疲勞狀態(tài)，給出提示音，若駕駛員經(jīng)提示后清醒，PERCLOS會(huì)在下一階段的判斷中降至0.4以下，提示音消失；

3、當(dāng)駕駛員被輕度提示后仍無(wú)法保持清醒，PERCLOS的值會(huì)繼續(xù)增加，當(dāng)其大于0.7時(shí)，說明駕駛員已經(jīng)進(jìn)入疲勞狀態(tài)，系統(tǒng)會(huì)給出急促的干擾噪音，強(qiáng)烈警告駕駛員停車休息。