專利名稱：一種汽車駕駛員疲勞檢測的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視頻數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種采用計算機視頻數(shù)據(jù)處 理技術(shù)對機動車駕駛員的疲勞程度進行檢測的方法及其檢測裝置。
背景技術(shù)：
駕駛疲勞是指駕駛員在長時間連續(xù)行車后，產(chǎn)生心理機能和生理機能的失調(diào)，出 現(xiàn)視線模糊、腰酸背疼、反應(yīng)遲鈍、動作呆板，使駕駛機能下降的現(xiàn)象。駕駛員疲勞產(chǎn)生的原 因極為復(fù)雜，與諸多因素有關(guān)。目前對疲勞檢測這一方向研究的方法眾多，其中有一種比較 常用的劃分方式是按設(shè)備與駕駛員是否接觸分為兩類檢測方法接觸式疲勞檢測與非接觸 式疲勞檢測。接觸式疲勞檢測主要是從醫(yī)學(xué)的角度，對人的腦電波、心電波等身體機能的直接 測試。接觸式疲勞檢測雖然準(zhǔn)確度高，但是它的條件要求苛刻，過程復(fù)雜，價格昂貴，同時對 被測試者還要在相應(yīng)部位上安裝傳感器。這對駕駛員的操作帶來較多的負面作用，導(dǎo)致其 難于在現(xiàn)實中運用。非接觸式疲勞檢測主要是用計算機視覺的方式來檢測駕駛員的狀態(tài)。其中，有對 車量在路面行使的遲滯性反應(yīng)來評測駕駛員疲勞狀態(tài)，更多的是監(jiān)視駕駛員的眼睛狀態(tài)來 評測司機的疲勞狀態(tài)。非接觸式疲勞檢測的方法是利用視頻處理的方式來監(jiān)測駕駛員是否 存在疲勞的情況。這種方法不需要駕駛員直接與儀器相接觸，只需要用一個視頻采集器監(jiān) 視駕駛員的狀態(tài)，使得設(shè)備與駕駛員不接觸。這就避免設(shè)備與駕駛者接觸帶來的負面影響 的情況。在計算機的控制下，由單個靜止攝像設(shè)備監(jiān)控汽車駕駛室的駕駛員面部狀態(tài)。通 過非接觸式的疲勞檢測，人們是通過對駕駛員面部特征變化的觀察來評價是否疲勞。研究表明，人在發(fā)生困倦的時候，眨眼速度會變慢，眨眼持續(xù)時間也會變長。具體 來說，駕駛員是否疲勞，與其眼睛的睜開程度狀態(tài)密切相關(guān)。駕駛員的眼睛閉合時間越長， 也就意味著疲勞程度越嚴(yán)重。因此，可以通過測量眼睛閉合時間在一段時間內(nèi)所占的比例， 來判斷駕駛員的疲勞程度?；谟嬎銠C視覺方式檢測駕駛員的疲勞狀態(tài)，通常情況都是先把駕駛員臉的大小 和位置確定下來，然后再處理和定位眼睛，通過對眼睛的狀態(tài)分析后計算疲勞值。目前非接觸式疲勞檢測的方法中，對眼睛狀態(tài)信息的采集一般是使用紅外攝像機 技術(shù)。但是，紅外攝像機的成本比普通攝像機的成本昂貴，處理過程復(fù)雜，不利于產(chǎn)品大批 量的推廣
發(fā)明內(nèi)容
本發(fā)明的研制目的是提供一種準(zhǔn)確率高，性能穩(wěn)定，能夠降低設(shè)備的制造成本的 可以有效防止機動車司機因疲勞駕駛而造成的交通事故的一種汽車駕駛員疲勞檢測的方 法。本發(fā)明的一種汽車駕駛員疲勞檢測的方法，其特征在于該方法通過計算機處理器采用下列步驟(1. 1)先從視頻中定位出人臉的區(qū)域； (1. 2)再對眼睛區(qū)域進行精確定位；(1. 3)然后對眼睛區(qū)域處理以及對的眼睛狀態(tài)進行分析；(1. 4)最后根據(jù)眼睛的狀態(tài)進行疲勞狀態(tài)的分析。步驟(1. 2)所沭的對眼睛區(qū)域講行精確定位是利用等亮度線原理講行定位,由于 曲率的倒數(shù)為曲率半徑，這樣可以從等亮度線里的曲率中計算出眼球的半徑，然后就可以 得到中心點。通過對圖像進行高斯卷積運算得到邊緣信息，然后利用等亮度線與物體的邊 界信息的相關(guān)性進行更多的操作。曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高 梯度的表面有較大的相關(guān)性。這就意味著可以通過查找部分較大值的等亮度線來尋找邊緣 線信息，從而通過等亮度線的高相關(guān)性模式確定中心映射區(qū)域。步驟(1. 3)所沭的對眼睛區(qū)域處理以及對的眼睛狀杰講行分析,利用數(shù)學(xué)形杰學(xué) 的重建濾波的方法處理眼睛區(qū)域，然后通過計算眼睛區(qū)域處理后的空洞長度與空洞面積的 方法對眼睛狀態(tài)進行分析，所述的眼睛狀態(tài)的分析的詳細算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來；(3. 2)將提取出來的眼睛進行灰度化處理；(3. 3)對采集的視頻圖像幀進行歸一化處理；(3.4)對圖像進行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選 取n = 11模板大小進行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閥值算法進行的，其中提取閥值方法是采用 高斯算法，先求出塊中的加權(quán)和，然后再二值化圖像；(3. 6)經(jīng)過上述處理后除得到眼球的區(qū)域外，還得到了一些其它的多余信息，采用 數(shù)學(xué)形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對前面處理后的圖像進行多 次腐蝕運算，直到只剩下一塊連通區(qū)域為止，然后，再進行相應(yīng)次數(shù)的膨脹運算；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀 態(tài)，其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖 像總面積的10%，同時滿足這兩者條件則為疲勞的眼睛狀態(tài)。步驟(1. 4)所沭的根據(jù)眼睛的狀杰講行疲勞狀杰的分析是統(tǒng)計出眼睛在一定持 續(xù)時間內(nèi)，均處于疲勞狀態(tài)下的次數(shù)超過規(guī)定的閥值次數(shù)，該系統(tǒng)則判定駕駛員處于疲勞 的狀態(tài)下，并適時的給出提示信息。本發(fā)明的有益效果在于1、搭建了基于機器視覺處理方式的駕駛疲勞檢測的方法框架，為多種不同方式的 眼睛狀態(tài)分析奠定了基礎(chǔ)；2、為了快速精準(zhǔn)定位眼睛，使用了一種等亮度線的概念對眼睛進行精確定位，并 使用CamShift算法跟蹤眼睛的中心點；3、為了解決實時反應(yīng)疲勞狀態(tài)不足的問題，本發(fā)明提出了一種運算方式簡單的數(shù) 學(xué)形態(tài)學(xué)重建濾波的方法處理眼睛的區(qū)域，并分析眼睛的狀態(tài)，其低運算量和理想的處理 效果，彌補系統(tǒng)實時性不足的問題；
4、為了解決降低圖像設(shè)備的造價成本，本發(fā)明僅用一般的攝像頭就能夠；5、本發(fā)明提高眼睛狀態(tài)分析的準(zhǔn)確率和整個疲勞檢測的速度的。


圖1本發(fā)明的疲勞檢測主流程圖；圖2本發(fā)明的眼睛狀態(tài)分析算法流程圖；圖3本發(fā)明的眼睛狀態(tài)處理實驗結(jié)果示意圖。
具體實施例方式實施例所述的人臉檢測方式是由Viola提出的基于AdaBoost的人臉檢測算法，使用的訓(xùn) 練樣本是由OpenCV提供的樣本庫和現(xiàn)場實際采集的樣本集。所述的等亮度線方式的人眼精確定位方法是把圖像看成是三維空間的一個表面 的問題，圖像里的屬性則可看成是高度?？紤]滿足f(x，y) =c(c為某個常數(shù))的所有點組 成的點集合，若f 表示亮度，那么這個點集中的元素具有相同的亮度值，因此稱其為“等亮 度線”。若沿著梯度的方向前進，則在到達脊線前的方向都是大致相同的，但到達脊線后方 向就會發(fā)生了顯著的變化。因此脊線有一個有用的定義脊線是由這樣一組點組成，在這些 梯度方向的變化率是局部最大化。也就是說，需要找之取最大化值的點，而它是沿梯度 方向V的求導(dǎo)。在笛卡爾坐標(biāo)中為 實驗效果表明公式(1)基本上與一個略為簡單的式子(2)等價，式子(2)只是基 于亮度沿V方向的二階導(dǎo)數(shù)，它們導(dǎo)出要將該式最大化，從而估計出圖像的脊線。 由于曲率的倒數(shù)為曲率半徑，這樣可以從等亮度線里的曲率中計算出眼球的半 徑，然后就可以得到中心點。若這些直徑?jīng)]有指定的方向就沒有意義，所以直徑方向要從 坡度的方向里估算出來，但知道這個方向總是要指向亮度變化率最大的地方。若梯度寫成
’則估算的中心區(qū)域D(X，y)為 通過對圖像進行高斯卷積運算得到邊緣信息，然后利用等亮度線與物體的邊界信 息的相關(guān)性進行更多的操作。使用曲線刻度的信息來表達一個圖形的形狀的方法，其中曲 線生成公式為 這類曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高梯度的表面有較大的相關(guān)性。這就意味著可以通過查找部分較大值的等亮度線來尋找邊緣線信息，從而通過 等亮度線的高相關(guān)性模式確定中心映射區(qū)域。由此可以確定眼睛的中心點位置，然后再使 用CamShift算法對眼睛中心點進行跟蹤。所述的眼睛區(qū)域的處理及眼睛狀態(tài)分析，由于曲線只在高梯度的平面其相關(guān)性比 較大，而當(dāng)眼睛閉合時，眼睛區(qū)域的平面就相對平滑了，其檢測的效果也就差了，只能在評 估左右眼區(qū)域處隨機的尋找，但此時仍然存在著亮度線信息，因此，本文進一步采用數(shù)學(xué)形 態(tài)學(xué)的方式來判斷眼睛的睜閉狀態(tài)。眼睛狀態(tài)的分析方法是基于圖2流程實現(xiàn)的，詳細算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來；(3. 2)將提取出來的眼睛進行灰度化處理；(3. 3)為了能在同一個大小尺寸下處理圖像，對采集的視頻圖像幀進行歸一化處 理，本方法使用雙線性插值法把圖像歸一化大小為55*35像素的圖像，處理結(jié)果如圖3(a) 所示；(3.4)對圖像進行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選 取n = 11模板大小進行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閾值算法進行的，其中提取閥值方法是采用 高斯算法，先求出塊中的加權(quán)和，然后再二值化圖像，實驗結(jié)果如圖3(b)所示；(3. 6)經(jīng)過上述處理后除得到眼球(虹膜區(qū)內(nèi))的區(qū)域外，還得到了一些其它的 多余信息，采用數(shù)學(xué)形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對前面處理后 的圖像進行多次腐蝕運算，直到只剩下一塊連通區(qū)域為止，然后，再進行相應(yīng)次數(shù)的膨脹運 算，實驗結(jié)果如圖3(c)；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀 態(tài)，其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖 像總面積的10%，同時滿足這兩者條件則為疲勞的眼睛狀態(tài)。所述的疲勞檢測方式是在30秒內(nèi)，統(tǒng)計出眼睛持續(xù)0. 15秒均處于疲勞閉眼狀態(tài) 的次數(shù)(疲勞值f)超過疲勞閥值(10次)，則判定駕駛員處于疲勞狀態(tài)，并適時的給出提示信息。
權(quán)利要求
一種汽車駕駛員疲勞檢測的方法，其特征在于該方法通過計算機處理器采用下列步驟(1.1)先從視頻中定位出人臉的區(qū)域；(1.2)再對眼睛區(qū)域進行精確定位；(1.3)然后對眼睛區(qū)域處理以及對眼睛的狀態(tài)進行分析；(1.4)最后根據(jù)眼睛的狀態(tài)進行疲勞狀態(tài)的分析。
2.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測的方法，其特征在于所述的步驟 (1. 2)所述的對眼睛區(qū)域進行精確定位是利用等亮度線原理進行定位，由于曲率的倒數(shù)為 曲率半徑，這樣可以從等亮度線里的曲率中計算出眼球的半徑，然后就可以得到中心點。通 過對圖像進行高斯卷積運算得到邊緣信息，然后利用等亮度線與物體的邊界信息的相關(guān)性 進行更多的操作。曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高梯度的表面有較 大的相關(guān)性。這就意味著可以通過查找部分較大值的等亮度線來尋找邊緣線信息，從而通 過等亮度線的高相關(guān)性模式確定中心映射區(qū)域。
3.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測的方法，其特征在于所述的步驟 (1. 3)所述的對眼睛區(qū)域處理以及對的眼睛狀態(tài)進行分析，利用數(shù)學(xué)形態(tài)學(xué)的重建濾波的 方法處理眼睛區(qū)域，然后通過計算眼睛區(qū)域處理后的空洞長度與空洞面積的方法對眼睛狀 態(tài)進行分析，所述的眼睛狀態(tài)的分析的詳細算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來； (3. 2)將提取出來的眼睛進行灰度化處理； (3. 3)對采集的視頻圖像幀進行歸一化處理；(3.4)對圖像進行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選取η =11模板大小進行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閥值算法進行的，其中提取閥值方法是采用高斯 算法，先求出塊中的加權(quán)和，然后再二值化圖像；(3. 6)經(jīng)過上述處理后除得到眼球的區(qū)域外，還得到了一些其它的多余信息，采用數(shù)學(xué) 形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對前面處理后的圖像進行多次腐 蝕運算，直到只剩下一塊連通區(qū)域為止，然后，再進行相應(yīng)次數(shù)的膨脹運算；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀態(tài)， 其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖像 總面積的10%，同時滿足這兩者條件則為疲勞的眼睛狀態(tài)。
4.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測的方法，其特征在于所述的步驟 (1. 4)所述的根據(jù)眼睛的狀態(tài)進行疲勞狀態(tài)的分析是統(tǒng)計出眼睛在一定持續(xù)時間內(nèi)，均處 于疲勞狀態(tài)下的次數(shù)超過規(guī)定的閥值次數(shù)，則判定駕駛員處于疲勞的狀態(tài)下，并適時的給 出提示信息。
全文摘要
本發(fā)明公開了一種汽車駕駛員疲勞檢測的方法，其特征在于該方法通過計算機處理器采用下列步驟先從視頻中定位出人臉的區(qū)域；再對眼睛區(qū)域進行精確定位；然后對眼睛區(qū)域處理以及對的眼睛狀態(tài)進行分析；最后根據(jù)眼睛的狀態(tài)進行疲勞狀態(tài)的分析，進而實現(xiàn)疲勞檢測。提供了一種簡單易行的疲勞檢測方法，滿足視頻的實時性要求以及疲勞檢測的準(zhǔn)確性要求，且設(shè)備成本低，性能穩(wěn)定，對于駕駛員的疲勞駕駛的情況能準(zhǔn)確快速的檢測出來。
文檔編號G06K9/62GK101872419SQ20101019757
公開日2010年10月27日 申請日期2010年6月9日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者李頂倫, 譚臺哲 申請人:譚臺哲;李頂倫