專利名稱：基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置及其監(jiān)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像信號(hào)處理應(yīng)用領(lǐng)域和傳感器應(yīng)用領(lǐng)域，具體涉及基于多元信息融 合的駕駛員疲勞監(jiān)測(cè)裝置及其監(jiān)測(cè)方法。
背景技術(shù)：
隨著汽車消費(fèi)的普及，交通安全已成為制約社會(huì)和諧發(fā)展的焦點(diǎn)問題。由于駕駛員疲 勞駕駛而造成的交通事故率的增長已成為社會(huì)普遍關(guān)注的一個(gè)熱點(diǎn)，疲勞駕駛的司機(jī)在觀 察、識(shí)別和進(jìn)行車輛控制的能力上都顯著下降，嚴(yán)重威脅著自身的安全和他人的生命。
據(jù)研究介紹，全世界每年因交通事故而導(dǎo)致的死亡人數(shù)也已經(jīng)超過60萬，造成的直接 經(jīng)濟(jì)損失約125億美元。我國的汽車擁有量雖然只占到全世界的3%，但每年因交通事故造 成的死亡人數(shù)卻占全世界的20%，多年來中國每年交通事故死亡數(shù)都超過10萬人，位居世 界第一，這些事故多與疲勞駕駛有關(guān)。英國交通研究實(shí)驗(yàn)室認(rèn)為:駕駛疲勞導(dǎo)致的道路交通 事故占全部交通事故的10%。更有研究表明在高速公路上，50%的交通事故是由于駕駛疲 勞引起。在美國，車禍已成為引起死亡和傷害的三大原因之一，在每年發(fā)生的200萬交通 事故中，由于疲勞駕駛和因疲勞導(dǎo)致注意力不集中所致的車禍超過100萬起。1995年美國 國家交通安全委員會(huì)NTSB(The National Transportation Safety Board)檢査了 107起由駕駛員 造成的卡車交通事故，其中58起與駕駛員打盹駕駛有關(guān)。法國國家警察總署事故報(bào)告表明， 因疲勞瞌睡而發(fā)生車禍的，占人身傷害事故的14.9°/。，占死亡事故的20.6%。英國交通研 究實(shí)驗(yàn)室(Transport Research Laboratory)認(rèn)為駕駛疲勞導(dǎo)致的路面交通事故占全部交通事 故率的10%。而在中國境內(nèi)，來自湖南省交警總隊(duì)最新統(tǒng)計(jì)數(shù)據(jù)表明，僅從2005年5月 下旬至7月上旬，在湖南省內(nèi)高速公路共發(fā)生事故55起，造成34人死亡，81人受傷，其 中因疲勞駕駛已引發(fā)交通事故13起，造成13人死亡，29人不同程度受傷。即使在廣州市 區(qū)中心，疲勞駕駛也時(shí)刻危及到人們的生命財(cái)產(chǎn)安全，如2005年4月16日，廣州市197 路公共汽車由于駕駛員疲勞駕駛，三輛公共汽車連環(huán)相撞，造成30名乘客和1名司機(jī)不同 程度受傷的事故。
基于多源信息融合的駕駛員疲勞特征識(shí)別理論與方法是從主動(dòng)安全出發(fā)的研究的駕駛 員疲勞特征理論方法。它綜合了駕駛員的各種疲勞特征，它利用傳感器測(cè)量駕駛員駕駛時(shí) 方向、踏板等，疲勞檢測(cè)中先進(jìn)的PERCLOS標(biāo)準(zhǔn)，駕駛員視點(diǎn)跟蹤等信息進(jìn)行融合，對(duì) 駕駛員的疲勞狀態(tài)進(jìn)行判別與預(yù)警。
研究表明， 一個(gè)處于疲勞狀態(tài)的人會(huì)表現(xiàn)出特定的視覺行為，這些行為容易通過諸如眼睛、頭部、面部表情等視覺特征的改變來觀察?；谶@些視覺特征，利用攝像機(jī)和計(jì)算 機(jī)視覺技術(shù)對(duì)司機(jī)的視覺行為進(jìn)行監(jiān)測(cè)。該方法不會(huì)對(duì)司機(jī)的駕駛行為帶來任何干擾，因 此成為這一領(lǐng)域現(xiàn)行研究的熱點(diǎn)。PERCL0S (Percent Eyelid Closure眼睛閉合時(shí)間占特 定時(shí)間的百分率)是此領(lǐng)域中的公認(rèn)的最具潛力的檢測(cè)疲勞的方法之一，目前大部分研究 駕駛疲勞的機(jī)構(gòu)都采用PERCL0S (Percent Eyelid Closure眼睛閉合時(shí)間占特定時(shí)間的百 分率)作為生理疲勞程度的指標(biāo)。根據(jù)美國聯(lián)邦公路管理局和汽車聯(lián)合會(huì)資助的研究結(jié)果 表明 一般情況下人們眼睛閉合的時(shí)間在O. 12—0.13秒之間，駕駛時(shí)若眼睛皮和時(shí)間達(dá)到 0. 15秒就很容易發(fā)生交通事故。但是其在實(shí)際應(yīng)用中，這種方法還是存在著很多問題① 不同體質(zhì)和生活習(xí)慣的駕駛員的PERCLOS有很大不同，因此,它的誤判率較高;②它是一種 多重的非嚴(yán)格的對(duì)象跟蹤，車內(nèi)照明條件的變化和頭部的移動(dòng)可導(dǎo)致預(yù)測(cè)不準(zhǔn)甚至失?。?③當(dāng)頭部未正對(duì)攝像頭時(shí)，無法識(shí)別眼部特征；④駕駛員戴墨鏡時(shí)無法進(jìn)行PERCLOS檢測(cè)。 另一方面，監(jiān)測(cè)駕駛員注視方向也是有效的方法之一，通過攝像頭獲得眼睛的圖像，對(duì)眼 球進(jìn)行建模，眼球中心與眼球表面亮點(diǎn)的連線即為駕駛員視線的方向，通過判別駕駛員的 視線是否在偏離正常范圍作為判別駕駛員是否疲勞的特征之一，但是此方法也同樣存在著 與PERCLOS測(cè)量時(shí)所發(fā)生的問題。
也有研究表明，駕駛員駕駛時(shí)方向、踏板等的運(yùn)動(dòng)參數(shù)與駕駛員的疲勞程度具有一定 的聯(lián)系，如方向盤較長時(shí)間不動(dòng)，說明駕駛員在打瞌睡借助儀器對(duì)駕駛行為和狀態(tài)進(jìn)行實(shí) 時(shí)檢測(cè)和客觀評(píng)價(jià)。因此安裝方向盤，踏板運(yùn)動(dòng)傳感器可監(jiān)視駕駛員駕車動(dòng)作的穩(wěn)定性和 協(xié)調(diào)性；安裝車軸轉(zhuǎn)向角速度傳感器并且檢測(cè)轉(zhuǎn)向燈時(shí)候開啟可監(jiān)視行駛路線有所偏離時(shí) 駕駛員的轉(zhuǎn)向操作，從而監(jiān)測(cè)駕駛員的駕駛員的疲勞狀態(tài)。但從實(shí)際來說單一的檢測(cè)方法 還無法做到十全十美，在準(zhǔn)確率上與理想的狀態(tài)存在一定的差距。
因此，本裝置采用基于多源信息融合的駕駛員疲勞特征識(shí)別理論與方法是從主動(dòng)安全 出發(fā)的研究的駕駛員疲勞特征理論方法，綜合了駕駛員的各種疲勞特征，利用傳感器測(cè)量 駕駛員駕駛時(shí)方向、踏板，利用圖像處理的手段檢測(cè)PERCLOS系數(shù)和駕駛員視線方向的 信息后，通過對(duì)駕駛員視線信息、眼狀態(tài)信息、以及駕駛員駕駛時(shí)方向、踏板的行為信息 進(jìn)行融合，建立的駕駛員疲勞狀態(tài)判決架構(gòu)，準(zhǔn)確地監(jiān)測(cè)駕駛員的疲勞狀態(tài)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述不足，提供基于多元信息融合的駕駛員疲 勞監(jiān)測(cè)裝置及其監(jiān)測(cè)方法，利用信息融合技術(shù)，將車輛現(xiàn)有電子控制裝置的運(yùn)行工況數(shù)據(jù)和 疲勞檢測(cè)方法緊密結(jié)合起來,使疲勞駕駛檢測(cè)技術(shù)得到更進(jìn)一步的發(fā)展和提高，能客觀、實(shí) 時(shí)、快速準(zhǔn)確地判斷出駕駛員的疲勞狀態(tài)，最大限度的避免疲勞駕駛所引起的交通事故。
6本發(fā)明的基本原理如下本裝置通過攝像頭實(shí)時(shí)采集駕駛室圖像，采用人臉檢測(cè)、人 眼的識(shí)別定位、基于計(jì)算機(jī)視覺理論的眼狀態(tài)判別等模式識(shí)別理論，綜合運(yùn)用圖像處理方
法，實(shí)時(shí)地判斷駕駛員的眼狀態(tài)，并記錄閉眼頻率以獲取PERCLOS指標(biāo)。同時(shí)，在前面進(jìn) 行的采用人臉檢測(cè)、人眼的識(shí)別定位所得出的眼睛圖像的基礎(chǔ)上，結(jié)合人機(jī)交互技術(shù)，利 用矩形紅外LED光源幫助成像，有效地計(jì)算出司機(jī)的視點(diǎn)，建立視點(diǎn)跟蹤的具體算法模型， 用根據(jù)眼睛的特征和位置以及其他的線索來檢測(cè)用戶注視的方向的變化。通過安裝在方向 盤和踏板的角度傳感器和壓力傳感器測(cè)量駕駛員駕駛時(shí)方向、踏板等的運(yùn)動(dòng)參數(shù)， 從駕駛員的駕駛行為上判斷其疲勞狀態(tài)。最后，采用信息融合技術(shù)動(dòng)態(tài)的對(duì)采集的數(shù)據(jù) 進(jìn)行評(píng)估得出駕駛員的疲勞狀態(tài)。
本發(fā)明的目的通過如下技術(shù)方案實(shí)現(xiàn)
一種基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置，包括數(shù)字信號(hào)處理器，帶有濾光片的 攝像頭，安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊，揚(yáng)聲器模塊和由角度傳感器和 壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚(yáng)聲器模塊和傳感 器模塊分別與數(shù)字信號(hào)處理器連接；所述數(shù)字信號(hào)處理器用于接收并處理由攝像頭和傳感 器模塊輸入的數(shù)據(jù)，通過基于多元信息融合的駕駛員疲勞監(jiān)測(cè)的監(jiān)測(cè)算法，計(jì)算出駕駛員 的疲勞狀態(tài)，如果駕駛員處于疲勞，則輸出信號(hào)到揚(yáng)聲器模塊；所述矩形紅外LED光源模 塊與數(shù)字信號(hào)處理器連接；帶有濾光片的攝像頭用于采集駕駛員的頭部范圍圖像數(shù)據(jù)并輸 入到數(shù)字信號(hào)處理器，其采集數(shù)據(jù)用于眼睛特征識(shí)別步驟和視線跟蹤步驟；所述矩形紅外 LED光源模塊包括安裝在汽車擋風(fēng)玻璃的四個(gè)角上的高亮紅外LED，發(fā)射的紅外光通過人 眼瞳孔的反射到攝像頭之上并在攝像頭采集的圖像上產(chǎn)生四個(gè)光斑，用于視線跟蹤輔助， 是對(duì)駕駛員的視線方向進(jìn)行跟蹤的信號(hào)產(chǎn)生模塊，用于視線跟蹤步驟；所述由角度傳感器 和壓力傳感器組成的傳感器模塊包括角度傳感器和壓力傳感，安裝在方向盤上的角度傳感 器和壓力傳感器測(cè)量方向盤轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤、安裝在腳踏板上的壓力 傳感器測(cè)量腳踏板的使用狀態(tài)，并把數(shù)據(jù)輸入到數(shù)字信號(hào)處理器進(jìn)行處理，用于駕駛行為 監(jiān)測(cè)步驟；所述的揚(yáng)聲器模塊接收數(shù)字信號(hào)處理器發(fā)出的駕駛員疲勞判別結(jié)果信號(hào)，如果 為疲勞狀態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中，所述與數(shù)字信號(hào)處理器連接并帶 有濾光片的攝像頭，在攝像頭的鏡頭上裝有紅外濾光片，把日光干擾濾除，只采集由矩形 紅外LED光源模塊發(fā)出的紅外光產(chǎn)生的圖像信息，通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù) 字信號(hào)處理器進(jìn)行處理。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中，所述矩形紅外LED光源模塊包括 安裝在汽車的擋風(fēng)玻璃的四個(gè)角上的四個(gè)高亮紅外LED,形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周產(chǎn)生四個(gè)亮點(diǎn)，由帶有濾光片的攝像頭采集其圖像并輸入到數(shù) 字信號(hào)處理器進(jìn)行計(jì)算，判定視線方向的改變。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中，所述由角度傳感器和壓力傳感器 組成的傳感器模塊包括角度傳感器和壓力傳感器，安裝在方向盤上的角度傳感器和壓力傳 感器測(cè)量方向盤轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤、安裝在腳踏板上的壓力傳感器測(cè)量 腳踏板的使用狀態(tài)，通過RS232接口把數(shù)據(jù)輸入到數(shù)字信號(hào)處理器進(jìn)行處理，判斷其駕駛 行為。
基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置的監(jiān)測(cè)方法，由眼睛特征識(shí)別、視線跟蹤、 駕駛行為監(jiān)測(cè)、疲勞特征判決四個(gè)部分塊組成
(1)眼睛特征識(shí)別，其過程如下攝像頭采集到頭部圖像數(shù)據(jù)并通過SVHS接口傳送到 數(shù)字信號(hào)處理器，數(shù)字信號(hào)處理器對(duì)攝像頭拍攝的圖像進(jìn)行平滑去噪聲處理，去除造成干 擾的冗余信息，采用Viola方法檢測(cè)和定位攝像頭采集圖像的人臉區(qū)域，再次使用Viola方 法檢測(cè)和定位之前得到人臉區(qū)域內(nèi)的人眼區(qū)域圖像。對(duì)采集到的人眼區(qū)域圖像進(jìn)行2D-DCT 變換得到觀察向量序列，把觀察向量序列輸入到已訓(xùn)練好的用于判斷眼睛閉合的嵌入式隱 馬爾可夫判別模型，計(jì)算睜眼和閉眼分類器產(chǎn)生該序列的似然值，根據(jù)此似然值判定眼睛 的睜閉狀態(tài)。如果睜眼分類器的似然值比閉眼分類器的似然值大，則為睜眼狀態(tài)，相反則 為閉眼狀態(tài)。檢測(cè)到人眼狀態(tài)后，分時(shí)段記錄判別為閉眼狀態(tài)的幀數(shù)和采集到的幀總 數(shù)，并計(jì)算出眼睛閉合時(shí)間占特定時(shí)間的百分率的perclos系數(shù)，從而判斷駕駛員的疲勞 程度。如果perclos系數(shù)超過正常狀態(tài)值，則駕駛員處于疲勞狀態(tài)，相反則處于正常狀態(tài)。 (2)視線跟蹤，其過程如下安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊發(fā)出高 亮紅外線，紅外光源經(jīng)人眼角膜反射后，在帶有濾光片的攝像頭采集的圖像上形成高亮斑 點(diǎn)，稱為普爾欽斑點(diǎn)。數(shù)字信號(hào)處理器通過SVHS接口接收由攝像頭采集經(jīng)紅外光源照射后 的人臉圖像，通過眼睛特征識(shí)別步驟中的人臉人眼定位處理得'到人眼區(qū)域，采用水平和垂 直灰度投影法定位瞳孔中心，并利用普爾欽斑點(diǎn)的幾何特征檢測(cè)其位置，然后對(duì)普爾欽斑 點(diǎn)進(jìn)行灰度修正、平滑處理，通過幾何計(jì)算求取瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系，從而 判別視線方向。通過計(jì)算在特定時(shí)間內(nèi)視線不變的幀數(shù)占幀段總數(shù)的比例得出視線停留時(shí) 間比例，若視線停留時(shí)間比例過長，則判斷駕駛員為長時(shí)間注視某個(gè)方向或者是視線沒有 注視道路前方等情況，并認(rèn)定為疲勞狀態(tài)。
(3)駕駛行為監(jiān)測(cè)，其過程如下通過安裝在方向盤上的角度傳感器和壓力傳感器， 監(jiān)測(cè)方向盤的轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤，記錄特定長時(shí)間段內(nèi)的角度傳感器和 壓力傳感器的數(shù)據(jù)變化情況，如果兩傳感器RS232接口輸出到數(shù)字信號(hào)處理器的數(shù)據(jù)長時(shí)間 沒發(fā)生變化，則可以判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作方向盤。通過安裝在腳踏板上的壓力傳感器，監(jiān)測(cè)汽車腳踏板的使用狀況，記錄特定長時(shí)間段內(nèi)的壓力傳感器的數(shù)據(jù)
變化情況，如果傳感器通過RS232接口輸出到數(shù)字信號(hào)處理器的數(shù)據(jù)長時(shí)間沒發(fā)生變化，則 可以判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作腳踏板。
(4)疲勞特征判決，其過程如下測(cè)量眼睛特征識(shí)別步驟、視線跟蹤步驟、駕駛行為 監(jiān)測(cè)步驟中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的概率；結(jié)合信息融合理論建 立疲勞特征判決架構(gòu)，使用已有的貝葉斯推理擴(kuò)充的D—S證據(jù)推理方法，利用Dempster組 合規(guī)則融合眼睛特征識(shí)別步驟、視線跟蹤步驟、駕駛行為監(jiān)測(cè)步驟的疲勞判斷的基本可信 度得到聯(lián)合基本可信度分配，從而建立準(zhǔn)確的疲勞判決架構(gòu)利用各模塊的疲勞測(cè)量信息來 判斷對(duì)駕駛員是否處于疲勞駕駛狀態(tài)。如果駕駛員處于疲勞駕駛狀態(tài)，數(shù)字信號(hào)處理器輸 出信號(hào)到揚(yáng)聲器模塊，此時(shí)揚(yáng)聲器模塊發(fā)出聲音來提醒駕駛員。
上述的監(jiān)測(cè)方法中，所述用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型的訓(xùn)練過程 如下
(1) 采集一定數(shù)量的不同人群在不同時(shí)間、不同光照條件、不同距離、不同面部 表情、不同面部細(xì)節(jié)和不同臉部朝向條件下的閉眼和睜眼狀態(tài)樣本。
(2) 對(duì)步驟(1)中采集到的圖像進(jìn)行幾何尺寸歸一化處理和灰度均衡預(yù)處理，對(duì)兩 類人眼圖像進(jìn)行采樣并對(duì)每個(gè)采樣窗進(jìn)行2D-DCT變換，通過2D-DCT變換后的低頻系數(shù) 構(gòu)成觀察向量序列。
(3) 設(shè)定嵌入式隱馬爾可夫模型的超狀態(tài)個(gè)數(shù)和每一個(gè)超狀態(tài)中的子隱馬爾可夫模型 狀態(tài)數(shù)，根據(jù)設(shè)定的超狀態(tài)個(gè)數(shù)和每個(gè)超狀態(tài)內(nèi)嵌入狀態(tài)個(gè)數(shù)以及嵌入式隱馬爾可夫模型 的結(jié)構(gòu)，將步驟(2)中的人眼觀察向量序列均勻分割。
(4) 根據(jù)步驟(3)中的狀態(tài)數(shù)和圖像均勻分割后得到的觀察向量序列，初始化嵌入 式隱馬爾可夫模型參數(shù)，通過雙重嵌套的Viterbi算法對(duì)圖像進(jìn)行重新分割，用Baum-welch 算法重估嵌入式隱馬爾可夫模型參數(shù)。當(dāng)前后兩次的迭代誤差小于設(shè)定的閾值時(shí)，停止迭 代，得到所述的用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型。
上述的監(jiān)測(cè)方法中，視線跟蹤過程中所述的普爾欽斑點(diǎn)灰度值修正的方法如下以其 中一個(gè)普爾欽斑點(diǎn)P0為中心，對(duì)與P0相鄰的8個(gè)像素A1 A8中的每個(gè)像素的灰度值進(jìn)行 修正；以被修正像素為中心，取其周圍相鄰8個(gè)像素，尋找包括被修正的像素在內(nèi)這9個(gè) 像素中的灰度最小值，將其替代被修正像素的灰度值；再對(duì)PO的灰度值進(jìn)行修正，取P0， A1 A8這9個(gè)像素中的灰度最小值，將其替代PO的灰度值，另外三個(gè)普爾欽斑點(diǎn)的灰度 修正方法和P0相同。
上述的監(jiān)測(cè)方法中，視線跟蹤過程中所述的通過幾何計(jì)算求取瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系來判別視線方向的過程如下設(shè)P0、 Pl、 P2、 P3為檢測(cè)到的四個(gè)普爾欽斑點(diǎn)，
Q為瞳孔中心，利用定比分點(diǎn)公式求出P0 P3的對(duì)角線交點(diǎn)0的坐標(biāo)，連結(jié)0Q， 0P0， 0P1， 0P2， 0P3， OP0 OP3把由點(diǎn)P0 P3連接成的矩形分割為四個(gè)區(qū)域。通過計(jì)算0Q處于哪個(gè) 區(qū)域，計(jì)算出相應(yīng)的視線方向。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)與積極效果在于
(1)基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置的開發(fā)，采用的數(shù)字信號(hào)處理器運(yùn)算能 力高，開發(fā)的裝置實(shí)時(shí)性、功耗低，符合車載裝置的要求。
(2) 采用更加準(zhǔn)確的PERCLOS系數(shù)測(cè)量方法，首先在人眼定位和人臉定位上采用當(dāng)今 先進(jìn)的VIOLA算法，而且在人眼狀態(tài)的識(shí)別上采用準(zhǔn)確率更高的嵌入式隱馬爾可夫判別模型 的判別模型，這兩方面大大地提升了裝置的準(zhǔn)確性。
(3) 利用帶有濾光片的攝像頭和安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊， 運(yùn)動(dòng)圖像處理和模式識(shí)別技術(shù)，在沒有接觸和影響到駕駛員地情況下，研究駕駛員在駕駛 的時(shí)候視線是否偏移了正常的視角范圍，以判斷駕駛員的疲勞狀態(tài)。本方法結(jié)合人機(jī)交互 技術(shù)，利用紅外光源幫助成像，可以有效地計(jì)算出司機(jī)的視線方向。
(4) 利用安裝在方向盤上的角度傳感器與安裝在腳踏板上的壓力傳感器，測(cè)量駕駛員 的駕駛行為參數(shù)，增加裝置對(duì)疲勞狀態(tài)的判斷依據(jù)，安裝在方向盤上的角度傳感器和和壓 力傳感器測(cè)量方向盤的轉(zhuǎn)動(dòng)情況以確定駕駛員是否操作方向盤和駕駛方向的偏離，在踏板 上的壓力傳感器檢測(cè)駕駛員是否因瞌睡而失去對(duì)踏板的控制，完善駕駛員疲勞監(jiān)測(cè)裝置的 測(cè)量機(jī)制。
(5) 采用基于多源信息融合的方法綜合駕駛員的各種疲勞特征，通過對(duì)駕駛員視線信 息、眼狀態(tài)信息、以及駕駛員操作方向盤、踏板的行為信息進(jìn)行融合，可以在不同光線、 背景、人臉姿勢(shì)、面部細(xì)節(jié)等條件下，快速、準(zhǔn)確地判別駕駛員精神狀態(tài)。


圖1是基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置硬件總體結(jié)構(gòu)框圖。 圖2是基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置方法流程圖。 圖3是基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中PERCLOS系數(shù)檢測(cè)流程圖。 圖4是人眼狀態(tài)識(shí)別的嵌入式隱馬爾可夫模型訓(xùn)練流程圖。 圖5是基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中駕駛員視線跟蹤監(jiān)測(cè)流程圖。 圖6是駕駛員視線跟蹤監(jiān)測(cè)的視線方向判別幾何關(guān)系圖。 圖7是基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置中多元信息融合的原理圖。
具體實(shí)施例方式
下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明的具體實(shí)施作進(jìn)一步說明。
10的駕駛員疲勞監(jiān)測(cè)裝置的硬件實(shí)施方式
參見圖1，本裝置的硬件實(shí)施實(shí)施方式由五個(gè)模塊組成，其中包括數(shù)字信號(hào)處理器和 分別與數(shù)字信號(hào)處理器連接并帶有濾光片的攝像頭、安裝在汽車的擋風(fēng)玻璃的矩形紅外 LED光源模塊、由角度傳感器和壓力傳感器組成的傳感器模塊和揚(yáng)聲器模塊。
1. 數(shù)字信號(hào)處理器
所述數(shù)字信號(hào)處理器選用TI公司的DSP處理器，接收并處理由攝像頭和傳感器模塊 輸入的數(shù)據(jù)，通過基于多元信息融合的駕駛員疲勞檢測(cè)的監(jiān)測(cè)算法，計(jì)算出駕駛員的疲勞 狀態(tài)，如果駕駛員處于疲勞，則輸出信號(hào)到揚(yáng)聲器模塊。
2. 與數(shù)字信號(hào)處理器連接并帶有濾光片的攝像頭
所述與數(shù)字信號(hào)處理器連接并帶有濾光片的攝像頭選用，在攝像頭的鏡頭上裝有紅外 濾光片，把日光干擾濾除，采集由矩形紅外LED光源模塊發(fā)出的紅外光產(chǎn)生的圖像信息， 通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù)字信號(hào)處理器進(jìn)行處理。
3. 安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊
所述安裝在汽車擋風(fēng)玻璃的四個(gè)角上的高亮紅外LED，發(fā)射的紅外光通過人眼瞳孔的 反射到攝像頭之上并在攝像頭采集的圖像上產(chǎn)生四個(gè)光斑，是視線跟蹤輔助裝置，是對(duì)駕 駛員的視線方向進(jìn)行跟蹤的信號(hào)產(chǎn)生模塊，用于視線跟蹤步驟，由帶有濾光片的攝像頭采 集其圖像并輸入到數(shù)字信號(hào)處理器進(jìn)行計(jì)算，判定視線方向的改變。
4. 由角度傳感器和壓力傳感器組成的傳感器模塊
所述由角度傳感器和壓力傳感器組成的傳感器模塊包括角度傳感器和壓力傳感器，安 裝在方向盤上的角度傳感器和壓力傳感器測(cè)量方向盤轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向 盤、安裝在腳踏板上的壓力傳感器測(cè)量腳踏板的使用狀態(tài)，通過RS232接口把數(shù)據(jù)輸入到 數(shù)字信號(hào)處理器進(jìn)行處理，判斷其駕駛行為。
5. 揚(yáng)聲器模塊
所述揚(yáng)聲器模塊接收數(shù)字信號(hào)處理器發(fā)出的駕駛員疲勞判別結(jié)果信號(hào)，如果為疲勞狀 態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
二. 基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置的監(jiān)測(cè)方法的實(shí)施 本裝置的監(jiān)測(cè)方法是在VC++編程環(huán)境下開發(fā)的，多元信息融合駕駛員疲勞監(jiān)測(cè)裝置
在基于CCS2的DSP處理器開發(fā)軟件的環(huán)境下進(jìn)行仿真與實(shí)現(xiàn)，工作步驟如流程圖2，介紹 如下
所述的多元信息融合駕駛員疲勞監(jiān)測(cè)裝置的監(jiān)測(cè)方法有四個(gè)部分組成眼睛特征識(shí)別 步驟，視線跟蹤步驟，駕駛行為監(jiān)測(cè)步驟，疲勞特征判決。眼睛特征識(shí)別裝置，是圖像處 理和模式識(shí)別方法提取駕駛員的眼睛閉合狀態(tài)特征，計(jì)算PERCLOS系數(shù)，判斷疲勞狀態(tài)。
11視覺跟蹤裝置是通過圖像處理、模式識(shí)別和幾何計(jì)算方法提取駕駛員的視線方向特征數(shù)據(jù)， 判斷疲勞狀態(tài)。駕駛員行為監(jiān)測(cè)裝置是通過壓力傳感器和角度傳感器提取駕駛員某些特定 駕駛行為的特征數(shù)據(jù)，通過這些行為數(shù)據(jù)判斷疲勞狀態(tài)。疲勞特征判決架構(gòu)是把上述的疲 勞檢測(cè)結(jié)果，通過D—S證據(jù)推理方法融合成一個(gè)疲勞判決架構(gòu)以監(jiān)測(cè)駕駛員的疲勞狀態(tài)。 1.眼睛特征識(shí)別步驟快速準(zhǔn)確地分析出駕駛員的PERCLOS系數(shù)，判別駕駛員疲勞狀
態(tài)，流程圖如圖3所示，主要包含以下幾個(gè)工作步驟
第一步，人臉區(qū)域定位，采集圖像時(shí)，禾,攝像頭固有功能對(duì)圖像進(jìn)行如灰度化、直
方圖均衡化等處理，然后直接對(duì)圖像進(jìn)行搜索并定位出人臉。使用Viola方法進(jìn)行檢測(cè)并標(biāo) 記出人臉在檢測(cè)人臉時(shí)使用Cascade級(jí)聯(lián)算法基于已訓(xùn)練好的類矩形分類器特征庫來識(shí)別 人臉區(qū)域，本模塊使用的分類器特征庫由22級(jí)強(qiáng)分類器構(gòu)成，而每個(gè)強(qiáng)分類器又由若干個(gè) 弱分類器構(gòu)成，是通過長期采集的人臉圖像庫通過利用AdaBoost算法進(jìn)行特征的篩選和特 征訓(xùn)練得出來的。
第二步，人眼定位及確認(rèn)，將定位出的人臉圖像再次利用Viola方法人眼進(jìn)行定位。本 工作步驟在人臉區(qū)域定位步驟檢測(cè)出人臉區(qū)域的基礎(chǔ)上，使用Viola方法進(jìn)行檢測(cè)并標(biāo)記出 人眼在檢測(cè)人臉時(shí)使用Cascade級(jí)聯(lián)算法基于已訓(xùn)練好的類矩形分類器特征庫來識(shí)別人臉 區(qū)域，本步驟使用的分類器特征庫由22級(jí)強(qiáng)分類器構(gòu)成，而每個(gè)強(qiáng)分類器又由若干個(gè)弱分 類器構(gòu)成，本步驟所使用的眼睛訓(xùn)練庫是采用有OPENCV提供的右眼特征庫，是通過采樣 7000多幅人臉圖像的右眼區(qū)域并通過AdaBoost算法進(jìn)行特征的篩選和特征訓(xùn)練所得。
第三步，眼睛狀態(tài)判別，在定位到人眼區(qū)域后，判斷人眼區(qū)域的人眼狀態(tài)是睜開還是 閉合，本工作步驟采用基于2D-DCT特征的嵌入式隱馬爾可夫模型(EHMM算法模式)對(duì)人 眼狀態(tài)進(jìn)行識(shí)別。
A. 判別模型的建立
如圖4所示，人眼狀態(tài)識(shí)別EHMM模型是用概率最大可能性評(píng)估標(biāo)準(zhǔn)進(jìn)行訓(xùn)練，為睜眼 和閉眼的圖像狀態(tài)確定一組經(jīng)過優(yōu)化的EHMM模型參數(shù)。針對(duì)人眼的相關(guān)特征建立相應(yīng)的 嵌入式隱馬爾可夫模型，對(duì)兩個(gè)眼狀態(tài)模型都用多幅圖像進(jìn)行訓(xùn)練，并對(duì)人眼從上到下進(jìn) 行分割，包括上中下3個(gè)狀態(tài)(超狀態(tài))，劃分每一個(gè)狀態(tài)從左到右建立4個(gè)嵌入狀態(tài)，對(duì)不 同的光照、不同的頭偏轉(zhuǎn)角度等環(huán)境下采集到的睜眼和閉眼圖像庫進(jìn)行訓(xùn)練根據(jù)狀態(tài)數(shù) 和圖像均勻分割后得到的觀察向量，初始化嵌入式隱馬爾可夫模型參數(shù)，通過雙重嵌套的 Viterbi算法，對(duì)圖像進(jìn)行重新分割；用Baum-welch算法重估模型參數(shù)。當(dāng)前后兩次的迭代 誤差小于某個(gè)設(shè)定的閾值時(shí)，迭代停止，得出睜眼和閉眼的EHMM評(píng)估模型。
B. 眼狀態(tài)識(shí)別
進(jìn)行眼狀態(tài)識(shí)別時(shí)，先將待識(shí)別眼睛圖像分塊，并提取窗口經(jīng)過2D-DCT變換以后的圖
12像構(gòu)造觀察向量序列，然后輸入到嵌入式隱馬爾可夫模型，計(jì)算睜眼和閉眼分類器產(chǎn)生該 序列的似然值(相似程度)，根據(jù)此似然值(相似程度)判定眼睛的睜閉狀態(tài)，具有最大似 然值的模型即為待識(shí)別眼睛圖像所屬對(duì)象。
第四步，PERCLOS系數(shù)的確定，在圖像處理速度達(dá)到20幀/s的情況下，PERCLOS 可以轉(zhuǎn)換為閉眼的幀占特定時(shí)間段幀總數(shù)的比例，所以在檢測(cè)到人眼狀態(tài)后，在一定長的 時(shí)間內(nèi)分別記錄判別狀態(tài)為閉眼的幀數(shù)和采集到的幀總數(shù)，計(jì)算出PERCLOS系數(shù)來判斷 出駕駛員的駕駛狀態(tài)。
2.視線跟蹤步驟，計(jì)算跟蹤視線的注視方向和通過計(jì)算在特定時(shí)間內(nèi)視線不變的幀數(shù) 占幀段總數(shù)的比例，得出視線停留時(shí)間比例，判斷駕駛員疲勞狀態(tài)本步驟(只對(duì)睜眼區(qū)域 進(jìn)行視線的跟蹤)，流程圖如圖5所示，主要包含以下4個(gè)工作步驟
第一步，瞳孔中心定位(在圖像中檢測(cè)定位瞳孔中心的精確坐標(biāo))由于在眼睛特征識(shí) 別裝置已經(jīng)對(duì)人臉的右眼區(qū)域進(jìn)行定位，在視線跟蹤的檢測(cè)中直接對(duì)眼睛特征識(shí)別步驟中 所得出的右眼區(qū)域進(jìn)行視線跟蹤的圖像處理，使用水平和垂直灰度投影法來定位瞳孔中心。 首先對(duì)人眼灰度圖像進(jìn)行平滑處理，接著做水平和垂直的灰度投影，尋找在瞳孔中心的垂 直方向和水平方向上灰度投影的極小值并記錄坐標(biāo)，此坐標(biāo)為瞳孔中心的坐標(biāo)。
第二步，普爾欽斑點(diǎn)的定位矩形紅外LED光源由于人眼虹膜的反射作用，由攝像頭 采集到的圖像上可以看到在人眼瞳孔四周也會(huì)相應(yīng)出現(xiàn)四個(gè)亮點(diǎn)(普爾欽斑點(diǎn))，經(jīng)過分析
圖像上普爾欽斑點(diǎn)具有以下幾何特征:a.位置位于瞳孔周圍，與瞳孔中心距離小于30像素；
b.大小為5 20個(gè)像素，灰度值在100以，表現(xiàn)為突出的亮點(diǎn)；c.眼部區(qū)域中，四個(gè)普 爾欽斑點(diǎn)處灰度值突變最大；d.四個(gè)普爾欽斑點(diǎn)之間的距離在8 18像素范圍內(nèi)，且成矩
形或類似矩形關(guān)系。根據(jù)這些特征定位四個(gè)普爾欽斑點(diǎn)在第一步工作步驟上定位的瞳孔 中心周圍距離小于30個(gè)像素范圍內(nèi)，搜索滿足普爾欽斑點(diǎn)幾何特征的像素點(diǎn)集；再用
Laplace算子對(duì)進(jìn)普爾欽斑點(diǎn)行巻積，用Laplace巻積得到的值越大，說明該處灰度的突 變?cè)酱螅琇即lace算子巻積運(yùn)算后具有最大值的四個(gè)像素，即為四個(gè)普爾欽斑點(diǎn)，且四個(gè) 普爾欽斑點(diǎn)順次連接，會(huì)形成矩形的形狀。
第三步，根據(jù)瞳孔中心與圖像中因矩形紅外LED光源所形成普爾欽斑點(diǎn)的位置關(guān)系， 計(jì)算出視線的方向。通過幾何計(jì)算，確定LED光源所引起的矩形與采集圖像的一一對(duì)應(yīng)關(guān) 系，即四個(gè)角的LED與人眼圖像中四個(gè)亮點(diǎn)相對(duì)應(yīng)，視線方向與瞳孔中心相對(duì)應(yīng)。如圖6 所示，設(shè)P0、 Pl、 P2、 P3為檢測(cè)到的四個(gè)普爾欽斑點(diǎn)，Q為瞳孔中心，利用定比分點(diǎn)公式 求出P0 P3的對(duì)角線交點(diǎn)0的坐標(biāo)，連結(jié)0Q， 0P0， 0P1， 0P2， 0P3， 0P0 0P3把由點(diǎn)P0 P3連接成的矩形分割為四個(gè)區(qū)域，計(jì)算0Q處于哪個(gè)區(qū)域，便可計(jì)算駕駛員的視線方向。
第四步，計(jì)算視線停留時(shí)間比例。在圖像處理速度達(dá)到20幀/s的情況下，視線停留時(shí)間可以轉(zhuǎn)換為閉眼的幀占特定時(shí)間段幀總數(shù)的比例，通過計(jì)算出視線停留時(shí)間比例，判斷 出駕駛員的駕駛狀態(tài)，如果長時(shí)間注視某個(gè)方向或者是視線沒有注視道路前方等情況，判 定為疲勞狀態(tài)。
3. 駕駛員行為監(jiān)測(cè)步驟汽車方向盤的操作參數(shù)的測(cè)量，通過安裝在方向盤上的角度 傳感器和壓力傳感器可以監(jiān)測(cè)到方向盤的轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤，通過駕駛 員對(duì)方向盤的操作情況的監(jiān)測(cè)來判斷疲勞狀態(tài)。汽車腳踏板的操作參數(shù)測(cè)量通過安裝在 腳踏板上的壓力傳感器可以測(cè)量腳踏板的使用狀態(tài)，判斷駕駛員的疲勞狀態(tài)。以駕駛員對(duì) 方向盤和腳踏板的駕駛行為作為判斷疲勞狀態(tài)的依據(jù)輸入到數(shù)字信號(hào)處理器進(jìn)行處理。
4. 基于信息融合理論建立的疲勞判決架構(gòu)(原理圖如圖7所示)由于測(cè)量的不精確以 及環(huán)境噪聲和人為干擾等因素，會(huì)增加被融合的數(shù)據(jù)不確定性，作為貝葉斯推理擴(kuò)充的D —S證據(jù)推理方法能很好的把握問題的未知性和不確定，基于信息融合理論建立的疲勞判決 架構(gòu)包含以下工作步驟
第一步，根據(jù)D-S證據(jù)理論，首先定義一個(gè)空間0，稱為識(shí)別框架，是由相互排斥的命題
組成的有限完備集。 的冪集表示為20 ，是0所有子集的集合。對(duì)于20中的任何命題A, 定義映射m:20 — [ 0， l]為基本概率分配函數(shù)(Basic Probability Assignment, BPA)， 也稱BPA函數(shù)，m滿足
(1) 0《m(A )《1;
(2) m(O) =0， O表示空集，即不可能的命題；
(3) ZAe0m (A) = 1。
2.根據(jù)Dempster規(guī)則，通過Dempster規(guī)則來組合不同信息源產(chǎn)生的證據(jù)，該規(guī)則是在假設(shè) 信息源獨(dú)立的條件下進(jìn)行的。對(duì)于獨(dú)立的多個(gè)證據(jù)，組合運(yùn)算可以通過正交和表述如下
m:附l十附2十附3......十謡
'式中，④表示組合運(yùn)算。對(duì)于n個(gè)BPA函數(shù)mi ( i =1， 2, n) , De卿ster組合規(guī)則 定義如下 w(李O, ^ = <D
<formula>formula see original document page 14</formula>
令K-I^Ai^fl脂'(^)^^0，式中K表示融合過程中各證據(jù)之間沖突程度，1 - K稱為歸
一化因子，避免在組合過程中將非零的概率分配給空集。
第三步，測(cè)量眼睛特征識(shí)別步驟、視線跟蹤步驟、駕駛行為監(jiān)測(cè)步驟中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的基本概率；結(jié)合信息融合理論，使用上述步驟的D—S 證據(jù)推理方法和Dempster組合規(guī)則融合眼睛特征識(shí)別步驟、視線跟蹤步驟、駕駛行為監(jiān)測(cè) 步驟的疲勞判斷的基本可信度得到聯(lián)合基本可信度分配，從而建立準(zhǔn)確的疲勞判決架構(gòu)利 用各模塊的疲勞測(cè)量信息，判斷對(duì)駕駛員是否處于疲勞駕駛狀態(tài)。如果駕駛員處于疲勞駕 駛狀態(tài)，數(shù)字信號(hào)處理器輸出信號(hào)到揚(yáng)聲器模塊，此時(shí)揚(yáng)聲器模塊發(fā)出聲音來提醒駕駛員。
權(quán)利要求
1.一種基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置，其特征在于包括數(shù)字信號(hào)處理器，帶有濾光片的攝像頭，安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊，揚(yáng)聲器模塊和由角度傳感器和壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚(yáng)聲器模塊和傳感器模塊分別與數(shù)字信號(hào)處理器連接；所述數(shù)字信號(hào)處理器用于接收并處理由攝像頭和傳感器模塊輸入的數(shù)據(jù)，當(dāng)駕駛員處于疲勞時(shí)，則輸出信號(hào)到揚(yáng)聲器模塊；帶有濾光片的攝像頭用于采集駕駛員的頭部范圍圖像數(shù)據(jù)并輸入到數(shù)字信號(hào)處理器；所述矩形紅外LED光源模塊包括安裝在汽車擋風(fēng)玻璃的四個(gè)角上的紅外LED，該四個(gè)紅外LED發(fā)射的紅外光通過人眼瞳孔的反射到所述攝像頭之上并在攝像頭采集到的圖像上產(chǎn)生四個(gè)光斑；所述傳感器模塊包括角度傳感器和壓力傳感器，其中安裝在方向盤上的角度傳感器和壓力傳感器用于測(cè)量方向盤轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤，安裝在腳踏板上的壓力傳感器測(cè)量腳踏板的使用狀態(tài)，傳感器模塊把數(shù)據(jù)輸入到數(shù)字信號(hào)處理器進(jìn)行處理，用于駕駛行為監(jiān)測(cè)；所述揚(yáng)聲器模塊接收數(shù)字信號(hào)處理器發(fā)出的駕駛員疲勞判別結(jié)果信號(hào)，如果為疲勞狀態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
2、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置，其特征在于所述 攝像頭的鏡頭上裝有用于濾除日光的紅外濾光片，攝像頭只采集由矩形紅外LED光源模塊 發(fā)出的紅外光產(chǎn)生的圖像信息，并通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù)字信號(hào)處理器進(jìn) 行處理。
3、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置，其特征在于所述 矩形紅外LED光源模塊包括安裝在汽車的擋風(fēng)玻璃的四個(gè)角上的四個(gè)紅外LED,四個(gè)紅外 LED形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周產(chǎn)生四個(gè)亮點(diǎn)，由攝像頭 采集其圖像并輸入到數(shù)字信號(hào)處理器進(jìn)行計(jì)算，判定視線方向的改變。
4、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置，其特征在于所述 傳感器模塊通過RS232接口把數(shù)據(jù)輸入到數(shù)字信號(hào)處理器進(jìn)行處理。
5、 基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置的監(jiān)測(cè)方法，其特征在于由眼睛特征識(shí)別 過程、視線跟蹤過程、駕駛行為監(jiān)測(cè)過程和疲勞特征判決四個(gè)部分組成，所述眼睛特征識(shí)別過程包括攝像頭采集到頭部圖像數(shù)據(jù)并通過SVHS接口傳送到數(shù)字 信號(hào)處理器，數(shù)字信號(hào)處理器對(duì)攝像頭拍攝的圖像進(jìn)行平滑去噪聲處理，去除造成干擾的 冗余信息，采用Viola方法檢測(cè)和定位攝像頭采集圖像的人臉區(qū)域，再次使用Viola方法檢 測(cè)和定位之前得到人臉區(qū)域內(nèi)的人眼區(qū)域圖像；對(duì)釆集到的人眼區(qū)域圖像進(jìn)行2D-DCT變換 得到觀察向量序列，把觀察向量序列輸入到已訓(xùn)練好的用于判斷眼睛閉合的嵌入式隱馬爾 可夫判別模型，計(jì)算睜眼和閉眼分類器產(chǎn)生該序列的似然值，根據(jù)此似然值判定眼睛的睜 閉狀態(tài)，如果睜眼分類器的似然值比閉眼分類器的似然值大，則為睜眼狀態(tài)，相反則為閉眼狀態(tài)；檢測(cè)到人眼狀態(tài)后，分時(shí)段記錄判別為閉眼狀態(tài)的幀數(shù)和采集到的幀總數(shù)， 并計(jì)算出眼睛閉合時(shí)間占特定時(shí)間的百分率的perclos系數(shù)，從而判斷駕駛員的疲勞程 度，如果perclos系數(shù)超過正常狀態(tài)值，則駕駛員處于疲勞狀態(tài)，相反則處于正常狀態(tài)；所述視線跟蹤過程包括安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊發(fā)出紅外線， 紅外光源經(jīng)人眼角膜反射后，在帶有濾光片的攝像頭采集的圖像上形成亮斑點(diǎn)，稱為普爾 欽斑點(diǎn)；數(shù)字信號(hào)處理器通過SVHS接口接收由攝像頭采集經(jīng)紅外光源照射后的人臉圖像， 通過所述眼睛特征識(shí)別過程中的人臉人眼定位處理得到人眼區(qū)域，采用水平和垂直灰度投 影法定位瞳孔中心，并利用普爾欽斑點(diǎn)的幾何特征檢測(cè)其位置，然后對(duì)普爾欽斑點(diǎn)進(jìn)行灰 度修正、平滑處理，通過幾何計(jì)算求取瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系，從而判別視線 方向；通過計(jì)算在特定時(shí)間內(nèi)視線不變的幀數(shù)占幀段總數(shù)的比例得出視線停留時(shí)間比例， 若視線停留時(shí)間比例超過設(shè)定值，則判斷駕駛員為長時(shí)間注視某個(gè)方向或者是視線沒有注 視道路前方，并認(rèn)定為疲勞狀態(tài)；所述駕駛行為監(jiān)測(cè)過程包括通過安裝在方向盤上的角度傳感器和壓力傳感器，監(jiān)測(cè) 方向盤的轉(zhuǎn)動(dòng)情況和駕駛員是否有抓緊方向盤，記錄設(shè)定長時(shí)間段內(nèi)的角度傳感器和壓力 傳感器的數(shù)據(jù)變化情況，如果傳感器RS232接口輸出到數(shù)字信號(hào)處理器的數(shù)據(jù)在設(shè)定時(shí)間內(nèi) 沒發(fā)生變化，則判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作方向盤；通過安裝在腳踏板上的 壓力傳感器，監(jiān)測(cè)汽車腳踏板的使用狀況，記錄特定長時(shí)間段內(nèi)的壓力傳感器的數(shù)據(jù)變化 情況，如果傳感器通過RS232接口輸出到數(shù)字信號(hào)處理器的數(shù)據(jù)設(shè)定時(shí)間內(nèi)沒發(fā)生變化，則判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作腳踏板；所述疲勞特征判決包括測(cè)量所述眼睛特征識(shí)別過程、視線跟蹤過程、駕駛行為監(jiān)測(cè) 過程中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的概率；結(jié)合信息融合理論建立疲 勞特征判決架構(gòu)，使用現(xiàn)有的貝葉斯推理擴(kuò)充的D—S證據(jù)推理方法，利用Dempster組合規(guī) 則融合眼睛特征識(shí)別過程、視線跟蹤過程、駕駛行為監(jiān)測(cè)過程的疲勞判斷的基本可信度得 到聯(lián)合基本可信度分配，從而建立準(zhǔn)確的疲勞判決架構(gòu)并利用各個(gè)過程的疲勞測(cè)量信息來 判斷對(duì)駕駛員是否處于疲勞駕駛狀態(tài)，如果駕駛員處于疲勞駕駛狀態(tài)，數(shù)字信號(hào)處理器輸 出信號(hào)到揚(yáng)聲器模塊，此時(shí)揚(yáng)聲器模塊發(fā)出聲音來提醒駕駛員。
6、根據(jù)權(quán)利要求5所述的方法，其特征在于眼睛特征識(shí)別過程中用于判斷眼睛閉合的 嵌入式隱馬爾可夫判別模型的訓(xùn)練過程如下(1) 采集不同人群在不同時(shí)間、不同光照條件、不同距離、不同面部表情、不 同面部細(xì)節(jié)和不同臉部朝向條件下的閉眼和睜眼狀態(tài)樣本；(2) 對(duì)步驟(1)中采集到的圖像進(jìn)行幾何尺寸歸一化處理和灰度均衡預(yù)處理，對(duì)兩類人眼圖像進(jìn)行采樣并對(duì)每個(gè)采樣窗進(jìn)行2D-DCT變換，通過2D-DCT變換后的低頻系數(shù) 構(gòu)成觀察向量序列；(3) 設(shè)定嵌入式隱馬爾可夫模型的超狀態(tài)個(gè)數(shù)和每一個(gè)超狀態(tài)中的子隱馬爾可夫模型 狀態(tài)數(shù)，根據(jù)設(shè)定的超狀態(tài)個(gè)數(shù)和每個(gè)超狀態(tài)內(nèi)嵌入狀態(tài)個(gè)數(shù)以及嵌入式隱馬爾可夫模型 的結(jié)構(gòu)，將步驟(2)中的人眼觀察向量序列均勻分割；(4) 根據(jù)步驟(3)中的狀態(tài)數(shù)和圖像均勻分割后得到的觀察向量序列，初始化嵌入 式隱馬爾可夫模型參數(shù)，通過雙重嵌套的Viterbi算法對(duì)圖像進(jìn)行重新分割，用Baum-welch 算法重估嵌入式隱馬爾可夫模型參數(shù)；當(dāng)前后兩次的迭代誤差小于設(shè)定的閾值時(shí)，停止迭 代，得到所述用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型。
7、 根據(jù)權(quán)利要求5所述的方法，其特征在于視線跟蹤過程中視線跟蹤過程中所述的普 爾欽斑點(diǎn)灰度值修正的方法如下以其中一個(gè)普爾欽斑點(diǎn)PO為中心，對(duì)與P0相鄰的8個(gè) 像素A1 A8中的每個(gè)像素的灰度值進(jìn)行修正；以被修正像素為中心，取其周圍相鄰8個(gè)像 素，尋找包括被修正的像素在內(nèi)這9個(gè)像素中的灰度最小值，將其替代被修正像素的灰度 值；再對(duì)PO的灰度值進(jìn)行修正，取PO， A1 A8這9個(gè)像素中的灰度最小值，將其替代PO 的灰度值，另外三個(gè)普爾欽斑點(diǎn)的灰度修正方法和PO相同。
8. 根據(jù)權(quán)利要求5所述的方法，其特征在于視線跟蹤過程中所述的通過幾何計(jì)算求取 瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系來判別視線方向的過程如下設(shè)PO、 Pl、 P2、 P3為檢測(cè) 到的四個(gè)普爾欽斑點(diǎn)，Q為瞳孔中心，利用定比分點(diǎn)公式求出P0 P3的對(duì)角線交點(diǎn)0的坐 標(biāo)，連結(jié)OQ， OP0， 0P1， OP2， 0P3， OP0 OP3把由點(diǎn)P0 P3連接成的矩形分割為四個(gè)區(qū) 域。通過計(jì)算OQ處于哪個(gè)區(qū)域，得出相應(yīng)的視線方向。
全文摘要
本發(fā)明公開了一種基于多元信息融合的駕駛員疲勞監(jiān)測(cè)裝置及其監(jiān)測(cè)方法，所述裝置包括數(shù)字信號(hào)處理器，帶有濾光片的攝像頭，安裝在汽車的擋風(fēng)玻璃的矩形紅外LED光源模塊，揚(yáng)聲器模塊和由角度傳感器和壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚(yáng)聲器模塊和傳感器模塊分別與數(shù)字信號(hào)處理器連接；所監(jiān)測(cè)方法包括、視線跟蹤、駕駛行為監(jiān)測(cè)、疲勞特征判決四個(gè)過程，疲勞特征判融合眼睛特征識(shí)別、視線跟蹤、駕駛行為監(jiān)測(cè)的疲勞判斷結(jié)果，準(zhǔn)確判斷駕駛員的疲勞狀態(tài)。本發(fā)明利用信息融合技術(shù)，使疲勞駕駛檢測(cè)技術(shù)得到更進(jìn)一步的發(fā)展和提高，能客觀、實(shí)時(shí)、快速準(zhǔn)確地判斷出駕駛員的疲勞狀態(tài)，避免疲勞駕駛所引起的交通事故。
文檔編號(hào)G08B21/06GK101540090SQ20091003861
公開日2009年9月23日 申請(qǐng)日期2009年4月14日 優(yōu)先權(quán)日2009年4月14日
發(fā)明者倪向東, 梁銘炬, 秦華標(biāo) 申請(qǐng)人:華南理工大學(xué)