專利名稱：對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種汽車工程中的控制技術(shù)領(lǐng)域的裝置與方法，具體是一種對(duì)駕 駛員疲勞狀態(tài)的智能識(shí)別裝置與方法。
背景技術(shù)：
眾所周知，駕駛員長(zhǎng)途駕駛汽車時(shí)，會(huì)因難以克服的生理疲勞時(shí)常發(fā)生交通事故。 特別是長(zhǎng)途貨運(yùn)卡車司機(jī)出于經(jīng)濟(jì)利益的考慮會(huì)不顧自己的身體狀況持續(xù)駕駛十幾個(gè)小 時(shí)以上。這類貨運(yùn)卡車司機(jī)往往會(huì)在行駛中途出現(xiàn)瞌睡現(xiàn)象，因此而釀成慘痛的車毀人亡 交通事故。據(jù)統(tǒng)計(jì)，2007年我國(guó)由于交通事故死亡的人數(shù)達(dá)到了 8萬(wàn)多人，道路交通安全現(xiàn) 狀不容樂(lè)觀。2007年美國(guó)道路交通事故統(tǒng)計(jì)數(shù)據(jù)表明，由于疲勞駕駛原因直接導(dǎo)致死亡的 事故次數(shù)有1400多起。世界衛(wèi)生組織研究報(bào)告指出，每年交通事故奪走接近120萬(wàn)的生命，占每年全球 死亡人數(shù)的2. 2%，在所有導(dǎo)致死亡的原因中居第9位。如果當(dāng)前的交通狀況沒(méi)有改善，預(yù) 計(jì)到2030年，交通事故死亡人數(shù)所占的比重將達(dá)到3.6%，將在所有死亡原因中上升至第5 位。并有不斷上升的趨勢(shì)。美國(guó)國(guó)家睡眠基金會(huì)的研究報(bào)告指出美國(guó)每年由于駕駛員疲勞原因?qū)е碌慕煌?事故數(shù)平均有10萬(wàn)多例。對(duì)大量交通事故的致因分析表明，在駕駛疲勞中，駕駛員的感知疲勞、判斷決策疲 勞是肇發(fā)交通事故的主要原因。日本對(duì)38000多起事故致因進(jìn)行研究發(fā)現(xiàn)感知疲勞占 40. 1%，判斷決策疲勞為41.5%。駕駛疲勞影響駕駛員的警覺(jué)和安全駕駛能力。駕駛疲勞問(wèn)題已經(jīng)引起世人的關(guān) 注，西方發(fā)達(dá)國(guó)家投入巨大的人力、物力廣泛開展駕駛疲勞的研究工作。我國(guó)駕駛疲勞監(jiān)測(cè)方法落后的現(xiàn)狀以及嚴(yán)峻的道路交通安全形勢(shì)，也迫切要求解 決駕駛疲勞監(jiān)測(cè)技術(shù)中的難題。駕駛員疲勞識(shí)別技術(shù)的研究主要集中在三個(gè)方面(1)基于駕駛員個(gè)體特性的監(jiān)測(cè)方法，例如眼瞼的活動(dòng)、眼睛閉合、點(diǎn)頭動(dòng)作等；(2)基于駕駛員生理參數(shù)測(cè)量的監(jiān)測(cè)方法，例如腦電圖、眼動(dòng)圖、肌電圖、肌肉活動(dòng) 等；(3)基于車輛參數(shù)的監(jiān)測(cè)方法，例如車速、加速度、車輛位置等。要克服駕駛員疲勞駕駛的現(xiàn)象，除了加強(qiáng)對(duì)駕駛員必要的交通法制教育和交通運(yùn) 輸企業(yè)的生產(chǎn)管理外，依靠先進(jìn)的科技來(lái)完善現(xiàn)有汽車安全駕駛智能化功能則是至關(guān)重要 的技術(shù)手段。這里所說(shuō)的駕駛員疲勞狀態(tài)主要是指駕駛員因生理疲勞而呈現(xiàn)出的瞌睡狀 態(tài)。經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，路遙等的“一種用于人眼定位和人眼張開閉合的 識(shí)別方法”(中國(guó)專利申請(qǐng)?zhí)?00510027371.X)介紹了一種“人眼定位和人眼張開閉合的 識(shí)別方法”。該方法主要解決對(duì)動(dòng)態(tài)圖象的人眼識(shí)別的問(wèn)題。其步驟為將攝像頭動(dòng)態(tài)提取到的一幀圖象利用灰度直方圖進(jìn)行自動(dòng)灰度均衡，將人的臉部從背景中凸現(xiàn)出來(lái)，再利 用可調(diào)半窗口域值將人臉從背景中提取出來(lái)，根據(jù)估算的人眼象素塊大小，去掉非人眼區(qū) 域，然后結(jié)合人眼的二維幾何關(guān)系確定人的雙眼，用黑框在原始圖像上顯示出來(lái)，如果沒(méi)有 檢測(cè)到雙眼，系統(tǒng)聲音提示；再利用眼睛象素的大小，判斷眼睛的張開與閉合；如果眼睛張 開，原始圖像上將有黑框顯示，程序不發(fā)出提示音；如果眼睛閉上，原始圖像上將沒(méi)有黑框 顯示，程序發(fā)出提示音。該方法擬應(yīng)用于多種檢測(cè)系統(tǒng)，如疲勞駕駛報(bào)警系統(tǒng)。該方法技術(shù) 缺陷是“根據(jù)估算的人眼象素塊大小，去掉非人眼區(qū)域，然后結(jié)合人眼的二維幾何關(guān)系確 定人的雙眼”，這種識(shí)別人眼區(qū)域的方法準(zhǔn)確率較低，而且時(shí)常會(huì)發(fā)生誤判，原因在于人眼 大小不一、頭發(fā)疏密差別很大、人的著裝顏色反差極大，因此是一種極不可靠的技術(shù)；適用 限制條件較多，正如該方法自身《技術(shù)說(shuō)明書》所說(shuō)“人眼不能被遮擋”；對(duì)背景有要求等。 因此，該技術(shù)方法難以直接運(yùn)用于對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別過(guò)程。再經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，成波、張廣淵、馮睿嘉等的“基于眼睛狀態(tài)識(shí)別 的駕駛員疲勞實(shí)時(shí)監(jiān)測(cè)”(《汽車工程》2008年第11期)提出了一種基于眼睛狀態(tài)識(shí)別的 駕駛員疲勞狀態(tài)實(shí)時(shí)監(jiān)測(cè)的方法。首先通過(guò)計(jì)算累計(jì)背景和當(dāng)前幀的差分圖像的質(zhì)心確定 臉部范圍，然后通過(guò)二值化和輪廓檢測(cè)確定眼睛的搜索區(qū)域。在利用啟發(fā)式規(guī)則進(jìn)行篩選 定位之后，計(jì)算眼睛骨架曲線和兩眼角連線之間的距離得到眼睛的睜開程度。通過(guò)計(jì)算相 應(yīng)的疲勞指標(biāo)如PERCL0S、平均睜眼程度、最長(zhǎng)眼睛閉合時(shí)間來(lái)推測(cè)駕駛員的疲勞狀態(tài)。以 駕駛員面部視頻的主觀評(píng)分作為評(píng)價(jià)依據(jù)對(duì)檢測(cè)方法進(jìn)行評(píng)價(jià)，結(jié)果顯示上述3個(gè)指標(biāo)在 不同的疲勞等級(jí)下均存在顯著性差異，通過(guò)對(duì)不同指標(biāo)的融合可達(dá)到較好的疲勞檢測(cè)準(zhǔn)確 率。該方法的技術(shù)缺陷主要表現(xiàn)于“確定眼睛的搜索區(qū)域”要花費(fèi)較多的計(jì)算時(shí)間；以“疲 勞指標(biāo)如PERCL0S、平均睜眼程度、最長(zhǎng)眼睛閉合時(shí)間來(lái)推測(cè)駕駛員的疲勞狀態(tài)”，其檢測(cè)準(zhǔn) 確率不高。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種對(duì)駕駛員疲勞狀態(tài)的智能識(shí) 別裝置與方法，確保車輛在行駛過(guò)程，能夠準(zhǔn)確識(shí)別駕駛員的駕車狀態(tài)，制止駕駛員疲勞駕 車，因此能夠有效地避免因駕駛員疲勞而造成的交通事故。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明涉及一種對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置，包括針孔攝像頭、信號(hào)處理 器、車速操控機(jī)構(gòu)和語(yǔ)音播放器。針孔攝像頭的輸出接口通過(guò)視頻電纜與信號(hào)處理器的圖 像輸入接口連接，信號(hào)處理器的輸出接口分別與車速操控機(jī)構(gòu)和語(yǔ)音播放器數(shù)字的輸入接 口并行連接。所述針孔攝像頭，設(shè)置于駕駛室內(nèi)，正對(duì)著駕駛員的面部，用于實(shí)時(shí)采集駕駛員的 面部視圖。所述信號(hào)處理器，包括圖像輸入接口、模數(shù)轉(zhuǎn)換模塊、圖像處理模塊、車速信號(hào)輸 入接口、輸出接口。其中圖像輸入接口的輸入端經(jīng)視頻電纜與針孔攝像頭輸出接口相連， 圖像輸入接口的輸出端與模數(shù)轉(zhuǎn)換模塊的輸入端連接，模數(shù)轉(zhuǎn)換模塊的輸出端口與圖像處 理模塊的輸入端口連接；車速信號(hào)輸入接口的輸入端與車輛速度傳感器的輸出接口連接， 車速信號(hào)輸入接口的輸出端與圖像處理模塊的輸入端口連接。所述的車輛速度傳感器，利用車輛已有的車輛數(shù)字速度傳感器。所述圖像處理模塊，是信號(hào)處理器中的核心技術(shù)模塊，承擔(dān)圖像信息的處理、識(shí)別 與決策的整個(gè)運(yùn)算過(guò)程。所述車速操控機(jī)構(gòu)，包括輸入接口、第一數(shù)模轉(zhuǎn)換器、功率放大器、電磁閥和電動(dòng) 剎車推桿。其中，輸入接口的輸入端口與信號(hào)處理器的輸出接口連接，輸入接口的輸出端口 與第一數(shù)模轉(zhuǎn)換器的輸入端口連接，第一數(shù)模轉(zhuǎn)換器的輸出端口與功率放大器的輸入端口 連接，功率放大器的輸出端口同時(shí)與電磁閥線圈的兩個(gè)端點(diǎn)及電動(dòng)剎車推桿線圈的兩個(gè)端 點(diǎn)相并接。所述的電磁閥線圈套在電磁鐵芯的外面，電磁線圈受電時(shí)通過(guò)電磁鐵芯產(chǎn)生磁力 對(duì)閥門產(chǎn)生磁性吸力，隨著加在電磁線圈兩端點(diǎn)電壓信號(hào)的大小變化，電磁鐵芯的磁性吸 力同時(shí)產(chǎn)生相應(yīng)的變化，電磁鐵芯的磁性吸力作用于閥門、拉動(dòng)閥門以改變閥門的開度，阻 力彈簧是一種拉伸彈簧，閥門在電磁鐵芯磁性吸力拉動(dòng)的同時(shí)，阻力彈簧也同時(shí)受到拉伸， 因此產(chǎn)生一個(gè)與電磁鐵芯磁性吸力相反的彈性力，當(dāng)電磁鐵芯磁性吸力和阻力彈簧彈力達(dá) 到平衡時(shí)，閥門就被停止拉動(dòng)，即閥門開度與加在電磁線圈兩端點(diǎn)電壓相對(duì)應(yīng)。所述電動(dòng)剎車推桿，包括電剎車線圈與電磁推桿，電剎車線圈套裝在電磁推桿的 一端，電磁推桿的另一端與腳踏剎車桿杠機(jī)構(gòu)連接，當(dāng)電剎車線圈受電時(shí)，電剎車線圈所產(chǎn) 生的電磁場(chǎng)對(duì)套裝在電剎車線圈內(nèi)的推桿產(chǎn)生軸向機(jī)械推力，該軸向機(jī)械推力作用在腳踏 剎車桿杠機(jī)構(gòu)的電動(dòng)推桿作力點(diǎn)上，通過(guò)桿杠機(jī)構(gòu)起到與腳踏剎車同樣的效果使車輛自動(dòng) 剎車。所述語(yǔ)音提示器，包括輸入接口、譯碼器、數(shù)字語(yǔ)音模塊、第二數(shù)模轉(zhuǎn)換器、功率 放大模塊、揚(yáng)聲器；其中輸入接口的輸入端口與信號(hào)處理器的輸出接口連接，輸入接口的 輸出端與譯碼器的輸入端口連接，譯碼器的輸出端口與數(shù)字語(yǔ)音模塊的輸入端口連接，數(shù) 字語(yǔ)音模塊的輸出端口與第二數(shù)模轉(zhuǎn)換器的輸入端口連接，第二數(shù)模轉(zhuǎn)換器的輸出端口與 功率放大模塊的輸入端口連接，功率放大模塊的輸出端口與揚(yáng)聲器的輸入端口連接。當(dāng)語(yǔ) 音提示器的輸入接口接收到控制指令后，經(jīng)過(guò)譯碼器的解釋，鏈接數(shù)字語(yǔ)音模塊中的相關(guān) 語(yǔ)音單元，將鏈接后的語(yǔ)音單元序列依次輸至第二數(shù)模轉(zhuǎn)換器轉(zhuǎn)換為語(yǔ)音模擬信號(hào)，再將 語(yǔ)音模擬信號(hào)輸至功率放大模塊經(jīng)功率放大后驅(qū)動(dòng)揚(yáng)聲器發(fā)出相應(yīng)的語(yǔ)音警示。本發(fā)明車輛正常行駛中，電磁閥處于全開狀態(tài)，即開度為100% ；當(dāng)本發(fā)明裝置識(shí) 別前方車距小于安全車距時(shí)，電磁閥線圈在輸入電壓信號(hào)的作用下，電磁鐵產(chǎn)生相應(yīng)磁力 拉動(dòng)閥門減小其原有開度，因此減小了燃料的流量，迫使車輛減速；同時(shí)，電動(dòng)剎車推桿線 圈也在該輸入電壓信號(hào)的作用下，對(duì)推桿產(chǎn)生軸向推力通過(guò)桿杠機(jī)構(gòu)的力矩傳遞帶動(dòng)腳剎 車迫使車輛逐漸減速并最終停止下來(lái)。本發(fā)明的信號(hào)處理器圖像輸入接口從針孔攝像頭輸出接口接收駕駛員面部圖像 模擬信號(hào)后，將圖像模擬信號(hào)送入模數(shù)轉(zhuǎn)換模塊的輸入端，模數(shù)轉(zhuǎn)換模塊再將轉(zhuǎn)換后的數(shù) 字圖像信號(hào)分別輸至圖像處理模塊；車輛速度傳感器的輸出信號(hào)經(jīng)車速信號(hào)輸入接口輸入 至圖像處理模塊。信號(hào)處理器對(duì)針孔攝像頭采集到的駕駛員臉部圖像信號(hào)進(jìn)行處理與分析 后，確定當(dāng)前駕駛員是否正處于疲勞駕駛狀態(tài)；一旦確認(rèn)駕駛員疲勞駕駛，信號(hào)處理器會(huì)實(shí) 時(shí)地將識(shí)別結(jié)果生成控制指令由其輸出接口輸出；在控制指令的作用下，通過(guò)車速操控機(jī) 構(gòu)自動(dòng)使車輛減速乃至剎車。同時(shí)，通過(guò)語(yǔ)音播放器向駕駛員警示“您已處于疲勞狀態(tài)，為了您和大家的安全，請(qǐng)停車休息！ 本發(fā)明還涉及一種對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別方法，包括以下步驟步驟一、系統(tǒng)對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)；所述系統(tǒng)對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)，即本發(fā)明裝置系統(tǒng)處于學(xué)習(xí)狀態(tài)。當(dāng)系統(tǒng)處于學(xué) 習(xí)狀態(tài)時(shí)，系統(tǒng)對(duì)當(dāng)前的駕駛員疲勞狀態(tài)臉部圖像進(jìn)行采集與處理。所述駕駛員疲勞狀態(tài) 臉部圖像，即因疲勞而引起瞌睡的駕駛員眼部圖像。步驟一包括分步驟如下(1)采集駕駛員疲勞狀態(tài)臉部圖像并進(jìn)行彩色空間轉(zhuǎn)換；將針孔攝像頭抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像進(jìn)行強(qiáng)化后，再將其從RGB 彩色空間轉(zhuǎn)換至HSV彩色空間進(jìn)行表達(dá)；并連續(xù)采集多幅，包括多個(gè)駕駛員疲勞狀態(tài)不同 時(shí)刻的圖像。如采集三位駕駛員在不同時(shí)刻表現(xiàn)出的疲勞狀態(tài)臉部圖像并將其強(qiáng)化后，再 從RGB彩色空間轉(zhuǎn)換至HSV彩色空間進(jìn)行表達(dá)。(2)將眼部與其它區(qū)域及背景區(qū)分開來(lái)；在抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像中，按照像素坐標(biāo)從左至右、從上到下 地掃描檢測(cè)像素的景物色調(diào)，并將落入HSV彩色空間中的色調(diào)區(qū)間[2°，47° ]的色調(diào)集合 所對(duì)應(yīng)的像素點(diǎn)擬定為人臉區(qū)域，因此將人物其它區(qū)域和圖像背景跟人臉區(qū)域準(zhǔn)確地區(qū)分 開來(lái)。這是因?yàn)槿宋飯D像中的人臉膚色與衣物及背景存在著明顯不同的色調(diào)差別，人臉 膚色與衣物及背景各自的色調(diào)分布于不同的角度區(qū)域，而且人臉膚色的色調(diào)相對(duì)穩(wěn)定地集 中在HSV彩色空間中的某個(gè)角度區(qū)域，通過(guò)實(shí)驗(yàn)證實(shí)不論是自然光照還是人工光源照射， 也不論攝像系統(tǒng)的異同，膚色的色調(diào)H的角度分布都基本保持在HSV彩色空間的2 47° 之間，因此能夠通過(guò)人物圖像在HSV空間中的色調(diào)值來(lái)區(qū)分出人臉膚色和衣物、背景及其 它景物，換句話說(shuō)，只有當(dāng)某一景物的色調(diào)處于區(qū)間[2°，47° ]之內(nèi)，才有可能是人臉膚 色，否則是其它景物，如衣物或其它物品。通過(guò)實(shí)驗(yàn)進(jìn)一步證實(shí)人臉膚色的色調(diào)值為11° 的概率最高，因此稱11°的色調(diào)值為人臉膚色的概率峰值。令，人臉膚色色調(diào)在區(qū)間[2°， 47° ]的分布概率為P(H)時(shí)，H= 11°的概率達(dá)到最高，即Ρ(1Γ )= Pmax，也就是說(shuō)，當(dāng) 某個(gè)景物的色調(diào)為11°時(shí)，認(rèn)定該景物為人臉膚色的置信度達(dá)到最高。(3)對(duì)抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像確定人臉中心位置與眼部區(qū)域；利用抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像的HSV彩色空間表達(dá)，在人臉膚色色 調(diào)集合中，以最接近11°的色調(diào)值所對(duì)應(yīng)的像素點(diǎn)坐標(biāo)作為人臉中心點(diǎn)，如經(jīng)過(guò)人臉區(qū) 域搜尋結(jié)果，獲得落入HSV彩色空間中的色調(diào)區(qū)間[2°，47° ]的色調(diào)集合為{...，9.7°， 10. 1°，9. 5° , ... }，而且該集合所對(duì)應(yīng)的像素點(diǎn)坐標(biāo)為{. . .，(ik_1; U，(ik，jk)，(ik+1， jk+1)，...}，其中最接近11°的色調(diào)值是10.1°，所對(duì)應(yīng)的像素點(diǎn)坐標(biāo)為(ik，jk)，因此就可 以確定(ik，jk)為人臉中心位置坐標(biāo)，i表示像素的列坐標(biāo)，j表示像素的行坐標(biāo)，腳標(biāo)表示 列數(shù)和行數(shù)，ik的k表示第k列，jk的k表示第k行。并以人臉中心點(diǎn)為基點(diǎn)向上擴(kuò)張u行
像素和向兩側(cè)各擴(kuò)張I列像素，作為uXv的眼部區(qū)域。(4)導(dǎo)入駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本；將UX ν的眼部區(qū)域截取后作為駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本導(dǎo)入 本發(fā)明裝置系統(tǒng)。
所采集的駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本均具有256個(gè)灰度級(jí)，一般 取訓(xùn)練樣本數(shù)η = kXl ；其中，k、1分別為被采樣駕駛員數(shù)和每個(gè)駕駛員被采樣駕駛 員疲勞狀態(tài)臉部圖像眼部區(qū)域的樣本數(shù)，如k = 3、1 = 3分別代表被采樣駕駛員數(shù)為3個(gè)、 每個(gè)駕駛員被采樣駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域的樣本數(shù)為3。(5)將訓(xùn)練樣本圖像轉(zhuǎn)換為一維向量； 將每一個(gè)二維的駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本圖像數(shù)據(jù)轉(zhuǎn)化為一 維的向量，并定義“瞌睡狀”為1類眼部特征，“非瞌睡狀”為-1類眼部特征。因此可以表達(dá) 出第i圖像的一維向量Xi為Xi = [Xil xi2. · · xjT = [Xij]τ (公式一)式中，Xij表示1類第i個(gè)樣本第j個(gè)像素灰度值；i = 1，2，. . .，η為1類眼部樣 本序號(hào)；j = 1，2，. . .，m為每個(gè)樣本圖像所取像素?cái)?shù)，m = uX v，u和ν分別為樣本圖像的 列和行像素?cái)?shù)。(6)計(jì)算訓(xùn)練樣本特征值及特征向量；計(jì)算1類的均值I,即
1 η m稱由此求得的均值J為1類平均眼。對(duì)上述訓(xùn)練樣本進(jìn)行規(guī)范化后可以表達(dá)為Vi=Xi-X; i = 1,2, . . . , η (公式三)由訓(xùn)練樣本組成的1類平均眼規(guī)范化向量νν = [V1 V2. ..νη]τ (公式三)此時(shí)，1類平均眼協(xié)方差矩陣為Q = [V1 V2. · · vn]T[Vl v2. . . vn] ；Q e Rnxn (公式四)利用(公式四)求取Q的特征值λ χ及其特征向量，并將其從大到小重新排列后 生成特征向量P=EX1 λ2 λ3···]τ (公式五)其中，人！彡 A2 ^ A3^...(7)對(duì)訓(xùn)練樣本進(jìn)行線性變換后投影到特征空間；由于較大的特征值對(duì)應(yīng)的特征向量包含了較多的人臉眼部特征信息，因此選取前 s個(gè)較大的特征值所對(duì)應(yīng)的特征向量構(gòu)成的向量空間就可以近似地表示人臉眼部圖像的主 要信息。S取值由實(shí)驗(yàn)確定。對(duì)于圖像庫(kù)中的η個(gè)圖像Xi = [Xil xi2... xj T(i = 1,2,... ,η)都可以向此特征 空間投影，得到投影向量Qi= [ωη ω 2... ω Jt0從ν= [V1 ν2... 選取前s個(gè)較大的特征值所對(duì)應(yīng)的規(guī)范化值構(gòu)成新的規(guī)范 化向量V = [v, V2 ... ν/ (公式六)因此，可以直接用 來(lái)代表1類人臉眼部特征，即駕駛員疲勞狀態(tài)臉部圖像眼部區(qū) 域特征。這就是說(shuō)，建立了人臉眼部特征規(guī)范化向量后，就可以依次作為識(shí)別駕駛員是否因疲勞而呈現(xiàn)瞌睡狀的判據(jù)。所述的圖像增強(qiáng)，是指采用脈沖耦合神經(jīng)網(wǎng)絡(luò)法模擬與特征有關(guān)的神經(jīng)元同步 行為來(lái)展示脈沖發(fā)放現(xiàn)象的連接模型，對(duì)駕駛室內(nèi)針孔攝像頭實(shí)時(shí)采集到的圖像進(jìn)行增
強(qiáng)。 所述的脈沖耦合神經(jīng)網(wǎng)絡(luò)法(Pulse-Coupled Neural Networks，簡(jiǎn)稱PCNN)，是一 種模擬與特征有關(guān)的神經(jīng)元同步行為來(lái)展示脈沖發(fā)放現(xiàn)象的連接模型。因此，它與視感神 經(jīng)系統(tǒng)的感知能力有著天然的聯(lián)系。應(yīng)用于圖像處理的PCNN結(jié)構(gòu)模型中，待處理的圖像每個(gè)像素f (i，j)對(duì)應(yīng)著每個(gè) 神經(jīng)元Nij,其中像素坐標(biāo)，i = 1,2,3, ...,J = 1,2,3, ... ο以Iij表示像素點(diǎn)f(i，j)的 像素強(qiáng)度值，每個(gè)神經(jīng)元Nij除接收來(lái)自外部的刺激Iij外，還接收來(lái)自內(nèi)部網(wǎng)絡(luò)其他神經(jīng)元 的饋送輸入Fij (t)和聯(lián)接輸入LijU),接著通過(guò)神經(jīng)元連接強(qiáng)度β以乘積耦合形式Fij (t) [1+β LijU)]構(gòu)成神經(jīng)元Nij的內(nèi)部行為UijU),再通過(guò)動(dòng)態(tài)閾值θ^α)與UijU)的比較 而激勵(lì)或抑制神經(jīng)元的脈沖信號(hào)輸出Yu(t)(又稱為點(diǎn)火)，t代表時(shí)間。由于常規(guī)圖像中邊緣兩邊的象素亮度強(qiáng)度差總比區(qū)域內(nèi)空間鄰近的象素亮度強(qiáng) 度差相對(duì)要大，因此，若采用PCNN于二維圖像處理，每個(gè)神經(jīng)元與圖像像素一一對(duì)應(yīng)，其亮 度強(qiáng)度值作為神經(jīng)元的外部刺激，則在PCNN內(nèi)部，空間鄰近、強(qiáng)度相似的像素集群能夠同 步點(diǎn)火，否則異步點(diǎn)火。這在圖像增強(qiáng)中，表現(xiàn)為同步點(diǎn)火對(duì)應(yīng)的圖像像素呈現(xiàn)相同的亮度 強(qiáng)度值，從而平滑了圖像區(qū)域；異步點(diǎn)火對(duì)應(yīng)的圖像像素呈現(xiàn)不同的亮度強(qiáng)度值，從而加大 了圖像區(qū)域間亮度強(qiáng)度的梯度，進(jìn)而更加突出了圖像的邊緣，使得增強(qiáng)后的圖像亮度強(qiáng)度 分布更具有層次性。在標(biāo)準(zhǔn)的PCNN模型中，由于硬限幅函數(shù)的作用，其輸出是一個(gè)二值圖像幀。為了 使所建立的PCNN輸出映射函數(shù)能更有效地進(jìn)行圖像整體對(duì)比度增強(qiáng)的處理，基于上述的 人眼視覺(jué)感知特性，采用類對(duì)數(shù)映射函數(shù)，將圖像的亮度強(qiáng)度映射到一個(gè)合適的視覺(jué)范圍。該方法的最大優(yōu)點(diǎn)在于它與視覺(jué)神經(jīng)系統(tǒng)的感知能力有著天然的聯(lián)系，使得該模 型不僅能較好地平滑圖像區(qū)域、突出圖像邊緣，而且能明顯地改善彩色圖像的視覺(jué)效果、增 強(qiáng)圖像色彩的真實(shí)效果。所述的彩色空間轉(zhuǎn)換，是指將增強(qiáng)后的圖像進(jìn)行彩色空間轉(zhuǎn)換，即將增強(qiáng)后的數(shù) 字圖像從RGB彩色空間轉(zhuǎn)換至HSV彩色空間，轉(zhuǎn)換后的色調(diào)H、飽和度S和亮度V分別表示 為
權(quán)利要求
一種對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置，其特征在于，包括針孔攝像頭、信號(hào)處理器、車速操控機(jī)構(gòu)和語(yǔ)音播放器，針孔攝像頭的輸出接口通過(guò)視頻電纜與信號(hào)處理器的圖像輸入接口連接，信號(hào)處理器的輸出接口分別與車速操控機(jī)構(gòu)和語(yǔ)音播放器數(shù)字的輸入接口連接；所述信號(hào)處理器，包括圖像輸入接口、模數(shù)轉(zhuǎn)換模塊、圖像處理模塊、車速信號(hào)輸入接口、輸出接口，其中圖像輸入接口的輸入端經(jīng)視頻電纜與針孔攝像頭輸出接口相連，圖像輸入接口的輸出端與模數(shù)轉(zhuǎn)換模塊的輸入端連接，模數(shù)轉(zhuǎn)換模塊的輸出端口與圖像處理模塊的輸入端口連接，車速信號(hào)輸入接口的輸入端與車輛速度傳感器的輸出接口連接，車速信號(hào)輸入接口的輸出端與圖像處理模塊的輸入端口連接；所述車速操控機(jī)構(gòu)，包括輸入接口、第一數(shù)模轉(zhuǎn)換器、功率放大器、電磁閥和電動(dòng)剎車推桿，其中，輸入接口與第一數(shù)模轉(zhuǎn)換器的輸入端口連接，第一數(shù)模轉(zhuǎn)換器的輸出端口與功率放大器的輸入端口連接，功率放大器的輸出端口同時(shí)與電磁閥線圈的兩個(gè)端點(diǎn)及電動(dòng)剎車推桿線圈的兩個(gè)端點(diǎn)相并接。
2.根據(jù)權(quán)利要求1所述的對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置，其特征是，所述針孔攝 像頭，設(shè)置于駕駛室內(nèi)，正對(duì)著駕駛員的面部，用于實(shí)時(shí)采集駕駛員的面部視圖。
3.根據(jù)權(quán)利要求1所述的對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置，其特征是，所述電動(dòng)剎 車推桿，包括電剎車線圈與電磁推桿，電剎車線圈套裝在電磁推桿的一端，電磁推桿的另 一端與腳踏剎車桿杠機(jī)構(gòu)連接，當(dāng)電剎車線圈受電時(shí)，電剎車線圈所產(chǎn)生的電磁場(chǎng)對(duì)套裝 在電剎車線圈內(nèi)的推桿產(chǎn)生軸向機(jī)械推力，該軸向機(jī)械推力作用在腳踏剎車桿杠機(jī)構(gòu)的電 動(dòng)推桿作力點(diǎn)上，通過(guò)桿杠機(jī)構(gòu)起到與腳踏剎車同樣的效果使車輛自動(dòng)剎車。
4.一種對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別方法，其特征在于，包括以下步驟步驟一、系統(tǒng) 對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)；步驟二、在線識(shí)別駕駛員疲勞狀態(tài)。
5.根據(jù)權(quán)利要求4所述的對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別方法，其特征是，步驟一中所 述系統(tǒng)對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)，即系統(tǒng)處于學(xué)習(xí)狀態(tài)。當(dāng)系統(tǒng)處于學(xué)習(xí)狀態(tài)時(shí)，系統(tǒng)對(duì)當(dāng)前的 駕駛員疲勞狀態(tài)臉部圖像進(jìn)行采集與處理。步驟一包括分步驟如下(1)采集駕駛員疲勞狀態(tài)臉部圖像并進(jìn)行彩色空間轉(zhuǎn)換；將針孔攝像頭連續(xù)采集多幅，包括多個(gè)駕駛員疲勞狀態(tài)不同時(shí)刻的圖像進(jìn)行強(qiáng)化后， 再將其從RGB彩色空間轉(zhuǎn)換至HSV彩色空間進(jìn)行表達(dá)。(2)將眼部與其它區(qū)域及背景區(qū)分開來(lái)；在抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像中，按照像素坐標(biāo)從左至右、從上到下地掃 描檢測(cè)像素的景物色調(diào)，并將落入HSV彩色空間中的色調(diào)區(qū)間[2°，47° ]的色調(diào)集合所 對(duì)應(yīng)的像素點(diǎn)擬定為人臉區(qū)域，因此將人物其它區(qū)域和圖像背景跟人臉區(qū)域準(zhǔn)確地區(qū)分開來(lái)。(3)對(duì)抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像確定人臉中心位置與眼部區(qū)域；利用抽樣采集到的駕駛員疲勞狀態(tài)臉部圖像的HSV彩色空間表達(dá)，在人臉膚色色調(diào)集 合中，以最接近11°的色調(diào)值所對(duì)應(yīng)的像素點(diǎn)坐標(biāo)作為人臉中心點(diǎn)，并以人臉中心點(diǎn)為基點(diǎn)向上擴(kuò)張u行像素和向兩側(cè)各擴(kuò)張*列像素，作為uXv的眼部區(qū)域。(4)導(dǎo)入駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本；將UXv的眼部區(qū)域截取后作為駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本導(dǎo)入本發(fā) 明裝置系統(tǒng)。所采集的駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本均具有256個(gè)灰度級(jí)。(5)將訓(xùn)練樣本圖像轉(zhuǎn)換為一維向量；將每一個(gè)二維的駕駛員疲勞狀態(tài)臉部圖像眼部區(qū)域訓(xùn)練樣本圖像數(shù)據(jù)轉(zhuǎn)化為一維的 向量，并定義“瞌睡狀”為1類眼部特征，“非瞌睡狀”為-1類眼部特征。因此可以表達(dá)出 第i圖像的一維向量Xi為Xi = [xn xi2. · · xjτ = [Xij]T，其中，Xij表示1類第i個(gè)樣本第 j個(gè)像素灰度值；i = 1，2，...，η為1類眼部樣本序號(hào)；j = 1，2，. . .，m為每個(gè)樣本圖像所 取像素?cái)?shù)，m = uXv，u和ν分別為樣本圖像的列和行像素?cái)?shù)。(6)計(jì)算訓(xùn)練樣本特征值及特征向量； 計(jì)算ι類的平均眼
6.根據(jù)權(quán)利要求4所述的對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別方法，其特征是，步驟二中所 述的在線識(shí)別駕駛員疲勞狀態(tài)，即本發(fā)明裝置系統(tǒng)進(jìn)入(處于)在線工作狀態(tài)，對(duì)車輛駕駛 員的疲勞狀態(tài)實(shí)施實(shí)時(shí)監(jiān)控。步驟二包括具體分步驟如下(1)采集駕駛員臉部圖像并進(jìn)行彩色空間轉(zhuǎn)換；將針孔攝像頭實(shí)時(shí)采集到的駕駛員臉部圖像進(jìn)行強(qiáng)化后，再將其從RGB彩色空間轉(zhuǎn)換 至HSV彩色空間進(jìn)行表達(dá)。(2)將眼部與其它區(qū)域及背景區(qū)分開來(lái)；在采集到的駕駛員臉部圖像中，按照像素坐標(biāo)從左至右、從上到下地掃描檢測(cè)像素的 景物色調(diào)，并將落入HSV彩色空間中的色調(diào)區(qū)間[2°，47° ]的色調(diào)集合所對(duì)應(yīng)的像素點(diǎn)擬 定為人臉區(qū)域，因此將人物其它區(qū)域和圖像背景跟人臉區(qū)域準(zhǔn)確地區(qū)分開來(lái)。(3)對(duì)采集到的駕駛員臉部圖像確定人臉中心位置與眼部區(qū)域；利用人臉的HSV彩色空間表達(dá)，以最接近11°的色調(diào)值所對(duì)應(yīng)的像素點(diǎn)坐標(biāo)作為人臉中心點(diǎn)，并以人臉中心點(diǎn)為基點(diǎn)向上擴(kuò)張u行像素和向兩側(cè)各擴(kuò)張*列像素，即可獲取UXv的眼部跟蹤區(qū)域。(4)對(duì)駕駛員眼部區(qū)域的跟蹤；采用一階預(yù)測(cè)算法作為駕駛員眼部區(qū)域跟蹤的方法。設(shè)當(dāng)前駕駛員臉部運(yùn)動(dòng)速度為ν
全文摘要
一種汽車工程中的控制技術(shù)領(lǐng)域的對(duì)駕駛員疲勞狀態(tài)的智能識(shí)別裝置與方法。裝置包括針孔攝像頭、信號(hào)處理器、車速操控機(jī)構(gòu)和語(yǔ)音播放器，針孔攝像頭的輸出接口通過(guò)視頻電纜與信號(hào)處理器的圖像輸入接口連接，信號(hào)處理器的輸出接口分別與車速操控機(jī)構(gòu)和語(yǔ)音播放器數(shù)字的輸入接口連接；方法包括步驟一、系統(tǒng)對(duì)訓(xùn)練樣本進(jìn)行學(xué)習(xí)；步驟二、在線識(shí)別駕駛員疲勞狀態(tài)。其中，步驟一包括駕駛員疲勞狀態(tài)臉部圖像采集與彩色空間轉(zhuǎn)換，人臉中心位置與眼部區(qū)域確定，訓(xùn)練樣本特征值及特征向量計(jì)算等；步驟二包括駕駛員臉部圖像實(shí)時(shí)采集與彩色空間轉(zhuǎn)換，駕駛員臉部中心位置與眼部區(qū)域的自動(dòng)確定，對(duì)駕駛員眼部區(qū)域的跟蹤，測(cè)試樣本特征向量計(jì)算，對(duì)駕駛員疲勞狀態(tài)的識(shí)別與車輛控制決策等。本發(fā)明確保車輛在行駛過(guò)程，能夠準(zhǔn)確識(shí)別駕駛員的駕車狀態(tài)，制止駕駛員疲勞駕車，因此能夠有效地避免因駕駛員疲勞而造成的交通事故。
文檔編號(hào)G06K9/66GK101941425SQ201010284829
公開日2011年1月12日 申請(qǐng)日期2010年9月17日 優(yōu)先權(quán)日2010年9月17日
發(fā)明者史戰(zhàn)果, 吳迪, 應(yīng)俊豪, 張秀彬, 馬麗 申請(qǐng)人:上海交通大學(xué)