基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像處理融合心率特征與表情特征疲勞駕駛判別的系統(tǒng)，包括信息采集裝置、信息處理裝置和預(yù)警裝置，其特征在于所述信息采集裝置用于采集駕駛?cè)嗣娌繄D像序列，并提供給信息處理裝置；所述信息處理裝置用于對(duì)采集到的駕駛?cè)嗣娌繄D像序列進(jìn)行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進(jìn)行信息融合，用以判別駕駛員是否處于疲勞狀態(tài)；預(yù)警裝置，用于當(dāng)駕駛員出現(xiàn)疲勞駕駛時(shí)，根據(jù)預(yù)警策略和疲勞等級(jí)向預(yù)警提示器發(fā)送指令，向駕駛員提示預(yù)警。該系統(tǒng)通過(guò)圖像處理的方法將心率特征和表情特征結(jié)合起來(lái)，實(shí)現(xiàn)疲勞駕駛判別的算法及車(chē)載裝置，提高了疲勞駕駛判別系統(tǒng)的精確度、魯棒性和可靠性。
【專(zhuān)利說(shuō)明】基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于智能交通【技術(shù)領(lǐng)域】，具體涉及一種基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)。
【背景技術(shù)】
[0002]隨著汽車(chē)數(shù)量的日益增多和高速公路的不端延伸，車(chē)速越來(lái)越快，道路交通安全形勢(shì)日益嚴(yán)峻，汽車(chē)交通事故隨之增多，不僅造成了大量人員傷亡和巨額的經(jīng)濟(jì)損失，而且導(dǎo)致了諸多社會(huì)問(wèn)題。調(diào)查顯示，疲勞駕駛是交通安全最重要的隱患之一，駕駛?cè)嗽谄跁r(shí)，對(duì)周?chē)h(huán)境的感知能力、行駛判斷能力和對(duì)車(chē)輛的操控能力都大幅度降低，很容易發(fā)生交通事故。隨著人們安全意識(shí)的增強(qiáng)和科學(xué)技術(shù)的進(jìn)步，駕駛?cè)似隈{駛判別技術(shù)已成為汽車(chē)安全【技術(shù)領(lǐng)域】的一個(gè)主要發(fā)展方向，研究開(kāi)發(fā)高性能的疲勞駕駛判別及預(yù)警技術(shù)，對(duì)改善我國(guó)交通安全狀況意義重大。
[0003]駕駛?cè)似跔顟B(tài)的檢測(cè)目前有較多研究的方法，按檢測(cè)的類(lèi)別可大致分為基于駕駛?cè)松硇盘?hào)的檢測(cè)、基于駕駛?cè)瞬僮餍袨榈臋z測(cè)、基于車(chē)輛狀態(tài)信息的檢測(cè)和基于駕駛?cè)松矸磻?yīng)特征的檢測(cè)等方法。
[0004]基于生理信號(hào)(腦電信號(hào)、心電信號(hào)等)判別疲勞駕駛的準(zhǔn)確性較高，且對(duì)所有健康的駕駛員來(lái)說(shuō)，生理信號(hào)差異性不大，具有共性，但傳統(tǒng)的生理信號(hào)采集方式需要采用接觸式測(cè)量，給駕駛?cè)似跈z測(cè)的實(shí)際應(yīng)用帶來(lái)很多不便和局限性。
[0005]駕駛?cè)说牟僮餍袨槌伺c疲勞狀態(tài)有關(guān)外，還受到個(gè)人習(xí)慣、行駛速度、道路環(huán)境、操作技能的影響，因此需要考慮的干擾因素較多，影響基于駕駛?cè)瞬僮餍袨?如方向盤(pán)操作等)判別疲勞駕駛的精確度。
[0006]利用車(chē)輛行駛軌跡變化和車(chē)道線偏離等車(chē)輛行駛狀態(tài)信息也可推測(cè)駕駛?cè)说钠跔顟B(tài)，但是車(chē)輛的行駛狀態(tài)也與車(chē)輛特性、道路等很多環(huán)境因素有關(guān)，和駕駛?cè)说鸟{駛經(jīng)驗(yàn)以及駕駛習(xí)慣相關(guān)性較大，因此基于車(chē)輛狀態(tài)信息判別疲勞駕駛需要考慮的干擾因素也較多。
[0007]基于駕駛?cè)松矸磻?yīng)特征的疲勞駕駛判別方法是指利用駕駛?cè)说难劬μ匦?、嘴部運(yùn)動(dòng)特征等推斷駕駛?cè)说钠跔顟B(tài)，這些信息被認(rèn)為是反映疲勞的重要特征，眨眼幅度、眨眼頻率、平均閉合時(shí)間和打哈欠的動(dòng)作等都可直接用于檢測(cè)疲勞，但由于不同的駕駛員的習(xí)慣和特征存在一定的差異，使通過(guò)單個(gè)面部表情特征來(lái)判斷駕駛員狀態(tài)的魯棒性不夠高。本發(fā)明因此而來(lái)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，該系統(tǒng)解決了現(xiàn)有技術(shù)中現(xiàn)有的疲勞駕駛判別系統(tǒng)大都基于單一指標(biāo)判斷，其結(jié)果易受多種干擾因素的影響。由于駕駛員面部特征、生理反應(yīng)特征、駕駛習(xí)慣等的個(gè)體差異性，基于某一種表情特征檢測(cè)駕駛員疲勞狀態(tài)的方法難以保證系統(tǒng)的魯棒性和精確性；基于人體心率及心率變異特征檢測(cè)駕駛員疲勞狀態(tài)的方法準(zhǔn)確性高、魯棒性強(qiáng)，但其傳統(tǒng)的測(cè)量方式需要將測(cè)量?jī)x等裝置與駕駛員直接接觸，給駕駛員疲勞檢測(cè)的實(shí)際應(yīng)用帶來(lái)很多不便和局限性。
[0009]為了解決現(xiàn)有技術(shù)中的這些問(wèn)題，本發(fā)明提供的技術(shù)方案是:
[0010]一種基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，包括信息采集裝置、信息處理裝置和預(yù)警裝置，其特征在于所述信息采集裝置用于采集駕駛?cè)嗣娌繄D像序列，并提供給信息處理裝置；所述信息處理裝置用于對(duì)采集到的駕駛?cè)嗣娌繄D像序列進(jìn)行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進(jìn)行信息融合，用以判別駕駛員是否處于疲勞狀態(tài)；預(yù)警裝置，用于當(dāng)駕駛員出現(xiàn)疲勞駕駛時(shí)，根據(jù)預(yù)警策略和疲勞等級(jí)向預(yù)警提示器發(fā)送指令，向駕駛員提示預(yù)警。
[0011]優(yōu)選的技術(shù)方案:所述預(yù)警提示器選自聲音提示器、LED閃爍提示器、座椅振動(dòng)提示器、安全帶振動(dòng)提示器、座椅頂部吹風(fēng)提示器的一種或者兩種以上的任意組合。
[0012]優(yōu)選的技術(shù)方案:所述系統(tǒng)集成在車(chē)載終端內(nèi)，所述信息采集裝置為帶有紅外LED燈的攝像頭，所述攝像頭安裝在車(chē)輛儀表盤(pán)上方，以攝像頭能拍攝到駕駛員面對(duì)車(chē)輛前方時(shí)的面部圖像為準(zhǔn)。
[0013]優(yōu)選的技術(shù)方案:所述系統(tǒng)還包括與信息處理裝置連接的GPS芯片，所述GPS芯片實(shí)時(shí)獲取車(chē)輛的位置信息，并將位置信息發(fā)送給信息處理裝置。
[0014]優(yōu)選的技術(shù)方案:所述信息處理裝置為DSP處理系統(tǒng)，所述DSP處理系統(tǒng)根據(jù)采集到的面部圖像序列和地理位置信息分別獲取駕駛員在任一段時(shí)間內(nèi)的心率變異特征信息和駕駛員的面部表情特征信息；根據(jù)駕駛員在任一段時(shí)間內(nèi)的心率變異特征信息和駕駛員的面部表情特征信息判斷駕駛員是否處于疲勞駕駛狀態(tài)。
[0015]優(yōu)選的技術(shù)方案:所述系統(tǒng)還包括與信息處理裝置連接的數(shù)據(jù)存儲(chǔ)裝置，所述數(shù)據(jù)存儲(chǔ)裝置內(nèi)設(shè)置有駕駛員臉部圖像數(shù)據(jù)庫(kù)、位置信息數(shù)據(jù)庫(kù)和中間信息數(shù)據(jù)庫(kù)。
[0016]本發(fā)明的另一目的在于提供一種基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法包括以下步驟:
[0017](I)實(shí)時(shí)駕駛員面部圖像序列，并對(duì)駕駛員面部圖像序列進(jìn)行處理，獲取駕駛員的人臉圖像序列；
[0018](2)采用主動(dòng)形狀模型方法對(duì)人臉圖像進(jìn)行分析，得到人眼及嘴部位置進(jìn)而分析眼部和嘴部特征，同時(shí)進(jìn)行面部姿態(tài)的估計(jì)，然后將面部特征、眼部特征、嘴部特征進(jìn)行信息融合，得到表情特征信息；
[0019](3)對(duì)人臉圖像進(jìn)行分析獲取駕駛員在一段時(shí)間內(nèi)的心率變異數(shù)值；
[0020](4)將表情特征信息和心率變異數(shù)值進(jìn)行融合得到判斷駕駛員疲勞狀態(tài)的綜合值；當(dāng)融合后的疲勞狀態(tài)信息超過(guò)預(yù)定閾值，或某一種特征信息達(dá)到了最大極限值時(shí)，則判定為疲勞駕駛。
[0021]優(yōu)選的技術(shù)方案:所述方法步驟(I)具體包括以下步驟:
[0022]I)采集到駕駛員的面部圖像后，進(jìn)行圖像預(yù)處理；
[0023]2)利用訓(xùn)練好的人臉?lè)诸?lèi)器進(jìn)行人臉檢測(cè)，提取人臉圖像特征；
[0024]3)基于主成份分析方法進(jìn)行人臉識(shí)別，獲得人臉識(shí)別結(jié)果。[0025]優(yōu)選的技術(shù)方案:所述方法步驟(3)具體包括以下步驟:
[0026]I)采用主動(dòng)形狀模型方法對(duì)人臉圖像進(jìn)行處理，對(duì)人臉圖像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部邊緣特征點(diǎn)的位置；在適合的高度和寬度范圍內(nèi)，截取人臉圖像上額頭及左右臉頰3個(gè)區(qū)域處的圖像；
[0027]2)將人臉圖像上額頭及左右臉頰3個(gè)區(qū)域看作一幅圖像，記為P，統(tǒng)計(jì)一段時(shí)間內(nèi)的圖像序列中截取的多個(gè)圖像P的R、G、B值信號(hào)并對(duì)這些信號(hào)進(jìn)行ICA分析；
[0028]3)對(duì)ICA分析得到的第二個(gè)分量曲線進(jìn)行插值、濾波處理后，取其上升沿方向的一階零點(diǎn)，每?jī)蓚€(gè)連續(xù)的一階零點(diǎn)對(duì)應(yīng)的兩幀間的時(shí)間差即為心率變異數(shù)值。
[0029]所述方法步驟(4)中將表情特征信息和心率變異數(shù)值進(jìn)行融合得到判斷駕駛員疲勞狀態(tài)的綜合值T，
[0030]
【權(quán)利要求】
1.一種基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，包括信息采集裝置、信息處理裝置和預(yù)警裝置，其特征在于所述信息采集裝置用于采集駕駛?cè)嗣娌繄D像序列，并提供給信息處理裝置；所述信息處理裝置用于對(duì)采集到的駕駛?cè)嗣娌繄D像序列進(jìn)行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進(jìn)行信息融合，用以判別駕駛員是否處于疲勞狀態(tài)；預(yù)警裝置，用于當(dāng)駕駛員出現(xiàn)疲勞駕駛時(shí)，根據(jù)預(yù)警策略和疲勞等級(jí)向預(yù)警提示器發(fā)送指令，向駕駛員提示預(yù)警。
2.根據(jù)權(quán)利要求1所述的基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，其特征在于所述預(yù)警提示器選自聲音提示器、LED閃爍提示器、座椅振動(dòng)提示器、安全帶振動(dòng)提示器、座椅頂部吹風(fēng)提示器的一種或者兩種以上的任意組合。
3.根據(jù)權(quán)利要求1所述的基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，其特征在于所述系統(tǒng)集成在車(chē)載終端內(nèi)，所述信息采集裝置為帶有紅外LED燈的攝像頭，所述攝像頭安裝在車(chē)輛儀表盤(pán)上方，以攝像頭能拍攝到駕駛員面對(duì)車(chē)輛前方時(shí)的面部圖像為準(zhǔn)。
4.根據(jù)權(quán)利要求1所述的基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，其特征在于所述系統(tǒng)還包括與信息處理裝置連接的GPS芯片，所述GPS芯片實(shí)時(shí)獲取車(chē)輛的位置信息，并將位置信息發(fā)送給信息處理裝置。
5.根據(jù)權(quán)利要求4所述的基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，其特征在于所述信息處理裝置為DSP處理系統(tǒng)，所述DSP處理系統(tǒng)根據(jù)采集到的面部圖像序列和地理位置信息分別獲取駕駛員在任一段時(shí)間內(nèi)的心率變異特征信息和駕駛員的面部表情特征信息；根據(jù)駕駛員在任一段時(shí)間內(nèi)的心率變異特征信息和駕駛員的面部表情特征信息判斷駕駛員是否處于疲勞駕駛狀態(tài)。
6.根據(jù)權(quán)利要求1所述的基于圖像處理融合心率特征與表情特征實(shí)現(xiàn)疲勞駕駛判別的系統(tǒng)，其特征在于所述系統(tǒng)還包括與信息處理裝置連接的數(shù)據(jù)存儲(chǔ)裝置，所述數(shù)據(jù)存儲(chǔ)裝置內(nèi)設(shè)置有駕駛員臉部圖像數(shù)據(jù)庫(kù)、位置信息數(shù)據(jù)庫(kù)和中間信息數(shù)據(jù)庫(kù)。
7.一種基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法包括以下步驟: (1)實(shí)時(shí)駕駛員面部圖像序列，并對(duì)駕駛員面部圖像序列進(jìn)行處理，獲取駕駛員的人臉圖像序列； (2)采用主動(dòng)形狀模型方法對(duì)人臉圖像進(jìn)行分析，得到人眼及嘴部位置進(jìn)而分析眼部和嘴部特征，同時(shí)進(jìn)行面部姿態(tài)的估計(jì)，然后將面部特征、眼部特征、嘴部特征進(jìn)行信息融合，得到表情特征信息； (3)對(duì)人臉圖像進(jìn)行分析獲取駕駛員在一段時(shí)間內(nèi)的心率變異數(shù)值； (4)將表情特征信息和心率變異數(shù)值進(jìn)行融合得到判斷駕駛員疲勞狀態(tài)的綜合值；當(dāng)融合后的疲勞狀態(tài)信息超過(guò)預(yù)定閾值，或某一種特征信息達(dá)到了最大極限值時(shí)，則判定為疲勞駕駛。
8.根據(jù)權(quán)利要求7所述的基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法步驟(I)具體包括以下步驟: 1)采集到駕駛員的面部圖像后，進(jìn)行圖像預(yù)處理； 2)利用訓(xùn)練好的人臉?lè)诸?lèi)器進(jìn)行人臉檢測(cè)，提取人臉圖像特征； 3)基于主成份分析方法進(jìn)行人臉識(shí)別，獲得人臉識(shí)別結(jié)果。
9.根據(jù)權(quán)利要求7所述的基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法步驟(3)具體包括以下步驟: 1)采用主動(dòng)形狀模型方法對(duì)人臉圖像進(jìn)行處理，對(duì)人臉圖像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部邊緣特征點(diǎn)的位置；在適合的高度和寬度范圍內(nèi)，截取人臉圖像上額頭及左右臉頰3個(gè)區(qū)域處的圖像； 2)將人臉圖像上額頭及左右臉頰3個(gè)區(qū)域看作一幅圖像，記為P，統(tǒng)計(jì)一段時(shí)間內(nèi)的圖像序列中截取的多個(gè)圖像P的R、G、B值信號(hào)并對(duì)這些信號(hào)進(jìn)行ICA分析； 3)對(duì)ICA分析得到的第二個(gè)分量曲線進(jìn)行插值、濾波處理后，取其上升沿方向的一階零點(diǎn)，每?jī)蓚€(gè)連續(xù)的一階零點(diǎn)對(duì)應(yīng)的兩幀間的時(shí)間差即為心率變異數(shù)值。
【文檔編號(hào)】G08B21/06GK103714660SQ201310731567
【公開(kāi)日】2014年4月9日 申請(qǐng)日期:2013年12月26日 優(yōu)先權(quán)日:2013年12月26日
【發(fā)明者】張偉, 成波 申請(qǐng)人:蘇州清研微視電子科技有限公司, 清華大學(xué)蘇州汽車(chē)研究院（吳江）