基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)及方法
【專利摘要】本發(fā)明基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)及方法，屬于智能車輛安全輔助駕駛技術(shù)領(lǐng)域。本發(fā)明通過道路交通標(biāo)志牌識(shí)別分類器、道路交通標(biāo)志牌字符分類識(shí)別神經(jīng)元網(wǎng)絡(luò)分類器、駕駛?cè)似谀Ｊ椒诸惼?、有無霧圖像分類器、圖像去霧模型，構(gòu)建實(shí)時(shí)道路標(biāo)志識(shí)別預(yù)警策略。根據(jù)駕駛?cè)艘暰€注視軌跡、眨眼頻率、PERCLOS值，如果判斷駕駛?cè)笋{駛疲勞或者在駕駛過程中執(zhí)行次任務(wù)導(dǎo)致錯(cuò)過交通標(biāo)志信息，則車載揚(yáng)聲器發(fā)出實(shí)時(shí)標(biāo)志牌信息的聲音警告并在車載顯示屏上顯示警告的標(biāo)志信息，同時(shí)如果判斷為霧天，同樣給予駕駛?cè)颂峁┮曈X、聽覺警告，實(shí)現(xiàn)了在霧天和駕駛?cè)隋e(cuò)失道路標(biāo)志條件下，使駕駛?cè)双@取道路交通標(biāo)志牌信息和行車安全預(yù)警。
【專利說明】
基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明主要涉及智能車輛安全輔助駕駛技術(shù)領(lǐng)域，特別涉及一種基于機(jī)器視覺霧 天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)及方法。
【背景技術(shù)】
[0002] 交通標(biāo)志為駕駛者提供道路狀況和交通狀況等信息，對(duì)減少道路交通事故的發(fā)生 具有重要意義。據(jù)統(tǒng)計(jì)，每年由于未按照交通指示行駛的違法行為多達(dá)3000萬起，駕駛?cè)艘?未獲取道路標(biāo)識(shí)信息而造成的交通事故在全部交通事故數(shù)中占有相當(dāng)大的比重，而且比重 居高不下，其相當(dāng)一部分原因是：由于駕駛?cè)笋{駛疲勞或者在駕駛過程中執(zhí)行次任務(wù)，導(dǎo)致 錯(cuò)過道路警示標(biāo)志；夜間光線不佳、大霧天氣導(dǎo)致能見度低，也會(huì)導(dǎo)致駕駛?cè)隋e(cuò)失道路信 息，從而執(zhí)行錯(cuò)誤操作，引發(fā)事故。目前，雖然車載GPS車載導(dǎo)航系統(tǒng)在定位道路標(biāo)志方面， 發(fā)展得比較完善，但仍存在以下缺陷:如果導(dǎo)航系統(tǒng)未及時(shí)更新會(huì)出現(xiàn)導(dǎo)航錯(cuò)誤、獲取某些 非結(jié)構(gòu)化道路地區(qū)的信息，速度慢、精度低等缺陷。因此，亟待一種智能駕駛輔助系統(tǒng)，能夠 輔助駕駛?cè)双@取道路標(biāo)志信息，提高行駛安全。
[0003] 目前，標(biāo)志牌信息檢測(cè)方法主要分為基于標(biāo)志牌形狀的檢測(cè)方法、基于模板匹配 的檢測(cè)方法、基于GPS技術(shù)檢測(cè)方法。其中，基于標(biāo)志牌形狀的檢測(cè)方法存在檢測(cè)效果低、實(shí) 時(shí)性不佳等問題;基于模板匹配的檢測(cè)方法，存在算法處理時(shí)間較長(zhǎng)，識(shí)別率很低，得不到 預(yù)期理想結(jié)果等缺點(diǎn);基于GPS技術(shù)的檢測(cè)方法，該方法在陰影和遮擋時(shí)，會(huì)產(chǎn)生較大誤差。 現(xiàn)有的交通標(biāo)志牌識(shí)別方法中識(shí)別的標(biāo)志種類有限，因此駕駛?cè)双@得信息有限，且應(yīng)用到 實(shí)際道路環(huán)境中的很少。本專利提出的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng) 及方法，識(shí)別過程不會(huì)對(duì)駕駛?cè)说恼ｑ{駛行為造成干擾，克服因駕駛疲勞、在駕駛過程中 執(zhí)行次任務(wù)、夜間光線不佳以及大霧天氣能見度低，導(dǎo)致駕駛?cè)隋e(cuò)過交通指示信息，而引發(fā) 道路安全事故的發(fā)生。利用機(jī)器視覺融合圖像去霧技術(shù)，實(shí)時(shí)獲取道路指示信息，同時(shí)在判 斷駕駛?cè)擞捎谄阱e(cuò)失道路標(biāo)志給予警示，使駕駛?cè)嗽趶?fù)雜道路環(huán)境下，明確道路環(huán)境特 點(diǎn)，降低交通事故發(fā)生的概率，已經(jīng)成為國(guó)內(nèi)外研究熱點(diǎn)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是:提供一種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌 的預(yù)警系統(tǒng)及方法，用來解決駕駛?cè)似隈{駛、在駕駛過程中執(zhí)行次任務(wù)而錯(cuò)失道路標(biāo)志 或者由于夜間光線不佳以及大霧天氣能見度低，導(dǎo)致駕駛?cè)宋戳私獾缆方煌ōh(huán)境信息，而 引發(fā)道路交通事故的技術(shù)問題。
[0005] 本發(fā)明彌補(bǔ)了現(xiàn)有車載GPS導(dǎo)航系統(tǒng)在獲取道路標(biāo)志信息存在的以下缺陷：如果 GPS導(dǎo)航系統(tǒng)未及時(shí)更新會(huì)出現(xiàn)導(dǎo)航錯(cuò)誤、獲取某些非結(jié)構(gòu)化道路地區(qū)的信息速度慢、精度 低等問題。
[0006] 本發(fā)明采用以下技術(shù)方案實(shí)現(xiàn)：
[0007] -種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)，其特征在于:包括電源、 變壓插頭I、紅外攝像頭I、變壓插頭π、車載電控單元模塊、圖像分類模塊、圖像去霧模塊、 標(biāo)志牌識(shí)別模塊、標(biāo)志牌字符識(shí)別模塊、駕駛行為分類模塊、預(yù)警模塊、車載顯示屏、汽車音 響設(shè)備、車載揚(yáng)聲器和紅外攝像頭Π，所述電源通過變壓插頭I與紅外攝像頭I連接，電源通 過變壓插頭Π與紅外攝像頭Π連接；
[0008] 所述車載電控單元模塊包括圖像分類模塊、圖像去霧模塊、標(biāo)志牌識(shí)別模塊、標(biāo)志 牌字符識(shí)別模塊、駕駛行為分類模塊、預(yù)警模塊，所述圖像分類模塊的一端通過導(dǎo)線與紅外 攝像頭I連接，圖像分類模塊的另一端通過導(dǎo)線與圖像去霧模塊連接;所述圖像去霧模塊通 過導(dǎo)線與標(biāo)志牌識(shí)別模塊連接;所述標(biāo)志牌識(shí)別模塊通過導(dǎo)線與標(biāo)志牌字符識(shí)別模塊連 接;所述標(biāo)志牌字符識(shí)別模塊通過導(dǎo)線與預(yù)警模塊連接;所述駕駛行為分類模塊的一端通 過導(dǎo)線與紅外攝像頭π連接，駕駛行為分類模塊的另一端通過導(dǎo)線與預(yù)警模塊連接；
[0009] 所述車載顯示屏通過導(dǎo)線與預(yù)警模塊連接;所述汽車音響設(shè)備的一端通過導(dǎo)線與 預(yù)警模塊連接，汽車音響設(shè)備的另一端通過導(dǎo)線與車載揚(yáng)聲器連接。
[0010] -種于機(jī)器視覺的車載道路標(biāo)志牌識(shí)別及預(yù)警系統(tǒng)方法，其特征在于：
[0011] 包括以下步驟
[0012 ]步驟一、建立道路交通標(biāo)志牌識(shí)別系統(tǒng)
[0013] A、建立道路交通標(biāo)志牌高斯混合模型GMM分類器
[0014] ①紅外攝像頭采集N張有道路交通標(biāo)志牌紅外道路圖像和無道路交通標(biāo)志牌紅外 道路圖像，并將采集到的圖像傳輸?shù)綐?biāo)志牌識(shí)別模塊，其中包括他張有道路交通標(biāo)志牌紅 外道路圖像和犯張無道路交通標(biāo)志牌紅外道路圖像，Nd^N 2均為自然數(shù)，在標(biāo)志牌識(shí)別模 塊中建立道路交通標(biāo)志牌分類器的圖像訓(xùn)練集；
[0015] ②對(duì)道路交通標(biāo)志牌分類器的圖像訓(xùn)練集中的圖像進(jìn)行二值化、傾斜校正以及縮 放尺寸歸一化處理，獲得統(tǒng)一尺寸的道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫；
[0016] ③利用道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器， 高斯混合模型GMM分類器根據(jù)道路交通標(biāo)志牌金屬材質(zhì)的紋理特征、面積特征、輪廓形狀特 征以及道路交通標(biāo)志牌直方圖特征，按照有無道路交通標(biāo)志牌對(duì)采集的紅外道路圖像進(jìn)行 分類，獲得有道路交通標(biāo)志牌的圖像特征，高斯混合模型GMM分類器建立完成；
[0017] B、建立用于道路交通標(biāo)志牌字符分類識(shí)別的神經(jīng)元網(wǎng)絡(luò)分類器
[0018] ①紅外攝像頭采集L張道路交通標(biāo)志牌圖像，L為自然數(shù)，對(duì)獲得的道路交通標(biāo)志 牌圖像進(jìn)行直方圖均衡化處理、閾值濾波器、查找輪廓算法對(duì)其中的字符進(jìn)行分割，對(duì)分割 的字符尺寸歸一化處理，統(tǒng)一縮小其尺寸至32*16像素；
[0019] ②根據(jù)標(biāo)志牌上的信息，建立漢字網(wǎng)絡(luò)、字母網(wǎng)絡(luò)、數(shù)字網(wǎng)絡(luò)、圖形符號(hào)網(wǎng)絡(luò)對(duì)交 通標(biāo)志牌信息進(jìn)行分類；
[0020] 利用漢字庫CCLIB中的GB2312-80的全部6763個(gè)漢字和571個(gè)字符，建立交通標(biāo)志 牌的漢字、字母及數(shù)字點(diǎn)陣字符庫；
[0021] 建立圖形樣本庫，采集K張交通標(biāo)志牌圖像，K為自然數(shù)，提取其中的圖形標(biāo)志，根 據(jù)交通標(biāo)志牌的圖形特點(diǎn)，提取其圖形符號(hào)建立圖形符號(hào)點(diǎn)陣圖并存入圖形樣本庫中；
[0022] 將漢字、字母及數(shù)字點(diǎn)陣字符庫和圖形樣本庫合并為標(biāo)志牌信息識(shí)別庫；
[0023] ③構(gòu)建反向傳播神經(jīng)元網(wǎng)絡(luò)分類器結(jié)構(gòu) [0024] a)輸入層神經(jīng)元個(gè)數(shù)
[0025] 對(duì)歸一化為32*16點(diǎn)陣大小的字符，以每個(gè)像素點(diǎn)為一個(gè)網(wǎng)格，輸入層神經(jīng)元個(gè)數(shù) 取 512;
[0026] b)輸出層神經(jīng)元個(gè)數(shù)
[0027] 根據(jù)不同網(wǎng)絡(luò)輸出層神經(jīng)元個(gè)數(shù)分別為:漢字為1000;字母26;數(shù)字10;圖形符號(hào) 為 500;
[0028] c)隱層層數(shù)為一層，單隱層神經(jīng)元數(shù)目計(jì)算公式為：
[0029]
[0030] 式中，h_num為隱層神經(jīng)元個(gè)數(shù)，i_num為輸入層神經(jīng)元個(gè)數(shù)，o_num為輸出層神經(jīng) 元個(gè)數(shù)；
[0031] d)激活函教詵用Ioeistic函數(shù)形式如下：
[0032]
[0033] ：pvt，Vjyyrriiii兒JtrJ局部域，識(shí)U為隱藏層的輸出函數(shù)；
[0034] ④人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練
[0035]將標(biāo)志牌信息識(shí)別庫中的漢字、字母、數(shù)字和圖形四種樣本分別輸入到對(duì)應(yīng)的神 經(jīng)元網(wǎng)絡(luò)中，并分別對(duì)四個(gè)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)因子、動(dòng)量因子、誤差目標(biāo)值以及閾值范圍的設(shè) 定，然后進(jìn)行人工神經(jīng)元網(wǎng)絡(luò)的識(shí)別訓(xùn)練，輸入層到隱層權(quán)值或隱層到輸出層權(quán)值不在設(shè) 置的閾值范圍內(nèi)，則顯示人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練失敗，退出訓(xùn)練;輸入層到隱層權(quán)值和隱層到 輸出層權(quán)值均在設(shè)置的閾值范圍內(nèi)，則保存權(quán)值，人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練成功；
[0036]⑤標(biāo)志牌字符識(shí)別
[0037] 將訓(xùn)練獲得的權(quán)值矩陣輸入到相應(yīng)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)值矩陣中，將待識(shí)別的字 符樣本以矩陣形式保存到文件夾中，利用訓(xùn)練后神經(jīng)元網(wǎng)絡(luò)識(shí)別該字符樣本的類別，并輸 出結(jié)果；
[0038] ⑥人工神經(jīng)元網(wǎng)絡(luò)測(cè)試，對(duì)識(shí)別的準(zhǔn)確率進(jìn)行計(jì)算，
[0039] 人工記錄輸出結(jié)果100次以上，并獲得訓(xùn)練后神經(jīng)元網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率，如果準(zhǔn)確 率低于95%，則重復(fù)進(jìn)行步驟④人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練和步驟⑤標(biāo)志牌字符識(shí)別，如果準(zhǔn)確 率為95%或95%以上，則具有魯棒性的神經(jīng)元網(wǎng)絡(luò)分類器訓(xùn)練完成；
[0040] 步驟二、建立疲勞模式分類器
[0041]①采集Ml名駕駛?cè)嗽谡ｑ{駛狀態(tài)下的駕駛行為數(shù)據(jù)，采集M2名駕駛?cè)嗽谄隈{ 駛狀態(tài)下的駕駛行為數(shù)據(jù)，其中，Ml、M2均為自然數(shù)；
[0042]②利用特征提取方法提取疲勞駕駛特征參數(shù)，采用統(tǒng)計(jì)分析的方法獲得正常駕駛 和疲勞駕駛的特征參數(shù)，確定駕駛?cè)艘暰€軌跡、眨眼頻率和PERCL0S為疲勞駕駛特征參數(shù)；
[0043] ③紅外攝像頭Π (15)跟蹤駕駛?cè)艘暰€軌跡，駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與識(shí)別出的 交通標(biāo)志牌位置不一致，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào)；駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位 置與識(shí)別出的交通標(biāo)志牌位置一致，則記錄駕駛?cè)俗⒁曉搮^(qū)域的時(shí)間，時(shí)間不超過1秒，則 發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);時(shí)間超過1秒，則進(jìn)行下一步；
[0044] ④紅外攝像頭Π (15)記錄駕駛?cè)说恼Ｑ垲l率和眨眼時(shí)間，設(shè)定眨眼頻率閾值范圍 為2秒/次~4秒/次，每次眨眼時(shí)間閾值范圍為0.25秒~0.3秒，記錄的駕駛?cè)耸钦Ｑ垲l率或 眨眼時(shí)間不在給定的閾值范圍，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);記錄的駕駛?cè)耸?眨眼頻率和眨眼時(shí)間均在給定的閾值范圍，則進(jìn)行下一步；
[0045] ⑤根據(jù)度量疲勞/瞌睡的物理量PERCL0S，
[0046] 對(duì)駕駛?cè)巳?00組正常駕駛狀態(tài)下的眼瞼尺寸獲得駕駛?cè)俗笱鄄€平均尺寸Lelm和 駕駛?cè)擞已鄄€平均尺寸Relm，
[0047]
[0048] 單份時(shí)間內(nèi)眼睛閉合稈度軺討80 %的次數(shù)η。的計(jì)算公式為
[0049]
[0050]式中，LELj為第j幀圖像的左眼瞼尺寸，RELj為第j幀圖像的右眼瞼尺寸;單位時(shí)間 內(nèi)眼睛睜開程度小于20%所占的比例P8Q作為PERCL0S的評(píng)價(jià)標(biāo)準(zhǔn)P8Q的計(jì)算公式為
[0051]
[0052] 式中，fQ為采樣頻率，Tp8q為計(jì)算時(shí)窗大小；
[0053] 度量疲勞/瞌睡的物理量PERCL0S的計(jì)算公式如下： 目艮睛閉合lI1貞數(shù) 1ΛΛ〇/ 0054 PERCLOS =認(rèn)、Πι|" xlOO% 檢測(cè)時(shí)間段總幀數(shù)
[0055]設(shè)定眼睛閉合至80 %及80%以上所占的時(shí)間閾值為30秒/分，紅外攝像頭Π檢測(cè) 到單位時(shí)間內(nèi)眼睛閉合至80%及80%以上所占的時(shí)間，超過給定閾值，則發(fā)送駕駛?cè)隋e(cuò)失 道路交通標(biāo)志的信號(hào)；
[0056]⑥根據(jù)正常和疲勞狀態(tài)下的駕駛行為數(shù)據(jù)統(tǒng)計(jì)，建立疲勞駕駛條件下特征參數(shù)值 的數(shù)據(jù)庫，利用機(jī)器學(xué)習(xí)的方法構(gòu)建疲勞模式分類器；
[0057]步驟三、構(gòu)建有無霧圖像分類器 [0058] A、建立道路圖像支持向量機(jī)SVM分類器
[0059] ①紅外攝像頭采集X張紅外道路圖像和紅外非道路圖像，并將采集到的圖像傳輸 到有無霧圖像分類模塊，其中包括X1張紅外道路圖像和X 2張紅外非道路圖像，X、Xi、X2均為 自然數(shù)，在有無霧圖像分類模塊中建立道路圖像分類器的圖像訓(xùn)練庫；
[0060] ②通過道路圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向量 機(jī)SVM分類器根據(jù)道路紋理獲得道路圖像特征，對(duì)道路圖像和非道路圖像分類，并獲得紅外 道路圖像特征，道路圖像支持向量機(jī)SVM分類器建立完成；
[0061 ] B、建立有無霧圖像分類器
[0062]①紅外攝像頭采集Y張不同霧濃度的紅外有霧圖像和紅外無霧圖像，其中包括Y1 張有霧紅外圖像和Y2張無霧紅外圖像，Y、Yi、Y2均為自然數(shù)，在有無霧圖像分類模塊中建立 有無霧圖像分類器的圖像訓(xùn)練庫；
[0063] ②通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器，高斯 混合模型GMM分類器根據(jù)有霧圖像灰度值頻率特征，提取有霧圖像和無霧圖像的一維灰度 直方圖圖像特征，并根據(jù)圖像的直方圖對(duì)有霧圖像和無霧圖像進(jìn)行分類，有無霧圖像高斯 混合模型GMM分類器建立完成；
[0064] ③通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向 量機(jī)SVM分類器根據(jù)有霧圖像和無霧圖像的傅里葉變換頻率特征，對(duì)有霧圖像和無霧圖像 進(jìn)行分類，并提取有霧圖像和無霧圖像的傅里葉變換頻率特征，有無霧圖像支持向量機(jī)SVM 分類器建立完成；
[0065] 將有無霧圖像高斯混合模型GMM分類器分類出的有霧圖像和有無霧圖像支持向量 機(jī)SVM分類器分類出的有霧圖像取并集，得到有霧圖像樣本庫；
[0066]步驟四、建立圖像去霧模型
[0067]①大氣光學(xué)模型為KdzjUk^+Aa-e^hKx)為分類后的有霧圖像，J(X)為 去霧之后的清晰圖像，A為全球大氣光成分，為大氣透射率值t，i3為大氣消光系數(shù)，d為能 見度值；
[0068]②取有霧道路圖像在紅綠藍(lán)RGB三通道圖像中的最小通道灰度圖像，然后再對(duì)獲 取的灰度圖像做最小值濾波，獲得有霧圖像暗通道= )，其中，Jdalrk是指J 的暗通道，Jg表示彩色圖像的每個(gè)通道，C為RGB三通道；Ω為有所有像素的整個(gè)圖像窗口， t為整個(gè)圖像窗口所有像素中的最小值像素，nI1為整個(gè)圖像窗口每個(gè)像素RGB三個(gè)通道 分量的最小像素值；
[0069] ③從暗通道圖像中按照亮度大小取前0.1%的像素，然后在原始有霧圖中尋找對(duì) 應(yīng)的具有最高亮度的點(diǎn)的值，作為大氣光的成分值A(chǔ);
[0070] ④處理大氣光學(xué)樽塑，形式如下：
[0071]
[0072]
[0073] 其中C為RGB三通道，對(duì)上式兩端求暗通道即對(duì)上式兩邊求兩次最小值運(yùn)算，再利 用暗通畝輕^斤愛.田丨士. η*住s m.
[0074]
[0075]
[0076] 其中t為大氣透射率值，由于霧的存在使人感到景深的存在，因此在
3，1 ]之間的因子ω，獲得大氣透射率圖，
[0078]⑤得到透射率圖的邊緣和紋理細(xì)節(jié)都有損失，采用中值濾波器對(duì)透射率圖進(jìn)行邊 緣保持的濾波器優(yōu)化，獲得細(xì)化透射率圖；
[0079] ⑥設(shè)置閾值to,當(dāng)t值小于to時(shí)，令t = to,以to = 0.1為標(biāo)準(zhǔn)，將處理后的三通道圖
[0080]有m 土愛e的詰晰図梅i7 v \
[0081 ]步驟五、構(gòu)建道路標(biāo)志識(shí)別預(yù)警策略 [0082]①紅外攝像頭I采集實(shí)時(shí)圖像
[0083] 在車輛行進(jìn)過程中，紅外攝像頭I采集實(shí)時(shí)圖像，并將采集到的圖像依次輸入到有 無霧圖像分類器和圖像去霧模型，對(duì)有霧圖像進(jìn)行圖像去霧；
[0084] ②將去霧后的圖像或者實(shí)時(shí)無霧圖像輸入到道路交通標(biāo)志牌識(shí)別系統(tǒng)，將獲得的 道路交通標(biāo)志牌圖像作為輸入，傳輸?shù)綐?biāo)志牌字符識(shí)別模塊，在標(biāo)志牌字符識(shí)別模塊中將 道路交通標(biāo)志牌圖像進(jìn)行圖像分割預(yù)處理后，利用離線訓(xùn)練完成的神經(jīng)元網(wǎng)絡(luò)分類器進(jìn)行 字符識(shí)別；識(shí)別后的道路交通標(biāo)志信息，輸入預(yù)警模塊并通過車載揚(yáng)聲器發(fā)出聲音警告并 在車載顯示屏上顯示該道路交通標(biāo)志信息；
[0085]③紅外攝像頭Π 采集駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率和PERCL0S輸入至疲 勞模式分類器，駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率、PERCL0S均在給定閾值范圍內(nèi)，則 不提供給駕駛員預(yù)警信息；駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率或PERCL0S不在給定閾 值范圍內(nèi)，則預(yù)警模塊通過車載揚(yáng)聲器發(fā)出聲音警告并在車載顯示屏上顯示該道路交通標(biāo) 志信息。
[0086] 所述步驟一中的N 2 3000,Ni 2 1000,N2 2 2000。
[0087] 所述步驟一中的L2 1000，K2 2000。
[0088] 所述步驟二中的 Μι250，Μ2250。
[0089] 所述步驟三中的)(2 3000，父12 1000，父2 2 2000。
[0090] 所述步驟三中的 Υ2 3000，Υι2 1000，Υ22 2000。
[0091] 通過上述設(shè)計(jì)方案，本發(fā)明可以帶來如下有益效果：
[0092] 1、本發(fā)明基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)及方法，將道路交通 標(biāo)志牌高斯混合模型GMM分類器，識(shí)別道路交通標(biāo)志牌位置、建立道路交通標(biāo)志牌字符分類 識(shí)別神經(jīng)元網(wǎng)絡(luò)分類器，實(shí)時(shí)分類識(shí)別道路標(biāo)志牌字符信息、建立眼動(dòng)儀檢測(cè)模型、實(shí)時(shí)根 據(jù)眼動(dòng)儀檢測(cè)模型判斷駕駛?cè)说男旭偁顟B(tài)是否疲勞或者執(zhí)行了次任務(wù)，判斷駕駛者是否錯(cuò) 過交通道路標(biāo)志牌字符信息，進(jìn)行預(yù)警。
[0093] 在實(shí)際行車過程中，實(shí)時(shí)采集車輛行進(jìn)過程中的道路視頻圖像，根據(jù)離線訓(xùn)練的 道路標(biāo)志牌圖像分類庫，實(shí)時(shí)判斷圖像是否有道路標(biāo)志牌，如果判斷出有道路標(biāo)志牌，根據(jù) 離線訓(xùn)練的道路標(biāo)志牌字符分類識(shí)別庫，實(shí)時(shí)分類識(shí)別路標(biāo)志牌的字符，并將信息顯示在 車載顯示屏上;實(shí)時(shí)根據(jù)眼動(dòng)儀檢測(cè)模型，判斷駕駛?cè)耸欠皴e(cuò)過道路標(biāo)志牌信息，給駕駛?cè)?視覺和聽覺警告，實(shí)現(xiàn)對(duì)駕駛過程中駕駛?cè)俗⒁饬Ψ稚⒌念A(yù)警，使駕駛者獲得充足的道路 環(huán)境信息，減弱注意力分散對(duì)駕駛?cè)苏ｑ{駛產(chǎn)生的影響。
[0094] 2、本發(fā)明的模塊內(nèi)部、模塊與模塊之間信號(hào)處理時(shí)間短，能夠滿足實(shí)時(shí)性的要求。
[0095] 3、本發(fā)明對(duì)道路標(biāo)志牌字符進(jìn)行分類識(shí)別，提高了字符識(shí)別的準(zhǔn)確率，對(duì)駕駛?cè)?錯(cuò)過的道路環(huán)境信息進(jìn)行補(bǔ)充，增強(qiáng)視覺信息內(nèi)容，有益于推廣應(yīng)用，可大幅降低駕駛?cè)嗽?駕駛疲勞或者執(zhí)行駕駛次任務(wù)因錯(cuò)過交通標(biāo)志信息，發(fā)生惡性交通事故的概率。
【附圖說明】
[0096] 以下結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的說明：
[0097] 圖1為本發(fā)明中基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法的流程框圖。
[0098] 圖2為本發(fā)明中基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)的結(jié)構(gòu)框圖。
[0099] 圖中1-電源、2-變壓插頭I、3_紅外攝像頭I、4_變壓插頭Π 、5_車載電控單元模塊、 6_圖像分類模塊、7-圖像去霧模塊、8-標(biāo)志牌識(shí)別模塊、9-標(biāo)志牌字符識(shí)別模塊、10-駕駛行 為分類模塊、11-預(yù)警模塊、12-車載顯示屏、13-汽車音響設(shè)備、14-車載揚(yáng)聲器、15-紅外攝 像頭Π。
【具體實(shí)施方式】
[0100] 如圖所示，一種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)，其特征在于： 包括電源1、變壓插頭12、紅外攝像頭13、變壓插頭Π4、車載電控單元模塊5、圖像分類模塊 6、圖像去霧模塊7、標(biāo)志牌識(shí)別模塊8、標(biāo)志牌字符識(shí)別模塊9、駕駛行為分類模塊10、預(yù)警模 塊11、車載顯示屏12、汽車音響設(shè)備13、車載揚(yáng)聲器14和紅外攝像頭Π 15,所述電源1通過變 壓插頭12與紅外攝像頭13連接，電源1通過變壓插頭Π 4與紅外攝像頭Π 15連接；
[0101] 所述車載電控單元模塊5包括圖像分類模塊6、圖像去霧模塊7、標(biāo)志牌識(shí)別模塊8、 標(biāo)志牌字符識(shí)別模塊9、駕駛行為分類模塊10、預(yù)警模塊11，所述圖像分類模塊6的一端通過 導(dǎo)線與紅外攝像頭13連接，圖像分類模塊6的另一端通過導(dǎo)線與圖像去霧模塊7連接;所述 圖像去霧模塊7通過導(dǎo)線與標(biāo)志牌識(shí)別模塊8連接;所述標(biāo)志牌識(shí)別模塊8通過導(dǎo)線與標(biāo)志 牌字符識(shí)別模塊9連接;所述標(biāo)志牌字符識(shí)別模塊9通過導(dǎo)線與預(yù)警模塊11連接;所述駕駛 行為分類模塊10的一端通過導(dǎo)線與紅外攝像頭Π 15連接，駕駛行為分類模塊10的另一端通 過導(dǎo)線與預(yù)警模塊11連接；
[0102] 所述車載顯示屏12通過導(dǎo)線與預(yù)警模塊11連接;所述汽車音響設(shè)備13的一端通過 導(dǎo)線與預(yù)警模塊11連接，汽車音響設(shè)備13的另一端通過導(dǎo)線與車載揚(yáng)聲器14連接。
[0103] 基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，包括:通過離線訓(xùn)練的道路 標(biāo)志牌信息分類器，建立道路標(biāo)志牌信息識(shí)別系統(tǒng);采集車輛行進(jìn)過程中的駕駛行為數(shù)據(jù)， 輸入到離線訓(xùn)練的疲勞模式分類器，實(shí)現(xiàn)對(duì)駕駛?cè)似跔顟B(tài)的辨識(shí);采集車輛行進(jìn)過程中 前方道路環(huán)境圖像，輸入到離線訓(xùn)練的有無霧分類器，實(shí)現(xiàn)對(duì)天氣狀態(tài)的辨識(shí);對(duì)有霧圖像 采用物理去霧技術(shù)，獲得視覺增強(qiáng)圖像;在駕駛?cè)似跔顟B(tài)和有霧天氣狀態(tài)下，根據(jù)道路標(biāo) 志牌信息識(shí)別庫，識(shí)別當(dāng)前道路知識(shí)信息，將道路環(huán)境標(biāo)志信息以視覺和聽覺的形式警告 駕駛?cè)恕?br>[0104] -種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征在于：
[0105] 包括以下步驟
[0106] 步驟一、建立道路交通標(biāo)志牌識(shí)別系統(tǒng)
[0107] A、建立道路交通標(biāo)志牌高斯混合模型GMM分類器
[0108] ①紅外攝像頭采集N張有道路交通標(biāo)志牌紅外道路圖像和無道路交通標(biāo)志牌紅外 道路圖像，并將采集到的圖像傳輸?shù)綐?biāo)志牌識(shí)別模塊，其中包括他張有道路交通標(biāo)志牌紅 外道路圖像和犯張無道路交通標(biāo)志牌紅外道路圖像，Nd^N 2均為自然數(shù)，在標(biāo)志牌識(shí)別模 塊中建立道路交通標(biāo)志牌分類器的圖像訓(xùn)練集；
[0109] ②對(duì)道路交通標(biāo)志牌分類器的圖像訓(xùn)練集中的圖像進(jìn)行二值化、傾斜校正以及縮 放尺寸歸一化處理，獲得統(tǒng)一尺寸的道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫；
[0110] ③利用道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器， 高斯混合模型GMM分類器根據(jù)道路交通標(biāo)志牌金屬材質(zhì)的紋理特征、面積特征、輪廓形狀特 征以及道路交通標(biāo)志牌直方圖特征，按照有無道路交通標(biāo)志牌對(duì)采集的紅外道路圖像進(jìn)行 分類，獲得有道路交通標(biāo)志牌的圖像特征，高斯混合模型GMM分類器建立完成；
[0111] B、建立用于道路交通標(biāo)志牌字符分類識(shí)別的神經(jīng)元網(wǎng)絡(luò)分類器
[0112] ①紅外攝像頭采集L張不同道路交通標(biāo)志牌圖像，L為自然數(shù)，對(duì)獲得的道路交通 標(biāo)志牌圖像進(jìn)行直方圖均衡化處理、閾值濾波器、查找輪廓算法對(duì)其中的字符進(jìn)行分割，對(duì) 分割的字符尺寸歸一化處理，統(tǒng)一縮小其尺寸為32*16像素；
[0113] ②根據(jù)標(biāo)志牌上的信息種類的不同，設(shè)計(jì)四個(gè)神經(jīng)網(wǎng)絡(luò):漢字網(wǎng)絡(luò)、字母網(wǎng)絡(luò)、數(shù) 字網(wǎng)絡(luò)、圖形符號(hào)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)標(biāo)志牌信息的分類。利用漢字庫CCLIB中的GB2312-80中全 部6763個(gè)漢字和571個(gè)字符，構(gòu)造本系統(tǒng)中標(biāo)志牌的漢字、字母、數(shù)字點(diǎn)陣字符庫。據(jù)統(tǒng)計(jì)， 道路交通標(biāo)志種類多樣包括警告標(biāo)志46種，禁令標(biāo)志43種，指示標(biāo)志30種，道路標(biāo)志57種， 指路標(biāo)志40種，道路交通標(biāo)線39種，輔助標(biāo)志16種，旅游區(qū)標(biāo)志17種，道路施工安全標(biāo)志26 種。其中圖形標(biāo)志或者包含圖形標(biāo)志的標(biāo)志牌占 90%以上，因此上述漢字、字母、數(shù)字點(diǎn)陣 字符庫滿足不了實(shí)際圖形標(biāo)志識(shí)別需求，在本發(fā)明專利中，將建立除漢字、字母、數(shù)字之外 的圖形標(biāo)志樣本庫。采集K張標(biāo)志牌圖像，提取其中的圖形標(biāo)志，分析標(biāo)志牌圖形的特點(diǎn):警 告圖形標(biāo)志牌黃底黑圖、禁令圖形標(biāo)志白底黑圖紅斜線、指示標(biāo)志藍(lán)底白圖，提取其圖形符 號(hào)構(gòu)造點(diǎn)陣圖存入圖形樣本庫中。將漢字、字母、數(shù)字點(diǎn)陣字符庫和圖形樣本庫合并為標(biāo)志 牌信息識(shí)別庫，圖形字符組合的標(biāo)志牌可根據(jù)標(biāo)志牌信息識(shí)別庫識(shí)別標(biāo)志信息。
[0114] ③構(gòu)建反向傳播神經(jīng)元網(wǎng)絡(luò)分類器結(jié)構(gòu)
[0115] a)輸入層神經(jīng)元個(gè)數(shù)，對(duì)歸一化為32*16點(diǎn)陣大小的字符，以每個(gè)像素點(diǎn)為一個(gè)網(wǎng) 格，輸入層神經(jīng)元個(gè)數(shù)取512;
[0116] b)輸出層神經(jīng)元個(gè)數(shù)，根據(jù)不同網(wǎng)絡(luò)輸出層神經(jīng)元個(gè)數(shù)分別為：漢字1000;字母 26;數(shù)字10;圖形符號(hào)為500;
[0117] c)隱層層數(shù)為一層，有理論研究可知，有輸入層輸出層和單隱層的神經(jīng)網(wǎng)絡(luò)足夠 執(zhí)行任意復(fù)雜的函數(shù)映射，單隱層神經(jīng)元數(shù)目計(jì)算公式為：
[0118]
[0119] 式中，h_num表示隱層神經(jīng)元個(gè)數(shù)，i_num表示輸入層神經(jīng)元個(gè)數(shù)，o_num表示輸出 層神經(jīng)元個(gè)數(shù)。
[0120] d)激活函數(shù)選用邏輯斯諫logistic函數(shù)形式如下：
[0121]
[0122] 式中，V偽神經(jīng)元j的局部域，為隱藏層的輸出函數(shù)，e指的是約等于2.71828 的自然對(duì)數(shù)的底。
[0123] ④將標(biāo)志牌信息識(shí)別庫中的漢字、字母、數(shù)字和圖形四種樣本分別輸入到對(duì)應(yīng)的 神經(jīng)元網(wǎng)絡(luò)中，并分別對(duì)四個(gè)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)因子、動(dòng)量因子、誤差目標(biāo)值以及閾值范圍的設(shè) 定，然后進(jìn)行人工神經(jīng)元網(wǎng)絡(luò)的識(shí)別訓(xùn)練，輸入層到隱層權(quán)值、隱層到輸出層權(quán)值其中任意 一個(gè)權(quán)值不在設(shè)置的閾值范圍內(nèi)，則顯示人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練失敗，退出訓(xùn)練;輸入層到隱 層權(quán)值和隱層到輸出層權(quán)值均在設(shè)置的閾值范圍內(nèi)，則保存權(quán)值，人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練成 功。
[0124] ⑤標(biāo)志牌字符識(shí)別:通過以上步驟創(chuàng)建神經(jīng)元網(wǎng)絡(luò)后，將訓(xùn)練的權(quán)值矩陣輸入到 相應(yīng)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)值矩陣中，將待識(shí)別的字符樣本以矩陣形式保存到文件夾中，開 始識(shí)別樣本的類別，并輸出結(jié)果
[0125] ⑥人工神經(jīng)元網(wǎng)絡(luò)測(cè)試，對(duì)識(shí)別的準(zhǔn)確率進(jìn)行計(jì)算，訓(xùn)練的過程是不斷迭代的過 程，需對(duì)結(jié)果進(jìn)行評(píng)價(jià)，如果準(zhǔn)確率低于95%，需要在訓(xùn)練過程中不斷改進(jìn)，以訓(xùn)練出具有 魯棒性的神經(jīng)元網(wǎng)絡(luò)分類器，如果準(zhǔn)確率為95%或95%以上，則具有魯棒性的神經(jīng)元網(wǎng)絡(luò) 分類器訓(xùn)練完成；
[0126] 步驟二、建立疲勞模式分類器
[0127] ①采集Ml名駕駛?cè)嗽谡ｑ{駛狀態(tài)下的駕駛行為數(shù)據(jù)，采集M2名駕駛?cè)嗽谄隈{ 駛狀態(tài)下的駕駛行為數(shù)據(jù)，其中，Ml、M2均為自然數(shù)；
[0128] ②利用特征提取方法提取疲勞駕駛特征參數(shù)，采用統(tǒng)計(jì)分析的方法獲得正常駕駛 和疲勞駕駛的特征參數(shù)，確定駕駛?cè)艘暰€軌跡、眨眼頻率和PERCL0S為疲勞駕駛特征參數(shù)；
[0129] ③紅外攝像頭Π跟蹤駕駛?cè)艘暰€軌跡，駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與識(shí)別出的交通 標(biāo)志牌位置不一致，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào)；駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與 識(shí)別出的交通標(biāo)志牌位置一致，則記錄駕駛?cè)俗⒁曉搮^(qū)域的時(shí)間，時(shí)間不超過1秒，則發(fā)送 駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);時(shí)間超過1秒，則進(jìn)行下一步；
[0130] ④紅外攝像頭Π記錄駕駛?cè)耸钦Ｑ垲l率和眨眼時(shí)間，設(shè)定眨眼頻率閾值范圍為2 秒/次~4秒/次，每次眨眼時(shí)間閾值范圍為0.25秒~0.3秒，記錄的駕駛?cè)耸钦Ｑ垲l率、眨眼 時(shí)間其中任意一個(gè)參數(shù)值不在給定的閾值范圍，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào)； 記錄的駕駛?cè)耸钦Ｑ垲l率和眨眼時(shí)間均在給定的閾值范圍，則進(jìn)行下一步；
[0131] ⑤根據(jù)度量疲勞/瞌睡的物理量PERCL0S，
[0132] 對(duì)駕駛?cè)巳?00組正常駕駛狀態(tài)下的眼瞼尺寸獲得駕駛?cè)俗笱鄄€平均尺寸Lelm和 駕駛?cè)擞已鄄€平均尺寸Relm，
[0133]
[0134] 單位時(shí)間內(nèi)眼睛閉合稈度超過80%的次數(shù)nP的計(jì)算公式為
[0135]
[0136] 式中，LELj為第j幀圖像的左眼瞼尺寸，RELj為第j幀圖像的右眼瞼尺寸;單位時(shí)間 內(nèi)眼睛睜開程度小于20%所占的比例P 8Q作為PERCL0S的評(píng)價(jià)標(biāo)準(zhǔn)P8Q的計(jì)算公式為
[0137]
[0138] 式中，f ο為采樣頻率，TP8Q為計(jì)算時(shí)窗大小；
[0139] 度量疲勞/瞌睡的物理量PERCLOS的計(jì)算公式如下： 目艮睛閉合幀數(shù)：
[0140] PERCLOS 二 4/二上Π = xl〇〇% 檢測(cè)時(shí)間段總幀數(shù)
[0141] 設(shè)定眼睛閉合至80%及80%以上所占的時(shí)間閾值為30秒/分，紅外攝像頭Π 15檢 測(cè)到單位時(shí)間內(nèi)眼睛閉合至80%及80%以上所占的時(shí)間，超過給定閾值，則發(fā)送駕駛?cè)隋e(cuò) 失道路交通標(biāo)志的信號(hào)；
[0142] ⑥根據(jù)正常和疲勞狀態(tài)下的駕駛行為數(shù)據(jù)統(tǒng)計(jì)，建立疲勞駕駛條件下特征參數(shù)值 的數(shù)據(jù)庫，利用機(jī)器學(xué)習(xí)的方法構(gòu)建疲勞模式分類器；
[0143] 步驟三、構(gòu)建有無霧圖像分類器
[0144] A、建立道路圖像支持向量機(jī)SVM分類器
[0145] ①紅外攝像頭采集X張紅外道路圖像和紅外非道路圖像，并將采集到的圖像傳輸 到有無霧圖像分類模塊，其中包括X1張紅外道路圖像和X 2張紅外非道路圖像，X、Xi、X2均為 自然數(shù)，在有無霧圖像分類模塊中建立道路圖像分類器的圖像訓(xùn)練庫；
[0146] ②通過道路圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向量 機(jī)SVM分類器根據(jù)道路紋理獲得道路圖像特征，對(duì)道路圖像和非道路圖像分類，并獲得紅外 道路圖像特征，道路圖像支持向量機(jī)SVM分類器建立完成；
[0147] B、建立有無霧圖像分類器
[0148] ①紅外攝像頭采集Y張不同霧濃度的紅外有霧圖像和紅外無霧圖像，其中包括Y1 張有霧紅外圖像和Y2張無霧紅外圖像，Y、Yi、Y2均為自然數(shù)，在有無霧圖像分類模塊中建立 有無霧圖像分類器的圖像訓(xùn)練庫；
[0149] ②通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器，高斯 混合模型GMM分類器根據(jù)有霧圖像灰度值頻率特征，提取有霧圖像和無霧圖像的一維灰度 直方圖圖像特征，并根據(jù)圖像的直方圖對(duì)有霧圖像和無霧圖像進(jìn)行分類，有無霧圖像高斯 混合模型GMM分類器建立完成；
[0150] ③通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向 量機(jī)SVM分類器根據(jù)有霧圖像和無霧圖像的傅里葉變換頻率特征，對(duì)有霧圖像和無霧圖像 進(jìn)行分類，并提取有霧圖像和無霧圖像的傅里葉變換頻率特征，有無霧圖像支持向量機(jī)SVM 分類器建立完成；
[0151] 將有無霧圖像高斯混合模型GMM分類器分類出的有霧圖像和有無霧圖像支持向量 機(jī)SVM分類器分類出的有霧圖像取并集，得到有霧圖像樣本庫；
[0152] 步驟四、建立圖像去霧模型
[0153] ①大氣光學(xué)模型為KdzjUk^+Aa-e^hKx)為分類后的有霧圖像，J(X)為 去霧之后的清晰圖像，A為全球大氣光成分，為大氣透射率值t，i3為大氣消光系數(shù)，d為能 見度值；
[0154] ②取有霧道路圖像在紅綠藍(lán)RGB三通道圖像中的最小通道灰度圖像，然后再對(duì)獲 取的灰度圖像做最小值濾波，獲得有霧圖像暗通道
其中，Jdalrk是指J 的暗通道，Jg表示彩色圖像的每個(gè)通道，C為RGB三通道；Ω為包含所有像素的整個(gè)圖像窗 口，為整個(gè)圖像窗口所有像素中的最小值像素，為整個(gè)圖像窗口每個(gè)像素RGB三個(gè)通 道分量的最小像素值；
[0155] ③從暗通道圖像中按照亮度大小取前0.1%的像素，然后在原始有霧圖中尋找對(duì) 應(yīng)的具有最高亮度的點(diǎn)的值，作為大氣光的成分值A(chǔ);
[0156] ④處理大氣光學(xué)模型，形式如下：
[0157；
[0158；
[0159] 其中C為RGB三通道，對(duì)上式兩端求暗通道即對(duì)上式兩邊求兩次最小值運(yùn)算，再利 用暗通道灰度值接近零，因此，可推導(dǎo)出：
[0162]其中t為大氣透射率值，由于霧的存在使人感到景深的存在，因此在
1]之間的因子ω，獲得大氣透射率圖，
[0164] ⑤得到透射率圖的邊緣和紋理細(xì)節(jié)都有損失，采用中值濾波器對(duì)透射率圖進(jìn)行邊 緣保持的濾波器優(yōu)化，獲得細(xì)化透射率圖；
[0165] ⑥設(shè)置閾值to,當(dāng)t值小于to時(shí)，令t = to,以to = 0.1為標(biāo)準(zhǔn)，將處理后的三通道圖 像合成，恢復(fù)出去霧后的清晰圖像J(X)，
[0166]
[0167] 步驟五、構(gòu)建道路標(biāo)志識(shí)別預(yù)警策略
[0168] ①紅外攝像頭13采集實(shí)時(shí)圖像；
[0169] 本系統(tǒng)要求是車輛行駛過程中實(shí)時(shí)的處理的過程，因此該系統(tǒng)采用紅外（IR)攝像 機(jī)來獲取數(shù)據(jù)，對(duì)于本發(fā)明專利的普遍性、實(shí)時(shí)性等要求，道路環(huán)境的復(fù)雜性，考慮到拍攝 環(huán)境光線昏暗模糊，并且與地面不平行、道路標(biāo)志牌在圖像中有輕微的扭曲，采用結(jié)構(gòu)性紅 外光學(xué)投影器的攝像機(jī)，就可只獲取紅外光，即得到高品質(zhì)的圖像。在車輛行進(jìn)過程中，將 采集的圖像輸入到霧天圖像分類器和圖像去霧模型，如果判斷為有霧圖像，則對(duì)有霧圖像 進(jìn)行圖像去霧，如果判斷為無霧圖像，則進(jìn)行下一步；
[0170]②將去霧后的圖像或者實(shí)時(shí)無霧圖像輸入到標(biāo)志牌字符識(shí)別系統(tǒng)，將獲得的道路 交通標(biāo)志牌圖像作為輸入，傳輸?shù)綐?biāo)志牌字符識(shí)別模塊9,在該模塊里將標(biāo)志牌圖像進(jìn)行圖 像分割的預(yù)處理后，利用已經(jīng)離線訓(xùn)練好的神經(jīng)元網(wǎng)絡(luò)分類器進(jìn)行字符的識(shí)別；識(shí)別后的 道路交通標(biāo)志信息，輸入預(yù)警模塊11通過車載揚(yáng)聲器14發(fā)出有關(guān)標(biāo)志牌信息的聲音警告并 在車載顯示屏12上顯示警告的標(biāo)志信息；
[0171] ③紅外攝像頭Π 15采集駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率和PERCL0S輸入至 疲勞模式分類器，駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率、PERCL0S均在給定閾值范圍內(nèi)， 則不提供給駕駛員預(yù)警信息；駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率、PERCL0S其中任意一 個(gè)參數(shù)值不在給定閾值范圍內(nèi)，則預(yù)警模塊11通過車載揚(yáng)聲器14發(fā)出聲音警告并在車載顯 示屏上顯示該道路交通標(biāo)志信息。
[0172] 所述步驟一中的 Ν2 3000，Νι2 1000，N22 2000。
[0173] 所述步驟一中的L2 1000，K2 2000。
[0174] 所述步驟二中的 Μι250，Μ2250。
[0175] 所述步驟三中的)(2 3000，父12 1000，父2 2 2000。
[0176] 所述步驟三中的 Υ2 3000，Υι2 1000，Υ22 2000。
[0177] 下面給出本方法的一個(gè)具體實(shí)施例：
[0178] -種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征在于：
[0179] 包括以下步驟
[0180] 步驟一、建立道路交通標(biāo)志牌識(shí)別分類器
[0181 ] Α、建立道路交通標(biāo)志牌高斯混合模型GMM分類器
[0182] ①紅外攝像頭13采集3000張包含標(biāo)志牌紅外道路圖像和無標(biāo)志牌紅外道路圖像， 并將采集到的圖像傳輸?shù)綀D像分類模塊6,其中包括1000張包含標(biāo)志牌紅外道路圖像和 2000張無標(biāo)志牌紅外道路圖像，在圖像分類模塊6中建立道路交通標(biāo)志牌分類器的圖像訓(xùn) 練庫；
[0183] ②對(duì)道路交通標(biāo)志牌分類器的圖像訓(xùn)練集中的圖像進(jìn)行二值化、傾斜校正以及縮 放尺寸歸一化處理，獲得統(tǒng)一尺寸的道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫；
[0184] ③利用道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器， 高斯混合模型GMM分類器根據(jù)道路標(biāo)志牌金屬板材的紋理特征、標(biāo)志牌面積特征、輪廓特 征，一般是規(guī)則矩形、圓形或三角形，以及道路標(biāo)志牌直方圖特征建立高斯混合模型三維特 征空間，訓(xùn)練包含標(biāo)志牌紅外道路圖像和無標(biāo)志牌紅外道路圖像，獲得標(biāo)志牌的圖像特征， 道路交通標(biāo)志牌分類器建立完成；
[0185] Β、建立用于道路交通標(biāo)志牌字符分類識(shí)別的神經(jīng)元網(wǎng)絡(luò)分類器
[0186] ①紅外攝像頭采集1000張不同道路交通標(biāo)志牌圖像，對(duì)獲得的道路交通標(biāo)志牌圖 像進(jìn)行直方圖均衡化處理、閾值濾波器、查找輪廓算法對(duì)其中的字符進(jìn)行分割，對(duì)分割的字 符尺寸歸一化處理，統(tǒng)一縮小其尺寸為32*16像素；
[0187] ②根據(jù)標(biāo)志牌上的信息種類的不同，設(shè)計(jì)四個(gè)神經(jīng)網(wǎng)絡(luò):漢字網(wǎng)絡(luò)、字母網(wǎng)絡(luò)、數(shù) 字網(wǎng)絡(luò)、圖形符號(hào)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)標(biāo)志牌信息的分類。利用漢字庫CCLIB中的GB2312-80中全 部6763個(gè)漢字和571個(gè)字符，構(gòu)造本系統(tǒng)中標(biāo)志牌的漢字、字母、數(shù)字點(diǎn)陣字符庫。據(jù)統(tǒng)計(jì)， 道路交通標(biāo)志種類多樣包括警告標(biāo)志46種，禁令標(biāo)志43種，指示標(biāo)志30種，道路標(biāo)志57種， 指路標(biāo)志40種，道路交通標(biāo)線39種，輔助標(biāo)志16種，旅游區(qū)標(biāo)志17種，道路施工安全標(biāo)志26 種。其中圖形標(biāo)志或者包含圖形標(biāo)志的標(biāo)志牌占90%以上，因此上述漢字、字母、數(shù)字點(diǎn)陣 字符庫滿足不了實(shí)際圖形標(biāo)志識(shí)別需求，在本發(fā)明專利中，將建立除漢字、字母、數(shù)字之外 的圖形標(biāo)志樣本庫。采集2000張標(biāo)志牌圖像，提取其中的圖形標(biāo)志，分析標(biāo)志牌圖形的特 點(diǎn)：警告圖形標(biāo)志牌黃底黑圖、禁令圖形標(biāo)志白底黑圖紅斜線、指示標(biāo)志藍(lán)底白圖，提取其 圖形符號(hào)構(gòu)造點(diǎn)陣圖存入圖形樣本庫中。將漢字、字母、數(shù)字點(diǎn)陣字符庫和圖形樣本庫合并 為標(biāo)志牌信息識(shí)別庫，圖形字符組合的標(biāo)志牌可根據(jù)標(biāo)志牌信息識(shí)別庫識(shí)別標(biāo)志信息。
[0188] ③構(gòu)建反向傳播神經(jīng)元網(wǎng)絡(luò)分類器結(jié)構(gòu)
[0189] a)輸入層神經(jīng)元個(gè)數(shù)，對(duì)歸一化為32*16點(diǎn)陣大小的字符，以每個(gè)像素點(diǎn)為一個(gè)網(wǎng) 格，輸入層神經(jīng)元個(gè)數(shù)取512;
[0190] b)輸出層神經(jīng)元個(gè)數(shù)，根據(jù)不同網(wǎng)絡(luò)輸出層神經(jīng)元個(gè)數(shù)分別為：漢字1000;字母 26;數(shù)字10;圖形符號(hào)為500;
[0191] c)隱層層數(shù)為一層，有理論研究可知，有輸入層輸出層和單隱層的神經(jīng)網(wǎng)絡(luò)足夠 執(zhí)行任意復(fù)雜的函數(shù)映射，單隱層神經(jīng)元數(shù)目計(jì)算公式為：
[0192]
[0193] 式中，h_num表示隱層神經(jīng)元個(gè)數(shù)，i_num表示輸入層神經(jīng)元個(gè)數(shù)，o_num表示輸出 層神經(jīng)元個(gè)數(shù)。
[0194] d)激活函數(shù)選用邏輯斯諫logistic函數(shù)形式如下：
[0195；
[0196] 式中，Vj為神經(jīng)元j的局部域，為隱藏層的輸出函數(shù)，e指的是約等于2.71828 的自然對(duì)數(shù)的底。
[0197] ④人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練過程，將標(biāo)志牌信息識(shí)別庫中的漢字、字母、數(shù)字和圖形四 種樣本分別輸入到對(duì)應(yīng)的神經(jīng)元網(wǎng)絡(luò)中，并分別對(duì)四個(gè)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)因子、動(dòng)量因子、誤差 目標(biāo)值以及閾值范圍的設(shè)定，然后進(jìn)行人工神經(jīng)元網(wǎng)絡(luò)的識(shí)別訓(xùn)練，輸入層到隱層權(quán)值或 隱層到輸出層權(quán)值其中任意一個(gè)權(quán)值不在設(shè)置的閾值范圍內(nèi)，則顯示人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練 失敗，退出訓(xùn)練;輸入層到隱層權(quán)值和隱層到輸出層權(quán)值均在設(shè)置的閾值范圍內(nèi)，則保存權(quán) 值，人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練成功；
[0198] ⑤標(biāo)志牌字符識(shí)別
[0199] 將訓(xùn)練獲得的權(quán)值矩陣輸入到相應(yīng)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)值矩陣中，將待識(shí)別的字 符樣本以矩陣形式保存到文件夾中，利用訓(xùn)練后神經(jīng)元網(wǎng)絡(luò)識(shí)別該字符樣本的類別，并輸 出結(jié)果；
[0200] ⑥人工神經(jīng)元網(wǎng)絡(luò)測(cè)試，對(duì)識(shí)別的準(zhǔn)確率進(jìn)行計(jì)算，
[0201] 人工記錄輸出結(jié)果100次，將實(shí)時(shí)字符識(shí)別后的標(biāo)志牌信息與現(xiàn)實(shí)標(biāo)志牌真實(shí)信 息作對(duì)比，對(duì)該分類識(shí)別的算法最后的識(shí)別結(jié)果，進(jìn)行準(zhǔn)確率評(píng)價(jià)，并獲得訓(xùn)練后神經(jīng)元網(wǎng) 絡(luò)的識(shí)別準(zhǔn)確率，如果準(zhǔn)確率低于95%，則重復(fù)進(jìn)行步驟④人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練和步驟⑤ 標(biāo)志牌字符識(shí)別，對(duì)實(shí)時(shí)分類識(shí)別的信息中出現(xiàn)識(shí)別準(zhǔn)確度較低的漢字、數(shù)字、字母以及圖 案根據(jù)識(shí)別效果粘連情況，再次進(jìn)行訓(xùn)練，增加粘連字符的樣本庫直到識(shí)別準(zhǔn)確率為95% 或95%以上，則具有魯棒性的神經(jīng)元網(wǎng)絡(luò)分類器訓(xùn)練完成；
[0202]步驟二、建立疲勞模式分類器
[0203]①采集50名駕駛?cè)嗽谡ｑ{駛狀態(tài)下的駕駛行為數(shù)據(jù)，采集50名駕駛?cè)嗽谄隈{ 駛狀態(tài)下的駕駛行為數(shù)據(jù)；
[0204] ②利用特征提取方法提取疲勞駕駛特征參數(shù)，采用統(tǒng)計(jì)分析的方法獲得正常駕駛 和疲勞駕駛的特征參數(shù)，確定駕駛?cè)艘暰€軌跡、眨眼頻率和PERCL0S為疲勞駕駛特征參數(shù)；
[0205] ③紅外攝像頭Π 15跟蹤駕駛?cè)艘暰€軌跡，駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與識(shí)別出的交 通標(biāo)志牌位置不一致，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào)；駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置 與識(shí)別出的交通標(biāo)志牌位置一致，則記錄駕駛?cè)俗⒁曉搮^(qū)域的時(shí)間，時(shí)間不超過1秒，則發(fā) 送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);時(shí)間超過1秒，則進(jìn)行下一步；
[0206] ④紅外攝像頭Π 15記錄駕駛?cè)耸钦Ｑ垲l率和眨眼時(shí)間，設(shè)定眨眼頻率閾值范圍為 2秒/次~4秒/次，每次眨眼時(shí)間閾值范圍為0.25秒~0.3秒，記錄的駕駛?cè)耸钦Ｑ垲l率、眨 眼時(shí)間其中任意一個(gè)參數(shù)值不在給定的閾值范圍，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信 號(hào);記錄的駕駛?cè)耸钦Ｑ垲l率和眨眼時(shí)間均在給定的閾值范圍，則進(jìn)行下一步；
[0207] ⑤根據(jù)度量疲勞/瞌睡的物理量PERCL0S，
[0208] 對(duì)駕駛?cè)巳?00組正常駕駛狀態(tài)下的眼瞼尺寸獲得駕駛?cè)俗笱鄄€平均尺寸Lelm和 駕駛?cè)擞已鄄€平均尺寸Relm，
[0209]
[0210] 單位時(shí)間內(nèi)眼睛閉合程度超過80%的次數(shù)nP的計(jì)算公式為
[0211]
[0212]式中，LELj為第j幀圖像的左眼瞼尺寸，RELj為第j幀圖像的右眼瞼尺寸;單位時(shí)間 內(nèi)眼睛睜開程度小于20%所占的比例P8Q作為PERCL0S的評(píng)價(jià)標(biāo)準(zhǔn)P8Q的計(jì)算公式為
[0213]
[021 4]式中，為采樣頻率，Tp8Q為計(jì)算時(shí)窗大??；
[0215] 度量疲勞/瞌睡的物理量PERCL0S的計(jì)算公式如下： mo,,! 目艮目青丨艙· 1ΠΛ0/
[02 6] PLRCLOS = x 1ιΚ)!/〇 檢測(cè)時(shí)間段總幀數(shù)
[0217]設(shè)定眼睛閉合至80%及80%以上所占的時(shí)間閾值為30秒/分，紅外攝像頭Π (15) 檢測(cè)到單位時(shí)間內(nèi)眼睛閉合至80%及80%以上所占的時(shí)間，超過給定閾值，則發(fā)送駕駛?cè)?錯(cuò)失道路交通標(biāo)志的信號(hào)；
[0218]⑥根據(jù)正常和疲勞狀態(tài)下的駕駛行為數(shù)據(jù)統(tǒng)計(jì)，建立疲勞駕駛條件下特征參數(shù)值 的數(shù)據(jù)庫，利用機(jī)器學(xué)習(xí)的方法構(gòu)建疲勞模式分類器；
[0219]步驟三、構(gòu)建有無霧圖像分類器
[0220] A、建立道路圖像支持向量機(jī)SVM分類器
[0221] ①紅外攝像頭采集3000張紅外道路圖像和紅外非道路圖像，并將采集到的圖像傳 輸?shù)接袩o霧圖像分類模塊，其中包括1000張紅外道路圖像和2000張紅外非道路圖像，在有 無霧圖像分類模塊中建立道路圖像分類器的圖像訓(xùn)練庫；
[0222] ②通過道路圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向量 機(jī)SVM分類器根據(jù)道路紋理獲得道路圖像特征，對(duì)道路圖像和非道路圖像分類，并獲得紅外 道路圖像特征，道路圖像支持向量機(jī)SVM分類器建立完成；
[0223] B、建立有無霧圖像分類器
[0224] ①紅外攝像頭采集3000張不同霧濃度的紅外有霧圖像和紅外無霧圖像，其中包括 1000張有霧紅外圖像和2000張無霧紅外圖像，在有無霧圖像分類模塊中建立有無霧圖像分 類器的圖像訓(xùn)練庫；
[0225] ②通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器，高斯 混合模型GMM分類器根據(jù)有霧圖像灰度值頻率特征，提取有霧圖像和無霧圖像的一維灰度 直方圖圖像特征，并根據(jù)圖像的直方圖對(duì)有霧圖像和無霧圖像進(jìn)行分類，有無霧圖像高斯 混合模型GMM分類器建立完成；
[0226] ③通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向 量機(jī)SVM分類器根據(jù)有霧圖像和無霧圖像的傅里葉變換頻率特征，對(duì)有霧圖像和無霧圖像 進(jìn)行分類，并提取有霧圖像和無霧圖像的傅里葉變換頻率特征，有無霧圖像支持向量機(jī)SVM 分類器建立完成；
[0227] 將有無霧圖像高斯混合模型GMM分類器分類出的有霧圖像和有無霧圖像支持向量 機(jī)SVM分類器分類出的有霧圖像取并集，得到有霧圖像樣本庫；
[0228] 步驟四、建立圖像去霧模型
[0229] ①大氣光學(xué)模型為KdzjUk^+Aa-e^hKx)為分類后的有霧圖像，J(X)為 去霧之后的清晰圖像，A為全球大氣光成分，為大氣透射率值t，i3為大氣消光系數(shù)，d為能 見度值；
[0230]②取有霧道路圖像在紅綠藍(lán)RGB三通道圖像中的最小通道灰度圖像，然后再對(duì)獲 取的灰度圖像做最小值濾波，獲得有霧圖像暗通道:= )其中，Jdalrk是指J的 暗通道，Jg表示彩色圖像的每個(gè)通道，C為RGB三通道；Ω為包含所有像素的整個(gè)圖像窗口， 為整個(gè)圖像窗口所有像素中的最小值像素，+為整個(gè)圖像窗口每個(gè)像素RGB三個(gè)通道 分量的最小像素值；
[0231]③從暗通道圖像中按照亮度大小取前0.1%的像素，然后在原始有霧圖中尋找對(duì) 應(yīng)的具有最高亮度的點(diǎn)的值，作為大氣光的成分值A(chǔ);
[0232]④處理大氣光學(xué)模型，形式如下：
[0233] … …
[0234]
[0235] 其中C為RGB三通道，對(duì)上式兩端求暗通道即對(duì)上式兩邊求兩次最小值運(yùn)算，再利 用暗通道龍麼佶培忻雪.田此.可推導(dǎo)m:
[0236]
[0237]
[0238] 其中t為大氣透射率值，由于霧的存在使人感到景深的存在，因此在
〇，1 ]之間的因子ω，獲得大氣透射率圖，
[0240] ⑤得到透射率圖的邊緣和紋理細(xì)節(jié)都有損失，采用中值濾波器對(duì)透射率圖進(jìn)行邊 緣保持的濾波器優(yōu)化，獲得細(xì)化透射率圖；
[0241] ⑥設(shè)置閾值to，當(dāng)t值小于t0時(shí)，令t = t0，以to = 0.1為標(biāo)準(zhǔn)，將處理后的三通道圖 像合成，恢復(fù)出去霧后的清晰圖像J(X)，
[0242]
[0243] 步驟五、構(gòu)建道路標(biāo)志識(shí)別預(yù)警策略
[0244] ①紅外攝像頭13實(shí)時(shí)采集距離在100米~250米遠(yuǎn)的標(biāo)志圖像信息；
[0245] 本系統(tǒng)要求是車輛行駛過程中實(shí)時(shí)的處理的過程，因此該系統(tǒng)采用紅外（IR)攝像 機(jī)來獲取數(shù)據(jù)，對(duì)于本發(fā)明專利的普遍性、實(shí)時(shí)性等要求，道路環(huán)境的復(fù)雜性，考慮到拍攝 環(huán)境光線昏暗模糊，并且與地面不平行、道路標(biāo)志牌在圖像中有輕微的扭曲，采用結(jié)構(gòu)性紅 外光學(xué)投影器的攝像機(jī)，就可只獲取紅外光，即得到高品質(zhì)的圖像。在車輛行進(jìn)過程中，將 采集的圖像輸入到霧天圖像分類器，如果判斷為有霧圖像，輸入到圖像去霧模型對(duì)有霧圖 像進(jìn)行圖像去霧，如果判斷為無霧圖像，則進(jìn)行下一步；
[0246] ②將去霧后的圖像或者實(shí)時(shí)無霧圖像輸入到標(biāo)志牌字符識(shí)別系統(tǒng)，利用已訓(xùn)練好 的道路交通標(biāo)志牌高斯混合模型GMM分類器分類，將獲得的道路交通標(biāo)志牌圖像作為輸入， 傳輸?shù)綐?biāo)志牌字符識(shí)別模塊9,在該模塊里將標(biāo)志牌圖像進(jìn)行圖像分割的預(yù)處理:彩色圖像 灰度化、5*5高斯模糊去噪、Hough變換分割、Oust閾值化圖像、形態(tài)學(xué)開閉運(yùn)算、連通分量分 析、光照直方圖均衡等操作得到處理后的道路交通標(biāo)志牌區(qū)域，并對(duì)該區(qū)域進(jìn)行定位，將獲 得的道路交通標(biāo)志牌區(qū)域作為輸入，利用已經(jīng)離線訓(xùn)練好的神經(jīng)元網(wǎng)絡(luò)分類器進(jìn)行字符的 識(shí)別；識(shí)別后的道路交通標(biāo)志信息，輸入預(yù)警模塊11通過車載揚(yáng)聲器14發(fā)出有關(guān)標(biāo)志牌信 息的聲音警告并在車載顯示屏同步顯示警告的標(biāo)志信息；
[0247] ③紅外攝像頭Π 15采集駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率和PERCL0S輸入至 疲勞模式分類器，駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率、PERCL0S均在給定閾值范圍內(nèi)， 則不提供給駕駛員預(yù)警信息；駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、眨眼頻率、PERCL0S其中任意一 個(gè)參數(shù)值不在給定閾值范圍內(nèi)，則預(yù)警模塊11通過車載揚(yáng)聲器14發(fā)出聲音警告并在車載顯 示屏上顯示該道路交通標(biāo)志信息。
[0248] 以上具體實(shí)施范例中，采集不同道路圖像的張數(shù)為3000張，其中包括1000張含不 同道路標(biāo)志牌的道路圖像和2000張任意非道路圖像(包括建筑、草地、天空等），但本發(fā)明對(duì) 道路圖像采集張數(shù)的范圍不限于本實(shí)施例，基于公知常識(shí)，前期數(shù)據(jù)采集量越大，后期數(shù)據(jù) 處理的準(zhǔn)確度越高，故本實(shí)施例中只給出端值，即最小值的范例；同理，本具體實(shí)施范例中 采集不同駕駛?cè)藸顟B(tài)圖像的張數(shù)為100張，其中包括50張疲勞駕駛?cè)说鸟{駛行為狀態(tài)圖像 和50張正常駕駛?cè)说鸟{駛行為狀態(tài)圖像，本具體實(shí)施范例中采集不同天氣下道路圖像的張 數(shù)為3000張，其中包括1000張有霧道路圖像和2000張無霧道路圖像。本具體實(shí)施范例中采 集不同霧圖的張數(shù)為3000張，其中包括1000張有霧圖像和2000張無霧圖像。本具體實(shí)施范 例中采集不同道路標(biāo)志牌的張數(shù)L為1000張。本具體實(shí)施范例中采集不同道路標(biāo)志牌的張 數(shù)K為2000張。在具體實(shí)施例中也只給出端值，即最小值的范例。
【主權(quán)項(xiàng)】
1. 一種基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警系統(tǒng)，其特征在于：包括電源 (1)、變壓插頭1(2)、紅外攝像頭1(3)、變壓插頭Π (4)、車載電控單元模塊(5)、圖像分類模 塊(6)、圖像去霧模塊(7)、標(biāo)志牌識(shí)別模塊(8)、標(biāo)志牌字符識(shí)別模塊(9)、駕駛行為分類模 塊（10)、預(yù)警模塊（11)、車載顯示屏（12)、汽車音響設(shè)備（13)、車載揚(yáng)聲器（14)和紅外攝像 頭Π (15)，所述電源（1)通過變壓插頭1(2)與紅外攝像頭1(3)連接，電源（1)通過變壓插頭 Π (4)與紅外攝像頭Π (15)連接； 所述車載電控單元模塊(5)包括圖像分類模塊(6)、圖像去霧模塊(7)、標(biāo)志牌識(shí)別模塊 (8)、標(biāo)志牌字符識(shí)別模塊(9)、駕駛行為分類模塊（10)、預(yù)警模塊（11)，所述圖像分類模塊 (6)的一端通過導(dǎo)線與紅外攝像頭1(3)連接，圖像分類模塊(6)的另一端通過導(dǎo)線與圖像去 霧模塊(7)連接;所述圖像去霧模塊(7)通過導(dǎo)線與標(biāo)志牌識(shí)別模塊(8)連接;所述標(biāo)志牌識(shí) 別模塊(8)通過導(dǎo)線與標(biāo)志牌字符識(shí)別模塊(9)連接;所述標(biāo)志牌字符識(shí)別模塊(9)通過導(dǎo) 線與預(yù)警模塊(11)連接;所述駕駛行為分類模塊(10)的一端通過導(dǎo)線與紅外攝像頭Π (15) 連接，駕駛行為分類模塊(10)的另一端通過導(dǎo)線與預(yù)警模塊(11)連接； 所述車載顯示屏（12)通過導(dǎo)線與預(yù)警模塊（11)連接;所述汽車音響設(shè)備（13)的一端通 過導(dǎo)線與預(yù)警模塊（11)連接，汽車音響設(shè)備（13)的另一端通過導(dǎo)線與車載揚(yáng)聲器（14)連 接。2. -種于機(jī)器視覺的車載道路標(biāo)志牌識(shí)別及預(yù)警系統(tǒng)方法，其特征在于： 包括W下步驟 步驟一、建立道路交通標(biāo)志牌識(shí)別系統(tǒng) A、 建立道路交通標(biāo)志牌高斯混合模型GMM分類器 ① 紅外攝像頭采集N張有道路交通標(biāo)志牌紅外道路圖像和無道路交通標(biāo)志牌紅外道路 圖像，并將采集到的圖像傳輸?shù)綐?biāo)志牌識(shí)別模塊(8)，其中包括化張有道路交通標(biāo)志牌紅外 道路圖像和化張無道路交通標(biāo)志牌紅外道路圖像，N、Ni、化均為自然數(shù)，在標(biāo)志牌識(shí)別模塊 (8)中建立道路交通標(biāo)志牌分類器的圖像訓(xùn)練集； ② 對(duì)道路交通標(biāo)志牌分類器的圖像訓(xùn)練集中的圖像進(jìn)行二值化、傾斜校正W及縮放尺 寸歸一化處理，獲得統(tǒng)一尺寸的道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫； ③ 利用道路交通標(biāo)志牌分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器，高斯 混合模型GMM分類器根據(jù)道路交通標(biāo)志牌金屬材質(zhì)的紋理特征、面積特征、輪廓形狀特征W 及道路交通標(biāo)志牌直方圖特征，按照有無道路交通標(biāo)志牌對(duì)采集的紅外道路圖像進(jìn)行分 類，獲得有道路交通標(biāo)志牌的圖像特征，高斯混合模型GMM分類器建立完成； B、 建立用于道路交通標(biāo)志牌字符分類識(shí)別的神經(jīng)元網(wǎng)絡(luò)分類器 ① 紅外攝像頭采集L張道路交通標(biāo)志牌圖像，L為自然數(shù)，對(duì)獲得的道路交通標(biāo)志牌圖 像進(jìn)行直方圖均衡化處理、闊值濾波器、查找輪廓算法對(duì)其中的字符進(jìn)行分割，對(duì)分割的字 符尺寸歸一化處理，統(tǒng)一縮小其尺寸至32*16像素； ② 根據(jù)標(biāo)志牌上的信息，建立漢字網(wǎng)絡(luò)、字母網(wǎng)絡(luò)、數(shù)字網(wǎng)絡(luò)、圖形符號(hào)網(wǎng)絡(luò)對(duì)交通標(biāo) 志牌信息進(jìn)行分類； 利用漢字庫CCLIB中的GB2312-80的全部6763個(gè)漢字和571個(gè)字符，建立交通標(biāo)志牌的 漢字、字母及數(shù)字點(diǎn)陣字符庫； 建立圖形樣本庫，采集K張交通標(biāo)志牌圖像，K為自然數(shù)，提取其中的圖形標(biāo)志，根據(jù)交 通標(biāo)志牌的圖形特點(diǎn)，提取其圖形符號(hào)建立圖形符號(hào)點(diǎn)陣圖并存入圖形樣本庫中； 將漢字、字母及數(shù)字點(diǎn)陣字符庫和圖形樣本庫合并為標(biāo)志牌信息識(shí)別庫； ③ 構(gòu)建反向傳播神經(jīng)元網(wǎng)絡(luò)分類器結(jié)構(gòu) a) 輸入層神經(jīng)元個(gè)數(shù) 對(duì)歸一化為32*16點(diǎn)陣大小的字符，W每個(gè)像素點(diǎn)為一個(gè)網(wǎng)格，輸入層神經(jīng)元個(gè)數(shù)取 512； b) 輸出層神經(jīng)元個(gè)數(shù) 根據(jù)不同網(wǎng)絡(luò)輸出層神經(jīng)元個(gè)數(shù)分別為：漢字為1000;字母26;數(shù)字10;圖形符號(hào)為 500； C)隱層層數(shù)為一層，單隱層神經(jīng)元數(shù)目計(jì)算公式為：式中，h_num為隱層神經(jīng)元個(gè)數(shù)，i_num為輸入層神經(jīng)元個(gè)數(shù)，o_num為輸出層神經(jīng)元個(gè) 數(shù)； d)激活函數(shù)選用logistic函數(shù)形式如下：式中，V功神經(jīng)元j的局部域，為隱藏層的輸出函數(shù)； ④ 人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練 將標(biāo)志牌信息識(shí)別庫中的漢字、字母、數(shù)字和圖形四種樣本分別輸入到對(duì)應(yīng)的神經(jīng)元 網(wǎng)絡(luò)中，并分別對(duì)四個(gè)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)因子、動(dòng)量因子、誤差目標(biāo)值W及闊值范圍的設(shè)定，然 后進(jìn)行人工神經(jīng)元網(wǎng)絡(luò)的識(shí)別訓(xùn)練，輸入層到隱層權(quán)值或隱層到輸出層權(quán)值不在設(shè)置的闊 值范圍內(nèi)，則顯示人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練失敗，退出訓(xùn)練;輸入層到隱層權(quán)值和隱層到輸出層 權(quán)值均在設(shè)置的闊值范圍內(nèi)，則保存權(quán)值，人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練成功； ⑤ 標(biāo)志牌字符識(shí)別 將訓(xùn)練獲得的權(quán)值矩陣輸入到相應(yīng)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)值矩陣中，將待識(shí)別的字符樣 本W(wǎng)矩陣形式保存到文件夾中，利用訓(xùn)練后神經(jīng)元網(wǎng)絡(luò)識(shí)別該字符樣本的類別，并輸出結(jié) 果； ⑥ 人工神經(jīng)元網(wǎng)絡(luò)測(cè)試，對(duì)識(shí)別的準(zhǔn)確率進(jìn)行計(jì)算， 人工記錄輸出結(jié)果100次W上，并獲得訓(xùn)練后神經(jīng)元網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率，如果準(zhǔn)確率低 于95%，則重復(fù)進(jìn)行步驟④人工神經(jīng)元網(wǎng)絡(luò)訓(xùn)練和步驟⑤標(biāo)志牌字符識(shí)別，如果準(zhǔn)確率為 95%或95% W上，則具有魯棒性的神經(jīng)元網(wǎng)絡(luò)分類器訓(xùn)練完成； 步驟二、建立疲勞模式分類器 ① 采集Ml名駕駛?cè)嗽谡ｑ{駛狀態(tài)下的駕駛行為數(shù)據(jù)，采集M2名駕駛?cè)嗽谄隈{駛狀 態(tài)下的駕駛行為數(shù)據(jù)，其中，Ml、M2均為自然數(shù)； ② 利用特征提取方法提取疲勞駕駛特征參數(shù)，采用統(tǒng)計(jì)分析的方法獲得正常駕駛和疲 勞駕駛的特征參數(shù)，確定駕駛?cè)艘暰€軌跡、巧眼頻率和PER化0S為疲勞駕駛特征參數(shù)； ③ 紅外攝像頭Π (15)跟蹤駕駛?cè)艘暰€軌跡，駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與識(shí)別出的交通 標(biāo)志牌位置不一致，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào)；駕駛?cè)搜劬Φ淖⒁朁c(diǎn)位置與 識(shí)別出的交通標(biāo)志牌位置一致，則記錄駕駛?cè)俗⒁曉搮^(qū)域的時(shí)間，時(shí)間不超過1秒，則發(fā)送 駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);時(shí)間超過1秒，則進(jìn)行下一步； ④ 紅外攝像頭Π (15)記錄駕駛?cè)说那裳垲l率和巧眼時(shí)間，設(shè)定巧眼頻率闊值范圍為2 秒/次~4秒/次，每次巧眼時(shí)間闊值范圍為0.25秒~0.3秒，記錄的駕駛?cè)耸乔裳垲l率或巧 眼時(shí)間不在給定的闊值范圍，則發(fā)送駕駛?cè)隋e(cuò)失道路交通標(biāo)志的信號(hào);記錄的駕駛?cè)耸乔?眼頻率和巧眼時(shí)間均在給定的闊值范圍，則進(jìn)行下一步； ⑤ 根據(jù)度量疲勞/磕睡的物理量陽R化OS， 對(duì)駕駛?cè)巳?00組正常駕駛狀態(tài)下的眼險(xiǎn)尺寸獲得駕駛?cè)俗笱垭U(xiǎn)平均尺寸Lelm和駕駛 人右眼險(xiǎn)平均尺寸Relm，單位時(shí)間內(nèi)眼睛閉合程度超過80%的次數(shù)np的計(jì)算公式為式中，LELj為第j帖圖像的左眼險(xiǎn)尺寸，RELj為第j帖圖像的右眼險(xiǎn)尺寸； 單位時(shí)間內(nèi)眼睛睜開程度小于20%所占的比例P80作為陽RCLOS的評(píng)價(jià)標(biāo)準(zhǔn)P80的計(jì)算公 式為式中，f 0為采樣頻率，Tp80為計(jì)算時(shí)窗大小； 度量疲勞/磕睡的物理量陽RCLOS的計(jì)算公式如下：設(shè)定眼睛閉合至80%及80% W上所占的時(shí)間闊值為30秒/分，紅外攝像頭Π (15)檢測(cè) 到單位時(shí)間內(nèi)眼睛閉合至80%及80% W上所占的時(shí)間，超過給定闊值，則發(fā)送駕駛?cè)隋e(cuò)失 道路交通標(biāo)志的信號(hào)； ⑥ 根據(jù)正常和疲勞狀態(tài)下的駕駛行為數(shù)據(jù)統(tǒng)計(jì)，建立疲勞駕駛條件下特征參數(shù)值的數(shù) 據(jù)庫，利用機(jī)器學(xué)習(xí)的方法構(gòu)建疲勞模式分類器； 步驟Ξ、構(gòu)建有無霧圖像分類器 A、建立道路圖像支持向量機(jī)SVM分類器 ① 紅外攝像頭采集X張紅外道路圖像和紅外非道路圖像，并將采集到的圖像傳輸?shù)接?無霧圖像分類模塊，其中包括Xi張紅外道路圖像和X2張紅外非道路圖像，X、Xl、X2均為自然 數(shù)，在有無霧圖像分類模塊中建立道路圖像分類器的圖像訓(xùn)練庫； ② 通過道路圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向量機(jī)SVM 分類器根據(jù)道路紋理獲得道路圖像特征，對(duì)道路圖像和非道路圖像分類，并獲得紅外道路 圖像特征，道路圖像支持向量機(jī)SVM分類器建立完成； B、建立有無霧圖像分類器 ① 紅外攝像頭采集Y張不同霧濃度的紅外有霧圖像和紅外無霧圖像，其中包括Yi張有霧 紅外圖像和Y2張無霧紅外圖像，Υ、Υ?、Υ2均為自然數(shù)，在有無霧圖像分類模塊中建立有無霧 圖像分類器的圖像訓(xùn)練庫； ② 通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練高斯混合模型GMM分類器，高斯混合 模型GMM分類器根據(jù)有霧圖像灰度值頻率特征，提取有霧圖像和無霧圖像的一維灰度直方 圖圖像特征，并根據(jù)圖像的直方圖對(duì)有霧圖像和無霧圖像進(jìn)行分類，有無霧圖像高斯混合 模型GMM分類器建立完成； ③ 通過有無霧圖像分類器的圖像訓(xùn)練庫離線訓(xùn)練支持向量機(jī)SVM分類器，支持向量機(jī) SVM分類器根據(jù)有霧圖像和無霧圖像的傅里葉變換頻率特征，對(duì)有霧圖像和無霧圖像進(jìn)行 分類，并提取有霧圖像和無霧圖像的傅里葉變換頻率特征，有無霧圖像支持向量機(jī)SVM分類 器建立完成； 將有無霧圖像高斯混合模型GMM分類器分類出的有霧圖像和有無霧圖像支持向量機(jī) SVM分類器分類出的有霧圖像取并集，得到有霧圖像樣本庫； 步驟四、建立圖像去霧模型 @大氣光學(xué)模型為1^)=1^)6-^+4(1-6^>叫，1(^)為分類后的有霧圖像^^)為去霧 之后的清晰圖像，A為全球大氣光成分，為大氣透射率值*，β為大氣消光系數(shù)，d為能見度 值； ② 取有霧道路圖像在紅綠藍(lán)RGBS通道圖像中的最小通道灰度圖像，然后再對(duì)獲取的 灰度圖像做最小值濾波，獲得有霧圖像暗通道:Jdafi ，/< )，其中，Jdatk是指J的暗 通道，/表示彩色圖像的每個(gè)通道，C為RGBS通道；Ω為有所有像素的整個(gè)圖像窗口，π]?>η為 整個(gè)圖像窗口所有像素中的最小值像素，m<in為整個(gè)圖像窗口每個(gè)像素 RGB^個(gè)通道分量的 最小像素值； ③ 從暗通道圖像中按照亮度大小取前0.1%的像素，然后在原始有霧圖中尋找對(duì)應(yīng)的 具有最高亮度的點(diǎn)的值，作為大氣光的成分值A(chǔ); ④ 處理大氣光學(xué)模型，形式如下：其中C為RGBS通道，對(duì)上式兩端求暗通道即對(duì)上式兩邊求兩次最小值運(yùn)算，再利用暗 通道灰度值接近零，因此，可推導(dǎo)出：其中t為大氣透射率值，由于霧的存在使人感到景深的存在，因此韋中引入一個(gè)[ο，1 ]之間的因子ω，獲得大氣透射率圖，⑤ 得到透射率圖的邊緣和紋理細(xì)節(jié)都有損失，采用中值濾波器對(duì)透射率圖進(jìn)行邊緣保 持的濾波器優(yōu)化，獲得細(xì)化透射率圖； ⑥ 設(shè)置闊值to,當(dāng)t值小于to時(shí)，令t = to，Wto = 0.1為標(biāo)準(zhǔn)，將處理后的Ξ通道圖像合 成，恢復(fù)出去霧后的清晰圖像J(x)，步驟五、構(gòu)建道路標(biāo)志識(shí)別預(yù)警策略 ① 紅外攝像頭I (3)采集實(shí)時(shí)圖像 在車輛行進(jìn)過程中，紅外攝像頭1(3)采集實(shí)時(shí)圖像，并將采集到的圖像依次輸入到有 無霧圖像分類器和圖像去霧模型，對(duì)有霧圖像進(jìn)行圖像去霧； ② 將去霧后的圖像或者實(shí)時(shí)無霧圖像輸入到道路交通標(biāo)志牌識(shí)別系統(tǒng)，將獲得的道路 交通標(biāo)志牌圖像作為輸入，傳輸?shù)綐?biāo)志牌字符識(shí)別模塊(9)，在標(biāo)志牌字符識(shí)別模塊(9)中 將道路交通標(biāo)志牌圖像進(jìn)行圖像分割預(yù)處理后，利用離線訓(xùn)練完成的神經(jīng)元網(wǎng)絡(luò)分類器進(jìn) 行字符識(shí)別；識(shí)別后的道路交通標(biāo)志信息，輸入預(yù)警模塊（11)并通過車載揚(yáng)聲器（14)發(fā)出 聲音警告并在車載顯示屏（12)上顯示該道路交通標(biāo)志信息； ③ 紅外攝像頭Π (15)采集駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、巧眼頻率和PER化OS輸入至疲 勞模式分類器，駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、巧眼頻率、PER化OS均在給定闊值范圍內(nèi)，貝U 不提供給駕駛員預(yù)警信息；駕駛?cè)艘暰€注視點(diǎn)、注視時(shí)間、巧眼頻率或PERCLOS不在給定闊 值范圍內(nèi)，則預(yù)警模塊（11)通過車載揚(yáng)聲器（14)發(fā)出聲音警告并在車載顯示屏上顯示該道 路交通標(biāo)志信息。3. 根據(jù)權(quán)利要求2所述的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征 是:所述步驟一中的N > 3000，Ni含1000，化> 2000。4. 根據(jù)權(quán)利要求2所述的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征 是:所述步驟一中的L含1000，Κ含2000。5. 根據(jù)權(quán)利要求2所述的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征 是:所述步驟二中的化含50，M2 > 50。6. 根據(jù)權(quán)利要求2所述的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征 是:所述步驟Ξ中的X > 3000，Xi含1000，Χ2含2000。7. 根據(jù)權(quán)利要求2所述的基于機(jī)器視覺霧天行車錯(cuò)失道路標(biāo)志牌的預(yù)警方法，其特征 是:所述步驟Ξ中的Y > 3000，Yi含1000，Y2 > 2000。
【文檔編號(hào)】G06T5/00GK105844257SQ201610218031
【公開日】2016年8月10日
【申請(qǐng)日】2016年4月11日
【發(fā)明人】金立生, 陳梅, 張豪翊, 王發(fā)繼, 劉輝, 程蕾, 楊誠, 李科勇, 高琳琳, 謝憲毅, 管信, 姬生遠(yuǎn), 徐俊, 鄭義, 張昊, 郭柏蒼, 岳欣羽
【申請(qǐng)人】吉林大學(xué)