本發(fā)明涉及車輛控制領域，尤其涉及一種基于車載前視相機的限速提示及超速告警方法。

背景技術：

限速提示與超速預警是adas系統(tǒng)(基于視頻傳感器的行車安全輔助系統(tǒng))的重要組成功能之一。超速行駛是道路交通事故的主要原因之一，駕駛員有意或無意的超速行駛行為對道路交通安全產(chǎn)生潛在的事故隱患。及時有效地向駕駛員發(fā)出道路限速以及超速預警信號能夠有效地降低由于車速過快產(chǎn)生的交通事故的發(fā)生概率?，F(xiàn)有的此類系統(tǒng)大多基于gps以及地圖信息，在城市某些工況(如高架等)gps信號不準確的情況下，會出現(xiàn)限速提示錯誤或滯后的情況，影響駕駛員對車輛的操控，不利于車輛的正常、安全行駛。

技術實現(xiàn)要素：

本發(fā)明為了解決上述技術問題，提供一種基于車載前視相機的限速提示及超速告警方法，其利用車載前視相機，采用檢測與跟蹤相結合的方法，并且結合車輛運動狀態(tài)，最終實時獲得車輛所通過道路上的道路限速數(shù)值，作出限速提示和超速告警，限速檢測準確性高，有效提高限速提示及超速告警的實時性和準確性，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

本發(fā)明另一目的是提供一種基于車載前視相機的限速提示及超速告警方法，其既能發(fā)出限速提示信號，又能根據(jù)超速情況發(fā)出緊急與非緊急的超速告警信號，實現(xiàn)分級超速告警。限速提示能夠使駕駛員充分了解當前道路的限速情況，不至于行駛過慢(阻礙交通)或過快。分級超速告警信號具有梯度性，不會使駕駛員感受特別突然，從而確保駕駛員能做出比較平緩的減速操作，提高行車安全性。

本發(fā)明的上述技術問題主要是通過下述技術方案得以解決的：本發(fā)明一種基于車載前視相機的限速提示及超速告警方法，包括如下步驟：

①在線道路限速標識檢測；

②道路限速標識跟蹤；

③道路限速標識分類，確定道路限速數(shù)值；

④發(fā)出限速提示信號；

⑤發(fā)出超速告警信號。

在線道路限速標識檢測：在圖像感興趣區(qū)域(roi)范圍內(nèi)，提取道路限速標識特征算子，多尺度滑窗搜索道路限速標識。限速標識檢測還可通過圓形邊緣輪廓或基于acf特征的分類器等方法實現(xiàn)。道路限速標識跟蹤：對檢測到的道路限速標識候選區(qū)域，提取角點特征，并利用lk光流算法，基于相似性投影變換假設，對所提取角點進行跟蹤；將跟蹤結果與后續(xù)檢測結果位置計算重合度，以確認檢測準確性。道路限速標識分類：對于確認道路限速標識圖像區(qū)域，進行道路限速標識分類，確定道路限速數(shù)值。限速標識分類還可通過最近鄰等機器學習方法實現(xiàn)。發(fā)出限速提示信號及超速告警信號：結合車輛運動信息，通過道路限速標識從圖像中消失的位置，確定車輛通過某道路限速標識的時刻，發(fā)出限速提示信號，結合車輛實際車速信息，確定是否發(fā)出超速告警信號。本技術方案限速檢測準確性高，有效提高限速提示及超速告警的實時性和準確性，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

作為優(yōu)選，所述的步驟①前有步驟a：離線訓練道路限速標識檢測算法；所述的步驟②和步驟③之間有步驟b和步驟c；步驟b：對道路限速標識檢測進行可信度評分；步驟c：離線訓練道路限速標識分類算法。

作為優(yōu)選，所述的步驟a為：利用級聯(lián)haar特征的boosting分類器，訓練道路限速標識檢測算法?？刹捎迷囼炣囕v所采集的各類道路限速標識正樣本圖像12000張、負樣本圖像20000張進行離線訓練。利用難例挖掘和主動學習等方法提升訓練效果。分類器級聯(lián)層數(shù)為可配置參數(shù)。

作為優(yōu)選，所述的步驟①為：在車載前視相機的圖像感興趣區(qū)域范圍內(nèi)，提取道路限速標識特征算子，利用步驟a中訓練好的檢測分類器，多尺度滑窗搜索道路限速標識。roi區(qū)域(圖像感興趣區(qū)域)范圍以及相機的圖像檢測窗口大小為可配置參數(shù)，應根據(jù)不同的相機安裝參數(shù)進行調整。

作為優(yōu)選，所述的步驟②為：對檢測到的道路限速標識候選區(qū)域提取角點特征(corner)，可選用fast或shi-tomasi角點，利用lucas-kanade光流方法計算角點特征的運動信息，并且更新角點特征位置，根據(jù)相鄰兩幀角點特征跟蹤結果，基于區(qū)域相似性假設(即假設車輛跟蹤區(qū)域只有尺度變化和圖像平面內(nèi)的平移)，利用ransac方法計算被檢測道路限速標識的投影變換矩陣，更新道路限速標識位置。多尺度限速標識檢測與多幀跟蹤驗證策略能夠有效提升道路標識檢測的準確性，并且不會引入過多的運算與內(nèi)存使用。

作為優(yōu)選，所述的步驟b為：對于首次檢測到的障礙物，可信度賦默認初始值；若上幀道路限速標識跟蹤結果與本幀道路限速標識檢測結果的道路限速標識位置重合度iou大于一設定閾值iou0，則道路限速標識檢測的可信度評分s＝s×k1；若上幀道路限速標識跟蹤結果與本幀道路限速標識檢測結果的道路限速標識位置重合度iou小于設定閾值iou0，則道路限速標識檢測的可信度評分s＝s×k2；其中k1、k2均為可配置參數(shù)，k1大于1，k2小于1；k1的默認值為1.2，k2的默認值為0.8；

所述的步驟c為：定義深度神經(jīng)網(wǎng)絡結構(cnn)，采集各類道路限速標識訓練樣本，訓練過程采用基于mini-batch迷你批量方式的梯度下降方法：即每個循環(huán)內(nèi)，基于反向遞推(bp)的方法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡權重參數(shù)，直至設定的循環(huán)迭代次數(shù)完成；softmax損失計算公式為：

其中，zj為輸出向量的每個元素。

用戶可設置參數(shù)有：迷你批量樣本大小n(可取用最大值由內(nèi)存上限決定)、學習速率lr(決定收斂速率)、權重衰退系數(shù)wd(防止過擬合)以及動量系數(shù)m(可加快學習速率)。

作為優(yōu)選，所述的步驟③為：利用步驟c中訓練的分類器，對道路限速標識檢測的可信度評分s大于設定閾值s0(s0為可配置參數(shù))的檢測區(qū)域進行道路限速標識分類，若連續(xù)n幀(n為可配置參數(shù))分類結果吻合，則確認該分類結果為道路限速數(shù)值?；谏疃葘W習(cnn)的分類方法相比于其他機器學習方法(如最近鄰等)能夠大幅提升道路限速標識分類的準確性。

作為優(yōu)選，所述的步驟④為：若某一道路限速標識從圖像特定區(qū)域劃出(該特定區(qū)域由實際相機安裝參數(shù)與測試統(tǒng)計結果獲得)，則用步驟③中獲得的道路限速數(shù)值作為當前道路限速提示信息，發(fā)出視覺提示信號作為限速提示信號；若道路限速數(shù)值更改則輔助增加聽覺提示信號。限速提示信息策略考慮車輛運動信息(標識從相機視角中消失的位置)，避免城市道路轉彎等工況造成的誤提示。視覺提示信號，指眼睛能看到的信號，如通過顯示屏、儀表盤進行顯示。當檢測到的道路限速數(shù)值一直一致時，只有視覺提示信號；當檢測到的道路限速數(shù)值和前一時刻檢測到的道路限速數(shù)值不相同時，即道路限速數(shù)值發(fā)生變化時，則既有視覺提示信號又有聽覺提示信號，以引起駕駛員的注意。限速提示能夠使駕駛員充分了解當前道路的限速情況，不至于行駛過慢而阻礙交通，也不至于行駛過快而發(fā)生危險。當然，限速提示、超速告警還可以采用振動信號等其他告警信號。

作為優(yōu)選，所述的步驟⑤為：根據(jù)獲得的道路限速數(shù)值v0和車輛的實際車速v，計算超速比例(v-v0)/v0，根據(jù)超速比例的大小，進行超速的分級報警。根據(jù)超速的嚴重程度發(fā)出緊急、非緊急的超速告警信號，實現(xiàn)分級超速告警。車輛的實際車速通過車輛can總線獲得。分級超速告警信號具有梯度性，不會使駕駛員感受特別突然，從而確保駕駛員能做出比較平緩的減速操作，提高行車安全性。

作為優(yōu)選，所述的步驟⑤中，若超速比例小于0，則不發(fā)出超速告警信號；若超速比例大于0且小于10％，則發(fā)出一級超速告警信號；若超速比例大于10％且小于20％，則發(fā)出二級超速告警信號；若超速比例大于20％，則發(fā)出三級超速告警信號；超速告警信號包含視覺告警信號與聽覺告警信號，并且超速告警信號的級別越大則視覺告警信號及聽覺告警信號的頻率越大。當然要確保限速提示信號及各級超速告警信號有很高的區(qū)分度，避免混淆。超速告警信號等級還可按其他方式劃分，如等級數(shù)可以不分為三級，或者可以依據(jù)超速絕對值劃分超速等級等等。

本發(fā)明的有益效果是：利用車載前視相機檢測并識別當前車輛行駛道路的道路限速標識，并結合車輛can總線中車速信息發(fā)出分級預警信號，采用檢測與跟蹤相結合的方法確認相機視角感興趣區(qū)域內(nèi)的道路限速標識位置，通過深度神經(jīng)網(wǎng)絡進一步確認道路限速標識的種類，最終通過該標識從相機視角中消失的位置，確定車輛是否通過該限速點，并確定道路限速數(shù)值，作出限速提示，并依據(jù)當前實際車速發(fā)出分級超速告警信號。本發(fā)明限速檢測準確性高，有效提高限速提示及超速告警的實時性和準確性，采用分級超速告警信號，不會使駕駛員感受特別突然，從而確保駕駛員能做出比較平緩的減速操作，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

附圖說明

圖1是本發(fā)明的一種算法流程總圖。

圖2是本發(fā)明中車載前視相機檢測道路限速標識的圖像感興趣區(qū)域的一種示意圖。

圖中1.道路，2.車載前視相機的圖像感興趣區(qū)域。

具體實施方式

下面通過實施例，并結合附圖，對本發(fā)明的技術方案作進一步具體的說明。

實施例：本實施例的一種基于車載前視相機的限速提示及超速告警方法，車載前視相機與車輛車速為本方法的輸入，道路限速提示信號與超速告警信號為本方法的輸出。在車輛中該功能默認為開啟狀態(tài)，使用者可自行關閉此功能。算法流程總圖如圖1所示，包括如下步驟：

①離線訓練道路限速標識檢測算法：利用級聯(lián)haar特征的boosting分類器，訓練道路限速標識檢測算法。每一級弱分類器的訓練過程為：初始化訓練數(shù)據(jù)的權值分布(每個樣本賦予同樣的權值系數(shù))，訓練過程中，若該樣本被準確的分類，則降低該樣本的權重系數(shù)；反之，則提高相應權重系數(shù)。反復迭代上述過程，產(chǎn)生若干弱分類器級。最后級聯(lián)各弱分類器生成最終強分類器(增大誤差率小的弱分類器權重系數(shù)，減小誤差率大的弱分類器權重系數(shù))。采用試驗車輛所采集的各類道路限速標識正樣本圖像12000張及負樣本圖像20000張進行離線訓練，利用難例挖掘(是指手動將分類器難以識別的誤檢經(jīng)過篩檢重新加入訓練樣本中進行訓練)和主動學習(是指先利用網(wǎng)絡收集的相關訓練數(shù)據(jù)預訓練一個級聯(lián)分類器，利用此分類器對的我們相機設備所采集的樣本進行粗略檢測，根據(jù)檢測結果人工篩選正負樣本，重新訓練分類器)等方法提升訓練效果。

②在線道路限速標識檢測：如圖2所示，為車載前視相機所拍攝到的圖像，車輛行駛在道路1上，在車載前視相機的圖像感興趣區(qū)域2范圍內(nèi)，提取道路限速標識特征算子，利用步驟①中訓練好的檢測分類器，多尺度滑窗搜索道路限速標識。

③道路限速標識跟蹤：對檢測到的道路限速標識候選區(qū)域提取角點特征(corner)，可選用fast或shi-tomasi角點，利用lucas-kanade光流方法計算角點特征的運動信息，并且更新角點特征位置，根據(jù)相鄰兩幀角點特征跟蹤結果，基于區(qū)域相似性假設(即假設車輛跟蹤區(qū)域只有尺度變化和圖像平面內(nèi)的平移)，利用ransac方法計算被檢測道路限速標識的投影變換矩陣，更新道路限速標識位置。

fast：采用機器學習的方法，按如下標準定義特征點：對于某像素點p，以其為中心的16個像素點，若其中有n個連續(xù)的像素點亮度值均大于p點亮度加上某閾值t(或小于p點亮度減去某閾值t)，則p為特征點；可設置參數(shù)為像素點數(shù)n，亮度閾值t以及是否使用非極大值抑制(non-maximumsuppression)。此特征點檢測是公認的比較快速的特征點檢測方法，只利用周圍像素比較的信息就可以得到特征點，簡單，有效。該方法多用于角點檢測。

lucas-kanade光流方法：利用高斯下采樣計算n層圖像金字塔(n默認為3)，從頂層金字塔自上而下對于每層金字塔i，初始化光流向量li(利用上一層光流計算結果，頂層以(0，0)初始化)，計算圖像x，y方向一階導數(shù)，對輸入的角點計算其周圍m*m區(qū)域內(nèi)相鄰時刻的亮度均方差(m默認為7)，若各層圖像金字塔中，沿梯度下降方向迭代更新光流向量li至該角點相鄰時刻對應的圖像均方差均小于某一特定閾值kp，確定該層金字塔的光流向量為li；如若干循環(huán)后，仍無法滿足閾值條件，則摒棄該點光流向量。

基于ransac的相似性投影矩陣計算過程如下：通過m個循環(huán)，每個循環(huán)隨機選取2個匹配角點，計算2*3的投影矩陣，對剩余角點按該矩陣匹配結果進行打分，像素點匹配距離小于某閾值m，則視為正確匹配，選取打分最高的投影矩陣，利用其對應的所有正確匹配特征角點對，重新計算得到最終投影矩陣；中循環(huán)數(shù)m與距離閾值m均為預設值。

④對道路限速標識檢測進行可信度評分：對于首次檢測到的障礙物，可信度賦默認初始值；若上幀道路限速標識跟蹤結果與本幀道路限速標識檢測結果的道路限速標識位置重合度iou大于一設定閾值iou0(如iou0＝0.5)，則道路限速標識檢測的可信度評分s＝s×k1；若上幀道路限速標識跟蹤結果與本幀道路限速標識檢測結果的道路限速標識位置重合度iou小于設定閾值iou0，則道路限速標識檢測的可信度評分s＝s×k2；其中k1、k2均為可配置參數(shù)，k1大于1，k2小于1；k1的默認值為1.2，k2的默認值為0.8。

⑤離線訓練道路限速標識分類算法：定義深度神經(jīng)網(wǎng)絡結構，采集各類道路限速標識訓練樣本，對訓練樣本進行鏡像、拉伸、縮放等運算，以增大訓練樣本數(shù)量，訓練過程采用基于mini-batch迷你批量方式的梯度下降方法：即每個循環(huán)內(nèi)，基于反向遞推(bp)的方法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡權重參數(shù)，直至設定的循環(huán)迭代次數(shù)完成；softmax損失計算公式為：

其中，zj為輸出向量的每個元素。

用戶可設置參數(shù)有：迷你批量樣本大小n(可取用最大值由內(nèi)存上限決定)、學習速率lr(決定收斂速率)、權重衰退系數(shù)wd(防止過擬合)以及動量系數(shù)m(可加快學習速率)。

⑥道路限速標識分類：利用步驟⑤中訓練的分類器，對道路限速標識檢測的可信度評分s大于設定閾值s0(s0為可配置參數(shù)，如s0＝1.0)的檢測區(qū)域進行道路限速標識分類，若連續(xù)n幀(n為可配置參數(shù)，如n＝3)分類結果吻合，則確認該分類結果為道路限速數(shù)值。

⑦發(fā)出限速提示信號：若某一道路限速標識從圖像特定區(qū)域劃出(該特定區(qū)域由實際相機安裝參數(shù)與測試統(tǒng)計結果獲得)，則用步驟⑥中獲得的道路限速數(shù)值作為當前道路限速提示信息，發(fā)出視覺提示信號作為限速提示信號；若道路限速數(shù)值更改則輔助增加聽覺提示信號。

⑧發(fā)出超速告警信號：根據(jù)獲得的道路限速數(shù)值v0和車輛的實際車速v，計算超速比例(v-v0)/v0，根據(jù)超速比例的大小，進行超速的分級報警。若超速比例小于0，則不發(fā)出超速告警信號；若超速比例大于0且小于等于10％，則發(fā)出一級超速告警信號；若超速比例大于10％且小于等于20％，則發(fā)出二級超速告警信號；若超速比例大于20％，則發(fā)出三級超速告警信號。超速告警信號包含視覺告警信號與聽覺告警信號，并且超速告警信號的級別越大則視覺告警信號及聽覺告警信號的頻率越大。

本發(fā)明利用車載前視相機檢測并識別當前車輛行駛道路的道路限速標識，并結合車輛can總線中車速信息發(fā)出分級預警信號，采用檢測與跟蹤相結合的方法確認相機視角感興趣區(qū)域內(nèi)的道路限速標識位置，通過深度神經(jīng)網(wǎng)絡進一步確認道路限速標識的種類，最終通過該標識從相機視角中消失的位置，確定車輛是否通過該限速點，并確定道路限速數(shù)值，作出限速提示，并依據(jù)當前實際車速發(fā)出分級超速告警信號。本發(fā)明限速檢測準確性高，有效提高限速提示及超速告警的實時性和準確性，采用分級超速告警信號，不會使駕駛員感受特別突然，從而確保駕駛員能做出比較平緩的減速操作，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。