專利名稱：一種車輛行人檢測跟蹤預(yù)警裝置及其預(yù)警方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種汽車輔助安全駕駛系統(tǒng)，尤其涉及一種基于單目紅外視頻的車輛行人檢測跟蹤預(yù)警裝置及其預(yù)警方法，可具體應(yīng)用于車載夜視、交通運(yùn)輸、視頻監(jiān)控和公共安全等領(lǐng)域的目標(biāo)檢測、跟蹤和測距。
背景技術(shù)：
隨著汽車市場的快速發(fā)展和安防意識的日益強(qiáng)化，人們對汽車安全保障技術(shù)的要求越來越高?，F(xiàn)有汽車照明系統(tǒng)在夜間、雪天或大霧等能見度較低情況下視距不遠(yuǎn)、效果不佳的弊病成為汽車行駛的安全隱患之一，另外在夜晚行車時，駕駛員通常會被對方車輛的燈光干擾出現(xiàn)盲區(qū)，也容易發(fā)生車禍。被動式紅外夜視系統(tǒng)根據(jù)不同溫度的物體發(fā)出的紅外光強(qiáng)度不同的原理進(jìn)行成像，物體的溫度越高，呈現(xiàn)出的圖像越亮，所以被動式紅外夜視系統(tǒng)可以在黑暗中幫助駕駛員導(dǎo)航，使駕駛員在有燈光和黑暗兩種情況下都能看清駕駛環(huán)境，通過被動式紅外夜視系統(tǒng)看到的車輛行人會比路面和樹木更明亮，所以司機(jī)能夠立即注意到前方的車輛和行人。另外駕駛員由于疲勞駕駛或者注意力分散等原因也會導(dǎo)致事故頻發(fā)。研究表明，駕駛員只要在碰撞危險前得到0.5秒預(yù)警時間，能避免60%的碰撞事故，若在1.5秒鐘前得到預(yù)警時間，則可以避免90%以上交通事故。因此，汽車配備一套智能防撞預(yù)警系統(tǒng)將能夠大幅降低道路事故的發(fā)生率，可能與前方車輛或者行人發(fā)生碰撞時，汽車可以進(jìn)行聲光報警，提示駕駛員危險物的方向以及危險程度，必要時駕駛員可以采取制動措施避免事故的發(fā)生，也可以通過汽車CAN總線，預(yù)警系統(tǒng)控制汽車自動實(shí)施制動。目前，車載紅外夜視儀已運(yùn)用于前裝市場的一些高端車型以及少部分的后裝市場，車前的紅外攝像頭將捕獲的紅外圖像直接在液晶顯示器上顯示。夜間行駛時，車輛駕駛者一邊要注視道路情況，還需不斷地觀看紅外圖像，從而綜合判斷是否有危險出現(xiàn)，這種方式增加了駕駛者的負(fù)擔(dān)，很容易造成誤判或者漏判，并不能有效地起到輔助駕駛的作用。對于已有的防撞預(yù)警系統(tǒng)，目前以色列Mobileye公司的基于單目可見光攝像頭的產(chǎn)品占據(jù)大部分的市場，但其在夜間使用時，由于只能探測可見光，所以觀測距離較近，限制了其在夜間的使用。目前市場上的FPGA芯片作為數(shù)據(jù)處理芯片具有強(qiáng)大的數(shù)字處理能力，F(xiàn)PGA靈活性強(qiáng)，并行處理能力強(qiáng)大，運(yùn)算性能優(yōu)異，由于能夠進(jìn)行編程、除錯、再編程和重復(fù)操作，因此可以方便地進(jìn)行設(shè)計開發(fā)和驗證，當(dāng)電路有少量改動時，更能顯示出FPGA的優(yōu)勢，滿足了紅外視頻數(shù)據(jù)量大、處理實(shí)時性要求高的需求，實(shí)現(xiàn)了數(shù)據(jù)快速采集與處理。目前市場上的ARM芯片作為控制器，集成了很多功能，具有強(qiáng)大的事務(wù)處理能力，借助于簡單的外圍就可以提供多樣化的工作，例如顯示、運(yùn)行界面及應(yīng)用程序等。在紅外成像系統(tǒng)集成上，為進(jìn)一步提高紅外成像的實(shí)用性與易用性，紅外圖像處理技術(shù)已成為紅外成像領(lǐng)域與圖像處理領(lǐng)域的 研究熱點(diǎn)，對應(yīng)的運(yùn)行平臺也從上位機(jī)發(fā)展到嵌入式平臺，并成為一種趨勢。已報道的紅外圖像處理嵌入式平臺結(jié)構(gòu)主要有以下兩種:(I)基于ARM硬件架構(gòu)的紅外圖像處理裝置，圖像數(shù)據(jù)的采集、處理以及界面運(yùn)行等都在ARM上完成；(2)基于FPGA硬件架構(gòu)的紅外圖像處理裝置，圖像數(shù)據(jù)的采集、處理以及界面運(yùn)行等都在FPGA上完成。由于ARM數(shù)據(jù)處理能力較弱，而視頻處理算法包含大量的數(shù)據(jù)計算，若單獨(dú)使用ARM芯片來完成視頻數(shù)據(jù)處理，無法保證視頻處理的實(shí)時性。當(dāng)視頻清晰度較高，數(shù)據(jù)量較大時，ARM芯片將無法完成數(shù)據(jù)的處理任務(wù)；FPGA芯片可以實(shí)現(xiàn)大量數(shù)據(jù)的高速處理任務(wù)，但FPGA開發(fā)難度高，算法移植復(fù)雜，很難將上位機(jī)程序移植到FPGA中實(shí)現(xiàn)界面顯示等功能。

發(fā)明內(nèi)容
有鑒于此，有必要提供一種車輛行人檢測跟蹤預(yù)警裝置及其預(yù)警方法，其目的在于在紅外夜視的基礎(chǔ)上，開發(fā)一種帶有目標(biāo)檢測、跟蹤、測距和碰撞預(yù)警提示功能的車載紅外夜視儀，將能夠提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產(chǎn)損失，本發(fā)明應(yīng)用于安裝有被動式單目紅外攝像機(jī)的車輛中，對本車輛外的其他車輛與行人進(jìn)行檢測并跟蹤測距，計算與其他車輛或行人的距離，并發(fā)出預(yù)警，因而，具有對紅外圖像進(jìn)行一定的算法處理，可以檢測出危險目標(biāo)，并及時地發(fā)出報警提示，則可以大大減輕駕駛者的負(fù)擔(dān)。本發(fā)明是這樣實(shí)現(xiàn)的，一種車輛行人檢測跟蹤預(yù)警裝置，其應(yīng)用于安裝有被動式單目紅外攝像機(jī)的車輛中，對本車輛外的其他車輛與行人進(jìn)行檢測并跟蹤測距，計算與其他車輛或行人的距離，并發(fā)出預(yù)警，該車輛行人檢測跟蹤預(yù)警裝置包括:圖像預(yù)處理模塊，其用于對從該紅外攝像機(jī)獲取的紅外視頻進(jìn)行預(yù)處理:通過濾波方法濾除噪聲，再運(yùn)用自適應(yīng)直方圖均衡化的方法增強(qiáng)圖像對比度；檢測模塊，其用于對該視頻中的其他車輛或行人進(jìn)行檢測與定位，檢測出目標(biāo)車輛或目標(biāo)行人； 跟蹤模塊，其用于對目標(biāo)車輛或目標(biāo)行人進(jìn)行預(yù)測跟蹤，進(jìn)一步跟蹤確認(rèn)；

測距模塊，其用于計算出經(jīng)跟蹤確認(rèn)的目標(biāo)車輛或目標(biāo)行人的距離，該距離滿足
d =_h_
1、 "其中，d為本車輛與目標(biāo)車輛或目標(biāo)行人的距離；f是該紅外攝像機(jī)的有效焦距；α是該紅外攝像機(jī)的俯仰角；h是該紅外攝像機(jī)的鏡頭到路面的高度；(X(l，y0)是該鏡頭的光軸與像平面的交點(diǎn)，為像平面坐標(biāo)系的原點(diǎn)；(X，Y)為P點(diǎn)在像平面上的投影坐標(biāo)，該P(yáng)點(diǎn)取自經(jīng)跟蹤確認(rèn)的目標(biāo)車輛或目標(biāo)行人，作為與本車輛的距離d的參考點(diǎn)；判斷模塊，其用于判斷該距離d是否小于一預(yù)定碰撞距離；顯示及預(yù)警模塊，其用于在該距離d小于該預(yù)定碰撞距離時，啟動聲音報警，并啟動顯示報警。作為上述方案的進(jìn)一步改進(jìn)，根據(jù)紅外視頻的特點(diǎn)，即車輛與行人的溫度相對較高，該檢測模塊用于采用邊緣檢測及特征識別的辦法，檢測出目標(biāo)車輛與目標(biāo)行人并進(jìn)行定位。作為上述方案的進(jìn)一步改進(jìn)，該跟蹤模塊用于采用Kalman濾波法結(jié)合MeanShift法，建立車輛、行人跟蹤模型，并在跟蹤過程中更新目標(biāo)模型參數(shù)，濾除本車輛在振動過程中帶來的影響，并過濾部分虛目標(biāo)。作為上述方案的進(jìn)一步改進(jìn)，該顯示及預(yù)警模塊還用于根據(jù)不同的距離d分區(qū)段采用不同的對應(yīng)聲光報警方式，使得報警聲音的頻率及強(qiáng)弱以及顯示報警的圖標(biāo)隨著距離d的變化而分區(qū)段變化。作為上述方案的進(jìn)一步改進(jìn)，該車輛行人檢測跟蹤預(yù)警裝置還包括:測時模塊，其用于根據(jù)目標(biāo)車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
權(quán)利要求
1.一種車輛行人檢測跟蹤預(yù)警裝置，其應(yīng)用于安裝有被動式單目紅外攝像機(jī)的車輛中，對本車輛外的其他車輛與行人進(jìn)行檢測并跟蹤測距，計算與其他車輛或行人的距離，并發(fā)出預(yù)警，其特征在于，該車輛行人檢測跟蹤預(yù)警裝置包括: 圖像預(yù)處理模塊，其用于對從該紅外攝像機(jī)獲取的紅外視頻進(jìn)行預(yù)處理:通過濾波方法濾除噪聲，再運(yùn)用自適應(yīng)直方圖均衡化的方法增強(qiáng)圖像對比度； 檢測模塊，其用于對該視頻中的其他車輛或行人進(jìn)行檢測與定位，檢測出目標(biāo)車輛或目標(biāo)行人； 跟蹤模塊，其用于對目標(biāo)車輛或目標(biāo)行人進(jìn)行預(yù)測跟蹤，進(jìn)一步跟蹤確認(rèn)； 測距模塊，其用于計算出經(jīng)跟蹤確認(rèn)的目標(biāo)車輛或目標(biāo)行人的距離，該距離滿足以下
2.如權(quán)利要求1所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，根據(jù)紅外視頻的特點(diǎn)，即車輛與行人的溫度相對較高，該檢測模塊用于采用邊緣檢測及特征識別的辦法，檢測出目標(biāo)車輛與目標(biāo)行人并進(jìn)行定位。
3.如權(quán)利要求1所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該跟蹤模塊用于采用Kalman濾波法結(jié)合Mean Shift法，建立車輛、行人跟蹤模型，并在跟蹤過程中更新目標(biāo)模型參數(shù)，濾除本車輛在振動過程中帶來的影響，并過濾部分虛目標(biāo)。
4.如權(quán)利要求1所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該顯示及預(yù)警模塊還用于根據(jù)不同的距離d分區(qū)段采用不同的對應(yīng)聲光報警方式，使得報警聲音的頻率及強(qiáng)弱以及顯示報警的圖標(biāo)隨著距離d的變化而分區(qū)段變化。
5.如權(quán)利要求1所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該車輛行人檢測跟蹤預(yù)警裝置還包括:測時模塊，其用于根據(jù)目標(biāo)車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:...Al 其中，Tm為瞬時碰撞時間；At為瞬時碰撞時間Tm與當(dāng)前時間兩個時刻之間的間隔；S為兩個時刻視頻中目標(biāo)車輛或行人尺寸的比例變化，目標(biāo)車輛或行人靠近時，S>1 ； 該判斷模塊，其用于判斷瞬時碰撞時間Tm是否小于一預(yù)警時間； 顯示及預(yù)警模塊，其用于在瞬時碰撞時間Tm小于該預(yù)警時間時，啟動聲音報警，并啟動顯示報警。
6.如權(quán)利要求5所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該顯示及預(yù)警模塊還用于根據(jù)不同的瞬時碰撞時間Tm分區(qū)段采用不同的對應(yīng)聲光報警方式，使得報警聲音的頻率及強(qiáng)弱以及顯示報警的圖標(biāo)隨著瞬時碰撞時間Tm的變化而分區(qū)段變化。
7.如權(quán)利要求5所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該車輛行人檢測跟蹤預(yù)警裝置還包括:修正模塊，其用于對瞬時碰撞時間^進(jìn)行加速度修正，獲得滿足以下公式的修正碰撞時間:
8.如權(quán)利要求7所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該顯示及預(yù)警模塊還用于根據(jù)不同的修正碰撞時間T分區(qū)段米用不同的對應(yīng)聲光報警方式,使得報警聲音的頻率及強(qiáng)弱以及顯示報警的圖標(biāo)隨著修正碰撞時間T的變化而分區(qū)段變化。
9.如權(quán)利要求7所述的車輛行人檢測跟蹤預(yù)警裝置，其特征在于，該車輛行人檢測跟蹤預(yù)警裝置還包括:制動命令形成模塊，其用于在距離d小于一預(yù)定的最低碰撞距離或修正碰撞時間T小于一預(yù)定的最小碰撞預(yù)警時間時，形成制動命令，該制動命令用于通過本車輛的CAN總線對本車輛實(shí)施制動。
10.一種車輛行人檢測跟蹤預(yù)警方法，其應(yīng)用于安裝有被動式單目紅外攝像機(jī)的車輛中，對本車輛外的其他車輛與行人進(jìn)行檢測并跟蹤測距，計算與其他車輛或行人的距離，并發(fā)出預(yù)警，其特征在于，該車輛行人檢測跟蹤預(yù)警方法包括以下步驟: 對從該紅外攝像機(jī)獲取的紅外視頻進(jìn)行預(yù)處理:通過濾波方法濾除噪聲，再運(yùn)用自適應(yīng)直方圖均衡化的方法增強(qiáng)圖像對比度； 對該視頻中的其他車輛或行人進(jìn)行檢測與定位，檢測出目標(biāo)車輛或目標(biāo)行人:根據(jù)紅外視頻的特點(diǎn)，即車輛與行人的溫度相對較高，采用邊緣檢測及特征識別的辦法，檢測出目標(biāo)車輛與目標(biāo)行人并進(jìn)行定位； 對目標(biāo)車輛或目標(biāo)行人進(jìn)行預(yù)測跟蹤，進(jìn)一步跟蹤確認(rèn):采用Kalman濾波法結(jié)合MeanShift法，建立車輛、行人跟蹤模型，并在跟蹤過程中更新目標(biāo)模型參數(shù)，濾除本車輛在振動過程中帶來的影響，并過濾部分虛目標(biāo)； 計算出經(jīng)跟蹤確認(rèn)的目標(biāo)車輛或目標(biāo)行人的距離，該距離滿足以下公式:
11.如權(quán)利要求10所述的車輛行人檢測跟蹤預(yù)警方法，其特征在于，該車輛行人檢測跟蹤預(yù)警方法還包括以下步驟: 根據(jù)目標(biāo)車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
12.如權(quán)利要求11所述的車輛行人檢測跟蹤預(yù)警方法，其特征在于，該車輛行人檢測跟蹤預(yù)警方法還包括以下步驟: 對瞬時碰撞時間Tm進(jìn)行加速度修正，獲得滿足以下公式的修正碰撞時間:
13.如權(quán)利要求12所述的車輛行人檢測跟蹤預(yù)警方法，其特征在于，該車輛行人檢測跟蹤預(yù)警方法還包括以下步驟:根據(jù)不同的修正碰撞時間T分區(qū)段采用不同的對應(yīng)聲光報警方式，使得報警聲音的頻率及強(qiáng)弱以及顯示報警的圖標(biāo)隨著修正碰撞時間T的變化而分區(qū)段變化。
全文摘要
本發(fā)明公開了一種車輛行人檢測跟蹤預(yù)警裝置及其預(yù)警方法，該預(yù)警裝置首先通過圖像預(yù)處理模塊對紅外攝像機(jī)獲取的紅外視頻進(jìn)行預(yù)處理，然后經(jīng)過檢測模塊對車輛行人進(jìn)行檢測，經(jīng)過跟蹤模塊對車輛行人進(jìn)行預(yù)測跟蹤，排除車輛振動干擾影響及虛目標(biāo)，經(jīng)過測距模塊根據(jù)世界坐標(biāo)與圖像坐標(biāo)之間的對應(yīng)關(guān)系，計算各個目標(biāo)與紅外攝像機(jī)之間的距離，通過判斷模塊判斷預(yù)警標(biāo)準(zhǔn)，最后將帶有目標(biāo)標(biāo)識及距離信息的紅外視頻在顯示器中顯示。本發(fā)明的優(yōu)點(diǎn)在于提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產(chǎn)損失。本發(fā)明還公開了上述預(yù)警裝置的車輛行人檢測跟蹤預(yù)警方法。
文檔編號B60Q9/00GK103204123SQ20131009645
公開日2013年7月17日 申請日期2013年3月25日 優(yōu)先權(quán)日2013年3月25日
發(fā)明者谷永先, 胡國俊, 張加波, 蘭欣, 夏登明 申請人:中國電子科技集團(tuán)公司第三十八研究所, 合肥公共安全技術(shù)研究院