基于毫米波雷達和機器視覺的夜間前方車輛檢測方法
【技術領域】
[0001] 本發(fā)明屬于車輛控制領域，特別涉及一種夜間前方車輛檢測方法。
【背景技術】
[0002] 車輛智能防撞預警已成為當前國際智能交通系統(tǒng)研宄的熱點，其中前方車輛的檢 測又是最主要的內容，實時地進行前方車輛檢測與識別，可以有效地防止追尾碰撞等惡性 交通事故的發(fā)生。
[0003] 目前，國內外已經(jīng)有了多種前方車輛檢測方法：基于視覺（單目視覺、立體視覺）、 基于多傳感器融合（聲納傳感器、激光傳感器）等；如天津工業(yè)大學申請的專利"一種基于 單目視覺的前方車輛檢測方法"（【申請?zhí)枴?01210143389.6);東南大學申請的專利"基于雙 目視覺的車距測量方法"（【申請?zhí)枴?00710025166. 9);豐田自動車株式會社申請的專利"車 載設備、前方車輛位置確定設備以及前方車輛位置確定方法"（【申請?zhí)枴?01180018795. 3)。
[0004] 其中基于單目視覺的車輛檢測方法對目標的深度信息測量精度不高，難以確定目 標物體的位置；基于立體視覺的車輛檢測方法對攝像機的標定容易出現(xiàn)漂移，且存在算法 復雜、精度差、適應范圍小等缺點；基于視覺和激光傳感器的車輛檢測方法不適合高速行 駛的車輛檢測，此外，激光傳感器受障礙物及其表面光滑度影響較大，對燈光等干擾非常敏 感，不適合應用到復雜道路環(huán)境；基于視覺與聲納傳感器的車輛檢測方法作用距離短，且聲 納傳感器角度分辨率差、測量精度不高。
[0005] 由于夜間的光照條件復雜，對車輛檢測算法的精準度、實時性、魯棒性要求更高， 然而目前現(xiàn)有的夜間前方車輛檢測方法主要是基于單目視覺，因此，本領域亟需一種新的 技術將有效的多傳感器進行數(shù)據(jù)融合，實現(xiàn)前方車輛的檢測和準確定位。

【發(fā)明內容】

[0006] 本發(fā)明所要解決的技術問題：針對現(xiàn)有技術的不足和缺陷，本發(fā)明提供一種融合 毫米波雷達和機器視覺、實時性高、準確性高的夜間前方車輛檢測方法。
[0007] 本發(fā)明是這樣設計的：
[0008] 基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特征在于：包括下述步 驟，
[0009] 步驟1、進行攝像機標定，得到世界坐標到圖像像素坐標的投影矩陣，建立雷達坐 標系和世界坐標系之間的轉換關系，將雷達坐標轉換成圖像像素坐標；
[0010] 步驟2、解算接收到的毫米波雷達數(shù)據(jù)，并通過數(shù)據(jù)處理排除虛假目標確定有效目 標，同步進行攝像機圖像的采集；
[0011] 步驟3、把世界坐標系下的雷達掃描點投影到圖像像素坐標系，根據(jù)投影點在圖像 上建立感興趣區(qū)域ROI ;
[0012] 步驟4、基于圖像處理方法檢驗感興趣區(qū)域內是否存在車輛。
[0013] 所述的步驟1中的將雷達坐標轉換成圖像像素坐標包括下述具體步驟，
[0014] 步驟I. 1、使攝像機的光軸與地面平行；
[0015] 步驟1. 2、使用于標定的棋盤與雷達反射面在同一平面，且位于雷達正上方與地平 面垂直，棋盤的左上角點與雷達反射面中心點連線垂直于地平面，確定棋盤左上角點距離 安裝位置的高度Y tl，高度單位為mm ;
[0016] 步驟1. 3、將世界坐標系中點的坐標（Xw，Yw，Zw)變換到攝像機坐標（X。，Y。，Z。)，變 換公式如下：
[0017]
【主權項】
1. 基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特征在于：包括下述步 驟， 步驟1、進行攝像機標定，得到世界坐標到圖像像素坐標的投影矩陣，建立雷達坐標系 和世界坐標系之間的轉換關系，將雷達坐標轉換成圖像像素坐標； 步驟2、解算接收到的毫米波雷達數(shù)據(jù)，并通過數(shù)據(jù)處理排除虛假目標確定有效目標， 同步進行攝像機圖像的采集； 步驟3、把世界坐標系下的雷達掃描點投影到圖像像素坐標系，根據(jù)投影點在圖像上建 立感興趣區(qū)域ROI ; 步驟4、基于圖像處理方法檢驗感興趣區(qū)域內是否存在車輛。
2. 根據(jù)權利要求1所述的基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特 征在于：所述的步驟1中的將雷達坐標轉換成圖像像素坐標包括下述具體步驟， 步驟1. 1、使攝像機的光軸與地面平行； 步驟1. 2、使用于標定的棋盤與雷達反射面在同一平面，且位于雷達正上方與地平面垂 直，棋盤的左上角點與雷達反射面中心點連線垂直于地平面，確定棋盤左上角點距離安裝 位置的高度Ytl，高度單位為mm ; 步驟1.3、將世界坐標系中點的坐標（XW，YW，ZW)變換到攝像機坐標（X e，Ye，Z。)，變換公 式如下：
式中，W為world的縮寫；C為camera的縮寫；R為世界坐標系到攝像機坐標系的3X3 旋轉矩陣；t為世界坐標系到攝像機坐標系的1X3平移矩陣； 步驟1. 4、將攝像機坐標（X。，Y。，Z。）變換到圖像物理坐標（X，y)，轉換公式如下：
式中，f為攝像機焦距，焦距單位為mm ; 步驟1. 5、將圖像物理坐標（X，y)轉換到圖像像素坐標（u，v)，轉換公式如下：
式中，dx、dy分別為圖像物理坐標系下每個象素在橫縱方向軸上的物理尺寸；U(l、V。分 別為圖像像素坐標系下攝像機光軸和圖像平面交點的橫縱坐標，坐標單位為pixel ; 步驟1. 6、雷達坐標系的XciOciZci平面與世界坐標系的XOZ平面平行，設兩平面之間的距 離為Y(!，Y(!為棋盤左上角點距離雷達安裝位置的高度； 步驟I. 7、通過雷達可以得到前方車輛中心點投影到雷達掃射平面內的點P相對雷達 的距離R和角度a，POtl= R，距離單位為m ; Z PO J = α，角度單位為度； 步驟1. 8、獲得點P在世界坐標系下的坐標，轉換關系如下：
3. 根據(jù)權利要求1所述的基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特 征在于：所述的步驟2中的處理雷達數(shù)據(jù)排除虛假目標確定有效目標包括下述具體步驟， 步驟2. 1、對雷達接收到的數(shù)據(jù)按照毫米波雷達協(xié)議進行解算，得到前方物體相對雷達 的角度Angle、距離Range、相對速度RangeRate、寬度Width以及代表前方物體的編號ID ; 步驟2. 2、根據(jù)距離信息對前方物體按照由近及遠的準則進行排序，選取一定距離Rtl < Range < R1內的物體作為初選目標； 步驟2. 3、根據(jù)國家車輛寬度標準設置寬度閾值范圍（1. 5, 3)，當初選目標的寬度 Width在寬度閾值范圍內時，將前方物體初步確定為有效目標。
4. 根據(jù)權利要求1所述的基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特 征在于：所述的步驟3中的建立感興趣區(qū)域ROI包括下述具體步驟， 步驟3. 1、將前方車輛中心點投影到毫米波雷達掃描平面的點轉換到圖像平面上； 步驟3. 2、根據(jù)投影點的圖像像素坐標、距離Range、寬度閾值范圍，建立可根據(jù)距離調 節(jié)的感興趣區(qū)域ROI。
5. 根據(jù)權利要求1所述的基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特 征在于：所述的步驟4中的基于圖像處理方法檢驗感興趣區(qū)域內是否存在車輛包括下述具 體步驟， 步驟4. 1、采用改進的OTSU算法分割圖像，凸顯出表征車輛特征的尾燈部分； 步驟4. 2、為消除過小的噪聲點，對分割后的圖像進行圖像形態(tài)學開運算處理； 步驟4. 3、對處理后的感興趣區(qū)域部分的圖像進行連通區(qū)域標記，計算每個連通區(qū)域的 面積； 步驟4. 4、提取圖像上用于表征車輛的特征； 步驟4. 5、運用D-S證據(jù)理論，融合以上所述的車輛的特征信息得到總的信任度值，最 終設立信任度閾值驗證車輛。
6. 根據(jù)權利要求5所述的基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，其特 征在于：所述的步驟4. 4中的提取圖像上用于表征車輛的特征包括下述具體步驟， 4. 4. 1、判斷連通區(qū)域的面積，將面積小于50的連通區(qū)域去除； 4. 4. 2、用Ci、Cj分別表示不同的兩個連通區(qū)域，b (Ci)表示連通區(qū)域的頂邊，t (Ci)表 示連通區(qū)域的底邊，H(Ci)表示連通區(qū)域的高度，計算兩連通區(qū)域垂直方向的重疊率，標記 重疊率大于0. 7的連通區(qū)域，公式如下：
4. 4. 3、用H(Cs)、H(Cb)分別表示連通區(qū)域較小者和較大者，計算兩連通區(qū)域中較小者 與較大者的高度比，標記比值大于〇. 7的連通區(qū)域，公式如下：
4. 4. 4、用VL(Ci，Cj)、VW(Ci，Cj)表示圍住兩個連通區(qū)域的最小外圍矩形的長和寬，標 記長寬比大于2. 5小于8的連通區(qū)域，公式如下：
4. 4. 5、根據(jù)雷達掃描到的車輛中心點轉換到圖像上的橫向像素坐標u，符合以上步驟 4. 4. 1、步驟4. 4. 2、步驟4. 4. 3、步驟4. 4. 4的兩個連通區(qū)域的中心位置的橫向像素坐標Ui、 Uj,判斷兩個連通區(qū)域在u軸方向上是否關于中心點對稱。
【專利摘要】本發(fā)明涉及一種基于毫米波雷達和機器視覺的夜間前方車輛檢測方法，屬于車輛控制領域。包括下述步驟：步驟1、進行攝像機標定，得到世界坐標到圖像像素坐標的投影矩陣，建立雷達坐標系和世界坐標系之間的轉換關系，將雷達坐標轉換成圖像像素坐標；步驟2、解算接收到的毫米波雷達數(shù)據(jù)，并通過數(shù)據(jù)處理排除虛假目標確定有效目標，同步進行攝像機圖像的采集；步驟3、把世界坐標系下的雷達掃描點投影到圖像像素坐標系，根據(jù)投影點在圖像上建立感興趣區(qū)域ROI；步驟4、基于圖像處理方法檢驗感興趣區(qū)域內是否存在車輛。相比現(xiàn)有技術，本發(fā)明具有融合毫米波雷達和機器視覺、實時性高、準確性高的特點。
【IPC分類】G06T7-00, G06K9-32, G01S13-86
【公開號】CN104637059
【申請?zhí)枴緾N201510066989
【發(fā)明人】金立生, 成波, 程蕾, 劉輝, 陳秋雨, 王發(fā)繼, 陳梅, 高琳琳, 鄭義, 李科勇, 楊誠, 高敏
【申請人】吉林大學
【公開日】2015年5月20日
【申請日】2015年2月9日