一種車輛行為識(shí)別方法
【專利摘要】本發(fā)明公開了一種車輛行為識(shí)別方法，特別是提取匹配差分圖像特征以識(shí)別車輛行為的方法，屬于智能交通的【技術(shù)領(lǐng)域】。本發(fā)明對(duì)預(yù)處理后的圖像進(jìn)行差分處理，提取差分圖像的水平邊緣生成車輛特征描述子，由相鄰兩幀匹配成功的車輛特征描述子確定車輛運(yùn)動(dòng)軌跡，再由車輛運(yùn)動(dòng)軌跡分析車輛行為，對(duì)復(fù)雜場(chǎng)景下的各種干擾，有很好的抑制作用，同時(shí)計(jì)算量小且可靠性高，有效避免了運(yùn)動(dòng)目標(biāo)檢測(cè)中的背景干擾問題和單幅圖像中特征提取的計(jì)算量大問題。
【專利說明】一種車輛行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開了一種車輛行為識(shí)別方法，特別是提取匹配差分圖像特征以識(shí)別車輛行為的方法，屬于智能交通的【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]在眾多的智能交通系統(tǒng)應(yīng)用中，基于視頻的車輛行為識(shí)別與分析系統(tǒng)由于其安裝和維護(hù)方便、可靠性高等優(yōu)點(diǎn)越來越受到交通管理部門的青睞，相應(yīng)地，基于視頻的車輛行為識(shí)別技術(shù)的產(chǎn)品市場(chǎng)需求正在日益擴(kuò)大，應(yīng)用也越來越廣泛。
[0003]車輛行為識(shí)別是通過對(duì)視頻序列的實(shí)時(shí)分析來判別車輛的運(yùn)動(dòng)行為和軌跡的過程。車輛行為識(shí)別技術(shù)主要涉及車輛圖像采集、車輛圖像處理、特征提取、特征匹配、行為分析等步驟。其中車輛圖像的特征提取和匹配是車輛行為識(shí)別領(lǐng)域的兩個(gè)關(guān)鍵問題。
[0004]目前車輛行為識(shí)別的方法主要有兩種:基于運(yùn)動(dòng)目標(biāo)檢測(cè)的方法和基于車輛特征的方法?；谶\(yùn)動(dòng)目標(biāo)檢測(cè)的方法，是指利用當(dāng)前圖像跟背景圖像相減的方法，得到圖像中的運(yùn)動(dòng)目標(biāo)，然后來實(shí)現(xiàn)車輛運(yùn)動(dòng)的幀間關(guān)聯(lián)和行為分析(1.0uessai Asmaa, KecheMokhtarj Ouamri Abdelaziz.Road traffic density estimation using microscopic andmacroscopic parameters, Image and Vision Computing, 2013，vol.31，pp.887-894.2.JiuYue Haoj Chao Li，Zuwhan Kimj Zhang Xiong, Spatio-temporal traffic scene modeling forobject motion detection, IEEE Trans, on Intelligent Transportation Systems, 2013，v
ol.14，n0.1, pp.295-302.)。該類方法主要依賴于背景圖像的生成和更新模型，這一過程計(jì)算量大、耗時(shí)長，另外易受復(fù)雜場(chǎng)景中的非機(jī)動(dòng)車、行人、行道樹陰影等影響?；谲囕v特征的方法，是指利用車輛目標(biāo)特征，例如SIFT等，在單個(gè)圖像中直接檢測(cè)車輛，然后再進(jìn)行幀間關(guān)聯(lián)實(shí)現(xiàn)車輛行為分析。該類方法首先要收集并建立足夠的車輛特征庫，通過對(duì)當(dāng)前圖像中的特征提取，然后進(jìn)行特征匹配以檢測(cè)車輛目標(biāo)，再通過幀間關(guān)聯(lián)實(shí)現(xiàn)車輛行為分析(3.Rui Zhao, Xiaogang Wang, Counting Vehicles from Sematic Regions, IEEE Trans,on Intelligent Transportation Systems, 2013，vol.14，n0.2，pp.1016-1022.4.B.F.LinjY.M.Chan, L C.Fuj et al.，Integrating appearance and edge features for sedan vehicledetection in the blind-spot area, IEEE Trans, onlntelligent Transportation Systems,2012，vol.13，n0.2，pp.737-747.)。該類方法對(duì)特征庫建立過程要求高，需收集不同姿態(tài)、不同車型、不同場(chǎng)景下的各種車輛圖像，擴(kuò)展性弱，另外，每幀圖像中特征提取的計(jì)算量大。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是針對(duì)上述【背景技術(shù)】的不足，提供了一種車輛行為識(shí)別方法。
[0006]本發(fā)明為實(shí)現(xiàn)上述發(fā)明目的采用如下技術(shù)方案:
[0007]一種車輛行為識(shí)別方法，包括如下步驟:
[0008]步驟1，對(duì)路面拍攝圖像進(jìn)行預(yù)處理得到檢測(cè)區(qū)域的規(guī)范化圖像；[0009]步驟2，提取差分圖像的水平邊緣，對(duì)水平邊緣進(jìn)行二值化處理和篩選，生成車輛特征描述子；
[0010]步驟3，匹配上一幀圖像的車輛特征描述子、當(dāng)前幀圖像的車輛特征描述子，找到同一輛車在連續(xù)兩幀圖像中的關(guān)聯(lián)信息；
[0011]步驟4，根據(jù)車輛特征描述子的更新信息生成車輛運(yùn)動(dòng)軌跡，再由車輛運(yùn)動(dòng)軌跡分析車輛行為。
[0012]進(jìn)一步的，步驟2按照如下方法實(shí)現(xiàn):
[0013]步驟2-1，由當(dāng)前幀圖像與上一幀圖像做差得到差分圖像，求取差分圖像水平方向的梯度圖像作為水平邊緣；
[0014]步驟2-2，求取水平邊緣的直方圖，利用至少兩個(gè)閾值分別對(duì)水平邊緣二值化處理；
[0015]步驟2-3，對(duì)每個(gè)二值化圖像進(jìn)行形態(tài)學(xué)膨脹運(yùn)算得到水平線段，再自上而下掃描水平線段，將長度在車道寬度檢測(cè)范圍內(nèi)的水平線段記錄到水平線段集合中，濾除不在檢測(cè)區(qū)域內(nèi)的水平線段，排序檢測(cè)區(qū)域內(nèi)的水平線段:
[0016]步驟2-4，對(duì)水平線段集合自上而下自左向右掃描；
[0017]在掃描到第一個(gè)水平線段時(shí)，初始化水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度；
[0018]繼續(xù)掃描水平線段，在當(dāng)前水平線段與上一條水平線段在X方向重疊度超過線段長度的2/3，且當(dāng)前水平線段在y方向上跟上一條水平線段的間隔小于外接矩形寬度的1/3時(shí)，將當(dāng)前水平線段加入到水平線段集合中，更新水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度，直至外接矩形高度大于寬度2倍時(shí)停止更新水平線段集合。
[0019]進(jìn)一步的，步驟2中在水平線段集合停止更新后，舍去水平線段數(shù)目小于20的水平線段集合，舍去外接矩形高度小于寬度1/3且外接矩形寬度小于車道寬度1/2的水平線段集合，以最后更新的水平線段集合作為當(dāng)前幀圖像的車輛特征描述子。
[0020]進(jìn)一步的，步驟3中，相鄰兩幀圖像車輛特征描述子滿足如下條件時(shí)判定為同一車輛的特征描述子:外接矩形區(qū)域重合度在2/3以上，或者外接矩形形心距離最短的同時(shí)水平線段平均寬度變化小于10%，將上一幀圖像中未能匹配的車輛特征描述子從車輛特征描述子記錄中刪除，將當(dāng)前幀圖像中未能匹配的車輛特征描述子加入到車輛特征描述子記錄中。
[0021]進(jìn)一步的，步驟4按如下方法確定車輛運(yùn)動(dòng)軌跡:計(jì)算匹配成功的車輛描述子在連續(xù)兩幀中外接矩形形心坐標(biāo)分別在X和y方向上的距離變化，對(duì)連續(xù)η幀中車輛特征描述子中外接矩形形心坐標(biāo)變化值進(jìn)行中值濾波得到車輛運(yùn)行方向和幅度，再由車輛運(yùn)動(dòng)方向和幅度確定車輛運(yùn)動(dòng)軌跡，η為大于2的整數(shù)。
[0022]進(jìn)一步的，步驟I中的圖像預(yù)處理:將輸入圖像灰度化，對(duì)灰度化后的圖像進(jìn)行旋轉(zhuǎn)、縮放、興趣區(qū)域拓取變換處理，將旋轉(zhuǎn)、縮放、興趣區(qū)域摳取的級(jí)聯(lián)運(yùn)算集成到一個(gè)查找表中，對(duì)變換處理后的圖像進(jìn)行中值濾波，得到檢測(cè)區(qū)域的規(guī)范化圖像。
[0023]本發(fā)明采用上述技術(shù)方案，具有以下有益效果:對(duì)復(fù)雜場(chǎng)景下的各種干擾，有很好的抑制作用，同時(shí)計(jì)算量小且可靠性高，有效避免了運(yùn)動(dòng)目標(biāo)檢測(cè)中的背景干擾問題和單幅圖像中特征提取的計(jì)算量大問題。【專利附圖】

【附圖說明】
[0024]圖1是本發(fā)明基于差分圖像的特征提取與匹配的快速車輛行為分析方法的流程圖。
[0025]圖2 (a)、圖2(b)是圖像縮放、旋轉(zhuǎn)、興趣區(qū)域摳取示意圖。
[0026]圖3(a)、圖3(b)是差分圖像水平邊緣檢測(cè)和二值化結(jié)果示意圖。
[0027]圖4是車輛特征描述子生成的示意圖。
[0028]圖5是車輛特征描述子匹配和車輛行為分析的示意圖。
【具體實(shí)施方式】
[0029]下面結(jié)合附圖對(duì)發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明:本發(fā)明提取差分圖像水平邊緣作為的圖像特征，對(duì)水平邊緣進(jìn)行二值化處理以及篩選得到車輛特征描述子，匹配車輛特征描述子以識(shí)別車輛行為，流程如圖1所示。
[0030]步驟1，對(duì)路面拍攝圖像進(jìn)行預(yù)處理得到規(guī)范化圖像，圖像預(yù)處理包括:圖像灰度化、圖像旋轉(zhuǎn)縮放和有效區(qū)域提取、中值濾波:
[0031](I)圖像灰度化根據(jù)視頻格式來定:若輸入為YUV格式，則直接提取Y分量；若輸入為RGB格式，則按公 式GrayValue = (306XR+601 XG+117XB) ?10計(jì)算各像素的灰度值；
[0032](2)如圖2(a)所示的檢測(cè)區(qū)域，將輸入圖像以檢測(cè)區(qū)域中心為中心，以底邊傾斜角度為旋轉(zhuǎn)角度，進(jìn)行圖像旋轉(zhuǎn)使檢測(cè)底邊水平；再將原始圖像按照比例縮放至待處理圖像尺寸，實(shí)際計(jì)算時(shí)，待處理圖像尺寸為352X288(4:3情況)或480 X 270 (16:9情況)；最后將檢測(cè)區(qū)域頂邊以下和底邊以上的區(qū)域摳取作為待處理的規(guī)范化圖像，如圖2(b)所示，將(I)、(2)這兩步處理中的圖像旋轉(zhuǎn)、縮放、興趣區(qū)域摳取等涉及像素坐標(biāo)變換的級(jí)聯(lián)運(yùn)算集成到一個(gè)查找表中，表中的值為結(jié)果圖像中像素在原始圖像中的坐標(biāo)位置，這樣可通過查找表一步實(shí)現(xiàn)原始圖像到待處理規(guī)范化圖像的變換；
[0033](3)對(duì)變換后的圖像進(jìn)行快速中值濾波，保持邊緣并濾除噪聲干擾。
[0034]步驟2，提取差分圖像的水平邊緣，對(duì)水平邊緣進(jìn)行二值化處理和篩選，生成車輛特征描述子:
[0035]步驟2-1,由當(dāng)前幀圖像curlmg與上一幀圖像prelmg做差得到差分圖像difflmg，求取差分圖像水平方向的梯度圖像作為水平邊緣，水平邊緣是對(duì)差圖像difflmg進(jìn)行水平方向Sobel算子濾波求取得到的梯度圖像gradlmg,如圖3(a)所示；
[0036]步驟2-2,求取梯度圖像gradlmg的直方圖，計(jì)算均值μ和方差σ ,利用至少兩個(gè)閾值分別對(duì)水平邊緣二值化處理:分別使用閾值Ti = μ , μ+σ，μ +2 σ , μ +3 σ對(duì)梯度圖像進(jìn)行二值化，得到4幅二值化圖像binlmgi (i = I, 2, 3，4),如圖3(b)所示；
[0037]步驟2-3，對(duì)步驟2-1得到的每個(gè)二值化圖像進(jìn)行形態(tài)學(xué)膨脹運(yùn)算得到水平線段，再自上而下掃描水平線段，將長度在車道寬度檢測(cè)范圍[minHLLen，maxHLLen]內(nèi)的水平線段記錄到水平線段集合中，濾除不在檢測(cè)區(qū)域內(nèi)的水平線段，排序檢測(cè)區(qū)域內(nèi)的水平線段(將有效的水平線段按照行序排序，每行內(nèi)再按照X坐標(biāo)從小到大排序)，實(shí)際計(jì)算時(shí)，minHLLen取為當(dāng)前行車道寬度的一半，maxHLLen取為當(dāng)前行車道寬度的兩倍:[0038]步驟2-4，如圖4所示，對(duì)水平線段集合自上而下自左向右掃描，在y方向向下尋找屬于同一集合的水平線段；
[0039]在掃描到第一個(gè)水平線段時(shí)，初始化水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度，賦予新的水平線段集合標(biāo)號(hào)；
[0040]繼續(xù)掃描水平線段，在當(dāng)前水平線段與上一條水平線段在X方向重疊度超過線段長度的2/3，且當(dāng)前水平線段在y方向上跟上一條水平線段的間隔小于外接矩形寬度的1/3時(shí)，將當(dāng)前水平線段加入到水平線段集合中，并更新水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度，直至外接矩形高度大于寬度2倍時(shí)停止更新水平線段集合，舍去水平線段數(shù)目小于20的水平線段集合，舍去外接矩形高度小于寬度1/3且外接矩形寬度小于車道寬度1/2的水平線段集合，以最后更新的水平線段集合作為當(dāng)前幀圖像的車輛特征描述子，車輛特征描述子包括水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度以及水平線段平均寬度。
[0041]步驟3，匹配上一幀圖像的車輛特征描述子、當(dāng)前幀圖像的車輛特征描述子，找到同一輛車在連續(xù)兩幀圖像中的關(guān)聯(lián)信息，當(dāng)特征描述子滿足以下兩個(gè)條件之一時(shí)判定匹配成功:
[0042](I)外接矩形區(qū)域重合度在2/3以上，
[0043](2)外接矩形形心距離最短的同時(shí)水平線段平均寬度變化小于10%，
[0044]將上一幀圖像中未能匹配的車輛特征描述子(視為駛離場(chǎng)景的車輛)從車輛特征描述子記錄中刪除，將當(dāng)前幀圖像中未能匹配的車輛特征描述子(視為剛進(jìn)入場(chǎng)景的車輛)加入到車輛特征描述子記錄中。
[0045]步驟4，如圖5所示，根據(jù)車輛特征描述子的更新信息生成車輛運(yùn)動(dòng)軌跡，再由車輛運(yùn)動(dòng)軌跡分析車輛行為:
[0046](I)逐個(gè)分析已成功匹配的車輛特征描述子，計(jì)算其在上一幀和當(dāng)前幀中外接矩形形心的坐標(biāo)分別在X和y方向上的距離變化，
[0047](2)根據(jù)車輛特征描述子中外接矩形形心坐標(biāo)在連續(xù)5幀中的變化值分析，并對(duì)變化值進(jìn)行中值濾波，得到車輛的運(yùn)動(dòng)方向和幅度，實(shí)現(xiàn)車輛行為識(shí)別。
[0048]綜上所述，本發(fā)明結(jié)合差分圖像特征提取以及特征描述子匹配實(shí)現(xiàn)車輛行為識(shí)別的方案:
[0049](I)選取差分圖像水平邊緣作為差分圖像特征，充分表達(dá)了運(yùn)動(dòng)車輛的顯著特征，對(duì)復(fù)雜場(chǎng)景下的各種干擾，例如行道樹的擺動(dòng)、陰影干擾、夜間車燈晃動(dòng)等，有很好的抑制作用，同時(shí)計(jì)算量小且可靠性高；
[0050](2)采用水平邊緣數(shù)目、外接矩形寬度約束、外接矩形的寬高比約束實(shí)現(xiàn)水平邊緣的篩選，以車輛顯著特征作為特征描述子，有效去除非機(jī)動(dòng)車、行人等偽目標(biāo)，并且水平邊緣的搜索和組合所需計(jì)算量小、速度快；
[0051](3)結(jié)合幀間運(yùn)動(dòng)信息和提取的車輛顯著性特征，有效避免了運(yùn)動(dòng)目標(biāo)檢測(cè)中的背景干擾問題和單幅圖像中特征提取的計(jì)算量大問題；
[0052](4)差分圖像二值化時(shí)采用多閾值窮舉的方法，可以解決一次閾值的不可靠問題。通過多次閾值分割累積，顯著增加車輛目標(biāo)檢測(cè)的穩(wěn)定性和可靠性；
[0053](5)將圖像旋轉(zhuǎn)、縮放、興趣區(qū)域摳取等涉及像素坐標(biāo)變換的級(jí)聯(lián)運(yùn)算集成到一個(gè)查找表中，可通過查找表一步實(shí)現(xiàn)原始圖像的旋轉(zhuǎn)縮放和有效區(qū)域提取。
【權(quán)利要求】
1.一種車輛行為識(shí)別方法，其特征在于包括如下步驟: 步驟1，對(duì)路面拍攝圖像進(jìn)行預(yù)處理得到檢測(cè)區(qū)域的規(guī)范化圖像； 步驟2，提取差分圖像的水平邊緣，對(duì)水平邊緣進(jìn)行二值化處理和篩選，生成車輛特征描述子； 步驟3，匹配上一幀圖像的車輛特征描述子、當(dāng)前幀圖像的車輛特征描述子，找到同一輛車在連續(xù)兩幀圖像中的關(guān)聯(lián)信息； 步驟4，根據(jù)車輛特征描述子的更新信息生成車輛運(yùn)動(dòng)軌跡，再由車輛運(yùn)動(dòng)軌跡分析車輛行為。
2.根據(jù)權(quán)利要求1所述的車輛行為識(shí)別方法，其特征在于步驟2按照如下方法實(shí)現(xiàn): 步驟2-1，由當(dāng)前幀圖像與上一幀圖像做差得到差分圖像，求取差分圖像水平方向的梯度圖像作為水平邊緣； 步驟2-2，求取水平邊緣的直方圖，利用至少兩個(gè)閾值分別對(duì)水平邊緣二值化處理；步驟2-3，對(duì)每個(gè)二值化圖像進(jìn)行形態(tài)學(xué)膨脹運(yùn)算得到水平線段，再自上而下掃描水平線段，將長度在車道寬度檢測(cè)范圍內(nèi)的水平線段記錄到水平線段集合中，濾除不在檢測(cè)區(qū)域內(nèi)的水平線段，排序檢測(cè)區(qū)域內(nèi)的水平線段: 步驟2-4，對(duì)水平線段集合自上而下自左向右掃描:在掃描到第一個(gè)水平線段時(shí)，初始化水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度；繼續(xù)掃描水平線段，在當(dāng)前水平線段與上一條水平線段在X方向重疊度超過線段長度的2/3，且當(dāng)前水平線段在y方向上跟上一條水平線段的間隔小于外接矩形寬度的1/3時(shí)，將當(dāng)前水平線段加入到水平線段集合中，更新水平線段集合外接矩形的頂點(diǎn)坐標(biāo)、寬度、高度，直至外接矩形高度大于寬度2倍時(shí)停止更新水平線段集合。
3.根據(jù)權(quán)利要求2所述的車輛行為識(shí)別方法，其特征在于:步驟2中在水平線段集合停止更新后，舍去水平線段數(shù)目小于20的水平線段集合，舍去外接矩形高度小于寬度1/3且外接矩形寬度小于車道寬度1/2的水平線段集合，以最后更新的水平線段集合作為當(dāng)前幀圖像的車輛特征描述子。
4.根據(jù)權(quán)利要求2或3所述的車輛行為識(shí)別方法，其特征在于步驟3中，相鄰兩幀圖像車輛特征描述子滿足如下條件時(shí)判定為同一車輛的特征描述子:外接矩形區(qū)域重合度在2/3以上，或者外接矩形形心距離最短的同時(shí)水平線段平均寬度變化小于10%，將上一幀圖像中未能匹配的車輛特征描述子從車輛特征描述子記錄中刪除，將當(dāng)前幀圖像中未能匹配的車輛特征描述子加入到車輛特征描述子記錄中。
5.根據(jù)權(quán)利要求4所述的車輛行為識(shí)別方法，其特征在于:步驟4按如下方法確定車輛運(yùn)動(dòng)軌跡:計(jì)算匹配成功的車輛描述子在連續(xù)兩幀中外接矩形形心坐標(biāo)分別在X和y方向上的距離變化，對(duì)連續(xù)η幀中車輛特征描述子中外接矩形形心坐標(biāo)變化值進(jìn)行中值濾波得到車輛運(yùn)行方向和幅度，再由車輛運(yùn)動(dòng)方向和幅度確定車輛運(yùn)動(dòng)軌跡，η為大于2的整數(shù)。
6.根據(jù)權(quán)利要求1或5所述的車輛行為識(shí)別方法，其特征在于:步驟I中的圖像預(yù)處理:將輸入圖像灰度化，對(duì)灰度化后的圖像進(jìn)行旋轉(zhuǎn)、縮放、興趣區(qū)域拓取變換處理，將旋轉(zhuǎn)、縮放、興趣區(qū)域拓取的級(jí)聯(lián)運(yùn)算集成到一個(gè)查找表中，對(duì)變換處理后的圖像進(jìn)行中值濾波，得到檢測(cè)區(qū)域的規(guī)范化圖像。
【文檔編號(hào)】G06K9/00GK103996028SQ201410216944
【公開日】2014年8月20日 申請(qǐng)日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】孫涵, 潘銘星, 劉寧鐘, 黃元元 申請(qǐng)人:南京航空航天大學(xué)