專利名稱：對道路圖像進(jìn)行車牌識別的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理及模式識別技術(shù)領(lǐng)域，具體涉及一種對道路圖像進(jìn)行車 牌識別的方法和系統(tǒng)。
背景技術(shù)：
近年來，隨著計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各種機(jī)動車數(shù)量的迅猛增長，各類 信息包括與交通相關(guān)的信息呈現(xiàn)爆炸式增長的態(tài)勢，為了能夠更加安全、高效的管理這些 信息，智能交通系統(tǒng)(Intelligence Transportation System)應(yīng)運(yùn)而生。智能交通系統(tǒng)可 以在收費(fèi)卡口，停車場，刑事追蹤等方面展現(xiàn)出強(qiáng)大的作用，而對車牌的檢測和識別是其最 為核心的組成部分。目前，雖然現(xiàn)在已經(jīng)有了很多相對成熟的車牌識別產(chǎn)品，但是更高的準(zhǔn)確率，更少 的耗時(shí)，依然吸引著人們?nèi)ゲ粩噙M(jìn)行研究。實(shí)際上，隨著相關(guān)領(lǐng)域的新發(fā)展，例如新的底層 特征的發(fā)明，更好的分類算法的提出等，都為車牌識別算法的改進(jìn)提供了新的機(jī)會。另外， 現(xiàn)在商用的車牌識別系統(tǒng)大多只對特定的條件下有比較好的效果，例如特定的光照，距離， 角度，車牌制式(包括顏色、格式、文字)，而在變化了的環(huán)境下系統(tǒng)的準(zhǔn)確率可能會大大降 低甚至失效，還沒有哪個(gè)系統(tǒng)可以在各種不同的條件下做到健壯穩(wěn)定(與人識別車牌的能 力還有很大差距)。在本文的第三部分會對關(guān)于這方面的一篇文章進(jìn)行專門討論。再有，對 于自然條件拍攝的圖片和視頻，例如手持或車載攝像機(jī)拍攝下來的，進(jìn)行車牌檢測與識別 也是一個(gè)值得研究的方向。目前存在的一些車牌識別技術(shù)中，大都將整個(gè)識別分為三個(gè)過程，如圖1所示，為 b車牌定位，c車牌字符分割，d車牌字符識別。其中對于b，使用的技術(shù)種類繁多，雖然可以分成幾類，但類之間的界限并不是很 明顯。大致有如下一些方法:A邊緣檢測后二值化，這個(gè)是使用的最多的一種方法，它在與 數(shù)學(xué)形態(tài)學(xué)方法結(jié)合后，就已經(jīng)能夠得到比較好的就結(jié)果了。很常用的一個(gè)邊緣檢測算子
"-ι ο Γ
是縱向sobel算子。它的計(jì)算式為-2 0 2，而縱向邊緣檢測相較于橫向，它的優(yōu)勢，而縱
-1 0 1_
向邊緣檢測相較于橫向，它的優(yōu)勢在于一個(gè)含有車牌的圖像中車的橫向邊緣較多，而車牌 上字符的縱向邊緣較多。這種方法計(jì)算快速，效果較好，但是一個(gè)很大的缺點(diǎn)就是難以處理 復(fù)雜的圖像，如何有效地去除不相關(guān)的邊緣信息，(例如車輛進(jìn)氣口，燈光區(qū)域，周圍樹木， 粗糙的地面等)，是一個(gè)非常關(guān)鍵的問題.B數(shù)學(xué)形態(tài)學(xué)操作，主要是腐蝕、膨脹，開閉運(yùn)算 等。C連通區(qū)域分析(CCA)，最典型的是四連通和八連通方法以及各種聚類方法，與連通區(qū) 域目的相同，分出一些候選區(qū)域。D分塊分析。將圖像分為若干塊，分別計(jì)算其均值、方差、 邊緣信息等特征?；瑒哟翱?。與分塊思想類似，但是是逐點(diǎn)計(jì)算特征的。E彩色圖像處理， 依據(jù)RGB顏色信息。F各種分類器，包括Ada-Boost，SVM, ANN, GP, GA等。對于c，現(xiàn)在的技術(shù)分為如下幾類。A 二值圖像處理投影方法。是當(dāng)前各種文獻(xiàn)中使用最多的一種技術(shù)，通常的做法是先進(jìn)行橫向投影，剪切掉上下區(qū)域；然后進(jìn)行縱向投 影，切分出每一個(gè)字符。B局部自適應(yīng)二值化。在很多文章中局部自適應(yīng)二值化或者類似的 方法，它通過分塊、逐點(diǎn)或者分字符來計(jì)算某一區(qū)域內(nèi)的均值，對比度等特征，然后分別進(jìn) 行二值化。出C傾斜校正方法。種類比較多，有利用HT定位車牌框的，也有使用顏色信息 的，還有直方圖分析的。D層次分割與合并、分裂方法。E數(shù)學(xué)形態(tài)學(xué)，腐蝕、膨脹運(yùn)算。車 牌字符分割這一步其實(shí)難度是比較大的，因?yàn)槿绻指钍д`或者二值效果不好，后面的字 符識別很有可能就會失效。而不同的光照條件，車牌周圍的近似顏色或形狀，不同的車牌制 式，都會制約著車牌字符分割的方法，使得目前難以產(chǎn)生極其健壯的分割技術(shù)。多數(shù)方法都 還只是在特定情況下表現(xiàn)出良好的性能。對于d，0CR(光學(xué)字符識別)是模式識別領(lǐng)域的一個(gè)重要分支，它的目標(biāo)是將圖像 形式的各種文字識別為文本形式下的。車牌字符識別便是OCR的一種特殊形式，車牌字符 識別的過程可以簡化為特征提取與特征匹配。針對字符圖像的特征提取的方法多種多樣， 有逐像素特征提取法、骨架特征提取法、垂直方向數(shù)據(jù)統(tǒng)計(jì)特征提取法、基于網(wǎng)格的特征提 取法、弧度梯度特征提取法等很多。另外不進(jìn)行特征提取，或者說將字符圖像的黑白值直接 作為特征，依靠分類器的強(qiáng)大分類能力進(jìn)行識別，也是一種可以采用的方式。而特征匹配的 方法，主要分為以下三種A.基于統(tǒng)計(jì)/混合/分層次的分類器B.ANN. C.模板匹配法.其 中ANN是最為常見的且性能較優(yōu)的。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種對靜態(tài)圖像進(jìn)行車牌識別的方法和系統(tǒng)，旨在解決智 能交通系統(tǒng)(ATI)中的核心問題，獲取監(jiān)控圖像中的車牌號碼，為后面更深層次的應(yīng)用做 準(zhǔn)備。本發(fā)明提供的所述車牌識別的方法，包括車牌定位，車牌字符分割和車牌字符識 別三個(gè)步驟；所述車牌定位，是對輸入的圖像進(jìn)行分割，得到一組車牌候選區(qū)。它的輸入為一張 圖片，大小任意，然后進(jìn)行預(yù)處理，基于DBSCAN的聚類兩個(gè)步驟，輸出一組車牌候選區(qū)；所述預(yù)處理過程的任務(wù)是對原始彩色圖像進(jìn)行處理，生成一張包含邊緣信息的二 值圖像。它包括圖像灰度化，sobel縱向邊緣檢測+車牌顏色增強(qiáng)，圖像二值化三個(gè)步驟。所述的sobel縱向邊緣檢測+車牌顏色增強(qiáng)，是對全圖進(jìn)行sobel縱向檢測，在檢 測過程中，對于邊緣信息p (x，y)，若> K，對其周圍x*x鄰域進(jìn)行掃描，對其中每一行，如有 車牌顏色出現(xiàn)，則增強(qiáng)P(x，y)10% ；實(shí)施例中K = 30，x = 7 ；這里的車牌顏色只各種車牌 中可能出現(xiàn)的顏色集合。所述基于DBSCAN的聚類是使用DBSCAN密度聚類方法對二值圖片進(jìn)行聚類，將所 有的點(diǎn)劃分為幾個(gè)高密度區(qū)，超過一定閾值T的區(qū)域稱為候選區(qū)，閾值T根據(jù)實(shí)際的場景 大小通過調(diào)試而確定。這里將臨界半徑分為RH和RW，表示長寬方向上的半徑，一般RW = 3*RH ；實(shí)施例中取RH = 10，RW = 30，T = 300 ；然后計(jì)算各個(gè)區(qū)域的屬性，包括長、寬，長寬 比等，刪除區(qū)域兩側(cè)過少的點(diǎn)。最后對候選區(qū)的屬性進(jìn)行判斷，排除不合形狀的區(qū)域，輸出 可能的候選區(qū)。所述的車牌字符分割，是對車牌候選區(qū)分別進(jìn)行字符的分割，刪除錯(cuò)誤候選區(qū)，對每個(gè)其他候選得到一組字符塊。它包含二次預(yù)處理和基于投影的分割兩個(gè)步驟；所述二次預(yù)處理過程，是先對區(qū)域圖片進(jìn)行灰度化，然后利用均值閾值將其二值 化，最后通過水平投影，尋找投影圖中上下低谷區(qū)域，認(rèn)為其為無用區(qū)域，刪除之。得到二值 車牌局部圖像。所述基于投影的分割，它的輸入為二值車牌局部圖像，輸出是一組圖像字符塊，通 常為7個(gè)(車牌上的字符數(shù))。首先進(jìn)行垂直投影，認(rèn)為波谷區(qū)為無用區(qū)，其它為字符區(qū)，以 此劃分出若干區(qū)域。然后對于區(qū)域進(jìn)行分析判斷，以排除非車牌區(qū)域。最后再對每一字符 圖像切除上下空白。生成一組字符區(qū)域。所述車牌字符識別，是對每組字符塊進(jìn)行識別，排除錯(cuò)誤候選區(qū)，生成識別出的車 牌號碼，車牌顏色以及車牌區(qū)域坐標(biāo)。它的輸入為單個(gè)二值區(qū)域，輸入是識別出來的字符， 包括漢字、數(shù)字和字母。首先如果區(qū)域的寬高比> 4，其區(qū)域內(nèi)點(diǎn)密度大于某一閾值，則直 接識別該字符為1。然后將整個(gè)二值圖像序列作為特征，帶入各自分類器進(jìn)行分類，輸出結(jié) 果。如果識別的字符不為7個(gè)，則認(rèn)為其為非車牌區(qū)域。最終生成識別出的車牌號碼，車牌 顏色以及車牌區(qū)域坐標(biāo)。所述的分類器，其特征在于，預(yù)先分別對數(shù)字、字符和漢字建立二值模板，分類時(shí) 采用模板匹配的方式進(jìn)行識別，輸出識別結(jié)果。本發(fā)明還提供一種車牌識別的系統(tǒng)，包括實(shí)現(xiàn)所述的車牌識別方法三個(gè)步驟的三 個(gè)模塊車牌定位模塊、車牌字符分割模塊和車牌字符識別模塊。輸入是一張圖片，輸入是 若干子區(qū)域圖片和識別結(jié)果描述文檔xml文件?？梢杂卸喾N參數(shù)選擇，具有動態(tài)配置參數(shù) 的功能，具有動態(tài)定義輸出的功能，可以輸出車牌局部圖片、駕駛員位置局部圖片、車標(biāo)局 部圖片、車身局部圖片、縮略圖等，可以方便替換車牌識別方法，易于進(jìn)行批量處理。所述多種參數(shù)選擇是指在程序名后加參數(shù)，plate, other, all，可以分別只識別車 牌輸出號碼及位置，只計(jì)算輸出其他局部圖片(由車牌位置推斷)和進(jìn)行全部處理。實(shí)現(xiàn) 了關(guān)鍵過程(車牌識別)和其他過程的分離。所述的計(jì)算輸出駕駛員位置局部圖片，依據(jù)車牌位置和車型大小，估算駕駛員位 置，并與原圖像進(jìn)行比對，校正后輸出駕駛員位置局部圖片。所述的計(jì)算輸出車標(biāo)局部圖片，依據(jù)車牌位置，對車牌上方區(qū)域進(jìn)行掃描，尋找車 標(biāo)，在分割后輸出車牌位置局部圖片。所述的計(jì)算輸出車身局部圖片，依據(jù)車牌位置和車型大小，估算車身位置，并與原 圖像進(jìn)行比對，校正后輸出車身局部圖片。


圖1是車牌識別流程圖。圖2是車牌定位模塊流程圖。圖3是車牌字符分割模塊流程圖。圖4是對一張圖片進(jìn)行識別的實(shí)施例圖。圖5是車牌識別系統(tǒng)的流程圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加明白，以下結(jié)合附圖及實(shí)施例，對本發(fā) 明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于 限定本發(fā)明。圖1示出了車牌識別方法的主要流程。包括車牌定位，車牌字符分割和車牌字符 識別三個(gè)階段。中間傳遞的值是1或多個(gè)車牌候選區(qū)域，在b、c、d依次的運(yùn)行過程當(dāng)中，錯(cuò) 誤的候選區(qū)被逐步拋棄。最終輸出車牌號碼。圖2示出了車牌定位模塊流程。對于一張輸入原始圖片，例如圖4左上角所示。首 先對它進(jìn)行灰度化，灰度化的公式為gray = 0. 299R+0. 587G+0. 114B，其中g(shù)ray代表灰度 值，R，G，B分別為圖像的三個(gè)分量。其次進(jìn)行縱向sobel邊緣檢測，在縱向檢測過程當(dāng)中， 進(jìn)行對車牌顏色的增強(qiáng)，具體的規(guī)則是(藍(lán)色舉例)，對于邊緣信息P(x，》，若> 30，對其 周圍7*7鄰域進(jìn)行掃描，對其中每一行，如有藍(lán)色點(diǎn)出現(xiàn)，則增強(qiáng)p(x，y) 10%，這里藍(lán)色指 (G< 150，R< 150，B>G，B>R)。再次進(jìn)行二值化，得到一幅黑白點(diǎn)圖，如圖4中右上角 所示，不難看出，車牌附近的點(diǎn)比較密集，此為下一步聚類的基礎(chǔ)。之后采用DBSCAN密度聚類算法得到一組候選區(qū)，圖2中虛線所示部分為聚類算 法的具體步驟。它的大體思想就是對于密度比較高的區(qū)域，認(rèn)為它們屬于同一區(qū)域。在此 實(shí)施例中，橫向半徑RH取值為10，縱向半徑RW取值為30，密度閾值取250。之后進(jìn)行后 處理，刪除兩次空白區(qū)域，排除不合形狀的區(qū)域，在此實(shí)施例中，認(rèn)為車牌區(qū)域形狀應(yīng)滿足 2.5<長寬比<7，80<長< 220，20<寬<60。至此，定位階段結(jié)束。圖4中，右側(cè)中部偏 上的一張圖可以看出，共分出了 5個(gè)區(qū)域，這5個(gè)區(qū)域即為候選區(qū)。中部偏下的圖片示出了 車牌的那個(gè)候選區(qū)的局部圖像。圖3示出了車牌字符分割模塊流程。對于輸入的每一個(gè)候選區(qū)，先進(jìn)行一系列的 預(yù)處理，包括灰度化，二值化和水平投影。圖4中最下面中央的是二值化的結(jié)果，而它左邊 是其對應(yīng)的水平投影圖，它的上面是它在經(jīng)過上下無用區(qū)間切割之后的結(jié)果。然后進(jìn)行基 于投影的分割，具體包括垂直投影、分出字符區(qū)和空白區(qū)；區(qū)域分析、淘汰錯(cuò)誤候選；對單 個(gè)字符細(xì)切分三個(gè)過程。結(jié)果如圖4中央偏下的小圖所示，由幾條縱向白線切分出了各個(gè) 字符。之后帶入識別引擎進(jìn)行文字的識別，輸出車牌號碼蘇BPG016。如圖4左側(cè)中部小圖 所示。圖5示出了車牌識別系統(tǒng)的大體流程。它支持三種不同的使用方式，分別為參數(shù) 是all、無參數(shù)或參數(shù)other但無后續(xù)坐標(biāo)的情況；參數(shù)plate的情況；參數(shù)other后面加上 兩組坐標(biāo)的情況。在參數(shù)為all時(shí)，該系統(tǒng)將進(jìn)行全部操作，先定位并識別車牌，然后由其 計(jì)算各種局部區(qū)域圖片，最后輸出。參數(shù)Plate表示只識別車牌并輸出，參數(shù)other表示只 計(jì)算各種局部區(qū)域圖片并輸出。這里的局部區(qū)域包括，駕駛員區(qū)域，車標(biāo)區(qū)域和車身區(qū)域。 這些局部區(qū)域圖片將會為智能交通系統(tǒng)的其他后續(xù)應(yīng)用提供一定的幫助。最后的輸出中還 包括一個(gè)xml文檔，描述識別的結(jié)果。
權(quán)利要求
一種對道路圖像進(jìn)行車牌識別的方法，其特征在于，包括車牌定位，車牌字符分割和車牌字符識別三個(gè)步驟；所述車牌定位，是對輸入的圖像進(jìn)行分割，得到一組車牌候選區(qū)；所述車牌字符分割，是對車牌候選區(qū)分別進(jìn)行字符的分割，刪除錯(cuò)誤候選區(qū)，對每個(gè)其他候選得到一組字符塊；所述車牌字符識別，是對每組字符塊進(jìn)行識別，排除錯(cuò)誤候選區(qū)，生成識別出的車牌號碼，車牌顏色以及車牌區(qū)域坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述車牌定位步驟中，輸入為一張圖片， 大小任意，然后進(jìn)行預(yù)處理、基于DBSCAN的聚類兩個(gè)步驟；所述預(yù)處理過程的任務(wù)是對原始彩色圖像進(jìn)行處理，生成一張包含邊緣信息的二值圖 像；預(yù)處理過程包含圖像灰度化，sobel縱向邊緣檢測+車牌顏色增強(qiáng)，圖像二值化三個(gè)步 驟；所述基于DBSCAN的聚類的任務(wù)是對二值圖像進(jìn)行聚類處理，生成一組車牌候選區(qū)；其 步驟為使用DBSCAN密度聚類方法對二值圖片進(jìn)行聚類，將所有的點(diǎn)劃分為幾個(gè)高密度 區(qū)，超過一定閾值T的區(qū)域稱為候選區(qū)；這里將臨界半徑分為RH和RW，表示長寬方向上的 半徑，Rff = 3*rh ；然后計(jì)算各個(gè)區(qū)域的屬性，包括長、寬，長寬比，刪除區(qū)域兩側(cè)過少的點(diǎn)； 最后對候選區(qū)的屬性進(jìn)行判斷，排除不合形狀的區(qū)域，輸出可能的候選區(qū)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述的sobel縱向邊緣檢測+車牌顏色增 強(qiáng)，其步驟為對全圖進(jìn)行sobel縱向檢測，在檢測過程中，對于邊緣信息ρ (x, y)，若大于K， 對其周圍χ*χ鄰域進(jìn)行掃描，對其中每一行，如有車牌顏色出現(xiàn)，則增強(qiáng)P(χ，y)10%,這里 的車牌顏色指各種車牌中可能出現(xiàn)的顏色集合。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的車牌字符分割包含二次預(yù)處理和基 于投影的分割兩個(gè)步驟；所述二次預(yù)處理過程是對每個(gè)候選區(qū)進(jìn)行灰度化，局部二值化，水平投影操作，生成二 值車牌圖像；所述基于投影的分割是對二值圖像進(jìn)行垂直投影，然后逐個(gè)字符切分，最后輸出一組 圖像字符塊。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于所述的二次預(yù)處理，其步驟為先對區(qū)域圖 片進(jìn)行灰度化，然后利用均值閾值將其二值化，最后通過水平投影，尋找投影圖中上下低谷 區(qū)域，認(rèn)為其為無用區(qū)域，刪除之，得到二值車牌局部圖像。
6.根據(jù)權(quán)利要求4所述的車牌識別方法，其特征在于所述的基于投影的分割，其步驟 為首先進(jìn)行垂直投影，認(rèn)為波谷區(qū)為無用區(qū)，其它為字符區(qū)，以此劃分出若干區(qū)域；然后 對于區(qū)域進(jìn)行分析判斷，排除非車牌區(qū)域；最后再對每一字符圖像切除上下空白；生成一 組字符區(qū)域。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的車牌字符識別，其步驟為輸入為單 個(gè)二值區(qū)域，輸出是識別出來的字符，包括漢字、數(shù)字和字母；首先如果區(qū)域的寬高比> 4， 其區(qū)域內(nèi)點(diǎn)密度大于某一閾值，則直接識別該字符為1 ；然后將整個(gè)二值圖像序列作為特 征，帶入各自分類器進(jìn)行分類，輸出結(jié)果；如果識別的字符不為7個(gè)，則認(rèn)為其為非車牌區(qū) 域；最終生成識別出的車牌號碼，車牌顏色以及車牌區(qū)域坐標(biāo)。
8.根據(jù)權(quán)利要求7所述的車牌識別方法，其特征在于用所述用分類器進(jìn)行分類，是預(yù) 先分別對數(shù)字、字符和漢字建立二值模板，分類時(shí)采用模板匹配的方式進(jìn)行識別，輸出識別結(jié)果。
9.一種車牌識別的系統(tǒng)，其特征在于，包括車牌定位模塊、車牌字符分割模塊、車牌 字符識別模塊三個(gè)部分，是基于權(quán)利要求1所述的車牌識別方法的；輸入是一張圖片，輸出 是若干子區(qū)域圖片和識別結(jié)果描述文檔xml文件；有多種參數(shù)選擇，具有動態(tài)配置參數(shù)的功能，具有動態(tài)定義輸出的功能，輸出車牌局部 圖片、駕駛員位置局部圖片、車標(biāo)局部圖片、車身局部圖片、縮略圖；方便替換車牌識別方 法，易于進(jìn)行批量處理；所述多種參數(shù)選擇是指在程序名后加參數(shù)，plate，other，all，分別只識別車牌輸出號 碼及位置，只計(jì)算輸出其他局部圖片和進(jìn)行全部處理，實(shí)現(xiàn)關(guān)鍵過程和其他過程的分離。
10.根據(jù)權(quán)利要求9所述的車牌識別系統(tǒng)，其特征在于所述的計(jì)算輸出駕駛員位置局 部圖片，是依據(jù)車牌位置和車型大小，估算駕駛員位置，并與原圖像進(jìn)行比對，校正后輸出 駕駛員位置局部圖片；所述的計(jì)算輸出車標(biāo)局部圖片，是依據(jù)車牌位置，對車牌上方區(qū)域進(jìn) 行掃描，尋找車標(biāo)，在分割后輸出車牌位置局部圖片；所述的計(jì)算輸出車身局部圖片，是依 據(jù)車牌位置和車型大小，估算車身位置，并與原圖像進(jìn)行比對，校正后輸出車身局部圖片。
全文摘要
描述了一種進(jìn)行車牌識別的方法和系統(tǒng)，該方法可以為智能交通系統(tǒng)提供支持，并能廣泛應(yīng)用在停車場，收費(fèi)卡口，刑事緝拿等方面。方法主要包括定位、字符分割、字符識別三個(gè)階段。有較高的識別率，能夠應(yīng)對較復(fù)雜的環(huán)境并能達(dá)到實(shí)時(shí)處理的要求。系統(tǒng)封裝了上述方法，并提供了不同的參數(shù)，可靈活使用。便于分布，批量處理數(shù)據(jù)。
文檔編號G06K9/00GK101872416SQ20101016698
公開日2010年10月27日 申請日期2010年5月6日 優(yōu)先權(quán)日2010年5月6日
發(fā)明者馮瑞, 王琰濱, 薛向陽, 金城 申請人:復(fù)旦大學(xué)