專利名稱：一種機(jī)動(dòng)車牌號的識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種機(jī)動(dòng)車牌號的識別方法，屬于車牌識別技術(shù)領(lǐng)域。
背景技術(shù)：
車牌識別技術(shù)(VehicleLicense Plate Recognition, VLPR)是指能夠檢測到受監(jiān)控路面的車輛并自動(dòng)提取車輛牌照信息(含漢字字符、英文字母、阿拉伯?dāng)?shù)字及號牌顏色)進(jìn)行處理的技術(shù)。車牌識別是現(xiàn)代智能交通系統(tǒng)中的重要組成部分之一，應(yīng)用十分廣泛。它以數(shù)字圖像處理、模式識別、計(jì)算機(jī)視覺等技術(shù)為基礎(chǔ)，對攝像機(jī)所拍攝的車輛圖像或者視頻序列進(jìn)行分析，得到每一輛汽車唯一的車牌號碼，從而完成識別過程。通過一些后續(xù)處理手段可以實(shí)現(xiàn)停車場收費(fèi)管理，交通流量控制指標(biāo)測量，車輛定位，汽車防盜，高速公路超速自動(dòng)化監(jiān)管、闖紅燈電子警察、公路收費(fèi)站等等功能。對于維護(hù)交通安全和城市治安，防止交通堵塞，實(shí)現(xiàn)交通自動(dòng)化管理有著現(xiàn)實(shí)的意義。通常而言車牌識別方法包含以下三個(gè)步驟車牌定位、車牌字符分割、車牌字符識另O。而評價(jià)車牌識別方法的指標(biāo)主要包含處理時(shí)間、識別準(zhǔn)確率等，以上三個(gè)步驟中每一步都會影響到整體車牌識別方法的性能?，F(xiàn)有的各種車牌識別方法大都存在著很多缺陷。車牌定位算法耗時(shí)多且容易受車牌所在復(fù)雜背景干擾從而影響定位的準(zhǔn)確性，由于采集的車牌圖像的多樣性，并且采集圖像時(shí)受到許多因素的影響，如雨天、大霧、光線等，使得有一些車牌圖像質(zhì)量出現(xiàn)不同程度的差異，在一般情況下，采集的圖像的背景非常復(fù)雜，采集圖像是在高速運(yùn)動(dòng)中采集的圖片，所以圖片中車牌的位置不固定，車牌的大小也不一樣，以上的種種干擾因素，都給車牌區(qū)域定位帶來了困難，現(xiàn)有方法并沒有很好的解決這一問題。隨著從模擬相機(jī)到高清相機(jī)的發(fā)展，圖像高分辨率與識別速度的矛盾越來越引人關(guān)注。高清的優(yōu)勢不言而喻，但在車牌識別時(shí)也會引發(fā)一些問題，高清圖片由于圖片覆蓋面廣，可能會同時(shí)在圖片中出現(xiàn)多個(gè)車牌的識別，現(xiàn)有的車牌識別系統(tǒng)大多集中于處理只包含一輛車的圖像，在輸入圖像包含很多機(jī)動(dòng)車輛的情況下，現(xiàn)有的車牌識別系統(tǒng)并不能表現(xiàn)出很高的性能。此外，高清視頻碼流很大，對車牌識別系統(tǒng)的處理速度提出了很高的要求，若處理速度過慢可能會導(dǎo)致漏車的現(xiàn)象，從而難以實(shí)現(xiàn)對車輛抓拍率和車牌識別準(zhǔn)確率的提升。此外，目前在車牌識別算法部分，由于我國的車牌中不僅有英文字母和阿拉伯?dāng)?shù)字，還包含筆畫繁雜的漢字，導(dǎo)致其識別難度較國外僅對字母、數(shù)字識別的情形大得多，力口之國內(nèi)部分道路條件差，車牌污染比較嚴(yán)重，而且實(shí)際運(yùn)行的車輛號牌會受到泥、油、漆等影響，車牌字符往往會有斷裂的現(xiàn)象，同時(shí)號牌制作工藝不規(guī)范也會出現(xiàn)字符變淺、變模糊，使車牌字符識別的難度變大。模板匹配方法因?yàn)槠渌俣瓤斓奶匦栽谲嚺谱詣?dòng)識別領(lǐng)域得到廣泛應(yīng)用，但在以上種種惡劣的條件下，模板匹配方法的精度受到了很大的限制，此夕卜，模板匹配方法對于旋轉(zhuǎn)抗性不佳，也在一定程度上限制了其應(yīng)用范圍。使用其他諸如神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行識別，又會在處理復(fù)雜度上帶來不小的提升，總體而言，現(xiàn)有的車牌識別方法，在同時(shí)具備較高的處理速度與較大的識別準(zhǔn)確率上還存在很多不足。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種機(jī)動(dòng)車牌號的識別方法，將已有的二值圖像處理與形態(tài)學(xué)處理相結(jié)合，進(jìn)行多車牌定位，然后由粗到精對車牌進(jìn)行旋轉(zhuǎn)矯正，與稀疏表示理論相結(jié)合增強(qiáng)版模板匹配，以實(shí)現(xiàn)低計(jì)算復(fù)雜度、高識別準(zhǔn)確率的高性能車牌識別。本發(fā)明提出的機(jī)動(dòng)車牌號的識別方法，包括以下步驟(I)讀入一張含有車牌的彩色圖像或灰度圖像，若該圖像為彩色圖像，則將其轉(zhuǎn)化為灰度圖像，記灰度圖像為初始圖像G ;(2)利用中值濾波方法對初始圖像G進(jìn)行預(yù)處理，減弱椒鹽噪聲，得到預(yù)處理后的圖像G(3)利用二值化處理和形態(tài)學(xué)處理方法，從預(yù)處理后的圖像6中定位出車牌區(qū)域，得到預(yù)處理后的圖像中所有車牌區(qū)域的集合{PJ (i = 1，2，. .，N)，其中N為車牌區(qū)域的總個(gè)數(shù)，Pi為第i個(gè)車牌區(qū)域，具體步驟如下(3-1)在預(yù)處理后的圖像&上進(jìn)行邊緣檢測，得到預(yù)處理后的圖像6的邊緣圖像E，邊緣圖像E為二值圖像，若邊緣圖像E中的像素點(diǎn)(X，y)的像素值為1，則該像素點(diǎn)U，y)為邊緣點(diǎn)，若像素點(diǎn)(X，y)的像素值為O,則該像素點(diǎn)(X，y)為非邊緣點(diǎn)；(3-2)將邊緣圖像E中，與邊緣圖像E的邊界相連接的邊緣上的邊緣點(diǎn)的像素值置為0，得到預(yù)處理后的邊緣圖像Γ(3-3)定義一個(gè)寬 為Wl個(gè)像素點(diǎn)、高為Hl個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對上述預(yù)處理后的邊緣圖像左進(jìn)行形態(tài)學(xué)閉運(yùn)算，得到閉運(yùn)算后的邊緣圖像E1 ；(3-4)定義一個(gè)寬為W2個(gè)像素點(diǎn)、高為H2個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對閉運(yùn)算輸出邊緣圖像E1進(jìn)行形態(tài)學(xué)開運(yùn)算，得到開運(yùn)算后的邊緣圖像E2 ；(3-5)定義圖像中連通的像素點(diǎn)組成的集合為連通區(qū)域，按照開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)的連通性，對開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)進(jìn)行劃分，得到連通的像素點(diǎn)組成的連通區(qū)域，使邊緣圖像E2中每個(gè)像素值為I的像素點(diǎn)與一個(gè)連通區(qū)域相對應(yīng)；(3-6)對各連通區(qū)域進(jìn)行判斷，得到所有待識別機(jī)動(dòng)車牌號所對應(yīng)的連通區(qū)域的集合，判斷步驟如下(3-6-1)從步驟(3-5)的連通區(qū)域中取一個(gè)未判斷過的連通區(qū)域A進(jìn)行判斷，若步驟(3-5)的連通區(qū)域中的所有連通區(qū)域都已經(jīng)被判斷過，則進(jìn)行步驟(3-6-5)；(3-6-2)設(shè)定車牌對應(yīng)的連通區(qū)域的寬高比為3 5. 5，將連通區(qū)域A的邊界框的寬高比與設(shè)定車牌區(qū)域的寬高比相比較，若連通區(qū)域A的邊界框的寬高比大于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比小于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A不是與車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1)；若連通區(qū)域A的邊界框的寬高比小于等于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比大于等于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A為擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-3)；(3-6-3)從預(yù)處理后的圖像6中，取出一個(gè)與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的灰度圖像，采用自適應(yīng)閾值，將灰度圖像二值化，得到一個(gè)二值化后的與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的二值圖像Ba，設(shè)定一個(gè)與車牌對應(yīng)的連通區(qū)域在水平方向上黑白交替的次數(shù)閾值，若二值圖像Ba在水平方向上黑白交替的次數(shù)小于次數(shù)閾值，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1 )，若二值圖像Ba在水平方向上黑白交替的次數(shù)大于等于次數(shù)閾值，則判定連通區(qū)域A是擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-4)；(3-6-4)計(jì)算二值圖像Ba內(nèi)像素值為I的像素點(diǎn)數(shù)目占二值圖像Ba內(nèi)所有像素點(diǎn)數(shù)目的比例a ,若α不在O. 3 O. 4之間，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，若α在0.3 0.4之間，則判定連通區(qū)域A是車牌對應(yīng)的連通區(qū)域，回到步驟(3-6-1)，進(jìn)行下一個(gè)連通區(qū)域的判斷；(3-6-5)設(shè)所有車牌對應(yīng)的連通區(qū)域的集合為{AJ (i = 1，2，. .，N)，其中Ai為第i個(gè)車牌對應(yīng)的連通區(qū)域，按順序從連通區(qū)域的集合{AJ中取出與每個(gè)車牌相對應(yīng)的連通區(qū)域Ai的邊界框，對邊界框內(nèi)的像素點(diǎn)在預(yù)處理后的圖像&內(nèi)對應(yīng)的像素點(diǎn)，進(jìn)行二值化處理，得到一個(gè)像素點(diǎn)集合Pi,記像素點(diǎn)集合Pi為車牌區(qū)域，從而得到所有車牌區(qū)域的集合為{PJ (i = 1，2，..，N)，其中Pi為第i個(gè)車牌區(qū)域；(4)對上述車牌區(qū)域Pi進(jìn)行旋轉(zhuǎn)矯正和去邊緣處理，得到處理后的車牌區(qū)域^ ,具體步驟如下(4-1)利用邊緣檢測算子，從車牌區(qū)域Pi中提取與車牌區(qū)域Pi對應(yīng)的二值邊緣圖像EPi，計(jì)算二值邊緣圖像Epi的拉冬(Radon)變換，從變換得到的矩陣中得到矩陣峰值，與矩陣峰值相對應(yīng)的角度Θ為車牌區(qū)域Pi的旋轉(zhuǎn)角度Θ，根據(jù)車牌的旋轉(zhuǎn)角度Θ對車牌區(qū)域Pi內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)Θ角，得到粗略旋轉(zhuǎn)矯正后的車牌區(qū)域Pil;(4-2)去除車牌區(qū)域Pil中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，得到初步緊縮的車牌區(qū)域Pi2; (4-3)將初步緊縮的車牌區(qū)域Pi2中的每一行像素點(diǎn)的像素值進(jìn)行求和，設(shè)第m行像素點(diǎn)的像素值之和為Sni,按序號m從小到大的次序?qū)111進(jìn)行排序，得到S111的第一個(gè)極大值SmQ，設(shè)與Smtl相對應(yīng)的行號為mQ，對上述初步緊縮的車牌區(qū)域Pi2中的第I mQ行中像素值為I的像素點(diǎn)進(jìn)行一次多項(xiàng)式擬合，根據(jù)一次多項(xiàng)式的斜率k得到初步緊縮的車牌區(qū)域Pi2的傾斜角爐=arctan(k)，根據(jù)傾斜角供對初步緊縮的車牌區(qū)域Pi2內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)，得到精細(xì)旋轉(zhuǎn)矯正后的車牌區(qū)域Pi3 ；(4-4)去除車牌區(qū)域Pi3中的上下左右邊界處像素點(diǎn)像素值恒定的條帶，得到二次緊縮的車牌區(qū)域Pi4;(4-5)利用插值方法，對二次緊縮的車牌區(qū)域Pi4進(jìn)行比例縮放，使得車牌區(qū)域高為設(shè)定個(gè)數(shù)像素點(diǎn)H，比例縮放后得到一個(gè)處理后的車牌區(qū)域會,；(5)采用垂直投影法，對上述處理后的車牌區(qū)域色進(jìn)行字符分割處理，計(jì)算處理后的車牌區(qū)域^在垂直方向上的二值投影圖，并尋找波谷點(diǎn)，從波谷點(diǎn)處對整個(gè)車牌進(jìn)行字符分割，得到7個(gè)字符塊，去除每個(gè)字符塊中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，得
到緊縮后的字符塊，并將緊縮后的字符塊利用插值方法縮放至，即寬#個(gè)像素點(diǎn)，高
2 2
打個(gè)像素點(diǎn)，得到待識別的字符塊；
(6)采用增強(qiáng)版的模板匹配方法，對上述待識別的字符塊進(jìn)行字符識別，具體實(shí)施步驟如下(6-1)從上述待識別的字符塊中取一個(gè)待識別的字符塊Cij，將該待識別的字符塊Cij等分為四塊區(qū)域，將每一塊區(qū)域內(nèi)的像素點(diǎn)排成一個(gè)列向量，并將與四塊區(qū)域相對應(yīng)的四個(gè)列向量接連起來，構(gòu)成一個(gè)該待識別字符塊Cij的特征向量ξij；(6-2)采集車牌樣本圖片，對車牌中可能出現(xiàn)的每個(gè)字符，從樣本圖片中手動(dòng)標(biāo)注
相應(yīng)字符塊，并將字符塊尺寸縮放H*H/2，按照步驟(6-1)中的方法進(jìn)行特征向量提取，將
所有字符的特征向量保存為一個(gè)字典D，每一個(gè)特征向量為字典D中的一個(gè)基；(6-3)采用迭代閾值選擇投影算法(Iterative Threshold-SelectiveProjection algorithm),求解上述Cij的特征向量ξij在字典D下的最稀疏的解向量叫ω,，解向量ωij的每一個(gè)分量ω ij-k表不Cij的特征向量ξ在字典D中第ζk個(gè)基的權(quán)重；(6-4)計(jì)算二范數(shù)意義下字典D中每個(gè)基ζk按與ζk對應(yīng)的權(quán)重ωij-k進(jìn)行比例縮放后的向量與Cij的特征向量ξii之間的距離dij+k，設(shè)距離dij+k中的最小距離為dij=k0，，與該最小距離dij_k0對應(yīng)的字典D中的基為ζk0,ζk0所對應(yīng)的字符即為待識別的字符塊Cij所表示的字符(6-5)重復(fù)步驟(6-1)-(6-4)，直至處理后的車牌區(qū)域pi,中所有待識別的字符塊均識別完畢；(7)重復(fù)步驟(4)-(6)，直至車牌區(qū)域的集合{P}(i = 1,2,...,N)中所有車牌區(qū)域均己處理完畢，輸出識別結(jié)果。本發(fā)明提出的車牌識別方法，其優(yōu)點(diǎn)是1、本發(fā)明使用將形態(tài)學(xué)算法與二值圖像處理相結(jié)合進(jìn)行車牌定位方法，充分利用二值圖像處理速度快的優(yōu)勢，同時(shí)引入形態(tài)學(xué)算法，可以有效去除不需要的邊緣信息對于車牌定位的干擾，彌補(bǔ)了利用二值圖像處理進(jìn)行車牌定位時(shí)對于邊緣信息較為敏感的不足。本發(fā)明通過引入一定程度的先驗(yàn)知識，在對推廣性影響較小的前提下大大提升了車牌定位的精度，實(shí)現(xiàn)了對車牌又快又準(zhǔn)的定位。2、本發(fā)明可以一次性同時(shí)檢測出單幅圖像中的多個(gè)車牌區(qū)域，并快速處理識別，實(shí)現(xiàn)了較好的多車牌識別功能。3、本發(fā)明采用了一種由粗到精的旋轉(zhuǎn)矯正方法，可以有效矯正車牌區(qū)域出現(xiàn)的傾斜現(xiàn)象，為后續(xù)的分割、識別算法提供了很好的輸入，從而大大提升整套車牌識別方法的識別精度，并且由此引入的抗旋轉(zhuǎn)特性，擴(kuò)大了該車牌識別方法的適用范圍。4、本發(fā)明對傳統(tǒng)模板匹配算法進(jìn)行了改進(jìn)，通過應(yīng)用稀疏表示理論，在傳統(tǒng)模板匹配算法速度優(yōu)勢的基礎(chǔ)上，進(jìn)一步提升了計(jì)算速度，同時(shí)大大提高了識別準(zhǔn)確性。本發(fā)明在模板匹配之后針對易混淆的字符進(jìn)行了更精細(xì)的區(qū)分識別，從而具有很低的識別錯(cuò)誤率。5、本發(fā)明可以用于實(shí)時(shí)車牌識別系統(tǒng)中，處理高速數(shù)據(jù)流，同時(shí)具有很高的識別準(zhǔn)確率，并且對于光照變化、雨霧影響、車牌模糊、字符斷裂等惡劣條件具有一定魯棒性。


圖1是本發(fā)明提出的車牌識別方法的流程框圖。圖2是本發(fā)明方法中進(jìn)行車牌區(qū)域定位的流程框圖。
具體實(shí)施例方式本發(fā)明提出的車牌識別方法，其流程框圖如圖1所示，包括以下步驟(I)讀入一張含有車牌的彩色圖像或灰度圖像，若該圖像為彩色圖像，則將其轉(zhuǎn)化為灰度圖像，記灰度圖像為初始圖像G ;(2)利用中值濾波方法對初始圖像G進(jìn)行預(yù)處理，減弱椒鹽噪聲，得到預(yù)處理后的圖像C-(3)利用二值化處理和形態(tài)學(xué)處理方法，從預(yù)處理后的圖像0中定位出車牌區(qū)域，得到預(yù)處理后的圖像6中所有車牌區(qū)域的集合{PJ (i = 1，2，. .，N)，其中N為車牌區(qū)域的總個(gè)數(shù)，Pi為第i個(gè)車牌區(qū)域，其流程框圖如圖2所示，具體步驟如下(3-1)在預(yù)處理后的圖像6上進(jìn)行邊緣檢測，可以根據(jù)實(shí)際應(yīng)用場景選擇使用不同的邊緣檢測算子進(jìn)行邊緣檢測，在實(shí)驗(yàn)中使用了 Sobel算子進(jìn)行邊緣檢測，得到預(yù)處理后的圖像0的邊緣圖像E，邊緣圖像E為二值圖像，若邊緣圖像E中的像素點(diǎn)(x，y)的像素值為1，則該像素點(diǎn)U，Y)為邊緣點(diǎn)，表示其位于預(yù)處理后的圖像6中的邊緣之上，若像素點(diǎn)(x，y)的像素值為0，則該像素點(diǎn)(x，y)為非邊緣點(diǎn)，表示該點(diǎn)沒有位于預(yù)處理后的圖像6中的邊緣之上；(3-2)將邊緣圖像E中，與邊緣圖像E的邊界相連接的邊緣上的邊緣點(diǎn)的像素值置為0，即將這一部分點(diǎn)歸為非邊緣點(diǎn)，得到預(yù)處理后的邊緣圖像(3-3)定義一個(gè)寬為Wl個(gè)像素點(diǎn)、高為Hl個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對上述預(yù)處理后的邊緣圖像片進(jìn)行形態(tài)學(xué)閉運(yùn)算，得到閉運(yùn)算后的邊緣圖像E1，本發(fā)明的一個(gè)實(shí)施例中選取了寬為30個(gè)像素點(diǎn)、高為I個(gè)像素點(diǎn)的結(jié)構(gòu)元素進(jìn)行閉運(yùn)算；形態(tài)學(xué)運(yùn)算中先進(jìn)行膨脹，后進(jìn)行腐蝕的過程，稱為形態(tài)學(xué)閉運(yùn)算，膨脹算法如下用某一特定的結(jié)構(gòu)元素，掃描圖像的每一個(gè)像素，用結(jié)構(gòu)元素與其覆蓋的二值圖像做“與”操作，如果所有的“與”操作結(jié)果都為0，則運(yùn)算輸出圖像的該像素點(diǎn)像素值為0，否則運(yùn)算輸出圖像的該像素點(diǎn)像素值為I;腐蝕算法如下用某一特定的結(jié)構(gòu)元素，掃描圖像的每一個(gè)像素，用結(jié)構(gòu)元素與其覆蓋的二值圖像做“與”操作，如果所有的“與”操作結(jié)果都為1，則運(yùn)算輸出圖像的該像素點(diǎn)像素值為1，否則運(yùn)算輸出圖像的該像素點(diǎn)像素值為O ;對邊緣圖像E先進(jìn)行膨脹，再進(jìn)行腐蝕之后完成對邊緣圖像的閉運(yùn)算，得到閉運(yùn)算輸出邊緣圖像E1;(3-4)定義一個(gè)寬為W2個(gè)像素點(diǎn)、高為H2個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對閉運(yùn)算輸出邊緣圖像E1進(jìn)行形態(tài)學(xué)開運(yùn)算，得到開運(yùn)算后的邊緣圖像E2，本發(fā)明的一個(gè)實(shí)施例中選取了寬30個(gè)像素點(diǎn)、高I個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對閉運(yùn)算輸出邊緣圖像E1進(jìn)行形態(tài)學(xué)開運(yùn)算，形態(tài)學(xué)運(yùn)算中先進(jìn)行腐蝕，后進(jìn)行膨脹的過程，稱為形態(tài)學(xué)開運(yùn)算；(3-5)定義圖像中連通的像素點(diǎn)組成的集合為連通區(qū)域，按照開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)的連通性，對開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)進(jìn)行劃分，得到連通的像素點(diǎn)組成的連通區(qū)域，使邊緣圖像E2中每個(gè)像素值為I的像素點(diǎn)與一個(gè)連通區(qū)域相對應(yīng)；(3-6)對各連通區(qū)域進(jìn)行判斷，得到所有待識別車牌所對應(yīng)的連通區(qū)域的集合，判斷步驟如下(3-6-1)從步驟(3-5)的連通區(qū)域中取一個(gè)未判斷過的連通區(qū)域A進(jìn)行判斷，若步驟(3-5)的連通區(qū)域中的所有連通區(qū)域都已經(jīng)被判斷過，則進(jìn)行步驟(3-6-5)；(3-6-2)設(shè)定車牌對應(yīng)的連通區(qū)域的寬高比為3 5. 5，將連通區(qū)域A的邊界框的寬高比與設(shè)定車牌區(qū)域的寬高比相比較，若連通區(qū)域A的邊界框的寬高比大于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比小于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A不是與車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1)；若連通區(qū)域A的邊界框的寬高比小于等于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比大于等于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A為擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-3)；(3-6-3)從預(yù)處理后的圖像(5中，取出一個(gè)與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的灰度圖像G采用自適應(yīng)閾值，將灰度圖像二值化，得到一個(gè)二值化后的與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的二值圖像Ba，設(shè)定一個(gè)與車牌對應(yīng)的連通區(qū)域在水平方向上黑白交替的次數(shù)閾值，由于國內(nèi)車牌號碼為7位，車牌對應(yīng)的連通區(qū)域邊界框范圍內(nèi)像素點(diǎn)對應(yīng)的二值圖像在水平方向黑白交替次數(shù)應(yīng)超過14次，所以該閾值在本實(shí)驗(yàn)中被設(shè)定為14，若二值圖像Ba在水平方向上黑白交替的次數(shù)小于次數(shù)閾值，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1 )，若二值圖像Ba在水平方向上黑白交替的次數(shù)大于等于次數(shù)閾值，則判定連通區(qū)域A是擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-4)；(3-6-4)計(jì)算二值圖像Ba內(nèi)像素值為I的像素點(diǎn)數(shù)目占二值圖像Ba內(nèi)所有像素點(diǎn)數(shù)目的比例a ,若α不在O. 3 O. 4之間，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，若α在0.3 0.4之間，則判定連通區(qū)域A是車牌對應(yīng)的連通區(qū)域，回到步驟(3-6-1)，進(jìn)行下一個(gè)連通區(qū)域的判斷；

(3-6-5)設(shè)所有車牌對應(yīng)的連通區(qū)域的集合為{AJ (i = 1，2，. .，N)，其中Ai為第i個(gè)車牌對應(yīng)的連通區(qū)域，按順序從連通區(qū)域的集合{AJ中取出與每個(gè)車牌相對應(yīng)的連通區(qū)域Ai的邊界框，對邊界框內(nèi)的像素點(diǎn)在預(yù)處理后的圖像6內(nèi)對應(yīng)的像素點(diǎn)，進(jìn)行二值化處理，得到一個(gè)像素點(diǎn)集合Pi,記像素點(diǎn)集合Pi為車牌區(qū)域，從而得到所有車牌區(qū)域的集合為{PJ (i = 1，2，..，N)，其中Pi為第i個(gè)車牌區(qū)域；(4)對上述車牌區(qū)域Pi進(jìn)行旋轉(zhuǎn)矯正和去邊緣處理，得到處理后的車牌區(qū)域P力后續(xù)的分割字符與識別做準(zhǔn)備，具體步驟如下(4-1)利用邊緣檢測算子，從車牌區(qū)域Pi中提取與車牌區(qū)域Pi對應(yīng)的二值邊緣圖像EPi，計(jì)算二值邊緣圖像Epi的拉冬(Radon)變換，從變換得到的矩陣中得到矩陣峰值，與矩陣峰值相對應(yīng)的角度Θ為車牌區(qū)域Pi的旋轉(zhuǎn)角度Θ，根據(jù)車牌的旋轉(zhuǎn)角度Θ對車牌區(qū)域Pi內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)Θ角，得到粗略旋轉(zhuǎn)矯正后的車牌區(qū)域Pil;(4-2)去除車牌區(qū)域Pil中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，借此去除車牌邊緣，對車牌區(qū)域進(jìn)行緊縮，得到初步緊縮的車牌區(qū)域Pi2 ；
(4-3)將初步緊縮的車牌區(qū)域Pi2中的每一行像素點(diǎn)的像素值進(jìn)行求和，設(shè)第m行像素點(diǎn)的像素值之和為Sni,按序號m從小到大的次序?qū)111進(jìn)行排序，得到S111的第一個(gè)極大值SmQ，設(shè)與Smtl相對應(yīng)的行號為mQ，對上述初步緊縮的車牌區(qū)域Pi2中的第I mQ行中像素值為I的像素點(diǎn)進(jìn)行一次多項(xiàng)式擬合，根據(jù)一次多項(xiàng)式的斜率k得到初步緊縮的車牌區(qū)域Pi2的傾斜角@ = arctan(k)，根據(jù)傾斜角免對初步緊縮的車牌區(qū)域Pi2內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)，得到精細(xì)旋轉(zhuǎn)矯正后的車牌區(qū)域Pi3 ；(4-4)去除車牌區(qū)域Pi3中的上下左右邊界處像素點(diǎn)像素值恒定的條帶，借此進(jìn)一步去除車牌邊緣，對車牌區(qū)域進(jìn)行進(jìn)一步緊縮，得到二次緊縮的車牌區(qū)域Pi4 ；(4-5)利用插值方法，對二次緊縮的車牌區(qū)域Pi4進(jìn)行比例縮放，使得車牌區(qū)域高為設(shè)定個(gè)數(shù)像素點(diǎn)H (例如30個(gè)像素點(diǎn))，比例縮放后得到一個(gè)處理后的車牌區(qū)域P(5)采用垂直投影法，對上述處理后的車牌區(qū)域進(jìn)行字符分割處理，計(jì)算處理后的車牌區(qū)域在垂直方向上的二值投影圖，并尋找波谷點(diǎn)，從波谷點(diǎn)處對整個(gè)車牌進(jìn)行字符分割，得到7個(gè)字符塊，去除每個(gè)字符塊中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，得
到緊縮后的字符塊，并將緊縮后的字符塊利用插值方法縮放至即寬f個(gè)像素點(diǎn)，高
H個(gè)像素點(diǎn)，得到待識別的字符塊，本發(fā)明的一個(gè)實(shí)施例中H取值為30，當(dāng)車牌由于外部因素有些模糊不清晰的時(shí)候，這種方法的效果更好，所以這種分割方法可以有效抵抗一定的惡劣條件；(6)采用增強(qiáng)版的模板匹配方法，對上述待識別的字符塊進(jìn)行字符識別，具體實(shí)施步驟如下(6-1)從上述待識別的字符塊中取一個(gè)待識別的字符塊Cu，將該待識別的字符塊Cij等分為四塊區(qū)域，將每一塊區(qū)域內(nèi)的像素點(diǎn)排成一個(gè)列向量，并將與四塊區(qū)域相對應(yīng)的四個(gè)列向量接連起來，構(gòu) 成一個(gè)該待識別字符塊Cu的特征向量Is ；(6-2)采集車牌樣本圖片，對車牌中可能出現(xiàn)的每個(gè)字符，從樣本圖片中手動(dòng)標(biāo)注
相應(yīng)字符塊，并將字符塊尺寸縮放/_/ ，按照步驟(6-1)中的方法進(jìn)行特征向量提取，將
所有字符的特征向量保存為一個(gè)字典D，每一個(gè)特征向量為字典D中的一個(gè)基；(6-3)采用迭代閾值選擇投影算法(Iterative Threshold-SelectiveProjection algorithm),求解上述Cij的特征向量Iil在字典D下的最稀疏的解向量( .，解向量％的每一個(gè)分量ω u_k表示Cu的特征向量吳在字典D中第k個(gè)基^的權(quán)重；(6-4)計(jì)算二范數(shù)意義下字典D中每個(gè)基乙按與己對應(yīng)的權(quán)重進(jìn)行比例縮放后的向量與Cij的特征向量義之間的距離d+k，設(shè)距離d+k中的最小距離為扎，，與該最小距離du_k(l對應(yīng)的字典D中的基為匕n，所對應(yīng)的字符即為待識別的字符塊Cu所表示的字符，當(dāng)識別結(jié)果落入一些比較難以區(qū)分的字符范圍，比如O、D、G時(shí)，需要采用不同字符的幾何特征進(jìn)行進(jìn)一步區(qū)分，由于該方法中Cu的特征向量i,在字典D下的最稀疏的解向量高，具有稀疏性，所以并不需要計(jì)算Cij的特征向量吳到字典D中所有基的距離，從而可以有效提升算法速度，并且對每個(gè)基乙按進(jìn)行比例縮放，在不提升算法復(fù)雜度的情況下，也有效的提聞了識別準(zhǔn)確率；
(6-5)重復(fù)步驟(6-1)- (6-4)，直至處理后的車牌區(qū)域^中所有待識別的字符塊均識別完畢；(7)重復(fù)步驟(4)- (6)，直至車牌區(qū)域的集合{Pi}(i = l，2，..，N)中所有車牌區(qū)域均已處理完畢，輸出識別 結(jié)果。
權(quán)利要求
1.一種機(jī)動(dòng)車牌號的識別方法，其特征在于該方法包括以下步驟 (1)讀入一張含有車牌的彩色圖像或灰度圖像，若該圖像為彩色圖像，則將其轉(zhuǎn)化為灰度圖像，記灰度圖像為初始圖像G ; (2)利用中值濾波方法對初始圖像G進(jìn)行預(yù)處理，減弱椒鹽噪聲，得到預(yù)處理后的圖像G; (3)利用二值化處理和形態(tài)學(xué)處理方法，從預(yù)處理后的圖像6中定位出車牌區(qū)域，得到預(yù)處理后的圖像6中所有車牌區(qū)域的集合{PJ (i = I,2,..,N),其中N為車牌區(qū)域的總個(gè)數(shù)，Pi為第i個(gè)車牌區(qū)域，具體步驟如下 (3-1)在預(yù)處理后的圖像6上進(jìn)行邊緣檢測，得到預(yù)處理后的圖像6的邊緣圖像E，邊緣圖像E為二值圖像，若邊緣圖像E中的像素點(diǎn)(X，y)的像素值為1，則該像素點(diǎn)U，y)為邊緣點(diǎn)，若像素點(diǎn)(X，y)的像素值為O,則該像素點(diǎn)(x，y)為非邊緣點(diǎn)； (3-2)將邊緣圖像E中，與邊緣圖像E的邊界相連接的邊緣上的邊緣點(diǎn)的像素值置為.0，得到預(yù)處理后的邊緣圖像左; (3-3)定義一個(gè)寬為Wl個(gè)像素點(diǎn)、高為Hl個(gè)像素點(diǎn)的結(jié)構(gòu)元素,對上述預(yù)處理后的邊緣圖像左進(jìn)行形態(tài)學(xué)閉運(yùn)算，得到閉運(yùn)算后的邊緣圖像E1 ； (3-4)定義一個(gè)寬為W2個(gè)像素點(diǎn)、高為H2個(gè)像素點(diǎn)的結(jié)構(gòu)元素，對閉運(yùn)算輸出邊緣圖像E1進(jìn)行形態(tài)學(xué)開運(yùn)算，得到開運(yùn)算后的邊緣圖像E2 ； (3-5)定義圖像中連通的像素點(diǎn)組成的集合為連通區(qū)域，按照開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)的連通性，對開運(yùn)算后的邊緣圖像E2中所有像素值為I的像素點(diǎn)進(jìn)行劃分，得到連通的像素點(diǎn)組成的連通區(qū)域，使邊緣圖像E2中每個(gè)像素值為I的像素點(diǎn)與一個(gè)連通區(qū)域相對應(yīng)； (3-6)對各連通區(qū)域進(jìn)行判斷，得到所有待識別機(jī)動(dòng)車牌號所對應(yīng)的連通區(qū)域的集合，判斷步驟如下 (3-6-1)從步驟(3-5)的連通區(qū)域中取一個(gè)未判斷過的連通區(qū)域A進(jìn)行判斷，若步驟(3-5)的連通區(qū)域中的所有連通區(qū)域都已經(jīng)被判斷過，則進(jìn)行步驟(3-6-5)； (3-6-2)設(shè)定車牌對應(yīng)的連通區(qū)域的寬高比為3 5. 5，將連通區(qū)域A的邊界框的寬高比與設(shè)定車牌區(qū)域的寬高比相比較，若連通區(qū)域A的邊界框的寬高比大于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比小于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A不是與車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1); 若連通區(qū)域A的邊界框的寬高比小于等于設(shè)定車牌區(qū)域的寬高比的上限，或連通區(qū)域A的邊界框的寬高比大于等于設(shè)定車牌區(qū)域的寬高比的下限，則判定連通區(qū)域A為擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-3)； (3-6-3)從預(yù)處理后的圖像&中，取出一個(gè)與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的灰度圖像采用自適應(yīng)閾值，將灰度圖像0,二值化，得到一個(gè)二值化后的與連通區(qū)域A的邊界框內(nèi)的像素點(diǎn)相對應(yīng)的二值圖像Ba，設(shè)定一個(gè)與車牌對應(yīng)的連通區(qū)域在水平方向上黑白交替的次數(shù)閾值，若二值圖像Ba在水平方向上黑白交替的次數(shù)小于次數(shù)閾值，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-1 )，若二值圖像Ba在水平方向上黑白交替的次數(shù)大于等于次數(shù)閾值，則判定連通區(qū)域A是擬定車牌對應(yīng)的連通區(qū)域，并進(jìn)行步驟(3-6-4)； (3-6-4)計(jì)算二值圖像Ba內(nèi)像素值為I的像素點(diǎn)數(shù)目占二值圖像Ba內(nèi)所有像素點(diǎn)數(shù)目的比例α，若α不在0.3 0.4之間，則判定連通區(qū)域A不是車牌對應(yīng)的連通區(qū)域，若α在O. 3 O. 4之間，則判定連通區(qū)域A是車牌對應(yīng)的連通區(qū)域，回到步驟(3-6-1 )，進(jìn)行下一個(gè)連通區(qū)域的判斷； (3-6-5)設(shè)所有車牌對應(yīng)的連通區(qū)域的集合為{AJ (i = 1，2，··，Ν)，其中Ai為第i個(gè)車牌對應(yīng)的連通區(qū)域，按順序從連通區(qū)域的集合{AJ中取出與每個(gè)車牌相對應(yīng)的連通區(qū)域^的邊界框，對邊界框內(nèi)的像素點(diǎn)在預(yù)處理后的圖像A內(nèi)對應(yīng)的像素點(diǎn)，進(jìn)行二值化處理，得到一個(gè)像素點(diǎn)集合Pi,記像素點(diǎn)集合Pi為車牌區(qū)域，從而得到所有車牌區(qū)域的集合為{PJ(i = 1，2，. .，N)，其中Pi為第i個(gè)車牌區(qū)域； (4)對上述車牌區(qū)域Pi進(jìn)行旋轉(zhuǎn)矯正和去邊緣處理，得到處理后的車牌區(qū)域^，具體步驟如下 (4-1)利用邊緣檢測算子，從車牌區(qū)域Pi中提取與車牌區(qū)域Pi對應(yīng)的二值邊緣圖像EPi，計(jì)算二值邊緣圖像Epi的拉冬(Radon)變換，從變換得到的矩陣中得到矩陣峰值，與矩陣峰值相對應(yīng)的角度Θ為車牌區(qū)域Pi的旋轉(zhuǎn)角度Θ，根據(jù)車牌的旋轉(zhuǎn)角度Θ對車牌區(qū)域Pi內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)Θ角，得到粗略旋轉(zhuǎn)矯正后的車牌區(qū)域Pil; (4-2)去除車牌區(qū)域Pil中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，得到初步緊縮的車牌區(qū)域Pi2 ； (4-3)將初步緊縮的車牌區(qū)域Pi2中的每一行像素點(diǎn)的像素值進(jìn)行求和，設(shè)第m行像素點(diǎn)的像素值之和為S111,按序號m從小到大的次序?qū)111進(jìn)行排序，得到Sni的第一個(gè)極大值Snitl,設(shè)與Smtl相對應(yīng)的行號為mQ，對上述初步緊縮的車牌區(qū)域Pi2中的第I mQ行中像素值為I的像素點(diǎn)進(jìn)行一次多項(xiàng)式擬合，根據(jù)一次多項(xiàng)式的斜率k得到初步緊縮的車牌區(qū)域Pi2的傾斜角爐=arctan(k)，根據(jù)傾斜角識對初步緊縮的車牌區(qū)域Pi2內(nèi)所有像素點(diǎn)進(jìn)行反向旋轉(zhuǎn)，得到精細(xì)旋轉(zhuǎn)矯正后的車牌區(qū)域Pi3 ； (4-4)去除車牌區(qū)域Pi3中的上下左右邊界處像素點(diǎn)像素值恒定的條帶，得到二次緊縮的車牌區(qū)域Pi4 ； (4-5)利用插值方法，對二次緊縮的車牌區(qū)域Pi4進(jìn)行比例縮放，使得車牌區(qū)域高為設(shè)定個(gè)數(shù)像素點(diǎn)H，比例縮放后得到一個(gè)處理后的車牌區(qū)域色； (5)采用垂直投影法，對上述處理后的車牌區(qū)域^進(jìn)行字符分割處理，計(jì)算處理后的車牌區(qū)域色在垂直方向上的二值投影圖，并尋找波谷點(diǎn)，從波谷點(diǎn)處對整個(gè)車牌進(jìn)行字符分害!]，得到7個(gè)字符塊，去除每個(gè)字符塊中上下左右邊界處像素點(diǎn)的像素值恒定的條帶，得到緊縮后的字符塊，并將緊縮后的字符塊利用插值方法縮放至H*H/2，即寬H/2個(gè)像素點(diǎn)，高H 個(gè)像素點(diǎn)，得到待識別的字符塊； (6)采用增強(qiáng)版的模板匹配方法，對上述待識別的字符塊進(jìn)行字符識別，具體實(shí)施步驟如下 (6-1)從上述待識別的字符塊中取一個(gè)待識別的字符塊Cu，將該待識別的字符塊Cij等分為四塊區(qū)域，將每一塊區(qū)域內(nèi)的像素點(diǎn)排成一個(gè)列向量并將與四塊區(qū)域相對應(yīng)的四個(gè)列向量接連起來，構(gòu)成一個(gè)該待識別字符塊Cu的特征向量(6-2)采集車牌樣本圖片，對車牌中可能出現(xiàn)的每個(gè)字符，從樣本圖片中手動(dòng)標(biāo)注相應(yīng)字符塊，并將字符塊尺寸縮放/_/*#，按照步驟(6-1)中的方法進(jìn)行特征向量提取，將所有字符的特征向量保存為一個(gè)字典D，每一個(gè)特征向量為字典D中的一個(gè)基；(6-3)米用迭代閾值選擇投影算法(Iterative Threshold-Selective Projectionalgorithm),求解上述Cij的特征向量Iij在字典D下的最稀疏的解向量，解向量<5#的每一個(gè)分量ω u_k表示Cu的特征向量Is在字典D中第k個(gè)基&的權(quán)重；(6-4)計(jì)算二范數(shù)意義下字典D中每個(gè)基己按與己對應(yīng)的權(quán)重進(jìn)行比例縮放后的向量與Cij的特征向量&之間的距離diHt，設(shè)距離d+k中的最小距離為Clij,，與該最小距離Clij,對應(yīng)的字典D中的基為，^ldl所對應(yīng)的字符即為待識別的字符塊Cu所表示的字符；(6-5)重復(fù)步驟(6-1)- (6-4)，直至處理后的車牌區(qū)域^中所有待識別的字符塊均識別完畢； (7)重復(fù)步驟(4)- (6)，直至車牌區(qū)域的集合{PJ (i = l，2，..，N)中所有車牌區(qū)域均已處理完畢，輸出識別結(jié)果。
全文摘要
本發(fā)明涉及一種機(jī)動(dòng)車牌號的識別方法，屬于車牌識別技術(shù)領(lǐng)域。首先對含有車牌的輸入圖像進(jìn)行中值濾波去噪，然后利用二值化處理和形態(tài)學(xué)處理方法進(jìn)行多車牌區(qū)域的定位，然后對車牌區(qū)域逐個(gè)進(jìn)行旋轉(zhuǎn)矯正和去邊緣處理，并利用垂直投影法進(jìn)行字符切割，對切割得到的字符塊進(jìn)行進(jìn)一步去邊緣處理后，利用增強(qiáng)版模板匹配方法進(jìn)行字符識別，從而實(shí)現(xiàn)快速準(zhǔn)確的車牌識別。本發(fā)明方法提高了車牌定位的精度，實(shí)現(xiàn)了對車牌又快又準(zhǔn)的定位?？梢杂糜趯?shí)時(shí)車牌識別系統(tǒng)中，處理高速數(shù)據(jù)流，同時(shí)具有很高的識別準(zhǔn)確率，并且對于光照變化、雨霧影響、車牌模糊、字符斷裂等惡劣條件具有一定魯棒性。
文檔編號G06K9/54GK103065138SQ20121052040
公開日2013年4月24日 申請日期2012年12月6日 優(yōu)先權(quán)日2012年12月6日
發(fā)明者李偉欣, 弋力, 溫江濤 申請人:新疆公眾信息產(chǎn)業(yè)股份有限公司