一種新的車牌識(shí)別方法及系統(tǒng)的制作方法
【專利摘要】一種新的車牌識(shí)別方法及系統(tǒng)，具體為利用多種圖像處理算法來完成從車牌圖像預(yù)處理到最終的車牌字符識(shí)別的完整車牌識(shí)別系統(tǒng)，在車牌定位中，采用了基于數(shù)學(xué)形態(tài)學(xué)濾波技術(shù)；在車牌字符分割提取中，使用了垂直投影等方法；最后通過基于多特征提取的模板匹配技術(shù)完成了車牌字符識(shí)別。與現(xiàn)有技術(shù)相比，本發(fā)明車牌識(shí)別方法與系統(tǒng)能實(shí)現(xiàn)快速、魯棒和精確的車牌識(shí)別。
【專利說明】-種新的車牌識(shí)別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識(shí)別【技術(shù)領(lǐng)域】，尤其是一種新的車牌識(shí)別方法及系統(tǒng)。

【背景技術(shù)】
[0002] 近年來，隨著我國交通運(yùn)輸業(yè)的迅猛發(fā)展的同時(shí)也帶來了頻發(fā)的交通事故、交通 擁堵、交通污染等問題，建立高效的智能交通運(yùn)輸系統(tǒng)ITS(Intelligent Transportation System)已經(jīng)成為當(dāng)前亟待解決的問題。車輛牌照是目前唯一能外在標(biāo)識(shí)汽車的身份的標(biāo) 志符號(hào)，因而車輛牌照識(shí)別系統(tǒng)LPRS (License Plate Recognition System)是ITS系統(tǒng)中 最關(guān)鍵的技術(shù)之一。
[0003] 車牌識(shí)別系統(tǒng)由車牌定位、車牌分割和字符識(shí)別三個(gè)關(guān)鍵模塊組成，三大模塊依 次進(jìn)行。車牌定位是把車牌從整個(gè)車輛圖像中提取出來，車牌分割是把車牌圖像分成一個(gè) 個(gè)獨(dú)立字符的過程，字符識(shí)別就是提取字符的特征數(shù)據(jù)，采用模板匹配或神經(jīng)網(wǎng)絡(luò)的識(shí)別 方法進(jìn)行識(shí)別，給出識(shí)別結(jié)果。構(gòu)成車牌識(shí)別系統(tǒng)的任何一個(gè)模塊失誤都會(huì)影響系統(tǒng)的性 能，圖像處理和計(jì)算機(jī)視覺等技術(shù)的發(fā)展，已經(jīng)促使車牌識(shí)別系統(tǒng)從理論向?qū)嶋H應(yīng)用的方 向發(fā)展，但在實(shí)際應(yīng)用中，車牌識(shí)別系統(tǒng)在光線不好，車牌質(zhì)量不好等情況下，通用性和魯 棒性較差，因而車牌識(shí)別系統(tǒng)除了需要拍攝質(zhì)量較好的車輛圖像外，還需要進(jìn)一步研究并 提高車牌識(shí)別系統(tǒng)中各個(gè)模塊的正確率。
[0004] 到了 20世紀(jì)90年代末，國外研究機(jī)構(gòu)和公司開始系統(tǒng)地對(duì)車牌識(shí)別的技術(shù)進(jìn)行 研究和開發(fā)應(yīng)用，提出了很多識(shí)別算法，其中實(shí)用性強(qiáng)，魯棒性好，性能好的車牌識(shí)別系統(tǒng) 開始用于停車場的電子收費(fèi)、路口的出入車輛控制、道路行駛車輛的實(shí)時(shí)監(jiān)控等。很多公司 研制生產(chǎn)了車牌識(shí)別方面的產(chǎn)品，如新加坡Zamir公司開發(fā)的Insignia系統(tǒng)和Optasia公 司研發(fā)的VPLRS系統(tǒng)，以色列Hi. Tech公司生產(chǎn)的See/Car System系列，這些產(chǎn)品都有很 強(qiáng)的針對(duì)性，像VLPRS產(chǎn)品主要針對(duì)新加坡所用的車牌進(jìn)行識(shí)別，對(duì)其他國家的車牌識(shí)別 效果較差，Insignia系統(tǒng)則是根據(jù)歐洲和遠(yuǎn)東地區(qū)所采用的車牌特點(diǎn)而研究開發(fā)特定的車 牌識(shí)別系統(tǒng)，雖然Hi. Tech公司研發(fā)的See/Car System根據(jù)不同國家的車牌特點(diǎn)研制了相 對(duì)應(yīng)的識(shí)別系統(tǒng)，但是See/Car System系列識(shí)別漢字的準(zhǔn)確率很低，不能用于我國車牌識(shí) 別系統(tǒng)。
[0005] 我國相對(duì)國外來說起步比較晚，但在車牌識(shí)別技術(shù)研究方面發(fā)展迅速，我國在短 時(shí)間內(nèi)取得了不錯(cuò)的發(fā)展，而且國內(nèi)的許多公司還研發(fā)生產(chǎn)了車牌識(shí)別方面的產(chǎn)品，主要 包括：深圳市科安信實(shí)業(yè)有限公司、上海高德威智能交通系統(tǒng)有限公司、中國自動(dòng)化研究所 的漢王公司和北京蘭亭三和科技公司以及中國香港的亞洲視覺公司等。目前國內(nèi)這些公司 所生產(chǎn)的車牌識(shí)別系統(tǒng)在車牌圖像傾斜、有污跡、遭受磨損等情況下，識(shí)別率不高，對(duì)環(huán)境 適應(yīng)性差。因此，目前仍需要對(duì)車牌識(shí)別技術(shù)進(jìn)行深入研究，開發(fā)適合實(shí)用性強(qiáng)、魯棒性好 的車牌識(shí)別方法及系統(tǒng)。


【發(fā)明內(nèi)容】

[0006] 針對(duì)目前車牌識(shí)別系統(tǒng)所存在的問題，本發(fā)明提出了一種可實(shí)現(xiàn)快速、魯棒和精 確的車牌識(shí)別的車牌識(shí)別方法及系統(tǒng)。
[0007] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案為： 一種新的車牌識(shí)別方法，包括如下步驟： a) 車牌圖像預(yù)處理，獲得車牌的二值化圖像； b) 車牌定位：首先利用垂直Sobel邊緣檢測算法對(duì)預(yù)處理后的二值化圖像進(jìn)行垂直 邊緣的檢測，再利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)邊緣圖像進(jìn)行車牌區(qū)域的粗定位，最后利用投影方 法來實(shí)現(xiàn)車牌區(qū)域的精確定位； c) 車牌字符分割：首先將車牌區(qū)域的邊框去除，然后再利用垂直投影方法來分割字 符； d) 車牌字符識(shí)別：采用基于多特征的模板匹配識(shí)別方法，即首先將字符圖像進(jìn)行歸一 化處理，然后提取字符圖像的輪廓特征、投影特征，與模板庫中的相應(yīng)字符的特征進(jìn)行匹配 對(duì)比，以達(dá)到精確識(shí)別。
[0008] 本發(fā)明還提供一種新的車牌識(shí)別系統(tǒng)，包括車牌圖像預(yù)處理模塊，用于對(duì)存在車 牌的圖像進(jìn)行圖像預(yù)處理，獲得車牌的二值化圖像；車牌定位模塊，用于基于數(shù)學(xué)形態(tài)學(xué)濾 波技術(shù)實(shí)現(xiàn)車牌區(qū)域的精確定位；車牌字符分割模塊，用于利用垂直投影方法把定位好后 的車牌區(qū)域圖像中的每個(gè)字符提取出來成為單個(gè)的字符；車牌字符識(shí)別模塊，用于采用基 于多特征的模板匹配識(shí)別方法精確識(shí)別車牌字符。
[0009] 本發(fā)明利用多種圖像處理算法來完成整個(gè)車牌識(shí)別從預(yù)處理直到最后的車牌識(shí) 別這一整個(gè)車牌識(shí)別系統(tǒng)，在車牌定位中，采用了基于數(shù)學(xué)形態(tài)學(xué)濾波技術(shù)；在車牌字符分 割提取中，使用了垂直投影等方法；最后通過基于多特征提取的模板匹配技術(shù)完成了車牌 字符識(shí)別，這種車牌識(shí)別方法與系統(tǒng)能實(shí)現(xiàn)快速、魯棒和精確的車牌識(shí)別。

【具體實(shí)施方式】
[0010] 本發(fā)明實(shí)施例中，新的車牌識(shí)別方法包括車牌圖像預(yù)處理、車牌定位、車牌字符分 割提取與車牌字符識(shí)別等關(guān)鍵步驟，下面一一敘述。
[0011] a)車牌圖像預(yù)處理 在車牌識(shí)別系統(tǒng)中，由于攝像機(jī)拍攝采集得到的圖像往往受到諸多因素影響而導(dǎo)致圖 像質(zhì)量無法直接用于系統(tǒng)處理，因此需要首先對(duì)存在車牌的圖像進(jìn)行圖像預(yù)處理。在經(jīng)過 預(yù)處理后，可以去除圖像中噪聲、增強(qiáng)圖像關(guān)鍵信息、并能減少圖像處理復(fù)雜度，可直接提 高整個(gè)車牌識(shí)別系統(tǒng)的魯棒性和精確性。車牌圖像預(yù)處理工作主要分為以下三個(gè)步驟。
[0012] 步驟1、灰度化：一般情況下，由攝像頭采集到的車輛圖像均為彩色圖像，由于彩 色圖像文件的占用存儲(chǔ)空間大且影響處理圖像的速度，因此，首先需要對(duì)彩色圖像灰度化 處理，一般如下式所示：

【權(quán)利要求】
1. 一種新的車牌識(shí)別方法，其特征在于包括如下步驟： a) 車牌圖像預(yù)處理，獲得車牌的二值化圖像； b) 車牌定位：首先利用垂直Sobel邊緣檢測算法對(duì)預(yù)處理后的二值化圖像進(jìn)行垂直 邊緣的檢測，再利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)邊緣圖像進(jìn)行車牌區(qū)域的粗定位，最后利用投影方 法來實(shí)現(xiàn)車牌區(qū)域的精確定位； c) 車牌字符分割：首先將車牌區(qū)域的邊框去除，然后再利用垂直投影方法來分割字 符； d) 車牌字符識(shí)別：采用基于多特征的模板匹配識(shí)別方法，即首先將字符圖像進(jìn)行歸一 化處理，然后提取字符圖像的輪廓特征、投影特征，與模板庫中的相應(yīng)字符的特征進(jìn)行匹配 對(duì)比，以達(dá)到精確識(shí)別。
2. 根據(jù)權(quán)利要求1所述的新的車牌識(shí)別方法，其特征在于：車牌圖像預(yù)處理包括以下 步驟： 步驟一，灰度化：對(duì)彩色圖像灰度化處理，如下式所示：
(1) 式（1)中,分別為像素fu)處的紅、綠、藍(lán)色的強(qiáng)度值為灰度化后 的灰度值； 步驟二，圖像增強(qiáng)：采用基于拉普拉斯銳化掩模的圖像增強(qiáng)方法，其公式為：
(2)
式⑵中為輸人的灰度圖像為增強(qiáng)后圖像, 為輸入圖像 的拉普拉斯算子，其定義為：
(3) 利用拉普拉斯算子矩陣
與輸入圖像進(jìn)行卷積后來得到上述的
利用銳化掩模矩陣
與輸入圖像進(jìn)行卷積后得到最終的 增強(qiáng)圖像 步驟三，圖像二值化：將圖像灰度值設(shè)置為0或者1的過程，使整個(gè)圖像呈現(xiàn)非黑即 白的效果，見如下公式所示：
(4) 式（4)中，為最佳閾值，表示得到的增強(qiáng)圖像的最大灰度值，為增強(qiáng)圖像 的最小灰度值，最終的二值化圖像通過下式來得到：
(5) 上式（5)中的輸入卩為增強(qiáng)后的圖像，及)1￡17(1，/)為最終的二值化圖像。
3. 根據(jù)權(quán)利要求1所述的新的車牌識(shí)別方法，其特征在于，車牌定位包括以下步驟： 步驟一，垂直邊緣提?。夯诖怪盨obel邊緣檢測算法提取圖像中的垂直邊緣，也就是 利用Sobel垂直卷積核來與輸入的二值化圖像中每一像素點(diǎn)進(jìn)行卷積運(yùn)算后來得到垂直 邊緣圖像； 步驟二，數(shù)學(xué)形態(tài)學(xué)濾波：采用數(shù)學(xué)形態(tài)學(xué)濾波方法運(yùn)對(duì)圖像進(jìn)行變換，來突出所需要 的圖像信息，具體方法就是采用具備所需幾何形態(tài)的結(jié)構(gòu)元與二值化圖像進(jìn)行集合運(yùn)算， 首先使用閉運(yùn)算，再使用開運(yùn)算，最終得到所需要的形態(tài)學(xué)濾波后圖像，具體步驟如下： a)首先對(duì)垂直邊緣二值化圖像;^進(jìn)行結(jié)構(gòu)元
的閉運(yùn)算，即結(jié)構(gòu)元β定義 為高度為5像素，長度為19像素的矩形，閉運(yùn)算是使用同一個(gè)結(jié)構(gòu)元素對(duì)圖像先膨脹后腐 蝕的運(yùn)算，因此，目標(biāo)圖像if在結(jié)構(gòu)元δ下的閉運(yùn)算定義如下：
(6) 式（6)中，
定義為膨脹操作，即對(duì)于給定的目標(biāo)圖像y?和結(jié)構(gòu)元R ，將y中每一點(diǎn)X擴(kuò)大為&的操作；而
1定義為腐蝕操作，即滿足
的點(diǎn)1的全體構(gòu)成結(jié)構(gòu)元β與目標(biāo)圖像f的最大相關(guān)點(diǎn)集； (2)再對(duì)進(jìn)行閉運(yùn)算后的圖像y進(jìn)行結(jié)構(gòu)元5 = [1,19]的開運(yùn)算，即結(jié)構(gòu)元S定義為 高度為5像素，長度為19像素的矩形，開運(yùn)算是使用同一個(gè)結(jié)構(gòu)元素對(duì)圖像先腐蝕后膨脹 的運(yùn)算，因此，目標(biāo)圖像_^在結(jié)構(gòu)元δ下的開運(yùn)算定義如下：
(7) 式（7)中，
為膨脹操作，而
為腐蝕操作； 步驟三，根據(jù)車牌先驗(yàn)知識(shí)確定車牌區(qū)域：利用我國的車牌的先驗(yàn)知識(shí)從這些僅存的 候選區(qū)域中確定真實(shí)的車牌區(qū)域，首先，計(jì)算各個(gè)候選的矩形區(qū)域的長寬比，若長寬比在 2. 5和4. 5之間的則確定為可能的車牌區(qū)域，若出現(xiàn)多個(gè)可能的車牌區(qū)域，則測量該區(qū)域的 寬度和長度來判斷是否滿足車牌的真實(shí)寬度和長度，這樣就能最終確定唯一的真實(shí)的車牌 區(qū)域，最后根據(jù)所提取的區(qū)域頂點(diǎn)坐標(biāo)，將真實(shí)的車牌區(qū)域從原始的輸入灰度輸入圖像中 裁剪出來。
4. 根據(jù)權(quán)利要求1所述的新的車牌識(shí)別方法，其特征在于，車牌字符分割包括以下步 驟： 步驟一，去除車牌區(qū)域邊框：根據(jù)字符的跳變規(guī)律去掉上下邊框和鉚釘，具體做法為： (1)去除上下邊框主要是統(tǒng)計(jì)車牌區(qū)域中每行像素值跳變次數(shù)，設(shè)跳變閾值為 = 14; (2) 從車牌區(qū)域圖像的中間一行向上掃描統(tǒng)計(jì)，當(dāng)遇到第一次每行跳變次數(shù)小于閾值 時(shí)，則停止，取字符區(qū)域的上界為該行的下一行位置； (3) 從車牌區(qū)域圖像的中間一行向下掃描統(tǒng)計(jì)，當(dāng)遇到第一次每行跳變次數(shù)小于閾值 時(shí)，則停止，取字符區(qū)域的下界為該行的上一行位置； (4) 至此，去掉了上下邊框和鉚釘?shù)淖址麉^(qū)域的上下邊界就確定了；
(5) 去除左右邊框主要是統(tǒng)計(jì)每列非零像素值的個(gè)數(shù)，并設(shè)閾值為 為車 牌區(qū)域圖像的寬度； (6) 從車牌區(qū)域圖像的中間一列向左掃描，當(dāng)遇到第一次每列非零像素值個(gè)數(shù)大于閾 值時(shí)，則停止掃描，并取該列的右邊一列為新的字符區(qū)域的左邊界； (7) 從車牌區(qū)域圖像的中間一列向右掃描，當(dāng)遇到第一次每列非零像素值個(gè)數(shù)大于閾 值1^時(shí)，則停止掃描，并取該列的左邊一列為新的字符區(qū)域的右邊界； 步驟二，垂直投影分割字符，具體做法如下： (1) 設(shè)車牌字符區(qū)域二值圖像的垂直投影分布圖為其中/代表了列數(shù)，而 /(^+)是第j列所有像素值為1的像素點(diǎn)的個(gè)數(shù)，從車牌字符區(qū)域圖像的最左邊向最右邊 掃描統(tǒng)計(jì)每列的垂直投影；
(2) 根據(jù)垂直投影圖，設(shè)定一個(gè)閾值 其中?為車牌區(qū)域圖像的寬度，令 W j = 1,從車牌從左向右依次掃描垂直投影滿足條件一
，條件二
時(shí)，則標(biāo)記為臨界點(diǎn)Λνι ￠/),臨界點(diǎn)記錄了分割列所 在的位置，按照該列就將各個(gè)字符分割開。
5.根據(jù)權(quán)利要求1所述的新的車牌識(shí)別方法，其特征在于，車牌字符識(shí)別包括以下步 驟： 步驟一，字符圖像的歸一化：假設(shè)原始的字符圖像大小為ix β，歸一化變換后的字符 大小為H X 原始字符中的某個(gè)像素點(diǎn)￡1的位置是b Λ,則歸一化后所在位置?) 由下式得到：
(8) 首先統(tǒng)計(jì)每個(gè)字符的垂直投影和水平投影，分別從上、下、左、右四個(gè)邊框位置向內(nèi)掃 描，記錄初次出現(xiàn)投影值大于等于1的位置，并將該位置作為新的邊框，然后利用公式（8) 和最近鄰插值法將字符大小統(tǒng)一為48X24 ; 步驟二，字符圖像的特征提?。涸O(shè)字符圖像大小為If xf/,則下面為特征提取 的具體過程： (1) 輪廓特征提?。和ㄟ^對(duì)其進(jìn)行行列掃描，記錄下掃描時(shí)圖像中像素值有跳變的坐標(biāo) 位置，提取字符的輪廓特征，具體步驟為：依次記從左至右、從右至左、從上至下、從下至上 掃描圖像時(shí)像素值從〇變到1的第一個(gè)像素點(diǎn)的坐標(biāo)分別為
和
(2) 投影特征提?。菏紫壤孟率剑?)求字符的水平投影和垂直投影
(9) 再求出字符的垂直投影密度，設(shè)字符總的像素值，
，則垂直投影密度
即在垂直方向上，垂直投影密度是根據(jù)每列的投影值除以字符總的像素值 得到，該密度特征反映的是每一列像素值所占整個(gè)字符像素值的比例，字符歸一后的大小 為48X24,故其水平投影值的個(gè)數(shù)為48個(gè)，將這48個(gè)值依次排成一列，共48維，該向量表 示字符的水平投影特征，垂直投影密度共計(jì)24個(gè)，依次排成一列，共24維，表示字符的垂直 投影密度； 步驟三，基于多特征的字符匹配識(shí)別：分別提取待識(shí)別字符Q和標(biāo)準(zhǔn)模板P的輪廓特征 和投影特征，并計(jì)算這些特征之間的歐式距離值，進(jìn)行模板匹配，距離最小者，則認(rèn)為這兩 個(gè)字符最相似，輸出模板字符。
6. -種新的車牌識(shí)別系統(tǒng)，其特征在于，包括： 車牌圖像預(yù)處理模塊，用于對(duì)存在車牌的圖像進(jìn)行圖像預(yù)處理，獲得車牌的二值化圖 像； 車牌定位模塊，用于基于數(shù)學(xué)形態(tài)學(xué)濾波技術(shù)實(shí)現(xiàn)車牌區(qū)域的精確定位； 車牌字符分割模塊，用于利用垂直投影方法把定位好后的車牌區(qū)域圖像中的每個(gè)字符 提取出來成為單個(gè)的字符； 車牌字符識(shí)別模塊，用于采用基于多特征的模板匹配識(shí)別方法精確識(shí)別車牌字符。
7. 根據(jù)權(quán)利要求6所述的新的車牌識(shí)別系統(tǒng)，其特征在于，車牌圖像預(yù)處理模塊包括： 灰度化單元，用于對(duì)彩色圖像灰度化處理； 圖像增強(qiáng)單元，用于增強(qiáng)圖像； 圖像二值化單元，用于將圖像灰度值設(shè)置為〇或者1，使整個(gè)圖像呈現(xiàn)非黑即白的效 果。
8. 根據(jù)權(quán)利要求6所述的新的車牌識(shí)別系統(tǒng)，其特征在于，車牌定位模塊包括： 垂直邊緣提取單元，用于基于垂直Sobel邊緣檢測算法提取圖像中的垂直邊緣； 數(shù)學(xué)形態(tài)學(xué)濾波單元，用于采用數(shù)學(xué)形態(tài)學(xué)濾波方法運(yùn)對(duì)圖像進(jìn)行變換，來突出所需 要的圖像信息； 車牌區(qū)域確定單元，用于根據(jù)車牌先驗(yàn)知識(shí)確定車牌區(qū)域。
9. 根據(jù)權(quán)利要求6所述的新的車牌識(shí)別系統(tǒng)，其特征在于，車牌字符分割模塊包括： 去除車牌區(qū)域邊框單元，用于根據(jù)字符的跳變規(guī)律去掉上下邊框和鉚釘； 垂直投影分割字符單元，用于將各個(gè)字符分割開。
10. 根據(jù)權(quán)利要求6所述的新的車牌識(shí)別系統(tǒng)，其特征在于，車牌字符識(shí)別模塊包括： 字符圖像歸一化單元，用于對(duì)分割后的字符圖像做歸一化處理，將待識(shí)別字符尺寸歸 一化到標(biāo)準(zhǔn)字符模板的尺寸； 字符圖像特征提取單元，用于通過分析字符的結(jié)構(gòu)或統(tǒng)計(jì)結(jié)構(gòu)，提取字符的輪廓特征 與投影特征； 基于多特征的字符匹配識(shí)別單元，用于分別提取待識(shí)別字符Q和標(biāo)準(zhǔn)模板P的輪廓特 征和投影特征，并計(jì)算這些特征之間的歐式距離值，進(jìn)行模板匹配，輸出模板字符。
【文檔編號(hào)】G06K9/00GK104156704SQ201410378116
【公開日】2014年11月19日 申請(qǐng)日期:2014年8月4日 優(yōu)先權(quán)日:2014年8月4日
【發(fā)明者】胡艷艷 申請(qǐng)人:胡艷艷