本發(fā)明屬于圖像處理和數(shù)據(jù)挖掘技術(shù)，具體涉及一種從圖片中識(shí)別車牌的方法。

背景技術(shù)：

車牌識(shí)別行業(yè)已經(jīng)具備了一定的市場(chǎng)規(guī)模，如電子警察、停車場(chǎng)、汽修服務(wù)等領(lǐng)域都取得了一定的應(yīng)用，總體而言，車牌識(shí)別行業(yè)在我國(guó)處于發(fā)展階段。

識(shí)別算法是車牌行業(yè)發(fā)展的主要瓶頸，識(shí)別精度這是車牌識(shí)別質(zhì)量好壞的重要指標(biāo)，也是判斷車牌識(shí)別能否取得廣泛應(yīng)用的關(guān)鍵因素。當(dāng)前我國(guó)車牌識(shí)別的行業(yè)可謂是魚龍混雜，雖然做車牌識(shí)別的公司很多，但是擁有核心技術(shù)和算法公司相對(duì)來說較少。且因公司較多，每個(gè)公司均占有一定的市場(chǎng)份額，集中度較低，缺乏真正意義的領(lǐng)導(dǎo)品牌。

目前車牌識(shí)別主要有兩種識(shí)別方式，一種稱為“硬識(shí)別”，另外一種稱為“軟識(shí)別”。硬識(shí)別是指將車牌識(shí)別的軟件模塊嵌入到軟件中從而進(jìn)行車牌識(shí)別，軟識(shí)別是指通過對(duì)圖片處理來獲取圖片中的車牌?，F(xiàn)有的這些車牌識(shí)別方法往往不能適應(yīng)各種復(fù)雜環(huán)境造成的車牌模糊的情況，從而識(shí)別率低。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：針對(duì)現(xiàn)有車牌識(shí)別技術(shù)中存在的問題，提出一種從圖片中識(shí)別車牌的方法。

技術(shù)方案：本發(fā)明一種從圖片中識(shí)別車牌的方法，依次包括以下步驟：

(1)采用車牌定位來確定包含車牌的矩形圖片，即通過結(jié)合顏色定位和Sobel定位產(chǎn)生候選的車牌位置圖片，然后采用SVM分類模型確定候選車牌圖片中是否包含字符，確定真正車牌圖片；

(2)采用字符分割將車牌中車牌號(hào)的字符分別提取，即通過對(duì)步驟(1)所得的車牌圖塊進(jìn)行字符分割，分別識(shí)別每一個(gè)字符便可獲取該車牌的車牌號(hào)碼；

(3)基于神經(jīng)網(wǎng)絡(luò)模型對(duì)車牌號(hào)中的字符進(jìn)行識(shí)別。

進(jìn)一步的，所述步驟(1)中的顏色定位的具體方法為：將圖像的顏色空間由RGB根據(jù)公式轉(zhuǎn)換為HSV，對(duì)圖像使用直方圖均衡進(jìn)行預(yù)處理；遍歷圖片中的像素，對(duì)H值在200-280之間，S和V均大于閾值的像素標(biāo)記為白點(diǎn)像素，對(duì)其余像素標(biāo)記為黑點(diǎn)像素，產(chǎn)生二值化圖像；對(duì)二值圖像使用閉操作，取輪廓等方法獲取車牌的外接矩形。最終產(chǎn)生多個(gè)候選的車牌圖片。

進(jìn)一步的，所述步驟(1)中的Sobel定位的具體過程依次包括：高斯模糊處理、灰度化、Sobel算子、二值化處理、閉操作、取輪廓、判斷車牌大小、角度判斷、旋轉(zhuǎn)以及尺寸標(biāo)準(zhǔn)化。其中，判斷車牌大小根據(jù)中國(guó)車牌寬高比為3.14，來判斷可能的車牌范圍，尺寸標(biāo)準(zhǔn)化將定位出的車牌范圍車牌尺寸調(diào)整為寬136mm，高36mm的矩形。最終產(chǎn)生多個(gè)候選的車牌圖片。

進(jìn)一步的，所述步驟(1)中利用SVM模型對(duì)定位出的圖塊進(jìn)行分類的具體方法是針對(duì)通過顏色定位和Sobel定位后產(chǎn)生候選的車牌位置圖片，采用OpenCV中內(nèi)置的SVM模型實(shí)現(xiàn)EASYPR實(shí)現(xiàn)最終車牌圖片的選擇。

進(jìn)一步的，所述步驟(2)具體依次包括以下步驟：二值化、取輪廓；二值化時(shí)，由于藍(lán)色車牌與黃色車牌中字體顏色不同，需要采用不同的二值化參數(shù)，藍(lán)色車牌采用OpenCv中的CV_THRESH_BINARY參數(shù)，而黃色車牌采用的是CV_THRESH_BINARY_INV參數(shù)；取輪廓操作時(shí)，針對(duì)第一個(gè)漢字，直接取車牌圖片1/7和2/7位置處的矩形框，避免漢字被拆分的問題。

進(jìn)一步的，所述步驟(3)中采用OpenCv中提供的神經(jīng)網(wǎng)絡(luò)類CvANN_MLP進(jìn)行字符識(shí)別，具體方法為：

(31)實(shí)例化CvANN_MLP，使用CvANN_MLP構(gòu)造神經(jīng)網(wǎng)絡(luò)。

(32)加載ANN.XML，ANN.XML是已訓(xùn)練好的字符識(shí)別權(quán)值矩陣。

(33)進(jìn)行字符識(shí)別，將每個(gè)字符圖塊預(yù)處理之后輸入到神經(jīng)網(wǎng)絡(luò)中便可獲取一個(gè)最接近的字符。

有益效果：本發(fā)明通過處理圖像來獲取圖像中的車牌，車牌識(shí)別主要包括兩個(gè)流程，車牌定位和字符識(shí)別，車牌定位的目的是將圖片中包含車牌的圖塊分割出來，而字符識(shí)別的目的是將分割出來的圖片中的字符進(jìn)行識(shí)別。本發(fā)明采用顏色定位與Sobel定位相結(jié)合的方式實(shí)現(xiàn)車牌定位；通過對(duì)車牌圖像進(jìn)行顏色判斷，然后進(jìn)行二值化，并提取字符輪廓和外接矩形，實(shí)現(xiàn)字符分割；采用神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)車牌字符識(shí)別。本發(fā)明的車牌識(shí)別率較高，能夠適應(yīng)在不同特殊情況的車牌識(shí)別。

附圖說明

圖1為本發(fā)明中車牌識(shí)別整體流程示意圖；

圖2為本發(fā)明中車牌定位總體流程圖；

圖3為本發(fā)明中車牌Sobel定位的主要流程圖；

圖4為本發(fā)明中車牌字符分割流程圖；

圖5為本發(fā)明中車牌字符取輪廓操作效果圖；

圖6為實(shí)施例1中燈光昏暗條件車牌識(shí)別效果圖；

圖7為實(shí)施例1中雨天條件車牌識(shí)別效果圖；

圖8為實(shí)施例1中大角度下車牌識(shí)別效果圖；

圖9為實(shí)施例1中雪天條件車牌識(shí)別效果圖；

圖10為實(shí)施例1中車輛污損條件車牌識(shí)別效果圖。

具體實(shí)施方式

下面對(duì)本發(fā)明技術(shù)方案進(jìn)行詳細(xì)說明，但是本發(fā)明的保護(hù)范圍不局限于所述實(shí)施例。

如圖1所示，本發(fā)明的一種從圖片中識(shí)別車牌的方法，通過對(duì)攝像頭采集的車牌圖片進(jìn)行處理獲取圖片中車牌號(hào)碼，包括車牌定位、字符提取以及字符識(shí)別步驟，具體為：

步驟一、車牌定位

車牌定位結(jié)合顏色定位和Sobel定位產(chǎn)生候選的車牌位置圖片，然后采用SVM分類模型確定候選車牌圖片中是否包含字符，確定真正車牌圖片。顏色定位是指在一幅圖像中，尋找與車牌顏色相關(guān)的顏色區(qū)域，然后利用結(jié)構(gòu)特征或者是紋理特征對(duì)該顏色區(qū)域進(jìn)行判斷，從而確定車牌區(qū)域。而Sobel定位是通過對(duì)二值圖像進(jìn)行處理，尋找圖像中的垂直區(qū)域進(jìn)行定位的方法。由于車身顏色和車牌顏色有可能相同從而無法使用顏色定位，故本發(fā)明采用顏色定位與Sobel定位相結(jié)合的方式進(jìn)行車牌定位，車牌定位總體流程如圖2所示。首先使用顏色定位，然后根據(jù)條件使用Sobel定位，以增加系統(tǒng)的適應(yīng)能力。除此之外，為了加強(qiáng)魯棒性，使用Sobel定位時(shí)，可以進(jìn)行兩個(gè)階段的查找，即在已通過被Sobel定位的圖塊中再使用一次Sobel定位，可以增加定位的準(zhǔn)確率。

1.1顏色定位

采用HSV顏色模型作為顏色定位使用的模型，但是僅僅使用H分量來判斷車牌顏色是不夠的，當(dāng)H值固定的時(shí)候，S和V的取值也將對(duì)顏色產(chǎn)生一定的影響，S值過低，顏色越發(fā)趨向于變白，V值過低，顏色趨向于變暗，因此需要設(shè)定一個(gè)閾值，當(dāng)S和V均大于這個(gè)閾值的時(shí)候，顏色才屬于H所表達(dá)的顏色。在實(shí)驗(yàn)驗(yàn)證部分，S和V的閾值設(shè)定為0.35。經(jīng)實(shí)驗(yàn)證明，大于該閾值可以排除大部分的車身顏色對(duì)使用顏色進(jìn)行車牌定位的干擾。H取值在200-280的時(shí)候，這些顏色被認(rèn)可為藍(lán)色車牌的顏色范疇。同理，當(dāng)H在30-80的時(shí)候，認(rèn)為該顏色屬于黃色車牌的顏色范疇。下面介紹顏色定位的具體步驟。

(1)將圖像的顏色空間由RGB根據(jù)公式轉(zhuǎn)換為HSV，因?yàn)槭艿揭欢ü庹諒?qiáng)度的影響，因此對(duì)圖像使用直方圖均衡進(jìn)行預(yù)處理。

(2)遍歷圖片中的像素，對(duì)H值在200-280之間，S和V均大于0.35的像素標(biāo)記為白點(diǎn)像素，對(duì)其余像素標(biāo)記為黑點(diǎn)像素。

(3)對(duì)第二步獲取的二值圖像進(jìn)行傳統(tǒng)的車牌識(shí)別處理，使用閉操作，取輪廓等方法將車牌的外接矩形獲取之后做進(jìn)一步的處理。

1.2Sobel定位

Sobel定位的主要流程如圖3所示，下面分別介紹每一步的操作。

(1)高斯模糊：對(duì)圖像進(jìn)行去噪處理，可以讓圖像在后期處理中更容易的檢測(cè)到邊緣點(diǎn)，經(jīng)過對(duì)比使用高斯和未使用高斯模糊，系統(tǒng)定位出“車牌”數(shù)量是不一樣的，使用高斯模糊，車牌定位準(zhǔn)確，不易產(chǎn)生多余定位結(jié)果，而未使用高斯模糊，則會(huì)定位出大量的無關(guān)矩形框。

(2)灰度化：邊緣檢測(cè)算法要求采用灰度化的環(huán)境，這一步的作用就是將彩色圖片處理成灰度圖片。

(3)Sobel算子：檢測(cè)灰度圖片中的垂直邊緣，以便區(qū)分車牌。Sobel算子的算法是對(duì)灰度圖像求垂直與水平方向的導(dǎo)數(shù)，以此來判斷是否是垂直邊緣。檢測(cè)垂直邊緣時(shí)，并未直接對(duì)圖像求垂直與水平方向?qū)?shù)，而是使用了周邊值得加權(quán)和方法，即“卷積”。

(4)二值化：對(duì)Sobel算子生成的灰度圖像中的每一個(gè)像素進(jìn)行閾值處理，生成二值化圖像。

(5)閉操作：將車牌字母連接成一個(gè)完成的矩形局域，方便接下來的取輪廓操作，閉操作會(huì)使圖像的形態(tài)發(fā)生改變，通過使二值圖像先膨脹再腐蝕，可使許多靠近的圖塊相連成無突起的連通域。

(6)取輪廓：取輪廓的目的是勾畫連通域的外圍，形成外接矩形。

(7)尺寸判斷：排除不可能車牌的矩形區(qū)域。中國(guó)車牌的一般大小是440*140(單位：mm)，面積為440*140，寬高比為3.14。設(shè)置一個(gè)最大寬高比Rmax和最小寬高比Rmin，判斷矩形區(qū)域是否在該寬高比之內(nèi)即可判斷該區(qū)域是否有可能是車牌。

(8)角度判斷：目的是進(jìn)一步排除不可能是車牌的區(qū)域，設(shè)定一個(gè)角度閾值，如果該區(qū)域旋轉(zhuǎn)角度大于該閾值則舍棄該區(qū)域。

(9)旋轉(zhuǎn)：將小于角度閾值的矩形調(diào)整到水平范圍，便于統(tǒng)一尺寸。

(10)統(tǒng)一尺寸：在導(dǎo)入機(jī)器學(xué)習(xí)模型中之前，需要將車牌尺寸進(jìn)行統(tǒng)一，否則該圖片無法被機(jī)器學(xué)習(xí)模型處理。實(shí)驗(yàn)驗(yàn)證中，車牌尺寸調(diào)整為寬136mm，高36mm的矩形。

1.3SVM模型

經(jīng)過顏色定位和Sobel定位后，預(yù)選出一些符合車牌大小或者顏色的圖塊，但是這些圖塊中有很多并不是車牌，利用SVM模型對(duì)定位出的圖塊進(jìn)行分類，判斷圖塊是否包含車牌。此處使用OpenCV內(nèi)置的SVM模型從候選車牌中選擇真正車牌。

(1)加載OpenCV中EASYPR車牌識(shí)別開源的SVM訓(xùn)練模型參數(shù)文件SVM.XML。

(2)讀取圖塊，將圖塊轉(zhuǎn)化為OpenCV支持的數(shù)據(jù)類型。

(3)調(diào)用svm的實(shí)現(xiàn)類CVSVM的predict方法進(jìn)行預(yù)測(cè)分析，如果返回值為1則該圖塊為車牌，如果返回值為0，則舍棄該圖塊。

步驟二、字符分割

車牌定位結(jié)束之后，可以獲取僅包含車牌的圖塊，接下來通過對(duì)車牌圖塊進(jìn)行字符分割，分別識(shí)別每一個(gè)字符便可獲取該車牌的車牌號(hào)碼。字符分割的目的是將車牌中的所有文字經(jīng)過處理后劃分為單一的字符，這樣才能一一進(jìn)行字符識(shí)別工作。字符分割的主要流程如圖4所示。

字符分割中灰度化，顏色判斷與車牌定位類似，在此不再贅述。而二值化與取輪廓有所改變，下面分別介紹二值化與取輪廓操作。

2.1二值化

使用二值化時(shí)，由于藍(lán)色車牌與黃色車牌中字體顏色不同，需要采用不同的二值化參數(shù)，藍(lán)色車牌采用OpenCv中的CV_THRESH_BINARY參數(shù)，而黃色車牌采用的是CV_THRESH_BINARY_INV參數(shù)。此外，由于車牌中有著鉚釘?shù)拇嬖冢瑢?dǎo)致車牌四周會(huì)出現(xiàn)一些白色的點(diǎn)，所以在二值化的同時(shí)，還應(yīng)該將圖像進(jìn)行截取，排除鉚釘對(duì)取輪廓操作的影響。

2.2取輪廓操作

使用取輪廓操作時(shí)，有的中文字符會(huì)發(fā)生斷裂現(xiàn)象，如圖5中中文字符“蘇”，所以在處理取輪廓操作時(shí)，在判斷出所有的外接矩形之后，取1/7和2/7位置處的矩形框，如圖中的字符“E”，將輪廓框向左平移一定位置后，便可截取出中文字符。

截取圖塊之后便可獲取七個(gè)包含車牌字符的圖塊，放到字符識(shí)別中進(jìn)行識(shí)別。

步驟三、字符識(shí)別

本發(fā)明利用神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別，采用OpenCv中提供了的神經(jīng)網(wǎng)絡(luò)類CvANN_MLP進(jìn)行字符識(shí)別。CvANN_MLP是一個(gè)多層感知網(wǎng)絡(luò)，它有一個(gè)輸入層，一個(gè)輸出層以及一個(gè)或者是多個(gè)隱藏層。使用CvANN_MLP進(jìn)行字符識(shí)別主要有以下幾個(gè)步驟：

(1)實(shí)例化CvANN_MLP，使用CvANN_MLP構(gòu)造神經(jīng)網(wǎng)絡(luò)。

(2)加載ANN.XML，ANN.XML是已訓(xùn)練好的字符識(shí)別權(quán)值矩陣。

(3)進(jìn)行字符識(shí)別，將每個(gè)字符圖塊預(yù)處理之后輸入到神經(jīng)網(wǎng)絡(luò)中便可獲取一個(gè)最接近的字符。

實(shí)施例1：

本實(shí)施例中，車牌識(shí)別模塊可在多種環(huán)境條件下進(jìn)行車牌識(shí)別，如燈光昏暗、雨雪天氣、大角度車牌、車牌污損等條件。除車牌污損條件下車牌識(shí)別效果不好外，其他條件下均可完成需求。下面分別給出各種條件的識(shí)別效果。

圖6位燈光昏暗條件識(shí)別效果，燈光昏暗條件下，使用顏色定位可以較好的分辨出車牌位置。且經(jīng)過多次試驗(yàn)，燈光昏暗條件對(duì)車牌識(shí)別影響較低。

圖7為雨天識(shí)別效果，雨天對(duì)車牌識(shí)別影響較大，可以采用高清攝像頭進(jìn)行拍照提高識(shí)別準(zhǔn)確率。

圖8為雪天識(shí)別效果，雪天條件下可以識(shí)別出大部分英文字符，但對(duì)中文字符的識(shí)別效果不好?？梢钥紤]使用高清攝像頭進(jìn)行拍照識(shí)別。

圖9為車輛大角度識(shí)別效果，系統(tǒng)對(duì)大角度車牌的識(shí)別效果較好。在進(jìn)行車牌定位時(shí)，對(duì)矩形進(jìn)行旋轉(zhuǎn)使小于角度閾值的矩形調(diào)整到水平范圍。提高了大角度車牌的識(shí)別效果。

圖10為車輛污損識(shí)別效果，污損條件下的字符很難識(shí)別出正確的字符，在以后可以通過改善識(shí)別算法提高污損條件下的車牌識(shí)別正確率。