本發(fā)明屬于模式識(shí)別與圖像處理
技術(shù)領(lǐng)域：
：，具體涉及一種夜間車輛車牌定位方法。
背景技術(shù)：
：：車牌識(shí)別是智能交通系統(tǒng)中的重要組成部分，車牌定位的優(yōu)劣直接影響車牌識(shí)別準(zhǔn)確率的高低，是車牌識(shí)別過程中關(guān)鍵的一步。因此車牌定位一直是國(guó)內(nèi)外研究的熱點(diǎn),研究者們先后提出了很多相關(guān)算法。其中主要有基于紋理特征、顏色特征、邊緣信息、變換域分析和形態(tài)學(xué)處理等并結(jié)合車牌特征實(shí)現(xiàn)車牌定位。近年來有很多研究者不斷的對(duì)傳統(tǒng)算法進(jìn)行改進(jìn)和融合，更有一些研究者將新的算法應(yīng)用到車牌定位中。如孫紅等提出了融合字符紋理特征與車牌區(qū)域背景底色和字符顏色互補(bǔ)特性的方法進(jìn)行車牌定位，陳振學(xué)等在分析已有車牌定位技術(shù)以及目標(biāo)檢測(cè)共有特性的基礎(chǔ)上提出了基于視覺顯著特征的多特征融合的車牌定位方法，BoLi等提出了基于最大穩(wěn)定極值區(qū)域進(jìn)行車牌定位的算法。上述各方法具有一定的可行性，但也各有一定的局限性，不能對(duì)夜間車輛車牌實(shí)現(xiàn)有效定位。夜間車輛車牌由于夜間光照條件差或車速影響引起采集的車牌圖像顏色失真，分辨率低。傳統(tǒng)車牌定位算法較依賴車牌顏色、紋理、邊緣等信息不能進(jìn)行有效定位。但當(dāng)光照條件差、車牌顏色失真、圖像分辨率低時(shí)，車牌筆畫寬度變化較小。目前鮮有文獻(xiàn)將筆畫寬度應(yīng)用到車牌定位上。BorisEpshtein等人根據(jù)局部區(qū)域內(nèi)的文本特別是相鄰的文本通常會(huì)有相似的筆畫寬度這一特點(diǎn)，提出了筆畫寬度變換算法。它是一種局部的圖像操作，輸出圖像與輸入圖像大小相同，而輸出圖像的像素值是輸入圖像中每個(gè)像素點(diǎn)的筆畫寬度值。BorisEpshtein筆畫寬度算法雖然應(yīng)用了筆畫寬度的穩(wěn)定性，一定條件下可有效的定位文本，但仍存在以下缺點(diǎn)：①需要計(jì)算每個(gè)像素點(diǎn)的梯度，然后沿著梯度方向或反方向查找邊緣點(diǎn)對(duì)，算法時(shí)間長(zhǎng)；②基于邊緣像素點(diǎn)對(duì)確定筆畫寬度，依賴字符邊緣以及字符筆畫的完整性，若字符邊緣模糊或筆畫不完整，則會(huì)造成對(duì)候選區(qū)域的誤刪漏檢。MSER檢測(cè)算子有仿射不變性，強(qiáng)穩(wěn)定性以及對(duì)光照的適應(yīng)性等特性，在光照條件差的情況下依然可以進(jìn)行最大穩(wěn)定極值區(qū)域提取。MSER最初由J.Matas等人提出，它是一個(gè)有效的特征檢測(cè)算法，已被廣泛應(yīng)用于與視覺有關(guān)的工作中，如運(yùn)動(dòng)物體追蹤，圖像匹配等。技術(shù)實(shí)現(xiàn)要素：本發(fā)明在前人研究的基礎(chǔ)上提出一種基于MSER和SWT結(jié)合的夜間車輛車牌定位方法。利用MSER的仿射不變性，強(qiáng)穩(wěn)定性以及對(duì)光照的適應(yīng)性初步篩選車牌候選區(qū)域，然后做基于形態(tài)學(xué)處理的SWT，最后結(jié)合車牌特征精定位車牌。目的在于提供一種穩(wěn)定性和魯棒性更高的夜間運(yùn)動(dòng)車輛的車牌定位方法，不僅對(duì)不同光照不同場(chǎng)景下的車牌定位，同時(shí)也可以實(shí)現(xiàn)對(duì)夜晚低分辨率車牌的定位。一種基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法，用于對(duì)待檢測(cè)圖像中的車牌區(qū)域進(jìn)行定位，其特征在于，包括以下步驟：步驟一，將待檢測(cè)圖像轉(zhuǎn)換為灰度圖像并進(jìn)行對(duì)比度增強(qiáng)操作，提取對(duì)比度增強(qiáng)操作后的灰度圖像中的最大穩(wěn)定極值區(qū)域(MSER)并進(jìn)行邊緣檢測(cè)膨脹后對(duì)最大穩(wěn)定極值區(qū)域(MSER)進(jìn)行分割，得到根據(jù)車牌字符特征篩選后的候選區(qū)域；步驟二，在候選區(qū)域內(nèi)做基于一系列腐蝕操作的筆畫寬度變換(SWT)，并對(duì)得到的各個(gè)候選區(qū)域的筆畫寬度值進(jìn)行篩選；步驟三，對(duì)經(jīng)過筆畫寬度過濾篩選得到的車牌字符候選區(qū)域聚合，根據(jù)車牌幾何特征對(duì)聚合后的區(qū)域?qū)崿F(xiàn)車牌精定位。本發(fā)明提供的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法，用于對(duì)待檢測(cè)圖像中的車牌區(qū)域進(jìn)行定位，還可以具有這樣的特征，其特征在于，步驟一包括以下子步驟：步驟1-1，對(duì)待檢測(cè)圖像灰度化之后，進(jìn)行非線性灰度變換，用于突出車牌區(qū)域得到對(duì)比度增強(qiáng)后的圖像；步驟1-2，對(duì)對(duì)比度增強(qiáng)后的圖像進(jìn)行MSER區(qū)域提??；步驟1-3，對(duì)對(duì)比度增強(qiáng)后的圖像進(jìn)行Canny邊緣檢測(cè)和膨脹操作后再與原MSER區(qū)域取交后分割原MSER區(qū)域；步驟1-4，對(duì)步驟1-3所得到的分割后的MSER區(qū)域根據(jù)車牌字符特征對(duì)其基本統(tǒng)計(jì)特征進(jìn)行篩選。本發(fā)明提供的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法，用于對(duì)待檢測(cè)圖像中的車牌區(qū)域進(jìn)行定位，還可以具有這樣的特征，其特征在于：其中，基本統(tǒng)計(jì)特征包括最小外接矩形寬高比、偏心率、區(qū)域大小、以及占空比。本發(fā)明提供的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法，用于對(duì)待檢測(cè)圖像中的車牌區(qū)域進(jìn)行定位，還可以具有這樣的特征，其特征在于，步驟二包括以下子步驟：步驟2-1，在步驟1-4篩選得到的候選區(qū)域內(nèi)做K次腐蝕操作，K是連通域被腐蝕后為空集前的最后一次迭代步驟；步驟2-2，計(jì)算候選區(qū)域內(nèi)各個(gè)像素與步驟2-2腐蝕后剩余像素的歐式距離，并乘以2后賦值為其筆畫寬度值；步驟2-3對(duì)步驟2-2得到的各個(gè)候選區(qū)域的筆畫寬度值，根據(jù)車牌字符筆畫寬度特點(diǎn)對(duì)各連通域進(jìn)行篩選。本發(fā)明提供的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法，用于對(duì)待檢測(cè)圖像中的車牌區(qū)域進(jìn)行定位，還可以具有這樣的特征，其特征在于，步驟三包括以下子步驟：步驟3-1對(duì)步驟2-3得到的各個(gè)候選區(qū)域進(jìn)行構(gòu)造最鄰近對(duì)操作；步驟3-2聚合步驟3-1中得到的各個(gè)最近臨近對(duì)；步驟3-3掃描步驟3-2中的各個(gè)最近臨近對(duì)并進(jìn)行聚合得到區(qū)域的最小外接矩形，根據(jù)車牌幾何特征篩選該最小外接矩形，滿足以下條件K為聚合得到的的最小外接矩形的個(gè)數(shù)，fR為最小外接矩形的高寬比，h為最小外接矩形的高，w為最小外接矩形的寬。發(fā)明作用與效果本發(fā)明通過MSER提取篩選車牌候選區(qū)域能克服光照條件差、車牌顏色失真、圖像分辨率低等帶來的影響，同時(shí)有效地減少后續(xù)SWT像素個(gè)數(shù)，降低算法時(shí)間；基于形態(tài)學(xué)處理的SWT變換則避開了對(duì)字符邊緣以及字符筆畫的完整性的依賴。另外對(duì)于成功定位的車牌可以將之前分割好的及腐蝕后的字符骨架進(jìn)行模板匹配從而實(shí)現(xiàn)車牌識(shí)別，即本發(fā)明可以集車牌定位、字符分割，字符細(xì)化等于一體大大減少后續(xù)車牌識(shí)別的時(shí)間。本發(fā)明可以對(duì)白天不同場(chǎng)景不同光照條件下的車牌實(shí)現(xiàn)準(zhǔn)確定位；同時(shí)還可以對(duì)夜晚低分辨率車牌進(jìn)行有效定位，并且低分辨率情況下本算法的定位準(zhǔn)確率和魯棒性遠(yuǎn)遠(yuǎn)高于其他傳統(tǒng)車牌定位算法。附圖說明圖1為本發(fā)明方法的流程圖；圖2為輸入的所要定位車牌原圖；圖3為提取的MSER區(qū)域圖；圖4為Canny邊緣檢測(cè)圖；圖5為原MSER區(qū)域和分割后MSER區(qū)域?qū)Ρ葓D；圖6為候選區(qū)域篩選前后的對(duì)比圖；圖7為SWT筆畫寬度值圖；以及圖8為本發(fā)明完成的車牌精定位圖。具體實(shí)施方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，以下實(shí)施例結(jié)合附圖對(duì)本發(fā)明的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法的原理、步驟、使用效果作具體闡述。下面通過具體實(shí)例結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。圖1為本發(fā)明方法的流程圖。步驟一、MSER檢測(cè)分割與變換區(qū)域篩選。圖2為輸入的所要定位車牌原圖。將圖2所示的原彩色圖像轉(zhuǎn)化為uint8型灰度圖像，圖中白色模糊部分(已經(jīng)過故意的模糊處理，保護(hù)隱私)為人眼識(shí)別的車牌區(qū)域。進(jìn)行如下式的分段線性灰度變換其中(x1，y1)，(x2，y2)是灰度變換控制點(diǎn)，經(jīng)過一系列實(shí)驗(yàn)調(diào)試，這里我們?nèi)?40,20)和(120,200)，突出車牌區(qū)域的同時(shí)有效的抑制了非車牌區(qū)域。圖3為提取的MSER區(qū)域圖。然后，對(duì)其進(jìn)行MSER區(qū)域提取。提取結(jié)果見圖3具體步驟如下：排序。根據(jù)對(duì)比度增強(qiáng)后圖像的像素灰度值的大小，對(duì)圖像中的所有像素進(jìn)行排序。求連通域。用灰度區(qū)間[0-255]內(nèi)的256個(gè)不同閾值對(duì)灰度圖像進(jìn)行二值化；令Qi表示二值化閾值i對(duì)應(yīng)的二值圖像中的某一連通區(qū)域，當(dāng)二值化閾值由i變成i+Δ和i-Δ時(shí)，連通域Qi也變成了Qi+Δ和Qi-Δ得到MSER。計(jì)算閾值為i時(shí)面積比q(i)(如下式)，當(dāng)Qi面積隨二值化閾值i變化而發(fā)生較小變化即q(i)為局部極小值時(shí)，Qi為最大穩(wěn)定極值區(qū)域。其中，|Qi|表示連通域Qi的面積，|Qi+Δ-Qi-Δ|表示Qi+Δ減去Qi-Δ后的剩余區(qū)域面積。由MSER提取過程可知其對(duì)視點(diǎn)、尺寸、光照條件有較好的魯棒性，但對(duì)模糊圖像很敏感。若原圖像模糊，MSER提取后會(huì)出現(xiàn)候選字符區(qū)域粘連在一起的情況，影響后續(xù)的字符篩選。為此本發(fā)明提出對(duì)原灰度圖像進(jìn)行邊緣檢測(cè)，用檢測(cè)出的邊緣分割提取的MSER區(qū)域。圖4為Canny邊緣檢測(cè)圖。常用邊緣檢測(cè)算子有Roberts算子、Log算子、Sobel算子、Prewitt算子和Canny算子等。Roberts算子和Log算子定位精度較高，但受噪聲影響較大；Sobel算子和Prewitt算子模板相對(duì)較大，去噪能力較強(qiáng)，同時(shí)又有平滑作用，而我們需要處理的圖像本身因?yàn)槟：?，邊緣較平滑，采用上述算子難以真正定位出邊緣；Canny算子雖然像Log算子一樣也是首先對(duì)圖像進(jìn)行高斯濾波，但其后用雙閾值算法檢測(cè)和連接邊緣，所以這里采用Canny算子進(jìn)行邊緣檢測(cè)。檢測(cè)結(jié)果見圖4。圖5為原MSER區(qū)域和分割后MSER區(qū)域?qū)Ρ葓D。由于圖像分辨率影響，需要使邊緣更加清晰化，因此可以通過膨脹處理來實(shí)現(xiàn)，膨脹過程如下式所示。其中，A為原二值圖像，S是結(jié)構(gòu)元素取3×3的膨脹算子，I為結(jié)構(gòu)元素S對(duì)A膨脹后的二值圖像。邊緣檢測(cè)并膨脹后，取各邊緣增強(qiáng)區(qū)域和MSER區(qū)域的交集，即用圖像邊緣分割原MSER區(qū)域。分割前后的MSER區(qū)域?qū)Ρ葓D見附圖5。圖6為候選區(qū)域篩選前后的對(duì)比圖。根據(jù)車牌字符幾何特征對(duì)以上分割得到的候選區(qū)域進(jìn)行篩選。主要通過對(duì)其最小外接矩形寬高比、偏心率、區(qū)域大小、以及占空比等基本統(tǒng)計(jì)特征進(jìn)行篩選，候選連通域滿足條件如下式所示。其中，高寬比fR＝h/w，Rec為偏心率，Rar為像素總數(shù)，占空比fO＝Rar/(h·w)；h為最小外界矩形高度，w為最小外界矩形寬度，篩選后如圖6所示。步驟二、基于形態(tài)學(xué)處理的SWT。即對(duì)上一步處理后的圖像進(jìn)行如下式的處理。其中，其中，A是候選區(qū)域集合，B是一個(gè)結(jié)構(gòu)元，表示對(duì)A的連續(xù)K次腐蝕：K是A被腐蝕為空集前的最后一次迭代步t驟圖7為SWT筆畫寬度值圖。根據(jù)腐蝕的先后順序，計(jì)算各個(gè)前景像素點(diǎn)到前景中心像素點(diǎn)的歐式距離。根據(jù)各個(gè)像素點(diǎn)的歐式距離，設(shè)置不同的灰度值，最大灰度值集合于圖像中心部分呈線狀。分別計(jì)算各區(qū)域邊緣元素與其對(duì)應(yīng)的中心部分線狀元素的歐式距離，獲得的各距離值是其筆畫寬度值的一半，即完成了筆畫寬度變換。SWT筆畫寬度值見圖7。得到各候選區(qū)域的筆畫寬度值后，根據(jù)車牌字符筆畫寬度特點(diǎn)對(duì)各連通域按滿足如下式的條件進(jìn)行篩選。其中，fva為筆畫寬度變化系數(shù)，xi為連通域內(nèi)某像素的筆畫寬度值，n為連通域內(nèi)像素?cái)?shù)。步驟三、候選連通域聚合及車牌精定位。圖8為本發(fā)明完成的車牌精定位圖。掃描圖像中上一步得到的所有車牌字符候選區(qū)域，并求其最小外接矩形的高度、寬度及中心坐標(biāo)，按下式構(gòu)造最鄰近對(duì)。其中，hi，wi，hj，wj，分別為第i，j連通域的最小外接矩形的高和寬，(xi，yi)，(xj，yj)分別為第i，j連通域最小外接矩形的中心坐標(biāo)。聚合后得到的連通域即為車牌的候選區(qū)域，計(jì)算候選車牌區(qū)域的寬度和高度，根據(jù)下式進(jìn)行車牌的精定位。其中，K為聚合得到的的最小外接矩形的個(gè)數(shù)，fR為最小外接矩形的高寬比，h為最小外接矩形的高，w為最小外接矩形的寬。實(shí)驗(yàn)驗(yàn)證為了驗(yàn)證基于MSER和SWT結(jié)合的夜間車輛車牌定位算法的有效性和魯棒性，驗(yàn)證實(shí)驗(yàn)采用了兩個(gè)圖庫(kù)進(jìn)行車牌定位測(cè)試。其中圖庫(kù)一是白天不同場(chǎng)景不同光照條件下靜止拍攝分辨率較好的圖像共400張，包含在白天不同階段不同視角下對(duì)學(xué)校、小區(qū)、商場(chǎng)和馬路上等公共場(chǎng)所進(jìn)行拍攝取材，其中有陰天與霧天惡劣環(huán)境下采集的圖像。圖庫(kù)二是采集的夜間車輛分辨率較低圖像共300張，包含夜間高速公路收費(fèi)口、夜間小區(qū)路上以及商場(chǎng)停車場(chǎng)等光照條件較差場(chǎng)所低速運(yùn)動(dòng)中的車輛車牌圖像。測(cè)試結(jié)果如下：準(zhǔn)確定位圖庫(kù)一圖像386張，準(zhǔn)確定位圖庫(kù)二圖像278張。試驗(yàn)證明基于MSER和SWT結(jié)合的夜間車輛車牌定位算法不僅對(duì)白天不同場(chǎng)景不同光照條件下的車牌可以有效定位，同時(shí)也可以對(duì)夜晚低分辨率車牌進(jìn)行有效定位。結(jié)果如下表1所示。表13種定位算法試驗(yàn)結(jié)果對(duì)比試驗(yàn)結(jié)果可以看出，對(duì)于圖庫(kù)一，光照條件好，圖像分辨率較高，文獻(xiàn)1[BoLi，BinTian，QingmingYao，Avehiclelicenceplaterecognitionsystembasedonanalysisofmaximallystableextremalregions[C]，Proceedingsof20129thIEEEInternationalConferenceonNetworking,Sensing&Control,2012:399-404.]、文獻(xiàn)2[孫紅，郭凱，融合字符紋理特征與RGB顏色特征的車牌定位[J]，光電工程，2015，42(6):14-20.]和本文算法都取得了不錯(cuò)的定位效果，定位率(成功定位車牌圖像數(shù)與總試驗(yàn)圖像數(shù)之比)分別達(dá)到了94.75％、98.25％和96.50％。其中文獻(xiàn)2定位率最高，這是因?yàn)檎l件下拍攝的圖像清晰，顏色不失真，易于提取車牌輪廓，但當(dāng)夜間采集的圖像分辨率低，車牌輪廓模糊，光照條件差車牌顏色失真時(shí)，算法定位正確率下降明顯(只有79.67％)。文獻(xiàn)1雖然是基于MSER進(jìn)行車牌定位，但它在MSER提取后并未進(jìn)行有效的候選區(qū)域分割和精細(xì)的處理，只是使用了標(biāo)準(zhǔn)車牌的外觀屬性，這樣在圖像分辨率較低時(shí)定位很容易失敗(只有82.33％)。而本文的算法受到夜間的光照的影響較小，依然達(dá)到了92.67％的正確率。由以上試驗(yàn)結(jié)果可知，本實(shí)施例的基于MSER和SWT結(jié)合的夜間車輛車牌定位算法不僅可以對(duì)白天不同場(chǎng)景不同光照條件下的車牌實(shí)現(xiàn)準(zhǔn)確定位，同時(shí)還可以對(duì)夜晚低分辨率車牌進(jìn)行有效定位，并且低分辨率情況下本算法的定位準(zhǔn)確率和魯棒性遠(yuǎn)遠(yuǎn)高于其他傳統(tǒng)車牌定位算法，所以本發(fā)明的基于MSER和SWT相結(jié)合的夜間車輛車牌定位方法具有較其他方法更優(yōu)越的效果。實(shí)施例的作用和有益效果本實(shí)施例通過MSER提取篩選車牌候選區(qū)域能克服光照條件差、車牌顏色失真、圖像分辨率低等帶來的影響，同時(shí)有效地減少后續(xù)SWT像素個(gè)數(shù)，降低算法時(shí)間；基于形態(tài)學(xué)處理的SWT變換則避開了對(duì)字符邊緣以及字符筆畫的完整性的依賴。另外對(duì)于成功定位的車牌可以將之前分割好的及腐蝕后的字符骨架進(jìn)行模板匹配從而實(shí)現(xiàn)車牌識(shí)別，即本發(fā)明可以集車牌定位、字符分割，字符細(xì)化等于一體大大減少后續(xù)車牌識(shí)別的時(shí)間。本發(fā)明可以對(duì)白天不同場(chǎng)景不同光照條件下的車牌實(shí)現(xiàn)準(zhǔn)確定位；同時(shí)還可以對(duì)夜晚低分辨率車牌進(jìn)行有效定位，并且低分辨率情況下本算法的定位準(zhǔn)確率和魯棒性遠(yuǎn)遠(yuǎn)高于其他傳統(tǒng)車牌定位算法。進(jìn)一步，針對(duì)傳統(tǒng)車牌定位方法不能有效定位夜間車輛車牌的情況，本文提出基于MSER和SWT結(jié)合的夜間車輛車牌定位算法。根據(jù)該算法分別對(duì)白天不同場(chǎng)景不同光照條件下和夜間低分辨率車輛車牌圖像進(jìn)行測(cè)試，并和傳統(tǒng)定位方法進(jìn)行對(duì)比。由算法工作過程和試驗(yàn)結(jié)果對(duì)比分析可知：(1)傳統(tǒng)筆畫寬度變換算法是對(duì)每一個(gè)像素進(jìn)行變換，因此算法時(shí)間較長(zhǎng)。而本算法利用MSER的仿射不變性、強(qiáng)穩(wěn)定性以及對(duì)光照的適應(yīng)性，進(jìn)行MSER檢測(cè)，結(jié)合車牌字符特征，篩選候選區(qū)域，只在候選區(qū)域內(nèi)進(jìn)行變換，有效地減少了SWT區(qū)域，從而降低算法時(shí)間。(2)傳統(tǒng)筆畫寬度變換算法需計(jì)算邊緣像素點(diǎn)對(duì)距離，對(duì)筆畫的完整性和清晰度較為敏感。而本算法采用一系列的腐蝕操作，得到1/2筆畫寬度值，對(duì)于低分率圖像依然可以得到其準(zhǔn)確筆畫寬度值。(3)針對(duì)MSER檢測(cè)算子對(duì)模糊圖像較敏感的缺陷，本算法采用Canny邊緣檢測(cè)和膨脹邊緣，并與原MSER區(qū)域相與，進(jìn)而完成對(duì)原MSER區(qū)域的有效分割。(4)本算法可以對(duì)白天不同場(chǎng)景不同光照條件下的車牌實(shí)現(xiàn)準(zhǔn)確定位；同時(shí)還可以對(duì)夜晚低分辨率車牌進(jìn)行有效定位，并且低分辨率情況下本算法的定位準(zhǔn)確率和魯棒性遠(yuǎn)遠(yuǎn)高于其他傳統(tǒng)車牌定位算法。當(dāng)前第1頁(yè)1 2 3 當(dāng)前第1頁(yè)1 2 3