專利名稱：基于高帽變換和小波變換的車牌提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖象處理技術(shù)領(lǐng)域，特別涉及車牌識別技術(shù)中的復(fù)雜背景中的車牌提取方法。
背景技術(shù)：
智能交通是當(dāng)前交通管理發(fā)展的主要方向，是目前世界交通運(yùn)輸領(lǐng)域的前沿研究課題。汽車牌照自動(dòng)識別技術(shù)則是智能交通系統(tǒng)的核心。它是解決高速公路管理問題的重要手段，是計(jì)算機(jī)圖像處理技術(shù)和模式識別技術(shù)在智能交通領(lǐng)域的應(yīng)用。該技術(shù)在解決高速公路的諸多問題，如車輛收費(fèi)和管理，交通流量檢測，停車場收費(fèi)管理，違章車輛監(jiān)控，假牌照車輛識別等具體問題中應(yīng)用廣泛，具有巨大的經(jīng)濟(jì)價(jià)值和現(xiàn)實(shí)意義。同時(shí)，它在城市道路、港口和機(jī)場等項(xiàng)目管理中占有重要地位。隨著計(jì)算機(jī)性能的提高和圖像處理技術(shù)的發(fā)展，車牌識別系統(tǒng)已經(jīng)日趨成熟。詳見文獻(xiàn)T.Vaito，T.Tsukada，K.Yamada，K.Kozuka，andS.Yamamoto，“Robust license-plate recognition method for passing vehicles under outsideenvironment，”IEEE Trans.Veh.Technol.，vol.49，pp.2309-2319，Nov.2000和文獻(xiàn)Shyang-Lih Chang，Li-Shien Chen，YunChung Chung，Sei-Wan Chen，Automatic license platerecognition，Intelligent Transportation Systems，IEEE Transactions on，March 2004所述。
在自動(dòng)車牌識別技術(shù)中，車牌的定位是整個(gè)識別技術(shù)的重點(diǎn)和難點(diǎn)。車牌的定位時(shí)間和精度直接影響整個(gè)車牌識別系統(tǒng)的性能。在實(shí)際生活中，由于受背景的復(fù)雜性、光照條件的不均勻性和天氣變換的不定性等環(huán)境因素，以及車牌本身傾斜程序、受污染程度等因素的影響，目前的多數(shù)車牌定位方法只是局限在某些側(cè)面或者限定在特定的條件下，才能完成對車牌的準(zhǔn)確定位。通用的、能適用于所有環(huán)境和條件的車牌定位方法還沒有成功研究出來。因此，如何在現(xiàn)有所有有價(jià)值的研究成果之上，提高車牌定位系統(tǒng)的通用性、縮短定位時(shí)間和提高定位精度將成為我們當(dāng)前研究的主要方向。詳見文獻(xiàn)Chacon M，M.I.Zimmerman.A License plate location based on a dynamic PCNN scheme Neural Networks.Proceedings of the International Joint Conference，20-24 July 2003，1195-1200 vol.2和文獻(xiàn)D.Irecki & D.G.Bailey，“Vehicle registration plate localization and recognition”，Proceedings ofthe Electronics New Zealand Conference，ENZCon’01，New Plymouth，New Zealand，September2001
現(xiàn)在通常使用的車牌提取的方法有(1)基于掃描行的車牌提取方法。它通過掃描行經(jīng)過車牌區(qū)域會(huì)有規(guī)律的起伏的特性，達(dá)到識別車牌區(qū)域的目的。其缺點(diǎn)是適用于車牌圖像亮度變化比較均勻的情況。但是在實(shí)際應(yīng)用中車牌圖像處于變化光源的環(huán)境中，亮度極不均勻，從而限制了上述方法的使用。詳見文獻(xiàn)Agui T，Choi H J，Kajima N.Method of extracting car number plates by imageprocessing[J].System and Computers，1998，19(3)45～52(2)基于彩色的車牌提取方法。它是通過提取車牌的不同于其他區(qū)域的特殊彩色特征來區(qū)別車牌區(qū)域和背景區(qū)域，從而提取出車牌。其缺點(diǎn)是難以解決在照明不均勻環(huán)境下定位準(zhǔn)確率問題，并且定位速度慢，難以達(dá)到實(shí)時(shí)性識別的要求。詳見文獻(xiàn)Davies P，EmmottN，Ayland N.License plate recognition technology for toll violation enforcement[J].Proceedingsof IEEE Colloquium on Image Analysis for Transport Applications，1990，35(2)711～715(3)基于邊緣檢測的方法。它通過提取圖像的邊緣信息進(jìn)行分析，進(jìn)而測得車牌邊緣。其缺點(diǎn)是要求圖像邊緣的連續(xù)性要好，但實(shí)際拍攝的車牌邊框往往不連續(xù)。詳見文獻(xiàn)Fu Yuqing，Shen Wei，Huang Xinhua.Research on vehicle license plate character extractionfrom complex background[J].Pattern Recognition and Artificial Intelligence，2000，13(3)345～348(in Chinese)(4)基于人工神經(jīng)網(wǎng)絡(luò)的方法。它利用神經(jīng)網(wǎng)絡(luò)的自適應(yīng)、自學(xué)習(xí)能力，通過訓(xùn)練來達(dá)到車牌識別的目的。其優(yōu)點(diǎn)是融若干預(yù)處理和識別于一體、識別速度快；缺點(diǎn)是當(dāng)特征定義遇到困難時(shí)，效果不能令人滿意。詳見文獻(xiàn)Rausm，Kreftl.Reading car license plates bythe use of artificial neural networks InProceedings of the 1995 IEEE 38th Midwest Symposiumon Circuits and Systems，NJ，USAIEEE 1995，Part 1(of2)538-541.
上述的四種車牌提取方法的共同點(diǎn)是這些方法都是針對一個(gè)特定的條件，容易受天氣、背景、光照等因素的限制，魯棒性不好。一旦條件發(fā)生變化，它們的分割準(zhǔn)確率就會(huì)發(fā)生較大的波動(dòng)，從而整個(gè)車牌識別系統(tǒng)的性能大大降低。

發(fā)明內(nèi)容
本發(fā)明的任務(wù)是提供一種基于高帽變換和小波變換的車牌提取方法，它具有定位精度高和通用性強(qiáng)等特點(diǎn)。
為了方便地描述本發(fā)明內(nèi)容，首先介紹幾個(gè)概念，并對一些術(shù)語進(jìn)行定義。
概念一數(shù)學(xué)形態(tài)學(xué)。數(shù)學(xué)形態(tài)學(xué)以圖像分析為基礎(chǔ)，用具有一定形態(tài)結(jié)構(gòu)的“結(jié)構(gòu)元素”去度量圖像的形態(tài)，以解決圖像理解問題。形態(tài)學(xué)的基礎(chǔ)是腐蝕和膨脹運(yùn)算，以及由此而產(chǎn)生的開、閉運(yùn)算。腐蝕和膨脹運(yùn)算的公式分別為U＝AΘB＝{UB+UA}，V＝AB(yǎng)＝{V(-B+V)∩A≠Ф}；開和閉運(yùn)算的公式分別為AοB＝(AΘB)B(yǎng)，A·B＝(AB(yǎng))ΘB。其中，A為原始圖像，B為結(jié)構(gòu)元素，U為原始圖像經(jīng)腐蝕后得到的圖像，V為原始圖像經(jīng)膨脹后得到的圖像，Θ為腐蝕運(yùn)算符號，為膨脹運(yùn)算符號，ο為開運(yùn)算符號，·為閉運(yùn)算符號，Ф為空集符號。
概念二高帽(Top-hat)變換。高帽變換是一種有效的數(shù)學(xué)形態(tài)學(xué)變換。它的原理就是從一幅原始圖像中減去對其作開運(yùn)算后得到的圖像，變換公式為HAT(A)＝A-(AοB)。其中A為原始圖像，B為結(jié)構(gòu)元素，開運(yùn)算AοB＝(AΘB)B(yǎng)，HAT(A)為原始圖像經(jīng)過高帽變換后得到的圖像。該變換對在較亮的背景中求暗的像素集或在較暗的背景中求亮的像素集非常有效，并且對噪聲、光照變換、牌照缺損、傾斜及變形等情況不敏感，能夠?qū)崿F(xiàn)牌照的快速準(zhǔn)確分割。
概念三小波變換。小波變換是一種信號的時(shí)間-尺度(時(shí)間-頻率)分析方法。它的基本思路是通過伸縮及平移將原始信號分解為一系列具有不同空間分辨率，不同頻率特性和方向特性的子帶信號。這些子帶信號具有良好的時(shí)域和頻域等特性，這些特性可以用來表示原始信號的局部特征。
定義1車牌。懸掛于車輛的前端或者后部的用于標(biāo)識車輛身份的號碼牌。其外觀為矩形，有統(tǒng)一的尺寸規(guī)格，共包含7個(gè)字符。不同用途的車輛，車牌的標(biāo)準(zhǔn)可能是不一樣的。
定義2R、G、B分量。R、G、B分量是指組成一幅彩色圖像的紅、綠、藍(lán)三種基色。其中R代表紅色，G代表綠色，B代表藍(lán)色。
定義3灰度圖像。圖像中只包含亮度信息而沒有任何其他顏色信息的圖像。
定義4灰度變換。一種把彩色圖像轉(zhuǎn)化為灰度圖像的變換方式，其變換公式為f(i，j)＝0.114*I(i，j，1)+0.587*I{i，j，2)+0.299*I(i，j，3)。其中，i表示圖像的行位置；j表示圖像的列位置；f(i，j)表示轉(zhuǎn)換后的灰度圖像中第i行第j列的象素的灰度值；I(i，j，1)，I(i，j，2)和I(i，j，3)分別表示彩色圖像中第i行第j列的象素的R，G，B分量的值；*為乘號。
定義5水平一階差分。圖像中，每一行的后一個(gè)象素的灰度值減去前一個(gè)象素的灰度值，得到該圖像的水平一階差分值。其公式為gV(i，j)＝|f(i，j+1)-f(i，j)。其中，i表示圖像的行位置，j表示圖像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i，j+1)表示第i行第j+1列的象素的灰度值，gV(i，j)表示相應(yīng)的水平一階差分。水平一階差分能夠突出圖像的垂直細(xì)節(jié)信息，便于邊緣提取。
定義6一階水平差分的水平投影。一種通過水平方向累加，現(xiàn)實(shí)把二維空間中的圖像灰度水平差分值轉(zhuǎn)換到一維空間中的方法，該變換函數(shù)為TH(i)=Σj=1ngV(i,j).]]>其中g(shù)V(i，j)表示第i行第j列的水平一階差分值，TH(i)為第i行的水平投影值，j的變化范圍是從1到n，n代表圖像的長度。
定義7高斯濾波器。圖像處理中最常用的平滑濾波器之一，通過高斯函數(shù)與一階差分水平投影作卷積來平滑投影圖中的毛刺，達(dá)到濾波和平滑的效果。濾波函數(shù)為TH′(i)=1k{TH(i)+Σj=1w[TH(i-j)h(j,σ)+TH(i+j)h(j,σ)]}.]]>其中TH′(i)是濾波后的一階差分水平投影值，i的變化范圍是從1到n，n代表圖像的長度；w表示平滑區(qū)域的寬度大小，此處取8；h(j,σ)=exp(-j22σ2)]]>是高斯函數(shù)，k=2Σj=1wh(j,σ)+1,]]>σ表示灰度圖像的均方差；TH(i)表示第i個(gè)一階差分水平投影值，TH(i-j)表示第(i-j)個(gè)一階差分水平投影值，TH(i+j)表示第(i+j)個(gè)一階差分水平投影值。
定義8二值化過程。把整幅圖像的所有值轉(zhuǎn)化成只有兩種值的過程，一般這兩種值為0和1或者0和255。其具體的方法是當(dāng)圖像上的值大于或者等于二值化閥值的時(shí)候，該點(diǎn)的值被二值化為1(或255)；當(dāng)圖像上的值小于二值化閥值的時(shí)候，該點(diǎn)的值被二值化為0。
定義9二值化的閥值。對圖像進(jìn)行二值化時(shí)所選用的門限。二值化閥值的計(jì)算公式為T＝t*aver，其中T為二值化閥值，aver為經(jīng)過高斯濾波后的一階差分水平投影的均值，t為權(quán)值，*為乘號。選用適當(dāng)?shù)亩祷y值可以實(shí)現(xiàn)突出車牌區(qū)域、去除噪聲的目的。
定義10車牌水平定位。確定車牌區(qū)域在整幅圖像中的水平位置，即確定車牌的上邊界和下邊界的過程。由于車牌的底色和車牌字的顏色形成強(qiáng)烈對比，而且在相對小的范圍內(nèi)變換頻繁，故車牌水平位置的一階差分水平投影值比較大。
定義11車牌水平位置候選區(qū)域。經(jīng)車牌水平定位后得到的可能包含車牌的一個(gè)或多個(gè)條狀區(qū)域。這些區(qū)域具有較大的一階差分水平投影值，而且區(qū)域?qū)挾认拗圃谝欢ǚ秶g，約等于車牌的寬度，區(qū)域的上邊界為車牌水平位置候選區(qū)域的上邊界，區(qū)域的下邊界為車牌水平位置候選區(qū)域的下邊界。
定義12快速小波變換?？焖傩〔ㄗ儞Q(Mallat)是一種實(shí)現(xiàn)離散小波變換(DWT)的高效計(jì)算，該變換找到了相鄰尺度DWT系數(shù)間的實(shí)用的關(guān)系。具體的變換原理見附圖1。
定義13車牌豎直定位。確定車牌區(qū)域在整幅圖像中的豎直位置，即車牌的左邊界和右邊界的過程。
本發(fā)明提供的一種基于高帽變換和小波變換的車牌定位方法，它包含下列步驟步驟1.通過安裝于公路路口或者停車場的適當(dāng)位置的攝像裝置，對進(jìn)入攝像范圍內(nèi)的車輛進(jìn)行圖像采集，得到含有車牌圖像的原始圖像。
步驟2.采用灰度變換公式對原始圖像進(jìn)行灰度轉(zhuǎn)換，得到一幅包含車牌的灰度圖像?；叶绒D(zhuǎn)換公為f(i，j)＝0.114*I(i，j，1)+0.587*I(i，j，2)+0.299*I(i，j，3)，其中i表示圖像的行位置，j表示圖像的列位置，f(i，j)表示轉(zhuǎn)換后的灰度圖像中第i行第j列的象素的灰度值，*是乘法運(yùn)算符號，I(i，j，1)、I(i，j，2)和I(i，j，3)分別表示彩色圖像中第i行第j列的象素的R、G、B分量的值。
步驟3.計(jì)算灰度圖像的水平一階差分，得到一個(gè)包含有車牌的車輛灰度圖像的水平一階差分圖。具體方法為采用公式gV(i，j)＝|f(i，j+1)-f(i，j)|進(jìn)行計(jì)算，其中i表示圖像的行位置，j表示圖像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i，j+1)表示第i行第j+1列的象素的灰度值，gV(i，j)表示第i行第j列的水平一階差分值。
步驟4.對水平一階差分圖進(jìn)行高帽變換，得到一個(gè)經(jīng)過高帽變換后的水平一階差分圖。高帽變換的公式為HAT(A)＝A-(AοB)。其中A為水平一階差分矩陣gV；B為結(jié)構(gòu)元素，其值為各個(gè)元素都是1的3*3矩陣；開運(yùn)算AοB＝(AΘB)B(yǎng)；HAT(A)表示經(jīng)過高帽變換后的水平一階差分值gV′。
步驟5.對高帽變換后的水平一階差分圖進(jìn)行水平投影，得到一階差分的水平投影曲線。一階差分的水平投影的計(jì)算公式為TH(i)=Σj=1ngV′(i,j),]]>其中g(shù)V′(i，j)表示經(jīng)過高帽變換后的第i行第j列的水平一階差分值，TH(i)為第i行的水平投影值，j的變化范圍是從1到n，n代表圖像的長度。
步驟6.對步驟5中的一階差分水平投影曲線進(jìn)行高斯濾波，得到一個(gè)平滑的一階差分水平投影曲線。在實(shí)際的方法中，采用離散高斯平滑方法對投影值進(jìn)行平滑處理，具體方法如下TH′(i)=1k{TH(i)+Σj=1w[TH(i-j)h(j,σ)+TH(i+j)h(j,σ)]}.]]>其中TH′(i)是濾波后的一階差分水平投影值；i的變化范圍是從1到n；n代表圖像的長度；w表示平滑區(qū)域的寬度大小，此處取8；h(j,σ)=exp(-j22σ2)]]>是高斯函數(shù)；k=2Σj=1wh(j,σ)+1;]]>σ表示灰度圖像的均方差；TH(i)表示第i個(gè)一階差分水平投影值；TH(i-j)表示第(i-j)個(gè)一階差分水平投影值；TH(i+j)表示第(i+j)個(gè)一階差分水平投影值。
步驟7.計(jì)算二值化的閥值。二值化閥值的計(jì)算公式為T＝t*aver。其中T為二值化的閥值；aver為經(jīng)過高斯濾波后的一階差分水平投影的均值；t為權(quán)值，取值范圍在0.8～1.2之間，當(dāng)t的值為1.1時(shí)二值化效果最佳。
步驟8.利用步驟7計(jì)算得到的閥值對步驟6中經(jīng)過高斯濾波后得到的一階差分水平投影曲線進(jìn)行二值化，得到一階差分水平投影曲線的二值化圖。二值化方法是若一階差分水平投影曲線上的值大于或等于閥值，就把該處的值設(shè)置為1，否則把該處的值設(shè)置為0。經(jīng)過二值化，一階差分水平投影曲線轉(zhuǎn)化為由一系列0和1組成的序列。由連續(xù)的1組成的序列表示一階差分水平投影值較大的區(qū)域；由連續(xù)的0組成的序列表示一階差分水平投影值較小的區(qū)域；0到1或者1到0的跳變表示兩種區(qū)域的邊界，分別把0到1和1到0的跳變位置記錄到堆棧stack1和stack2中。
步驟9.利用二值化圖進(jìn)行車牌水平定位，確定車牌水平位置候選區(qū)域。在二值化圖中連續(xù)的1組成的序列是車牌水平位置候選區(qū)域；stack1中的值為車牌水平位置候選區(qū)域的左邊界，即車牌的上邊界top；stack2中的值為車牌水平位置候選區(qū)域的右邊界，即車牌的下邊界bottom；length＝stack2-stack1的值為車牌水平位置候選區(qū)域的寬度。剔除length的值大于100和小于6的偽車牌水平位置候選區(qū)域，剩下的區(qū)域?yàn)樽罱K的車牌水平位置候選區(qū)域。
步驟10.利用Mallat快速小波分解方法對車牌水平位置候選區(qū)域進(jìn)行小波分解，得到車牌水平位置候選區(qū)域的四個(gè)子圖像B、H、V和D。Mallat快速小波分解流程圖見附圖1。
步驟11.利用步驟3提供的方法，計(jì)算H、V和D三個(gè)子圖像的水平一階差分，得到三個(gè)水平一階差分圖像。
步驟12.把H、V和D三個(gè)子圖像的水平一階差分對應(yīng)項(xiàng)分別相加，得到車牌的小波圖像水平一階差分總和。具體方法為采用公式Dif_I(i，j)＝|H(i，j+1)-H(i，j)|+|V(i，j+1)-V(i，j)|+|D(i，j+1)-D(i，j)|進(jìn)行水平一階差分對應(yīng)相加運(yùn)算，其中H(i，j)表示H子圖的第i行第j列的水平一階差分值，H(i，j+1)表示H子圖的第i行第j+1列的水平一階差分值，V(i，j)表示V子圖的第i行第j列的水平一階差分值，V(i，j+1)表示V子圖的第i行第j+1列的水平一階差分值，D(i，j)表示D子圖的第i行第j列的水平一階差分值，D(i，j+1)表示D子圖的第i行第j+1列的水平一階差分值，Dif_I(i，j)表示第i行第j列的車牌的小波子圖一階差分總和。
步驟13.計(jì)算小波子圖一階差分總和的整體密度和列密度。整體密度是指矩陣Dif_I中非零值的個(gè)數(shù)，其計(jì)算方法是設(shè)置計(jì)數(shù)器counter，從上到下、從左到右掃描矩陣Dif_I，當(dāng)遇到非零值時(shí)，把counter的值加1，掃描完畢時(shí)得到的counter中的值就是整體密度的值。列密度是指矩陣Dif_I中每一列的非零個(gè)數(shù)。矩陣Dif_I共有n列，n是圖像的高度。列密度的計(jì)算方法是設(shè)置n個(gè)計(jì)數(shù)器counter_1、counter_2、...、counter_n，counter_1用來計(jì)數(shù)矩陣Dif_I第一列的非零值個(gè)數(shù)，counter_2用來計(jì)數(shù)矩陣Dif_I第二列的非零值個(gè)數(shù)，依此類推，counter_n用來計(jì)數(shù)矩陣Dif_I第n列的非零值個(gè)數(shù)，從上到下掃描矩陣Dif_I中的每一列，當(dāng)遇到非零值時(shí)，把相應(yīng)列的計(jì)數(shù)器的值加1，掃描完畢時(shí)得到的各個(gè)計(jì)數(shù)器中的值就是各列的列密度。最后，設(shè)置一個(gè)1*n維的列密度矩陣pos來保存列密度的值。
步驟14.確定列密度二值化的閥值，并二值化列密度。以0.2倍的整體密度為閥值對列密度矩陣pos進(jìn)行二值化，二值化的方法為列密度矩陣pos中大于或等于閥值的值被二值化為1，小于閥值的值被二值化為0。由此，列密度矩陣pos被二值化為由一系列0和1組成的序列。由連續(xù)的1組成的序列表示列密度較大的區(qū)域；由連續(xù)的0組成的序列表示列密度較小的區(qū)域；0到1或者1到0的跳變表示兩種區(qū)域的邊界，分別把0到1和1到0的跳變位置記錄到堆棧stack3和stack4中。
步驟15.進(jìn)行車牌豎直定位，確定車牌的左邊界和右邊界。通過步驟14的二值化，列密度矩陣pos中連續(xù)的1序列所對應(yīng)的位置為車牌區(qū)域在整幅圖像中列位置，stack3中的值為車牌區(qū)域的左邊界left，stack4中的值為車牌區(qū)域的右邊界right。
步驟16.根據(jù)車牌的特性，確定真正的車牌區(qū)域。具體的方法是剔除車牌寬度小于30和車牌寬度小于車牌高度的偽車牌區(qū)域，從而得到真正的車牌區(qū)域。
步驟17.利用步驟9和步驟15得到的車牌區(qū)域的四個(gè)邊界值，提取車牌區(qū)域。具體的車牌提取步驟如下首先根據(jù)步驟9中得到的車牌上邊界top和下邊界bottom的值，計(jì)算出車牌的寬度plate_width＝bottom-top；再根據(jù)步驟15得到的車牌左邊界left和右邊界right的值，計(jì)算車牌的長度plate_length＝right-left；然后，定義一個(gè)大小為plate_width*plate_length的矩陣car_plate用來存儲(chǔ)分割以后的車牌；最后，把原始圖像中top行到bottom行、left列到right列的數(shù)值賦值給car_plate，此時(shí)，矩陣car_plate即為汽車車牌。
通過以上步驟，我們就從含有車牌的原始圖像中提取出車牌圖像。
需要說明的是1.步驟2中如果采集到的包含有車牌的原始車輛圖像是灰度圖像，則不再做灰度轉(zhuǎn)換處理。
2.步驟3中進(jìn)行水平一階差分計(jì)算是因?yàn)檐嚺茀^(qū)域內(nèi)的象素值變化快且集中，而且更明顯的集中在水平一階差分方面。
3.步驟4中的高帽變換對在較亮的背景中求暗的像素集或在較暗的背景中求亮的像素集非常有效，而車牌在整幅圖像中正好有類似的性質(zhì)。因而對圖像進(jìn)行高帽變換可以突出車牌區(qū)域。
4.步驟6中，由于由步驟5得到的一階差分水平投影曲線毛刺很多，不利于方法的精確定位，必須采用高斯函數(shù)對投影值進(jìn)行平滑處理。
5.步驟7中二值化閥值的計(jì)算是為了便于對高斯濾波后的一階差分水平投影曲線進(jìn)行二值化，實(shí)現(xiàn)突出車牌區(qū)域、去除噪聲的目的。
6.步驟9中，因?yàn)檐嚺频牡咨蛙嚺谱值念伾纬蓮?qiáng)烈對比，而且在相對小的范圍內(nèi)變換頻繁，所以車牌區(qū)域的一階差分水平投影值比較大。因此，在二值化圖中連續(xù)的1組成的序列是車牌水平位置候選區(qū)域。
7.步驟10的小波變換中，二維小波函數(shù)和尺度函數(shù)可以通過一維小波函數(shù)和尺度函數(shù)經(jīng)過張量積變換得到，對圖像信號進(jìn)行二維小波分解，其基本分解步驟如圖1所示。在圖1中輸入圖像A經(jīng)過小波變換以后得到4個(gè)子圖，分別為平滑子圖B、水平子圖H、垂直子圖V和斜向子圖D。其中，水平子圖H經(jīng)過兩次濾波，沿水平方向允許低頻分量通過，而沿垂直方向允許高頻分量通過。這對橫向線段是增強(qiáng)，而對豎向線段是平滑。垂直方向和斜方向的象素按同樣的道理分別在子圖V和D中被突出表示。而圖中， 和 表示低通、高通濾波器； 表示列抽樣，保留所有偶數(shù)列； 表示行抽樣，保留所有偶數(shù)行。
8.步驟12中的對應(yīng)項(xiàng)相加是指把H、V和D三個(gè)子圖像的水平一階差分矩陣中相同的行坐標(biāo)和列坐標(biāo)上的值相加，得到的相加之和保存在水平一階差分總和矩陣的相應(yīng)坐標(biāo)位置上。
9.步驟15中，因?yàn)檐嚺茀^(qū)域具有較大的列密度，所以二值化后的列密度矩陣pos中連續(xù)的1序列所對應(yīng)的位置為車牌區(qū)域在整幅圖像中列位置。
10.步驟16中，由于在車牌水平定位的時(shí)候可能會(huì)產(chǎn)生多個(gè)車牌水平位置候選區(qū)域，經(jīng)過車牌豎直定位后會(huì)產(chǎn)生多個(gè)車牌候選區(qū)域。因?yàn)檐嚺频拈L度、寬度和長寬比限制在一定范圍內(nèi)，所以根據(jù)車牌這些特性可以去除偽車牌候選區(qū)域，得到真正的車牌區(qū)域。
發(fā)明提出的基于高帽變換和小波變換相結(jié)合的方法，可以有效地提高系統(tǒng)的通用性和定位精度等性能。高帽(Top-hat)變換就是從一幅原始圖像中減去對其作開運(yùn)算后得到的圖像，該方法對在較亮的背景中求暗的像素集或在較暗的背景中求亮的像素集非常有效，而車牌在整幅圖像中正好有類似的性質(zhì)。因而對圖像進(jìn)行高帽變換可以突出車牌區(qū)域。小波變換是一種信號的時(shí)間-尺度(時(shí)間-頻率)分析方法。由于車牌區(qū)域在整幅圖像中的高頻信息明顯且集中，小波分析可以有效的提取并且突出這些高頻信息從而準(zhǔn)確的提取出車牌圖像來。
本發(fā)明的方法采用水平定位和豎直定位相結(jié)合，首先采用高帽變換突出了車牌區(qū)域，實(shí)現(xiàn)了車牌的水平定位；然后通過小波變換對車牌區(qū)域進(jìn)行特征提取，實(shí)現(xiàn)了車牌的豎直定位；最后根據(jù)得到的車牌水平位置和豎直位置信息，從原始圖像中提取出車牌。采用本發(fā)明的車牌提取方法，不僅可以盡量多的提取車牌區(qū)域的高頻信息，從而準(zhǔn)確定位車牌，使方法的環(huán)境適應(yīng)度大大提高；而且結(jié)合水平定位和豎直定位的方法也提高了方法的計(jì)算速度，滿足了實(shí)時(shí)性的需要。
本發(fā)明的創(chuàng)新之處在于1.結(jié)合形態(tài)學(xué)相關(guān)知識，利用高帽變換，在原始圖像中突出車牌區(qū)域的位置，通過合理選擇二值化閥值對變換后的圖像進(jìn)行二值化，實(shí)現(xiàn)車牌水平精確定位。
2.利用小波變換提取候選區(qū)域的高頻信息，并且通過水平一階差分總和突出這些高頻信息，然后通過掃描這些高頻信息構(gòu)成的特殊矩陣找出準(zhǔn)確的車牌圖像。
3.基于車牌水平定位和豎直定位相結(jié)合的方法，以便提高車牌提取的速度，滿足車牌識別系統(tǒng)實(shí)時(shí)性的需要。首先利用高帽變換后的水平一階差分圖的水平投影進(jìn)行車牌水平定位，提取出少數(shù)幾個(gè)車牌候選區(qū)域，然后再對這些候選區(qū)域進(jìn)行小波變換，突出車牌圖像的高頻特征，進(jìn)而利用所得的高頻特征二值圖像進(jìn)行車牌的豎直定位。


圖1是快速小波變換分解的流程圖；其中，A表示小波變換的輸入圖像，此處輸入的是車牌水平位置候選區(qū)域；B、H、V和D表示小波變換后的4個(gè)子圖，B為平滑子圖，H為水平子圖，V為垂直子圖，D為斜向子圖。其中，水平子圖H經(jīng)過兩次濾波，沿水平方向允許低頻分量通過，而沿垂直方向允許高頻分量通過。這對橫向線段是增強(qiáng)，而對豎向線段是平滑。垂直方向和斜方向的象素按同樣的道理分別在子圖V和D中被突出表示。 和 表示低通、高通濾波器； 表示列抽樣，保留所有偶數(shù)列； 表示行抽樣，保留所有偶數(shù)行。
圖2是含有車牌的原始圖像示意圖；其中，1表示車輛的擋風(fēng)玻璃；2表示車輛的引擎蓋；3表示安裝車燈、懸掛車牌和保險(xiǎn)桿的區(qū)域；4表示車牌；5表示輪子。在4所表示的車牌中，X1、X2、X3、X4、X5、X6和X7分別代表車牌的第一個(gè)、第二個(gè)、第三個(gè)、第四個(gè)、第五個(gè)、第六個(gè)和第七個(gè)字符，其中第二個(gè)字符和第三個(gè)字符的間距要稍大些。
圖3是本發(fā)明最終得到的車牌圖像示意圖；其中，X1、X2、X3、X4、X5、X6和X7分別代表車牌的第一個(gè)、第二個(gè)、第三個(gè)、第四個(gè)、第五個(gè)、第六個(gè)和第七個(gè)字符。
圖4是本發(fā)明方法的流程圖。
具體實(shí)施方法采用本發(fā)明的方法，首先使用Matlab語言編寫車牌識別軟件，然后在高速公路的入口處，收費(fèi)站和其他任何合適位置采用攝像裝置自動(dòng)拍攝車輛的原始圖像；接著把拍攝到的車輛原始圖像作為源數(shù)據(jù)輸入到車牌識別軟件中進(jìn)行處理；經(jīng)過車牌水平定位和豎直定位后得到一幅包含可識別字符的車牌圖像。采用360張實(shí)地拍攝的、包括雨天、霧天、晴天等不同天氣和車牌水平、車牌傾斜、車輛運(yùn)動(dòng)、車輛靜止等不同狀態(tài)下的彩色車輛圖像作為源數(shù)據(jù)，水平定位出356張，水平定位準(zhǔn)確率為98.89％，豎直定位出355張，定位準(zhǔn)確率為98.61％，定位一幅包含有可識別字符的車牌圖像僅需50ms。
綜上所述，本發(fā)明的方法充分利用高帽變換和小波變換的特性，結(jié)合車牌區(qū)域的紋理特征，從而實(shí)現(xiàn)快速準(zhǔn)確地從所提供的車輛原始圖像中定位出包含有可識別字符的車牌圖像。
權(quán)利要求
1.一種基于高帽變換和小波變換的車牌定位方法，其特征是它包含下列步驟步驟1.通過安裝于公路路口或者停車場的適當(dāng)位置的攝像裝置，對進(jìn)入攝像范圍內(nèi)的車輛進(jìn)行圖像采集，得到含有車牌圖像的原始圖像；步驟2.采用灰度變換公式對原始圖像進(jìn)行灰度轉(zhuǎn)換，得到一幅包含車牌的灰度圖像；灰度轉(zhuǎn)換公為f(i，j)＝0.114*I(i，j，1)+0.587*I(i，j，2)+0.299*I(i，j，3)，其中i表示圖像的行位置，j表示圖像的列位置，f(i，j)表示轉(zhuǎn)換后的灰度圖像中第i行第j列的象素的灰度值，*是乘法運(yùn)算符號，I(i，j，1)、I(i，j，2)和I(i，j，3)分別表示彩色圖像中第i行第j列的象素的R、G、B分量的值；步驟3.計(jì)算灰度圖像的水平一階差分，得到一個(gè)包含有車牌的車輛灰度圖像的水平一階差分圖；具體方法為采用公式gV(i，j)＝|f(i，j+1)-f(i，j)|進(jìn)行計(jì)算，其中i表示圖像的行位置，j表示圖像的列位置，f(i，j)表示第i行第j列的象素的灰度值，f(i，j+1)表示第i行第j+1列的象素的灰度值，gV(i，j)表示第i行第j列的水平一階差分值；步驟4.對水平一階差分圖進(jìn)行高帽變換，得到一個(gè)經(jīng)過高帽變換后的水平一階差分圖；高帽變換的公式為HAT(A)＝A-(AоB)；其中A為水平一階差分矩陣gV；B為結(jié)構(gòu)元素，其值為各個(gè)元素都是1的3*3矩陣；開運(yùn)算AоB＝(AΘB)B(yǎng)；HAT(A)表示經(jīng)過高帽變換后的水平一階差分值gV＇；步驟5.對高帽變換后的水平一階差分圖進(jìn)行水平投影，得到一階差分的水平投影曲線；一階差分的水平投影的計(jì)算公式為TH(i)=Σj=1ngV′(i,j),]]>其中g(shù)V＇(i，j)表示經(jīng)過高帽變換后的第i行第j列的水平一階差分值，TH(i)為第i行的水平投影值，j的變化范圍是從1到n，n代表圖像的長度；步驟6.對步驟5中的一階差分水平投影曲線進(jìn)行高斯濾波，得到一個(gè)平滑的一階差分水平投影曲線；在實(shí)際的方法中，采用離散高斯平滑方法對投影值進(jìn)行平滑處理，具體方法如下TH′(i)=1k{TH(i)+Σj=1w[TH(i-j)h(j,σ)+TH(i+j)h(j,σ)]};]]>其中TH＇(i)是濾波后的一階差分水平投影值；i的變化范圍是從1到n；n代表圖像的長度；w表示平滑區(qū)域的寬度大小，此處取8；h(j,σ)=exp(-j22σ2)]]>是高斯函數(shù)；k=2Σj=1wh(j,σ)+1;]]>σ表示灰度圖像的均方差；TH(i)表示第i個(gè)一階差分水平投影值；TH(i-j)表示第(i-j)個(gè)一階差分水平投影值；TH(i+j)表示第(i+j)個(gè)一階差分水平投影值；步驟7.計(jì)算二值化的閥值；二值化閥值的計(jì)算公式為T＝t*aver；其中T為二值化的閥值；aver為經(jīng)過高斯濾波后的一階差分水平投影的均值；t為權(quán)值，取值范圍在0.8～1.2之間，當(dāng)t的值為1.1時(shí)二值化效果最佳；步驟8.利用步驟7計(jì)算得到的閥值對步驟6中經(jīng)過高斯濾波后得到的一階差分水平投影曲線進(jìn)行二值化，得到一階差分水平投影曲線的二值化圖；二值化方法是若一階差分水平投影曲線上的值大于或等于閥值，就把該處的值設(shè)置為1，否則把該處的值設(shè)置為0；經(jīng)過二值化，一階差分水平投影曲線轉(zhuǎn)化為由一系列0和1組成的序列；由連續(xù)的1組成的序列表示一階差分水平投影值較大的區(qū)域；由連續(xù)的0組成的序列表示一階差分水平投影值較小的區(qū)域；0到1或者1到0的跳變表示兩種區(qū)域的邊界，分別把0到1和1到0的跳變位置記錄到堆棧stack1和stack2中；步驟9.利用二值化圖進(jìn)行車牌水平定位，確定車牌水平位置候選區(qū)域；在二值化圖中連續(xù)的1組成的序列是車牌水平位置候選區(qū)域；stack1中的值為車牌水平位置候選區(qū)域的左邊界，即車牌的上邊界top；stack2中的值為車牌水平位置候選區(qū)域的右邊界，即車牌的下邊界bottom；length＝stack2-stack1的值為車牌水平位置候選區(qū)域的寬度；剔除length的值大于100和小于6的偽車牌水平位置候選區(qū)域，剩下的區(qū)域?yàn)樽罱K的車牌水平位置候選區(qū)域；步驟10.利用Mallat快速小波分解方法對車牌水平位置候選區(qū)域進(jìn)行小波分解，得到車牌水平位置候選區(qū)域的四個(gè)子圖像B、H、V和D；Mallat快速小波分解流程圖見附圖1；步驟11.利用步驟3提供的方法，計(jì)算H、V和D三個(gè)子圖像的水平一階差分，得到三個(gè)水平一階差分圖像；步驟12.把H、V和D三個(gè)子圖像的水平一階差分對應(yīng)項(xiàng)分別相加，得到車牌的小波圖像水平一階差分總和；具體方法為采用公式Dif_I(i，j)＝|H(i，j+1)-H(i，j)|+|V(i，j+1)-V(i，j)|+|D(i，j+1)-D(i，j)|進(jìn)行水平一階差分對應(yīng)相加運(yùn)算，其中H(i，j)表示H子圖的第i行第j列的水平一階差分值，H(i，j+1)表示H子圖的第i行第j+1列的水平一階差分值，V(i，j)表示V子圖的第i行第j列的水平一階差分值，V(i，j+1)表示V子圖的第i行第j+1列的水平一階差分值，D(i，j)表示D子圖的第i行第j列的水平一階差分值，D(i，j+1)表示D子圖的第i行第j+1列的水平一階差分值，Dif_I(i，j)表示第i行第j列的車牌的小波子圖一階差分總和；步驟13.計(jì)算小波子圖一階差分總和的整體密度和列密度；整體密度是指矩陣Dif_I中非零值的個(gè)數(shù)，其計(jì)算方法是設(shè)置計(jì)數(shù)器counter，從上到下、從左到右掃描矩陣Dif_I，當(dāng)遇到非零值時(shí)，把counter的值加1，掃描完畢時(shí)得到的counter中的值就是整體密度的值；列密度是指矩陣Dif_I中每一列的非零個(gè)數(shù)；矩陣Dif_I共有n列，n是圖像的高度；列密度的計(jì)算方法是設(shè)置n個(gè)計(jì)數(shù)器counter_1、counter_2、...、counter_n，counter_1用來計(jì)數(shù)矩陣Dif_I第一列的非零值個(gè)數(shù)，counter_2用來計(jì)數(shù)矩陣Dif_I第二列的非零值個(gè)數(shù)，依此類推，counter_n用來計(jì)數(shù)矩陣Dif_I第n列的非零值個(gè)數(shù)，從上到下掃描矩陣Dif_I中的每一列，當(dāng)遇到非零值時(shí)，把相應(yīng)列的計(jì)數(shù)器的值加1，掃描完畢時(shí)得到的各個(gè)計(jì)數(shù)器中的值就是各列的列密度；最后，設(shè)置一個(gè)1*n維的列密度矩陣pos來保存列密度的值；步驟14.確定列密度二值化的閥值，并二值化列密度；以0.2倍的整體密度為閥值對列密度矩陣pos進(jìn)行二值化，二值化的方法為列密度矩陣pos中大于或等于閥值的值被二值化為1，小于閥值的值被二值化為0；由此，列密度矩陣pos被二值化為由一系列0和1組成的序列；由連續(xù)的1組成的序列表示列密度較大的區(qū)域；由連續(xù)的0組成的序列表示列密度較小的區(qū)域；0到1或者1到0的跳變表示兩種區(qū)域的邊界，分別把0到1和1到0的跳變位置記錄到堆棧stack3和stack4中；步驟15.進(jìn)行車牌豎直定位，確定車牌的左邊界和右邊界；通過步驟14的二值化，列密度矩陣pos中連續(xù)的1序列所對應(yīng)的位置為車牌區(qū)域在整幅圖像中列位置，stack3中的值為車牌區(qū)域的左邊界left，stack4中的值為車牌區(qū)域的右邊界right；步驟16.根據(jù)車牌的特性，確定真正的車牌區(qū)域；具體的方法是剔除車牌寬度小于30和車牌寬度小于車牌高度的偽車牌區(qū)域，從而得到真正的車牌區(qū)域；步驟17.利用步驟9和步驟15得到的車牌區(qū)域的四個(gè)邊界值，提取車牌區(qū)域；具體的車牌提取步驟如下首先根據(jù)步驟9中得到的車牌上邊界top和下邊界bottom的值，計(jì)算出車牌的寬度plate_width＝bottom-top；再根據(jù)步驟15得到的車牌左邊界left和右邊界right的值，計(jì)算車牌的長度plate_length＝right-left；然后，定義一個(gè)大小為plate_width*plate_length的矩陣car_plate用來存儲(chǔ)分割以后的車牌；最后，把原始圖像中top行到bottom行、left列到right列的數(shù)值賦值給car_plate，此時(shí)，矩陣car_plate即為汽車車牌。
全文摘要
本發(fā)明提供的是一種基于高帽變換和小波變換的車牌定位方法，采用水平定位和豎直定位相結(jié)合，首先采用高帽變換突出了車牌區(qū)域，實(shí)現(xiàn)了車牌的水平定位；然后通過小波變換對車牌區(qū)域進(jìn)行特征提取，實(shí)現(xiàn)了車牌的豎直定位；最后根據(jù)得到的車牌水平位置和豎直位置信息，從原始圖像中提取出車牌。采用本發(fā)明的車牌提取方法，不僅可以盡量多的提取車牌區(qū)域的高頻信息，從而準(zhǔn)確定位車牌，使方法的環(huán)境適應(yīng)度大大提高；而且結(jié)合水平定位和豎直定位的方法也提高了方法的計(jì)算速度，滿足了實(shí)時(shí)性的需要。
文檔編號G06K9/80GK1920849SQ200510021540
公開日2007年2月28日 申請日期2005年8月26日 優(yōu)先權(quán)日2005年8月26日
發(fā)明者馬爭, 楊峰 申請人:電子科技大學(xué)