本發(fā)明屬于數(shù)字圖像處理及人工智能技術領域，具體涉及一種對道路視頻進行車牌識別的方法。

背景技術：

隨著我國城市經(jīng)濟的快速發(fā)展，城市規(guī)模不斷擴大，城市人口持續(xù)增長，由城市化與機動化帶來的人、車、環(huán)境和管理等影響道路交通安全的因素更趨復雜，中國城市交通問題日益突出。傳統(tǒng)的交通監(jiān)管方式已經(jīng)難以滿足監(jiān)管現(xiàn)代化的要求，引入新的技術，提高監(jiān)管效率無疑是解決問題的重要途徑之一。在國內(nèi)外，智能交通系統(tǒng)已成為當前交通管理發(fā)展得重要方向，而圖像識別與軌跡追蹤作為智能交通系統(tǒng)的核心技術，是智能交通系統(tǒng)的重要前沿研究領域，起著舉足輕重的作用，其廣泛應用必將有助于我國交通管理自動化的進程。

經(jīng)過多年科研和實踐的反復磨練，車牌識別技術現(xiàn)已經(jīng)成長為現(xiàn)代社會中最普及、最成熟的模式識別技術之一，并在公路收費、監(jiān)測報警、停車管理、稱重系統(tǒng)、交通誘導、交通執(zhí)法、公路稽查、車輛調(diào)度、車輛檢測等場合中發(fā)揮著重要作用。

目前存在的一些車牌識別技術中，大都將整個識別分為四個過程，即：圖像預處理、定位車牌區(qū)域、車牌字符分割、車牌字符識別。

其中對于車牌定位，使用的技術種類繁多，大致有如下一些方法：(a)利用分塊和滑動窗口快速定位車牌的方法。首先,進行垂直邊緣的檢測；然后利用分塊和滑動窗口的方法進行搜索,產(chǎn)生車牌候選區(qū)域；最后經(jīng)過判別得到車牌區(qū)域,并對邊界加以調(diào)整。缺點是在復雜背景環(huán)境下易定位錯車牌。(b)基于顏色信息定位車牌區(qū)域，缺點是對光線變化敏感。(c)基于特征顏色邊緣檢測的車牌定位算法。通過分析局部區(qū)域內(nèi)指定顏色的分布特征,使車牌顏色和紋理特征的提取同時進行,而且只檢測出車牌內(nèi)兩種顏色之間的邊緣。

在字符分割算法中，有以下幾種方法(a)圖像二值化投影法。先進行橫向投影，定位上下字符邊框，然后垂直投影，切分出字符。(b)局部自適應二值化。通過分塊、逐點或者分字符來計算某一區(qū)域內(nèi)的均值，對比度等特征，然后分別進行二值化。(c)傾斜校正方法。(d)層次分割與合并、分裂方法。(e)數(shù)學形態(tài)學，腐蝕、膨脹運算。車牌字符分割這一步驟起著承前啟后的作用，這一步驟的成功實現(xiàn)既需要車牌提取、濾波等步驟的配合，又關系著字符識別能否成功的實施。

在字符識別算法中，目前普遍的車牌識別技術有：(a)采用模板匹配的方法，對車牌字符進行識別。該方法需要將目標圖像與每一幅模板通過歐式距離、黑白像素比等圖像進行匹配,對相似字符的識別率不高，噪聲容限度小，在噪聲干擾大的情況下識別正確率低。(b)神經(jīng)網(wǎng)絡模式識別技術。針對漢字、字母、字母或數(shù)字、數(shù)字四種不同的識別問題,設計四種不同的分類器。利用特征提取法進行特征提取,將其結果作為網(wǎng)絡的輸入,最后將不同的識別結果組合得到車牌號碼。(c)普通支持向量機多類分類器。神經(jīng)網(wǎng)絡和支持向量機算法雖然識別正確率較高，但其需要數(shù)據(jù)集合適、特征集合好，且計算代價較大。

綜上，就目前的車輛識別技術而言仍然有很大的不足，如字符識別正確率低，車牌識別速度慢，在復雜的道路環(huán)境下牌照定位準確率低，定位與識別算法難以支持全天候光線條件及霧霾雨雪等惡劣的天氣條件。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種動態(tài)視頻中道路車牌識別方法，通過提取道路旁動態(tài)車輛監(jiān)控視頻實現(xiàn)自動識別車牌號并記錄，以便于追蹤車輛信息及軌跡記錄。該方法旨在解決現(xiàn)有技術中字符識別正確率低、車牌識別速度慢、在復雜的道路環(huán)境下牌照定位準確率低、定位與識別算法難以支持全天候光線條等缺陷，提高搜查車輛軌跡的速度及警方的辦案效率。

本發(fā)明的目的是這樣實現(xiàn)的：

一種動態(tài)視頻中道路車牌識別方法，其特點是該方法包括以下具體步驟：

步驟1：在道路視頻中提取含有車牌圖像的幀；

步驟2：將提取的彩色圖像轉換成分辨率低、包含原始圖像信息、噪聲少的灰度圖像；

步驟3：輸入灰度圖像，得到圖像中車牌區(qū)域所在的坐標；

步驟4：對車牌字符切割、二值化、歸一化，得到單幅車牌字符的二值圖像；

步驟5：通過混合判別式受限玻爾茲曼機(hrdbm)離線訓練的分類器模型，完成車牌字符的識別；

步驟6：繪制車輛在某段時間內(nèi)行駛的軌跡，完成動態(tài)視頻中道路車牌的識別。

所述步驟2具體包括：

ⅰ)圖像降采樣

降低圖像采樣率，使圖像分辨率降低至400*600～500*700；

ⅱ)彩色圖像灰度化

將彩色圖像轉換為灰度圖像，采用加權平均法：即：gray＝0.2989×r+0.5870×g+0.1140×b；其中，r、g、b分別為圖像的紅、綠、藍三個通道的分量；

ⅲ)中值濾波

使用一個像素鄰域內(nèi)的中值來替代該處像素的值，濾去圖像中的椒鹽噪聲。

所述步驟3具體包括：

a)頂帽變換，獲得含有圖像細節(jié)的圖片；

b)canny邊緣檢測，對含有圖像細節(jié)的圖片進行邊緣檢測，獲得邊緣圖像，具體包括：

ⅰ)用一個高斯濾波器平滑輸入圖像；

ⅱ)計算梯度幅值圖像和角度圖像；

ⅲ)對梯度幅值圖像應用非最大抑制；

ⅳ)用雙閾值處理和連接分析來檢測并連接邊緣；

c)去除長的背景邊緣和細小的邊緣噪聲，通過逐點遍歷邊緣圖像，獲得每個邊緣的長度值，將大于車牌邊緣最大值和小于車牌邊緣的最小值的邊緣刪去，獲得去除背景長邊緣和邊緣噪聲的圖像；

d)閉操作，將去除背景長邊緣和邊緣噪聲的圖像進行閉操作，使得車牌區(qū)域連為一體的同時又不與其它無用邊緣相連；

e)定位車牌區(qū)域，遍歷圖像獲取每個連通域的面積和長、寬，結合車牌長寬比特征及車牌在圖像中應占的面積大小，得出車牌區(qū)域所在的連通域；定位出車牌所在區(qū)域的左上角點的坐標；

f)提取車牌區(qū)域，根據(jù)獲取的車牌坐標和該連通域的長、寬，從灰度圖像中截取出車牌的圖像；

g)車牌二值化及中值濾波；

h)水平投影，上下側波谷區(qū)為無用區(qū)，其它為字符區(qū)，拋棄上下無用區(qū)，得到準確的字符上下邊框；確定車牌字符的上下界限。

所述步驟4具體包括：使用垂直投影法，再根據(jù)波谷從中間向兩邊切割，得一個一個的車牌字符，再進行上下投影與左右投影，更加精確確定每個字符的上下邊框與左右邊框；之后，再進行字符歸一化，使每個字符有相同的分辨率，得到單幅車牌字符的二值圖像。

所述步驟5具體包括：

將單幅車牌字符的二值圖像降維，輸入至已離線訓練好的hdrbm分類器模型的輸入層中，由該模型識別出該車牌的所有字符，按順序輸出得到車牌號。

所述步驟6具體包括：利用已識別出的車牌按照“監(jiān)控探頭號車牌號監(jiān)控時間”保存，輸入車牌號查找某輛車時，按時間順序排序，確定車輛經(jīng)過監(jiān)控探頭的順序，再依據(jù)監(jiān)控探頭所處的地理信息即監(jiān)控探頭在地圖上的坐標，繪制車輛在某段時間內(nèi)行駛的軌跡。

本發(fā)明的有益效果是：首先，在車牌區(qū)域定位中，使用了頂帽變換、連通域標記法、閉運算與車牌幾何特征相結合的方法，可以滿足在復雜背景環(huán)境下準確的定位出車牌區(qū)域，有效的解決了基于顏色信息、利用中心滑動窗口尋找車牌、利用車牌跳躍點數(shù)檢測車牌、利用車牌邊緣信息檢測車牌等方法在復雜背景環(huán)境下車牌定位率低的缺陷。其次，在車牌識別中，利用混合判別式受限玻爾茲曼機(hrdbm)離線訓練的分類器模型以完成車輛牌照的識別，hdrbm加入了生成式目標到判別式目標，通過這種方法很好地正則化判別式目標，它是一種非線性分類器，對比傳統(tǒng)的神經(jīng)網(wǎng)絡和支持向量機(svms)算法，它的識別準確率高。最后，本發(fā)明提出的基于多個視頻的車輛軌跡追蹤，可以協(xié)助管理人員更有效更快速的尋找目標車輛，節(jié)省辦案時間。

附圖說明

圖1為本發(fā)明流程圖；

圖2為受限玻爾茲曼機的輸入和目標類的聯(lián)合分布模型圖；實驗中，隱含層單元數(shù)為1500，λ取值為0.01；

圖3為本發(fā)明單幅圖片識別過程截圖；

圖4為本發(fā)明從道路動態(tài)視頻中提取的幀圖像的車牌識別效果圖。

具體實施方式

下面結合附圖和實施例對本發(fā)明進一步說明。

本發(fā)明包括視頻中提取圖像信息、圖像預處理、定位車牌區(qū)域，車牌字符分割和車牌字符識別，軌跡生成六個步驟。

所述的視頻中提取圖像信息，其目的是從道路視頻中提取包含車輛牌照信息的圖像。通過對每幀圖像都進行圖像預處理、定位車牌區(qū)域操作，若能提取出車牌區(qū)域，則再進行車牌字符分割和字符識別操作，若此幀圖像中沒有定位出車牌區(qū)域，則認為此幀為無用幀，繼續(xù)讀取下一幀。

所述的圖像預處理過程，其目的是將提取的rgb圖像轉換成分辨率低、包含原始圖像重要信息、噪聲更少的二值圖像，包括圖像降采樣、rgb圖像灰度化、中值濾波三個步驟。

所述的圖像降采樣，其目的是降低圖像采樣率，使圖像分辨率降低至400*600左右，在不損壞圖像中有用信息的同時，可減少運算的點數(shù)，從而減少時耗。

所述的彩色圖像灰度化，旨在將彩色圖像轉換為灰度圖像。目前采集到的圖像為rgb彩色模型，數(shù)據(jù)量大，顏色種類繁多，不利于圖像的快速處理，轉換為灰度圖像有利于后續(xù)算法更好的實現(xiàn)。采用加權平均法：即：gray＝0.2989×r+0.5870×g+0.1140×b。

所述的中值濾波，旨在使用一個像素鄰域內(nèi)的中值來替代該處像素的值，濾去圖像的椒鹽噪聲等干擾，以便于后續(xù)處理。

所述的定位車牌區(qū)域算法，其目的是輸入上述處理后的二值圖像，可得到圖像中車牌區(qū)域所在的坐標。處理過程包括頂帽變換、canny邊緣檢測、去除長的背景邊緣和細小的邊緣噪聲、閉操作、定位車牌區(qū)域、提取車牌區(qū)域、車牌區(qū)域二值化、中值濾波、水平投影九個步驟。

所述的頂帽變換，其目的是提取圖像細節(jié)。頂帽運算為原圖像與開運算之差，開運算放大了裂縫或者局部低亮度區(qū)域，從原圖中減去開運算后的圖，得到的效果圖突出了比原圖輪廓周圍的區(qū)域更明亮的區(qū)域。當一幅圖像具有大幅的背景的時候，而微小物品比較有規(guī)律的情況下，使用頂帽運算進行背景提取。

所述的canny邊緣檢測，旨在檢測出圖像中的邊緣信息。canny基于三個基本目標：低錯誤率、很好的定位邊緣點、單一的邊緣點相應。canny邊緣檢測算法由下列基本步驟組成：(a)用一個高斯濾波器平滑輸入圖像。(b)計算梯度幅值圖像和角度圖像。(c)對梯度幅值圖像應用非最大抑制。(d)用雙閾值處理和連接分析來檢測并連接邊緣。

所述的去除長的背景邊緣和細小的邊緣噪聲，是通過逐點遍歷邊緣圖像，獲得每個邊緣的長度值，將大于車牌邊緣最大值和小于車牌邊緣的最小值的邊緣刪去，獲得去除背景長邊緣和邊緣噪聲的圖像；假設e表示邊緣檢測后得到的邊緣圖像(若點(i,j)為邊緣點，則e(i,j)＝1，反之為e(i,j)＝0)，m、n為與e相同大小的0矩陣，假設e的大小為m行n列，此步驟由下述三個循環(huán)組成：

第一個循環(huán)：

(1)當行從第3行遍歷至第m-2行，當前行記為第i行；

(2)當列從第三列遍歷至第n-2列，當前列記為第j列，若j>n-2,轉至(1)；

(3)若e(i,j)＝1，則轉至步驟(4)；若e(i,j)＝0，轉至步驟(2)；

(4)若e(i-1,j-1)、e(i-1,j)、e(i-1,j+1)、e(i,j-1)不全為0，轉至(5)，否則(6)

(5)m(i,j)＝max{m(i-1,j-1)、m(i-1,j)、m(i-1,j+1)、m(i,j-1)}+1

(6)m(i,j)＝max{m(i-2,j-1)、m(i-2,j)、m(i-2,j+1)、m(i-1,j-2)、m(i-1,j+2)、m(i,j-2)}+1

(7)轉至(2)

第二個循環(huán)：

(1)當行從第3行遍歷至第m-2行，當前行記為第i行；

(2)當列從第三列遍歷至第n-2列，當前列記為第j列，若j>n-2,轉至(1)；

(3)若e(i,j)＝1，則轉至步驟(4)；若e(i,j)＝0，轉至步驟(2)；

(4)若e(i-1,j-1)、e(i-1,j)、e(i-1,j+1)、e(i,j-1)不全為0，轉至(5)，否則(6)

(5)n(i,j)＝max{n(i-1,j-1)、n(i-1,j)、n(i-1,j+1)、n(i,j-1)}+1

(6)n(i,j)＝max{n(i-2,j-1)、n(i-2,j)、n(i-2,j+1)、n(i-1,j-2)、n(i-1,j+2)、n(i,j-2)}+1

(7)轉至(2)

第三個循環(huán)：

(1)當行從第3行遍歷至第m-2行，當前行記為第i行；

(2)當列從第三列遍歷至第n-2列，當前列記為第j列，若j>n-2,轉至(1)；

(3)若e(i,j)＝1，轉至(4)，否則(2)

(4)若m(i,j)+n(i,j)之和大于車牌邊緣最大可能點數(shù)或小于車牌邊緣最小可能點數(shù)，

(5)轉至(5)，否則(2)

(6)令e(i,j)＝0

(7)轉至(2)；

所述的閉運算，目的是車牌區(qū)域連為一體，以便于后續(xù)提取。閉操作可以平滑輪廓的一部分，彌合較窄的間斷和細長的溝壑，消除小的孔洞，填補輪廓線中的斷裂。結構元b對幾何a的閉操作，即：a·b＝(a⊕b)θb，為先用b對a進行膨脹，再用b對膨脹的結果進行腐蝕，使得對應圖形的大小不變，而又可以得到膨脹后彌合較窄的間斷和細長的溝壑、消除小的孔洞、填補輪廓線中的斷裂的效果。

所述的根據(jù)長寬比及面積粗定位車牌區(qū)域，其目的是定位出車牌所在區(qū)域的左上角點的坐標，以及車牌所在連通域的長和寬。具體方法是使用matlab中連通域標記法獲取每個連通域的長寬比即面積大小，結合車牌長寬比特征及車牌在圖像中應占的面積大小，可得出車牌區(qū)域所在的連通域。

所述的根據(jù)坐標即長寬比提取車牌區(qū)域，其目的是從原圖像中截取出車牌的圖像。

所述的車牌二值化及中值濾波，目的是將車牌圖像閾值化便于處理，并減少車牌區(qū)域噪聲干擾。所述的圖像二值化，旨在將圖像上的像素點的灰度值根據(jù)自適應閾值法設置為0或255，使整個圖像呈現(xiàn)出非黑即白的視覺效果。可極大壓縮數(shù)據(jù)量，簡化了分析和處理步驟。采用otsu方法進行二值化，再對二值化的圖像進行中值濾波。

上述的水平投影目的是確定車牌字符的上下界限。首先進行水平投影，認為上下側波谷區(qū)為無用區(qū)，其它為字符區(qū)，拋棄上下無用區(qū)，可得到準確的字符上下邊框。

所述的車牌字符分割，目的是得到單幅車牌字符圖像。使用垂直投影法，再根據(jù)波谷從中間向兩邊切割，可得一個一個的車牌字符，再進行上下投影與左右投影，以更加精確確定每個字符的上下邊框與左右邊框。之后，再進行字符歸一化，使每個字符有相同的分辨率，以便字符識別。

所述的車牌字符識別是通過混合判別式受限玻爾茲曼機(hrdbm)離線訓練的分類器模型，完成車輛牌照的識別。首先需進行模型的訓練，hdrbm有輸入層、隱含層及標簽輸出層。hdrbm加入了生成式目標到判別式目標，通過這種方法很好地正則化判別式目標，hdrbm目標函數(shù)表示如下：

ohybrid＝odisc+λogen

其中，λ的取值根據(jù)實驗動態(tài)調(diào)整。

離線訓練的分類器hdrbm在配置環(huán)境為i76700hq處理器、970顯卡、采用gpu加速的條件下，訓練時間為20分鐘。

通過采集兩萬張字符模版，包含傾斜、模糊、殘缺等字符的模型，輸入至輸入層，對hdrbm進行訓練。訓練完成后，將得到模型的參數(shù)。之后的車牌字符識別中，通過將二維的圖片一行連著一行拉成行數(shù)為一、列數(shù)為原行數(shù)*原列數(shù)大小的一維的圖，將其輸入至輸入層，再通過先前離線訓練的分類器模型，輸出一個標簽，根據(jù)標簽即可判別其為何種字符。根據(jù)車牌字符的分布形式，將其分成了三種分類器，即：漢字字符為一類、英文字母為一類、阿拉伯數(shù)字和英文字母為一類。

參數(shù)：h層單元數(shù)＝1500，取值為0.01。本系統(tǒng)標簽為0～33，共34個標簽，其中：0～9為數(shù)字0～9，10～33為字母a～z。

上述的車輛軌跡生成是利用將在視頻中識別的車牌按照“監(jiān)控探頭號車牌號監(jiān)控時間”保存至文本，輸入車牌號查找某輛車時，將按時間順序排序，以確定車輛經(jīng)過監(jiān)控探頭的順序，再依據(jù)監(jiān)控探頭所處的地理信息(監(jiān)控探頭在地圖上的坐標)，即可繪制車輛在某段時間內(nèi)行駛的軌跡。

實施例1

如圖3所示，為單幅圖片識別過程截圖，原圖(a)中經(jīng)過降采樣、灰度化(b)將圖像分辨率降低至400*600左右，在不損壞圖像中有用信息的同時，可減少運算的點數(shù)，從而減少時耗。采集到的圖像為rgb彩色模型，數(shù)據(jù)量大，顏色種類繁多，不利于圖像的快速處理，因此將彩色圖像轉換為灰度圖像，以便后續(xù)算法更好的實現(xiàn)。采用加權平均法：即：0.2989×r+0.5870×g+0.1140×b。

頂帽變換(c)為原圖像與開運算之差，開運算放大了裂縫或者局部低亮度區(qū)域，從原圖中減去開運算后的圖，得到的效果圖突出了比原圖輪廓周圍的區(qū)域更明亮的區(qū)域。當一幅圖像具有大幅的背景的時候，而微小物品比較有規(guī)律的情況下，使用頂帽運算進行背景提取。

邊緣檢測(d)用一個高斯濾波器平滑輸入圖像。計算梯度幅值圖像和角度圖像。對梯度幅值圖像應用非最大抑制。用雙閾值處理和連接分析來檢測并連接邊緣。此步驟后可得圖像的邊緣輪廓。通過去除長的背景邊緣和細小的邊緣噪聲(e)可去除圖像中的細小孔洞噪聲等干擾。通過閉運算(f)，可填充小孔洞即裂縫。內(nèi)核大小設置合適值時，可使車牌區(qū)域連為一體，如圖(f)所示，以便于后續(xù)提取。

根據(jù)長寬比及面積粗定位車牌區(qū)域。使用連通域標記法獲取每個連通域的長寬比即面積大小，結合車牌長寬比特征及車牌在圖像中應占的面積大小，得出車牌區(qū)域所在的連通域。如圖(g)所示。

根據(jù)坐標即長寬比提取目標連通域(車牌區(qū)域)，在原圖中切割出該坐標及相應長度寬度的區(qū)域，即可初步提取出車牌區(qū)域。如圖(h)、圖(i)所示。

將提取出的車牌圖像二值化，以便于后續(xù)處理。如圖(j)所示。

將車牌二值化后的圖像進行中值濾波，濾去其中的椒鹽噪聲，防止后續(xù)步驟受到噪聲干擾。如圖(k)所示。

將圖(k)進行水平投影，刪去上下側低于一定像素值(設為3)的行，定位出字符的上下邊框。如圖(l)所示。

將圖(l)進行垂直投影，根據(jù)波谷從中間至兩邊依次切割出車牌字符。如圖m所示。

將切割出的車牌字符進行歸一化，如圖(n)所示。

將每個車牌字符進行字符識別，通過混合判別式受限玻爾茲曼機(hrdbm)離線訓練的分類器模型，完成車輛牌照的識別。hdrbm有輸入層、隱含層及標簽輸出層。通過將二維的圖片一行連著一行拉成行數(shù)為一、列數(shù)為原行數(shù)*原列數(shù)大小的一維的圖，將其輸入至輸入層，再通過離線訓練的分類器模型，輸出一個標簽，根據(jù)標簽即可判別其為何種字符。離線訓練的分類器hdrbm在配置環(huán)境為i76700hq處理器、970顯卡、采用gpu加速的條件下，訓練時間為20分鐘。參數(shù)：h層單元數(shù)＝1500，取值為0.01。其中標簽為0～33，共34個標簽，0～9為數(shù)字0～9，10～33為字母a～z。

實施例2

如圖4所示，為從道路動態(tài)視頻中提取的幀圖像進行上述步驟的車牌識別效果。其中，(a)視頻截圖(b)視頻中提取圖像(c)降采樣、灰度化(d)頂帽變換(e)邊緣檢測(f)去除長的背景邊緣和細小的邊緣噪聲(g)閉運算(h)連通域標記法(i)定位車牌(j)提取車牌圖像、車牌圖像二值化(k)圖像濾波(l)切割車牌及車牌字符歸一化(m)車牌字符識別。