本發(fā)明涉及圖像處理領(lǐng)域，更具體的說，涉及一種車牌識別方法和裝置。

背景技術(shù)：

車牌號碼作為車輛的身份信息，是智能交通系統(tǒng)對車輛進(jìn)行登記、處罰、收費(fèi)和管理的重要憑證。因此，車牌信息的準(zhǔn)確獲取是智能交通系統(tǒng)的關(guān)鍵環(huán)節(jié)。

目前，采用基于水平垂直紋理信息的車牌檢測方法檢測得到車牌信息，該方法檢測車牌信息的過程包括：通過霍夫變換、顏色模型和邊緣檢測等圖像算法定位到圖像中的車牌區(qū)域，然后將獲取的車牌區(qū)域與預(yù)設(shè)的字符模板向量作比對，進(jìn)而去識別圖像中的車牌信息。

但是基于水平垂直紋理信息的車牌檢測方法僅適用于車牌在圖像中的成像不傾斜的情況，其中，車牌在圖像中的成像不傾斜是指車牌在圖像中的成像為長方形。對于車牌在圖像中的成像是傾斜的這種情況，采用基于水平垂直紋理信息的車牌檢測方法無法檢測得到車牌信息。

因此，亟需一種能夠在圖像中車牌的成像為傾斜狀態(tài)時(shí)，仍能夠識別車牌信息的方法。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種車牌識別方法和裝置，以解決現(xiàn)有技術(shù)中沒有在圖像中車牌的成像為傾斜狀態(tài)時(shí)，能夠識別圖像中的車牌信息的方法的問題。

為解決上述技術(shù)問題，本發(fā)明采用了如下技術(shù)方案：

一種車牌識別方法，包括：

檢測車牌的成像在視頻幀中的區(qū)域位置信息；其中，所述視頻幀中包含有完整的所述車牌的成像；

從所述視頻幀中，基于所述區(qū)域位置信息，得到包含有完整的所述車牌的成像的第一圖像；

從所述第一圖像中檢測得到所述車牌的成像的四個(gè)頂點(diǎn)；

根據(jù)所述四個(gè)頂點(diǎn)，采用預(yù)設(shè)算法，調(diào)整所述第一圖像中的所述車牌的成像，得到第二圖像；其中，所述第二圖像中所述車牌的成像不傾斜；

識別所述第二圖像中的車牌信息。

優(yōu)選地，所述檢測車牌的成像在視頻幀中的區(qū)域位置信息后，還包括：

基于所述區(qū)域位置信息，擴(kuò)大所述視頻幀中包含所述車牌的成像的區(qū)域；

相應(yīng)的，從所述視頻幀中，基于所述區(qū)域位置信息，得到包含有完整的所述車牌的成像的第一圖像，包括：

從擴(kuò)大后的圖像中，基于所述區(qū)域位置信息，截取得到所述第一圖像。

優(yōu)選地，從所述第一圖像中檢測得到所述車牌的成像的四個(gè)頂點(diǎn)，包括：

采用角點(diǎn)檢測算法，檢測得到所述第一圖像中的各角點(diǎn)；

采用邊緣檢測算法，檢測得到所述第一圖像中的各邊緣線；

根據(jù)各角點(diǎn)和各邊緣線，選取出所述四個(gè)頂點(diǎn)。

優(yōu)選地，根據(jù)所述四個(gè)頂點(diǎn)，采用預(yù)設(shè)算法，調(diào)整所述第一圖像中的所述車牌的成像，得到第二圖像，包括：

根據(jù)所述四個(gè)頂點(diǎn)，將所述第一圖像中的所述車牌的成像在預(yù)設(shè)平面投影，得到第三圖像；

計(jì)算變化矩陣；

根據(jù)所述變化矩陣，調(diào)整所述第三圖像，得到所述第二圖像。

優(yōu)選地，識別所述第二圖像中的車牌信息，包括：

采用光學(xué)字符識別OCR技術(shù)，識別所述第二圖像中的車牌信息。

優(yōu)選地，識別所述第二圖像中的車牌信息后，還包括：

計(jì)算車牌識別結(jié)果置信度；

判斷所述車牌識別結(jié)果置信度是否大于預(yù)設(shè)數(shù)值；

若判斷出所述車牌識別結(jié)果置信度大于所述預(yù)設(shè)數(shù)值，輸出所述車牌信息。

一種車牌識別裝置，包括：

第一檢測單元，用于檢測車牌的成像在視頻幀中的區(qū)域位置信息；其中，所述視頻幀中包含有完整的所述車牌的成像；

圖像處理單元，用于從所述視頻幀中，基于所述區(qū)域位置信息，得到包含有完整的所述車牌的成像的第一圖像；

第二檢測單元，用于從所述第一圖像中檢測得到所述車牌的成像的四個(gè)頂點(diǎn)；

調(diào)整單元，用于根據(jù)所述四個(gè)頂點(diǎn)，采用預(yù)設(shè)算法，調(diào)整所述第一圖像中的所述車牌的成像，得到第二圖像；其中，所述第二圖像中所述車牌的成像不傾斜；

識別單元，用于識別所述第二圖像中的車牌信息。

優(yōu)選地，還包括：

擴(kuò)大單元，用于所述第一檢測單元檢測車牌的成像在視頻幀中的區(qū)域位置信息后，基于所述區(qū)域位置信息，擴(kuò)大所述視頻幀中包含所述車牌的成像的區(qū)域；

相應(yīng)的，所述圖像處理單元包括：

截取單元，用于從擴(kuò)大后的圖像中，基于所述區(qū)域位置信息，截取得到所述第一圖像。

優(yōu)選地，所述第二檢測單元包括：

角點(diǎn)檢測單元，用于采用角點(diǎn)檢測算法，檢測得到所述第一圖像中的各角點(diǎn)；

邊緣線檢測單元，用于采用邊緣檢測算法，檢測得到所述第一圖像中的各邊緣線；

選取單元，用于根據(jù)各角點(diǎn)和各邊緣線，選取出所述四個(gè)頂點(diǎn)。

優(yōu)選地，所述調(diào)整單元包括：

投影單元，用于根據(jù)所述四個(gè)頂點(diǎn)，將所述第一圖像中的所述車牌的成像在預(yù)設(shè)平面投影，得到第三圖像；

計(jì)算單元，用于計(jì)算變化矩陣；

圖像調(diào)整單元，用于根據(jù)所述變化矩陣，調(diào)整所述第三圖像，得到所述第二圖像。

優(yōu)選地，所述識別單元包括：

識別子單元，用于采用光學(xué)字符識別OCR技術(shù)，識別所述第二圖像中的車牌信息。

優(yōu)選地，還包括：

置信度計(jì)算單元，用于所述識別單元識別所述第二圖像中的車牌信息后，計(jì)算車牌識別結(jié)果置信度；

判斷單元，用于判斷所述車牌識別結(jié)果置信度是否大于預(yù)設(shè)數(shù)值；

信息輸出單元，用于若所述判斷單元判斷出所述車牌識別結(jié)果置信度大于所述預(yù)設(shè)數(shù)值，輸出所述車牌信息。

相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

本發(fā)明提供了一種車牌識別方法和裝置，本發(fā)明中對車牌的成像進(jìn)行了調(diào)整，得到了車牌的成像不傾斜的第二圖像，進(jìn)而能夠去識別所述第二圖像中的車牌信息。解決了現(xiàn)有技術(shù)中沒有在圖像中車牌的成像為傾斜狀態(tài)時(shí)，能夠識別圖像中的車牌信息的方法的問題。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明提供的一種車牌識別方法的方法流程圖；

圖2為本發(fā)明提供的頂點(diǎn)檢測方法的方法流程圖；

圖3為本發(fā)明提供的第二圖像獲取方法的方法流程圖；

圖4為本發(fā)明提供的一種車牌識別裝置的結(jié)構(gòu)示意圖；

圖5為本發(fā)明提供的另一種車牌識別裝置的結(jié)構(gòu)示意圖；

圖6為本發(fā)明提供的再一種車牌識別裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明實(shí)施例提供了一種車牌識別方法，參照圖1，包括：

S101、檢測車牌的成像在視頻幀中的區(qū)域位置信息；

其中，視頻幀預(yù)先獲取。視頻幀是從攝像機(jī)中獲取的，獲取的視頻幀一般是監(jiān)控場景中包含車輛的車牌的圖像。其中，攝像機(jī)可以是球型攝像機(jī)，其中，球型攝像機(jī)可以獲取得到多張包含有完整的車牌的成像的視頻幀，只需從中選取一張包含有完整的車牌的成像的視頻幀即可。

可選的，除了能夠檢測到車牌的成像在視頻幀中的區(qū)域位置信息，還能夠檢測到車牌的種類信息，其中，不同的車具有不同的車牌種類，如卡車和小汽車的車牌種類不同，此外，車牌的種類信息還包括紅色車牌和黃色車牌等。

S102、從視頻幀中，基于區(qū)域位置信息，得到包含有完整的車牌的成像的第一圖像。

可選的，本發(fā)明的另一實(shí)施例中，檢測車牌的成像在視頻幀中的區(qū)域位置信息后，還包括：

基于區(qū)域位置信息，擴(kuò)大視頻幀中包含車牌的成像的區(qū)域；

相應(yīng)的，從視頻幀中，基于區(qū)域位置信息，得到包含有完整的車牌的成像的第一圖像，包括：

從擴(kuò)大后的圖像中，基于區(qū)域位置信息，截取得到第一圖像。

具體的，檢測得到區(qū)域位置信息，即能夠知道車牌的成像在視頻幀中的大概區(qū)域位置，將該區(qū)域位置進(jìn)行預(yù)設(shè)比例的擴(kuò)大，進(jìn)而從擴(kuò)大后的圖像中截取得到第一圖像。其中，從擴(kuò)大后的圖像中截取得到第一圖像，是為了使第一圖像中包含有完整的車牌的成像

S103、從第一圖像中檢測得到車牌的成像的四個(gè)頂點(diǎn)；

具體的，從第一圖像中檢測得到車牌的成像的四個(gè)頂點(diǎn)是指從第一圖像中定位到車牌的成像的四個(gè)頂點(diǎn)。

S104、根據(jù)四個(gè)頂點(diǎn)，采用預(yù)設(shè)算法，調(diào)整第一圖像中的車牌的成像，得到第二圖像。

其中，第二圖像中車牌的成像不傾斜、且預(yù)設(shè)算法可以為圖像重投影技術(shù)。

圖像重投影技術(shù)是在保持?jǐn)z像機(jī)投影中心不變的情況下，通過改變聚焦和成像平面的方向，將實(shí)際獲取的景物圖像重新投影到另一個(gè)圖像平面上，從而實(shí)現(xiàn)圖像幾何特性變化的一種變化方法。

S105、識別第二圖像中的車牌信息。

可選的，采用光學(xué)字符識別OCR技術(shù)，識別第二圖像中的車牌信息。

OCR(Optical Character Recognition，光學(xué)字符識別)是指電子設(shè)備(例如掃描儀或數(shù)碼相機(jī))檢查紙上打印的字符，通過檢測暗、亮的模式確定其形狀，然后用字符識別方法將形狀翻譯成計(jì)算機(jī)文字的過程。

可選的，本發(fā)明的另一實(shí)施例中，步驟S105后，還包括：

計(jì)算車牌識別結(jié)果置信度；

判斷車牌識別結(jié)果置信度是否大于預(yù)設(shè)數(shù)值；

若判斷出車牌識別結(jié)果置信度大于預(yù)設(shè)數(shù)值，輸出車牌信息。

具體的，在識別車牌信息的過程中，會(huì)計(jì)算得到一個(gè)車牌識別結(jié)果置信度，車牌識別結(jié)果置信度代表本次車牌信息識別的準(zhǔn)確程度，車牌識別結(jié)果置信度為一個(gè)數(shù)值，將車牌識別結(jié)果置信度與預(yù)設(shè)數(shù)值做比較，當(dāng)車牌識別結(jié)果置信度大于預(yù)設(shè)數(shù)值時(shí)，說明本次識別的準(zhǔn)確程度較高，此時(shí)輸出識別得到的車牌信息，同時(shí)輸出車牌識別結(jié)果置信度。

當(dāng)車牌識別結(jié)果置信度不大于預(yù)設(shè)數(shù)值時(shí)，說明本次識別的準(zhǔn)確程度較低，此時(shí)不輸出識別得到的車牌信息，也不輸出車牌識別結(jié)果置信度。

本實(shí)施例中對車牌的成像進(jìn)行了調(diào)整，得到了車牌的成像不傾斜的第二圖像，進(jìn)而能夠去識別第二圖像中的車牌信息。解決了現(xiàn)有技術(shù)中沒有在圖像中車牌的成像為傾斜狀態(tài)時(shí)，能夠識別圖像中的車牌信息的方法的問題。

本發(fā)明提供的車牌識別方法應(yīng)用于車牌檢測器，車牌檢測器根據(jù)深度學(xué)習(xí)CNN卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建，其中車牌檢測器在訓(xùn)練過程中，會(huì)采用各種視角不同車牌的海量數(shù)據(jù)作為訓(xùn)練標(biāo)本。由于每一類傾斜視角都有海量的訓(xùn)練樣本數(shù)據(jù)，所以采用本發(fā)明中提供的車牌檢測器，在圖像中車牌的成像為傾斜狀態(tài)時(shí)，也能夠識別圖像中的車牌信息。

可選的，本發(fā)明的另一實(shí)施例中，步驟S103包括：

S201、采用角點(diǎn)檢測算法，檢測得到第一圖像中的各角點(diǎn)；

角點(diǎn)檢測算法可以是Harris角點(diǎn)檢測算法，Harris角點(diǎn)檢測算法的計(jì)算公式如下所示：

其中，E為角點(diǎn)響應(yīng)強(qiáng)度，I(x,y)為車牌的成像中(x,y)像素點(diǎn)的像素灰度值，(u,v)為車牌的成像中(x,y)像素點(diǎn)的偏移向量，角點(diǎn)為車牌的成像的頂點(diǎn)或者車牌的成像中字符拐點(diǎn)等。

通過Harris角點(diǎn)檢測算法，能夠檢測到多個(gè)角點(diǎn)，多個(gè)角點(diǎn)中包含車牌的成像的頂點(diǎn)。

S202、采用邊緣檢測算法，檢測得到第一圖像中的各邊緣線；

其中，邊緣檢測算法可以是索貝爾算子Sobel邊緣檢測算法，(x,y)像素點(diǎn)的梯度大小一般可以采用公式|G|＝|G_x|+|G_y|計(jì)算，梯度方向計(jì)算公式為

其中G_x和G_y分別為如下公式所示：

G_x＝{f[x+1,y-1]+2*f[x+1,y]+f[x+1,y+1]}

-{f[x-1,y-1]+2*f[x-1,y]+f[x-1,y+1]}

G_y＝{f[x-1,y+1]+2*f[x,y+1]+f[x+1,y+1]}

-{f[x-1,y-1]+2*f[x,y-1]+f[x+1,y-1]}

計(jì)算得到每個(gè)像素點(diǎn)的梯度后，就能夠得到第一圖像中的各邊緣線。

S203、根據(jù)各角點(diǎn)和各邊緣線，選取出四個(gè)頂點(diǎn)。

具體的，結(jié)合各角點(diǎn)、各邊緣線以及車牌的固有屬性來確定車牌的成像的四個(gè)頂點(diǎn)。其中，車牌的固有屬性可以為車牌的固定的寬高比例。

本實(shí)施例中，采用角點(diǎn)檢測算法，檢測得到第一圖像中的各角點(diǎn)，采用邊緣檢測算法，檢測得到第一圖像中的各邊緣線，進(jìn)而能夠根據(jù)各角點(diǎn)和各邊緣線，選取出四個(gè)頂點(diǎn)。

可選的，本發(fā)明的另一實(shí)施例中，步驟S104包括：

S301、根據(jù)四個(gè)頂點(diǎn)，將第一圖像中的車牌的成像在預(yù)設(shè)平面投影，得到第三圖像。

其中，預(yù)設(shè)平面為攝像機(jī)的相機(jī)平面。

S302、計(jì)算變化矩陣；

變化矩陣為第三圖像畸變校正的矩陣。

S303、根據(jù)變化矩陣，調(diào)整第三圖像，得到第二圖像。

需要說明的是，步驟S301至步驟S303為圖像重投影技術(shù)的具體實(shí)現(xiàn)步驟。

本實(shí)施例中，采用圖像重投影技術(shù)，對第三圖像進(jìn)行調(diào)整，得到第二圖像，進(jìn)而能夠去識別第二圖像中的車牌信息。

可選的，本發(fā)明的另一實(shí)施例中提供了一種車牌識別裝置，其中，車牌識別裝置可以為車牌檢測器。參照圖4，車牌識別裝置包括：

第一檢測單元101，用于檢測車牌的成像在視頻幀中的區(qū)域位置信息；其中，視頻幀中包含有完整的車牌的成像；

圖像處理單元102，用于從視頻幀中，基于區(qū)域位置信息，得到包含有完整的車牌的成像的第一圖像；

第二檢測單元103，用于從第一圖像中檢測得到車牌的成像的四個(gè)頂點(diǎn)；

調(diào)整單元104，用于根據(jù)四個(gè)頂點(diǎn)，采用預(yù)設(shè)算法，調(diào)整第一圖像中的車牌的成像，得到第二圖像；其中，第二圖像中車牌的成像不傾斜；

識別單元105，用于識別第二圖像中的車牌信息。

車牌識別裝置可以為車牌檢測器。

可選的，本發(fā)明的另一實(shí)施例中，還包括：

擴(kuò)大單元，用于第一檢測單元101檢測車牌的成像在視頻幀中的區(qū)域位置信息后，基于區(qū)域位置信息，擴(kuò)大視頻幀中包含車牌的成像的區(qū)域；

相應(yīng)的，圖像處理單元包括：

截取單元，用于從擴(kuò)大后的圖像中，基于區(qū)域位置信息，截取得到第一圖像。

可選的，本發(fā)明的另一實(shí)施例中，識別單元105包括：

識別子單元，用于采用光學(xué)字符識別OCR技術(shù)，識別第二圖像中的車牌信息。

可選的，本發(fā)明的另一實(shí)施例中，還包括：

置信度計(jì)算單元，用于識別單元識別第二圖像中的車牌信息后，計(jì)算車牌識別結(jié)果置信度；

判斷單元，用于判斷車牌識別結(jié)果置信度是否大于預(yù)設(shè)數(shù)值；

信息輸出單元，用于若判斷單元判斷出車牌識別結(jié)果置信度大于預(yù)設(shè)數(shù)值，輸出車牌信息。

本實(shí)施例中對車牌的成像進(jìn)行了調(diào)整，得到了車牌的成像不傾斜的第二圖像，進(jìn)而能夠去識別第二圖像中的車牌信息。解決了現(xiàn)有技術(shù)中沒有在圖像中車牌的成像為傾斜狀態(tài)時(shí)，能夠識別圖像中的車牌信息的方法的問題。

需要說明的是，本實(shí)施例中的各個(gè)單元的工作過程，請參照圖1中對應(yīng)的實(shí)施例中的內(nèi)容，在此不再贅述。

可選的，本發(fā)明的另一實(shí)施例中，參照圖5，第二檢測單元103包括：

角點(diǎn)檢測單元1031，用于采用角點(diǎn)檢測算法，檢測得到第一圖像中的各角點(diǎn)；

邊緣線檢測單元1032，用于采用邊緣檢測算法，檢測得到第一圖像中的各邊緣線；

選取單元1033，用于根據(jù)各角點(diǎn)和各邊緣線，選取出四個(gè)頂點(diǎn)。

本實(shí)施例中，采用角點(diǎn)檢測算法，檢測得到第一圖像中的各角點(diǎn)，采用邊緣檢測算法，檢測得到第一圖像中的各邊緣線，進(jìn)而能夠根據(jù)各角點(diǎn)和各邊緣線，選取出四個(gè)頂點(diǎn)。

需要說明的是，本實(shí)施例中的各個(gè)單元的工作過程，請參照圖2中對應(yīng)的實(shí)施例中的內(nèi)容，在此不再贅述。

可選的，本發(fā)明的另一實(shí)施例中，參照圖6，調(diào)整單元104包括：

投影單元1041，用于根據(jù)四個(gè)頂點(diǎn)，將第一圖像中的車牌的成像在預(yù)設(shè)平面投影，得到第三圖像；

計(jì)算單元1042，用于計(jì)算變化矩陣；

圖像調(diào)整單元1043，用于根據(jù)變化矩陣，調(diào)整第三圖像中的車牌的成像，得到第二圖像。

本實(shí)施例中，采用圖像重投影技術(shù)，對第三圖像進(jìn)行調(diào)整，得到第二圖像，進(jìn)而能夠識別第二圖像中的車牌信息。

需要說明的是，本實(shí)施例中的各個(gè)單元的工作過程，請參照圖3中對應(yīng)的實(shí)施例中的內(nèi)容，在此不再贅述。

對所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實(shí)施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。