本發(fā)明涉及機(jī)器視覺(jué)和人工智能領(lǐng)域，尤其涉及一種道路標(biāo)牌識(shí)別方法及系統(tǒng)。

背景技術(shù)：

視頻圖像道路標(biāo)牌識(shí)別，在于判斷出標(biāo)牌對(duì)行車的限制信息。傳統(tǒng)方法為：首先以圖像處理方法定位標(biāo)牌位置，然后分割出標(biāo)牌各個(gè)數(shù)字、字符。最后采用模板匹配或者神經(jīng)網(wǎng)絡(luò)算法進(jìn)行識(shí)別。

傳統(tǒng)方法可有效判定限速標(biāo)識(shí)，但無(wú)法區(qū)分限寬與限高標(biāo)識(shí)。主要原因在于傳統(tǒng)方法只著重于道路標(biāo)識(shí)牌中數(shù)字和字符的識(shí)別、判定，而忽略了標(biāo)識(shí)牌本身特征。

傳統(tǒng)的模板匹配法，需對(duì)目標(biāo)尺寸進(jìn)行縮放，以與模板尺寸相等，再比較對(duì)應(yīng)像素點(diǎn)并統(tǒng)計(jì)，以相似度最高者為輸出結(jié)果。此方法計(jì)算效率偏低，且縮放過(guò)程易造成圖像變形，對(duì)結(jié)果影響頗大。

而常用的神經(jīng)網(wǎng)絡(luò)算法，引入的特征過(guò)多。影響效率，且易受噪聲影響。劃分成九宮格，充分考慮了計(jì)算效率與準(zhǔn)確的間的平衡。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題在于針對(duì)現(xiàn)有技術(shù)中模板匹配法效率低，容易影響結(jié)果，常用的神經(jīng)網(wǎng)絡(luò)算法，容易受噪聲影響的缺陷，提供一種道路標(biāo)牌識(shí)別方法及系統(tǒng)。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：

本發(fā)明提供一種道路標(biāo)牌識(shí)別方法，包括以下步驟：

s1、實(shí)時(shí)獲取車輛行駛過(guò)程中的道路圖像，對(duì)道路圖像中的單幀圖像在hsv空間進(jìn)行顏色閾值二值化，根據(jù)標(biāo)牌顏色特征對(duì)其定位，得到定位的標(biāo)牌連通域；

s2、根據(jù)定位到的標(biāo)牌連通域的位置和尺寸信息，計(jì)算標(biāo)牌連通域的長(zhǎng)寬比，設(shè)置長(zhǎng)寬比的閾值排除虛假目標(biāo)；計(jì)算標(biāo)牌連通域中輪廓邊緣至目標(biāo)中心位置距離，得到標(biāo)牌連通域的輪廓為圓形的目標(biāo)定位區(qū)；

s3、在顏色閾值二值化的灰度圖像中，根據(jù)得到的目標(biāo)定位區(qū)截取對(duì)應(yīng)的灰度圖像并計(jì)算其平均灰度，以平均灰度值為閾值對(duì)目標(biāo)定位區(qū)的灰度圖進(jìn)行二值化操作，得到各個(gè)目標(biāo)定位區(qū)的二值圖；

s4、提取目標(biāo)定位區(qū)的二值圖中的連通域，并按照坐標(biāo)對(duì)連通域進(jìn)行排序，得到每個(gè)目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖；

s5、通過(guò)神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法計(jì)算并判定目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖，得到目標(biāo)標(biāo)牌上的數(shù)字或字符；

s6、保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，輸出滿足置信度要求的識(shí)別結(jié)果。

進(jìn)一步地，本發(fā)明的步驟s2中排除虛假目標(biāo)時(shí)設(shè)置的長(zhǎng)寬比閾值范圍為0.9-1.1。

進(jìn)一步地，本發(fā)明的步驟s3中還包括識(shí)別限高標(biāo)牌和限寬標(biāo)牌的方法：

若圓形目標(biāo)定位區(qū)的圓形輪廓處，存在上下對(duì)稱的三角形標(biāo)識(shí)，且三角形頂角距離與圓形輪廓直徑的比值范圍為0.7-0.9，表示該標(biāo)牌為限高標(biāo)牌；

若圓形目標(biāo)定位區(qū)的圓形輪廓處，存在左右多層的三角形標(biāo)識(shí)，且三角形頂角距離與圓形輪廓直徑的比值范圍為0.7-0.9，表示該標(biāo)牌為限寬標(biāo)牌。

進(jìn)一步地，本發(fā)明的步驟s5中神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法的具體方法為：

將待識(shí)別的目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖統(tǒng)計(jì)為9維特征矩陣，將二值圖按九宮格劃分，統(tǒng)計(jì)每個(gè)格中黑白像素比值，得到9維特征矩陣；網(wǎng)絡(luò)隱藏層采用sigmoid激活函數(shù)，輸出層采用競(jìng)爭(zhēng)網(wǎng)絡(luò)進(jìn)行計(jì)算，得到二值圖所代表的數(shù)字或字符。

進(jìn)一步地，本發(fā)明的9維特征矩陣的計(jì)算方法具體為：

設(shè)截取所得到的數(shù)字或字符的二值圖分辨率為m×n，由m行n列像素點(diǎn)構(gòu)成，表示為矩陣dm×n；則9維特征矩陣e1×9可通過(guò)如下公式計(jì)算：

e＝[e1e2e3e4e5e6e7e8e9]

通過(guò)計(jì)算得到待識(shí)別的目標(biāo)數(shù)字或字符的特征矩陣e。

進(jìn)一步地，本發(fā)明的方法還包括根據(jù)樣板統(tǒng)計(jì)并計(jì)算的結(jié)果對(duì)矩陣e進(jìn)行優(yōu)化的方法：

經(jīng)樣本統(tǒng)計(jì)，得到3個(gè)修正矩陣offset1×9，gain1×9，y1×1。

特征矩陣修正：ei＝(ei-offseti)×gaini-y，i＝1，2，…，9。

進(jìn)一步地，本發(fā)明的步驟s6中置信度滿足要求的條件為：保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，連續(xù)5幀圖像分別輸出的結(jié)果中有不少于3幀相同，即認(rèn)為滿足置信度的條件。

本發(fā)明提供一種道路標(biāo)牌識(shí)別系統(tǒng)，包括：

圖像采集單元，用于實(shí)時(shí)獲取車輛行駛過(guò)程中的道路圖像，對(duì)道路圖像中的單幀圖像在hsv空間進(jìn)行顏色閾值二值化，根據(jù)標(biāo)牌顏色特征對(duì)其定位，得到定位的標(biāo)牌連通域；

目標(biāo)定位區(qū)計(jì)算單元，用于根據(jù)定位到的標(biāo)牌連通域的位置和尺寸信息，計(jì)算標(biāo)牌連通域的長(zhǎng)寬比，設(shè)置長(zhǎng)寬比的閾值排除虛假目標(biāo)；計(jì)算標(biāo)牌連通域中輪廓邊緣至目標(biāo)中心位置距離，得到標(biāo)牌連通域的輪廓為圓形的目標(biāo)定位區(qū)；

二值圖計(jì)算單元，用于在顏色閾值二值化的灰度圖像中，根據(jù)得到的目標(biāo)定位區(qū)截取對(duì)應(yīng)的灰度圖像并計(jì)算其平均灰度，以平均灰度值為閾值對(duì)目標(biāo)定位區(qū)的灰度圖進(jìn)行二值化操作，得到各個(gè)目標(biāo)定位區(qū)的二值圖；

待識(shí)別二值圖提取單元，用于提取目標(biāo)定位區(qū)的二值圖中的連通域，并按照坐標(biāo)對(duì)連通域進(jìn)行排序，得到每個(gè)目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖；

神經(jīng)網(wǎng)絡(luò)算法識(shí)別單元，用于通過(guò)神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法計(jì)算并判定目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖，得到目標(biāo)標(biāo)牌上的數(shù)字或字符；

識(shí)別結(jié)果驗(yàn)證單元，用于保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，輸出滿足置信度要求的識(shí)別結(jié)果。

本發(fā)明產(chǎn)生的有益效果是：本發(fā)明的道路標(biāo)牌識(shí)別方法，通過(guò)判斷目標(biāo)圖像的輪廓，過(guò)濾出道路標(biāo)牌圖像，識(shí)別效率高，且能夠識(shí)別限高和限寬標(biāo)牌；通過(guò)改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法對(duì)道路標(biāo)牌上的數(shù)字或字符進(jìn)行識(shí)別，與傳統(tǒng)的模板匹配法相比，提供了計(jì)算效率，且識(shí)別精度大幅提高；與現(xiàn)有的神經(jīng)網(wǎng)絡(luò)算法相比，減少了引入的特征量，計(jì)算效率不容易受到影響，計(jì)算準(zhǔn)確率高；通過(guò)將待識(shí)別的圖像劃分為九宮格的方式，充分考慮了計(jì)算效率與準(zhǔn)確度之間的平衡。

附圖說(shuō)明

下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，附圖中：

圖1是本發(fā)明實(shí)施例的道路視頻某幀圖像；

圖2是本發(fā)明實(shí)施例的對(duì)圖像進(jìn)行hsv閾值二值化后圖像；

圖3是本發(fā)明實(shí)施例的目標(biāo)二值化圖；

圖4是本發(fā)明實(shí)施例的限高標(biāo)識(shí)二值化圖；

圖5是本發(fā)明實(shí)施例的標(biāo)識(shí)判定圖；

圖6是本發(fā)明實(shí)施例的神經(jīng)網(wǎng)絡(luò)計(jì)算流程圖；

圖7是本發(fā)明實(shí)施例的9維特征矩陣圖；

圖8是本發(fā)明實(shí)施例的道路視頻某幀圖像；

圖9是本發(fā)明事事順利的對(duì)圖像進(jìn)行hsv閾值二值化后圖像。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例的道路標(biāo)牌識(shí)別方法，包括以下步驟：

s1、實(shí)時(shí)獲取車輛行駛過(guò)程中的道路圖像，對(duì)道路圖像中的單幀圖像在hsv空間進(jìn)行顏色閾值二值化，根據(jù)標(biāo)牌顏色特征對(duì)其定位，得到定位的標(biāo)牌連通域；

s2、根據(jù)定位到的標(biāo)牌連通域的位置和尺寸信息，計(jì)算標(biāo)牌連通域的長(zhǎng)寬比，設(shè)置長(zhǎng)寬比的閾值排除虛假目標(biāo)；計(jì)算標(biāo)牌連通域中輪廓邊緣至目標(biāo)中心位置距離，得到標(biāo)牌連通域的輪廓為圓形的目標(biāo)定位區(qū)；

s3、在顏色閾值二值化的灰度圖像中，根據(jù)得到的目標(biāo)定位區(qū)截取對(duì)應(yīng)的灰度圖像并計(jì)算其平均灰度，以平均灰度值為閾值對(duì)目標(biāo)定位區(qū)的灰度圖進(jìn)行二值化操作，得到各個(gè)目標(biāo)定位區(qū)的二值圖；

s4、提取目標(biāo)定位區(qū)的二值圖中的連通域，并按照坐標(biāo)對(duì)連通域進(jìn)行排序，得到每個(gè)目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖；

s5、通過(guò)神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法計(jì)算并判定目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖，得到目標(biāo)標(biāo)牌上的數(shù)字或字符；

s6、保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，輸出滿足置信度要求的識(shí)別結(jié)果。

步驟s2中排除虛假目標(biāo)時(shí)設(shè)置的長(zhǎng)寬比閾值范圍為0.9-1.1。

步驟s3中還包括識(shí)別限高標(biāo)牌和限寬標(biāo)牌的方法：

若圓形目標(biāo)定位區(qū)的圓形輪廓處，存在上下對(duì)稱的三角形標(biāo)識(shí)，且三角形頂角距離與圓形輪廓直徑的比值范圍為0.7-0.9，表示該標(biāo)牌為限高標(biāo)牌；

若圓形目標(biāo)定位區(qū)的圓形輪廓處，存在左右多層的三角形標(biāo)識(shí)，且三角形頂角距離與圓形輪廓直徑的比值范圍為0.7-0.9，表示該標(biāo)牌為限寬標(biāo)牌。

步驟s5中神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法的具體方法為：

將待識(shí)別的目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖統(tǒng)計(jì)為9維特征矩陣，將二值圖按九宮格劃分，統(tǒng)計(jì)每個(gè)格中黑白像素比值，得到9維特征矩陣；網(wǎng)絡(luò)隱藏層采用sigmoid激活函數(shù)，輸出層采用競(jìng)爭(zhēng)網(wǎng)絡(luò)進(jìn)行計(jì)算，得到二值圖所代表的數(shù)字或字符。

9維特征矩陣的計(jì)算方法具體為：

設(shè)截取所得到的數(shù)字或字符的二值圖分辨率為m×n，由m行n列像素點(diǎn)構(gòu)成，表示為矩陣dm×n；則9維特征矩陣e1×9可通過(guò)如下公式計(jì)算：

e＝[e1e2e3e4e5e6e7e8e9]

通過(guò)計(jì)算得到待識(shí)別的目標(biāo)數(shù)字或字符的特征矩陣e。

該方法還包括根據(jù)樣板統(tǒng)計(jì)并計(jì)算的結(jié)果對(duì)矩陣e進(jìn)行優(yōu)化的方法：

經(jīng)樣本統(tǒng)計(jì)，得到3個(gè)修正矩陣offset1×9，gain1×9，y1×1

特征矩陣修正：ei＝(ei-offseti)×gaini-y，i＝1，2，…，9。

步驟s6中置信度滿足要求的條件為：保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，連續(xù)5幀圖像分別輸出的結(jié)果中有不少于3幀相同，即認(rèn)為滿足置信度的條件。

本發(fā)明實(shí)施例的道路標(biāo)牌識(shí)別系統(tǒng)，用于實(shí)現(xiàn)本發(fā)明實(shí)施例的道路標(biāo)牌識(shí)別方法，包括：

圖像采集單元，用于實(shí)時(shí)獲取車輛行駛過(guò)程中的道路圖像，對(duì)道路圖像中的單幀圖像在hsv空間進(jìn)行顏色閾值二值化，根據(jù)標(biāo)牌顏色特征對(duì)其定位，得到定位的標(biāo)牌連通域；

目標(biāo)定位區(qū)計(jì)算單元，用于根據(jù)定位到的標(biāo)牌連通域的位置和尺寸信息，計(jì)算標(biāo)牌連通域的長(zhǎng)寬比，設(shè)置長(zhǎng)寬比的閾值排除虛假目標(biāo)；計(jì)算標(biāo)牌連通域中輪廓邊緣至目標(biāo)中心位置距離，得到標(biāo)牌連通域的輪廓為圓形的目標(biāo)定位區(qū)；

二值圖計(jì)算單元，用于在顏色閾值二值化的灰度圖像中，根據(jù)得到的目標(biāo)定位區(qū)截取對(duì)應(yīng)的灰度圖像并計(jì)算其平均灰度，以平均灰度值為閾值對(duì)目標(biāo)定位區(qū)的灰度圖進(jìn)行二值化操作，得到各個(gè)目標(biāo)定位區(qū)的二值圖；

待識(shí)別二值圖提取單元，用于提取目標(biāo)定位區(qū)的二值圖中的連通域，并按照坐標(biāo)對(duì)連通域進(jìn)行排序，得到每個(gè)目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖；

神經(jīng)網(wǎng)絡(luò)算法識(shí)別單元，用于通過(guò)神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法計(jì)算并判定目標(biāo)定位區(qū)內(nèi)部的數(shù)字或字符的二值圖，得到目標(biāo)標(biāo)牌上的數(shù)字或字符；

識(shí)別結(jié)果驗(yàn)證單元，用于保存當(dāng)前幀圖像的計(jì)算結(jié)果，與其后連續(xù)幀圖像的計(jì)算結(jié)果進(jìn)行對(duì)比，計(jì)算置信度，輸出滿足置信度要求的識(shí)別結(jié)果。

在本發(fā)明的另一個(gè)具體實(shí)施例中：

(1)對(duì)于單幀圖像，在hsv空間進(jìn)行顏色閾值二值化，針對(duì)標(biāo)牌顏色特征對(duì)其定位。圖1為單幀圖像，圖2針對(duì)限速牌紅色外圈進(jìn)行的紅色閾值二值化圖像，在其上可定位待識(shí)別目標(biāo)。對(duì)于不同標(biāo)牌的顏色特征，可設(shè)置不同的顏色閾值，有針對(duì)性進(jìn)行定位。

基于連通域進(jìn)行定位標(biāo)記，可定位到目標(biāo)輪廓在圖像中的位置和尺寸信息。以長(zhǎng)寬比作為判斷條件，設(shè)置閾值排除虛假目標(biāo)。道路標(biāo)牌多呈圓形，輪廓外框長(zhǎng)寬比接近1。如圖2中可定位到目標(biāo)位置。

(2)進(jìn)一步縮小候選目標(biāo)范圍，排除虛假目標(biāo)。方法簡(jiǎn)述：計(jì)算連通域內(nèi)輪廓邊緣至目標(biāo)中心位置距離，統(tǒng)計(jì)結(jié)果。保留圓形輪廓目標(biāo)。

圖3中，包圍數(shù)字70的外層白圈即代表連通域內(nèi)輪廓。候選目標(biāo)的內(nèi)輪廓呈圓形(類圓形)。

(3)在灰度圖像中，按照候選目標(biāo)定位區(qū)，截取候選目標(biāo)灰度圖并計(jì)算其平均灰度。以平均灰度值為閾值對(duì)候選目標(biāo)灰度圖進(jìn)行二值化操作。

圖4為某幀中限高標(biāo)牌二值化后圖像。為區(qū)分限高標(biāo)牌和限寬標(biāo)牌，針對(duì)其內(nèi)輪廓特征，計(jì)算如圖5中橫向?qū)挾扰c縱向?qū)挾缺戎?，以此判定限制種類。(僅常見(jiàn)標(biāo)牌，特殊標(biāo)牌不在此列，比如用漢字書寫“限高三米”則無(wú)法識(shí)別)。

(4)提取二值圖中連通域，并排序(依據(jù)坐標(biāo)排序)。如圖3中，按此步驟操作，即可得到數(shù)字7和0的二值圖。

(5)以神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法計(jì)算并判定目標(biāo)數(shù)字、字符。

將目標(biāo)(數(shù)字、字符二值圖)統(tǒng)計(jì)為9維特征矩陣，網(wǎng)絡(luò)隱藏層采用sigmoid激活函數(shù)(雙曲函數(shù))、輸出層采用競(jìng)爭(zhēng)網(wǎng)絡(luò)進(jìn)行計(jì)算。最后得到結(jié)果，還原二值圖所代表的數(shù)字或字符。

9維特征矩陣：將數(shù)字的二值圖，按九宮格劃分，統(tǒng)計(jì)每個(gè)格中黑白像素比值，得到9維特征矩陣。

設(shè)截取所得到的數(shù)字或字符的二值圖分辨率為m×n，由m行n列像素點(diǎn)構(gòu)成，表示為矩陣dm×n；則9維特征矩陣e1×9可通過(guò)如下公式計(jì)算：

e＝[e1e2e3e4e5e6e7e8e9]

通過(guò)計(jì)算得到待識(shí)別的目標(biāo)數(shù)字或字符的特征矩陣e，但是矩陣e還不能直接進(jìn)行計(jì)算識(shí)別。根據(jù)樣本統(tǒng)計(jì)并計(jì)算的結(jié)果，對(duì)矩陣e進(jìn)行優(yōu)化。

優(yōu)化方法為：

經(jīng)樣本統(tǒng)計(jì)，得到3個(gè)修正矩陣offset1×9，gain1×9，y1×1

特征矩陣修正：ei＝(ei-offseti)×gaini-y，i＝1，2，…，9。

進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，網(wǎng)絡(luò)隱藏層參數(shù)矩陣wh9x10，bh1x10；

隱藏層參數(shù)參與計(jì)算res1＝exwh+bh

通過(guò)sigmoid函數(shù)得到隱藏層輸出outputh1x10；

上式中e為自然對(duì)數(shù)。

隱藏層輸出outputh1x10再經(jīng)過(guò)輸出層網(wǎng)絡(luò)計(jì)算便可得到最終輸出結(jié)果如下：

網(wǎng)絡(luò)輸出層參數(shù)矩陣wo10x10，bo1x10；

通過(guò)參數(shù)矩陣計(jì)算輸出層中間矩陣res2＝outputhxwo+bo；

中間矩陣res2維度為1x10。

通過(guò)競(jìng)爭(zhēng)網(wǎng)絡(luò)計(jì)算得到最終輸出矩陣outputo1x10。

計(jì)算過(guò)程如下：

res2(i)＝e^{(res2(i)-max(res2))}

outputo＝res2/sum

i＝1，2，…，10e≈2.71828

本例通過(guò)此算法識(shí)別0-9共10個(gè)數(shù)字，故結(jié)果矩陣outputo1x10維度為10維。

矩陣中元素的值代表對(duì)應(yīng)識(shí)別結(jié)果的置信度，故此矩陣中最大值元素下標(biāo)減1即為識(shí)別結(jié)果。

(6)置信判斷：當(dāng)前幀結(jié)果保存，與其后連續(xù)幀結(jié)果對(duì)比，計(jì)算置信度。將置信度高的結(jié)果輸出。5幀分別輸出的結(jié)果中有3幀相同，即認(rèn)為置信度高。

應(yīng)當(dāng)理解的是，對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)，可以根據(jù)上述說(shuō)明加以改進(jìn)或變換，而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。