基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法
【專(zhuān)利摘要】本發(fā)明提出了一種基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，主要解決現(xiàn)有技術(shù)的計(jì)算復(fù)雜、實(shí)時(shí)性差的問(wèn)題。其實(shí)現(xiàn)方案是：1)輸入交通路口中高清拍照設(shè)備拍下的待檢測(cè)圖片；2)對(duì)待檢測(cè)圖片使用選擇性搜索獲取候選區(qū)域；3)對(duì)候選區(qū)域進(jìn)行篩選，獲得車(chē)標(biāo)候選區(qū)域；4)構(gòu)建并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN，將車(chē)標(biāo)候選區(qū)域輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)CNN中進(jìn)行測(cè)試，得到車(chē)標(biāo)識(shí)別結(jié)果。本發(fā)明有效地減少了計(jì)算量，能快速地獲取車(chē)標(biāo)候選區(qū)域，而且卷積神經(jīng)網(wǎng)絡(luò)CNN自學(xué)習(xí)的特征對(duì)環(huán)境變化具有更高的魯棒性，提高了車(chē)標(biāo)識(shí)別率，可用于高速公路入口、停車(chē)場(chǎng)地對(duì)車(chē)輛的快速檢測(cè)。
【專(zhuān)利說(shuō)明】
基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及一種車(chē)標(biāo)識(shí)別方法，可用于高速公 路入口、停車(chē)場(chǎng)地對(duì)車(chē)輛的快速檢測(cè)。
【背景技術(shù)】
[0002] 隨著社會(huì)經(jīng)濟(jì)水平的不斷提高和車(chē)輛的普及，規(guī)模不斷擴(kuò)大的交通事業(yè)對(duì)更加智 能化的技術(shù)和系統(tǒng)的需求更大，智能交通系統(tǒng)已經(jīng)成為社會(huì)生活的熱點(diǎn)問(wèn)題。車(chē)輛識(shí)別系 統(tǒng)作為智能交通系統(tǒng)的重要組成部分，在高速公路入口、停車(chē)場(chǎng)無(wú)人管理、違章車(chē)輛自動(dòng)記 錄等領(lǐng)域都有著廣泛的應(yīng)用，它的實(shí)現(xiàn)具有很大的經(jīng)濟(jì)價(jià)值和現(xiàn)實(shí)意義。
[0003] 車(chē)標(biāo)識(shí)別是車(chē)輛識(shí)別的一個(gè)重要方面。車(chē)標(biāo)識(shí)別技術(shù)是指以數(shù)字圖像或視頻信號(hào) 流為對(duì)象，通過(guò)圖像處理與自動(dòng)識(shí)別方法，獲得機(jī)動(dòng)車(chē)輛品牌信息的一種實(shí)用技術(shù)。車(chē)標(biāo)識(shí) 別系統(tǒng)包括車(chē)標(biāo)的定位和車(chē)標(biāo)識(shí)別二項(xiàng)關(guān)鍵技術(shù)。由于車(chē)標(biāo)本身具有的多樣性以及不同環(huán) 境條件下的差異性等特點(diǎn)，加上人為拍攝獲得的圖片信息中車(chē)標(biāo)的位置不確定性，因此找 到一種優(yōu)秀的車(chē)標(biāo)定位和識(shí)別的方法一個(gè)多學(xué)科交叉且富有挑戰(zhàn)性的技術(shù)問(wèn)題。
[0004] 現(xiàn)有的車(chē)標(biāo)定位的方法，大多采用邊緣檢測(cè)和灰度直方圖模板匹配的方法，由于 車(chē)標(biāo)小，這類(lèi)方法容易受到背景環(huán)境的影響。已經(jīng)有一部分車(chē)標(biāo)識(shí)別的方法被提出，特別是 目前使用較多的基于方向梯度直方圖H0G特征和支持向量機(jī)SVM分類(lèi)器的識(shí)別方法，大部分 都是基于車(chē)牌和車(chē)標(biāo)的相對(duì)位置確定車(chē)標(biāo)位置，然后提取車(chē)標(biāo)的方向梯度直方圖H0G特征， 利用支持向量機(jī)SVM訓(xùn)練成分類(lèi)器進(jìn)行車(chē)標(biāo)識(shí)別。在車(chē)標(biāo)識(shí)別中，方向梯度直方圖H0G加支 持向量機(jī)SVM算法由于采用了方向梯度直方圖H0G特征，方向梯度直方圖H0G描述子生成過(guò) 程冗長(zhǎng)，導(dǎo)致速度慢，實(shí)時(shí)性差，由于梯度的性質(zhì)，該描述子對(duì)噪點(diǎn)相當(dāng)敏感?，F(xiàn)有的大部分 車(chē)標(biāo)識(shí)別算法，過(guò)程復(fù)雜，計(jì)算量太大，識(shí)別率不高，容易受到環(huán)境條件的影響，所以需要新 的研究方法的提出。
[0005] 近年來(lái)，隨著大數(shù)據(jù)、深度學(xué)習(xí)研究的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)CNN已成為當(dāng)前語(yǔ)音分 析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)，它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低 了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為 明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重 建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、 比例縮放、傾斜或者共他形式的變形具有高度不變性。
[0006] D.F.Llorca，R.Ar;royo，M.A.Sotelo在其發(fā)表的論文"Vehicle logo recognition in traffic images using HOG features and SVM"（Proceedings of the 16th International IEEE Annual Conference on Intelligent Transportation Systems， 2013)中提出了一套基于方向梯度直方圖HOG和支持向量機(jī)SVM的車(chē)標(biāo)識(shí)別的方法。該方法 首先進(jìn)行車(chē)牌定位，利用車(chē)標(biāo)處于車(chē)牌正上方的先驗(yàn)知識(shí)，在車(chē)牌上方使用滑動(dòng)窗口提前 候選目標(biāo)區(qū)域，然后提取候選區(qū)域的的方向梯度直方圖H0G特征，最后利用支持向量機(jī)SVM 訓(xùn)練的分類(lèi)器進(jìn)行車(chē)標(biāo)分類(lèi)。該方法存在的不足之處是，其一，由于該方法采用了方向梯度 直方圖HOG特征，方向梯度直方圖HOG描述子生成過(guò)程冗長(zhǎng)，導(dǎo)致速度慢，實(shí)時(shí)性差。其二，由 于該方法梯度的性質(zhì)，方向梯度直方圖HOG描述子對(duì)噪點(diǎn)相當(dāng)敏感，容易受到噪聲的干擾。
[0007] 佳都新太科技股份有限公司申請(qǐng)的專(zhuān)利"一種基于模式識(shí)別的車(chē)標(biāo)自動(dòng)定位與識(shí) 別方法"（專(zhuān)利申請(qǐng)?zhí)枺篊N201410367377,公開(kāi)號(hào)：CN104182728A)中提出了一種基于模式識(shí) 別的車(chē)標(biāo)自動(dòng)定位與識(shí)別方法。該方法首先利用車(chē)牌檢測(cè)技術(shù)，獲取車(chē)牌的大小與位置，從 而根據(jù)車(chē)牌與車(chē)標(biāo)的相對(duì)位置，進(jìn)行車(chē)標(biāo)的初定位，其次利用基于哈爾Haar特征的強(qiáng)分類(lèi) 器Adaboost算法進(jìn)行車(chē)標(biāo)的二次定位，得到若干疑似車(chē)標(biāo)的區(qū)域，再次利用基于方向梯度 直方圖H0G特征的支持向量機(jī)SVM算法對(duì)疑似車(chē)標(biāo)區(qū)域進(jìn)行篩選，選取具有最大置信度的區(qū) 域作為車(chē)標(biāo)定位結(jié)果，最后利用基于H0G特征的支持向量機(jī)SVM算法進(jìn)行車(chē)標(biāo)的識(shí)別。該方 法存在的不足之處是，在定位流程中采用了基于哈爾Haar特征的強(qiáng)分類(lèi)器Adaboost算法和 基于方向梯度直方圖H0G特征的支持向量機(jī)SVM算法，在車(chē)標(biāo)識(shí)別流程中采用了基于方向梯 度直方圖H0G特征的支持向量機(jī)SVM算法，總共采用了三個(gè)分類(lèi)器，大大增加了計(jì)算復(fù)雜度。 而且H0G描述子生成過(guò)程耗時(shí)長(zhǎng)，導(dǎo)致速度慢，實(shí)時(shí)性差。
[0008] 上海交通大學(xué)申請(qǐng)的專(zhuān)利"車(chē)標(biāo)自動(dòng)識(shí)別方法及系統(tǒng)"（專(zhuān)利申請(qǐng)?zhí)枺?CN201310170528,公開(kāi)號(hào):CN103279738A)中提出一種車(chē)標(biāo)自動(dòng)識(shí)別方法，包括離線訓(xùn)練子 系統(tǒng)和在線識(shí)別子系統(tǒng)。該方法根據(jù)密集尺度不變特征變換dense-SIFT和視覺(jué)詞的相關(guān) 性，將密集尺度不變特征變換dense-SIFT映射成所有視覺(jué)詞表示，增加特征描述性。采用支 持向量機(jī)訓(xùn)練車(chē)標(biāo)分類(lèi)器，實(shí)現(xiàn)車(chē)標(biāo)識(shí)別。該方法存在的不足之處是，由于采用了密集尺度 不變特征變換dense-SIFT特征算子，維數(shù)高，計(jì)算時(shí)間長(zhǎng)，實(shí)時(shí)性差。
【發(fā)明內(nèi)容】
[0009] 本發(fā)明的目的是針對(duì)上述現(xiàn)有技術(shù)存在的不足，提出一種基于選擇性搜索和卷積 神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，以減小計(jì)算量，提高實(shí)時(shí)性和識(shí)別的準(zhǔn)確度。
[0010] 為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)現(xiàn)技術(shù)方案包括如下：
[0011] (1)輸入交通路口中通過(guò)高清拍照設(shè)備獲取的車(chē)標(biāo)待檢測(cè)圖片；
[0012] (2)使用選擇性搜索獲取車(chē)標(biāo)待檢測(cè)圖片的候選區(qū)域：
[00?3] (2a)利用基于圖的圖形分割，得至I」初始化的區(qū)域R= {η，Γ2，…，ri，…，rn}，其中ri 是第i個(gè)初始區(qū)域，i e [1，n]，η為初始化區(qū)域個(gè)數(shù)；
[0014] (2b)計(jì)算出每個(gè)初始化相鄰區(qū)域的綜合相似性s(ri，rj)，組成集合S，其中ie[l， n]，je[i+l，n];
[0015] (2c)找出集合S中相似性最大的二個(gè)區(qū)域ra，rb，即max⑶= s(ra，rb);
[0016] (2d)合并rjPrb，獲得新的區(qū)域rt，即rt = raU η，然后在S和R中均去掉相似性最大 的二個(gè)區(qū)域ra，n，得到新的相似性集合S'和新的初始化區(qū)域f ;
[0017] (2e)計(jì)算新的區(qū)域rt與所有與它相鄰的區(qū)域r*之間的綜合相似性St(rt，r*);
[0018] (2f)將st(rt，r*)和rt分別添加到相似性集合S'和初始化區(qū)域f中，得到加入相似 性st(rt，r*)后的集合S"和加入新的區(qū)域rt后的初始化區(qū)域R";
[0019] (2g)重復(fù)(2c)到(2f)的操作，直到相似性集合為空，獲得最終候選區(qū)域；
[0020] (3)利用車(chē)標(biāo)區(qū)域的先驗(yàn)條件對(duì)候選區(qū)域進(jìn)行篩選，獲得車(chē)標(biāo)候選區(qū)域；
[0021] (4)構(gòu)建并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN:
[0022] (4a)構(gòu)建含有7層的卷積神經(jīng)網(wǎng)絡(luò)CNN，這7層依次是卷積層Convl，池化層P〇〇12， 卷積層Conv3，空間金字塔池化層SPP4，全連接層Fc5，全連接層Fc6，分類(lèi)層Softmax7;
[0023] (4b)輸入已標(biāo)記并灰度化的車(chē)標(biāo)區(qū)域樣本圖片和非車(chē)標(biāo)區(qū)域樣本圖，訓(xùn)練卷積神 經(jīng)網(wǎng)絡(luò)CNN，直到輸出層的損失函數(shù)J(0H 0.0001，得到車(chē)標(biāo)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)CNN;
[0024] (5)車(chē)標(biāo)識(shí)別：
[0025] (5a)對(duì)車(chē)標(biāo)候選區(qū)域圖進(jìn)行灰度化操作；
[0026] (5b)將灰度化的車(chē)標(biāo)候選區(qū)域圖輸入到車(chē)標(biāo)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)CNN，輸出車(chē)標(biāo) 的識(shí)別結(jié)果。
[0027] 本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)：
[0028] 第一、由于本發(fā)明采用選擇性搜索算法獲取車(chē)標(biāo)候選區(qū)域，克服了現(xiàn)有技術(shù)中直 接提取車(chē)標(biāo)易受背景環(huán)境影響，不能被準(zhǔn)確提取出來(lái)的問(wèn)題，不僅流程較為簡(jiǎn)單，實(shí)現(xiàn)方 便，而且能準(zhǔn)確地從復(fù)雜背景環(huán)境中提取出車(chē)標(biāo)候選區(qū)域。
[0029]第二、由于本發(fā)明采用基于卷積神經(jīng)網(wǎng)絡(luò)CNN的車(chē)標(biāo)識(shí)別方法，通過(guò)卷積神經(jīng)網(wǎng)絡(luò) CNN中多層的網(wǎng)絡(luò)自學(xué)習(xí)特征，避免了傳統(tǒng)識(shí)別算法中需要人工設(shè)計(jì)特征的過(guò)程，而且卷積 神經(jīng)網(wǎng)絡(luò)CNN自學(xué)習(xí)的特征對(duì)環(huán)境變化具有更高的魯棒性，使得本發(fā)明具有較高的識(shí)別率 和魯棒性，對(duì)復(fù)雜背景具有更強(qiáng)的適應(yīng)性。
【附圖說(shuō)明】
[0030]圖1是本發(fā)明的實(shí)現(xiàn)流程圖；
[0031 ]圖2是本發(fā)明獲得車(chē)標(biāo)候選區(qū)域的示意圖；
[0032]圖3是本發(fā)明中的卷積神經(jīng)網(wǎng)絡(luò)CNN結(jié)構(gòu)圖；
[0033]圖4是本發(fā)明標(biāo)記的部分車(chē)標(biāo)圖。
【具體實(shí)施方式】
[0034]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。
[0035]參照?qǐng)D1，本發(fā)明實(shí)現(xiàn)的步驟如下：
[0036] 步驟1，輸入交通路口中高清拍照設(shè)備拍下的車(chē)標(biāo)待檢測(cè)圖片。
[0037] 車(chē)標(biāo)待檢測(cè)圖片是正對(duì)車(chē)頭或者車(chē)尾的包含清晰可見(jiàn)的車(chē)標(biāo)的圖片，圖片像素大 小為500X500,如圖2(a)所示。
[0038] 步驟2,使用選擇性搜索獲取候選區(qū)域。
[0039] (2a)基于圖的圖形分割，得到初始化的區(qū)域R:
[0040] (2al)將照片用加權(quán)圖抽象化表示，其中加權(quán)圖是由節(jié)點(diǎn)集V和邊集E組成，表示為 G = (V，E)，節(jié)點(diǎn)集V= {vi, V2,…，Vi,…，Vn}，其中i e [1，n]，n為節(jié)點(diǎn)個(gè)數(shù)，邊集E= {〇1， 02,…，〇w，···，〇m}，其中we[l，m]，m為邊的條數(shù)；
[0041 ] (2a2)將m條邊按照權(quán)重值以非遞減方式排序；
[0042] (2a3)將最初的分割區(qū)域集合記為R(())，即每一個(gè)節(jié)點(diǎn)屬于一個(gè)區(qū)域；
[0043] (2&4)記第9條邊連接的兩個(gè)節(jié)點(diǎn)為￥：1和￥」，即〇(1=(>：1，￥」），其中(1￡[1，111]，記第9次 分割區(qū)域集合為R(<rl)，初始時(shí)q=l，R(<rl)為R(<))為最初分割區(qū)域集合，如果在R (<rl)中Vi和Vj 是分別屬于兩個(gè)區(qū)域并且第q條邊的權(quán)重w(〇q)大于兩個(gè)區(qū)域的區(qū)域內(nèi)間距，則重新選擇新 的邊，反之，進(jìn)行(2b5);
[0044] (2a5)合并二個(gè)區(qū)域，在中去掉這兩個(gè)區(qū)域再加入新合并的區(qū)域變成新的分 害慪域集合R (q)，返回（2b4)，直到q=m，得到初始化的區(qū)域R = R(m);
[0045] (2b)計(jì)算出每個(gè)初始化相鄰區(qū)域的綜合相似性s(ri，rj):
[0046] (2bl)從每個(gè)初始區(qū)域中得到一個(gè)一維的灰度分布直方圖，該直方圖共有25個(gè)區(qū) 間，按照下式計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域rj的灰度特征相似性Sc^ri，!·」）：
[0048] 其中，<表示第i個(gè)初始區(qū)域以第1^個(gè)區(qū)間的灰度分布直方圖特征，< 表示第j個(gè)初 始區(qū)域r j第k個(gè)區(qū)間的灰度分布直方圖特征，i e [ 1，n ]，j e [ i+1，n ]，n為初始化區(qū)域個(gè)數(shù)，k e[l，25];
[0049] (2b2)對(duì)每個(gè)初始區(qū)域，在8個(gè)方向上計(jì)算方差為1的高斯微分，每個(gè)方向用10個(gè)區(qū) 間的紋理直方圖來(lái)描述，按照下式計(jì)算第i個(gè)初始區(qū)域η與第j個(gè)初始區(qū)域^的紋理相似性 St(ri,rj)：
[0051] 其中，鮮表示第i個(gè)初始區(qū)域〇第1!個(gè)區(qū)間的紋理直方圖特征，￥表示第j個(gè)初始區(qū) 域r j第u個(gè)區(qū)間的紋理直方圖特征，u e [ 1，80 ];
[0052] (2b3)按照下式計(jì)算第i個(gè)初始區(qū)域Γι與第j個(gè)初始區(qū)域巧的面積相似性S e(ri，rj):
[0054] 其中，Size(ri)表示初始區(qū)域的像素?cái)?shù)目，siZe(n)表示初始區(qū)域〇內(nèi)的像素 數(shù)目，si Ze(im)表示車(chē)標(biāo)待檢測(cè)圖片內(nèi)的像素?cái)?shù)目；
[0055] (2b4)按照下式計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域rj的相交相似性Sf(ri，rj):
[0057]其中，表示初始區(qū)域Γι和初始區(qū)域〇的最小外包區(qū)域的像素?cái)?shù)目；
[0058] (2b5)根據(jù)步驟(2bl)到(2b4)的結(jié)果，計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域rj的 綜合相似性S(ri，rj):
[0059] S(ri,rj) = Sc(ri,rj)+St(ri,rj)+Se(ri,rj)+Sf(ri,rj)〇
[0060] 將計(jì)算出的每個(gè)初始化相鄰區(qū)域的綜合相似性S(ri，n)，組成集合S。
[0061 ] (2c)找出集合S中相似性最大的二個(gè)區(qū)域ra，rb，即max(S) = s(ra，rb);
[0062] (2d)合并rjPrb，獲得新的區(qū)域rt，即rt = raU η，然后在S和R中均去掉相似性最大 的二個(gè)區(qū)域ra，n，得到新的相似性集合S'和新的初始化區(qū)域f ;
[0063] (2e)計(jì)算新的區(qū)域rt與所有與它相鄰的區(qū)域r*之間的綜合相似性st(r t，r*);
[0064] (2f)將st(rt，r*)和rt分別添加到相似性集合S'和初始化區(qū)域f中，得到加入相似 性st(r t，r*)后的集合S"和加入新的區(qū)域rt后的初始化區(qū)域R";
[0065] (2g)重復(fù)(2c)到(2f)的操作，直到相似性集合為空，獲得最終候選區(qū)域
[0066] 按照上述步驟獲得候選區(qū)域如圖2(b)所示。
[0067] 步驟3,利用車(chē)標(biāo)區(qū)域的先驗(yàn)條件對(duì)候選區(qū)域進(jìn)行篩選，從而獲得車(chē)標(biāo)候選區(qū)域。
[0068] 所述先驗(yàn)條件，包括如下兩個(gè)條件：
[0069] 第一先驗(yàn)條件是:將車(chē)標(biāo)候選區(qū)域的中心設(shè)在車(chē)標(biāo)待檢測(cè)圖片的中心區(qū)域，候選 區(qū)域的坐標(biāo)為&，7)，0.2511〇〈0.7511，0.25￥〈7〈0.75￥，其中11，￥分別為車(chē)標(biāo)待檢測(cè)圖片的高 和寬；
[0070] 第二先驗(yàn)條件是:將車(chē)標(biāo)候選區(qū)域長(zhǎng)寬比設(shè)為r，l〈r〈3;
[0071] 對(duì)步驟2所得的候選區(qū)域，先利用第一先驗(yàn)條件選取在車(chē)標(biāo)待檢測(cè)圖片中心區(qū)域 的車(chē)標(biāo)候選區(qū)域，得到初始的篩選區(qū)域;然后利用第二先驗(yàn)條件在初始的篩選區(qū)域中選擇 車(chē)標(biāo)候選區(qū)域長(zhǎng)寬比適合的候選區(qū)域，得到最終篩選的車(chē)標(biāo)候選區(qū)域。
[0072] 按照步驟3,對(duì)候選區(qū)域進(jìn)行篩選得到結(jié)果如圖2(c)所示，圖2(d)為保存的對(duì)圖2 (c)中框出的區(qū)域截圖。
[0073] 步驟4，構(gòu)建含有7層的卷積神經(jīng)網(wǎng)絡(luò)CNN。
[0074] (4a)將38X38像素大小的車(chē)標(biāo)區(qū)域圖輸入卷積層Convl，對(duì)其進(jìn)行塊大小為5X5 像素和步長(zhǎng)為1個(gè)像素的卷積操作，總共用32個(gè)卷積核，得到32張34X34像素大小的特征 圖；
[0075] (4b)將卷積層Convl輸出的32張?zhí)卣鲌D輸入到池化層P〇〇12,對(duì)其進(jìn)行最大池化操 作，池化塊的大小為2 X 2像素，步長(zhǎng)為1個(gè)像素，得到32張分辨率為17 X 17像素的特征圖； [0076] (4c)將池化層Pool2輸出的32張?zhí)卣鲌D輸入卷積層Conv3,對(duì)其進(jìn)行塊大小為5X5 像素和步長(zhǎng)為1個(gè)像素的卷積操作，總共用64個(gè)卷積核，得到64張分辨率為13X13像素的特 征圖；
[0077] (4d)將卷積層Conv3輸出的64張?zhí)卣鲌D輸入空間金字塔池化層SPP4,對(duì)其進(jìn)行多 尺度的最大池化操作，需要得到64張分辨率為(4 X 4+2 X 2+1 X 1)像素的特征圖，池化塊大
，其中表示a = 13，n分別取4、2、1;
[0078] (4e)將池化層SPP4輸出的64張?zhí)卣鲌D輸入全連接層Fc5，按照下式，對(duì)其中每一個(gè) 像素點(diǎn)進(jìn)行激活，得到激活后的特征圖的像素點(diǎn)的值，將激活后的特征圖以列的順序排列 成1維向量，得到1 X 1344維的特征向量：
[0080]其中，f(x)表示激活后的特征圖的像素點(diǎn)的值，X表示激活前特征圖的像素點(diǎn)的 值，e表示一個(gè)無(wú)限不循環(huán)的自然常數(shù)，取值為2.7182;
[0081 ] (4f)將全連接層Fc5輸出的特征向量輸入全連接層Fc6，構(gòu)成一般神經(jīng)網(wǎng)絡(luò)，輸出 為IX 500維的特征向量；
[0082] (4g)將全連接層Fc6輸出的特征向量輸入分類(lèi)層Softmax7,得到車(chē)標(biāo)區(qū)域圖的分 類(lèi)標(biāo)簽，該層會(huì)計(jì)算出每種分類(lèi)標(biāo)簽的概率，并將最大概率的標(biāo)簽輸出，其中softmax分類(lèi) 的期望函數(shù)表示如下：
[0084] 其中，a(i)表示卷積神經(jīng)網(wǎng)絡(luò)CNN中全連接層Fc6輸出的特征向量，β(υ表示與卷積 神經(jīng)網(wǎng)絡(luò)CNN中全連接層Fc6輸出的特征向量α(1)相對(duì)應(yīng)的標(biāo)簽，k表示類(lèi)別數(shù)，i表示樣本，i e[l，m]，m表示車(chē)標(biāo)區(qū)域圖樣本的數(shù)量，Θ表示模型參數(shù)，softmax分類(lèi)損失函數(shù)如下：
[0086]按照上述步驟構(gòu)造的7層卷積神經(jīng)網(wǎng)絡(luò)CNN結(jié)構(gòu)如圖3。
[0087] 步驟5,車(chē)標(biāo)識(shí)別。
[0088] 對(duì)車(chē)標(biāo)候選區(qū)域圖進(jìn)行灰度化操作，將灰度化的車(chē)標(biāo)候選區(qū)域圖輸入車(chē)標(biāo)識(shí)別的 卷積神經(jīng)網(wǎng)絡(luò)CNN，最終輸出車(chē)標(biāo)的識(shí)別結(jié)果。
[0089] 下面結(jié)合仿真實(shí)驗(yàn)對(duì)本發(fā)明的效果做進(jìn)一步的詳細(xì)描述。
[0090] 1、仿真實(shí)驗(yàn)條件：
[0091] 本發(fā)明所用的數(shù)據(jù)庫(kù)為收集并制作的一組包含10類(lèi)車(chē)標(biāo)共計(jì)25200張的車(chē)標(biāo)、其 中23100張用于訓(xùn)練，2100用于測(cè)試，還有非車(chē)標(biāo)區(qū)域的數(shù)據(jù)樣本，共計(jì)9900張負(fù)樣本，其中 9000張用于訓(xùn)練，900張用于測(cè)試。負(fù)樣本采用從含有車(chē)標(biāo)的圖中截取非車(chē)標(biāo)區(qū)域的圖獲 得，大小為38 X 38，圖4是本發(fā)明中用于訓(xùn)練的車(chē)標(biāo)圖中標(biāo)記的部分車(chē)標(biāo)圖。
[0092] 本實(shí)驗(yàn)采用深度學(xué)習(xí)框架是基于ubuntul4.04操作系統(tǒng)，8G內(nèi)存，酷睿i7-4720HQ CPU的運(yùn)行環(huán)境。實(shí)驗(yàn)設(shè)置參數(shù)迭代15000次停止。
[0093] 2、實(shí)驗(yàn)內(nèi)容與結(jié)果：
[0094]本發(fā)明的仿真實(shí)驗(yàn)是將數(shù)據(jù)集中用于訓(xùn)練的車(chē)標(biāo)圖輸入到一個(gè)7層的卷積神經(jīng)網(wǎng) 絡(luò)CNN中，利用高斯隨機(jī)初始化網(wǎng)絡(luò)的權(quán)值，對(duì)該卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行訓(xùn)練，直到卷積神經(jīng) 網(wǎng)絡(luò)CNN最后一層分類(lèi)層之后的輸出損失函數(shù)J(0H 0.0001為止或者迭代15000次為止。再 將用于測(cè)試的車(chē)標(biāo)圖，輸入到訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試，測(cè)試的總的識(shí)別率，結(jié)果如下表： [0095]識(shí)別結(jié)果表
【主權(quán)項(xiàng)】
1. 一種基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，包括： (1) 輸入交通路口中通過(guò)高清拍照設(shè)備獲取的車(chē)標(biāo)待檢測(cè)圖片； (2) 使用選擇性搜索獲取車(chē)標(biāo)待檢測(cè)圖片的候選區(qū)域： (2a)利用基于圖的圖形分割，得到初始化的區(qū)域1?={^^2，"_，^，"_而}，其中^是第1 個(gè)初始區(qū)域，i e [ 1，η ]，η為初始化區(qū)域個(gè)數(shù)； (2b)計(jì)算出每個(gè)初始化相鄰區(qū)域的綜合相似性S(ri，^)，組成集合S，其中ie[l， n]，j e[i+1,η]； (2(：)找出集合5中相似性最大的二個(gè)區(qū)域1'￡1，11)，即11^(5) = 8(1'￡1，；1^); (2(1)合并1'￡1和11)，獲得新的區(qū)域1'1；，即：1^ = 1'￡111；1^，然后在3和1?中均去掉相似性最大的二 個(gè)區(qū)域ra，n，得到新的相似性集合S'和新的初始化區(qū)域f ; (2e)計(jì)算新的區(qū)域rt與所有與它相鄰的區(qū)域r*之間的綜合相似性st (rt，r*); (2f)將st(rt，r*)和rt分別添加到相似性集合S'和初始化區(qū)域f中，得到加入相似性s t (rt，r*)后的集合S"和加入新的區(qū)域rt后的初始化區(qū)域R"; (2g)重復(fù)(2c)到(2f)的操作，直到相似性集合為空，獲得最終候選區(qū)域； (3) 利用車(chē)標(biāo)區(qū)域的先驗(yàn)條件對(duì)候選區(qū)域進(jìn)行篩選，獲得車(chē)標(biāo)候選區(qū)域； (4) 構(gòu)建并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN: (4a)構(gòu)建含有7層的卷積神經(jīng)網(wǎng)絡(luò)CNN，這7層依次是卷積層Convl，池化層P〇〇12,卷積 層Conv3，空間金字塔池化層SPP4，全連接層Fc5，全連接層Fc6，分類(lèi)層Softmax7; (4b)輸入已標(biāo)記并灰度化的車(chē)標(biāo)區(qū)域樣本圖片和非車(chē)標(biāo)區(qū)域樣本圖，訓(xùn)練卷積神經(jīng)網(wǎng) 絡(luò)CNN，直到輸出層的損失函數(shù)J(0H 0.0001，得到車(chē)標(biāo)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)CNN; (5) 車(chē)標(biāo)識(shí)別： (5a)對(duì)車(chē)標(biāo)候選區(qū)域圖進(jìn)行灰度化操作； (5b)將灰度化的車(chē)標(biāo)候選區(qū)域圖輸入到車(chē)標(biāo)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)CNN，輸出車(chē)標(biāo)的識(shí) 別結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在 于:步驟(2a)中利用基于圖的圖形分割，得到初始化的區(qū)域R， 按如下步驟進(jìn)行： (2bl)將照片用加權(quán)圖抽象化表示，其中加權(quán)圖是由節(jié)點(diǎn)集V和邊集E組成，表示為G = (V，E)，節(jié)點(diǎn)集V= {vi，V2，···，Vi，···，Vn}，其中i e [1，n]，n為節(jié)點(diǎn)個(gè)數(shù)，邊集E= {〇1，〇2,…， 〇w,…，〇m}，其中we [1，m]，m為邊的條數(shù)； (2b2)將m條邊按照權(quán)重值以非遞減方式排序； (2b3)將最初的分割區(qū)域集合記為R(())，即每一個(gè)節(jié)點(diǎn)屬于一個(gè)區(qū)域； (2a4)記第q條邊連接的兩個(gè)節(jié)點(diǎn)為Vi和Vj，即〇q= (Vi，Vj)，其中qe [1，m]，記第q次分割 區(qū)域集合為R(<rl)，初始時(shí)q=l，R(<rl)為R(<))為最初分割區(qū)域集合，如果在R (<rl)中Vi和Vj是分 別屬于兩個(gè)區(qū)域并且第q條邊的權(quán)重w(〇q)大于兩個(gè)區(qū)域的區(qū)域內(nèi)間距，則重新選擇新的 邊，反之，進(jìn)行(2b5); (2a5)合并二個(gè)區(qū)域，在中去掉這兩個(gè)區(qū)域再加入新合并的區(qū)域變成新的分割區(qū) 域集合R(q)，返回（2b4)，直到q=m，得到初始化的區(qū)域R = R(m)。3. 根據(jù)權(quán)利要求1所述的基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在 于:步驟(2b)中計(jì)算出每個(gè)初始化相鄰區(qū)域的綜合相似性s(ri，rj)，按如下步驟進(jìn)行： (2bl)從每個(gè)初始區(qū)域中得到一個(gè)一維的灰度分布直方圖，該直方圖共有25個(gè)區(qū)間，按 照下式計(jì)算第i個(gè)初始區(qū)域ri與第i個(gè)初始IX域ri的灰度特征相似性Sc(ri，rj):其中，4表示第i個(gè)初始區(qū)域〇第1^個(gè)區(qū)間的灰度分布直方圖特征，4表示第j個(gè)初始區(qū) 域r j第k個(gè)區(qū)間的灰度分布直方圖特征，i e [ 1，n ]，j e [ i +1，n ]，n為初始化區(qū)域個(gè)數(shù)，k e [1,25]； (2b2)對(duì)每個(gè)初始區(qū)域，在8個(gè)方向上計(jì)算方差為1的高斯微分，每個(gè)方向用10個(gè)區(qū)間的 紋理直方圖來(lái)描述，按照下式計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域rj的紋理相似性St (ri,rj)：u = i 其中，￥表示第i個(gè)初始區(qū)域。第1!個(gè)區(qū)間的紋理直方圖特征，％表示第j個(gè)初始區(qū)域 第u個(gè)區(qū)間的紋理直方圖特征，ue[l，80]; (2b3)按照下式計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域rj的面積相似性Sjri，!·」）：其中，Size(ri)表示初始區(qū)域的像素?cái)?shù)目，siZe(n)表示初始區(qū)域^內(nèi)的像素?cái)?shù)目， siZe(im)表示車(chē)標(biāo)待檢測(cè)圖片內(nèi)的像素?cái)?shù)目； (2b4)按照下式計(jì)算第i個(gè)初始區(qū)域ri與第j個(gè)初始區(qū)域r j的相交相似性Sf (ri，r j):其中，表示初始區(qū)域Γι和初始區(qū)域〇的最小外包區(qū)域的像素?cái)?shù)目；（2b5) 根據(jù)步驟(2bl)到（2b4)的結(jié)果，計(jì)算第i個(gè)初始區(qū)域Γι與第j個(gè)初始區(qū)域^的綜合相似 性S(ri，rj): S(ri，rj) = Sc(;ri，;rj)+St(:ri，;rj)+Se(;ri，;rj)+Sf(;ri，;rj) 〇4. 根據(jù)權(quán)利要求1所述的基于選擇性搜索和卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在 于:步驟(3)中的先驗(yàn)條件，包括如下兩個(gè)條件： 第一先驗(yàn)條件是：將車(chē)標(biāo)候選區(qū)域的中心設(shè)在車(chē)標(biāo)待檢測(cè)圖片的中心區(qū)域，候選區(qū)域 的坐標(biāo)為&，7)，0.2511〇〈0.7511，0.25￥〈7〈0.75￥，其中11，￥分別為車(chē)標(biāo)待檢測(cè)圖片的高和 寬； 第二先驗(yàn)條件是:將車(chē)標(biāo)候選區(qū)域長(zhǎng)寬比設(shè)為r，l〈r〈3。5. 根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在于:步驟(4a)構(gòu) 建含有7層的卷積神經(jīng)網(wǎng)絡(luò)CNN，按如下步驟進(jìn)行： (4al)將38X38像素大小的車(chē)標(biāo)區(qū)域圖輸入卷積層Convl，對(duì)其進(jìn)行塊大小為5 X 5像 素和步長(zhǎng)為1個(gè)像素的卷積操作，總共用32個(gè)卷積核，得到32張34 X 34像素大小的特征圖； (4a2)將卷積層Convl輸出的32張?zhí)卣鲌D輸入到池化層P〇〇12,對(duì)其進(jìn)行最大池化操作， 池化塊的大小為2 X 2像素，步長(zhǎng)為1個(gè)像素，得到32張分辨率為17 X 17像素的特征圖； (4a3)將池化層Poo 12輸出的32張?zhí)卣鲌D輸入卷積層Conv3，對(duì)其進(jìn)行塊大小為5 X 5像 素和步長(zhǎng)為1個(gè)像素的卷積操作，總共用64個(gè)卷積核，得到64張分辨率為13X13像素的特征 圖； (4a4)將卷積層Conv3輸出的64張?zhí)卣鲌D輸入空間金字塔池化層SPP4,對(duì)其進(jìn)行多尺度 的最大池化操作，需要得到64張分辨率為(4X4+2X2+1 XI)像素的特征圖，池化塊大小為 -和步長(zhǎng)為一.，其中表不a = 13，n分別取4、2、1; η [_η_ (4a5)將池化層SPP4輸出的64張?zhí)卣鲌D輸入全連接層Fc5,按照下式，對(duì)其中每一個(gè)像 素點(diǎn)進(jìn)行激活，得到激活后的特征圖的像素點(diǎn)的值，將激活后的特征圖以列的順序排列成1 維向量，得到1 X 1344維的特征向量：其中，f(x)表示激活后的特征圖的像素點(diǎn)的值，X表示激活前特征圖的像素點(diǎn)的值，e表 示一個(gè)無(wú)限不循環(huán)的自然常數(shù)，取值為2.7182; (4a6)將全連接層Fc5輸出的特征向量輸入全連接層Fc6，構(gòu)成一般神經(jīng)網(wǎng)絡(luò)，輸出為1 X 500維的特征向量； (4a7)將全連接層Fc6輸出的特征向量輸入分類(lèi)層Softmax7,得到車(chē)標(biāo)區(qū)域圖的分類(lèi)標(biāo) 簽，該層會(huì)計(jì)算出每種分類(lèi)標(biāo)簽的概率，并將最大概率的標(biāo)簽輸出，其中softmax分類(lèi)的期 望函數(shù)表示如下：其中，α(1)表示卷積神經(jīng)網(wǎng)絡(luò)CNN中全連接層Fc6輸出的特征向量，β(1)表示與卷積神經(jīng) 網(wǎng)絡(luò)CNN中全連接層Fc6輸出的特征向量α(1 >相對(duì)應(yīng)的標(biāo)簽，k表示類(lèi)別數(shù)，i表示樣本，ie [1，m]，m表示車(chē)標(biāo)區(qū)域圖樣本的數(shù)量，Θ表示模型參數(shù)，softmax分類(lèi)損失函數(shù)如下：6.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的車(chē)標(biāo)識(shí)別方法，其特征在于:步驟(4b)中 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN，步驟如下： (4bl)在向前傳播階段，從樣本集中取一個(gè)樣本，信息從卷積神經(jīng)網(wǎng)絡(luò)CNN輸入層經(jīng)過(guò) 逐級(jí)的變換，傳送到卷積神經(jīng)網(wǎng)絡(luò)CNN輸出層，得到相應(yīng)的實(shí)際輸出； (4b2)在向后傳播階段，計(jì)算卷積神經(jīng)網(wǎng)絡(luò)CNN實(shí)際輸出與樣本標(biāo)簽對(duì)應(yīng)的理想輸出的 差，按極小化誤差的方法，反向傳播調(diào)整卷積神經(jīng)網(wǎng)絡(luò)CNN的權(quán)值； (4b3)重復(fù)(4bl)和(4b2)的操作，直到卷積神經(jīng)網(wǎng)絡(luò)CNN分類(lèi)層Softmax7之后的輸出損 失函數(shù)J(9H 0.0001為止或者迭代15000次為止。
【文檔編號(hào)】G06K9/62GK105868774SQ201610172526
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月24日
【發(fā)明人】韓紅, 程素華, 張鼎, 衣亞男, 何蘭, 江津
【申請(qǐng)人】西安電子科技大學(xué)