一種基于池化多尺度深度卷積特征的車型識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于池化多尺度深度卷積特征的車型識(shí)別方法，首先對(duì)車型數(shù)據(jù)庫(kù)的每個(gè)車型圖像，按不同尺度提取其深度卷積特征，第一個(gè)尺度不處理；將余下每個(gè)尺度的深度卷積特征，進(jìn)行PCA降維；再進(jìn)行局部特征聚合描述子編碼；然后再次通過PCA降維，得到當(dāng)前尺度的特征表示；將所有尺度的特征級(jí)聯(lián)池化，得到當(dāng)前圖像最終的特征表示；將車型圖像的特征表示用于線性支持向量機(jī)訓(xùn)練，得到車型識(shí)別系統(tǒng)；對(duì)待識(shí)別車輛，同樣獲取其特征表示，導(dǎo)入識(shí)別系統(tǒng)即可識(shí)別出其車型。傳統(tǒng)的深度卷積特征缺少幾何不變性，限制了對(duì)可變場(chǎng)景的車型圖像分類和識(shí)別，本發(fā)明采取圖像的池化多尺度深度卷積特征，很好地解決了這個(gè)問題，具有較高的實(shí)用性和魯棒性。
【專利說明】
-種基于池化多尺度深度卷積特征的車型識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理、模式分類和識(shí)別技術(shù)領(lǐng)域，特別設(shè)及一種基于池化多尺度 深度卷積特征的車型識(shí)別方法。
[0002] 發(fā)明背景 傳統(tǒng)的車型識(shí)別技術(shù)包括車輛檢測(cè)分割、特征提取與選擇、模式識(shí)別等處理。運(yùn)類技術(shù) 面臨著諸多難點(diǎn)：如何在復(fù)雜背景下分割出完整的目標(biāo)車輛區(qū)域是車型識(shí)別的前提和基 礎(chǔ);如何在汽車的眾多特征中選擇具有代表性的特征，并將其轉(zhuǎn)化成有效的參數(shù)也格外重 要;在得到特征參數(shù)后，如何正確選擇和設(shè)計(jì)分類器也直接影響著最后識(shí)別的準(zhǔn)確率。
[0003] 深度學(xué)習(xí)的概念起源于人工神經(jīng)網(wǎng)絡(luò)，是指具有多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí) 主要從仿生學(xué)的角度模仿神經(jīng)系統(tǒng)的層次結(jié)構(gòu)，低層次表示細(xì)節(jié)，高層次表示抽象的數(shù)據(jù) 結(jié)構(gòu)特征，通過逐層抽象，高度挖掘數(shù)據(jù)的本質(zhì)信息，從而達(dá)到學(xué)習(xí)的目的。卷積神經(jīng)網(wǎng)絡(luò) 通過局部連接的方式，共享權(quán)值，進(jìn)而有效地解決完全連接的問題，運(yùn)也使卷積神經(jīng)網(wǎng)絡(luò)在 圖像處理方面具有獨(dú)特的優(yōu)越性。
[0004] 目前，針對(duì)不同的視覺識(shí)別任務(wù)，人們提出了許多各種各樣的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 并取得了顯著效果。不過它在車型識(shí)別方面表現(xiàn)不佳，基于全局的卷積神經(jīng)網(wǎng)絡(luò)特征缺少 幾何不變性，限制了對(duì)可變場(chǎng)景的分類和匹配。
[0005] 根據(jù)W上所述，本發(fā)明提出了一種基于池化多尺度深度卷積特征的車型識(shí)別方 法，提出了一個(gè)很簡(jiǎn)潔的關(guān)于車型識(shí)別的深度學(xué)習(xí)框架，將車型圖像的多尺度特征和深度 卷積網(wǎng)絡(luò)特征結(jié)合起來，采用了局部特征聚合描述子的編碼方式。單獨(dú)的深度卷積特征缺 少幾何不變性，限制了對(duì)可變車型場(chǎng)景的分類和匹配，而多尺度特征利用更為豐富的圖像 信息，兩者結(jié)合很好地解決了運(yùn)個(gè)問題，采用局部特征聚合描述子進(jìn)行編碼，提高了運(yùn)算速 度，減少內(nèi)存消耗，整體上提高了識(shí)別的準(zhǔn)確率，具有較高的實(shí)用性和魯棒性。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明中所述方法是為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，主要針對(duì)車型圖像進(jìn)行特征 提取和對(duì)車型進(jìn)行細(xì)分識(shí)別的問題，提出了一種基于池化多尺度深度卷積特征的車型識(shí)別 方法。具體的技術(shù)方案如下所述。
[0007] -種基于池化多尺度深度卷積特征的車型識(shí)別方法，包括W下步驟： 步驟1:對(duì)車型圖像數(shù)據(jù)庫(kù)的每個(gè)車型圖像，按不同尺度提取其深度卷積特征； 步驟2:第一個(gè)尺度不處理，余下每個(gè)尺度的深度卷積特征，進(jìn)行PCA降維，降維后的特 征向量； 步驟3:對(duì)降維后的特征向量進(jìn)行局部特征聚合描述子編碼，得到編碼后的特征向量； 步驟4:對(duì)編碼后的特征向量進(jìn)行PCA降維，得到當(dāng)前尺度的特征表示； 步驟5:將所有尺度的特征表示級(jí)聯(lián)池化，得到當(dāng)前圖像池化多尺度深度卷積特征表 示； 步驟6:將所有車型圖像的池化多尺度深度卷積特征表示用于線性支持向量機(jī)訓(xùn)練，得 到車型識(shí)別系統(tǒng)； 步驟7:對(duì)待識(shí)別車輛，同樣獲取其池化多尺度深度卷積特征表示，導(dǎo)入識(shí)別系統(tǒng)即可 識(shí)別出其車型。
[0008] 上述技術(shù)方案中，所述步驟1包括W下幾個(gè)步驟： 步驟1.1:求取車型數(shù)據(jù)庫(kù)所有圖像的均值圖像U; 步驟1.2:將原始車型圖像縮放至256*256大小，然后減去均值圖像U，再導(dǎo)入深度卷積 神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取，將網(wǎng)絡(luò)模型第屯層的4096維特征作為第一個(gè)尺度的深度卷 積特征，不再進(jìn)一步處理； 步驟1.3:在原始圖像上W窗口，步長(zhǎng)32*32提取m個(gè)圖像塊，按照步驟1.2中的方式，提 取m個(gè)圖像塊的4096維深度卷積特征； 步驟1.4:將步驟1.3中的窗口大小設(shè)為64*64,按同樣的方法提取n個(gè)圖像塊的4096維 深度卷積特征。
[0009] 上述技術(shù)方案中，所述步驟2包括W下幾個(gè)步驟： 步驟2.1:將步驟1.3中生成的m個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到m個(gè)500維的特征向量； 步驟2.2:將步驟1.4中生成的n個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到n個(gè)500維的特征向量。
[0010] 上述技術(shù)方案中，所述步驟3包括一下幾個(gè)步驟： 步驟3.1:對(duì)步驟2.1中降維后的個(gè)特征向量進(jìn)行k-means聚類，生成一個(gè)100*500的碼 本； 步驟3.2:采用局部特征聚合描述子對(duì)每個(gè)特征向量進(jìn)行編碼； 步驟3.3:采用二范數(shù)歸一化后，得到編碼后50000維的特征表示； 步驟3.4:同樣對(duì)步驟2.2中的n個(gè)特征向量進(jìn)行步驟3.1-3.3操作，得到編碼后的50000 維的特征表示。
[0011] 上述技術(shù)方案中，所述步驟4包括一下幾個(gè)步驟： 步驟4.1:對(duì)步驟3.3中生成的50000維特征向量，采用PCA降維將其降到4096維，作為第 二個(gè)尺度的特征表示； 步驟4.2:對(duì)步驟3.4中生成的50000維特征向量，采用PCA降維將其降到4096維，作為第 =個(gè)尺度的特征表示； 上述技術(shù)方案中，所述步驟5中將所有尺度的特征級(jí)聯(lián)池化，得到當(dāng)前圖像池化多尺度 深度卷積特征表示，包括級(jí)聯(lián)池化第一個(gè)個(gè)尺度到第=個(gè)尺度的特征向量，得到當(dāng)前車型 圖像最終的3*4096維的特征向量表示。
[0012] 上述技術(shù)方案中，所述步驟6包括W下幾個(gè)步驟： 步驟6.1:將當(dāng)前類別車型圖像的池化多尺度深度卷積特征作為正樣本，其他類別車型 圖像的池化多尺度深度卷積特征作為負(fù)樣本； 步驟6.2:使用線性SVM訓(xùn)練運(yùn)兩個(gè)樣本，得到當(dāng)前類別車型圖像的分類器； 步驟6.3:重復(fù)步驟6.1到步驟6.2的操作，得到所有類別車型圖像的分類器，聯(lián)合后構(gòu) 成車型識(shí)別系統(tǒng)。
[0013] 上述技術(shù)方案中，所述步驟7包括W下幾個(gè)步驟： 步驟7.1:對(duì)待識(shí)別車輛圖像，通過步驟I到步驟5的提取，得到待識(shí)別車輛圖像的池化 多尺度深度卷積特征表示； 步驟7.2:將得到的特征表示導(dǎo)入步驟6中訓(xùn)練好的車型識(shí)別系統(tǒng)中，識(shí)別出其車型。
[0014] 因?yàn)楸景l(fā)明采用上述技術(shù)方案，因此具備W下有益效果： 本發(fā)明思想簡(jiǎn)單明了，將車型圖像的多尺度特征和深度卷積網(wǎng)絡(luò)特征結(jié)合起來，采用 了局部特征聚合描述子的編碼方式。單獨(dú)的深度卷積特征缺少幾何不變性，限制了對(duì)可變 車型場(chǎng)景的分類和匹配，而多尺度特征利用更為豐富的圖像信息，兩者結(jié)合很好地解決了 運(yùn)個(gè)問題，采用局部特征聚合描述子進(jìn)行編碼，提高了運(yùn)算速度，減少內(nèi)存消耗，整體上提 高了識(shí)別的準(zhǔn)確率，具有較高的實(shí)用性和魯棒性。
【附圖說明】
[0015] 圖1為基于池化多尺度深度卷積特征的算法實(shí)現(xiàn)示意圖。
【具體實(shí)施方式】
[0016] 為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，W下結(jié)合實(shí)施方式 并配合附圖詳予說明。
[0017] 本發(fā)明提出了一種基于池化多尺度深度卷積特征的車型識(shí)別方法，在車輛車型識(shí) 別上取得良好的效果。整個(gè)算法實(shí)現(xiàn)示意圖如圖1所示，包括步驟： 步驟1:對(duì)車型圖像數(shù)據(jù)庫(kù)的每個(gè)車型圖像，按不同尺度提取其深度卷積特征，尺度1不 處理； 具體地，對(duì)每個(gè)車型圖像，運(yùn)里提取=個(gè)尺度下的深度卷積特征，且對(duì)尺度1不進(jìn)行進(jìn) 一步操作，只處理余下兩個(gè)尺度的深度卷積特征，包括W下幾個(gè)步驟： 步驟1.1:求取車型數(shù)據(jù)庫(kù)所有圖像的均值圖像； 步驟1.2:將原始車型圖像縮放至256*化6大小，然后減去均值圖像，再導(dǎo)入深度卷積神 經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取，將網(wǎng)絡(luò)模型第屯層的4096維特征作為尺度1的深度卷積特征， 不再進(jìn)一步處理. 步驟1.3:在原始圖像上W窗口 128*128，步長(zhǎng)32*32提取m個(gè)圖像塊，按照步驟1.2中的 方式，提取m個(gè)圖像塊的4096維深度卷積特征； 步驟1.4:將步驟1.3中的窗口大小設(shè)為64*64,按同樣的方法提取n個(gè)圖像塊的4096維 深度卷積特征。
[0018] 步驟2:將余下每個(gè)尺度的深度卷積特征，進(jìn)行PCA降維； 具體地，對(duì)尺度2和尺度3的深度卷積特征，由于具有很多圖像塊構(gòu)成，整體維數(shù)非常 高，所W需要進(jìn)一步處理，包括W下幾個(gè)步驟： 步驟2.1:將步驟1.3中生成的m個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到m個(gè)500維的特征向量； 步驟2.2:將步驟1.4中生成的n個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到n個(gè)500維的特征向量。
[0019] 步驟3:對(duì)降維后的特征向量進(jìn)行局部特征聚合描述子編碼； 具體地，對(duì)降維后的特征向量表示，需要進(jìn)一步進(jìn)行編碼，運(yùn)里采取的是局部特征聚合 描述子進(jìn)行編碼，包括W下幾個(gè)步驟： 步驟3.1:對(duì)步驟2.1中降維后的m個(gè)特征向量進(jìn)行k-means聚類，生成一個(gè)100*500的碼 本； 步驟3.2:采用局部特征聚合描述子對(duì)每個(gè)特征向量進(jìn)行編碼； 步驟3.3:采用二范數(shù)歸一化后，得到編碼后50000維的特征表示； 步驟3.4:同樣對(duì)步驟2.2中的n個(gè)特征向量進(jìn)行步驟3.1-3.3操作，得到編碼后的50000 維的特征表示。
[0020] 步驟4:對(duì)編碼后的特征向量進(jìn)行PCA降維，得到當(dāng)前尺度的特征表示； 具體地，編碼后的特征向量維數(shù)還是很高，計(jì)算的復(fù)雜度相當(dāng)高，還需要進(jìn)一步進(jìn)行降 維，運(yùn)里同樣采取PCA降維將其降到4096維，包括W下幾個(gè)步驟： 步驟4.1:對(duì)步驟3.3中生成的50000維特征向量，采用PCA降維將其降到4096維，作為尺 度2的特征表示； 步驟4.2:對(duì)步驟3.4中生成的50000維特征向量，采用PCA降維將其降到4096維，作為尺 度3的特征表示； 步驟5:將所有尺度的特征級(jí)聯(lián)池化，得到當(dāng)前圖像池化多尺度深度卷積特征表示； 具體地，對(duì)尺度1到尺度3的特征向量表示，包含了不同尺度下的原始圖像的空間和結(jié) 構(gòu)信息，需要進(jìn)一步級(jí)聯(lián)池化起來，構(gòu)成圖像最終的維的特征向量表示。
[0021] 步驟6:將所有車型圖像的池化多尺度深度卷積特征表示用于線性支持向量機(jī)訓(xùn) 練，得到車型識(shí)別系統(tǒng)； 具體地，對(duì)得到的所有車型圖像的池化多尺度深度卷積特征表示，運(yùn)里采取one VS rest線性支持向量機(jī)訓(xùn)練。one VS rest線性支持向量機(jī)訓(xùn)練的具體過程是:設(shè)原始訓(xùn)練時(shí) 有K種車型類別需要?jiǎng)澐?，在抽取?xùn)練集時(shí)，分別抽取每一個(gè)單獨(dú)類作為訓(xùn)練集的正樣本 集，余下所有樣本作為負(fù)樣本集，通過訓(xùn)練得到K個(gè)二分類的線性支持向量機(jī)分類器，測(cè)試 時(shí)，將對(duì)應(yīng)的測(cè)試向量分別用運(yùn)K個(gè)訓(xùn)練結(jié)果文件進(jìn)行測(cè)試，每一個(gè)測(cè)試都有一個(gè)評(píng)分 fS、、最終的識(shí)別結(jié)果就是得分值最高的那個(gè)類別，也即將待識(shí)別車型分類為具有 最大分類函數(shù)值的那一類，包括W下幾個(gè)步驟： 步驟6.1:將當(dāng)前類別車型圖像的池化多尺度深度卷積特征作為正樣本，其他類別車型 圖像的池化多尺度深度卷積特征作為負(fù)樣本； 步驟6.2:使用線性SVM訓(xùn)練運(yùn)兩個(gè)樣本，得到當(dāng)前類別車型圖像的分類器； 步驟6.3:重復(fù)步驟6.1到步驟6.2的操作，得到所有類別車型圖像的分類器，聯(lián)合后構(gòu) 成車型識(shí)別系統(tǒng)。
[0022] 步驟7:對(duì)待識(shí)別車輛，同樣獲取其池化多尺度深度卷積特征表示，導(dǎo)入識(shí)別系統(tǒng) 即可識(shí)別出其車型。
[0023] 具體地，對(duì)待識(shí)別車輛，通過同樣的步驟獲取其池化多尺度深度卷積特征表示，再 導(dǎo)入識(shí)別系統(tǒng)即可識(shí)別出其車型，包括W下幾個(gè)步驟： 步驟7.1:對(duì)待識(shí)別車輛圖像，通過步驟1到步驟5的提取，得到待識(shí)別車輛圖像的池化 多尺度深度卷積特征表示； 步驟7.2:將得到的特征表示導(dǎo)入步驟6中訓(xùn)練好的車型識(shí)別系統(tǒng)中，識(shí)別出其車型。
【主權(quán)項(xiàng)】
1. 一種基于池化多尺度深度卷積特征的車型識(shí)別方法，包括以下步驟： 步驟1:對(duì)車型圖像數(shù)據(jù)庫(kù)的每個(gè)車型圖像，按不同尺度提取其深度卷積特征； 步驟2:第一個(gè)尺度不處理，余下每個(gè)尺度的深度卷積特征，進(jìn)行PCA降維，降維后的特 征向量； 步驟3:對(duì)降維后的特征向量進(jìn)行局部特征聚合描述子編碼，得到編碼后的特征向量； 步驟4:對(duì)編碼后的特征向量進(jìn)行PCA降維，得到當(dāng)前尺度的特征表示； 步驟5:將所有尺度的特征表示級(jí)聯(lián)池化，得到當(dāng)前圖像池化多尺度深度卷積特征表 示； 步驟6:將所有車型圖像的池化多尺度深度卷積特征表示用于線性支持向量機(jī)訓(xùn)練，得 到車型識(shí)別系統(tǒng)； 步驟7:對(duì)待識(shí)別車輛，同樣獲取其池化多尺度深度卷積特征表示，導(dǎo)入識(shí)別系統(tǒng)即可 識(shí)別出其車型。2. 根據(jù)權(quán)利要求1所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟1包括以下幾個(gè)步驟： 步驟1.1:求取車型數(shù)據(jù)庫(kù)所有圖像的均值圖像； 步驟1.2:將原始車型圖像縮放至256*256大小，然后減去均值圖像，再導(dǎo)入深度卷積神 經(jīng)網(wǎng)絡(luò)模型中進(jìn)行特征提取，將網(wǎng)絡(luò)模型第七層的4096維特征作為第一個(gè)尺度的深度卷積 特征，不再進(jìn)一步處理； 步驟1.3:在原始圖像上以窗口 128* 128，步長(zhǎng)32*32提取?個(gè)圖像塊，按照步驟1.2中的 方式，提取?^圖像塊的4096維深度卷積特征； 步驟1.4:將步驟1.3中的窗口大小設(shè)為64*64，按同樣的方法提取/3個(gè)圖像塊的4096維 深度卷積特征。3. 根據(jù)權(quán)利要求2所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟2包括以下幾個(gè)步驟： 步驟2.1:將步驟1.3中生成的?個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到Sy卜500維的特征向量； 步驟2.2:將步驟1.4中生成的/3個(gè)4096維深度卷積特征，采用PCA降維將其降到500維， 得到/3個(gè)500維的特征向量。4. 根據(jù)權(quán)利要求3所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟3包括一下幾個(gè)步驟： 步驟3.1:對(duì)步驟2.1中降維后的《個(gè)特征向量進(jìn)行k-means聚類，生成一個(gè)100*500的碼 本； 步驟3.2:采用局部特征聚合描述子對(duì)每個(gè)特征向量進(jìn)行編碼； 步驟3.3:采用二范數(shù)歸一化后，得到編碼后50000維的特征表示； 步驟3.4:同樣對(duì)步驟2.2中的/3個(gè)特征向量進(jìn)行步驟3.1-3.3操作，得到編碼后的50000 維的特征表示。5. 根據(jù)權(quán)利要求3所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟4包括一下幾個(gè)步驟： 步驟4.1:對(duì)步驟3.3中生成的50000維特征向量，采用PCA降維將其降到4096維，作為第 二個(gè)尺度的特征表示； 步驟4.2:對(duì)步驟3.4中生成的50000維特征向量，采用PCA降維將其降到4096維，作為第 三個(gè)尺度的特征表示。6. 根據(jù)權(quán)利要求1所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟5中將所有尺度的特征級(jí)聯(lián)池化，得到當(dāng)前圖像池化多尺度深度卷積特征表示，包括 級(jí)聯(lián)池化第一個(gè)個(gè)尺度到第三個(gè)尺度的特征向量，得到當(dāng)前車型圖像最終的3*4096維的特 征向量表示。7. 根據(jù)權(quán)利要求1所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟6包括以下幾個(gè)步驟： 步驟6.1:將當(dāng)前類別車型圖像的池化多尺度深度卷積特征作為正樣本，其他類別車型 圖像的池化多尺度深度卷積特征作為負(fù)樣本； 步驟6.2:使用線性SVM訓(xùn)練這兩個(gè)樣本，得到當(dāng)前類別車型圖像的分類器； 步驟6.3:重復(fù)步驟6.1到步驟6.2的操作，得到所有類別車型圖像的分類器，聯(lián)合后構(gòu) 成車型識(shí)別系統(tǒng)。8. 根據(jù)權(quán)利要求1所述基于池化多尺度深度卷積特征的車型識(shí)別方法，其特征在于，所 述步驟7包括以下幾個(gè)步驟： 步驟7.1:對(duì)待識(shí)別車輛圖像，通過步驟1到步驟5的提取，得到待識(shí)別車輛圖像的池化 多尺度深度卷積特征表示； 步驟7.2:將得到的特征表示導(dǎo)入步驟6中訓(xùn)練好的車型識(shí)別系統(tǒng)中，識(shí)別出其車型。
【文檔編號(hào)】G06T9/00GK105956560SQ201610295487
【公開日】2016年9月21日
【申請(qǐng)日】2016年5月6日
【發(fā)明人】李鴻升, 胡歡, 曹濱, 周輝, 范峻銘
【申請(qǐng)人】電子科技大學(xué)