本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是指一種面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置。

背景技術(shù)：

智能交通系統(tǒng)(its)是集成目前大多數(shù)先進(jìn)的交通技術(shù)和計(jì)算機(jī)技術(shù)的一種交通系統(tǒng)，它能夠提高交通管理部門的工作效率，減少資源的浪費(fèi)，保護(hù)環(huán)境，還能夠降低交通事故的發(fā)生率。可以說，智能交通系統(tǒng)將對(duì)未來交通方面產(chǎn)生巨大的影響。目前，中國經(jīng)濟(jì)快速發(fā)展，城市化比例越來越高，同時(shí)人們的生活水平也越來越好，汽車的數(shù)量也越來越多。但是不斷凸顯的交通問題，例如交通擁堵、阻塞、頻繁的交通事故，增加城市的負(fù)擔(dān)，同時(shí)越來越受到社會(huì)的重視和關(guān)注?，F(xiàn)有的交通系統(tǒng)和能力已經(jīng)解決不了這些問題，這就需要我們大力發(fā)展智能交通系統(tǒng)。

計(jì)算機(jī)視覺和模式識(shí)別技術(shù)的不斷發(fā)展為基于圖像理解的智能交通系統(tǒng)提供了進(jìn)入實(shí)際應(yīng)用的機(jī)會(huì)。計(jì)算機(jī)視覺是使用計(jì)算機(jī)完成人視覺的功能，讓計(jì)算機(jī)從現(xiàn)實(shí)世界中獲得想要的視覺信息，再進(jìn)行分析處理、理解，得出這些信息的更深層次的屬性。在交通環(huán)境中的許多信息，例如車輛、交通標(biāo)志和道路標(biāo)志，都是從視覺導(dǎo)出的。

車型分類是智能交通系統(tǒng)的重要組成部分，車型分類需要運(yùn)用計(jì)算機(jī)技術(shù)在監(jiān)控視頻中檢測(cè)車輛并進(jìn)行車型分類，將車型分類技術(shù)用到智能交通系統(tǒng)中，可以實(shí)時(shí)知道車型信息，車型識(shí)別用以輔助車牌識(shí)別就可以鎖定具體車輛。這項(xiàng)技術(shù)用在停車場(chǎng)和收費(fèi)站時(shí)，能使車輛在不停車的情況下完成對(duì)應(yīng)車型的收費(fèi)工作，減少了工作人員的工作，同時(shí)也減少了車輛通過的時(shí)間，減少堵車情況。也可以將這項(xiàng)技術(shù)用在公安部門追蹤犯罪車輛、查找肇事逃逸車輛等方面。

然而，在自然場(chǎng)景中車輛檢測(cè)、分類和跟蹤都是具有挑戰(zhàn)性的工作。其挑戰(zhàn)主要來自于自然場(chǎng)景不可控的因素對(duì)車輛目標(biāo)檢測(cè)的影響；多種類型的車輛之間特征不明顯對(duì)車型識(shí)別的影響；復(fù)雜背景和目標(biāo)粘連對(duì)車輛跟蹤的影響。這些挑戰(zhàn)都會(huì)影響整個(gè)監(jiān)控視頻下的車型識(shí)別系統(tǒng)對(duì)車型識(shí)別的魯棒性。

例如：在《使用半監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)的車輛類型分類》(“vehicletypeclassificationusingasemisupervisedconvolutionalneuralnetwork”)發(fā)表于2015年的《ieeetransactionsonintelligenttransportationsystems》)文章中，作者提出了一種利用車輛前臉圖片使用半監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)行車型分類的方法。通過多任務(wù)學(xué)習(xí)與少量的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練獲得網(wǎng)絡(luò)的輸出層的softmax分類器。對(duì)于一個(gè)給定的車輛圖像，網(wǎng)絡(luò)能夠給出車輛各類型的概率。不同于傳統(tǒng)的方法采用手工制作的視覺特征，作者的方法是能夠自動(dòng)學(xué)習(xí)特征并進(jìn)行分類任務(wù)的。

雖然自然場(chǎng)景下的車型識(shí)別的正確率逐年提高，但基本都是假定在相對(duì)理想化或固定角度條件下進(jìn)行的研究，缺少對(duì)周圍環(huán)境變化的考慮，而環(huán)境變化的因素正是目前面臨的重大問題，同樣也是解決與提高車型識(shí)別正確率的關(guān)鍵技術(shù)的難點(diǎn)。對(duì)于雖然已經(jīng)有研究者提出利用深度學(xué)習(xí)的方法進(jìn)行目標(biāo)的檢測(cè)和車型分類。但是如何利用視頻流信息和深度學(xué)習(xí)，完成監(jiān)控場(chǎng)景下的車輛檢測(cè)、車型識(shí)別、跟蹤計(jì)數(shù)，成為業(yè)內(nèi)技術(shù)人員所關(guān)注的課題。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提出一種面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置，能夠更為精確的對(duì)車輛進(jìn)行監(jiān)控及識(shí)別。

基于上述目的本發(fā)明提供的面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法，包括：

對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，獲得車輛位置信息和歸屬概率值；

根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，跟蹤所述最優(yōu)車輛；并且根據(jù)車輛位置信息獲得所述最優(yōu)車輛的前景區(qū)域，識(shí)別所述最優(yōu)車輛的車型；

對(duì)所述識(shí)別車型的最優(yōu)車輛進(jìn)行跟蹤，矯正所述最優(yōu)車輛的車型。

在本發(fā)明的一些實(shí)施例中，所述對(duì)車輛進(jìn)行檢測(cè)獲得車輛信息包括基于深度學(xué)習(xí)的ssd目標(biāo)檢測(cè)模型對(duì)監(jiān)控視頻中的車輛進(jìn)行訓(xùn)練，獲得車輛位置信息和車輛歸屬概率值。

在本發(fā)明的一些實(shí)施例中，根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，再結(jié)合kcf算法進(jìn)行跟蹤。

在本發(fā)明的一些實(shí)施例中，所述對(duì)最優(yōu)車輛進(jìn)行跟蹤，包括滿足兩個(gè)約束：

約束1：由檢測(cè)器輸出的目標(biāo)邊界框作為跟蹤器的輸入，邊界框中的車輛面積不變時(shí)，背景像素會(huì)隨著邊界框的面積增加而增加；

約束2：在車輛面積不變的條件下，為了增加車輛部位在邊界框中所占比例，需要給定的框位置盡量準(zhǔn)確；

假設(shè)在時(shí)刻t，ssd算法計(jì)算得到檢測(cè)集中某一目標(biāo)dobj及其所在圖像位置框dbox，和所屬概率值dscore，根據(jù)相似性度量公式，將之與跟蹤集中的所有目標(biāo)進(jìn)行相似度的計(jì)算；最終得到了最佳匹配tobj，及被估計(jì)位置tbox，和概率值tscore；通過如下的目標(biāo)置信度或價(jià)值判別公式，使dobj對(duì)tobj進(jìn)行參數(shù)的更新：

其中，area表示目標(biāo)obj位置框所占面積，score表示經(jīng)過深度神經(jīng)網(wǎng)絡(luò):計(jì)算得到目標(biāo)obj類別歸屬概率，歸一化到(0,1)之間，α為兩部分衡量權(quán)重；

根據(jù)公式分別對(duì)dobj和tobj分別進(jìn)行價(jià)值的判斷，如果conf(dobj)>conf(tobj)，此時(shí)認(rèn)為檢測(cè)得到的dobj是優(yōu)于tobj，這時(shí)使用dobj的深度信息參數(shù)代替tobj并更新跟蹤器。

在本發(fā)明的一些實(shí)施例中，利用所述跟蹤算法跟蹤目標(biāo)，然后通過投票的方式選出當(dāng)前幀的車型。

在本發(fā)明的一些實(shí)施例中，所述通過投票選出當(dāng)前幀的車型，包括：

當(dāng)通過檢測(cè)算法獲得到一個(gè)目標(biāo)后，再通過跟蹤算法發(fā)現(xiàn)它是一個(gè)新出現(xiàn)的目標(biāo)，那么分配一個(gè)新的id；通過車型分類算法獲得車型信息，第一幀的車型信息就顯示車型識(shí)別算法獲得的信息，并將車型信息保存在跟蹤器中；新獲得一幀時(shí)，通過跟蹤算法找到同一id的車輛，車型識(shí)別算法給出車型信息，然后統(tǒng)計(jì)此id下的每種車型數(shù)量，選擇數(shù)量最多的車型作為此id車輛的車型顯示出來。

另外，本發(fā)明還提供了一種面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正裝置，包括：

獲取單元，用于對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，獲得車輛位置信息和歸屬概率值；

識(shí)別單元，用于根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，跟蹤所述最優(yōu)車輛；并且根據(jù)車輛位置信息獲得所述最優(yōu)車輛的前景區(qū)域，識(shí)別所述最優(yōu)車輛的車型；

矯正單元，用于對(duì)所述識(shí)別車型的最優(yōu)車輛進(jìn)行跟蹤，矯正所述最優(yōu)車輛的車型。

在本發(fā)明的一些實(shí)施例中，所述獲取單元采用基于深度學(xué)習(xí)的ssd目標(biāo)檢測(cè)模型來對(duì)監(jiān)控視頻中的車輛進(jìn)行訓(xùn)練，獲得車輛位置信息和車輛歸屬概率值。

在本發(fā)明的一些實(shí)施例中，所述矯正單元對(duì)最優(yōu)車輛進(jìn)行跟蹤，包括滿足兩個(gè)約束：

約束1：由檢測(cè)器輸出的目標(biāo)邊界框作為跟蹤器的輸入，邊界框中的車輛面積不變時(shí)，背景像素會(huì)隨著邊界框的面積增加而增加；

約束2：在車輛面積不變的條件下，為了增加車輛部位在邊界框中所占比例，需要給定的框位置盡量準(zhǔn)確；

假設(shè)在時(shí)刻t，ssd算法計(jì)算得到檢測(cè)集中某一目標(biāo)dobj及其所在圖像位置框dbox，和所屬概率值dscore，根據(jù)相似性度量公式，將之與跟蹤集中的所有目標(biāo)進(jìn)行相似度的計(jì)算；最終得到了最佳匹配tobj，及被估計(jì)位置tbox，和概率值tscore；通過如下的目標(biāo)置信度或價(jià)值判別公式，使dobj對(duì)tobj進(jìn)行參數(shù)的更新：

其中，area表示目標(biāo)obj位置框所占面積，score表示經(jīng)過深度神經(jīng)網(wǎng)絡(luò):計(jì)算得到目標(biāo)obj類別歸屬概率，歸一化到(0,1)之間，α為兩部分衡量權(quán)重；

根據(jù)公式分別對(duì)dobj和tobj分別進(jìn)行價(jià)值的判斷，如果conf(dobj)>conf(tobj)，此時(shí)認(rèn)為檢測(cè)得到的dobj是優(yōu)于tobj，這時(shí)使用dobj的深度信息參數(shù)代替tobj并更新跟蹤器。

在本發(fā)明的一些實(shí)施例中，所述矯正單元利用跟蹤算法跟蹤目標(biāo)，然后通過投票的方式選出當(dāng)前幀的車型，包括：

當(dāng)通過檢測(cè)算法獲得到一個(gè)目標(biāo)后，再通過跟蹤算法發(fā)現(xiàn)它是一個(gè)新出現(xiàn)的目標(biāo)，那么分配一個(gè)新的id；通過車型分類算法獲得車型信息，第一幀的車型信息就顯示車型識(shí)別算法獲得的信息，并將車型信息保存在跟蹤器中；新獲得一幀時(shí)，通過跟蹤算法找到同一id的車輛，車型識(shí)別算法給出車型信息，然后統(tǒng)計(jì)此id下的每種車型數(shù)量，選擇數(shù)量最多的車型作為此id車輛的車型顯示出來。

從上面所述可以看出，本發(fā)明提供的面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置，通過對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，獲得車輛位置信息和歸屬概率值；根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，跟蹤所述最優(yōu)車輛；并且根據(jù)車輛位置信息獲得所述最優(yōu)車輛的前景區(qū)域，識(shí)別所述最優(yōu)車輛的車型；對(duì)所述識(shí)別車型的最優(yōu)車輛進(jìn)行跟蹤，矯正所述最優(yōu)車輛的車型。從而，本發(fā)明所述面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置通過車輛跟蹤和車型矯正能提高車型識(shí)別整體準(zhǔn)確性，與此同時(shí)不用保證每一幀都能車型識(shí)別準(zhǔn)確，只需要保證大部分情況下車型識(shí)別準(zhǔn)確即可。

附圖說明

圖1為本發(fā)明實(shí)施例面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法的流程示意圖；

圖2為本發(fā)明實(shí)施中的ssd目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖；

圖3為本發(fā)明實(shí)施中inception網(wǎng)絡(luò)模型塊的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施中車型分類類別展示示意圖；

圖5為本發(fā)明實(shí)施中車輛多方向展示示意圖；

圖6為本發(fā)明實(shí)施中g(shù)ooglenet模型迭代曲線圖；

圖7為本發(fā)明可參考實(shí)施例面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法的流程示意圖；

圖8為本發(fā)明實(shí)施例面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法的裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。

需要說明的是，本發(fā)明實(shí)施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個(gè)相同名稱非相同的實(shí)體或者非相同的參量，可見“第一”“第二”僅為了表述的方便，不應(yīng)理解為對(duì)本發(fā)明實(shí)施例的限定，后續(xù)實(shí)施例對(duì)此不再一一說明。

參閱圖1所示，為本發(fā)明實(shí)施例面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法的流程示意圖，所述面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法包括：

步驟101，對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，獲得車輛位置信息和歸屬概率值。

在實(shí)施例中，鑒于實(shí)際的應(yīng)用場(chǎng)景的復(fù)雜性，可以采用基于深度學(xué)習(xí)的ssd目標(biāo)檢測(cè)模型來對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，其模型作為車輛檢測(cè)的基礎(chǔ)，如圖2為ssd目標(biāo)檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)。

其中，ssd目標(biāo)檢測(cè)的網(wǎng)絡(luò)訓(xùn)練圖像的輸入有500和300兩個(gè)分辨率格式選擇，分辨率越高，圖像信息越多，檢測(cè)結(jié)果也越準(zhǔn)確，所以訓(xùn)練時(shí)采用的網(wǎng)絡(luò)輸入圖像分辨率為500*500格式。voc2012關(guān)于目標(biāo)檢測(cè)數(shù)據(jù)集中包含了20個(gè)類目，每個(gè)類目中有11540個(gè)樣本。當(dāng)輸入圖像大小為500*500時(shí)，ssd網(wǎng)絡(luò)模型在上可以取得73.1％的檢測(cè)平均精度。為了融合從voc2012數(shù)據(jù)集中得到的有用信息，提高數(shù)據(jù)資源的利用率和模型泛用能力，較佳地采用微調(diào)(fine-tune)的方法，即在voc2012數(shù)據(jù)集已有訓(xùn)練的基礎(chǔ)上，加上車輛數(shù)據(jù)并調(diào)整caffe(卷積神經(jīng)網(wǎng)絡(luò)框架)訓(xùn)練參數(shù)，繼續(xù)進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練。例如：圖片歸一化500*500之后vgg16基礎(chǔ)網(wǎng)絡(luò)層包含16層的卷積層，extrafeatureslayers額外的7層為多尺度卷積層，得到目標(biāo)位置。另外，nmx為非極大值抑制：篩選出位置合理的目標(biāo)。在準(zhǔn)備好訓(xùn)練集和驗(yàn)證集之后開始訓(xùn)練模型，優(yōu)選地使用的基礎(chǔ)學(xué)習(xí)率為0.0001，步長(zhǎng)為150000，最大迭代次數(shù)為100000。通過在gpu上訓(xùn)練以獲得用于車輛檢測(cè)的網(wǎng)絡(luò)模型。

步驟102，根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，跟蹤所述最優(yōu)車輛。

較佳地，基于深度學(xué)習(xí)檢測(cè)反饋迭代的最優(yōu)目標(biāo)跟蹤的方法是以基于濾波跟蹤方法kcf作為目標(biāo)跟蹤器的核心，在實(shí)際場(chǎng)合中，復(fù)雜多變的背景使得跟蹤漂移及失敗等情況非常之多。原因正是由于車輛的形狀，帶來的位置框中必然包含大量的背景像素，這就會(huì)導(dǎo)致跟蹤算法對(duì)誰是背景和目標(biāo)的判斷的不確定性。所以，結(jié)合目標(biāo)檢測(cè)算法和跟蹤算法來魯棒地區(qū)分和記錄相關(guān)目標(biāo)需要滿足兩個(gè)約束：

約束1：由檢測(cè)器輸出的目標(biāo)邊界框作為跟蹤器的輸入，邊界框中的車輛面積不變時(shí)，背景像素會(huì)隨著邊界框的面積增加而增加，所以需要盡可能的縮小邊界框的面積。

約束2：在車輛面積不變的條件下，為了增加車輛部位在邊界框中所占比例，需要給定的框位置盡量準(zhǔn)確。

具體的，假設(shè)在時(shí)刻t，ssd算法計(jì)算得到檢測(cè)集中某一目標(biāo)dobj及其所在圖像位置框dbox，和所屬概率值dscore，根據(jù)相似性度量公式，我們將之與跟蹤集中的所有目標(biāo)進(jìn)行相似度的計(jì)算。最終得到了最佳匹配tobj，及被估計(jì)位置tbox，和概率值tscore。那么如何使用dobj對(duì)tobj進(jìn)行相關(guān)參數(shù)的更新，為了將問題數(shù)學(xué)化，我們使用如下的目標(biāo)置信度或價(jià)值判別公式：

其中，area表示目標(biāo)obj位置框所占面積，score表示經(jīng)過深度神經(jīng)網(wǎng)絡(luò):計(jì)算得到目標(biāo)obj類別歸屬概率，歸一化到(0,1)之間，α為兩部分衡量權(quán)重，優(yōu)選地選取0.5。上式可知，目標(biāo)的置信度與邊界框面積成負(fù)比關(guān)系，與歸屬概率則成正比關(guān)系。

根據(jù)公式可以分別對(duì)dobj和tobj分別進(jìn)行價(jià)值的判斷，如果conf(dobj)>conf(tobj)，此時(shí)認(rèn)為檢測(cè)得到的dobj是優(yōu)于tobj，這時(shí)使用dobj的深度信息參數(shù)代替tobj并更新跟蹤器。也就是說，利用上述兩個(gè)約束條件，結(jié)合深度神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)果，得到的目標(biāo)邊界框面積越大或類別歸屬概率越低，越不利于跟蹤算法的處理。反之使用面積小且得分高的目標(biāo)作為跟蹤器的輸入，會(huì)對(duì)復(fù)雜監(jiān)控視頻下的長(zhǎng)時(shí)目標(biāo)跟蹤產(chǎn)生的偏移有很好的抑制和矯正作用。

步驟103，根據(jù)車輛位置信息獲得所述最優(yōu)車輛的前景區(qū)域，識(shí)別所述最優(yōu)車輛的車型。

作為實(shí)施例，對(duì)車輛分成公交車、卡車、小轎車、面包車，已經(jīng)不能滿足實(shí)際要求，這就需要對(duì)車型進(jìn)行更細(xì)的分類。但對(duì)于數(shù)據(jù)集龐大，需要分類的類型較多，傳統(tǒng)通過“特征提取”+“分類器”框架進(jìn)行車輛分類的方式已經(jīng)不能適用。該實(shí)施例使用深度學(xué)習(xí)的方式來進(jìn)行車型分類，選擇caffe作為深度學(xué)習(xí)框架，使用googlenet網(wǎng)絡(luò)模型進(jìn)行分類。

其中，googlenet是2014年比賽冠軍的模型。這個(gè)模型使用了很多的卷積和更深的層次。googlenet模型的基本結(jié)構(gòu)和alexnet模型差不多，不過googlenet模型中間使用了一些inception的結(jié)構(gòu)，如圖3。inception結(jié)構(gòu)在增加特征表達(dá)能力的同時(shí)減少計(jì)算量。這個(gè)網(wǎng)絡(luò)都是以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是有監(jiān)督的，其主要是前向傳播計(jì)算和誤差反向計(jì)算交替進(jìn)行。輸入層把數(shù)據(jù)輸入，然后通過網(wǎng)絡(luò)各層計(jì)算，最后由輸出層得到結(jié)果的過程稱為前向傳播計(jì)算。前向傳播之后，將得到的結(jié)果和預(yù)設(shè)的正確結(jié)果進(jìn)行比對(duì)并計(jì)算誤差損失，接著網(wǎng)絡(luò)將總體誤差傳遞給各層的神經(jīng)元結(jié)點(diǎn)，讓其自己更新自身的權(quán)值，使得整體損失降低，這就是反向傳播。

在具體的實(shí)施過程中，訓(xùn)練網(wǎng)絡(luò)之前，需要準(zhǔn)備訓(xùn)練樣本，并且需要數(shù)量充足。本發(fā)明將監(jiān)控場(chǎng)景下的車輛分成4大類10小類(貨車類(包含卡車(truck)，廂式貨車(van))，巴士類(包含中型巴士(bus)，公交車(publicbus))，小車類(包含面包車(microbus)，小轎車(car)，越野車(suv))，非四輪車類(包含摩托車(motorcycle)，三輪車(tricycle)，自行車(bicycle)))，作為交通場(chǎng)景中重要部分——行人(people)，算法也會(huì)將行人識(shí)別出來，也就是共分成11個(gè)類別(如圖4)。監(jiān)控場(chǎng)景中拍攝的車輛各個(gè)角度都有，為了車型分類模型的魯棒性，必須盡量保證訓(xùn)練集車輛在各個(gè)角度都有，于是按照車頭的大概朝向又將每一類訓(xùn)練集分成六個(gè)小類。分別是正前、正后、左前、左后、右前、右后(如圖5)。我們將獲得的訓(xùn)練集按照類別制作成train_lmdb和val_lmdb。googlenet的研究人員在1000類上做各種實(shí)驗(yàn)，已經(jīng)獲得了一個(gè)很好的模型。為了融合已有模型的有用信息，提高資源的利用率和模型泛化能力，我們采用fine-tune的方法進(jìn)行微調(diào)網(wǎng)絡(luò)。既在已有模型的基礎(chǔ)上，加上本文的數(shù)據(jù)集，同時(shí)調(diào)整caffe的訓(xùn)練參數(shù)，集訓(xùn)訓(xùn)練網(wǎng)絡(luò)模型。當(dāng)?shù)?0000次之后，我們看googlenet模型迭代曲線圖(如圖6)，發(fā)現(xiàn)loss已經(jīng)趨于穩(wěn)定，正確率也趨于穩(wěn)定了，這個(gè)模型就可以用來分類了。

步驟104，對(duì)所述識(shí)別車型的最優(yōu)車輛進(jìn)行跟蹤，矯正所述最優(yōu)車輛的車型。

在具體的實(shí)施過程中，即使采用學(xué)習(xí)能力很強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，也不可能使得車型分類的正確率到達(dá)100％。同一輛車在視頻中會(huì)出現(xiàn)很多幀，每一幀車輛相對(duì)于攝像頭的角度都不一樣，不用保證每一幀都能分類準(zhǔn)確，只需要保證大部分情況下分類準(zhǔn)確就可以了。對(duì)于監(jiān)控場(chǎng)景下，使用跟蹤算法，對(duì)一輛車的車型進(jìn)行投票矯正，提高了監(jiān)控場(chǎng)景下車型分類的準(zhǔn)確度。

利用基于深度學(xué)習(xí)檢測(cè)反饋迭代的最優(yōu)目標(biāo)跟蹤的方法，再結(jié)合車型識(shí)別結(jié)果，然后通過投票的方式選出當(dāng)前幀的車型，從而提高車型識(shí)別整體準(zhǔn)確性。具體過程是當(dāng)通過檢測(cè)算法獲得到一個(gè)目標(biāo)后，再通過跟蹤算法發(fā)現(xiàn)它是一個(gè)新出現(xiàn)的目標(biāo)，那么分配一個(gè)新的id；通過車型分類算法獲得車型信息，第一幀的車型信息就顯示車型識(shí)別算法獲得的信息，并將車型信息保存在跟蹤器中。新來一幀時(shí)，通過跟蹤算法找到同一id的車輛，車型識(shí)別算法給出車型信息，然后統(tǒng)計(jì)此id下的每種車型數(shù)量，選擇數(shù)量最多的車型作為此id車輛的車型顯示出來，如果有多種車型數(shù)量相同，選擇這一幀車型分類算法得出的車型信息作為輸出信息，如此就完成了車型矯正，提高了車型識(shí)別的準(zhǔn)確性。

作為本發(fā)明的另一個(gè)可參考的實(shí)施例，參閱圖7所示，所述面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法包括：

步驟701：基于深度學(xué)習(xí)的ssd目標(biāo)檢測(cè)模型對(duì)車輛進(jìn)行檢測(cè)，獲得車輛位置信息和車輛歸屬概率值。

步驟702：根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，再結(jié)合kcf算法進(jìn)行跟蹤。具體實(shí)施過程包括：

結(jié)合目標(biāo)檢測(cè)算法和跟蹤算法來魯棒地區(qū)分和記錄相關(guān)目標(biāo)需要滿足兩個(gè)約束：

約束1：由檢測(cè)器輸出的目標(biāo)邊界框作為跟蹤器的輸入，邊界框中的車輛面積不變時(shí)，背景像素會(huì)隨著邊界框的面積增加而增加，所以需要盡可能的縮小邊界框的面積。

約束2：在車輛面積不變的條件下，為了增加車輛部位在邊界框中所占比例，需要給定的框位置盡量準(zhǔn)確。

假設(shè)在時(shí)刻t，ssd算法計(jì)算得到檢測(cè)集中某一目標(biāo)dobj及其所在圖像位置框dbox，和所屬概率值dscore，根據(jù)相似性度量公式，我們將之與跟蹤集中的所有目標(biāo)進(jìn)行相似度的計(jì)算。最終得到了最佳匹配tobj，及被估計(jì)位置tbox，和概率值tscore。那么如何使用dobj對(duì)tobj進(jìn)行相關(guān)參數(shù)的更新，為了將問題數(shù)學(xué)化，我們使用如下的目標(biāo)置信度或價(jià)值判別公式：

其中，area表示目標(biāo)obj位置框所占面積，score表示經(jīng)過深度神經(jīng)網(wǎng)絡(luò):計(jì)算得到目標(biāo)obj類別歸屬概率，歸一化到(0,1)之間，α為兩部分衡量權(quán)重，優(yōu)選地選取0.5。

根據(jù)公式可以分別對(duì)dobj和tobj分別進(jìn)行價(jià)值的判斷，如果conf(dobj)>conf(tobj)，此時(shí)認(rèn)為檢測(cè)得到的dobj是優(yōu)于tobj，這時(shí)使用dobj的深度信息參數(shù)代替tobj并更新跟蹤器。

步驟703：根據(jù)目標(biāo)檢測(cè)算法獲得車輛位置信息，然后得到車輛前景區(qū)域，再采用基于深度學(xué)習(xí)的googlenet分類模型對(duì)車型進(jìn)行識(shí)別，獲得車型識(shí)別結(jié)果。步驟704：根據(jù)對(duì)該車輛每一幀的跟蹤，再結(jié)合每一幀的車型識(shí)別結(jié)果，通過投票方式矯正所述車輛的類型。具體實(shí)施過程包括：

當(dāng)通過檢測(cè)算法獲得到一個(gè)目標(biāo)后，通過跟蹤算法發(fā)現(xiàn)它是一個(gè)新出現(xiàn)的目標(biāo)，那么分配一個(gè)新的id；通過車型分類算法獲得車型信息，第一幀的車型信息就顯示車型識(shí)別算法獲得的信息，并將車型信息保存在跟蹤器中。新來一幀時(shí)，通過跟蹤算法找到同一id的車輛，車型識(shí)別算法給出車型信息，然后統(tǒng)計(jì)此id下的每種車型數(shù)量，選擇數(shù)量最多的車型作為此id車輛的車型顯示出來，如果有多種車型數(shù)量相同，選擇這一幀車型分類算法得出的車型信息作為輸出信息。

在本發(fā)明的另一方面，如圖8所示，所述面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正裝置，包括依次連接的獲取單元801、識(shí)別單元802以及矯正單元803。其中，獲取單元801對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，獲得車輛位置信息和歸屬概率值。然后識(shí)別單元802根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，跟蹤所述最優(yōu)車輛。同時(shí)，識(shí)別單元802根據(jù)車輛位置信息獲得所述最優(yōu)車輛的前景區(qū)域，識(shí)別所述最優(yōu)車輛的車型。最后，矯正單元803對(duì)所述識(shí)別車型的最優(yōu)車輛進(jìn)行跟蹤，矯正所述最優(yōu)車輛的車型。

較佳地，獲取單元801采用基于深度學(xué)習(xí)的ssd目標(biāo)檢測(cè)模型來對(duì)監(jiān)控視頻中的車輛進(jìn)行檢測(cè)，其模型作為車輛檢測(cè)的基礎(chǔ)。

更進(jìn)一步地，識(shí)別單元802根據(jù)車輛位置信息和歸屬概率值，評(píng)估并篩選出最優(yōu)車輛，再結(jié)合kcf跟蹤算法進(jìn)行跟蹤。具體實(shí)施過程包括：結(jié)合目標(biāo)檢測(cè)算法和跟蹤算法來魯棒地區(qū)分和記錄相關(guān)目標(biāo)需要滿足兩個(gè)約束：

約束1：由檢測(cè)器輸出的目標(biāo)邊界框作為跟蹤器的輸入，邊界框中的車輛面積不變時(shí)，背景像素會(huì)隨著邊界框的面積增加而增加，所以需要盡可能的縮小邊界框的面積。

約束2：在車輛面積不變的條件下，為了增加車輛部位在邊界框中所占比例，需要給定的框位置盡量準(zhǔn)確。

假設(shè)在時(shí)刻t，ssd算法計(jì)算得到檢測(cè)集中某一目標(biāo)dobj及其所在圖像位置框dbox，和所屬概率值dscore，根據(jù)相似性度量公式，我們將之與跟蹤集中的所有目標(biāo)進(jìn)行相似度的計(jì)算。最終得到了最佳匹配tobj，及被估計(jì)位置tbox，和概率值tscore。那么如何使用dobj對(duì)tobj進(jìn)行相關(guān)參數(shù)的更新，為了將問題數(shù)學(xué)化，我們使用如下的目標(biāo)置信度或價(jià)值判別公式：

其中，area表示目標(biāo)obj位置框所占面積，score表示經(jīng)過深度神經(jīng)網(wǎng)絡(luò)的計(jì)算得到目標(biāo)obj類別歸屬概率，歸一化到(0,1)之間，α為兩部分衡量權(quán)重，我們?nèi)?.5。上式可知，目標(biāo)的置信度與邊界框面積成負(fù)比關(guān)系，與歸屬概率則成正比關(guān)系。

根據(jù)公式可以分別對(duì)dobj和tobj分別進(jìn)行價(jià)值的判斷，如果conf(dobj)>conf(tobj)，此時(shí)認(rèn)為檢測(cè)得到的dobj是優(yōu)于tobj，這時(shí)使用dobj的深度信息參數(shù)代替tobj并更新跟蹤器。

而且，識(shí)別單元802還可以根據(jù)目標(biāo)檢測(cè)算法獲得車輛位置信息，然后得到車輛前景區(qū)域，再采用基于深度學(xué)習(xí)的googlenet分類模型對(duì)車型進(jìn)行識(shí)別，獲得車型識(shí)別結(jié)果。

同時(shí)，矯正單元803利用跟蹤算法跟蹤目標(biāo)，再結(jié)合每一幀的車型識(shí)別結(jié)果，然后通過投票選出當(dāng)前幀的車型，就能提高了車型識(shí)別整體準(zhǔn)確性。具體過程是當(dāng)通過檢測(cè)算法獲得到一個(gè)目標(biāo)后，再通過跟蹤算法發(fā)現(xiàn)它是一個(gè)新出現(xiàn)的目標(biāo)，那么我們就給它分配一個(gè)新的id；通過車型分類算法獲得車型信息，第一幀的車型信息就顯示車型識(shí)別算法獲得的信息，并將車型信息保存在跟蹤器中。新來一幀時(shí)，通過跟蹤算法找到同一id的車輛，車型識(shí)別算法給出車型信息，然后統(tǒng)計(jì)此id下的每種車型數(shù)量，選擇數(shù)量最多的車型作為此id車輛的車型顯示出來，如果有多種車型數(shù)量相同，選擇這一幀車型分類算法得出的車型信息作為輸出信息，如此就完成了車型矯正，提高了車型識(shí)別的準(zhǔn)確性。

從上面的所述面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置，創(chuàng)造性地設(shè)計(jì)并實(shí)現(xiàn)了精確識(shí)別車輛的車型；而且，基于視頻序列的車型識(shí)別，可以用來對(duì)監(jiān)控視頻中的車輛進(jìn)行車型識(shí)別、跟蹤和矯正；并且，本發(fā)明可以對(duì)每一視頻幀的圖像逐個(gè)標(biāo)注出車輛位置的坐標(biāo)，從而構(gòu)建出車輛目標(biāo)檢測(cè)數(shù)據(jù)集，基于vggnet的ssd深度神經(jīng)網(wǎng)絡(luò)模型,在voc2012目標(biāo)檢測(cè)數(shù)據(jù)集上訓(xùn)練的模型，以fine-tune方式訓(xùn)練得到車輛目標(biāo)檢測(cè)模型；而且本發(fā)明結(jié)合上述檢測(cè)結(jié)果和kcf(核相關(guān)濾波)算法，評(píng)估并篩選出最優(yōu)車輛，然后對(duì)所述車輛進(jìn)行跟蹤。更進(jìn)一步地，本發(fā)明可以將檢測(cè)得到的車輛目標(biāo)進(jìn)行分類整理，獲得車型分類數(shù)據(jù)集，將該數(shù)據(jù)集按照1:9的比例分成測(cè)試集與訓(xùn)練集，使用googlenet深度神經(jīng)網(wǎng)絡(luò)，在imagenet分類數(shù)據(jù)集的基礎(chǔ)上fine-tune得到車型分類模型；同時(shí)，利用所獲得的車輛目標(biāo)檢測(cè)模型車輛的檢測(cè)，用基于深度學(xué)習(xí)檢測(cè)反饋迭代的最優(yōu)目標(biāo)跟蹤的方法對(duì)該車輛進(jìn)行跟蹤，再用獲得的車型分類模型進(jìn)行車型識(shí)別，結(jié)合跟蹤和識(shí)別結(jié)果用投票的方式矯正車型，最終在監(jiān)控視頻中顯示得到最終的車型識(shí)別信息；最后，整個(gè)所述的面向監(jiān)控視頻的車型識(shí)別、跟蹤與矯正方法和裝置簡(jiǎn)便、緊湊，易于實(shí)現(xiàn)。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡(jiǎn)明它們沒有在細(xì)節(jié)中提供。

另外，為簡(jiǎn)化說明和討論，并且為了不會(huì)使本發(fā)明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(ic)芯片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發(fā)明難以理解，并且這也考慮了以下事實(shí)，即關(guān)于這些框圖裝置的實(shí)施方式的細(xì)節(jié)是高度取決于將要實(shí)施本發(fā)明的平臺(tái)的(即，這些細(xì)節(jié)應(yīng)當(dāng)完全處于本領(lǐng)域技術(shù)人員的理解范圍內(nèi))。在闡述了具體細(xì)節(jié)(例如，電路)以描述本發(fā)明的示例性實(shí)施例的情況下，對(duì)本領(lǐng)域技術(shù)人員來說顯而易見的是，可以在沒有這些具體細(xì)節(jié)的情況下或者這些具體細(xì)節(jié)有變化的情況下實(shí)施本發(fā)明。因此，這些描述應(yīng)被認(rèn)為是說明性的而不是限制性的。

盡管已經(jīng)結(jié)合了本發(fā)明的具體實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是根據(jù)前面的描述，這些實(shí)施例的很多替換、修改和變型對(duì)本領(lǐng)域普通技術(shù)人員來說將是顯而易見的。例如，其它存儲(chǔ)器架構(gòu)(例如，動(dòng)態(tài)ram(dram))可以使用所討論的實(shí)施例。

本發(fā)明的實(shí)施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。