本發(fā)明涉及人工智能、機(jī)器學(xué)習(xí)、模式識別、視頻檢索、統(tǒng)計(jì)學(xué)等技術(shù)領(lǐng)域，具體是一種車型、車等多種特征綜合的方法在車輛檢索這一智能化監(jiān)控視頻分析技術(shù)中的應(yīng)用。

背景技術(shù)：

隨著交通容量和車輛數(shù)目的大幅增加，各種交通違章和交通肇事頻頻發(fā)生，給交通監(jiān)管部門提出了更高的要求。傳統(tǒng)的人工標(biāo)注和檢索方式已無法滿足現(xiàn)代交通發(fā)展的需要?；诒O(jiān)控網(wǎng)絡(luò)的車輛檢索是采用基于內(nèi)容的圖像檢索技術(shù)從車道卡口快速查找車輛。傳統(tǒng)內(nèi)容檢索方式包括圖像特征提取、分類器學(xué)習(xí)和視覺相似性檢索。采用單一特征進(jìn)行車輛檢索，在返回目標(biāo)結(jié)果的同時(shí)往往會返回大量其他也滿足此檢索要求的結(jié)果。因此車輛檢索技術(shù)一方面需要采用更具體代表性的特征，另一面需要在單一特征檢索的基礎(chǔ)上通過其它的篩選方法，更一步檢索得到用戶所需的結(jié)果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于AutoEncoder和屬性標(biāo)簽的車輛檢索方法，其特征在于，包括步驟：a)采集卡口車輛圖像數(shù)據(jù)庫，通過訓(xùn)練深度AutoEncoder提取車輛的全局視覺特征；b)對所述卡口車輛，訓(xùn)練部件檢測和屬性識別模型，獲得車輛屬性標(biāo)簽；c)提取監(jiān)控系統(tǒng)中的所有卡口圖像，完成車輛檢測后提取車輛全局特征和屬性標(biāo)簽，完成車輛數(shù)據(jù)入庫；d)將待檢索圖像與卡口車輛圖像數(shù)據(jù)庫進(jìn)行相似度匹配：在待檢索圖像輸入到AutoEncoder網(wǎng)絡(luò)中計(jì)算得到車輛特征，將車輛特征與所述卡口車輛圖像數(shù)據(jù)庫中的車輛特征進(jìn)行比較，按相似度排序返回檢索結(jié)果；e)輸入待檢索圖像中的車輛屬性，通過車輛屬性進(jìn)一步對步驟d中的檢索結(jié)果進(jìn)行篩選。

優(yōu)選地，所述步驟a)中訓(xùn)練深度AutoEncoder的方法為：編碼端為三層特征提取部分，解碼端為三層重構(gòu)部分：第一個(gè)編碼層的權(quán)重矩陣和偏移第一個(gè)解碼層的權(quán)重矩陣和偏移第二個(gè)編碼層的權(quán)重矩陣和偏移第二層解碼層的權(quán)重矩陣和偏移第三個(gè)編碼層的權(quán)重矩陣和偏移第三解碼層的權(quán)重矩陣和偏移其目標(biāo)函數(shù)為：

其中為sigmoid函數(shù)。

采用逐層貪婪法訓(xùn)練AutoEncoder。

優(yōu)選地，所述步驟b)中的車輛屬性包括車臉、車窗、車型、車牌底板顏色、車身顏色以及年檢標(biāo)、掛件和擺放物。

優(yōu)選地，所述車輛屬性的車臉檢測方法為：分別使用5萬車臉正樣本和10萬樣本負(fù)樣本，使用ACF(聚合通道特征)作為車臉特征訓(xùn)練Adaboost檢測器。

優(yōu)選地，所述車輛屬性的車窗檢測方法為：分別使用5萬車窗正樣本和10萬樣本負(fù)樣本，并且使用ACF作為車窗特征訓(xùn)練Adaboost檢測器。

優(yōu)選地，所述車輛屬性的車型識別方法為：車型分為轎車、SUV、小型客車、大型客車、小貨車、大貨車、罐車和其它共8種類型，從不同場景和不同氣候條件下的卡口車輛圖像中獲取車臉樣本做為訓(xùn)練樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)做車型識別。

優(yōu)選地，所述車輛屬性的車牌底板顏色識別方法為：車牌底板顏色定義為藍(lán)、黃、白和黑4種，在RGB空間將車牌底板顏色量化為該4種。

優(yōu)選地，所述車輛屬性的車身顏色識別方法為：在HSV顏色空間中將車身顏色量化成粉、紅、橙、黃、棕、綠、青、藍(lán)、紫、白、灰和黑11種后統(tǒng)計(jì)每種顏色的數(shù)量，并計(jì)算出車身的主顏色。

優(yōu)選地，所述車輛屬性的年檢標(biāo)，掛件和擺放庫的檢測方法為：分別使用5萬車窗正樣本和10萬樣本負(fù)樣本，并且使用ACF作為車窗特征訓(xùn)練Adaboost檢測器。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

1、本發(fā)明采用百萬級大數(shù)據(jù)訓(xùn)練深度AutoEncoder神經(jīng)網(wǎng)絡(luò)，得到車輛特征更本質(zhì)的表示，提高了檢索的精度；

2、本發(fā)明采用百萬級大數(shù)據(jù)訓(xùn)練卷積神經(jīng)進(jìn)行車輛的屬性標(biāo)注，采用語義標(biāo)簽對檢索結(jié)果進(jìn)一步篩選，在一定程度上解決了單一視覺特征檢索的語義鴻溝問題。

應(yīng)當(dāng)理解，前述大體的描述和后續(xù)詳盡的描述均為示例性說明和解釋，并不應(yīng)當(dāng)用作對本發(fā)明所要求保護(hù)內(nèi)容的限制。

附圖說明

參考隨附的附圖，本發(fā)明更多的目的、功能和優(yōu)點(diǎn)將通過本發(fā)明實(shí)施方式的如下描述得以闡明，其中：

圖1示出了根據(jù)本發(fā)明的基于AutoEncoder的視覺特征和屬性標(biāo)簽檢索實(shí)施流程圖；

圖2示出了步驟a中訓(xùn)練深度AutoEncoder的方法的示意圖；

圖3示出了基于卷積神經(jīng)網(wǎng)絡(luò)的車臉識別圖像的示意圖；

圖4示出了步驟b中車輛屬性特征獲取的示意圖。

具體實(shí)施方式

通過參考示范性實(shí)施例，本發(fā)明的目的和功能以及用于實(shí)現(xiàn)這些目的和功能的方法將得以闡明。然而，本發(fā)明并不受限于以下所公開的示范性實(shí)施例；可以通過不同形式來對其加以實(shí)現(xiàn)。說明書的實(shí)質(zhì)僅僅是幫助相關(guān)領(lǐng)域技術(shù)人員綜合理解本發(fā)明的具體細(xì)節(jié)。

在下文中，將參考附圖描述本發(fā)明的實(shí)施例。在附圖中，相同的附圖標(biāo)記代表相同或類似的部件，或者相同或類似的步驟。

如圖1所示，為根據(jù)本發(fā)明的基于AutoEncoder的視覺特征和屬性標(biāo)簽的實(shí)施流程圖，包括步驟：

步驟110：獲取卡口車輛圖像數(shù)據(jù)庫，通過訓(xùn)練深度AutoEncoder提取車輛的全局視覺特征；構(gòu)建深度AutoEncoder網(wǎng)絡(luò)，通過人工標(biāo)注和檢測追蹤算法獲取包括不同場景和不同氣候條件的卡口車輛圖像，采用誤差反饋傳播算法訓(xùn)練。用大數(shù)據(jù)訓(xùn)練深度AutoEncoder進(jìn)行車輛特征提取。

訓(xùn)練深度AutoEncoder提取車輛視覺特征。采用百萬圖像樣本做為訓(xùn)練樣本；通過人工標(biāo)注和檢測追蹤算法獲取百萬張目標(biāo)圖像，包括不同場景和不同氣候條件的卡口車輛圖像。構(gòu)造深度AutoEncoder的結(jié)構(gòu)如圖2，其中編碼端encoder為三層特征提取部分，解碼端decoder為三層重構(gòu)部分。第一個(gè)編碼層的權(quán)重矩陣和偏移第一個(gè)解碼層的權(quán)重矩陣和偏移第二個(gè)編碼層的權(quán)重矩陣和偏移第二層解碼層的權(quán)重矩陣和偏移第三個(gè)編碼層的權(quán)重矩陣和偏移第三解碼層的權(quán)重矩陣和偏移其目標(biāo)函數(shù)為：

其中為sigmoid函數(shù)。

采用逐層貪婪法訓(xùn)練AutoEncoder。

步驟120：定義車輛的屬性特征，采用基于視覺信息的檢測和識別方法，對車輛的屬性進(jìn)行語義標(biāo)注；采集卡口車輛圖像集訓(xùn)練車輛部件檢測和屬性識別模型。

圖4示出了步驟120中車輛屬性特征獲取的示意圖；車輛的屬性標(biāo)注包括車臉檢測、車窗檢測、車型識別、車牌底色識別、車身顏色識別、車標(biāo)檢測、掛件檢測、車牌檢測、擺放物和年檢標(biāo)數(shù)量計(jì)算。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，車窗檢測包括年檢標(biāo)、掛件、擺放物檢測等；車臉檢測包括車牌、車臉主色判斷和車臉識別，其中車牌檢測包括車牌底色檢測，車臉識別能夠識別大型客車。具體的檢測方法為：

車臉檢測：分別使用5萬車臉正樣本和10萬樣本負(fù)樣本，使用ACF(聚合通道特征)作為車臉特征訓(xùn)練Adaboost檢測器。

其中通過車臉圖像訓(xùn)練車型識別模型。圖3示出了基于卷積神經(jīng)網(wǎng)絡(luò)的車臉識別圖像的示意圖；在構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車臉識別，整個(gè)卷積神經(jīng)網(wǎng)絡(luò)包含3個(gè)卷積層(C₁,C₂,C₃)與2個(gè)池化層(S₁,S₂)，一層全連接層f₁，最后加一層softmax回歸分類器層f₂。3個(gè)卷積層的濾波器大小均為5×5像素；特征圖個(gè)數(shù)依次為30，60，40；池化大小為2×2，最后輸出8個(gè)車輛類型。訓(xùn)練該網(wǎng)絡(luò)的數(shù)據(jù)庫為從卡口攝像頭獲取，經(jīng)過人工標(biāo)注百萬張車臉數(shù)據(jù)庫，取其中20％作為驗(yàn)證集，使用mxnet框架訓(xùn)練得到。

車窗檢測：分別使用5萬車窗正樣本和10萬樣本負(fù)樣本，并且使用ACF作為車窗特征訓(xùn)練Adaboost檢測器。

車型標(biāo)注：車型分為轎車、SUV、小型客車、大型客車、小貨車、大貨車、罐車和其它共8種類型。從不同場景和不同氣候條件下的卡口車輛圖像中獲取車臉樣本做為訓(xùn)練樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)做車型識別。

車牌底板顏色標(biāo)注：車牌底板顏色定義為藍(lán)、黃、白和黑4種，在RGB空間將車牌底板顏色量化為該4種。

車身顏色標(biāo)注：在HSV顏色空間中將車身顏色量化成粉、紅、橙、黃、棕、綠、青、藍(lán)、紫、白、灰和黑11種后統(tǒng)計(jì)每種顏色的數(shù)量，并計(jì)算出車身的主顏色。

年檢標(biāo)，掛件和擺放庫的檢測：分別使用5萬車窗正樣本和10萬樣本負(fù)樣本，并且使用ACF作為車窗特征訓(xùn)練Adaboost檢測器。

步驟130：提取監(jiān)控系統(tǒng)中的所有卡口的待檢索圖像，完成車輛的特征提??；該步驟為卡口數(shù)據(jù)的入庫處：將所有監(jiān)控系統(tǒng)內(nèi)的所有卡口圖像通過Adaboost方法檢測到車輛，采用AutoEncoder特征提取特征保存，同時(shí)得到步驟120中的屬性標(biāo)注方法獲取車輛的屬性，將屬性標(biāo)簽保存。

步驟140：將待檢索圖像與卡口車輛圖像數(shù)據(jù)庫進(jìn)行相似度匹配：在待檢索圖像中截取檢索車輛目標(biāo)，輸入到AutoEncoder網(wǎng)絡(luò)中計(jì)算得到車輛特征，將車輛特征與所述卡口車輛圖像數(shù)據(jù)庫中的車輛特征進(jìn)行比較，按相似度排序返回檢索結(jié)果；

采用屬性特征的標(biāo)簽對車輛進(jìn)行匹配和篩選方法，是步驟1深度AutoEncoder特征做匹配后，得到候選目標(biāo)。

步驟150：；輸入待檢索圖像中的車輛屬性，通過車輛屬性進(jìn)一步對步驟140中的檢索結(jié)果進(jìn)行篩選。通過用戶輸入待檢索目標(biāo)的語義信息(年檢標(biāo)的個(gè)數(shù)、擺件的有無、識別車牌底板顏色等)從候選目標(biāo)篩選具有輸入的屬性特征的目標(biāo)返回給用戶。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

1，本發(fā)明采用百萬級大數(shù)據(jù)訓(xùn)練深度AutoEncoder神經(jīng)網(wǎng)絡(luò)，得到車輛特征更本質(zhì)的表示，提高了基于單一視覺特征檢索的精度；

2，本發(fā)明采用百萬級大數(shù)據(jù)訓(xùn)練卷積神經(jīng)進(jìn)行車輛的屬性標(biāo)注，采用語義標(biāo)簽對檢索結(jié)果進(jìn)一步篩選，在一定程度上解決了單一視覺特征檢索的語義鴻溝問題。

結(jié)合這里披露的本發(fā)明的說明和實(shí)踐，本發(fā)明的其他實(shí)施例對于本領(lǐng)域技術(shù)人員都是易于想到和理解的。說明和實(shí)施例僅被認(rèn)為是示例性的，本發(fā)明的真正范圍和主旨均由權(quán)利要求所限定。