本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域,尤其涉及一種車輛類型識(shí)別方法及系統(tǒng)。
背景技術(shù):
伴隨我國國民經(jīng)濟(jì)的快速發(fā)展,企業(yè)用車、居民購車數(shù)量隨之越來越多,有效的分析車輛類型信息已成為必然。車輛類型識(shí)別技術(shù)能夠?yàn)槌鞘熊囕v管理與相關(guān)政策的制定、國民經(jīng)濟(jì)發(fā)展統(tǒng)計(jì)等提供有力的數(shù)據(jù)支撐?;趫D像處理的車輛類型識(shí)別技術(shù)是智能交通系統(tǒng)(Intelligent Transport System,簡稱ITS)中的一項(xiàng)非常重要的技術(shù),同樣在計(jì)算機(jī)視覺應(yīng)用領(lǐng)域中占有重要地位。這門技術(shù)能夠?qū)μ囟ǖ能囕v進(jìn)行分析及識(shí)別,以應(yīng)用到處理交通事故、車輛的監(jiān)控管理、違章駕駛等方面。
在實(shí)現(xiàn)本發(fā)明過程中,發(fā)明人發(fā)現(xiàn)現(xiàn)有相關(guān)技術(shù)中至少存在如下問題:
現(xiàn)有的車輛類型識(shí)別技術(shù)中,主要集中于對(duì)車輛類型進(jìn)行分步識(shí)別,比如首先對(duì)車輛款式進(jìn)行分類,比如分類為大型、中型及小型三類,或者轎車、貨車、客車三類;然后依據(jù)車輛品牌類別及年款進(jìn)行分類,比如大眾、寶馬、奧迪,依據(jù)這些識(shí)別結(jié)果得出車輛的整體類型信息,比如大眾帕薩特2007款,這種車輛類型識(shí)別方法操作復(fù)雜,計(jì)算量大,耗時(shí)較長,耗資較高。另外,目前車輛款式的識(shí)別方法需要保證車輛整體輪廓的清晰度以便檢測車輛的實(shí)際尺寸大小,因此該方法較難實(shí)現(xiàn)。
另外對(duì)于現(xiàn)有的車輛類型識(shí)別技術(shù),其中多數(shù)應(yīng)用到了傳統(tǒng)的特征提取方法,比如梯度方向直方圖、局部二值模式紋理,在分析判別時(shí)大多采用了支持向量機(jī)(Support Vector Machine,簡稱SVM)方法。這些方法的使用具有局限性,比如在清晰場景下這些方法都有較高的識(shí)別率,但是在模糊場景下,比如因天氣變化、光線變化所引起的圖像模糊、夜間場景等場景下往往識(shí)別率較低;另外一般選取車輛的正面圖像(車頭、車尾)進(jìn)行品牌識(shí)別,由于車輛外觀表觀形式復(fù)雜,因此對(duì)所檢測的車輛與攝像機(jī)的拍攝距離、拍攝角度有著嚴(yán)格的要求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種車輛類型識(shí)別的方法及系統(tǒng),用以解決現(xiàn)有技術(shù)問題中的至少一個(gè)。
第一方面,本發(fā)明實(shí)施例提供一種車輛類型識(shí)別方法,包括:
基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
第二方面,本發(fā)明實(shí)施例提供一種車輛類型識(shí)別系統(tǒng),包括:
分類模塊,用于基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
訓(xùn)練模塊,用于基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
提取模塊,用于利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
識(shí)別模塊,用于利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
第三方面,本發(fā)明實(shí)施例還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行本發(fā)明上述任一項(xiàng)車輛類型識(shí)別方法。
第四方面,本發(fā)明實(shí)施例還提供了一種電子設(shè)備,包括:至少一個(gè)處理器;以及存儲(chǔ)器;其中,所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的程序,所述指令被所述至少一個(gè)處理器執(zhí)行,以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明上述任一項(xiàng)車輛類型識(shí)別方法。
本發(fā)明實(shí)施例所提供的方法及系統(tǒng),較之現(xiàn)有技術(shù)能夠提高車輛類型識(shí)別的準(zhǔn)確率。依據(jù)車輛特有的品牌、款式信息對(duì)車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類處理,至少通過深度卷積神經(jīng)網(wǎng)絡(luò)提取各類別對(duì)應(yīng)的特征碼建立特征碼/類別/車輛圖像的關(guān)系庫;通過訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取車輛圖像的特征碼進(jìn)行車輛類別識(shí)別。所示方法及系統(tǒng)所使用的深度卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的抗干擾性,識(shí)別角度范圍較之現(xiàn)有技術(shù)較大,使用范圍較廣,錯(cuò)誤率較小。所示方法及系統(tǒng)能夠大幅度提高智能交通管理系統(tǒng)的車輛識(shí)別管理效率,尤其是對(duì)復(fù)雜路段運(yùn)動(dòng)的車輛具有較好的類別識(shí)別效果,具有廣闊的應(yīng)用前景。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一個(gè)簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例的一種車輛類型識(shí)別方法的流程圖;
圖2為本發(fā)明實(shí)施例的一種可選的的車輛類型識(shí)別方法的流程圖;
圖3為本發(fā)明實(shí)施例的另一種可選的車輛類型識(shí)別方法的流程圖;
圖4為本發(fā)明實(shí)施例的又一種可選的車輛類型識(shí)別方法的流程圖;
圖5為本發(fā)明實(shí)施例的一種車輛類型識(shí)別系統(tǒng)的結(jié)構(gòu)示意圖;
圖6為本發(fā)明實(shí)施例的車輛類型識(shí)別的電子設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
參見圖1示出的是本發(fā)明實(shí)施例的一種車輛類型識(shí)別方法,包括:
S110:基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
S120:基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
S130:利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
S140:利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
需要說明的是,本發(fā)明實(shí)施例中所提供的車頭圖像樣本集是一定角度范圍內(nèi)能夠看到車頭的車輛圖像組成的集合;車尾圖像樣本集一定角度范圍內(nèi)能夠看到車尾的車輛圖像組成的集合。
本發(fā)明實(shí)施例所提供的方法分為兩個(gè)部分,包括訓(xùn)練階段以及測試階段。訓(xùn)練階段為至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)提取車輛圖像的樣本特征碼的訓(xùn)練,并生成特征碼/類別/車輛圖像的關(guān)系庫;檢測階段為至少對(duì)所訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)提取特征碼以及所生成的特征碼/類別/車輛圖像的關(guān)系庫的一個(gè)檢測驗(yàn)證。本發(fā)明實(shí)施例所提供的方法可以應(yīng)用于多個(gè)場景,比如偵查案件中,較之現(xiàn)有技術(shù)能夠高準(zhǔn)確率的判斷出作案車輛的類別,包括車輛品牌、車輛款式信息,從而針對(duì)性的進(jìn)行車輛監(jiān)測布控,提高案件突破效率,這對(duì)打擊涉車違法犯罪行為具有顯著效果;比如車輛的行車記錄儀,通過記錄的視頻圖像可以協(xié)助交警快速判斷出肇事車輛類別信息,高效處理交通案件,維護(hù)道路交通秩序;比如車輛追蹤,可以依據(jù)車輛特有的類別信息快速準(zhǔn)確地定位所追蹤的目標(biāo)車輛,達(dá)到追蹤車輛的目的。
參見圖2示出的是本發(fā)明實(shí)施例的另一個(gè)可選實(shí)施例,其具體實(shí)施過程包括:
S110':基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
S120':基于多個(gè)類別的多張車輛圖像對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
S121':基于多個(gè)類別的多張車輛圖像對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)以及分類器進(jìn)行訓(xùn)練;
S130':利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
S131':利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征;
S140':將提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征導(dǎo)入訓(xùn)練后的分類器進(jìn)行概率識(shí)別;
S141':將概率值小于預(yù)定概率閾值的第二數(shù)量的待識(shí)別的車輛圖像作為待提取特征碼的待識(shí)別的車輛圖像;
S142':利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
所示實(shí)施例中,在圖1所示方法中利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別車輛圖像的特征碼之前還包括分類器的訓(xùn)練和識(shí)別過程,步驟S110'可參見圖1的步驟S110的描述,步驟S142'可參見圖1的步驟S140的描述,在此不再贅述。此時(shí)對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括對(duì)各類別車輛圖像的品牌、款式特征的提取訓(xùn)練以及車輛圖像的特征碼的提取訓(xùn)練;對(duì)分類器的訓(xùn)練為對(duì)各類別下的車輛圖像的品牌、款式特征的概率識(shí)別的訓(xùn)練。在訓(xùn)練之前還包括對(duì)各類別下的車輛圖像進(jìn)行預(yù)處理操作(比如歸一化、隨機(jī)裁剪),以使各個(gè)類別下的車輛圖像像素、數(shù)量達(dá)到均衡。
進(jìn)一步的,對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)的訓(xùn)練可以通過多種方式,比如迭代訓(xùn)練。通過選取各類別下的部分車輛圖像樣本進(jìn)行提取品牌和款式特征訓(xùn)練或提取特征碼訓(xùn)練,以得到初步訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò);然后利用初步訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所有類別下的所有車輛圖像的樣本進(jìn)行迭代訓(xùn)練(比如批量梯度下降算法),最終使得各網(wǎng)絡(luò)層中的參數(shù)能夠描述訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。各個(gè)類別的車輛圖像均有獨(dú)立的品牌及款式(比如年款)特征,比如對(duì)于車輛類別信息的特征碼,預(yù)先選取的品牌有300個(gè),設(shè)定大眾品牌特征碼為001,大眾品牌下的帕薩特特征碼為001001,年款為2001設(shè)定相應(yīng)的特征碼為2001,那么大眾帕薩特2007款的特征碼即為0010012001,還可以選擇進(jìn)一步的角度分類,以車頭為基準(zhǔn),角度順時(shí)針旋轉(zhuǎn)的特征碼為01,角度逆時(shí)針旋轉(zhuǎn)的特征碼為02。同樣對(duì)于深度卷積神經(jīng)網(wǎng)絡(luò)提取車輛品牌、款式特征訓(xùn)練,比如對(duì)于已分類的大眾帕薩特2007款,可以得出其車輛品牌為大眾帕薩特,年款信息為2007。
進(jìn)一步的,預(yù)先設(shè)定分類器識(shí)別的概率閾值。使用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取第一數(shù)量的待識(shí)別的車輛圖像的品牌及款式特征之后利用訓(xùn)練后的分類器對(duì)其進(jìn)行類別概率識(shí)別,此時(shí)的所選用的分類器類型不限,比如貝葉斯分類器,該分類器是各種分類器中分類錯(cuò)誤概率較小或者平均風(fēng)險(xiǎn)較小的分類器。通過分類器初步識(shí)別到的概率可以有多個(gè),最終選取概率值最大的作為最終的輸出結(jié)果。當(dāng)該識(shí)別到的最終概率值大于設(shè)定的概率閾值時(shí),則將該概率值對(duì)應(yīng)的車輛的品牌及款式類別確定為待識(shí)別的車輛圖像的類別信息;當(dāng)該識(shí)別到的最終概率值小于設(shè)定的概率閾值時(shí),則將識(shí)別概率值小于預(yù)定概率值的第二數(shù)量的待識(shí)別車輛圖像作為待識(shí)別的車輛圖像。之后利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取器特征碼,并基于特征碼/類別/車輛圖像的關(guān)系庫確定待識(shí)別的車輛圖像的類別信息。
更進(jìn)一步的,預(yù)先設(shè)定的概率值可以是多種,比如可以是80%,而經(jīng)分類器識(shí)別到的概率值為75%,小于預(yù)定概率值,則不采用分類器所識(shí)別到的車輛類別信息;比如可以是100%,此時(shí)不需采用分類器所識(shí)別到的車輛類別信息判別結(jié)果,直接使用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別車輛圖像的特征碼來判別其類別信息。
再進(jìn)一步的,利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取各個(gè)類別下的車輛圖像的特征碼,所得的特征碼能準(zhǔn)確反映出各類別下車輛圖像的品牌、款式、車頭或車尾特征,每個(gè)類別下可以有多個(gè)特征碼?;谔卣鞔a、車輛的類別及對(duì)應(yīng)的車輛圖片可以構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫,該關(guān)系庫可以是存儲(chǔ)于服務(wù)器中的關(guān)系表格。
參見圖3示出的是本發(fā)明實(shí)施例的另一個(gè)可選實(shí)施例,對(duì)于圖1所示方法中在步驟S110以及圖2所示方法中的步驟S110'之前還包括車輛圖像樣本集的選取,具體實(shí)施過程包括:
S101:提取多張車輛圖像的圖像特征,基于圖像特征生成車輛角度特征,選取車輛的角度特征符合預(yù)定角度范圍的車輛圖像組成車輛圖像集;
S102:對(duì)車輛圖像集進(jìn)行車頭及車尾判別分類,得到車頭圖像樣本集以及車尾圖像樣本集。
所示實(shí)施例中,車輛圖像主要包括靜態(tài)圖像以及動(dòng)態(tài)圖像,其中靜態(tài)圖像主要是指單幅圖像(比如車輛電子圖像),可結(jié)合滑窗特性檢測與車窗定位的方法將車輛圖像定位檢測出來;動(dòng)態(tài)圖像主要是指視頻圖像,可依據(jù)多模型高斯判別的前景檢測算法對(duì)視頻中行駛的車輛進(jìn)行檢測,以獲取車輛圖像。
所示實(shí)施例中,預(yù)先建立車輛圖像的樣本集,樣本集中的車輛圖像的角度有一定的預(yù)設(shè)范圍。通過提取車輛的圖像特征獲取車輛行駛角度并判斷該角度是否在預(yù)設(shè)范圍之內(nèi),所示圖像特征包括局部二值模型(Local Binary Patterns,LBP)特征和方向梯度直方圖(Histogram of Oriented Gradient,HOG))特征。本發(fā)明實(shí)施例中的預(yù)定角度范圍為:以車頭和/或車尾為0°基準(zhǔn)的[-45°,45°]的角度范圍。依據(jù)所獲取的車輛的LBP特征確定車輛的車頭和/或車尾,以車頭和/或車尾為基準(zhǔn),確定貫穿車頭車尾的中心軸線方向,以此軸線及預(yù)定角度范圍確定車輛最大角度的行駛路線;接著依據(jù)獲取的HOG特征確定車輛的行駛軌跡,并判斷車輛的行駛路線是否位于在車輛最大角度值的行駛路線范圍內(nèi),若在預(yù)定行駛范圍內(nèi),則將該車輛圖像歸至車輛圖像的樣本集中;否則不作處理。
進(jìn)一步的,依據(jù)獲取的LBP特征確定車輛的車頭和/或車尾,對(duì)車輛圖像集進(jìn)行車頭及車尾判別分類,得到車頭圖像樣本集以及車尾圖像樣本集。然后基于分類算法對(duì)車頭圖像樣本集以及車尾圖像樣本集進(jìn)行品牌及款式分類,比如決策樹(Decision Tree),得到多個(gè)類別(比如大眾帕薩特2007款車頭)的多張車輛圖像,各個(gè)類別中又包含有多張車輛圖像。決策樹能夠在短時(shí)間內(nèi)對(duì)大數(shù)量的車輛圖像進(jìn)行可行且效果良好的分類,體現(xiàn)車輛圖像的特征。
所示實(shí)施例中,所識(shí)別的車輛角度有一定的范圍,因此在對(duì)待識(shí)別的車輛圖像進(jìn)行類別識(shí)別之前會(huì)首先檢測該車輛圖像的角度是否在預(yù)設(shè)的可識(shí)別的角度范圍之內(nèi)。若待識(shí)別的車輛圖像角度在預(yù)定角度范圍內(nèi),則利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別車輛圖像的品牌和款式特征,導(dǎo)入訓(xùn)練后的分類器進(jìn)行概率識(shí)別,和/或利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼;否則不做處理。
參見圖4示出的是本發(fā)明實(shí)施例的又一個(gè)可選實(shí)施例,對(duì)于圖1所示方法中的步驟S140以及圖2所示方法中的步驟S142'的具體實(shí)施過程還包括:
S1401:計(jì)算待識(shí)別車輛圖像的特征碼與特征碼/類別/車輛圖像的關(guān)系庫中各特征碼的相似度,獲取相似度大于預(yù)定相似度閾值的特征碼及相應(yīng)的車輛圖像的樣本;
S1402:按照相似度從大到小的順序,從具有最大相似度的特征碼開始順序選取至少部分特征碼及相應(yīng)的車輛圖像的樣本;
S1403:對(duì)所選取的車輛圖像的樣本的類別進(jìn)行投票,選取數(shù)量最多的類別以確定待識(shí)別車輛的類別。
所示實(shí)施例中,利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)別的車輛類別特征碼進(jìn)行提取后,會(huì)與已建立的特征碼/類別/車輛圖像的關(guān)系庫中各特征碼進(jìn)行比較計(jì)算得到相應(yīng)的相似度值(相似的概率值)。同一品牌下有多種款式,不同品牌下的車輛款式可能存有類似的情況,比如別克GL8與本田奧德賽,因此可能會(huì)得到多個(gè)相似度值。為減少不必要的計(jì)算提高確定車輛類別效率,可以預(yù)先設(shè)定特征碼相似度閾值(比如60%),只需對(duì)相似度高于預(yù)定相似度閾值的特征碼及相應(yīng)的車輛圖像的樣本進(jìn)行分析處理即可。
進(jìn)一步的,相似度代表待識(shí)別車輛圖像類別與各類別的車輛圖像的樣本的相似關(guān)系,但相似度較高的特征碼所對(duì)應(yīng)的車輛類別不一定代表待識(shí)別車輛的類別特征,比如大眾帕薩特2015款與2016款。本發(fā)明選擇將獲取的相似度高于預(yù)定相似度閾值的多個(gè)特征碼及相應(yīng)的車輛圖像的樣本按照相似度值從大到小順序進(jìn)行排列,從具有最大相似度的特征碼開始順序選取至少部分特征碼及相應(yīng)的車輛圖像的樣本,按照類別進(jìn)行投票并選取數(shù)量最多的類別,基于所選取的類別確定待識(shí)別車輛的類別。比如得到相似度大于預(yù)定相似度閾值的特征碼及相應(yīng)的車輛圖像的樣本共有100個(gè),對(duì)其按照相似度值從大到小進(jìn)行排序后,選取前50個(gè)相似度值較高的車輛圖像的樣本進(jìn)行類別投票,得到兩個(gè)類別,其對(duì)應(yīng)的車輛圖像的樣本數(shù)量分別為24個(gè)、26個(gè),則選定車輛圖像的樣本數(shù)量為26個(gè)的車輛類別為待識(shí)別車輛的類別。
更進(jìn)一步的,對(duì)待識(shí)別車輛圖像類型的確定主要依據(jù)所得到的車輛圖像的樣本數(shù)量,當(dāng)樣本數(shù)量最多的類別只有一個(gè)時(shí),則將其類別確定為待識(shí)別車輛圖像的類別;若樣本數(shù)量最多的類別數(shù)量為多個(gè)時(shí),比如兩個(gè),則進(jìn)一步的比較各類別中所包含的特征碼相似度的平均值,選取平均值最高的類別為待識(shí)別車輛的類別特征。比如對(duì)所選取的前50個(gè)相似度值較高的車輛圖像的樣本進(jìn)行類別投票得到兩個(gè)類別,數(shù)量均為25個(gè),此時(shí)需對(duì)其所包含的相似度值進(jìn)行求平均操作,最終得到一個(gè)類別的平均相似度值為88%,另一個(gè)為92%,則確定平均相似度值為92%的車輛類別為待識(shí)別車輛的類別。
所示實(shí)施例中,還可以預(yù)先建立車輛類別與車輛類型的車輛信息字典,車輛類型可以為多類,比如轎車、貨車、客車。在確定車輛類別信息后,還可以通過車輛信息字典查詢到與所確定的車輛類別信息相對(duì)應(yīng)的車輛類型信息,比如識(shí)別到車輛類別為大眾帕薩特2015款,依據(jù)此車輛信息字典,查詢到該車輛類型為轎車,則最終得到關(guān)于待識(shí)別車輛的信息為:大眾帕薩特2015款轎車。
本發(fā)明實(shí)施例所提供的方法,依據(jù)車輛的品牌、款式對(duì)車頭圖像樣本及車尾圖像樣本集進(jìn)行分類,至少利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)各類別的車輛圖像特征信息進(jìn)行提取,確定車輛類別信息。所示方法所使用的深度卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的抗干擾性,識(shí)別角度范圍較大,較之現(xiàn)有技術(shù)使用范圍廣。所示方法具有選擇性,可以選擇基于特征碼識(shí)別車輛類型,也可以基于車輛的品牌、款式特征識(shí)別車輛類型,最終使得識(shí)別到的車輛類型具有較高的準(zhǔn)確率:當(dāng)分類器識(shí)別到的概率值小于設(shè)定的概率閾值時(shí),則通過提取車輛圖像的特征碼識(shí)別車輛的類別;否則,則將分類器所判別的車輛類別確定為待識(shí)別車輛的類別。所示方法能夠大幅度提高智能交通管理系統(tǒng)的車輛識(shí)別管理效率,尤其是復(fù)雜路段行駛的車輛有較好的識(shí)別效果,準(zhǔn)確率高,具有廣闊的應(yīng)用效果。
參見圖5示出的是本發(fā)明實(shí)施例的一種車輛類型識(shí)別系統(tǒng),包括:
分類模塊,用于基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
訓(xùn)練模塊,用于基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
提取模塊,用于利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
識(shí)別模塊,用于利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
一種可選實(shí)施例中,訓(xùn)練模塊還用于:基于多個(gè)類別的多張車輛圖像訓(xùn)練分類器;
提取模塊還用于:利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征;
識(shí)別模塊還用于:將提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征導(dǎo)入訓(xùn)練后的分類器進(jìn)行概率識(shí)別;將概率值小于預(yù)定概率閾值的第二數(shù)量的待識(shí)別的車輛圖像作為待提取特征碼的待識(shí)別的車輛圖像。
一種可選實(shí)施例中,所示系統(tǒng)還包括選取模塊,用于:
提取多張車輛圖像的圖像特征,基于所述圖像特征生成車輛角度特征,選取車輛的角度特征符合預(yù)定角度范圍的車輛圖像組成車輛圖像集;
對(duì)車輛圖像集進(jìn)行車頭及車尾判別分類,得到車頭圖像樣本集以及車尾圖像樣本集。
一種可選實(shí)施例中,利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼中的待識(shí)別的車輛圖像為在預(yù)定角度范圍內(nèi)的待識(shí)別的車輛圖像。
一種可選實(shí)施例中,識(shí)別模塊用于:
計(jì)算待識(shí)別車輛圖像的特征碼與特征碼/類別/車輛圖像的關(guān)系庫中各特征碼的相似度,獲取相似度大于預(yù)定相似度閾值的特征碼及相應(yīng)的車輛圖像的樣本;
按照相似度從大到小的順序,從具有最大相似度的特征碼開始順序選取至少部分特征碼及相應(yīng)的車輛圖像的樣本;
對(duì)所選取的車輛圖像的樣本的類別進(jìn)行投票,選取數(shù)量最多的類別以確定待識(shí)別車輛的類別。
本發(fā)明實(shí)施例所提供的系統(tǒng),依據(jù)車輛的品牌、款式對(duì)車頭圖像樣本及車尾圖像樣本集進(jìn)行分類,至少利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)各類別的車輛圖像類別信息進(jìn)行提取,確定車輛類別信息。所示系統(tǒng)所使用的深度卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的抗干擾性,識(shí)別角度范圍較大,較之現(xiàn)有技術(shù)使用范圍廣。所示系統(tǒng)具有選擇性,可以選擇基于特征碼識(shí)別車輛類型,也可以基于車輛的品牌、款式特征識(shí)別車輛類型,最終使得識(shí)別到的車輛類型具有較高的準(zhǔn)確率:當(dāng)分類器識(shí)別到的概率值小于設(shè)定的概率閾值時(shí),則通過提取車輛圖像的特征碼識(shí)別車輛的類別;否則,則將分類器所判別的車輛類別確定為待識(shí)別車輛的類別。所示系統(tǒng)能夠大幅度提高智能交通管理系統(tǒng)的車輛識(shí)別管理效率,尤其是復(fù)雜路段行駛的車輛有較好的識(shí)別效果,準(zhǔn)確率高,具有廣闊的應(yīng)用效果。
本發(fā)明實(shí)施例提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì),所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,該計(jì)算機(jī)可執(zhí)行指令可執(zhí)行上述任意方法實(shí)施例中的車輛類型識(shí)別方法;
作為一種實(shí)施方式,本發(fā)明的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為:
基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
作為一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),可用于存儲(chǔ)非易失性軟件程序、非易失性計(jì)算機(jī)可執(zhí)行程序以及模塊,如本發(fā)明實(shí)施例中的存儲(chǔ)優(yōu)化方法對(duì)應(yīng)的程序指令/模塊(例如,附圖5所示的分類模塊、訓(xùn)練模塊、提取模塊以及識(shí)別模塊)。所述一個(gè)或者多個(gè)模塊存儲(chǔ)在所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,當(dāng)被處理器執(zhí)行時(shí),執(zhí)行上述任意方法實(shí)施例中的存儲(chǔ)器的車輛類型識(shí)別的方法。
非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū),其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需要的應(yīng)用程序;存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)存儲(chǔ)器的存儲(chǔ)優(yōu)化裝置的使用所創(chuàng)建的數(shù)據(jù)等。此外,非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤存儲(chǔ)器件、閃存器件、或其他非易失性固態(tài)存儲(chǔ)器件。
圖6是本發(fā)明實(shí)施例提供的車輛類型識(shí)別的電子設(shè)備的結(jié)構(gòu)示意圖,如圖6所示,該設(shè)備包括:
一個(gè)或多個(gè)處理器810以及存儲(chǔ)器820,圖6中以一個(gè)處理器810為例。
圖6所示的電子設(shè)備還包括輸入裝置以及輸出裝置,處理器810、存儲(chǔ)器820、輸入裝置830、輸出裝置840可以通過總線或者其他方式連接,圖6中以通過總線連接為例。
存儲(chǔ)器820為上述的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。處理器810通過運(yùn)行存儲(chǔ)在存儲(chǔ)器820中的非易失性軟件程序、指令以及模塊,從而執(zhí)行服務(wù)器的各種功能應(yīng)用以及數(shù)據(jù)處理,即實(shí)現(xiàn)上述方法實(shí)施例存儲(chǔ)器的車輛類型識(shí)別方法。
輸入裝置830為多張車輛圖片或待識(shí)別車輛圖片的輸入。輸出裝置840可包括顯示屏等顯示設(shè)備。
所述一個(gè)或者多個(gè)模塊存儲(chǔ)在上述存儲(chǔ)器820中,當(dāng)被上述一個(gè)或者多個(gè)處理器810執(zhí)行時(shí),執(zhí)行上述任意方法實(shí)施例中的車輛類型識(shí)別方法。
上述產(chǎn)品可執(zhí)行本發(fā)明實(shí)施例所提供的方法,具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。未在本實(shí)施例中詳盡描述的技術(shù)細(xì)節(jié),可參見本發(fā)明實(shí)施例所提供的方法。
作為一種實(shí)施方式,上述電子設(shè)備包括:
至少一個(gè)處理器;以及,
用于存儲(chǔ)至少一個(gè)處理器可執(zhí)行的操作指令的存儲(chǔ)器;其中,
存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令,所示指令被所述至少一個(gè)處理器執(zhí)行,以使所述至少一個(gè)處理器能夠:
基于車輛品牌和款式,將車頭圖像樣本集及車尾圖像樣本集進(jìn)行分類,得到多個(gè)類別的多張車輛圖像,其中每一個(gè)類別表示車輛的品牌、款式、車頭或車尾的組合;
基于多個(gè)類別的多張車輛圖像至少對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)至少提取各個(gè)類別下的多張車輛圖像的特征碼,構(gòu)建特征碼/類別/車輛圖像的關(guān)系庫;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別的車輛圖像的特征碼,參照特征碼/類別/車輛圖像的關(guān)系庫,確定車輛的類別信息,識(shí)別車輛的品牌和款式。
一種可選電子設(shè)備,處理器配置以:
基于多個(gè)類別的多張車輛圖像訓(xùn)練分類器;
利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征;
將提取的第一數(shù)量的待識(shí)別的車輛圖像的品牌和款式特征導(dǎo)入訓(xùn)練后的分類器進(jìn)行概率識(shí)別;
將概率值小于預(yù)定概率閾值的第二數(shù)量的待識(shí)別的車輛圖像作為待提取特征碼的待識(shí)別的車輛圖像。
本發(fā)明實(shí)施例的電子設(shè)備以多種形式存在,包括但不限于:
(1)移動(dòng)通信設(shè)備:這類設(shè)備的特點(diǎn)是具備移動(dòng)通信功能,并且以提供話音、數(shù)據(jù)通信為主要目標(biāo)。這類終端包括:智能手機(jī)(例如iPhone)、多媒體手機(jī)等。
(2)超移動(dòng)個(gè)人計(jì)算機(jī)設(shè)備:這類設(shè)備屬于個(gè)人計(jì)算機(jī)的范疇,有計(jì)算和處理功能,一般也具備移動(dòng)上網(wǎng)特性。這類終端包括:PDA、MID和UMPC設(shè)備等。
(3)便攜式娛樂設(shè)備:這類設(shè)備可以顯示和播放多媒體內(nèi)容。該類設(shè)備包括:便攜式車載導(dǎo)航設(shè)備等。
(4)服務(wù)器:提供計(jì)算服務(wù)的設(shè)備,服務(wù)器的構(gòu)成包括處理器、硬盤、內(nèi)存、系統(tǒng)總線等,服務(wù)器和通用的計(jì)算機(jī)架構(gòu)類似,但是由于需要提供高可靠的服務(wù),因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性、可管理性等方面要求較高。
(5)其他具有數(shù)據(jù)交互功能的電子裝置。
以上所描述的裝置實(shí)施例僅僅是示意性的,其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下,即可以理解并實(shí)施。
通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn),當(dāng)然也可以通過硬件?;谶@樣的理解,上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,如ROM/RAM、磁碟、光盤等,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。