本發(fā)明實(shí)施例涉及智能交通領(lǐng)域，尤其涉及一種基于卡口數(shù)據(jù)的以圖搜圖方法和裝置。

背景技術(shù)：

隨著城市的快速發(fā)展和進(jìn)步，城市安全也越來越受到關(guān)注。在進(jìn)行視頻偵查、套牌車查找、嫌疑車搜索時(shí)，需要根據(jù)目標(biāo)車輛的圖片從卡口數(shù)據(jù)庫中找出同一車輛的圖片。傳統(tǒng)的卡口車輛檢索系統(tǒng)只能根據(jù)車牌信息、車輛顏色、車型、品牌年代款信息進(jìn)行部分條件查詢或組合條件查詢。而現(xiàn)有的車輛數(shù)量多，車輛顏色、車型、品牌年代款信息出現(xiàn)重復(fù)的幾率大，當(dāng)車牌信息缺失時(shí)無法快速精確地搜索到目標(biāo)車輛，導(dǎo)致根據(jù)目標(biāo)車輛圖像從卡口數(shù)據(jù)庫中查找相似車輛圖像的精度低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種基于卡口數(shù)據(jù)的以圖搜圖方法和裝置，用于解決傳統(tǒng)卡口車輛檢索系統(tǒng)根據(jù)車輛目標(biāo)車輛圖像從卡口數(shù)據(jù)庫中查找相似車輛圖像精度低的問題。

本發(fā)明實(shí)施例提供了一種基于卡口數(shù)據(jù)的以圖搜圖方法，包括：

獲取目標(biāo)車輛圖像中的車身區(qū)域；

從所述目標(biāo)車輛圖像中的車身區(qū)域中提取所述目標(biāo)車輛圖像的特征信息，所述特征信息包括所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與所述目標(biāo)車輛圖像相似的圖像，所述特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。

可選地，所述獲取目標(biāo)車輛圖像中的車身區(qū)域之前，還包括：

獲取所述卡口數(shù)據(jù)庫中的設(shè)定數(shù)量的圖像作為訓(xùn)練圖像并確定所述訓(xùn)練圖像中的車身區(qū)域；

從所述訓(xùn)練圖像中的車身區(qū)域中提取所述訓(xùn)練圖像的特征點(diǎn)；

對所述訓(xùn)練圖像的特征點(diǎn)進(jìn)行聚類，并將每類特征點(diǎn)確定為視覺字典中的一個(gè)字，所述視覺字典中每個(gè)字對應(yīng)一個(gè)字編號；

將所述字以及所述字編號保存至所述視覺字典中。

可選地，所述根據(jù)所述卡口數(shù)據(jù)庫中的圖像確定特征數(shù)據(jù)庫，包括:

獲取所述卡口數(shù)據(jù)庫中的所有圖像作為樣本圖像并確定所述樣本圖像的車身區(qū)域；

從所述樣本圖像中的車身區(qū)域中提取所述樣本圖像的特征信息，所述特征信息包括所述樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置；

將所述樣本圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述樣本圖像的特征點(diǎn)的字編號；

將所述樣本圖像的特征點(diǎn)的字編號以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置保存至所述特征數(shù)據(jù)庫中。

可選地，所述根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置從特征數(shù)據(jù)庫中確定與所述目標(biāo)車輛圖像相似的圖像，包括：

將所述目標(biāo)車輛圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述目標(biāo)車輛圖像的特征點(diǎn)的字編號；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)的字編號從所述特征數(shù)據(jù)庫中篩選出與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)；

將所述特征數(shù)據(jù)庫中與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)對應(yīng)的圖像作為對比圖像；

根據(jù)所述目標(biāo)車輛圖像的視覺單詞編號和所述對比圖像的視覺單詞編號確定所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)，所述視覺單詞編號是根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定的；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度；

將所述相似度符合設(shè)定閾值的對比圖像確定為與所述目標(biāo)車輛圖像相似的圖像。

可選地，所述根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定視覺單詞編號符合下述公式(1)：

M＝W_id+Tw×(P_id+T_p×(D_id+T_d×S_id))………………………………(1)

其中，M為視覺單詞編號，W_id為視覺字典中的字編號，Tw為視覺字典中字的總數(shù)，P_id為相對位置的編號，T_p為相對位置的總數(shù)，D_id為主方向的編號，T_d為主方向的總數(shù)，S_id為尺度的編號。

所述根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度符合下述公式(2)：

其中，F(xiàn)(A,B)為目標(biāo)車輛圖像和對比圖像的相似度，P(A∩B)為目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)的個(gè)數(shù)，P(A)為目標(biāo)車輛圖像的特征點(diǎn)的個(gè)數(shù)，P(B)為對比圖像的特征點(diǎn)的個(gè)數(shù)。

相應(yīng)地，本發(fā)明實(shí)施例還提供了一種基于卡口數(shù)據(jù)的以圖搜圖裝置，包括：

獲取模塊，用于獲取目標(biāo)車輛圖像中的車身區(qū)域；

特征提取模塊，用于從所述目標(biāo)車輛圖像中的車身區(qū)域中提取所述目標(biāo)車輛圖像的特征信息，所述特征信息包括所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置；

處理模塊，用于根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與所述目標(biāo)車輛圖像相似的圖像，所述特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。

可選地，所述獲取模塊還用于:

獲取所述卡口數(shù)據(jù)庫中的設(shè)定數(shù)量的圖像作為訓(xùn)練圖像并確定所述訓(xùn)練圖像中的車身區(qū)域；

從所述訓(xùn)練圖像中的車身區(qū)域中提取所述訓(xùn)練圖像的特征點(diǎn)；

對所述訓(xùn)練圖像的特征點(diǎn)進(jìn)行聚類，并將每類特征點(diǎn)確定為視覺字典中的一個(gè)字，所述視覺字典中每個(gè)字對應(yīng)一個(gè)字編號；

將所述字以及所述字編號保存至所述視覺字典中。

可選地，所述處理模塊具體用于:

獲取所述卡口數(shù)據(jù)庫中的所有圖像作為樣本圖像并確定所述樣本圖像的車身區(qū)域；

從所述樣本圖像中的車身區(qū)域中提取所述樣本圖像的特征信息，所述特征信息包括所述樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置；

將所述樣本圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述樣本圖像的特征點(diǎn)的字編號；

將所述樣本圖像的特征點(diǎn)的字編號以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置保存至所述特征數(shù)據(jù)庫中。

可選地，所述處理模塊具體用于:

將所述目標(biāo)車輛圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述目標(biāo)車輛圖像的特征點(diǎn)的字編號；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)的字編號從所述特征數(shù)據(jù)庫中篩選出與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)；

將所述特征數(shù)據(jù)庫中與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)對應(yīng)的圖像作為對比圖像；

根據(jù)所述目標(biāo)車輛圖像的視覺單詞編號和所述對比圖像的視覺單詞編號確定所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)，所述視覺單詞編號是根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定的；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度；

將所述相似度符合設(shè)定閾值的對比圖像確定為與所述目標(biāo)車輛圖像相似的圖像。

可選地，所述處理模塊具體用于:

所述根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定視覺單詞編號符合下述公式(1)：

M＝W_id+Tw×(P_id+T_p×(D_id+T_d×S_id))………………………………(1)

其中，M為視覺單詞編號，W_id為視覺字典中的字編號，Tw為視覺字典中字的總數(shù)，P_id為相對位置的編號，T_p為相對位置的總數(shù)，D_id為主方向的編號，T_d為主方向的總數(shù)，S_id為尺度的編號。

所述根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度符合下述公式(2)：

其中，F(xiàn)(A,B)為目標(biāo)車輛圖像和對比圖像的相似度，P(A∩B)為目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)的個(gè)數(shù)，P(A)為目標(biāo)車輛圖像的特征點(diǎn)的個(gè)數(shù)，P(B)為對比圖像的特征點(diǎn)的個(gè)數(shù)。

本發(fā)明實(shí)施例表明，獲取目標(biāo)車輛圖像中的車身區(qū)域，接著從所述目標(biāo)車輛圖像中的車身區(qū)域中提取所述目標(biāo)車輛圖像的特征信息，所述特征信息包括所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置。然后根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與所述目標(biāo)車輛圖像相似的圖像，所述特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。本發(fā)明實(shí)施例中，通過提取目標(biāo)車輛圖像的多個(gè)特征點(diǎn)以及特征點(diǎn)的相關(guān)信息，并根據(jù)提取的特征點(diǎn)及特征點(diǎn)相關(guān)信息從卡口數(shù)據(jù)庫中查找出相似圖像，而不是依靠車輛本身的車牌信息、車輛顏色、車型、品牌等固有信息，故在車輛的車牌信息、顏色、車型、品牌出現(xiàn)重復(fù)或車牌信息缺失時(shí)，仍可以從卡口數(shù)據(jù)庫中找出相似圖像，提高了從卡口數(shù)據(jù)庫中查找相似車輛圖像的精度。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于卡口數(shù)據(jù)的以圖搜圖方法的流程示意圖；

圖2為本發(fā)明實(shí)施例提供的一種圖像的主方向劃分的示意圖；

圖3為本發(fā)明實(shí)施例提供的一種圖像的相對位置劃分的示意圖；

圖4為本發(fā)明實(shí)施例提供的另一種基于卡口數(shù)據(jù)的以圖搜圖方法的流程示意圖；

圖5為本發(fā)明實(shí)施例提供的一種基于卡口數(shù)據(jù)的以圖搜圖裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例中卡口即為道路交通治安卡口監(jiān)控系統(tǒng)，該監(jiān)控系統(tǒng)采用先進(jìn)的光電、計(jì)算機(jī)、圖像處理、模式識別、遠(yuǎn)程數(shù)據(jù)訪問等技術(shù)，對監(jiān)控路段的機(jī)動(dòng)車道、非機(jī)動(dòng)車道進(jìn)行全天候?qū)崟r(shí)監(jiān)控并記錄相關(guān)圖像數(shù)據(jù)，圖像數(shù)據(jù)包括車輛的通過時(shí)間、地點(diǎn)、行駛方向、車牌號碼、車牌顏色、車身顏色等信息，并將獲取到的信息通過計(jì)算機(jī)網(wǎng)絡(luò)傳輸?shù)娇谙到y(tǒng)控制中心的數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢、比對等處理。

本發(fā)明實(shí)施例中以圖搜圖即通過輸入含有目標(biāo)車輛的圖片從卡口數(shù)據(jù)庫中檢索出包含同一車輛的圖片的一種技術(shù)。該技術(shù)涉及了計(jì)算機(jī)視覺、圖像處理、模式識別、數(shù)據(jù)庫管理、信息檢索等諸多學(xué)科。

基于上述描述，圖1示例性示出了本發(fā)明實(shí)施例提供的一種基于卡口數(shù)據(jù)的以圖搜圖方法的流程，該流程可以由基于卡口數(shù)據(jù)的以圖搜圖裝置執(zhí)行。

如圖1所示，該流程的具體步驟包括：

步驟S101，獲取目標(biāo)車輛圖像中的車身區(qū)域。

步驟S102，從目標(biāo)車輛圖像中的車身區(qū)域中提取目標(biāo)車輛圖像的特征信息。

步驟S103，根據(jù)目標(biāo)車輛圖像的特征點(diǎn)以及目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與目標(biāo)車輛圖像相似的圖像。

具體地，在步驟S101中，獲取目標(biāo)車輛圖像中的車身區(qū)域之前，先需離線訓(xùn)練視覺字典，訓(xùn)練視覺字典的具體過程如下：

獲取卡口數(shù)據(jù)庫中的設(shè)定數(shù)量的圖像作為訓(xùn)練圖像并確定訓(xùn)練圖像中的車身區(qū)域。接著從訓(xùn)練圖像中的車身區(qū)域中提取訓(xùn)練圖像的特征點(diǎn)。然后對訓(xùn)練圖像的特征點(diǎn)進(jìn)行聚類，并將每類特征點(diǎn)確定為視覺字典中的一個(gè)字，視覺字典中每個(gè)字對應(yīng)一個(gè)字編號，最后將字以及字編號保存至視覺字典中。具體實(shí)施中，卡口數(shù)據(jù)庫中的圖像是指各卡口實(shí)時(shí)采集并上傳的含有車輛的圖像。在對訓(xùn)練圖像進(jìn)行特征信息提取之前，先通過人工扣取的方式確定訓(xùn)練圖像中的車身區(qū)域。其中提取的訓(xùn)練圖像的特征點(diǎn)是訓(xùn)練圖像的車身區(qū)域的局部特征的特征點(diǎn)，局部特征可以是尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform，簡稱SIFT)特征，也可以是稠密尺度不變特征轉(zhuǎn)換(Dense Scale-invariant feature transform，簡稱DCSift)特征，其中一個(gè)SIFT特征通常為128維，DCSift特征通常為216維。具體實(shí)施中，在訓(xùn)練視覺字典之前首先需指定視覺字典的大小，視覺字典的大小即視覺字典中包含的字的個(gè)數(shù)，具體數(shù)值可以根據(jù)實(shí)際情況確定，比如可以取800或1000。設(shè)定本發(fā)明實(shí)施例中視覺字典的大小指定為1000，然后采用K均值聚類算法或其他聚類算法將提取的所有訓(xùn)練圖像的特征點(diǎn)進(jìn)行聚類，聚類總數(shù)為1000，聚類后每類特征點(diǎn)對應(yīng)視覺字典中的一個(gè)字，視覺字典中每個(gè)字對應(yīng)一個(gè)字編號，記為W_id，視覺字典中字的總數(shù)簡記為Tw。最后將所述1000個(gè)字以及對應(yīng)的字編號保存至視覺字典中。

在步驟S101中，獲取目標(biāo)車輛圖像后，需要使用精確的車身檢測算法對目標(biāo)車輛進(jìn)行定位，確定目標(biāo)車輛圖像中的車身區(qū)域。具體實(shí)施中可以采用基于積分通道特征和級聯(lián)提升(Cascade boosting)的車身檢測算法。該車身檢測算法提取了圖像四個(gè)通道的特征，四個(gè)通道包括：顏色通道特征和梯度幅值特征。該車身檢測算法在模型訓(xùn)練方面，模型采用Cascade boosting結(jié)構(gòu)，通過級聯(lián)多個(gè)迭代算法分類器實(shí)現(xiàn)強(qiáng)大的分類功能，級聯(lián)分類器的每一層是一個(gè)迭代算法分類器，一個(gè)迭代算法分類器由多個(gè)弱分類器組成。通過多個(gè)迭代算法分類器選出最具有區(qū)分度的特征存入模型，實(shí)現(xiàn)最佳分類性能。該車身檢測算法在定位車身區(qū)域時(shí)，采用多尺度滑動(dòng)窗口掃描策略，然后進(jìn)行檢測區(qū)域信息融合。

在步驟S102中，特征信息包括目標(biāo)車輛圖像的特征點(diǎn)以及目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置。需要說明的是，本發(fā)明實(shí)施例中提取的目標(biāo)車輛圖像的特征與訓(xùn)練視覺字典時(shí)提取的訓(xùn)練圖像的特征相同。比如訓(xùn)練視覺字典時(shí)提取的訓(xùn)練圖像的特征為SIFT特征，那么提取的目標(biāo)車輛圖像的特征也是SIFT特征。本發(fā)明實(shí)施例中除了提取目標(biāo)車輛圖像中的車身區(qū)域的特征點(diǎn)之外，還提取了特征點(diǎn)的尺度、主方向和相對位置。具體提取了目標(biāo)車輛圖像中的特征點(diǎn)的兩個(gè)尺度，總的尺度數(shù)簡計(jì)為Ts，當(dāng)前特征點(diǎn)對應(yīng)的編號為S_id，較大尺度的特征點(diǎn)編號記為1，較小尺度的特征點(diǎn)編號記為0。目標(biāo)車輛圖像中的特征點(diǎn)的主方向總共分為12個(gè)方向，主方向的總數(shù)簡計(jì)為T_d，各個(gè)主方向的劃分如圖2所示，對圖2中的12個(gè)方向使用數(shù)字0～11進(jìn)行編號，當(dāng)前特征點(diǎn)的主方向?qū)?yīng)的編號為D_id，D_id的取值為0～11之間的整數(shù)。目標(biāo)車輛圖像中的特征點(diǎn)的相對位置總共分為9個(gè)位置，相對位置的總數(shù)簡計(jì)為T_p，各個(gè)相對位置的劃分如圖3所示，對圖3中9個(gè)相對位置使用數(shù)字0～8進(jìn)行編號，當(dāng)前特征點(diǎn)的主方向?qū)?yīng)的編號為P_id，P_id的取值為0～8之間的整數(shù)。

在步驟S103中，特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。確定特征數(shù)據(jù)庫的過程具體如下：

獲取卡口數(shù)據(jù)庫中的圖像作為樣本圖像并確定樣本圖像的車身區(qū)域。接著從樣本圖像中的車身區(qū)域中提取樣本圖像的特征信息，特征信息包括樣本圖像的特征點(diǎn)以及樣本圖像的特征點(diǎn)的尺度、主方向和相對位置。然后將樣本圖像的特征點(diǎn)映射到視覺字典中的字并確定樣本圖像的特征點(diǎn)的字編號，將樣本圖像的特征點(diǎn)的字編號以及樣本圖像的特征點(diǎn)的尺度、主方向和相對位置保存至特征數(shù)據(jù)庫中。

在具體實(shí)施中，由于各個(gè)卡口實(shí)時(shí)采集并上傳含有車輛的圖像至卡口數(shù)據(jù)庫，所以卡口數(shù)據(jù)庫中的圖像在不斷增加。本發(fā)明實(shí)施中獲取卡口數(shù)據(jù)庫中每一張圖像作為樣本圖像。為了實(shí)現(xiàn)根據(jù)目標(biāo)車輛圖像的特征點(diǎn)以及目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置從特征數(shù)據(jù)庫中確定與目標(biāo)車輛圖像相似的圖像，在建立特征數(shù)據(jù)庫時(shí)提取的樣本圖像的特征需與提取的目標(biāo)車輛圖像的特征相同，比如建立特征數(shù)據(jù)庫時(shí)提取的樣本圖像的特征為SIFT特征，那么提取的目標(biāo)車輛圖像的特征也必須是SIFT特征。同樣的，特征點(diǎn)的尺度、主方向和相對位置在提取時(shí)也需要采用相同的方式。比如樣本圖像和目標(biāo)車輛圖像的特征點(diǎn)的尺度劃分、主方向劃分以及相對位置劃分需一致。將樣本圖像的特征點(diǎn)映射到視覺字典中的字，這樣每張樣本圖像中的車身區(qū)域映射成多個(gè)字的集合，之后可根據(jù)視覺字典中的字編號確定每張樣本圖像的特征點(diǎn)對應(yīng)的字編號，將所有樣本圖像的特征點(diǎn)以及特征點(diǎn)對應(yīng)的字編號組成特征數(shù)據(jù)庫，最后將所有樣本圖像的特征點(diǎn)的尺度、主方向和相對位置保存至特征數(shù)據(jù)庫中。

可選地，根據(jù)目標(biāo)車輛圖像的特征點(diǎn)以及目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與目標(biāo)車輛圖像相似的圖像，具體過程為：

將目標(biāo)車輛圖像的特征點(diǎn)映射到視覺字典中的字并確定目標(biāo)車輛圖像的特征點(diǎn)的字編號，根據(jù)目標(biāo)車輛圖像的特征點(diǎn)的字編號從特征數(shù)據(jù)庫中篩選出與目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)。然后將特征數(shù)據(jù)庫中與目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)對應(yīng)的圖像作為對比圖像。根據(jù)目標(biāo)車輛圖像的視覺單詞編號和對比圖像的視覺單詞編號確定目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)，視覺單詞編號是根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定的。然后根據(jù)目標(biāo)車輛圖像的特征點(diǎn)、對比圖像的特征點(diǎn)以及目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)確定目標(biāo)車輛圖像和對比圖像的相似度。最后將相似度符合設(shè)定閾值的對比圖像確定為與目標(biāo)車輛圖像相似的圖像。

具體實(shí)施中，提取目標(biāo)車輛圖像的特征點(diǎn)之后，將提取的目標(biāo)車輛圖像的特征點(diǎn)映射到視覺字典中的字，這樣目標(biāo)車輛圖像中的車身區(qū)域映射成多個(gè)字的集合，之后根據(jù)視覺字典確定目標(biāo)車輛圖像的特征點(diǎn)對應(yīng)的字編號。接著從特征數(shù)據(jù)庫中查詢出與目標(biāo)車輛圖像的特征點(diǎn)對應(yīng)的字編號相同的特征點(diǎn)，將字編號相同的特征點(diǎn)確定為相同特征點(diǎn)，最后將與目標(biāo)車輛圖像含有相同特征點(diǎn)的樣本圖像確定為對比圖像。

具體地，對比圖像與目標(biāo)車輛圖像比較的過程為：首先根據(jù)目標(biāo)車輛圖像的視覺單詞編號和對比圖像的視覺單詞編號確定目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)，其中視覺單詞編號是根據(jù)字、特征點(diǎn)的尺度、主方向和相對位置確定的，具體符合下述公式(1)：

M＝W_id+Tw×(P_id+T_p×(D_id+T_d×S_id))………………………………(1)

其中M為視覺單詞編號，W_id為視覺字典中字的編號，Tw為視覺字典中字的總數(shù)，P_id為相對位置的編號，T_p為相對位置的總數(shù)，D_id為主方向的編號，T_d為主方向的總數(shù)，S_id為尺度的編號。

接著根據(jù)目標(biāo)車輛圖像的特征點(diǎn)、對比圖像的特征點(diǎn)以及目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)確定目標(biāo)車輛圖像和對比圖像的相似度，具體符合下述公式(2)：

其中，F(xiàn)(A,B)為目標(biāo)車輛圖像和對比圖像的相似度，P(A∩B)為目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)的個(gè)數(shù)，P(A)為目標(biāo)車輛圖像的特征點(diǎn)的個(gè)數(shù)，P(B)為對比圖像的特征點(diǎn)的個(gè)數(shù)。

最后將相似度符合設(shè)定閾值的對比圖像確定為與目標(biāo)車輛圖像相似的圖像，設(shè)定閾值根據(jù)具體情況設(shè)定。

本發(fā)明實(shí)施例中，在對目標(biāo)車輛圖像和樣本圖像進(jìn)行特征提取時(shí)，除了提取特征點(diǎn)之外還提取了特征點(diǎn)的尺度、主方向和相對位置，優(yōu)化了特征提取算法。同時(shí)在將目標(biāo)車輛圖像和對比圖像進(jìn)行對比時(shí)，除比較特征點(diǎn)之外，還對特征點(diǎn)的尺度、主方向和相對位置進(jìn)行了比較，從而提高了從卡口數(shù)據(jù)庫中查找相似車輛圖像的精度。另外本發(fā)明實(shí)施例中訓(xùn)練視覺字典并將目標(biāo)車輛圖像和樣本圖像的特征點(diǎn)映射到視覺字典中的字編號之后，利用視覺字典中的字編號從特征數(shù)據(jù)庫中篩選出與目標(biāo)車輛圖像對應(yīng)的對比圖像，故在從卡口數(shù)據(jù)庫中搜索與目標(biāo)車輛圖像相似的圖像時(shí)，只需將篩選出的對比圖像與目標(biāo)車輛圖像進(jìn)行比較，而不需要將卡口數(shù)據(jù)庫中所有圖像與目標(biāo)車輛圖像進(jìn)行比較，從而加快大規(guī)模圖像檢索的速度。

為了更好的解釋本發(fā)明實(shí)施例，下面通過具體的實(shí)施場景描述本發(fā)明實(shí)施例提供的一種基于卡口數(shù)據(jù)的以圖搜圖方法的流程。

如圖4所示，該方法包括以下步驟：

步驟S401，離線訓(xùn)練視覺字典。

步驟S402，獲取卡口圖像庫中每張圖像作為樣本圖像并確實(shí)樣本圖像的車身區(qū)域。

步驟S403，提取樣本圖像車身區(qū)域內(nèi)的特征點(diǎn)及特征點(diǎn)的尺度、主方向和相對位置。

步驟S404，將樣本圖像特征點(diǎn)映射到視覺字典中對應(yīng)的字編號。

步驟S405，將樣本圖像特征點(diǎn)對應(yīng)的字編號以及特征點(diǎn)的尺度、主方向和相對位置組成特征數(shù)據(jù)庫。

步驟S406，獲取目標(biāo)車輛圖像并定位目標(biāo)車輛圖像中的車身區(qū)域。

步驟S407，提取目標(biāo)車輛圖像的車身區(qū)域的特征點(diǎn)及特征點(diǎn)的尺度、主方向和相對位置。

步驟S408，將目標(biāo)車輛圖像的特征點(diǎn)映射到視覺字典中對應(yīng)的字編號。

步驟S409，從特征數(shù)據(jù)庫中篩選出與目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)。

步驟S410，根據(jù)字編號將與目標(biāo)車輛圖像包含相同特征點(diǎn)的樣本圖像作為對比圖像。

步驟S411，將目標(biāo)車輛圖像與對比圖像進(jìn)行比較確定目標(biāo)車輛圖像與對比圖像的相似度。

步驟S412，根據(jù)相似度確定與目標(biāo)車輛圖像相似的對比圖像。

從上述內(nèi)容可以看出，本發(fā)明實(shí)施例提供一種基于卡口數(shù)據(jù)的以圖搜圖方法和裝置，包括：獲取目標(biāo)車輛圖像中的車身區(qū)域，接著從所述目標(biāo)車輛圖像中的車身區(qū)域中提取所述目標(biāo)車輛圖像的特征信息，所述特征信息包括所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置。然后根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與所述目標(biāo)車輛圖像相似的圖像，所述特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。本發(fā)明實(shí)施例中，通過提取目標(biāo)車輛圖像的多個(gè)特征點(diǎn)以及特征點(diǎn)的相關(guān)信息，并根據(jù)提取的特征點(diǎn)及特征點(diǎn)相關(guān)信息從卡口數(shù)據(jù)庫中查找出相似圖像，而不是依靠車輛本身的車牌信息、車輛顏色、車型、品牌等固有信息，故在車輛的車牌信息、顏色、車型、品牌出現(xiàn)重復(fù)或車牌信息缺失時(shí)，仍可以從卡口數(shù)據(jù)庫中找出相似圖像，提高了從卡口數(shù)據(jù)庫中查找相似車輛圖像的精度。

基于相同構(gòu)思，圖5示例性的示出了本發(fā)明實(shí)施例提供的一種基于卡口數(shù)據(jù)的以圖搜圖裝置的結(jié)構(gòu)，該裝置可以執(zhí)行基于卡口數(shù)據(jù)的以圖搜圖的流程。

如圖5所示，該裝置包括：

獲取模塊501，用于獲取目標(biāo)車輛圖像中的車身區(qū)域；

特征提取模塊502，用于從所述目標(biāo)車輛圖像中的車身區(qū)域中提取所述目標(biāo)車輛圖像的特征信息，所述特征信息包括所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置；

處理模塊503，用于根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像的特征點(diǎn)的尺度、主方向和相對位置查詢特征數(shù)據(jù)庫中存儲(chǔ)的樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置，確定與所述目標(biāo)車輛圖像相似的圖像，所述特征數(shù)據(jù)庫是根據(jù)卡口數(shù)據(jù)庫中的圖像確定的。

可選地，所述獲取模塊501還用于:

獲取所述卡口數(shù)據(jù)庫中的設(shè)定數(shù)量的圖像作為訓(xùn)練圖像并確定所述訓(xùn)練圖像中的車身區(qū)域；

從所述訓(xùn)練圖像中的車身區(qū)域中提取所述訓(xùn)練圖像的特征點(diǎn)；

對所述訓(xùn)練圖像的特征點(diǎn)進(jìn)行聚類，并將每類特征點(diǎn)確定為視覺字典中的一個(gè)字，所述視覺字典中每個(gè)字對應(yīng)一個(gè)字編號；

將所述字以及所述字編號保存至所述視覺字典中。

可選地，所述處理模塊503具體用于:

獲取所述卡口數(shù)據(jù)庫中的所有圖像作為樣本圖像并確定所述樣本圖像的車身區(qū)域；

從所述樣本圖像中的車身區(qū)域中提取所述樣本圖像的特征信息，所述特征信息包括所述樣本圖像的特征點(diǎn)以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置；

將所述樣本圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述樣本圖像的特征點(diǎn)的字編號；

將所述樣本圖像的特征點(diǎn)的字編號以及所述樣本圖像的特征點(diǎn)的尺度、主方向和相對位置保存至所述特征數(shù)據(jù)庫中。

可選地，所述處理模塊503具體用于:

將所述目標(biāo)車輛圖像的特征點(diǎn)映射到所述視覺字典中的字并確定所述目標(biāo)車輛圖像的特征點(diǎn)的字編號；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)的字編號從所述特征數(shù)據(jù)庫中篩選出與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)；

將所述特征數(shù)據(jù)庫中與所述目標(biāo)車輛圖像的特征點(diǎn)的字編號相同的特征點(diǎn)對應(yīng)的圖像作為對比圖像；

根據(jù)所述目標(biāo)車輛圖像的視覺單詞編號和所述對比圖像的視覺單詞編號確定所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)，所述視覺單詞編號是根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定的；

根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度；

將所述相似度符合設(shè)定閾值的對比圖像確定為與所述目標(biāo)車輛圖像相似的圖像。

可選地，所述處理模塊503具體用于:

所述根據(jù)字編號、特征點(diǎn)的尺度、主方向和相對位置確定視覺單詞編號符合下述公式(1)：

M＝W_id+Tw×(P_id+T_p×(D_id+T_d×S_id))………………………………(1)

其中，M為視覺單詞編號，W_id為視覺字典中的字編號，Tw為視覺字典中字的總數(shù)，P_id為相對位置的編號，T_p為相對位置的總數(shù)，D_id為主方向的編號，T_d為主方向的總數(shù)，S_id為尺度的編號。

所述根據(jù)所述目標(biāo)車輛圖像的特征點(diǎn)、所述對比圖像的特征點(diǎn)以及所述目標(biāo)車輛圖像和所述對比圖像的匹配特征點(diǎn)確定所述目標(biāo)車輛圖像和所述對比圖像的相似度符合下述公式(2)：

其中，F(xiàn)(A,B)為目標(biāo)車輛圖像和對比圖像的相似度，P(A∩B)為目標(biāo)車輛圖像和對比圖像的匹配特征點(diǎn)的個(gè)數(shù)，P(A)為目標(biāo)車輛圖像的特征點(diǎn)的個(gè)數(shù)，P(B)為對比圖像的特征點(diǎn)的個(gè)數(shù)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。