一種基于雙分辨率的特征量化方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于雙分辨率的特征量化方法及系統(tǒng)，相關(guān)方法包括：對(duì)圖像中的局部視覺特征進(jìn)行降維處理；對(duì)降維后的局部視覺特征每一維分別進(jìn)行量化處理；其中，將每一維局部視覺特征量化處理時(shí)的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨率量化函數(shù)；基于粗分辨率量化函數(shù)進(jìn)行級(jí)聯(lián)標(biāo)量量化，再基于細(xì)分辨率量化函數(shù)對(duì)級(jí)聯(lián)標(biāo)量量化結(jié)果進(jìn)行細(xì)分辨率量化獲得對(duì)應(yīng)的位置比特向量。通過采用本發(fā)明公開的方法，可以進(jìn)行高效、可擴(kuò)展的局部視覺特征匹配，并解決視覺單詞碼本的訓(xùn)練以及矢量量化中存在的開銷與誤差問題。
【專利說明】一種基于雙分辨率的特征量化方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視覺檢索【技術(shù)領(lǐng)域】，尤其涉及一種基于雙分辨率的特征量化方法及系 統(tǒng)。

【背景技術(shù)】
[0002] 在圖像檢索領(lǐng)域，如何可靠而高效地進(jìn)行圖像之間的相似性度量是一個(gè)至關(guān) 重要的問題。現(xiàn)有的技術(shù)通常使用局部視覺特征，如SIFT(ScaleInvariantFeature Transform，尺度不變特征轉(zhuǎn)換特征），作為圖像的特征描述，并將局部視覺特征之間的匹配 程度作為衡量圖像之間相似性的標(biāo)準(zhǔn)。
[0003] 由于每張圖像中都可能存在上千局部視覺特征，窮舉比較圖像之間局部視覺特征 的匹配程度會(huì)產(chǎn)生極大的計(jì)算開銷，同時(shí)完整存儲(chǔ)所有數(shù)據(jù)庫圖像的特征所產(chǎn)生的存儲(chǔ) 開銷也是不可接受的。為了解決這一問題，現(xiàn)有技術(shù)通常由大量局部視覺特征訓(xùn)練出視 覺單詞碼本，并將數(shù)據(jù)庫圖像中的特征量化到訓(xùn)練得到的碼本中，構(gòu)建倒排索引表，以縮 小搜索空間。另外為了保存特征的原始信息，一些算法利用數(shù)據(jù)壓縮方法，如PQ(Pr〇duct Quantization，乘積量化），對(duì)原始特征進(jìn)行壓縮表示，或通過二值簽名對(duì)原始特征進(jìn)行近 似表示以加速特征之間的比較。
[0004] 然而，上述解決方案仍然存在很多不足。首先，視覺單詞碼本的離線訓(xùn)練需要大量 資源。例如為了為128維的SIFT特征訓(xùn)練有一百萬視覺單詞的碼本，通常需要數(shù)千萬個(gè)訓(xùn) 練樣本，并在運(yùn)行時(shí)產(chǎn)生大量的內(nèi)存開銷。其次，使用傳統(tǒng)的特征矢量量化方法，如k-means 聚類及其變種，很難對(duì)量化誤差進(jìn)行控制，其產(chǎn)生的聚類大小在特征所處空間的分布差異 很大，使得所構(gòu)建的倒排索引表各表項(xiàng)對(duì)特征匹配的精度控制各不相同。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種基于雙分辨率的特征量化方法及系統(tǒng)，可以進(jìn)行高效、 可擴(kuò)展的局部視覺特征匹配，并解決視覺單詞碼本的訓(xùn)練以及矢量量化中存在的開銷與誤 差問題。
[0006] 本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0007] 一種基于雙分辨率的特征量化方法，該方法包括：
[0008] 對(duì)圖像中的局部視覺特征進(jìn)行降維處理；
[0009] 對(duì)降維后的局部視覺特征每一維分別進(jìn)行量化處理；其中，將每一維局部視覺特 征量化處理時(shí)的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨率量化函數(shù)，基于粗分辨 率量化函數(shù)進(jìn)行級(jí)聯(lián)標(biāo)量量化，再基于細(xì)分辨率量化函數(shù)對(duì)級(jí)聯(lián)標(biāo)量量化結(jié)果進(jìn)行細(xì)分辨 率量化獲得對(duì)應(yīng)的位置比特向量。
[0010] 進(jìn)一步的，所述對(duì)圖像中的局部視覺特征進(jìn)行降維處理包括：
[0011] 對(duì)于給定查詢圖像中的查詢視覺特征xe滅氣其目標(biāo)視覺特征yeWd位于在局部 視覺特征空間中以查詢視覺特征X為中心的ε鄰域內(nèi)，該ε鄰域·ΛΓ(χ,ε)定義為：
[0012] ?ΑΓ(χ,ε) = {y|||x-y||2 < ε};
[0013] 其中，查詢視覺特征與目標(biāo)視覺特征均屬于局部視覺特征，且均位于局部視覺特 征空間中；目標(biāo)視覺特征為數(shù)據(jù)庫圖像中，與查詢視覺特征為近鄰的局部視覺特征；
[0014] 對(duì)局部特征向量進(jìn)行主成分分析PCA降維處理，it與f分別表示X與y的PCA降維 處理后前k維系數(shù)，ε鄰域.ΑΓ(χ,ε)近似表達(dá)為對(duì)應(yīng)的表達(dá)式為：
[0015]
[0016] 其中，t為常量。

【權(quán)利要求】
1. 一種基于雙分辨率的特征量化方法，其特征在于，該方法包括： 對(duì)圖像中的局部視覺特征進(jìn)行降維處理； 對(duì)降維后的局部視覺特征每一維分別進(jìn)行量化處理；其中，將每一維局部視覺特征量 化處理時(shí)的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨率量化函數(shù)，基于粗分辨率量 化函數(shù)進(jìn)行級(jí)聯(lián)標(biāo)量量化，再基于細(xì)分辨率量化函數(shù)對(duì)級(jí)聯(lián)標(biāo)量量化結(jié)果進(jìn)行細(xì)分辨率量 化獲得對(duì)應(yīng)的位置比特向量。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)圖像中的局部視覺特征進(jìn)行降維 處理包括： 對(duì)于給定查詢圖像中的查詢視覺特征Xe52d，其目標(biāo)視覺特征yE 立于在局部視 覺特征空間中以查詢視覺特征x為中心的e鄰域內(nèi)，該e鄰域J\r(x,s)定義為：
其中，查詢視覺特征與目標(biāo)視覺特征均屬于局部視覺特征，且均位于局部視覺特征空 間中；目標(biāo)視覺特征為數(shù)據(jù)庫圖像中，與查詢視覺特征為近鄰的局部視覺特征； 對(duì)局部特征向量進(jìn)行主成分分析PCA降維處理，交與灸分別表示x與y的PCA降維處理 后前k維系數(shù)，e鄰域:AT(x,幻近似表達(dá)為對(duì)應(yīng)的表達(dá)式為：
其中，t為常量。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對(duì)降維后的局部視覺特征每一維分別 進(jìn)行量化處理的公式為：
式中屯仿）:為第i維系數(shù)的標(biāo)量量化函數(shù)，匕表示上式中的與歹，q;:(A)表示
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將每一維局部視覺特征量化處理時(shí) 的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨率量化函數(shù)包括：
5. 根據(jù)權(quán)利要求1或3所述的方法，其特征在于，該方法還包括： 基于雙分辨率的特征量化結(jié)果，對(duì)圖像數(shù)據(jù)庫進(jìn)行索引和查詢，其包括： 基于粗分辨率量化函數(shù)的級(jí)聯(lián)標(biāo)量量化結(jié)果，增量式地生成一個(gè)k層的樹結(jié)構(gòu)，稱為 索引樹，對(duì)于索引樹的第i層，其最大分支數(shù)為ri;該索引樹為非完全樹，其大小隨著圖像 數(shù)據(jù)庫增大而增大，索引樹的每個(gè)葉節(jié)點(diǎn)被視作一個(gè)哈希字，如果一個(gè)哈希字對(duì)應(yīng)圖像數(shù) 據(jù)庫中的至少一個(gè)局部視覺特征，則認(rèn)為該哈希字有效；根據(jù)每個(gè)有效哈希字，建立一個(gè)鏈 表，該鏈表中的每一個(gè)表項(xiàng)記錄包含該哈希字的圖像編號(hào)；所有有效哈希字對(duì)應(yīng)的鏈表一 起構(gòu)成了倒排索引表； 將細(xì)分辨率量化的位置比特向量進(jìn)行級(jí)聯(lián)，并保存在倒排索引表中。
6. -種基于雙分辨率的特征量化系統(tǒng)，其特征在于，該系統(tǒng)包括： 降維處理模塊，用于對(duì)圖像中的局部視覺特征進(jìn)行降維處理； 雙分辨率量化處理模塊，用于對(duì)降維后的局部視覺特征每一維分別進(jìn)行量化處理；其 中，將每一維局部視覺特征量化處理時(shí)的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨 率量化函數(shù)，基于粗分辨率量化函數(shù)進(jìn)行級(jí)聯(lián)標(biāo)量量化，再基于細(xì)分辨率量化函數(shù)對(duì)級(jí)聯(lián) 標(biāo)量量化結(jié)果進(jìn)行細(xì)分辨率量化獲得對(duì)應(yīng)的位置比特向量。
7. 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述對(duì)圖像中的局部視覺特征進(jìn)行降維 處理包括： 對(duì)于給定查詢圖像中的查詢視覺特征:xe滅氣其目標(biāo)視覺特征ye 位于在局部視 覺特征空間中以查詢視覺特征X為中心的e鄰域內(nèi)，該e鄰域J\r(X,S):定義為：
其中，查詢視覺特征與目標(biāo)視覺特征均屬于局部視覺特征，且均位于局部視覺特征空 間中；目標(biāo)視覺特征為數(shù)據(jù)庫圖像中，與查詢視覺特征為近鄰的局部視覺特征； 對(duì)局部特征向量進(jìn)行主成分分析PCA降維處理，與f分別表示x與y的PCA降維處理 后前k維系數(shù)，e鄰域近似表達(dá)為對(duì)應(yīng)的表達(dá)式為：
其中，t為常量。
8. 根據(jù)權(quán)利要求6或7所述的系統(tǒng)，其特征在于，對(duì)降維后的局部視覺特征每一維分別 進(jìn)行量化處理的公式為：
式中q;(A)為第i維系數(shù)的標(biāo)量量化函數(shù)，e表示上式中的與歹，q/的）表示
9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述將每一維局部視覺特征量化處理時(shí) 的標(biāo)量量化函數(shù)分解為粗分辨率量化函數(shù)與細(xì)分辨率量化函數(shù)包括：
10. 根據(jù)權(quán)利要求6或8所述的系統(tǒng)，其特征在于，該系統(tǒng)還包括： 索引和檢索模塊，用于基于雙分辨率的特征量化結(jié)果，對(duì)圖像數(shù)據(jù)庫進(jìn)行索引和查詢， 其包括： 基于粗分辨率量化函數(shù)的級(jí)聯(lián)標(biāo)量量化結(jié)果，增量式地生成一個(gè)k層的樹結(jié)構(gòu)，稱為 索引樹，對(duì)于索引樹的第i層，其最大分支數(shù)為ri;該索引樹為非完全樹，其大小隨著圖像 數(shù)據(jù)庫增大而增大，索引樹的每個(gè)葉節(jié)點(diǎn)被視作一個(gè)哈希字，如果一個(gè)哈希字對(duì)應(yīng)圖像數(shù) 據(jù)庫中的至少一個(gè)局部視覺特征，則認(rèn)為該哈希字有效；根據(jù)每個(gè)有效哈希字，建立一個(gè)鏈 表，該鏈表中的每一個(gè)表項(xiàng)記錄包含該哈希字的圖像編號(hào)；所有有效哈希字對(duì)應(yīng)的鏈表一 起構(gòu)成了倒排索引表； 將細(xì)分辨率量化的位置比特向量進(jìn)行級(jí)聯(lián)，并保存在倒排索引表中。
【文檔編號(hào)】G06T7/00GK104484418SQ201410787600
【公開日】2015年4月1日 申請(qǐng)日期:2014年12月17日 優(yōu)先權(quán)日:2014年12月17日
【發(fā)明者】周文罡, 孫韶言, 李厚強(qiáng), 田奇 申請(qǐng)人:中國科學(xué)技術(shù)大學(xué)