專利名稱：一種基于多特征簽名的海量圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理與信息檢索技術(shù)領(lǐng)域，具體涉及一種基于多特征簽名的圖像 檢索方法。
背景技術(shù)：
基于內(nèi)容的圖像檢索主要難點在于圖像的特征存儲以及特征匹配[1]。一幅圖像 在特征提取之后，通常得到一個維數(shù)較高的浮點數(shù)特征矢量，以這種形式表示的圖像特征 存儲開銷較大。而且特征間的距離計算，往往通過浮點矢量之間的歐式距離來表示，計算的 時間開銷也較大。本發(fā)明提出了一種基于多特征簽名的圖像檢索系統(tǒng)和方法，首先利用主分量分析 (Principal Component Analysis,PCA)方法對多種特征的浮點矢量降維，接著借助矢量量 化技術(shù)[4]實現(xiàn)比特映射，最終生成多種特征的簽名。在這種多特征簽名的基礎(chǔ)之上，實現(xiàn) 基于內(nèi)容的圖像檢索。利用這種多特征簽名進行圖像檢索的好處在于首先，以多特征簽名 形式表示的多種圖像特征，只需要很小的存儲開銷；其次，特征簽名之間的距離可用漢明距 離[5]表示，相對于計算浮點矢量之間的歐式距離來說，這種方式速度更快；最后，和大多 數(shù)基于單一特征的圖像檢索系統(tǒng)[2]不同的是，這種基于多特征簽名的方法，具有更高的 查詢準確率和特征可擴展性。和文獻[6]所采用的矢量量化方法相比，基于多特征簽名的圖像檢索系統(tǒng)采用的 方法在特征簽名映射過程中進一步放大了 PCA降維后的高維分量，弱化了低維分量。這樣 使得兩幅內(nèi)容相近的圖像之間的漢明距離會更近。同時也讓特征簽名對于特征細節(jié)的變化 不敏感，使檢索結(jié)果與查詢圖像在內(nèi)容相近的基礎(chǔ)上，更具有多樣性，且能返回更多的圖像 結(jié)果，優(yōu)化用戶的檢索體驗。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于多特征簽名的圖像檢索方法，實現(xiàn)圖像特征的高 效存儲以及特征匹配。本發(fā)明提出的多特征簽名是一種基于主分量分析和矢量量化技術(shù)的圖像特征提 取方法。本發(fā)明的基礎(chǔ)是利用主分量分析實現(xiàn)高維浮點矢量圖像特征的降維，得到低維浮 點矢量特征后，再借助矢量量化技術(shù)，將特征映射到由一個或多個整數(shù)存儲的特征簽名中。 本發(fā)明以漢明距離表示特征簽名之間的距離，通過查找系統(tǒng)中與查詢圖像的多特征簽名距 離接近的圖像，最終實現(xiàn)基于多特征簽名的圖像檢索。具體的步驟如下1.圖像的多特征提取。系統(tǒng)首先提取圖像的多種特征，得到多維的浮點矢量。這 些特征可以是任意的圖像特征。例如文獻[6]所使用的灰度塊圖像特征首先將彩色圖像 轉(zhuǎn)化成灰度圖象，再切割成n*n的分塊，計算每個灰度塊的光照度均值
3
其中Bk表示第k個灰度塊，Nk表示第k個灰度塊中的像素個數(shù)，I(i，j)表示圖像在 坐標(i，j)處的灰度值。這樣整幅圖像的灰度塊特征可用一個矢量表示$ = (f\，f2，...， fnJT。由于灰度塊特征描述的是圖像的宏觀結(jié)構(gòu)分布、不受縮放影響，是一種理想的不變性 特征且計算速度較快，實驗中也將選取這一特征。此外，MPEG7中的邊緣直方圖特征[7]也可以作為一種圖像紋理的描述，提取后可 得到80維的浮點矢量。經(jīng)過上述多種特征提取后，系統(tǒng)得到m種以浮點矢量表示的圖像特征&，&，...， Fm。它們對應(yīng)的矢量維度分別為dim” dim2, ... , dimm。2.特征降維。為了優(yōu)化圖像多特征的存儲，首先對每一種特征&降維，在維持基 本性質(zhì)的情況下將&從dimi維降至K維的特征&?？赏ㄟ^PCA實現(xiàn)Gj = AjFJ(2)這里的&表示第i種特征對應(yīng)的降維投影矩陣。&由大規(guī)模的圖像樣本訓(xùn)練得 到，同時得到訓(xùn)練樣本在該特征上的均值矢量虬=(m^m^ . . .，mK)T，其中的元素mj是訓(xùn)練 樣本在第j個維度上的均值。另外還可以得到2個矢量,m) 是訓(xùn)練樣本在第j個維度上，大于％的元素的均值，<是訓(xùn)練樣本在第j個維度上，小于％ 的元素的均值。降維投影矩陣&和三個均值矢量在訓(xùn)練完成后固定不變，在后續(xù)的特征映射和編 碼過程中會被利用到。3.特征映射與編碼。由于多特征降維后，仍然是多個浮點矢量，存儲開銷依然較 大。本文借助PCA訓(xùn)練過程中得到的每種特征&所對應(yīng)的3個矢量1^，似,1和<，對降至K 維后的浮點特征矢量&再進行比特映射和編碼，映射至K維的二值矢量印。對&的高h維 分量做2位比特映射
(1,1) ifGuk>Mlk (0,1) ifGik<M[kandGKk>MKk (0,0) ifGuk<M,kandGi<k>Mlk (1，0) ifG,k<Ml
(3) 浮點矢量&的高h維分量，就被映射到了二值矢量Hi的高2h維。Hi中還可存入 K-2h位，對&的第h維至第h+K-2h維，也就是第h維至第K-h維做1位比特的映射 '1 ifGuk>Muk 0 ifGuk<Mhk
(4) 這樣氏的高2h維來自Gi的高h維，Hi的低K_2h維來自Gi的中間K_2h維，的 最低h維，在映射過程中被忽略。上述映射方式的物理意義，就是利用參數(shù)h，在PCA降維 的基礎(chǔ)上，放大具有更大方差的維度，弱化方差較小的維度。經(jīng)過這樣的映射，一幅圖像的 各種特征，都會被編碼為長度為K的0-1比特串，這些串也就是本文所要介紹的特征簽名。 每幅圖像擁有多種簽名，利用這些簽名可以找到與任意一幅圖像相似或內(nèi)容相近的其他圖 像。將特征映射到簽名上，還會帶來這樣一些好處簽名可以被方便靈活地存入1個或多個 整數(shù)中，大大地節(jié)省了存儲開銷；此外，簽名之間的漢明距離計算，相對于計算浮點矢量之間的歐式距離，要快很多。4.對特征簽名建立索引。得到所有圖像的多特征簽名后，對每一類特征簽名進行 聚類。借助文獻[8]提出的AP聚類方法，把所有圖像的特征簽名i聚成(；個類，每個類的 類中心為center^ 1 < k < Q。這樣第i種特征就可以生成一個從特征簽名到圖像id的 倒排索引。索引的鍵為特征簽名，每個鍵對應(yīng)一條圖像id的拉鏈，并且可通過Q個類中心 優(yōu)化查詢。由于每幅圖像在第i個特征的索引中至多存儲1個特征簽名和1個圖像id，假設(shè) id用32位整數(shù)保存，則整個索引所占內(nèi)存約為
比特，其中K是特征簽名所占 比特數(shù)，NImage是圖像檢索系統(tǒng)中的圖像總數(shù)。當(dāng)K取32、圖像總數(shù)為1億時，所占內(nèi)存為 64億比特，約762兆字節(jié)，完全可以全部放入1臺當(dāng)前主流服務(wù)器的內(nèi)存中。其他特征的索 引，也通過相同方式，存放在同一臺服務(wù)器或不同服務(wù)器的內(nèi)存中。此外如有必要還可以按 照類中心分層放置索引，將索引全部放置在內(nèi)存中。5.通過多特征簽名查找與查詢圖片內(nèi)容相近的圖片。基于多特征簽名的圖像檢 索系統(tǒng)在檢索階段，先對用戶提交的圖像進行多特征簽名計算，獲得查詢圖像的各種特征 簽名(sign” sign2, ...，signj，方法與特征簽名計算階段相同。接著通過簽名sigr^，在 索引中找到與其最接近的類中心center^和center^對應(yīng)的倒排表。查找倒排表中的特 征簽名，找到與sigrii漢明距離小于閾值凡的所有特征簽名，取出且合并所有的圖像id，得 到鏈表idlisti。待所有特征的鏈表計算完成后，歸并得到以圖像id鏈表形式的查詢結(jié)果 idlist。從存儲系統(tǒng)中根據(jù)圖像id即可找到圖像，最終返回給用戶。本發(fā)明提出的基于多特征簽名的圖像檢索方法，首先利用主分量分析 (PrincipalComponent Analysis, PCA)方法對多種特征的浮點矢量降維，接著借助矢量量 化技術(shù)[4]實現(xiàn)比特映射，最終生成多種特征的簽名。在這種多特征簽名的基礎(chǔ)之上，實現(xiàn) 基于內(nèi)容的圖像檢索。利用這種多特征簽名進行圖像檢索的好處在于首先，以多特征簽名 形式表示的多種圖像特征，只需要很小的存儲開銷；其次，特征簽名之間的距離可用漢明距 離[5]表示，相對于計算浮點矢量之間的歐式距離來說，這種方式速度更快；最后，和大多 數(shù)基于單一特征的圖像檢索系統(tǒng)[2]不同的是，這種基于多特征簽名的方法，具有更高的 查詢準確率和特征可擴展性。和文獻[6]所采用的矢量量化方法相比，基于多特征簽名的圖像檢索方法在特征 簽名映射過程中進一步放大了 PCA降維后的高維分量，弱化了低維分量。這樣使得兩幅內(nèi) 容相近的圖像之間的漢明距離會更近。同時也讓特征簽名對于特征細節(jié)的變化不敏感，使 檢索結(jié)果與查詢圖像在內(nèi)容相近的基礎(chǔ)上，更具有多樣性，且能返回更多的圖像結(jié)果，優(yōu)化 用戶的檢索體驗。


圖1多特征簽名的計算流程圖示。
圖2第i個特征對應(yīng)的索引。
圖3基于多特征簽名的圖像檢索系統(tǒng)檢索流程圖示。
圖4查詢圖像示例。圖4(a)為風(fēng)景類查詢圖像，圖4(b)為車輛類查詢圖像。
圖5通過多特征簽名查詢的查詢結(jié)果示例。
圖6 單一特征簽名和多特征簽名的效果對比。圖6(a)是單一特征簽名的圖像檢 索結(jié)果示例，圖6(b)是多特征簽名的圖像檢索結(jié)果示例。
具體實施例方式下面以在主流圖像搜索引擎上自動抓取得到的縮略圖像為基礎(chǔ)實現(xiàn)的圖像檢索 系統(tǒng)進一步描述本發(fā)明。這些縮略圖的長度和寬度均大于70像素，且均不超過140像素。 圖像格式為JPEG，總共占據(jù)27. 4GB的磁盤空間，平均每張圖像占5. 13KB。圖5展示的是對圖4 (a)這個風(fēng)景類查詢圖像進行查詢后得到的前12個結(jié)果。這 12張圖像與查詢圖像內(nèi)容相近，說明了基于多特征簽名的圖像檢索系統(tǒng)能有效地利用多特 征簽名，在圖像庫中定位查詢結(jié)果。圖6所展示的是單一特征簽名和多特征簽名的查詢效果對比。以圖4(b)里的車 輛圖像作為查詢圖像，分別利用單一特征簽名和多特征簽名進行檢索?？梢园l(fā)現(xiàn)，僅使用單 一的灰度塊特征簽名時準確率較低，而使用多特征簽名時準確率較高。如圖6(a)和圖6(b) 所示，單一特征的前8個檢索結(jié)果中有4幅圖像與車輛無關(guān)，而多特征的前8個結(jié)果中，僅2 幅圖像不是車輛。從檢索結(jié)果可以看到，基于多特征簽名的圖像檢索系統(tǒng)使用的多特征簽 名方法相對單一特征簽名，能很好地提高基于內(nèi)容的圖像檢索的準確率。參考資料[l]Datta R, Joshi D,Li Jia,et al. Image Retrieval :Ideas, Influences, and Trends of the NewAge[J]. ACM Computing Surveys,2008,40 (2) :35_94[2]Rao A, Srihari R K, Zhang Zhongfei. Spatial Color Histograms for Content-Based ImageRetrieval[C]//Proc. of International Conference on Tools with Artificial Intelligence. Chicago, Illinois, USA :IEEE Press, 1999 :183_186[3]Zhang Dengsheng, Wong A, Indrawan M, et al.Content-based Image Retrieval Using GaborTexture Features[J]. IEEE Trans, on Pattern Analysis and Machine Intelligence,2000，12(7) :629_639[4]Gersho A, Gray R M. Vector quantization and signal compression[M]. Norwell, Massachusetts, USA :Kluwer Academic Publishers, 1992[5]MacKay D.Information Theory, Inference, and Learning Algorithms[M]. Cambridge, UK Cambridge University Press,2003[6]Wang Bin, Li Zhiwei, Li Mingjing, et al. Large-scale duplicate detection for web imagesearch[C]//Proc. of IEEE International Conference on Multimedia & Expo. Toronto，Ontario，Canada :IEEE Press,2006 353-356[7]Sikora T.The MPEG_7Visual standard for content description-an overview[J]. IEEE Trans. Circuits and Systems for Video Technology,2001,11(6) 696-702[8]Frey B J, Dueck D. Clustering by Passing Messages Between Data Points[J] Science,2007，315(5814) :972_976。
權(quán)利要求
一種基于多特征簽名的圖像檢索方法，其特征在于，用主分量分析降低圖像特征的維數(shù)，并利用矢量量化技術(shù)在主分量分析的基礎(chǔ)上，進一步將圖像特征量化到二值矢量表示的特征簽名上；將該特征簽名存入一個或多個整數(shù)中；用漢明距離表示特征之間的距離，通過圖像的多種特征檢索圖像，包括以下步驟步驟一、圖像的多特征提取首先提取圖像的多種特征，得到多維的浮點矢量；經(jīng)過上述多種特征提取后，得到m種以浮點矢量表示的圖像特征F1，F(xiàn)2，...，F(xiàn)m，它們對應(yīng)的矢量維度分別為dim1，dim2，...，dimm；步驟二、特征降維首先對每一種特征Fi降維，在維持基本性質(zhì)的情況下將Fi從dimi維降至K維的特征Gi，這通過PCA實現(xiàn)Gi＝AiFi；這里Ai表示第i種特征對應(yīng)的降維投影矩陣，Ai由大規(guī)模的圖像樣本訓(xùn)練得到，同時得到訓(xùn)練樣本在該特征上的均值矢量Mi＝(m1，m2，...，mk)T，其中的元素mj是訓(xùn)練樣本在第j個維度上的均值；另外還得到2個矢量和是訓(xùn)練樣本在第j個維度上，大于mj的元素的均值，是訓(xùn)練樣本在第j個維度上，小于mj的元素的均值；步驟三、特征映射與編碼借助PCA訓(xùn)練過程中得到的每種特征Fi所對應(yīng)的3個矢量Mi，和對降至K維后的浮點特征矢量Gi再進行比特映射和編碼，映射至K維的二值矢量Hi；對Gi的高h維分量做2位比特映射，對Gi的第h維至第h+K-2h維，即第h維至第K-h維做1位比特的映射；這樣Hi的高2h維來自Gi的高h維，Hi的低K-2h維來自Gi的中間K-2h維，Gi的最低h維，在映射過程中被忽略；步驟四、對特征簽名建立索引得到所有圖像的多特征簽名后，對每一類特征簽名進行聚類采用AP聚類方法，把所有圖像的特征簽名i聚成Gi個類，每個類的類中心為centeri，k 1≤k≤Ci，第i種特征生成一個從特征簽名到圖像id的倒排索引；索引的鍵為特征簽名，每個鍵對應(yīng)一條圖像id的拉鏈，并且通過Ci個類中心優(yōu)化查詢；步驟五、通過多特征簽名查找與查詢圖片內(nèi)容相近的圖片在檢索階段，先對用戶提交的圖像進行多特征簽名計算，獲得查詢圖像的各種特征簽名sign1，sign2，...，signm，方法與特征簽名計算階段相同；接著通過簽名signi，在索引中找到與其最接近的類中心centeri，k和centeri，k對應(yīng)的倒排表；查找倒排表中的特征簽名，找到與signi漢明距離小于閾值Ti的所有特征簽名，取出且合并所有的圖像id，得到鏈表idlisti；待所有特征的鏈表計算完成后，歸并得到以圖像id鏈表形式的查詢結(jié)果idlist；從存儲系統(tǒng)中根據(jù)圖像id即可找到圖像，最終返回給用戶。FSA00000120923700011.tif,FSA00000120923700012.tif,FSA00000120923700013.tif,FSA00000120923700014.tif,FSA00000120923700015.tif,FSA00000120923700016.tif
全文摘要
本發(fā)明屬于圖像處理與信息檢索技術(shù)領(lǐng)域，具體為一種基于多特征簽名的圖像檢索方法。該方法包含以下步驟提取圖像的多種特征；對特征降維并做比特映射，得到各種特征對應(yīng)的特征簽名；對特征簽名建立索引；以漢明距離表示特征簽名之間的距離；通過特征簽名查找與查詢圖片內(nèi)容相近的圖片。本發(fā)明方法，可以很好地解決圖像的特征存儲與距離計算，同時具有較高的查詢準確率和系統(tǒng)可擴展性。
文檔編號G06F17/30GK101859320SQ20101017621
公開日2010年10月13日 申請日期2010年5月13日 優(yōu)先權(quán)日2010年5月13日
發(fā)明者朱遠毅, 薛向陽, 金城 申請人:復(fù)旦大學(xué)