專利名稱：圖像檢索方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)檢索領(lǐng)域，尤其涉及一種圖像檢索方法、裝置及系統(tǒng)。
背景技術(shù)：
近年來，隨著因特網(wǎng)技術(shù)的飛速發(fā)展以及數(shù)碼設(shè)備的快速普及，網(wǎng)絡(luò)上的圖像已達(dá)到千億規(guī)模，并一直呈指數(shù)規(guī)模的增長。面對如此海量的圖像數(shù)據(jù)，如何進(jìn)行有效管理， 以方便用戶能夠便捷的找到感興趣的圖像，即圖像檢索，是一個非常有實際意義同時也是非常有挑戰(zhàn)性的工作。圖像檢索中，一個研究的熱點是部分復(fù)制圖像檢索。部分復(fù)制圖像一般是由于用戶從原圖中裁剪出一塊然后粘貼到另外一個圖像中，或者是對原圖加入一些文字的修改，或者對原圖進(jìn)行簡單的投影變換?；诓糠謴?fù)制圖像檢索，在網(wǎng)絡(luò)多媒體領(lǐng)域具有廣泛的應(yīng)用前景。部分復(fù)制圖像檢索，即從一個海量的圖像數(shù)據(jù)庫中找到和查詢圖像有非常相似的的圖像區(qū)域塊。目前解決這一問題的最好方法就是基于視覺單詞碼本的方法，視覺單詞碼本一般是通過對訓(xùn)練圖像中采樣得到的大量的局部特征，如SIFT(Scale Invariant Feature Transform，尺度不變特征轉(zhuǎn)換特征)、SURF (Speeded Up Robust Feature，快速魯棒性特征)，進(jìn)行聚類得到。訓(xùn)練圖像可以是圖像數(shù)據(jù)庫中的一個圖像子集，也可以是一組不相關(guān)的圖像。得到視覺單詞碼本之后，可以對圖像數(shù)據(jù)庫中的一張新的圖像提取出若干局部特征，并將局部特征量化為視覺單詞，從而將一個圖像表示為一個高維的視覺單詞矢量，然后，查詢圖像和匹配圖像之間的匹配比較便轉(zhuǎn)化為高維視覺單詞矢量間的匹配比較。 如果兩個圖像各有一個局部特征被量化為同一個視覺單詞，則這兩個局部特征構(gòu)成一對匹配局部特征。如果兩個圖像沒有任何一對局部特征構(gòu)成匹配，則這兩個圖像被認(rèn)為是完全不相關(guān)的?，F(xiàn)有技術(shù)中，一種基于完全幾何檢驗的圖像匹配檢索的基本思想如下通過局部特征量化，得到查詢圖像和匹配圖像之間的初步匹配結(jié)果，如果兩個圖像確實相關(guān)，那么他們的部分復(fù)制的圖像塊中必定有一些共有的局部特征構(gòu)成相應(yīng)的正確匹配。這些正確的局部匹配之間必定滿足某個仿射變換，而那些剩下的錯誤的匹配則不滿足這個仿射變換?；谶@個前提假設(shè)，完全幾何檢驗采用隨機抽樣一致性方法，隨機采樣若干對匹配局部特征， 用于估計仿射變換；然后查看其它的匹配局部特征與所述仿射變換的符合程度，并記錄符合該仿射變換的匹配的數(shù)目。當(dāng)隨即采樣數(shù)目足夠多時，匹配數(shù)目最多的那個仿射變換則可能對應(yīng)著正確的仿射變換。設(shè)查詢圖像中有一個特征點匹配上了匹配圖像中的一個特征點4，1和4在圖像中的坐標(biāo)分別是(u, ν)和(x，y)。則他們之間的仿射變換可以表示如式(1)
權(quán)利要求
1.一種圖像檢索方法，其特征在于，包括提取查詢圖像的局部特征，并將所述局部特征量化為視覺單詞； 使用所述視覺單詞查詢圖像數(shù)據(jù)庫中預(yù)設(shè)的視覺單詞倒排表，得到匹配局部特征對和匹配圖像；對查詢圖像中匹配局部特征之間的相對空間位置進(jìn)行空間編碼，得到查詢圖像空間碼圖，對匹配圖像中匹配局部特征之間的相對空間位置進(jìn)行空間編碼，得到匹配圖像空間碼圖；對所述查詢圖像空間碼圖和匹配圖像空間碼圖中匹配局部特征對的空間坐標(biāo)位置執(zhí)行空間一致性檢驗，獲取符合空間一致性的匹配局部特征對的數(shù)目；根據(jù)不同匹配圖像包含的符合空間一致性的匹配局部特征的數(shù)目，計算該匹配圖像和查詢圖像間的相似度，并按照所述相似度大小返回匹配圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括從訓(xùn)練圖像中提取局部特征，對所述局部特征進(jìn)行聚類，確定每個聚類的中心為一個視覺單詞。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括提取圖像數(shù)據(jù)庫中圖像的局部特征，將所述局部特征量化為視覺單詞； 建立所述視覺單詞與所述圖像數(shù)據(jù)庫中的圖像的關(guān)聯(lián)，得到視覺單詞倒排表。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述使用所述視覺單詞查詢圖像數(shù)據(jù)庫中預(yù)設(shè)的視覺單詞倒排表，包括使用視覺單詞查找圖像數(shù)據(jù)庫中預(yù)設(shè)的視覺單詞倒排表，確定包含該視覺單詞的圖像數(shù)據(jù)庫中的所有相關(guān)圖像為所述查詢圖像的匹配圖像；建立起查詢圖像和匹配圖像間的局部特征間的匹配關(guān)系。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對匹配局部特征之間的相對空間位置進(jìn)行空間編碼，具體包括描述兩個匹配局部特征的水平方向的相對位置關(guān)系，得到水平方向空間碼圖； 描述兩個匹配局部特征的垂直方向的相對位置關(guān)系，得到垂直方向空間碼圖。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于 將圖像水平方向空間碼圖記為X-map，則
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，對匹配局部特征的相對空間位置進(jìn)行空間編碼之前，還包括分別以每個匹配局部特征為參考，將其在圖像中的位置視為參考原點，將匹配局部特征所在的圖像劃分為四個象限；將每一個象限均勻劃分為多個扇形區(qū)域，并確定其它匹配局部特征相對于參考原點所位于的象限和扇形區(qū)域；對每個匹配局部特征的空間坐標(biāo)位置關(guān)于參考原點進(jìn)行旋轉(zhuǎn)，得到該匹配局部特征新的空間坐標(biāo)位置；根據(jù)匹配局部特征新的空間坐標(biāo)位置，得到其與所述參考原點的相對空間位置。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于對每個匹配局部特征的空間坐標(biāo)位置關(guān)于參考原點進(jìn)行旋轉(zhuǎn)，得到該匹配局部特征新的空間坐標(biāo)位置，具體包括對圖像中包含的匹配局部特征的空間坐標(biāo)位置(Xi，id關(guān)于參考原點逆時針旋轉(zhuǎn)
9.根據(jù)權(quán)利要求1所述的方法，其特征在于對所述查詢圖像空間碼圖和匹配圖像空間碼圖中匹配局部特征執(zhí)行空間一致性檢驗， 具體包括對所述查詢圖像空間碼圖和匹配圖像空間碼圖中匹配局部特征對的空間坐標(biāo)位置執(zhí)行異或操作；所述獲取符合空間一致性的匹配局部特征對的數(shù)目，具體包括確定并刪除所有不符合空間一致性的匹配局部特征對；確定剩余的匹配局部特征對數(shù)目為符合空間一致性的匹配局部特征對的數(shù)目。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于具體按照下方式所示，對匹配局部特征對的空間坐標(biāo)位置執(zhí)行異或操作
11.根據(jù)權(quán)利要求1所述的方法，其特征在于，具體按照下式所示，計算匹配圖像和查詢圖像間的相似度若查詢圖像q和匹配圖像P經(jīng)過查詢后，有a對匹配局部特征，其中b對匹配局部特征通過了空間一致性檢驗，則查詢圖像q和匹配圖像P的相似度，S (p, q)如下式所示α Nmax ,其中Ν(ρ)表示匹配圖像ρ中局部特征總數(shù)目，Nmax表示圖像數(shù)據(jù)庫中圖像所可能含有的最多局部特征數(shù)目。
12.—種圖像檢索裝置，其特征在于，包括第一特征提取模塊，用于提取待查詢圖像的局部特征；第一特征量化模塊，用于將所述局部特征量化為視覺單詞；查詢模塊，用于使用所述視覺單詞查詢圖像數(shù)據(jù)庫中預(yù)設(shè)的視覺單詞倒排表，得到匹配局部特征對和匹配圖像；空間編碼模塊，用于對查詢圖像中匹配局部特征之間的相對空間位置進(jìn)行空間編碼， 得到查詢圖像空間碼圖，并對匹配圖像中匹配局部特征之間的相對空間位置進(jìn)行空間編碼，得到匹配圖像空間碼圖；空間一致性檢驗?zāi)K，用于對所述查詢圖像空間碼圖和匹配圖像空間碼圖中匹配局部特征對的空間坐標(biāo)位置執(zhí)行空間一致性檢驗，以獲取符合空間一致性的匹配局部特征對的數(shù)目；檢索結(jié)果返回模塊，用于根據(jù)不同匹配圖像的符合空間一致性的匹配局部特征對的數(shù)目，計算該匹配圖像和查詢圖像間的相似度，按照所述相似度大小，返回匹配圖像。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，還包括視覺單詞生成模塊，用于從訓(xùn)練圖像中提取局部特征，對所述局部特征進(jìn)行聚類，確定每個聚類的中心為一個視覺單詞。
14.根據(jù)權(quán)利要求12所述的裝置，其特征在于，還包括第二特征提取模塊，用于提取圖像數(shù)據(jù)庫中圖像的局部特征； 第二特征量化模塊，用于將從圖像數(shù)據(jù)庫的圖像中提取的局部特征量化為視覺單詞； 倒排表建立模塊，用于建立所述視覺單詞與所述圖像數(shù)據(jù)庫中的圖像的關(guān)聯(lián)，得到視覺單詞倒排表。
15.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述空間編碼模塊，具體包括第一編碼單元，用于描述兩個匹配局部特征的水平方向的相對位置關(guān)系，得到水平方向空間碼圖；第二編碼單元，用于描述兩個匹配局部特征的垂直方向的相對位置關(guān)系，得到垂直方向空間碼圖。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于所述第一編碼單元，具體通過下式編碼得到水平方向空間碼圖
17.根據(jù)權(quán)利要求12所述的裝置，其特征在于，還包括區(qū)域劃分模塊，用于將匹配局部特征所在的圖像以某個匹配特征位置為參考原點劃分為四個象限，并將每一個象限劃分為多個扇形區(qū)域；坐標(biāo)確定模塊，用于對每個匹配局部特征所在的空間坐標(biāo)位置關(guān)于參考原點進(jìn)行旋轉(zhuǎn)，得到該匹配局部特征新的空間坐標(biāo)位置；空間位置確定模塊，用于根據(jù)匹配局部特征新的空間坐標(biāo)位置，得到其與所述參考原點的相對空間位置。
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于所述坐標(biāo)確定模塊，用于確定各個匹配局部特征在基于參考原點劃分的圖像中所位于的象限和扇形區(qū)域，具體通過如下方式確定關(guān)于參考原點旋轉(zhuǎn)后的匹配局部特征新的空間坐標(biāo)位置對圖像中包含的匹配局部特征的空間坐標(biāo)位置(Xi，Yi)關(guān)于參考原點逆時針旋轉(zhuǎn)θ =K.π/2 · r(k = 0，1，... ,r-1)度，得到該匹配局部特征新的空間坐標(biāo)位置(Xi1Syi1O下式所示
19.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述空間一致性檢驗?zāi)K，具體包括 異或運算單元，用于對所述查詢圖像空間碼圖和匹配圖像空間碼圖執(zhí)行異或操作； 錯誤匹配刪除單元，用于確定并刪除所有錯誤的匹配特征對；匹配數(shù)目確定單元，用于確定剩余的匹配局部特征對數(shù)目為符合空間一致性的匹配局部特征對的數(shù)目。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于所述異或運算單元，具體按照下式所示，對匹配局部特征對的空間碼圖執(zhí)行異或操作
21.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述檢索結(jié)果返回模塊，具體包括相似度計算單元，用于根據(jù)符合空間一致性的匹配特征對的數(shù)目，以及匹配圖像和查詢圖像中各自所包含的局部特征的數(shù)目，計算匹配圖像和查詢圖像間的相似度；匹配圖像返回單元，用于根據(jù)所述相似度大小排序所述匹配圖像，并按照所述排序返回所述匹配圖像。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于所述相似度計算單元，具體采用如下方式計算匹配圖像和查詢圖像間的相似度 若查詢圖像q和匹配圖像P經(jīng)過查詢后，有a對匹配局部特征，其中b對匹配局部特征通過了空間一致性檢驗，則查詢圖像q和匹配圖像P的相似度，S (p, q)如下式所示
23.一種圖像檢索系統(tǒng)，其特征在于，包括權(quán)利要求12至22任意一項所述的圖像檢索裝置； 圖像數(shù)據(jù)庫，用于存儲供檢索匹配的圖像。
24.根據(jù)權(quán)利要求23所述的圖像檢索系統(tǒng)，其特征在與，還包括圖像獲取模塊，用于從網(wǎng)絡(luò)上獲取新的圖像，并存儲到所述圖像數(shù)據(jù)庫中； 倒排表更新模塊，用于獲取所述新的圖像中包含的視覺字典對應(yīng)的倒排表，并更新所述倒排表中關(guān)聯(lián)的圖像。
全文摘要
本發(fā)明公開了一種圖像檢索方法、裝置及系統(tǒng)。該方法包括提取查詢圖像的局部特征，將所述局部特征量化為視覺單詞；使用所述視覺單詞查詢圖像數(shù)據(jù)庫中預(yù)設(shè)的視覺單詞倒排表，得到匹配局部特征對和匹配圖像；分別對查詢圖像和匹配圖像中的匹配局部特征之間的相對空間位置進(jìn)行空間編碼，得到查詢圖像空間碼圖和匹配圖像空間碼圖；對所述查詢圖像空間碼圖和匹配圖像空間碼圖執(zhí)行空間一致性校驗，進(jìn)而獲取符合空間一致性的匹配局部特征對的數(shù)目；根據(jù)不同匹配圖像的符合空間一致性的匹配局部特征對的數(shù)目，按照匹配圖像的相似度返回匹配圖像。本發(fā)明提供的方法可以提高圖像檢索準(zhǔn)確度和檢索效率，減低檢索耗時。
文檔編號G06F17/30GK102368237SQ20101051478
公開日2012年3月7日 申請日期2010年10月18日 優(yōu)先權(quán)日2010年10月18日
發(fā)明者盧亦娟, 周文罡, 李厚強, 田奇 申請人:中國科學(xué)技術(shù)大學(xué)