一種基于哈希二值編碼的特征袋圖像檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像檢索領(lǐng)域，尤其涉及一種基于哈希二值編碼的特征袋圖像檢索方 法。
【背景技術(shù)】
[0002] 隨著信息時代數(shù)據(jù)的瘋狂增長，圖像數(shù)據(jù)總量也在超高速的增加著，因此如何在 基于哈希二值編碼的的圖像數(shù)據(jù)集中進行高效的檢索也成為了一個重要的研究方向。而圖 像檢索的方法也經(jīng)歷了從需要人工標(biāo)注關(guān)鍵詞的基于文本的圖像檢索(TBIR)到基于內(nèi)容 的圖像檢索(CBIR)的發(fā)展。并且為了更加高效地處理基于哈希二值編碼的特征袋圖像數(shù)據(jù) 集檢索問題，引入了特征袋模型檢索框架來進行快速的檢索。在現(xiàn)實應(yīng)用中圖像并不會這 么小，圖像所包含的內(nèi)容也更加的豐富，一個圖像文件由許多局部描述符構(gòu)成。
[0003] 若直接使用哈希方法對每個描述符進行索引，那么例如局部敏感哈希(LSH)方法 需要100-500字節(jié)來索引一張圖像。而當(dāng)一個數(shù)據(jù)集有幾百萬圖像并包含幾十億描述符的 時候依靠局部敏感哈希(LSH)方法是難以執(zhí)行的?；贐oF詞袋模型的圖像檢索，通過聚類 的方法將描述符量化為視覺詞匯，同時建立以視覺詞匯為索引的倒排索引系統(tǒng)。這樣的方 法不僅能進行高速的圖像檢索，在空間效率上也更優(yōu)于敏感哈希(LSH)方法。舉例說明，使 用20個哈希函數(shù)的LSH需要160字節(jié)的大小來表示一個描述符，而BoF詞袋模型只需要4字節(jié) 來存儲一個視覺詞匯。但基于BoF詞袋模型的圖像檢索也存在著問題，在描述符量化為視覺 詞匯的過程中很大程度上降低了局部特征的判別能力。并且聚類中心即視覺詞匯的數(shù)量k 難以確定。Jegou等人提出的用哈希二值編碼的方法為屬于同一視覺詞匯的描述符提供進 一步的劃分。但此方法采用了選取隨機投影構(gòu)成哈希函數(shù)的方法，并沒有解決相似性保留 問題?；诠６稻幋a的特征袋圖像檢索在性能和準(zhǔn)確率上有待進一步提高。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：本發(fā)明為了解決現(xiàn)有技術(shù)中的問題，提出了一種基于哈希二值編碼的 特征袋圖像檢索方法，從而有效解決基于哈希二值編碼的數(shù)據(jù)下，圖像的快速準(zhǔn)確檢索問 題。

【發(fā)明內(nèi)容】
[0005] :本發(fā)明公開了一種基于哈希二值編碼的特征袋圖像檢索方法，包含如 下步驟：
[0006] 對訓(xùn)練圖像數(shù)據(jù)集中所有圖像進行步驟1~步驟6的處理，對待檢索圖像執(zhí)行步驟 7；
[0007] 步驟1，提取訓(xùn)練圖像數(shù)據(jù)集中所有圖像的特征，采用K-Means算法聚類得到大小 為K的視覺詞匯表；
[0008] 步驟2,計算視覺詞匯表中每個視覺詞匯tf-idf權(quán)值；
[0009]步驟3,計算訓(xùn)練圖像數(shù)據(jù)集中所有圖像的每個特征相應(yīng)的視覺詞匯；
[0010]步驟4,在訓(xùn)練圖像數(shù)據(jù)集上建立一維倒排序索引；
[0011] 步驟5,分別從空間距離相似性與語義相似性兩方面學(xué)習(xí)得到特征二值編碼的投 影方向；
[0012] 步驟6,根據(jù)步驟5得到的投影方向，計算得到訓(xùn)練圖像數(shù)據(jù)集中所有圖像特征的 二值編碼；
[0013] 步驟7,輸入待檢索圖像，計算訓(xùn)練圖像數(shù)據(jù)集中圖像的得分s，根據(jù)得分s排序檢 索出與待檢索圖像最相近的圖像。
[00M] 其中，步驟1包括：
[0015]采用詞帶模型(Bag_of-Words，BoW)完成對圖像特征的向量化表達，先進行圖像特 征提取，對訓(xùn)練圖像數(shù)據(jù)集中的所有圖像提取尺度不變特征SIFT( Scale-Invariant Feature Transform)，每張圖像提取d條SIFT特征，每條特征128維，將此特征稱為局部特 征，每一條局部特征構(gòu)建一條特征向量，對得到的特征向量利用K-Means算法進行聚類，聚 類中心為K個，則每一個聚類中心即為一個視覺詞匯，所有的聚類中心構(gòu)成大小為K的視覺 詞匯表。
[0016] 步驟2包括:在訓(xùn)練圖像數(shù)據(jù)集中統(tǒng)計每個視覺詞匯出現(xiàn)的次數(shù)，通過視覺單詞的 頻度賦予每個視覺詞匯權(quán)值:較少出現(xiàn)的視覺詞匯被認(rèn)為有著更高的判別能力，則賦予較 高的權(quán)值;而經(jīng)常出現(xiàn)的視覺詞匯則賦予較低的權(quán)值。根據(jù)步驟1建立的視覺詞匯表，為每 個視覺詞匯計算權(quán)值，首先計算tf-idf (詞頻-逆文本頻率指數(shù))的值作為視覺詞匯的權(quán)值， 方法如下：Tf-idf (詞頻-逆文本頻率指數(shù)）實際上是：TF*IDF，TF詞頻（Term Frequency)， IDF逆向文件頻率（Inverse Document Frequency) JF表示視覺詞匯在訓(xùn)練集中出現(xiàn)的頻 率。包含視覺詞匯ti的數(shù)量越少，也就是數(shù)量m越小，IDF越大，則說明視覺詞匯ti具有很好 的類別區(qū)分能力。某一類圖像C中包含視覺詞匯七的個數(shù)為m，而其它類包含七的總數(shù)為h， 則所有包含ti的圖像數(shù)m=mi+ki，當(dāng)mi大的時候，ηι也大，按照IDF公式得到的IDF的值會小， 就說明該視覺詞匯ti類別區(qū)分能力不強。如果一個視覺詞匯在一個類的圖像中頻繁出現(xiàn)， 則說明該視覺詞匯能夠很好的代表這個類的圖像的特征，這樣的視覺詞匯應(yīng)該給它們賦予 較高的權(quán)重，并選來作為該類圖像的特征詞以區(qū)別與其它類圖像。詞頻(term frequency， TF)指的是某一個給定的視覺詞匯在該圖像中出現(xiàn)的頻率。這個數(shù)字是對詞數(shù)（term count)的歸一化，以防止它偏向長的文件。對訓(xùn)練集中每個視覺詞匯的詞頻（Term Frequency)和IDF逆向文件頻率（Inverse Document Frequency)進行統(tǒng)計求和。
[0017] 步驟3包括：
[0018] 根據(jù)視覺詞匯表，采用歐式距離，使用最近鄰算法將訓(xùn)練圖像數(shù)據(jù)集中所有圖像 的局部特征分配給視覺詞匯中最相近的視覺詞匯。
[0019] 步驟4包括：
[0020]倒排序索引需要根據(jù)屬性的值來查找記錄，索引表中的每一項都包括一個屬性值 和具有該屬性值的各記錄的地址，由屬性值來確定記錄的位置，根據(jù)步驟1建立的視覺詞匯 表，對提取到的特征建立索引系統(tǒng)，索引的每一項對應(yīng)于SIFT (Seal e-Invariant Feature T r a n s f o rm)特征構(gòu)成的視覺詞匯表中的一個視覺詞匯。給定一個訓(xùn)練圖像總數(shù)為N的訓(xùn)練 圖像數(shù)據(jù)集代表訓(xùn)練圖像數(shù)據(jù)集中的第i張訓(xùn)練圖像，每張訓(xùn)練圖像包含一 個由SIFT算法提取到的局部特征集合{AV}^，Xj表示訓(xùn)練圖像的第j個局部特征，d是局部特 征的數(shù)量，將大小為K的視覺詞匯表記為彳'：^，A表示第ji個視覺詞匯，則一維倒排序索 弓丨表示為見=取為，…-IM，在R中，每個項包含一列已索引的特征，并存儲著由步驟2計算 得到的圖像ID、TF值以及IDF的值。
[0021] 步驟5包括：
[0022]使用兩種方法學(xué)習(xí)二值編碼的投影方向，一種是基于空間距離相似性，另一種是 基于語義相似性，具體如下：
[0023]基于空間距離相似性的二值編碼學(xué)習(xí)算法步驟為：給定一組局部特征X=[X1， X2, . . .，Xn]，Xj代表第j個局部特征，待求的二值編碼為Z=[bl，b2, . . .，bn]，最小化相似特征 間的漢明距離，即目標(biāo)函數(shù)為：
[0024]
[0025] Subject to:
[0026] bgE{-l，l}g，
[0027]
[0028] 其中％ι?/2為相似度矩陣，qi，q2為索引下標(biāo)，表示矩陣的如行屯列位置的元素，采用 特征的歐式距離計算相似度矩K
[0029] 其中e定義為相似特征間的歐氏距離，心為對特征進行編碼所得到的第g位二值 編碼，約束1^的總和為0,表示每一位二值編碼平衡，即擁有相同的0和1的個數(shù)，引入拉普拉 斯矩陣L:
[0030]
[0031]
[0032]將最小化相似特征間的漢明距離的目標(biāo)函數(shù)轉(zhuǎn)化為：
[0033] Minimize:trace(ZTLZ)，
[0034] Subject to:bgE {-1，l}g，
[0035]其中traceO為矩陣的跡，Z為二值編碼bg所構(gòu)成的矩陣，
[0036] 松弛bge{-l，l}g約束，不再要求編碼的總和為〇,則最終目標(biāo)函數(shù)為：
[0037] Minimize: trace(PiTXLXTPi)，
[0038] 其中PiS待學(xué)習(xí)的投影方向，P/SPi的轉(zhuǎn)置矩陣，xTSx的轉(zhuǎn)置矩陣，L為對應(yīng)的拉 普拉斯矩陣，則學(xué)習(xí)到的投影方向Pi為XLX T不包含特征值0以外的最大t個特征值所對應(yīng)的 特征向量；
[0039] 計算步驟如下：
[0040] (1)計算拉普拉斯矩陣 A/,.ft = Ai.ft - ;
[0041] (2)計算矩陣 XTLX;
[0042] (3)計算矩陣XTLX的最大t個特征值所對應(yīng)的特征向量Pi。
[0043] 則丹即為所要求的投影方向。
[0044] 基于語義相似性的二值編碼學(xué)習(xí)算法步驟為：
[0045]定義優(yōu)化目標(biāo)函數(shù)J(H):
[0046]
[0047] 其中Η為優(yōu)化參數(shù)，H(Xj)表示特征Xj所對應(yīng)的二值編碼，e ￡表示特征~和 幻來自同一個標(biāo)簽類別，（義，七）￡，表示特征屬于同一視覺詞匯，（xu，x〇eD表示特 征x4PXj既不來自于同一個標(biāo)簽類別也不屬于同一個視覺詞匯，參數(shù)λ用以平衡給予相同標(biāo) 簽類別與相同視覺詞匯的相似二值編碼間的關(guān)系；
[0048] 通過定義關(guān)聯(lián)矩陣Α將目標(biāo)函數(shù)轉(zhuǎn)化為矩陣形式，關(guān)聯(lián)矩陣為：
[0049]
[0050] 根據(jù)該優(yōu)化目標(biāo)函數(shù)，給定一組局部特征X=[X1，X2, . . .，χη]，特征所屬的類別標(biāo) 簽集[tagi，tag2, . . .，tagn]，tagc為第c個局部特征對應(yīng)的類別標(biāo)簽，特征所屬的