基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)及方法
【專利摘要】本發(fā)明公開(kāi)了一種基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)及方法，該系統(tǒng)包括：特征提取模塊，用于對(duì)圖像進(jìn)行預(yù)處理，提取出每張圖像的局部特征；特征詞典生成模塊，用于從整個(gè)圖像數(shù)據(jù)庫(kù)中找出關(guān)鍵性特征，并組成一個(gè)詞典集合；頻率特征向量生成模塊，用于為每張圖像構(gòu)建一個(gè)特征向量；特征加權(quán)模塊，用于為詞典中每個(gè)關(guān)鍵特征生成權(quán)重，然后用該權(quán)重乘以頻率特征向量中對(duì)應(yīng)的分量，為每張圖像構(gòu)建出帶權(quán)特征向量；相似性度量模塊，用于計(jì)算兩張圖像之間的相似性；相關(guān)反饋模塊，用于讓用戶參與到檢索過(guò)程。實(shí)施本發(fā)明，提高了圖像檢索的效率和準(zhǔn)確性。
【專利說(shuō)明】基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)領(lǐng)域,具體涉及一種基于相關(guān)反饋和Bag-of-Features的圖像檢索方法。
【背景技術(shù)】
[0002]隨著信息科技的發(fā)展，各個(gè)領(lǐng)域各種圖像越來(lái)越多，如何從大量圖像數(shù)據(jù)中快速而準(zhǔn)確地檢索出相關(guān)圖像逐漸成為人們的關(guān)注熱點(diǎn)。近些年，在工業(yè)應(yīng)用界和學(xué)術(shù)研究界，大規(guī)模圖像檢索日益受到廣泛重視，不斷提出各種圖像檢索的方法，包括基于文本的圖像檢索、基于分類的圖像檢索等等。
[0003]基于文本的圖像檢索沿用了傳統(tǒng)文本檢索技術(shù)，回避對(duì)圖像可視化元素的分析，而是從圖像名稱、圖像尺寸、壓縮類型、作者、年代等方面標(biāo)引圖像，一般以關(guān)鍵詞來(lái)查詢圖像，或者是根據(jù)等級(jí)目錄的形式瀏覽查找特定類目下的圖像。另外，圖像所在頁(yè)面的主題、圖像的文件名稱、與圖像密切環(huán)繞的文字內(nèi)容、圖像鏈接地址等都被用作為圖像分析的一句，根據(jù)這些文本分析結(jié)果推斷其中圖像的特征。
[0004]基于分類的圖像檢索是一種利用圖像分類進(jìn)行檢索的技術(shù)。該技術(shù)需要對(duì)數(shù)據(jù)庫(kù)中的圖像進(jìn)行明確的分類，并為每個(gè)類別選取出最具代表性的一些圖像。用戶輸入一張查詢圖像時(shí)，系統(tǒng)將該圖像與數(shù)據(jù)庫(kù)中每個(gè)類別的代表圖像進(jìn)行相似度量，從而確定該查詢圖像所屬的類別，然后將該類別的所有圖像作為檢索結(jié)果返回給用戶。
[0005]基于文本的圖像檢索方法雖然方便快捷，根據(jù)關(guān)鍵字就可以快速查詢到所需圖像，但是該檢索方法完全脫離了圖像的可視化內(nèi)容，僅依靠與其關(guān)聯(lián)的關(guān)鍵字，需要預(yù)先為所有圖像進(jìn)行文本標(biāo)識(shí)，并且標(biāo)識(shí)的準(zhǔn)確性直接影響檢索的準(zhǔn)確性。而基于分類的圖像檢索方法依賴于數(shù)據(jù)庫(kù)中圖像的分類，目前并沒(méi)有準(zhǔn)確有效地分類各種圖像。這些傳統(tǒng)圖像檢索方法的弊端日益突出，人們亟待更新更有效地方法，關(guān)于圖像檢索方法的研究繼續(xù)前行。
[0006]由于傳統(tǒng)的圖像檢索方法存在各種弊端，已逐漸不能滿足人們的需求。人們提出了一種不同的解決方案:基于內(nèi)容的圖像檢索方法?；趦?nèi)容的圖像檢索是使用圖像的可視特征對(duì)圖像進(jìn)行檢索，它提取圖像的低層特征，包括顏色、形狀、紋理等，然后將查詢圖像的低層特征與數(shù)據(jù)庫(kù)中的特征進(jìn)行比較，找出與查詢特征相似的圖像返回給用戶。
[0007]基于內(nèi)容的圖像檢索方法雖然是脫離了圖像文本標(biāo)注，而對(duì)圖像的可視化內(nèi)容進(jìn)行檢索，但是該方法只是提取圖像的顏色、形狀、紋理等低層特征，無(wú)法表示圖像的高層語(yǔ)義內(nèi)容,因此檢索結(jié)果往往差強(qiáng)人意。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供了一種基于相關(guān)反饋和Bag-of-Features的圖像檢索方法，采用Bag-of-Features方式,將每一張圖像看作是一些局部特征的集合,并挑選出圖像庫(kù)中的關(guān)鍵特征，然后基于關(guān)鍵特征集合將每一張圖像表示成一個(gè)向量，這樣通過(guò)向量的比較來(lái)實(shí)現(xiàn)圖像檢索的目的，這種方式簡(jiǎn)潔有效。同時(shí)，為了兼顧圖像的高層語(yǔ)義，結(jié)合相關(guān)反饋的方法，讓用戶參與檢索的過(guò)程，用戶對(duì)每次檢索結(jié)果進(jìn)行正相關(guān)和負(fù)相關(guān)的標(biāo)示，系統(tǒng)根據(jù)用戶的反饋重新調(diào)整檢索參數(shù)，以此迭代，最終得到用戶滿意的檢索結(jié)果。
[0009]相應(yīng)的,本發(fā)明實(shí)施例提供了一種基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)，包括:
[0010]特征提取模塊，用于對(duì)圖像進(jìn)行預(yù)處理，提取出每張圖像的局部特征；
[0011]特征詞典生成模塊，用于從整個(gè)圖像數(shù)據(jù)庫(kù)中找出關(guān)鍵性特征，并組成一個(gè)詞典集合;
[0012]頻率特征向量生成模塊，用于為每張圖像構(gòu)建一個(gè)特征向量；
[0013]特征加權(quán)模塊，用于為詞典中每個(gè)關(guān)鍵特征生成權(quán)重，然后用該權(quán)重乘以頻率特征向量中對(duì)應(yīng)的分量，為每張圖像構(gòu)建出帶權(quán)特征向量；
[0014]相似性度量模塊，用于計(jì)算兩張圖像之間的相似性；
[0015]相關(guān)反饋模塊，用于讓用戶參與到檢索過(guò)程，在用戶輸入查詢條件后，檢索系統(tǒng)返回查詢結(jié)果，然后用戶對(duì)查詢結(jié)果進(jìn)行篩選，認(rèn)為有用的就標(biāo)識(shí)成正相關(guān)，無(wú)用的標(biāo)識(shí)成負(fù)相關(guān)，系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整查詢條件進(jìn)行檢索，以此循環(huán)，直到得到用戶滿意的結(jié)果。
[0016]相應(yīng)的,本發(fā)明實(shí)施例還提供了一種基于相關(guān)反饋和Bag-of-Features的圖像檢索方法，包括:
[0017]步驟一、對(duì)每張圖像進(jìn)行特征提取，找出局部特征，并將其用SIFT算子表示；
[0018]步驟二、將所有圖像的局部特征集合在一起,采用K-means聚類的方式,生成指定數(shù)量的關(guān)鍵特征，組成特征詞典；
[0019]步驟三、對(duì)每張圖像，依次將其每個(gè)局部特征分配給最近鄰的關(guān)鍵特征，表示關(guān)鍵特征的頻數(shù)，這樣基于特征詞典，可以為每張圖像生成一個(gè)頻率特征向量；
[0020]步驟四、統(tǒng)計(jì)出每個(gè)關(guān)鍵特征出現(xiàn)的圖像數(shù)，即在多少?gòu)垐D像中出現(xiàn)過(guò)，然后除以圖像總數(shù)，得到關(guān)鍵特征的IDF值，作為關(guān)鍵特征的權(quán)重；
[0021]步驟五、對(duì)每張圖像，將其特征向量中的每個(gè)分量乘以對(duì)應(yīng)關(guān)鍵特征的權(quán)重，得到帶權(quán)特征向量；
[0022]步驟六、算查詢圖像的向量與數(shù)據(jù)中圖像向量的相似性，并按相似程度從高到低的順序排序輸出；
[0023]步驟七、用戶檢查檢索結(jié)果，如果滿足要求，則結(jié)束；否則進(jìn)入步驟八；
[0024]步驟八、用戶對(duì)檢索結(jié)果不滿意，則對(duì)檢索結(jié)果進(jìn)行正相關(guān)和負(fù)相關(guān)的標(biāo)注，然后重新輸入給檢索系統(tǒng)；
[0025]步驟九、系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整檢索條件，進(jìn)入步驟六。
[0026]本發(fā)明具有如下有益效果，本發(fā)明是將Bag-of-Features和相關(guān)反饋兩種方式完美地結(jié)合在一起，提高了圖像檢索的效率和準(zhǔn)確性。首先采用Bag-of-Features方式，將圖像表示成特征的集合，進(jìn)而表示成一個(gè)特征向量，這種量化的方式使得圖像的表示和相似性計(jì)算變得方便簡(jiǎn)捷。同時(shí)，相關(guān)反饋的方式也讓用戶充分參與到檢索過(guò)程，避免了圖像高層語(yǔ)義的丟失。Bag-of-Features和相關(guān)反饋兩種方式的結(jié)合,大大簡(jiǎn)化了圖像的表示和相似性比較，同時(shí)也兼顧了圖像的低層可視化特征和高層語(yǔ)義內(nèi)容，使得圖像檢索更加簡(jiǎn)單、更加準(zhǔn)確。
【專利附圖】

【附圖說(shuō)明】
[0027]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0028]圖1是本發(fā)明實(shí)施例中的基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)結(jié)構(gòu)示意圖；
[0029]圖2是本發(fā)明實(shí)施例中的基于相關(guān)反饋和Bag-of-Features的圖像檢索方法流程圖。
【具體實(shí)施方式】
[0030]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0031]本發(fā)明提供了一種基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)及方法,采用Bag-of-Features方式,將每一張圖像看作是一些局部特征的集合,并挑選出圖像庫(kù)中的關(guān)鍵特征，然后基于關(guān)鍵特征集合將每一張圖像表示成一個(gè)向量，這樣通過(guò)向量的比較來(lái)實(shí)現(xiàn)圖像檢索的目的，這種方式簡(jiǎn)潔有效。同時(shí)，為了兼顧圖像的高層語(yǔ)義，結(jié)合相關(guān)反饋的方法，讓用戶參與檢索的過(guò)程，用戶對(duì)每次檢索結(jié)果進(jìn)行正相關(guān)和負(fù)相關(guān)的標(biāo)示，系統(tǒng)根據(jù)用戶的反饋重新調(diào)整檢索參數(shù)，以此迭代，最終得到用戶滿意的檢索結(jié)果。
[0032]圖1示出了本發(fā)明實(shí)施例中的基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng)，其主要包括特征提取模塊、特征詞典生成模塊、頻率特征向量生成模塊、特征加權(quán)模塊、相似性度量模塊、相關(guān)反饋模塊等。
[0033]特征提取模塊是對(duì)圖像進(jìn)行預(yù)處理，提取出每張圖像的局部特征，這樣每張圖像就可以表示成局部特征的集合，無(wú)需考慮局部特征的位置關(guān)系。同時(shí)，也需要將每個(gè)局部特征進(jìn)行量化表示，采用SIFT算子來(lái)提取局部特征并表示成128維的向量。
[0034]特征詞典生成模塊負(fù)責(zé)從整個(gè)圖像數(shù)據(jù)庫(kù)中找出關(guān)鍵性特征，并組成一個(gè)詞典集合。因?yàn)槊繌垐D像有很多局部特征，這樣整個(gè)數(shù)據(jù)庫(kù)中所有局部特征的數(shù)量非常龐大，因此需要采用K-means聚類的方式，找出具有代表性的特征，由這些關(guān)鍵特征組成一個(gè)特征詞單。
[0035]頻率特征向量生成模塊是為每張圖像構(gòu)建一個(gè)特征向量?；谔卣髟~典可以為每張圖像生成一個(gè)特征向量，向量的每個(gè)分量表示對(duì)應(yīng)關(guān)鍵特征的頻數(shù)。因?yàn)樵~典中的關(guān)鍵特征是通過(guò)聚類而來(lái)，因此在每張圖像中，不可能完全找到關(guān)鍵特征，我們將圖像中的局部特征分配給距離最近的關(guān)鍵特征，表示該關(guān)鍵特征出現(xiàn)一次。通過(guò)頻率特征向量生成模塊，每張圖像都用維數(shù)相同的向量進(jìn)行表示。
[0036]特征加權(quán)模塊是為詞典中每個(gè)關(guān)鍵特征生成權(quán)重，然后用該權(quán)重乘以頻率特征向量中對(duì)應(yīng)的分量，為每張圖像構(gòu)建出帶權(quán)特征向量。詞典中的每個(gè)關(guān)鍵特征在圖像庫(kù)中的重要性不同，可以采用IDF算法，計(jì)算出每個(gè)關(guān)鍵特征的IDF值，將其作為關(guān)鍵特征的權(quán)值。然后計(jì)算出每張圖像的帶權(quán)特征向量。
[0037]相似性度量模塊是計(jì)算兩張圖像之間的相似性。數(shù)據(jù)庫(kù)中的圖像都已經(jīng)用維數(shù)相同的向量量化表示，因此通過(guò)計(jì)算向量之間的距離來(lái)度量對(duì)應(yīng)圖像之間的相似性，按相似程度從高到低的順序進(jìn)行排序。
[0038]相關(guān)反饋模塊是讓用戶參與到檢索過(guò)程。用戶輸入查詢條件后，檢索系統(tǒng)返回查詢結(jié)果，然后用戶對(duì)查詢結(jié)果進(jìn)行篩選，認(rèn)為有用的就標(biāo)識(shí)成正相關(guān)，無(wú)用的標(biāo)識(shí)成負(fù)相關(guān)，系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整查詢條件進(jìn)行檢索，以此循環(huán)，直到得到用戶滿意的結(jié)果O
[0039]圖2示出了本發(fā)明實(shí)施例中的一種基于相關(guān)反饋和Bag-of-Features的圖像檢索方法流程圖，具體步驟如下:
[0040]第I步，對(duì)每張圖像進(jìn)行特征提取，找出局部特征，并將其用SIFT算子表示。
[0041]第2步,將所有圖像的局部特征集合在一起,采用K-means聚類的方式,生成指定數(shù)量的關(guān)鍵特征，組成特征詞典。
[0042]第3步，對(duì)每張圖像，依次將其每個(gè)局部特征分配給最近鄰的關(guān)鍵特征，表示關(guān)鍵特征的頻數(shù)。這樣基于特征詞典，可以為每張圖像生成一個(gè)頻率特征向量。
[0043]第4步，結(jié)合第3步，統(tǒng)計(jì)出每個(gè)關(guān)鍵特征出現(xiàn)的圖像數(shù)，即在多少?gòu)垐D像中出現(xiàn)過(guò)，然后除以圖像總數(shù)，得到關(guān)鍵特征的IDF值，作為關(guān)鍵特征的權(quán)重。
[0044]第5步，對(duì)每張圖像，將其特征向量中的每個(gè)分量乘以對(duì)應(yīng)關(guān)鍵特征的權(quán)重，得到帶權(quán)特征向量。
[0045]第6步，計(jì)算查詢圖像的向量與數(shù)據(jù)中圖像向量的相似性，并按相似程度從高到低的順序排序輸出。
[0046]第7步，用戶檢查檢索結(jié)果，如果滿足要求，則結(jié)束；否則進(jìn)入第8步。
[0047]第8步，用戶對(duì)檢索結(jié)果不滿意，則對(duì)檢索結(jié)果進(jìn)行正相關(guān)和負(fù)相關(guān)的標(biāo)注，然后重新輸入給檢索系統(tǒng)。
[0048]第9步，系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整檢索條件，進(jìn)入第6步。
[0049]綜上,本發(fā)明是將Bag-of-Features和相關(guān)反饋兩種方式完美地結(jié)合在一起,提高了圖像檢索的效率和準(zhǔn)確性。首先采用Bag-of-Features方式,將圖像表示成特征的集合，進(jìn)而表示成一個(gè)特征向量，這種量化的方式使得圖像的表示和相似性計(jì)算變得方便簡(jiǎn)捷。同時(shí)，相關(guān)反饋的方式也讓用戶充分參與到檢索過(guò)程，避免了圖像高層語(yǔ)義的丟失。Bag-of-Features和相關(guān)反饋兩種方式的結(jié)合,大大簡(jiǎn)化了圖像的表示和相似性比較，同時(shí)也兼顧了圖像的低層可視化特征和高層語(yǔ)義內(nèi)容，使得圖像檢索更加簡(jiǎn)單、更加準(zhǔn)確。
[0050]本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(ROM，Read Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，RandomAccess Memory)、磁盤或光盤等。
[0051]以上對(duì)本發(fā)明實(shí)施例所提供的基于相關(guān)反饋方式和Bag-of-Features的圖像檢索系統(tǒng)及方法進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【權(quán)利要求】
1.一種基于相關(guān)反饋和Bag-of-Features的圖像檢索系統(tǒng),其特征在于,包括: 特征提取模塊，用于對(duì)圖像進(jìn)行預(yù)處理，提取出每張圖像的局部特征； 特征詞典生成模塊，用于從整個(gè)圖像數(shù)據(jù)庫(kù)中找出關(guān)鍵性特征，并組成一個(gè)詞典集合； 頻率特征向量生成模塊，用于為每張圖像構(gòu)建一個(gè)特征向量； 特征加權(quán)模塊，用于為詞典中每個(gè)關(guān)鍵特征生成權(quán)重，然后用該權(quán)重乘以頻率特征向量中對(duì)應(yīng)的分量，為每張圖像構(gòu)建出帶權(quán)特征向量； 相似性度量模塊，用于計(jì)算兩張圖像之間的相似性； 相關(guān)反饋模塊，用于讓用戶參與到檢索過(guò)程，在用戶輸入查詢條件后，檢索系統(tǒng)返回查詢結(jié)果，然后用戶對(duì)查詢結(jié)果進(jìn)行篩選，認(rèn)為有用的就標(biāo)識(shí)成正相關(guān)，無(wú)用的標(biāo)識(shí)成負(fù)相關(guān)，系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整查詢條件進(jìn)行檢索，以此循環(huán)，直到得到用戶滿意的結(jié)果O
2.—種基于相關(guān)反饋和Bag-of-Features的圖像檢索方法,其特征在于,包括: 步驟一、對(duì)每張圖像進(jìn)行特征提取，找出局部特征，并將其用SIFT算子表示； 步驟二、將所有圖像的局部特征集合在一起，采用K-means聚類的方式，生成指定數(shù)量的關(guān)鍵特征，組成特征詞典； 步驟三、對(duì)每張圖像，依次將其每個(gè)局部特征分配給最近鄰的關(guān)鍵特征，表示關(guān)鍵特征的頻數(shù)，這樣基于特征詞典，可以為每張圖像生成一個(gè)頻率特征向量； 步驟四、統(tǒng)計(jì)出每個(gè)關(guān)鍵特征出現(xiàn)的圖像數(shù)，即在多少?gòu)垐D像中出現(xiàn)過(guò)，然后除以圖像總數(shù)，得到關(guān)鍵特征的IDF值，作為關(guān)鍵特征的權(quán)重； 步驟五、對(duì)每張圖像，將其特征向量中的每個(gè)分量乘以對(duì)應(yīng)關(guān)鍵特征的權(quán)重，得到帶權(quán)特征向量； 步驟六、算查詢圖像的向量與數(shù)據(jù)中圖像向量的相似性，并按相似程度從高到低的順序排序輸出； 步驟七、用戶檢查檢索結(jié)果，如果滿足要求，則結(jié)束；否則進(jìn)入步驟八； 步驟八、用戶對(duì)檢索結(jié)果不滿意，則對(duì)檢索結(jié)果進(jìn)行正相關(guān)和負(fù)相關(guān)的標(biāo)注，然后重新輸入給檢索系統(tǒng)； 步驟九、系統(tǒng)根據(jù)用戶的反饋，重新調(diào)整檢索條件，進(jìn)入步驟六。
【文檔編號(hào)】G06K9/46GK103440262SQ201310330706
【公開(kāi)日】2013年12月11日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】羅笑南, 姜濤, 肖劍 申請(qǐng)人:東莞中山大學(xué)研究院, 中山大學(xué)