結合語義與視覺信息的長查詢圖像檢索重排序算法
【專利摘要】本發(fā)明公開了一種結合語義與視覺信息的長查詢圖像檢索重排序方法，其特征是按如下步驟進行：1.輸入長查詢語句獲得初始返回列表；2.構建視覺詞典；3.將長查詢語句進行分割，提取視覺概念；4.由視覺概念分別獲得各自的初始返回列表；5.提取文本特征和視覺特征；6.建立概率模型；7.語義相關性估計；8.視覺相關性估計；9.結合語義與視覺的相關性估計；10.重排序獲得重排序結果。本發(fā)明能夠充分利用圖像特征信息，從而有效提高圖像檢索重排序的準確性。
【專利說明】結合語義與視覺信息的長查詢圖像檢索重排序算法

【技術領域】
[0001]本發(fā)明屬于信息檢索【技術領域】，具體地說是一種結合語義與視覺信息的長查詢圖像檢索重排序方法。

【背景技術】
[0002]21世紀是信息時代，伴隨著互聯(lián)網(wǎng)技術和網(wǎng)絡共享服務的發(fā)展，網(wǎng)絡上圖像數(shù)據(jù)呈幾何級數(shù)增長，圖像的檢索已經(jīng)成為人們?nèi)粘Ｉ钪斜夭豢缮俚牡囊豁椈顒?。隨著網(wǎng)絡用戶的檢索行為越來越精確，查詢詞變的越來越復雜，復雜的長查詢比簡單查詢能夠表達更加特定而且精確的信息。然而，現(xiàn)有的網(wǎng)絡搜索引擎對于長查詢所返回的檢索結果通常有著錯誤的排序。究其原因，主要是因為:首先，長查詢由多個概念組成，這就進一步擴大了文本查詢詞與視覺內(nèi)容之間的語義鴻溝。其次，由于長查詢正樣本的稀缺，導致基于模型的學習效果較差 。為了改善檢索的性能以提高用戶體驗和滿意度，在初始搜索結果上，結合圖像特征信息進行檢索結果重排序變成了一個熱門研究點。
[0003]一般而言，圖像的特征信息包括圖像的文本信息和圖像的視覺信息?，F(xiàn)有的web圖像搜索引擎，依賴于查詢語句和文本描述之間確切的文本匹配，搜索返回的結果很容易令用戶不滿意。目前，大多數(shù)圖像重排序算法采用視覺特征進行重排序，總結起來，可以分成下面兩類算法:基于偽相關反饋和基于圖的重排序。這兩類重排序方法都依賴視覺特征進行重排序。但是許多研究指出，只使用圖像視覺信息進行重排序不能取得令人滿意的結果。同時，在使用長查詢進行檢索時，初始檢索結果通常是不可靠的，即排在初始檢索結果前面的圖像與查詢詞相關性很低。


【發(fā)明內(nèi)容】

[0004]為了克服現(xiàn)有技術的不足，本發(fā)明提出一種結合語義與視覺信息的長查詢圖像檢索重排序算法，能夠充分利用圖像特征信息，從而有效提高圖像檢索重排序的準確性。
[0005]本發(fā)明為解決技術問題采用如下技術方案:
[0006]本發(fā)明一種結合語義與視覺信息的長查詢圖像檢索重排序算法的特點是按如下步驟進行:
[0007]步驟1、在搜索引擎上，輸入長查詢語句Q進行圖像檢索，返回若干個長查詢圖像，選取所述長查詢圖像中排序為前N的長查詢圖像，由所述前N個長查詢圖像構成初始返回列表X = (X1, X2,…，Xu,…，XN}，Xu表示在所述初始返回列表中第U個長查詢圖像,U表示所述長查詢圖像Xu在初始返回列表中的位置為第U個，U = O, I,…，N;
[0008]步驟2、利用爬蟲工具獲得唯一問答對，并利用詞性標注器收集所述唯一問答對中的動詞和名詞，并去除所述動詞和名詞里的停用詞，從而構建視覺詞典；
[0009]步驟3、利用分割工具對所述長查詢語句Q進行分割，獲得若干語句塊，并將每個語句塊與所述視覺詞典進行比較，選取包含有所述視覺詞典中的動詞或名詞的語句塊作為視覺概念；并由τ個視覺概念構成視覺概念集合C = {:q0，qi，…，qc，…，dH:} ;q。表示在所述視覺概念集合C中第c個視覺概念，c = O, I,…，τ -1 ;
[0010]步驟4、在搜索引擎上，分別對所述視覺概念集合C中的每個視覺概念進行圖像檢索，返回與每個視覺概念相對應的若干個視覺概念圖像，選取所述視覺概念圖像中排序為前L的視覺概念圖像，由所述前L個視覺概念圖像構成樣本集合D = {(X0 ；q0), (X1 ；
Ql)，…，(Xc >QC)，…，(乂 τ-1 > Q τ -l) I ;且乂O — (XN+1) XN+2,…，XN+L)，乂I — (XN+L+1, XN+L+2> …，XN+2L)，Xc — (XN+cL+l，XN+cL+2>...，XN+cL+ ζ )...，XN+(c+1)l)，X τ-1 — (XN+( τ -l)L+l> XN+( τ -l)L+2>...，XN+ τ l)，表不與所述第c個視覺概念q。相對應的視覺概念圖像集合；χΝ+&ζ表示以所述第c個視覺概念q。進行圖像檢索時所返回的第?個視覺概念圖像；
[0011]步驟5、對所述N個長查詢圖像分別提取文本特征和視覺特征，獲得長查詢文本特征集合 = I；,...,:?；,...，!；'[和長查詢視覺特征集合F=；
Ts:1 =KtlJ21--Jfj,--, tn >表示第u個長查詢圖像Xu的標簽列表，并由η個標簽構成，t μ表示第μ個標簽；fu表示第u個長查詢圖像Xu的視覺特征；
[0012]對所述樣本集合D提取視覺特征，分別獲得與所述前L個視覺概念圖像相對應的圖像視覺特征；由所述圖像視覺特征構成特征集合，…，，
^Xc — {/n+cL+I , /n+cL+2，…，fN+cL+?，…，}表示與所述第c個視覺概念q。相對應的視覺概念圖像集合X。所提取的視覺特征；fN+cl+i表示以所述第c個視覺概念q。進行圖像檢索時所返回的第?個視覺概念圖像％+&,相對應的圖像視覺特征；
[0013]步驟6、利用式⑴建立概率模型Score (Q，X,,):

【權利要求】
1.一種結合語義與視覺信息的長查詢圖像檢索重排序算法，其特征是按如下步驟進行: 步驟1、在搜索引擎上，輸入長查詢語句Q進行圖像檢索，返回若干個長查詢圖像，選取所述長查詢圖像中排序為前N的長查詢圖像，由所述前N個長查詢圖像構成初始返回列表X = (X1, X2,…，Xu,…，XN} ,Xu表示在所述初始返回列表中第U個長查詢圖像,U表示所述長查詢圖像Xu在初始返回列表中的位置為第U個，u = O, I, -,N ； 步驟2、利用爬蟲工具獲得唯一問答對，并利用詞性標注器收集所述唯一問答對中的動詞和名詞，并去除所述動詞和名詞里的停用詞，從而構建視覺詞典； 步驟3、利用分割工具對所述長查詢語句Q進行分割，獲得若干語句塊，并將每個語句塊與所述視覺詞典進行比較，選取包含有所述視覺詞典中的動詞或名詞的語句塊作為視覺概念；并由τ個視覺概念構成視覺概念集合C = {:q0，qi，…，q。，…，q^:} ;q。表示在所述視覺概念集合C中第c個視覺概念，c = O, I,…，τ -1 ; 步驟4、在搜索引擎上，分別對所述視覺概念集合C中的每個視覺概念進行圖像檢索，返回與每個視覺概念相對應的若干個視覺概念圖像，選取所述視覺概念圖像中排序為前L的視覺概念圖像，由所述前L個視覺概念圖像構成樣本集合D = {(X0 ；q0), (X1噸)，…，(Xc ；Qc)，…，(X τ-1 ;q τ-1) };且 Χ(| — (XN+1，XN+2> …，XN+L) ? — (XN+L+1> XN+L+2> …，XN+2L) ? —(XN+cL+l，XN+cL+2>...，XN+cL+ ζ )...，XN+(c+1)l) ,^t-1 — (XN+( τ -1)L+l) XN+( τ -l)L+2>...，XN+ τ l)，父。表不與所述第C個視覺概念q。相對應的視覺概念圖像集合；ΧΝ+&ζ表示以所述第c個視覺概念q。進行圖像檢索時所返回的第(個視覺概念圖像； 步驟5、對所述N個長查詢圖像分別提取文本特征和視覺特征，獲得長查詢文本特征集合τ和長查詢視覺特征集合f =化，f2,…，fu,…，fN}; Tχ? =< …Λ，.._ A >表示第u個長查詢圖像Xu的標簽列表，并由η個標簽構成，t,表示第μ個標簽；fu表示第u個長查詢圖像Xu的視覺特征； 對所述樣本集合D提取視覺特征，分別獲得與所述前L個視覺概念圖像相對應的圖像視覺特征；由所述圖像視覺特征構成特征集合&，…，F(xiàn)x ，F(xiàn)xc — {.1n+cLM 5/n+cL+2 5* *' 5 f.N+cl^" s /at+(c+1)Z.j表示與所述第c個視覺概念q。相對應的視覺概念圖像集合X。所提取的視覺特征；fN+cl+i表示以所述第C個視覺概念q。進行圖像檢索時所返回的第?個視覺概念圖像％+&,相對應的圖像視覺特征； 步驟6、利用式(I)建立概率模型Score (Q，χ,,):
式(I)中，P (q Lq)表示第C個視覺概念q。對于所述長查詢語句Q的重要程度，P (q。I xu)表示第c個視覺概念q。與所述第u個長查詢圖像Xu的關聯(lián)性； 步驟7、語義相關性估計: 步驟7.1、利用式(2)估計任意兩個視覺概念之間的語義相關性:
Sim (qi； qj) = Simc。(q” q」)X Simwd (qi； q」)X Simwiki (qi； q」) (2)式⑵中，Simco(qi)qj)表示任意兩個視覺概念％和q]之間的共發(fā)頻率相似度，i,j e O, I,..., τ-l，并有:
式(3)中，I表示所述搜索引擎上所有的圖像總數(shù)；Mqi)和f(q」)分別表示在所述搜索引擎上輸入視覺概念1和q]后分別返回的視覺概念圖像總數(shù)；f(qi，Qj)表示在所述搜索引擎上同時輸入視覺概念Qi和q]后返回的圖像總數(shù)； 式⑵中，Simwd(qi； qj)表示通過WordNet詞典工具獲得的任意兩個視覺概念Qi和q」之間的相似度，并有:
式(4)中，#(?)表示使用視覺概念q」在所述WordNet詞典中進行查詢后，返回的查詢結果中視覺概念Qi出現(xiàn)的次數(shù)-Mqj)表示使用視覺概念Qi在所述WordNet詞典中進行查詢后，返回的查詢結果中視覺概念q]出現(xiàn)的次數(shù)；#{wordsqj )ι?(/表示使用視覺概念q]在所述WordNet詞典中進行查詢后，返回的查詢結果的總字數(shù)；;表示使用視覺概念Qi在所述WordNet詞典中進行查詢后,返回的查詢結果的總字數(shù)； 式(2)中，Simwiki (?,?)表示通過維基百科獲得的任意兩個視覺概念％和9」之間的相似度，并有:
式(5)中，#(?)表示使用視覺概念％在所述維基百科中進行查詢后，返回的查詢結果中視覺概念Qi出現(xiàn)的次數(shù)-Mqj)表示使用視覺概念％在所述維基百科中進行查詢后，返回的查詢結果中視覺概念q]出現(xiàn)的次數(shù)；#卜油9] L表示使用視覺概念q]在所述維基百科中進行查詢后，返回的查詢結果的總字數(shù)；表示使用視覺概念％在所述維基百科中進行查詢后，返回的查詢結果的總字數(shù)； 步驟7.2、利用式(6)獲得所述長查詢語句Q與第c個視覺概念q。之間的語義相關性G(qc，Q):
步驟7.3、利用式(7)獲得第c個視覺概念q。與第u個長查詢圖像xu之間的相關性G (qc, xu):
式(7)中，\Τ j表示所述第u個長查詢圖像Xu的標簽列表1；的基數(shù)； 步驟8、視覺相關性估計: 步驟8.1、利用式(8)獲得所述長查詢語句Q與第c個視覺概念q。之間的視覺相關性V(qc, Q):
式(8)中，|X|表示所述初始返回列表X的基數(shù)；IXcJ表示所述與所述第C個視覺概念q。相對應的視覺概念圖像集合X。的基數(shù)；K(fN+cl+。fu)表示高斯相似函數(shù),并有:
K(fN+cL+ ζ, fu) = exp (-1 I fN+cL+ ζ-fuI 12/ δ 2) (9) 式(9)中，δ為尺度參數(shù)； 步驟8.2、利用式(10)將所述第c個視覺概念q。與第u個長查詢圖像Xu之間的視覺相關性V (q。，xu)進一步分解:
式(10)中:χω表示樣本集合D中任意一個視覺概念圖像； 步驟8.3、基于馬爾可夫隨機游走算法，將所述N個長查詢圖像和τ L個視覺概念圖像看做節(jié)點，建立對稱K近鄰圖；則通過式(11)獲得第Φ個節(jié)點和第Ψ個節(jié)點之間的連接權重W41 ψ:
式(11)中，NK (φ)表示通過歐式距離計算的第Ψ個節(jié)點的對稱K近鄰圖的索引集；Nk (ψ)表示通過歐式距離計算的第Φ個節(jié)點的對稱K近鄰圖的索引集；Φ、Ψ G (O, I,..., N+ τ L)； 用A表示一步轉移概率矩陣，所述一步轉移概率矩陣A中的元素Αωυ表示從第ω個節(jié)點轉移到第u個節(jié)點的概率，A_ = W_/2VW” ；則利用式(12)獲得從第ω個節(jié)點出發(fā)經(jīng)過s步轉移在第u個節(jié)點處的概率Pslci (xu| χω):
Pslo (χ」χω) = [As] ωυ (12) 利用式(13)獲得以所述任意一個視覺概念圖像χω為起點經(jīng)過s步停止在第u個長查詢圖像Xu處的條件概率Ptlls (χω |xu):
利用Pq(Xu) =Pq(Xv)，將式(13)改寫為:
步驟8.4、遍歷所述樣本集合D中的每一個視覺概念圖像，獲得任意一個視覺概念圖像Χω與第C個視覺概念q。之間的相關性分數(shù)P(CIcJxu):
步驟9:結合語義與視覺的相關性估計: 步驟9.1、利用式(6)和式(8)，獲得第c個視覺概念q。和長查詢語句Q之間的最終相關分數(shù)P (q。|Q):
P (qc Q) = αν (qc, Q) + (1- α ) G (qc, Q) (15) 式(12)中，α表示權衡語義與視覺對所述最終相關分數(shù)P(QcJQ)重要程度的參數(shù)，a e (O, I)； 步驟9.2、利用式(7)和式(10)，獲得第c個視覺概念q。和第u個長查詢圖像Xu之間的最終相關分數(shù)P (QcJxu):
P (qc I xu) = β V (qc, xu) + (1- β ) G (qc, xu) (16) 式(13)中，β表示權衡語義與視覺對所述最終相關分數(shù)P(QcJxu)重要程度的參數(shù)，β e (O, I)； 步驟10:根據(jù)式(I)所獲得的概率模型Score (Q, xu)對N個長查詢圖像集合X進行重排序，從而獲得所述N個長查詢圖像的重排序結果。
【文檔編號】G06F17/30GK104077419SQ201410346066
【公開日】2014年10月1日 申請日期:2014年7月18日 優(yōu)先權日:2014年7月18日
【發(fā)明者】洪日昌, 高鵬飛, 汪萌, 劉學亮, 郝世杰 申請人:合肥工業(yè)大學