基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法
【專利摘要】本發(fā)明涉及一種基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法，包括：建立訓(xùn)練樣本庫，提取樣本庫中圖像的顯著性區(qū)域圖，訓(xùn)練SVM分類器，測試圖像標(biāo)簽預(yù)處理，判斷測試圖像的類型，測試圖像標(biāo)簽排序。本發(fā)明融合相關(guān)性、視覺性、多特征等方法，不僅考慮了場景類圖像整幅圖像的不同特征，而且考慮了對象類圖像顯著圖的不同特征。在對圖像標(biāo)簽進行排序之前，對圖像標(biāo)簽的不正確性和標(biāo)簽的不全面性等問題進行改進，提高圖像標(biāo)簽與圖像內(nèi)容之間的相關(guān)度，以及圖像標(biāo)簽的準(zhǔn)確性和全面性；本發(fā)明不僅考慮了圖像視覺特征之間的相似度，而且考慮了標(biāo)簽文本之間的語義相似度，使圖像標(biāo)簽的排序更準(zhǔn)確。
【專利說明】基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于互聯(lián)網(wǎng)社群圖像標(biāo)簽處理領(lǐng)域，涉及一種利用現(xiàn)有數(shù)據(jù)庫(NS-WIDE)圖像與對應(yīng)的標(biāo)簽列表基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是web2.0的快速發(fā)展，我們步入了信息化時代。同時社交網(wǎng)絡(luò)的數(shù)量也在不斷增多，而其中最具代表性的社交媒體網(wǎng)站有Facebook，Google的視頻分享網(wǎng)站YouTube以及Yahoo的社交圖像分享網(wǎng)站Flicker。這一類的社交網(wǎng)站都允許網(wǎng)絡(luò)用戶自行上傳圖像或者視頻，用戶可以通過關(guān)鍵字對圖像的內(nèi)容、時間、地點等信息進行標(biāo)注，這些標(biāo)注的信息被稱為“標(biāo)簽(Tag)”，而為媒體添加關(guān)鍵字標(biāo)簽的過程被稱為“Tagging”。由于大部分網(wǎng)絡(luò)用戶沒有受過專門的媒體信息標(biāo)注訓(xùn)練，同時也受到其個人的文化背景、個人因素等影響，故圖像存在標(biāo)注信息與圖像本身相關(guān)度不大等問題，并且標(biāo)簽的相關(guān)性、重要性等方面不能夠由現(xiàn)有的標(biāo)簽次序所反映。
[0003]為解決這個問題，近些年來大量的學(xué)者對此問題進行了研究，目前已有的對圖像標(biāo)簽排序辦法大致可以分為兩類:一、基于全局特征的標(biāo)簽處理辦法，即利用圖像的全局特征對標(biāo)簽進行處理。二、利用顯著圖特征進行圖像標(biāo)簽排序處理，此種方法首先必須從各圖像提取相應(yīng)的顯著圖，然后利用圖像顯著圖特征找到k個最近鄰顯著圖像，最后使用這k個圖像的標(biāo)簽對目標(biāo)圖像的標(biāo)簽的相關(guān)性進行投票。上述兩類方法在很大程度上都將標(biāo)簽改善與標(biāo)簽排序分為兩個不同的研究內(nèi)容，故它們在標(biāo)簽排序的過程中很少對圖像標(biāo)簽本身做太多的處理，只是對圖像標(biāo)簽進行簡單的預(yù)處理。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)存在 的上述問題，本發(fā)明提出了一種基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法，在對圖像標(biāo)簽進行排序之前，對圖像標(biāo)簽的不正確性和標(biāo)簽的不全面性等問題進行改進，提高圖像標(biāo)簽與圖像內(nèi)容之間的相關(guān)度，以及圖像標(biāo)簽的準(zhǔn)確性和全面性；同時在圖像標(biāo)簽排序的過程中，將圖像劃分為場景類與對象類圖像，場景類圖像利用圖像的全局特征進行處理，對象類圖像利用圖像的顯著圖進行處理。
[0005]為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案:
[0006]步驟I，建立訓(xùn)練樣本庫。
[0007]利用現(xiàn)有的數(shù)據(jù)庫NS-WIDE中的圖像建立一個應(yīng)用于SVM線性分類器訓(xùn)練的樣本圖像庫，包括場景類圖像(Sense Image)和對象類圖像(Object Image)。
[0008]步驟2，提取樣本庫中圖像的顯著性區(qū)域圖。
[0009]利用現(xiàn)有的Itti模型原理方法，提取兩類圖像的顯著性區(qū)域圖。對象類和場景類圖像顯著圖分別為Object— SaliencyMap Q Q Q..?…,OJ和Sense_SaliencyMap (S1, S2, S3,……，Sj，其中，O、S分別表示對象類、場景類圖像集合，圖像樣本數(shù)目大小分別為m、n，Oi, Si分別表示對象類、場景類圖像集合中某一幅圖像。[0010]步驟3，訓(xùn)練SVM分類器。
[0011]步驟3.1，獲取顯著性區(qū)域圖的灰度直方圖特征。
[0012]任何一幅圖像的灰度直方圖都包含了豐富的信息，它表示一幅圖像灰度分布情況。本發(fā)明利用圖像灰度直方圖上述特點，分別提取對象類和場景類圖像的顯著性區(qū)域直方圖特征。
[0013]步驟3.2，訓(xùn)練SVM分類器。
[0014]兩類圖像的灰度直方圖具有明顯的區(qū)別，因此可以將對象類與場景類圖像作為SVM線性分類器的正負樣本，其對應(yīng)的灰度直方圖特征向量0Bw_f、SBw_f作為SVM分類器的輸入特征向量。通過SVM線性分類器訓(xùn)練得到一個線性分類器，其權(quán)重與偏置分別為
Weight = {Weighty Weight2、Weight3......WeightJ、Bias，其中，n 的大小等于灰度直方圖
特征向量的維數(shù)。
[0015]步驟4，對測試圖像標(biāo)簽進行預(yù)處理。
[0016]首先讀取數(shù)據(jù)庫NS-WIDE中的任意一張圖像作為測試圖像(TestImage)，并獲取其對應(yīng)的標(biāo)簽數(shù)據(jù)信息，接著對拼寫錯誤標(biāo)簽進行過濾，然后利用知識庫WordNet對測試圖像標(biāo)簽進行擴充，其中知識庫WordNet將英語的名詞、動詞、形容詞和副詞組織為synsets,每一個synset表示一個基本的詞匯概念，并在這些概念之間建立了包括同義關(guān)系(synonymy )、反義關(guān)系(antonymy )、上下位關(guān)系(hypernymy&hyponymy )、部分關(guān)系(meronymy)等多種語義關(guān)系，其中同義關(guān)系、上下位關(guān)系與圖像標(biāo)簽聯(lián)系更為緊密，故在本發(fā)明中使用同義關(guān)系和上下位關(guān)系。
[0017]步驟4.1，改善標(biāo)簽的不準(zhǔn)確性。
[0018]本發(fā)明中考慮的標(biāo)簽不準(zhǔn)確性為圖像標(biāo)簽的拼寫錯誤，鑒于知識庫WordNet涵蓋了大量的英語單詞，故在本發(fā)明中使用知識庫這一特點判定圖像標(biāo)簽單詞的正確性，首先讀取數(shù)據(jù)庫(NS-WIDE)中的任意一張圖像作為測試圖像，同時得到其對應(yīng)的標(biāo)簽，將標(biāo)簽與知識庫WordNet中的單詞一一匹配，如果在知識庫WordNet中找到與之匹配的標(biāo)簽，則默認單詞拼寫準(zhǔn)確，剔除未匹配到的圖像標(biāo)簽。
[0019]步驟4.2，對標(biāo)簽進行擴充處理。
[0020]讀取測試圖像對應(yīng)的標(biāo)簽數(shù)據(jù)信息，其標(biāo)簽集合用T = (T1, T2,......,TJ表示，
獲取標(biāo)簽集合T對應(yīng)知識庫WordNet中同義詞、上位詞、下位詞集合，擴充標(biāo)簽集合可用Extend = (Extend1, Extend2,..., ExtendJ表示，擴充后的標(biāo)簽集合用T_Extend,此集合包括了圖像原有標(biāo)簽信息及擴充的標(biāo)簽信息，其具體擴充過程可表示為:
[0021 ]
【權(quán)利要求】
1.基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法，其特征在于包括以下步驟: 步驟I，建立訓(xùn)練樣本庫； 利用現(xiàn)有的數(shù)據(jù)庫NS-WIDE中的圖像建立一個專門應(yīng)用于SVM線性分類器訓(xùn)練的樣本圖像庫，包括場景類圖像和對象類圖像； 步驟2，提取樣本庫中圖像的顯著性區(qū)域圖； 步驟2.1，獲取初級視覺特征； 利用現(xiàn)有的Itti模型原理方法，通過計算中央周邊差分采樣，分別得到亮度、顏色和方向特征圖N(I)、N(C)和N(O)，并將三種特征圖組合成顯著性區(qū)域圖S ； S= a *N(I) +請(C) +y*N(0) 其中，N( ?)為歸一化函數(shù)，a、P和Y分別代表亮度、顏色和方向特征圖的權(quán)值系數(shù)； 步驟2.2，基于人腦過濾冗余信息機制過濾冗余噪聲信息； 步驟2.3，通過禁止返回的檢測機制、就近轉(zhuǎn)移的原則和注意尺寸的確定實現(xiàn)焦點的注意和轉(zhuǎn)移； 步驟3，訓(xùn)練SVM分類器； 步驟3.1，獲取顯著性區(qū)域圖的灰度直方圖特征； 分別提取對象類和場景類圖像的顯著性區(qū)域直方圖特征Object_Bw_SaliencyMap (O1, O2, O3,…，Oj 和 Sense_Bw_SaliencyMap (S1, S2, S3,…，SrJ ;對象類、場景類圖像灰度直方圖特征向量分別為:
0Bw_f = {0Bw_f1, 0Bw_f2, 0Bw_f3,..., OBw^fi，..., 0Bw_fm}
SBw_f = {SBw_f1, SBw_f2, SBw_f3,..., SBw—f”..., SBw_fn} 其中，OBw.f,與SBw_fi分別為某幅對象類和場景類圖像的灰度直方圖特征向量； 步驟3.2，訓(xùn)練SVM分類器； 將對象類與場景類圖像作為SVM線性分類器的正負樣本，其對應(yīng)的灰度直方圖特征向量0Bw_f、SBw_f作為SVM分類器的輸入特征向量，通過SVM線性分類器訓(xùn)練得到一個線性分類器，其表達式為:

n
/ = Bw _f * Z Weightj + bias

1-1
其中,Bw_f=0Bw_f 或 SBw_f ；ffeight = (Weight1, Weight2,..., WeightJ 為分類器的權(quán)重，n為灰度直方圖的特征維數(shù)，bias為偏置； 步驟4，測試圖像標(biāo)簽預(yù)處理； 在對測試圖像標(biāo)簽排序之前，對測試圖像原有標(biāo)簽的不準(zhǔn)確性、不全面性進行預(yù)處理； 步驟5，判斷測試圖像的類型； 利用所述步驟2的方法提取測試圖像的顯著性區(qū)域圖，并提取顯著性區(qū)域圖的灰度直方圖特征；將此特征向量輸入SVM分類器，求出f的值，并根據(jù)f的值判斷測試圖像是場景類圖像還是對象類圖像；圖像類型的判別公式如下:
[1,.,電,/?丨]
J vpe -
l0,/e[?:,/^]其中，a:和Ppd 2和P2表示對象類、場景類圖像經(jīng)過SVM分類器分類取值范圍上、下限，a2< P2≤a j < 3 j ;Type表示圖像類型,Type=I表示測試圖像為對象類圖像,Type=O為場景類圖像； 步驟6，測試圖像標(biāo)簽排序； 根據(jù)圖像的類型選擇不同的標(biāo)簽投票方法，對于場景類圖像采用不同維數(shù)全局特征進行標(biāo)簽投票，對象類圖像采用測試圖像的顯著圖不同維數(shù)特征進行標(biāo)簽投票；然后對投票結(jié)果處理并進行排序。
2.根據(jù)權(quán)利要求1所述的基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法，其特征在于，所述步驟4對標(biāo)簽進行預(yù)處理還包括以下步驟: 步驟4.1，改善標(biāo)簽的不準(zhǔn)確性； 讀取樣本庫中的任意一張圖像作為測試圖像，圖像對應(yīng)的標(biāo)簽集合用T =(T1, T2,...，Ti,...，TJ表示，其中Ti表示測試圖像第i個標(biāo)簽，一個標(biāo)簽表示一個獨立的單詞，將標(biāo)簽集合T中每個標(biāo)簽與知識庫WordNet中的單詞進行匹配，如果在知識庫WordNet中找到與之匹配的標(biāo)簽，則默認單詞拼寫準(zhǔn)確；否則，認為單詞拼寫有誤，剔除該標(biāo)簽； 步驟4.2，改善標(biāo)簽的不全面性； 讀取測試圖像的標(biāo)簽數(shù)據(jù)信息，獲取標(biāo)簽集合對應(yīng)知識庫WordNet中同義詞集合，根據(jù)同義詞集合獲取知識庫WordNet中對應(yīng)的上位詞、下位詞集合；利用同義詞、上位詞、下位詞集合對測試圖像原有標(biāo)簽進行擴充； 步驟4.3,標(biāo)簽去噪； 利用知識庫WordNet擴充之后的同義詞、上位詞、下位詞標(biāo)簽集合，包含了一些非正常標(biāo)簽，比如，重復(fù)出現(xiàn)的標(biāo)簽，由多個單詞組成標(biāo)簽，這些標(biāo)簽就是噪聲標(biāo)簽；對擴充后的標(biāo)簽進行去噪處理，就是刪除這些噪聲標(biāo)簽。
3.根據(jù)權(quán)利要求1所述的基于WordNet語義相似度的多特征圖像標(biāo)簽排序方法，其特征在于，所述步驟6對圖像標(biāo)簽進行排序的方法還包括以下步驟: 步驟6.1，利用全局特征對場景類圖像標(biāo)簽進行投票； 對于場景類測試圖像，獲取其不同維數(shù)全局特征，例如64維的顏色直方圖、75維的邊緣方向直方圖、128維的小波紋理、144維的顏色相關(guān)圖、255維的基于5 X 5塊的顏色矩、500維的基于詞袋模型特征 F = (F1, F2, F3, F4, F5, FJ，用 F1^F2, F3、F4、F5、F6 分別表示 64D、75D、128D、144D、255D、500D特征，并利用上述特征獲取測試圖像的k個最近鄰圖像，k的取值與判定近鄰圖像的限制條件有關(guān)，判定近鄰圖像的限制條件范圍越大，k的取值越大；然后利用近鄰圖像標(biāo)簽對測試圖像每個標(biāo)簽進行投票，當(dāng)近鄰圖像標(biāo)簽與擴充標(biāo)簽相等時，票數(shù)增一； 步驟6.2，利用顯著特征對對象類圖像進行標(biāo)簽投票； 對于對象類圖像，利用基于Itti模型外接矩形框迭代方法獲得圖像的顯著圖及顯著圖不同維數(shù)的特征FS = (FS1, FS2, FS3, FS4, FS5, FS6I，并利用此特征獲取測試圖像的k個最近鄰顯著圖像，k的取值方法同所述步驟6.2 ;然后利用近鄰圖像的標(biāo)簽對測試圖像的標(biāo)簽進行標(biāo)簽投票，當(dāng)近鄰圖像標(biāo)簽與擴充標(biāo)簽相等時，票數(shù)增一； 步驟6.3，對測試圖像標(biāo)簽進行排序； 將測試圖像同一標(biāo)簽不同特征投票結(jié)果乘上一定權(quán)重并累加得到初步標(biāo)簽票數(shù)；接著將圖像原有標(biāo)簽、同義詞、上位詞、下位詞標(biāo)簽票數(shù)乘以不同比例得到進一步標(biāo)簽票數(shù)，并將此標(biāo)簽票數(shù)歸一化得到單個標(biāo)簽概率；然后根據(jù)經(jīng)驗值去除概率高或者低的標(biāo)簽信息，因為出現(xiàn)概率很高的標(biāo)簽往往它的表現(xiàn)能力很弱，出現(xiàn)概率很低的標(biāo)簽與圖像內(nèi)容之間的相關(guān)度很低；最后將圖像標(biāo)簽按照標(biāo)簽出現(xiàn)概率的大小進行排序即得到測試圖像標(biāo)簽排序結(jié)果 。
【文檔編號】G06K9/62GK103810274SQ201410049041
【公開日】2014年5月21日 申請日期:2014年2月12日 優(yōu)先權(quán)日:2014年2月12日
【發(fā)明者】劉宏哲, 袁家政, 吳焰樟, 王棚飛 申請人:北京聯(lián)合大學(xué)