專利名稱：一種基于多模態(tài)自適應(yīng)社會關(guān)系強(qiáng)度挖掘的社會搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體搜索領(lǐng)域，特別涉及一種基于多模態(tài)自適應(yīng)社會關(guān)系強(qiáng)度挖掘的社會搜索方法。
背景技術(shù)：
社會媒體(Social Media)已經(jīng)極大地改變了用戶分享和獲取信息的方式和習(xí)慣。在社會媒體服務(wù)中，用戶不可避免地與其他用戶交互構(gòu)成社區(qū)，即所謂的社會網(wǎng)絡(luò)。社會網(wǎng)絡(luò)中包括雙向的社會關(guān)系，如LinkedIn中的“關(guān)聯(lián)(Connect) ”和Facebook中的“加為好友(Add Friend) ”，以及單向的社會關(guān)系，如Twitter中的“跟隨(Follow) ”和Youtube中的“訂閱(Subscribe) ”。這些社會關(guān)系被認(rèn)為影響著用戶的行為以及社會網(wǎng)絡(luò)的動態(tài)發(fā)展。如，LinkedIn上的同事可以影響一個人工作上的選擇，F(xiàn)acebook上的好友則會影響一個人生活中的行為和需求。通過分析和挖掘這些社會關(guān)系可以促生很多重要的應(yīng)用，如病毒式營銷、協(xié)同推薦和協(xié)同信息搜索等等。以基于單向社會關(guān)系的多媒體協(xié)同搜索為例，其基本假設(shè)和出發(fā)點是通過分析對搜索用戶有影響關(guān)系的其他用戶的行為，可以預(yù)測搜索用戶的真實需求并調(diào)整搜索結(jié)果。目前針對社會關(guān)系挖掘的方法，主要集中于研究是否存在社會關(guān)系以及社會關(guān)系的強(qiáng)度預(yù)測。在很多問題中，二值化或者連續(xù)的社會關(guān)系并不能滿足應(yīng)用的需求。如在多媒體搜索問題中，對于不同的搜索詞，用戶之間的社會關(guān)系是不同的。假設(shè)用戶要為自己的蜜月旅行搜索“夏威夷”的照片，有旅游特長的好友會對他的幫助最大，我們希望他們之間的社會關(guān)系變強(qiáng)；而當(dāng)同一個用戶搜索“時裝秀”的照片時，則會希望對流行時尚有研究的好友能更多地影響搜索結(jié)果，即他們之間的社會關(guān)系變強(qiáng)。我們稱這種與問題相關(guān)的社會關(guān)系為自適應(yīng)的社會關(guān)系強(qiáng)度，并將在本發(fā)明中介紹一種基于多模態(tài)生成式模型的自適應(yīng)社會關(guān)系強(qiáng)度挖掘方法。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明的目的是提供根據(jù)挖掘出的自適應(yīng)的社會關(guān)系強(qiáng)度進(jìn)行圖片搜索，在用戶不同的需求時，可以自動得到來自不同用戶的協(xié)助，從而有助于理解和預(yù)測用戶真實的需求，進(jìn)而準(zhǔn)確定位符合用戶真實需求的搜索結(jié)果。( 二 )技術(shù)方案為解決上述技術(shù)問題，本發(fā)明提供了一種基于多模態(tài)自適應(yīng)社會關(guān)系強(qiáng)度挖掘的社會搜索方法，該方法包括步驟如下步驟1:收集用戶上傳的圖片信息以及與其有單向社會關(guān)系的用戶，每個用戶對應(yīng)一個由上傳圖像集合、圖像標(biāo)注集合和與其有單向社會關(guān)系的關(guān)系用戶集合組成的三元組；步驟2 :根據(jù)輸入的三元組，建立多模態(tài)概率生成式模型，將所述圖像集合中的圖片內(nèi)容和圖像標(biāo)注集合中的圖像標(biāo)注信息的生成過程進(jìn)行推斷；步驟3 :根據(jù)推斷結(jié)果計算用戶主題空間和用戶主題分布，計算用戶與用戶之間的主題敏感的社會關(guān)系強(qiáng)度；步驟4:根據(jù)所得到的用戶主題空間、用戶主題分布以及社會關(guān)系強(qiáng)度對搜索結(jié)果進(jìn)行排序。(三)有益效果本發(fā)明采用了多模態(tài)生成式模型，對觀測到的用戶社會網(wǎng)絡(luò)、用戶上傳圖像和提供標(biāo)注進(jìn)行反推，提出一種主題敏感的社會關(guān)系強(qiáng)度挖掘方法。該發(fā)明解決了社會關(guān)系強(qiáng)度在不同問題中自適應(yīng)調(diào)整的問題，其中同時考慮文本標(biāo)注數(shù)據(jù)和視覺圖像特征，可以較好地分析多媒體應(yīng)用中的社會關(guān)系強(qiáng)度；另外，通過該方法可以同時得到主題空間、用戶的主題分布以及用戶之間的關(guān)系在不同主題上的強(qiáng)度。


圖1為根據(jù)本發(fā)明的基于多模態(tài)生成式模型的自適應(yīng)社會關(guān)系強(qiáng)度挖掘方法的流程圖；圖2為根據(jù)本發(fā)明的多模態(tài)生成式主題模型的示意圖；圖3為根據(jù)本發(fā)明所提供的方法在Flickr數(shù)據(jù)集上的實施效果的示意圖；圖4為根據(jù)本發(fā)明所提供的方法在Flickr數(shù)據(jù)集上的實施效果的另一示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明作進(jìn)一步的詳細(xì)說明。本發(fā)明實現(xiàn)一種社會多媒體環(huán)境下主題敏感的社會關(guān)系強(qiáng)度分析的方法，可針對不同應(yīng)用，自適應(yīng)調(diào)節(jié)社會關(guān)系強(qiáng)度。相比現(xiàn)有的社會關(guān)系強(qiáng)度分析方法，一方面獲得主題敏感的社會關(guān)系強(qiáng)度，可自適應(yīng)根據(jù)問題進(jìn)行調(diào)節(jié)；另一方面，通過綜合考慮文本信息和視覺信息，可以更好地服務(wù)于多媒體應(yīng)用。圖1為根據(jù)本發(fā)明的基于多模態(tài)生成式模型的自適應(yīng)社會關(guān)系強(qiáng)度挖掘方法的流程圖。如圖1所示，本發(fā)明所提供的方法，包括如下步驟步驟1:輸入預(yù)處理步驟，即收集用戶上傳的圖片信息以及與其有單向社會關(guān)系的用戶，這里的單向社會關(guān)系指社會媒體分享網(wǎng)站中的有向社會行為，如Flickr中的聯(lián)系(contact)或Twitter中的跟隨(follow)。每個用戶對應(yīng)一個由與其具有單向社會關(guān)系的關(guān)系用戶集合、該用戶上傳的圖像集合和圖像標(biāo)注集合組成的三元組，其中圖像標(biāo)注指該用戶提供的描述圖像的原始標(biāo)簽(Tag)信息；步驟2 :多模態(tài)主題敏感社會關(guān)系挖掘步驟，即根據(jù)輸入的所述三元組，通過一種多模態(tài)生成式模型，將所述圖像集合中的圖片內(nèi)容和圖像標(biāo)注集合中的圖像標(biāo)注信息的生成過程反推進(jìn)行推斷，得到一個可以描述用戶興趣分布的主題空間和用戶主題分布；步驟3 :輸出參數(shù)計算步驟，即對得到的所述主題空間和所述用戶主題分布進(jìn)行計算，得到用戶與用戶之間的主題敏感的關(guān)系強(qiáng)度。下面對各步驟進(jìn)行詳細(xì)描述。下表給出了本發(fā)明所用到的關(guān)鍵符號列表及其對應(yīng)的描述。
權(quán)利要求
1.一種基于多模態(tài)自適應(yīng)社會關(guān)系強(qiáng)度挖掘的社會搜索方法，該方法包括步驟如下 步驟1:收集用戶上傳的圖片信息以及與其有單向社會關(guān)系的用戶，每個用戶對應(yīng)一個由上傳圖像集合、圖像標(biāo)注集合和與其有單向社會關(guān)系的關(guān)系用戶集合組成的三元組； 步驟2:根據(jù)輸入的三元組，建立多模態(tài)概率生成式模型，將所述圖像集合中的圖片內(nèi)容和圖像標(biāo)注集合中的圖像標(biāo)注信息的生成過程進(jìn)行推斷； 步驟3 :根據(jù)推斷結(jié)果計算用戶主題空間和用戶主題分布，計算用戶與用戶之間的主題敏感的社會關(guān)系強(qiáng)度； 步驟4:根據(jù)所得到的用戶主題空間、用戶主題分布以及社會關(guān)系強(qiáng)度對搜索結(jié)果進(jìn)行排序。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟I包括 步驟11 :對每個用戶U，根據(jù)其社會關(guān)系網(wǎng)絡(luò)采集與其有單向社會關(guān)系的用戶，組成集合Cu ； 步驟12 :對每個用戶U，采集其上傳的圖片，組成集合Du; 步驟13 :對每個用戶U，采集其對所上傳的圖片添加的標(biāo)注，組成集合Tu。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟2包括 步驟21 :建立主題敏感的多模態(tài)概率生成式模型，來模擬圖片和標(biāo)注的生成過程；其中通過設(shè)置隱變量來描述建立多模態(tài)概率生成式模型的過程；其中，所述隱變量包括開關(guān)隱變量S、主題記錄隱變量z和采樣用戶隱變量C，所述開關(guān)隱變量s表示標(biāo)注詞和圖像是用戶自發(fā)產(chǎn)生還是受關(guān)系用戶影響而產(chǎn)生的；所述主題記錄隱變量z表示采樣得到的主題；所述用戶隱變量c表示采樣得到的關(guān)系用戶； 步驟22 :求解所述多模態(tài)概率生成式模型，其中通過吉布斯采樣推斷得到所述隱變量的取值。
4.如權(quán)利要求3所述的方法，其特征在于，所述步驟3包括 步驟31 :根據(jù)所獲得的所述隱變量的值計算主題空間Φ和用戶主題分布Ω ； 步驟32 :根據(jù)所述主題空間Φ和用戶主題分布Ω計算用戶與用戶之間的主題敏感的社會關(guān)系強(qiáng)度Ψ。
5.如權(quán)利要求1所述的方法，其特征在于，所述步驟4包括 根據(jù)獲得的社會關(guān)系強(qiáng)度計算搜索到的圖片的相關(guān)性分?jǐn)?shù)，所述相關(guān)性分?jǐn)?shù)用于最終結(jié)果的排序，其中相關(guān)性分?jǐn)?shù)的計算公式如下
6.如權(quán)利要求5所述的方法，其特征在于，關(guān)系用戶Uml對用戶Um2的社會關(guān)系強(qiáng)度如下計算
7.如權(quán)利要求5所述的方法，其特征在于，所述對搜索用戶u而言圖片d與查詢詞q的相關(guān)性R(q，u, d)如下計算
8.如權(quán)利要求3所述的方法，其特征在于，所述主題敏感的多模態(tài)概率生成式模型包括標(biāo)注詞的生成過程和視覺描述子的生成過程，其中標(biāo)注詞的生成過程如下 首先從貝努利分布中采樣得到開關(guān)變量:sw Bernoulli ( λ )； 若sw = 0，則從用戶u的關(guān)系用戶集合中采樣得到一個關(guān)系用戶^ MultA7)從關(guān)系用戶<"的主題分布%中抽樣一個主題，記錄為變量, 若,=1，則從用戶u自己的主題分布Qu中采樣一個主題，記錄為變量二 從主題的標(biāo)注詞分布中采樣得到標(biāo)注詞wu, i ； 以同樣的方式進(jìn)行視覺描述子的生成過程，其中視覺描述子Vu, i從主題的視覺描述子分布①^中采樣產(chǎn)生。
9.如權(quán)利要求5所述的方法，其特征在于，所述對與搜索用戶u有單向社會關(guān)系的用戶c而言圖片d與查詢詞q的相關(guān)性R(q，c，d)通過圖片索引方法或距離度量方法計算得到。
全文摘要
本發(fā)明公開了一種基于多模態(tài)生成式模型的自適應(yīng)社會關(guān)系強(qiáng)度挖掘方法，是通過收集用戶上傳的圖片信息以及與其有社會關(guān)系的用戶，將每個用戶對應(yīng)一個由上傳圖像集合、圖像標(biāo)注集合和社會網(wǎng)絡(luò)組成的三元組；根據(jù)輸入的三元組，通過一種多模態(tài)生成式模型，將圖片內(nèi)容和標(biāo)注的生成過程反推進(jìn)行推斷，得到一個可以描述用戶興趣分布的主題空間和用戶的主題分布；對得到的主題空間和用戶主題分布進(jìn)行計算，得到用戶與用戶之間的主題敏感的關(guān)系強(qiáng)度，并用于自適應(yīng)的多媒體檢索等應(yīng)用。
文檔編號G06F17/30GK103020221SQ20121053590
公開日2013年4月3日 申請日期2012年12月12日 優(yōu)先權(quán)日2012年12月12日
發(fā)明者徐常勝, ?；w 申請人:中國科學(xué)院自動化研究所