技術(shù)編號(hào)：6523524
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及一種基于倒序索引的微博去重方法和系統(tǒng)。所述方法包括由模型訓(xùn)練模塊根據(jù)詞庫(kù)數(shù)據(jù)對(duì)文本進(jìn)行分詞；由simhash模塊根據(jù)分詞后的結(jié)果對(duì)文本進(jìn)行詞頻統(tǒng)計(jì)以將其轉(zhuǎn)換為N維向量，并且對(duì)所述N維向量進(jìn)行simhash運(yùn)算以便獲得f位的二進(jìn)制簽名；由去重運(yùn)算模塊執(zhí)行以下操作根據(jù)設(shè)定參數(shù)將所述f位的二進(jìn)制簽名分段，并依據(jù)分段結(jié)果建立倒序索引；根據(jù)所建立的倒序索引來(lái)分段檢索第一分段下的簽名集合，并計(jì)算所述第一分段中的對(duì)應(yīng)的海明距離；以及確定在所述第一分段中的所計(jì)算...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒(méi)有源代碼，用于學(xué)習(xí)研究技術(shù)思路。