本發(fā)明屬于計算機技術(shù)領(lǐng)域，涉及通過計算機來完成的信息推薦技術(shù)，尤其涉及基于分布式集群的推薦方法。

背景技術(shù)：

自十二五大數(shù)據(jù)戰(zhàn)略提出，面對信息化高度膨脹、海量數(shù)據(jù)的低價值密度行業(yè)背景，社交系統(tǒng)商業(yè)推薦面臨信息過載愈現(xiàn)突出。隨著云計算、人工智能與大數(shù)據(jù)的行業(yè)融合，基于社交網(wǎng)路的商業(yè)推薦應(yīng)用愈現(xiàn)重要，商業(yè)推薦系統(tǒng)的出現(xiàn)極大程度上緩解了數(shù)據(jù)冗余、信息過載難題。

但傳統(tǒng)單機的推薦算法運算能力有限，日益膨脹的網(wǎng)絡(luò)數(shù)據(jù)量逐漸超出傳統(tǒng)推薦算法的承受極限。隨著IDC分布式集群的深入化，基于分布式集群的推薦算法破除了傳統(tǒng)社交網(wǎng)絡(luò)推薦算法的運算瓶頸，大大提升商業(yè)推薦的計算性能。

如申請?zhí)枮镃N2011101256632的中國專利申請(發(fā)明人：邱飛、陳國慶)提出的一種基于云計算的推薦系統(tǒng)構(gòu)建方法。該方法首先構(gòu)建多個節(jié)點的Hadoop云平臺，然后采用MapReduce作為分布式并行計算模型，在Hadoop上構(gòu)建Mahout中間件，再根據(jù)業(yè)務(wù)需求定制Mahout算法庫，在Mahout中間件上實現(xiàn)傳統(tǒng)推進(jìn)算法、偽分布式推進(jìn)算法和分布式算法，最后根據(jù)用戶需求，通過設(shè)置Mahout算法庫中算法的相關(guān)參數(shù)大小或調(diào)用不同算法構(gòu)建推薦應(yīng)用框架。該方法將串行推薦算法與MapReduce結(jié)合實現(xiàn)并行算法，有效地提高了處理的效率，能完成單機下無法處理的大量數(shù)據(jù)，解決了傳統(tǒng)社交網(wǎng)絡(luò)推薦算法的運算瓶頸問題。

然而，不論是傳統(tǒng)社交網(wǎng)絡(luò)推薦算法，還是后來提出的基于云分布式集群的推薦算法，其設(shè)計基礎(chǔ)都基于相對理想化的網(wǎng)絡(luò)環(huán)境，而忽略了噪聲干擾對推薦結(jié)果的影響?，F(xiàn)實中，不可避免地會有用戶出于不正當(dāng)?shù)哪康模蒙缃痪W(wǎng)絡(luò)推薦的漏洞，采用批量植入虛假用戶等方法，達(dá)到低評分或高評分的惡意攻擊或虛假宣傳的目的。

例如電商平臺，其中也會存在大量的噪聲評分，而現(xiàn)有行業(yè)推薦的算法并未能將這一因素考慮在內(nèi)。其結(jié)果是虛假用戶的植入在很大程度上影響、阻礙物聯(lián)網(wǎng)社區(qū)用戶的購買可信度。

申請?zhí)枮?01510186307X的中國專利申請公開的基于協(xié)同過濾推薦算法的手機機型推薦方法中，提出了去除噪聲的概念，但是其給出的去除噪聲的方法基于正規(guī)手機均帶有唯一串號這一特點，將串號重復(fù)的山寨機做為噪聲排除在推薦目標(biāo)之外。其去除噪聲的方法不具有普遍適用性。

技術(shù)實現(xiàn)要素：

本發(fā)明目的是在上述現(xiàn)有商業(yè)化推薦結(jié)果受噪聲影響較大的現(xiàn)實背景下，提出一種基于分布式防噪聲干擾的社交網(wǎng)絡(luò)推薦策略，以實現(xiàn)更真實、更具有粘性的推薦系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種用于網(wǎng)絡(luò)推薦的防噪聲干擾方法，包括如下步驟：

步驟S1，獲取網(wǎng)絡(luò)服務(wù)器中用戶對商品的評分r_u，i；

步驟S2，甄別噪聲評分，并對噪聲評分進(jìn)行校正；

步驟S3，將經(jīng)過校正的評分r_u，i＝n_u，i用于推薦。

進(jìn)一步地，步驟S2所述甄別噪聲評分的方法為：設(shè)定最高評分閾值β和最低評分閾值γ，將r_u，i≥β_u或r_u，i≤γ_u的評分判斷為噪聲評分。

進(jìn)一步地，步驟S2所述對噪聲評分進(jìn)行校正的方法為：基于步驟S1獲取的用戶對商品的評分構(gòu)建觀測評分矩陣R＝[r₁，r₂，...，r_n]，r_u，i∈R，利用觀測評分矩陣R，通過協(xié)同過濾算法預(yù)測對商品給出噪聲評分的用戶對該商品的評分，將預(yù)測評分值作為校正評分。

本發(fā)明進(jìn)一步提出一種基于分布式防噪聲干擾的社交網(wǎng)絡(luò)推薦方法，包括如下步驟：

步驟S1，獲取網(wǎng)絡(luò)服務(wù)器中用戶對商品的評分r_u，i；

步驟S2，甄別其中的噪聲評分，并對其中的噪聲評分進(jìn)行校正；

步驟S3-1，將校正過噪聲評分的評分存儲于Hadoop分布式集群中；

步驟S3-2，Hadoop分布式集群將其存儲的評分分發(fā)至實時推薦集群中；

步驟S3-3，實時推薦集群判斷目標(biāo)用戶可能感興趣的商品，并推薦給目標(biāo)用戶。

進(jìn)一步地，步驟S2中甄別噪聲評分的方法為：設(shè)定最高評分閾值β和最低評分閾值γ，將r_u，i≥β_u或r_u，i≤γ_u的評分判斷為噪聲評分。

進(jìn)一步地，步驟S2中對噪聲評分進(jìn)行校正的方法為：基于步驟S1獲取的用戶對商品的評分構(gòu)建觀測評分矩陣R＝[r₁，r₂，...，r_n]，r_u，i∈R，利用觀測評分矩陣R，通過協(xié)同過濾算法預(yù)測對商品給出噪聲評分的用戶對該商品的評分，將預(yù)測評分值作為校正評分。

進(jìn)一步地，步驟S3-3中，采用非負(fù)矩陣分解算法對經(jīng)噪聲校正的評分矩陣進(jìn)行降維處理，采用協(xié)同過濾算法預(yù)測目標(biāo)用戶對商品的評分，根據(jù)預(yù)測評分判斷目標(biāo)用戶可能感興趣的商品。

本發(fā)明還提出一種基于分布式防噪聲干擾的社交網(wǎng)絡(luò)推薦系統(tǒng)，包括評分處理系統(tǒng)、Hadoop分布式集群、實時推薦集群，所述評分處理系統(tǒng)包括噪聲甄別系統(tǒng)、噪聲校正系統(tǒng)；

所述評分處理系統(tǒng)獲取網(wǎng)絡(luò)服務(wù)器中用戶對商品的評分r_u，i；

所述噪聲甄別系統(tǒng)甄別評分處理系統(tǒng)所獲取的評分中的噪聲評分；

所述噪聲校正系統(tǒng)對甄別的噪聲評分進(jìn)行校正；

所述評分處理系統(tǒng)將校正過噪聲評分的評分?jǐn)?shù)據(jù)存儲于Hadoop分布式集群中；

所述Hadoop分布式集群將其存儲的評分?jǐn)?shù)據(jù)分發(fā)至實時推薦集群中；

所述實時推薦集群根據(jù)評分?jǐn)?shù)據(jù)判斷目標(biāo)用戶可能感興趣的商品，并推薦給目標(biāo)用戶。

進(jìn)一步地，噪聲甄別系統(tǒng)中設(shè)定有最高評分閾值β和最低評分閾值γ，噪聲甄別系統(tǒng)將r_u，i≥β_u或r_u，i≤γ_u的評分判斷為噪聲評分。

進(jìn)一步地，噪聲校正系統(tǒng)基于評分處理系統(tǒng)獲取的用戶對商品的評分構(gòu)建觀測評分矩陣R＝[r₁，r₂，...,r_n]，r_u，i∈R，利用觀測評分矩陣R，通過協(xié)同過濾算法預(yù)測對商品給出噪聲評分的用戶對該商品的評分，將預(yù)測評分值作為校正評分。

本發(fā)明解決了商業(yè)推薦中噪聲干擾問題，很好的剔除大量作弊網(wǎng)絡(luò)評分提高推薦行業(yè)的置信度；并且與行業(yè)發(fā)展方向接軌，具有普適性，為商業(yè)推薦提供一致的方法論。

附圖說明

圖1為本發(fā)明防噪聲推薦系統(tǒng)服務(wù)器框架示意圖。

圖2為本發(fā)明防噪聲推薦系統(tǒng)原理框圖。

圖3為本發(fā)明噪聲甄別過程流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進(jìn)一步的解釋說明。

參照圖1，本發(fā)明提出的網(wǎng)絡(luò)推薦方法基于分布式集群實現(xiàn)，本發(fā)明將推薦系統(tǒng)完全構(gòu)建于分布式集群中，通過多臺服務(wù)器完成數(shù)據(jù)的計算過程，其計算能力具有巨大的擴展空間，尤其適于大數(shù)據(jù)背景下的網(wǎng)絡(luò)推薦。在本發(fā)明防噪聲的社交網(wǎng)絡(luò)推薦構(gòu)架中將清洗過的ETL商業(yè)數(shù)據(jù)存儲于Hadoop分布式集群中，將集群處理后的數(shù)據(jù)分發(fā)至實時推薦集群中供進(jìn)行處理完成對用戶的推薦。

參照圖2，本發(fā)明在傳統(tǒng)推薦方法中引入噪聲處理機制，在對于系統(tǒng)評分采用協(xié)同過濾算法進(jìn)行處理之前，先對系統(tǒng)評分逐一進(jìn)行噪聲甄別，篩選出其中的噪聲評分，并對噪聲評分進(jìn)行校正，最后將其中噪聲評分經(jīng)過校正的評分集用于推薦。

以下為實現(xiàn)噪聲甄別的技術(shù)說明

一、甄別噪聲干擾源機制

為甄別自然噪聲的評論干擾，我們將噪聲源分為、基于用戶評論的噪聲、基于商品的噪聲。下面分別給出技術(shù)定義。

基于用戶評分的噪聲甄別技術(shù)定義：

A、正向評價：給予商品過高評分；

B、平均水平：用戶給予一般評分；

C、偏激：給予極低評分；

D、跟風(fēng)：持續(xù)保持一貫風(fēng)格評分。

基于商品評分的噪聲甄別技術(shù)定義：

A、火熱化：被大量用戶給予高評分；

B、平均水平：一般評分；

C、偏激：不被大多數(shù)用戶接受；

D、遲疑性：懷有矛盾意見的評分。

二、噪聲甄別技術(shù)層框架：

1、本發(fā)明與傳統(tǒng)社交網(wǎng)絡(luò)推薦相比，引入惡意廣告甄別系統(tǒng)

2、并對含噪聲的評分進(jìn)行技術(shù)校正，將處理后的不含噪聲的評分采用協(xié)同過濾推薦框架進(jìn)行推薦；

3、本發(fā)明添加的防噪聲干擾系統(tǒng)采用非負(fù)矩陣分解策略，將超高維的系統(tǒng)評分降維至低維，并建立用戶無物品圖。

三、噪聲甄別技術(shù)實現(xiàn)層：

(1)模型轉(zhuǎn)換層：給定商業(yè)ETL數(shù)據(jù)的用戶集U及物品集合I，那么最原始的用戶商品矩陣R＝[r₁，r₂，...,r_n]，r_u，i∈R，為用戶u對物品i的評分?；诰仃嚪纸獾膮f(xié)同過濾模型旨在利用觀測評分矩陣R，構(gòu)造預(yù)測矩陣R＝PQ，顯然，R由兩個低秩的因子P,Q構(gòu)成，特征維數(shù)為f。其數(shù)學(xué)模型即最小化目標(biāo)函數(shù)使觀測矩陣與預(yù)測矩陣的最小方差最小，其目標(biāo)函數(shù)數(shù)學(xué)形式如下：

其中，b為評分線性偏置相，mu為常數(shù)校準(zhǔn)。

(2)用戶甄別系統(tǒng)數(shù)學(xué)定義：根據(jù)前述節(jié)一的甄別機制，給出用戶技術(shù)層數(shù)學(xué)定義：

(a).偏激集其中γ為最低評分閾值

(b).平均水平集：其中β為最高評分閾值

(c).正向集：

(3)用戶甄別系統(tǒng)技術(shù)實現(xiàn)層：

讀取評分值r_u，i，對比r_u，i和γ_u，若r_u，i≤γ_u，則將r_u，i置于集合Weak，若否，則對比r_u，i和β_u，若r_u，i≥β_u，將r_u，i置于集合Pos，若否，則將r_u，i置于集合Aver。如圖3所示。

(4)含噪聲評分系統(tǒng)實現(xiàn)層偽代碼：

本發(fā)明創(chuàng)造性地提出噪聲評分校正機制，而不是簡單粗暴地將判斷為噪聲的評分剔除，不僅有效消除噪聲對網(wǎng)絡(luò)推薦結(jié)果的影響，還進(jìn)一步避免了因為數(shù)據(jù)缺失而導(dǎo)致的結(jié)果失真，下面舉例說明本發(fā)明的防噪聲干擾的社交網(wǎng)絡(luò)推薦具體過程。

實施例1

步驟1，從網(wǎng)絡(luò)服務(wù)器獲取一組用戶u作為用戶集U，再獲取一組商品對象i作為商品集I，獲取用戶集U中各用戶u分別對商品集I中各商品i的評分r。

步驟2，根據(jù)獲取的評分r建立一個用戶-商品的評分矩陣R＝[r₁，r₂，...，r_n]，r_u，i∈R，為用戶u對物品i的評分。在該矩陣中，橫向排列的是同一用戶針對不同商品的評分，縱向排列的是不同用戶針對同一商品的評分，若用戶對某商品未評分，則取數(shù)值0。

步驟3，分別對用戶集U中各用戶u設(shè)置最高評分閾值β和最低評分閾值γ。

步驟4，逐一讀取評分值r_u，i，對比r_u，i和γ_u，若r_u，i≤γ_u，則將r_u，i置于集合Weak，若否，則對比r_u，i和β_u，若r_u，i≥β_u，將r_u，i置于集合Pos，若否，則將r_u，i置于集合Aver。

步驟5，通過下式逐一計算集合Weak和Pos中的評分的預(yù)測評分。

步驟6，以步驟5計算獲得的預(yù)測評分與集合Aver中的評分重新組成評分矩陣。

步驟7，基于步驟6的評分矩陣，通過下式逐一計算目標(biāo)用戶到其他用戶間的相似度。

式中，和分別表示用戶ui和uj在評分矩陣中所對應(yīng)的向量。

步驟8，選擇與目標(biāo)用戶相似度大于預(yù)設(shè)閾值的n個用戶，計算該n個用戶對同一商品的評分的平均值。

步驟9，將平均值最高的一個或幾個商品推薦給目標(biāo)用戶。

本實施例直接將評分矩陣中用戶對各商品的評分集作為一用戶特征向量。邏輯簡單直接，當(dāng)評分矩陣維數(shù)較低時，計算效率高。

實施例2

步驟1，從網(wǎng)絡(luò)服務(wù)器獲取一組用戶u作為用戶集U，再獲取一組商品對象i作為商品集I，獲取用戶集U中各用戶u分別對商品集I中各商品i的評分r。

步驟2，根據(jù)獲取的評分r建立一個用戶-商品的評分矩陣R＝[r₁，r₂，...，r_n]，r_u，i∈R，為用戶u對物品i的評分。在該矩陣中，橫向排列的是同一用戶針對不同商品的評分，縱向排列的是不同用戶針對同一商品的評分，若用戶對某商品未評分，則取數(shù)值0。

步驟3，分別對用戶集U中各用戶u設(shè)置最高評分閾值β和最低評分閾值γ。

步驟4，逐一讀取評分值r_u，i，對比r_u，i和γ_u，若r_u，i≤γ_u，則將r_u，i置于集合Weak，若否，則對比r_u，i和β_u，若r_u，i≥β_u，將r_u，i置于集合Pos，若否，則將r_u，i置于集合Aver。

步驟5，通過下式逐一計算集合Weak和Pos中的評分的預(yù)測評分。

步驟6，以步驟5計算獲得的預(yù)測評分與集合Aver中的評分重新組成評分矩陣。

步驟7，對步驟6的評分矩陣，采用非負(fù)矩陣分解算法進(jìn)行降維處理，獲得用戶特征向量。

步驟8，通過下式逐一計算目標(biāo)用戶到其他用戶間的相似度。

式中，和分別表示用戶ui和uj的特征向量。

步驟9，選擇與目標(biāo)用戶相似度大于預(yù)設(shè)閾值的n個用戶，計算該n個用戶對同一商品的評分的平均值。

步驟10，將平均值最高的一個或幾個商品推薦給目標(biāo)用戶。

本例在計算用戶相似度之前，先采用非負(fù)矩陣分解算法對評分矩陣進(jìn)行降維處理，當(dāng)評分矩陣維數(shù)高，數(shù)據(jù)量龐大時，效率提高顯著。

實施例3

步驟1，從網(wǎng)絡(luò)服務(wù)器獲取一組用戶u作為用戶集U，再獲取一組商品對象i作為商品集I，獲取用戶集U中各用戶u分別對商品集I中各商品i的評分r。

步驟2，根據(jù)獲取的評分r建立一個用戶-商品的評分矩陣R＝[r₁，r₂，...，r_n]，r_u，i∈R，為用戶u對物品i的評分。在該矩陣中，橫向排列的是同一用戶針對不同商品的評分，縱向排列的是不同用戶針對同一商品的評分，若用戶對某商品未評分，則以一預(yù)設(shè)值作為假定的評分，例如預(yù)設(shè)值取最高評分與最低評分的平均值。

步驟3，分別對用戶集U中各用戶u設(shè)置最高評分閾值β和最低評分閾值γ。

步驟4，逐一讀取評分值r_u，i，對比r_u，i和γ_u，若r_u，i≥γ_u，則將r_u，i置于集合Weak，若否，則對比r_u，i和β_u，若r_u，i≥β_u，將r_u，i置于集合Pos，若否，則將r_u，i置于集合Aver。

步驟5，通過下式逐一計算集合Weak和Pos中的評分的預(yù)測評分。

步驟6，以步驟5計算獲得的預(yù)測評分與集合Aver中的評分重新組成評分矩陣。

步驟7，對步驟6的評分矩陣，采用非負(fù)矩陣分解算法進(jìn)行降維處理，獲得用戶特征向量。

步驟8，通過下式逐一計算目標(biāo)用戶到其他用戶間的相似度。

式中，和分別表示用戶ui和uj的特征向量。

步驟9，選擇與目標(biāo)用戶相似度大于預(yù)設(shè)閾值的n個用戶，計算該n個用戶對同一商品的評分的平均值。

步驟10，將平均值最高的一個或幾個商品推薦給目標(biāo)用戶。

如果簡單地以0作為未評分用戶的假定評分，則會拉低平均評分，尤其對于評分總量較少的新的商品來說，預(yù)測的評分將失真嚴(yán)重，本實施例中，對此預(yù)設(shè)一個假定評分，例如最高分與最低分的平均值，可以避免因未評分導(dǎo)致的預(yù)測偏差。

以上三個實施例相對較為典型，然而在具體實踐過程中，實施者可以根據(jù)實際情況做出調(diào)整，以靈活應(yīng)用，例如：可以用基于商品相似度的預(yù)測評分算法替代上述實施例中的基于用戶相似度的預(yù)測評分算法。再例如，采用基于模型的評分預(yù)測方法預(yù)測評分，針對評分矩陣建立訓(xùn)練模型，采用交替最小二乘法對訓(xùn)練模型進(jìn)行處理。再例如，采用Pearson相似度算法替代以上實施例中的余弦相似度算法，等等。

本發(fā)明技術(shù)所具有的有益效果有如下幾點：

1.針對傳統(tǒng)商業(yè)推薦的噪聲難題的性能，部署分布式集群；

2.解決商業(yè)推薦中噪聲干擾，很好的剔除大量作弊網(wǎng)絡(luò)評分提高推薦行業(yè)的置信度；

3.與行業(yè)發(fā)展方向接軌，具有普適性，為商業(yè)推薦提供一致的方法論；

4.提出了具有創(chuàng)造性的方法甄別惡意評分。

本文中所描述的優(yōu)選實施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實施例做各種的修改或補充或采用類似的方式替代，但并不會偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。