本發(fā)明涉及一種網(wǎng)貸產(chǎn)品混合推薦方法，特別是涉及一種基于知識增強(qiáng)和圖transformer網(wǎng)絡(luò)的網(wǎng)貸產(chǎn)品混合推薦方法。

背景技術(shù)：

1、近年來，隨著社交網(wǎng)絡(luò)的蓬勃興起與無線數(shù)據(jù)接入移動設(shè)備的廣泛普及，人們已能即時(shí)共享豐富多彩的多媒體內(nèi)容，在現(xiàn)實(shí)生活中，推薦系統(tǒng)的身影無處不在，它決定了用戶在各大短視頻平臺上瀏覽的個性化視頻流，以及在各大電商網(wǎng)站中所引導(dǎo)用戶發(fā)現(xiàn)心儀的商品，甚至是在各大社交媒體上助力用戶結(jié)識志同道合的伙伴。

2、推薦系統(tǒng)通過智能匹配用戶與物品(如商品、論文等)之間構(gòu)建了一個錯綜復(fù)雜的用戶、物品關(guān)系網(wǎng)絡(luò)，并在此網(wǎng)絡(luò)中運(yùn)用復(fù)雜算法進(jìn)行精準(zhǔn)推理與推薦。

3、目前的推薦系統(tǒng)，往往是采用流行度算法和協(xié)同過濾算法，其中，流行度算法類似于各大新聞、微博熱榜等，根據(jù)日均頁面訪問量、獨(dú)立訪客、訪問次數(shù)或分享率等數(shù)據(jù)來按某種熱度排序來推薦給用戶，但是，該算法的顯著缺陷在于其推薦結(jié)果的單一化與同質(zhì)化傾向，未能充分考慮到用戶的個性化需求與偏好差異，難以實(shí)現(xiàn)精準(zhǔn)而獨(dú)特的個性化推薦體驗(yàn)。

4、協(xié)同過濾算法是一種基于用戶相似性的推薦方法，但是，該方法中，首先，數(shù)據(jù)稀疏性問題尤為突出，隨著用戶基數(shù)與數(shù)據(jù)量的急劇增長，用戶、物品交互矩陣中的未評分項(xiàng)(即缺失值)比例顯著增加，導(dǎo)致算法難以從有限的交互信息中全面捕捉用戶的真實(shí)偏好，進(jìn)而影響推薦效果；

5、其次，冷啟動問題也成為一大障礙，對于新加入的用戶或物品，由于缺乏足夠的歷史行為數(shù)據(jù)，協(xié)同過濾算法難以有效預(yù)測其偏好或吸引力，從而難以在短時(shí)間內(nèi)提供有價(jià)值的推薦。

6、再者，算法效率問題日益凸顯，在海量數(shù)據(jù)環(huán)境下，傳統(tǒng)的協(xié)同過濾算法計(jì)算復(fù)雜度急劇上升，導(dǎo)致推薦響應(yīng)速度變慢，用戶體驗(yàn)感較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對以上技術(shù)問題，提供一種基于知識增強(qiáng)和圖transformer網(wǎng)絡(luò)的網(wǎng)貸產(chǎn)品混合推薦方法，該基于知識增強(qiáng)和圖transformer網(wǎng)絡(luò)的網(wǎng)貸產(chǎn)品混合推薦方法，通過深度分析用戶行為數(shù)據(jù)，結(jié)合內(nèi)容分析、協(xié)同過濾等多種傳統(tǒng)算法的精髓，同時(shí)利用深度學(xué)習(xí)模型的強(qiáng)大學(xué)習(xí)能力，對用戶的潛在需求進(jìn)行深度挖掘與精準(zhǔn)預(yù)測，這一過程不僅提升了推薦結(jié)果的個性化程度與準(zhǔn)確性，還顯著增強(qiáng)了系統(tǒng)處理海量數(shù)據(jù)時(shí)的效率與穩(wěn)定性，有效克服了傳統(tǒng)方法在精度、數(shù)據(jù)稀疏性、冷啟動等方面的固有缺陷。

2、為此，本發(fā)明的技術(shù)方案是，一種基于知識增強(qiáng)和圖transformer網(wǎng)絡(luò)的網(wǎng)貸產(chǎn)品混合推薦方法，包括如下步驟：

3、步驟(1)：進(jìn)行用戶數(shù)據(jù)收集，通過用戶注冊時(shí)的基本信息、問卷調(diào)查等渠道，獲取用戶基本信息、持卡等級、知識背景，資產(chǎn)負(fù)債情況、收入情況、年交易總額、還款能力、信用評級等數(shù)據(jù)，用于構(gòu)建群體用戶畫像；

4、其中，用戶基本信息從用戶注冊時(shí)的實(shí)名綁卡的步驟中獲??；

5、持卡等級、知識背景，資產(chǎn)負(fù)債情況、收入情況、年交易總額、還款能力、信用評級從用戶注冊時(shí)填寫的風(fēng)險(xiǎn)評測問卷中獲取；

6、步驟(2)：對用戶數(shù)據(jù)預(yù)處理，將用戶屬性按照實(shí)際情況劃分等級，對每個等級賦予對應(yīng)的分?jǐn)?shù)；

7、步驟(3)：構(gòu)建群體用戶畫像，將群體用戶分為k個類進(jìn)行高斯混合聚類，類個數(shù)k由用戶信用類型和還款能力乘積所決定；

8、步驟(4)：設(shè)置每個用戶群體的默認(rèn)推薦列表，即s1′ij表示用戶群體i對第j個網(wǎng)貸產(chǎn)品的推薦分?jǐn)?shù)，最終完成構(gòu)建基于群體用戶畫像的推薦列表；

9、步驟(5)：進(jìn)行流行度的計(jì)算，根據(jù)用戶集u、產(chǎn)品集i、用戶對產(chǎn)品的歷史行為，按照時(shí)間順序構(gòu)建產(chǎn)品歷史行為集d＝{(uk,ik,tk,ok)|1≤k≤|d|}，其中，(uk,ik,tk,ok)表示用戶uk在tk時(shí)刻對產(chǎn)品ik執(zhí)行了操作ok；

10、計(jì)算每個產(chǎn)品i當(dāng)前時(shí)刻t的流行度，其公式如下：

11、

12、其中，qi表示產(chǎn)品的固定質(zhì)量評分，由產(chǎn)品自身屬性所決定；

13、w(ok)表示操作ok對該項(xiàng)目該次操作流行度權(quán)重因子；

14、α表示調(diào)節(jié)因子用來控制時(shí)間對流行度的敏感性，α越大，越接近當(dāng)前時(shí)間的操作對產(chǎn)品流行度的影響越大；

15、步驟(6)：構(gòu)建新用戶推薦列表，采用流行度結(jié)合步驟(4)中所得到的推薦分?jǐn)?shù)，進(jìn)行線性組合，其公式為：

16、s′ij＝βci+(1-β)s1′ij

17、其中，β表示權(quán)重因子；

18、根據(jù)總評分進(jìn)行排序，獲得排名前n個的產(chǎn)品作為新用戶的推薦結(jié)果，最終完成基于流行度的推薦算法的構(gòu)建；

19、步驟(7)：創(chuàng)建訓(xùn)練數(shù)據(jù)集，根據(jù)數(shù)據(jù)庫中的數(shù)據(jù)構(gòu)建用戶-產(chǎn)品多歷史行為交互圖gu＝(u,v,eu)，知識圖中包含了多種異構(gòu)關(guān)系，其中，每條邊e′ij表示在操作類型k下，用戶ui對產(chǎn)品vj的操作；

20、構(gòu)建產(chǎn)品-產(chǎn)品關(guān)系的知識圖gv＝(v,ev)；

21、在gv中，邊erjj表示兩個實(shí)體相連以及其元數(shù)據(jù)之間的聯(lián)系；

22、步驟(8)：進(jìn)行特定類型行為圖特征學(xué)習(xí)，基于注意力的異構(gòu)消息聚合，采用自適應(yīng)多行為自注意網(wǎng)絡(luò)，增強(qiáng)全局行為上下文的消息傳遞范式，捕獲圖gu、gv上的用戶多行為模式；

23、自適應(yīng)多行為自注意網(wǎng)絡(luò)由時(shí)間上下文編碼模塊、信息傳播模塊和消息聚合模塊三部分組成；

24、通過時(shí)間上下文編碼模塊，采用時(shí)間上下文編碼方案，捕捉在時(shí)間感知場景中不同類型的用戶-產(chǎn)品交互之間的影響，將用戶與產(chǎn)品交互的歷史行為時(shí)間戳通過函數(shù)τ(*)映射到時(shí)隙中，然后利用三角函數(shù)進(jìn)行嵌入得到具體公式如下：

25、

26、其中，2l和2l+1分別表示時(shí)間信息嵌入中的元素索引，d表示維數(shù)；

27、通過信息傳播模塊，在用戶-產(chǎn)品行為交互圖gu上采用圖注意力機(jī)制，實(shí)現(xiàn)基于時(shí)間的信息傳播，執(zhí)行多跳，共h跳；

28、根據(jù)注意力機(jī)制，構(gòu)建對應(yīng)的即

29、由所有h跳實(shí)體組成通過多通道參數(shù)學(xué)習(xí)中的學(xué)習(xí)注意力變換矩陣，模型可以在消息傳遞過程中跨多元行為合并全局上下文，即，對中通道進(jìn)行加權(quán)計(jì)算，計(jì)算公式如下：

30、

31、根據(jù)注意力點(diǎn)積公式計(jì)算得到再經(jīng)過softmax運(yùn)算，獲取注意力傳播權(quán)重公式如下：

32、

33、該公式表示在第k種行為類型下，i對j的第h跳的權(quán)重；

34、將產(chǎn)品嵌入向量ej和時(shí)間上下文表示，按照公式逐元素相加得到pj，按照相同公式，得到用戶信息表示pi，消息傳播公式如下：

35、

36、和分別表示產(chǎn)品到用戶和用戶到產(chǎn)品的傳播消息，表示關(guān)于第k種行為類型的投影矩陣；

37、通過消息聚合模塊，基于所構(gòu)造的和通過求和操作對相鄰節(jié)點(diǎn)信息進(jìn)行聚合，再通過激活函數(shù)leakyrelu函數(shù)f(*)，公式如下：

38、

39、其中，ni，nj表示用戶節(jié)點(diǎn)ui和產(chǎn)品節(jié)點(diǎn)vj在用戶-產(chǎn)品多行為圖中的鄰居節(jié)點(diǎn)集合；

40、步驟(9)：采用多行為建模，采用圖注意力機(jī)制，進(jìn)行相互關(guān)系編碼，捕捉不同類型用戶行為之間的高階關(guān)系；

41、通過可擴(kuò)展的點(diǎn)積注意力更新不同類型行為之間的權(quán)重分?jǐn)?shù)公式如下：

42、

43、其中，表示可學(xué)習(xí)的第h-head子空間參數(shù)；

44、根據(jù)步驟8中所計(jì)算得到的特定行為向量進(jìn)行多頭注意力計(jì)算，第k類用戶行為的嵌入表示，公式如下：

45、

46、融合門控機(jī)制，為用戶i的不同類型用戶行為產(chǎn)品嵌入表示和不同類型產(chǎn)品關(guān)系計(jì)算重要性權(quán)重，分別是和計(jì)算公式如下：

47、

48、其中，f(*)是多層感知機(jī)網(wǎng)絡(luò)，其a0,b0,是權(quán)重參數(shù)，是偏置參數(shù)，σ(*)是softmax函數(shù)；

49、計(jì)算產(chǎn)品的表示φj，其公式如下：

50、

51、基于步驟8中已經(jīng)定義的消息傳播函數(shù)propagate和消息聚合函數(shù)aggregate，模型能夠捕獲到多行為上下文的高階協(xié)作關(guān)系，圖神經(jīng)網(wǎng)絡(luò)從第l層到第l+1層的更新過程公式如下：

52、

53、將不同層次的特征進(jìn)行融合，得到最終表示φj，用戶的最終表示φi計(jì)算同理；

54、最后，在為用戶和產(chǎn)品獲得最終表示φj后，將兩個最終表示作乘積輸入到多個全連接層中，獲得最終分?jǐn)?shù)prij；

55、對每個用戶隨機(jī)挑選s個正產(chǎn)品樣本和s個負(fù)產(chǎn)品樣本，進(jìn)行模型訓(xùn)練，同時(shí)，添加正則項(xiàng)λ是正則化因子，最終損失函數(shù)定義如下：

56、

57、最終完成基于知識增強(qiáng)的圖transfomer網(wǎng)絡(luò)模型的構(gòu)建；

58、步驟(10)：構(gòu)建老用戶推薦列表，從步驟5和步驟6中獲取產(chǎn)品流行度列表c＝{c1,c2,…}，計(jì)算每個產(chǎn)品的權(quán)重因子，計(jì)算公式如下：

59、

60、根據(jù)老用戶的群體畫像，獲取該用戶的產(chǎn)品默認(rèn)推薦列表評分s1′ij，將用戶信息和產(chǎn)品信息輸入已經(jīng)構(gòu)建好的圖transformer網(wǎng)絡(luò)模型中，獲取該用戶的推薦列表評分s2′ij；

61、最后，綜合考慮流行度、群體用戶畫像和模型預(yù)測結(jié)果，將三者進(jìn)行加權(quán)處理，α是權(quán)重調(diào)節(jié)因子，取分?jǐn)?shù)排名前n的產(chǎn)品進(jìn)行top-n推薦，最終預(yù)測分?jǐn)?shù)公式如下：

62、s′ij＝α*s1′ij+w(cj)*s2′ij

63、優(yōu)選地，步驟(2)中，包括如下步驟：

64、步驟(2-1)：設(shè)定用戶屬性集z,用戶屬性集z＝{z1,…,zn},每個屬性zi劃分若干等級l＝{l1,…,lm}，m由具體屬性決定，mi表示zi屬性含有mi個等級；

65、步驟(2-2)：按照等級賦予量化結(jié)果rij，量化結(jié)果rij表示用戶第i個屬性的第j個等級的量化分?jǐn)?shù)，最終使構(gòu)建的群體用戶畫像滿足需求，所有的量化結(jié)果保持方向統(tǒng)一。

66、優(yōu)選地，步驟(3)中，包括如下步驟：

67、步驟(3-1)：設(shè)定用戶集u＝{u1,…,un}，設(shè)置高斯混合成分個數(shù)k；

68、步驟(3-2)：初始化高斯混合分布的模型參數(shù){(αi,μi,σi)|1≤i≤k}；

69、步驟(3-3)：計(jì)算每個用戶屬于每個高斯模型的概率，即計(jì)算后驗(yàn)概率，其公式為：

70、

71、步驟(3-4)：計(jì)算每個高斯分布的(αi,μi,σi)，其公式如下：

72、計(jì)算新均值向量：

73、計(jì)算新協(xié)方差矩陣：

74、計(jì)算新混合系數(shù)：

75、步驟(3-5)：將高斯混合分布模型參數(shù)更新為{(α′i,μ′i,σ′i)|1≤i≤k}；

76、步驟(3-6)：計(jì)算數(shù)據(jù)uj符合每個高斯分布的概率，然后獲得之中最大的概率，數(shù)據(jù)uj就會被劃分到與之對應(yīng)的簇，最終獲得簇劃分c＝{c1,…,ck}；

77、步驟(3-7)：根據(jù)實(shí)際需求，構(gòu)建部分群體用戶畫像。

78、優(yōu)選地，步驟(4)中，設(shè)置每個用戶群體的默認(rèn)推薦列表采用專家推薦的方式進(jìn)行。

79、優(yōu)選地，上述網(wǎng)貸產(chǎn)品混合推薦方法所應(yīng)用的網(wǎng)貸產(chǎn)品混合推薦系統(tǒng)，由客戶端、推薦模型、數(shù)據(jù)源三部分組成，數(shù)據(jù)源包括用戶在各種介質(zhì)的行為埋點(diǎn)反饋數(shù)據(jù)以及用戶基本信息、產(chǎn)品基本信息、操作日志所產(chǎn)生的數(shù)據(jù)；

80、通過推薦模型，將用戶按照是否進(jìn)行過歷史活動分成新用戶和老用戶兩種類型，然后，能夠根據(jù)數(shù)據(jù)特征進(jìn)行算法模型構(gòu)建，集成多個推薦算法模型，最終將模型生成的推薦列表通過客戶端推送給用戶。

81、本發(fā)明的有益效果是：

82、1.該基于知識增強(qiáng)和圖transformer網(wǎng)絡(luò)的網(wǎng)貸產(chǎn)品混合推薦方法，通過深度分析用戶行為數(shù)據(jù)，結(jié)合內(nèi)容分析、協(xié)同過濾等多種傳統(tǒng)算法的精髓，同時(shí)利用深度學(xué)習(xí)模型的強(qiáng)大學(xué)習(xí)能力，對用戶的潛在需求進(jìn)行深度挖掘與精準(zhǔn)預(yù)測，這一過程不僅提升了推薦結(jié)果的個性化程度與準(zhǔn)確性，還顯著增強(qiáng)了系統(tǒng)處理海量數(shù)據(jù)時(shí)的效率與穩(wěn)定性，有效克服了傳統(tǒng)方法在精度、數(shù)據(jù)稀疏性、冷啟動等方面的固有缺陷；

83、同時(shí)，針對老用戶群體的推薦，構(gòu)建老用戶推薦列表，由于老用戶有較為豐富的貸款經(jīng)驗(yàn)和還款能力，因此，對老用戶的推薦應(yīng)該減少流行度的影響，避免推薦列表趨向同質(zhì)化，采用流行度降權(quán)，為老用戶進(jìn)行更多個性化推薦。

84、2.該混合推薦系統(tǒng)，通過引入深度學(xué)習(xí)技術(shù)中的圖神經(jīng)網(wǎng)絡(luò)技術(shù)和transformer技術(shù)，發(fā)現(xiàn)用戶行為記錄隱藏的潛在特征表示，捕獲用戶與用戶、用戶與項(xiàng)目、項(xiàng)目與項(xiàng)目之間的非線性關(guān)系的交互特征，提高網(wǎng)貸產(chǎn)品推薦系統(tǒng)的性能；

85、同時(shí)，采用基于知識增強(qiáng)的圖transform網(wǎng)絡(luò)，綜合考慮用戶-網(wǎng)貸產(chǎn)品和網(wǎng)貸產(chǎn)品-網(wǎng)貸產(chǎn)品之間的聯(lián)系，融合基于用戶畫像的推薦算法，對用戶進(jìn)行個性化推薦；

86、并且，通過采用高斯混合聚類技術(shù)，將用戶分類，為不同用戶群體打上特征標(biāo)記，構(gòu)建群體用戶畫像。隨后，基于已構(gòu)建的群體用戶畫像來向新用戶推薦個性化的網(wǎng)貸產(chǎn)品。