本發(fā)明屬于大語言模型增強的推薦,涉及深度學習模型、注意力機制等技術(shù),具體的說是一種基于大語言模型增強的物品方面級偏好解耦推薦方法。
背景技術(shù):
1、傳統(tǒng)的推薦方法利用用戶配置文件、物品屬性和用戶-物品歷史交互信息,學習用戶和物品的特征表示。其中,基于內(nèi)容的推薦方法僅利用物品的內(nèi)容特征等信息,結(jié)合用戶交互行為?、配置文件進行推薦,它通過計算特征向量之間的相似度向目標用戶推薦與其偏好內(nèi)容相似的物品,其數(shù)據(jù)處理繁瑣,數(shù)據(jù)利用單一,沒能充分挖掘用戶和物品的特征。協(xié)同過濾方法多數(shù)僅利用用戶-物品歷史交互數(shù)據(jù)來學習用戶和物品的特征表示,過度依賴協(xié)同信號,容易產(chǎn)生過擬合,且不具備良好的可解釋性。
2、為了克服上述局限,推薦系統(tǒng)引入輔助信息(如用戶社交信息、地理位置信息等)進一步豐富用戶和物品的特征表示。當下,隨著電商網(wǎng)站、社交媒體平臺等的興起,用戶線上消費行為頻率越來越高,范圍也越來越廣。與此同時,當用戶在消費完成后,部分用戶會根據(jù)自己的體驗給出相應(yīng)的評價和評分,其中評分數(shù)據(jù)具有高稀疏性,而評價文本中往往蘊含著對應(yīng)用戶的大量偏好信息,因此可以利用評論為用戶進行推薦。基于評論的推薦方法通過引入評論文本信息來輔助預(yù)測,其通常的做法是將評論文本表征成向量融入深度學習模型中。這一過程中存在兩個關(guān)鍵挑戰(zhàn):一是評論文本包含用戶的多重意圖,并且上述的處理方式將用戶多種意圖雜糅在一起,且容易引入噪聲,未加區(qū)分地整合用戶意圖可能會削弱推薦的準確性;二是利用深度學習模型進行推薦的可解釋性較差,特別是在揭示推薦邏輯及理解用戶的具體偏好方面。因此,開發(fā)既能有效利用評論信息又具備良好可解釋性的推薦算法成為當前研究的重要方向之一。
技術(shù)實現(xiàn)思路
1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處,提出一種基于大語言模型增強的物品方面級偏好解耦推薦方法,以期利用大語言模型強大的文本理解和推理能力,從用戶評論中抽取方面級偏好和意圖信號,同時借助注意力機制自適應(yīng)地學習意圖權(quán)重,從而能夠很好地解釋用戶選擇物品的真實意圖,最終在提高推薦的準確性的同時極大增強可解釋性,克服傳統(tǒng)深度學習模型的“黑盒”問題。
2、本發(fā)明為達到上述發(fā)明目的,采用如下技術(shù)方案:
3、本發(fā)明一種基于大語言模型增強的物品方面級偏好解耦推薦方法的特點在于,是按如下步驟進行:
4、步驟1、獲取用戶對物品的評分和評論數(shù)據(jù),得到用戶集和物品集,其中,表示第個用戶,表示用戶的數(shù)量;表示第個物品,表示物品數(shù)量;
5、構(gòu)建用戶-物品交互矩陣,其中,表示和之間的交互記錄,當對的評分為5分時,令,否則,令;
6、設(shè)置評論集,其中,表示的評論集,且,表示對的評論;
7、步驟2、將評論集輸入大語言模型中進行處理,從而獲取子方面偏好集和類別用戶意圖集;
8、步驟3、基于和gcn,學習在第種類別用戶意圖下的聚合嵌入以及在第種類別用戶意圖下的聚合嵌入;
9、步驟4、基于注意力機制,利用式(8)得到對在第種類別用戶意圖下的權(quán)重:
10、(8)
11、式(8)中,表示連接操作,表示激活函數(shù),表示sigmoid函數(shù),和表示2個不同的權(quán)重,和表示2個不同的偏置項;
12、步驟5、基于預(yù)測層,利用式(9)得到對的最終預(yù)測得分:
13、(9)
14、步驟6、利用式(10)建立由gcn、注意力機制、預(yù)測層組成的物品推薦網(wǎng)絡(luò)的損失函數(shù);
15、(10)
16、式(10)中,表示對的真實打分;表示對數(shù)似然函數(shù);表示正則化項,其中,表示正則化權(quán)重,表示物品推薦網(wǎng)絡(luò)的參數(shù);
17、步驟7、采用mini-batch?adam優(yōu)化算法對物品推薦網(wǎng)絡(luò)進行優(yōu)化求解,并計算損失函數(shù)以更新網(wǎng)絡(luò)參數(shù)直至收斂為止,從而得到最優(yōu)參數(shù)的物品推薦模型,用于從的候選物品列表中選取排名靠前的個物品作為的推薦列表。
18、本發(fā)明所述的基于大語言模型增強的物品方面級偏好解耦推薦方法的特點也在于,所述步驟2是按如下步驟進行:
19、步驟2.1、將輸入大語言模型中,并利用式(1)得到方面偏好集:
20、?(1)
21、式(1)中,?表示的方面偏好集,且,表示在第個方面偏好的提及頻率下對的方面偏好;,表示各方面偏好的頻率集;表示方面偏好的總數(shù);表示設(shè)置的語義提取提示詞;
22、步驟2.2、按照,對中的方面偏好進行降序排序,從而選取前個方面偏好作為的子方面偏好集,從而得到子方面偏好集,且,表示中提取出的前個方面偏好,且,表示中第個方面偏好;
23、步驟2.3、基于評論集和子方面偏好集,利用式(2)得到用戶意圖集:
24、(2)
25、式(3)中,表示設(shè)置的意圖推理提示詞;
26、步驟2.4、基于用戶意圖集,將所有用戶相同的用戶意圖聚集到一起,形成類別用戶意圖集,表示匯聚后的第種類別用戶意圖集合,。
27、進一步的,所述步驟3是按如下步驟進行:
28、步驟3.1、根據(jù),利用式(3)解耦用戶-物品交互矩陣,得到子意圖交互矩陣:
29、(3)
30、式(3)中,表示第種類別用戶意圖的子意圖交互矩陣;表示映射函數(shù);表示與的交互映射到第種類別用戶意圖下的交互強度;
31、步驟3.2、初始化在第種類別用戶意圖下的第層嵌入和在第種類別用戶意圖下的第層嵌入,從而得到的第層嵌入和的第層嵌入,表示嵌入維度;
32、步驟3.3、將輸入到gcn中進行圖卷積操作,利用式(5)得到在第種類別用戶意圖下的第層嵌入和在第種類別用戶意圖下的第層嵌入:
33、(5)
34、式(5)中,表示在第種類別用戶意圖下與交互的物品集,表示在第種類別用戶意圖下與交互的用戶集;
35、步驟3.4、利用式(6)得到在第種類別用戶意圖下的聚合嵌入和在第種類別用戶意圖下的聚合嵌入:
36、(6)
37、式(6)中,表示gcn的總層數(shù);
38、步驟3.5、利用式(7)得到對在第種類別用戶意圖下的預(yù)測得分:
39、?(7)
40、式(7)中,表示轉(zhuǎn)置。
41、本發(fā)明一種電子設(shè)備,包括存儲器以及處理器的特點在于,所述存儲器用于存儲支持處理器執(zhí)行所述物品方面級偏好解耦推薦方法的程序,所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。
42、本發(fā)明一種計算機可讀存儲介質(zhì),計算機可讀存儲介質(zhì)上存儲有計算機程序的特點在于,所述計算機程序被處理器運行時執(zhí)行所述物品方面級偏好解耦推薦方法的步驟。
43、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果在于:
44、1、本發(fā)明利用提示學習,為大語言模型設(shè)計了兩種prompt,一方面在上下文語境中學習更豐富的語義關(guān)系,過濾噪聲對推薦效果的影響,另一方面提取了文本關(guān)鍵信息,同時避免了推薦模型對長文本的復(fù)雜處理,降低了推薦模型的訓練難度。
45、2、本發(fā)明利用了大語言模型的強大的自然語言理解能力和卓越的知識推理能力,從用戶對物品的評論信息中提取方面級偏好,進而提取用戶意圖,實現(xiàn)了對用戶交互行為的細粒度語義理解,從而獲得具有高質(zhì)量的語義特征,進而提高了下游推薦任務(wù)的準確性和可靠性。
46、3、本發(fā)明利用gcn學習用戶在多個意圖下的交互行為模式的過程中,利用注意力機制自適應(yīng)融合不同意圖的預(yù)測得分,從而得到多種意圖的綜合預(yù)測得分,進而獲取推薦列表。多意圖自適應(yīng)融合機制幫助模型學習用戶真實的行為意圖,極大地提升了推薦模型的可解釋性。