本發(fā)明涉及數(shù)據(jù)處理，特別是涉及一種基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法。

背景技術(shù)：

1、隨著移動(dòng)互聯(lián)網(wǎng)快速發(fā)展，大量的商品和信息在網(wǎng)絡(luò)上進(jìn)行展示，用戶難以決定哪些商品和信息是有用的并挑選出自己喜歡的。推薦系統(tǒng)的出現(xiàn)解決了信息過(guò)載的問(wèn)題，它預(yù)測(cè)用戶對(duì)所有商品的評(píng)分或偏好，并根據(jù)歷史交互數(shù)據(jù)和公眾推薦用戶可能選擇的最有可能和相關(guān)的商品。推薦系統(tǒng)的意義分為兩個(gè)方面，從用戶角度：推薦系統(tǒng)解決在“信息過(guò)載”的情況下，用戶如何高效的獲得感興趣的信息的問(wèn)題。從公司角度：推薦系統(tǒng)解決產(chǎn)品能夠最大限度的吸引用戶、留存用戶、增加用戶黏性，從而達(dá)到公司營(yíng)收目的。

2、現(xiàn)有技術(shù)中商品推薦精度不是很高，需要用戶和商品之間進(jìn)行大量交互才能做出更準(zhǔn)確的推薦。交互很少甚至沒(méi)有交互的用戶和商品會(huì)影響推薦的準(zhǔn)確性。為了緩解數(shù)據(jù)稀疏問(wèn)題和冷啟動(dòng)問(wèn)題，多模態(tài)信息被引入推薦系統(tǒng)中。多模態(tài)推薦利用輔助多模態(tài)信息來(lái)補(bǔ)充歷史用戶和商品交互以提高推薦性能。多模態(tài)模型能夠表示和發(fā)現(xiàn)不同模態(tài)之間的隱藏關(guān)系，并可能恢復(fù)單模態(tài)方法和隱式交互無(wú)法捕獲的補(bǔ)充信息。然而，現(xiàn)有的多模態(tài)商品推薦系統(tǒng)雖然在個(gè)性化推薦和用戶體驗(yàn)上取得了顯著進(jìn)步，但仍存在一些問(wèn)題和挑戰(zhàn)：1.模態(tài)間的關(guān)聯(lián)學(xué)習(xí)不足：不同模態(tài)之間的關(guān)聯(lián)和交互學(xué)習(xí)對(duì)于理解用戶偏好至關(guān)重要，但由于不同模態(tài)的特征空間差異巨大，如何有效地整合和學(xué)習(xí)不同模態(tài)之間的信息成為關(guān)鍵。2.模態(tài)信息的不平衡：在某些情況下，一些模態(tài)的信息可能遠(yuǎn)多于其他模態(tài)，例如圖片信息會(huì)遠(yuǎn)多于文本信息。這導(dǎo)致了模態(tài)之間的不平衡，影響推薦結(jié)果的公正性和多樣性。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明的目的在于提供一種基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，以解決現(xiàn)有技術(shù)模態(tài)間的關(guān)聯(lián)學(xué)習(xí)不足、模態(tài)信息的不平衡的問(wèn)題。

2、一種基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，包括以下步驟：

3、步驟s1，讀取用戶和商品購(gòu)物數(shù)據(jù)庫(kù)，構(gòu)建用戶和商品的交互圖，在交互圖上采用多層lightgcn作為傳播函數(shù)，以捕獲高階連接，使用平均函數(shù)來(lái)合并每一層lightgcn的嵌入，得到用戶id嵌入和商品id嵌入；

4、步驟s2，讀取商品購(gòu)物數(shù)據(jù)庫(kù)，得到商品的文本和圖片信息，將商品的文本和圖片信息輸入預(yù)訓(xùn)練模型生成商品的初始文本模態(tài)特征和初始圖片模態(tài)特征，并采用投影函數(shù)將商品的初始文本模態(tài)特征和初始圖片模態(tài)特征投影到一個(gè)統(tǒng)一維度，此外，通過(guò)聚合商品的初始文本模態(tài)特征得到用戶的初始文本模態(tài)特征，通過(guò)聚合商品的初始圖片模態(tài)特征得到用戶的初始圖片模態(tài)特征，再采用交叉注意力機(jī)制對(duì)齊商品的初始文本模態(tài)特征和初始圖片模態(tài)特征，得到對(duì)齊的商品模態(tài)特征，以及采用交叉注意力機(jī)制對(duì)齊用戶的初始文本模態(tài)特征和初始圖片模態(tài)特征，得到對(duì)齊的用戶模態(tài)特征，將對(duì)齊的商品模態(tài)特征和對(duì)齊的用戶模態(tài)特征輸入至大語(yǔ)言模型中進(jìn)行多模態(tài)語(yǔ)義信息的特征增強(qiáng)，得到用戶模態(tài)嵌入和商品模態(tài)嵌入；

5、步驟s3，將用戶id嵌入和用戶模態(tài)嵌入融合得到最終的用戶嵌入，將商品id嵌入和商品模態(tài)嵌入融合得到最終的商品嵌入，對(duì)最終的用戶嵌入和最終的商品嵌入進(jìn)行內(nèi)積運(yùn)算，得到偏好分?jǐn)?shù)，根據(jù)偏好分?jǐn)?shù)，對(duì)商品進(jìn)行排序，得到個(gè)性化的推薦列表，實(shí)現(xiàn)多模態(tài)商品推薦。

6、本發(fā)明的有益效果：

7、本發(fā)明使用lightgcn進(jìn)行消息傳播，得到用戶id嵌入和商品id嵌入，再采用交叉注意力機(jī)制學(xué)習(xí)模態(tài)之間的關(guān)聯(lián)性，來(lái)解決模態(tài)之間的語(yǔ)義空間不匹配的問(wèn)題，實(shí)現(xiàn)模態(tài)特征對(duì)齊，以增強(qiáng)模態(tài)間的信息關(guān)聯(lián)，使用適配器將多模態(tài)信息與大語(yǔ)言模型的語(yǔ)義空間進(jìn)行適配，并采用大語(yǔ)言模型增強(qiáng)對(duì)多模態(tài)信息的理解，以解決模態(tài)信息不平衡問(wèn)題，得到用戶模態(tài)嵌入和商品模態(tài)嵌入，最后融合用戶id嵌入和用戶模態(tài)嵌入得到最終的用戶嵌入，融合商品id嵌入和商品模態(tài)嵌入得到最終的商品嵌入，對(duì)最終的用戶嵌入和最終的商品嵌入進(jìn)行內(nèi)積運(yùn)算，得到偏好分?jǐn)?shù)，根據(jù)偏好分?jǐn)?shù)，對(duì)商品進(jìn)行排序，得到個(gè)性化的推薦列表，實(shí)現(xiàn)多模態(tài)商品推薦，通過(guò)對(duì)用戶的語(yǔ)義信息和興趣點(diǎn)進(jìn)行深度分析和挖掘，可以更加準(zhǔn)確地理解用戶的需求和偏好，從而提供更加符合用戶期望的推薦服務(wù)。

技術(shù)特征：

1.一種基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，其特征在于，步驟s1具體包括：

3.根據(jù)權(quán)利要求2所述的基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，其特征在于，步驟s2具體包括：

4.根據(jù)權(quán)利要求3所述的基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，其特征在于，步驟s3具體包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于大語(yǔ)言模型語(yǔ)義增強(qiáng)的多模態(tài)商品推薦方法，該方法使用LightGCN進(jìn)行消息傳播，得到用戶ID嵌入和商品ID嵌入，再采用交叉注意力機(jī)制學(xué)習(xí)模態(tài)之間的關(guān)聯(lián)性，來(lái)解決模態(tài)之間的語(yǔ)義空間不匹配的問(wèn)題，實(shí)現(xiàn)模態(tài)特征對(duì)齊，以增強(qiáng)模態(tài)間的信息關(guān)聯(lián)，使用適配器將多模態(tài)信息與大語(yǔ)言模型的語(yǔ)義空間進(jìn)行適配，并采用大語(yǔ)言模型增強(qiáng)對(duì)多模態(tài)信息的理解，以解決模態(tài)信息不平衡問(wèn)題，得到用戶模態(tài)嵌入和商品模態(tài)嵌入，最后融合用戶ID嵌入和用戶模態(tài)嵌入得到最終的用戶嵌入，融合商品ID嵌入和商品模態(tài)嵌入得到最終的商品嵌入，對(duì)最終的用戶嵌入和最終的商品嵌入進(jìn)行內(nèi)積運(yùn)算，得到偏好分?jǐn)?shù)，根據(jù)偏好分?jǐn)?shù)，對(duì)商品進(jìn)行排序，得到推薦列表。

技術(shù)研發(fā)人員：張閏美,舒堅(jiān)
受保護(hù)的技術(shù)使用者：南昌航空大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6