本發(fā)明屬于對(duì)比學(xué)習(xí)，具體涉及一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法。

背景技術(shù)：

1、在現(xiàn)實(shí)世界中，物體通常以復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)相互連接，這種結(jié)構(gòu)也被稱(chēng)為圖。舉例來(lái)說(shuō)，用戶(hù)與產(chǎn)品之間的互動(dòng)(如點(diǎn)擊或購(gòu)買(mǎi))則構(gòu)成了電子商務(wù)網(wǎng)絡(luò)，而研究論文相互引用形成了引文圖。圖結(jié)構(gòu)的普及吸引了許多對(duì)基于圖的任務(wù)進(jìn)行積極研究，比如在電子商務(wù)網(wǎng)絡(luò)中利用鏈接預(yù)測(cè)進(jìn)行產(chǎn)品推薦，以及在引文圖中將論文分類(lèi)為不同主題的節(jié)點(diǎn)分類(lèi)。cf作為一種經(jīng)典的方法，它是通過(guò)觀察到的用戶(hù)-項(xiàng)目交互表示用戶(hù)和項(xiàng)目的嵌入，這在個(gè)性化的喜好預(yù)測(cè)中有著不容忽視的作用。

2、在推薦系統(tǒng)中圖卷積網(wǎng)絡(luò)已經(jīng)表現(xiàn)出了不錯(cuò)的效果，因?yàn)樗鼈兡軌蛴行У娜ダ脠D數(shù)據(jù)中的高階關(guān)系。但是許多領(lǐng)域的圖在節(jié)點(diǎn)度上都服從長(zhǎng)尾分布，即有相當(dāng)一部分的節(jié)點(diǎn)是度較小的尾部節(jié)點(diǎn)，這樣就會(huì)導(dǎo)致出現(xiàn)圖數(shù)據(jù)稀疏的問(wèn)題。為了解決尾部節(jié)點(diǎn)數(shù)據(jù)稀疏的問(wèn)題，基于gcn的推薦方法采用了對(duì)比學(xué)習(xí)來(lái)引入自監(jiān)督信號(hào)，盡管現(xiàn)有的一些方法有效，但是它們卻是對(duì)所有的節(jié)點(diǎn)進(jìn)行統(tǒng)一的處理，缺乏對(duì)頭尾節(jié)點(diǎn)顯著程度差異的考慮，即沒(méi)有針對(duì)長(zhǎng)尾分布中的頭部熱門(mén)節(jié)點(diǎn)和尾部冷門(mén)節(jié)點(diǎn)進(jìn)行區(qū)分處理，這可能導(dǎo)致模型在推薦時(shí)過(guò)度關(guān)注頭部節(jié)點(diǎn)而忽視尾部節(jié)點(diǎn)的獨(dú)特性和潛在價(jià)值，這可能導(dǎo)致不均勻的表示分布，這是影響對(duì)比學(xué)習(xí)方法性能的關(guān)鍵因素，針對(duì)長(zhǎng)尾導(dǎo)致的數(shù)據(jù)稀疏性問(wèn)題，本發(fā)明提出了一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，包括：長(zhǎng)尾增強(qiáng)、對(duì)比學(xué)習(xí)和多任務(wù)訓(xùn)練；

2、所述長(zhǎng)尾增強(qiáng)、對(duì)比學(xué)習(xí)和多任務(wù)訓(xùn)練依次數(shù)據(jù)傳輸連接，所述長(zhǎng)尾增強(qiáng)還包括自動(dòng)丟棄模塊、知識(shí)遷移模塊和生成式對(duì)抗學(xué)習(xí)模塊，所述自動(dòng)丟棄模塊、知識(shí)遷移模塊和生成式對(duì)抗學(xué)習(xí)模塊依次數(shù)據(jù)傳輸連接；

3、所述生成式對(duì)抗學(xué)習(xí)模塊包含跳躍連接的圖卷積層的圖卷積網(wǎng)絡(luò)編碼器以及基于對(duì)比學(xué)習(xí)的圖自編碼器。

4、本發(fā)明的有益效果：

5、本發(fā)明通過(guò)設(shè)計(jì)了一個(gè)可學(xué)習(xí)的長(zhǎng)尾增強(qiáng)模式，該模式通過(guò)補(bǔ)充預(yù)測(cè)的鄰居信息來(lái)增強(qiáng)尾節(jié)點(diǎn)的表示，為了使這個(gè)增強(qiáng)模式具有可學(xué)習(xí)性，引入了一個(gè)自動(dòng)化的刪除策略，通過(guò)由真實(shí)頭節(jié)點(diǎn)生成偽尾節(jié)點(diǎn)的過(guò)程產(chǎn)生模型所需要的鄰域信息，并且設(shè)計(jì)了一個(gè)知識(shí)遷移模塊，用于使尾節(jié)點(diǎn)學(xué)習(xí)的足夠的知識(shí)進(jìn)而增強(qiáng)尾節(jié)點(diǎn)的鄰域信息，最終使得圖結(jié)構(gòu)的到豐富和完善；

6、為了尋求最大化不同視圖之間表示的一致性，使用對(duì)比損失作為一種判別器，并且創(chuàng)新性的將其與infonce組合起來(lái)使用，進(jìn)一步提升了視圖之間的一致性，因?yàn)橥ㄟ^(guò)研究發(fā)現(xiàn)，在infonce損失的使用當(dāng)中，他所選用的正樣本通常是一個(gè)數(shù)據(jù)點(diǎn)的兩個(gè)增強(qiáng)視圖，負(fù)樣本是來(lái)自數(shù)據(jù)集中的其他樣本，而損失計(jì)算的目標(biāo)是區(qū)分正樣本對(duì)和噪聲分布中的負(fù)樣本，可能會(huì)導(dǎo)致模型學(xué)習(xí)到的表示不夠魯棒或區(qū)分度不高，而提出的grace模塊當(dāng)中的對(duì)比損失中，所選的正樣本是同一節(jié)點(diǎn)的兩個(gè)不同視圖的表示，負(fù)樣本為不同節(jié)點(diǎn)的表示，損失計(jì)算的目的是使正樣本之間的相似性高于任何負(fù)樣本之間的相似性，其具有更好的泛化能力，故而通過(guò)這兩種方法的組合使用，汲取優(yōu)勢(shì)互補(bǔ)不足，進(jìn)而增強(qiáng)模型對(duì)正樣本的學(xué)習(xí)，進(jìn)一步提高表示的質(zhì)量。

技術(shù)特征：

1.一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，包括：長(zhǎng)尾增強(qiáng)、對(duì)比學(xué)習(xí)和多任務(wù)訓(xùn)練；

2.根據(jù)權(quán)利要求1所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述自動(dòng)丟棄模塊配備了可訓(xùn)練的刪除策略，用于減小增強(qiáng)數(shù)據(jù)樣本與實(shí)際尾節(jié)點(diǎn)樣本之間的分布偏差。

3.根據(jù)權(quán)利要求2所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述自動(dòng)丟棄模塊的運(yùn)行方法如下：

4.根據(jù)權(quán)利要求1所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述知識(shí)遷移模塊利用生成偽尾節(jié)點(diǎn)時(shí)丟棄的鄰居信息來(lái)預(yù)測(cè)真實(shí)尾節(jié)點(diǎn)缺失的鄰居信息，所述知識(shí)遷移模塊對(duì)于丟棄的鄰居信息的學(xué)習(xí)將尾節(jié)點(diǎn)進(jìn)行重構(gòu)，生成偽頭節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求4所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述知識(shí)遷移模塊原理如下：

6.根據(jù)權(quán)利要求1所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述生成式對(duì)抗學(xué)習(xí)模塊使得長(zhǎng)尾增強(qiáng)能夠被有效的學(xué)習(xí)，真實(shí)的尾節(jié)點(diǎn)的表示分布應(yīng)該與通過(guò)自動(dòng)丟棄模塊生產(chǎn)的偽尾節(jié)點(diǎn)的表示分布相匹配，其計(jì)算如下：

7.根據(jù)權(quán)利要求1所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述對(duì)比對(duì)比學(xué)習(xí)采用對(duì)比損失得到的損失函數(shù)經(jīng)過(guò)聯(lián)合優(yōu)化后得到最終的任務(wù)目標(biāo)函數(shù)，所述最終的任務(wù)目標(biāo)函數(shù)為：

8.根據(jù)權(quán)利要求1所述的一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，其特征在于，所述多任務(wù)訓(xùn)練采用多任務(wù)訓(xùn)練方法，同時(shí)優(yōu)化主推薦任務(wù)以及輔助任務(wù)，包括知識(shí)遷移任務(wù)、判別任務(wù)和對(duì)比學(xué)習(xí)任務(wù)。

技術(shù)總結(jié)
本發(fā)明屬于對(duì)比學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)方法，包括：長(zhǎng)尾增強(qiáng)、對(duì)比學(xué)習(xí)和多任務(wù)訓(xùn)練；所述長(zhǎng)尾增強(qiáng)、對(duì)比學(xué)習(xí)和多任務(wù)訓(xùn)練依次數(shù)據(jù)傳輸連接，所述長(zhǎng)尾增強(qiáng)還包括自動(dòng)丟棄模塊、知識(shí)遷移模塊和生成式對(duì)抗學(xué)習(xí)模塊，本發(fā)明提供了提出了一種創(chuàng)新的基于知識(shí)轉(zhuǎn)移的長(zhǎng)尾圖對(duì)比學(xué)習(xí)增強(qiáng)的推薦方法，該模式通過(guò)補(bǔ)充預(yù)測(cè)的鄰居信息來(lái)增強(qiáng)尾節(jié)點(diǎn)的表示，引入了一個(gè)自動(dòng)化的刪除策略，通過(guò)由真實(shí)頭節(jié)點(diǎn)生成偽尾節(jié)點(diǎn)的過(guò)程產(chǎn)生模型所需要的鄰域信息，并且設(shè)計(jì)了一個(gè)知識(shí)遷移模塊，用于使尾節(jié)點(diǎn)學(xué)習(xí)的足夠的知識(shí)進(jìn)而增強(qiáng)尾節(jié)點(diǎn)的鄰域信息，最終使得圖結(jié)構(gòu)的到豐富和完善。

技術(shù)研發(fā)人員：張紅偉,汪國(guó)龍,楊開(kāi)鈞,許珂珂,閆小峰,崔貫勛,朱小飛,全文君,吳雪剛
受保護(hù)的技術(shù)使用者：重慶理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9