1.一種圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于,局部過渡到全局的聚類掩碼方法的具體實(shí)現(xiàn)包括以下子步驟:
3.根據(jù)權(quán)利要求1所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于:步驟2中所述圖掩碼自編碼器,包括圖神經(jīng)網(wǎng)絡(luò)編碼模塊、transformer編碼模塊和解碼器模塊;所述圖神經(jīng)網(wǎng)絡(luò)編碼模塊,包括串聯(lián)設(shè)置的n個(gè)圖同構(gòu)網(wǎng)絡(luò),用來捕捉融合輸入圖中的局部的、節(jié)點(diǎn)鄰域級(jí)的信息;所述transformer編碼模塊,包括串聯(lián)設(shè)置的n個(gè)自注意力機(jī)制層,通過增加整個(gè)圖中的長距離交互,使得該圖掩碼自編碼器增加了考慮全局圖信息的能力;所述解碼器模塊,包括一個(gè)圖同構(gòu)網(wǎng)絡(luò)或者多層感知機(jī),用于將編碼器生成的潛在節(jié)點(diǎn)嵌入映射為重構(gòu)的節(jié)點(diǎn)特征;其中,n為預(yù)設(shè)值。
4.根據(jù)權(quán)利要求3所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于:所述圖神經(jīng)網(wǎng)絡(luò)編碼器,其編碼的處理過程為:
5.根據(jù)權(quán)利要求3所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于:所述圖transformer,其編碼的處理過程為:
6.根據(jù)權(quán)利要求3所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于:在解碼器部分中,解碼器f將潛在的節(jié)點(diǎn)嵌入h映射回節(jié)點(diǎn)特征x;圖掩碼自編碼器輸出所有節(jié)點(diǎn)的潛在表征后,對被掩碼的節(jié)點(diǎn)在輸入到解碼器之前進(jìn)行重新掩碼;
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法,其特征在于:步驟3中,采用多任務(wù)優(yōu)化的策略對圖掩碼自編碼器進(jìn)行訓(xùn)練;其中,采用的多任務(wù)優(yōu)化損失函數(shù)l為:
8.一種圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法。
9.一種軟件產(chǎn)品,包括計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述圖掩碼自編碼器生成式自監(jiān)督圖預(yù)訓(xùn)練方法。