本發(fā)明涉及人工智能及知識圖譜，具體涉及一種知識圖譜嵌入和方法；

背景技術(shù)：

1、知識圖譜嵌入是一種將知識圖譜中的實體和關(guān)系數(shù)據(jù)，通過各種方式映射到低維向量空間的技術(shù)；知識圖譜是一種用于表示實體、關(guān)系、實體相互關(guān)系的結(jié)構(gòu)化數(shù)據(jù)，然而，知識圖譜的高維性和稀疏性，限制了其直接應(yīng)用的效果；為此，知識圖譜嵌入技術(shù)應(yīng)運而生，它通過將圖中的實體和關(guān)系表示為低維向量，從而方便在機器學(xué)習(xí)和深度學(xué)習(xí)模型中的應(yīng)用；文獻(xiàn)1“bordes?a，usunier?n，garcia-duran?a，et?al.translating?embeddingsfor?modeling?multi-relational?data[j].advances?in?neural?informationprocessing?systems，2013，26.”，提出的transe模型，是知識圖譜嵌入表示領(lǐng)域最具代表性的模型之一，它假設(shè)一個關(guān)系可以視為從頭實體到尾實體的平移，即對于一個三元組(head，relation，tail)，其應(yīng)滿足head+relation≈tail，通過梯度下降算法來訓(xùn)練調(diào)整實體和關(guān)系的向量表示，使得模型的預(yù)測結(jié)果更加接近真實的三元組，transe模型提出了重要的知識圖譜嵌入表示思路，開創(chuàng)了trans系列的知識圖譜嵌入方法；文獻(xiàn)2“ji，guoliang，et?al."knowledge?graph?embedding?via?dynamic?mapping?matrix."proceedings?ofthe?53rd?annual?meeting?of?the?association?for?computational?linguistics?andthe?7th?international?joint?conference?on?natural?language?processing(volume1:long?papers).2015.”在transe的基礎(chǔ)方法上，引入了多個映射矩陣，用于更好地嵌入表示輸入實體和關(guān)系，證明對輸入嵌入方法進(jìn)行改進(jìn)可以提高模型性能；通過更先進(jìn)、更智能的輸入嵌入方法優(yōu)化，提高知識圖譜的嵌入表示能力，對知識圖譜應(yīng)用和知識的挖掘推理，具有重要應(yīng)用作用；

技術(shù)實現(xiàn)思路

1、在上述情況基礎(chǔ)上，本發(fā)明提供了一種結(jié)合注意力機制及負(fù)采樣技巧的知識圖譜嵌入方法，步驟1、數(shù)據(jù)預(yù)處理，數(shù)據(jù)源采用知識圖譜結(jié)構(gòu)化圖數(shù)據(jù)，首先獲取知識圖譜的“頭實體-關(guān)系-尾實體”三元組表示形式，將其處理為標(biāo)簽形式，具體做法如下：

2、(1)定義知識圖譜g；g由頭實體，關(guān)系和尾實體三元組組成；g中共有i種不重復(fù)的實體和j種不重復(fù)的關(guān)系，i不大于實體數(shù)據(jù)總數(shù)，j不大于關(guān)系數(shù)據(jù)總數(shù)；用entityi表示第i個不重復(fù)的實體，relationj表示第j個不重復(fù)的關(guān)系，整理獲取實體列表為lentity，表示實體集合，關(guān)系列表為lrelation，表示關(guān)系集合；

3、lentity＝[entity0,entity1,entity2,...entityi]

4、lrelation＝[relation0,relation1,relation2,...relationj]

5、以lentity、lrelation元素為鍵，以數(shù)字標(biāo)簽為值，構(gòu)造實體和關(guān)系的映射字典；

6、dicentity＝{entity0:0,entity1:1,entity2:2,...entityi:i}

7、dicrelation＝{relation0:0,relation1:1,relation2:2,...relationj:j}

8、(2)根據(jù)dicentity、dicrelation，將in進(jìn)行鍵值映射，將三元組中的實體、關(guān)系轉(zhuǎn)化為數(shù)字標(biāo)簽，再將知識圖譜g做隨機劃分，劃分為訓(xùn)練集itrain、驗證集ivalidation和測試集itest；

9、步驟2、搭建知識圖譜嵌入表示模型，具體步驟如下：

10、搭建transe-adapt模型，模型的嵌入表示維度為m，取值為1～256；注意力機制頭數(shù)為n，取值范圍1～12，且可被m整除；關(guān)系權(quán)重矩陣表示為a，自適應(yīng)負(fù)采樣權(quán)重矩陣表示為b，具體做法為：

11、使用步驟1獲得的數(shù)據(jù)itrain，訓(xùn)練集三元組有y對，輸入嵌入運算為e(·)，得到嵌入表示張量emb，維度為3×y×m，

12、emb＝e(itrain)

13、emb[u]為emb中元素索引表示，表示三元組中第u個位置的元素，u取值0～2，頭實體的嵌入表示為eheads，關(guān)系的嵌入表示為erelation，尾實體的嵌入表示為etails，維度為y×m，

14、eheads＝emb[0]

15、erelation＝emb[1]

16、etails＝emb[2]

17、q為注意力機制初始矩陣，維度為y×m；wk和wv為注意力計算轉(zhuǎn)移矩陣，維度為m×m；k和v是q經(jīng)過線性變換后的矩陣，維度為y×m，

18、k＝q·wk

19、v＝q·wv

20、注意力機制層運算為att(·)運算式，知識圖譜的嵌入表示定義為eout，維度為3×y×m，

21、

22、eout＝att(emb)

23、用etrue表示尾實體正樣本的嵌入表示，維度均y×m，

24、etrue＝etails

25、用efalse表示尾實體負(fù)樣本的嵌入表示，維度為y×m，efalse中的行元素來自于etrue的行元素，且每行與etrue中對應(yīng)行的行元素均不相同，

26、定義transe-adapt的優(yōu)化目標(biāo)，其中ε為正，且大小趨近于0，初始關(guān)系權(quán)重矩陣為a，a維度為m×m，

27、|att(eheads)+att(erelation·a)-att(etrue)|<ε

28、分別計算d和d′，

29、d＝att(eheads)+att(erelation·a)-att(etrue)

30、d′＝att(eheads)+att(erelation·a)-att(efalse)

31、emb中尾實體有y個，共k類，k≤y，且y、k均為正整數(shù)，ckh表示在所有k類尾實體中，第h類尾實體出現(xiàn)的次數(shù)，第h實體在隨機放回抽取時的概率pkh，

32、

33、構(gòu)造維度為1×k的權(quán)重矩陣p，ph表示矩陣第h個元素，定義第h類尾實體在隨機放回抽取負(fù)樣本抽中的概率，

34、

35、將矩陣p歸一化后，得到自適應(yīng)負(fù)采樣權(quán)重矩陣b，維度為1×k，矩陣中每個元素對應(yīng)尾實體的隨機放回抽取概率，‖ph‖為ph的模運算，

36、

37、定義損失函數(shù)，σ表示正采樣和負(fù)采樣的距離大小，σ>0

38、l＝∑(entity,relation∈g)[σ+d-d′]

39、步驟3、通過反向傳播算法進(jìn)行模型訓(xùn)練，采用自適應(yīng)學(xué)習(xí)率的梯度下降算法進(jìn)行模型優(yōu)化，優(yōu)化目標(biāo)是最小化函數(shù)損失l；參數(shù)μ為正，且大小趨近于0，當(dāng)模型的損失經(jīng)過多輪訓(xùn)練后，損失逐漸減小，且l隨訓(xùn)練輪數(shù)增加，滿足

40、|l-σ|<μ

41、則認(rèn)為模型已收斂，記錄當(dāng)前模型參數(shù)，中止模型訓(xùn)練；保存模型的訓(xùn)練權(quán)重，完成transe-adapt模型參數(shù)學(xué)習(xí)，模型嵌入層的參數(shù)就是g中三元組的嵌入表示向量；

42、步驟4、載入transe-adapt模型，采用步驟1中的知識圖譜處理辦法，按照步驟2中的模型運算流程，獲取知識圖譜的三元組嵌入表示eout，作為下游模型的輸入數(shù)據(jù)，通過搭建深度學(xué)習(xí)模型，開展知識鏈接、知識分類等多種任務(wù)。

43、本發(fā)明的創(chuàng)新點表現(xiàn)在：

44、(1)提出了一種結(jié)合注意力機制的知識圖譜嵌入方法，并設(shè)計了創(chuàng)新的知識圖譜嵌入模型transe-adapt；該方法將注意力機制引入知識圖譜嵌入表示任務(wù)，區(qū)別于傳統(tǒng)知識圖譜嵌入方法，本方法提出了注意力機制中q，k，v參數(shù)在知識圖譜嵌入任務(wù)中的，初始化方法及注意力轉(zhuǎn)移矩陣的計算方式；通過模擬“頭實體-關(guān)系-尾實體”的鏈接關(guān)系，充分利用了知識圖譜的結(jié)構(gòu)化數(shù)據(jù)特點，設(shè)計了結(jié)合注意力機制的加算模型優(yōu)化目標(biāo)，以獲取高質(zhì)量的知識圖譜嵌入表示；

45、(2)在模型訓(xùn)練過程中，設(shè)計了自適應(yīng)負(fù)采樣權(quán)重矩陣b；傳統(tǒng)隨機采樣方法，存在采樣隨機，模型訓(xùn)練效果不可控的缺點，自適應(yīng)負(fù)采樣權(quán)重通過設(shè)計的創(chuàng)新算法，計算數(shù)據(jù)分布方法，根據(jù)數(shù)據(jù)集的數(shù)據(jù)分布特征，將出現(xiàn)次數(shù)較少的尾實體樣本賦予更大的負(fù)采樣概率，使模型可以在更強的噪聲條件下訓(xùn)練擬合，從而增加模型的抗噪聲能力及泛化能力，當(dāng)模型遇到陌生的知識實體時，就可以獲得更好的嵌入表示及更準(zhǔn)確的知識分類和推理能力；

46、有益效果：

47、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

48、(1)本發(fā)明提出了將注意力機制融入知識圖譜嵌入表示模型、提高模型特征抽取能力的實現(xiàn)方法；

49、(2)本發(fā)明提出的自適應(yīng)負(fù)采樣權(quán)重矩陣b構(gòu)造方法，能根據(jù)數(shù)據(jù)集的數(shù)據(jù)分布，自動構(gòu)造負(fù)采樣概率矩陣，使出現(xiàn)少的、高質(zhì)量的尾實體更大概率被模型負(fù)采樣，優(yōu)化了傳統(tǒng)方法的模型訓(xùn)練策略；

50、(3)設(shè)計提出的transe-adapt深度學(xué)習(xí)模型，優(yōu)化了transe模型的抗噪聲能力及泛化能力，可以更好地應(yīng)用于下游任務(wù)；