本發(fā)明涉及一種網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，尤其涉及一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，屬于命名實體識別的預(yù)訓(xùn)練模型優(yōu)化。

背景技術(shù)：

1、命名實體識別是建立知識圖譜中每條知識的基礎(chǔ)，在過去的通用領(lǐng)域命名實體識別研究中一般采用詞典和深度學(xué)習(xí)模型相結(jié)合的方法，例如，針對軟件類實體構(gòu)建特有的詞典和規(guī)則，詞典內(nèi)容來源可以為矩陣結(jié)構(gòu)att&ck和樹形結(jié)構(gòu)capec知識庫。

2、現(xiàn)有技術(shù)中，在詞典匹配的基礎(chǔ)上，利用bert-bilstm-crf網(wǎng)絡(luò)模型對標(biāo)注數(shù)據(jù)進行訓(xùn)練，最終得到命名實體識別的結(jié)果，但是在上述研究框架下往往使用預(yù)訓(xùn)練好的bert模型作為嵌入層，而上述預(yù)訓(xùn)練模型并沒有針對網(wǎng)絡(luò)安全數(shù)據(jù)的特點進行調(diào)整，從而會導(dǎo)致一定程度上損失精度。

3、綜上所述，需要一種對預(yù)訓(xùn)練模型進行優(yōu)化改進使得命名實體識別結(jié)果的精度提升的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法。

技術(shù)實現(xiàn)思路

1、在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。

2、鑒于此，為解決現(xiàn)有技術(shù)中傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法因未考慮網(wǎng)絡(luò)安全數(shù)據(jù)特點導(dǎo)致的識別結(jié)果精度較低的問題，本發(fā)明提供一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法。

3、技術(shù)方案如下：一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，包括以下步驟：

4、s1.給定輸入序列，將其輸入bert模型，生成三種嵌入并進行相加，得到詞的最終輸入；

5、s2.構(gòu)建引入bert模型的transformer-xl模型，輸入詞的最終輸入，設(shè)置基礎(chǔ)矩陣，引入內(nèi)容嵌入矩陣和位置嵌入矩陣，得到內(nèi)容嵌入基礎(chǔ)矩陣和位置嵌入基礎(chǔ)矩陣；

6、s3.根據(jù)內(nèi)容嵌入基礎(chǔ)矩陣和位置嵌入基礎(chǔ)矩陣，獲得句子中任意兩個單詞之間的注意力機制分?jǐn)?shù)，對所有注意力機制分?jǐn)?shù)的加和進行歸一化，得到歸一化后的注意力機制分?jǐn)?shù)；

7、s4.根據(jù)歸一化后的注意力機制分?jǐn)?shù)，通過bert模型所在的mlm模型進行隨機掩碼和注意力松綁，實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)命名實體識別。

8、進一步地，所述s1中，輸入序列為w，w＝(x1,x2,……xn)，xi為第i個輸入向量，i＝1,2,……,n，生成的三種嵌入分別為詞嵌入hi、位置嵌入pi和分段嵌入di，將三種嵌入相加后得到詞的最終輸入x；

9、詞的最終輸入x中的元素xi'表示為：

10、xi'＝hi+pi+di。

11、進一步地，所述s2中，基礎(chǔ)矩陣包括查詢矩陣q、鍵矩陣k和值矩陣v；

12、查詢矩陣q表示為：

13、q＝xwq

14、鍵矩陣k表示為：

15、k＝xwk

16、值矩陣v表示為：

17、v＝xwv

18、其中，wq為查詢矩陣q需要學(xué)習(xí)的參數(shù)矩陣，wk為鍵矩陣k需要學(xué)習(xí)的參數(shù)矩陣，wv為值矩陣v需要學(xué)習(xí)的參數(shù)矩陣；

19、在查詢矩陣q、鍵矩陣k和值矩陣v中引入內(nèi)容嵌入矩陣h，內(nèi)容嵌入矩陣h由詞嵌入hi組成，得到的內(nèi)容嵌入基礎(chǔ)矩陣包括內(nèi)容嵌入查詢矩陣qc、內(nèi)容嵌入鍵矩陣kc和內(nèi)容嵌入值矩陣vc；

20、qc＝hwq,c

21、其中，wq,c表示內(nèi)容嵌入查詢矩陣qc所要學(xué)習(xí)的參數(shù)陣；

22、kc＝hwk,c

23、其中，wk,c表示內(nèi)容嵌入鍵矩陣kc所要學(xué)習(xí)的參數(shù)陣；

24、內(nèi)容嵌入值矩陣vc表示為：

25、vc＝hwv,c

26、其中，wv,c表示內(nèi)容嵌入值矩陣vc所要學(xué)習(xí)的參數(shù)陣；

27、在查詢矩陣q和鍵矩陣k中引入位置嵌入矩陣p，位置嵌入矩陣p由位置嵌入pi組成，得到的位置嵌入基礎(chǔ)矩陣包括位置嵌入查詢矩陣qr和位置嵌入鍵矩陣kr；

28、位置嵌入查詢矩陣qr表示為：

29、qr＝pwq,r

30、位置嵌入鍵矩陣kr表示為：

31、kr＝pwk,r

32、其中，wq,r表示位置嵌入查詢矩陣qr所要學(xué)習(xí)的參數(shù)陣，wk,r表示位置嵌入鍵矩陣kr所要學(xué)習(xí)的參數(shù)陣。

33、進一步地，所述s3中，歸一化后的注意力機制分?jǐn)?shù)h0的計算過程表示為：

34、

35、其中，為兩個處于句子中第一位置i和第二位置j的單詞的注意力機制分?jǐn)?shù)陣中的每個元素的注意力機制分?jǐn)?shù)，為處于句子中第一位置i的內(nèi)容嵌入查詢矩陣，為處于句子中第二位置j的內(nèi)容嵌入鍵矩陣，為處于句子中單詞距離σ(i,j)的第一位置i和第二位置j的位置嵌入鍵矩陣，為處于句子中單詞距離σ(i,j)的第一位置i和第二位置j的位置嵌入查詢矩陣，t為矩陣轉(zhuǎn)置，·為點積，softmax為激活函數(shù)；

36、第一位置i和第二位置j的單詞距離σ(i,j)表示為：

37、σ(i,j)＝[k'*sigmoid(i-j)]

38、其中，σ為距離函數(shù)，k'為自定義參數(shù)，[]表示取整操作。

39、本發(fā)明的有益效果如下：本發(fā)明擬研究網(wǎng)絡(luò)安全命名實體識別預(yù)訓(xùn)練模型構(gòu)建技術(shù)，針對于網(wǎng)絡(luò)安全數(shù)據(jù)的特點來構(gòu)建適合于網(wǎng)安領(lǐng)域的預(yù)訓(xùn)練模型，結(jié)合后續(xù)的微調(diào)(fine-tuning)過程進行更加精確的實體抽??；本發(fā)明通過增加位置-內(nèi)容和內(nèi)容-位置的自注意力來增強位置和內(nèi)容之間的依賴，在引入bert模型的transformer-xl模型的預(yù)訓(xùn)練過程中，實體與實體之間的相對距離是一個較為關(guān)鍵的信息，在引入相對距離可以使得模型更好的捕獲到不同實體之間的關(guān)系，傳統(tǒng)方法一般使用線性公式來計算實體之間的相對距離，但是在實際應(yīng)用環(huán)境中，實體之間的關(guān)系和相對距離往往不是線性減少的，本發(fā)明在相對距離計算過程中引入非線性函數(shù)并增加參數(shù)從而得到結(jié)果較優(yōu)的相對距離計算方法，為高精度的命名實體識別進行數(shù)據(jù)支撐。

技術(shù)特征：

1.一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，其特征在于，所述s1中，輸入序列為w，w＝(x1，x2，......xn)，xi為第i個輸入向量，i＝1,2，......，n，生成的三種嵌入分別為詞嵌入hi、位置嵌入pi和分段嵌入di，將三種嵌入相加后得到詞的最終輸入x；

3.根據(jù)權(quán)利要求2所述的一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，其特征在于，所述s2中，基礎(chǔ)矩陣包括查詢矩陣q、鍵矩陣k和值矩陣v；

4.根據(jù)權(quán)利要求3所述的一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，其特征在于，所述s3中，歸一化后的注意力機制分?jǐn)?shù)h0的計算過程表示為：

技術(shù)總結(jié)
本發(fā)明公開了一種基于注意力機制優(yōu)化的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法，屬于命名實體識別的預(yù)訓(xùn)練模型優(yōu)化技術(shù)領(lǐng)域。解決了現(xiàn)有技術(shù)中傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)命名實體識別方法因未考慮網(wǎng)絡(luò)安全數(shù)據(jù)特點導(dǎo)致的識別結(jié)果精度較低的問題；本發(fā)明給定輸入序列，將其輸入BERT模型，生成三種嵌入并進行相加，得到詞的最終輸入，輸入到引入BERT模型的Transformer?XL模型，設(shè)置基礎(chǔ)矩陣，引入內(nèi)容嵌入矩陣和位置嵌入矩陣，得到內(nèi)容嵌入基礎(chǔ)矩陣和位置嵌入基礎(chǔ)矩陣；獲得句子中任意兩個單詞之間的注意力機制分?jǐn)?shù)，對所有注意力機制分?jǐn)?shù)的加和進行歸一化，得到歸一化后的注意力機制分?jǐn)?shù)。本發(fā)明有效提升了命名實體識別的精度，可以應(yīng)用于實體識別。

技術(shù)研發(fā)人員：武躍,葉麟,劉春雨,魏子淇,趙以誠,張宏莉
受保護的技術(shù)使用者：哈爾濱工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9