本發(fā)明涉及一種通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，尤其涉及一種基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法。

背景技術(shù)：

1、在航空通信領(lǐng)域，會(huì)產(chǎn)生大量的通信時(shí)序數(shù)據(jù)，而針對(duì)時(shí)序數(shù)據(jù)的異常檢測(cè)，則是保障航空安全的一個(gè)重要技術(shù)手段。通過(guò)對(duì)時(shí)序數(shù)據(jù)的異常檢測(cè)，可以實(shí)時(shí)發(fā)現(xiàn)異常，發(fā)出預(yù)警。傳統(tǒng)的異常檢測(cè)技術(shù)主要基于規(guī)則和閾值來(lái)識(shí)別異常情況，例如，當(dāng)飛機(jī)的速度、高度或航向突破預(yù)設(shè)的安全參數(shù)時(shí)，系統(tǒng)會(huì)發(fā)出警報(bào)。這種傳統(tǒng)的檢測(cè)技術(shù)不能使用現(xiàn)在快速積累的大量數(shù)據(jù)和復(fù)雜環(huán)境。

2、隨著技術(shù)的發(fā)展，人們開(kāi)始使用機(jī)器學(xué)習(xí)的方法進(jìn)行時(shí)序數(shù)據(jù)的異常檢測(cè)，如中國(guó)專利文獻(xiàn)號(hào)cn117932519a公開(kāi)了一種新能源汽車充電站監(jiān)控系統(tǒng)中提到的，安全預(yù)警模塊結(jié)合支持向量機(jī)、決策樹(shù)和孤立森林算法，提升系統(tǒng)安全性。定價(jià)優(yōu)化方面，利用arima模型和q學(xué)習(xí)算法根據(jù)電網(wǎng)負(fù)荷和用戶需求調(diào)整充電價(jià)格，提高公平性和市場(chǎng)響應(yīng)。但是基于挖掘算法的計(jì)算，不能對(duì)長(zhǎng)序列的數(shù)據(jù)進(jìn)行處理，序列長(zhǎng)度受到了限制。

3、隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人們開(kāi)始嘗試使用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行異常檢測(cè)，如中國(guó)專利文獻(xiàn)號(hào)cn117909178a公開(kāi)了一種基于lstm的集成式在線日志異常檢測(cè)模型中的方法，將深度學(xué)習(xí)模型lstm作為弱學(xué)習(xí)器模型，通過(guò)遷移學(xué)習(xí)的方式訓(xùn)練得到弱學(xué)習(xí)器，可以更好地學(xué)習(xí)日志的數(shù)據(jù)特征。再將弱學(xué)習(xí)器集成為強(qiáng)學(xué)習(xí)器對(duì)將要到來(lái)的日志進(jìn)行實(shí)時(shí)異常檢測(cè)。這種模型對(duì)長(zhǎng)序列數(shù)據(jù)有了比較好的適應(yīng)。但是lstm的架構(gòu)沒(méi)有考慮到時(shí)間趨勢(shì)，如arima模型中的時(shí)間趨勢(shì)、數(shù)據(jù)特征、周期特征等三個(gè)方面的特征，沒(méi)法添加到lstm架構(gòu)中。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，能夠結(jié)合深度學(xué)習(xí)和傳統(tǒng)數(shù)據(jù)挖掘模型，融合距離計(jì)算，可以根據(jù)實(shí)際情況進(jìn)行動(dòng)態(tài)調(diào)整，以達(dá)到精確的異常檢測(cè)效果。

2、本發(fā)明為解決上述技術(shù)問(wèn)題而采用的技術(shù)方案是提供一種基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，包括如下步驟：s1)對(duì)原始時(shí)序數(shù)據(jù)和一階差分時(shí)序數(shù)據(jù)分別進(jìn)行建模預(yù)測(cè)，一階差分的預(yù)測(cè)結(jié)果作為原始時(shí)序數(shù)據(jù)預(yù)測(cè)結(jié)果的修正因子；s2)修改原始transformer架構(gòu)中位置編碼相加的策略，在相對(duì)時(shí)間編碼中引入1+半衰期算法的指數(shù)衰減策略，把絕對(duì)時(shí)間編碼和相對(duì)時(shí)間編碼相乘來(lái)融合時(shí)間編碼特征；s3)利用dtw來(lái)計(jì)算transformer端到端預(yù)測(cè)出的時(shí)間序列數(shù)據(jù)和實(shí)際時(shí)序數(shù)據(jù)的距離。

3、進(jìn)一步地，所述步驟s1把時(shí)序數(shù)據(jù)和一階插值作為序列數(shù)據(jù)，分別輸入到transformer框架中去除時(shí)序數(shù)據(jù)中的趨勢(shì)特征，提取出時(shí)序數(shù)據(jù)的本質(zhì)特征；時(shí)序數(shù)據(jù)的一階差分為：

4、δyt＝y(tǒng)t-yt-1；

5、δyt表示在時(shí)間t的一階差分值。

6、進(jìn)一步地，所述步驟s2將transformer中原始的位置編碼修改為時(shí)間編碼，所述時(shí)間編碼分為絕對(duì)時(shí)間編碼和相對(duì)時(shí)間編碼；

7、對(duì)于每個(gè)時(shí)間步t，絕對(duì)時(shí)間編碼計(jì)算如下：

8、te(t,2i)＝sin(t/100002i/d)

9、te(t,2i+1)＝cos(t/100002i/d)

10、其中d是模型的維度，i是維度的索引；

11、對(duì)于每個(gè)時(shí)間步t，相對(duì)時(shí)間編碼計(jì)算如下：

12、

13、其中λ是衰減常數(shù)，i是維度的索引。

14、進(jìn)一步地，k為測(cè)試半衰期的時(shí)刻點(diǎn)。

15、進(jìn)一步地，k的取值為250-350。

16、進(jìn)一步地，k的取值為300。

17、進(jìn)一步地，假設(shè)有兩個(gè)時(shí)間序列a和b，長(zhǎng)度分別為m和n，所述步驟s3包括：s31)初始化距離矩陣：創(chuàng)建一個(gè)大小為(m+1)×(n+1)的矩陣d，其中d[i][j]表示序列a的前i個(gè)元素和序列b的前j個(gè)元素之間的最小累計(jì)距離；初始化d[0][0]＝0，其他d[i][0]和d[0][j]為無(wú)窮大；s32)計(jì)算每個(gè)元素的累計(jì)距離：對(duì)于i從1到m，j從1到n，按照以下方式填充矩陣：d[i][j]＝cos?t(a[i],b[j])+min(d[i-1][j],d[i][j-1],d[i-1][j-1])其中，cost(a[i],b[j])是a[i]和b[j]之間的歐式距離；s33)尋找最佳路徑：累計(jì)距離d[m][n]是從a[1]到a[m]和從b[1]到b[n]的最小累計(jì)距離。

18、本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果：本發(fā)明提供的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，采用transformer架構(gòu)做端到端的預(yù)測(cè)，來(lái)預(yù)測(cè)下一個(gè)信號(hào)值，然后根據(jù)dtw距離計(jì)算，結(jié)合預(yù)測(cè)值與真實(shí)值之間的差異。該方法不但可以根據(jù)嵌入到高維空間的距離計(jì)算，也結(jié)合了現(xiàn)實(shí)空間的低維距離特征；融合距離計(jì)算，設(shè)置動(dòng)態(tài)閾值，動(dòng)態(tài)調(diào)整以達(dá)到精確的異常檢測(cè)效果。此外，本發(fā)明在transformer的架構(gòu)中引入了時(shí)間編碼的相關(guān)技術(shù)，從而考慮到信息周期性和長(zhǎng)距離的信息衰減性。

技術(shù)特征：

1.一種基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，包括如下步驟：

2.如權(quán)利要求1所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述步驟s1把時(shí)序數(shù)據(jù)和一階插值作為序列數(shù)據(jù)，分別輸入到transformer框架中去除時(shí)序數(shù)據(jù)中的趨勢(shì)特征，提取出時(shí)序數(shù)據(jù)的本質(zhì)特征；時(shí)序數(shù)據(jù)的一階差分為：

3.如權(quán)利要求1所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述步驟s2將transformer中原始的位置編碼修改為時(shí)間編碼，所述時(shí)間編碼分為絕對(duì)時(shí)間編碼和相對(duì)時(shí)間編碼；

4.如權(quán)利要求3所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，k為測(cè)試半衰期的時(shí)刻點(diǎn)。

5.如權(quán)利要求4所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，k的取值為250-350。

6.如權(quán)利要求5所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，k的取值為300。

7.如權(quán)利要求1所述的基于transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，假設(shè)有兩個(gè)時(shí)間序列a和b，長(zhǎng)度分別為m和n，所述步驟s3包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于Transformer架構(gòu)的通信時(shí)序數(shù)據(jù)異常檢測(cè)方法，包括如下步驟：S1)對(duì)原始時(shí)序數(shù)據(jù)和一階差分時(shí)序數(shù)據(jù)分別進(jìn)行建模預(yù)測(cè)，一階差分的預(yù)測(cè)結(jié)果作為原始時(shí)序數(shù)據(jù)預(yù)測(cè)結(jié)果的修正因子；S2)修改原始Transformer架構(gòu)中位置編碼相加的策略，在相對(duì)時(shí)間編碼中引入1+半衰期算法的指數(shù)衰減策略，把絕對(duì)時(shí)間編碼和相對(duì)時(shí)間編碼相乘來(lái)融合時(shí)間編碼特征；S3)利用DTW來(lái)計(jì)算Transformer端到端預(yù)測(cè)出的時(shí)間序列數(shù)據(jù)和實(shí)際時(shí)序數(shù)據(jù)的距離。本發(fā)明能夠結(jié)合深度學(xué)習(xí)和傳統(tǒng)數(shù)據(jù)挖掘模型，融合距離計(jì)算，可以根據(jù)實(shí)際情況進(jìn)行動(dòng)態(tài)調(diào)整，以達(dá)到精確的異常檢測(cè)效果。

技術(shù)研發(fā)人員：趙華蕾,陳滌非,陳巍,高新葉
受保護(hù)的技術(shù)使用者：上海埃威信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6