本發(fā)明屬于數(shù)據(jù)分析，尤其是涉及一種基于大模型的電力時(shí)序數(shù)據(jù)異常檢測(cè)方法、設(shè)備和介質(zhì)。

背景技術(shù)：

1、時(shí)序數(shù)據(jù)異常檢測(cè)是一種廣泛應(yīng)用于能源、金融、醫(yī)療等領(lǐng)域的大數(shù)據(jù)分析方法，比如，電力企業(yè)通過對(duì)電力時(shí)序負(fù)荷數(shù)據(jù)進(jìn)行異常檢測(cè)，可以對(duì)異常事件和用電異動(dòng)做到事前預(yù)警與事后排查，對(duì)于電網(wǎng)公司降本增效、提高配電網(wǎng)輸電效率有著重要意義。

2、機(jī)器學(xué)習(xí)的發(fā)展為時(shí)序數(shù)據(jù)異常檢測(cè)方法的研究帶來了重大進(jìn)展，然而在運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)分析的過程中，機(jī)器學(xué)習(xí)方法仍然存在著可解釋性差、數(shù)據(jù)來源單一、用戶模式表征完整度低等缺點(diǎn)。隨著電力企業(yè)數(shù)字化改革的不斷加深，對(duì)海量電力數(shù)據(jù)挖掘利用的要求也越來越高，當(dāng)前的方法往往基于機(jī)器學(xué)習(xí)的數(shù)據(jù)獨(dú)立同分布假設(shè)，對(duì)于不同周期、不同企業(yè)的用電情況的分析不夠細(xì)致，對(duì)變化的用電數(shù)據(jù)特征挖掘不夠靈活。且相比于其他時(shí)序數(shù)據(jù)，電力數(shù)據(jù)的規(guī)模更加龐大，所蘊(yùn)含的時(shí)域信息也更加豐富，包含的時(shí)間跨度更長(zhǎng)，這對(duì)模型在長(zhǎng)距離依賴的捕獲能力也提出了更高的要求。

3、為了準(zhǔn)確地建模動(dòng)態(tài)的時(shí)序依賴，適應(yīng)長(zhǎng)距離且分布變動(dòng)的時(shí)序數(shù)據(jù)，預(yù)訓(xùn)練的大模型開始在時(shí)序預(yù)測(cè)領(lǐng)域發(fā)揮作用?，F(xiàn)有關(guān)于時(shí)序預(yù)測(cè)大模型的研究主要集中在語義對(duì)齊和模態(tài)適配上，例如，yu將時(shí)序數(shù)據(jù)作為大模型的上下文提示詞，通過設(shè)計(jì)多種提示詞模板對(duì)大模型進(jìn)行微調(diào)；koa等人設(shè)計(jì)了一種名為“總結(jié)-解釋-預(yù)測(cè)”的提示詞框架，使用多智能體技術(shù)提高模型對(duì)時(shí)序數(shù)據(jù)的理解能力；zhou等人從數(shù)據(jù)本身出發(fā)，將海量的時(shí)序數(shù)據(jù)直接提供給大模型進(jìn)行預(yù)訓(xùn)練，再在各個(gè)下游任務(wù)上分別進(jìn)行微調(diào)。然而，現(xiàn)有的時(shí)序大模型在解決電力時(shí)序數(shù)據(jù)異常檢測(cè)問題時(shí)仍然存在局限性，當(dāng)前的工作仍停留在利用大模型的語言分析能力的層面上，缺乏對(duì)時(shí)序數(shù)據(jù)本身信息的理解，即缺少對(duì)時(shí)序數(shù)據(jù)的趨勢(shì)性、周期性、季節(jié)性等分量的細(xì)節(jié)分析和充分理解；且本質(zhì)上仍依賴于大模型的語義理解能力，在應(yīng)用中的對(duì)齊適配過程存在不可避免的信息損失，可能會(huì)導(dǎo)致時(shí)序數(shù)據(jù)預(yù)測(cè)與異常檢測(cè)性能不佳的問題。因此，如何開發(fā)一種精確度高且能適應(yīng)電力數(shù)據(jù)特質(zhì)的時(shí)序數(shù)據(jù)異常檢測(cè)方法，對(duì)于電力企業(yè)數(shù)字化深度改革至關(guān)重要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于大模型的電力時(shí)序數(shù)據(jù)異常檢測(cè)方法、設(shè)備和介質(zhì)，提高電力時(shí)序數(shù)據(jù)異常檢測(cè)結(jié)果的精確性和可靠性。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、本發(fā)明提供一種基于大模型的電力時(shí)序數(shù)據(jù)異常檢測(cè)方法，包括以下步驟：

4、獲取待檢測(cè)電力時(shí)序數(shù)據(jù)，輸入訓(xùn)練好的電力時(shí)序數(shù)據(jù)異常檢測(cè)模型，輸出檢測(cè)結(jié)果；其中，所述電力時(shí)序數(shù)據(jù)異常檢測(cè)模型的訓(xùn)練過程包括預(yù)訓(xùn)練階段和微調(diào)階段，所述預(yù)訓(xùn)練階段基于預(yù)獲取的通用時(shí)序數(shù)據(jù)集進(jìn)行自監(jiān)督訓(xùn)練，在所述預(yù)訓(xùn)練階段創(chuàng)建記憶存儲(chǔ)單元用于存儲(chǔ)歷史備選模式，所述歷史備選模式基于通用時(shí)序數(shù)據(jù)集中余弦相似度高于設(shè)定閾值的通用時(shí)序數(shù)據(jù)生成；所述微調(diào)階段通過預(yù)獲取的電力時(shí)序數(shù)據(jù)集進(jìn)一步進(jìn)行模型參數(shù)微調(diào)；

5、所述電力時(shí)序數(shù)據(jù)異常檢測(cè)模型包括依次相連的小波分解模塊、編碼器模塊和解碼器模塊，所述小波分解模塊首先對(duì)電力時(shí)序數(shù)據(jù)進(jìn)行小波分解，獲得不同周期尺度的分量序列，然后通過多頭自注意力將各分量序列轉(zhuǎn)化為等長(zhǎng)的特征表示，并切分為部分重疊的切片輸入所述編碼器模塊進(jìn)行編碼；所述解碼器模塊通過改進(jìn)的動(dòng)態(tài)時(shí)間規(guī)整算法，可微地計(jì)算所述編碼器模塊的輸出與所述記憶存儲(chǔ)單元中各歷史備選模式之間的動(dòng)態(tài)時(shí)間規(guī)整距離，據(jù)此計(jì)算各歷史備選模式的貢獻(xiàn)分?jǐn)?shù)，聚合獲得電力時(shí)序數(shù)據(jù)在各周期尺度上的特征表示，并通過逆小波變換獲得最終的輸出。

6、進(jìn)一步地，通過多貝西小波對(duì)電力時(shí)序數(shù)據(jù)進(jìn)行小波分解。

7、進(jìn)一步地，將各分量序列轉(zhuǎn)化為等長(zhǎng)的特征表示的具體過程如下：

8、計(jì)算各分量序列在每個(gè)時(shí)間步的注意力權(quán)重，對(duì)每個(gè)時(shí)間步的分量序列加權(quán)求和，獲得各分量序列的聚合表示；

9、通過線性層將各分量序列的聚合表示投影至指定輸出維度，完成長(zhǎng)度對(duì)齊。

10、進(jìn)一步地，分量序列在時(shí)間步的注意力權(quán)重的計(jì)算公式具體如下：

11、，

12、分量序列的聚合表示的計(jì)算公式具體如下：

13、，

14、其中，為分量序列在時(shí)間步的特征向量，為可訓(xùn)練的權(quán)重向量，為分量序列的長(zhǎng)度。

15、進(jìn)一步地，所述編碼器模塊的輸出與各歷史備選模式之間的動(dòng)態(tài)時(shí)間規(guī)整距離的計(jì)算公式具體如下：

16、，

17、，

18、其中，為編碼器模塊輸出與歷史備選模式之間的動(dòng)態(tài)時(shí)間規(guī)整距離，，，每個(gè)歷史備選模式，為歷史備選模式的數(shù)量，表示時(shí)刻，為時(shí)間序列的長(zhǎng)度，為編碼器模塊輸出與歷史備選模式的維度，為平滑參數(shù)，為的迭代計(jì)算公式，為和的歐氏距離。

19、進(jìn)一步地，電力時(shí)序數(shù)據(jù)在各周期尺度上的特征表示具體如下：

20、，

21、，

22、其中，為歷史備選模式的數(shù)量，為歷史備選模式的貢獻(xiàn)分?jǐn)?shù)。

23、進(jìn)一步地，所述記憶存儲(chǔ)單元根據(jù)存儲(chǔ)于其中的歷史備選模式的出現(xiàn)頻率動(dòng)態(tài)更新。

24、進(jìn)一步地，計(jì)算余弦相似度矩陣高于設(shè)定閾值的通用時(shí)序數(shù)據(jù)的聚類值，作為歷史備選模式存儲(chǔ)至所述記憶存儲(chǔ)單元。

25、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器，以及存儲(chǔ)于所述存儲(chǔ)器中的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法。

26、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

28、1、本發(fā)明提出了一種基于大模型的電力時(shí)序數(shù)據(jù)異常檢測(cè)方法，通過訓(xùn)練好的電力時(shí)序數(shù)據(jù)異常檢測(cè)模型實(shí)現(xiàn)檢測(cè)結(jié)果輸出，該模型的訓(xùn)練過程包括預(yù)訓(xùn)練階段和微調(diào)階段，預(yù)訓(xùn)練階段創(chuàng)建了用于存儲(chǔ)歷史備選模式的記憶存儲(chǔ)單元，歷史備選模式基于通用時(shí)序數(shù)據(jù)集中余弦相似度高于設(shè)定閾值的通用時(shí)序數(shù)據(jù)生成，記憶存儲(chǔ)單元有助于積累更多的向量模式，從而在面對(duì)新數(shù)據(jù)時(shí)具有更強(qiáng)的泛化能力。電力時(shí)序數(shù)據(jù)異常檢測(cè)模型包括依次相連的小波分解模塊、編碼器模塊和解碼器模塊，其中，小波分解模塊首先對(duì)電力時(shí)序數(shù)據(jù)進(jìn)行小波分解，獲得不同周期尺度的分量序列，可以提升模型對(duì)時(shí)序信息的理解能力；然后通過多頭自注意力將各分量序列轉(zhuǎn)化為等長(zhǎng)的特征表示，并切分為部分重疊的切片輸入所述編碼器模塊進(jìn)行編碼，可以解決原有時(shí)序數(shù)據(jù)點(diǎn)信息密度不足的問題；解碼器模塊對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行了改進(jìn)，能夠可微地計(jì)算所述編碼器模塊的輸出與所述記憶存儲(chǔ)單元中各歷史備選模式之間的動(dòng)態(tài)時(shí)間規(guī)整距離，有助于在訓(xùn)練中傳遞梯度，加速模型訓(xùn)練；最后，根據(jù)動(dòng)態(tài)時(shí)間規(guī)整距離計(jì)算各歷史備選模式的貢獻(xiàn)分?jǐn)?shù)，聚合獲得電力時(shí)序數(shù)據(jù)在各周期尺度上的特征表示，并通過逆小波變換獲得最終的輸出。通過上述方法可以準(zhǔn)確、高效實(shí)現(xiàn)電力時(shí)序數(shù)據(jù)異常檢測(cè)。

29、2、本發(fā)明中，記憶存儲(chǔ)單元根據(jù)存儲(chǔ)于其中的歷史備選模式的出現(xiàn)頻率動(dòng)態(tài)更新，可以更有效地利用存儲(chǔ)資源，捕捉環(huán)境動(dòng)態(tài)變化，保證記憶存儲(chǔ)單元的時(shí)效性和有效性。