本發(fā)明屬于數(shù)據(jù)分析，涉及大型互聯(lián)網(wǎng)服務(wù)中心的系統(tǒng)異常運(yùn)行檢測，具體涉及一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法。

背景技術(shù)：

1、大型互聯(lián)網(wǎng)服務(wù)中心的異常數(shù)據(jù)檢測面臨兩個問題：1、在大型服務(wù)集群中的監(jiān)控實(shí)體通常具有大量監(jiān)控數(shù)據(jù)，用于反映其健康狀況的各個方面。這些監(jiān)控數(shù)據(jù)包含多個維度上的信息，因此異常狀態(tài)可能表現(xiàn)為多個維度數(shù)據(jù)間的復(fù)雜相互作用，例如數(shù)據(jù)分布的偏移、聚類結(jié)構(gòu)的變化、相關(guān)性的增強(qiáng)或減弱，而非單一維度上的顯著偏離。2、有監(jiān)督的異常檢測算法需要準(zhǔn)確的異常標(biāo)簽，但由于時間序列異常標(biāo)記的復(fù)雜性和數(shù)據(jù)的海量性，獲得高質(zhì)量的標(biāo)簽是一個具有挑戰(zhàn)性的問題。

2、現(xiàn)有技術(shù)針對時間序列異常檢測問題，提出了不同的解決方案。例如時間序列分解，通過將一維時間序列分解為具有周期信息的二維時間序列，典型代表為timesnet，其問題在于賦予了多維時間序列每個維度相同的重要程度，沒有利用多維時間序列的優(yōu)勢。圖注意力網(wǎng)絡(luò)的方式，通過將時間序列轉(zhuǎn)化成圖，然后利用注意力機(jī)制融合關(guān)鍵維度和臨近時間點(diǎn)的信息進(jìn)行異常檢測，典型代表為mad-sta，然而圖注意力網(wǎng)絡(luò)的學(xué)習(xí)嚴(yán)重依賴圖結(jié)構(gòu)的質(zhì)量，構(gòu)建一個能表達(dá)多維時間序列復(fù)雜關(guān)系的圖是一個挑戰(zhàn)性的問題。其次，圖神經(jīng)網(wǎng)絡(luò)存在難以訓(xùn)練的問題，時間序列的復(fù)雜性導(dǎo)致難以得到一個泛化能力強(qiáng)的模型。

3、綜上所述，設(shè)計一種面向多維時間序列的系統(tǒng)運(yùn)行異常檢測方法，充分利用多維時間序列的特征，并且不使用標(biāo)簽進(jìn)行異常檢測，及時發(fā)現(xiàn)異常情況，在異常對系統(tǒng)產(chǎn)生不利影響之前采取響應(yīng)措施，降低異常對系統(tǒng)性能的影響，提升系統(tǒng)的穩(wěn)定性和可靠性，就顯得十分重要。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，通過收集并分析相應(yīng)的監(jiān)控數(shù)據(jù)，以計算多維時間序列相似性的方式識別系統(tǒng)運(yùn)行中的潛在異常。并且不納入異常標(biāo)簽，從而在系統(tǒng)執(zhí)行不同任務(wù)時也能保持良好的性能，解決現(xiàn)有異常檢測方法缺乏對多維時間序列數(shù)據(jù)的有效利用的問題。

2、一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，包括以下步驟：

3、步驟1、收集系統(tǒng)執(zhí)行階段的與時間相關(guān)的原始監(jiān)控數(shù)據(jù)，所述監(jiān)控數(shù)據(jù)包括多維監(jiān)控指標(biāo)，即多維序列數(shù)據(jù)。對非數(shù)字格式的原始監(jiān)控數(shù)據(jù)進(jìn)行數(shù)字化編碼，再進(jìn)行歸一化處理，得到多維時間序列

4、步驟2、通過時間序列重構(gòu)模型對多維時間序列進(jìn)行重構(gòu)，并計算重構(gòu)前后的數(shù)據(jù)差值，得到重建差值序列x。

5、步驟3、針對重建差值序列x數(shù)據(jù)分布構(gòu)建特征空間，并重復(fù)t次。

6、步驟4、基于t次實(shí)驗(yàn)構(gòu)建的特征空間，根據(jù)數(shù)據(jù)點(diǎn)在特征空間內(nèi)的位置，計算重建差值序列x的孤立核特征向量。

7、步驟5、使用固定長度的滑動窗口，將重建差值序列x特征向量劃分為多個子序列。

8、步驟6、利用核均值嵌入計算不同子序列之間的相似度，判定相似度小于閾值的子序列對應(yīng)的時間為系統(tǒng)異常運(yùn)行時刻。

9、本發(fā)明具有以下有益效果：

10、1、相較于傳統(tǒng)方法為重構(gòu)數(shù)據(jù)的每一個維度單獨(dú)設(shè)置一個閾值，本申請通過為重建差值序列x數(shù)據(jù)分布構(gòu)建特征空間，充分利用了多維時間序列的優(yōu)勢，挖掘了多維數(shù)據(jù)間蘊(yùn)含的豐富信息，解決了設(shè)置多維閾值帶來的挑戰(zhàn)性。

11、2、不使用標(biāo)簽信息，減少了人工標(biāo)注的成本，避免了由于標(biāo)簽者的偏見引入的人為誤差，提高了模型的精準(zhǔn)性。同時，不納入異常標(biāo)簽也可以讓模型更容易的適應(yīng)數(shù)據(jù)的變化，在數(shù)據(jù)分布動態(tài)變化的環(huán)境中，避免了頻繁重新標(biāo)注數(shù)據(jù)的情況。

12、3、使用經(jīng)過時間序列重構(gòu)算法之后的差值而不直接使用原始時間序列進(jìn)行相關(guān)性計算，解決了原始數(shù)據(jù)的噪聲問題，并將原本隱藏的數(shù)據(jù)特征清晰地表示出來，有助于簡化后續(xù)的異常檢測過程，并提升異常檢測的準(zhǔn)確性。

技術(shù)特征：

1.一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，收集系統(tǒng)執(zhí)行階段的與時間相關(guān)的原始監(jiān)控數(shù)據(jù)進(jìn)行異常檢測，其特征在于：具體步驟如下：

2.如權(quán)利要求1所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：對數(shù)字化后的原始監(jiān)控數(shù)據(jù)進(jìn)行歸一化處理：

3.如權(quán)利要求1所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：所述時間序列重構(gòu)模型為自動編碼器、變分自動編碼器、循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)、擴(kuò)散模型、時間卷積網(wǎng)絡(luò)或生成對抗網(wǎng)絡(luò)中的一種。

4.如權(quán)利要求1所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：針對重建差值序列x數(shù)據(jù)分布構(gòu)建特征空間的方法為：

5.如權(quán)利要求4所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：基于蒙特卡洛的方法，獨(dú)立重復(fù)t次特征空間的構(gòu)建，得到t種切分結(jié)果，每種切分方法可以得到ψ個超球。

6.如權(quán)利要求5所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：重建差值序列x特征向量的計算方法為：

7.如權(quán)利要求6所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：構(gòu)建長度為l的待檢測時間窗口sv，v＝1,2,…n-l+1，0<l<n，通過待檢測時間窗口sv將重建差值序列x的特征向量φ(x)轉(zhuǎn)化為滑動窗口序列sv＝{φ(xv),…,φ(xv+l-1)}；用孤立核特征均值來代替差值窗口序列sv的特征向量，

8.如權(quán)利要求7所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：對于系統(tǒng)歷史運(yùn)行的異常檢測，將多維時間序列的重建差值序列x劃分為多個子序列后，依次計算每個子序列sv與完整的重建差值序列x之間的相似度設(shè)定一個閾值τ1，若則判斷子序列sv對應(yīng)的時間為系統(tǒng)異常的時間段。

9.如權(quán)利要求8所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：閾值τ1的確定方法為：將所有子序列與完整的重建差值序列x之間的相似度按照從小到大的順序進(jìn)行排列，得到數(shù)組score，按照預(yù)設(shè)的異常率從score中選擇一個相似度得分作為閾值τ1。

10.如權(quán)利要求7所述一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法，其特征在于：對于系統(tǒng)在線運(yùn)行的異常檢測，通過計算待檢測數(shù)據(jù)s與歷史數(shù)據(jù)t間的相似度，并與設(shè)定閾值τ2進(jìn)行對比，將與歷史數(shù)據(jù)相似度小于閾值τ2的待檢測數(shù)據(jù)認(rèn)定為異常數(shù)據(jù)；

技術(shù)總結(jié)
本發(fā)明公開了一種自適應(yīng)融合多維序列數(shù)據(jù)的系統(tǒng)異常檢測方法。該方法首先收集系統(tǒng)執(zhí)行階段的與時間相關(guān)的原始監(jiān)控數(shù)據(jù)，并對非數(shù)字格式的原始監(jiān)控數(shù)據(jù)進(jìn)行數(shù)字化編碼，再進(jìn)行歸一化處理，得到多維時間序列然后通過時間序列重構(gòu)模型對多維時間序列進(jìn)行重構(gòu)，并計算重構(gòu)前后的數(shù)據(jù)差值，得到重建差值序列X。針對重建差值序列X數(shù)據(jù)分布構(gòu)建特征空間，并重復(fù)t次?；趖次實(shí)驗(yàn)構(gòu)建的特征空間，計算重建差值序列X的特征向量。使用固定長度的滑動窗口，將重建差值序列X特征向量劃分為多個子序列。最后利用核均值嵌入計算不同子序列之間的相似度，判定相似度小于閾值的子序列對應(yīng)的時間為系統(tǒng)異常運(yùn)行時刻。有效利用多維時間序列數(shù)據(jù)。

技術(shù)研發(fā)人員：謝鋮,程雨夏,賈剛勇,吳卿
受保護(hù)的技術(shù)使用者：杭州電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9