本發(fā)明涉及計算機領(lǐng)域,尤其是一種基于特征分析的指標異常定位方法、裝置及存儲介質(zhì)。
背景技術(shù):
1、現(xiàn)今,隨著計算機技術(shù)的發(fā)展,計費系統(tǒng)自動化運維,現(xiàn)有的計費系統(tǒng)主要通過運營專家根據(jù)運維經(jīng)驗指定的預(yù)定義規(guī)則自動觸發(fā)、執(zhí)行常見的、重復(fù)性的異常檢測等運維工作,隨著業(yè)務(wù)急劇膨脹、應(yīng)用集群以及服務(wù)集群的復(fù)雜多樣,基于運營專家指定的預(yù)定義規(guī)則逐漸變得力不從心,現(xiàn)有的自動化運維方式滿足不了日益增長的業(yè)務(wù)監(jiān)控和系統(tǒng)指標監(jiān)控的運維需求,因此需要提供新的異常檢測等運維方案。
技術(shù)實現(xiàn)思路
1、有鑒于此,為了解決上述技術(shù)問題的至少之一,本發(fā)明的目的是提供一種基于特征分析的指標異常定位方法、裝置及存儲介質(zhì)。
2、本發(fā)明實施例提供了一種基于特征分析的指標異常定位方法,包括:
3、獲取計費系統(tǒng)的實時指標數(shù)據(jù);
4、對所述實時指標數(shù)據(jù)進行應(yīng)用場景分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的實時特征屬性,將所述實時指標數(shù)據(jù)以及所述特征屬性存入指標庫;所述指標庫中具有包括實時指標數(shù)據(jù)的時序數(shù)據(jù)以及包括所述實時特征屬性的時序特征屬性;
5、通過aiops大腦對所述時序數(shù)據(jù)以及所述時序特征屬性進行特征分析處理,調(diào)用異常檢測模型能力服務(wù)的算法原子能力,以檢測所述實時指標數(shù)據(jù)是否存在異常點,當存在異常點推送至監(jiān)控系統(tǒng)。
6、進一步,所述對所述實時指標數(shù)據(jù)進行應(yīng)用場景分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的實時特征屬性,包括:
7、獲取業(yè)務(wù)促銷消息,并根據(jù)所述業(yè)務(wù)促銷消息確定促銷活動周期;
8、根據(jù)所述促銷活動周期對所述實時指標數(shù)據(jù)進行時間特征分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的所述實時特征屬性。
9、進一步,所述通過aiops大腦對所述時序數(shù)據(jù)以及所述時序特征屬性進行特征分析處理,調(diào)用異常檢測模型能力服務(wù)的算法原子能力,包括:
10、以kafka隊列推送所述時序數(shù)據(jù)以及所述時序特征屬性至所述aiops大腦;
11、通過所述aiops大腦接收所述時序數(shù)據(jù)以及所述時序特征屬性進行預(yù)處理后進行分類處理,根據(jù)分類處理結(jié)果調(diào)用異常檢測模型能力服務(wù)的算法原子能力。
12、進一步,通過fillna函數(shù)對所述時序數(shù)據(jù)進行就近填充或者同周期填充,其中就近填充為:計算所述時序數(shù)據(jù)中缺失位置的前預(yù)設(shè)數(shù)量個數(shù)據(jù)的均值,將所述均值填充至所述缺失位置,同周期填充為:通過預(yù)設(shè)時間長度將所述時序數(shù)據(jù)劃分為若各個周期,確定所述缺失位置所在的目標周期,通過所述目標周期內(nèi)的數(shù)據(jù)填充所述缺失位置;
13、將所述時序特征屬性的離群值標記為預(yù)設(shè)值,存入特征標簽庫;
14、通過n-sigma算法確定就近填充或者同周期填充后的時序數(shù)據(jù)的正態(tài)分布,將超出正態(tài)分布的數(shù)據(jù)刪除,得到預(yù)處理后的時序數(shù)據(jù)。
15、進一步,所述分類處理,包括:
16、對預(yù)處理后的時序數(shù)據(jù)進行數(shù)據(jù)標準化處理;
17、對數(shù)據(jù)標準化處理結(jié)果進行降維處理,將降維處理結(jié)果輸入分類器中進行分類處理,以將預(yù)處理后的時序數(shù)據(jù)分為周期性、平穩(wěn)性以及無規(guī)律性三種類型。
18、進一步,所述根據(jù)分類處理結(jié)果調(diào)用異常檢測模型能力服務(wù)的算法原子能力,包括:
19、根據(jù)分類處理結(jié)果進行特征分析,以提取時間維度特征,將所述時間維度特征轉(zhuǎn)換為二元變量的特征編碼并進行特征標準化,得到特征集;
20、根據(jù)所述特征集調(diào)用異常檢測模型能力服務(wù)從異常檢測模型庫的至少一個異常檢測模型中確定目標異常檢測模型以調(diào)用算法原子能力。
21、進一步,所述異常檢測模型通過以下步驟訓(xùn)練得到:
22、獲取時序樣本訓(xùn)練數(shù)據(jù);
23、對時序樣本訓(xùn)練數(shù)據(jù)進行特征標準化以及數(shù)據(jù)pca降維處理得到第一特征,對所述時序樣本訓(xùn)練數(shù)據(jù)進行日期特征提取得到第二特征,對時序樣本訓(xùn)練數(shù)據(jù)進行滯后lag特征提取并窗口統(tǒng)計特征得到第三特征,將所述第一特征、所述第二特征以及所述第三特征存入所述特征標簽庫;
24、通過所述算法原子能力以及場景進行模型的流程編排,根據(jù)流程編排結(jié)果以及所述特征標簽庫中的內(nèi)容進行模型訓(xùn)練,得到異常檢測模型。
25、本發(fā)明實施例還提供一種基于特征分析的指標異常定位裝置,包括:
26、獲取模塊,用于獲取計費系統(tǒng)的實時指標數(shù)據(jù);
27、分析模塊,用于對所述實時指標數(shù)據(jù)進行應(yīng)用場景分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的實時特征屬性,將所述實時指標數(shù)據(jù)以及所述特征屬性存入指標庫;所述指標庫中具有包括實時指標數(shù)據(jù)的時序數(shù)據(jù)以及包括所述實時特征屬性的時序特征屬性;
28、檢測模塊,用于通過aiops大腦對所述時序數(shù)據(jù)以及所述時序特征屬性進行特征分析處理,調(diào)用異常檢測模型能力服務(wù)的算法原子能力,以檢測所述實時指標數(shù)據(jù)是否存在異常點,當存在異常點推送至監(jiān)控系統(tǒng)。
29、本發(fā)明實施例還提供一種基于特征分析的指標異常定位裝置,所述基于特征分析的指標異常定位裝置包括處理器和存儲器,所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集,所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執(zhí)行以實現(xiàn)所述方法。
30、本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì),所述存儲介質(zhì)中存儲有至少一條指令、至少一段程序、代碼集或指令集,所述至少一條指令、所述至少一段程序、所述代碼集或指令集由處理器加載并執(zhí)行以實現(xiàn)所述方法。
31、本發(fā)明的有益效果是:
32、通過獲取計費系統(tǒng)的實時指標數(shù)據(jù),對所述實時指標數(shù)據(jù)進行應(yīng)用場景分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的實時特征屬性,將所述實時指標數(shù)據(jù)以及所述特征屬性存入指標庫,通過應(yīng)用場景分析提取實時特征屬性有利于提高實時指標數(shù)據(jù)異常檢測的準確性;通過aiops大腦對所述時序數(shù)據(jù)以及所述時序特征屬性進行特征分析處理,調(diào)用異常檢測模型能力服務(wù)的算法原子能力,以檢測所述實時指標數(shù)據(jù)是否存在異常點,當存在異常點推送至監(jiān)控系統(tǒng),相對人工預(yù)定義規(guī)則的現(xiàn)有方案,能夠自動通過aiops大腦進行異常檢測,有利于滿足業(yè)務(wù)膨脹條件下的異常檢測運維需求。
33、為了更好地理解和實施,下面結(jié)合附圖詳細說明本發(fā)明。
1.一種基于特征分析的指標異常定位方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述基于特征分析的指標異常定位方法,其特征在于:所述對所述實時指標數(shù)據(jù)進行應(yīng)用場景分析,提取所述實時指標數(shù)據(jù)的應(yīng)用場景的實時特征屬性,包括:
3.根據(jù)權(quán)利要求1所述基于特征分析的指標異常定位方法,其特征在于:所述通過aiops大腦對所述時序數(shù)據(jù)以及所述時序特征屬性進行特征分析處理,調(diào)用異常檢測模型能力服務(wù)的算法原子能力,包括:
4.根據(jù)權(quán)利要求3所述基于特征分析的指標異常定位方法,其特征在于:所述預(yù)處理,包括:
5.根據(jù)權(quán)利要求4所述基于特征分析的指標異常定位方法,其特征在于:所述分類處理,包括:
6.根據(jù)權(quán)利要求5所述基于特征分析的指標異常定位方法,其特征在于:所述根據(jù)分類處理結(jié)果調(diào)用異常檢測模型能力服務(wù)的算法原子能力,包括:
7.根據(jù)權(quán)利要求6所述基于特征分析的指標異常定位方法,其特征在于:所述異常檢測模型通過以下步驟訓(xùn)練得到:
8.一種基于特征分析的指標異常定位裝置,其特征在于,包括:
9.一種基于特征分析的指標異常定位裝置,其特征在于:所述基于特征分析的指標異常定位裝置包括處理器和存儲器,所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集,所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執(zhí)行以實現(xiàn)如權(quán)利要求1-7中任一項所述方法。
10.一種計算機可讀存儲介質(zhì),其特征在于:所述存儲介質(zhì)中存儲有至少一條指令、至少一段程序、代碼集或指令集,所述至少一條指令、所述至少一段程序、所述代碼集或指令集由處理器加載并執(zhí)行以實現(xiàn)如權(quán)利要求1-7中任一項所述方法。