本技術涉及大數(shù)據(jù)處理，具體而言，涉及一種日志數(shù)據(jù)的處理方法及裝置、非易失性存儲介質。

背景技術：

1、在大規(guī)模分布式系統(tǒng)中，系統(tǒng)異常日志的即時采集與實時告警是確保系統(tǒng)穩(wěn)定性和可靠性的關鍵。然而，傳統(tǒng)日志處理流程存在顯著的時間延遲，通常涉及用戶發(fā)現(xiàn)異常、上報、再由研發(fā)人員分析日志以確認異常及原因，這一過程人為分析復雜，處理的及時性和準確性較差。

2、針對上述的問題，目前尚未提出有效的解決方案。

技術實現(xiàn)思路

1、本技術實施例提供了一種日志數(shù)據(jù)的處理方法及裝置、非易失性存儲介質，以至少解決無法及時對數(shù)據(jù)源產生的異常日志進行告警的技術問題。

2、根據(jù)本技術實施例的一個方面，提供了一種日志數(shù)據(jù)的處理方法，包括：獲取數(shù)據(jù)源對應的日志數(shù)據(jù)集；按照預設時間周期，周期性獲取日志數(shù)據(jù)集中根據(jù)預設規(guī)則記錄的異常日志數(shù)據(jù)，并按照預設時間窗口，統(tǒng)計異常日志數(shù)據(jù)的數(shù)量，其中，預設時間窗口對應的時長小于預設時間周期對應的時長；獲取目標時間窗口中的異常日志數(shù)據(jù)的目標數(shù)量，并獲取預設歷史時長內的第一時間窗口中的異常日志數(shù)據(jù)的第一數(shù)量，其中，目標時間窗口為待處理的異常日志數(shù)據(jù)所在的時間窗口，第一時間窗口為與目標時間窗口相鄰的時間窗口；利用多個不同的預設統(tǒng)計算法，確定目標數(shù)量與第一數(shù)量之間的多個統(tǒng)計結果；根據(jù)每個預設統(tǒng)計算法在時間維度的使用順序，確定每個預設統(tǒng)計算法對應的權重；根據(jù)每個預設統(tǒng)計算法對應的權重，對預設統(tǒng)計算法的統(tǒng)計結果進行加權求和計算，并根據(jù)計算結果，確定是否生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息。

3、可選地，利用多個不同的預設統(tǒng)計算法，確定目標數(shù)量與第一數(shù)量之間的多個統(tǒng)計結果，包括：利用k-sigma算法確定目標數(shù)量與目標平均值之間的標準差，其中，目標平均值為第一時間窗口對應的第一數(shù)量在預設歷史時長內的平均值；在標準差大于第一預設閾值的情況下，確定k-sigma算法輸出的第一統(tǒng)計結果為1，在標準差不大于第一預設閾值的情況下，確定k-sigma算法輸出的第一統(tǒng)計結果為0；利用核密度估計算法，確定目標數(shù)量對應的概率密度估計值；在概率密度估計值大于第二預設閾值的情況下，確定核密度估計算法輸出的第二統(tǒng)計結果為1，在概率密度估計值不大于第二預設閾值的情況下，確定核密度估計算法輸出的第二統(tǒng)計結果為0；利用孤立森林算法，確定目標數(shù)量對應的異常得分；在異常得分大于第三預設閾值的情況下，確定孤立森林算法輸出的第三統(tǒng)計結果為1，在異常得分不大于第三預設閾值的情況下，確定孤立森林算法輸出的第三統(tǒng)計結果為0。

4、可選地，確定是否生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息之后，方法還包括：獲取權重列表，其中，權重列表中包括每個預設統(tǒng)計算法對應的權重；若根據(jù)計算結果，確定生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息，增加第一目標算法對應的初始權重，得到第一權重，并在權重列表中通過第一權重更新第一目標算法對應的初始權重，得到更新后的權重列表，其中，第一目標算法為統(tǒng)計結果為1的預設統(tǒng)計算法；若根據(jù)計算結果，確定不生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息，增加第二目標算法對應的初始權重，得到第二權重，并在權重列表中通過第二權重更新第二目標算法對應的初始權重，得到更新后的權重列表，其中，第二目標算法為統(tǒng)計結果為0的預設統(tǒng)計算法；利用多個不同的預設統(tǒng)計算法，確定第一目標時間窗口中的異常日志數(shù)據(jù)的第二數(shù)量與第一數(shù)量之間的多個第一統(tǒng)計結果；根據(jù)更新后的權重列表，對第一統(tǒng)計結果進行加權求和計算，并根據(jù)計算結果，確定是否生成對第一目標時間窗口中的異常日志數(shù)據(jù)的告警信息。

5、可選地，根據(jù)每個預設統(tǒng)計算法在時間維度的使用順序，確定每個預設統(tǒng)計算法對應的權重，包括：對于在時間維度第i個使用的預設統(tǒng)計算法，將其對應的標識信息確定為i，其中，i為不大于n的正整數(shù)，n為預設統(tǒng)計算法的數(shù)量；通過如下公式確定第i個預設統(tǒng)計算法對應的權重wi：

6、可選地，根據(jù)計算結果，確定是否生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息，包括：判斷計算結果是否大于預設統(tǒng)計算法的數(shù)量的倒數(shù)，若計算結果大于預設統(tǒng)計算法的數(shù)量的倒數(shù)，生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息。

7、可選地，在確定生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息的情況下，方法還包括：查詢目標時間窗口中的異常日志數(shù)據(jù)的異常日志內容；將異常日志內容與預設語句結合，得到目標語句，通過目標語句調用預訓練深度學習模型；獲取預訓練深度學習模型響應于目標語句所生成輸出結果。

8、可選地，獲取預訓練深度學習模型響應于目標語句所生成輸出結果之后，方法還包括：將輸出結果發(fā)送至預存儲的終端設備標識集合對應的終端設備，其中，輸出結果包括以下至少之一：日志內容對應的異常原因信息以及處理方案信息。

9、根據(jù)本技術實施例的再一方面，還提供了一種日志數(shù)據(jù)的處理裝置，包括：第一獲取模塊，用于獲取數(shù)據(jù)源對應的日志數(shù)據(jù)集；統(tǒng)計模塊，用于按照預設時間周期，周期性獲取日志數(shù)據(jù)集中根據(jù)預設規(guī)則記錄的異常日志數(shù)據(jù)，并按照預設時間窗口，統(tǒng)計異常日志數(shù)據(jù)的數(shù)量，其中，預設時間窗口對應的時長小于預設時間周期對應的時長；第二獲取模塊，用于獲取目標時間窗口中的異常日志數(shù)據(jù)的目標數(shù)量，并獲取預設歷史時長內的第一時間窗口中的異常日志數(shù)據(jù)的第一數(shù)量，其中，目標時間窗口為待處理的異常日志數(shù)據(jù)所在的時間窗口，第一時間窗口為與目標時間窗口相鄰的時間窗口；第一確定模塊，用于利用多個不同的預設統(tǒng)計算法，確定目標數(shù)量與第一數(shù)量之間的多個統(tǒng)計結果；第二確定模塊，用于根據(jù)每個預設統(tǒng)計算法在時間維度的使用順序，確定每個預設統(tǒng)計算法對應的權重；第三確定模塊，用于根據(jù)每個預設統(tǒng)計算法對應的權重，對預設統(tǒng)計算法的統(tǒng)計結果進行加權求和計算，并根據(jù)計算結果，確定是否生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息。

10、根據(jù)本技術實施例的再一方面，還提供了一種非易失性存儲介質，存儲介質包括存儲的程序，其中，程序運行時控制存儲介質所在的設備執(zhí)行以上的日志數(shù)據(jù)的處理方法。

11、根據(jù)本技術實施例的再一方面，還提供了一種電子設備，包括：存儲器和處理器，處理器用于運行存儲在存儲器中的程序，其中，程序運行時執(zhí)行以上的日志數(shù)據(jù)的處理方法。

12、根據(jù)本技術實施例的再一方面，還提供了一種計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)以上的日志數(shù)據(jù)的處理方法。

13、根據(jù)本技術實施例的再一方面，還提供了一種計算機程序產品，計算機程序產品包括非易失性計算機可讀存儲介質，其中，非易失性計算機可讀存儲介質存儲計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)以上的日志數(shù)據(jù)的處理方法。

14、在本技術實施例中，采用獲取數(shù)據(jù)源對應的日志數(shù)據(jù)集；按照預設時間周期，周期性獲取日志數(shù)據(jù)集中根據(jù)預設規(guī)則記錄的異常日志數(shù)據(jù)，并按照預設時間窗口，統(tǒng)計異常日志數(shù)據(jù)的數(shù)量，其中，預設時間窗口對應的時長小于預設時間周期對應的時長；獲取目標時間窗口中的異常日志數(shù)據(jù)的目標數(shù)量，并獲取預設歷史時長內的第一時間窗口中的異常日志數(shù)據(jù)的第一數(shù)量，其中，目標時間窗口為待處理的異常日志數(shù)據(jù)所在的時間窗口，第一時間窗口為與目標時間窗口相鄰的時間窗口；利用多個不同的預設統(tǒng)計算法，確定目標數(shù)量與第一數(shù)量之間的多個統(tǒng)計結果；根據(jù)每個預設統(tǒng)計算法在時間維度的使用順序，確定每個預設統(tǒng)計算法對應的權重；根據(jù)每個預設統(tǒng)計算法對應的權重，對預設統(tǒng)計算法的統(tǒng)計結果進行加權求和計算，并根據(jù)計算結果，確定是否生成對目標時間窗口中的異常日志數(shù)據(jù)的告警信息的方式，實現(xiàn)了及時對數(shù)據(jù)源產生的異常日志進行告警的技術效果，進而解決了無法及時對數(shù)據(jù)源產生的異常日志進行告警的技術問題。