本技術(shù)涉及數(shù)據(jù)采集，尤其涉及一種政務數(shù)據(jù)采集方法、裝置、設(shè)備及系統(tǒng)。

背景技術(shù)：

1、隨著云計算、大數(shù)據(jù)及人工智能的發(fā)展，跨地區(qū)、跨部門、跨行業(yè)的政務信息化系統(tǒng)中各個數(shù)據(jù)的采集和處理加工也進入了大數(shù)據(jù)時代。由于政務數(shù)據(jù)體量的不斷膨脹，數(shù)據(jù)在快速迭代變化，對數(shù)據(jù)采集系統(tǒng)的采集效率和成功率的要求也越來越高。

2、現(xiàn)有的政務數(shù)據(jù)采集方法主要包括配置數(shù)據(jù)采集任務、配置調(diào)度任務。根據(jù)調(diào)度任務觸發(fā)進行一次性或周期的數(shù)據(jù)采集執(zhí)行任務，數(shù)據(jù)采集結(jié)果如有異常，運維人員根據(jù)任務監(jiān)控日志進行分析，并根據(jù)分析結(jié)果，進行異常處理，并根據(jù)不同的異常任務針對性的進行異常處理，數(shù)據(jù)采集異常處理完畢后重新進行數(shù)據(jù)采集任務。

3、然而，現(xiàn)有的政務數(shù)據(jù)采集方法在進行數(shù)據(jù)采集時，存在數(shù)據(jù)采集成功率不高的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種政務數(shù)據(jù)采集方法、裝置、設(shè)備及系統(tǒng)，用以解決現(xiàn)有的政務數(shù)據(jù)采集方法在進行數(shù)據(jù)采集時，存在數(shù)據(jù)采集成功率不高的問題，以提升數(shù)據(jù)采集系統(tǒng)的性能和可靠性。

2、第一方面，本技術(shù)提供一種政務數(shù)據(jù)采集方法，包括：

3、獲取待執(zhí)行任務；

4、根據(jù)監(jiān)控規(guī)則，對影響待執(zhí)行任務執(zhí)行的監(jiān)控對象進行監(jiān)控，生成各個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，監(jiān)控對象包括數(shù)據(jù)采集系統(tǒng)中與待執(zhí)行任務相關(guān)的設(shè)備狀態(tài)、任務狀態(tài)、元數(shù)據(jù)情況及人工異常處理記錄，監(jiān)控規(guī)則包括監(jiān)控對象的具體類型和監(jiān)控參數(shù)；

5、針對每個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，根據(jù)比對參數(shù)規(guī)則，對監(jiān)控數(shù)據(jù)信息進行分析，得到數(shù)據(jù)分析結(jié)果，比對參數(shù)規(guī)則為與監(jiān)控對象對應的正則表達式和監(jiān)控參數(shù)閾值；

6、根據(jù)數(shù)據(jù)分析結(jié)果，確定監(jiān)控對象的優(yōu)化調(diào)整方案；

7、根據(jù)優(yōu)化調(diào)整方案，對監(jiān)控對象進行優(yōu)化調(diào)整，并在數(shù)據(jù)采集系統(tǒng)優(yōu)化調(diào)整完成后，執(zhí)行待執(zhí)行任務得到采集數(shù)據(jù)。

8、在一種可能的實施方式中，獲取待執(zhí)行任務，包括：

9、響應于系統(tǒng)人員的配置操作，獲取數(shù)據(jù)采集任務；

10、判斷數(shù)據(jù)采集任務中的調(diào)度任務類型；

11、若調(diào)度任務類型為周期性任務，則確定數(shù)據(jù)采集任務的執(zhí)行周期、以及與執(zhí)行周期對應的待執(zhí)行任務；

12、若調(diào)度任務類型為一次性任務，則確定數(shù)據(jù)采集任務為待執(zhí)行任務。

13、在一種可能的實施方式中，根據(jù)比對參數(shù)規(guī)則，對監(jiān)控數(shù)據(jù)信息進行分析，得到數(shù)據(jù)分析結(jié)果，包括：

14、根據(jù)比對參數(shù)規(guī)則，確定與監(jiān)控對象對應的正則表達式和監(jiān)控參數(shù)閾值；

15、基于正則表達式，對監(jiān)控對象的監(jiān)控數(shù)據(jù)信息進行匹配分析，確定匹配分析結(jié)果，匹配分析結(jié)果用于指示監(jiān)控數(shù)據(jù)信息中是否包括預設(shè)監(jiān)控參數(shù)；

16、若匹配分析結(jié)果指示監(jiān)控信息中包括預設(shè)監(jiān)控參數(shù)，將預設(shè)監(jiān)控參數(shù)與分別與監(jiān)控參數(shù)閾值中對應的參數(shù)閾值進行比對分析，確定比對分析結(jié)果，比對分析結(jié)果表征監(jiān)控對象的監(jiān)控參數(shù)是否超過監(jiān)控參數(shù)閾值；

17、根據(jù)匹配分析結(jié)果和比對分析結(jié)果，生成數(shù)據(jù)分析結(jié)果。

18、在一種可能的實施方式中，在根據(jù)數(shù)據(jù)分析結(jié)果，確定監(jiān)控對象的優(yōu)化調(diào)整方案之后，該方法還包括：

19、根據(jù)每個監(jiān)控對象的優(yōu)化調(diào)整方案，確定數(shù)據(jù)采集系統(tǒng)中與待執(zhí)行任務相關(guān)的最終優(yōu)化調(diào)整方案；

20、相應的，根據(jù)優(yōu)化調(diào)整方案，對監(jiān)控對象進行優(yōu)化調(diào)整，包括：

21、根據(jù)最終優(yōu)化調(diào)整方案，對各個監(jiān)控對象進行優(yōu)化調(diào)整。

22、在一種可能的實施方式中，根據(jù)每個監(jiān)控對象的優(yōu)化調(diào)整方案，確定數(shù)據(jù)采集系統(tǒng)中與待執(zhí)行任務相關(guān)的最終優(yōu)化調(diào)整方案，包括：

23、對每個監(jiān)控對象的優(yōu)化調(diào)整方案進行特征提取，得到每個監(jiān)控對象的特征表示；

24、基于自注意力機制和預訓練的大模型，確定每個監(jiān)控對象對應的特征權(quán)重；

25、根據(jù)每個監(jiān)控對象的特征表示和特征權(quán)重，生成最終優(yōu)化調(diào)整方案。

26、在一種可能的實施方式中，根據(jù)最終優(yōu)化調(diào)整方案，對各個監(jiān)控對象進行優(yōu)化調(diào)整，包括：

27、若最終優(yōu)化調(diào)整方案表征需要人工調(diào)整，則向系統(tǒng)人員發(fā)送最終優(yōu)化調(diào)整方案，并響應于系統(tǒng)人員的方案調(diào)整操作，得到人工優(yōu)化調(diào)整方案，并根據(jù)人工優(yōu)化調(diào)整方案，對各個監(jiān)控對象進行優(yōu)化調(diào)整；

28、若最終優(yōu)化調(diào)整方案表征不需要人工調(diào)整，則自動根據(jù)最終優(yōu)化調(diào)整方案，對各個監(jiān)控對象進行優(yōu)化調(diào)整。

29、在一種可能的實施方式中，執(zhí)行待執(zhí)行任務得到采集數(shù)據(jù)，包括：

30、基于待執(zhí)行任務，對源數(shù)據(jù)庫中的數(shù)據(jù)進行采集，得到初始采集數(shù)據(jù)；

31、根據(jù)待執(zhí)行任務中的數(shù)據(jù)轉(zhuǎn)換規(guī)則，對初始采集數(shù)據(jù)進行數(shù)據(jù)轉(zhuǎn)換，得到采集數(shù)據(jù)。

32、在一種可能的實施方式中，該方法還包括：

33、根據(jù)采集數(shù)據(jù)，確定待執(zhí)行任務的執(zhí)行結(jié)果；

34、若執(zhí)行結(jié)果表征任務執(zhí)行失敗，則向系統(tǒng)人員發(fā)送待執(zhí)行任務的監(jiān)控數(shù)據(jù)信息、優(yōu)化調(diào)整方案，并接收系統(tǒng)人員的失敗分析結(jié)果和人工處理方案；

35、根據(jù)人工處理方案，重新執(zhí)行待執(zhí)行任務，得到執(zhí)行后的采集數(shù)據(jù)；

36、將待執(zhí)行任務的執(zhí)行過程信息進行存儲，執(zhí)行過程信息包括監(jiān)控數(shù)據(jù)信息、優(yōu)化調(diào)整方案、失敗分析結(jié)果、以及人工處理方案。

37、第二方面，本技術(shù)提供一種政務數(shù)據(jù)采集裝置，包括：

38、獲取模塊，用于獲取待執(zhí)行任務；

39、監(jiān)控模塊，用于對影響待執(zhí)行任務執(zhí)行的監(jiān)控對象進行監(jiān)控，生成各個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，監(jiān)控對象包括數(shù)據(jù)采集系統(tǒng)中與待執(zhí)行任務相關(guān)的設(shè)備狀態(tài)、任務狀態(tài)、元數(shù)據(jù)情況及人工異常處理記錄，監(jiān)控規(guī)則包括監(jiān)控對象的具體類型和監(jiān)控參數(shù)；

40、分析模塊，用于針對每個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，根據(jù)比對參數(shù)規(guī)則，對監(jiān)控數(shù)據(jù)信息進行分析，得到數(shù)據(jù)分析結(jié)果，比對參數(shù)規(guī)則為與監(jiān)控對象對應的正則表達式和監(jiān)控參數(shù)閾值；

41、確定模塊，用于根據(jù)數(shù)據(jù)分析結(jié)果，確定監(jiān)控對象的優(yōu)化調(diào)整方案；

42、處理模塊，用于根據(jù)優(yōu)化調(diào)整方案，對監(jiān)控對象進行優(yōu)化調(diào)整，并在數(shù)據(jù)采集系統(tǒng)優(yōu)化調(diào)整完成后，執(zhí)行待執(zhí)行任務得到采集數(shù)據(jù)。

43、第三方面，本技術(shù)提供一種電子設(shè)備，包括：存儲器，處理器；

44、存儲器存儲計算機執(zhí)行指令；

45、處理器執(zhí)行存儲器存儲的計算機執(zhí)行指令，以實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。

46、第四方面，本技術(shù)提供一種數(shù)據(jù)采集系統(tǒng)，包括數(shù)據(jù)采集預判優(yōu)化裝置和數(shù)據(jù)采集裝置；

47、數(shù)據(jù)采集預判優(yōu)化裝置用于對監(jiān)控對象進行監(jiān)控和優(yōu)化調(diào)整；

48、數(shù)據(jù)采集裝置用于執(zhí)行待執(zhí)行任務得到采集數(shù)據(jù)。

49、在一種可能的實施方式中，數(shù)據(jù)采集預判優(yōu)化裝置包括監(jiān)控模塊、分析模塊和優(yōu)化模塊；

50、監(jiān)控模塊用于獲取待執(zhí)行任務，并根據(jù)監(jiān)控規(guī)則，對影響待執(zhí)行任務執(zhí)行的監(jiān)控對象進行監(jiān)控，生成各個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，監(jiān)控對象包括與待執(zhí)行任務相關(guān)的設(shè)備狀態(tài)、任務狀態(tài)、元數(shù)據(jù)情況及人工異常處理記錄，監(jiān)控規(guī)則包括監(jiān)控對象的具體類型和監(jiān)控參數(shù)；

51、分析模塊用于針對每個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，根據(jù)比對參數(shù)規(guī)則，對監(jiān)控數(shù)據(jù)信息進行分析，得到數(shù)據(jù)分析結(jié)果，比對參數(shù)規(guī)則為與監(jiān)控對象對應的正則表達式和監(jiān)控參數(shù)閾值，并根據(jù)數(shù)據(jù)分析結(jié)果，確定監(jiān)控對象的優(yōu)化調(diào)整方案；

52、優(yōu)化模塊用于根據(jù)優(yōu)化調(diào)整方案，對監(jiān)控對象進行優(yōu)化調(diào)整。

53、第五方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，計算機執(zhí)行指令被執(zhí)行時用于實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。

54、第六方面，本技術(shù)提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被執(zhí)行時實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。

55、本技術(shù)提供的一種政務數(shù)據(jù)采集方法、裝置、設(shè)備及系統(tǒng)，通過獲取待執(zhí)行任務；根據(jù)監(jiān)控規(guī)則，對影響待執(zhí)行任務執(zhí)行的監(jiān)控對象進行監(jiān)控，生成各個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，監(jiān)控對象包括數(shù)據(jù)采集系統(tǒng)中與待執(zhí)行任務相關(guān)的設(shè)備狀態(tài)、任務狀態(tài)、元數(shù)據(jù)情況及人工異常處理記錄，監(jiān)控規(guī)則包括監(jiān)控對象的具體類型和監(jiān)控參數(shù)；針對每個監(jiān)控對象的監(jiān)控數(shù)據(jù)信息，根據(jù)比對參數(shù)規(guī)則，對監(jiān)控數(shù)據(jù)信息進行分析，得到數(shù)據(jù)分析結(jié)果，比對參數(shù)規(guī)則為與監(jiān)控對象對應的正則表達式和監(jiān)控參數(shù)閾值；根據(jù)數(shù)據(jù)分析結(jié)果，確定監(jiān)控對象的優(yōu)化調(diào)整方案；根據(jù)優(yōu)化調(diào)整方案，對監(jiān)控對象進行優(yōu)化調(diào)整，并在數(shù)據(jù)采集系統(tǒng)優(yōu)化調(diào)整完成后，執(zhí)行待執(zhí)行任務得到采集數(shù)據(jù)的手段，對數(shù)據(jù)采集系統(tǒng)中影響任務執(zhí)行的各種因素進行有效監(jiān)控，再結(jié)合詳細的監(jiān)控規(guī)則和實時數(shù)據(jù)分析，利用正則表達式和閾值進行深入的數(shù)據(jù)比對，以識別系統(tǒng)可能存在的異常情況，基于這些分析結(jié)果，系統(tǒng)生成優(yōu)化調(diào)整方案，并對監(jiān)控對象進行調(diào)整，以改善性能，避免異常情況的發(fā)生，從而提高了數(shù)據(jù)采集的成功率和數(shù)據(jù)質(zhì)量，并增強了系統(tǒng)對不同采集需求和環(huán)境變化的適應性，實現(xiàn)了高效的自動化數(shù)據(jù)采集流程。