本發(fā)明涉及電網(wǎng)信息系統(tǒng)業(yè)務(wù)監(jiān)控和數(shù)據(jù)采集，具體涉及一種基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集方法及裝置。

背景技術(shù)：

1、電網(wǎng)系統(tǒng)作為國家關(guān)鍵基礎(chǔ)設(shè)施之一，其穩(wěn)定性和可靠性對(duì)于國家安全和社會(huì)經(jīng)濟(jì)活動(dòng)至關(guān)重要。電網(wǎng)通過成千上萬的傳感器和測(cè)量設(shè)備產(chǎn)生海量的時(shí)間序列數(shù)據(jù)，這些數(shù)據(jù)反映了電網(wǎng)的運(yùn)行狀態(tài)、負(fù)載變化、設(shè)備健康狀況等關(guān)鍵信息。有效的數(shù)據(jù)收集和分析對(duì)于電網(wǎng)信息系統(tǒng)的監(jiān)控、故障診斷、預(yù)測(cè)性維護(hù)和優(yōu)化運(yùn)行具有重要意義。

2、傳統(tǒng)的電網(wǎng)數(shù)據(jù)收集方法主要基于定時(shí)采樣策略，即按照固定的時(shí)間間隔從傳感器收集數(shù)據(jù)。然而，這種方法存在以下局限性：

3、(1)數(shù)據(jù)利用率低：在電網(wǎng)運(yùn)行狀態(tài)相對(duì)穩(wěn)定時(shí)，定時(shí)采樣會(huì)收集大量冗余數(shù)據(jù)，而當(dāng)電網(wǎng)發(fā)生異?；蚬收蠒r(shí)，可能又無法及時(shí)收集到關(guān)鍵數(shù)據(jù)。

4、(2)實(shí)時(shí)性差：固定時(shí)間間隔的數(shù)據(jù)采集無法滿足電網(wǎng)故障快速響應(yīng)的需求，特別是在面對(duì)電網(wǎng)攻擊或大規(guī)模故障時(shí)，實(shí)時(shí)監(jiān)控和快速診斷顯得尤為重要。

5、(3)預(yù)測(cè)準(zhǔn)確性不足：由于缺乏對(duì)電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)動(dòng)態(tài)變化的適應(yīng)性，傳統(tǒng)方法難以準(zhǔn)確預(yù)測(cè)電網(wǎng)的短期和長期運(yùn)行趨勢(shì)。

6、(4)數(shù)據(jù)存儲(chǔ)和處理成本高：大量的冗余數(shù)據(jù)增加了數(shù)據(jù)存儲(chǔ)和處理的成本，同時(shí)也降低了數(shù)據(jù)挖掘和分析的效率。

7、為了解決上述問題，研究人員提出了多種改進(jìn)的數(shù)據(jù)收集方法，如基于事件觸發(fā)的數(shù)據(jù)采集、自適應(yīng)采樣策略等。這些方法能夠在一定程度上提高數(shù)據(jù)收集的效率和實(shí)時(shí)性，但仍存在以下挑戰(zhàn)：

8、(1)動(dòng)態(tài)調(diào)整策略缺乏：現(xiàn)有方法往往缺乏有效的機(jī)制來動(dòng)態(tài)調(diào)整數(shù)據(jù)收集策略，以適應(yīng)電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)的快速變化。

9、(2)預(yù)測(cè)模型優(yōu)化不足：大多數(shù)方法側(cè)重于數(shù)據(jù)采集策略的改進(jìn)，而沒有充分利用先進(jìn)的預(yù)測(cè)模型來指導(dǎo)數(shù)據(jù)收集。

10、(3)智能化水平有限：隨著人工智能技術(shù)的發(fā)展，如何將機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等先進(jìn)技術(shù)應(yīng)用于電網(wǎng)信息系統(tǒng)數(shù)據(jù)收集，提高智能化水平，成為一個(gè)值得研究的方向。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集方法及裝置，旨在解決現(xiàn)有電網(wǎng)信息系統(tǒng)中監(jiān)控?cái)?shù)據(jù)收集效率低、實(shí)時(shí)性差和預(yù)測(cè)準(zhǔn)確性不足的問題。

2、技術(shù)方案：第一方面，一種基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集方法，包括以下步驟：

3、對(duì)電網(wǎng)傳感器收集的原始數(shù)據(jù)進(jìn)行預(yù)處理，使得數(shù)據(jù)滿足質(zhì)量要求和一致性；

4、構(gòu)建帶有強(qiáng)化學(xué)習(xí)的門控遞歸單元神經(jīng)網(wǎng)絡(luò)模型grurl，模型包括輸入層、grurl層、輸出層，輸入層接收預(yù)處理后的數(shù)據(jù)，grurl層負(fù)責(zé)提取時(shí)間序列數(shù)據(jù)中的關(guān)鍵特征，輸出層用于預(yù)測(cè)電網(wǎng)信息系統(tǒng)業(yè)務(wù)的下一狀態(tài)，其中g(shù)rurl層采用r-gru網(wǎng)絡(luò)，該r-gru網(wǎng)絡(luò)在傳統(tǒng)gru網(wǎng)絡(luò)的外邊連接一個(gè)強(qiáng)化學(xué)習(xí)監(jiān)視器，并與更新門、重置門、當(dāng)前隱藏節(jié)點(diǎn)的候選值處進(jìn)行雙向連接，神經(jīng)網(wǎng)絡(luò)根據(jù)三個(gè)連接處訓(xùn)練后反應(yīng)的整體預(yù)測(cè)誤差來調(diào)整隱層節(jié)點(diǎn)數(shù)；

5、利用強(qiáng)化學(xué)習(xí)算法，根據(jù)獎(jiǎng)勵(lì)函數(shù)的反饋，動(dòng)態(tài)調(diào)整數(shù)據(jù)收集的頻率和關(guān)鍵監(jiān)測(cè)點(diǎn)，并通過迭代使得強(qiáng)化學(xué)習(xí)算法學(xué)習(xí)到最優(yōu)的數(shù)據(jù)收集策略；

6、實(shí)時(shí)監(jiān)控電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)，根據(jù)最優(yōu)的數(shù)據(jù)收集策略實(shí)時(shí)采集數(shù)據(jù)，利用數(shù)據(jù)預(yù)處理方法對(duì)實(shí)時(shí)采集數(shù)據(jù)預(yù)處理后進(jìn)行g(shù)rurl網(wǎng)絡(luò)模型的在線訓(xùn)練，調(diào)整模型參數(shù)，同時(shí)利用模型進(jìn)行電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)實(shí)時(shí)預(yù)測(cè)分析，通過不斷的迭代優(yōu)化形成一個(gè)閉環(huán)系統(tǒng)，其中實(shí)時(shí)預(yù)測(cè)結(jié)果被用來評(píng)估當(dāng)前數(shù)據(jù)收集策略的有效性，并作為強(qiáng)化學(xué)習(xí)優(yōu)化策略的依據(jù)；

7、將整個(gè)系統(tǒng)部署在電網(wǎng)信息系統(tǒng)運(yùn)營監(jiān)控中心，作為電網(wǎng)信息系統(tǒng)智能監(jiān)控和預(yù)測(cè)的輔助工具。

8、進(jìn)一步的，神經(jīng)網(wǎng)絡(luò)根據(jù)三個(gè)連接處訓(xùn)練后反應(yīng)的整體預(yù)測(cè)誤差來調(diào)整隱層節(jié)點(diǎn)數(shù)，具體如下：

9、以nt代表一個(gè)三元組[nmin，nmid，nmax]，nmax和nmin分別代表一組隱層節(jié)點(diǎn)數(shù)上下限，nmin為其中間值；以et代表一個(gè)三元組[emin，emid，emax]，分別代表隱層節(jié)點(diǎn)數(shù)取nmin，nmid，nmax時(shí)得到的整體預(yù)測(cè)誤差；

10、監(jiān)視器把初始化的nt發(fā)給神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)根據(jù)nt提供的節(jié)點(diǎn)數(shù)值分別進(jìn)行訓(xùn)練，根據(jù)三個(gè)連接處訓(xùn)練后反應(yīng)的整體預(yù)測(cè)誤差來調(diào)整nt，其中初始化的nt中，nmid＝(2min+max)/3，nmin＝(2nmid+min)/3，nmax＝(2nmid+max)/3，max，min分別為根據(jù)經(jīng)驗(yàn)公式得到的隱層節(jié)點(diǎn)數(shù)的最大值和最小值，之后根據(jù)et反應(yīng)的最優(yōu)節(jié)點(diǎn)數(shù)落在nmin，nmax定義的區(qū)間的位置分情況來進(jìn)行調(diào)整。

11、進(jìn)一步的，根據(jù)et反應(yīng)的最優(yōu)節(jié)點(diǎn)數(shù)落在nmin，nmax定義的區(qū)間的位置分情況來進(jìn)行調(diào)整，具體包括：

12、情況一、最優(yōu)節(jié)點(diǎn)數(shù)落在[nmin，nmax]之間：

13、min＝nmin，max＝nmax

14、nmin＝(2nmid+min)/3，nmax＝(2nmid+max)/3

15、學(xué)習(xí)的終止條件為nmin+1＝nmid＝nmax-1，則此時(shí)nmid就是最優(yōu)節(jié)點(diǎn)數(shù)；

16、情況二、最優(yōu)節(jié)點(diǎn)數(shù)大于nmax：

17、nmin＝nmid，nmid＝nmax

18、nmax＝(2nmid+max)/3

19、此時(shí)終止條件為nmin＝min，則nmin是最優(yōu)節(jié)點(diǎn)數(shù)；

20、情況三、最優(yōu)節(jié)點(diǎn)數(shù)小于nmin：

21、nmax＝nmid，nmid＝nmin

22、nmin＝(2nmid+min)/3

23、此時(shí)終止條件為nmax＝max，則nmax是最優(yōu)節(jié)點(diǎn)數(shù)。

24、進(jìn)一步的，grurl網(wǎng)絡(luò)模型中，grurl層包括兩層r-gru層和一個(gè)隨機(jī)層，在隨機(jī)層中有兩個(gè)神經(jīng)元，其輸出分別為μ，σ，網(wǎng)絡(luò)中參數(shù)的分布服從高斯分布，隨機(jī)層的兩個(gè)輸出計(jì)算如下：

25、

26、其中，ri為神經(jīng)網(wǎng)絡(luò)輸入層接收到的第i個(gè)特征數(shù)據(jù)，n表示輸入數(shù)據(jù)的特征數(shù)，βμ和βσ都是常數(shù)，分別用于調(diào)整μ和σ的輸出，wμi和wσi表示與輸入特征ri對(duì)應(yīng)的兩個(gè)權(quán)重，wμi是用于計(jì)算均值μ的權(quán)重，wσi是用于計(jì)算標(biāo)準(zhǔn)差σ的權(quán)重。

27、進(jìn)一步的，在grurl模型的輸出層中，引入了強(qiáng)化學(xué)習(xí)以學(xué)習(xí)隨機(jī)策略，在這一層上，使用一維高斯函數(shù)來預(yù)測(cè)時(shí)間序列數(shù)據(jù)，定義如下：

28、

29、其中c是由規(guī)則隨機(jī)數(shù)生成的常數(shù)，w表示權(quán)重wμi和wσi，x表示輸入{xi，

30、xt+1，……xt+n}。

31、進(jìn)一步的，其特征在于，參數(shù)wμi和wσi更新方式如下：

32、

33、δw＝(δwμi,δwσi)

34、w←w+α(1-γ)δw

35、

36、其中α是非負(fù)的學(xué)習(xí)常數(shù)，ri是獎(jiǎng)勵(lì)值，b是用于對(duì)ri進(jìn)行適當(dāng)校正的常數(shù)，γ是折扣因子，0≤γ<1；di(t)用來表示受時(shí)間步t-1影響的時(shí)間步t的調(diào)整值的程度。

37、進(jìn)一步的，獎(jiǎng)勵(lì)值的計(jì)算方法如下：

38、

39、其中，yi為實(shí)際值，為預(yù)測(cè)值。

40、第二方面，基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集裝置，包括：

41、數(shù)據(jù)預(yù)處理模塊，用于對(duì)電網(wǎng)傳感器收集的原始數(shù)據(jù)進(jìn)行預(yù)處理，使得數(shù)據(jù)滿足質(zhì)量要求和一致性；

42、grurl網(wǎng)絡(luò)模型構(gòu)建模塊，用于構(gòu)建帶有強(qiáng)化學(xué)習(xí)的門控遞歸單元神經(jīng)網(wǎng)絡(luò)模型grurl，模型包括輸入層、grurl層、輸出層，輸入層接收預(yù)處理后的數(shù)據(jù)，grurl層負(fù)責(zé)提取時(shí)間序列數(shù)據(jù)中的關(guān)鍵特征，輸出層用于預(yù)測(cè)電網(wǎng)信息系統(tǒng)業(yè)務(wù)的下一狀態(tài)，其中g(shù)rurl層采用r-gru網(wǎng)絡(luò)，該r-gru網(wǎng)絡(luò)在傳統(tǒng)gru網(wǎng)絡(luò)的外邊連接一個(gè)強(qiáng)化學(xué)習(xí)監(jiān)視器，并與更新門、重置門、當(dāng)前隱藏節(jié)點(diǎn)的候選值處進(jìn)行雙向連接，神經(jīng)網(wǎng)絡(luò)根據(jù)三個(gè)連接處訓(xùn)練后反應(yīng)的整體預(yù)測(cè)誤差來調(diào)整隱層節(jié)點(diǎn)數(shù)；

43、數(shù)據(jù)收集策略優(yōu)化模塊，用于利用強(qiáng)化學(xué)習(xí)算法，根據(jù)獎(jiǎng)勵(lì)函數(shù)的反饋，動(dòng)態(tài)調(diào)整數(shù)據(jù)收集的頻率和關(guān)鍵監(jiān)測(cè)點(diǎn)，并通過迭代使得強(qiáng)化學(xué)習(xí)算法學(xué)習(xí)到最優(yōu)的數(shù)據(jù)收集策略；

44、閉環(huán)系統(tǒng)構(gòu)建模塊，用于實(shí)時(shí)監(jiān)控電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)，根據(jù)最優(yōu)的數(shù)據(jù)收集策略實(shí)時(shí)采集數(shù)據(jù)，利用數(shù)據(jù)預(yù)處理模塊對(duì)實(shí)時(shí)采集數(shù)據(jù)預(yù)處理后進(jìn)行g(shù)rurl網(wǎng)絡(luò)模型的在線訓(xùn)練，調(diào)整模型參數(shù)，同時(shí)利用模型進(jìn)行電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)實(shí)時(shí)預(yù)測(cè)分析，通過不斷的迭代優(yōu)化形成一個(gè)閉環(huán)系統(tǒng)，其中實(shí)時(shí)預(yù)測(cè)結(jié)果被用來評(píng)估當(dāng)前數(shù)據(jù)收集策略的有效性，并作為強(qiáng)化學(xué)習(xí)優(yōu)化策略的依據(jù)；

45、系統(tǒng)部署應(yīng)用模塊，用于將整個(gè)系統(tǒng)部署在電網(wǎng)信息系統(tǒng)運(yùn)營監(jiān)控中心，作為電網(wǎng)信息系統(tǒng)智能監(jiān)控和預(yù)測(cè)的輔助工具。

46、第三方面，本發(fā)明還提供一種計(jì)算機(jī)設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器；以及一個(gè)或多個(gè)程序，其中所述一個(gè)或多個(gè)程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置為由所述一個(gè)或多個(gè)處理器執(zhí)行，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集方法的步驟。

47、第四方面，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于強(qiáng)化學(xué)習(xí)優(yōu)化的電網(wǎng)信息系統(tǒng)時(shí)間序列數(shù)據(jù)收集方法的步驟。

48、有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

49、(1)提高數(shù)據(jù)收集的效率和準(zhǔn)確性：通過動(dòng)態(tài)調(diào)整數(shù)據(jù)收集策略，減少了不必要的數(shù)據(jù)采集，同時(shí)確保了在電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)發(fā)生變化時(shí)能夠及時(shí)收集到關(guān)鍵數(shù)據(jù)。

50、(2)增強(qiáng)系統(tǒng)的實(shí)時(shí)性和適應(yīng)性：強(qiáng)化學(xué)習(xí)機(jī)制使系統(tǒng)能夠快速響應(yīng)電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)的實(shí)時(shí)變化，提高了電網(wǎng)信息系統(tǒng)業(yè)務(wù)監(jiān)控的實(shí)時(shí)性和故障診斷能力。

51、(3)提升預(yù)測(cè)準(zhǔn)確性：利用gru網(wǎng)絡(luò)模型的強(qiáng)大非線性擬合能力，結(jié)合強(qiáng)化學(xué)習(xí)優(yōu)化的數(shù)據(jù)收集策略，顯著提高了電網(wǎng)信息系統(tǒng)業(yè)務(wù)狀態(tài)預(yù)測(cè)的準(zhǔn)確性。

52、(4)降低系統(tǒng)運(yùn)行成本：減少了數(shù)據(jù)存儲(chǔ)和處理的需求，降低了系統(tǒng)運(yùn)行的總體成本。

53、本發(fā)明的方法不僅適用于電網(wǎng)信息系統(tǒng)中的電力數(shù)據(jù)監(jiān)控系統(tǒng)，還可以推廣到其他需要實(shí)時(shí)監(jiān)控和預(yù)測(cè)的領(lǐng)域，如智能交通系統(tǒng)、氣象監(jiān)測(cè)系統(tǒng)等，具有廣泛的應(yīng)用前景。