本發(fā)明涉及數(shù)據(jù)處理，特別是一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法。

背景技術(shù)：

1、水資源是人類生存和發(fā)展所必需的重要資源，也是維持生態(tài)平衡的關(guān)鍵環(huán)節(jié)。在當(dāng)前全球經(jīng)濟(jì)和人口快速增長的背景下，水資源的保護(hù)和管理越來越受到各國政府和社會的重視。水資源的監(jiān)測和管控是水資源管理的核心內(nèi)容，也是提高水資源利用效率和保護(hù)水資源的重要手段，通過對短期取用水用水量核查來輔助供水調(diào)度，使得供水的效益實(shí)現(xiàn)最大化。因此，取用水用水量異常數(shù)據(jù)核查對于水資源供水智能化以及提高水資源供水的經(jīng)濟(jì)效益有著很重要的價值。

2、然而，傳統(tǒng)的水資源核查方法存在許多問題，如準(zhǔn)確性低、核查時間周期長、核查數(shù)據(jù)不及時、數(shù)據(jù)精度低等，并不能滿足實(shí)際應(yīng)用。隨著物聯(lián)網(wǎng)的出現(xiàn)，這些傳統(tǒng)的核查技術(shù)已經(jīng)無法應(yīng)對傳統(tǒng)信息系統(tǒng)日益動態(tài)和復(fù)雜的特性。因此，研究人員已經(jīng)超越了規(guī)范或基于特征的技術(shù)，開始利用有監(jiān)督和無監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，從大數(shù)據(jù)中開發(fā)出更智能和自適應(yīng)的方法來識別異?；蛉肭?。

3、然而，即使使用了機(jī)器學(xué)習(xí)技術(shù)，在時間序列中檢測異常仍然具有挑戰(zhàn)性。首先，大多數(shù)監(jiān)督技術(shù)需要足夠的可靠正常數(shù)據(jù)和標(biāo)記異常類別來學(xué)習(xí)，但這在實(shí)踐中很難做到，因?yàn)楫惓ＭǔＪ呛币姷摹Ｆ浯?，現(xiàn)有的無監(jiān)督方法大多是通過線性投影和變換建立的，但復(fù)雜的多元時間序列隱藏的內(nèi)在相關(guān)性往往存在非線性。目前的大多數(shù)技術(shù)還只是簡單地將當(dāng)前狀態(tài)和預(yù)測正常范圍進(jìn)行比較，但由于控制邊界不夠靈活，不能有效識別間接攻擊，因此無法進(jìn)行異常檢測。

4、因此，為了解決這些挑戰(zhàn)，我們提出了一種新的基于無監(jiān)督gan的異常檢測(gan-ad)方法，該方法通過建模多個時間序列之間的非線性關(guān)聯(lián)，并基于訓(xùn)練好的gan模型核查異常。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于現(xiàn)有技術(shù)的缺陷，本發(fā)明提出了一種基gan的無監(jiān)督異常檢測方法，用于檢測具有網(wǎng)絡(luò)傳感器和執(zhí)行器的復(fù)雜多進(jìn)程網(wǎng)絡(luò)物理系統(tǒng)的異常數(shù)據(jù)，使用多個時間序列對gan模型進(jìn)行訓(xùn)練，采用lstm-rnn(long-short-term-recurrent?neural?networks,lstm-rnn)捕獲時間相關(guān)性，從圖像生成域自適應(yīng)生成gan進(jìn)行時間序列生成均勻使用高維的正規(guī)序列訓(xùn)練gan模型區(qū)分真?zhèn)?，同時從特定的潛在空間重構(gòu)測試序列，將訓(xùn)練好的鑒別器計(jì)算的鑒別損失與重構(gòu)序列與真實(shí)測試序列之間的殘差損失(訓(xùn)練好的鑒別器與生成器同時使用)結(jié)合起來檢測高維時間序列中的異常點(diǎn)，在具有的復(fù)雜數(shù)據(jù)的取用水監(jiān)測系統(tǒng)中，該方法在核查異常數(shù)據(jù)方面優(yōu)于現(xiàn)有方法。所述方法包括以下步驟：

2、步驟1、獲取取用水監(jiān)測數(shù)據(jù)原始時間序列數(shù)據(jù)：獲取所要核查水資源區(qū)供水區(qū)域內(nèi)在一時間段內(nèi)的歷史用水量監(jiān)測數(shù)據(jù)；

3、步驟2、對所述歷史用水量數(shù)據(jù)按照時標(biāo)和數(shù)據(jù)的波動范進(jìn)行異常數(shù)據(jù)定義、分類及預(yù)處理；

4、步驟3、定義生成對抗網(wǎng)絡(luò)gan，使用正常狀態(tài)的數(shù)據(jù)訓(xùn)練模型；

5、步驟4、訓(xùn)練帶有l(wèi)stm-rnn的gan，采用lstm-rnn方法，建立所述取用水用水量異常數(shù)據(jù)核查模型；

6、步驟5、根據(jù)模型對數(shù)據(jù)進(jìn)行異常評分；

7、步驟6、建立異常數(shù)據(jù)核查框架。

8、有益效果

9、一種新型的基于gan的無監(jiān)督異常時間序列數(shù)據(jù)核查方法，該技術(shù)采用gan訓(xùn)練數(shù)據(jù)，訓(xùn)練所用到的數(shù)據(jù)越多，會使生成器生成的樣本越來越接近真實(shí)數(shù)據(jù)，核查的結(jié)果越準(zhǔn)確。采用lstm技術(shù)，該技術(shù)能夠?qū)W習(xí)數(shù)據(jù)的長期依賴性，為什么引入lstm，因?yàn)間an實(shí)在有序的數(shù)據(jù)上進(jìn)行學(xué)習(xí)的，有時候會像人意義對先前的數(shù)據(jù)發(fā)送記憶，但有時候也會忘記記憶。而采用lstm-rnn融合gan可以有效解決該問題。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于包括如下步驟：

2.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟1中原始數(shù)據(jù)獲取，獲取取用水用水量原始時間序列數(shù)據(jù)：從數(shù)據(jù)庫中獲取歷史一段的數(shù)據(jù)，其中包小時取水量(m3/h)、日取水量(m3/d)。

3.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟2中用水量監(jiān)測數(shù)據(jù)的預(yù)處理

4.根據(jù)權(quán)利要求2所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟2中使用k近鄰插補(bǔ)后的缺失值的估計(jì)值為：

5.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟3中定義生成對抗網(wǎng)絡(luò)gan

6.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟4中訓(xùn)練帶有l(wèi)stm-rnn的gan

7.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟5中基于gan的異常評分

8.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法，其特征在于所述步驟6中異常核查框架

技術(shù)總結(jié)
本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的取用水異常數(shù)據(jù)核查方法。本發(fā)明提出了一種基GAN的無監(jiān)督異常檢測方法，用于檢測具有網(wǎng)絡(luò)傳感器和執(zhí)行器的復(fù)雜多進(jìn)程網(wǎng)絡(luò)物理系統(tǒng)的異常數(shù)據(jù)，使用多個時間序列對GAN模型進(jìn)行訓(xùn)練，采用LSTM?RNN捕獲時間相關(guān)性，從圖像生成域自適應(yīng)生成GAN進(jìn)行時間序列生成均勻使用高維的正規(guī)序列訓(xùn)練GAN模型區(qū)分真?zhèn)?，同時從特定的潛在空間重構(gòu)測試序列，將訓(xùn)練好的鑒別器計(jì)算的鑒別損失與重構(gòu)序列與真實(shí)測試序列之間的殘差損失結(jié)合起來檢測高維時間序列中的異常點(diǎn)，在具有的復(fù)雜數(shù)據(jù)的取用水監(jiān)測系統(tǒng)中，該方法在核查異常數(shù)據(jù)方面優(yōu)于現(xiàn)有方法。

技術(shù)研發(fā)人員：楊學(xué)偉,桑占宏,徐漢誠,韓吉斌,惠文伸
受保護(hù)的技術(shù)使用者：中電萬維信息技術(shù)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30