一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法
【專利摘要】本發(fā)明涉及一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法。該算法可以通過利用統(tǒng)計分析原理對環(huán)境監(jiān)測數(shù)據(jù)的橫向、縱向比較，發(fā)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的異常情況，從而對異常數(shù)據(jù)進行報警，達到對環(huán)境監(jiān)測數(shù)據(jù)利用數(shù)學(xué)方法進行質(zhì)量管理的目的。本發(fā)明的基本原理是環(huán)境數(shù)據(jù)是相關(guān)聯(lián)的，因此某地點的監(jiān)測數(shù)據(jù)應(yīng)當(dāng)與其周邊地點的監(jiān)測數(shù)據(jù)具有相關(guān)性而不應(yīng)有異常的差異；且環(huán)境數(shù)據(jù)應(yīng)具有一定的穩(wěn)定性，在短期內(nèi)的環(huán)境數(shù)據(jù)不應(yīng)發(fā)生異常大的突變，因此某時點的環(huán)境監(jiān)測數(shù)據(jù)與其臨近時點的監(jiān)測數(shù)據(jù)應(yīng)該具有連續(xù)性。本發(fā)明的算法是基于此原理發(fā)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)中的異常數(shù)據(jù)。
【專利說明】
一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法所屬

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法。該算法可以利用統(tǒng)計分析原理對環(huán)境監(jiān)測數(shù)據(jù)的橫向、縱向比較，發(fā)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的異常情況，從而對異常數(shù)據(jù)進行報警，達到利用數(shù)學(xué)方法對環(huán)境監(jiān)測數(shù)據(jù)進行質(zhì)量管理的目的。

【背景技術(shù)】
[0002]環(huán)境監(jiān)測數(shù)據(jù)如空氣監(jiān)測數(shù)據(jù)、水質(zhì)監(jiān)測數(shù)據(jù)來源于環(huán)境監(jiān)測網(wǎng)絡(luò)的監(jiān)測與通訊設(shè)備。在實際環(huán)境監(jiān)測過程中，由于各種因素的影響，會在環(huán)境監(jiān)測網(wǎng)絡(luò)中產(chǎn)生一些異常數(shù)據(jù)，這些異常數(shù)據(jù)并不能夠反應(yīng)所監(jiān)測地區(qū)的真實環(huán)境信息，如果這些數(shù)據(jù)進入環(huán)境監(jiān)測數(shù)據(jù)庫，將極大地影響環(huán)境監(jiān)測數(shù)據(jù)的質(zhì)量。在本發(fā)明之前，傳統(tǒng)的方法是通過校準(zhǔn)監(jiān)測儀器或人工審核的方法來保證數(shù)據(jù)質(zhì)量，但是校準(zhǔn)儀器的方法并不能避免在網(wǎng)絡(luò)通訊異常等情況下產(chǎn)生的異常數(shù)據(jù)，而人工審核的方法則無法應(yīng)對目前海量的環(huán)境監(jiān)測數(shù)據(jù)。其他有通過設(shè)置固定限值或者采用移動平均的方式發(fā)現(xiàn)異常數(shù)據(jù)的方法，但是那些方法無法全面考慮歷史和周邊數(shù)據(jù)，導(dǎo)致異常誤報率較高或靈敏度較低。
[0003]而本發(fā)明所描述的算法則可以對環(huán)境監(jiān)測數(shù)據(jù)進行對比統(tǒng)計分析，從而發(fā)現(xiàn)海量數(shù)據(jù)中存在的異常數(shù)據(jù)，且算法綜合參考歷史數(shù)據(jù)和周邊站點數(shù)據(jù)，能夠保證異常數(shù)據(jù)發(fā)現(xiàn)的準(zhǔn)確性。


【發(fā)明內(nèi)容】

[0004]本發(fā)明利用對比統(tǒng)計分析原理解決了難于從海量環(huán)境監(jiān)測數(shù)據(jù)中快速發(fā)現(xiàn)異常數(shù)據(jù)的問題。本發(fā)明對環(huán)境監(jiān)測數(shù)據(jù)進行橫向、縱向的數(shù)據(jù)比較，綜合考慮周邊地區(qū)監(jiān)測數(shù)據(jù)和歷史數(shù)據(jù)，當(dāng)發(fā)現(xiàn)某環(huán)境監(jiān)測站點的數(shù)據(jù)與參考數(shù)據(jù)發(fā)生背離時則認為該數(shù)據(jù)為異常數(shù)據(jù)。
[0005]本發(fā)明的基本原理是環(huán)境數(shù)據(jù)是相關(guān)聯(lián)的，因此某地點的監(jiān)測數(shù)據(jù)應(yīng)當(dāng)與其周邊地點的監(jiān)測數(shù)據(jù)具有相關(guān)性而不應(yīng)有異常大的差異；且環(huán)境數(shù)據(jù)具有一定的穩(wěn)定性，在極短時間內(nèi)的環(huán)境數(shù)據(jù)不應(yīng)發(fā)生異常大的突變，因此某時點的環(huán)境監(jiān)測數(shù)據(jù)與其臨近時點的監(jiān)測數(shù)據(jù)應(yīng)該具有連續(xù)性。本發(fā)明的算法是基于此原理發(fā)現(xiàn)監(jiān)測數(shù)據(jù)的異常情況。
[0006]本發(fā)明的算法描述如圖1所示，通過軟件開發(fā)實現(xiàn)該算法，則可以通過對當(dāng)前監(jiān)測數(shù)據(jù)與歷史數(shù)據(jù)和周邊站點監(jiān)測數(shù)據(jù)的對比，判定該監(jiān)測數(shù)據(jù)是否為異常數(shù)據(jù)。該算法通過歷史數(shù)據(jù)，計算所對比監(jiān)測站點相對于周邊站點監(jiān)測數(shù)據(jù)的標(biāo)準(zhǔn)差，并以標(biāo)準(zhǔn)差倍數(shù)設(shè)置異常數(shù)據(jù)判定閾值，當(dāng)監(jiān)測數(shù)據(jù)超出閾值時，可以判定為異常數(shù)據(jù)。與傳統(tǒng)的設(shè)置固定閾值或采用移動平均法進行計算的方法對比，該算法所設(shè)定的閾值是根據(jù)歷史數(shù)據(jù)相對周邊站點監(jiān)測數(shù)據(jù)的變化量動態(tài)計算而來，因此更具有準(zhǔn)確性和可靠性。
[0007]本發(fā)明的有益效果是:可以通過統(tǒng)計對比的分析方法，發(fā)現(xiàn)并排除環(huán)境監(jiān)測數(shù)據(jù)中的數(shù)據(jù)異常，從而提高環(huán)境監(jiān)測數(shù)據(jù)的數(shù)據(jù)質(zhì)量。

【專利附圖】

【附圖說明】
[0008]下面結(jié)合附圖對本發(fā)明進一步說明。
[0009]圖1基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法流程圖

【具體實施方式】
[0010]在圖1中，描述了基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法流程。主要步驟包括:
[0011]1、在參考時間段的每個時間點，獲取在每個時間點當(dāng)前監(jiān)測站點監(jiān)測數(shù)據(jù)(DlM)及該站點周邊其他監(jiān)測站點的監(jiān)測數(shù)據(jù)平均值(AVGDR[t])
[0012]2、求參考時間段的標(biāo)準(zhǔn)差:STDDR = SQRT( Σ SQR((D1 [t]_AVGDR[t])))
[0013]3、確定報警倍數(shù)閾值η
[0014]4、對于待分析時間點t0，設(shè)待分析監(jiān)測站點監(jiān)測數(shù)據(jù)為Dl (t0)，該站點周邊其他監(jiān)測站點的監(jiān)測數(shù)據(jù)平均值(AVGDR[tO])
[0015]5、異常數(shù)據(jù)的判定:如 Dl (t0) > AVGDR[tO]+n*STDDR 或 Dl(tO)<AVGDR[tO]-n*STDDR，則判定該監(jiān)測數(shù)據(jù)為異常數(shù)據(jù)，否則不判定為異常數(shù)據(jù)。
【權(quán)利要求】
1.一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法，其特征是:本發(fā)明的基本原理是環(huán)境數(shù)據(jù)是相關(guān)聯(lián)的，因此某地點的監(jiān)測數(shù)據(jù)應(yīng)當(dāng)與其周邊地點的監(jiān)測數(shù)據(jù)具有相關(guān)性而不應(yīng)有異常的差異；且環(huán)境數(shù)據(jù)應(yīng)具有一定的穩(wěn)定性，在短期內(nèi)的環(huán)境數(shù)據(jù)不應(yīng)發(fā)生異常大的突變，因此某時點的環(huán)境監(jiān)測數(shù)據(jù)與其臨近時點的監(jiān)測數(shù)據(jù)應(yīng)該具有連續(xù)性。
2.根據(jù)權(quán)利要求1所述的一種基于對比統(tǒng)計分析發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法，其算法步驟特征是: 1)在參考時間段的每個時間點，獲取在每個時間點當(dāng)前監(jiān)測站點監(jiān)測數(shù)據(jù)(Dl[t])及該站點周邊其他監(jiān)測站點的監(jiān)測數(shù)據(jù)平均值(AVGDR[t]) 2)求參考時間段的標(biāo)準(zhǔn)差:STDDR= SQRT( Σ SQR((D1 [t]_AVGDR[t]))) 3)確定報警倍數(shù)閾值η 4)對于待分析時間點tO，設(shè)待分析監(jiān)測站點監(jiān)測數(shù)據(jù)為D1(tO)，該站點周邊其他監(jiān)測站點的監(jiān)測數(shù)據(jù)平均值(AVGDR[tO]) 5)異常數(shù)據(jù)的判定:如Dl(tO) > AV⑶R[tO]+n*STDDR 或 Dl(tO)<AVGDR[tO]-n*STDDR，則判定該監(jiān)測數(shù)據(jù)為異常數(shù)據(jù)，否則不判定為異常數(shù)據(jù)。
【文檔編號】G06F19/00GK104462794SQ201410685957
【公開日】2015年3月25日 申請日期:2014年11月26日 優(yōu)先權(quán)日:2014年11月26日
【發(fā)明者】鄒志強, 王正 申請人:北京金水永利科技有限公司