本發(fā)明涉及大數(shù)據(jù),具體是一種基于大數(shù)據(jù)的飲用水水質(zhì)安全檢測預警系統(tǒng)及方法。
背景技術:
1、隨著城市化進程的加快和水資源的不斷匱乏,飲用水的水質(zhì)安全問題日益受到重視。傳統(tǒng)的飲用水水質(zhì)檢測主要依賴于定期的人工采樣和實驗室分析,雖然可以在一定程度上確保水質(zhì)監(jiān)測的準確性,但也存在諸多不足之處。首先,人工采樣頻率低,無法實時反映水質(zhì)變化;其次,實驗室分析周期長,無法及時響應水質(zhì)異常情況;最后,人工操作存在一定的誤差,可能導致監(jiān)測結(jié)果的可靠性下降。
2、傳統(tǒng)監(jiān)測方式往往為定期采樣,無法提供實時數(shù)據(jù),導致水質(zhì)變化無法及時發(fā)現(xiàn)和響應,從而增加了水質(zhì)安全隱患。實驗室分析的周期較長,可能導致在水質(zhì)異常時未能及時采取相應措施,增加了風險。監(jiān)測多集中于特定水質(zhì)參數(shù),未能全面綜合分析多種水質(zhì)指標之間的關系,影響整體水質(zhì)評估的準確性。缺乏對環(huán)境參數(shù)對水質(zhì)的影響分析,導致監(jiān)測結(jié)果可能與實際情況存在偏差。
技術實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于大數(shù)據(jù)的飲用水水質(zhì)安全檢測預警系統(tǒng)及方法,以解決現(xiàn)有技術中提出的問題。
2、為實現(xiàn)上述目的,本發(fā)明提供如下技術方案:
3、一種基于大數(shù)據(jù)的飲用水水質(zhì)安全檢測預警方法,所述方法包括如下步驟:
4、s100、使用檢測點間距公式,根據(jù)坡道角度、水源的位置和水流速度對供水管的水質(zhì)檢測點進行劃分,設置水質(zhì)檢測點,各個水質(zhì)檢測點根據(jù)距離出水源頭的距離由近到遠進行編號;
5、s200、根據(jù)設置的水質(zhì)檢測點采集水質(zhì)參數(shù),進行歸一化處理,使用主成分分析確定每個水質(zhì)參數(shù)的權重,計算不同水質(zhì)檢測點的水質(zhì)質(zhì)量指數(shù);使用卷積神經(jīng)網(wǎng)絡,輸入不同水質(zhì)檢測點區(qū)域的坡道角度、坡道材質(zhì)、水質(zhì)質(zhì)量指數(shù)和位置,分析歷史數(shù)據(jù),得到該坡道中不同水質(zhì)檢測點的水質(zhì)差值;
6、s300、根據(jù)不同水質(zhì)檢測點的水質(zhì)差值,得到從水源的位置到出水口的水質(zhì)參數(shù)變化趨勢,采集不同水質(zhì)檢測點周圍環(huán)境的環(huán)境參數(shù),將水質(zhì)參數(shù)變化趨勢結(jié)合環(huán)境參數(shù),得到環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù);當出水口的水質(zhì)參數(shù)不滿足安全閾值時,對相關人員進行預警,基于環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù),自動使用設備對相應水質(zhì)檢測點的環(huán)境參數(shù)進行調(diào)整,直到出水口的水質(zhì)參數(shù)滿足安全閾值;
7、s400、基于環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù)和水質(zhì)參數(shù)變化趨勢,使用長短期記憶網(wǎng)絡實時監(jiān)控水質(zhì)參數(shù),預測水質(zhì)風險;在對水質(zhì)檢測點的環(huán)境參數(shù)進行調(diào)整時,使用基于決策樹的智能推薦算法評估不同調(diào)整策略的效果,選擇最優(yōu)方案實施,確保出水口的水質(zhì)始終保持在安全閾值內(nèi)。
8、根據(jù)步驟s100,坡道角度α是供水管道相對于水平面的傾斜角度;坡度越陡,水流速度變化越快,水質(zhì)受到影響越大;獲取水源的位置p0,水質(zhì)的變化在靠近水源的位置最穩(wěn)定,距離水源越遠,水質(zhì)受到影響越大;當前段的水流速度v是水在供水管道中的流動速度,水流速度越快,水質(zhì)發(fā)生變化的時間越短;使用檢測點間距公式,根據(jù)坡道角度α和當前段的水流速度v,推導出檢測點之間的間距:
9、
10、其中,dq是第q個檢測點與前一個檢測點的距離,l是供水管道的總長度,n是設定的檢測點總數(shù)量,k1是與坡道角度相關的影響系數(shù),表示坡道角度對檢測點間距的調(diào)整權重,k2是與水流速度相關的影響系數(shù),表示水流速度對檢測點間距的調(diào)整權重,v是當前段的水流速度,vmax是供水管道中最大水流速度;
11、水質(zhì)檢測點從水源到管道終端進行依次編號,編號基于檢測點與出水源頭之間的距離進行排序。
12、根據(jù)步驟s200,所述水質(zhì)參數(shù)包括酸堿度、溶解氧、總?cè)芙夤腆w、生物需氧量、化學需氧量和濁度;使用最小-最大歸一化將水質(zhì)參數(shù)中的每個水質(zhì)變量進行歸一化處理,公式如下:
13、
14、其中,x是水質(zhì)參數(shù)中某一水質(zhì)變量的原始值,xmax是該水質(zhì)變量的最大值,xmin是該水質(zhì)變量的最小值,歸一化后的該水質(zhì)變量的值x′的范圍在[0,1]之間;
15、使用主成分分析確定每個水質(zhì)變量的權重,計算每個水質(zhì)變量的協(xié)方差矩陣,對協(xié)方差矩陣進行特征值分解,得到特征向量和特征值,根據(jù)特征值的大小,確定主要成分,每個特征向量對應的特征值大小決定了該水質(zhì)變量在總水質(zhì)變化中的貢獻;
16、通過主成分分析得到的權重向量為w=(w1,w2,...,w6),其中,從w1到w6分別依次對應為酸堿度、溶解氧、總?cè)芙夤腆w、生物需氧量、化學需氧量和濁度的貢獻度;
17、根據(jù)每個水質(zhì)變量的歸一化值和權重,使用加權平均法計算水質(zhì)質(zhì)量指數(shù)wqi,公式如下:x′i是第i個水質(zhì)參數(shù)中某一水質(zhì)變量的原始值。
18、在卷積神經(jīng)網(wǎng)絡的卷積層中,不同水質(zhì)檢測點區(qū)域的坡道角度、坡道材質(zhì)、水質(zhì)質(zhì)量指數(shù)和位置能夠影響水質(zhì)參數(shù),卷積核通過在輸入的多維數(shù)據(jù)上滑動,逐步提取出每個檢測點的局部特征;通過卷積操作,卷積神經(jīng)網(wǎng)絡能夠捕捉到相鄰檢測點之間的水質(zhì)差異,當檢測點之間的水質(zhì)質(zhì)量指數(shù)發(fā)生變化時,卷積核能夠提取出空間差異信息,通過下一層的處理保留當前差異,用于進一步的水質(zhì)差值計算;
19、通過池化層,進行最大池化操作,針對水質(zhì)檢測點區(qū)域內(nèi)的坡道材質(zhì)和水質(zhì)變化情況,池化層保留每個區(qū)域中水質(zhì)變化最大的部分;全連接層通過權重矩陣連接所有輸入特征,將各個檢測點的坡道角度、坡道材質(zhì)、水質(zhì)質(zhì)量指數(shù)和位置關聯(lián),全連接層通過不同特征的組合評估不同特征在整體水質(zhì)中的貢獻;全連接層將每個水質(zhì)檢測點的局部特征和空間位置特征進行綜合,生成該坡道中不同水質(zhì)檢測點的水質(zhì)差值;
20、進行特征關聯(lián)時,將每個檢測點的坡道角度、坡道材質(zhì)、水質(zhì)質(zhì)量指數(shù)和位置作為輸入特征向量。每個特征經(jīng)過前面卷積層和池化層的處理后,提取到相應的局部特征。全連接層使用一個權重矩陣,將輸入特征進行線性變換。每個輸入特征與其他特征通過該權重矩陣相乘,形成一個新的特征向量,這個過程允許模型在更高維度上綜合分析各個特征之間的關系。
21、全連接層將所有輸入特征的線性組合進行評估。通過計算加權和,模型可以將不同特征的影響匯總,從而生成綜合特征向量。通過應用激活函數(shù)relu,將非線性特性引入模型,進一步增強不同特征的組合效果,使模型能夠捕捉到特征間復雜的關系。
22、通過計算預測的水質(zhì)差值與歷史真實值之間的誤差,使用mse損失函數(shù)評估準確性;根據(jù)損失函數(shù)的結(jié)果,使用梯度下降優(yōu)化算法調(diào)整卷積核和全連接層的權重。
23、根據(jù)步驟s300,根據(jù)不同水質(zhì)檢測點的水質(zhì)參數(shù),計算從水源到出水口的水質(zhì)變化趨勢,描述了水質(zhì)參數(shù)隨距離的變化情況,表示為:wqi(x)=a*x+b,其中,wqi(x)表示水質(zhì)質(zhì)量指數(shù)隨距離x變化的趨勢函數(shù),a表示為水質(zhì)差值的變化速率,b表示第一個水質(zhì)檢測點的水質(zhì)質(zhì)量指數(shù);
24、設定:ej=[ej1,ej2,...,ejm]表示第j個水質(zhì)檢測點周圍的環(huán)境參數(shù),ej1,ej2,...,ejm代表第j個水質(zhì)檢測點周圍的環(huán)境參數(shù)中第1個到第m個環(huán)境變量,環(huán)境參數(shù)對水質(zhì)的影響通過線性回歸模型描述為:
25、δkj=α′1*ej1+α′2*ej2+...+α′m*ejm+c其中,δkj表示環(huán)境參數(shù)對水質(zhì)參數(shù)的影響程度,α′1,α′2,...,α′m為回歸系數(shù),反映第1個到第m個環(huán)境變量對水質(zhì)的影響,c為偏置項,反映未能通過環(huán)境參數(shù)解釋的部分;通過不同檢測點的環(huán)境參數(shù),構建出環(huán)境對水質(zhì)的影響函數(shù):k(x,e)=wqi(x)+δkj。
26、出水口的水質(zhì)檢測點編號為n,其水質(zhì)參數(shù)gn中的每個水質(zhì)變量應處于對應水質(zhì)變量的安全閾值的范圍內(nèi),當出水口的水質(zhì)參數(shù)不滿足安全要求時,對相關人員進行預警,通過調(diào)整相關水質(zhì)檢測點的環(huán)境參數(shù)優(yōu)化水質(zhì),設定需要調(diào)整的目標水質(zhì)參數(shù)為gtarget,通過改變環(huán)境參數(shù),使得:gn=gtarget;
27、根據(jù)環(huán)境參數(shù)對水質(zhì)參數(shù)的影響程度δkj,通過求解以下方程找到環(huán)境參數(shù)以使出水口的水質(zhì)參數(shù)滿足安全閾值:
28、gtarget-wqi(x)=α′1*en1+α′2*en2+...+α′m*enm+c
29、求解得到調(diào)整后的環(huán)境參數(shù)e′n=[e′n1,e′n2,...,e′nm],自動使用相關設備對出水口附近的環(huán)境參數(shù)進行調(diào)整,直至水質(zhì)參數(shù)達到目標水質(zhì)參數(shù)gtarget。
30、根據(jù)步驟s400,將水質(zhì)參數(shù)和環(huán)境參數(shù)按時間順序排列,形成時間序列輸入數(shù)據(jù);長短期記憶網(wǎng)絡的輸入是若干個時間步的水質(zhì)參數(shù)和環(huán)境參數(shù)組成的時間序列數(shù)據(jù),每個時間步代表一個采樣時刻的所有水質(zhì)參數(shù)和環(huán)境參數(shù);隱藏層通過記憶和忘記機制,學習水質(zhì)參數(shù)如何隨時間和環(huán)境參數(shù)變化,允許模型捕捉到水質(zhì)變化的長短期依賴關系;模型的輸出是未來某段時間內(nèi)水質(zhì)參數(shù)的預測值,如果預測值超出預設的安全閾值,將判斷存在潛在的水質(zhì)風險,并提前向相關人員發(fā)出警告。
31、長短期記憶網(wǎng)絡lstm通過細胞狀態(tài)保存信息,細胞狀態(tài)在時間序列中沿用,能夠傳遞長期記憶。這使得模型能夠保留早期水質(zhì)變化的信息,形成對水質(zhì)長期依賴的理解。輸入門控制新的信息如何添加到細胞狀態(tài)中。通過對當前輸入特征和先前隱藏狀態(tài)的加權,模型決定哪些新信息是有用的,從而更新記憶。遺忘門控制細胞狀態(tài)中哪些信息需要丟棄。通過對先前細胞狀態(tài)的評估,遺忘門決定哪些不再相關的信息可以被清除。這使得模型在面對新環(huán)境和條件時,能夠忽略不再重要的歷史數(shù)據(jù)。
32、輸出門控制哪些信息將用于生成當前的隱藏狀態(tài),即輸出。通過綜合當前輸入和更新后的細胞狀態(tài),模型能夠生成基于當前環(huán)境和歷史信息的動態(tài)輸出,反映當前水質(zhì)狀況。通過上述機制,lstm能夠有效捕捉到水質(zhì)參數(shù)在不同時間點的變化趨勢和短期波動,同時考慮到長期的影響因素。這使得模型在預測水質(zhì)風險時,能夠充分利用歷史數(shù)據(jù),提供準確的預警信息。
33、根據(jù)步驟s400,構建決策樹模型的訓練數(shù)據(jù)集,包括:歷史水質(zhì)監(jiān)測數(shù)據(jù)、調(diào)整策略及結(jié)果和環(huán)境因素變化,其中,歷史水質(zhì)監(jiān)測數(shù)據(jù)記錄每個水質(zhì)檢測點的水質(zhì)參數(shù)以及相應的環(huán)境參數(shù),調(diào)整策略及結(jié)果表示在以往的調(diào)整過程中,采用了哪些調(diào)整策略,以及策略實施后的水質(zhì)參數(shù)變化情況,環(huán)境因素變化表示調(diào)整期間的環(huán)境因素變化如何影響水質(zhì)參數(shù);
34、在決策樹模型中,目標變量是水質(zhì)是否恢復到安全閾值,輸入特征包括:環(huán)境參數(shù)、水質(zhì)參數(shù)、調(diào)整策略和歷史反饋數(shù)據(jù),使用輸入特征和目標變量,訓練一棵分類決策樹,模型學習在不同環(huán)境和水質(zhì)條件下,哪個調(diào)整策略能夠最有效地恢復水質(zhì)。
35、當實時監(jiān)測到水質(zhì)參數(shù)不符合安全閾值時,通過以下步驟進行策略評估:
36、根據(jù)當前的環(huán)境參數(shù)和水質(zhì)參數(shù),生成一系列候選策略,每個策略包括不同的組合;對于每個候選策略,將其與當前的環(huán)境參數(shù)和水質(zhì)參數(shù)一起輸入到訓練好的決策樹模型中,決策樹根據(jù)歷史數(shù)據(jù)和規(guī)則,評估每個候選策略的效果,輸出一個預測結(jié)果,是“能否恢復水質(zhì)到安全閾值”的二分類結(jié)果,同時給出該策略的成功率;
37、決策樹根據(jù)各個輸入特征的條件依次進行決策,沿著不同的節(jié)點路徑,逐步細化到具體的策略結(jié)果;對每個候選策略的效果進行預測后,選擇預測效果最佳的策略作為最優(yōu)方案,最優(yōu)方案的選擇基于以下標準:
38、該方案具有最高的水質(zhì)恢復成功率,在效果相同的情況下,優(yōu)先選擇實施成本更低的方案,考慮執(zhí)行策略的時間維度,優(yōu)先選擇能夠最快響應的方案;選擇了最優(yōu)方案后,自動調(diào)用相應的設備執(zhí)行該策略;在若干次調(diào)整后,如果判斷所有備選策略都無法恢復水質(zhì),將向相關人員發(fā)出異常預警,進行人工干預。
39、一種基于大數(shù)據(jù)的飲用水水質(zhì)安全檢測預警系統(tǒng),包括:
40、水質(zhì)檢測點劃分模塊:包括:檢測點間距計算單元和檢測點設置單元;其中,檢測點間距計算單元使用檢測點間距公式,根據(jù)坡道角度、水源的位置和水流速度對供水管的水質(zhì)檢測點進行劃分,檢測點設置單元設置水質(zhì)檢測點,各個水質(zhì)檢測點根據(jù)距離出水源頭的距離由近到遠進行編號;
41、水質(zhì)參數(shù)采集與分析模塊:包括:水質(zhì)參數(shù)采集單元、數(shù)據(jù)歸一化處理單元、主成分分析單元和卷積神經(jīng)網(wǎng)絡分析單元;其中,水質(zhì)參數(shù)采集單元根據(jù)設置的水質(zhì)檢測點采集水質(zhì)參數(shù),數(shù)據(jù)歸一化處理單元進行歸一化處理,主成分分析單元使用主成分分析確定每個水質(zhì)參數(shù)的權重,計算不同水質(zhì)檢測點的水質(zhì)質(zhì)量指數(shù),卷積神經(jīng)網(wǎng)絡分析單元使用卷積神經(jīng)網(wǎng)絡,輸入不同水質(zhì)檢測點區(qū)域的坡道角度、坡道材質(zhì)、水質(zhì)質(zhì)量指數(shù)和位置,分析歷史數(shù)據(jù),得到該坡道中不同水質(zhì)檢測點的水質(zhì)差值;
42、水質(zhì)變化趨勢與環(huán)境影響分析模塊:包括:水質(zhì)參數(shù)變化趨勢計算單元、環(huán)境參數(shù)采集單元、影響函數(shù)構建單元、安全閾值監(jiān)測與預警單元和自動調(diào)整單元;其中,水質(zhì)參數(shù)變化趨勢計算單元根據(jù)不同水質(zhì)檢測點的水質(zhì)差值,得到從水源的位置到出水口的水質(zhì)參數(shù)變化趨勢,環(huán)境參數(shù)采集單元采集不同水質(zhì)檢測點周圍環(huán)境的環(huán)境參數(shù),影響函數(shù)構建單元將水質(zhì)參數(shù)變化趨勢結(jié)合環(huán)境參數(shù),得到環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù),安全閾值監(jiān)測與預警單元當出水口的水質(zhì)參數(shù)不滿足安全閾值時,對相關人員進行預警,自動調(diào)整單元基于環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù),自動使用設備對相應水質(zhì)檢測點的環(huán)境參數(shù)進行調(diào)整,直到出水口的水質(zhì)參數(shù)滿足安全閾值;
43、決策優(yōu)化模塊:包括:水質(zhì)風險預測單元和決策樹評估單元;其中,水質(zhì)風險預測單元基于環(huán)境參數(shù)對水質(zhì)參數(shù)的影響函數(shù)和水質(zhì)參數(shù)變化趨勢,使用長短期記憶網(wǎng)絡實時監(jiān)控水質(zhì)參數(shù),預測水質(zhì)風險,決策樹評估單元在對水質(zhì)檢測點的環(huán)境參數(shù)進行調(diào)整時,使用基于決策樹的智能推薦算法評估不同調(diào)整策略的效果,選擇最優(yōu)方案實施,確保出水口的水質(zhì)始終保持在安全閾值內(nèi)。
44、與現(xiàn)有技術相比,本發(fā)明的有益效果是:
45、1、本發(fā)明結(jié)合多種水質(zhì)參數(shù)和環(huán)境參數(shù),使用主成分分析和卷積神經(jīng)網(wǎng)絡進行綜合評估,能夠更準確地反映水質(zhì)狀況。
46、2、本發(fā)明應用長短期記憶網(wǎng)絡等機器學習算法,能夠?qū)崟r監(jiān)控和預測水質(zhì)風險,提高預警的及時性和準確性。
47、3、本發(fā)明使用基于決策樹的智能推薦算法,評估不同調(diào)整策略的效果,選擇最優(yōu)方案實施,提高決策的科學性和有效性。