本發(fā)明涉及水利水電數(shù)據(jù)構(gòu)建技術(shù)領(lǐng)域，具體涉及一種水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法。

背景技術(shù)：

隨著“數(shù)字水利”的提出，人們逐步認(rèn)識(shí)到只有借助于信息技術(shù)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)才能實(shí)現(xiàn)水利水電行業(yè)的管理現(xiàn)代化，達(dá)到知識(shí)經(jīng)濟(jì)時(shí)代發(fā)展的要求?！皵?shù)字水利”能夠?yàn)樗娦袠I(yè)構(gòu)造一個(gè)統(tǒng)一的、立體的、開放式的信息系統(tǒng)，為水利水電部門的決策提供信息支持，實(shí)現(xiàn)水利水電可持續(xù)發(fā)展。同時(shí)，加強(qiáng)水利重點(diǎn)工程的信息化管理，將先進(jìn)的管理思想、方法及信息技術(shù)運(yùn)用到水利水電工程的科學(xué)管理中去，建立健全水利水電工程管理機(jī)制，推動(dòng)水利水電管理的精確化、科學(xué)化勢(shì)在必行。因此，作為“水利信息化”的基礎(chǔ)支撐技術(shù)，水利水電工程水利水電大數(shù)據(jù)信息化建設(shè)己經(jīng)成為提高水利水電工程建設(shè)績效和質(zhì)量管控的重要手段。未來大數(shù)據(jù)發(fā)展是各個(gè)行業(yè)發(fā)展方向，但在水利水電行業(yè)中并沒有形成專有的技術(shù)方法，采用傳統(tǒng)大數(shù)據(jù)分析方法無法對(duì)水利水電行業(yè)數(shù)據(jù)進(jìn)行體系化的采集、挖掘、分析和形成指導(dǎo)數(shù)據(jù)。因此了解大數(shù)據(jù)發(fā)展趨勢(shì)，建立一種專有的大數(shù)據(jù)分析方法，在水利水電大數(shù)據(jù)未來發(fā)展中十分重要。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)現(xiàn)有水利水電大數(shù)據(jù)體系建設(shè)技術(shù)在水利水電行業(yè)應(yīng)用的技術(shù)缺陷，提供一種水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法。

本發(fā)明的技術(shù)方案是：

一種水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法，包括水利水電大數(shù)據(jù)采集系統(tǒng)、水利水電大數(shù)據(jù)挖掘系統(tǒng)、水利水電大數(shù)據(jù)挖掘模型庫、水利水電大數(shù)據(jù)分析系統(tǒng)及水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)，包括以下幾個(gè)步驟：

（a）可用數(shù)據(jù)的采集和存儲(chǔ)：水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法利用水利水電大數(shù)據(jù)采集系統(tǒng)中的網(wǎng)絡(luò)爬蟲技術(shù)，對(duì)互聯(lián)網(wǎng)、水利水電大數(shù)據(jù)所在內(nèi)網(wǎng)中的可用數(shù)據(jù)進(jìn)行采集，對(duì)可用數(shù)據(jù)進(jìn)行META數(shù)據(jù)校驗(yàn)分析，校驗(yàn)分析后的數(shù)據(jù)交由水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)進(jìn)行分類存儲(chǔ)； META數(shù)據(jù)校驗(yàn)分析包括以下幾個(gè)步驟：

1)定義提出有效數(shù)據(jù)檢索范圍邊界條件；

2)制定檢索策略，在檢索范圍內(nèi)廣泛收集；

3)確定納入和排除標(biāo)準(zhǔn)，剔除不符合要求的文獻(xiàn)；

4)數(shù)據(jù)測試質(zhì)量評(píng)估和特征描述；

5)異質(zhì)性檢驗(yàn)；

6)統(tǒng)計(jì)合并效應(yīng)量并進(jìn)行統(tǒng)計(jì)推斷；

7)敏感性分析；

8)作出結(jié)論及評(píng)價(jià)；

（b）水利水電大數(shù)據(jù)的挖掘：水利水電大數(shù)據(jù)挖掘系統(tǒng)向水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)提交請(qǐng)求并獲取分類存儲(chǔ)的數(shù)據(jù)，水利水電大數(shù)據(jù)挖掘系統(tǒng)通過以下步驟對(duì)分類存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)特性對(duì)比：將符合特征的數(shù)據(jù)所在位置索引遞交進(jìn)行數(shù)據(jù)分析，得到有效數(shù)據(jù)；數(shù)據(jù)特性對(duì)比包括以下幾個(gè)步驟：

1) 根據(jù)用戶定義的關(guān)鍵字條件，明確數(shù)據(jù)挖掘任務(wù)的具體特征，在基于Hadoop平臺(tái)的水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)歸類存檔系統(tǒng)中進(jìn)行海量數(shù)據(jù)檢索、提?。?/p>

2) 對(duì)獲得數(shù)據(jù)進(jìn)行預(yù)處理，確定數(shù)據(jù)挖掘任務(wù)所涉及的目標(biāo)數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)噪聲消除、消除冗余數(shù)據(jù)等處理，然后降維；

3) 對(duì)降噪去贅后的數(shù)據(jù)與用戶邊界條件進(jìn)行模糊對(duì)比；

（c）對(duì)比數(shù)據(jù)的提?。核姶髷?shù)據(jù)挖掘系統(tǒng)中用于數(shù)據(jù)特性對(duì)比的數(shù)據(jù)的特征、特性定義從水利水電大數(shù)據(jù)挖掘模型庫中提??；

（d）水利水電大數(shù)據(jù)的分析：水利水電大數(shù)據(jù)挖掘系統(tǒng)將數(shù)據(jù)挖掘產(chǎn)生的有效數(shù)據(jù)在水利水電大數(shù)據(jù)分析系統(tǒng)進(jìn)一步進(jìn)行分析，水利水電大數(shù)據(jù)分析系統(tǒng)通過對(duì)有效數(shù)據(jù)的時(shí)間、位置、字節(jié)、出現(xiàn)頻率、網(wǎng)絡(luò)標(biāo)簽和自定義特征的描述，生成最終可為水利水電行業(yè)決策提供數(shù)據(jù)支撐的趨勢(shì)數(shù)據(jù)報(bào)表。

優(yōu)選的，所述的水利水電大數(shù)據(jù)采集系統(tǒng)、水利水電大數(shù)據(jù)挖掘系統(tǒng)、水利水電大數(shù)據(jù)挖掘模型庫、水利水電大數(shù)據(jù)分析系統(tǒng)及水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)分別部署在不同的服務(wù)器上，采用TCP/IP網(wǎng)絡(luò)進(jìn)行互通互聯(lián)；數(shù)據(jù)的存儲(chǔ)采用Hadoop服務(wù)器。

優(yōu)選的，所述水利水電大數(shù)據(jù)分析系統(tǒng)包括數(shù)據(jù)計(jì)算服務(wù)器、統(tǒng)一數(shù)據(jù)采集模塊、數(shù)據(jù)輸出模塊、大數(shù)據(jù)及計(jì)算模型管理SPM，統(tǒng)一數(shù)據(jù)采集模塊、數(shù)據(jù)輸出模塊、大數(shù)據(jù)及計(jì)算模型管理SPM均與數(shù)據(jù)計(jì)算服務(wù)器連接，統(tǒng)一數(shù)據(jù)采集模塊實(shí)時(shí)采集用戶邊界條件，所述用戶邊界條件包括混凝土澆筑數(shù)據(jù)、施工現(xiàn)場氣候數(shù)據(jù)、水庫運(yùn)行管理數(shù)據(jù)及大壩微裂變形數(shù)據(jù)；數(shù)據(jù)計(jì)算服務(wù)器從統(tǒng)一數(shù)據(jù)采集模塊中讀取實(shí)時(shí)采集的數(shù)據(jù)，再通過在線計(jì)算或者離線計(jì)算對(duì)采集的數(shù)據(jù)進(jìn)行處理；大數(shù)據(jù)及計(jì)算模型管理SPM存放采集的數(shù)據(jù)或者處理后的數(shù)據(jù)或者其它數(shù)據(jù)；數(shù)據(jù)輸出模塊將數(shù)據(jù)計(jì)算服務(wù)器處理的數(shù)據(jù)輸出成為分析結(jié)果及支撐數(shù)據(jù)，分析結(jié)果及支撐數(shù)據(jù)包括傳統(tǒng)報(bào)表、查詢數(shù)據(jù)、可視化數(shù)據(jù)、即席分析數(shù)據(jù)、可提取數(shù)據(jù)中的一種或者多種，或者其它形式的數(shù)據(jù)。

本發(fā)明的有益效果是：

本發(fā)明的水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法相對(duì)于傳統(tǒng)大數(shù)據(jù)分析方法，可實(shí)現(xiàn)對(duì)水利水電行業(yè)數(shù)據(jù)進(jìn)行體系化的采集、挖掘、分析并形成指導(dǎo)數(shù)據(jù)，有利于提高水利水電工程建設(shè)績效和質(zhì)量管控水平，同時(shí)提高了水利水電工程的信息化管理水平。

附圖說明

圖1為本發(fā)明的系統(tǒng)框圖；

圖2為本發(fā)明中水利水電大數(shù)據(jù)分析系統(tǒng)的運(yùn)行模式結(jié)構(gòu)框圖；

圖2中圖框1為用戶邊界條件，圖框2為分析結(jié)果及支撐數(shù)據(jù)。

具體實(shí)施方式

參見圖1-2，一種水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法，包括水利水電大數(shù)據(jù)采集系統(tǒng)（SunGather）、水利水電大數(shù)據(jù)挖掘系統(tǒng)（SunGroove）、水利水電大數(shù)據(jù)挖掘模型庫、水利水電大數(shù)據(jù)分析系統(tǒng)（Sunalizer）及水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)五部分，包括如下幾個(gè)步驟：

（a）可用數(shù)據(jù)的采集和存儲(chǔ)：所述水利水電大數(shù)據(jù)架構(gòu)建設(shè)方法利用水利水電大數(shù)據(jù)采集系統(tǒng)中的網(wǎng)絡(luò)爬蟲技術(shù)（Crawler），對(duì)互聯(lián)網(wǎng)、水利水電大數(shù)據(jù)采集系統(tǒng)所在內(nèi)網(wǎng)中的可用數(shù)據(jù)進(jìn)行采集，對(duì)可用數(shù)據(jù)進(jìn)行META數(shù)據(jù)校驗(yàn)后，交由水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)進(jìn)行分類存儲(chǔ)；META數(shù)據(jù)校驗(yàn)分析包括以下幾個(gè)步驟：

1)定義提出有效數(shù)據(jù)檢索范圍邊界條件；

2)制定檢索策略，在檢索范圍內(nèi)廣泛收集；

3)確定納入和排除標(biāo)準(zhǔn)，剔除不符合要求的文獻(xiàn)；

4)數(shù)據(jù)測試質(zhì)量評(píng)估和特征描述；

5)異質(zhì)性檢驗(yàn)；

6)統(tǒng)計(jì)合并效應(yīng)量并進(jìn)行統(tǒng)計(jì)推斷；

7)敏感性分析；

8)作出結(jié)論及評(píng)價(jià)；

（b）水利水電大數(shù)據(jù)的挖掘：水利水電大數(shù)據(jù)挖掘系統(tǒng)向水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)提交請(qǐng)求獲取分類存儲(chǔ)的數(shù)據(jù)，水利水電大數(shù)據(jù)挖掘系統(tǒng)對(duì)分類存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)特性對(duì)比，將符合特征的數(shù)據(jù)所在位置索引遞交進(jìn)行數(shù)據(jù)分析；

1) 根據(jù)用戶定義的關(guān)鍵字條件（如：拱壩、大體積混凝土、平半鋼閘門、農(nóng)田水利等關(guān)鍵字），明確數(shù)據(jù)挖掘任務(wù)的具體特征，在基于Hadoop平臺(tái)的水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)歸類存檔系統(tǒng)中進(jìn)行海量數(shù)據(jù)檢索、提取；

2) 對(duì)獲得數(shù)據(jù)進(jìn)行預(yù)處理，確定數(shù)據(jù)挖掘任務(wù)所涉及的目標(biāo)數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)噪聲消除、消除冗余數(shù)據(jù)等處理，然后降維；

3) 對(duì)降噪去贅后的數(shù)據(jù)與用戶邊界條件進(jìn)行模糊對(duì)比；

（c）對(duì)比數(shù)據(jù)的提取：水利水電大數(shù)據(jù)挖掘系統(tǒng)中用于數(shù)據(jù)特性對(duì)比的數(shù)據(jù)的特征、特性定義從水利水電大數(shù)據(jù)挖掘模型庫中提??；

（d）水利水電大數(shù)據(jù)的分析：水利水電大數(shù)據(jù)挖掘系統(tǒng)將數(shù)據(jù)挖掘產(chǎn)生的有效數(shù)據(jù)在水利水電大數(shù)據(jù)分析系統(tǒng)進(jìn)一步進(jìn)行分析，水利水電大數(shù)據(jù)分析系統(tǒng)通過對(duì)有效數(shù)據(jù)的時(shí)間、位置、字節(jié)、出現(xiàn)頻率、網(wǎng)絡(luò)標(biāo)簽和自定義特征的描述，生成最終可為水利水電行業(yè)決策提供數(shù)據(jù)支撐的趨勢(shì)數(shù)據(jù)報(bào)表；

水利水電大數(shù)據(jù)采集系統(tǒng)（SunGather）、水利水電大數(shù)據(jù)挖掘系統(tǒng)（SunGroove）、水利水電大數(shù)據(jù)挖掘模型庫、水利水電大數(shù)據(jù)分析系統(tǒng)（Sunalizer）及水利水電大數(shù)據(jù)分布服務(wù)器節(jié)點(diǎn)控制系統(tǒng)分別部署在5臺(tái)不同的服務(wù)器上，采用TCP/IP網(wǎng)絡(luò)進(jìn)行互通互聯(lián)；數(shù)據(jù)的存儲(chǔ)采用Hadoop服務(wù)器，與水利水電大數(shù)據(jù)采集、挖掘、分析邏輯分開，隨時(shí)添加擴(kuò)展任意數(shù)量的存儲(chǔ)服務(wù)器。

水利水電大數(shù)據(jù)分析系統(tǒng)包括數(shù)據(jù)計(jì)算服務(wù)器、統(tǒng)一數(shù)據(jù)采集模塊、數(shù)據(jù)輸出模塊、大數(shù)據(jù)及計(jì)算模型管理SPM（Scratch Pad Memory 便箋式存貯器高速暫存存貯器），統(tǒng)一數(shù)據(jù)采集模塊、數(shù)據(jù)輸出模塊、大數(shù)據(jù)及計(jì)算模型管理SPM均與數(shù)據(jù)計(jì)算服務(wù)器連接，統(tǒng)一數(shù)據(jù)采集模塊實(shí)時(shí)的采集用戶邊界條件，所述用戶邊界條件包括混凝土澆筑數(shù)據(jù)、施工現(xiàn)場氣候數(shù)據(jù)、水庫運(yùn)行管理數(shù)據(jù)及大壩微裂變形數(shù)據(jù)中的一種、多種，或者采集其它需要采集的數(shù)據(jù)；數(shù)據(jù)計(jì)算服務(wù)器從統(tǒng)一數(shù)據(jù)采集模塊中讀取實(shí)時(shí)采集的數(shù)據(jù)，再通過在線計(jì)算或者離線計(jì)算對(duì)采集的數(shù)據(jù)進(jìn)行處理；大數(shù)據(jù)及計(jì)算模型管理SPM存放采集的數(shù)據(jù)或者處理后的數(shù)據(jù)或者其它數(shù)據(jù)；數(shù)據(jù)輸出模塊將數(shù)據(jù)計(jì)算服務(wù)器處理的數(shù)據(jù)輸出成為分析結(jié)果及支撐數(shù)據(jù)，分析結(jié)果及支撐數(shù)據(jù)包括傳統(tǒng)報(bào)表、查詢數(shù)據(jù)、可視化數(shù)據(jù)、即席分析數(shù)據(jù)、可提取數(shù)據(jù)中的一種或者多種，或者其它形式的數(shù)據(jù)。