本申請涉及數(shù)據(jù)管理領(lǐng)域,具體而言,涉及一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)。
背景技術(shù):
1、國家對于水庫大壩管理工作高度重視,大壩安全監(jiān)測自動化程度逐年提升,所采集的安全監(jiān)測數(shù)據(jù)量呈指數(shù)級增長;同時,隨著工程運行年限的增長,安全監(jiān)測觀測及資料整編報告、巡視檢查報告等文檔數(shù)據(jù)也日漸積累,形成了規(guī)模龐大的數(shù)據(jù)資源;尤其是流域性開發(fā)公司、水利水電集團公司,其管轄的水庫大壩眾多,所積累的安全監(jiān)測數(shù)據(jù)及資料更是達到海量規(guī)模,具備數(shù)據(jù)容量大、數(shù)據(jù)種類多、數(shù)據(jù)增加速度快、數(shù)據(jù)價值密度低等大數(shù)據(jù)特征。
2、目前,各水庫大壩的安全監(jiān)測數(shù)據(jù)通常采用本地化存儲管理或采用結(jié)構(gòu)化數(shù)據(jù)單獨存儲,數(shù)據(jù)存取和利用效率較低,且難以實現(xiàn)多個水庫大壩安全監(jiān)測數(shù)據(jù)的集中管理,也阻礙了數(shù)據(jù)檢索查詢和分析挖掘應(yīng)用工作的開展。
技術(shù)實現(xiàn)思路
1、為了解決上述問題,本申請?zhí)峁┮环N大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),用以提升大壩安全監(jiān)測數(shù)據(jù)的管理和利用效率。
2、本申請是這樣實現(xiàn)的:
3、第一方面,本申請?zhí)峁┮环N大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其包括依次相連的水庫大壩現(xiàn)場終端、大數(shù)據(jù)存儲裝置和大數(shù)據(jù)應(yīng)用服務(wù)器;
4、所述水庫大壩現(xiàn)場終端部署在水庫大壩現(xiàn)場,用以收集現(xiàn)場安全監(jiān)測數(shù)據(jù)并上傳至大數(shù)據(jù)存儲裝置;所述大數(shù)據(jù)存儲裝置用于接收并存儲安全監(jiān)測數(shù)據(jù);所述大數(shù)據(jù)應(yīng)用服務(wù)器通過數(shù)據(jù)接口對接大數(shù)據(jù)存儲裝置,用以讀取存儲在大數(shù)據(jù)存儲裝置中的安全監(jiān)測數(shù)據(jù),供數(shù)據(jù)挖掘程序進行檢索查詢和分析挖掘。
5、進一步地,基于上述方案,所述大數(shù)據(jù)存儲裝置包括通過交換機實現(xiàn)互聯(lián)的關(guān)系型數(shù)據(jù)庫服務(wù)器和hdfs分布式文件系統(tǒng),所述交換機的輸入端通過第一大數(shù)據(jù)網(wǎng)關(guān)與所述水庫大壩現(xiàn)場終端相連,所述交換機的輸出端通過第二大數(shù)據(jù)網(wǎng)關(guān)與所述大數(shù)據(jù)應(yīng)用服務(wù)器相連。
6、進一步地,基于上述方案,所述安全監(jiān)測數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);所述關(guān)系型數(shù)據(jù)庫服務(wù)器用于存儲安全監(jiān)測數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù),所述hdfs分布式文件系統(tǒng)用于存儲安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)。
7、進一步地,基于上述方案,所述結(jié)構(gòu)化數(shù)據(jù)包括安全監(jiān)測數(shù)據(jù)、水文氣象監(jiān)測數(shù)據(jù)和監(jiān)測整編成果數(shù)據(jù);所述非結(jié)構(gòu)化文檔資料包括工程設(shè)計資料、整編分析報告、巡視檢查報告和專題分析資料。
8、進一步地,基于上述方案,所述hdfs分布式文件系統(tǒng)包括至少一個管理節(jié)點服務(wù)器、以及多個數(shù)據(jù)節(jié)點服務(wù)器;所述管理節(jié)點服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器之間的網(wǎng)絡(luò)拓撲結(jié)構(gòu)是以交換機作為中心的星型網(wǎng)絡(luò)連接。
9、進一步地,基于上述方案,所述管理節(jié)點服務(wù)器用于負責(zé)處理大數(shù)據(jù)應(yīng)用服務(wù)器的文件訪問請求,并根據(jù)數(shù)據(jù)節(jié)點的負載情況動態(tài)地分配數(shù)據(jù)存儲和訪問任務(wù),從而實現(xiàn)負載均衡;所述數(shù)據(jù)節(jié)點用于負責(zé)安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)的存儲和讀取。
10、進一步地,基于上述方案,所述水庫大壩現(xiàn)場終端以分布式的形式部署在不同的水庫大壩現(xiàn)場,并通過第一大數(shù)據(jù)網(wǎng)關(guān)與大數(shù)據(jù)存儲裝置對接。
11、相對于現(xiàn)有技術(shù),本申請至少具有如下優(yōu)點或有益效果:
12、通過大數(shù)據(jù)存儲裝置接收并存儲水庫大壩現(xiàn)場終端收集的安全監(jiān)測數(shù)據(jù),然后利用大數(shù)據(jù)應(yīng)用服務(wù)器通過數(shù)據(jù)接口對接大數(shù)據(jù)存儲裝置,用以讀取存儲在大數(shù)據(jù)存儲裝置中的安全監(jiān)測數(shù)據(jù),供數(shù)據(jù)挖掘程序進行檢索查詢和分析挖掘。從而,將可以對多個水庫大壩或同一水庫大壩的多個安全監(jiān)測數(shù)據(jù)進行集中管理,便于對其進行統(tǒng)一的數(shù)據(jù)檢索查詢和分析挖掘,從而提升大壩安全監(jiān)測數(shù)據(jù)的管理和利用效率。
1.一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,包括依次相連的水庫大壩現(xiàn)場終端、大數(shù)據(jù)存儲裝置和大數(shù)據(jù)應(yīng)用服務(wù)器;
2.根據(jù)權(quán)利要求1所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述大數(shù)據(jù)存儲裝置包括通過交換機實現(xiàn)互聯(lián)的關(guān)系型數(shù)據(jù)庫服務(wù)器和hdfs分布式文件系統(tǒng),所述交換機的輸入端通過第一大數(shù)據(jù)網(wǎng)關(guān)與所述水庫大壩現(xiàn)場終端相連,所述交換機的輸出端通過第二大數(shù)據(jù)網(wǎng)關(guān)與所述大數(shù)據(jù)應(yīng)用服務(wù)器相連。
3.根據(jù)權(quán)利要求2所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述安全監(jiān)測數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);所述關(guān)系型數(shù)據(jù)庫服務(wù)器用于存儲安全監(jiān)測數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù),所述hdfs分布式文件系統(tǒng)用于存儲安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述結(jié)構(gòu)化數(shù)據(jù)包括安全監(jiān)測數(shù)據(jù)、水文氣象監(jiān)測數(shù)據(jù)和監(jiān)測整編成果數(shù)據(jù);
5.根據(jù)權(quán)利要求2所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述hdfs分布式文件系統(tǒng)包括至少一個管理節(jié)點服務(wù)器、以及多個數(shù)據(jù)節(jié)點服務(wù)器;所述管理節(jié)點服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器之間的網(wǎng)絡(luò)拓撲結(jié)構(gòu)是以交換機作為中心的星型網(wǎng)絡(luò)連接。
6.根據(jù)權(quán)利要求5所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述管理節(jié)點服務(wù)器用于負責(zé)處理大數(shù)據(jù)應(yīng)用服務(wù)器的文件訪問請求,并根據(jù)數(shù)據(jù)節(jié)點的負載情況動態(tài)地分配數(shù)據(jù)存儲和訪問任務(wù),從而實現(xiàn)負載均衡;所述數(shù)據(jù)節(jié)點用于負責(zé)安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)的存儲和讀取。
7.根據(jù)權(quán)利要求1所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng),其特征在于,所述水庫大壩現(xiàn)場終端以分布式的形式部署在不同的水庫大壩現(xiàn)場,并通過第一大數(shù)據(jù)網(wǎng)關(guān)與大數(shù)據(jù)存儲裝置對接。