本發(fā)明涉及一種數(shù)據(jù)采集方法和可視化監(jiān)控智能系統(tǒng)。

背景技術(shù)：

工業(yè)信息化時(shí)代，各種智能監(jiān)控技術(shù)不僅能提高企業(yè)信息化管理和生產(chǎn)的自動(dòng)化水平，還能有效提升生產(chǎn)效率。原始的簡(jiǎn)單系統(tǒng)僅僅具備了數(shù)據(jù)采集或者是數(shù)據(jù)顯示的功能，并且每個(gè)數(shù)據(jù)采集網(wǎng)關(guān)采集的數(shù)據(jù)量也是有限的，一旦數(shù)據(jù)量較大時(shí)，上層的數(shù)據(jù)處理的難度也隨即增大。本發(fā)明設(shè)計(jì)出一種數(shù)據(jù)采集和可視化監(jiān)控智能系統(tǒng)，能有效滿足新一代智能監(jiān)控系統(tǒng)和信息集成的功能要求，不僅能進(jìn)行大規(guī)模的數(shù)據(jù)采集和數(shù)據(jù)處理，同時(shí)能夠進(jìn)行有效合理的數(shù)據(jù)展示。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明目針對(duì)現(xiàn)有工業(yè)化智能系統(tǒng)的不足，提出并設(shè)計(jì)出一種數(shù)據(jù)采集和可視化監(jiān)控智能系統(tǒng)，能有效滿足新一代智能監(jiān)控系統(tǒng)和信息集成的功能要求，不僅能進(jìn)行大規(guī)模的數(shù)據(jù)采集和數(shù)據(jù)處理，同時(shí)還能進(jìn)行數(shù)據(jù)可視化服務(wù)。

一種數(shù)據(jù)采集和可視化監(jiān)控智能系統(tǒng)，包括：用于采集工業(yè)生產(chǎn)各傳感器的工作參數(shù)和運(yùn)行狀態(tài)的數(shù)據(jù)采集子系統(tǒng)，用于數(shù)據(jù)上傳、備份及恢復(fù)功能的數(shù)據(jù)處理子系統(tǒng)，可選的應(yīng)用大數(shù)據(jù)處理方法面向處理大規(guī)模數(shù)據(jù)的大數(shù)據(jù)處理子系統(tǒng)，用于用戶服務(wù)的應(yīng)用子系統(tǒng)；其中，數(shù)據(jù)處理子系統(tǒng)將數(shù)據(jù)采集子系統(tǒng)的數(shù)據(jù)提交給應(yīng)用子系統(tǒng)存儲(chǔ)分析和服務(wù)，如果所采集的數(shù)據(jù)規(guī)模較大，需要通過大數(shù)據(jù)處理子系統(tǒng)進(jìn)行處理，再進(jìn)行應(yīng)用子系統(tǒng)存儲(chǔ)和服務(wù)；

其中，所述的數(shù)據(jù)采集子系統(tǒng)包括：

OPC服務(wù)端模塊，用于通過本地?cái)?shù)據(jù)接口采集不同設(shè)備的工作參數(shù)，所述工作參數(shù)包括溫度、壓力、濕度和電壓等工業(yè)現(xiàn)場(chǎng)參數(shù)，并根據(jù)所述的工作參數(shù)判斷工作現(xiàn)場(chǎng)運(yùn)行狀態(tài)是否正常；

OPC客戶端模塊，用于經(jīng)由數(shù)據(jù)處理模塊和上層管理系統(tǒng)進(jìn)行數(shù)據(jù)采集，根據(jù)上層管理系統(tǒng)的控制指令對(duì)不同的OPC服務(wù)端口數(shù)據(jù)進(jìn)行采集；

數(shù)據(jù)處理模塊，用于OPC客戶端模塊和上層管理系統(tǒng)的數(shù)據(jù)交換服務(wù)，如參數(shù)格式轉(zhuǎn)換、數(shù)據(jù)包組合拆分、數(shù)據(jù)異常值現(xiàn)場(chǎng)處理判定等功能；

底層告警模塊，用于連接本地?cái)?shù)據(jù)處理模塊，進(jìn)行本地參數(shù)異常的報(bào)警提示，提醒傳輸數(shù)據(jù)的正確性和安全性；

所述的數(shù)據(jù)處理子系統(tǒng)包括：

數(shù)據(jù)上傳模塊，用于將OPC采集經(jīng)由初步處理的的參數(shù)數(shù)據(jù)上傳給應(yīng)用子系統(tǒng)進(jìn)行分布式存儲(chǔ)，接收應(yīng)用子系統(tǒng)的上傳指令；

數(shù)據(jù)備份恢復(fù)模塊，用于本地?cái)?shù)據(jù)的保存、備份和恢復(fù)，控制上傳數(shù)據(jù)過程中意外狀態(tài)的恢復(fù)和數(shù)據(jù)安全性保障；

所述的大數(shù)據(jù)處理子系統(tǒng)包括：

數(shù)據(jù)實(shí)時(shí)流處理模塊，用于面向工業(yè)大數(shù)據(jù)低時(shí)延、可擴(kuò)展和容錯(cuò)性高要求的并行性處理，以實(shí)時(shí)或接近實(shí)時(shí)的處理大數(shù)據(jù)流，采用Spark和Storm技術(shù)實(shí)現(xiàn)；

數(shù)據(jù)離線計(jì)算模塊，用于針對(duì)工業(yè)大數(shù)據(jù)量大、復(fù)雜批量計(jì)算等特點(diǎn)采用Hdfs、MapReduce、Hive技術(shù)實(shí)現(xiàn)；

所述的應(yīng)用子系統(tǒng)包括：

數(shù)據(jù)分布式存儲(chǔ)模塊，用于所上傳數(shù)據(jù)的云化存儲(chǔ)，進(jìn)行后繼的數(shù)據(jù)管理、挖掘等功能；

數(shù)據(jù)展示模塊，用于工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)基于B/S模式的實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)等的可視化展示；

統(tǒng)計(jì)查詢模塊，用于根據(jù)不同數(shù)據(jù)模型進(jìn)行統(tǒng)計(jì)分析后的結(jié)果查詢和檢索；

權(quán)限管理模塊，用于基于B/S模式用戶的不同權(quán)限管理，包括數(shù)據(jù)的可訪問、可修改，權(quán)限的可指派、可收回等；

告警查詢模塊，用于現(xiàn)場(chǎng)數(shù)據(jù)告警次數(shù)、告警值、處理情況等的統(tǒng)計(jì)和查詢管理。

數(shù)據(jù)采集子系統(tǒng)中，OPC服務(wù)端通過OPC通訊協(xié)議和TCP通訊協(xié)議，通過本地?cái)?shù)據(jù)接口連接到不同工廠的設(shè)備中，用于實(shí)時(shí)采集每個(gè)工廠中的不同設(shè)備的裝置參數(shù)信息；

OPC客戶端將采集到的數(shù)據(jù)通過web service通訊協(xié)議連接到數(shù)據(jù)處理模塊，進(jìn)行數(shù)據(jù)的預(yù)處理，一旦數(shù)據(jù)有異常和缺失，告警模塊會(huì)做出相對(duì)應(yīng)的告警信息，方便進(jìn)行數(shù)據(jù)檢測(cè)和恢復(fù)；

數(shù)據(jù)處理子系統(tǒng)中，數(shù)據(jù)上傳模塊一方面連接到數(shù)據(jù)處理模塊，一方面連接到應(yīng)用子系統(tǒng)中的數(shù)據(jù)分布式存儲(chǔ)模塊；

數(shù)據(jù)在往應(yīng)用子系統(tǒng)上傳前，會(huì)通過數(shù)據(jù)恢復(fù)和備份模塊對(duì)數(shù)據(jù)進(jìn)行有效的備份，一旦遇到數(shù)據(jù)丟失等現(xiàn)象，方便高層對(duì)數(shù)據(jù)再次請(qǐng)求時(shí)數(shù)據(jù)的及時(shí)恢復(fù)和完整性。

大數(shù)據(jù)處理子系統(tǒng)，通過hadoop技術(shù)可以應(yīng)對(duì)數(shù)據(jù)量大時(shí)的數(shù)據(jù)處理，通過HDFS和MapReduce為海量的數(shù)據(jù)提供離線計(jì)算；

通過storm技術(shù)可以應(yīng)對(duì)數(shù)據(jù)量大時(shí)的數(shù)據(jù)實(shí)時(shí)計(jì)算處理，保障應(yīng)用子系統(tǒng)對(duì)數(shù)據(jù)的秒級(jí)響應(yīng)和展示。

所述的應(yīng)用子系統(tǒng)能對(duì)數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)展示，實(shí)時(shí)數(shù)據(jù)可視化模塊，能對(duì)當(dāng)前某一段時(shí)間的設(shè)備指標(biāo)進(jìn)行可視化展示；歷史統(tǒng)計(jì)查詢模塊，能對(duì)歷史某一段時(shí)間的設(shè)備指標(biāo)進(jìn)行統(tǒng)計(jì)和展示；告警監(jiān)控模塊，能對(duì)出現(xiàn)告警信息的設(shè)備做出及時(shí)的監(jiān)控提醒，保障系統(tǒng)的安全性；權(quán)限管理模塊，能針對(duì)不同的管理人員設(shè)定不同的管理等級(jí)，實(shí)現(xiàn)不同等級(jí)不同操作功能的界面展示。

應(yīng)用子系統(tǒng)中的權(quán)限管理模塊，針對(duì)不同工廠、不同層級(jí)人員的不同請(qǐng)求響應(yīng)，設(shè)計(jì)出不同的權(quán)限管理界面，方便整個(gè)工廠對(duì)數(shù)據(jù)請(qǐng)求和設(shè)備監(jiān)控的合理性和有效性，保障數(shù)據(jù)信息化管理的需求；

應(yīng)用子系統(tǒng)中的數(shù)據(jù)展示模塊，對(duì)不同工廠的不同需求，方便對(duì)需要查詢監(jiān)控的設(shè)備進(jìn)行數(shù)據(jù)查詢和展示，也可以對(duì)某個(gè)區(qū)域的不同設(shè)備進(jìn)行監(jiān)控和數(shù)據(jù)查詢；

應(yīng)用子系統(tǒng)中的統(tǒng)計(jì)查詢模塊，針對(duì)不同時(shí)段的數(shù)據(jù)請(qǐng)求需求，提供了查詢?nèi)藛T對(duì)不同設(shè)備、不同歷史時(shí)段的歷史數(shù)據(jù)查詢功能，能有效觀測(cè)不同時(shí)間段的設(shè)備數(shù)據(jù)對(duì)比和區(qū)域分析功能；

應(yīng)用子系統(tǒng)中的告警查詢模塊，針對(duì)設(shè)備可能出現(xiàn)的參數(shù)超標(biāo)等現(xiàn)象，通過告警模塊對(duì)出現(xiàn)異常的設(shè)備做出及時(shí)的告示，方便管理人員做出合理的措施，防止不必要的損失。

本發(fā)明的優(yōu)點(diǎn)是：

1)實(shí)現(xiàn)對(duì)各個(gè)工廠現(xiàn)場(chǎng)設(shè)備參數(shù)的統(tǒng)一數(shù)據(jù)采集和處理，基于OPC可以使本系統(tǒng)從底層開始就獨(dú)立于制造商，滿足平臺(tái)獨(dú)立、可伸縮性強(qiáng)、高可用等優(yōu)點(diǎn)；

2)充分考慮工業(yè)大數(shù)據(jù)特征，通過大數(shù)據(jù)處理子系統(tǒng)滿足大數(shù)據(jù)的實(shí)時(shí)性、離線計(jì)算等需求；

3)系統(tǒng)結(jié)構(gòu)明晰，子系統(tǒng)功能明確，操作友好，實(shí)現(xiàn)對(duì)工業(yè)大數(shù)據(jù)采集和可視化監(jiān)控的可定制化、靈活性和智能化。

附圖說明

圖1本發(fā)明的功能模塊設(shè)計(jì)圖。

圖2本發(fā)明的應(yīng)用子系統(tǒng)權(quán)限管理界面。

圖3本發(fā)明的應(yīng)用子系統(tǒng)統(tǒng)計(jì)查詢界面。

圖4本發(fā)明的應(yīng)用子系統(tǒng)告警查詢界面。

具體實(shí)施方式

下面結(jié)合附圖，對(duì)本發(fā)明的實(shí)施進(jìn)行詳細(xì)描述。

如圖1所示，本發(fā)明，即一種數(shù)據(jù)采集和可視化監(jiān)控智能系統(tǒng)，包括：部署在數(shù)據(jù)采集子系統(tǒng)100的設(shè)備源1、OPC服務(wù)端2、OPC客戶端3、數(shù)據(jù)處理模塊4、告警模塊5；部署在數(shù)據(jù)處理子系統(tǒng)200的數(shù)據(jù)上傳模塊6、數(shù)據(jù)備份恢復(fù)模塊7；部署在應(yīng)用子系統(tǒng)300的數(shù)據(jù)分布式存儲(chǔ)8、告警查詢模塊9、數(shù)據(jù)展示模塊10、權(quán)限模塊11和統(tǒng)計(jì)查詢模塊12；以及部署在大數(shù)據(jù)處理子系統(tǒng)400的數(shù)據(jù)實(shí)時(shí)流處理13和數(shù)據(jù)離線處理14。

OPC服務(wù)端2通過本地?cái)?shù)據(jù)端口采集設(shè)備源1的數(shù)據(jù)信息，包括溫度、氣壓、壓強(qiáng)等。OPC客戶端批量從OPC服務(wù)端中得到實(shí)時(shí)數(shù)據(jù)，整合后通過以太網(wǎng)傳輸給數(shù)據(jù)處理模塊4。數(shù)據(jù)處理模塊4對(duì)數(shù)據(jù)進(jìn)行初步處理，檢測(cè)到異常處理時(shí)通知告警模塊5向用戶告警，并將數(shù)據(jù)交給數(shù)據(jù)處理層200的數(shù)據(jù)上傳模塊6。告警模塊5通過短信和郵件向指定用戶發(fā)送告警信息。

在數(shù)據(jù)處理子系統(tǒng)200中，數(shù)據(jù)上傳模塊6首先會(huì)將數(shù)據(jù)通過以太網(wǎng)發(fā)送給數(shù)據(jù)備份恢復(fù)模塊7。數(shù)據(jù)備份恢復(fù)模塊7會(huì)對(duì)數(shù)據(jù)進(jìn)行本地和異地備份，并在數(shù)據(jù)丟失時(shí)對(duì)數(shù)據(jù)進(jìn)行還原。然后，數(shù)據(jù)上傳模塊6將數(shù)據(jù)傳輸?shù)綉?yīng)用子系統(tǒng)300的數(shù)據(jù)分布式存儲(chǔ)8。

在應(yīng)用子系統(tǒng)300中，數(shù)據(jù)分布式存儲(chǔ)8有兩種選擇方案，當(dāng)數(shù)據(jù)量小，不需要進(jìn)行大數(shù)據(jù)處理時(shí)，直接選用MySQL作為后端數(shù)據(jù)庫(kù)，同時(shí)做好主從復(fù)制及讀寫分離架構(gòu)。當(dāng)數(shù)據(jù)量規(guī)模龐大并且需要進(jìn)行大數(shù)據(jù)處理時(shí)，選用HBase分布式數(shù)據(jù)庫(kù)，結(jié)合大數(shù)據(jù)處理子系統(tǒng)400做在線流處理及離線計(jì)算任務(wù)。告警查詢模塊9按照時(shí)間順序展示最近出現(xiàn)的異常信息，直觀地呈現(xiàn)了當(dāng)前各設(shè)備的運(yùn)行狀況。數(shù)據(jù)展示模塊10根據(jù)設(shè)備進(jìn)行分類，展示采集到的實(shí)時(shí)數(shù)據(jù)。

權(quán)限模塊11處理各個(gè)工廠之間用戶權(quán)限，主要分為三級(jí)：最高權(quán)限用戶admin，各工廠的管理員以及各工廠的普通用戶。admin具有最高權(quán)限能夠添加各工廠的管理員，各工廠的管理員只能管理本廠的用戶。各廠之間的數(shù)據(jù)隔離，用戶只能看到自己工廠的數(shù)據(jù)。

統(tǒng)計(jì)查詢模塊12主要通過歷史曲線的形式展示歷史數(shù)據(jù)，各工廠管理員可以自定制需展示的設(shè)備。

大數(shù)據(jù)處理子系統(tǒng)400，使用hadoop技術(shù)可以應(yīng)對(duì)數(shù)據(jù)量大時(shí)的數(shù)據(jù)處理，通過MapReduce框架為海量的數(shù)據(jù)提供了離線計(jì)算。使用Storm技術(shù)對(duì)數(shù)據(jù)做實(shí)時(shí)計(jì)算處理，保障應(yīng)用層對(duì)數(shù)據(jù)的秒級(jí)響應(yīng)和展示。

綜上所述，本發(fā)明首先通過OPC服務(wù)端的本地端口獲得實(shí)時(shí)的設(shè)備數(shù)據(jù)，在數(shù)據(jù)采集子系統(tǒng)和處理子系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行初步處理并做相應(yīng)的備份。在應(yīng)用子系統(tǒng)，通過對(duì)異常數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、歷史曲線的展示，能夠直觀地描述各設(shè)備的運(yùn)行狀況。在大數(shù)據(jù)處理子系統(tǒng)，特別針對(duì)采集到的大規(guī)模數(shù)據(jù)進(jìn)行處理，進(jìn)一步進(jìn)行大數(shù)據(jù)挖掘分析。

以上所述的，僅為本發(fā)明的較佳實(shí)施例，并非用以限定本發(fā)明的范圍，本發(fā)明的上述實(shí)施例還可以做出各種變化。即凡是依據(jù)本發(fā)明申請(qǐng)的權(quán)利要求書及說明書內(nèi)容所作的簡(jiǎn)單、等效變化與修飾，皆落入本發(fā)明專利的權(quán)利要求保護(hù)范圍。本發(fā)明未詳盡描述的均為常規(guī)技術(shù)內(nèi)容。