基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架及方法
【技術領域】
[0001]本發(fā)明涉及一種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架及方法，具體來講是一種基于Linux系統(tǒng)、大數(shù)據(jù)Hadoop平臺，支持腳本驅動的計算系統(tǒng)。
【背景技術】
[0002]目前，脫硫、脫硝、除塵等各類節(jié)能減排逐步應用，江蘇省自2006年開始建立了“燃煤機組煙氣脫硫實時監(jiān)控及信息管理系統(tǒng)”后，節(jié)能減排各類數(shù)據(jù)采集測點數(shù)量由最初的約3000測點擴展到目前的約26萬測點，最終會達到40萬測點數(shù)量，數(shù)據(jù)采集頻率為10秒采集一次，涉及的各類算法超過40種。
[0003]由于采集數(shù)據(jù)量巨大，計算算法種類較多且算法邏輯會頻繁調整和改變，目前的數(shù)據(jù)庫服務器(PI+DB2)和計算服務器承受了很大的資源壓力，通過簡單的服務器數(shù)量疊加已經無法滿足后續(xù)采集測點的接入、新業(yè)務算法的加入。

【發(fā)明內容】

[0004]為了解決靜態(tài)安全分析在實際應用存在的問題，本發(fā)明公開了一種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架及方法，將復雜的計算業(yè)務拆分成彼此獨立的可重用計算組件，利用腳本技術實現(xiàn)計算組件之間的關聯(lián)關系和計算組件的計算邏輯，為節(jié)能減排業(yè)務提供尚吞吐量、尚擴展性和尚效可靠的計算服務，能夠適應多變的業(yè)務算法以及$父尚的并發(fā)數(shù)據(jù)處理要求。
[0005]本發(fā)明具體方案如下:
一種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架，其特征在于，包括數(shù)據(jù)庫服務系統(tǒng)、公共服務系統(tǒng)和平臺服務系統(tǒng)三層結構。
[0006]數(shù)據(jù)庫服務系統(tǒng)包括大數(shù)據(jù)子系統(tǒng)(Hadoop)和關系型數(shù)據(jù)庫子系統(tǒng)(DB2);歷史數(shù)據(jù)、檔案數(shù)據(jù)、計算結果數(shù)據(jù)、分布式計算框架管理數(shù)據(jù)均存儲在數(shù)據(jù)庫服務系統(tǒng)中。
[0007]公共服務系統(tǒng)包括大數(shù)據(jù)訪問處理接口、關系數(shù)據(jù)庫訪問處理接口、腳本驅動引擎、安全處理子系統(tǒng)、日志處理子系統(tǒng)和異常處理子系統(tǒng)。
[0008]公共服務系統(tǒng)通過大數(shù)據(jù)訪問處理接口、關系數(shù)據(jù)庫訪問處理接口訪問對數(shù)據(jù)庫服務系統(tǒng)；腳本驅動引擎執(zhí)行腳本運行；安全處理子系統(tǒng)對涉及數(shù)據(jù)訪問的接口進行帳號控制和權限控制；日志處理子系統(tǒng)記錄計算框架的運行狀態(tài)日志和計算腳本執(zhí)行日志；異常處理子系統(tǒng)對計算框架在運行過程中產生的異常情況進行處理，并通過日志處理子系統(tǒng)記錄運行信息。
[0009]平臺服務系統(tǒng)包括腳本編輯子系統(tǒng)、平臺運行子系統(tǒng)和輔助子系統(tǒng)，腳本編輯子系統(tǒng)編寫的腳本通過平臺運行子系統(tǒng)驅動；輔助子系統(tǒng)用于外部歷史數(shù)據(jù)的導入和存儲、外部檔案數(shù)據(jù)的導入和存儲。
[0010]數(shù)據(jù)庫服務系統(tǒng)、公共服務系統(tǒng)和平臺服務系統(tǒng)三層結構的各個模塊為松散耦合關系O
[0011]關系型數(shù)據(jù)庫子系統(tǒng)用于輔助支撐大數(shù)據(jù)子系統(tǒng)。
[0012]公共服務系統(tǒng)用于上層應用的數(shù)據(jù)訪問、數(shù)據(jù)處理、業(yè)務算法實現(xiàn)以及腳本驅動。
[0013]較優(yōu)地，腳本編輯子系統(tǒng)為計算腳本編輯調試工具；平臺運行子系統(tǒng)控制腳本執(zhí)行；輔助子系統(tǒng)包括檔案建立工具和外部數(shù)據(jù)導入工具，用于外部歷史數(shù)據(jù)的導入和存儲、外部檔案數(shù)據(jù)的導入和存儲。
[0014]腳本編輯子系統(tǒng)編寫的腳本通過平臺運行子系統(tǒng)驅動；
較優(yōu)地，腳本驅動引擎為LUA腳本驅動引擎。
[0015]—種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算方法，包括以下步驟:
SI，節(jié)能減排分布式計算的任務執(zhí)行通過任務調度節(jié)點控制，任務調度節(jié)點根據(jù)腳本信息將任務發(fā)送給計算節(jié)點，通過任務調度節(jié)點對計算節(jié)點的任務調度控制，并所有任務的分派和執(zhí)行，具體包括以下步驟:
(101)任務調度啟動；
(102)初始化任務調度進程；
(103)訪問腳本信息表；
(104)根據(jù)腳本關聯(lián)測點時標信息生成分布式計算任務；
(105)計算任務分派給各計算節(jié)點；
(106)接收計算機節(jié)點返回的任務執(zhí)行情況；
S2，計算節(jié)點調用本機底層的腳本驅動引擎完成任務執(zhí)行，計算節(jié)點具體控制方法，包括以下步驟:
(201)計算節(jié)點接收任務調度節(jié)點分派的節(jié)能減排分布式計算任務，通過任務監(jiān)測形成全局任務隊列；
(202 )任務驅動執(zhí)行線程從全局隊列獲取任務執(zhí)行。
[0016]較優(yōu)地，步驟(202)任務執(zhí)行具體包括以下步驟:
(a)公共服務系統(tǒng)執(zhí)行任務啟動腳本，并接收啟動腳本反饋信息；
(b)判斷是否存在任務調度節(jié)點分派的任務，如果是，進入步驟(C)，否則，任務執(zhí)行結束；
(c)腳本驅動引擎驅動執(zhí)行任務對應的腳本；
(d)重復(b)步驟操作。
[0017]本發(fā)明的有益效果包括:本發(fā)明公開了一種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架及方法，將復雜的計算業(yè)務拆分成彼此獨立的可重用計算組件，利用腳本技術實現(xiàn)計算組件之間的關聯(lián)關系和計算組件的計算邏輯，為節(jié)能減排業(yè)務提供高吞吐量、高擴展性和高效可靠的計算服務。采用本發(fā)明的分布式計算框架后，系統(tǒng)數(shù)據(jù)庫吞吐量改善，整體計算速度提高，新增算法通過簡單的腳本配置即可完成，使用方便。
【附圖說明】
[0018]圖1為本發(fā)明基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架結構示意圖；
圖2為本發(fā)明基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算方法流程示意圖；
圖3為本發(fā)明任務調度節(jié)點對計算節(jié)點的任務調度控制流程示意圖；
圖4為本發(fā)明任務執(zhí)行流程示意圖。
【具體實施方式】
[0019]下面結合附圖和具體的實施例對本發(fā)明技術方案作進一步的詳細描述，以使本領域的技術人員可以更好的理解本發(fā)明并能予以實施，但所舉實施例不作為對本發(fā)明的限定。
[0020]如圖1所示，一種基于大數(shù)據(jù)平臺的節(jié)能減排監(jiān)控分布式計算框架，包括數(shù)據(jù)庫服務系統(tǒng)、公共服務系統(tǒng)和平臺服務系統(tǒng)三層結構，三層結構的各個模塊為松散耦合關系。
[0021]數(shù)據(jù)庫服務系統(tǒng)包括大數(shù)據(jù)子系統(tǒng)(Hadoop)和關系型數(shù)據(jù)庫子系統(tǒng)(DB2);歷史數(shù)據(jù)、檔案數(shù)據(jù)、計算結果數(shù)據(jù)、分布式計算框架管理數(shù)據(jù)均存儲在數(shù)據(jù)庫服務系統(tǒng)中。
[0022]公共服務系統(tǒng)包括大數(shù)據(jù)訪問處理接口、關系數(shù)據(jù)庫訪問處理接口、腳本驅動引擎、安全處理子系統(tǒng)、日志處理子系統(tǒng)、異常處理子系統(tǒng)。
[0023]公共服務系統(tǒng)通過大數(shù)據(jù)訪問處理接口、關系數(shù)據(jù)庫訪問處理接口訪問對數(shù)據(jù)庫服務系統(tǒng)；腳本驅動引擎執(zhí)行腳本運行；安全處理子系統(tǒng)對涉及數(shù)據(jù)訪問的接口(大數(shù)據(jù)訪問處理接口、關系數(shù)據(jù)庫訪問處理接口)進行帳號控制和權限控制；日志處理子系統(tǒng)記錄計算框架的運行狀態(tài)日志和計算腳本執(zhí)行日志；異常處理子系統(tǒng)對計算框架在運行過程中產生的異常情況進行處理，并通過日志處理子系統(tǒng)記錄運行信息。
[0024]平臺服務系統(tǒng)包括腳本編輯子