本技術(shù)涉及工業(yè)數(shù)據(jù)處理,尤其是涉及到一種基于全生命周期的工業(yè)數(shù)據(jù)處理系統(tǒng)及工業(yè)數(shù)據(jù)處理方法。
背景技術(shù):
1、在大數(shù)據(jù)背景下,數(shù)據(jù)日益多樣化、復雜化和規(guī)模化,數(shù)據(jù)管理平臺的數(shù)據(jù)量不斷增加,導致數(shù)據(jù)關(guān)系錯綜復雜、脈絡混亂不清、數(shù)據(jù)質(zhì)量參差不齊,嚴重影響了數(shù)據(jù)效用的發(fā)揮。
2、相關(guān)技術(shù)在工業(yè)數(shù)據(jù)的處理過程中,通常使用大數(shù)據(jù)平臺提供的機器學習和深度學習算法來實現(xiàn)對工業(yè)數(shù)據(jù)進行能效分析。然而,考慮到工業(yè)數(shù)據(jù)來源多樣、類型繁多,通過機器學習和深度學習算法對工業(yè)數(shù)據(jù)進行能效分析的結(jié)果往往缺乏可解釋性,難以為實際生產(chǎn)決策提供有效支持,無法滿足工業(yè)現(xiàn)場的實時監(jiān)控和快速響應,限制了數(shù)據(jù)分析結(jié)果的應用場景。
技術(shù)實現(xiàn)思路
1、有鑒于此,本技術(shù)提供了一種基于全生命周期的工業(yè)數(shù)據(jù)處理系統(tǒng)及工業(yè)數(shù)據(jù)處理方法,主要目的在于解決現(xiàn)有技術(shù)中通過機器學習和深度學習算法對工業(yè)數(shù)據(jù)進行能效分析的結(jié)果往往缺乏可解釋性,難以為實際生產(chǎn)決策提供有效支持,無法滿足工業(yè)現(xiàn)場的實時監(jiān)控和快速響應的問題。
2、根據(jù)本技術(shù)的第一個方面,提供了一種基于全生命周期的工業(yè)數(shù)據(jù)處理系統(tǒng),包括:
3、數(shù)據(jù)采集模塊,用于獲取工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的實時工業(yè)數(shù)據(jù),所述實時工業(yè)數(shù)據(jù)具有統(tǒng)一數(shù)據(jù)格式;
4、數(shù)據(jù)清洗模塊,用于根據(jù)各個生產(chǎn)工序?qū)墓に囂卣?,對所述實時工業(yè)數(shù)據(jù)進行清洗處理,得到清洗后的工業(yè)數(shù)據(jù),所述清洗處理包括降噪處理、數(shù)據(jù)填補處理、異常數(shù)據(jù)識別與修正、預設(shè)清洗規(guī)則中一種或多種相結(jié)合;
5、數(shù)據(jù)分析模塊,用于對所述清洗后的工業(yè)數(shù)據(jù)進行數(shù)據(jù)對標處理和參數(shù)優(yōu)化調(diào)整,得到數(shù)據(jù)對標結(jié)果和參數(shù)優(yōu)化結(jié)果;
6、數(shù)據(jù)監(jiān)控模塊,用于通過數(shù)據(jù)跟蹤技術(shù)監(jiān)控所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊以及所述數(shù)據(jù)分析模塊,以根據(jù)所述數(shù)據(jù)對標結(jié)果和所述參數(shù)優(yōu)化結(jié)果建立工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的數(shù)據(jù)反饋機制;
7、系統(tǒng)集成模塊,用于通過數(shù)據(jù)連接器將所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分析模塊以及所述數(shù)據(jù)監(jiān)控模塊集成至系統(tǒng)平臺,以使得所述系統(tǒng)平臺基于所述數(shù)據(jù)反饋機制對工業(yè)生產(chǎn)過程中的各個生產(chǎn)工序進行參數(shù)調(diào)整。
8、進一步地,所述數(shù)據(jù)采集模塊包括傳感器網(wǎng)絡,所述傳感器網(wǎng)絡布置在工業(yè)生產(chǎn)過程中各個生產(chǎn)工序,所述傳感器網(wǎng)絡為多參數(shù)傳感器采用物聯(lián)網(wǎng)技術(shù)構(gòu)建得到的,所述多參數(shù)傳感器包括工業(yè)環(huán)境中各個生產(chǎn)環(huán)節(jié)中部署的傳感器;
9、所述數(shù)據(jù)采集模塊,具體用于利用所述傳感器網(wǎng)絡采集異構(gòu)數(shù)據(jù)源輸出的指標數(shù)據(jù),采用標準化數(shù)據(jù)接口和協(xié)議對所述異構(gòu)數(shù)據(jù)源輸出的指標數(shù)據(jù)進行數(shù)據(jù)整合,得到工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的實時工業(yè)數(shù)據(jù)。
10、進一步地,所述數(shù)據(jù)清洗模塊包括數(shù)據(jù)降噪單元、數(shù)據(jù)填補單元、數(shù)據(jù)修正單元以及自定義清洗單元中的一個或多個單元相結(jié)合;
11、所述數(shù)據(jù)降噪單元,用于將所述實時工業(yè)數(shù)據(jù)分解為多個模態(tài)函數(shù),通過過濾頻率大于設(shè)定數(shù)值的模態(tài)函數(shù)來實現(xiàn)對實時工業(yè)數(shù)據(jù)進行降噪處理:
12、所述數(shù)據(jù)填補單元,用于檢測所述實時工業(yè)數(shù)據(jù)中的缺失值,對于完全隨機缺失數(shù)據(jù)以及不關(guān)鍵數(shù)據(jù),采用按照設(shè)定時間粒度對所述缺失數(shù)據(jù)進行刪除處理,對于隨機缺失數(shù)據(jù)和非隨機缺失數(shù)據(jù),采用隨機森林算法對所述缺失數(shù)據(jù)進行填補處理;
13、所述數(shù)據(jù)修正單元,用于在工業(yè)生產(chǎn)過程中利用聚類算法對所述實時工業(yè)數(shù)據(jù)進行聚類,統(tǒng)計聚類得到集群中數(shù)據(jù)點的數(shù)量,將集群中數(shù)量小于設(shè)定閾值的數(shù)據(jù)點確定為數(shù)據(jù)異常點,采用平均插值法對所述數(shù)據(jù)異常點進行數(shù)據(jù)修正處理;
14、所述自定義清洗單元,用于利用設(shè)定清洗規(guī)則對所述實時工業(yè)數(shù)據(jù)進行清洗處理。
15、進一步地,所述系統(tǒng)具有數(shù)據(jù)版本控制功能、數(shù)據(jù)存儲功能,所述數(shù)據(jù)版本控制功能與所述數(shù)據(jù)存儲功能支持系統(tǒng)全局應用;
16、所述數(shù)據(jù)版本控制功能用于通過元數(shù)據(jù)信息對所述清洗后的工業(yè)數(shù)據(jù)進行版本記錄,以使得版本記錄后的工業(yè)數(shù)據(jù)具有追溯性;
17、所述數(shù)據(jù)存儲功能用于建立數(shù)據(jù)字典,以通過所述數(shù)據(jù)字典將所述版本記錄后的工業(yè)數(shù)據(jù)采用分布式數(shù)據(jù)倉庫進行存儲。
18、進一步地,所述數(shù)據(jù)分析模塊包括數(shù)據(jù)對標單元和優(yōu)化建模單元;
19、所述數(shù)據(jù)對標單元,用于將所述清洗后的工業(yè)數(shù)據(jù)與基準工業(yè)數(shù)據(jù)進行差異識別,以通過差異識別得到的表現(xiàn)數(shù)據(jù)確定數(shù)據(jù)對標結(jié)果,所述基準工業(yè)數(shù)據(jù)為設(shè)定時間范圍內(nèi)工業(yè)生產(chǎn)過程中工序設(shè)備處于運行穩(wěn)態(tài)時對應采集得到的能耗數(shù)據(jù);
20、所述優(yōu)化建模單元,用于建立工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的工序處理模型,以通過所述工序處理模型對所述清洗后的工業(yè)數(shù)據(jù)進行參數(shù)優(yōu)化,得到參數(shù)優(yōu)化結(jié)果,所述參數(shù)優(yōu)化結(jié)果符合目標生產(chǎn)條件。
21、進一步地,所述數(shù)據(jù)監(jiān)控模塊包括數(shù)據(jù)跟蹤單元和數(shù)據(jù)反饋單元;
22、所述數(shù)據(jù)跟蹤單元,用于通過數(shù)據(jù)跟蹤技術(shù)記錄工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的工業(yè)數(shù)據(jù)在所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊以及所述數(shù)據(jù)分析模塊中的動態(tài)信息,以根據(jù)所述動態(tài)信息確保工業(yè)數(shù)據(jù)的完整性:
23、所述數(shù)據(jù)反饋單元,用于根據(jù)所述數(shù)據(jù)對標結(jié)果在參數(shù)優(yōu)化結(jié)果的基礎(chǔ)上不斷調(diào)整生產(chǎn)過程中各個生產(chǎn)工序?qū)拥纳a(chǎn)參數(shù),以通過參數(shù)調(diào)整后的數(shù)據(jù)應用結(jié)果建立生成過程中各個生產(chǎn)工序的數(shù)據(jù)反饋機制。
24、進一步地,所述系統(tǒng)集成模塊包括數(shù)據(jù)交互單元和數(shù)據(jù)集成單元:
25、所述數(shù)據(jù)交互單元,用于通過數(shù)據(jù)連接器在所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分析模塊以及所述數(shù)據(jù)監(jiān)控模塊之間提供統(tǒng)一的數(shù)據(jù)交互接口,以根據(jù)所述統(tǒng)一的數(shù)據(jù)交互接口實現(xiàn)不同應用之間的數(shù)據(jù)交互;
26、所述數(shù)據(jù)集成單元,用于采用標準化的接口協(xié)議將所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分析模塊以及所述數(shù)據(jù)監(jiān)控模塊通過所述統(tǒng)一的數(shù)據(jù)接口集成至系統(tǒng)平臺,以使得所述系統(tǒng)平臺基于所述數(shù)據(jù)反饋機制對工業(yè)生產(chǎn)過程中的各個生產(chǎn)工序進行參數(shù)調(diào)整。
27、根據(jù)本技術(shù)的第二個方面,提供了一種基于全生命周期的工業(yè)數(shù)據(jù)處理方法,包括:
28、獲取工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的實時工業(yè)數(shù)據(jù),所述實時工業(yè)數(shù)據(jù)具有統(tǒng)一數(shù)據(jù)格式;
29、根據(jù)各個生產(chǎn)工序?qū)墓に囂卣鳎瑢λ鰧崟r工業(yè)數(shù)據(jù)進行清洗處理,得到清洗后的工業(yè)數(shù)據(jù),所述清洗處理包括降噪處理、數(shù)據(jù)填補處理、異常數(shù)據(jù)識別與修正、預設(shè)清洗規(guī)則中一種或多種相結(jié)合;
30、對所述清洗后的工業(yè)數(shù)據(jù)進行數(shù)據(jù)對標處理和參數(shù)優(yōu)化調(diào)整,得到數(shù)據(jù)對標結(jié)果和參數(shù)優(yōu)化結(jié)果;
31、通過數(shù)據(jù)跟蹤技術(shù)監(jiān)控數(shù)據(jù)采集模塊、數(shù)據(jù)清洗模塊以及數(shù)據(jù)分析模塊,以根據(jù)所述數(shù)據(jù)對標結(jié)果和所述參數(shù)優(yōu)化結(jié)果建立工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的數(shù)據(jù)反饋機制;
32、通過數(shù)據(jù)連接器將所述數(shù)據(jù)采集模塊、所述數(shù)據(jù)清洗模塊、所述數(shù)據(jù)分析模塊以及所述數(shù)據(jù)監(jiān)控模塊集成至系統(tǒng)平臺,以使得所述系統(tǒng)平臺基于所述數(shù)據(jù)反饋機制對工業(yè)生產(chǎn)過程中的各個生產(chǎn)工序進行參數(shù)調(diào)整。
33、根據(jù)本技術(shù)的第三個方面,提供了一種計算機設(shè)備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第三方面所述方法的步驟。
34、根據(jù)本技術(shù)的第四個方面,提供了一種可讀存儲介質(zhì),其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第三方面所述的方法的步驟。
35、借由上述技術(shù)方案,本技術(shù)提供的一種基于全生命周期的工業(yè)數(shù)據(jù)處理系統(tǒng)及工業(yè)數(shù)據(jù)處理方法,與目前現(xiàn)有技術(shù)使用大數(shù)據(jù)平臺提供的機器學習和深度學習算法來實現(xiàn)對工業(yè)數(shù)據(jù)進行能效分析的方式相比,本技術(shù)中基于全生命周期的工業(yè)數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)監(jiān)控模塊以及系統(tǒng)集成模塊,通過將各個功能模塊進行有序銜接,實現(xiàn)工業(yè)生產(chǎn)過程中工業(yè)數(shù)據(jù)進行采集、清洗、分析以及跟蹤反饋等功能,打破各個功能模塊之間的數(shù)據(jù)孤立狀態(tài),以使得各個功能模塊都能夠輸出高質(zhì)量的工業(yè)數(shù)據(jù),提升數(shù)據(jù)分析結(jié)果的可解釋性,該過程通過引入先進的數(shù)據(jù)挖掘和人工智能技術(shù)來實現(xiàn)工業(yè)生產(chǎn)過程中各個生產(chǎn)工序的數(shù)據(jù)監(jiān)控和數(shù)據(jù)優(yōu)化,能夠準確為實際生產(chǎn)決策提供有效支持,從而滿足工業(yè)現(xiàn)場的實時監(jiān)控和快速響應。
36、上述說明僅是本技術(shù)技術(shù)方案的概述,為了能夠更清楚了解本技術(shù)的技術(shù)手段,而可依照說明書的內(nèi)容予以實施,并且為了讓本技術(shù)的上述和其它目的、特征和優(yōu)點能夠更明顯易懂,以下特舉本技術(shù)的具體實施方式。