一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，由計算機(jī)上的采集客戶端軟件收集工業(yè)采集前端的實時采集數(shù)據(jù)，接下來采用數(shù)據(jù)篩選軟件對存儲在一級數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行匯總、篩分后將結(jié)果存儲至二級數(shù)據(jù)庫內(nèi)，終端用戶隨時讀取或調(diào)用二級數(shù)據(jù)庫中的數(shù)據(jù)或調(diào)用二級數(shù)據(jù)庫存儲的采集數(shù)據(jù)。本發(fā)明的有益效果是在數(shù)據(jù)的存儲上采用了多級數(shù)據(jù)分布存儲技術(shù)，減少了單一數(shù)據(jù)存儲服務(wù)器的壓力，數(shù)據(jù)庫不必要再采用昂貴的實時數(shù)據(jù)庫，降低了成本。由于采用分布存儲，數(shù)據(jù)讀取時可以從多個服務(wù)器同時取數(shù)，提高了數(shù)據(jù)讀取的效率。
【專利說明】一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于工業(yè)數(shù)據(jù)采集【技術(shù)領(lǐng)域】，涉及一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)。
【背景技術(shù)】
[0002]隨著工業(yè)自動化程度的逐步提高，現(xiàn)場的各種數(shù)據(jù)(溫度，流量，開關(guān)量等等)成倍級的不斷增長，于是對這些離散數(shù)據(jù)的管理以及統(tǒng)計分析就成為了現(xiàn)場及各相關(guān)部門人員最頭痛的問題。
[0003]使用數(shù)據(jù)采集將現(xiàn)場有效數(shù)據(jù)實時傳到后臺數(shù)據(jù)庫服務(wù)器，這就為下一步的管理及統(tǒng)計分析提供了基礎(chǔ)。同時由于數(shù)據(jù)的集中存放對于工藝改進(jìn)，隱患排查，故障分析等提供了數(shù)據(jù)基礎(chǔ)。
[0004]目前類似的采集系統(tǒng)多是只提供采集接口不存儲或采用昂貴的實時數(shù)據(jù)庫進(jìn)行存儲，致使用還需要針對接口進(jìn)行要求很高的二次開發(fā)將采集數(shù)據(jù)存儲，成本很高。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，解決了現(xiàn)有的工業(yè)數(shù)據(jù)采集系統(tǒng)只提供采集接口不存儲或采用昂貴的實時數(shù)據(jù)庫進(jìn)行存儲，致使用還需要針對接口進(jìn)行要求很高的二次開發(fā)將采集數(shù)據(jù)存儲，成本很高的問題。
[0006]本發(fā)明所采用的技術(shù)方案是由計算機(jī)上的采集客戶端軟件收集工業(yè)采集前端的實時采集數(shù)據(jù)，采集客戶端軟件分三個線程同時運行，第一個線程負(fù)責(zé)接收采集數(shù)據(jù)，并在當(dāng)前軟件分配的緩沖區(qū)中緩存數(shù)據(jù)，第二個線程負(fù)責(zé)對緩沖區(qū)內(nèi)數(shù)據(jù)進(jìn)行驗證、預(yù)處理和過濾，第三個線程負(fù)責(zé)將第二個線程處理完的數(shù)據(jù)存儲至采集客戶端軟件指定的一級數(shù)據(jù)庫內(nèi)，接下來采用數(shù)據(jù)篩選軟件對存儲在一級數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行匯總、篩分后將結(jié)果存儲至二級數(shù)據(jù)庫內(nèi)，終端用戶隨時讀取或調(diào)用二級數(shù)據(jù)庫中的數(shù)據(jù)或調(diào)用二級數(shù)據(jù)庫存儲的采集數(shù)據(jù)。
[0007]本發(fā)明的技術(shù)特點還在于一級數(shù)據(jù)庫與前端采集安裝在同一臺電腦上或與二級數(shù)據(jù)庫安裝在一臺電腦上。二級數(shù)據(jù)庫還依次連接有多級數(shù)據(jù)庫，數(shù)據(jù)篩選軟件依次對每一級數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行篩選后存入下一級數(shù)據(jù)庫中。數(shù)據(jù)庫選用Oracle或SQL Server數(shù)據(jù)庫。
[0008]本發(fā)明的有益效果是在數(shù)據(jù)的存儲上采用了多級數(shù)據(jù)分布存儲技術(shù)，減少了單一數(shù)據(jù)存儲服務(wù)器的壓力，數(shù)據(jù)庫不必要再采用昂貴的實時數(shù)據(jù)庫，降低了成本。由于采用分布存儲，數(shù)據(jù)讀取時可以從多個服務(wù)器同時取數(shù)，提高了數(shù)據(jù)讀取的效率。
【專利附圖】

【附圖說明】
[0009]圖1是本發(fā)明采集系統(tǒng)結(jié)構(gòu)示意圖；
[0010]圖2是河北普陽鋼鐵有限公司燒結(jié)廠原料配比及消耗類數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖?！揪唧w實施方式】
[0011]下面結(jié)合附圖和【具體實施方式】對本發(fā)明進(jìn)行詳細(xì)說明。
[0012]本發(fā)明系統(tǒng)如圖1所不:
[0013]1.前端采集實施:
[0014]首先，采集端配備電腦，采集端是指安裝有我們采集客戶端軟件的電腦，其可以一臺普通PC機(jī)或工業(yè)專用PC機(jī)等，其通過以太網(wǎng)(TCP)、串口(RS232/RS485)等和現(xiàn)場的PLC或儀表等設(shè)備相連接，并通過相應(yīng)協(xié)議從現(xiàn)場設(shè)備讀取工作時實時數(shù)據(jù)，并安裝采集客戶端軟件，及其一級存儲數(shù)據(jù)庫(可選Oracle或SQL Server),采集客戶端軟件共分有3個線程同步工作:
[0015]I)第一個線程負(fù)責(zé)從設(shè)備采集原始數(shù)據(jù)，并在當(dāng)前軟件分配的緩沖區(qū)中緩存數(shù)據(jù)。
[0016]2)第二個線程負(fù)責(zé)對緩沖區(qū)內(nèi)數(shù)據(jù)進(jìn)行一系列的驗證(如:數(shù)據(jù)數(shù)值是否在有效范圍內(nèi)等)、預(yù)處理(如:對數(shù)據(jù)數(shù)值進(jìn)行范圍標(biāo)定、對于累計類的數(shù)值只需要存儲其差值等)、過濾(如:對于開關(guān)類的數(shù)值只需要存儲有變化的狀態(tài)值等)。
[0017]驗證主要是為了丟棄一些錯誤、異常數(shù)據(jù)，比如取某一測量點溫度值，我們已知此點溫度最高不會超過1000度，但是實際取從現(xiàn)場讀出來一個32767的溫度值，因為它遠(yuǎn)遠(yuǎn)超出其合理的溫度值范圍，所以認(rèn)為此時的值是一個異常值，將其丟棄以避免后續(xù)環(huán)節(jié)再對一個無效數(shù)據(jù)做處理。
[0018]預(yù)處理主要是為了對一些數(shù)據(jù)做相應(yīng)運算，比如數(shù)值標(biāo)定，已知某一測量點的溫度值是0-240度，但從現(xiàn)場實際讀取是一個從0-32767的模擬量值(就是說O表示O度，32767表示240度)，所以我們需要將0-32767之間的模擬量值轉(zhuǎn)換為0-240之間的溫度值。
[0019]過濾主要是為了去掉一些多余的數(shù)據(jù)，比如要記錄一個門的狀態(tài)，其實我們只需要保存一些門變化時的狀態(tài)就可以，其余時間的狀態(tài)數(shù)據(jù)因為沒有變化所以沒有必要保存其狀態(tài)值，所以我們將中間的這些沒必要的數(shù)據(jù)丟棄掉
[0020]3)第三個線程負(fù)責(zé)將第二個線程處理完的數(shù)據(jù)存儲至指定的一級數(shù)據(jù)庫內(nèi)。
[0021]2.多級數(shù)據(jù)篩選實施:
[0022]數(shù)據(jù)篩選是一個服務(wù)類軟件，其主要負(fù)責(zé)對存儲在一級數(shù)據(jù)庫內(nèi)的原始數(shù)據(jù)進(jìn)行匯總(例如:可以將原始的秒級數(shù)據(jù)匯總為分鐘級的或小時級的數(shù)據(jù))、篩分后將結(jié)果存儲至其后的二級(或三級、四級等等)數(shù)據(jù)庫內(nèi)，其可以和前端采集安裝同一電腦上也可以和其后的二級數(shù)據(jù)庫安裝在同一臺電腦上，依據(jù)情況，我們可以配置多級數(shù)據(jù)篩選，一級、二級、三級等是為了不同的目的安裝了多級篩分，以提高其處理性能，比如一級負(fù)責(zé)將前端采集的每秒的數(shù)據(jù)匯總為每分鐘的數(shù)據(jù)，二級負(fù)責(zé)將每分鐘的數(shù)據(jù)匯總為每小時的數(shù)據(jù)等。
[0023]多級數(shù)據(jù)分布存儲實施(數(shù)據(jù)庫部署):數(shù)據(jù)存儲主要是指數(shù)據(jù)庫的安裝，如:Oracle或SQL Server，其是為了配合多級數(shù)據(jù)篩選，提高存儲和讀取性能，分散存儲的空間，相應(yīng)部署多級存儲數(shù)據(jù)庫，分別存儲不同類的數(shù)據(jù)(如:有的存儲分鐘的匯總數(shù)據(jù)，有的存儲小時的匯總，有的存儲月的匯總和年的匯總等)，其一般推薦安裝在單獨的服務(wù)器上。
[0024]3.配置客戶端安裝:[0025]配置客戶端是安裝在個人電腦上的一套客戶端軟件，其主要功能是方便遠(yuǎn)程配置采集所需的一些參數(shù)，例如:可配置采集的點，采集點是指要從現(xiàn)場(PLC或儀表等)的讀取數(shù)據(jù)點，比如一塊儀表，一個溫度傳感器等都算是一個采集點。采集的通訊方式(TCP或RS232等)，每個點的相應(yīng)地址信息等，本發(fā)明中客戶端和采集端一般都不在一臺電腦上，采集端一般位于現(xiàn)場，而客戶端一般安裝在辦公室電腦或筆記本電腦上，方便在任何一有網(wǎng)絡(luò)地方配置采集端?？蛻舳丝芍苯訌淖詈笠患墧?shù)據(jù)庫中讀取數(shù)據(jù)，進(jìn)行報表制作、數(shù)據(jù)展不等功用。
[0026]本發(fā)明系統(tǒng)可適用于溫度，壓力，流量，原料消耗等等秒級的被采集系統(tǒng)。本發(fā)明適用于多數(shù)需要采集實時數(shù)據(jù)對應(yīng)設(shè)備采用標(biāo)準(zhǔn)協(xié)議的工業(yè)場合，如:可通過TCP、RS232、RS485等直接采集PLC或各種儀器儀表中的數(shù)據(jù)。本發(fā)明如圖1所示，通過多層數(shù)據(jù)處理技術(shù)減少了前端數(shù)據(jù)采集的壓力，多層數(shù)據(jù)處理就是指圖1中的前端、緩沖、驗證、預(yù)處理、過濾以及后面的多級篩選、匯總。將數(shù)據(jù)驗證、預(yù)處理、過濾從前端采集分離出來，并在其中間添加緩沖環(huán)節(jié)，且這些環(huán)節(jié)都是同步進(jìn)行，這樣對于前端采集來說壓力就減輕了。增強(qiáng)了采集的實時性，多層數(shù)據(jù)庫存儲就是多級分布數(shù)據(jù)存儲。同上由于將任務(wù)分解給多個環(huán)節(jié)做，且是同步工作，因此其實時性相應(yīng)增強(qiáng)
[0027]本發(fā)明通過多級分布數(shù)據(jù)存儲技術(shù)減少后端數(shù)據(jù)存儲服務(wù)器的壓力，同時也提高了數(shù)據(jù)報表或展示時數(shù)據(jù)讀取的性能。本發(fā)明配有遠(yuǎn)程配置管理客戶端可直接從遠(yuǎn)程配置管理前端采集的各種參數(shù)，方便系統(tǒng)實施和維護(hù)。對采集端的配置采用遠(yuǎn)程管理配置方式，極大的方便操作及管理。由于采用了多層數(shù)據(jù)處理技術(shù)，有效均衡了網(wǎng)絡(luò)及數(shù)據(jù)庫的負(fù)載，實現(xiàn)了使用SQL ServehOracle等非實時數(shù)據(jù)庫及實現(xiàn)了可滿足生產(chǎn)及相關(guān)人員需要的數(shù)據(jù)采集及統(tǒng)計分析，同時也降低了對服務(wù)器配置的要求。對數(shù)據(jù)的存儲采用的是多級分布存儲，集中管理的方式，極大提高了數(shù)據(jù)存儲和讀取的性能。
[0028]綜上所述，
[0029]1.本發(fā)明在采集時采用多層數(shù)據(jù)處理技術(shù)，有效減少了無效數(shù)據(jù)的存儲，節(jié)省存儲空間、提高采集效率、同時也提高了數(shù)據(jù)分析的性能，而其他多采用的是將前端采集的數(shù)據(jù)全部進(jìn)行存儲，使用再進(jìn)行數(shù)據(jù)篩選過濾。
[0030]2.本發(fā)明在數(shù)據(jù)的存儲上采用了多級數(shù)據(jù)分布存儲技術(shù)，而其他從是采用集中存儲的方式，相比:
[0031]a)我們減少了單一數(shù)據(jù)存儲服務(wù)器的壓力，數(shù)據(jù)庫不必要再采用昂貴的實時數(shù)據(jù)庫，降低了成本。
[0032]b)由于采用分布存儲，數(shù)據(jù)讀取時可以從多個服務(wù)器同時取數(shù)，提高了數(shù)據(jù)讀取的效率。
[0033]3.本發(fā)明采用遠(yuǎn)程配置管理技術(shù)，在任何一個有連接網(wǎng)絡(luò)的地方
[0034]即可管理配置所有前端采集端，方便實施和日常維護(hù)管理。下面通過具體實施例對本發(fā)明進(jìn)行說明。
[0035]實施例1:圖2為河北普陽鋼鐵有限公司燒結(jié)廠原料配比及消耗類數(shù)據(jù)采集系統(tǒng)的框圖。采集前端采集265燒結(jié)廠上料數(shù)據(jù)、265燒結(jié)廠控制數(shù)據(jù)、180燒結(jié)廠上料數(shù)據(jù)、180燒結(jié)廠控制數(shù)據(jù)，通過西門子S7-400PLC型號采集前端，將采集到的數(shù)據(jù)傳送給采集端，進(jìn)行緩沖、驗證、預(yù)處理與過濾后，存入一級存儲數(shù)據(jù)庫內(nèi)(SQL Server)，對數(shù)據(jù)進(jìn)行篩選、匯總，存入二級存儲數(shù)據(jù)庫內(nèi)，再對數(shù)據(jù)進(jìn)行篩選、匯總，由客戶終端讀出應(yīng)用于數(shù)據(jù)報表系統(tǒng)。
【權(quán)利要求】
1.一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，其特征在于:由計算機(jī)上的采集客戶端軟件收集工業(yè)采集前端的實時采集數(shù)據(jù)，采集客戶端軟件分三個線程同時運行，第一個線程負(fù)責(zé)接收采集數(shù)據(jù)，并在當(dāng)前軟件分配的緩沖區(qū)中緩存數(shù)據(jù)，第二個線程負(fù)責(zé)對緩沖區(qū)內(nèi)數(shù)據(jù)進(jìn)行驗證、預(yù)處理和過濾，第三個線程負(fù)責(zé)將第二個線程處理完的數(shù)據(jù)存儲至采集客戶端軟件指定的一級數(shù)據(jù)庫內(nèi)，接下來采用數(shù)據(jù)篩選軟件對存儲在一級數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行匯總、篩分后將結(jié)果存儲至二級數(shù)據(jù)庫內(nèi)，終端用戶隨時讀取或調(diào)用二級數(shù)據(jù)庫中的數(shù)據(jù)或調(diào)用二級數(shù)據(jù)庫存儲的采集數(shù)據(jù)。
2.按照權(quán)利要求1所述一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，其特征在于:所述一級數(shù)據(jù)庫與前端采集安裝在同一臺電腦上或與二級數(shù)據(jù)庫安裝在一臺電腦上。
3.按照權(quán)利要求1或2所述一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，其特征在于:所述二級數(shù)據(jù)庫還依次連接有多級數(shù)據(jù)庫，數(shù)據(jù)篩選軟件依次對每一級數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行篩選后存入下一級數(shù)據(jù)庫中。
4.按照權(quán)利要求1或2所述一種工業(yè)實時數(shù)據(jù)采集系統(tǒng)，其特征在于:所述數(shù)據(jù)庫選用 Oracle 或 SQL Server 數(shù)據(jù)庫。
【文檔編號】G06F17/30GK103902712SQ201410131730
【公開日】2014年7月2日 申請日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】張建國 申請人:河北普陽鋼鐵有限公司