專利名稱：一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，尤其是涉及一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)。
背景技術(shù)：
我們的系統(tǒng)需要采集大量實(shí)時(shí)數(shù)據(jù)。以山東臨沂汽車站的GPS監(jiān)控項(xiàng)目為例，每臺(tái)GPS終端會(huì)沒隔1分鐘向數(shù)據(jù)中心上報(bào)一次實(shí)時(shí)數(shù)據(jù)。數(shù)據(jù)中心需要及時(shí)記錄每臺(tái)終端的最后一次上報(bào)情況，以及記錄所有歷史記錄以備查詢。目前現(xiàn)存方案為數(shù)據(jù)網(wǎng)關(guān)接收到一條上報(bào)數(shù)據(jù)后，即向數(shù)據(jù)庫執(zhí)行INSERTINT0 操作，并且沒隔一分鐘，將向數(shù)據(jù)庫執(zhí)行一次大規(guī)模循環(huán)的UPDATE操作，以刷新最新在線狀態(tài)記錄表。目前方案的性能表現(xiàn)有些問題，至多上線700左右終端，數(shù)據(jù)庫服務(wù)器即表現(xiàn)為 CPU占用居高不下的情況，應(yīng)無法應(yīng)對(duì)更大量的實(shí)時(shí)數(shù)據(jù)。原方案問題分析原方案存在如下問題原方案的分表策略為按照終端號(hào)和當(dāng)前月份分表。也就是一個(gè)終端，每一個(gè)月份均建立一張表。此策略在查詢時(shí)可有效增加查詢速度，但是，在插入時(shí)存在問題原方案的實(shí)現(xiàn)為插入數(shù)據(jù)時(shí)通過存儲(chǔ)過程實(shí)現(xiàn)，沒此插入前，需判斷是否有目標(biāo)數(shù)據(jù)表的存在，若不存在，則生成目標(biāo)數(shù)據(jù)表。此方法不宜應(yīng)對(duì)頻繁插入的情況，因?yàn)槊看味夹枰M(jìn)行判斷。 實(shí)際測(cè)試中，發(fā)現(xiàn)并發(fā)數(shù)超過800將出現(xiàn)并發(fā)錯(cuò)誤，修改其中的部分代碼可解決并發(fā)錯(cuò)誤， 但是每次都要多做查詢目標(biāo)表是否存在的判斷，對(duì)效率有所影響。原方案在數(shù)據(jù)插入時(shí)，采用來一條插一條的方式，此法在頻繁插入時(shí)效率不高。一般來說，SQLSERVER在采用循環(huán)方式往數(shù)據(jù)庫插入數(shù)據(jù)時(shí)，每秒100條記錄即已幾乎達(dá)到極限，即使考慮到服務(wù)器的因素，關(guān)系型數(shù)據(jù)庫采用常規(guī)方法也無法應(yīng)付如此密集的數(shù)據(jù)插入操作。在線狀況表的刷新，每次都需要將所有車輛的最新狀態(tài)執(zhí)行一次UPDATE，而且該操作頻率極高，也極大增加數(shù)據(jù)庫的壓力。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)。本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)分發(fā)服務(wù)器、數(shù)據(jù)網(wǎng)關(guān)、終端，所述的數(shù)據(jù)查詢服務(wù)器分別與數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)連接，所述的數(shù)據(jù)網(wǎng)關(guān)與終端連接。所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器的數(shù)量相同，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器一一對(duì)應(yīng)。所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)的數(shù)量相同，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)
關(guān)一一對(duì)應(yīng)。所述的數(shù)據(jù)網(wǎng)關(guān)設(shè)有多個(gè)，每個(gè)數(shù)據(jù)網(wǎng)關(guān)連接有多個(gè)終端。與現(xiàn)有技術(shù)相比，本發(fā)明具有可以配置多臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器，也就是可以支持更多的終端數(shù)。另外數(shù)據(jù)發(fā)布服務(wù)器處還實(shí)現(xiàn)了故障轉(zhuǎn)移功能。如果某臺(tái)存儲(chǔ)服務(wù)器癱瘓， 那么數(shù)據(jù)發(fā)布服務(wù)器將暫時(shí)存放傳輸?shù)臄?shù)據(jù)，待存儲(chǔ)服務(wù)器恢復(fù)后將數(shù)據(jù)傳輸過去.如果數(shù)據(jù)網(wǎng)關(guān)也癱瘓了的話，那么終端可以選擇發(fā)送給另一個(gè)數(shù)據(jù)網(wǎng)關(guān)，以保證服務(wù)不間斷。


圖1為本發(fā)明的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。實(shí)施例如圖1所示，一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括數(shù)據(jù)查詢服務(wù)器1、數(shù)據(jù)存儲(chǔ)服務(wù)器2、數(shù)據(jù)分發(fā)服務(wù)器3、數(shù)據(jù)網(wǎng)關(guān)4、終端，所述的數(shù)據(jù)查詢服務(wù)器1分別與數(shù)據(jù)存儲(chǔ)服務(wù)器 2、數(shù)據(jù)分發(fā)服務(wù)器3連接，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器1與數(shù)據(jù)分發(fā)服務(wù)器3連接，所述的數(shù)據(jù)分發(fā)服務(wù)器3與數(shù)據(jù)網(wǎng)關(guān)4連接，所述的數(shù)據(jù)網(wǎng)關(guān)4與終端連接。所述的數(shù)據(jù)存儲(chǔ)服務(wù)器2 與數(shù)據(jù)分發(fā)服務(wù)器3的數(shù)量相同，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器2與數(shù)據(jù)分發(fā)服務(wù)器3 —一對(duì)應(yīng)。 所述的數(shù)據(jù)分發(fā)服務(wù)器3與數(shù)據(jù)網(wǎng)關(guān)4的數(shù)量相同，所述的數(shù)據(jù)分發(fā)服務(wù)器3與數(shù)據(jù)網(wǎng)關(guān) 4 一一對(duì)應(yīng)。所述的數(shù)據(jù)網(wǎng)關(guān)4設(shè)有多個(gè)，每個(gè)數(shù)據(jù)網(wǎng)關(guān)4連接有多個(gè)終端。本發(fā)明的工作流程如下1)數(shù)據(jù)查詢服務(wù)器1啟動(dòng)，啟動(dòng)后，將各終端對(duì)應(yīng)數(shù)據(jù)網(wǎng)關(guān)4的對(duì)應(yīng)表加載入內(nèi)存中，并且對(duì)外提供查詢服務(wù)；2)數(shù)據(jù)存儲(chǔ)服務(wù)器2啟動(dòng)，用于存儲(chǔ)數(shù)據(jù)分發(fā)服務(wù)器3分發(fā)來的數(shù)據(jù)，同時(shí)響應(yīng)數(shù)據(jù)查詢服務(wù)器1的分布式查詢；3)數(shù)據(jù)分發(fā)服務(wù)器3進(jìn)行數(shù)據(jù)分發(fā)；4)數(shù)據(jù)查詢服務(wù)器1進(jìn)行查詢。所述的步驟幻數(shù)據(jù)分發(fā)服務(wù)器3進(jìn)行數(shù)據(jù)分發(fā)具體步驟如下1)先進(jìn)行一次傳輸故障數(shù)據(jù)嘗試；2)加載終端與網(wǎng)關(guān)對(duì)應(yīng)表；3)每隔10秒鐘向數(shù)據(jù)查詢服務(wù)器1注冊(cè)自己的運(yùn)行狀況。4)當(dāng)接收到上報(bào)數(shù)據(jù)時(shí)，更新最新在線狀態(tài)。所述的步驟4)當(dāng)接收到上報(bào)數(shù)據(jù)時(shí)，更新最新在線狀態(tài)具體步驟如下1)如果發(fā)現(xiàn)并非自己負(fù)責(zé)的終端上報(bào)，則立即向數(shù)據(jù)查詢服務(wù)器提交信息；2)查找終端對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)服務(wù)器2，向其傳輸數(shù)據(jù)；3)如果傳輸失敗，失敗計(jì)數(shù)+1 ；4)如果傳輸成功，失敗計(jì)數(shù)歸0 ；
5)如果傳輸失敗次數(shù)達(dá)到5，則停止嘗試傳輸，激活故障轉(zhuǎn)移程序，將上報(bào)信息暫存入本地SQLLITE數(shù)據(jù)庫，故障轉(zhuǎn)移程序每若干時(shí)間間隔，檢測(cè)終端對(duì)應(yīng)的存儲(chǔ)服務(wù)器是否以恢復(fù)上線。所述的步驟4)數(shù)據(jù)查詢服務(wù)器1進(jìn)行查詢包括查詢實(shí)時(shí)在線信息和查詢歷史信肩、ο所述的查詢實(shí)時(shí)在線信息步驟如下1)從對(duì)應(yīng)表中找到此終端相應(yīng)的數(shù)據(jù)分發(fā)服務(wù)器；2)查看其最近一分鐘內(nèi)有無注冊(cè)信息，若有，則向其進(jìn)行查詢，若無，查找是否有上報(bào)的轉(zhuǎn)移記錄。所述的查詢歷史信息步驟如下1)從對(duì)應(yīng)表中找到終端相應(yīng)的數(shù)據(jù)分發(fā)服務(wù)器；2)同時(shí)對(duì)設(shè)計(jì)到得終端進(jìn)行異步查詢。
權(quán)利要求
1.一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器、 數(shù)據(jù)分發(fā)服務(wù)器、數(shù)據(jù)網(wǎng)關(guān)、終端，所述的數(shù)據(jù)查詢服務(wù)器分別與數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)連接，所述的數(shù)據(jù)網(wǎng)關(guān)與終端連接。
2.根據(jù)權(quán)利要求1所述的一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器的數(shù)量相同，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器一一對(duì)應(yīng)。
3.根據(jù)權(quán)利要求1所述的一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)的數(shù)量相同，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)一一對(duì)應(yīng)。
4.根據(jù)權(quán)利要求1所述的一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述的數(shù)據(jù)網(wǎng)關(guān)設(shè)有多個(gè)，每個(gè)數(shù)據(jù)網(wǎng)關(guān)連接有多個(gè)終端。
全文摘要
本發(fā)明涉及一種大量實(shí)時(shí)數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)分發(fā)服務(wù)器、數(shù)據(jù)網(wǎng)關(guān)、終端，所述的數(shù)據(jù)查詢服務(wù)器分別與數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)存儲(chǔ)服務(wù)器與數(shù)據(jù)分發(fā)服務(wù)器連接，所述的數(shù)據(jù)分發(fā)服務(wù)器與數(shù)據(jù)網(wǎng)關(guān)連接，所述的數(shù)據(jù)網(wǎng)關(guān)與終端連接。與現(xiàn)有技術(shù)相比，本發(fā)明具有可以配置多臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器，也就是可以支持更多的終端數(shù)等優(yōu)點(diǎn)。
文檔編號(hào)H04L29/08GK102546677SQ20101057955
公開日2012年7月4日 申請(qǐng)日期2010年12月8日 優(yōu)先權(quán)日2010年12月8日
發(fā)明者吳曉宇, 姚薇 申請(qǐng)人:上海遙薇(集團(tuán))有限公司