本發(fā)明涉及物聯(lián)網(wǎng)數(shù)據(jù)分布式存儲,更具體地說,涉及一種物聯(lián)網(wǎng)數(shù)據(jù)存儲方法及中分融合系統(tǒng)。
背景技術(shù):
1、數(shù)據(jù)分布式存儲是一種數(shù)據(jù)存儲技術(shù),通過網(wǎng)絡(luò)使用企業(yè)中的每臺機器上的磁盤空間,并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備,數(shù)據(jù)分散的存儲在企業(yè)的各個角落。
2、在物聯(lián)網(wǎng)中,每時每刻都會產(chǎn)生大量的網(wǎng)絡(luò)數(shù)據(jù)交互,目前對于物聯(lián)網(wǎng)的數(shù)據(jù)分布式存儲,通常只能是先按照一定策略進行拉取、整理數(shù)據(jù)流形成一個相對完整的數(shù)據(jù)包后,再將生成的數(shù)據(jù)包通過分布式存儲模塊進行分片分布存儲,數(shù)據(jù)需要經(jīng)過多次轉(zhuǎn)存儲,存儲耗時長效率低下,也更加容易出現(xiàn)丟包以及數(shù)據(jù)堵塞,需要一種能夠解決上述缺陷的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法及中分融合系統(tǒng)。
技術(shù)實現(xiàn)思路
1、本發(fā)明要解決的技術(shù)問題在于,針對現(xiàn)有技術(shù)的上述缺陷,提供一種物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,還提供了一種中分融合系統(tǒng)。
2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
3、構(gòu)造一種物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,包括以下步驟:
4、在物聯(lián)網(wǎng)內(nèi)部構(gòu)建數(shù)據(jù)分類數(shù)據(jù)庫,數(shù)據(jù)分類數(shù)據(jù)庫中設(shè)置對不同數(shù)據(jù)類型的數(shù)據(jù)流進行存儲的存儲分區(qū);
5、在物聯(lián)網(wǎng)內(nèi)部構(gòu)建虛擬分布式存儲模塊,虛擬分布式存儲模塊將每一存儲分區(qū)內(nèi)數(shù)據(jù)進行分片處理,并進行虛擬分布存儲到多個虛擬存儲單元;
6、將多個虛擬存儲單元存儲信息發(fā)送至物聯(lián)網(wǎng)外部的分布式存儲模塊,創(chuàng)建分布式存儲任務(wù);
7、分布式存儲模塊根據(jù)分布式存儲任務(wù)進行數(shù)據(jù)分布存儲模擬,并獲得對應(yīng)的多個存儲地址;
8、虛擬分布式存儲模塊將存儲地址與虛擬存儲單元對應(yīng)關(guān)聯(lián),虛擬分布式存儲模塊將數(shù)據(jù)分片直接存儲到相應(yīng)的存儲地址中。
9、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述虛擬分布式存儲模塊將每一存儲分區(qū)內(nèi)數(shù)據(jù)進行分片處理采用方法:
10、間隔設(shè)定時間統(tǒng)計存儲分區(qū)內(nèi)的數(shù)據(jù)的總量;
11、依據(jù)數(shù)據(jù)總量以及設(shè)定的分片大小確定分片數(shù)量,其中,不足一個分片的數(shù)據(jù)按照一個分片進行分片;
12、分片完成后,將分好的數(shù)據(jù)分片轉(zhuǎn)移至分片存儲區(qū);
13、刪除當(dāng)前存儲分區(qū)內(nèi)數(shù)據(jù),以便于繼續(xù)接收后續(xù)的數(shù)據(jù)。
14、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述進行虛擬分布存儲到虛擬存儲單元采用方法:
15、統(tǒng)計分片存儲區(qū)內(nèi)的分片數(shù)量;
16、依據(jù)設(shè)定的分布存儲規(guī)則生成多個虛擬存儲單元;
17、將分片信息以及分片存儲地址寫入虛擬存儲單元中。
18、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述將多個虛擬存儲單元存儲信息發(fā)送至物聯(lián)網(wǎng)外部的分布式存儲模塊,創(chuàng)建分布式存儲任務(wù)采用方法:
19、虛擬分布式存儲模塊間隔設(shè)定時間統(tǒng)計所有虛擬存儲單元數(shù)據(jù),并將虛擬存儲單元數(shù)據(jù)發(fā)送至分布式存儲模塊;虛擬存儲單元數(shù)據(jù)包括數(shù)據(jù)分片數(shù)量、數(shù)據(jù)分片類型以及數(shù)據(jù)分片大小信息;分布式存儲模塊依據(jù)數(shù)據(jù)分片數(shù)量、數(shù)據(jù)分片類型以及數(shù)據(jù)分片大小信息建立分布式存儲任務(wù)。
20、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述分布式存儲模塊根據(jù)分布式存儲任務(wù)進行數(shù)據(jù)分布存儲模擬,并獲得對應(yīng)的多個存儲地址采用:
21、所述分布式存儲模塊依據(jù)分布式存儲任務(wù)中虛擬存儲單元的數(shù)量確定存儲數(shù)據(jù)庫的數(shù)量;
22、所述分布式存儲模塊依據(jù)分布式存儲任務(wù)中數(shù)據(jù)分片類型確定存儲數(shù)據(jù)庫的類型;
23、所述分布式存儲模塊依據(jù)分布式存儲任務(wù)中數(shù)據(jù)分片數(shù)量、數(shù)據(jù)分片大小篩選符合存儲空間要求的存儲數(shù)據(jù)庫;
24、所述分布式存儲模塊篩選符合條件的存儲數(shù)據(jù)庫,并得到符合要求的存儲數(shù)據(jù)庫的地址。
25、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述虛擬分布式存儲模塊將存儲地址與虛擬存儲單元對應(yīng)關(guān)聯(lián),虛擬分布式存儲模塊將數(shù)據(jù)分片直接存儲到相應(yīng)的存儲地址中采用方法:
26、所述虛擬分布式存儲模塊依據(jù)存儲數(shù)據(jù)庫的類型以及存儲數(shù)據(jù)庫的剩余存儲空間,建立存儲地址與虛擬存儲單元的對應(yīng)關(guān)聯(lián)關(guān)系;
27、所述虛擬分布式存儲模塊依據(jù)上述關(guān)聯(lián)關(guān)系將與虛擬存儲單元對應(yīng)的多個數(shù)據(jù)分片存儲至存儲數(shù)據(jù)庫中,刪除虛擬存儲單元。
28、本發(fā)明所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述數(shù)據(jù)類型包括狀態(tài)數(shù)據(jù)、反饋數(shù)據(jù)、定位數(shù)據(jù)以及個性化數(shù)據(jù)等等。
29、一種中分融合系統(tǒng),應(yīng)用于如上述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其中,所述系統(tǒng)包括位于物聯(lián)網(wǎng)內(nèi)部的數(shù)據(jù)分類數(shù)據(jù)庫和虛擬分布式存儲模塊,還包括位于物聯(lián)網(wǎng)外部的分布式存儲模塊和多個存儲數(shù)據(jù)庫;
30、所述數(shù)據(jù)分類數(shù)據(jù)庫中設(shè)置對不同數(shù)據(jù)類型的數(shù)據(jù)流進行存儲的存儲分區(qū);
31、所述虛擬分布式存儲模塊,將每一存儲分區(qū)內(nèi)數(shù)據(jù)進行分片處理,并進行虛擬分布存儲到多個虛擬存儲單元;將多個虛擬存儲單元存儲信息發(fā)送至分布式存儲模塊;
32、所述分布式存儲模塊,創(chuàng)建分布式存儲任務(wù),根據(jù)分布式存儲任務(wù)進行數(shù)據(jù)分布存儲模擬,并獲得對應(yīng)的多個存儲數(shù)據(jù)庫的存儲地址;
33、所述虛擬分布式存儲模塊,還用于將存儲地址與虛擬存儲單元對應(yīng)關(guān)聯(lián),虛擬分布式存儲模塊將數(shù)據(jù)分片直接存儲到相應(yīng)的存儲地址中。
34、本發(fā)明的有益效果在于:應(yīng)用本申請的方式方法,基于數(shù)據(jù)類型對物聯(lián)網(wǎng)數(shù)據(jù)進行細分后,并進行數(shù)據(jù)分片和虛擬分布式存儲模擬,利用模擬結(jié)果在分布式系統(tǒng)中生成存儲任務(wù),執(zhí)行任務(wù)獲得符合要求的存儲地址,而后進行虛擬存儲單元與存儲地址對應(yīng)數(shù)據(jù)庫的關(guān)聯(lián)匹配,而后將分片數(shù)據(jù)可以直接存儲到存儲地址中完成數(shù)據(jù)分布式存儲,不需要多次數(shù)據(jù)轉(zhuǎn)存,存儲效率高,也規(guī)避了因多次數(shù)據(jù)轉(zhuǎn)存帶來的一系列缺陷。
1.一種物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述虛擬分布式存儲模塊將每一存儲分區(qū)內(nèi)數(shù)據(jù)進行分片處理采用方法:
3.根據(jù)權(quán)利要求2所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述進行虛擬分布存儲到虛擬存儲單元采用方法:
4.根據(jù)權(quán)利要求3所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述將多個虛擬存儲單元存儲信息發(fā)送至物聯(lián)網(wǎng)外部的分布式存儲模塊,創(chuàng)建分布式存儲任務(wù)采用方法:
5.根據(jù)權(quán)利要求4所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述分布式存儲模塊根據(jù)分布式存儲任務(wù)進行數(shù)據(jù)分布存儲模擬,并獲得對應(yīng)的多個存儲地址采用:
6.根據(jù)權(quán)利要求5所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述虛擬分布式存儲模塊將存儲地址與虛擬存儲單元對應(yīng)關(guān)聯(lián),虛擬分布式存儲模塊將數(shù)據(jù)分片直接存儲到相應(yīng)的存儲地址中采用方法:
7.根據(jù)權(quán)利要求1所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述數(shù)據(jù)類型包括狀態(tài)數(shù)據(jù)、反饋數(shù)據(jù)、定位數(shù)據(jù)以及個性化數(shù)據(jù)。
8.一種中分融合系統(tǒng),應(yīng)用于如權(quán)利要求1-7任一所述的物聯(lián)網(wǎng)數(shù)據(jù)存儲方法,其特征在于,所述系統(tǒng)包括位于物聯(lián)網(wǎng)內(nèi)部的數(shù)據(jù)分類數(shù)據(jù)庫和虛擬分布式存儲模塊,還包括位于物聯(lián)網(wǎng)外部的分布式存儲模塊和多個存儲數(shù)據(jù)庫;