一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置及其方法
【專利摘要】本發(fā)明公開了一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置及其方法，它包括數(shù)據(jù)輸入引擎、分割引擎、資源映射/匯聚引擎和數(shù)據(jù)操作引擎；所述的分割引擎對(duì)數(shù)據(jù)輸入引擎輸入的節(jié)點(diǎn)原信息執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；所述的資源映射/匯聚引擎建立動(dòng)態(tài)數(shù)據(jù)鏈表，按照動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表；所述的數(shù)據(jù)操作引擎對(duì)各數(shù)據(jù)節(jié)點(diǎn)上的分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為資源映射/匯聚信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。本發(fā)明能顯著提升數(shù)據(jù)的處理速度，并能根據(jù)需求靈活的擴(kuò)展海量數(shù)據(jù)文件的存儲(chǔ)容量。
【專利說明】一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置及其方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置及其方法。

【背景技術(shù)】
[0002]伴隨著Internet的發(fā)展，越來(lái)越多的信息被數(shù)據(jù)化，尤其是基于位置信息的地圖數(shù)據(jù)類業(yè)務(wù)服務(wù)開展以來(lái)，以谷歌、百度、騰訊、高德等地圖服務(wù)商提供的LBS信息查詢?yōu)榇?，基于空間地理信息系統(tǒng)的信息數(shù)據(jù)呈爆炸式增長(zhǎng)。一張區(qū)域地圖上可以存儲(chǔ)各類餐飲、酒店、交通、物流、等等能夠觸及的地理位置相關(guān)信息數(shù)據(jù)。這樣，一方面對(duì)數(shù)據(jù)的存儲(chǔ)量的需求越來(lái)越大，另一方面對(duì)數(shù)據(jù)的高效管理提出了更高的要求。首先是存儲(chǔ)容量的急劇膨脹，數(shù)據(jù)從GB、TB到PB量級(jí)海量急速增長(zhǎng)，對(duì)于存儲(chǔ)服務(wù)器空間可擴(kuò)展性提出了更大的需求；其次是數(shù)據(jù)的多樣化、地理上的分散性等都對(duì)數(shù)據(jù)的訪問、索引及編輯都提出了更高的要求。


【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種顯著提升數(shù)據(jù)的處理速度的基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置及其方法，能根據(jù)需求靈活的擴(kuò)展海量數(shù)據(jù)文件的存儲(chǔ)容量。
[0004]本發(fā)明的目的是通過以下技術(shù)方案來(lái)實(shí)現(xiàn)的:一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)方法，它包括以下步驟:
S1:輸入元信息節(jié)點(diǎn)；
52:結(jié)構(gòu)分割:基于地理位置信息，按照屬性類別對(duì)數(shù)據(jù)元信息進(jìn)行劃分，執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；
53:資源映射/匯聚:按照已建立的動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表；
54:在各數(shù)據(jù)節(jié)點(diǎn)上對(duì)分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為步驟S3的信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
[0005]所述的常規(guī)數(shù)據(jù)庫(kù)操作包括數(shù)據(jù)庫(kù)添加、刪除和修改。
[0006]步驟S2中所述的各個(gè)分散數(shù)據(jù)信息由多個(gè)短結(jié)構(gòu)形式的表組成。
[0007]步驟S3中所述的硬件資源為可拓展性的硬件資源。
[0008]一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置，它包括數(shù)據(jù)輸入引擎、分割引擎、資源映射/匯聚引擎和數(shù)據(jù)操作引擎；所述的分割引擎對(duì)數(shù)據(jù)輸入引擎輸入的節(jié)點(diǎn)原信息執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；所述的資源映射/匯聚引擎建立動(dòng)態(tài)數(shù)據(jù)鏈表，按照動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表；所述的數(shù)據(jù)操作引擎對(duì)各數(shù)據(jù)節(jié)點(diǎn)上的分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為資源映射/匯聚信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
[0009]所述的分散數(shù)據(jù)信息為短結(jié)構(gòu)形式的表。
[0010]所述的硬件資源為可拓展性的硬件資源。
[0011]本發(fā)明的有益效果是:(1)通過該方法可以并行快速的存儲(chǔ)基于位置服務(wù)的數(shù)據(jù)，并能根據(jù)數(shù)據(jù)文件大小與訪問速度優(yōu)化存儲(chǔ)的數(shù)據(jù)分組；(2)本發(fā)明具有良好的擴(kuò)展性，只需要新增物理資源，即可動(dòng)態(tài)的疊加數(shù)據(jù)庫(kù)的容量和計(jì)算規(guī)模；(3)本發(fā)明能夠動(dòng)態(tài)靈活的調(diào)用可用物理存儲(chǔ)與計(jì)算資源，特別適用于對(duì)于基于地理位置服務(wù)的大規(guī)模多屬性的空間數(shù)據(jù)的靈活高效存儲(chǔ)需求。

【專利附圖】

【附圖說明】
[0012]圖1為本發(fā)明方法流程圖；
圖2為本發(fā)明結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0013]下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案:
實(shí)施例1:如圖1所示，一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)方法，它包括以下步驟:
第一步:輸入元信息節(jié)點(diǎn)，設(shè)原信息節(jié)點(diǎn)k如下式表示:
輸入原信息節(jié)點(diǎn)k={[索引經(jīng)度緯度所在省所在市所在區(qū)街道名地址名商業(yè)屬性][索引值][經(jīng)度值][緯度值][所在省值][所在市值][所在區(qū)值][街道名值][地址名值][商業(yè)屬性值]}。
[0014]第二步:結(jié)構(gòu)分割:基于地理位置信息，按照屬性類別對(duì)數(shù)據(jù)元信息進(jìn)行劃分，執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；
k_>sl={[索引][索引值]}，s2={[經(jīng)度緯度][經(jīng)度值緯度值]}，s3={[所在省所在市所在區(qū)][所在省值所在市值所在區(qū)值]}，s4={[街道名地址名][街道名值地址名值]}，s5={[商業(yè)屬性][商業(yè)屬性值]}。
[0015]第三步:資源映射/匯聚:按照已建立的動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表；
將Si和s2分配到數(shù)據(jù)節(jié)點(diǎn)1，將s3分配到數(shù)據(jù)節(jié)點(diǎn)2，s4分配到數(shù)據(jù)節(jié)點(diǎn)3，s5分配到數(shù)據(jù)節(jié)點(diǎn)4。
[0016]S4:在各數(shù)據(jù)節(jié)點(diǎn)上對(duì)分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為資源映射/匯聚即步驟S3的信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
[0017]步驟S2中所述的各個(gè)分散數(shù)據(jù)信息由多個(gè)短結(jié)構(gòu)形式的表組成。
[0018]步驟S3中所述的硬件資源為可拓展性的硬件資源。
[0019]實(shí)施例2:如圖2所示，一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置，它包括數(shù)據(jù)輸入引擎、分割引擎、資源映射/匯聚引擎和數(shù)據(jù)操作引擎:
輸入引擎輸入的元信息結(jié)構(gòu):元信息={信息頭=[索引屬性I屬性2屬性3…屬性n]，[索引值]，[屬性I值]，[屬性2值]，[屬性3值]，[屬性η值]}。
[0020]所述的分割引擎對(duì)數(shù)據(jù)輸入引擎輸入的節(jié)點(diǎn)原信息執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；所述的分散數(shù)據(jù)信息為短結(jié)構(gòu)形式的表:
表1={信息頭=[索引屬性1]，[索引值]，[屬性I值]};
表2={信息頭=[屬性2]，[屬性2值]}；
表3={信息頭=[屬性3，屬性4，屬性5]，[屬性3值]，[屬性4值]，[屬性5值]}；
表m={信息頭=[屬性η]，[屬性η值]}。
[0021]所述的資源映射/匯聚引擎建立動(dòng)態(tài)數(shù)據(jù)鏈表，按照動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表:
將表I和表2分配到數(shù)據(jù)節(jié)點(diǎn)I,表3分配到數(shù)據(jù)節(jié)點(diǎn)3,表m分配到數(shù)據(jù)節(jié)點(diǎn)P。
[0022]所述的數(shù)據(jù)操作引擎對(duì)各數(shù)據(jù)節(jié)點(diǎn)上的分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為資源映射/匯聚信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
[0023]所述的硬件資源為可拓展性的硬件資源，即只需要新增物理資源，即可動(dòng)態(tài)的疊加數(shù)據(jù)庫(kù)的容量和計(jì)算規(guī)模。
【權(quán)利要求】
1.一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)方法，其特征在于:它包括以下步驟: S1:輸入元信息節(jié)點(diǎn)； 52:結(jié)構(gòu)分割:基于地理位置信息，按照屬性類別對(duì)數(shù)據(jù)元信息進(jìn)行劃分，執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息； 53:資源映射/匯聚:按照已建立的動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表； 54:在各數(shù)據(jù)節(jié)點(diǎn)上對(duì)分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為步驟S3的分散數(shù)據(jù)信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
2.根據(jù)權(quán)利要求1所述的一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)方法，其特征在于:步驟S2中所述的分散數(shù)據(jù)信息由多個(gè)表組成。
3.根據(jù)權(quán)利要求1所述的一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)方法，其特征在于:步驟S3中所述的硬件資源為可拓展性的硬件資源。
4.一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置，其特征在于:它包括數(shù)據(jù)輸入引擎、分割引擎、資源映射/匯聚引擎和數(shù)據(jù)操作引擎；所述的分割引擎對(duì)數(shù)據(jù)輸入引擎輸入的節(jié)點(diǎn)原信息執(zhí)行數(shù)據(jù)結(jié)構(gòu)映射，生成各個(gè)分散數(shù)據(jù)信息；所述的資源映射/匯聚引擎建立動(dòng)態(tài)數(shù)據(jù)鏈表，按照動(dòng)態(tài)數(shù)據(jù)鏈表對(duì)分割數(shù)據(jù)調(diào)用可用資源，將分散數(shù)據(jù)信息分發(fā)到相應(yīng)的硬件資源即多個(gè)數(shù)據(jù)節(jié)點(diǎn)，同時(shí)維護(hù)該動(dòng)態(tài)數(shù)據(jù)鏈表；所述的數(shù)據(jù)操作引擎對(duì)各數(shù)據(jù)節(jié)點(diǎn)上的分發(fā)的分散數(shù)據(jù)信息進(jìn)行常規(guī)數(shù)據(jù)庫(kù)操作，同時(shí)動(dòng)態(tài)返回?cái)?shù)據(jù)庫(kù)文件信息，為資源映射/匯聚信息提供動(dòng)態(tài)數(shù)據(jù)鏈表更新信息。
5.根據(jù)權(quán)利要求4所述的一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置，其特征在于:所述的分散數(shù)據(jù)信息由多個(gè)表組成。
6.根據(jù)權(quán)利要求4所述的一種基于位置服務(wù)信息的海量數(shù)據(jù)處理與存儲(chǔ)裝置，其特征在于:所述的硬件資源為可拓展性的硬件資源。
【文檔編號(hào)】G06F17/30GK104376079SQ201410651463
【公開日】2015年2月25日 申請(qǐng)日期:2014年11月17日 優(yōu)先權(quán)日:2014年11月17日
【發(fā)明者】賀麟, 王璽, 王燚, 章小寧, 肖智寬 申請(qǐng)人:四川匯源吉迅數(shù)碼科技有限公司