專利名稱：一種基于分布式體系結(jié)構(gòu)的海量gps數(shù)據(jù)處理系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種海量GPS數(shù)據(jù)處理系統(tǒng)和方法。
背景技術(shù)：
GPS(Global Positioning System)是美國(guó)軍方70年代在“子午儀衛(wèi)星導(dǎo)航定位”技術(shù)基礎(chǔ)上研制而成的導(dǎo)航系統(tǒng)。在定位方面，GPS具有全天候、全球性、高精度、高速度、實(shí)時(shí)三維定位、誤差不隨定位時(shí)間而積累等優(yōu)點(diǎn)。它的應(yīng)用引起了導(dǎo)航定位、公共安全、形變監(jiān)測(cè)、精耕農(nóng)業(yè)、氣象服務(wù)等諸多領(lǐng)域革命性的變化。隨著技術(shù)的成熟和應(yīng)用的普及，如何迅速有效的處理各行各業(yè)實(shí)時(shí)產(chǎn)生的海量GPS數(shù)據(jù)，并從中提取所需的信息，成了當(dāng)今社會(huì)亟待解決的熱點(diǎn)課題。本系統(tǒng)正是圍繞這一內(nèi)容，提出了一個(gè)簡(jiǎn)單通用的基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理方法。
所謂分布式體系結(jié)構(gòu)，傳統(tǒng)意義上就是指客戶機(jī)端/服務(wù)器端這樣的雙層體系結(jié)構(gòu)。在這種體系結(jié)構(gòu)中，應(yīng)用分為兩部分一部分是由多個(gè)用戶共享所需的功能和信息，即服務(wù)器端部分；另一部分是每個(gè)用戶所需要的功能和信息，即客戶機(jī)端部分?？蛻魴C(jī)端通過(guò)專用接口向服務(wù)器端發(fā)送請(qǐng)求，服務(wù)器端收到請(qǐng)求后，激活相應(yīng)的服務(wù)并作相應(yīng)處理，然后將處理信息返回給客戶機(jī)端。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)和方法。
本發(fā)明采用如下技術(shù)方案一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)，包括服務(wù)器模塊和客戶機(jī)模塊，所述服務(wù)器模塊包括全局包數(shù)據(jù)共享池、接收子模塊、分發(fā)子模塊，所述接收子模塊用于與數(shù)據(jù)源建立通信，接收實(shí)時(shí)GPS數(shù)據(jù)并組包放入全局包數(shù)據(jù)共享池；所述分發(fā)子模塊用于與客戶機(jī)端建立通信，從全局包數(shù)據(jù)共享池中取出包數(shù)據(jù)并發(fā)送，然后等待客戶機(jī)端發(fā)回的反饋信息；所述客戶機(jī)模塊各客戶機(jī)端連向同一服務(wù)器端，接收GPS數(shù)據(jù)包，解包然后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理結(jié)果反饋給服務(wù)器端。
一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理方法，采用上述系統(tǒng)，其特征在于包括以下步驟1)所述服務(wù)器模塊根據(jù)實(shí)際GPS數(shù)據(jù)流量，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)；并根據(jù)配置文件初始化模塊并啟動(dòng)；模塊將開啟兩個(gè)管理線程，一個(gè)負(fù)責(zé)為每個(gè)新連接的數(shù)據(jù)源初始化一個(gè)GPS數(shù)據(jù)接收子模塊實(shí)例，另一個(gè)則為每個(gè)新連接的客戶機(jī)端初始化一個(gè)包數(shù)據(jù)發(fā)送子模塊實(shí)例；根據(jù)各客戶機(jī)端實(shí)時(shí)返回的包處理回饋信息和實(shí)時(shí)GPS數(shù)據(jù)接收情況，調(diào)整系統(tǒng)運(yùn)行參數(shù)；2)客戶機(jī)端根據(jù)實(shí)際應(yīng)用環(huán)境，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)，根據(jù)模塊配置文件初始化模塊并啟動(dòng)；接收GPS數(shù)據(jù)包，解包后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理結(jié)果反饋給服務(wù)器端。
本發(fā)明采用分布式體系結(jié)構(gòu)，將系統(tǒng)負(fù)載(GPS數(shù)據(jù)處理任務(wù))部署到多個(gè)處理節(jié)點(diǎn)，從而實(shí)現(xiàn)對(duì)海量GPS數(shù)據(jù)進(jìn)行快速有效的處理；在數(shù)據(jù)處理的過(guò)程中引入實(shí)時(shí)反饋機(jī)制，以動(dòng)態(tài)調(diào)整系統(tǒng)運(yùn)行參數(shù)；引入“整流”機(jī)制，將隨機(jī)并發(fā)的GPS數(shù)據(jù)流“整形”為間隔有序的規(guī)則數(shù)據(jù)包流，提供各處理節(jié)點(diǎn)以統(tǒng)一的數(shù)據(jù)格式，從而提高系統(tǒng)整體數(shù)據(jù)處理速度。
以下結(jié)合附圖及實(shí)施例進(jìn)一步說(shuō)明本發(fā)明。


圖1為本發(fā)明實(shí)施例系統(tǒng)構(gòu)架圖；圖2為服務(wù)器模塊構(gòu)成圖；圖3為服務(wù)器模塊技術(shù)流程圖；圖4為接收子模塊技術(shù)流程圖；圖5為分發(fā)子模塊技術(shù)流程圖；圖6為客戶機(jī)模塊技術(shù)流程圖；圖7為上海市交通信息服務(wù)網(wǎng)格系統(tǒng)底層車輛GPS數(shù)據(jù)處理模塊示意圖。
具體實(shí)施例方式
一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)，系統(tǒng)構(gòu)架如圖1所示，包括負(fù)責(zé)接收多源GPS數(shù)據(jù)并組包分發(fā)的服務(wù)器模塊和負(fù)責(zé)解包處理GPS數(shù)據(jù)的客戶機(jī)模塊。其中，服務(wù)器模塊包含兩個(gè)子模塊接收子模塊和分發(fā)子模塊，如圖2所示。接收子模塊主要負(fù)責(zé)和數(shù)據(jù)源建立通信，接收實(shí)時(shí)GPS數(shù)據(jù)并組包放入全局包數(shù)據(jù)共享池。分發(fā)子模塊主要負(fù)責(zé)和客戶機(jī)端建立通信，從全局包數(shù)據(jù)共享池中取出包數(shù)據(jù)并發(fā)送，然后等待客戶機(jī)端發(fā)回的反饋信息。從功能上看，服務(wù)器端相當(dāng)于一個(gè)整流器，把從數(shù)據(jù)源接收到的原始的“毛糙”的GPS數(shù)據(jù)流加工成“穩(wěn)恒”的易處理的包數(shù)據(jù)流(所謂“毛糙”是指由于各數(shù)據(jù)源的原始GPS數(shù)據(jù)采集速率不同，導(dǎo)致服務(wù)器端接收到的各條數(shù)據(jù)時(shí)間間隔參差不齊，而“穩(wěn)恒”是指原始GPS數(shù)據(jù)經(jīng)處理后，被打包成同一時(shí)間間隔包數(shù)據(jù)流。然后依次分發(fā)給各客戶機(jī)端。根據(jù)各客戶機(jī)端發(fā)回的反饋信息和實(shí)時(shí)GPS數(shù)據(jù)接收情況，對(duì)系統(tǒng)進(jìn)行動(dòng)態(tài)調(diào)整，例如增減客戶機(jī)端節(jié)點(diǎn)數(shù)、改變?nèi)职鼣?shù)據(jù)共享池大小以及調(diào)整GPS數(shù)據(jù)包發(fā)送時(shí)間間隔。
客戶機(jī)模塊各客戶機(jī)端連向同一服務(wù)器端，接收統(tǒng)一格式的GPS數(shù)據(jù)包，解包然后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理情況反饋給服務(wù)器端，為調(diào)整系統(tǒng)運(yùn)行參數(shù)提供決策依據(jù)。
一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理方法，采用上述系統(tǒng)。由于上述系統(tǒng)運(yùn)行在分布式多機(jī)環(huán)境下，各個(gè)節(jié)點(diǎn)(包括一個(gè)服務(wù)器端和多個(gè)客戶機(jī)端)的運(yùn)行具有空間上的獨(dú)立性和時(shí)間上的并行性，故系統(tǒng)總體技術(shù)流程按節(jié)點(diǎn)功能可分為以下兩部分和處理步驟服務(wù)器端如圖2所示1、根據(jù)實(shí)際GPS數(shù)據(jù)流量，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)(客戶機(jī)端節(jié)點(diǎn)數(shù)，全局包數(shù)據(jù)共享池大小以及GPS數(shù)據(jù)包發(fā)送時(shí)間間隔)；2、根據(jù)配置文件初始化模塊并啟動(dòng)；3、模塊將開啟兩個(gè)管理線程，一個(gè)根據(jù)是否有新的數(shù)據(jù)源連接判斷結(jié)果，為每個(gè)新連接的數(shù)據(jù)源初始化一個(gè)GPS數(shù)據(jù)接收子模塊實(shí)例，如圖4所示，具體包括步驟1)建立連接，2)取得原始GPS數(shù)據(jù)，3)組包；4)放入全局包數(shù)據(jù)共享池，轉(zhuǎn)步驟2)。另一個(gè)則根據(jù)是否有新的客戶機(jī)連接判斷結(jié)果，為每個(gè)新連接的客戶機(jī)端初始化一個(gè)包數(shù)據(jù)發(fā)送子模塊實(shí)例，如圖5所示。具體包括步驟1)建立連接；2)從全局包數(shù)據(jù)共享池中取得一個(gè)數(shù)據(jù)包；3)發(fā)包；4)等待回饋信息，轉(zhuǎn)步驟2)。
4、根據(jù)各客戶機(jī)端實(shí)時(shí)返回的包處理回饋信息和實(shí)時(shí)GPS數(shù)據(jù)接收情況，調(diào)整系統(tǒng)運(yùn)行參數(shù)，提高系統(tǒng)運(yùn)行效率；客戶機(jī)端1、根據(jù)實(shí)際應(yīng)用環(huán)境，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)，例如服務(wù)器端IP地址和連接端口；
2、根據(jù)模塊配置文件初始化模塊并啟動(dòng)；3、運(yùn)行客戶機(jī)模塊，具體技術(shù)流程如圖6所示。其步驟如下1)首先與服務(wù)器建立連接；2)接收一個(gè)數(shù)據(jù)包；3)處理數(shù)據(jù)包中的數(shù)據(jù)；4)將處理信息回饋給服務(wù)器，轉(zhuǎn)步驟2)；將上述系統(tǒng)和方法應(yīng)用于上海交通信息服務(wù)網(wǎng)格系統(tǒng)的底層車輛海量GPS數(shù)據(jù)處理過(guò)程中。其主要包括接收和處理糾偏模塊。其中數(shù)據(jù)接收由服務(wù)器模塊負(fù)責(zé)，而數(shù)據(jù)糾偏則由客戶機(jī)模塊負(fù)責(zé)。模塊具體組成如圖7所示。其中[分布式機(jī)群環(huán)境]服務(wù)器(1臺(tái))P4 2.8G，內(nèi)存512M，硬盤80G，千兆網(wǎng)卡，Linux FC3，j2sdk1.4.2客戶機(jī)(4臺(tái))P4 2.8G，內(nèi)存512M，硬盤80G，千兆網(wǎng)卡，Linux FC3，j2sdk1.4.2[GPS數(shù)據(jù)量]上海市內(nèi)6000輛出租車，每30秒生成1條GPS數(shù)據(jù)；上海市內(nèi)150輛公交車，每15秒生成1條GPS數(shù)據(jù)。即每小時(shí)75萬(wàn)6千條GPS數(shù)據(jù)，每天1814萬(wàn)4千條GPS數(shù)據(jù)，每月5億4432萬(wàn)條GPS數(shù)據(jù)。
1、在機(jī)群中部署服務(wù)器模塊和各客戶機(jī)模塊；2、根據(jù)配置文件初始化系統(tǒng)實(shí)例，開啟一個(gè)服務(wù)器端(車輛GPS數(shù)據(jù)接收器)和若干個(gè)客戶機(jī)端(GPS數(shù)據(jù)糾偏節(jié)點(diǎn))；3、每個(gè)客戶機(jī)端連接到服務(wù)器端時(shí)，服務(wù)器端為其啟動(dòng)一個(gè)分發(fā)子模塊實(shí)例(參見圖3)；4、等待數(shù)據(jù)源(上海市信息中心)連接到服務(wù)器端，一旦有數(shù)據(jù)源連接，服務(wù)器端為其啟動(dòng)一個(gè)接收子模塊實(shí)例(參見圖3)；5、服務(wù)器端將接收到的GPS數(shù)據(jù)組包分發(fā)給各客戶機(jī)端；6、客戶機(jī)端從服務(wù)器端接收實(shí)時(shí)車輛GPS數(shù)據(jù)包，糾偏后存入數(shù)據(jù)庫(kù)，并將相關(guān)處理信息反饋給服務(wù)器端；7、服務(wù)器端根據(jù)收發(fā)兩端負(fù)載情況，動(dòng)態(tài)調(diào)整系統(tǒng)實(shí)例運(yùn)行參數(shù)(增減客戶機(jī)端節(jié)點(diǎn)數(shù)、
改變?nèi)职鼣?shù)據(jù)共享池大小以及調(diào)整GPS數(shù)據(jù)包發(fā)送時(shí)間間隔)。
本發(fā)明實(shí)施例采用分布式體系結(jié)構(gòu)，將系統(tǒng)負(fù)載(GPS數(shù)據(jù)處理任務(wù))部署到多個(gè)處理節(jié)點(diǎn)，從而實(shí)現(xiàn)對(duì)海量GPS數(shù)據(jù)進(jìn)行快速有效的處理；在數(shù)據(jù)處理的過(guò)程中引入實(shí)時(shí)反饋機(jī)制，以動(dòng)態(tài)調(diào)整系統(tǒng)運(yùn)行參數(shù)；引入“整流”機(jī)制，將隨機(jī)并發(fā)的GPS數(shù)據(jù)流“整形”為間隔有序的規(guī)則數(shù)據(jù)包流，提供各處理節(jié)點(diǎn)以統(tǒng)一的數(shù)據(jù)格式，從而提高系統(tǒng)整體數(shù)據(jù)處理速度。
權(quán)利要求
1.一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)，包括服務(wù)器模塊和客戶機(jī)模塊，其特征在于所述服務(wù)器模塊包括全局包數(shù)據(jù)共享池、接收子模塊、分發(fā)子模塊，所述接收子模塊用于與數(shù)據(jù)源建立通信，接收實(shí)時(shí)GPS數(shù)據(jù)并組包放入全局包數(shù)據(jù)共享池；所述分發(fā)予模塊用于與客戶機(jī)端建立通信，從全局包數(shù)據(jù)共享池中取出包數(shù)據(jù)并發(fā)送，然后等待客戶機(jī)端發(fā)回的反饋信息；所述客戶機(jī)模塊各客戶機(jī)端連向同一服務(wù)器端，接收GPS數(shù)據(jù)包，解包然后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理結(jié)果反饋給服務(wù)器端。
2.根據(jù)權(quán)利要求1所述的一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)，其特征在于所述GPS數(shù)據(jù)包為統(tǒng)一格式。
3.根據(jù)權(quán)利要求2所述的一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)，其特征在于所述GPS數(shù)據(jù)包為同一時(shí)間間隔包數(shù)據(jù)流。
4.一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理方法，采用權(quán)利要求1至3中任一所述系統(tǒng)，其特征在于包括以下步驟1)所述服務(wù)器模塊根據(jù)實(shí)際GPS數(shù)據(jù)流量，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)；并根據(jù)配置文件初始化模塊并啟動(dòng)；模塊將開啟兩個(gè)管理線程，一個(gè)負(fù)責(zé)為每個(gè)新連接的數(shù)據(jù)源初始化一個(gè)GPS數(shù)據(jù)接收子模塊實(shí)例，另一個(gè)則為每個(gè)新連接的客戶機(jī)端初始化一個(gè)包數(shù)據(jù)發(fā)送子模塊實(shí)例；根據(jù)各客戶機(jī)端實(shí)時(shí)返回的包處理回饋信息和實(shí)時(shí)GPS數(shù)據(jù)接收情況，調(diào)整系統(tǒng)運(yùn)行參數(shù)；2)客戶機(jī)端根據(jù)實(shí)際應(yīng)用環(huán)境，設(shè)置模塊配置文件中的各運(yùn)行參數(shù)，根據(jù)模塊配置文件初始化模塊并啟動(dòng)；接收GPS數(shù)據(jù)包，解包后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理結(jié)果反饋給服務(wù)器端。
全文摘要
一種基于分布式體系結(jié)構(gòu)的海量GPS數(shù)據(jù)處理系統(tǒng)和方法，包括服務(wù)器模塊和客戶機(jī)模塊，所述服務(wù)器模塊包括全局包數(shù)據(jù)共享池、接收子模塊、分發(fā)子模塊，所述接收子模塊用于與數(shù)據(jù)源建立通信，接收實(shí)時(shí)GPS數(shù)據(jù)并組包放入全局包數(shù)據(jù)共享池；所述分發(fā)子模塊用于與客戶機(jī)端建立通信，從全局包數(shù)據(jù)共享池中取出包數(shù)據(jù)并發(fā)送，然后等待客戶機(jī)端發(fā)回的反饋信息；所述客戶機(jī)模塊各客戶機(jī)端連向同一服務(wù)器端，接收GPS數(shù)據(jù)包，解包然后對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，提取所需信息，再將處理結(jié)果反饋給服務(wù)器端。本發(fā)明采用分布式體系結(jié)構(gòu)，將系統(tǒng)負(fù)載部署到多個(gè)處理節(jié)點(diǎn)，從而實(shí)現(xiàn)對(duì)海量GPS數(shù)據(jù)進(jìn)行快速有效的處理；從而提高系統(tǒng)整體數(shù)據(jù)處理速度。
文檔編號(hào)H04L29/06GK1964346SQ20051011016
公開日2007年5月16日 申請(qǐng)日期2005年11月9日 優(yōu)先權(quán)日2005年11月9日
發(fā)明者蔣昌俊, 曾國(guó)蓀, 陳閎中, 苗奪謙, 閻春鋼, 沈斌, 章昭輝, 方鈺 申請(qǐng)人:同濟(jì)大學(xué)