專利名稱：一種海量交通數(shù)據(jù)的處理方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及交通信息處理領(lǐng)域，尤其涉及一種海量交通數(shù)據(jù)的處理方法及系統(tǒng)。
背景技術(shù)：
為了掌握當(dāng)前的交通狀況及交通狀況的變化趨勢，交通數(shù)據(jù)處理系統(tǒng)需要實時采 集、處理和分析不斷變化的車速、流量、事件等數(shù)據(jù)，同時還要不斷地與歷史數(shù)據(jù)進(jìn)行比對、 分析，然后進(jìn)行數(shù)據(jù)融合處理。由于交通狀況的數(shù)據(jù)采集量大、數(shù)據(jù)更新速度快、交通分析 模型的計算復(fù)雜度高、計算數(shù)據(jù)量大，因此交通數(shù)據(jù)處理系統(tǒng)必須具有針對海量數(shù)據(jù)進(jìn)行 操作和處理的能力。目前的交通數(shù)據(jù)處理技術(shù)還是基于單機的系統(tǒng)，它們有的是將計算和存儲集中在 一臺計算機上；有的是將計算處理劃分成幾個模塊，每個模塊用一臺計算機進(jìn)行處理。由于 交通數(shù)據(jù)處理系統(tǒng)要求有對海量數(shù)據(jù)的存儲和快速處理能力，因此，人們往往只好采購價 格昂貴的高配置服務(wù)器、小型機、甚至中、大型機來完成存儲和計算任務(wù)。但隨著城市范圍的不斷擴大，監(jiān)測的交通覆蓋區(qū)域也在不斷的擴大，隨著人們對 交通模型研究的不斷深入，交通分析模型也日益復(fù)雜，這就要求交通數(shù)據(jù)處理系統(tǒng)需具有 更強大的針對海量數(shù)據(jù)的存儲、處理、操作能力和更快的計算速度。為此人們將不得頻繁的 進(jìn)行硬件升級，使得交通數(shù)據(jù)處理系統(tǒng)的維護(hù)成本很高。

發(fā)明內(nèi)容
本發(fā)明的實施例提供一種海量交通數(shù)據(jù)的處理方法及系統(tǒng)，能夠降低數(shù)據(jù)處理的 硬件要求，進(jìn)而降低交通數(shù)據(jù)處理系統(tǒng)的維護(hù)成本。為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案一種海量交通數(shù)據(jù)處理系統(tǒng)，包括通過網(wǎng)絡(luò)連接的管理節(jié)點和工作節(jié)點集群；管理節(jié)點，用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的資源使用情 況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的 存儲和交通分析模型的計算任務(wù)；工作節(jié)點，用于向所述管理節(jié)點發(fā)送自身資源的使用情況；接收所述管理節(jié)點分 配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算；網(wǎng)絡(luò)路由器，用于連接所述管理節(jié)點和所述工作節(jié)點。一種海量交通數(shù)據(jù)處理方法，包括管理節(jié)點獲取通過網(wǎng)絡(luò)與其連接的各個工作節(jié)點的資源的使用情況，根據(jù)每個工 作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲和交通分析模型的計算任 務(wù)；工作節(jié)點接收所述管理節(jié)點分配的所述交通數(shù)據(jù)的存儲和交通分析模型的計算 任務(wù)，進(jìn)行所述交通數(shù)據(jù)的存儲和交通分析模型的計算處理。
本發(fā)明實施例提供的海量交通數(shù)據(jù)的處理方法及系統(tǒng)，包括通過網(wǎng)絡(luò)連接的管理 節(jié)點和工作節(jié)點集群；管理節(jié)點用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的 資源使用情況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配 交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點用于向管理節(jié)點發(fā)送自身資源的使 用情況；接收管理節(jié)點分配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算。這樣，與 現(xiàn)有技術(shù)中的單機系統(tǒng)或?qū)⒋鎯Α⒂嬎惴譃閹讉€模塊，一臺機器執(zhí)行一個模塊的存儲、計算 方式不同，本發(fā)明實施例提供的方法及系統(tǒng)不再需要每臺計算機硬件的高性能，而是能夠 充分有效利用連接在一起的各個工作節(jié)點計算機的資源，同樣實現(xiàn)海量交通數(shù)據(jù)的處理， 從而降低了對每臺計算機的硬件性能要求，人們無需頻繁的進(jìn)行硬件升級，降低了系統(tǒng)的 維護(hù)成本。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明實施例一提供的海量交通數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本發(fā)明二實施例提供的海量交通數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；圖3為本發(fā)明實施例三提供的海量交通數(shù)據(jù)處理方法的流程示意圖；圖4為本發(fā)明四實施例提供的海量交通數(shù)據(jù)處理方法的流程示意圖；圖5為城市路鏈切分示意圖；圖6為本發(fā)明實施例四提供的海量交通數(shù)據(jù)處理方法中的工作節(jié)點的計算過程 示意圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護(hù)的范圍。實施例一本發(fā)明實施例一提供的海量交通數(shù)據(jù)處理系統(tǒng)，如圖1所示，包括通過網(wǎng)絡(luò)連接的管理節(jié)點10和工作節(jié)點11集群。其中管理節(jié)點10(負(fù)責(zé)管理任務(wù)的計算機)，用于監(jiān)控各個工作節(jié)點11的工作狀態(tài)，監(jiān) 控每個工作節(jié)點11的資源使用情況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點11的資源使用情 況，向各個工作節(jié)點11分配交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)。管理節(jié)點根據(jù)工作節(jié)點的資源使用情況為其分配任務(wù)，可以保證每個工作節(jié)點的 資源占用率相當(dāng)，從而要存儲的數(shù)據(jù)和計算任務(wù)過于集中在某個工作節(jié)點上，造成該工作 節(jié)點乃至整個系統(tǒng)的性能下降。工作節(jié)點11 (承擔(dān)存儲、計算任務(wù)的計算機)，用于向管理節(jié)點10發(fā)送自身資源的使用情況；接收管理節(jié)點10分配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算。網(wǎng)絡(luò)路由器12，用于連接管理節(jié)點10和工作節(jié)點11。具體的，該網(wǎng)絡(luò)路由器12可 以采用千兆網(wǎng)路由器，以便保證工作節(jié)點在執(zhí)行計算任務(wù)、平衡存儲數(shù)據(jù)時有足夠的帶寬。本發(fā)明實施例一提供的海量交通數(shù)據(jù)的處理系統(tǒng)，包括通過網(wǎng)絡(luò)連接的管理節(jié)點 和工作節(jié)點集群；管理節(jié)點用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的資源 使用情況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通 數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點用于向管理節(jié)點發(fā)送自身資源的使用情 況；接收管理節(jié)點分配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算。這樣，與現(xiàn)有 技術(shù)中的單機系統(tǒng)或?qū)⒋鎯Α⒂嬎惴譃閹讉€模塊，一臺機器執(zhí)行一個模塊的存儲、計算方式 不同，本發(fā)明實施例提供的系統(tǒng)不再需要每臺計算機硬件的高性能，而是能夠充分有效利 用連接在一起的各個工作節(jié)點計算機的資源，同樣實現(xiàn)海量交通數(shù)據(jù)的處理，從而降低了 對每臺計算機的硬件性能要求，人們無需頻繁的進(jìn)行硬件升級，降低了系統(tǒng)的維護(hù)成本。實施例二進(jìn)一步地在本發(fā)明實施例二提供的海量交通數(shù)據(jù)的處理系統(tǒng)中，如圖2所示。管理節(jié)點包括10 狀態(tài)監(jiān)控單元101，用于定期采集各個工作節(jié)點11的資源使用情況，并將各個工 作節(jié)點11的資源使用情況信息發(fā)送給存儲分配管理單元102和計算任務(wù)分配調(diào)度單元 103。存儲分配管理單元102，用于將需進(jìn)行存儲的交通數(shù)據(jù)進(jìn)行切分，根據(jù)狀態(tài)監(jiān)控單 元101發(fā)送的各個工作節(jié)點11的資源使用情況信息，向各個工作節(jié)點11分配交通數(shù)據(jù)的 存儲任務(wù)。計算任務(wù)分配調(diào)度單元103，用于根據(jù)狀態(tài)監(jiān)控單元101發(fā)送的各個工作節(jié)點11 的資源使用情況信息，向各個工作節(jié)點11分配交通分析模型的計算任務(wù)，并跟蹤各個工作 節(jié)點11的該計算任務(wù)執(zhí)行情況。工作節(jié)點11包括資源狀態(tài)上報單元111，用于向管理節(jié)點10上報自身的資源使用情況。數(shù)據(jù)存儲單元112，用于接收管理節(jié)點10分配的交通數(shù)據(jù)的存儲任務(wù)，進(jìn)行交通 數(shù)據(jù)的存儲處理。模型計算單元113，用于接收管理節(jié)點10分配的交通分析模型的計算任務(wù)，進(jìn)行 交通分析模型的計算處理。本發(fā)明實施例二提供的海量交通數(shù)據(jù)的處理系統(tǒng)，包括通過網(wǎng)絡(luò)連接的管理節(jié)點 和工作節(jié)點集群；管理節(jié)點用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的資源 使用情況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通 數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點用于向管理節(jié)點發(fā)送自身資源的使用情 況；接收管理節(jié)點分配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算。這樣，與現(xiàn)有 技術(shù)中的單機系統(tǒng)或?qū)⒋鎯?、計算分為幾個模塊，一臺機器執(zhí)行一個模塊的存儲、計算方式 不同，本發(fā)明實施例提供的系統(tǒng)不再需要每臺計算機硬件的高性能，而是能夠充分有效利 用連接在一起的各個工作節(jié)點計算機的資源，同樣實現(xiàn)海量交通數(shù)據(jù)的處理，從而降低了 對每臺計算機的硬件性能要求，人們無需頻繁的進(jìn)行硬件升級，降低了系統(tǒng)的維護(hù)成本。
實施例三本發(fā)明實施例三提供的海量交通數(shù)據(jù)處理方法，利用實施例一提供的系統(tǒng)，如圖3 所示，包括步驟S301、管理節(jié)點獲取通過網(wǎng)絡(luò)與其連接的各個工作節(jié)點的資源的使用情況，根據(jù) 每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲和交通分析模型的計 算任務(wù)。S302、工作節(jié)點接收管理節(jié)點分配的交通數(shù)據(jù)的存儲和交通分析模型的計算任 務(wù)，進(jìn)行該交通數(shù)據(jù)的存儲和交通分析模型的計算處理。本發(fā)明實施例三提供的海量交通數(shù)據(jù)處理方法，管理節(jié)點獲取通過網(wǎng)絡(luò)與其連接 的各個工作節(jié)點的資源的使用情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點 分配交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點接收管理節(jié)點分配的交通數(shù)據(jù) 的存儲和交通分析模型的計算任務(wù)，進(jìn)行該交通數(shù)據(jù)的存儲和交通分析模型的計算處理。 這樣，與現(xiàn)有技術(shù)中的單機系統(tǒng)或?qū)⒋鎯?、計算分為幾個模塊，一臺機器執(zhí)行一個模塊的存 儲、計算方式不同，本發(fā)明實施例提供的方法不再需要每臺計算機硬件的高性能，而是能夠 充分有效利用連接在一起的各個工作節(jié)點計算機的資源，同樣實現(xiàn)海量交通數(shù)據(jù)的處理， 從而降低了對每臺計算機的硬件性能要求，人們無需頻繁的進(jìn)行硬件升級，降低了系統(tǒng)的 維護(hù)成本。實施例四本發(fā)明實施例四提供的海量交通數(shù)據(jù)處理方法，利用實施例二提供的系統(tǒng)，如圖4 示，包括步驟S401、管理節(jié)點的狀態(tài)監(jiān)控單元定期向各個工作節(jié)點發(fā)送資源使用情況上報請 求。例如，管理節(jié)點可以每隔三秒鐘向每個工作節(jié)點發(fā)送資源使用情況上報請求。S402、工作節(jié)點接收到該請求后，將自身CPU、內(nèi)存、磁盤空間的使用情況通過資源 狀態(tài)上報單元上報給管理節(jié)點。S403工作節(jié)點的狀態(tài)監(jiān)控單元將獲取到的各個工作節(jié)點的資源使用情況發(fā)送給 管理節(jié)點的存儲分配管理單元和計算任務(wù)分配調(diào)度單元。本實施例中，管理節(jié)點獲取各個工作節(jié)點的資源使用情況，再根據(jù)各個工作節(jié)點 的資源使用情況分配存儲、計算任務(wù)，可以均衡各個工作節(jié)點的資源使用率，防止任務(wù)過于 集中在某一個工作節(jié)點上，造成該工作節(jié)點乃至整個系統(tǒng)的性能下降。S404、管理節(jié)點的存儲分配管理單元將需進(jìn)行存儲的交通數(shù)據(jù)進(jìn)行切分，根據(jù)每 個工作節(jié)點的資源使用情況，向工作節(jié)點發(fā)送切分后的數(shù)據(jù)塊文件，同時記錄下每塊數(shù)據(jù) 文件的切分順序和進(jìn)行存儲的工作節(jié)點的位置，以便將來讀取時能夠拼接在一起。一個城市有幾萬甚至幾十萬條路鏈，這些路鏈的交通狀況在不停地變化，所以數(shù) 據(jù)量很大。為了能夠讓各個工作節(jié)點有效處理這些數(shù)據(jù)，需要對這些路鏈進(jìn)行切分。如圖 5所示，在空間上以東向為橫軸，南向為縱軸將城市切分成一個一個的網(wǎng)格51 ；然后對網(wǎng)格 31進(jìn)行編號；之后再分別對每個網(wǎng)格31內(nèi)的路鏈32進(jìn)行編號；最后根據(jù)每個工作節(jié)點的 資源使用情況，向各個工作節(jié)點發(fā)送切分后的以網(wǎng)格為單位的數(shù)據(jù)，此外，鏈路上采集的交 通路況數(shù)據(jù)也可以發(fā)往該工作節(jié)點進(jìn)行存儲。S405、管理節(jié)點的計算任務(wù)分配調(diào)度單元根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通分析模型的計算任務(wù)，并跟蹤各個工作節(jié)點的該計算任務(wù)執(zhí)行情 況。這里，計算任務(wù)分配調(diào)度單元根據(jù)工作節(jié)點的CPU、內(nèi)存空閑等資源使用情況分配 計算任務(wù)，可以均衡各個工作節(jié)點的資源，使得各個工作節(jié)點的CPU和內(nèi)存占用率相當(dāng)，從 而了整個系統(tǒng)的計算性能。另外，步驟S404和步驟S405的分配存儲和計算的任務(wù)并沒有先后順序，可以同時 進(jìn)行也可以先后進(jìn)行。S406、工作節(jié)點的數(shù)據(jù)存儲單元接收管理節(jié)點的存儲分配管理單元分配的交通數(shù) 據(jù)的存儲任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲；工作節(jié)點的模型計算單元接收管理節(jié)點的計算任務(wù) 分配調(diào)度單元分配的交通分析模型的計算任務(wù)，進(jìn)行交通分析模型的計算。具體的，工作節(jié)點進(jìn)行交通分析模型的計算處理，如圖6所示，可以采用計算向存 儲遷移策略，即路鏈存儲在哪個工作節(jié)點上就在哪個工作節(jié)點上進(jìn)行根據(jù)該路鏈的交通分 析模型的計算。這樣可以避免計算任務(wù)和存儲數(shù)據(jù)不同一個工作節(jié)點上而造成大量的數(shù)據(jù) 傳輸，延誤處理時間。交通分析模型計算可以分為4個階段，第一階段圖6中的601，工作節(jié) 點讀取本地存儲的路鏈數(shù)據(jù)；第二階段圖6中602，工作節(jié)點利用該路鏈數(shù)據(jù)進(jìn)行交通分析 模型的計算處理，得到計算結(jié)果；第三階段圖6中603，將本工作節(jié)點得到的計算結(jié)果進(jìn)行 匯總，得到節(jié)點計算結(jié)果；第四個階段圖6中604，將各個工作節(jié)點的節(jié)點計算結(jié)果進(jìn)行匯 總，得到整個城市的交通狀況信息，并輸出。本發(fā)明實施例四提供的海量交通數(shù)據(jù)處理方法，管理節(jié)點獲取通過網(wǎng)絡(luò)與其連接 的各個工作節(jié)點的資源的使用情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點 分配交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點接收管理節(jié)點分配的交通數(shù)據(jù) 的存儲和交通分析模型的計算任務(wù)，進(jìn)行該交通數(shù)據(jù)的存儲和交通分析模型的計算處理。 這樣，與現(xiàn)有技術(shù)中的單機系統(tǒng)或?qū)⒋鎯?、計算分為幾個模塊，一臺機器執(zhí)行一個模塊的存 儲、計算方式不同，本發(fā)明實施例提供的方法不再需要每臺計算機硬件的高性能，而是能夠 充分有效利用連接在一起的各個工作節(jié)點計算機的資源，同樣實現(xiàn)海量交通數(shù)據(jù)的處理， 從而降低了對每臺計算機的硬件性能要求，人們無需頻繁的進(jìn)行硬件升級，降低了系統(tǒng)的 維護(hù)成本。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述方法實施例的全部或部分步驟可以通過 程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序 在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括R0M、RAM、磁碟或者 光盤等各種可以存儲程序代碼的介質(zhì)。以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種海量交通數(shù)據(jù)處理系統(tǒng)，其特征在于，包括 通過網(wǎng)絡(luò)連接的管理節(jié)點和工作節(jié)點集群；管理節(jié)點，用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的資源使用情況和 任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲 和交通分析模型的計算任務(wù)；工作節(jié)點，用于向所述管理節(jié)點發(fā)送自身資源的使用情況；接收所述管理節(jié)點分配的 任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算；網(wǎng)絡(luò)路由器，用于連接所述管理節(jié)點和所述工作節(jié)點。
2.根據(jù)權(quán)利要求1所述的海量交通數(shù)據(jù)處理系統(tǒng)，其特征在于，所述管理節(jié)點包括 狀態(tài)監(jiān)控單元，用于定期采集各個工作節(jié)點的資源使用情況，并將所述各個工作節(jié)點的資源使用情況信息發(fā)送給存儲分配管理單元和計算任務(wù)分配調(diào)度單元；存儲分配管理單元，用于將需進(jìn)行存儲的交通數(shù)據(jù)進(jìn)行切分，根據(jù)所述狀態(tài)監(jiān)控單元 發(fā)送的所述各個工作節(jié)點的資源使用情況信息，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲任 務(wù)；計算任務(wù)分配調(diào)度單元，用于根據(jù)所述狀態(tài)監(jiān)控單元發(fā)送的所述各個工作節(jié)點的資源 使用情況信息，向各個工作節(jié)點分配交通分析模型的計算任務(wù)，并跟蹤各個工作節(jié)點的所 述計算任務(wù)執(zhí)行情況。
3.根據(jù)權(quán)利要求1或2所述的海量交通數(shù)據(jù)處理系統(tǒng)，其特征在于，所述工作節(jié)點包括資源狀態(tài)上報單元，用于向所述管理節(jié)點上報自身的資源使用情況； 數(shù)據(jù)存儲單元，用于接收所述管理節(jié)點分配的交通數(shù)據(jù)的存儲任務(wù)，進(jìn)行交通數(shù)據(jù)的 存儲處理；模型計算單元，用于接收所述管理節(jié)點分配的交通分析模型的計算任務(wù)，進(jìn)行交通分 析模型的計算處理。
4.一種海量交通數(shù)據(jù)處理方法，其特征在于，包括管理節(jié)點獲取通過網(wǎng)絡(luò)與其連接的各個工作節(jié)點的資源的使用情況，根據(jù)每個工作節(jié) 點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點接收所述管理節(jié)點分配的所述交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)， 進(jìn)行所述交通數(shù)據(jù)的存儲和交通分析模型的計算處理。
5.根據(jù)權(quán)利要求4所述的海量交通數(shù)據(jù)處理方法，其特征在于，管理節(jié)點獲取各個工 作節(jié)點的資源的使用情況包括管理節(jié)點定期向各個工作節(jié)點發(fā)送資源使用情況上報請求；工作節(jié)點接收到所述請求后，將自身CPU、內(nèi)存、磁盤空間的使用情況上報給所述管理 節(jié)點。
6.根據(jù)權(quán)利要求4或5所述的海量交通數(shù)據(jù)處理方法，其特征在于，管理節(jié)點根據(jù)每個 工作節(jié)點的資源使用情況，向工作節(jié)點分配交通數(shù)據(jù)的存儲任務(wù)包括管理節(jié)點將需進(jìn)行存儲的交通數(shù)據(jù)進(jìn)行切分，根據(jù)每個工作節(jié)點的資源使用情況，向 工作節(jié)點發(fā)送切分后的數(shù)據(jù)塊文件，同時記錄下每塊數(shù)據(jù)文件的切分順序和進(jìn)行存儲的工 作節(jié)點的位置。
7.根據(jù)權(quán)利要求6所述的海量交通數(shù)據(jù)處理方法，其特征在于，所述管理節(jié)點將需進(jìn) 行存儲的交通數(shù)據(jù)進(jìn)行切分，根據(jù)每個工作節(jié)點的資源使用情況，向工作節(jié)點發(fā)送切分后 的數(shù)據(jù)塊文件包括管理節(jié)點將需進(jìn)行存儲的城市路鏈地圖劃分成多個網(wǎng)格，對各個網(wǎng)格進(jìn)行編號，再對 每個網(wǎng)格內(nèi)的每條路鏈進(jìn)行編號；管理節(jié)點根據(jù)每個工作節(jié)點的資源使用情況，向工作節(jié)點發(fā)送切分后的以網(wǎng)格為單位 的數(shù)據(jù)塊文件。
8.根據(jù)權(quán)利要求7所述的海量交通數(shù)據(jù)處理方法，其特征在于，工作節(jié)點進(jìn)行交通分 析模型的計算處理包括讀取本地存儲的路鏈數(shù)據(jù)；利用所述路鏈數(shù)據(jù)進(jìn)行交通分析模型的計算處理，得到計算結(jié)果； 將本工作節(jié)點得到的所述計算結(jié)果進(jìn)行匯總，得到節(jié)點計算結(jié)果； 將各個工作節(jié)點的節(jié)點計算結(jié)果進(jìn)行匯總，得到整個城市的交通狀況信息，并輸出。
9.根據(jù)權(quán)利要求4所述的海量交通數(shù)據(jù)處理方法，其特征在于，所述方法還包括 所述管理節(jié)點還對各個工作節(jié)點的工作狀態(tài)、任務(wù)執(zhí)行情況進(jìn)行監(jiān)控。
全文摘要
本發(fā)明實施例提供一種海量交通數(shù)據(jù)的處理方法及系統(tǒng)，涉及交通信息處理領(lǐng)域，能夠降低海量交通數(shù)據(jù)處理的硬件要求，進(jìn)而降低處理系統(tǒng)的維護(hù)成本。該海量交通數(shù)據(jù)處理系統(tǒng)包括通過網(wǎng)絡(luò)連接的管理節(jié)點和工作節(jié)點集群；管理節(jié)點，用于監(jiān)控各個工作節(jié)點的工作狀態(tài)，監(jiān)控每個工作節(jié)點的資源使用情況和任務(wù)執(zhí)行情況，根據(jù)每個工作節(jié)點的資源使用情況，向各個工作節(jié)點分配交通數(shù)據(jù)的存儲和交通分析模型的計算任務(wù)；工作節(jié)點，用于向管理節(jié)點發(fā)送自身資源的使用情況；接收管理節(jié)點分配的任務(wù)，進(jìn)行交通數(shù)據(jù)的存儲和交通分析模型的計算；網(wǎng)絡(luò)路由器，用于連接管理節(jié)點和工作節(jié)點。本發(fā)明實施例用于進(jìn)行海量交通數(shù)據(jù)的處理。
文檔編號H04L29/08GK102081841SQ20111002041
公開日2011年6月1日 申請日期2011年1月18日 優(yōu)先權(quán)日2011年1月18日
發(fā)明者李建軍, 蔣晟, 鄧春柏 申請人:北京世紀(jì)高通科技有限公司