本發(fā)明實施例涉及軌道軌道交通線網(wǎng)中心技術領域，尤其涉及一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法和服務器集群。

背景技術：

隨著國內外城市軌道交通的不斷建設和發(fā)展，城市軌道交通線路規(guī)劃快速增多，已建和在建線路對運用效率提升的需求不斷增強，線網(wǎng)(應急)指揮中心的建設需求日益增強，線網(wǎng)(應急)指揮中心的數(shù)據(jù)量也不斷增加。現(xiàn)有線網(wǎng)(應急)指揮中心普遍采用了數(shù)據(jù)倉庫平臺加配套的管理軟件來實現(xiàn)數(shù)據(jù)存儲和處理的功能，但是現(xiàn)有數(shù)據(jù)倉庫平臺一般架設在專用設備上，環(huán)境搭建復雜，拓展時停機時間較長。數(shù)據(jù)倉庫在做線性擴展時，數(shù)據(jù)需要重分布，消耗資源大，時間長，無法低成本應對線網(wǎng)(應急)指揮中心分期建設或后期擴容的需求。

技術實現(xiàn)要素：

本發(fā)明實施例提供一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法和服務器集群，用于解決現(xiàn)有技術中數(shù)據(jù)倉庫平臺搭建復雜以及后期擴展性弱的問題。

本發(fā)明實施例提供了一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法，包括：

服務器集群從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)；

所述服務器集群對獲取的業(yè)務數(shù)據(jù)進行處理并存儲；

所述服務器集群根據(jù)處理后的業(yè)務數(shù)據(jù)對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

可選地，所述服務器集群包括數(shù)據(jù)采集服務器和接口服務器；

所述服務器集群從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)，包括：所述服務器集群通過所述接口服務器從數(shù)據(jù)采集層中獲取各個軌道線路的業(yè)務數(shù)據(jù)，所述各個軌道線路的業(yè)務數(shù)據(jù)是通過所述數(shù)據(jù)采集服務器從各軌道線路的業(yè)務子系統(tǒng)中采集并保存在數(shù)據(jù)采集層中的。

可選地，所述服務器集群包括數(shù)據(jù)處理服務器和存儲器；

所述服務器集群對獲取的業(yè)務數(shù)據(jù)進行處理并存儲，包括：

所述數(shù)據(jù)處理服務器對采集的業(yè)務數(shù)據(jù)進行數(shù)據(jù)抽取和數(shù)據(jù)清洗；

所述數(shù)據(jù)處理服務器將清洗后的業(yè)務數(shù)據(jù)進行數(shù)據(jù)轉換；

所述數(shù)據(jù)處理服務器將經過數(shù)據(jù)轉換后的業(yè)務數(shù)據(jù)保存至所述存儲器中。

可選地，所述存儲器包括實時存儲器和分布式存儲器；

所述數(shù)據(jù)處理服務器將經過數(shù)據(jù)轉換后的業(yè)務數(shù)據(jù)保存至所述存儲器中，包括：

所述業(yè)務數(shù)據(jù)為需要實時發(fā)布的數(shù)據(jù)時，將所述需要實時發(fā)布的數(shù)據(jù)保存在所述實時存儲器中；

在確定所述需要實時發(fā)布的數(shù)據(jù)已經發(fā)布之后，將所述需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中；

所述業(yè)務數(shù)據(jù)為不需要實時發(fā)布數(shù)據(jù)時，將所述不需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中。

可選地，所述服務器集群包括數(shù)據(jù)分析服務器和控制中心服務器；

所述服務器集群根據(jù)處理后的業(yè)務數(shù)據(jù)對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制，包括：

所述數(shù)據(jù)分析服務器通過可視化的邏輯編輯工具建立分析模型；

所述數(shù)據(jù)分析服務器根據(jù)所述分析模型對所述分布式存儲器中的業(yè)務數(shù)據(jù)進行數(shù)據(jù)分析；

所述控制中心服務器根據(jù)數(shù)據(jù)分析結果對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

相應地，本發(fā)明實施例還提供了一種服務器集群，包括：

獲取模塊，用于從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)；

處理模塊，用于對獲取的業(yè)務數(shù)據(jù)進行處理并存儲；以及根據(jù)處理后的業(yè)務數(shù)據(jù)對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

可選地，所述獲取模塊包括數(shù)據(jù)采集服務器和接口服務器；

所述獲取模塊具體用于：

通過所述接口服務器從數(shù)據(jù)采集層中獲取各個軌道線路的業(yè)務數(shù)據(jù)，所述各個軌道線路的業(yè)務數(shù)據(jù)是通過所述數(shù)據(jù)采集服務器從各軌道線路的業(yè)務子系統(tǒng)中采集并保存在數(shù)據(jù)采集層中的。

可選地，所述處理模塊包括數(shù)據(jù)處理服務器和存儲器；

所述處理模塊具體用于：

通過所述數(shù)據(jù)處理服務器對采集的業(yè)務數(shù)據(jù)進行數(shù)據(jù)抽取和數(shù)據(jù)清洗；

通過所述數(shù)據(jù)處理服務器將清洗后的業(yè)務數(shù)據(jù)進行數(shù)據(jù)轉換；

通過所述數(shù)據(jù)處理服務器將經過數(shù)據(jù)轉換后的業(yè)務數(shù)據(jù)保存至所述存儲器中。

可選地，所述存儲器包括實時存儲器和分布式存儲器；

所述處理模塊具體用于：

所述業(yè)務數(shù)據(jù)為需要實時發(fā)布的數(shù)據(jù)時，將所述需要實時發(fā)布的數(shù)據(jù)保存在所述實時存儲器中；

在確定所述需要實時發(fā)布的數(shù)據(jù)已經發(fā)布之后，將所述需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中；

所述業(yè)務數(shù)據(jù)為不需要實時發(fā)布數(shù)據(jù)時，將所述不需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中。

可選地，所述處理模塊包括數(shù)據(jù)分析服務器和控制中心服務器；

所述處理模塊具體用于：

所述數(shù)據(jù)分析服務器通過可視化的邏輯編輯工具建立分析模型；

所述數(shù)據(jù)分析服務器根據(jù)所述分析模型對所述分布式存儲器中的業(yè)務數(shù)據(jù)進行數(shù)據(jù)分析；

所述控制中心服務器根據(jù)數(shù)據(jù)分析結果對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

本發(fā)明實施例表明，服務器集群從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)，然后對獲取的業(yè)務數(shù)據(jù)進行處理并存儲，最后根據(jù)處理后的業(yè)務數(shù)據(jù)對軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。本發(fā)明實施例通過搭建服務器集群來部署大數(shù)據(jù)平臺，替代現(xiàn)有的數(shù)據(jù)倉庫平臺進行線網(wǎng)(應急)指揮中心的數(shù)據(jù)處理和存儲，由于服務器集群搭建維護更加通用便捷，便于系統(tǒng)首次部署和后期維護。另外服務器集群的存儲容量可實現(xiàn)線性橫向擴展，處理性能也可同步提升，只需向集群中增加機器，并且拓展過程無需停機，有效滿足擴容便捷性的需求。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域的普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種大數(shù)據(jù)平臺體系架構圖；

圖2為本發(fā)明實施例提供的一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法的流程示意圖；

圖3為本發(fā)明實施例提供的一種數(shù)據(jù)處理方法的流程示意圖；

圖4為本發(fā)明實施例提供的一種基于大數(shù)據(jù)平臺的線網(wǎng)指揮中心系統(tǒng)架構圖；

圖5為本發(fā)明實施例提供的一種服務器集群的結構示意圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及有益效果更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實施例中的技術方案可應用于線網(wǎng)指揮中心，通過基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法構建線網(wǎng)指揮中心的系統(tǒng)架構，主要包括：源數(shù)據(jù)層、數(shù)據(jù)采集層、數(shù)據(jù)平臺層、服務工具層、應用層，硬件實現(xiàn)方面可以通過搭建服務器集群來實現(xiàn)，具體地，源數(shù)據(jù)層中是線網(wǎng)指揮中心依賴的數(shù)據(jù)源，主要包括綜合監(jiān)控系統(tǒng)、清分結算中心等業(yè)務子系統(tǒng)。數(shù)據(jù)采集層負責從源數(shù)據(jù)層采集數(shù)據(jù)，主要由數(shù)據(jù)采集服務器、接口服務器、接口軟件和聯(lián)網(wǎng)網(wǎng)關等組成。數(shù)據(jù)平臺層負責從接口服務器采集數(shù)據(jù)，進行數(shù)據(jù)處理、數(shù)據(jù)整理及歷史存儲，包括實時數(shù)據(jù)庫和大數(shù)據(jù)平臺，其中大數(shù)據(jù)平臺包括以下模塊：系統(tǒng)部署和管理，數(shù)據(jù)存儲，資源管理，處理引擎，安全，數(shù)據(jù)管理，工具庫以及訪問接口。用戶可以在一站式大數(shù)據(jù)綜合平臺上采集、存儲、分析、搜索、挖掘海量數(shù)據(jù)及其內在價值。下面以具體實施例介紹大數(shù)據(jù)平臺的體系架構，如圖1所示，大數(shù)據(jù)平臺的體系架構包括一站式大數(shù)據(jù)平臺101和大數(shù)據(jù)基礎設施102兩個部分，其中一站式大數(shù)據(jù)平臺具體包括flume(日志收集系統(tǒng))、sqoop2、數(shù)據(jù)管理、系統(tǒng)管理、批處理、交互式分析、搜索引擎、機器學習、流處理、第三方應用、統(tǒng)一資源管理、分布式文件系統(tǒng)、分布式存儲系統(tǒng)以及結構化、半結構化、非結構化數(shù)據(jù)存儲；大數(shù)據(jù)基礎設施具體包括服務器、安全設備和網(wǎng)絡。服務工具層負責提供后臺應用服務，根據(jù)不同業(yè)務需求設置相應的服務，并提供各種應用工具，主要由應用服務器組成。應用層負責實現(xiàn)不同的線網(wǎng)業(yè)務，包括運營指揮、應急指揮、信息服務、運營評估和大屏的顯示等等。

圖2示例性示出了本發(fā)明實施例提供的一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法，該流程可以由服務器集群執(zhí)行。

如圖2所示，該流程的具體步驟包括：

步驟s201，服務器集群從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)。

步驟s202，服務器集群對獲取的業(yè)務數(shù)據(jù)進行處理并存儲。

步驟s203，服務器集群根據(jù)處理后的業(yè)務數(shù)據(jù)對軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

具體地，在步驟s201中，服務器集群通過接口服務器從數(shù)據(jù)采集層中獲取各個軌道線路的業(yè)務數(shù)據(jù)，各個軌道線路的業(yè)務數(shù)據(jù)是通過數(shù)據(jù)采集服務器從各軌道線路的業(yè)務子系統(tǒng)中采集并保存在數(shù)據(jù)采集層中的，其中業(yè)務子系統(tǒng)包括綜合監(jiān)控系統(tǒng)、清分結算中心、乘客信息系統(tǒng)、閉路電視監(jiān)視系統(tǒng)等，對應的業(yè)務數(shù)據(jù)包括客流數(shù)據(jù)、設備數(shù)據(jù)、供電數(shù)據(jù)、行車數(shù)據(jù)等。

在步驟s202中，服務器集群包括數(shù)據(jù)處理服務器和存儲器，通過數(shù)據(jù)處理服務器對獲取的業(yè)務數(shù)據(jù)進行處理，如圖3所示，具體為：數(shù)據(jù)處理服務器對采集的業(yè)務數(shù)據(jù)進行數(shù)據(jù)抽取和數(shù)據(jù)清洗，然后將清洗后的業(yè)務數(shù)據(jù)進行數(shù)據(jù)轉換和裝載，對裝載的數(shù)據(jù)進行數(shù)據(jù)質量分析之后保存至存儲器中。上述數(shù)據(jù)處理過程支持各種平臺的異構數(shù)據(jù)源的數(shù)據(jù)，包括結構化系統(tǒng)和非結構化的數(shù)據(jù)；還支持支持各種關系型數(shù)據(jù)庫的不同版本，針對不同版本生成相應優(yōu)化的執(zhí)行腳本。具體實施中，采用etl(extract-transform-load，簡稱數(shù)據(jù)倉庫技術)工具實現(xiàn)統(tǒng)一的數(shù)據(jù)調度和數(shù)據(jù)集成管理，并通過拖拽式的開發(fā)方式，降低數(shù)據(jù)集成的開發(fā)復雜度，具體包括以下功能：

1、內置各種集成適配器，支持與消息隊列、java數(shù)據(jù)庫連接(javadatabaseconnectivity，簡稱jdbc)、超文本傳輸協(xié)議(hypertexttransferprotocol，簡稱http)、分布式文件系統(tǒng)(hadoopdistributedfilesystem，hdfs)等各類主流系統(tǒng)架構的對接，同時工具也允許對適配器的功能進行自定義開發(fā)擴展。

2、支持數(shù)據(jù)的關聯(lián)、篩選、字段映射、字段拆分等各種數(shù)據(jù)轉換功能，滿足數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)質量管理的需求。

3、內置的成熟調度引擎和日志引擎，支持對運行程序進行調度管理和監(jiān)控報警。

4、拖拽式的開發(fā)界面。從連接各類外圍系統(tǒng)，到設置數(shù)據(jù)處理的方式，都通過可視化的組件拖拽和配置的方式完成，開發(fā)實施速度快。

進一步地，數(shù)據(jù)處理服務器將經過處理后的數(shù)據(jù)保存在存儲器中，其中存儲器包括實時存儲器和分布式存儲器，根據(jù)數(shù)據(jù)性質的不同存儲的位置也不同，具體為：

當業(yè)務數(shù)據(jù)為需要實時發(fā)布的數(shù)據(jù)時，將需要實時發(fā)布的數(shù)據(jù)保存在實時存儲器中。在確定需要實時發(fā)布的數(shù)據(jù)已經發(fā)布之后，將需要實時發(fā)布的數(shù)據(jù)保存至分布式存儲器中。業(yè)務數(shù)據(jù)為不需要實時發(fā)布數(shù)據(jù)時，將不需要實時發(fā)布的數(shù)據(jù)保存至分布式存儲器中。另外對于數(shù)據(jù)量較大的實時數(shù)據(jù)，為了保證查詢性能，數(shù)據(jù)存入實時數(shù)據(jù)庫，但是僅保留近一周數(shù)據(jù)，用于平臺數(shù)據(jù)質量分析，后續(xù)再存入分布式數(shù)據(jù)庫。經過轉換、清洗的分析數(shù)據(jù)，存入分布式數(shù)據(jù)庫，以支撐數(shù)據(jù)實時分析。視頻數(shù)據(jù)對讀寫速度沒有過高要求，采用ipsan(ipstorageareanetwork，存儲局域網(wǎng)絡)存儲在分布式存儲器中。

在步驟s203中，服務器集群包括數(shù)據(jù)分析服務器和控制中心服務器。服務器集群根據(jù)處理后的業(yè)務數(shù)據(jù)對軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制，具體為：數(shù)據(jù)分析服務器通過可視化的邏輯編輯工具建立分析模型，然后根據(jù)分析模型對分布式存儲器中的業(yè)務數(shù)據(jù)進行數(shù)據(jù)分析。最后控制中心服務器根據(jù)數(shù)據(jù)分析結果對軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。具體實施中，分析模型是基于大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)表的自由篩選、多維組合、碰撞，通過可視化的邏輯編輯工具建立的。數(shù)據(jù)表間的邏輯結構至少包括關聯(lián)、左關聯(lián)、右關聯(lián)、右排除、左排除、去重合并、全部合并、排斥合并8種數(shù)據(jù)碰撞方式，同時內置集成分類與回歸、時序模式、聚類分析、關聯(lián)分析、交通流量(origin-destination，簡稱od)分析等算法。完成分析模型建立后，可一鍵發(fā)起數(shù)據(jù)分析任務，只需提供數(shù)據(jù)源、數(shù)據(jù)參數(shù)便可完成分析，在數(shù)據(jù)源方面系統(tǒng)同時支持excel數(shù)據(jù)導入。完成分析后，系統(tǒng)后臺對任務進行調度管理，并將結果返回給用戶。操作人員可對查詢條件、數(shù)據(jù)表進行拖拽操作。完成界面編輯后，可將數(shù)據(jù)結果導成為word或者excel形式，同時可根據(jù)需要將該模塊發(fā)布到應用集市。應用集市采用專題化管理，包括統(tǒng)計分析集市等，在應用集市中可將指定的分析內容以頁面的形式發(fā)布到平臺中，作為常態(tài)化的功能菜單進行調取、應用?？刂浦行姆掌魍ㄟ^外部數(shù)據(jù)接口向系統(tǒng)外發(fā)布數(shù)據(jù)或者進行運營指揮、應急指揮等。外部數(shù)據(jù)接口可以分為數(shù)據(jù)庫接口和文件接口兩種，數(shù)據(jù)庫接口存在于對外接口數(shù)據(jù)庫的接口表中；對外接口文件存在于文件服務器的規(guī)定區(qū)域中。本發(fā)明實施例通過搭建服務器集群來部署大數(shù)據(jù)平臺，替代現(xiàn)有的數(shù)據(jù)倉庫平臺進行線網(wǎng)(應急)指揮中心的數(shù)據(jù)處理和存儲，由于服務器集群搭建維護更加通用便捷，便于系統(tǒng)首次部署和后期維護。另外服務器集群的存儲容量可實現(xiàn)線性橫向擴展，處理性能也可同步提升，只需向集群中增加機器，并且拓展過程無需停機，有效滿足擴容便捷性的需求。

下面以具體的實施例介紹大數(shù)據(jù)平臺集群的配置，設定全年總原始數(shù)據(jù)為100tb，數(shù)據(jù)存放3個副本，磁盤有效使用空間70％計算(避免高水位)，大數(shù)據(jù)平臺集群配置如表1所示：

表1大數(shù)據(jù)平臺集群配置表

其中，單節(jié)點24塊2tb串口硬盤(serialadvancedtechnologyattachment，簡稱sata)做數(shù)據(jù)盤，考慮并發(fā)讀寫和可靠性要求，其有效容量為24*2/1.093/1.1*0.70＝27.95tb，則需要的節(jié)點數(shù)：100*3/27.95＝11臺。另外需要3臺集群管理控制節(jié)點，總計需要節(jié)點數(shù)：14臺，得到集群管理控制節(jié)點和存儲計算節(jié)點硬件配置如表2所示：

表2集群管理控制節(jié)點和存儲計算節(jié)點硬件配置表

根據(jù)上述集群配置，相較于現(xiàn)有數(shù)據(jù)倉庫平臺方案，同樣處理能力的情況下成本降低了8-10倍，另外通過將成熟的大數(shù)據(jù)平臺構建在普通商用服務器上，可以實現(xiàn)硬件無關性，即支持物理機布署、虛擬機布署，支持獨立布署、云平臺布署，可以根據(jù)業(yè)主需求，合理構建服務器集群，最大程度降低成本。

為了更好的解釋本發(fā)明實施例，下面通過具體的實施場景描述本發(fā)明實施例提供的一種基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法的流程，設定基于大數(shù)據(jù)平臺的線網(wǎng)指揮中心系統(tǒng)架構如圖4所示，

基于大數(shù)據(jù)平臺的線網(wǎng)指揮中心系統(tǒng)架構包括源數(shù)據(jù)層401、數(shù)據(jù)采集層402、數(shù)據(jù)平臺層403、服務工具層404和應用層405。源數(shù)據(jù)層401包括各個業(yè)務子系統(tǒng)，比如清分結算中心(afcclearingcenter，簡稱acc)、綜合監(jiān)控系統(tǒng)(integratedsupervisorycontrolsystem，簡稱iscs)、信號系統(tǒng)(signalling，簡稱sig)、主變電所、閉路電視監(jiān)視系統(tǒng)(closedcircuittelevision，cctv)、乘客信息系統(tǒng)(passengerinformationsystem，簡稱pis)和其他業(yè)務子系統(tǒng)。數(shù)據(jù)采集層402負責從源數(shù)據(jù)層401采集業(yè)務數(shù)據(jù)，具體包括從acc中采集客流數(shù)據(jù)，從iscs采集設備數(shù)據(jù)，從sig采集行車數(shù)據(jù)，從主變電所采集供電數(shù)據(jù)，從cctv采集視頻數(shù)據(jù)，從pis采集pcc(路網(wǎng)編播中心)數(shù)據(jù)。數(shù)據(jù)采集層402采集數(shù)據(jù)后，將需要實時在大屏幕顯示的數(shù)據(jù)保存到數(shù)據(jù)平臺層403的實時數(shù)據(jù)庫，然后使用服務工具層404中的工具進行實時處理后在大屏幕上顯示，比如行車數(shù)據(jù)和客流數(shù)據(jù)需要實時顯示，則先保存在實時數(shù)據(jù)庫中，然后利用服務工具層的行車監(jiān)察和客流監(jiān)察工具進行處理后在大屏幕上顯示。另外在設備數(shù)據(jù)和供電數(shù)據(jù)出現(xiàn)異常時，將設備數(shù)據(jù)和供電數(shù)據(jù)保存至實時數(shù)據(jù)庫，然后利用服務工具層404中的設備監(jiān)察、供電監(jiān)察以及應急處理工具將設備數(shù)據(jù)和供電數(shù)據(jù)進行分析后在大屏幕上實時報警。實時數(shù)據(jù)庫中的業(yè)務數(shù)據(jù)保存一段時間后備份至大數(shù)據(jù)平臺，數(shù)據(jù)采集層402中不需要實時發(fā)布的業(yè)務數(shù)據(jù)直接保存至大數(shù)據(jù)平臺。進一步地，大數(shù)據(jù)平臺對數(shù)據(jù)進行存儲、分析、搜索、挖掘海量數(shù)據(jù)及其內在價值等。具體實施中，大數(shù)據(jù)平臺利用服務工具層404中的分析工具對保存的業(yè)務數(shù)據(jù)進行分析，分析工具包括地理信息系統(tǒng)(geographicinformationsystem，簡稱gis)工具、仿真工具、多維分析、商業(yè)智能(businessintelligence，簡稱bi)展示、數(shù)據(jù)挖掘、客流預測、評估算法。分析的過程包括分析數(shù)據(jù)模型制作、任務調度、模型發(fā)布展示、應用集市管理4大部分。分析的結果可具體用于運營指揮、應急指揮、統(tǒng)計分析、運營評估和信息服務。本發(fā)明實施例中，基于大數(shù)據(jù)平臺設計，可以有效提高數(shù)據(jù)的實時處理能力，滿足各類數(shù)據(jù)的在線存儲、快速檢索、實時計算以及挖掘分析等全方位需求。對于突發(fā)群體事件、自然災害和恐怖襲擊等突發(fā)事件的應急處置能力強，有效滿足業(yè)務需求。

基于相同構思，圖5示例性的示出了本發(fā)明實施例提供的一種服務器集群的結構，該服務器集群可以執(zhí)行基于大數(shù)據(jù)的交通線網(wǎng)數(shù)據(jù)處理方法的流程。

獲取模塊501，用于從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)；

處理模塊502，用于對獲取的業(yè)務數(shù)據(jù)進行處理并存儲；以及根據(jù)處理后的業(yè)務數(shù)據(jù)對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

可選地，所述獲取模塊501包括數(shù)據(jù)采集服務器5011和接口服務器5012；

所述獲取模塊501具體用于：

通過所述接口服務器5012從數(shù)據(jù)采集層中獲取各個軌道線路的業(yè)務數(shù)據(jù)，所述各個軌道線路的業(yè)務數(shù)據(jù)是通過所述數(shù)據(jù)采集服務器5011從各軌道線路的業(yè)務子系統(tǒng)中采集并保存在數(shù)據(jù)采集層中的。

可選地，所述處理模塊502包括數(shù)據(jù)處理服務器5021和存儲器5022；

所述處理模塊502具體用于：

通過所述數(shù)據(jù)處理服務器5021對采集的業(yè)務數(shù)據(jù)進行數(shù)據(jù)抽取和數(shù)據(jù)清洗；

通過所述數(shù)據(jù)處理服務器5021將清洗后的業(yè)務數(shù)據(jù)進行數(shù)據(jù)轉換；

通過所述數(shù)據(jù)處理服務器5021將經過數(shù)據(jù)轉換后的業(yè)務數(shù)據(jù)保存至所述存儲器5022中。

可選地，所述存儲器5022包括實時存儲器和分布式存儲器；

所述處理模塊502具體用于：

所述業(yè)務數(shù)據(jù)為需要實時發(fā)布的數(shù)據(jù)時，將所述需要實時發(fā)布的數(shù)據(jù)保存在所述實時存儲器中；

在確定所述需要實時發(fā)布的數(shù)據(jù)已經發(fā)布之后，將所述需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中；

所述業(yè)務數(shù)據(jù)為不需要實時發(fā)布數(shù)據(jù)時，將所述不需要實時發(fā)布的數(shù)據(jù)保存至所述分布式存儲器中。

可選地，所述處理模塊502包括數(shù)據(jù)分析服務器5023和控制中心服務器5024；

所述處理模塊502具體用于：

所述數(shù)據(jù)分析服務器5023通過可視化的邏輯編輯工具建立分析模型；

所述數(shù)據(jù)分析服務器5023根據(jù)所述分析模型對所述分布式存儲器中的業(yè)務數(shù)據(jù)進行數(shù)據(jù)分析；

所述控制中心服務器5024根據(jù)數(shù)據(jù)分析結果對所述軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。

本發(fā)明實施例表明，服務器集群從數(shù)據(jù)采集層中獲取軌道交通線網(wǎng)內各軌道線路的業(yè)務數(shù)據(jù)，然后對獲取的業(yè)務數(shù)據(jù)進行處理并存儲，最后根據(jù)處理后的業(yè)務數(shù)據(jù)對軌道交通線網(wǎng)內各軌道線路的交通運行狀態(tài)進行控制。本發(fā)明實施例通過搭建服務器集群來部署大數(shù)據(jù)平臺，替代現(xiàn)有的數(shù)據(jù)倉庫平臺進行線網(wǎng)(應急)指揮中心的數(shù)據(jù)處理和存儲，由于服務器集群搭建維護更加通用便捷，便于系統(tǒng)首次部署和后期維護。另外服務器集群的存儲容量可實現(xiàn)線性橫向擴展，處理性能也可同步提升，只需向集群中增加機器，并且拓展過程無需停機，有效滿足擴容便捷性的需求。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實施例，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內，則本發(fā)明也意圖包含這些改動和變型在內。