專利名稱：數(shù)據(jù)中心系統(tǒng)及數(shù)據(jù)處理方法
技術領域：
本發(fā)明涉及一種數(shù)據(jù)中心系統(tǒng)及數(shù)據(jù)處理方法，屬于數(shù)據(jù)管理技術領域。
背景技術：
現(xiàn)有的數(shù)據(jù)中心系統(tǒng)通常使用關系型數(shù)據(jù)庫或非關系型數(shù)據(jù)庫。其中，關系型數(shù)據(jù)庫在是一種建立在關系模型基礎上的數(shù)據(jù)庫，借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)，關系模型由關系數(shù)據(jù)結構、關系操作集合、關系完整性約束三部分組成。非關系型數(shù)據(jù)庫是沒有建立在關系模型基礎上的數(shù)據(jù)庫。其中所述關系型數(shù)據(jù)庫具有高度的安全性，但缺陷在于當涉及大量數(shù)據(jù)源的索引時，在效率和實現(xiàn)上存在眾多的技術瓶頸，因此存在分布式查詢效率低的問題。所述非關系型數(shù)據(jù)庫具備自由模式，可以很好地適橫向擴展需求。分片能力，存儲海量數(shù)據(jù)，但缺陷在于·缺乏權限限制，安全性較低?，F(xiàn)有數(shù)據(jù)中心系統(tǒng)的缺陷在于僅能擇一地選擇關系型數(shù)據(jù)庫或非關系型數(shù)據(jù)庫進行構建，因此無法充分利用兩種數(shù)據(jù)庫的優(yōu)勢。

發(fā)明內容
本發(fā)明提供一種數(shù)據(jù)中心系統(tǒng)及數(shù)據(jù)處理方法，用以充分利用關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫各自的優(yōu)勢。本發(fā)明一方面提供一種數(shù)據(jù)處理方法，其中包括數(shù)據(jù)中心系統(tǒng)接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)；將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中；根據(jù)所述查詢請求對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)；將所述機密數(shù)據(jù)與所述有價值數(shù)據(jù)相關聯(lián)生成查詢結果數(shù)據(jù)進行輸出。本發(fā)明另一方面提供一種數(shù)據(jù)中心系統(tǒng)，其中包括抽取模塊，用于當接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)；導出模塊，用于將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中；分析模塊，用于根據(jù)所述查詢請求對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)；輸出模塊，用于將所述機密數(shù)據(jù)與所述有價值數(shù)據(jù)相關聯(lián)生成查詢結果數(shù)據(jù)進行輸出。本發(fā)明通過將機密數(shù)據(jù)導出到關系數(shù)據(jù)庫，從而保證了機密數(shù)據(jù)的安全性，并通過將海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫，提高了分布式查詢的效率，從而能夠充分利用關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫各自的優(yōu)勢實現(xiàn)數(shù)據(jù)處理。


圖I為本發(fā)明所述數(shù)據(jù)處理方法實施例的流程圖；圖2為本發(fā)明所述數(shù)據(jù)中心系統(tǒng)實施例的結構示意圖。
具體實施例方式圖I為本發(fā)明所述數(shù)據(jù)處理方法實施例的流程圖，如圖所示，包括如下步驟步驟100，數(shù)據(jù)中心系統(tǒng)接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)。其中，所述待處理的原始數(shù)據(jù)是指為了滿足所述查詢請求而需要進行處理的原始數(shù)據(jù)，例如，為了查詢如下表5中的數(shù)據(jù)，則如下的表I 4中的數(shù)據(jù)則為需要抽取的待處理的原始數(shù)據(jù)；所述數(shù)據(jù)源可以由DB2、oracle、sqlserver等數(shù)據(jù)庫構成；具體地，可以使
用數(shù)據(jù)提取、轉換和加載(Extraction Transformation Loading,簡稱ETL)工具進行上述抽取操作，所述原始數(shù)據(jù)的內容舉例如下表I
Id密碼
2氺氺氺氺氺氺氺氺氺
3氺氺氺氺氺氺氺氺氺表2
Id標簽(tags)
1狗(Dog)
~貓(Cat)
2貓(Cat)
3鼠(Mouse)
3貓(Cat)
3狗(Dog)表權利要求
1.一種數(shù)據(jù)處理方法，其特征在于，包括 數(shù)據(jù)中心系統(tǒng)接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)； 將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中； 根據(jù)所述查詢請求對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)； 將所述機密數(shù)據(jù)與所述有價值數(shù)據(jù)相關聯(lián)生成查詢結果數(shù)據(jù)進行輸出。
2.根據(jù)權利要求I所述的方法，其特征在于，所述數(shù)據(jù)中心系統(tǒng)從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)包括所述數(shù)據(jù)中心系統(tǒng)利用ETL工具抽取所述待處理的原始數(shù)據(jù)。
3.根據(jù)權利要求2所述的方法，其特征在于，將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中包括 根據(jù)所述ETL工具的配置文件中的預設配置信息識別所述原始數(shù)據(jù)中的機密數(shù)據(jù)和海量數(shù)據(jù)； 將識別出的機密數(shù)據(jù)導出到所述關系數(shù)據(jù)庫中，并將識別出的海量數(shù)據(jù)導出到所述非關系數(shù)據(jù)庫中。
4.根據(jù)權利要求I所述的方法，其特征在于，所述對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)包括通過多個云節(jié)點服務器采用映射化簡技術對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行實時統(tǒng)計分析和/或離線統(tǒng)計分析得到所述有價值數(shù)據(jù)。
5.根據(jù)權利要求I所述的方法，其特征在于，將所述查詢結果數(shù)據(jù)進行輸出包括通過基于HTTP協(xié)議的REST接口將所述查詢結果數(shù)據(jù)作為數(shù)據(jù)產(chǎn)品進行輸出。
6.一種數(shù)據(jù)中心系統(tǒng)，其特征在于，包括 抽取模塊，用于當接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)； 導出模塊，用于將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中； 分析模塊，用于根據(jù)所述查詢請求對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)； 輸出模塊，用于將所述機密數(shù)據(jù)與所述有價值數(shù)據(jù)相關聯(lián)生成查詢結果數(shù)據(jù)進行輸出。
7.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述導出模塊包括 識別單元，用于根據(jù)ETL工具的配置文件中的預設配置信息識別所述原始數(shù)據(jù)中的機密數(shù)據(jù)和海量數(shù)據(jù)； 導出單元，用于將識別單元識別出的機密數(shù)據(jù)導出到所述關系數(shù)據(jù)庫中，并將識別出的海量數(shù)據(jù)導出到所述非關系數(shù)據(jù)庫中。
8.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，還包括 所述關系數(shù)據(jù)庫，用于接收由導出模塊導出的機密數(shù)據(jù)； 所述非關系數(shù)據(jù)庫，用于接收由導出模塊導出的海量數(shù)據(jù)。
9.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，還包括所述數(shù)據(jù)源，用于保存所述原始數(shù)據(jù)。
全文摘要
本發(fā)明提供一種數(shù)據(jù)中心系統(tǒng)及數(shù)據(jù)處理方法。其中方法包括數(shù)據(jù)中心系統(tǒng)接收到查詢請求后從數(shù)據(jù)源抽取待處理的原始數(shù)據(jù)；將所述原始數(shù)據(jù)中的機密數(shù)據(jù)導出到關系數(shù)據(jù)庫中，并將所述原始數(shù)據(jù)中的海量數(shù)據(jù)導出到非關系數(shù)據(jù)庫中；根據(jù)所述查詢請求對所述非關系數(shù)據(jù)庫中的海量數(shù)據(jù)進行統(tǒng)計分析得到有價值數(shù)據(jù)；將所述機密數(shù)據(jù)與所述有價值數(shù)據(jù)相關聯(lián)生成查詢結果數(shù)據(jù)進行輸出。本發(fā)明能夠充分利用關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫各自的優(yōu)勢實現(xiàn)數(shù)據(jù)處理。
文檔編號G06F17/30GK102855277SQ201210257038
公開日2013年1月2日 申請日期2012年7月23日 優(yōu)先權日2012年7月23日
發(fā)明者王偉華, 李建功, 李珩, 齊飛, 博格利 申請人:中國聯(lián)合網(wǎng)絡通信集團有限公司