數(shù)據(jù)處理系統(tǒng)、管理中心和數(shù)據(jù)處理方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)處理系統(tǒng)，屬于網(wǎng)絡(luò)【技術(shù)領(lǐng)域】。所述系統(tǒng)包括：管理中心、分別與管理中心相連的接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)，接入子系統(tǒng)還與計(jì)算子系統(tǒng)相連，計(jì)算子系統(tǒng)還與存儲子系統(tǒng)相連。本發(fā)明通過管理中心獲取各個(gè)數(shù)據(jù)集分別對應(yīng)的配置信息，并根據(jù)配置信息為各個(gè)數(shù)據(jù)集生成對應(yīng)的配置文件和數(shù)據(jù)集標(biāo)識，各個(gè)子系統(tǒng)根據(jù)對應(yīng)的配置文件對數(shù)據(jù)集進(jìn)行處理；使得該系統(tǒng)可以根據(jù)用戶的配置完成各種類型的數(shù)據(jù)的處理；從而解決了由于要處理多種類型的數(shù)據(jù)而需要開發(fā)建立多套系統(tǒng)導(dǎo)致需要花費(fèi)大量資源和時(shí)間的問題；達(dá)到了一種數(shù)據(jù)處理系統(tǒng)只需通過簡單的配置即可完成多種數(shù)據(jù)類型的處理的效果。
【專利說明】數(shù)據(jù)處理系統(tǒng)、管理中心和數(shù)據(jù)處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息【技術(shù)領(lǐng)域】，特別涉及一種數(shù)據(jù)處理系統(tǒng)、管理中心和數(shù)據(jù)處理方 法。

【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)和網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，企業(yè)要處理的數(shù)據(jù)爆炸式的增長，數(shù) 據(jù)量已經(jīng)從 TB (1024GB=1TB)級別升到 PB (1024TB=1PB)級、EB (1024PB=1EB)、甚至 ZB (1024EB=1ZB)級別，所以對于海量數(shù)據(jù)的處理需要一整套的數(shù)據(jù)處理系統(tǒng)來完成。
[0003] 通常情況下，不同類型的企業(yè)所要產(chǎn)生的數(shù)據(jù)的類型也不一樣，那么對數(shù)據(jù)的處 理要求也不一樣，所以不同企業(yè)的數(shù)據(jù)處理系統(tǒng)也不一樣。比如，教育機(jī)構(gòu)的數(shù)據(jù)處理系統(tǒng) 和銀行機(jī)構(gòu)的數(shù)據(jù)處理系統(tǒng)因?yàn)閷?shù)據(jù)的處理要求不同，所以二者也不同。
[0004] 這種情況下，如果一個(gè)企業(yè)需要處理多種類型的數(shù)據(jù)，那么就需要多套數(shù)據(jù)處理 系統(tǒng)。而一套數(shù)據(jù)處理系統(tǒng)的開發(fā)到建立需要花費(fèi)大量的資源和時(shí)間，并且系統(tǒng)的穩(wěn)定性 也較差。


【發(fā)明內(nèi)容】

[0005] 為了解決由于要處理多種類型的數(shù)據(jù)而需要開發(fā)建立多套系統(tǒng)導(dǎo)致需要花費(fèi)大 量資源和時(shí)間的問題，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法及裝置。所述技術(shù)方案如 下：
[0006] 第一方面，提供了一種數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括：管理中心、分別與所述管理 中心相連的接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)，所述接入子系統(tǒng)還與所述計(jì)算子系統(tǒng) 相連，所述計(jì)算子系統(tǒng)還與所述存儲子系統(tǒng)相連；
[0007] 所述管理中心，用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息，并根據(jù)所述至 少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述至少兩個(gè)數(shù)據(jù)集分別生成各自的配置文件和 數(shù)據(jù)集標(biāo)識，所述配置文件包括接入配置子文件、計(jì)算配置子文件和存儲配置子文件；分別 向所述接入子系統(tǒng)、所述計(jì)算子系統(tǒng)和所述存儲子系統(tǒng)發(fā)送對應(yīng)的配置子文件和所述數(shù)據(jù) 集標(biāo)識；
[0008] 所述接入子系統(tǒng)，用于接收所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的所述數(shù)據(jù)集標(biāo)識， 查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配置子文件將各個(gè)數(shù)據(jù)集 和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)；
[0009] 所述計(jì)算子系統(tǒng)，用于接收各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識，查詢與 各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對各個(gè)數(shù)據(jù)集進(jìn)行相 同或者不同的統(tǒng)計(jì)分析以得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果 數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)；
[0010] 所述存儲子系統(tǒng)，用于接收各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集，查詢與各 個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的存儲配置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相 同或不同的方式存儲至不同存儲位置。
[0011] 第二方面，提供了一種管理中心，所述管理中心，包括：
[0012] 獲取模塊，用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息；
[0013] 生成模塊，根據(jù)所述獲取模塊獲取到的至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為 所述至少兩個(gè)數(shù)據(jù)集分別生成各自的配置文件和數(shù)據(jù)集標(biāo)識，所述配置文件包括接入配置 子文件、計(jì)算配置子文件和存儲配置子文件；
[0014] 發(fā)送模塊，用于分別向接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)發(fā)送對應(yīng)的配置子 文件和所述數(shù)據(jù)集標(biāo)識，以便所述接入子系統(tǒng)在接收到所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的 所述數(shù)據(jù)集標(biāo)識之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配 置子文件將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)；以便所述 計(jì)算子系統(tǒng)在接收到所述接入子系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識 之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對所述 各個(gè)數(shù)據(jù)集進(jìn)行相同或者不同的統(tǒng)計(jì)分析以得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識 和對應(yīng)的所述結(jié)果數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)；以便所述存儲子系統(tǒng)在接收到所述計(jì)算 子系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng) 的存儲配置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相同或不同的方式存 儲至不同存儲位置。
[0015] 第二方面，提供了數(shù)據(jù)處理方法，用于第一方面所述的數(shù)據(jù)處理系統(tǒng)中的管理中 心，所述方法包括：
[0016] 獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息，
[0017] 根據(jù)所述至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述至少兩個(gè)數(shù)據(jù)集分別生 成各自的配置文件和數(shù)據(jù)集標(biāo)識，所述配置文件包括接入配置子文件、計(jì)算配置子文件和 存儲配置子文件；
[0018] 分別向所述接入子系統(tǒng)、所述計(jì)算子系統(tǒng)和所述存儲子系統(tǒng)發(fā)送對應(yīng)的配置子文 件和所述數(shù)據(jù)集標(biāo)識，以便所述接入子系統(tǒng)在接收到所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的所 述數(shù)據(jù)集標(biāo)識之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配置 子文件將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)；以便所述計(jì) 算子系統(tǒng)在接收到所述接入子系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識之 后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對所述各 個(gè)數(shù)據(jù)集進(jìn)行相同或者不同的統(tǒng)計(jì)分析以得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和 對應(yīng)的所述結(jié)果數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)；以便所述存儲子系統(tǒng)在接收到所述計(jì)算子 系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的 存儲配置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相同或不同的方式存儲 至不同存儲位置。
[0019] 本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是：
[0020] 通過管理中心獲取各個(gè)數(shù)據(jù)集分別對應(yīng)的配置信息，并根據(jù)配置信息為各個(gè)數(shù)據(jù) 集生成對應(yīng)的配置文件和數(shù)據(jù)集標(biāo)識，并將配置文件中各個(gè)配置子文件和數(shù)據(jù)集標(biāo)識分別 發(fā)送給接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)，以便接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng) 分別根據(jù)對應(yīng)的配置子文件對各個(gè)數(shù)據(jù)集進(jìn)行處理；使得該系統(tǒng)可以根據(jù)用戶的配置完成 各種類型的數(shù)據(jù)的處理；從而解決了由于要處理多種類型的數(shù)據(jù)而需要開發(fā)建立多套系統(tǒng) 導(dǎo)致需要花費(fèi)大量資源和時(shí)間的問題；達(dá)到了一種數(shù)據(jù)處理系統(tǒng)只需通過簡單的配置即可 完成多種數(shù)據(jù)類型的處理的效果。

【專利附圖】

【附圖說明】
[0021] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0022] 圖1是本發(fā)明實(shí)施例一提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0023] 圖2是本發(fā)明實(shí)施例二提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0024] 圖3是本發(fā)明實(shí)施例二提供的數(shù)據(jù)處理系統(tǒng)涉及的處理路徑示意圖；
[0025] 圖4是發(fā)明實(shí)施例三提供的管理中心的結(jié)構(gòu)方框圖；
[0026] 圖5是本發(fā)明實(shí)施例四提供的管理中心的結(jié)構(gòu)方框圖；
[0027] 圖6是本發(fā)明實(shí)施例五提供的數(shù)據(jù)處理方法的方法流程圖；
[0028] 圖7是本發(fā)明實(shí)施例六提供的數(shù)據(jù)處理方法的方法流程圖。

【具體實(shí)施方式】
[0029] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0030] 實(shí)施例一
[0031] 請參考圖1，其示出了本發(fā)明實(shí)施例一提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。該數(shù)據(jù) 處理系統(tǒng)包括：管理中心110、分別與管理中心110相連的接入子系統(tǒng)120、計(jì)算子系統(tǒng)130 和存儲子系統(tǒng)140,接入子系統(tǒng)120還與計(jì)算子系統(tǒng)130相連，計(jì)算子系統(tǒng)130還與存儲子 系統(tǒng)140相連；
[0032] 管理中心110,用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息，并根據(jù)至少兩 個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為至少兩個(gè)數(shù)據(jù)集分別生成各自的配置文件和數(shù)據(jù)集標(biāo) 識，配置文件包括接入配置子文件、計(jì)算配置子文件和存儲配置子文件；分別向接入子系統(tǒng) 120、計(jì)算子系統(tǒng)130和存儲子系統(tǒng)140發(fā)送對應(yīng)的配置子文件和數(shù)據(jù)集標(biāo)識；
[0033] 接入子系統(tǒng)120,用于接收至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的數(shù)據(jù)集標(biāo)識，查詢與各個(gè) 數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)接入配置子文件將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對 應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給計(jì)算子系統(tǒng)130 ;
[0034] 計(jì)算子系統(tǒng)130,用于接收各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識，查詢與各 個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)計(jì)算配置子文件對各個(gè)數(shù)據(jù)集進(jìn)行相同或者 不同的統(tǒng)計(jì)分析以得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的結(jié)果數(shù)據(jù)集發(fā)送 給存儲子系統(tǒng)140 ;
[0035] 存儲子系統(tǒng)140,用于接收各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的結(jié)果數(shù)據(jù)集，查詢與各個(gè)數(shù)據(jù) 集標(biāo)識對應(yīng)的存儲配置子文件，根據(jù)存儲配置子文件將結(jié)果數(shù)據(jù)集按照相同或不同的方式 存儲至不同存儲位置。
[0036] 綜上所述，本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)，通過管理中心獲取各個(gè)數(shù)據(jù)集分 別對應(yīng)的配置信息，并根據(jù)配置信息為各個(gè)數(shù)據(jù)集生成對應(yīng)的配置文件和數(shù)據(jù)集標(biāo)識，并 將配置文件中各個(gè)配置子文件和數(shù)據(jù)集標(biāo)識分別發(fā)送給接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子 系統(tǒng)，以便接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)分別根據(jù)對應(yīng)的配置子文件對各個(gè)數(shù)據(jù) 集進(jìn)行處理；使得該系統(tǒng)可以根據(jù)用戶的配置完成各種類型的數(shù)據(jù)的處理；從而解決了由 于要處理多種類型的數(shù)據(jù)而需要開發(fā)建立多套系統(tǒng)導(dǎo)致需要花費(fèi)大量資源和時(shí)間的問題； 達(dá)到了一種數(shù)據(jù)處理系統(tǒng)只需通過簡單的配置即可完成多種數(shù)據(jù)類型的處理的效果。
[0037] 本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)，在管理中心的Π 界面上提供用戶配置界面， 用戶可以針對自己所要處理的數(shù)據(jù)的類型進(jìn)行相應(yīng)的配置，即需要對數(shù)據(jù)作何處理；從而 該數(shù)據(jù)處理系統(tǒng)可以根據(jù)用戶的配置信息對用戶上報(bào)的數(shù)據(jù)進(jìn)行相應(yīng)的處理。
[0038] 實(shí)施例二
[0039] 請參考圖2,其示出了本發(fā)明實(shí)施例二提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。該數(shù)據(jù) 處理系統(tǒng)包括：管理中心210、分別與管理中心210相連的接入子系統(tǒng)220、計(jì)算子系統(tǒng)230 和存儲子系統(tǒng)240,接入子系統(tǒng)220還與計(jì)算子系統(tǒng)230相連，計(jì)算子系統(tǒng)230還與存儲子 系統(tǒng)240相連。
[0040] 其中，接入子系統(tǒng)220包括至少一個(gè)接收代理服務(wù)器221和與各個(gè)接收代理服務(wù) 器221相連的至少一個(gè)接收分發(fā)服務(wù)器222,每個(gè)接收代理服務(wù)器221還與至少一個(gè)上報(bào)端 223相連。
[0041] 計(jì)算子系統(tǒng)230包括至少一個(gè)計(jì)算節(jié)點(diǎn)231。
[0042] 存儲子系統(tǒng)240包括至少一個(gè)存儲服務(wù)器241。
[0043] 通常情況下，該數(shù)據(jù)處理系統(tǒng)的接入子系統(tǒng)220在多個(gè)地區(qū)分別設(shè)有上報(bào)端223 和對應(yīng)的接收代理服務(wù)器221，以便多個(gè)地區(qū)的用戶都可以使用該數(shù)據(jù)處理系統(tǒng)，并且用戶 可以指定所需要處理的數(shù)據(jù)的處理地區(qū)及對應(yīng)的存儲地區(qū)。比如，圖2所示的數(shù)據(jù)處理系 統(tǒng)中，分別在深圳地區(qū)、上海地區(qū)和XX地區(qū)設(shè)有上報(bào)端223和對應(yīng)的接收代理服務(wù)器221， 同時(shí)設(shè)有對應(yīng)的計(jì)算節(jié)點(diǎn)231和存儲服務(wù)器241。
[0044] 管理中心210,用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息，配置信息包括： 各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式、各個(gè)數(shù)據(jù)集的處理信息和各個(gè)數(shù)據(jù)集的結(jié)果信息。其中，各個(gè)數(shù)據(jù) 集的數(shù)據(jù)格式包括：各個(gè)數(shù)據(jù)集的字段名、字段類型和字段長度；各個(gè)數(shù)據(jù)集的處理信息 包括：各個(gè)數(shù)據(jù)集的字段維度和字段指標(biāo)；各個(gè)數(shù)據(jù)集的結(jié)果信息包括：各個(gè)數(shù)據(jù)集對應(yīng) 的結(jié)果數(shù)據(jù)集的存儲方式和存儲位置。
[0045] 需要說明的是，至少兩個(gè)數(shù)據(jù)集的數(shù)據(jù)類型可以相同，也可以不同，用戶只需要針 對自己所要處理的數(shù)據(jù)進(jìn)行相應(yīng)的配置，該數(shù)據(jù)處理系統(tǒng)即可完成各種數(shù)據(jù)類型的處理。 [0046] 比如，用戶需要分別統(tǒng)計(jì)表1中所示的希望小學(xué)的所有學(xué)生的語文成績的平均成 績、一（1)班所有學(xué)生的數(shù)學(xué)成績的平均成績和學(xué)生李曉的語文、數(shù)學(xué)和英語三科成績的平 均值，則用戶需要在管理中心的Π 界面中輸入對該數(shù)據(jù)集的配置信息，包括該數(shù)據(jù)集的數(shù) 據(jù)格式、處理信息和結(jié)果信息；
[0047] 其中，該數(shù)據(jù)集的數(shù)據(jù)格式包括：第一列數(shù)據(jù)的字段名為學(xué)校、字段類型為字符 型、字段長度為4 ;第二列數(shù)據(jù)的字段名為班級、字段類型為字符型、字段長度為4 ;第三列 數(shù)據(jù)的字段名為姓名、字段類型為字符型、字段長度為3 ;第四列數(shù)據(jù)的字段名為語文成 績、字段類型為數(shù)值型、字段長度為3 ;第五列數(shù)據(jù)的字段名為數(shù)學(xué)成績、字段類型為數(shù)值 型、字段長度為3 ;第六列數(shù)據(jù)的字段名為英語成績、字段類型為數(shù)值型、字段長度為3 ;對 于求表1中所示的希望小學(xué)的所有學(xué)生的語文成績的平均成績的處理信息包括：字段維度 為希望小學(xué)和語文成績，字段指標(biāo)為求平均值，即表示要對表1中希望小學(xué)的所有學(xué)生的 語文成績求平均值；對于求表1中所示的一（1)班所有學(xué)生的數(shù)學(xué)成績的平均成績的處理 信息包括：字段維度為一（1)和數(shù)學(xué)成績，字段指標(biāo)為求平均值，即表示要對表1中一（1)的 所有學(xué)生的數(shù)學(xué)成績求平均值；對于求表1中所示的學(xué)生李曉的語文、數(shù)學(xué)和英語三科成 績的平均值的處理信息包括：字段維度為李曉、語文成績、數(shù)學(xué)成績和英語成績，字段指標(biāo) 為求平均值，即表示要對表1中李曉的語文、數(shù)學(xué)和英語三科成績求平均值；該數(shù)據(jù)集的結(jié) 果信息為以文件系統(tǒng)方式存儲至存儲服務(wù)器。
[0048] 表 1
[0049]

【權(quán)利要求】
1. 一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：管理中也、分別與所述管理中也相 連的接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)，所述接入子系統(tǒng)還與所述計(jì)算子系統(tǒng)相連，所 述計(jì)算子系統(tǒng)還與所述存儲子系統(tǒng)相連； 所述管理中也，用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息，并根據(jù)所述至少兩 個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述至少兩個(gè)數(shù)據(jù)集分別生成各自的配置文件和數(shù)據(jù) 集標(biāo)識，所述配置文件包括接入配置子文件、計(jì)算配置子文件和存儲配置子文件；分別向所 述接入子系統(tǒng)、所述計(jì)算子系統(tǒng)和所述存儲子系統(tǒng)發(fā)送對應(yīng)的配置子文件和所述數(shù)據(jù)集標(biāo) 識； 所述接入子系統(tǒng)，用于接收所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的所述數(shù)據(jù)集標(biāo)識，查詢 與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配置子文件將各個(gè)數(shù)據(jù)集和各 個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)； 所述計(jì)算子系統(tǒng)，用于接收各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識，查詢與各個(gè) 數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對各個(gè)數(shù)據(jù)集進(jìn)行相同或 者不同的統(tǒng)計(jì)分析W得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù) 集發(fā)送給所述存儲子系統(tǒng)； 所述存儲子系統(tǒng)，用于接收各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集，查詢與各個(gè)數(shù) 據(jù)集標(biāo)識對應(yīng)的存儲配置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相同或 不同的方式存儲至不同存儲位置。
2. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述接入配置子文件包括傳輸 規(guī)則和分發(fā)規(guī)則，所述接入子系統(tǒng)包括：至少一個(gè)接收代理服務(wù)器和與各個(gè)接收代理服務(wù) 器相連的至少一個(gè)接收分發(fā)服務(wù)器，每個(gè)接收代理服務(wù)器還與至少一個(gè)上報(bào)端相連； 所述上報(bào)端，用于接收各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識，并將各個(gè)數(shù)據(jù)集 和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識上報(bào)至相連的接收代理服務(wù)器； 所述接收代理服務(wù)器，用于根據(jù)各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識查詢與各個(gè)數(shù)據(jù)集對應(yīng) 的接入配置子文件中的傳輸規(guī)則，并根據(jù)對應(yīng)的傳輸規(guī)則將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng) 的數(shù)據(jù)集標(biāo)識傳輸給對應(yīng)的接收分發(fā)服務(wù)器； 所述接收分發(fā)服務(wù)器，用于根據(jù)各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識查詢與各個(gè)數(shù)據(jù)集對應(yīng) 的接入配置子文件中的分發(fā)規(guī)則，并根據(jù)對應(yīng)的分發(fā)規(guī)則將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng) 的數(shù)據(jù)集標(biāo)識傳輸給所述計(jì)算子系統(tǒng)。
3. 根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理系統(tǒng)，其特征在于： 所述接收代理服務(wù)器，用于通過虛擬互聯(lián)網(wǎng)數(shù)據(jù)中也VIDC鏈路將各個(gè)數(shù)據(jù)集和各個(gè) 數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識傳輸給對應(yīng)的接收分發(fā)服務(wù)器。
4. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述計(jì)算配置子文件包括處理 路徑信息，所述處理路徑信息包括各個(gè)數(shù)據(jù)集所需要的各個(gè)統(tǒng)計(jì)分析步驟所對應(yīng)的數(shù)據(jù)集 標(biāo)識及執(zhí)行各個(gè)統(tǒng)計(jì)分析步驟的計(jì)算節(jié)點(diǎn)信息； 所述計(jì)算子系統(tǒng)包括：至少一個(gè)計(jì)算節(jié)點(diǎn)； 各個(gè)計(jì)算節(jié)點(diǎn)，用于根據(jù)各個(gè)數(shù)據(jù)集標(biāo)識查詢與各個(gè)數(shù)據(jù)集對應(yīng)的計(jì)算子文件中的處 理路徑信息，根據(jù)所述處理路徑信息對各個(gè)數(shù)據(jù)集進(jìn)行相同或者不同的統(tǒng)計(jì)分析得到對應(yīng) 的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)； 各個(gè)計(jì)算節(jié)點(diǎn)，用于根據(jù)所述處理路徑信息中需要自身執(zhí)行的統(tǒng)計(jì)分析步驟和對應(yīng)的 數(shù)據(jù)集標(biāo)識對各個(gè)數(shù)據(jù)集執(zhí)行至少一個(gè)統(tǒng)計(jì)分析步驟，并在統(tǒng)計(jì)分析后輸出各個(gè)數(shù)據(jù)集的 中間數(shù)據(jù)集或者結(jié)果數(shù)據(jù)集； 各個(gè)計(jì)算節(jié)點(diǎn)，還用于將所述中間數(shù)據(jù)集W及與所述中間數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā) 送給所述處理路徑信息所指示的下一跳計(jì)算節(jié)點(diǎn)；或者，將所述結(jié)果數(shù)據(jù)集W及與所述結(jié) 果數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述存儲子系統(tǒng)。
5. 根據(jù)權(quán)利4所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述與各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo) 識用于唯一標(biāo)識對應(yīng)數(shù)據(jù)集的身份； 每個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識為始終不變的標(biāo)識； 或者， 每個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識為擁有繼承關(guān)系的若干個(gè)數(shù)據(jù)集標(biāo)識，所述若干個(gè)數(shù)據(jù) 集標(biāo)識包括原始數(shù)據(jù)集標(biāo)識，和根據(jù)統(tǒng)計(jì)分析步驟的執(zhí)行、在前一數(shù)據(jù)集標(biāo)識基礎(chǔ)上根據(jù) 所述統(tǒng)計(jì)分析步驟繼承生成的新的數(shù)據(jù)集標(biāo)識，所述新的數(shù)據(jù)集標(biāo)識不僅繼續(xù)用于唯一標(biāo) 識對應(yīng)數(shù)據(jù)集的身份，還用于標(biāo)識已經(jīng)執(zhí)行過的所述統(tǒng)計(jì)分析步驟。
6. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述存儲配置子文件包括存儲 信息和遷移規(guī)則，所述存儲子系統(tǒng)包括：至少一個(gè)存儲服務(wù)器； 各個(gè)存儲服務(wù)器，用于根據(jù)各個(gè)數(shù)據(jù)集標(biāo)識查詢與各個(gè)數(shù)據(jù)集對應(yīng)的存儲信息，并根 據(jù)對應(yīng)的存儲信息將各個(gè)結(jié)果數(shù)據(jù)集按照相同或者不同的方式存儲至相應(yīng)的存儲位置； 各個(gè)存儲服務(wù)器，還用于根據(jù)各個(gè)數(shù)據(jù)集標(biāo)識查詢與各個(gè)數(shù)據(jù)集對應(yīng)的遷移規(guī)則，并 根據(jù)對應(yīng)的遷移規(guī)則將各個(gè)結(jié)果數(shù)據(jù)集從初始存儲位置遷移至目的存儲位置。
7. 根據(jù)權(quán)利要求1至6任一所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述配置信息包括：各 個(gè)數(shù)據(jù)集的數(shù)據(jù)格式、各個(gè)數(shù)據(jù)集的處理信息和各個(gè)數(shù)據(jù)集的結(jié)果信息； 所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式包括：各個(gè)數(shù)據(jù)集的字段名、字段類型和字段長度； 所述各個(gè)數(shù)據(jù)集的處理信息包括：各個(gè)數(shù)據(jù)集的字段維度和字段指標(biāo)； 所述各個(gè)數(shù)據(jù)集的結(jié)果信息包括：各個(gè)數(shù)據(jù)集對應(yīng)的結(jié)果數(shù)據(jù)集的存儲方式和存儲位 置； 所述管理中也，用于根據(jù)所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式生成所述配置文件中的接入配置 子文件，并結(jié)合所述接入子系統(tǒng)系統(tǒng)中各個(gè)設(shè)備的負(fù)載情況生成所述接入配置子文件中的 傳輸規(guī)則和分發(fā)規(guī)則； 所述管理中也，還用于根據(jù)所述各個(gè)數(shù)據(jù)集的處理信息生成所述配置文件中的計(jì)算配 置子文件，并結(jié)合所述計(jì)算子系統(tǒng)中各個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載情況生成所述計(jì)算配置子文件中 的處理路徑f旨息； 所述管理中也，還用于根據(jù)所述各個(gè)數(shù)據(jù)集的結(jié)果信息生成所述配置文件中的存儲配 置子文件，并結(jié)合所述存儲子系統(tǒng)中的各個(gè)存儲服務(wù)器的負(fù)載情況生成所述存儲配置子文 件中的存儲信息和遷移規(guī)則。
8. -種管理中也，用于如權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)中，其特征在于，所述管理中 也，包括： 獲取模塊，用于獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息； 生成模塊，根據(jù)所述獲取模塊獲取到的至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述 至少兩個(gè)數(shù)據(jù)集分別生成各自的配置文件和數(shù)據(jù)集標(biāo)識，所述配置文件包括接入配置子文 件、計(jì)算配置子文件和存儲配置子文件； 發(fā)送模塊，用于分別向接入子系統(tǒng)、計(jì)算子系統(tǒng)和存儲子系統(tǒng)發(fā)送對應(yīng)的配置子文件 和所述數(shù)據(jù)集標(biāo)識，W便所述接入子系統(tǒng)在接收到所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的所述 數(shù)據(jù)集標(biāo)識之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配置子 文件將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)；W便所述計(jì)算 子系統(tǒng)在接收到所述接入子系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識之后， 查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對所述各個(gè)數(shù) 據(jù)集進(jìn)行相同或者不同的統(tǒng)計(jì)分析W得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng) 的所述結(jié)果數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)；W便所述存儲子系統(tǒng)在接收到所述計(jì)算子系統(tǒng) 發(fā)送的各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的存儲 配置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相同或不同的方式存儲至不 同存儲位置。
9. 根據(jù)權(quán)利要求8所述的管理中也，其特征在于，所述配置信息包括：各個(gè)數(shù)據(jù)集的數(shù) 據(jù)格式、各個(gè)數(shù)據(jù)集的處理信息和各個(gè)數(shù)據(jù)集的結(jié)果信息； 所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式包括：各個(gè)數(shù)據(jù)集的字段名、字段類型和字段長度； 所述各個(gè)數(shù)據(jù)集的處理信息包括：各個(gè)數(shù)據(jù)集的字段維度和字段指標(biāo)； 所述各個(gè)數(shù)據(jù)集的結(jié)果信息包括：各個(gè)數(shù)據(jù)集對應(yīng)的結(jié)果數(shù)據(jù)集的存儲方式和存儲位 置； 所述生成模塊，包括： 標(biāo)識生成單元，用于生成各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識； 接入生成單元，用于根據(jù)所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式生成所述配置文件中的接入配置 子文件，并結(jié)合所述接入子系統(tǒng)系統(tǒng)中各個(gè)設(shè)備的負(fù)載情況生成所述接入配置子文件中的 傳輸規(guī)則和分發(fā)規(guī)則； 計(jì)算生成單元，用于根據(jù)所述各個(gè)數(shù)據(jù)集的處理信息生成所述配置文件中的計(jì)算配置 子文件，并結(jié)合所述計(jì)算子系統(tǒng)中各個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載情況生成所述計(jì)算配置子文件中的 處理路徑信息； 存儲生成單元，用于根據(jù)所述各個(gè)數(shù)據(jù)集的結(jié)果信息生成所述配置文件中的存儲配置 子文件，并結(jié)合所述存儲子系統(tǒng)中的各個(gè)存儲服務(wù)器的負(fù)載情況生成所述存儲配置子文件 中的存儲信息和遷移規(guī)則。
10. -種數(shù)據(jù)處理方法，用于如權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)中的管理中也，其特征 在于，所述方法包括： 獲取至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息， 根據(jù)所述至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述至少兩個(gè)數(shù)據(jù)集分別生成各 自的配置文件和數(shù)據(jù)集標(biāo)識，所述配置文件包括接入配置子文件、計(jì)算配置子文件和存儲 配置子文件； 分別向所述接入子系統(tǒng)、所述計(jì)算子系統(tǒng)和所述存儲子系統(tǒng)發(fā)送對應(yīng)的配置子文件和 所述數(shù)據(jù)集標(biāo)識，W便所述接入子系統(tǒng)在接收到所述至少兩個(gè)數(shù)據(jù)集和各自對應(yīng)的所述數(shù) 據(jù)集標(biāo)識之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的接入配置子文件，并根據(jù)所述接入配置子文 件將各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識發(fā)送給所述計(jì)算子系統(tǒng)；w便所述計(jì)算子 系統(tǒng)在接收到所述接入子系統(tǒng)發(fā)送的各個(gè)數(shù)據(jù)集和各個(gè)數(shù)據(jù)集對應(yīng)的數(shù)據(jù)集標(biāo)識之后，查 詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的計(jì)算配置子文件，并根據(jù)所述計(jì)算配置子文件對所述各個(gè)數(shù)據(jù) 集進(jìn)行相同或者不同的統(tǒng)計(jì)分析W得到對應(yīng)的結(jié)果數(shù)據(jù)集，并將各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的 所述結(jié)果數(shù)據(jù)集發(fā)送給所述存儲子系統(tǒng)；W便所述存儲子系統(tǒng)在接收到所述計(jì)算子系統(tǒng)發(fā) 送的各個(gè)數(shù)據(jù)集標(biāo)識和對應(yīng)的所述結(jié)果數(shù)據(jù)集之后，查詢與各個(gè)數(shù)據(jù)集標(biāo)識對應(yīng)的存儲配 置子文件，根據(jù)所述存儲配置子文件將所述結(jié)果數(shù)據(jù)集按照相同或不同的方式存儲至不同 存儲位置。
11.根據(jù)權(quán)利要求10所述的數(shù)據(jù)處理方法，其特征在于，所述配置信息包括：各個(gè)數(shù)據(jù) 集的數(shù)據(jù)格式、各個(gè)數(shù)據(jù)集的處理信息和各個(gè)數(shù)據(jù)集的結(jié)果信息； 所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式包括：各個(gè)數(shù)據(jù)集的字段名、字段類型和字段長度； 所述各個(gè)數(shù)據(jù)集的處理信息包括：各個(gè)數(shù)據(jù)集的字段維度和字段指標(biāo)； 所述各個(gè)數(shù)據(jù)集的結(jié)果信息包括：各個(gè)數(shù)據(jù)集對應(yīng)的結(jié)果數(shù)據(jù)集的存儲方式和存儲位 置； 所述根據(jù)所述至少兩個(gè)數(shù)據(jù)集所分別對應(yīng)的配置信息為所述至少兩個(gè)數(shù)據(jù)集分別生 成各自的配置文件，包括： 根據(jù)所述各個(gè)數(shù)據(jù)集的數(shù)據(jù)格式生成所述配置文件中的接入配置子文件，并結(jié)合所述 接入子系統(tǒng)系統(tǒng)中各個(gè)設(shè)備的負(fù)載情況生成所述接入配置子文件中的傳輸規(guī)則和分發(fā)規(guī) 則； 根據(jù)所述各個(gè)數(shù)據(jù)集的處理信息生成所述配置文件中的計(jì)算配置子文件，并結(jié)合所述 計(jì)算子系統(tǒng)中各個(gè)計(jì)算節(jié)點(diǎn)的負(fù)載情況生成所述計(jì)算配置子文件中的處理路徑信息； 根據(jù)所述各個(gè)數(shù)據(jù)集的結(jié)果信息生成所述配置文件中的存儲配置子文件，并結(jié)合所述 存儲子系統(tǒng)中的各個(gè)存儲服務(wù)器的負(fù)載情況生成所述存儲配置子文件中的存儲信息和遷 移規(guī)則。
【文檔編號】G06F17/30GK104346358SQ201310323031
【公開日】2015年2月11日 申請日期:2013年7月29日 優(yōu)先權(quán)日:2013年7月29日
【發(fā)明者】付凱, 羅偉, 楊帥, 何濤 申請人:騰訊科技（深圳）有限公司