跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，包括：至少兩個(gè)前處理終端，接收來自平臺(tái)的大型數(shù)據(jù)，對(duì)其進(jìn)行轉(zhuǎn)換；一中央服務(wù)器，接收大型數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的大型數(shù)據(jù)進(jìn)行分析、取樣。與現(xiàn)有技術(shù)相比，本發(fā)明分載系統(tǒng)通過至少兩個(gè)前處理終端接收來自不同平臺(tái)的大型數(shù)據(jù)，并對(duì)大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使得傳送至中央服務(wù)器的、來自不同平臺(tái)的大型數(shù)據(jù)的格式統(tǒng)一，其均為中央服務(wù)器所需要的數(shù)據(jù)格式，從而無需高性能的中央服務(wù)器，減輕了中央服務(wù)器的負(fù)擔(dān)，使得中央服務(wù)器可以及時(shí)地處理完所有需要處理的數(shù)據(jù)，不會(huì)造成數(shù)據(jù)丟失，進(jìn)而提高了中央服務(wù)器對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性。本發(fā)明同時(shí)公開了一種跨平臺(tái)大型數(shù)據(jù)處理分載方法。
【專利說明】跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及跨平臺(tái)大型數(shù)據(jù)處理【技術(shù)領(lǐng)域】，更具體地涉及一種跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)及方法。
【背景技術(shù)】
[0002]當(dāng)前對(duì)跨平臺(tái)的大型數(shù)據(jù)處理，往往是采用單一的中央服務(wù)器進(jìn)行數(shù)據(jù)分析及取樣等。但這樣的數(shù)據(jù)處理方式存在以下缺陷:(1)在這個(gè)信息日益增長(zhǎng)的時(shí)代，當(dāng)中央服務(wù)器需要處理更多的數(shù)據(jù)時(shí)，必然需要高性能的中央服務(wù)器；(2)在對(duì)數(shù)據(jù)進(jìn)行分析及取樣前，必須保證數(shù)據(jù)的結(jié)構(gòu)、格式的一致性，但中央服務(wù)器接收來自各種不同平臺(tái)的大型數(shù)據(jù)，由于各平臺(tái)的數(shù)據(jù)多數(shù)情況下存在結(jié)構(gòu)、格式等方面的不一致性問題，從而加重了中央服務(wù)器的負(fù)擔(dān)，且極易造成中央服務(wù)器無法及時(shí)處理完所有需要處理的數(shù)據(jù)，嚴(yán)重時(shí)甚至?xí)斐蓴?shù)據(jù)的丟失等，從而大大地降低了對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性。
[0003]因此，急需一種改進(jìn)的跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)及方法來克服上述缺陷。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，該系統(tǒng)無需高性能的中央服務(wù)器，且能減輕中央服務(wù)器的負(fù)擔(dān)，提高中央服務(wù)器對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性。
[0005]本發(fā)明的另一目的是提供一種跨平臺(tái)大型數(shù)據(jù)處理分載方法，該方法無需高性能的中央服務(wù)器，且能減輕中央服務(wù)器的負(fù)擔(dān)，提高中央服務(wù)器對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，包括:
[0007]至少兩個(gè)前處理終端，每一所述前處理終端接收來自一平臺(tái)的大型數(shù)據(jù)，所述前處理終端對(duì)所述大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送；以及
[0008]一中央服務(wù)器，接收所述前處理終端所傳送的轉(zhuǎn)換后的所述大型數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的所述大型數(shù)據(jù)進(jìn)行分析、取樣。
[0009]與現(xiàn)有技術(shù)相比，本發(fā)明跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)通過至少兩個(gè)前處理終端接收來自不同平臺(tái)的大型數(shù)據(jù)，并通過前處理終端對(duì)大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使得傳送至中央服務(wù)器的、來自不同平臺(tái)的大型數(shù)據(jù)的格式統(tǒng)一，其均為中央服務(wù)器所需要的數(shù)據(jù)格式，從而無需高性能的中央服務(wù)器，減輕了中央服務(wù)器的負(fù)擔(dān)，使得中央服務(wù)器可以及時(shí)地處理完所有需要處理的數(shù)據(jù)，不會(huì)造成數(shù)據(jù)丟失，進(jìn)而提高了中央服務(wù)器對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性。
[0010]具體地,每一所述前處理終端具體包括:
[0011]接收模塊，用于接收來自所述平臺(tái)的大型數(shù)據(jù)；
[0012]轉(zhuǎn)換模塊，用于接收所述接收模塊所傳送的大型數(shù)據(jù)、并對(duì)所述大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送；以及[0013]傳送模塊，用于傳送轉(zhuǎn)換后的所述大型數(shù)據(jù)至所述中央服務(wù)器。
[0014]優(yōu)選地，每一所述前處理終端還包括:
[0015]記錄模塊，用于記錄所述平臺(tái)發(fā)送所述大型數(shù)據(jù)至所述接收模塊的歷史記錄。
[0016]相應(yīng)地，本發(fā)明還提供了一種跨平臺(tái)大型數(shù)據(jù)處理分載方法，包括:
[0017]前處理終端對(duì)來自不同平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以使得所述大型數(shù)據(jù)的格式為中央服務(wù)器所需要的數(shù)據(jù)格式；
[0018]發(fā)送轉(zhuǎn)換后的所述大型數(shù)據(jù)至所述中央服務(wù)器；
[0019]所述中央服務(wù)器接收所述大型數(shù)據(jù)并對(duì)所述大型數(shù)據(jù)進(jìn)行分析、取樣。
[0020]優(yōu)選地，前處理終端對(duì)來自不同平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換之前還包括:
[0021 ]至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)。
[0022]可選地，至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)之后還包括:
[0023]記錄所述平臺(tái)發(fā)送所述大型數(shù)據(jù)至所述前處理終端的歷史記錄。
[0024]優(yōu)選地，至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)之前還包括:
[0025]設(shè)置所述中央服務(wù)器所需要的數(shù)據(jù)格式。
[0026]通過以下的描述并結(jié)合附圖，本發(fā)明將變得更加清晰，這些附圖用于解釋本發(fā)明的實(shí)施例。
【專利附圖】

【附圖說明】
[0027]圖1為本發(fā)明跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)應(yīng)用時(shí)的結(jié)構(gòu)框圖。
[0028]圖2為圖1的原理框圖。
[0029]圖3為本發(fā)明跨平臺(tái)大型數(shù)據(jù)處理分載方法流程圖。
【具體實(shí)施方式】
[0030]現(xiàn)在參考附圖描述本發(fā)明的實(shí)施例，附圖中類似的元件標(biāo)號(hào)代表類似的元件
[0031]請(qǐng)參考圖1，本發(fā)明跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)包括多個(gè)前處理終端(1，2，。。。。。。η)及一中央服務(wù)器，多個(gè)前處理終端對(duì)應(yīng)多個(gè)平臺(tái)(1，2，。。。。。。η)，且多個(gè)前處理終端與多個(gè)平臺(tái)之間一一對(duì)應(yīng)。每一處理終端接收來自每一平臺(tái)的大型數(shù)據(jù)，并對(duì)大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送，中央服務(wù)器接收多個(gè)前處理終端所傳送的轉(zhuǎn)換后的大型數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的大型數(shù)據(jù)進(jìn)行分析、取樣。
[0032]具體地,請(qǐng)參考圖2,每一前處理終端包括:
[0033]接收模塊10，用于接收來自平臺(tái)的大型數(shù)據(jù)；
[0034]轉(zhuǎn)換模塊12，用于接收該接收模塊10所傳送的大型數(shù)據(jù)、并對(duì)大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送；
[0035]傳送模塊14，用于傳送轉(zhuǎn)換后的大型數(shù)據(jù)至中央服務(wù)器。
[0036]記錄模塊16，用于記錄平臺(tái)發(fā)送大型數(shù)據(jù)至接收模塊10的歷史記錄。
[0037]相應(yīng)地，請(qǐng)參考圖3，本發(fā)明還提供了一種跨平臺(tái)大型數(shù)據(jù)處理分載方法，其具體包括:[0038]S101，設(shè)置中央服務(wù)器所需要的數(shù)據(jù)格式Fwtput (Clata1, data2……datan)；
[0039]S102，初始化每一前處理終端；
[0040]S103，每一前處理終端接收每一平臺(tái)傳送的大型數(shù)據(jù)；如前所述，該分載系統(tǒng)包括多個(gè)前處理終端，且每一前處理終端對(duì)應(yīng)一平臺(tái)，故在此可接收來自不同平臺(tái)所傳送的多組大型數(shù)據(jù)；
[0041]S104，記錄每一平臺(tái)發(fā)送大型數(shù)據(jù)至每一前處理終端的歷史記錄；
[0042]S105,每一前處理終端對(duì)來自每一平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以使得大型數(shù)據(jù)的格式為中央服務(wù)器所需要的數(shù)據(jù)格式；具體地，平臺(tái)所傳送的數(shù)據(jù)格式為
Finput ((Iata1, data2......datan),前處理終端將其轉(zhuǎn)換后的數(shù)據(jù)格式為Fratput ((Iata1, data2......datan)；
[0043]S106，每一前處理終端分別發(fā)送轉(zhuǎn)換后的大型數(shù)據(jù)至中央服務(wù)器；
[0044]S107，中央服務(wù)器接收大型數(shù)據(jù)并對(duì)大型數(shù)據(jù)進(jìn)行分析、取樣以及完成對(duì)各平臺(tái)的服務(wù)所需。
[0045]從以上描述可以看出，本發(fā)明跨平臺(tái)大型數(shù)據(jù)分載系統(tǒng)及方法，具有以下有益效果:
[0046](I)通過多個(gè)前處理終端對(duì)來自不同平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，得傳送至中央服務(wù)器的、來自不同平臺(tái)的大型數(shù)據(jù)的格式統(tǒng)一，其均為中央服務(wù)器所需要的數(shù)據(jù)格式，使得中央服務(wù)器可以專注于數(shù)據(jù)分析、取樣及完成對(duì)各平臺(tái)的服務(wù)所需，且無需高性能的中央服務(wù)器，減輕了中央服務(wù)器的負(fù)擔(dān)，使得中央服務(wù)器可以及時(shí)地處理完所有需要處理的數(shù)據(jù)，不會(huì)造成數(shù)據(jù)丟失，進(jìn)而提高了中央服務(wù)器對(duì)大型數(shù)據(jù)的處理能力及分析的準(zhǔn)確性；
[0047](2)針對(duì)輸入到不同平臺(tái)的數(shù)據(jù)，均對(duì)應(yīng)有專門的前處理終端進(jìn)行轉(zhuǎn)換處理，從而在有限資源情況下提高了對(duì)資源的分配能力；
[0048](3)充分利用網(wǎng)絡(luò)技術(shù)，提高了大型數(shù)據(jù)處理的跨平臺(tái)能力；
[0049](4)前處理終端的記錄模塊可記錄平臺(tái)發(fā)送大型數(shù)據(jù)至接收模塊的歷史記錄，從而可以保存統(tǒng)一的平臺(tái)數(shù)據(jù)輸入歷史記錄，為誤差、錯(cuò)誤分析提供了有效的數(shù)據(jù)跟蹤。
[0050]以上結(jié)合最佳實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但本發(fā)明并不局限于以上揭示的實(shí)施例，而應(yīng)當(dāng)涵蓋各種根據(jù)本發(fā)明的本質(zhì)進(jìn)行的修改、等效組合。
【權(quán)利要求】
1.一種跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，其特征在于，包括: 至少兩個(gè)前處理終端，每一所述前處理終端接收來自一平臺(tái)的大型數(shù)據(jù)，所述前處理終端對(duì)所述大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送；以及 一中央服務(wù)器，接收所述前處理終端所傳送的轉(zhuǎn)換后的所述大型數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的所述大型數(shù)據(jù)進(jìn)行分析、取樣。
2.如權(quán)利要求1所述的跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，其特征在于，每一所述前處理終端具體包括: 接收模塊，用于接收來自所述平臺(tái)的大型數(shù)據(jù)； 轉(zhuǎn)換模塊，用于接收所述接收模塊所傳送的大型數(shù)據(jù)、并對(duì)所述大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換以傳送；以及 傳送模塊，用于傳送轉(zhuǎn)換后的所述大型數(shù)據(jù)至所述中央服務(wù)器。
3.如權(quán)利要求2所述的跨平臺(tái)大型數(shù)據(jù)處理分載系統(tǒng)，其特征在于，每一所述前處理終端還包括: 記錄模塊，用于記錄所述平臺(tái)發(fā)送所述大型數(shù)據(jù)至所述接收模塊的歷史記錄。
4.一種跨平臺(tái)大型數(shù)據(jù)處理分載方法，其特征在于，包括: 前處理終端對(duì)來自不同平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以使得所述大型數(shù)據(jù)的格式為中央服務(wù)器所需要的數(shù)據(jù)格式； 發(fā)送轉(zhuǎn)換后的所述大型數(shù)據(jù)至所述中央服務(wù)器； 所述中央服務(wù)器接收所述大型數(shù)據(jù)并對(duì)所述大型數(shù)據(jù)進(jìn)行分析、取樣。
5.如權(quán)利要求4所述的跨平臺(tái)大型數(shù)據(jù)處理分載方法，其特征在于，前處理終端對(duì)來自不同平臺(tái)的大型數(shù)據(jù)進(jìn)行轉(zhuǎn)換之前還包括: 至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)。
6.如權(quán)利要求5所述的跨平臺(tái)大型數(shù)據(jù)處理分載方法，其特征在于，至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)之后還包括: 記錄所述平臺(tái)發(fā)送所述大型數(shù)據(jù)至所述前處理終端的歷史記錄。
7.如權(quán)利要求5或6所述的跨平臺(tái)大型數(shù)據(jù)處理分載方法，其特征在于，至少兩個(gè)所述前處理終端接收來自至少兩個(gè)平臺(tái)的大型數(shù)據(jù)之前還包括: 設(shè)置所述中央服務(wù)器所需要的數(shù)據(jù)格式。
【文檔編號(hào)】G06F17/30GK103617288SQ201310683296
【公開日】2014年3月5日 申請(qǐng)日期:2013年12月13日 優(yōu)先權(quán)日:2013年12月13日
【發(fā)明者】黃彤元 申請(qǐng)人:東莞市富卡網(wǎng)絡(luò)技術(shù)有限公司