一種數(shù)據(jù)處理方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，其中所述方法包括：通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；基于所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。本發(fā)明實(shí)施例可保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
【專利說明】一種數(shù)據(jù)處理方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及電子【技術(shù)領(lǐng)域】，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]隨著數(shù)據(jù)量的迅速增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)庫(kù)分析技術(shù)已經(jīng)無法滿足海量數(shù)據(jù)分析的需求，現(xiàn)有技術(shù)通常采用集群處理與報(bào)表引擎的方式實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)分析處理與輸出。
[0003]集群處理方式在處理海量數(shù)據(jù)時(shí)通常需要多臺(tái)服務(wù)器進(jìn)行實(shí)時(shí)聯(lián)機(jī)計(jì)算，當(dāng)其中一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，單臺(tái)服務(wù)器節(jié)點(diǎn)響應(yīng)中斷會(huì)影響其他節(jié)點(diǎn)的數(shù)據(jù)處理，影響數(shù)據(jù)處理與報(bào)表引擎的穩(wěn)定性；此外，集群數(shù)據(jù)處理架構(gòu)的特點(diǎn)導(dǎo)致了現(xiàn)有技術(shù)方法在進(jìn)行報(bào)表查詢時(shí)，響應(yīng)速度和處理速度較慢。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
[0005]具體的，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，其可包括:
[0006]通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；
[0007]基于所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。
[0008]較佳的，通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表之前，包括:
[0009]采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)；
[0010]定時(shí)對(duì)所述數(shù)據(jù)倉(cāng)庫(kù)中所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)；[0011 ] 將所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。
[0012]較佳的，定時(shí)對(duì)所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)包括:
[0013]每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息；
[0014]檢測(cè)到所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。
[0015]較佳的，所述儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。
[0016]較佳的，所述定向集群處理是根據(jù)所述所述定向數(shù)據(jù)處理提示消息攜帶指定的數(shù)據(jù)處理方案進(jìn)行處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。
[0017]相應(yīng)的，本發(fā)明實(shí)施例還提供一種服務(wù)器，其可包括:
[0018]生成模塊，用于通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；[0019]展示模塊，用于基于所述生成模塊生成的所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。
[0020]較佳的，還包括:
[0021]采集與儲(chǔ)存模塊，用于采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)；
[0022]處理模塊，用于定時(shí)對(duì)所述采集與儲(chǔ)存模塊采集的位于所述數(shù)據(jù)倉(cāng)庫(kù)中的所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)；
[0023]更新與儲(chǔ)存模塊，用于將所述處理模塊生成的所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。
[0024]較佳的，所述處理模塊包括:
[0025]提示單元，用于每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息并發(fā)送至定向處理單元；
[0026]定向處理單元，用于檢測(cè)到所述提示單元發(fā)送的所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。
[0027]較佳的，所述采集與儲(chǔ)存模塊儲(chǔ)存所述待分析數(shù)據(jù)至所述數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。
[0028]較佳的，所述定向集群處理是根據(jù)所述所述定向數(shù)據(jù)處理提示消息攜帶指定的數(shù)據(jù)處理方案進(jìn)行處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。
[0029]本發(fā)明實(shí)施例基于集群處理后的結(jié)果數(shù)據(jù)庫(kù)進(jìn)行報(bào)表工作，可使服務(wù)器保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
【專利附圖】

【附圖說明】
[0030]為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單的介紹，顯而易見地，下面描述中的附圖是本發(fā)明實(shí)施例的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0031]圖1為本發(fā)明的數(shù)據(jù)處理方法的一實(shí)施例流程示意圖；
[0032]圖2為本發(fā)明的服務(wù)器的一實(shí)施例結(jié)構(gòu)組成示意圖；
[0033]圖3為本發(fā)明的服務(wù)器的另一實(shí)施例結(jié)構(gòu)組成示意圖；
[0034]圖4為本發(fā)明的服務(wù)器的一實(shí)施例流程示意圖；
[0035]圖5為本發(fā)明的服務(wù)器的另一實(shí)施例流程示意圖；
[0036]圖6為本發(fā)明的服務(wù)器的又一實(shí)施例流程示意圖；
[0037]圖7為本發(fā)明的數(shù)據(jù)處理方法的一數(shù)據(jù)結(jié)構(gòu)組成示意圖；
[0038]圖8為本發(fā)明的數(shù)據(jù)處理方法的另一數(shù)據(jù)結(jié)構(gòu)組成示意圖；
[0039]圖9為本發(fā)明的數(shù)據(jù)處理方法的又一數(shù)據(jù)結(jié)構(gòu)組成示意圖。
【具體實(shí)施方式】
[0040]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0041]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，其可包括:通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；基于所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。本發(fā)明實(shí)施例能夠在保留服務(wù)器海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
[0042]下面結(jié)合附圖及【具體實(shí)施方式】，對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。
[0043]如圖1所示，本發(fā)明提供的數(shù)據(jù)處理方法的一實(shí)施例可以包括以下步驟:
[0044]步驟SI 10，通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表。其中，本發(fā)明實(shí)施例所提及的封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，本發(fā)明實(shí)施例所提及的結(jié)果數(shù)據(jù)庫(kù)是通過定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新的。
[0045]本發(fā)明實(shí)施例主要是針對(duì)海量數(shù)據(jù)整理報(bào)表方案的改進(jìn)，故在實(shí)施本步驟之前，本發(fā)明實(shí)施例還須實(shí)施以下步驟:采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，用于儲(chǔ)存的數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存待分析數(shù)據(jù)；定時(shí)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的待分析數(shù)據(jù)進(jìn)行定向集群處理，生成封裝數(shù)據(jù)；將封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。
[0046]具體實(shí)施中，采集待分析數(shù)據(jù)主要是針對(duì)性地采集需要的數(shù)據(jù)。其中,可供采集數(shù)據(jù)的來源可以有多種，如數(shù)字電視終端、PC終端以及手機(jī)等移動(dòng)終端等，這些均可以為本發(fā)明實(shí)施例的待分析數(shù)據(jù)提供終端；采集數(shù)據(jù)的方式可以為定時(shí)采集，也可以為實(shí)時(shí)采集，其中，定時(shí)采集可以是根據(jù)規(guī)定的時(shí)間點(diǎn)進(jìn)行采集，也可以是以實(shí)時(shí)規(guī)定的時(shí)間點(diǎn)為基準(zhǔn)、按照一定的時(shí)間間隔進(jìn)行采集；此外，采集到待分析數(shù)據(jù)后，可以實(shí)時(shí)推送處理，也可以進(jìn)行數(shù)據(jù)隊(duì)列，定時(shí)批量推送處理，其中，推送處理可采用加密傳輸?shù)男问竭M(jìn)行傳輸，相應(yīng)地，也需要傳送與接收的雙方約定加解密協(xié)議。
[0047]具體實(shí)施中，采集到的數(shù)據(jù)需儲(chǔ)存到數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行保存，以供查詢和再次使用。其中，在進(jìn)行儲(chǔ)存過程中，需要對(duì)采集到的待分析數(shù)據(jù)進(jìn)行清洗和分組，待分析數(shù)據(jù)清洗主要用于過濾無效或者不合法的數(shù)據(jù)項(xiàng)，待分析數(shù)據(jù)分組主要用于以一定的維度將數(shù)據(jù)儲(chǔ)存在數(shù)據(jù)倉(cāng)庫(kù)中，以供定時(shí)分析，以及可能需要的查詢工作和再次分析使用。
[0048]具體實(shí)施中，用于儲(chǔ)存待分析數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)是按照一定的數(shù)據(jù)維度儲(chǔ)存收集到的待分析數(shù)據(jù)的，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)維度是按照實(shí)際應(yīng)用的情況進(jìn)行預(yù)設(shè)的，本發(fā)明實(shí)施例在創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)可直接對(duì)數(shù)據(jù)維度進(jìn)行預(yù)設(shè)，具體的使用中，還可以根據(jù)使用情況進(jìn)行數(shù)據(jù)維度的定義進(jìn)行修改、更新，或增刪數(shù)據(jù)維度。
[0049]具體實(shí)施中，定時(shí)對(duì)所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成封裝數(shù)據(jù)。本步驟主要是定時(shí)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中儲(chǔ)存的待分析數(shù)據(jù)進(jìn)行處理，將需要分析的數(shù)據(jù)整理并封裝，以供調(diào)取使用。具體的，本步驟可以通過以下步驟來實(shí)現(xiàn):每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息；檢測(cè)到定向數(shù)據(jù)處理提示消息后，按照定向數(shù)據(jù)處理提示消息對(duì)未處理過的待用數(shù)據(jù)進(jìn)行定向集群處理，生成封裝數(shù)據(jù)。
[0050]本發(fā)明實(shí)施例中定向集群處理數(shù)據(jù)的工作是定時(shí)進(jìn)行的，其可根據(jù)檢測(cè)到定向數(shù)據(jù)處理提示消息為基準(zhǔn)，定向數(shù)據(jù)處理提示消息的生成規(guī)則可以為:當(dāng)?shù)竭_(dá)系統(tǒng)指定的時(shí)間或時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息；或者，如前述步驟所提及的定時(shí)批量推送待分析數(shù)據(jù)，以接收到批量數(shù)據(jù)的時(shí)間為基準(zhǔn)，當(dāng)接收到批量數(shù)據(jù)時(shí)，生成定向數(shù)據(jù)處理提示消息。
[0051]本發(fā)明實(shí)施例所提及的定向處理提示消息用于提示進(jìn)行待分析數(shù)據(jù)的定向集群處理，該消息中攜帶指定的數(shù)據(jù)處理方案，其中，本發(fā)明實(shí)施例所提及的數(shù)據(jù)處理方案可包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。例如:數(shù)據(jù)處理方案可包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選工作，用于將需要的數(shù)據(jù)分離出來；數(shù)據(jù)處理方案還可包括數(shù)據(jù)定向組合，用于將拆分的數(shù)據(jù)根據(jù)實(shí)際需要進(jìn)行重組，合并到另一個(gè)數(shù)據(jù)文件中；數(shù)據(jù)處理方案還可以包括組合分析，用于將重組后的數(shù)據(jù)進(jìn)行組合式的分析，如，組合成需要分析的業(yè)務(wù)維度后加以集群分析并生成代表結(jié)果的封裝數(shù)據(jù)，以供調(diào)用，例如，組成業(yè)務(wù)維度的基本數(shù)據(jù)可以為IP地址所在的國(guó)家、當(dāng)前用戶是否為新用戶等，代表結(jié)果的封裝數(shù)據(jù)可以包括人數(shù)統(tǒng)計(jì)數(shù)據(jù)、使用產(chǎn)品的時(shí)長(zhǎng)、以及降低用戶體驗(yàn)的應(yīng)用缺陷等，通過業(yè)務(wù)維度分析，可生成代表離散結(jié)果的封裝數(shù)據(jù)。
[0052]相應(yīng)的，本發(fā)明實(shí)施例所提及的定向集群處理包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種，其可根據(jù)定向處理提示消息中所攜帶的數(shù)據(jù)處理方案進(jìn)行處理。
[0053]具體實(shí)施中，將封裝數(shù)據(jù)更新至結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。如前述步驟所提及的結(jié)果數(shù)據(jù)庫(kù)，其用于儲(chǔ)存定向集群處理后的封裝數(shù)據(jù)，其可供生成數(shù)據(jù)報(bào)表，在進(jìn)行報(bào)表生成、展示的過程中，調(diào)用結(jié)果數(shù)據(jù)庫(kù)中的數(shù)據(jù)無需多臺(tái)服務(wù)器并行計(jì)算，可直接根據(jù)經(jīng)定向集群處理后的數(shù)據(jù)進(jìn)行分析。
[0054]本發(fā)明實(shí)施例所提及的結(jié)果數(shù)據(jù)庫(kù)可以為一種本地?cái)?shù)據(jù)庫(kù)，也可以為一種網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，其可定時(shí)接收定向集群處理的封裝數(shù)據(jù)并進(jìn)行更新儲(chǔ)存，進(jìn)行調(diào)用和計(jì)算工作中無需多臺(tái)服務(wù)器的集群計(jì)算參與，其相對(duì)于集群處理狀態(tài)下的數(shù)據(jù)庫(kù)，具有較好的穩(wěn)定性。
[0055]本發(fā)明實(shí)施例所提及的數(shù)據(jù)報(bào)表是基于前述的結(jié)果數(shù)據(jù)庫(kù)生成的，故當(dāng)結(jié)果數(shù)據(jù)庫(kù)接收到新的封裝數(shù)據(jù)并進(jìn)行更新儲(chǔ)存后，數(shù)據(jù)報(bào)表也將隨之更新；生成數(shù)據(jù)報(bào)表后，運(yùn)用數(shù)據(jù)報(bào)表時(shí)，服務(wù)器也同樣不會(huì)受到參與集群計(jì)算的服務(wù)器的故障影響，具有較好的穩(wěn)定性，可提高報(bào)表工作的效率。
[0056]步驟S111，基于數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。本步驟主要基于前述步驟生成的數(shù)據(jù)報(bào)表進(jìn)行工作，服務(wù)器可通過配置報(bào)表展示頁面的元素和條件，也可通過頁面設(shè)置權(quán)限分配報(bào)表展示頁，也可通過設(shè)置路徑的方式，控制某些菜單使用權(quán)限。
[0057]具體實(shí)現(xiàn)中，當(dāng)需要?jiǎng)?chuàng)建新的報(bào)表選項(xiàng)時(shí)，可通過頁面的方式配置用于展示頁面的元素和條件，例如，可一并參照?qǐng)D7所示的數(shù)據(jù)結(jié)構(gòu)示意圖，用于輸入報(bào)表創(chuàng)建的參數(shù)可包括報(bào)表名稱、條件、SQL語句、圖表等，基于DeployReportController處理前臺(tái)，該類匯總可采用的數(shù)據(jù)處理方法可包括saveDeployReport、updateDeployReport、以及 deleteDeployReport 等相關(guān)工具，調(diào)用依賴類 DeployReportServiceImpl,DeployChartServiceImpI來保存報(bào)表的到數(shù)據(jù)庫(kù)中。
[0058]具體實(shí)現(xiàn)中，報(bào)表菜單的管理可以以用戶權(quán)限設(shè)置的方式進(jìn)行管理。本發(fā)明實(shí)施例的方法可通過頁面來設(shè)置使用權(quán)限，相關(guān)用戶可被授權(quán)后瀏覽展示頁面，相關(guān)用戶也可以通過權(quán)限調(diào)用數(shù)據(jù)，修改展示頁面。本發(fā)明實(shí)施例的方法中，權(quán)限的處理可根據(jù)url正則匹配而來，每一個(gè)被創(chuàng)建的報(bào)表都有一個(gè)唯一的url，其可根據(jù)選擇的目錄相應(yīng)生成。如，可一并參照?qǐng)D8所示的數(shù)據(jù)結(jié)構(gòu)示意圖，RoleManagerController類是負(fù)責(zé)創(chuàng)建角色以及給用戶分配角色的類，本發(fā)明實(shí)施例的方法中，可在類Re sour c eManager Con tr ο Iler中創(chuàng)建一個(gè)權(quán)限名稱以及一個(gè)匹配的urI,創(chuàng)建方法可以為，利用類中addResource、updateResource、deleteResource、以及 addRoleResource 等方法創(chuàng)建好權(quán)限后，根據(jù)需要分配該權(quán)限給某一個(gè)角色，即通過addRoleResource進(jìn)行角色選擇,用戶的角色代表了用戶是否具有瀏覽或修改頁面等權(quán)限。
[0059]具體實(shí)現(xiàn)中，報(bào)表展現(xiàn)處理功能主要是根據(jù)菜單的url來查詢數(shù)據(jù)庫(kù)報(bào)表的信息，自動(dòng)展現(xiàn)前臺(tái)頁面數(shù)據(jù)。如，可一并參照?qǐng)D9所示的數(shù)據(jù)結(jié)構(gòu)示意圖，一種TemplateController處理核心類，其可包含以下自動(dòng)展示功能:getGridJson報(bào)表的表格數(shù)據(jù)的處理；getBarJson柱形圖的數(shù)據(jù)處理；getPerJson餅狀圖的數(shù)據(jù)處理；getBasicLineJson線性圖的數(shù)據(jù)處理；getTemplatePage模板的處理化處理；getReportExportExcel 導(dǎo)出 Excel 數(shù)據(jù)處理。又如，一種 BaseController 分頁處理類，其可包含以下功能:getPage獲取前臺(tái)分頁參數(shù)；getReportGridJson獲取分頁表格數(shù)據(jù)；getReportJson獲取整個(gè)報(bào)表數(shù)據(jù)；getRequest獲取request,通過以上功能,可靈活地將url與前臺(tái)頁面數(shù)據(jù)的展現(xiàn)結(jié)合起來，便于查閱和參考。
[0060]此外，如前述步驟所提及的內(nèi)容，數(shù)據(jù)報(bào)表不會(huì)受到參與集群計(jì)算的服務(wù)器的故障影響，具有較好的穩(wěn)定性，故本步驟運(yùn)行的過程中同樣不會(huì)受到此類影響。
[0061]本發(fā)明實(shí)施例通過將集群處理的結(jié)果保留至穩(wěn)定的結(jié)果數(shù)據(jù)庫(kù)中，并基于結(jié)果數(shù)據(jù)庫(kù)生成數(shù)據(jù)報(bào)表和運(yùn)用數(shù)據(jù)報(bào)表，避免了集群處理中可能出現(xiàn)的響應(yīng)中斷影響，以及響應(yīng)速度問題，較好地提高了工作效率。由此，本發(fā)明實(shí)施例在保留服務(wù)器海量數(shù)據(jù)處理能力的同時(shí)，提高了報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
[0062]相應(yīng)的，本發(fā)明提供了一種服務(wù)器，其可包括:生成模塊，用于通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新；展示模塊，用于基于所述生成模塊生成的所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。本發(fā)明實(shí)施例的服務(wù)器可在保留海量數(shù)據(jù)處理能力的同時(shí)，提高報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
[0063]下面結(jié)合附圖及【具體實(shí)施方式】，對(duì)本發(fā)明的裝置的技術(shù)方案進(jìn)行詳細(xì)說明。
[0064]圖2為本發(fā)明的服務(wù)器的一實(shí)施例結(jié)構(gòu)組成示意圖。該實(shí)施例的裝置可用于執(zhí)行圖1所示的方法，具體的，該實(shí)施例的裝置包括:生成模塊21和展示模塊22，請(qǐng)一并參照?qǐng)D3所示的本發(fā)明實(shí)施例的服務(wù)器的另一結(jié)構(gòu)組成示意圖，本發(fā)明實(shí)施例的服務(wù)器還可以包括采集與儲(chǔ)存模塊23、處理模塊24和更新與儲(chǔ)存模塊25，其中，處理模塊24還可以進(jìn)一步包括提示單元241和定向處理單元242，其中:
[0065]生成模塊21，用于通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表。其中，結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，本發(fā)明實(shí)施例所提及的結(jié)果數(shù)據(jù)庫(kù)通過定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。
[0066]展示模塊22，用于基于生成模塊21生成的數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。[0067]本發(fā)明實(shí)施例的服務(wù)器還可以包括以下模塊:
[0068]采集與儲(chǔ)存模塊23，用于采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)。其中，采集與儲(chǔ)存模塊23儲(chǔ)存待分析數(shù)據(jù)至數(shù)據(jù)倉(cāng)庫(kù)包括清洗待分析數(shù)據(jù)、將待分析數(shù)據(jù)分組儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)中至少一種?？梢徊⒄?qǐng)D4所示的流程示意圖，本發(fā)明實(shí)施例的采集與儲(chǔ)存模塊23可通過多種終端獲取用于分析的數(shù)據(jù)，如數(shù)字電視終端、PC終端以及移動(dòng)終端等，還可以包括其他的可用于提供用于分析的數(shù)據(jù)的終端；采集與儲(chǔ)存模塊23采集數(shù)據(jù)的方式可以為定時(shí)采集，也可以為實(shí)時(shí)采集，其中，定時(shí)采集可以是根據(jù)規(guī)定的時(shí)間點(diǎn)進(jìn)行采集，也可以是以實(shí)時(shí)規(guī)定的時(shí)間點(diǎn)為基準(zhǔn)、按照一定的時(shí)間間隔進(jìn)行采集；另外，采集與儲(chǔ)存模塊23采集的待處理數(shù)據(jù)需儲(chǔ)存到數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行保存，以供處理模塊24使用，以及可能需要的查詢工作和再次分析使用，其將待處理數(shù)據(jù)推送至處理模塊24的方法可以為:實(shí)時(shí)推送至處理模塊24;也可以為，將數(shù)據(jù)隊(duì)列后，定時(shí)推送至處理模塊24，其中，推送處理可采用加密傳輸?shù)男问竭M(jìn)行傳輸，相應(yīng)地，也需要傳送與接收的雙方約定加解密協(xié)議。相應(yīng)的，采集與儲(chǔ)存模塊23在進(jìn)行隊(duì)列時(shí)，用于隊(duì)列的緩存可以為內(nèi)部緩存器，也可以為外置的緩存器，通過外置設(shè)備將緩存的隊(duì)列數(shù)據(jù)提供給處理模塊24?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。
[0069]處理模塊24，用于定時(shí)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中儲(chǔ)存的待分析數(shù)據(jù)進(jìn)行定向集群處理，生成封裝數(shù)據(jù)。其中，處理模塊24可通過以下兩個(gè)單元進(jìn)行待分析數(shù)據(jù)的定向集群處理。
[0070]提示單元241，用于每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息并發(fā)送至定向處理單元242。其中，生成定向數(shù)據(jù)處理提示消息的方法可以包括:系統(tǒng)根據(jù)規(guī)定的時(shí)間或時(shí)間間隔生成該提示消息；或者當(dāng)接收到采集與儲(chǔ)存模塊24定時(shí)推送的數(shù)據(jù)時(shí)，生成該提示消息。另外，定向數(shù)據(jù)處理提示消息中可攜帶指定的數(shù)據(jù)處理方案，如數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。
[0071]定向處理單元242，用于檢測(cè)到提示單元241發(fā)送的定向數(shù)據(jù)處理提示消息后，按照定向數(shù)據(jù)處理提示消息定時(shí)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中儲(chǔ)存的待分析數(shù)據(jù)進(jìn)行處理，將需要分析的數(shù)據(jù)整理并封裝。其中，定向集群處理可包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種，其根據(jù)定向數(shù)據(jù)處理提示消息中攜帶的內(nèi)容而定。本單元在進(jìn)行定向數(shù)據(jù)處理時(shí)可直接通過集成的數(shù)據(jù)模塊進(jìn)行數(shù)據(jù)處理，例如，可通過數(shù)據(jù)拆分程序、數(shù)據(jù)定向篩選程序等可內(nèi)置的應(yīng)用程序來實(shí)現(xiàn)定向數(shù)據(jù)處理，無需實(shí)時(shí)應(yīng)用編程語句實(shí)時(shí)編寫處理程序?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。
[0072]更新與儲(chǔ)存模塊25，用于將處理模塊24生成的封裝數(shù)據(jù)更新至結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。其中，結(jié)果數(shù)據(jù)庫(kù)可以為MYSQL展示數(shù)據(jù)庫(kù)等一類具有穩(wěn)定性的數(shù)據(jù)庫(kù)?！揪唧w實(shí)施方式】可參照前述步驟SllO所提及的方法，在此不作贅述。
[0073]可一并參考圖5提供的本發(fā)明實(shí)施例的服務(wù)器的一流程示意圖，該流程圖展示了采集單元23以定時(shí)推送隊(duì)列數(shù)據(jù)的方式向處理單元24推送數(shù)據(jù)的過程，其可包括以下步驟:
[0074]步驟S510，校對(duì)時(shí)間。本步驟可用于設(shè)置基準(zhǔn)時(shí)間，該基準(zhǔn)時(shí)間用于作為定時(shí)任務(wù)的基準(zhǔn)。
[0075]步驟S511，啟動(dòng)定時(shí)任務(wù)。其中，定時(shí)任務(wù)是以一定的時(shí)間間隔進(jìn)行推送數(shù)據(jù)工作。
[0076]步驟S512，是否經(jīng)過規(guī)定的時(shí)間間隔，到達(dá)提示時(shí)間。本步驟中，若經(jīng)過了規(guī)定的時(shí)間間隔，到達(dá)了提示時(shí)間，則執(zhí)行步驟S513;若尚未經(jīng)過規(guī)定的時(shí)間間隔，則重新執(zhí)行步驟 S512。
[0077]步驟S513，推送數(shù)據(jù)。其中，推送的數(shù)據(jù)通常為隊(duì)列數(shù)據(jù)，即前述的緩存器中的數(shù)據(jù)，當(dāng)接收到步驟S512的提示后，本步驟將隊(duì)列中的數(shù)據(jù)批量發(fā)送至處理模塊24進(jìn)行定向集群處理。
[0078]可一并參照?qǐng)D6所示的本發(fā)明實(shí)施例的服務(wù)器的又一流程示意圖，該流程圖展示了本發(fā)明實(shí)施例的服務(wù)器的處理模塊24處理數(shù)據(jù)、更新與儲(chǔ)存模塊25、生成模塊21和展示模塊22的工作流程，該流程可包括以下步驟:
[0079]步驟S610，數(shù)據(jù)處理流程。如圖6所示，其為包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種的定向集群處理，由流程圖可看出，定向集群處理過程需要多臺(tái)子服務(wù)器的支持得以實(shí)施，故本發(fā)明實(shí)施例的方法采用了用于處理海量數(shù)據(jù)的集群處理方法。
[0080]步驟S611，結(jié)果數(shù)據(jù)庫(kù)存儲(chǔ)與更新。本步驟用于將步驟S610的定向集群處理結(jié)果儲(chǔ)存并更新至結(jié)果數(shù)據(jù)庫(kù)，由此可知，本發(fā)明實(shí)施例的結(jié)果數(shù)據(jù)庫(kù)具有更新性和穩(wěn)定性。
[0081]步驟S612，報(bào)表生成。本步驟是基于步驟S611的結(jié)果數(shù)據(jù)庫(kù)進(jìn)行報(bào)表生成的，該報(bào)表可用于數(shù)據(jù)查詢、展示等。
[0082]步驟S613，報(bào)表展示。本步驟可基于步驟S612生成的報(bào)表進(jìn)行報(bào)表展示等工作。
[0083]本發(fā)明實(shí)施例所采用的用于儲(chǔ)存待分析數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)是按照一定的數(shù)據(jù)維度儲(chǔ)存收集到的待分析數(shù)據(jù)的，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)維度是按照實(shí)際應(yīng)用的情況進(jìn)行預(yù)設(shè)的，本發(fā)明實(shí)施例在創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)可直接對(duì)數(shù)據(jù)維度進(jìn)行預(yù)設(shè)，具體的使用中，還可以根據(jù)使用情況進(jìn)行數(shù)據(jù)維度的定義進(jìn)行修改、更新，或增刪數(shù)據(jù)維度。
[0084]本發(fā)明實(shí)施例所采用的結(jié)果數(shù)據(jù)庫(kù)可以為一種本地?cái)?shù)據(jù)庫(kù)，也可以為一種網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，其可定時(shí)接收定向集群處理的封裝數(shù)據(jù)并進(jìn)行更新儲(chǔ)存，進(jìn)行調(diào)用和計(jì)算工作中無需多臺(tái)服務(wù)器的集群計(jì)算參與，其相對(duì)于集群處理狀態(tài)下的數(shù)據(jù)庫(kù)，具有較好的穩(wěn)定性。
[0085]本發(fā)明實(shí)施例所采用的數(shù)據(jù)報(bào)表是基于結(jié)果數(shù)據(jù)庫(kù)生成的，故當(dāng)結(jié)果數(shù)據(jù)庫(kù)接收到新的封裝數(shù)據(jù)并進(jìn)行更新儲(chǔ)存后，數(shù)據(jù)報(bào)表也將隨之更新；生成數(shù)據(jù)報(bào)表后，運(yùn)用數(shù)據(jù)報(bào)表時(shí)，服務(wù)器也同樣不會(huì)受到參與集群計(jì)算的服務(wù)器的故障影響，具有較好的穩(wěn)定性，可提高報(bào)表工作的效率。
[0086]此外，本發(fā)明實(shí)施例所采用的數(shù)據(jù)報(bào)表不會(huì)受到參與集群計(jì)算的服務(wù)器的故障影響，具有較好的穩(wěn)定性，故實(shí)際運(yùn)行的過程中同樣不會(huì)受到此類影響。
[0087]本發(fā)明實(shí)施例的服務(wù)器通過將集群處理的結(jié)果保留至穩(wěn)定的結(jié)果數(shù)據(jù)庫(kù)中，并基于結(jié)果數(shù)據(jù)庫(kù)生成數(shù)據(jù)報(bào)表和運(yùn)用數(shù)據(jù)報(bào)表，避免了集群處理中可能出現(xiàn)的響應(yīng)中斷影響，以及響應(yīng)速度問題，較好地提高了工作效率。由此，本發(fā)明實(shí)施例的服務(wù)器在保留海量數(shù)據(jù)處理能力的同時(shí)，提高了報(bào)表工作的響應(yīng)速度和穩(wěn)定性。
[0088]本發(fā)明實(shí)施例中所述模塊或單元，可以通過通用集成電路，例如CPU (CentralProcessing Unit,中央處理器)，或通過 ASIC (Application Specific IntegratedCircuit,專用集成電路)來實(shí)現(xiàn)。[0089]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory, RAM)等。
[0090]以上所揭露的僅為本發(fā)明較佳實(shí)施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)處理方法，其特征在于，包括: 通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新； 基于所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于，通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表之前，包括: 采集待分析數(shù)據(jù)并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)； 定時(shí)對(duì)所述數(shù)據(jù)倉(cāng)庫(kù)中所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)； 將所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。
3.如權(quán)利要求2所述的方法，其特征在于，定時(shí)對(duì)所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)包括: 每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息； 檢測(cè)到所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。
4.如權(quán)利要求2所述的方法，其特征在于，所述儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。
5.如權(quán)利要求3所述的方法，其特征在于，所述定向集群處理是根據(jù)所述所述定向數(shù)據(jù)處理提示消息攜帶指定 的數(shù)據(jù)處理方案進(jìn)行處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。
6.一種服務(wù)器，其特征在于，包括: 生成模塊，用于通過結(jié)果數(shù)據(jù)庫(kù)中的封裝數(shù)據(jù)生成數(shù)據(jù)報(bào)表，所述封裝數(shù)據(jù)為經(jīng)定向集群處理后的數(shù)據(jù)處理結(jié)果，所述結(jié)果數(shù)據(jù)庫(kù)通過所述定向集群處理后的數(shù)據(jù)處理結(jié)果定時(shí)更新； 展示模塊，用于基于所述生成模塊生成的所述數(shù)據(jù)報(bào)表展示封裝數(shù)據(jù)。
7.如權(quán)利要求6所述的服務(wù)器，其特征在于，還包括: 采集與儲(chǔ)存模塊，用于采集待分析數(shù)據(jù)，并儲(chǔ)存至數(shù)據(jù)倉(cāng)庫(kù)，所述數(shù)據(jù)倉(cāng)庫(kù)按照預(yù)設(shè)的數(shù)據(jù)維度儲(chǔ)存所述待分析數(shù)據(jù)； 處理模塊，用于定時(shí)對(duì)所述采集與儲(chǔ)存模塊采集的位于所述數(shù)據(jù)倉(cāng)庫(kù)中的所述待分析數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)； 更新與儲(chǔ)存模塊，用于將所述處理模塊生成的所述封裝數(shù)據(jù)更新至所述結(jié)果數(shù)據(jù)庫(kù)并儲(chǔ)存。
8.如權(quán)利要求7所述的方法，其特征在于，所述處理模塊包括: 提示單元，用于每經(jīng)過規(guī)定的時(shí)間間隔時(shí)，生成定向數(shù)據(jù)處理提示消息并發(fā)送至定向處理單元； 定向處理單元，用于檢測(cè)到所述提示單元發(fā)送的所述定向數(shù)據(jù)處理提示消息后，按照所述定向數(shù)據(jù)處理提示消息對(duì)未處理過的所述待用數(shù)據(jù)進(jìn)行定向集群處理，生成所述封裝數(shù)據(jù)。
9.如權(quán)利要求7所述的方法，其特征在于，所述采集與儲(chǔ)存模塊儲(chǔ)存所述待分析數(shù)據(jù)至所述數(shù)據(jù)倉(cāng)庫(kù)包括清洗所述待分析數(shù)據(jù)、將所述待分析數(shù)據(jù)分組儲(chǔ)存至所述數(shù)據(jù)倉(cāng)庫(kù)中至少一種。
10.如權(quán)利要求8所述的方法，其特征在于，所述定向處理單元是根據(jù)所述提示單元發(fā)送的所述定向數(shù)據(jù)處理提示消息攜帶指定的數(shù)據(jù)處理方案進(jìn)行定向集群處理的，所述數(shù)據(jù)處理方案包括數(shù)據(jù)拆分、 數(shù)據(jù)定向篩選、數(shù)據(jù)定向組合、組合分析中一種或多種。
【文檔編號(hào)】G06F17/30GK103440333SQ201310399960
【公開日】2013年12月11日 申請(qǐng)日期:2013年9月5日 優(yōu)先權(quán)日:2013年9月5日
【發(fā)明者】鄧兵野, 毛雪松, 王盈利 申請(qǐng)人:深圳好視網(wǎng)絡(luò)科技有限公司