一種對特定數(shù)據(jù)逐層邊剔除邊匯總的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及企業(yè)信息管理系統(tǒng)領(lǐng)域化RP)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其設(shè)及一種對特 定數(shù)據(jù)逐層邊剔除邊匯總的方法。
【背景技術(shù)】
[0002] 事務(wù)型系統(tǒng)往往只存儲最細粒度的數(shù)據(jù)，經(jīng)常需要按一個維度向多層級匯總數(shù) 據(jù)。在逐層匯總過程中，需要根據(jù)特定規(guī)則識別并剔除部分數(shù)據(jù)然后再加和。規(guī)則是可變 的;而每個層級、特定數(shù)據(jù)的規(guī)則不相同。如果數(shù)據(jù)量較大，設(shè)及的層級多，那么實時匯總將 會遇到性能和時效性問題。
[0003] 例如，現(xiàn)有公司資金監(jiān)控系統(tǒng)的模式為，各分公司服務(wù)器與金融機構(gòu)服務(wù)器直接 進行銀企互聯(lián)，從金融機構(gòu)獲取資金數(shù)據(jù)，然后將監(jiān)控采集的數(shù)據(jù)傳遞至總部服務(wù)器，由總 部服務(wù)器對全公司資金數(shù)據(jù)進行實時掌控。由于從金融機構(gòu)獲取的數(shù)據(jù)為實際發(fā)生的交 易，對于總部服務(wù)器而言，不能簡單的對所有交易數(shù)據(jù)直接進行匯總，因為各分公司之間的 往來不屬于資金的外流，只有對外收支才屬于全公司的凈收支情況。由于公司一般存在很 多分公司，分公司間有層級關(guān)系，因此存在按公司層級進行資金數(shù)據(jù)合并抵消的問題。但 是，服務(wù)器無法分辨資金數(shù)據(jù)是否屬于內(nèi)部交易，需要剔除運些內(nèi)部交易從而真實的展示 對上一級公司有意義的交易數(shù)據(jù)。
[0004] 由于上述方法設(shè)及多個復(fù)雜的數(shù)據(jù)處理環(huán)節(jié)，需設(shè)計出一種能夠快速有效的進行 數(shù)據(jù)匯總的方法，更容易被測試，更容易發(fā)現(xiàn)各個環(huán)節(jié)的問題。

【發(fā)明內(nèi)容】

[0005] 鑒于上述的分析，本發(fā)明旨在提供一種對特定數(shù)據(jù)逐層邊剔除邊匯總的方法，用 W解決現(xiàn)有系統(tǒng)中存在的性能和時效性的問題。
[0006] 本發(fā)明的目的主要是通過W下技術(shù)方案實現(xiàn)的：
[0007] -種對特定數(shù)據(jù)逐層邊剔除邊匯總的方法，其特征在于，包括：
[000引建立服務(wù)器之間的關(guān)系表；
[0009] 將所述關(guān)系表與最細粒度數(shù)據(jù)表進行關(guān)聯(lián)，確定各層服務(wù)器所需參與匯總的數(shù) 據(jù)；
[0010] 各層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除后參與匯總，并將結(jié)果存儲到數(shù) 據(jù)表中。
[0011] 其特征在于，所述建立服務(wù)器之間的關(guān)系表包括：
[0012] 根據(jù)樹形組織結(jié)構(gòu)圖，W每層單位為根節(jié)點，建立各層服務(wù)器之間的關(guān)系表。
[0013] 其特征在于，所述關(guān)系表定期進行更新，或當(dāng)組織結(jié)構(gòu)發(fā)生變化時進行更新。
[0014] 其特征在于，所述各層服務(wù)器要按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除后參與匯 總，并將結(jié)果存儲到數(shù)據(jù)表中包括：
[0015] 底層服務(wù)器將需參與匯總的數(shù)據(jù)發(fā)送給上一層服務(wù)器；
[0016] 上一層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除或者取不同的度量值參與匯 總，并將匯總結(jié)果數(shù)據(jù)存儲到數(shù)據(jù)表中；
[0017] 上一層服務(wù)器將匯總結(jié)果數(shù)據(jù)發(fā)送給再上一層服務(wù)器進行匯總；
[0018] 重復(fù)上述步驟直至頂層服務(wù)器完成匯總。
[0019] 其特征在于，所述將部分數(shù)據(jù)剔除包括：
[0020] 根據(jù)剔除規(guī)則，將需要剔除的數(shù)據(jù)進行標(biāo)記，再根據(jù)此數(shù)據(jù)來完成邊剔除邊匯總。
[0021] -種對特定數(shù)據(jù)逐層邊剔除邊匯總的系統(tǒng)，其特征在于，包括：
[0022] 各層服務(wù)器的關(guān)系表建立模塊，建立服務(wù)器之間的關(guān)系表；
[0023] 各層服務(wù)器將所述關(guān)系表與最細粒度數(shù)據(jù)表進行關(guān)聯(lián)，確定各層服務(wù)器所需參與 匯總的數(shù)據(jù)；
[0024] 各層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除后參與匯總，并將結(jié)果存儲到數(shù) 據(jù)表中。
[0025] 其特征在于，所述各層服務(wù)器的關(guān)系表建立模塊，建立服務(wù)器之間的關(guān)系表包括：
[0026] 根據(jù)樹形組織結(jié)構(gòu)圖，W每層單位為根節(jié)點，建立各層服務(wù)器之間的關(guān)系表。
[0027] 其特征在于，所述關(guān)系表定期進行更新，或當(dāng)組織結(jié)構(gòu)發(fā)生變化時進行更新。
[0028] 其特征在于，所述各層服務(wù)器要按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除或者取不同 的度量值參與匯總，并將結(jié)果存儲到數(shù)據(jù)表中包括：
[0029] 底層服務(wù)器將需參與匯總的數(shù)據(jù)發(fā)送給上一層服務(wù)器；
[0030] 上一層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除后參與匯總，并將匯總結(jié)果數(shù) 據(jù)存儲到數(shù)據(jù)表中；
[0031 ]上一層服務(wù)器將匯總結(jié)果數(shù)據(jù)發(fā)送給再上一層服務(wù)器進行匯總；
[0032] 重復(fù)上述步驟直至頂層服務(wù)器完成匯總。
[0033] 其特征在于，所述各層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除后參與匯總包 括：
[0034] 各層服務(wù)器的自動標(biāo)記模塊，根據(jù)預(yù)設(shè)的剔除規(guī)則，將需要剔除的數(shù)據(jù)進行標(biāo)記；
[0035] 各層服務(wù)器的轉(zhuǎn)存模塊，將標(biāo)記后的交易數(shù)據(jù)剔除；
[0036] 各層服務(wù)器的匯總模塊，對經(jīng)過剔除后的數(shù)據(jù)進行匯總，將匯總后的數(shù)據(jù)存儲到 數(shù)據(jù)表中。
[0037] 本發(fā)明有益效果如下：
[0038] 所述方法可W運用在事務(wù)性系統(tǒng)的多維度多層次的逐層數(shù)據(jù)匯總中，不依賴于明 細數(shù)據(jù)的變化，可W事先處理，處理過程無需關(guān)聯(lián)明細數(shù)據(jù)，從而保證了良好的性能；
[0039] 所述方法中的剔除規(guī)則抽象到數(shù)據(jù)字典，更好地適應(yīng)了需求的變化，結(jié)合多層數(shù) 據(jù)關(guān)系可W很好地解決實際業(yè)務(wù)需求;例如，在財務(wù)數(shù)據(jù)合并抵消、集團可用余額計算等應(yīng) 用中大量使用此專利；
[0040] 所述方法中，多層數(shù)據(jù)關(guān)系和剔除規(guī)則被單獨儲存，使得白盒測試過程中，很容易 地實現(xiàn)分步測試，而在生產(chǎn)環(huán)境中發(fā)現(xiàn)并解決問題也更加簡單。
[0041] 本發(fā)明的其他特征和優(yōu)點將在隨后的說明書中闡述，并且，部分的從說明書中變 得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明 書、權(quán)利要求書、W及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。
【附圖說明】
[0042] 附圖僅用于示出具體實施例的目的，而并不認為是對本發(fā)明的限制，在整個附圖 中，相同的參考符號表示相同的部件。
[0043] 圖1為服務(wù)器間的上下層關(guān)系示意圖；
[0044] 圖2為服務(wù)器關(guān)系表示意圖；
[0045] 圖3為本發(fā)明具體實施例的方法流程圖。
【具體實施方式】
[0046] 下面結(jié)合附圖來具體描述本發(fā)明的優(yōu)選實施例，其中，附圖構(gòu)成本申請一部分，并 與本發(fā)明的實施例一起用于闡釋本發(fā)明的原理。
[0047] 如圖1所示，組織機構(gòu)間的上下級關(guān)系形成了一顆多層級樹。而實際的業(yè)務(wù)發(fā)生在 樹的葉子節(jié)點(底層單位)上，也就是系統(tǒng)只存儲了底層單位的數(shù)據(jù)。
[0048] 基于單位及賬號關(guān)系的平鋪算法得到的單位、賬號關(guān)系，根據(jù)剔除規(guī)則，將需要剔 除的數(shù)據(jù)打標(biāo)，再根據(jù)此數(shù)據(jù)來完成邊剔除邊匯總。如何實現(xiàn)在數(shù)據(jù)逐層匯總過程中按規(guī) 則剔除。
[0049] 本發(fā)明公開了一種對特定數(shù)據(jù)進行標(biāo)記并從數(shù)據(jù)表中刪除的方法，如圖3所示，包 括W下步驟：
[0050] 頂層服務(wù)器根據(jù)樹形組織結(jié)構(gòu)圖，W每層單位為根節(jié)點，建立并存儲各層服務(wù)器 之間的關(guān)系表;其中，所述關(guān)系表定期進行更新，或當(dāng)組織結(jié)構(gòu)發(fā)生變化時進行更新。
[0051] 各底層服務(wù)器建立最細粒度數(shù)據(jù)表并發(fā)送給上一層服務(wù)器并轉(zhuǎn)發(fā)至上層服務(wù)器 直至頂層服務(wù)器；
[0052] 各層服務(wù)器將所述關(guān)系表和最細粒度數(shù)據(jù)表進行關(guān)聯(lián)，確定其下層服務(wù)器所需參 與匯總的數(shù)據(jù)；
[0053] 底層服務(wù)器將需參與匯總的數(shù)據(jù)通過加密傳輸方式發(fā)送給上一層服務(wù)器；
[0054] 上一層服務(wù)器按照預(yù)設(shè)的剔除規(guī)則將部分數(shù)據(jù)剔除或者取不同的度量值參與匯 總，并將匯總結(jié)果數(shù)據(jù)存儲到數(shù)據(jù)表中；其中，
[0055] 所述將部分數(shù)據(jù)剔除包括:根據(jù)剔除規(guī)則，將需要剔除的數(shù)據(jù)進行標(biāo)記，再根據(jù)此 數(shù)據(jù)來完成邊剔除邊匯總;所述剔除規(guī)則為:規(guī)則類型+規(guī)則識別方法+對應(yīng)單位;剔除規(guī)則 形成規(guī)則字典單獨存儲在頂層服務(wù)器中，而不是固化在數(shù)據(jù)識別的算法當(dāng)中。
[0056] 上一層服務(wù)器將匯總結(jié)果數(shù)據(jù)發(fā)送給再上一層服務(wù)器進行匯總；
[0057] 重復(fù)上述步驟直至頂層服務(wù)器完成匯總。
[0058] 在實際應(yīng)用中，所述剔除規(guī)則針對基礎(chǔ)數(shù)據(jù)，例如:銀行賬號的性質(zhì)決定了否應(yīng)該 易Ij除，如表1所示，內(nèi)部往來交易都是需要剔除的數(shù)據(jù)。
[0060] 表1
[0061] 所述根據(jù)預(yù)先設(shè)置的剔除規(guī)則對交易數(shù)據(jù)進行匹配，包括W下步驟：
[0062] 首先，確定交易數(shù)據(jù)是否屬于集團內(nèi)單位間轉(zhuǎn)賬交易；
[0063] 根據(jù)交易雙方集團賬號的屬性，W及具體交易的摘要內(nèi)容與系統(tǒng)建立的規(guī)則字典 進行匹配，確定是否屬于集團內(nèi)單位間轉(zhuǎn)賬交易；
[0064] 解析交易數(shù)據(jù)中交易雙方集團賬號屬性、摘要內(nèi)容；
[0065] 確定為集團賬號后，根據(jù)具體交易數(shù)據(jù)的摘要內(nèi)容與系統(tǒng)建立的規(guī)則字典進行匹 配，最后過濾出結(jié)果，比如"實歸收款"、"自下歸集"等則被識別為內(nèi)部的歸集交易，需要作 為內(nèi)部交易被剔除掉；
[0066] 如果所述交易數(shù)據(jù)不屬于集團內(nèi)單位間轉(zhuǎn)賬交易，則進一步判斷所