本發(fā)明涉及信息處理技術(shù)領(lǐng)域，尤其涉及一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法及系統(tǒng)。

背景技術(shù)：

云存儲系統(tǒng)需要記錄某個時間點(diǎn)上每個用戶的實際使用容量和配額容量，對用戶的存儲空間的配額進(jìn)行檢查，保證使用容量達(dá)到配額后不能繼續(xù)占用更多存儲空間。如當(dāng)已使用空間超過配額容量時，系統(tǒng)應(yīng)該禁止用戶執(zhí)行創(chuàng)建操作。當(dāng)用戶刪除部分內(nèi)容后，使用空間小于配額容量時，系統(tǒng)應(yīng)該恢復(fù)用戶執(zhí)行創(chuàng)建操作。

而云存儲系統(tǒng)分布在多個數(shù)據(jù)中心中，同一用戶的不同請求經(jīng)過不同的接入節(jié)點(diǎn)連入云存儲系統(tǒng)。在付費(fèi)的云存儲系統(tǒng)中，需要統(tǒng)計每一用戶的操作記錄，根據(jù)操作記錄進(jìn)行收費(fèi)。在現(xiàn)有技術(shù)中在進(jìn)行操作記錄的統(tǒng)計時，采用集中的單點(diǎn)設(shè)備實時進(jìn)行統(tǒng)計，這種方式的問題在于會因為單點(diǎn)設(shè)備的設(shè)備能力導(dǎo)致統(tǒng)計瓶頸，造成延時大，若該單點(diǎn)設(shè)備出現(xiàn)故障會導(dǎo)致統(tǒng)計結(jié)果需要重新開始計算，故統(tǒng)計成本很大。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明實施例期望提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法及系統(tǒng)，至少部分解決信息統(tǒng)計

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例第一方面提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法，所述方法包括：

共享集群接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息；所述統(tǒng)計信息是基于至 少兩個數(shù)據(jù)中心訪問信息系統(tǒng)形成的操作記錄形成的；

接收統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求；

根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果；

將所述統(tǒng)計結(jié)果發(fā)送給統(tǒng)計服務(wù)器。

基于上述方案，所述共享集群包括區(qū)域共享集群；

所述統(tǒng)計服務(wù)器包括區(qū)域統(tǒng)計服務(wù)器；

所述共享集群接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息，包括：所述區(qū)域共享集群從所述接入節(jié)點(diǎn)接收操作記錄；

所述接收統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求，包括：接收區(qū)域統(tǒng)計發(fā)送的區(qū)域統(tǒng)計請求；

所述根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果，包括：根據(jù)所述區(qū)域統(tǒng)計請求，統(tǒng)計存儲在所述區(qū)域共享集群內(nèi)的操作記錄，形成區(qū)域統(tǒng)計結(jié)果；

所述將所述統(tǒng)計結(jié)果發(fā)送給統(tǒng)計服務(wù)器，包括：將所述區(qū)域統(tǒng)計結(jié)果發(fā)送給區(qū)域統(tǒng)計服務(wù)器。

基于上述方案，所述共享集群還包括系統(tǒng)共享集群；

所述統(tǒng)計服務(wù)器還包括系統(tǒng)統(tǒng)計服務(wù)器；

所述共享集群接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息，還包括：

所述系統(tǒng)共享集群接收所述區(qū)域共享集群形成區(qū)域統(tǒng)計結(jié)果；

所述接收統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求，包括：

所述系統(tǒng)共享集群接收所述系統(tǒng)統(tǒng)計服務(wù)器發(fā)送的系統(tǒng)統(tǒng)計請求；

所述根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果，包括：

所述系統(tǒng)共享集群根據(jù)所述系統(tǒng)統(tǒng)計請求，對所述區(qū)域統(tǒng)計結(jié)果進(jìn)行統(tǒng)計處理形成系統(tǒng)統(tǒng)計結(jié)果。

基于上述方案，所述方法還包括：

所述區(qū)域共享集群對所述操作記錄進(jìn)行匯總，形成區(qū)域匯總文件；所述區(qū)域匯總文件用于區(qū)域級備份；

所述系統(tǒng)共享集群對所述區(qū)域匯總文件進(jìn)行匯總，形成系統(tǒng)匯總文件；所述系統(tǒng)匯總文件用于系統(tǒng)級備份。

對所述統(tǒng)計信息進(jìn)行匯總，形成匯總文件；其中，所述匯總文件能夠用于備份所述統(tǒng)計信息。

基于上述方案，所述方法還包括：

在形成所述區(qū)域統(tǒng)計結(jié)果時，所述區(qū)域共享集群還生成區(qū)域成功統(tǒng)計記錄信息；所述區(qū)域成功統(tǒng)計記錄信息用于指示所述區(qū)域共享集群已成功統(tǒng)計的操作記錄；

在形成所述系統(tǒng)統(tǒng)計結(jié)果時，所述系統(tǒng)共享集群還生成系統(tǒng)成功統(tǒng)計記錄信息；所述系統(tǒng)級成功統(tǒng)計信息用于指示所述系統(tǒng)共享集群已成功統(tǒng)計的區(qū)域級統(tǒng)計結(jié)果。

本發(fā)明實施例第二方面提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)，所述系統(tǒng)包括：

共享集群，用于接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息；所述統(tǒng)計信息是基于至少兩個數(shù)據(jù)中心訪問信息系統(tǒng)形成的操作記錄形成的；

統(tǒng)計服務(wù)器，用于向所述共享集群發(fā)送的統(tǒng)計請求；

所述共享集群，還用于根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果；及將所述統(tǒng)計結(jié)果發(fā)送給統(tǒng)計服務(wù)器。

基于上述方案，所述共享集群包括區(qū)域共享集群；

所述統(tǒng)計服務(wù)器包括區(qū)域統(tǒng)計服務(wù)器；

所述區(qū)域共享集群，用于從所述接入節(jié)點(diǎn)接收操作記錄；接收區(qū)域統(tǒng)計發(fā)送的區(qū)域統(tǒng)計請求；根據(jù)所述區(qū)域統(tǒng)計請求，統(tǒng)計存儲在所述區(qū)域共享集群內(nèi)的操作記錄，形成區(qū)域統(tǒng)計結(jié)果；及將所述區(qū)域統(tǒng)計結(jié)果發(fā)送給區(qū)域統(tǒng)計服務(wù)器。

基于上述方案，所述共享集群還包括系統(tǒng)共享集群；

所述統(tǒng)計服務(wù)器還包括系統(tǒng)統(tǒng)計服務(wù)器；

所述系統(tǒng)共享集群，用于接收所述區(qū)域共享集群形成區(qū)域統(tǒng)計結(jié)果；接收所述系統(tǒng)統(tǒng)計服務(wù)器發(fā)送的系統(tǒng)統(tǒng)計請求；根據(jù)所述系統(tǒng)統(tǒng)計請求，對所述區(qū)域統(tǒng)計結(jié)果進(jìn)行統(tǒng)計處理形成系統(tǒng)統(tǒng)計結(jié)果。

基于上述方案，所述區(qū)域共享集群，還用于對所述操作記錄進(jìn)行匯總，形成區(qū)域匯總文件；所述區(qū)域匯總文件用于區(qū)域級備份；

所述系統(tǒng)共享集群，還用于對所述區(qū)域匯總文件進(jìn)行匯總，形成系統(tǒng)匯總文件；所述系統(tǒng)匯總文件用于系統(tǒng)級備份。

基于上述方案，所述區(qū)域共享集群，還用于在形成所述區(qū)域統(tǒng)計結(jié)果時，還生成區(qū)域成功統(tǒng)計記錄信息；所述區(qū)域成功統(tǒng)計記錄信息用于指示所述區(qū)域共享集群已成功統(tǒng)計的操作記錄；

所述系統(tǒng)共享集群，還用在形成所述系統(tǒng)統(tǒng)計結(jié)果時，還生成系統(tǒng)成功統(tǒng)計記錄信息；所述系統(tǒng)級成功統(tǒng)計信息用于指示所述系統(tǒng)共享集群已成功統(tǒng)

本發(fā)明實施例提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法及系統(tǒng)，采用共享集群對的基統(tǒng)計信息進(jìn)行統(tǒng)計，這樣就實現(xiàn)了采用多個共享集群中的設(shè)備來進(jìn)行信息統(tǒng)計，避免了單一設(shè)備統(tǒng)計的出現(xiàn)的效率低的現(xiàn)象。與此同時，采用共享集群來統(tǒng)計數(shù)據(jù)，還能避免單一設(shè)備統(tǒng)計，設(shè)備故障導(dǎo)致的所有統(tǒng)計結(jié)果均丟失，需要從頭開始統(tǒng)計的問題，且通過統(tǒng)計服務(wù)器可簡便的控制共享集群的信息統(tǒng)計。

附圖說明

圖1為本發(fā)明實施例提供的第一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法的流程示意圖；

圖2為本發(fā)明實施例提供的第二種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法的流程示意圖；

圖3為本發(fā)明實施例提供的第三種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法的流程示意圖；

圖4為本發(fā)明實施例提供的第四種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法的流程示意圖；

圖5為本發(fā)明實施例提供的第一種跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)的結(jié)構(gòu)示意圖；

圖6為本發(fā)明實施例提供的第二種跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

以下結(jié)合說明書附圖及具體實施例對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)闡述。

如圖1所示，本實施例提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算方法，所述方法包括：

步驟S110：共享集群接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息；所述統(tǒng)計信息是基于至少兩個數(shù)據(jù)中心訪問信息系統(tǒng)形成的操作記錄形成的；

步驟S120：接收統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求；

步驟S130：根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果；

步驟S140：將所述統(tǒng)計結(jié)果發(fā)送給統(tǒng)計服務(wù)器。

本實施例提供的跨數(shù)據(jù)中心的數(shù)據(jù)計算方法可應(yīng)用于共享集群中，例如用來對云存儲系統(tǒng)的用戶操作記錄的統(tǒng)計。本實施例所述的共享集群可包括一臺或一臺以上的處理設(shè)備。

在步驟S110中所述共享集群接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息。這里的所述統(tǒng)計信息可為操作記錄。所述操作記錄可為最原始的統(tǒng)計信息。所述統(tǒng)計信息還可包括前一級共享集群形成的統(tǒng)計結(jié)果。該操作記錄可為原始記錄在云存儲系統(tǒng)的接入設(shè)備中的操作記錄。這里的預(yù)設(shè)發(fā)送策略可包括按預(yù)設(shè)時間間隔發(fā)送的操作記錄，也可以按照當(dāng)所述操作記錄的更新量達(dá)到預(yù)設(shè)數(shù)據(jù)量時操作記錄。

在步驟S120所述共享集群將會接收統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求，在步驟S130中將在接收到統(tǒng)計請求之后，統(tǒng)計所述操作記錄，形成統(tǒng)計結(jié)果；并在步驟S140中將統(tǒng)計結(jié)果發(fā)送給服務(wù)器。在本實施例中所述統(tǒng)計結(jié)果可包括用戶在當(dāng)前統(tǒng)計時間端內(nèi)使用的存儲空間容量、訪問請求數(shù)以及數(shù)據(jù)交互流量等數(shù)據(jù)。

首先在本實施例中，所述統(tǒng)計服務(wù)器不直接參數(shù)統(tǒng)計，而是由存儲操作記錄的一個共享集群進(jìn)行統(tǒng)計。共享集群內(nèi)包括多個設(shè)備，多個設(shè)備同時參與統(tǒng)計，可以減少延時。由于共享集群內(nèi)多個設(shè)備同時出現(xiàn)故障的概率低，從而相對于有統(tǒng)計服務(wù)器單獨(dú)統(tǒng)計，會因為故障導(dǎo)致的需要重頭重新統(tǒng)計的概率低，從而提高統(tǒng)計的安全性。

作為本實施例的進(jìn)一步改進(jìn)，所述共享集群包括區(qū)域共享集群；所述統(tǒng)計服務(wù)器包括區(qū)域統(tǒng)計服務(wù)器；

所述步驟S110可包括：所述區(qū)域共享集群按照所述第一預(yù)設(shè)時間間隔從所述接入節(jié)點(diǎn)接收操作記錄；

所述步驟S120可包括：接收區(qū)域統(tǒng)計發(fā)送的區(qū)域統(tǒng)計請求；

所述步驟S130可包括：根據(jù)所述區(qū)域統(tǒng)計請求，統(tǒng)計存儲在所述區(qū)域共享集群內(nèi)的操作記錄，形成區(qū)域統(tǒng)計結(jié)果；

所述步驟S140可包括：將所述區(qū)域統(tǒng)計結(jié)果發(fā)送給區(qū)域統(tǒng)計服務(wù)器。

在本實施例中所述接入設(shè)備會將本地數(shù)據(jù)庫中存儲所述操作記錄。按照所述第一預(yù)設(shè)時間間隔上報所述區(qū)域共享集群。本實施例所述第一時間間隔可為預(yù)先設(shè)置的時間間隔。任意兩個所述第一預(yù)設(shè)時間間隔可都相等，這樣的話，所述區(qū)域共享集群將按周期接收所述操作記錄。但是，兩個所述第一預(yù)設(shè)時間間隔也可以不相等。例如，晚間用戶訪問云存儲系統(tǒng)的訪問頻次相對于白天的訪問頻次叫低。為了實現(xiàn)更好的統(tǒng)計，在晚間的所述第一時間間隔可以大于在白天的所述第一時間間隔。

所述區(qū)域共享集群接收到所述統(tǒng)計記錄之后，將存儲所述統(tǒng)計記錄。這樣的話，即便區(qū)域共享集群出現(xiàn)故障，丟失部分?jǐn)?shù)據(jù)，還可以從接入設(shè)備中重新提取，從而保證數(shù)據(jù)的高安全性。

所述區(qū)域共享集群接收區(qū)域統(tǒng)計服務(wù)器發(fā)送的統(tǒng)計請求，這樣區(qū)域共享集群就分區(qū)域進(jìn)行了統(tǒng)計。顯然一個云存儲系統(tǒng)中可能存在多個云存儲區(qū)域；每個云存儲區(qū)域都可對應(yīng)設(shè)置一個區(qū)域共享集群，這樣的話，即便一個區(qū)域共享集群出現(xiàn)故障，導(dǎo)致該區(qū)域內(nèi)的統(tǒng)計結(jié)果不能及時提供，也不會干擾到其他區(qū)域內(nèi)的統(tǒng)計結(jié)果，從而重新統(tǒng)計的數(shù)據(jù)量小，對于整個系統(tǒng)內(nèi)整個統(tǒng)計結(jié)果的處理而言，依然能夠減少延時，保證統(tǒng)計結(jié)果的安全性。

作為本實施例的進(jìn)一步改進(jìn)，所述共享集群還包括系統(tǒng)共享集群；所述統(tǒng)計服務(wù)器還包括系統(tǒng)統(tǒng)計服務(wù)器。

所述步驟S110還包括：所述系統(tǒng)共享集群接收所述區(qū)域共享集群形成區(qū)域統(tǒng)計結(jié)果。這里的區(qū)域統(tǒng)計結(jié)果即為前述所述的統(tǒng)計信息。

所述步驟S120還包括：所述系統(tǒng)共享集群接收所述系統(tǒng)統(tǒng)計服務(wù)器發(fā)送的系統(tǒng)統(tǒng)計請求；

所述步驟S130可包括：所述系統(tǒng)共享集群根據(jù)所述系統(tǒng)統(tǒng)計請求，統(tǒng)計存儲在所述系統(tǒng)共享集群內(nèi)的操作記錄，形成系統(tǒng)統(tǒng)計結(jié)果。

在本實施例中所述統(tǒng)計服務(wù)器也分為兩級，一級為區(qū)域統(tǒng)計服務(wù)器，另一級為系統(tǒng)統(tǒng)計服務(wù)器。所述共享集群也分為兩級，一級為區(qū)域共性集群，另一級為系統(tǒng)共享集群。在本實施例的框架內(nèi)，所述共享集群不局限于兩級，還可以分為三級、四級或四級以上的。所述統(tǒng)計服務(wù)器也可以分為三級、四級或四級以上的統(tǒng)計服務(wù)器。

在本實施例中所述第二時間間隔可以等于所述第一時間間隔，也可以不等于所述第一時間間隔。當(dāng)然任意兩個所述第一時間間隔可以相等，也可以不相等。在本實施例中所述系統(tǒng)共享集群將從統(tǒng)計服務(wù)器接收已成功統(tǒng)計的操作記錄。本實施例中所述系統(tǒng)共享集群接收區(qū)域共享集群統(tǒng)計形成的區(qū)域統(tǒng)計結(jié)果，對各個區(qū)域的區(qū)域統(tǒng)計結(jié)果進(jìn)行統(tǒng)計處理，得到系統(tǒng)統(tǒng)計結(jié)果。在本實施例中所述系統(tǒng)共享集群可以直接從所述區(qū)域共享集群接收所述區(qū)域統(tǒng)計結(jié)果，也可以通過所述區(qū)域統(tǒng)計服務(wù)器來接收所述區(qū)域統(tǒng)計結(jié)果。

如圖2所示，在本實施例中所述方法還包括：

步驟S131：所述區(qū)域共享集群對所述操作記錄進(jìn)行匯總，形成區(qū)域匯總文件；所述區(qū)域匯總文件用于區(qū)域級備份；

所述系統(tǒng)共享集群對所述區(qū)域匯總文件進(jìn)行匯總，形成系統(tǒng)匯總文件；所述系統(tǒng)匯總文件用于系統(tǒng)級備份。

多個操作記錄匯總文件可形成區(qū)域匯總文集。所述區(qū)域匯總文件還將作為下一級共享集群進(jìn)行匯總的統(tǒng)計信息。所述系統(tǒng)共享集群在接收所述區(qū)域統(tǒng)計結(jié)果的同時，可一同從區(qū)域共享集群或區(qū)域統(tǒng)計服務(wù)器接收所述區(qū)域匯總文件，并對所述區(qū)域匯總文件進(jìn)行匯總形成系統(tǒng)匯總文件。本實施例所述匯總文件是進(jìn)行了信息匯總，排除了錯誤統(tǒng)計信息和冗余統(tǒng)計信息，進(jìn)行了壓縮等處理的可用于對統(tǒng)計信息進(jìn)行備份的信息。在本實施例中，通過所述匯總文件的生成和傳輸，可以在共享集群和統(tǒng)計服務(wù)器內(nèi)進(jìn)行統(tǒng)計信息的備份，這樣即便共享集群和/或統(tǒng)計服務(wù)器中的部分設(shè)備出現(xiàn)故障，也不會導(dǎo)致所有數(shù)據(jù)的丟失，從而增加了數(shù)據(jù)的安全性。

在具體的實現(xiàn)過程中，所述匯總文件可將與統(tǒng)計結(jié)果一通發(fā)送給統(tǒng)計服務(wù)器。

作為本實施例的進(jìn)一步改進(jìn)，如圖3所示，所述方法還包括：

步驟S132:

在形成所述區(qū)域統(tǒng)計結(jié)果時，所述區(qū)域共享集群還生成區(qū)域成功統(tǒng)計記錄信息；所述區(qū)域成功統(tǒng)計記錄信息用于指示所述區(qū)域共享集群已成功統(tǒng)計的操作記錄；

在形成所述系統(tǒng)統(tǒng)計結(jié)果時，所述系統(tǒng)共享集群還生成系統(tǒng)成功統(tǒng)計記錄信息；所述系統(tǒng)級成功統(tǒng)計信息用于指示所述系統(tǒng)共享集群已成功統(tǒng)計的區(qū)域級統(tǒng)計結(jié)果。

在本實施例還將生成功統(tǒng)計記錄信息，并按區(qū)域和系統(tǒng)進(jìn)行生成成功統(tǒng)計記錄信息，哪些統(tǒng)計信息還進(jìn)一步待統(tǒng)計。若設(shè)備出現(xiàn)故障，在進(jìn)行故障恢復(fù)時，可以根據(jù)所述成功統(tǒng)計記錄信息，可以快速確定從哪開始進(jìn)行統(tǒng)計。

例如，所述區(qū)域共享集群和所述系統(tǒng)集群按照周期進(jìn)行統(tǒng)計，則所述成功 統(tǒng)計記錄信息可記錄目前已經(jīng)完成截止到哪個時間周期的成功統(tǒng)計。

在本實施例中還可以將所述成功統(tǒng)計記錄信息由共享集群發(fā)送給統(tǒng)計服務(wù)器，方便統(tǒng)計服務(wù)器備份及后續(xù)查詢。

以下結(jié)合人任意實施例提供一個具體示例：

如圖4所示，在本示例中，假設(shè)有多個數(shù)據(jù)中心D1，D2…Dm；數(shù)據(jù)中心分布在不同的城市或者洲際，數(shù)據(jù)中心之間通過廣域網(wǎng)通信。數(shù)據(jù)中心D1中有X個接入節(jié)點(diǎn)n1，n2，…nx；其中所述X為不小于2的整數(shù)；所述x為不大于所述X的正整數(shù)。

同一個用戶的不同請求可能發(fā)給不同數(shù)據(jù)中心的不同接入節(jié)點(diǎn)進(jìn)行處理。假設(shè)在2011年01月12日10點(diǎn)26分期間，接入節(jié)點(diǎn)1收到了大量的訪問請求，其中包括用戶u1發(fā)送過來的創(chuàng)建10MB的對象/b1/o1請求(PUT/b1/o1)、以及用戶u2發(fā)送過來的創(chuàng)建20MB的對象/b2/o2請求(PUT/b2/o2)。在接入節(jié)點(diǎn)1成功處理完這兩個訪問請求后，其會將操作記錄寫到本地的操作記錄文件中，每個接入節(jié)點(diǎn)上的操作記錄文件每分鐘產(chǎn)生一個，如上述兩個請求是接入節(jié)點(diǎn)1在2011年01月12日10點(diǎn)26分期間處理完的，則產(chǎn)生的操作記錄文件名為n1-20110112-10-26，該文件中記錄格式為<操作記錄時間戳ts，操作類型type(上傳1、下載2、刪除3等)，操作是否處理成功bool(成功1、失敗0)，所屬數(shù)據(jù)中心名Dname，用戶名User，桶名Bucket，對象名Obj，大小size>，對于上述兩個請求其在操作記錄文件n1-20110112-10-26中的記錄條目為<20110112-10:26:36；1；1；D1；u1；b1；o1；10><20110112-10:26:46；1；1；D1；u2；b2；o2；20>。

每隔一定時間周期(例如，5分鐘)，會在區(qū)域共享集群中創(chuàng)建新目錄，將本數(shù)據(jù)中心的接入節(jié)點(diǎn)發(fā)送過來的一批記錄文件遷移到新目錄下。如接入節(jié)點(diǎn)1存放在其本地的一批記錄文件n1-20110112-10-25、n1-20110112-10-26、n1-20110112-10-27、n1-20110112-10-28、n1-20110112-10-29會存放在區(qū)域共享集群的輸入文件集合的/R-in/201101121025目錄下。

同理接入節(jié)點(diǎn)x的同批記錄文件也會存放在/R-in/201101121025目錄下。接 入節(jié)點(diǎn)x的n1-20110112-10-30、n1-20110112-10-31、n1-20110112-10-32、n1-20110112-10-33、n1-20110112-10-34會存放在區(qū)域共享集群的輸入文件集合的/R-in/201101121030目錄下。當(dāng)接入節(jié)點(diǎn)本地的操作記錄文件成功遷移后，接入節(jié)點(diǎn)即可刪除對應(yīng)的本地文件。

每隔一定時間周期(例如，5分鐘)，區(qū)域統(tǒng)計服務(wù)器會向區(qū)域共享集群自動發(fā)起統(tǒng)計計算請求，然后區(qū)域共享集群會啟動計算模塊將同一時間周期內(nèi)的該數(shù)據(jù)中心內(nèi)的所有接入節(jié)點(diǎn)的一批操作記錄文件進(jìn)行計算統(tǒng)計。如計算模塊將本數(shù)據(jù)中心的輸入文件集合的201101121025目錄下的所有文件進(jìn)行計算(如n1-20110112-10-25、n1-20110112-10-26、n1-20110112-10-27、n1-20110112-10-28、n1-20110112-10-29、…、nx-20110112-10-25、…)即可得到本數(shù)據(jù)中心在2011年01月12日10點(diǎn)25分至29分這段時間周期內(nèi)用戶統(tǒng)計表數(shù)據(jù)T1(如這段時間周期內(nèi)用戶在本數(shù)據(jù)中心的已使用空間UserSpace1、用戶操作請求數(shù)UserReq1、用戶操作流量UserTraffic1)、匯總輸出文件/R-out/201101121025、以及更新最近統(tǒng)計成功目錄S1(用以記錄一下該時間周期內(nèi)數(shù)據(jù)已成功統(tǒng)計，如last_succeed_dir1:201101121025)。這里的用戶統(tǒng)計表數(shù)據(jù)T1即對應(yīng)于者前述的區(qū)域統(tǒng)計結(jié)果。這里的最僅統(tǒng)計成功目錄S1即對應(yīng)著前述實施例中的所述成功統(tǒng)計記錄信息。這里的匯總輸出文件即為前述實施例中所述的匯總文件。

區(qū)域統(tǒng)計服務(wù)器將該數(shù)據(jù)中心內(nèi)已成功統(tǒng)計的匯總輸出文件/R-out/201101121025遷移到系統(tǒng)共享集群的輸入文件集合中(如數(shù)據(jù)中心1的區(qū)域統(tǒng)計服務(wù)器1將該數(shù)據(jù)中心D1內(nèi)已成功統(tǒng)計的匯總輸出文件/R-out/201101121025遷移到系統(tǒng)共享集群的輸入文件集合形成文件/R-in/201101121025/D1，數(shù)據(jù)中心m形成文件/R-in/201101121025/Dm)。

每隔一定時間周期(如5分鐘)，系統(tǒng)統(tǒng)計服務(wù)器會向系統(tǒng)共享集群自動發(fā)起統(tǒng)計計算請求，然后系統(tǒng)共享集群會啟動計算模塊將同一時間周期內(nèi)的所有數(shù)據(jù)中心的輸入文件集合進(jìn)行計算統(tǒng)計。如計算模塊將輸入文件集合的201101121025目錄下的所有文件進(jìn)行計算(如文件/R-in/201101121025/D1、…、/R-in/201101121025/Dm)即可得到云存儲系統(tǒng)在2011年01月12日10點(diǎn)25分 至29分這段時間周期內(nèi)用戶統(tǒng)計表數(shù)據(jù)T(如這段時間周期內(nèi)用戶在整個云存儲系統(tǒng)的已使用空間UserSpace、用戶操作請求數(shù)UserReq、用戶操作流量UserTraffic)、匯總輸出文件/R-out/201101121025、以及更新最近統(tǒng)計成功目錄S(用以記錄一下該時間周期內(nèi)數(shù)據(jù)已成功統(tǒng)計，如last_succeed_dir:201101121025)。

通過上述方法即可計算出用戶在整個云存儲系統(tǒng)中的使用量，對其進(jìn)行收費(fèi)。

以下提供一個基于上述實施例中所述的跨數(shù)據(jù)中心的數(shù)據(jù)計算方法，提供一種跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)。

如圖5所示，在本實施例中所述跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)包括：

共享集群110，用于接收按照預(yù)設(shè)發(fā)送策略發(fā)送的統(tǒng)計信息；所述統(tǒng)計信息是基于至少兩個數(shù)據(jù)中心訪問信息系統(tǒng)形成的操作記錄形成的；

統(tǒng)計服務(wù)器120，用于向所述共享集群發(fā)送的統(tǒng)計請求；

所述共享集群110，還用于根據(jù)所述統(tǒng)計請求，統(tǒng)計存儲在所述共享集群內(nèi)的統(tǒng)計信息，形成統(tǒng)計結(jié)果；及將所述統(tǒng)計結(jié)果發(fā)送給統(tǒng)計服務(wù)器。

在本實施例中在進(jìn)行所述跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)，可以用于云存儲系統(tǒng)中對用戶訪問的操作記錄的統(tǒng)計。在本實施例中采用共享集群來進(jìn)行信息統(tǒng)計，而共享集群通常至少由兩臺以上的設(shè)備構(gòu)成，這種采用分布式的集群設(shè)備的來進(jìn)行統(tǒng)計，可以提高統(tǒng)計效率，避免集中統(tǒng)計設(shè)備故障導(dǎo)致的統(tǒng)計結(jié)果全部丟失，同時還提供了統(tǒng)計結(jié)果形成的安全性和穩(wěn)定性。

如圖6所示，所述共享集群110包括區(qū)域共享集群111；所述統(tǒng)計服務(wù)器120包括區(qū)域統(tǒng)計服務(wù)器121；

所述區(qū)域共享集群111，用于從所述接入節(jié)點(diǎn)接收操作記錄；接收區(qū)域統(tǒng)計發(fā)送的區(qū)域統(tǒng)計請求；根據(jù)所述區(qū)域統(tǒng)計請求，統(tǒng)計存儲在所述區(qū)域共享集群內(nèi)的操作記錄，形成區(qū)域統(tǒng)計結(jié)果；及將所述區(qū)域統(tǒng)計結(jié)果發(fā)送給區(qū)域統(tǒng)計服務(wù)器。

在具體的應(yīng)用過程中，可以將數(shù)據(jù)系統(tǒng)劃分為多個區(qū)域，多個區(qū)域構(gòu)成了 所述數(shù)據(jù)系統(tǒng)。在本實施例中可以對應(yīng)每一個所述區(qū)域，設(shè)置一個區(qū)域共享集群和一個區(qū)域統(tǒng)計服務(wù)器。該區(qū)域共享集群和區(qū)域統(tǒng)計服務(wù)器，用于負(fù)責(zé)該區(qū)域內(nèi)統(tǒng)計信息的統(tǒng)計處理。

在本實施例中所述共享集群包括區(qū)域共享集群111，將接收接入設(shè)備發(fā)送的操作記錄，對操作記錄進(jìn)行統(tǒng)計，形成區(qū)域統(tǒng)計結(jié)果。所述統(tǒng)計服務(wù)器121將根據(jù)需求，向區(qū)域共享集群111發(fā)送統(tǒng)計請求，并接收區(qū)域共享集群發(fā)送的區(qū)域統(tǒng)計結(jié)果。這樣的話，在本實施例中在進(jìn)行信息統(tǒng)計時，將會分區(qū)域進(jìn)行統(tǒng)計，顯然有多個區(qū)域集群同時進(jìn)行信息統(tǒng)計，大大的提升了統(tǒng)計效率，也不會因為一個設(shè)備的故障導(dǎo)致統(tǒng)計工作的中止及已統(tǒng)計結(jié)果的全部丟失，顯然提升了統(tǒng)計的安全性和穩(wěn)定性。

如圖6所示，所述共享集群還包括系統(tǒng)共享集群112；所述統(tǒng)計服務(wù)器120還包括系統(tǒng)統(tǒng)計服務(wù)器122；

所述系統(tǒng)共享集群112，用于接收所述區(qū)域共享集群形成區(qū)域統(tǒng)計結(jié)果；接收所述系統(tǒng)統(tǒng)計服務(wù)器122發(fā)送的系統(tǒng)統(tǒng)計請求；根據(jù)所述系統(tǒng)統(tǒng)計請求，對所述區(qū)域統(tǒng)計結(jié)果進(jìn)行統(tǒng)計處理形成系統(tǒng)統(tǒng)計結(jié)果。

在本實施例中所述系統(tǒng)還引入例系統(tǒng)共享集群112，該系統(tǒng)共享集群112為區(qū)域共享集群111的上一層共享集群，負(fù)責(zé)對整個數(shù)據(jù)系統(tǒng)進(jìn)行統(tǒng)計。在本實施例中所述系統(tǒng)共享集群與所述區(qū)域統(tǒng)計服務(wù)器121相連，還可以直接與所述區(qū)域共享集群111相連。所述系統(tǒng)共享集群在區(qū)域共享集群111的區(qū)域統(tǒng)計結(jié)果之上，進(jìn)行基于系統(tǒng)的統(tǒng)計，形成系統(tǒng)統(tǒng)計結(jié)果。在本實施例中還引入控制系統(tǒng)共享集群112進(jìn)行統(tǒng)計的系統(tǒng)統(tǒng)計服務(wù)器122。該系統(tǒng)統(tǒng)計服務(wù)器112可用于向系統(tǒng)共享集群112發(fā)送系統(tǒng)統(tǒng)計請求，并接收系統(tǒng)共享集群112發(fā)送的系統(tǒng)統(tǒng)計結(jié)果。

顯然本實施例中所述的跨數(shù)據(jù)中心的數(shù)據(jù)計算系統(tǒng)，至少分為兩級進(jìn)行統(tǒng)計，這樣即便有系統(tǒng)統(tǒng)計結(jié)果出現(xiàn)丟失，還可以根據(jù)區(qū)域統(tǒng)計結(jié)果快速計算出系統(tǒng)統(tǒng)計結(jié)果，而不用重頭開始重新統(tǒng)計每一個操作記錄，顯然提升了故障恢復(fù)能力。

作為本實施例的進(jìn)一步改進(jìn)，所述共享集群110，所述區(qū)域共享集群，還用于對所述操作記錄進(jìn)行匯總，形成區(qū)域匯總文件；所述區(qū)域匯總文件用于區(qū)域級備份；

所述系統(tǒng)共享集群，還用于對所述區(qū)域匯總文件進(jìn)行匯總，形成系統(tǒng)匯總文件；所述系統(tǒng)匯總文件用于系統(tǒng)級備份。

這樣區(qū)域匯總文件和系統(tǒng)匯總文件至少形成兩級的文件匯總，這樣就能夠?qū)崿F(xiàn)多級備份，提高數(shù)據(jù)安全性。當(dāng)然所述區(qū)域匯總文件可存儲區(qū)域統(tǒng)計服務(wù)器；所述系統(tǒng)匯總文件可存儲與系統(tǒng)統(tǒng)計服務(wù)器。

此外，所述區(qū)域共享集群，還用于在形成所述區(qū)域統(tǒng)計結(jié)果時，還生成區(qū)域成功統(tǒng)計記錄信息；所述區(qū)域成功統(tǒng)計記錄信息用于指示所述區(qū)域共享集群已成功統(tǒng)計的操作記錄；

所述系統(tǒng)共享集群，還用在形成所述系統(tǒng)統(tǒng)計結(jié)果時，還生成系統(tǒng)成功統(tǒng)計記錄信息；所述系統(tǒng)級成功統(tǒng)計信息用于指示所述系統(tǒng)共享集群已成功統(tǒng)。。當(dāng)然這里的共享集群同樣可包括區(qū)域共享集群和系統(tǒng)共享集群；區(qū)域共享集群和系統(tǒng)共享集群分別根據(jù)自己的統(tǒng)計處理，形成所述已成功統(tǒng)計記錄信息。這樣，后續(xù)如出現(xiàn)設(shè)備故障等問題，可以根據(jù)區(qū)域共享集群和系統(tǒng)共享集群各自的成功統(tǒng)計記錄信息，確定需要從哪些數(shù)據(jù)開始進(jìn)行處理，盡可能的減少數(shù)據(jù)恢復(fù)的統(tǒng)計量。

作為本實施例的進(jìn)一步改進(jìn)，如圖6所示，所述系統(tǒng)還包括：

接入節(jié)點(diǎn)130，用于在響應(yīng)完用戶請求之后，根據(jù)響應(yīng)結(jié)果形成的操作記錄；所述操作記錄為所述統(tǒng)計信息之一。

所述接入節(jié)點(diǎn)可為各種能夠電子設(shè)備，如云存儲系統(tǒng)的云存儲設(shè)備，能夠用于接收用戶的訪問請求，響應(yīng)訪問請求，根據(jù)響應(yīng)結(jié)果來形成所述操作記錄。所述操作記錄可包括在一定時間內(nèi)的訪問請求數(shù)量、占用的存儲空間及與用戶交互的數(shù)據(jù)流量等信息。

接入節(jié)點(diǎn)在處理完用戶訪問請求后，會先將操作記錄寫到本地的操作記錄文件中；在本地存儲到一定數(shù)量后一起發(fā)送給區(qū)域共享集群，相比于每處理一 個請求即在區(qū)域共享集群中記錄一次，大大提高寫效率、減少網(wǎng)絡(luò)開銷。

將每個接入節(jié)點(diǎn)的操作記錄文件遷移到在區(qū)域共享集群中集中存儲、計算、并存放產(chǎn)生輸出統(tǒng)計表，便于使用區(qū)域共享集群的存儲資源的數(shù)據(jù)冗余機(jī)制保證數(shù)據(jù)的冗余存放不丟失、使用共享集群的計算模塊對整個數(shù)據(jù)中心進(jìn)行統(tǒng)計計算；相比存儲操作記錄文件和輸出統(tǒng)計表在接入節(jié)點(diǎn)或區(qū)域統(tǒng)計服務(wù)器上提高了計費(fèi)的正確性，因為接入節(jié)點(diǎn)或區(qū)域統(tǒng)計服務(wù)器的單點(diǎn)故障會導(dǎo)致數(shù)據(jù)的丟失、進(jìn)而導(dǎo)致計費(fèi)的不準(zhǔn)確。

區(qū)域統(tǒng)計服務(wù)器每隔一定時間周期向區(qū)域共享集群自動發(fā)起統(tǒng)計計算請求，由區(qū)域共享集群的計算模塊對存儲在該集群上的文件進(jìn)行統(tǒng)計。區(qū)域統(tǒng)計服務(wù)器并不進(jìn)行數(shù)據(jù)的存儲和計算，避免區(qū)域統(tǒng)計服務(wù)器的單點(diǎn)故障會導(dǎo)致數(shù)據(jù)的丟失、以及單臺機(jī)器計算效率低的問題。采用這種結(jié)構(gòu)，即使該區(qū)域統(tǒng)計服務(wù)器發(fā)生故障，再加入新的區(qū)域統(tǒng)計服務(wù)器對區(qū)域共享集群重新發(fā)起統(tǒng)計計算請求即可。

在區(qū)域共享集群中形成成功統(tǒng)計記錄信息，便于在區(qū)域統(tǒng)計服務(wù)器發(fā)生故障過段時間重啟后、或者新的區(qū)域統(tǒng)計服務(wù)器加入后，向區(qū)域共享集群再次自動發(fā)起統(tǒng)計計算請求時，區(qū)域共享集群了解到目前的統(tǒng)計進(jìn)展，便于從最近統(tǒng)計成周期的下一個時間周期開始進(jìn)行統(tǒng)計。采用這種結(jié)構(gòu)避免數(shù)據(jù)的重復(fù)統(tǒng)計，或者中途統(tǒng)計的丟失。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實現(xiàn)。以上所描述的設(shè)備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，如：多個單元或組件可以結(jié)合，或可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性的、機(jī)械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位于一個地方， 也可以分布到多個網(wǎng)絡(luò)單元上；可以根據(jù)實際的需要選擇其中的部分或全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各實施例中的各功能單元可以全部集成在一個處理模塊中，也可以是各單元分別單獨(dú)作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括：移動存儲設(shè)備、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。