本發(fā)明屬于數(shù)據(jù)存儲領(lǐng)域，尤其涉及分布式系統(tǒng)環(huán)境下數(shù)據(jù)存儲方法。

背景技術(shù)：

一般情況下，一臺機(jī)器對外提供的吞吐最高也只能達(dá)到200MBps，若采用通常的機(jī)器鏡像即幾臺機(jī)器上的數(shù)據(jù)完全一致的方式，修復(fù)12TB的數(shù)據(jù)需要耗時(shí)20多個(gè)小時(shí)，考慮到正常的服務(wù)壓力，修復(fù)的時(shí)間將達(dá)到幾十個(gè)小時(shí)。

現(xiàn)有技術(shù)中提出了分布式存儲方式，將數(shù)據(jù)切分為多個(gè)庫，并復(fù)制幾份冗余，同一庫的不同冗余分布存儲于不同機(jī)器的不同位置，提高了修復(fù)速度。但是現(xiàn)有技術(shù)中將冗余數(shù)據(jù)分布在不同機(jī)器上時(shí)，采用的是隨機(jī)方式，對不同機(jī)器沒有加以選擇，造成了相同數(shù)據(jù)分布的機(jī)器都可能是故障頻發(fā)機(jī)器，因此造成數(shù)據(jù)維護(hù)困難和提高了數(shù)據(jù)丟失風(fēng)險(xiǎn)。

基于上述問題，現(xiàn)在亟需一種新的分布式系統(tǒng)存儲方法，將節(jié)點(diǎn)按照存儲風(fēng)險(xiǎn)值進(jìn)行分組，使得每個(gè)分組的平均存儲風(fēng)險(xiǎn)值相對均衡，將冗余數(shù)據(jù)分布到每個(gè)分組中，方便了數(shù)據(jù)維護(hù)和降低了數(shù)據(jù)丟失風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提出了一種分布式系統(tǒng)中數(shù)據(jù)存儲方法。

本發(fā)明采用的技術(shù)方案如下：

一種分布式系統(tǒng)中數(shù)據(jù)存儲方法，該方法包括如下步驟：

(1)將分布式系統(tǒng)中的m個(gè)節(jié)點(diǎn)i按照存儲容量、運(yùn)行負(fù)載和故障頻率按照下述公式(a)計(jì)算確定每個(gè)節(jié)點(diǎn)的存儲風(fēng)險(xiǎn)值R_i:

R_i＝S_i×P_i+1/F_i×Q_i+G_i×T_i (a)；

其中S_i表示節(jié)點(diǎn)i的存儲容量，P_i表示存儲容量所對應(yīng)的權(quán)重，F(xiàn)_i表示節(jié)點(diǎn)i的運(yùn)行歷史中的最高系統(tǒng)運(yùn)行負(fù)載，Q_i表示運(yùn)行負(fù)載所對應(yīng)的權(quán)重，G_i表示節(jié)點(diǎn)i的運(yùn)行歷史中的故障頻率，T_i表示故障頻率所對應(yīng)的權(quán)重，且P_i，Q_i，G_i>1；

(2)按照存儲風(fēng)險(xiǎn)值從低到高的順序?qū)個(gè)節(jié)點(diǎn)排成一個(gè)有序排隊(duì)，將有序隊(duì)列中隊(duì)首第一個(gè)節(jié)點(diǎn)和隊(duì)尾最后一個(gè)節(jié)點(diǎn)取出構(gòu)成第一存儲分組，對于剩余節(jié)點(diǎn)構(gòu)成的有序隊(duì)列按照上述方式繼續(xù)處理構(gòu)成后續(xù)多個(gè)存儲分組，直至有序隊(duì)列中只有2個(gè)或3個(gè)節(jié)點(diǎn)，則將上述2個(gè)或3個(gè)節(jié)點(diǎn)作為一個(gè)存儲分組，最終m個(gè)節(jié)點(diǎn)分成k個(gè)存儲分組；

(3)當(dāng)系統(tǒng)接收到數(shù)據(jù)存儲請求時(shí)，將數(shù)據(jù)切分成k個(gè)數(shù)據(jù)片段，對每個(gè)數(shù)據(jù)片段復(fù)制，獲得k組數(shù)據(jù)片段分組，每組數(shù)據(jù)片段分組中包括一個(gè)數(shù)據(jù)片段和其對應(yīng)的復(fù)制數(shù)據(jù)片段；

(4)將一個(gè)數(shù)據(jù)片段分組中的數(shù)據(jù)片段和對應(yīng)的復(fù)制數(shù)據(jù)片段分別存儲到一個(gè)存儲分組中的兩個(gè)節(jié)點(diǎn)中，直到k組數(shù)據(jù)片段分組中的數(shù)據(jù)片段和復(fù)制數(shù)據(jù)片段都存儲到k個(gè)存儲分組中；

(5)當(dāng)存儲分組中的一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，根據(jù)上述存儲分組中的另一個(gè)節(jié)點(diǎn)存儲的數(shù)據(jù)片段或復(fù)制數(shù)據(jù)片段，對上述發(fā)生故障的節(jié)點(diǎn)進(jìn)行修復(fù)；

(6)對每個(gè)節(jié)點(diǎn)設(shè)置一對一的端口，當(dāng)節(jié)點(diǎn)發(fā)生故障時(shí)，上述節(jié)點(diǎn)對應(yīng)的端口自動(dòng)關(guān)閉，當(dāng)發(fā)生故障的節(jié)點(diǎn)成功修復(fù)后，自動(dòng)開啟上述節(jié)點(diǎn)對應(yīng)的端口。

本發(fā)明的有益效果包括：將多個(gè)節(jié)點(diǎn)進(jìn)行分組，每個(gè)分組中包括一個(gè)存儲風(fēng)險(xiǎn)值較高的節(jié)點(diǎn)和一個(gè)存儲風(fēng)險(xiǎn)值較低的節(jié)點(diǎn)，使得每個(gè)分組中的平均存儲風(fēng)險(xiǎn)值相對均衡，避免了冗余數(shù)據(jù)分布的若干節(jié)點(diǎn)均為故障頻發(fā)的節(jié)點(diǎn)的情況，將冗余數(shù)據(jù)分布到這樣存儲風(fēng)險(xiǎn)均衡的分組中，方便了數(shù)據(jù)維護(hù)和降低了數(shù)據(jù)丟失風(fēng)險(xiǎn)。

【附圖說明】

此處所說明的附圖是用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，但并不構(gòu)成對本發(fā)明的不當(dāng)限定，在附圖中：

圖1是本發(fā)明分布式系統(tǒng)的結(jié)構(gòu)圖。

圖2是本發(fā)明分布式系統(tǒng)中數(shù)據(jù)存儲方法的流程圖。

【具體實(shí)施方式】

下面將結(jié)合附圖以及具體實(shí)施例來詳細(xì)說明本發(fā)明，其中的示意性實(shí)施例以及說明僅用來解釋本發(fā)明，但并不作為對本發(fā)明的限定。

參見附圖1，是本發(fā)明所應(yīng)用的分布式系統(tǒng)，該系統(tǒng)包括多個(gè)計(jì)算節(jié)點(diǎn)。

參見附圖2，一種分布式系統(tǒng)中數(shù)據(jù)存儲方法，該方法包括如下步驟：

(1)將分布式系統(tǒng)中的m個(gè)節(jié)點(diǎn)i按照存儲容量、運(yùn)行負(fù)載和故障頻率按照下述公式(a)計(jì)算確定每個(gè)節(jié)點(diǎn)的存儲風(fēng)險(xiǎn)值R_i:

R_i＝S_i×P_i+1/F_i×Q_i+G_i×T_i (a)；

其中S_i表示節(jié)點(diǎn)i的存儲容量，P_i表示存儲容量所對應(yīng)的權(quán)重，F(xiàn)_i表示節(jié)點(diǎn)i的運(yùn)行歷史中的最高系統(tǒng)運(yùn)行負(fù)載，Q_i表示運(yùn)行負(fù)載所對應(yīng)的權(quán)重，G_i表示節(jié)點(diǎn)i的運(yùn)行歷史中的故障頻率，T_i表示故障頻率所對應(yīng)的權(quán)重，且P_i，Q_i，G_i>1；

其中，存儲容量、運(yùn)行負(fù)載和故障頻率是分別影響一個(gè)節(jié)點(diǎn)存儲風(fēng)險(xiǎn)值的不同因素，其中存儲容量表示一個(gè)節(jié)點(diǎn)的存儲能力，存儲容量越大、則上述節(jié)點(diǎn)因?yàn)閿?shù)據(jù)存儲壓力造成的故障風(fēng)險(xiǎn)越低，反之越高；一個(gè)節(jié)點(diǎn)的運(yùn)行負(fù)載越大，則上述節(jié)點(diǎn)因?yàn)檫\(yùn)行超負(fù)荷所造成的故障風(fēng)險(xiǎn)越大，反之越低；一個(gè)節(jié)點(diǎn)在運(yùn)行歷史周期內(nèi)發(fā)生的故障頻率越高，則表明上述節(jié)點(diǎn)在以后的周期內(nèi)發(fā)生故障的可能性越高，反之越低。

在一個(gè)實(shí)施方式中，存儲容量、運(yùn)行負(fù)載和故障頻率記錄在一個(gè)表中，每個(gè)節(jié)點(diǎn)的存儲容量可以指其計(jì)算機(jī)硬盤存儲容量，將每個(gè)節(jié)點(diǎn)的存儲容量記錄在表中，監(jiān)視每個(gè)節(jié)點(diǎn)在預(yù)定時(shí)間周期內(nèi)的多次運(yùn)行所占用的系統(tǒng)資源，并將運(yùn)行所占用的最多系統(tǒng)資源作為最高系統(tǒng)運(yùn)行負(fù)載記錄在上述表中，監(jiān)視每個(gè)節(jié)點(diǎn)在預(yù)定時(shí)間周期內(nèi)的故障發(fā)生次數(shù)，作為故障頻率記錄在表中；

在計(jì)算節(jié)點(diǎn)的存儲風(fēng)險(xiǎn)值R_i時(shí)，從表中讀取上述節(jié)點(diǎn)所對應(yīng)的存儲容量、運(yùn)行負(fù)載和故障頻率按照上述公式(a)進(jìn)行計(jì)算。

(2)按照存儲風(fēng)險(xiǎn)值從低到高的順序?qū)個(gè)節(jié)點(diǎn)排成一個(gè)有序排隊(duì)，將有序隊(duì)列中隊(duì)首第一個(gè)節(jié)點(diǎn)和隊(duì)尾最后一個(gè)節(jié)點(diǎn)取出構(gòu)成第一存儲分組，對于剩余節(jié)點(diǎn)構(gòu)成的有序隊(duì)列按照上述方式繼續(xù)處理構(gòu)成后續(xù)多個(gè)存儲分組，直至有序隊(duì)列中只有2個(gè)或3個(gè)節(jié)點(diǎn)，即對應(yīng)于m為偶數(shù)和奇數(shù)的情形，則將上述2個(gè)或3個(gè)節(jié)點(diǎn)作為一個(gè)存儲分組，最終m個(gè)節(jié)點(diǎn)分成k個(gè)存儲分組；

(3)當(dāng)系統(tǒng)接收到數(shù)據(jù)存儲請求時(shí)，將數(shù)據(jù)切分成k個(gè)數(shù)據(jù)片段，對每個(gè)數(shù)據(jù)片段復(fù)制，獲得k組數(shù)據(jù)片段分組，每組數(shù)據(jù)片段分組中包括一個(gè)數(shù)據(jù)片段和其對應(yīng)的復(fù)制數(shù)據(jù)片段；

(4)將一個(gè)數(shù)據(jù)片段分組中的數(shù)據(jù)片段和對應(yīng)的復(fù)制數(shù)據(jù)片段分別存儲到一個(gè)存儲分組中的兩個(gè)節(jié)點(diǎn)中，直到k組數(shù)據(jù)片段分組中的數(shù)據(jù)片段和復(fù)制數(shù)據(jù)片段都存儲到k個(gè)存儲分組中；

由于每個(gè)分組中包括一個(gè)存儲風(fēng)險(xiǎn)值較高的節(jié)點(diǎn)和一個(gè)存儲風(fēng)險(xiǎn)值較低的節(jié)點(diǎn)，使得每個(gè)分組中的平均存儲風(fēng)險(xiǎn)值相對均衡，避免了冗余數(shù)據(jù)分布的若干節(jié)點(diǎn)均為故障頻發(fā)的節(jié)點(diǎn)的情況，將冗余數(shù)據(jù)分布到這樣存儲風(fēng)險(xiǎn)均衡的分組中，方便了數(shù)據(jù)維護(hù)和降低了數(shù)據(jù)丟失風(fēng)險(xiǎn)。

(5)當(dāng)存儲分組中的一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，根據(jù)上述存儲分組中的另一個(gè)節(jié)點(diǎn)存儲的數(shù)據(jù)片段或復(fù)制數(shù)據(jù)片段，對上述發(fā)生故障的節(jié)點(diǎn)進(jìn)行修復(fù)；

由此，將會大大提高修復(fù)數(shù)據(jù)的速度，縮短修復(fù)時(shí)間，當(dāng)多個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，對多個(gè)節(jié)點(diǎn)進(jìn)行并行修復(fù)，一個(gè)數(shù)據(jù)片段分組中的數(shù)據(jù)片段和對應(yīng)的復(fù)制數(shù)據(jù)片段按照隨機(jī)方式存儲到一個(gè)存儲分組中的兩個(gè)節(jié)點(diǎn)中。在機(jī)器數(shù)量大于故障機(jī)器上的庫的數(shù)量時(shí)，整個(gè)修復(fù)過程的耗時(shí)通常僅需幾十分鐘，解決了數(shù)據(jù)高效自動(dòng)修復(fù)的問題。

(6)對每個(gè)節(jié)點(diǎn)設(shè)置一對一的端口，當(dāng)節(jié)點(diǎn)發(fā)生故障時(shí)，上述節(jié)點(diǎn)對應(yīng)的端口自動(dòng)關(guān)閉，當(dāng)發(fā)生故障的節(jié)點(diǎn)成功修復(fù)后，自動(dòng)開啟上述節(jié)點(diǎn)對應(yīng)的端口。從而保障了數(shù)據(jù)的正確讀取，而且避免了使用錯(cuò)誤列表訪問端口的問題。

通過上述方法，本發(fā)明將多個(gè)節(jié)點(diǎn)進(jìn)行分組，每個(gè)分組中包括一個(gè)存儲風(fēng)險(xiǎn)值較高的節(jié)點(diǎn)和一個(gè)存儲風(fēng)險(xiǎn)值較低的節(jié)點(diǎn)，使得每個(gè)分組中的平均存儲風(fēng)險(xiǎn)值相對均衡，避免了冗余數(shù)據(jù)分布的若干節(jié)點(diǎn)均為故障頻發(fā)的節(jié)點(diǎn)的情況，將冗余數(shù)據(jù)分布到這樣存儲風(fēng)險(xiǎn)均衡的分組中，方便了數(shù)據(jù)維護(hù)和降低了數(shù)據(jù)丟失風(fēng)險(xiǎn)。

以上所述僅是本發(fā)明的較佳實(shí)施方式，故凡依本發(fā)明專利申請范圍所述的構(gòu)造、特征及原理所做的等效變化或修飾，均包括于本發(fā)明專利申請范圍內(nèi)。