用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)。其中在用于數(shù)據(jù)備份的方法中，當接收到數(shù)據(jù)節(jié)點發(fā)送的數(shù)據(jù)備份請求時，向代價服務器發(fā)送查詢請求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息。接收代價服務器發(fā)送的響應信息，其中響應信息中包括與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息。利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本，選擇備份成本最小的候選節(jié)點作為目標節(jié)點，將目標節(jié)點信息發(fā)送給所述數(shù)據(jù)節(jié)點，以便所述數(shù)據(jù)節(jié)點將數(shù)據(jù)備份到目標節(jié)點上。本發(fā)明根據(jù)代價矩陣選擇備份成本最低的節(jié)點進行數(shù)據(jù)備份，從而有效避免出現(xiàn)備份代價過高和節(jié)點負載不均的問題。
【專利說明】用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)

【技術領域】
[0001] 本發(fā)明涉及通信領域，特別涉及一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系 統(tǒng)。

【背景技術】
[0002] 云計算分布式文件系統(tǒng)利用多臺服務器提供大容量高可靠的文件服務，集群包含 數(shù)據(jù)服務器和目錄服務器（元數(shù)據(jù)服務器）。目錄服務器用來維護文件數(shù)據(jù)塊在數(shù)據(jù)服務 器的分布情況(元數(shù)據(jù))，數(shù)據(jù)服務器用來存儲具體文件數(shù)據(jù)。相比現(xiàn)今其他存儲技術，分布 式文件系統(tǒng)以其擴展性強、性價比高、容錯性好等優(yōu)勢得到了業(yè)界的廣泛認同。然而，如何 保證分布式文件系統(tǒng)的各方面要求，如擴展性、可用性、可靠性、安全性、效率等，是我們需 要解決的問題。
[0003] 在分布式系統(tǒng)中，副本機制是一種提高有效性和性能的重要方法。副本機制指當 向文件系統(tǒng)寫入數(shù)據(jù)塊時，除了在一個主用節(jié)點上寫入數(shù)據(jù)，同時會分配其他幾個節(jié)點并 在這些節(jié)點中寫入數(shù)據(jù)。具體分配多少節(jié)點根據(jù)系統(tǒng)的可靠性要求決定。副本彌補了存儲 對象單點失效、容錯性差、接入性能不高等問題。但引入副本機制也必然帶來以下幾個方面 的問題：副本一致性問題、負載平衡問題、創(chuàng)建副本的各種硬件和通信上的代價問題以及 云計算任務對副本訪問代價問題等等。
[0004]副本機制雖然能夠有效提高分布式系統(tǒng)的有效性，但現(xiàn)有的分布式文件系統(tǒng)數(shù)據(jù) 副本備份方案存在以下問題：
[0005] 1、創(chuàng)建數(shù)據(jù)副本時，沒有考慮存儲、通信等代價，容易造成備份代價過高的問題。
[0006] 2、由于數(shù)據(jù)副本隨機選擇位置，當大量副本集中在同一節(jié)點時，可能造成節(jié)點負 載不均。


【發(fā)明內容】

[0007] 本發(fā)明要解決的技術問題是提供一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系 統(tǒng)。通過引入代價矩陣，根據(jù)代價矩陣選擇備份成本最低的節(jié)點進行數(shù)據(jù)備份，從而有效避 免出現(xiàn)備份代價過高和節(jié)點負載不均的問題。
[0008] 根據(jù)本發(fā)明的一個方面，提供一種用于數(shù)據(jù)備份的方法，包括：
[0009] 當接收到數(shù)據(jù)節(jié)點發(fā)送的數(shù)據(jù)備份請求時，向代價服務器發(fā)送查詢請求，用于查 詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息，其中所述數(shù)據(jù)節(jié)點為寫入數(shù)據(jù)的 主用節(jié)點，與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息代表所述數(shù)據(jù)節(jié)點與分布式系統(tǒng)中其它 任一候選節(jié)點之間的存儲成本；
[0010] 接收代價服務器發(fā)送的響應信息，其中響應信息中包括與所述數(shù)據(jù)節(jié)點相關聯(lián)的 代價矩陣信息；
[0011] 利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本；
[0012] 選擇備份成本最小的候選節(jié)點作為目標節(jié)點；
[0013] 將目標節(jié)點信息發(fā)送給所述數(shù)據(jù)節(jié)點，以便所述數(shù)據(jù)節(jié)點將數(shù)據(jù)備份到目標節(jié)點 上。
[0014] 優(yōu)選的，利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成 本的步驟包括：
[0015] 數(shù)據(jù)節(jié)點i和候選節(jié)點j之間的備份成本Cost(i, j)為：
[0016]

【權利要求】
1. 一種用于數(shù)據(jù)備份的方法，其特征在于，包括： 當接收到數(shù)據(jù)節(jié)點發(fā)送的數(shù)據(jù)備份請求時，向代價服務器發(fā)送查詢請求，用于查詢分 布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息，其中所述數(shù)據(jù)節(jié)點為寫入數(shù)據(jù)的主用 節(jié)點，與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息代表所述數(shù)據(jù)節(jié)點與分布式系統(tǒng)中其它任一 候選節(jié)點之間的存儲成本； 接收代價服務器發(fā)送的響應信息，其中響應信息中包括與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價 矩陣息; 利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本； 選擇備份成本最小的候選節(jié)點作為目標節(jié)點； 將目標節(jié)點信息發(fā)送給所述數(shù)據(jù)節(jié)點，以便所述數(shù)據(jù)節(jié)點將數(shù)據(jù)備份到目標節(jié)點上。
2.根據(jù)權利要求1所述的方法，其特征在于， 利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本的步驟包 括： 數(shù)據(jù)節(jié)點i和候選節(jié)點j之間的備份成本Cost(i, j)為： C0St(i，j)=2^W|/K:M(i，j)|/|; 其中CM(i，j) [1]為所述數(shù)據(jù)節(jié)點i與候選節(jié)點j之間第1個維度的存儲成本，w[l]為 第1個維度的成本權重，K為維度總數(shù)。
3.根據(jù)權利要求2所述的方法，其特征在于， 選擇備份成本最小的候選節(jié)點作為目標節(jié)點的步驟包括： 將滿足argminCost(i, j)的候選節(jié)點j作為所述數(shù)據(jù)節(jié)點i的目標節(jié)點。
4.根據(jù)權利要求1-3中任一項所述的方法，其特征在于， 以預定的時間間隔檢測分布式系統(tǒng)中任意兩個節(jié)點之間的網(wǎng)絡狀態(tài)； 根據(jù)所述網(wǎng)絡狀態(tài)向代價服務器發(fā)送更新請求，以更新代價矩陣信息。
5.根據(jù)權利要求4所述的方法，其特征在于， 以預定的時間間隔檢測分布式系統(tǒng)中任意兩個節(jié)點之間的網(wǎng)絡狀態(tài)的步驟包括： 以預定的時間間隔檢測分布式系統(tǒng)中任意兩個節(jié)點之間的鏈路擁塞度。
6. 一種用于數(shù)據(jù)備份的方法，其特征在于，包括： 當數(shù)據(jù)節(jié)點作為寫入數(shù)據(jù)的主用節(jié)點時，向主節(jié)點發(fā)送數(shù)據(jù)備份請求，以便使主節(jié)點 根據(jù)數(shù)據(jù)備份請求從代價服務器獲取與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息，利用代價矩 陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本，選擇備份成本最小的候選 節(jié)點作為目標節(jié)點；其中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息代表所述數(shù)據(jù)節(jié)點與分布 式系統(tǒng)中其它任一候選節(jié)點之間的存儲成本； 接收主節(jié)點發(fā)送的目標節(jié)點信息； 將數(shù)據(jù)備份到目標節(jié)點上。
7. 一種用于數(shù)據(jù)備份的主節(jié)點，其特征在于，包括： 第一接收單元，用于接收數(shù)據(jù)節(jié)點發(fā)送的數(shù)據(jù)備份請求，當接收到數(shù)據(jù)節(jié)點發(fā)送的數(shù) 據(jù)備份請求時，指示第一發(fā)送單元向代價服務器發(fā)送查詢請求，其中所述數(shù)據(jù)節(jié)點為寫入 數(shù)據(jù)的主用節(jié)點； 第一發(fā)送單元，用于根據(jù)第一接收單元的指示，向代價服務器發(fā)送查詢請求，用于查詢 分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息，其中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價 矩陣信息代表所述數(shù)據(jù)節(jié)點與分布式系統(tǒng)中其它任一候選節(jié)點之間的存儲成本； 第二接收單元，用于接收代價服務器發(fā)送的響應信息，其中響應信息中包括與所述數(shù) 據(jù)節(jié)點相關聯(lián)的代價矩陣信息； 計算單元，用于利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份 成本； 選擇單元，用于選擇備份成本最小的候選節(jié)點作為目標節(jié)點； 第二發(fā)送單元，用于將目標節(jié)點信息發(fā)送給所述數(shù)據(jù)節(jié)點，以便所述數(shù)據(jù)節(jié)點將數(shù)據(jù) 備份到目標節(jié)點上。
8.根據(jù)權利要求7所述的主節(jié)點，其特征在于， 計算單元具體利用下列公式計算數(shù)據(jù)節(jié)點i和候選節(jié)點j之間的備份成本 Cost(i, j)：
其中CM(i，j) [1]為所述數(shù)據(jù)節(jié)點i與候選節(jié)點j之間第1個維度的存儲成本，W[l]為 第1個維度的成本權重，K為維度總數(shù)。
9.根據(jù)權利要求8所述的主節(jié)點，其特征在于， 選擇單元具體將滿足argminCost(i, j)的候選節(jié)點j作為所述數(shù)據(jù)節(jié)點i的目標節(jié) 點。
10.根據(jù)權利要求7-9中任一項所述的主節(jié)點，其特征在于，控制單元還包括檢測單 元，其中： 檢測單元，用于以預定的時間間隔檢測分布式系統(tǒng)中任意兩個節(jié)點之間的網(wǎng)絡狀態(tài)； 第一發(fā)送單元還用于根據(jù)所述網(wǎng)絡狀態(tài)向代價服務器發(fā)送更新請求，以更新代價矩陣 信息。
11.根據(jù)權利要求10所述的主節(jié)點，其特征在于， 檢測單元具體以預定的時間間隔檢測分布式系統(tǒng)中任意兩個節(jié)點之間的鏈路擁塞度。
12. 一種用于數(shù)據(jù)備份的數(shù)據(jù)節(jié)點，其特征在于，包括： 第三發(fā)送單元，用于當數(shù)據(jù)節(jié)點作為寫入數(shù)據(jù)的主用節(jié)點時，向主節(jié)點發(fā)送數(shù)據(jù)備份 請求，以便使主節(jié)點根據(jù)數(shù)據(jù)備份請求從代價服務器獲取與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩 陣信息，利用代價矩陣信息計算所述數(shù)據(jù)節(jié)點與其它任一候選節(jié)點之間的備份成本，選擇 備份成本最小的候選節(jié)點作為目標節(jié)點；其中與所述數(shù)據(jù)節(jié)點相關聯(lián)的代價矩陣信息代表 所述數(shù)據(jù)節(jié)點與分布式系統(tǒng)中其它任一候選節(jié)點之間的存儲成本； 第三接收單元，用于接收主節(jié)點發(fā)送的目標節(jié)點信息； 備份單元，用于將數(shù)據(jù)備份到目標節(jié)點上。
13. 一種用于數(shù)據(jù)備份的分布式文件系統(tǒng)，其特征在于，包括：主節(jié)點和數(shù)據(jù)節(jié)點，其 中： 主節(jié)點，為權利要求7-11中任一項涉及的主節(jié)點； 數(shù)據(jù)節(jié)點，為權利要求12中涉及的數(shù)據(jù)節(jié)點。
【文檔編號】G06F11/14GK104142871SQ201310170578
【公開日】2014年11月12日 申請日期:2013年5月10日 優(yōu)先權日:2013年5月10日
【發(fā)明者】姚玉鳳, 馮明, 丁圣勇, 唐宏, 金華敏, 劉健民, 于玉海, 賈嫚 申請人:中國電信股份有限公司