專利名稱：一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法
技術領域：
本發(fā)明屬于數據存儲領域，更具體地，涉及一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法。
背景技術：
近年來，多址傳輸已成為互聯(lián)網的一個重 要組成成分，大型軟件通過互聯(lián)網傳送給眾多用戶時要求用多址傳輸或廣播傳輸。這些傳輸必須是完全可靠的，同時要有小的網絡開銷和支持眾多各類用戶的隨機訪問。達成這種目的需要借助一種編碼的方法，即把傳輸的k比特的原數據編碼為n (n > k)比特的數據后發(fā)送出去，若接受方接受到足夠量的數據，則運用適當的譯碼方法就可恢復k個比特的源數據，稱這種碼為前向糾錯碼，或稱糾刪碼。正是因為糾刪碼的這種高容錯特性，其被廣泛應用于大規(guī)模的集群存儲系統(tǒng)之中。如圖I所示，糾刪碼集群存儲系統(tǒng)的磁盤被劃分為k個數據節(jié)點和m個校驗節(jié)點(k+m=η為總節(jié)點數)。其中k個數據節(jié)點存放的數據塊為原始的數據，m個校驗節(jié)點存放的數據塊是經過特定矩陣運算出來的校驗數據，其中，k+m個數據塊組成的集合稱之為條帶。這樣便保證了即使集群中m個任意節(jié)點發(fā)生故障的情況下，系統(tǒng)都能夠做出正確的相應并且能夠自我從故障中恢復。然而，現(xiàn)有糾刪碼集群存儲系統(tǒng)存在著以下問題對于數據更新的策略只采用簡單的更新管理器來進行管理，并沒有對消耗的網絡帶寬及數據更新的耗時進行足夠的優(yōu)化；此外，由于糾刪碼的編碼特性，當有數據更新時除了影響到自身數據節(jié)點的更新，也要對所有的校驗節(jié)點更新，如果按照傳統(tǒng)的更新方式，即在客戶端讀數據，計算出新的數據再寫回，需要頻繁的進行網絡傳輸，則使得數據的更新很大程度受到網絡帶寬的影響，也就影響到了整個系統(tǒng)的響應時間和帶寬損耗。

發(fā)明內容
針對現(xiàn)有技術的缺陷，本發(fā)明的目的在于提供一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法，其能夠在只有小型數據更新的情況下有效地提高系統(tǒng)的響應時間，并能有效減小帶寬的消耗，減小更新服務器的負載，從而提高系統(tǒng)性能。為實現(xiàn)上述目的，本發(fā)明提供了一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法，包括以下步驟(I)接收用戶發(fā)出的對數據Dtl的更新請求，并根據更新請求將數據Dtl更新為Dtl’ ；(2)將更新后的數據D?！l(fā)送到待更新的數據節(jié)點；(3)待更新的數據節(jié)點從本地磁盤讀取數據Dtl到內存中；(4)利用等式P/ = aj.o^Do^ -D0)在待更新的數據節(jié)點的內存中計算出所有m個冗余節(jié)點需要的臨時數據塊集合{ΡΛ P1*,, Pm-O，其中j = 0，...，m-1, P；表示第j個冗余節(jié)點所需要的臨時數據塊，aj,0表示糾刪碼的生成矩陣第j行第O列的元素；
(5)數據節(jié)點將更新后的數據Dtl’寫入本地磁盤；(6)數據節(jié)點將m個臨時數據塊通過網絡并行發(fā)送至m個冗余節(jié)點上；(7)第j個冗余節(jié)點從本地磁盤讀取原始的冗余數據Pp并利用接收到的臨時數據塊P/以及等式P/ = P；+Pj計算出新的校驗數據P/，其中j = 0，...，m-1 ；(8)第j個冗余節(jié)點將計算得到的校驗數據P/寫到本地磁盤上，并向數據節(jié)點發(fā)送更新完畢的信號；(9)重復步驟(7)和(8)，直到所有m個冗余節(jié)點都處理完畢為止；(10)數據節(jié)點接收完所有冗余節(jié)點發(fā)送的更新完畢的信號后，向糾刪碼集群存儲系統(tǒng)發(fā)送更新完畢的信號。通過本發(fā)明所構思的以上技術方案，與現(xiàn)有技術相比，本發(fā)明具有以下的有益效果(I)節(jié)約帶寬，減少了由更新帶來的寫回操作(即縮短了更新鏈)，有效減少了數據在網絡中的傳輸，節(jié)約了帶寬；(2)分散計算，充分利用存儲節(jié)點的計算能力，有效降低更新服務器負載，更新的計算并非全部集中于更新服務器上，而是被分散到各個存儲節(jié)點(數據節(jié)點以及冗余節(jié)點)上計算，這樣在一定程度上避免了更新服務器成為系統(tǒng)的瓶頸；(3)響應增速本發(fā)明通過利用糾刪碼的數學特性，通過特定策略使得進行局部式數據更新時減小了整個集群存儲的讀寫操作，而系統(tǒng)的響應時間與讀寫操作的次數密切相關，因此采用此方法的系統(tǒng)能在數據局部式更新有著更加的響應性能，從而也提高了集群存儲系統(tǒng)的讀寫速度與更新效率。


圖I是現(xiàn)有技術中糾刪碼集群存儲系統(tǒng)的架構圖。圖2是本發(fā)明基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法的示意圖。圖3是本發(fā)明基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法的流程圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖2和圖3所示，本發(fā)明糾刪碼集群存儲的局部式數據更新方法包括以下步驟(I)接收用戶發(fā)出的對數據Dtl的更新請求，并根據更新請求將數據Dtl更新為Dtl’ ；需要理解的是，本發(fā)明出于示例清楚的目的，僅僅使用數據節(jié)點Dtl的數據更新方法來進行說明，但本發(fā)明絕不局限于此； (2)將更新后的數據Dtl’發(fā)送到待更新的數據節(jié)點；(3)待更新的數據節(jié)點從本地磁盤讀取數據Dtl到內存中；若采用傳統(tǒng)的更新方法，Dtl’會被節(jié)點O通過網絡發(fā)送到專門的更新服務器上，而且所有的計算操作都將在更新服務器上進行，對于本發(fā)明的更新方法而言，本步驟的計算是在數據節(jié)點上實現(xiàn)的，并且沒有通過網絡，所以它有效減少了網絡通信、分散了計算以及降低了更新服務器負載；(4)利用等式P/ = aj.o^Do^ -D0)在待更新的數據節(jié)點的內存中計算出所有m個冗余節(jié)點需要的臨時數據塊集合{ΡΛ P1*,, Pm-O，其中j = 0，...，m-1, P；表示第j個冗余節(jié)點所需要的臨時數據塊，aj,0表示糾刪碼的變換矩陣第j行第O列的元素；(5)數據節(jié)點將更新后的數據Dtl’寫入本地磁盤；(6)數據節(jié)點將m個臨時數據塊通過網絡并行發(fā)送至m個冗余節(jié)點上；(7)第j個冗余節(jié)點從本地磁盤讀取原始的冗余數據Pp并利用接收到的臨時數據塊P/以及等式P/ = Pj*+PJ計算出新的校驗數據P/，其中j = O,... ,m-1 ;在傳統(tǒng)的更新方法中，這一步Pj同樣是會被第j個冗余節(jié)點通過網絡發(fā)送到專門的更新服務器上，而且該步的計算操作也將在更新服務器上進行，而對于本發(fā)明的更新方法，本步驟中的計算是在冗余節(jié)點上實現(xiàn)的，并且沒有通過網絡，所以它能有效減少了網絡通信、分散了計算以及降低了更新服務器負載；(8)第j個冗余節(jié)點將計算得到的校驗數據P/寫到本地磁盤上，并向數據節(jié)點發(fā)送更新完畢的信號；(9)重復步驟(7)和⑶，直到所有m個冗余節(jié)點都處理完畢為止；(10)數據節(jié)點接收完所有冗余節(jié)點發(fā)送的更新完畢的信號后，向糾刪碼集群存儲系統(tǒng)發(fā)送更新完畢的信號。下面對本發(fā)明方法中用到的公式做出詳細的推導原始的校驗數據是原始數據根據糾刪碼的算法特性經過矩陣變化而來的
Zfe-I
aj,xDx ，j(I)
x—0其中P」表示校驗數據，Dx表示原始的數據，表示糾刪碼的變換矩陣第j行第x列的元素。如果數據從Dtl更新為Dtl’，根據公式1，每個校驗數據都需重新計算如下Pj _"X ' Dx + +〉’，j e{0,1,…,m-1} (2)
^Xz=Q■—其中P/表示新的校驗數據。則由公式2減去公式I可得P/ = Bj,o* (D0，-D0) +Pj j e {0,1, , m-1} (3)在傳統(tǒng)的更新方法中，該公式中所有的計算都是在更新服務器上完成的。對于本發(fā)明的方法，我們假設P/ = aj,0*(D0，-D0), j e {0,1,..., m-1} (4)這樣將公式分成兩個部分P/ = Bj,ο* (Doj -D0)，P/ = P/+P」，其中，前一部分由數據節(jié)點計算，后一部分由冗余節(jié)點計算。至此，本發(fā)明基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法全部結束。本領域的技術人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1. 一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法，其特征在于，包括以下步驟 (1)接收用戶發(fā)出的對數據Dtl的更新請求，并根據所述更新請求將數據Dtl更新為Dtl’； (2)將更新后的數據Dtl’發(fā)送到待更新的數據節(jié)點； (3)所述待更新的數據節(jié)點從本地磁盤讀取數據Dtl到內存中； (4)利用等式P/= aj.o^Do^ -D0)在所述待更新的數據節(jié)點的內存中計算出所有m個冗余節(jié)點需要的臨時數據塊集合{ΡΛ P1*,, Pm-O，其中j = O,…，m-1, P；表示第j個冗余節(jié)點所需要的臨時數據塊，aj,0表示糾刪碼的生成矩陣第j行第O列的元素； (5)所述數據節(jié)點將所述更新后的數據Dtl’寫入本地磁盤； (6)所述數據節(jié)點將m個臨時數據塊通過網絡并行發(fā)送至m個冗余節(jié)點上； (7)第j個冗余節(jié)點從本地磁盤讀取原始的冗余數據Pp并利用接收到的臨時數據塊P/以及等式P/ = Pj*+PJ計算出新的校驗數據塊P/，其中j = O, ···, m-1 ； (8)第j個冗余節(jié)點將計算得到的校驗數據P/寫到本地磁盤上，并向所述數據節(jié)點發(fā)送更新完畢的信號； (9)重復步驟(7)和(8)，直到所有m個冗余節(jié)點都處理完畢為止； (10)所述數據節(jié)點接收完所有冗余節(jié)點發(fā)送的更新完畢的信號后，向糾刪碼集群存儲系統(tǒng)發(fā)送更新完畢的信號。
全文摘要
本發(fā)明公開了一種基于糾刪碼集群存儲系統(tǒng)的局部式數據更新方法，包括以下步驟接收用戶發(fā)出的對數據D0的更新請求，并根據更新請求將數據D0更新為D0’，將更新后的數據D0’發(fā)送到待更新的數據節(jié)點，待更新的數據節(jié)點從本地磁盤讀取數據D0到內存中，在待更新的數據節(jié)點的內存中計算出所有m個冗余節(jié)點需要的臨時數據塊集合，數據節(jié)點將更新后的數據D0’寫入本地磁盤，數據節(jié)點將m個臨時數據塊通過網絡并行發(fā)送至m個冗余節(jié)點上，第j個冗余節(jié)點從本地磁盤讀取原始的冗余數據Pj，并計算出新的校驗數據Pj’，第j個冗余節(jié)點將計算得到的校驗數據塊Pj’寫到本地磁盤上。本發(fā)明能有效減小帶寬的消耗，降低更新服務器的負載壓力，從而提高數據更新性能。
文檔編號G06F11/08GK102681793SQ20121011033
公開日2012年9月19日 申請日期2012年4月16日 優(yōu)先權日2012年4月16日
發(fā)明者劉政澤, 張峰豪, 曹強, 謝長生, 黃建忠 申請人:華中科技大學