專利名稱：一種基于數(shù)據(jù)差異的邏輯卷快速同步方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，主要解決連續(xù)數(shù)據(jù)保護(hù)系統(tǒng)中源巻與目的巻數(shù) 據(jù)不一致時(shí),將源巻與目的巻的數(shù)據(jù)進(jìn)行快速同步,使數(shù)據(jù)重新達(dá)到一致的問題。
背景技術(shù)：
如今，計(jì)算機(jī)無(wú)論對(duì)于個(gè)人、企業(yè)還是政府的重要性越來(lái)越大，尤其是存儲(chǔ)在計(jì)算機(jī) 中的重要數(shù)據(jù)， 一旦這些數(shù)據(jù)丟失和被破壞，損失將難以估計(jì)，現(xiàn)有的數(shù)據(jù)保護(hù)技術(shù)，如 RAID、遠(yuǎn)程鏡像、巻影復(fù)制服務(wù)、快照等，從實(shí)現(xiàn)層次上可分為物理塊級(jí)、邏輯巻級(jí)、文 件級(jí)或應(yīng)用級(jí)。其中在邏輯巻級(jí)進(jìn)行數(shù)據(jù)保護(hù)具有與上層應(yīng)用和具體物理設(shè)備無(wú)關(guān)等優(yōu)點(diǎn)。
當(dāng)數(shù)據(jù)由于軟，硬件故障遭受破壞后，數(shù)據(jù)恢復(fù)所需時(shí)間的長(zhǎng)短在很大程度上影響了 損失的大小，當(dāng)需要進(jìn)行恢復(fù)時(shí)，如何快速、有效的將目的巻上的數(shù)據(jù)同步到源巻上，是 數(shù)據(jù)保護(hù)系統(tǒng)的一個(gè)重要指標(biāo)；同時(shí)經(jīng)過一段時(shí)間運(yùn)行后，源巻與目的巻上的數(shù)據(jù)不一致， 此時(shí)如何快速的使源巻與目的巻上的數(shù)據(jù)一致，是需要考慮的另一個(gè)重要問題。
在數(shù)據(jù)保護(hù)系統(tǒng)中，數(shù)據(jù)操作通常集中在被保護(hù)數(shù)據(jù)的有限區(qū)域，因此存在大量的未 變化數(shù)據(jù)，即保護(hù)數(shù)據(jù)和被保護(hù)數(shù)據(jù)將存在大量的相同數(shù)據(jù)，在數(shù)據(jù)同步時(shí)為減少同步數(shù) 據(jù)量和同步時(shí)間這些數(shù)據(jù)不需要進(jìn)行傳輸。
Rsync是基于Unix/Linux平臺(tái)上性能優(yōu)異的備份/恢復(fù)程序，其獨(dú)特的Rsync算法能 夠快速地找到目標(biāo)文件與備份文件之間的差異，在網(wǎng)絡(luò)上只傳輸文件的差異部分，使本地 和遠(yuǎn)程兩個(gè)主機(jī)之間的文件達(dá)到同步，具有占用網(wǎng)絡(luò)帶寬少、同步速度快等特點(diǎn)。
雖然Rsync具有諸多優(yōu)點(diǎn)，但由于在文件系統(tǒng)級(jí)實(shí)現(xiàn)，在文件系統(tǒng)視圖中相同數(shù)據(jù)， 在邏輯巻上數(shù)據(jù)并不一定相同，即文件系統(tǒng)上相同的文件，可以存在于邏輯巻上不同的位 置，因此Rsync只能保證文件系統(tǒng)級(jí)的數(shù)據(jù)同步，而無(wú)法滿足邏輯巻級(jí)數(shù)據(jù)嚴(yán)格相同的同 步要求。

發(fā)明內(nèi)容
本發(fā)明的目的是解決當(dāng)系統(tǒng)運(yùn)行一段時(shí)間后源巻與目的巻數(shù)據(jù)發(fā)生不一致或源巻數(shù)據(jù) 遭受破壞時(shí)，進(jìn)行快速數(shù)據(jù)同步使源巻與目的巻的數(shù)據(jù)重新達(dá)到一致狀態(tài)的問題；提出一 種基于數(shù)據(jù)差異的邏輯巻數(shù)據(jù)快速同步方法，本發(fā)明在數(shù)據(jù)同步時(shí)只比較已使用數(shù)據(jù)塊， 明顯的減少了數(shù)據(jù)比較的范圍，同時(shí)在同步時(shí)只同步發(fā)生變化的數(shù)據(jù)塊，有效減少了同步 的數(shù)據(jù)量。
本發(fā)明提出的一種基于數(shù)據(jù)差異的邏輯巻數(shù)據(jù)快速同步方法，其特征在于；
根據(jù)源巻和目的巻的文件系統(tǒng)信息找到各自邏輯巻上已使用的數(shù)據(jù)塊，比較源邏輯巻 與目的邏輯巻上對(duì)應(yīng)的數(shù)據(jù)塊(位置相同、大小相等的數(shù)據(jù)塊)對(duì)，計(jì)算該數(shù)據(jù)塊對(duì)的兩 個(gè)特征值，若該兩個(gè)特征值不相同(表示數(shù)據(jù)有變化)，則對(duì)該數(shù)據(jù)塊對(duì)進(jìn)行同步處理，否 則，不進(jìn)行同步處理。
該方法設(shè)源邏輯巻L1在機(jī)器M1上，目的邏輯巻L2在機(jī)器M2上，L1與L2大小相同， 而且L1與L2的數(shù)據(jù)塊大小相同，M1和M2通過網(wǎng)絡(luò)連接，當(dāng)要將L2上的數(shù)據(jù)同步到 L1的狀態(tài)時(shí)，設(shè)一次比較的數(shù)據(jù)塊數(shù)量為K塊，K最大值為MAX，最小值為MIN，該方法 包括以下步驟
1) M1與M2同時(shí)解析L1， L2上文件系統(tǒng)信息，讀取所述邏輯巻L1， L2的數(shù)據(jù)空間 使用情況的位圖信息SBitmap1, $Bitmap2 (位圖信息中每一位對(duì)應(yīng)邏輯巻一個(gè)數(shù)據(jù)塊的使 用情況，$Bitmap1， $Bitmap2中每一位是一一對(duì)應(yīng)的，每一位由0或1組成)，其中0 表示未使用，1表示已使用；
2) M1將SBitmap1發(fā)送到M2;
3) M2比較SBitmap1與SBitmap2中對(duì)應(yīng)的每一位，獲取對(duì)應(yīng)位連續(xù)都為1的個(gè)數(shù)， 同時(shí)判斷是否比較完成，若是則結(jié)束，否則進(jìn)入步驟4);
4) M2從連續(xù)都為1的個(gè)數(shù)對(duì)應(yīng)的數(shù)據(jù)塊中動(dòng)態(tài)確定比較信息(包括數(shù)據(jù)塊數(shù)量K的 大小、數(shù)據(jù)塊的起始位置)；
5) M2根據(jù)步驟4)中確定的比較信息，從L2中預(yù)取已使用數(shù)據(jù)塊并存放至M2中的緩 沖區(qū)；
6) M2根據(jù)步驟4)中獲取的比較信息發(fā)送給M1， M1根據(jù)步驟4)中確定的比較信息， 從L1中預(yù)取已使用數(shù)據(jù)塊并存放至M1中的緩沖區(qū)；
7) M1， M2同時(shí)計(jì)算存儲(chǔ)在各自緩沖區(qū)中相同位置相同大小的已使用數(shù)據(jù)塊的特征值 (比如采用CRC校驗(yàn)，MD4值等作為特征值)；
8) M1將計(jì)算得到的特征值發(fā)送給M2， M2將接收到的M1發(fā)送的特征值和本端計(jì)算得 到的特征值進(jìn)行比較，若相同則進(jìn)入步驟3)，否則進(jìn)入步驟9);
9) M2將特征值不相同對(duì)應(yīng)的數(shù)據(jù)塊發(fā)送到M1，進(jìn)入步驟3)， M1將該數(shù)據(jù)塊寫入相 應(yīng)的邏輯巻位置。
本發(fā)明的技術(shù)特點(diǎn)和效果
本發(fā)明在數(shù)據(jù)比較時(shí)根據(jù)源巻和目的巻的數(shù)據(jù)塊使用情況，預(yù)取N塊(N為預(yù)設(shè)值， 取正整數(shù))已使用數(shù)據(jù)塊以達(dá)到減小數(shù)據(jù)讀取次數(shù)，提高性能的目的。
在比較源巻與目的巻上對(duì)應(yīng)數(shù)據(jù)塊時(shí)，本發(fā)明采用動(dòng)態(tài)算法，根據(jù)歷史的數(shù)據(jù)比較記 錄，調(diào)整比較數(shù)據(jù)塊的大小。
本發(fā)明提出的連續(xù)數(shù)據(jù)保護(hù)系統(tǒng)快速同步方法，充分利用源巻與目的巻的文件系統(tǒng)信 息，在數(shù)據(jù)同步時(shí)只比較已使用數(shù)據(jù)塊明顯的減少了數(shù)據(jù)比較的范圍，同時(shí)在同步時(shí)只同 步發(fā)生變化的數(shù)據(jù)塊，有效減少了同步的數(shù)據(jù)量。
本方法適用于邏輯巻級(jí)連續(xù)數(shù)據(jù)保護(hù)系統(tǒng)的實(shí)現(xiàn)，在系統(tǒng)需要進(jìn)行數(shù)據(jù)同步時(shí)快速查
找發(fā)生不一致的數(shù)據(jù)塊，并通過網(wǎng)絡(luò)傳送到對(duì)端。
本方法在文件系統(tǒng)下層實(shí)現(xiàn)，與上層應(yīng)用無(wú)關(guān)，具有很強(qiáng)的通用性。
經(jīng)過實(shí)驗(yàn)證明，該方法能解決連續(xù)數(shù)據(jù)保護(hù)系統(tǒng)在需要進(jìn)行數(shù)據(jù)同步時(shí)，快速的使源
巻與目的巻的數(shù)據(jù)一致的問題。


圖1為本發(fā)明的方法總體流程框圖。
圖2為本發(fā)明的讀取巻空間使用情況的位圖信息的具體實(shí)施例流程框圖。 圖3為本發(fā)明的動(dòng)態(tài)確定數(shù)據(jù)比較大小具體實(shí)施例流程框圖。 圖4為本發(fā)明的預(yù)取已使用數(shù)據(jù)具體實(shí)施例流程框圖。
具體實(shí)施例方式
本發(fā)明提出一種基于數(shù)據(jù)差異的邏輯巻數(shù)據(jù)快速同步方法結(jié)合附圖及實(shí)施例進(jìn)一步說(shuō)
明如下
本發(fā)明方法根據(jù)源巻和目的巻的文件系統(tǒng)信息找到各自邏輯巻上已使用的數(shù)據(jù)塊，比 較源邏輯巻與目的邏輯巻上對(duì)應(yīng)的數(shù)據(jù)塊對(duì)，計(jì)算該數(shù)據(jù)塊對(duì)的兩個(gè)特征值，若該兩個(gè)特 征值不相同，則對(duì)該數(shù)據(jù)塊對(duì)進(jìn)行同步處理，否則，不進(jìn)行同步處理。
本發(fā)明的方法實(shí)施例具體包括以下步驟
該方法設(shè)源邏輯巻L1在機(jī)器M1上，目的邏輯巻L2在機(jī)器M2上，L1與L2大小 相同，而且L1與L2的數(shù)據(jù)塊大小相同，機(jī)器M1和機(jī)器M2通過網(wǎng)絡(luò)連接，當(dāng)要將L2上 的數(shù)據(jù)同步到L1的狀態(tài)時(shí)，設(shè)一次比較的數(shù)據(jù)塊數(shù)量為K塊，K最大值為MAX,最小值 為MIN，表示為MIN^K^MAX (MIN、 MAX取巧決于巻大小及和數(shù)據(jù)塊大小，通常MIN取 16， MAX取512)，
該方法流程如圖l所示，包括以下步驟
1) M1與M2分別同時(shí)解析L1， L2上文件系統(tǒng)信息，讀取該兩個(gè)邏輯巻的空間使用情 況的位圖信息SBitmap1 ， SBitmap2(位圖信息中每一位對(duì)應(yīng)邏輯巻一個(gè)數(shù)據(jù)塊的使用情況， $Bitmap1， $Bitmap2中每一位是一一對(duì)應(yīng)的，每一位由0或1組成，O表示未使用，1
表示已4吏用)；
2) M1將SBitmap1發(fā)送到機(jī)器M2;
3) M2比較SBitmap1與SBitmap2中對(duì)應(yīng)的每一位，獲取對(duì)應(yīng)位連續(xù)都為1的個(gè)數(shù)， 同時(shí)判斷是否比較完成，若是則結(jié)束，否則進(jìn)入步驟4);
4) M2從連續(xù)都為1的個(gè)數(shù)對(duì)應(yīng)的數(shù)據(jù)塊中動(dòng)態(tài)確定比較信息(包括數(shù)據(jù)塊數(shù)量K的 大小、數(shù)據(jù)塊的起始位置)；
5) M2根據(jù)步驟4)中確定的比較信息，，從L2中預(yù)取已使用數(shù)據(jù)并存放至M2中的緩
沖區(qū)；
6) M2根據(jù)步驟4)中獲取的比較信息發(fā)送給M1， M1根據(jù)步驟4)中確定的比較信息， 從L1中預(yù)取已使用數(shù)據(jù)塊并存放至M1中的緩沖區(qū)；
7) M1， M2同時(shí)計(jì)算存儲(chǔ)在各自緩沖區(qū)中相同位置相同大小的已使用數(shù)據(jù)塊的特征值 (比如采用CRC校驗(yàn)，MD4值等作為特征值)；
8) M1將計(jì)算得到的特征值發(fā)送給M2， M2將接收到的M1發(fā)送的特征值和本端計(jì)算得 到的特征值進(jìn)行比較，若相同則進(jìn)入步驟3)，否則進(jìn)入步驟9);
9) M2將特征值不相同對(duì)應(yīng)的數(shù)據(jù)塊發(fā)送到M1，進(jìn)入步驟3)， M1將數(shù)據(jù)塊寫入相應(yīng) 的邏輯巻位置。
上述步驟1)讀取巻(指源巻或目的巻，方法相同)空間使用情況的位圖信息的具體 實(shí)現(xiàn)方法如圖2所示，包括以下步驟
(11) 讀取該巻的文件系統(tǒng)中的超級(jí)塊數(shù)據(jù)；
(12) 判斷該巻的文件系統(tǒng)是否為有效的文件系統(tǒng)(例如Windows NTFS,FAT等文 件系統(tǒng))，若不是則結(jié)束，否則進(jìn)入步驟(13);
(13) 從(11)讀出的超級(jí)塊數(shù)據(jù)査找到該文件系統(tǒng)的主文件表；
(14) 在該主文件表中查找到指示該巻空間使用情況的位圖信息并保存為SBitmap。 上述步驟4)中，從連續(xù)都為1的個(gè)數(shù)對(duì)應(yīng)的數(shù)據(jù)塊中動(dòng)態(tài)確定比較信息流程如圖3所示， 包括以下步驟
(41)獲取前一次Ll與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果(初始時(shí)設(shè)成未變化)，若未發(fā) 生變化轉(zhuǎn)入步驟(42)，否則進(jìn)入步驟(44);
(42) 獲取前N次(N為預(yù)設(shè)值，N值的取值范圍決定于數(shù)據(jù)使用的時(shí)間長(zhǎng)短， 一般 為10《N《30)L1與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果，若連續(xù)N未發(fā)生變化，進(jìn)入步驟(43)， 否則結(jié)束；
(43) 增長(zhǎng)K值，且不超過最大值MAX (例如取512)，然后結(jié)束；
(44) 獲取前N次L1與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果，若連續(xù)N (N為預(yù)設(shè)值)發(fā)生 變化，進(jìn)入步驟(45)，否則結(jié)束；
(45) 減小K值，且不小于最小值MIN (例如取16)，然后結(jié)束。
上述步驟5)中，從L2中預(yù)取已使用數(shù)據(jù)并存放至M2中的緩沖區(qū)如圖4所示，具體 說(shuō)明如下
(51) 判斷緩沖區(qū)是已滿，若已滿等待結(jié)束，否則進(jìn)行步驟(52);
(52) 讀取L2的SBitmap2，查找L2上連續(xù)已使用數(shù)據(jù)塊， 一次性將該連續(xù)已使用數(shù)據(jù) 塊讀取并存入到M2的緩沖區(qū)中。
權(quán)利要求
1、一種基于數(shù)據(jù)差異的邏輯卷數(shù)據(jù)快速同步方法，其特征在于，該方法根據(jù)源卷和目的卷上的文件系統(tǒng)信息找到各自邏輯卷上已使用的數(shù)據(jù)塊，比較源邏輯卷與目的邏輯卷上對(duì)應(yīng)的數(shù)據(jù)塊對(duì)，計(jì)算該數(shù)據(jù)塊對(duì)的兩個(gè)特征值，若該兩個(gè)特征值不相同，則對(duì)該數(shù)據(jù)塊對(duì)進(jìn)行同步處理，否則，不進(jìn)行同步處理。
2、 如權(quán)利要求1所述，其特征在于，該方法包括設(shè)源邏輯巻L1在機(jī)器M1上，目 的邏輯巻L2在機(jī)器M2上，L1與L2大小相同，而且L1與L2的數(shù)據(jù)塊大小相同，M1和 M2通過網(wǎng)絡(luò)連接，當(dāng)要將L2上的數(shù)據(jù)同步到L1的狀態(tài)時(shí)，設(shè)一次比較的數(shù)據(jù)塊數(shù)量為K 塊，該方法具體包括以下步驟-1) M1與M2分別同時(shí)解析L1， L2上文件系統(tǒng)信息，讀取所述邏輯巻L1， L2上的數(shù) 據(jù)空間使用情況的由0或1組成的位圖信息SBitmap1， $Bitmap2，其中O表示未使用，1 表示已使用；2) M1將SBitmap1發(fā)送到M2;3) M2比較SBitmap1與SBitmap2中對(duì)應(yīng)的每一位，獲取對(duì)應(yīng)位連續(xù)都為1的個(gè)數(shù)， 同時(shí)判斷是否比較完成，若是則結(jié)束，否則進(jìn)入步驟4);4) M2從連續(xù)都為1的個(gè)數(shù)對(duì)應(yīng)的數(shù)據(jù)塊中動(dòng)態(tài)確定比較信息；5) M2根據(jù)步驟4)中確定的比較信息，從L2中預(yù)取已使用的數(shù)據(jù)塊并存放至M2中的緩沖區(qū)； '6) M2根據(jù)步驟4)中獲取的比較信息發(fā)送給M1， M1根據(jù)步驟4)中確定的比較信息， 從L1中預(yù)取已使用的數(shù)據(jù)塊并存放至M1中的緩沖區(qū)；7) M1， M2同時(shí)計(jì)算存儲(chǔ)在各自緩沖區(qū)中相同位置相同大小的已使用的數(shù)據(jù)塊的特征值；8) M1將計(jì)算得到的特征值發(fā)送給M2， M2將接收到的M1發(fā)送的特征值和本端計(jì)算得 到的特征值進(jìn)行比較，若相同則進(jìn)入步驟3),否則進(jìn)入步驟9);9) M2將特征值不相同對(duì)應(yīng)的數(shù)據(jù)塊發(fā)送到M1，進(jìn)入步驟3)， M1將該數(shù)據(jù)塊寫入相 應(yīng)的邏輯巻位置。
3、 如權(quán)利要求2所述的方法，其特征在于，其特征在于，所述步驟l)讀取邏輯巻數(shù) 據(jù)空間使用情況的位圖信息，具體包括以下步驟-(11) 讀取該巻的文件系統(tǒng)中的超級(jí)塊數(shù)據(jù)；(12) 判斷該巻的文件系統(tǒng)是否為有效的文件系統(tǒng)，若不是則結(jié)束，否則進(jìn)入步驟(13);(13) 從(11)讀出的超級(jí)塊數(shù)據(jù)查找到該文件系統(tǒng)的主文件表；(14) 在該主文件表中査找到指示該巻空間使用情況的位圖信息并保存為$Bitmap。
4、如權(quán)利要求2所述的方法，其特征在于，其特征在于，上述步驟4)中，從連續(xù)都為1 的個(gè)數(shù)對(duì)應(yīng)的數(shù)據(jù)塊中動(dòng)態(tài)確定比較信息，具體包括以下步驟(41)獲取前一次L1與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果，若未發(fā)生變化轉(zhuǎn)入步驟(42)， 否則進(jìn)入步驟(44);(42) 獲取前N次L1與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果，若連續(xù)N未發(fā)生變化，進(jìn)入 (43)步，否則結(jié)束；(43) 增長(zhǎng)K值，且不超過最大值，然后結(jié)束；(44) 獲取前N次Ll與L2對(duì)應(yīng)數(shù)據(jù)塊特征值比較結(jié)果，若連續(xù)N (N為預(yù)設(shè)值)發(fā) 生變化，進(jìn)入(45)步，否則結(jié)束；(45) 減小K值，且不小于最小值，然后結(jié)束。
5、如權(quán)利要求2所述的方法，其特征在于，其特征在于，上述步驟5)中，從L2中 預(yù)取己使用數(shù)據(jù)并存放至M2中的緩沖區(qū)，具體包括以下步驟(51) 判斷緩沖區(qū)是已滿，若已滿等待結(jié)束，否則進(jìn)行步驟(52);(52) 讀取L2的SBitmap2，查找L2上連續(xù)已使用數(shù)據(jù)塊， 一次性將該連續(xù)已使用數(shù)據(jù) 塊讀取并存入到M2的緩沖區(qū)中。
全文摘要
本發(fā)明涉及一種基于數(shù)據(jù)差異的邏輯卷快速同步方法，屬于計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域該方法根據(jù)源卷和目的卷上的文件系統(tǒng)信息找到各自邏輯卷上已使用的數(shù)據(jù)塊，比較源邏輯卷與目的邏輯卷上對(duì)應(yīng)的數(shù)據(jù)塊對(duì)，計(jì)算該數(shù)據(jù)塊對(duì)的兩個(gè)特征值，若該兩個(gè)特征值不相同，則對(duì)該數(shù)據(jù)塊對(duì)進(jìn)行同步處理，否則，不進(jìn)行同步處理。本發(fā)明在數(shù)據(jù)同步時(shí)只比較已使用的數(shù)據(jù)塊，明顯的減少了數(shù)據(jù)比較的范圍，同時(shí)在同步時(shí)只同步發(fā)生變化的數(shù)據(jù)塊，有效減少了同步的數(shù)據(jù)量。
文檔編號(hào)G06F17/30GK101387976SQ20081022559
公開日2009年3月18日 申請(qǐng)日期2008年11月7日 優(yōu)先權(quán)日2008年11月7日
發(fā)明者宏 劉, 徐學(xué)雷, 泓 李, 汪東升, 生擁宏, 詹球翔, 鞠大鵬, 鞠秀芳 申請(qǐng)人:清華大學(xué);北京威視數(shù)據(jù)系統(tǒng)有限公司