一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法
【專利摘要】本發(fā)明提供一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法，涉及計(jì)算機(jī)存儲(chǔ)領(lǐng)域，該方法涉及如下幾個(gè)主要步驟：比較源端和目的端對(duì)應(yīng)文件的大小和修改時(shí)間；目的端文件分塊，計(jì)算校驗(yàn)和。該步驟首先對(duì)目的端的文件進(jìn)行分塊，之后對(duì)每個(gè)塊分別計(jì)算校驗(yàn)和；將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆矗辉谠炊诉M(jìn)行文件的數(shù)據(jù)塊比對(duì)；將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩?；目的端根?jù)從源端接收到的結(jié)果數(shù)組，重新生成文件。本發(fā)明能夠有效的提高的存儲(chǔ)系統(tǒng)中的海量文件的同步速度，提升網(wǎng)絡(luò)利用率。
【專利說(shuō)明】一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法
[0001]【技術(shù)領(lǐng)域】
本發(fā)明涉及計(jì)算機(jī)存儲(chǔ)領(lǐng)域，具體涉及集群存儲(chǔ)中，海量文件備份加速的技術(shù)，具體地說(shuō)是一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法。
【背景技術(shù)】
[0002]隨著信息時(shí)代的到來(lái)網(wǎng)絡(luò)應(yīng)用的高速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來(lái)越大，海量存儲(chǔ)系統(tǒng)中所保存的數(shù)據(jù)量也越來(lái)越大，越來(lái)越多的存儲(chǔ)系統(tǒng)中保存的數(shù)據(jù)量都已經(jīng)達(dá)到了 PB級(jí)。數(shù)據(jù)規(guī)模的快速增長(zhǎng)無(wú)疑給文件同步、數(shù)據(jù)備份帶來(lái)了新的問(wèn)題。在海量數(shù)據(jù)的新環(huán)境下，傳統(tǒng)的文件同步方法的性能已經(jīng)無(wú)法滿足業(yè)務(wù)需求。
[0003]由于現(xiàn)有的文件同步方法大都沒(méi)有針對(duì)海量數(shù)據(jù)的環(huán)境進(jìn)行專門的設(shè)計(jì)和優(yōu)化，因此同步海量文件的性能較低。

【發(fā)明內(nèi)容】

[0004]本專利設(shè)計(jì)了一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法。其特征在于通過(guò)利用文件對(duì)比算法以及多線程技術(shù)，減少了需要在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，并且充分利用了網(wǎng)絡(luò)的帶寬，進(jìn)而提高了文件同步的速度，減少了文件同步所需要的時(shí)間。
[0005]該方法涉及如下幾個(gè)主要步驟:
1)、比較源端和目的端對(duì)應(yīng)文件的大小和修改時(shí)間；如果源端文件和目的端文件的大小和修改時(shí)間中有一項(xiàng)不同，則啟動(dòng)一個(gè)線程，在新線程中開(kāi)始執(zhí)行步驟2。之后重復(fù)步驟1，比較下一個(gè)文件的大小和修改時(shí)間；
2)、目的端文件分塊，計(jì)算校驗(yàn)和；該步驟首先對(duì)目的端的文件進(jìn)行分塊，之后對(duì)每個(gè)塊分別計(jì)算校驗(yàn)和；
3)、將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆?；校?yàn)和列表中包括數(shù)據(jù)塊的編號(hào)和校驗(yàn)和；
4)、在源端進(jìn)行文件的數(shù)據(jù)塊比對(duì)。在同步的源端，計(jì)算文件中的第一個(gè)數(shù)據(jù)塊的校驗(yàn)和，并在從目的端得到的校驗(yàn)和列表中，查找該校驗(yàn)和是否存在；如果存在，則將該校驗(yàn)和對(duì)應(yīng)的目的端文件數(shù)據(jù)塊編號(hào)記錄到結(jié)果數(shù)組中的對(duì)應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動(dòng)一個(gè)數(shù)據(jù)塊的長(zhǎng)度；如果不存在，則將該數(shù)據(jù)塊的第一個(gè)字節(jié)保存到結(jié)果數(shù)組的對(duì)應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動(dòng)一個(gè)字節(jié)。重復(fù)以上過(guò)程，直至整個(gè)文件比對(duì)完畢；
5)、將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩耍?br> 6)、目的端根據(jù)從源端接收到的結(jié)果數(shù)組，重新生成文件。
[0006]對(duì)文件的對(duì)比和傳輸過(guò)程進(jìn)行優(yōu)化，通過(guò)算法得出文件中被修改的部分，減少傳輸過(guò)程中需要傳輸?shù)臄?shù)據(jù)量，并對(duì)文件比較和數(shù)據(jù)傳輸進(jìn)行并行處理的優(yōu)化，從而大大提高文件的同步速度。
[0007]該方法主要用于在不同的海量存儲(chǔ)系統(tǒng)之間同步文件，通過(guò)在文件同步的源端和目的端進(jìn)行軟件優(yōu)化，減少文件同步過(guò)程中需要傳輸?shù)臄?shù)據(jù)量，實(shí)現(xiàn)海量文件同步速度的提升。
[0008]本發(fā)明與現(xiàn)有技術(shù)相比，所產(chǎn)生的有益效果是:
該方法通過(guò)使用文件對(duì)比算法，查找出了同步源端文件和同步目的端文件中相同的數(shù)據(jù)塊，減少了需要在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，同時(shí)使用了多線程技術(shù)，實(shí)現(xiàn)多個(gè)文件的同時(shí)傳輸，提高了海量文件同步的速度。
【專利附圖】

【附圖說(shuō)明】
[0009]附圖1為文件數(shù)據(jù)塊對(duì)比算法的流程圖；
附圖2為使用文件數(shù)據(jù)塊對(duì)比算法后生成的結(jié)果數(shù)組示意圖。
[0010]圖2中標(biāo)識(shí)為灰色的數(shù)據(jù)塊表示該數(shù)據(jù)塊在目的端的文件中存在，數(shù)據(jù)塊下方給出的是其在目的端文件中的編號(hào)；圖2中標(biāo)識(shí)為白色的數(shù)據(jù)塊為本次同步需要傳輸?shù)臄?shù)據(jù)塊。
【具體實(shí)施方式】
[0011]參照具體實(shí)施例對(duì)本發(fā)明的提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法作以下詳細(xì)地說(shuō)明。
[0012]本發(fā)明體系結(jié)構(gòu)包括:同步客戶端模塊(I)、同步服務(wù)端模塊(2)。
[0013]在一個(gè)典型的配置環(huán)境里，同步客戶端模塊(I)和同步服務(wù)端模塊(2)作為一般的應(yīng)用軟件分別被安裝到同步的目的端和同步的源端。當(dāng)發(fā)起同步操作時(shí)，同步服務(wù)端模塊(2)將同步源端目錄中所有文件的文件名、文件大小和修改時(shí)間發(fā)送到同步客戶端模塊
(1)，同步客戶端模塊(I)依次比較源端和目的端對(duì)應(yīng)文件的文件大小和修改時(shí)間，如果發(fā)現(xiàn)存在文件大小或修改時(shí)間不同的文件，則創(chuàng)建一個(gè)線程，在新線程中，使用數(shù)據(jù)塊比對(duì)算法，查找出源端和目的端不同的數(shù)據(jù)塊并進(jìn)行傳輸，并最終在同步客戶端模塊(I)中利用這些數(shù)據(jù)塊生成文件，完成文件的同步。
[0014]至此，通過(guò)多文件的并行傳輸以及減少需要傳輸?shù)臄?shù)據(jù)量這兩個(gè)方法，實(shí)現(xiàn)了一種海量文件環(huán)境中，提高文件同步速度的方法。
【權(quán)利要求】
1.一種提高存儲(chǔ)系統(tǒng)間海量文件同步速度的方法，其特征在于該方法涉及如下幾個(gè)主要步驟: 1)、比較源端和目的端對(duì)應(yīng)文件的大小和修改時(shí)間；如果源端文件和目的端文件的大小和修改時(shí)間中有一項(xiàng)不同，則啟動(dòng)一個(gè)線程，在新線程中開(kāi)始執(zhí)行步驟2;之后重復(fù)步驟1，比較下一個(gè)文件的大小和修改時(shí)間； 2)、目的端文件分塊，計(jì)算校驗(yàn)和；該步驟首先對(duì)目的端的文件進(jìn)行分塊，之后對(duì)每個(gè)塊分別計(jì)算校驗(yàn)和； 3)、將目的端文件的校驗(yàn)和列表傳輸?shù)酵皆?；校?yàn)和列表中包括數(shù)據(jù)塊的編號(hào)和校驗(yàn)和； 4)、在源端進(jìn)行文件的數(shù)據(jù)塊比對(duì)；在同步的源端，計(jì)算文件中的第一個(gè)數(shù)據(jù)塊的校驗(yàn)和，并在從目的端得到的校驗(yàn)和列表中，查找該校驗(yàn)和是否存在；如果存在，則將該校驗(yàn)和對(duì)應(yīng)的目的端文件數(shù)據(jù)塊編號(hào)記錄到結(jié)果數(shù)組中的對(duì)應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動(dòng)一個(gè)數(shù)據(jù)塊的長(zhǎng)度；如果不存在，則將該數(shù)據(jù)塊的第一個(gè)字節(jié)保存到結(jié)果數(shù)組的對(duì)應(yīng)位置，并將數(shù)據(jù)塊窗口向后移動(dòng)一個(gè)字節(jié)；重復(fù)以上過(guò)程，直至整個(gè)文件比對(duì)完畢； 5)、將步驟4中得到的結(jié)果數(shù)組傳輸?shù)侥康亩耍? 6)、目的端根據(jù)從 源端接收到的結(jié)果數(shù)組，重新生成文件。
【文檔編號(hào)】G06F17/30GK103605768SQ201310612349
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2013年11月27日 優(yōu)先權(quán)日:2013年11月27日
【發(fā)明者】孟令斌 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司