一種基于云存儲環(huán)境的連續(xù)數(shù)據(jù)保護(hù)的緩存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于云存儲應(yīng)用領(lǐng)域，更具體地，涉及一種基于云存儲環(huán)境的連續(xù)數(shù)據(jù)保護(hù)的緩存方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)數(shù)據(jù)量的爆炸式增長，如何高效、可靠、穩(wěn)定的存儲這些數(shù)據(jù)愈發(fā)成為業(yè)界關(guān)注的焦點(diǎn)，因此如何為用戶提供有效的數(shù)據(jù)保護(hù)方法也成為數(shù)據(jù)保護(hù)領(lǐng)域的研宄熱點(diǎn)。
[0003]當(dāng)前在數(shù)據(jù)保護(hù)領(lǐng)域中使用方式是按一定時間間隔(比如一天)對需要備份的磁盤數(shù)據(jù)進(jìn)行一次全量的數(shù)據(jù)備份。
[0004]然而，這種數(shù)據(jù)備份方式存在著一個很明顯的缺點(diǎn)，即無法恢復(fù)到時間周期中的任意一個時間點(diǎn)。這樣導(dǎo)致的后果在于，隨著數(shù)據(jù)量的增大，尤其是數(shù)據(jù)量增長速度的加快，單位時間內(nèi)增加的數(shù)據(jù)量也將隨之變大，對于金融，銀行的等恢復(fù)粒度要求較高的行業(yè)來說可能造成一定的關(guān)鍵性數(shù)據(jù)的丟失；另外，雖然現(xiàn)在的連續(xù)數(shù)據(jù)保護(hù)技術(shù)能夠?yàn)橛脩籼峁┗謴?fù)到任意時間點(diǎn)的功能，但是現(xiàn)在的的連續(xù)數(shù)據(jù)保護(hù)技術(shù)存在著擴(kuò)容、數(shù)據(jù)迀移的成本較高及數(shù)據(jù)恢復(fù)效率低等問題；而且，由于廣域網(wǎng)傳輸帶寬限制的問題，使得該連續(xù)數(shù)據(jù)保護(hù)技術(shù)沒有得到廣泛的利用。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于云存儲環(huán)境的連續(xù)數(shù)據(jù)保護(hù)的緩存方法。其目的在于，結(jié)合云存儲和連續(xù)數(shù)據(jù)保護(hù)技術(shù)兩大技術(shù)的優(yōu)勢，解決現(xiàn)有云備份技術(shù)中存在的恢復(fù)時間粒度大、擴(kuò)容和數(shù)據(jù)迀移成本高、數(shù)據(jù)恢復(fù)效率低的技術(shù)問題。
[0006]為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于云存儲環(huán)境的連續(xù)數(shù)據(jù)保護(hù)的緩存方法，包括以下步驟:
[0007](I)接收來自客戶端的數(shù)據(jù)保護(hù)請求，并判斷該數(shù)據(jù)保護(hù)請求是登陸請求，同步請求，恢復(fù)請求，備份請求，還是退出請求，如果是登陸請求則進(jìn)入步驟(2)，如果是同步請求則進(jìn)入步驟(3)，如果是備份請求則進(jìn)入步驟(4)，如果是恢復(fù)請求則進(jìn)入步驟(5)，如果是退出請求則進(jìn)入步驟(9);
[0008](2)獲取該客戶端的IP地址，并根據(jù)該登錄請求獲取被保護(hù)磁盤分區(qū)，根據(jù)IP地址和被保護(hù)磁盤分區(qū)判斷該客戶端是否存在于用戶列表文件中，如果存在，則向客戶端返回該賬號已存在的提示，然后返回步驟(I)，如果不存在，分配一個唯一的賬號給該客戶端，將客戶端的IP地址、磁盤分區(qū)號、分配的賬號記錄在用戶列表文件中，并根據(jù)該賬號創(chuàng)建記錄該客戶端信息的元數(shù)據(jù)記錄文件、元數(shù)據(jù)映射表和數(shù)據(jù)文件位置表。并向客戶端反饋需要同步的提示，然后返回步驟(I);
[0009](3)根據(jù)該同步請求對應(yīng)的同步數(shù)據(jù)生成對應(yīng)的磁盤分區(qū)鏡像文件，并發(fā)送生成完成的信息給客戶端，然后返回步驟(I);
[0010](4)接收備份請求對應(yīng)的數(shù)據(jù)和元數(shù)據(jù)，將數(shù)據(jù)進(jìn)行本地存儲，獲取數(shù)據(jù)在本地存儲的位置信息、以及該扇區(qū)號最近一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置，將元數(shù)據(jù)、數(shù)據(jù)在本地存儲的位置信息、以及該扇區(qū)號上一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置存放在元數(shù)據(jù)記錄文件中，并使用存放的位置更新元數(shù)據(jù)映射表中該扇區(qū)號最近一次備份過程中所存儲的元數(shù)據(jù)存放在元數(shù)據(jù)記錄文件中的位置；
[0011](5)根據(jù)恢復(fù)請求獲取恢復(fù)數(shù)據(jù)的恢復(fù)時間點(diǎn)，根據(jù)恢復(fù)數(shù)據(jù)的恢復(fù)時間點(diǎn)檢索所有扇區(qū)號的元數(shù)據(jù)、所有扇區(qū)號的數(shù)據(jù)在本地存儲的位置信息、以及所有扇區(qū)號上一次備份過程中所存儲的元數(shù)據(jù)，以形成恢復(fù)視圖；
[0012](6)讀取磁盤分區(qū)鏡像文件，并將該磁盤分區(qū)鏡像文件寫入恢復(fù)請求對應(yīng)的恢復(fù)文件中；
[0013](7)順序讀取恢復(fù)視圖中的記錄，并根據(jù)數(shù)據(jù)大小、數(shù)據(jù)在本地存儲的位置信息獲取數(shù)據(jù)，并將該數(shù)據(jù)覆蓋到恢復(fù)文件中以形成新的恢復(fù)文件；
[0014](8)利用open-1scsi協(xié)議讀取新的恢復(fù)文件中的數(shù)據(jù)，并將讀取的數(shù)據(jù)發(fā)回給客戶端，并發(fā)送成功標(biāo)識，然后返回步驟(I);
[0015](9)釋放TCP連接，回收系統(tǒng)資源，同時將客戶端占用的線程放入空閑線程池。
[0016]優(yōu)選地，步驟(I)中，通過讀取數(shù)據(jù)保護(hù)請求的數(shù)據(jù)包頭部的字段，如果該字段為0，則表示該請求是登錄請求，如果為I則表示該請求是恢復(fù)請求，如果為2則表示該請求是備份請求，如果為3則表示該請求是同步請求，如果為4則表示該請求是退出請求。
[0017]優(yōu)選地，元數(shù)據(jù)包括時間戳、數(shù)據(jù)大小以及數(shù)據(jù)在磁盤中的扇區(qū)號。
[0018]優(yōu)選地，數(shù)據(jù)在本地存儲的位置信息包括所存儲的文件名以及文件偏移，扇區(qū)號最近一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置從元數(shù)據(jù)映射表中獲取。
[0019]優(yōu)選地，步驟(4)中將數(shù)據(jù)進(jìn)行本地存儲的過程包括以下子步驟:
[0020](4-1-1)打開記錄當(dāng)前備份數(shù)據(jù)文件信息的文件，里面記錄了當(dāng)前備份數(shù)據(jù)文件編號、當(dāng)前備份數(shù)據(jù)文件總大小、剩余空間大小，如果記錄當(dāng)前備份數(shù)據(jù)文件信息的文件為空文件，則進(jìn)入步驟(4-1-2)，否則進(jìn)入步驟(4-1-3);
[0021](4-1-2)設(shè)置備份數(shù)據(jù)文件名起始標(biāo)識，然后創(chuàng)建備份數(shù)據(jù)文件，在數(shù)據(jù)文件位置表中記錄該備份數(shù)據(jù)文件在本地，并更新記錄當(dāng)前備份數(shù)據(jù)文件信息的文件，設(shè)置當(dāng)前備份數(shù)據(jù)文件編號，當(dāng)前備份數(shù)據(jù)文件總大小和剩余空間大小都設(shè)置為文件規(guī)定的大小，轉(zhuǎn)步驟(4-1-4)；
[0022](4-1-3)讀取文件中的信息，得到當(dāng)前文件編號，轉(zhuǎn)步驟(4-1-4);
[0023](4-1-4)判斷當(dāng)前備份數(shù)據(jù)文件沒有超過了規(guī)定的大小，如果沒有超過，則將數(shù)據(jù)寫入到當(dāng)前備份數(shù)據(jù)文件，并更新記錄當(dāng)前備份數(shù)據(jù)文件信息的文件，設(shè)置當(dāng)前備份數(shù)據(jù)文件剩余空間大??；如果超過規(guī)定值，則生成新的備份數(shù)據(jù)文件，新的備份數(shù)據(jù)文件名在前一個備份數(shù)據(jù)文件名前提上加1，并將數(shù)據(jù)寫入新的備份數(shù)據(jù)文件，然后更新記錄當(dāng)前備份數(shù)據(jù)文件信息的文件，設(shè)置當(dāng)前備份數(shù)據(jù)文件編號、當(dāng)前備份數(shù)據(jù)文件總大小、剩余空間大小等，最后返回?cái)?shù)據(jù)寫入當(dāng)前備份數(shù)據(jù)文件的文件名及文件偏移。
[0024]優(yōu)選地，步驟(4)中將元數(shù)據(jù)進(jìn)行組織存儲的過程具體包括以下子步驟:
[0025](4-2-1)根據(jù)元數(shù)據(jù)中的扇區(qū)號找到對應(yīng)的元數(shù)據(jù)映射表中的位置。該扇區(qū)號對應(yīng)的元數(shù)據(jù)映射表表項(xiàng)中記錄著該扇區(qū)最近一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件的位置以及該扇區(qū)備份過程中所存儲的元數(shù)據(jù)日志鏈表的長度，并轉(zhuǎn)入步驟(4-2-2)；
[0026](4-2-2)獲取該扇區(qū)號對應(yīng)的元數(shù)據(jù)映射表表項(xiàng)的信息，并將該扇區(qū)號最近一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件的位置寫入新生成的元數(shù)據(jù)的最近一次備份過程元數(shù)據(jù)記錄位置字段，并將元數(shù)據(jù)映射表中該扇區(qū)備份過程中所存儲的元數(shù)據(jù)日志鏈表長度加1，將元數(shù)據(jù)、數(shù)據(jù)在本地存儲的位置信息、以及該扇區(qū)號上一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置寫入元數(shù)據(jù)記錄文件中，并將返回的存儲位置更新元數(shù)據(jù)映射表中該扇區(qū)最近一次備份過程中所存儲的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置。
[0027]優(yōu)選地，步驟(5)包括以下子步驟:
[0028](5-1)遍歷元數(shù)據(jù)映射表中的每一個元數(shù)據(jù)映射表項(xiàng)，元數(shù)據(jù)映射表項(xiàng)代表指定扇區(qū)最近一次備份過程中生成的元數(shù)據(jù)在元數(shù)據(jù)記錄文件中的位置，并對元數(shù)據(jù)映射表項(xiàng)代表的扇區(qū)的元數(shù)據(jù)日志鏈進(jìn)行回溯，找出小于恢復(fù)時間的最大時刻的元數(shù)據(jù)，并轉(zhuǎn)入步驟(5-2)；
[0029](5-2)提取元數(shù)據(jù)中的磁盤扇區(qū)號，數(shù)據(jù)長度和數(shù)據(jù)的存儲位置信息形成磁盤的恢復(fù)視圖。
[0030]優(yōu)選地，步驟(7)中獲取數(shù)據(jù)的過程具體包括以下子步驟:
[0031](7-1)根據(jù)數(shù)據(jù)文件位置表查找存儲文件是否在本地，是則進(jìn)入步驟(7-2)，否則進(jìn)入步驟(7-3);
[0032](7-2)從云存儲端下載相應(yīng)文件。進(jìn)入步驟(7-3);
[0033](7-3)解析數(shù)據(jù)在本地存儲的位置信息和數(shù)據(jù)大小，讀取數(shù)據(jù)。
[0034]按照本發(fā)明的另一方面，提供了一種基于云存儲環(huán)境的連續(xù)數(shù)據(jù)保護(hù)的緩存系統(tǒng)，包括以下步驟:
[0035]第一模塊，用于接收來自客戶端的數(shù)據(jù)保護(hù)請求，并判斷該數(shù)據(jù)保護(hù)請求是登陸請求，同步請求，恢復(fù)請求，備份請求，還是退出請求，如果是登陸請求則進(jìn)入第二模塊，如果是同步請求則進(jìn)入第三模塊，如果是備份請求則進(jìn)入第四模塊，如果是恢復(fù)請求則進(jìn)入第五模塊，如果是退出請求則進(jìn)入第九模塊；
[0036]第二模塊，用于獲取該客戶端的IP地址，并根據(jù)該登錄請求獲取被保護(hù)磁盤分區(qū)，根據(jù)IP地址和被保護(hù)磁盤分區(qū)判斷該客戶端是否存在于用戶列表文件中，如果存在，則向客戶端返回該賬號已存在的提示，然后返回第一模塊，如果不存在，分配一個唯一的賬