一種面向用戶的云存儲(chǔ)數(shù)據(jù)完整性保護(hù)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明提出一種云存儲(chǔ)環(huán)境下的動(dòng)態(tài)數(shù)據(jù)完整性保護(hù)方法一 ECAS-FDPOR(Erasure Code and Algebraic Signatures-FDPOR)，從用戶角度對存儲(chǔ)在云端 的動(dòng)態(tài)數(shù)據(jù)進(jìn)行完整性驗(yàn)證，當(dāng)數(shù)據(jù)損壞時(shí)能夠?qū)κ軗p數(shù)據(jù)進(jìn)行一定程度的恢復(fù)。本發(fā)明 的技術(shù)領(lǐng)域涉及云存儲(chǔ)系統(tǒng)，數(shù)據(jù)完整性，糾刪碼，代數(shù)簽名。
【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展與計(jì)算機(jī)技術(shù)的使用開啟了云存儲(chǔ)服務(wù)的新時(shí)代。當(dāng)用戶 使用了云存儲(chǔ)服務(wù)之后，數(shù)據(jù)的存儲(chǔ)、組織、管理以及可靠性、可用性保證均由云提供商負(fù) 責(zé)，使得用戶不必構(gòu)建自己的數(shù)據(jù)中心，降低了用戶的成本。然而云存儲(chǔ)技術(shù)給人們帶來 極大存儲(chǔ)便利的同時(shí)，也帶來了一定的安全問題。其中數(shù)據(jù)完整性是用戶面臨的重大安全 性挑戰(zhàn)之一。由于數(shù)據(jù)的位置和組織方式對用戶是透明的，在云平臺(tái)和云服務(wù)提供商不完 全可信的云存儲(chǔ)環(huán)境中，存放在云端服務(wù)器上的數(shù)據(jù)極有可能被惡意攻擊者刪除、篡改、污 染，或者由于云存儲(chǔ)服務(wù)器的損壞、崩潰造成存儲(chǔ)數(shù)據(jù)的丟失。
[0003] 用戶希望保存在云存儲(chǔ)服務(wù)器端的數(shù)據(jù)猶如保存在本地一樣，能確保數(shù)據(jù)不被破 壞或丟失，在任何時(shí)間用戶都能夠訪問到數(shù)據(jù)。但現(xiàn)有的云存儲(chǔ)系統(tǒng)普遍缺少對數(shù)據(jù)進(jìn)行 有效的數(shù)據(jù)完整性保護(hù)，用戶無法得知存儲(chǔ)在云端的數(shù)據(jù)是否完整，一旦數(shù)據(jù)損壞或丟失， 那么損失最大的就是云存儲(chǔ)用戶。因此有必要從用戶角度研究和設(shè)計(jì)完整性保護(hù)方案，由 用戶主動(dòng)對其存儲(chǔ)在云端的數(shù)據(jù)進(jìn)行完整性進(jìn)行驗(yàn)證，一旦發(fā)現(xiàn)數(shù)據(jù)完整性遭到破壞，能 夠馬上對受損數(shù)據(jù)進(jìn)行恢復(fù)，確保用戶數(shù)據(jù)的完整性。完整性保護(hù)方案盡管不能完全避免 數(shù)據(jù)被破壞的風(fēng)險(xiǎn)，但可以在一定程度上降低用戶因數(shù)據(jù)受損而造成的損失。
[0004] 傳統(tǒng)的完整性驗(yàn)證方法一般利用 HMAC(Hash-based Message Authentication Code)為文件進(jìn)行哈希運(yùn)算產(chǎn)生一個(gè)消息摘要對數(shù)據(jù)繼續(xù)完整性驗(yàn)證，但這種方法須將數(shù) 據(jù)下載到用戶本地，這種方式不僅消耗大量的網(wǎng)絡(luò)帶寬，也會(huì)耗費(fèi)用戶很多的時(shí)間與精力， 顯然不是很好的方法。云存儲(chǔ)環(huán)境中的完整性驗(yàn)證與傳統(tǒng)的完整性驗(yàn)證方法不同，當(dāng)用戶 使用云服務(wù)器提供的存儲(chǔ)服務(wù)時(shí)，因?yàn)橛脩舯镜夭⒉槐４鏀?shù)據(jù)副本，因此服務(wù)器上的數(shù)據(jù) 就尤為重要。同時(shí)，很多傳統(tǒng)的完整性保護(hù)方案針對單一服務(wù)器進(jìn)行驗(yàn)證，當(dāng)擴(kuò)展到云存儲(chǔ) 環(huán)境中，會(huì)出現(xiàn)多個(gè)服務(wù)器合謀的可能，因此不能確保傳統(tǒng)完整性驗(yàn)證方法在云存儲(chǔ)環(huán)境 中的安全性。
[0005] 針對應(yīng)用場景，云存儲(chǔ)完整性保護(hù)可以分成兩類：靜態(tài)數(shù)據(jù)的完整性保護(hù)和動(dòng)態(tài) 數(shù)據(jù)的完整性保護(hù)。前者適用于用戶存儲(chǔ)在云存儲(chǔ)上的數(shù)據(jù)一經(jīng)寫入便不會(huì)對數(shù)據(jù)進(jìn)行動(dòng) 態(tài)更新操作（包括插入、修改和刪除）的場合，如檔案、圖書的存儲(chǔ)等。然而，現(xiàn)在越來越多 的應(yīng)用需求是用戶對存儲(chǔ)在云上的數(shù)據(jù)進(jìn)行頻繁插入、修改、刪除等操作，在數(shù)據(jù)進(jìn)行動(dòng)態(tài) 更新時(shí)，要求數(shù)據(jù)動(dòng)態(tài)更新帶來的開銷盡可能小，動(dòng)態(tài)數(shù)據(jù)完整性保護(hù)方案由此被提出。在 云環(huán)境下不能將適用于靜態(tài)數(shù)據(jù)的完整性驗(yàn)證方法直接運(yùn)用在動(dòng)態(tài)數(shù)據(jù)的環(huán)境里，因?yàn)橐?旦更新數(shù)據(jù)，便需要對相應(yīng)的檢驗(yàn)標(biāo)簽或糾刪碼等進(jìn)行重新計(jì)算，產(chǎn)生巨大的計(jì)算和通信 開銷，除了數(shù)據(jù)更新帶來的各種驗(yàn)證數(shù)據(jù)、校驗(yàn)數(shù)據(jù)變化以外，動(dòng)態(tài)場景下還要考慮更為復(fù) 雜的安全風(fēng)險(xiǎn)，比如重放攻擊等惡意攻擊，因此很多適用于靜態(tài)場景的完整性驗(yàn)證方法并 不適用動(dòng)態(tài)場景。因此云存儲(chǔ)環(huán)境下的動(dòng)態(tài)數(shù)據(jù)完整保護(hù)性問題就變得更加具有挑戰(zhàn)性。
[0006] 針對云存儲(chǔ)環(huán)境下用戶數(shù)據(jù)不在本地存儲(chǔ)的特殊性，用戶在不需要下載原始數(shù)據(jù) 的情況下，就能夠?qū)?shù)據(jù)的完整性進(jìn)行驗(yàn)證的方法，則能夠很好的適用于云存儲(chǔ)環(huán)境。目前 在這一領(lǐng)域也有了諸多研究。
[0007] PDP方案與POR方案是較早提出來的兩篇遠(yuǎn)程完整性驗(yàn)證的文章，這兩篇文章的 提出為以后的云存儲(chǔ)完整性保護(hù)方法提供了很好的借鑒意義。Ateniese在2007年提出 TOP (Provable Data Possession，TOP)方案，方案中有客戶端和服務(wù)器兩個(gè)角色。客戶端 可對存儲(chǔ)在不可信的服務(wù)器上的文件進(jìn)行完整性校驗(yàn)。由于校驗(yàn)時(shí)采用挑戰(zhàn)應(yīng)答協(xié)議，只 抽樣檢查了某些文件塊，且他們的標(biāo)簽具有同態(tài)性可以相互疊加，客戶端和服務(wù)器之間的 交互數(shù)據(jù)近似為一個(gè)常量，極大減少完整性驗(yàn)證網(wǎng)絡(luò)開銷，因此支持分布式系統(tǒng)中的大數(shù) 據(jù)集檢測。校驗(yàn)時(shí)雙方的計(jì)算量也較小，且允許進(jìn)行無限次的校驗(yàn)。但方案在數(shù)據(jù)更新時(shí) 不能抵抗重放攻擊，另外此方案是使用在單服務(wù)器的場景，若擴(kuò)展到多服務(wù)器場景下，多個(gè) 服務(wù)器可以共謀。
[0008] Juels 等人在 2007 年第一次提出了 POR(Proofs of Retrievability)方案。POR 方案與PDP方案相比，可以對檢測出來的受損數(shù)據(jù)進(jìn)行恢復(fù)。POR方案使服務(wù)器能夠向客戶 提供數(shù)據(jù)完整性的證明，并能夠通過糾錯(cuò)碼技術(shù)對受損的數(shù)據(jù)進(jìn)行恢復(fù)，這意味著客戶可 以以很高的概率從服務(wù)器取回完整的原先所存放的數(shù)據(jù)，并且計(jì)算開銷、通信開銷、存儲(chǔ)開 銷都很小。由于該方案因?yàn)榫幋a和標(biāo)簽塊的插入，會(huì)使文件的膨脹率達(dá)到15%，也使得POR 只能用在加密的文件內(nèi)容中，而且每校驗(yàn)一次文件的完整性就會(huì)消耗一批哨兵，所以POR 方案只能支持有限次的完整性校驗(yàn)。自從PDP與POR方案首次出現(xiàn)以來，這兩種方案的思路 發(fā)展成了兩類不同的完整性驗(yàn)證方法類別，前者可以檢測數(shù)據(jù)不能夠恢復(fù)數(shù)據(jù)，后者既可 以檢測數(shù)據(jù)又可以恢復(fù)數(shù)據(jù)。隨后有多種應(yīng)用在云存儲(chǔ)環(huán)境中的完整性保護(hù)方案被提出。
[0009] Schwarz等人提出了使用糾刪碼與代數(shù)簽名結(jié)合進(jìn)行數(shù)據(jù)完整性驗(yàn)證的 方案，對于糾刪碼的選擇的限制并不嚴(yán)格，只要是基于異或的糾刪碼就可以，比如， Evenodd，X-code，代數(shù)RS碼等等。使用到了同態(tài)的概念，代數(shù)簽名的奇偶校驗(yàn)值等于奇偶 校驗(yàn)值的代數(shù)簽名，由此可以利用糾刪碼的特性來進(jìn)行一致性判斷，從而知道數(shù)據(jù)完整性 是否遭到破壞。方案不用在用戶端預(yù)先存儲(chǔ)用于檢驗(yàn)數(shù)據(jù)完整性的元數(shù)據(jù)，從而減小了元 數(shù)據(jù)泄露或丟失的風(fēng)險(xiǎn)，方案是依靠糾刪碼與代數(shù)簽名做一致性驗(yàn)證，只能檢測出來參與 驗(yàn)證的數(shù)據(jù)是一致的或不一致的，并不能錯(cuò)誤的具體位置，另外方案只支持靜態(tài)數(shù)據(jù)，一旦 文件更新了，所有的糾刪碼都要重新計(jì)算。
[0010] HAIL方案將POR模型比較完整地拓展到了云環(huán)境中，在POR的基礎(chǔ)上對各個(gè)存儲(chǔ) 節(jié)點(diǎn)再進(jìn)行冗余編碼來提高存儲(chǔ)數(shù)據(jù)的抗破壞能力。POR可以驗(yàn)證文件是不是可恢復(fù)的，然 而作為一個(gè)對一臺(tái)服務(wù)器進(jìn)行驗(yàn)證文件可恢復(fù)性的測試工具，POR價(jià)值是有限的。如果該 文件的損壞是無法恢復(fù)的，用戶也不再擁有這個(gè)文件的資源，那么檢測出已損壞的文件并 沒有很大幫助。如果文件以跨多個(gè)服務(wù)器的冗余形式儲(chǔ)存。通過P0R，一個(gè)驗(yàn)證者（用戶） 可以在單個(gè)服務(wù)器上測試文件的可用性。如果它檢測到一個(gè)給定的服務(wù)器數(shù)據(jù)被破壞，它 可以聯(lián)系其他服務(wù)器來恢復(fù)文件。方案是在存儲(chǔ)節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)一致性驗(yàn)證，并沒有對 單個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行驗(yàn)證，所以當(dāng)進(jìn)行完整性驗(yàn)證時(shí)，發(fā)現(xiàn)數(shù)據(jù)損壞，并沒有有效的方法來進(jìn) 行具體的錯(cuò)誤定位，只能使用蠻力法找，所以方案沒有解決出錯(cuò)存儲(chǔ)節(jié)點(diǎn)快速定位的問題。 方案保護(hù)靜態(tài)數(shù)據(jù)的完整性，不能進(jìn)行數(shù)據(jù)更新。
[0011] 2009 年的 IWQoS 會(huì)議上 Wang Cong 等提出 EDS2 (Ensuring Data Storage Security)方案，方案依賴于預(yù)先計(jì)算的挑戰(zhàn)碼和簽名保證數(shù)據(jù)存儲(chǔ)的正確性和實(shí)現(xiàn)差錯(cuò) 定位。此方法與前文我們提到的HAIL與代數(shù)簽名的方案都是利用糾刪碼進(jìn)行數(shù)據(jù)的一致 性檢測，但此方法與另兩種方法相比較的優(yōu)點(diǎn)就是其可以使用在數(shù)據(jù)動(dòng)態(tài)變化的場景中。 在對需要存儲(chǔ)的數(shù)據(jù)進(jìn)行糾刪編碼的同時(shí)，根據(jù)偽隨機(jī)函數(shù)生成的值對各個(gè)數(shù)據(jù)塊進(jìn)行計(jì) 算，以獲得與函數(shù)密鑰相對應(yīng)的簽名信息。當(dāng)進(jìn)行云數(shù)據(jù)完整性檢測的時(shí)候，用戶驗(yàn)證是否 接收到的值仍然是由秘密矩陣P所決定的一個(gè)碼字，如果這個(gè)等式成立，那么用戶驗(yàn)證通 過；否則說明在被挑戰(zhàn)的行中，存在文件分塊損壞。一旦發(fā)現(xiàn)驗(yàn)證數(shù)據(jù)不一致，就可以利用 預(yù)先計(jì)算的簽名來進(jìn)一步?jīng)Q定數(shù)據(jù)錯(cuò)誤的位置，這樣可以快速進(jìn)行錯(cuò)誤數(shù)據(jù)的定位。方案 可以高效的支持?jǐn)?shù)據(jù)修改、刪除與追加操作，修改后的數(shù)據(jù)塊看作是原來的數(shù)據(jù)加上更改 的數(shù)據(jù)。但是，該方案需要在客戶端存放大量的事先計(jì)算好的檢驗(yàn)值等元數(shù)據(jù)，存在一定 的安全隱患和不必要的存儲(chǔ)開銷，因?yàn)榉桨甘腔陬A(yù)先計(jì)算挑戰(zhàn)碼和簽名對數(shù)據(jù)完整性進(jìn) 行驗(yàn)證，因此在這些預(yù)先計(jì)算過的挑戰(zhàn)碼和簽名用完之后，就不能保證服務(wù)器端數(shù)據(jù)的完 整性了，故只能做有限次檢測。方案可以高效的支持?jǐn)?shù)據(jù)修改、刪除與追加操作，但是不能 高效的支持?jǐn)?shù)據(jù)插入操作，這是插入操作將導(dǎo)致以索引j為起始的所有分塊向后移一個(gè)位 置。一個(gè)插入操作將影響到邏輯數(shù)據(jù)文件矩陣F當(dāng)中的許多行，并將引起所有后續(xù)分塊的 重新編號和挑戰(zhàn)碼以及對應(yīng)簽名的重新計(jì)算。
[0012] Zheng 等人提出的 FDPOR(Fair and dynamic proofs of retrievability)。方案 是對CPOR的改進(jìn)，由于CPOR處理的是靜態(tài)數(shù)據(jù)，當(dāng)把CPOR用在動(dòng)態(tài)數(shù)據(jù)上時(shí)是不安全的， 方案分析了為何CPOR在文件動(dòng)態(tài)更新的場景下不安全，并提出了一種安全的解決方案。另 外方案是動(dòng)態(tài)P0R，使用了 range-based2_3trees(rb23Tree for short)的數(shù)據(jù)結(jié)構(gòu)來支 持動(dòng)態(tài)更新的問題，如圖1所示。圖1中，將每一個(gè)數(shù)據(jù)分塊的哈希值作為葉子節(jié)點(diǎn)組織起 來，目的是在數(shù)據(jù)動(dòng)態(tài)更新時(shí)能進(jìn)行路徑驗(yàn)證以抵抗云存儲(chǔ)服務(wù)器的重放攻擊，并由于是 樹形結(jié)構(gòu)在更新時(shí)只會(huì)局部改變數(shù)據(jù)使得服務(wù)器端與用戶端的計(jì)算開銷減小同時(shí)增快索 引速度，這點(diǎn)在數(shù)據(jù)動(dòng)態(tài)更新場景中尤為重要。作者還引入了一個(gè)新的屬性叫做fairness， 這個(gè)特性是在方案支持了動(dòng)態(tài)更新以后才出現(xiàn)的。方案首次提出Fairness，為了防止不誠 實(shí)用戶操控誠實(shí)的服務(wù)提供者來修改數(shù)據(jù)。另外首次使得POR可以應(yīng)用在數(shù)據(jù)更新的場景 中。方案存在的問題是在驗(yàn)證時(shí)需要對全部數(shù)據(jù)塊數(shù)據(jù)進(jìn)行哈希值計(jì)算并需存儲(chǔ)驗(yàn)證標(biāo) 簽，導(dǎo)致對一個(gè)數(shù)據(jù)塊的部分?jǐn)?shù)據(jù)挑戰(zhàn)也要計(jì)算全部數(shù)據(jù)的哈希值且保存驗(yàn)證標(biāo)簽占用了 不必要的存儲(chǔ)開銷的問題；在數(shù)據(jù)恢復(fù)方面方案將錯(cuò)誤糾正碼（ECC)應(yīng)用在數(shù)據(jù)塊內(nèi)部的 粒度，雖然有一定恢復(fù)能力，但是恢復(fù)能力和恢復(fù)范圍有待改進(jìn)。
[0013] 糾刪碼技術(shù)被廣泛應(yīng)用于各種存儲(chǔ)系統(tǒng)中，其主要是通過糾刪碼算法將原始的數(shù) 據(jù)進(jìn)行編碼得到冗余，并將數(shù)據(jù)和冗余一并存儲(chǔ)起來，以達(dá)到