欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

分布式存儲系統(tǒng)管理裝置及方法

文檔序號:6434007閱讀:206來源:國知局
專利名稱:分布式存儲系統(tǒng)管理裝置及方法
分布式存儲系統(tǒng)管理裝置及方法技術(shù)領(lǐng)域
本申請涉及分布式存儲技術(shù)領(lǐng)域,尤其涉及一種具有高可用存儲失效處理能力的 分布式存儲系統(tǒng)管理裝置及方法。
背景技術(shù)
傳統(tǒng)的存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù),存儲服務(wù)器成為系統(tǒng)性能 的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應(yīng)用的需要。分布式存儲系統(tǒng)采 用可擴展的系統(tǒng)結(jié)構(gòu),通過利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷,并利用位置服務(wù)器定位存 儲信息,不僅提高了系統(tǒng)的可靠性、可用性和存取效率,還使得后續(xù)的擴展更為便利。
另一方面,在各種應(yīng)用環(huán)境中,存儲系統(tǒng)中的數(shù)據(jù)都是寶貴的財富,各種存儲系統(tǒng) 均會致力于保證所存儲的數(shù)據(jù)不因各種原因丟失。在分布式存儲系統(tǒng)中,個別存儲服務(wù)器 的宕機、停機維護或網(wǎng)絡(luò)故障等問題都有可能導(dǎo)致數(shù)據(jù)的丟失,甚至可能會導(dǎo)致整個存儲 系統(tǒng)的不可用,進而會影響到存儲系統(tǒng)所服務(wù)的應(yīng)用系統(tǒng)的可用性。為了避免這種狀況的 發(fā)生,分布式存儲系統(tǒng)中通常采用以下兩種存儲失效處理機制,同時,這兩種機制也都各自 存在一定的缺點。
第一種存儲失效處理機制中,是將兩個不同的物理存儲服務(wù)器配置為主從服務(wù) 器,例如服務(wù)器A (主服務(wù)器)和服務(wù)器B (從服務(wù)器),正常情況下應(yīng)用系統(tǒng)訪問服務(wù)器A 進行數(shù)據(jù)的讀取和寫入,并且寫入服務(wù)器A的數(shù)據(jù)會同步至服務(wù)器B ;—旦服務(wù)器A發(fā)生宕 機等故障,應(yīng)用系統(tǒng)便切換至服務(wù)器B進行數(shù)據(jù)讀寫;而在服務(wù)器A恢復(fù)正常后,再將服務(wù) 器B的數(shù)據(jù)回遷到服務(wù)器A上。該機制的缺點在于,首先,正常情況下,從主服務(wù)器到從服 務(wù)器的數(shù)據(jù)同步也會存在延時,當(dāng)主服務(wù)器出現(xiàn)故障時,可能會導(dǎo)致小部分?jǐn)?shù)據(jù)無法及時 同步到從服務(wù)器,從而出現(xiàn)數(shù)據(jù)丟失;其次,主服務(wù)器從故障恢復(fù)正常后,需要將從服務(wù)器 的數(shù)據(jù)遷回主服務(wù)器,由于此期間從服務(wù)器的數(shù)據(jù)一直在不斷寫入,所以這個遷回過程會 比較復(fù)雜;最后,一旦主服務(wù)器、從服務(wù)器同時都出現(xiàn)故障,便會導(dǎo)致存儲系統(tǒng)完全不可用。
另外一種新近出現(xiàn)的存儲失效處理機制中,應(yīng)用系統(tǒng)在進行數(shù)據(jù)寫入時,是將同 一個數(shù)據(jù)寫入到多個(例如3個)彼此不相關(guān)聯(lián)的服務(wù)器上,只要成功寫入一定數(shù)量(例 如2個)的服務(wù)器即認(rèn)定為寫入操作完成;而應(yīng)用系統(tǒng)在進行數(shù)據(jù)讀取時,便到上述多個服 務(wù)器上同時讀取,只要從一定數(shù)量(例如2個)的服務(wù)器上讀取成功便認(rèn)定為讀取操作完 成。由上述可以看出,該機制是通過數(shù)據(jù)備份的數(shù)量來彌補可能的服務(wù)器故障所造成的存 儲失效,其缺點在于,應(yīng)用系統(tǒng)的數(shù)據(jù)讀取和寫入操作都需要同時訪問多個服務(wù)器,然而寫 入操作并不能保證每次寫入的數(shù)據(jù)完全不出差錯,而讀取操作便可能會讀取到不一致的數(shù) 據(jù),這樣應(yīng)用系統(tǒng)在讀取數(shù)據(jù)時還需要進行數(shù)據(jù)校驗并修復(fù)不正確的數(shù)據(jù),因此整個過程 實現(xiàn)比較復(fù)雜且會導(dǎo)致系統(tǒng)性能變差。發(fā)明內(nèi)容
本申請的實施例旨在提供一種分布式存儲系統(tǒng)管理裝置及方法,以解決上述分布式系統(tǒng)中存儲失效處理機制所存在的問題。
為實現(xiàn)上述目的,本申請的實施例提供了一種分布式存儲系統(tǒng)管理裝置,應(yīng)用于包括N個存儲服務(wù)器的分布式存儲系統(tǒng),該裝置包括分組管理單元、數(shù)據(jù)寫入單元及數(shù)據(jù)讀取單元,其中,
所述分組管理單元用于將所述N個存儲服務(wù)器中的M個存儲服務(wù)器分為X個對等序列并形成I個虛擬節(jié)點組,且每個虛擬節(jié)點組中包括z個彼此屬于不同對等序列的存儲服務(wù)器,其余N-M個存儲服務(wù)器為臨時存儲服務(wù)器,上述N、M、x、y為自然數(shù)常量且滿足 N>3,2<M<N,x>2,y>l,x*y>M;zS 自然數(shù)變量且滿足2 彡 z 彡 x ;
所述數(shù)據(jù)寫入單元用于將數(shù)據(jù)寫入到選擇的一個虛擬節(jié)點組的每個存儲服務(wù)器中,并在該虛擬節(jié)點組的部分存儲服務(wù)器不可用時,將該數(shù)據(jù)寫入到該虛擬節(jié)點組剩余可用的存儲服務(wù)器以及所述臨時存儲服務(wù)器中;
所述數(shù)據(jù)讀取單元用于從數(shù)據(jù)被寫入的虛擬節(jié)點組中任一可用的存儲服務(wù)器處讀取該數(shù)據(jù)。
本申請的實施例還提供一種分布式存儲系統(tǒng)管理方法,應(yīng)用于包括N個存儲服務(wù)器的分布式存儲系統(tǒng),并包括以下步驟
S1.將M個存儲服務(wù)器分為X個對等序列并形成y個虛擬節(jié)點組,且每個虛擬節(jié)點組中包括z個彼此屬于不同對等序列的存儲服務(wù)器,其余N-M個存儲服務(wù)器為臨時存儲服務(wù)器,上述N、M、x、y為自然數(shù)常量且滿足N彡3,2<M<N,x彡2,y彡l,x*y彡M;z 為自然數(shù)變量且滿足2<ζ<χ;
S21.在執(zhí)行數(shù)據(jù)寫入操作時將數(shù)據(jù)寫入到選擇的一個虛擬節(jié)點組的每個存儲服務(wù)器中,并在該虛擬節(jié)點組的部分存儲服務(wù)器不可用時,將該數(shù)據(jù)寫入到該虛擬節(jié)點組剩余可用的存儲服務(wù)器以及所述臨時存儲服務(wù)器中;
S22.在執(zhí)行數(shù)據(jù)讀取操作時從數(shù)據(jù)被寫入的虛擬節(jié)點組中任一可用的存儲服務(wù)器處讀取該數(shù)據(jù)。
由上述技術(shù)方案可知,本申請實施例提供的分布式存儲系統(tǒng)管理裝置及方法,通過對等序列及虛擬節(jié)點組的雙重功能劃分對存儲服務(wù)器進行管理,能夠保證數(shù)據(jù)備份在虛擬節(jié)點組中分屬不同對等序列的存儲服務(wù)器中,從而在某個對等序列中的存儲服務(wù)器失效時可以繼續(xù)由該虛擬節(jié)點組中其他對等序列的存儲服務(wù)器提供數(shù)據(jù)讀寫服務(wù)。


圖1為本申請分布式存儲系統(tǒng)管理裝置實施例的結(jié)構(gòu)示意圖2為本申請分布式存儲系統(tǒng)管理方法實施例一的流程圖3為本申請分布式存儲系統(tǒng)管理方法實施例二的流程圖。
具體實施方式
下面將詳細(xì)描述本申請的具體實施例。應(yīng)當(dāng)注意,這里描述的實施例只用于舉例說明,并不用于限制本申請。
圖1為本申請分布式存儲系統(tǒng)管理裝置實施例的結(jié)構(gòu)示意圖,如圖所示,本實施例的分布式存儲系統(tǒng)管理裝置11,用于對包括N個存儲服務(wù)器121 12Ν的分布式存儲系統(tǒng)進行管理。分布式存儲系統(tǒng)管理裝置11進一步包括分組管理單元110,其用于對上述分布式存儲系統(tǒng)中的N個存儲服務(wù)器121 12N進行分組管理,具體包括在存儲服務(wù)器121 12N中,選取M個存儲服務(wù)器劃分為X個對等序列,每個對等序列中包含一定數(shù)量的存儲服務(wù)器,在一個實施例中,每個對等序列包含的存儲服務(wù)器的個數(shù)相同,當(dāng)然每個對等序列中包含的服務(wù)器的個數(shù)也可以不相同;接下來,繼續(xù)將上述所選取的M個存儲服務(wù)器劃分為I個虛擬節(jié)點組,且使得每個虛擬節(jié)點組中都包括z個彼此屬于不同對等序列的存儲服務(wù)器;最后,將其余N-M個存儲服務(wù)器設(shè)置為臨時存儲服務(wù)器。上述各字母所表示的量中,N、M、X、y為自然數(shù)常量且其取值分別滿足N彡3,2彡M < N,X彡2,y彡1, X · y彡M( “ · ”為乘法標(biāo)記);z為自然數(shù)變量且取值滿足2彡z彡X。在一個實施例中, z可以是自然數(shù)常量,也即,使得每個虛擬節(jié)點組中存儲服務(wù)器的個數(shù)相同,在這種情況下, 為了滿足每個虛擬節(jié)點組中各個存儲服務(wù)器彼此屬于不同對等序列,實際上x、y、M的取值需要滿足M = X · y,而此時z = X。
下面結(jié)合數(shù)組的概念可以更好地理解本實施例中分組管理單元110以對等序列和虛擬節(jié)點組來對M個存儲服務(wù)器進行雙重劃分的過程。例如,假設(shè)數(shù)組a[x]w如下
權(quán)利要求
1.一種分布式存儲系統(tǒng)管理裝置,應(yīng)用于包括N個存儲服務(wù)器的分布式存儲系統(tǒng),該裝置包括分組管理單元、數(shù)據(jù)寫入單元及數(shù)據(jù)讀取單元,其中,所述分組管理單元用于將所述N個存儲服務(wù)器中的M個存儲服務(wù)器分為X個對等序列并形成I個虛擬節(jié)點組,且每個虛擬節(jié)點組中包括z個彼此屬于不同對等序列的存儲服務(wù)器,其余N-M個存儲服務(wù)器為臨時存儲服務(wù)器,上述N、M、X、y為自然數(shù)常量且滿足N > 3,2<M<N,x>2,y>l,x*y>M;zS自然數(shù)變量且滿足2彡z彡x ;所述數(shù)據(jù)寫入單元用于將數(shù)據(jù)寫入到選擇的一個虛擬節(jié)點組的每個存儲服務(wù)器中,并在該虛擬節(jié)點組的部分存儲服務(wù)器不可用時,將該數(shù)據(jù)寫入到該虛擬節(jié)點組剩余可用的存儲服務(wù)器以及所述臨時存儲服務(wù)器中;所述數(shù)據(jù)讀取單元用于從數(shù)據(jù)被寫入的虛擬節(jié)點組中任一可用的存儲服務(wù)器處讀取該數(shù)據(jù)。
2.如權(quán)利要求1所述的分布式存儲系統(tǒng)管理裝置,其中,還包括數(shù)據(jù)遷移單元,所述數(shù)據(jù)遷移單元用于在不可用的存儲服務(wù)器恢復(fù)可用時,將對應(yīng)的臨時存儲服務(wù)器中存儲的數(shù)據(jù)遷回該恢復(fù)可用的存儲服務(wù)器;并用于在不可用的存儲服務(wù)器無法恢復(fù)可用時,將該存儲服務(wù)器所在的虛擬節(jié)點組里可用的存儲服務(wù)器中存儲的數(shù)據(jù)遷移至選擇的一個臨時存儲服務(wù)器,并以該臨時存儲服務(wù)器替換所述不可用的存儲服務(wù)器。
3.如權(quán)利要求2所述的分布式存儲系統(tǒng)管理裝置,其中,還包括重試控制單元及失效判斷單元,所述重試控制單元用于控制所述數(shù)據(jù)寫入單元及所述數(shù)據(jù)讀取單元在執(zhí)行對應(yīng)的數(shù)據(jù)寫入或讀取操作失敗時按第一預(yù)定次數(shù)重試該數(shù)據(jù)寫入或讀取操作;所述失效判斷單元用于在所述重試控制單元控制的重試達(dá)到所述第一預(yù)定次數(shù)時判斷對應(yīng)的存儲服務(wù)器為不可用,并將該判斷結(jié)果通知所述數(shù)據(jù)寫入單元及所述數(shù)據(jù)讀取單元;以及用于在存儲服務(wù)器被判斷為不可用后,利用所述重試控制單元按第二預(yù)定次數(shù)重復(fù)檢測該存儲服務(wù)器的狀態(tài),在檢測為可用時判斷該存儲服務(wù)器恢復(fù)可用或者在檢測為不可用達(dá)到所述第二預(yù)定次數(shù)時判斷該存儲服務(wù)器無法恢復(fù)可用,并將該判斷結(jié)果通知所述數(shù)據(jù)遷移單元。
4.如權(quán)利要求1所述的分布式存儲系統(tǒng)管理裝置,其中,還包括數(shù)據(jù)路由單元,所述數(shù)據(jù)路由單元用于確定所述數(shù)據(jù)寫入單元寫入數(shù)據(jù)以及所述數(shù)據(jù)讀取單元讀取數(shù)據(jù)時所選擇的虛擬節(jié)點組。
5.如權(quán)利要求4所述的分布式存儲系統(tǒng)管理裝置,其中,所述數(shù)據(jù)路由單元還包括路由選擇子單元,所述路由選擇子單元用于分別賦以0、1.....y-1的編號管理所述y個虛擬節(jié)點組,并根據(jù)將待寫入的數(shù)據(jù)的哈希值對y取模得到的值選擇與該值對應(yīng)編號的虛擬節(jié)點組作為所述數(shù)據(jù)寫入單元寫入該數(shù)據(jù)的虛擬節(jié)點組,以及根據(jù)將待讀取的數(shù)據(jù)的哈希值對y取模得到的值選擇與該值對應(yīng)編號的虛擬節(jié)點組作為所述數(shù)據(jù)讀取單元讀取該數(shù)據(jù)的虛擬節(jié)點組。
6.如權(quán)利要求1所述的分布式存儲系統(tǒng)管理裝置,其中,x、y、M的取值滿足M= x*y0
7.—種分布式存儲系統(tǒng)管理方法,應(yīng)用于包括N個存儲服務(wù)器的分布式存儲系統(tǒng),其中,該方法包括以下步驟S1.將M個存儲服務(wù)器分為X個對等序列并形成y個虛擬節(jié)點組,且每個虛擬節(jié)點組中包括z個彼此屬于不同對等序列的存儲服務(wù)器,其余N-M個存儲服務(wù)器為臨時存儲服務(wù)器,上述 N、M、X、y 為自然數(shù)常量且滿足N>3,2<M<N,x>2,y>l,x*y>M;zSgS數(shù)變量且滿足2 < z < X ;S21.在執(zhí)行數(shù)據(jù)寫入操作時將數(shù)據(jù)寫入到選擇的一個虛擬節(jié)點組的每個存儲服務(wù)器中,并在該虛擬節(jié)點組的部分存儲服務(wù)器不可用時,將該數(shù)據(jù)寫入到該虛擬節(jié)點組剩余可用的存儲服務(wù)器以及所述臨時存儲服務(wù)器中;S22.在執(zhí)行數(shù)據(jù)讀取操作時從數(shù)據(jù)被寫入的虛擬節(jié)點組中任一可用的存儲服務(wù)器處讀取該數(shù)據(jù)。
8.如權(quán)利要求7所述的分布式存儲系統(tǒng)管理方法,其中,還包括以下步驟S31.在不可用的存儲服務(wù)器恢復(fù)可用時,將對應(yīng)的臨時存儲服務(wù)器中存儲的數(shù)據(jù)遷回該恢復(fù)可用的存儲服務(wù)器;S32.在不可用的存儲服務(wù)器無法恢復(fù)可用時,將該存儲服務(wù)器所在的虛擬節(jié)點組里可用的存儲服務(wù)器中存儲的數(shù)據(jù)遷移至選擇的一個臨時存儲服務(wù)器,并以該臨時存儲服務(wù)器替換所述不可用的存儲服務(wù)器。
9.如權(quán)利要求8所述的分布式存儲系統(tǒng)管理方法,其中,還包括以下步驟S41.在執(zhí)行數(shù)據(jù)寫入或讀取操作失敗時重試該數(shù)據(jù)寫入或讀取操作;S42.在步驟S41重試達(dá)到第一預(yù)定次數(shù)時判斷對應(yīng)的存儲服務(wù)器為不可用;S43.在存儲服務(wù)器被判斷為不可用后,重復(fù)檢測該存儲服務(wù)器的狀態(tài),在檢測為可用時判斷該存儲服務(wù)器恢復(fù)可用并轉(zhuǎn)步驟S31,在檢測為不可用且達(dá)到第二預(yù)定次數(shù)時判斷該存儲服務(wù)器無法恢復(fù)可用并轉(zhuǎn)步驟S32。
10.如權(quán)利要求7所述的分布式存儲系統(tǒng)管理方法,其中,還包括以下步驟分別賦以O(shè)、1.....y-ι的編號管理所述y個虛擬節(jié)點組,并在步驟S21執(zhí)行數(shù)據(jù)寫入操作時,根據(jù)將待寫入的數(shù)據(jù)的哈希值對y取模得到的值選擇與該值對應(yīng)編號的虛擬節(jié)點組作為寫入該數(shù)據(jù)的虛擬節(jié)點組;以及在步驟S22執(zhí)行數(shù)據(jù)讀取操作時,根據(jù)將待讀取的數(shù)據(jù)的哈希值對y取模得到的值選擇與該值對應(yīng)編號的虛擬節(jié)點組作為讀取該數(shù)據(jù)的虛擬節(jié)點組。
全文摘要
本申請公開了一種分布式存儲系統(tǒng)管理裝置,應(yīng)用于包括N個存儲服務(wù)器的分布式存儲系統(tǒng),該裝置將其中M個存儲服務(wù)器分為x個對等序列并形成y個虛擬節(jié)點組,且每個虛擬節(jié)點組中包括z個彼此屬于不同對等序列的存儲服務(wù)器,其余N-M個存儲服務(wù)器為臨時存儲服務(wù)器。本申請還相應(yīng)公開了一種分布式存儲系統(tǒng)管理方法。本申請實施例提供的分布式存儲系統(tǒng)管理裝置及方法,通過對等序列及虛擬節(jié)點組的雙重功能劃分對存儲服務(wù)器進行管理,能夠保證數(shù)據(jù)備份在虛擬節(jié)點組中分屬不同對等序列的存儲服務(wù)器中,從而在某個對等序列中的存儲服務(wù)器失效時可以繼續(xù)由該虛擬節(jié)點組中其他對等序列的存儲服務(wù)器提供數(shù)據(jù)讀寫服務(wù)。
文檔編號G06F3/06GK103019614SQ20111028580
公開日2013年4月3日 申請日期2011年9月23日 優(yōu)先權(quán)日2011年9月23日
發(fā)明者李智慧, 何坤, 余俊, 周異 申請人:阿里巴巴集團控股有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
治多县| 承德县| 正镶白旗| 兴仁县| 西丰县| 资源县| 昔阳县| 周宁县| 墨玉县| 洪雅县| 济宁市| 罗田县| 扎囊县| 阳江市| 林西县| 商河县| 石屏县| 丰台区| 龙南县| 利川市| 武义县| 阿拉尔市| 图们市| 闻喜县| 宜昌市| 宁陵县| 汾西县| 马鞍山市| 承德市| 长春市| 晋城| 道孚县| 临潭县| 潮州市| 永善县| 綦江县| 江城| 文登市| 柯坪县| 江源县| 手游|