一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法
【專利摘要】本發(fā)明針對廣域網(wǎng)環(huán)境下多存儲集群間元數(shù)據(jù)無法按需共享、全局名字空間無法提供可動態(tài)配置的用戶視圖等問題，采用權(quán)限控制、全局同步和名字空間重構(gòu)技術(shù)，提供了一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，為上層應(yīng)用提供了高效而匹配的文件元數(shù)據(jù)查詢支持。該方法包括：讀取本地存放的本地名字空間，并定期通過權(quán)限設(shè)置規(guī)則篩選本地元數(shù)據(jù)再合并到全局元數(shù)據(jù)信息中；讀取本地緩存的全局名字空間，根據(jù)同步策略決定同步頻率，同時根據(jù)改進后的Paxos協(xié)議維護全局一致性；根據(jù)視圖配置規(guī)則對用戶視圖進行動態(tài)配置。所謂視圖配置是指用戶或上層應(yīng)用根據(jù)元數(shù)據(jù)信息希望重新組織全局名字空間目錄樹結(jié)構(gòu)的實施過程。
【專利說明】—種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開了一種元數(shù)據(jù)共享管理方法，尤其涉及一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，屬于計算機【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]集群是計算機系統(tǒng)結(jié)構(gòu)與計算機系統(tǒng)軟件相結(jié)合的一個重要研究方向。它通過將多個獨立的機器組織成一個統(tǒng)一的整體，并對外提供透明的統(tǒng)一訪問特性；通過整合多個所管轄機器節(jié)點的計算能力和存儲能力，極大地擴展了整體系統(tǒng)的運算能力和存儲能力；同時，良好的系統(tǒng)軟件設(shè)計使得集群能夠很容易地進行大規(guī)模擴展，能滿足多樣化的規(guī)模伸縮性需求，通過多副本技術(shù)，集群能提供極高的容錯性能，滿足對可靠性要求較高的行業(yè)和應(yīng)用需求。
[0003]計算機集群技術(shù)的興起主要是由于傳統(tǒng)的HPC (高性能計算機)系統(tǒng)價格昂貴且性能瓶頸嚴重所致。到了 20世紀80年代后期，HPC單機性能的增長速度已經(jīng)乏力，但普通PC (個人計算機)性能卻在不斷提高，這讓PC服務(wù)器的計算和存儲能力開始受到重視。到了 20世紀90年代，隨著以x86架構(gòu)為主的CPU硬件性價比提升以及高速以太網(wǎng)的發(fā)展，第一個用普通PC服務(wù)器構(gòu)成的計算機集群Beomilf誕生，這標志著可以達到跟HPC同樣計算和存儲性能的計算機集群系統(tǒng)成本確只有前者的百分之一甚至千分之一。集群的出現(xiàn)極大改變了 HPC領(lǐng)域的研究狀況，也極大地降低了商業(yè)公司使用高性能計算機的門檻。今年來，隨著網(wǎng)格計算、分布式計算以及云存儲技術(shù)的發(fā)展，計算機集群技術(shù)在商業(yè)應(yīng)用上的優(yōu)勢變得越發(fā)明顯。計算機集群答復(fù)提高了企業(yè)基礎(chǔ)設(shè)施的擴展性、可靠性和高性能計算和存儲能力。其概念已經(jīng)深入到企業(yè)甚至每個人的日常的工作與生活中，成為了目前全球軟硬件產(chǎn)業(yè)中發(fā)展最快的技術(shù)之一。
[0004]
【權(quán)利要求】
1.一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，該方法具體步驟如下: 步驟一:讀取本地存放的本地名字空間，并定期通過權(quán)限設(shè)置規(guī)則篩選本地元數(shù)據(jù)再合并到全局元數(shù)據(jù)信息中； 步驟二:讀取本地緩存的全局名字空間，根據(jù)同步策略決定同步頻率，同時根據(jù)Paxos協(xié)議維護全局一致性； 步驟三:根據(jù)視圖配置規(guī)則對用戶視圖進行動態(tài)配置。所謂視圖配置是指用戶或上層應(yīng)用根據(jù)元數(shù)據(jù)信息希望重新組織全局名字空間目錄樹結(jié)構(gòu)的實施過程。
2.根據(jù)權(quán)利要求1所述的一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，其特征在于:步驟一所述的本地集群元數(shù)據(jù)透過權(quán)限控制管理模塊的篩選將得到可定制的全局名字空間邏輯視圖；邏輯視圖的生成是多種多樣的，可以滿足許多應(yīng)用場景的需求。
3.根據(jù)權(quán)利要求1所述的一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，其特征在于:步驟二所述的元數(shù)據(jù)全局同步頻率可以由用戶進行定制，包括超時定時器和元數(shù)據(jù)更新量閾值；同時，全局同步過程采取廣播的形式傳遞給指定的集群，然后根據(jù)改進后的Paxos協(xié)議進行元數(shù)據(jù)一致性維護，改進的關(guān)鍵在于將傳播某份元數(shù)據(jù)的初始集群配置為這份元數(shù)據(jù)信息更新的協(xié)調(diào)者；從而可以不增加額外的節(jié)點作為協(xié)調(diào)者，避免了協(xié)調(diào)者失效等很多問題。
4.根據(jù)權(quán)利要求1所述的一種面向廣域網(wǎng)環(huán)境下多存儲集群的元數(shù)據(jù)共享管理方法，其特征在于:步驟三所述的用戶視圖動態(tài)配置其配置參數(shù)可以包括目錄或文件名，目錄或文件優(yōu)先級，目錄或文件操作權(quán)限分類等多種類型；而且由于全局名字空間是以多層的哈希表形式存放，因此，重組全局名字空間的目錄樹結(jié)構(gòu)主要是對指定目錄或文件的索引節(jié)點進行重定向操作，再輔以配套索弓I變動完成。
【文檔編號】H04L29/08GK103458044SQ201310415322
【公開日】2013年12月18日 申請日期:2013年9月12日 優(yōu)先權(quán)日:2013年9月12日
【發(fā)明者】肖利民, 鐘潛潛, 阮利, 郝沁汾 申請人:北京航空航天大學(xué)