一種高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，適用于文件系統(tǒng)支持元數(shù)據(jù)集群的情況，能夠在元數(shù)據(jù)集群范圍內(nèi)平衡負(fù)載，提高元數(shù)據(jù)集群處理數(shù)據(jù)的效率，具體地說，特別涉及一種高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著數(shù)據(jù)量的日益增大，需要?dú)w檔的數(shù)據(jù)也越來(lái)越多，某些應(yīng)用場(chǎng)景下，每天可能會(huì)產(chǎn)生數(shù)TB的數(shù)據(jù)，而需要?dú)w檔的數(shù)據(jù)也在TB級(jí)別。而目前的帶庫(kù)歸檔系統(tǒng)性能偏低，僅在MB/s級(jí)別，每天能夠歸檔的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)不能滿足需求。
[0003]使用磁盤存儲(chǔ)系統(tǒng)，尤其是利用Lustre集群文件系統(tǒng)，能夠?qū)崿F(xiàn)GB級(jí)的數(shù)據(jù)帶寬和數(shù)百PB的系統(tǒng)容量，將磁盤介質(zhì)的集群存儲(chǔ)系統(tǒng)作為離線存儲(chǔ)系統(tǒng)能夠極大的提高歸檔效率。
[0004]Lustre集群文件系統(tǒng)是美國(guó)能源部開發(fā)的一種Linux集群并行文件系統(tǒng)。該系統(tǒng)已推出1.0的發(fā)布版本，是第一個(gè)基于對(duì)象存儲(chǔ)設(shè)備的，開源的并行文件系統(tǒng)。可以說，Lustre集群文件系統(tǒng)是目前開源社區(qū)中最成熟、應(yīng)用最廣泛的集群文件系統(tǒng)，通過聚合多個(gè)存儲(chǔ)設(shè)備，利用Infiniband、萬(wàn)兆等高速網(wǎng)絡(luò)技術(shù)，能夠?qū)崿F(xiàn)很高的聚合帶寬，并具有很高的擴(kuò)展性，能夠支持EB級(jí)的系統(tǒng)容量擴(kuò)展。
[0005]Lustre集群文件系統(tǒng)由客戶端、兩個(gè)數(shù)據(jù)管理節(jié)點(diǎn)設(shè)備池通過高速的以太網(wǎng)或QffS Net連接構(gòu)成。數(shù)據(jù)管理節(jié)點(diǎn)設(shè)備包括MDS (Metadata Server)和MDT (MetadataTarget)。其中，MDS存儲(chǔ)了文件系統(tǒng)的基本信息，負(fù)責(zé)管理整個(gè)系統(tǒng)的命名空間，維護(hù)整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)、用戶權(quán)限，并負(fù)責(zé)維護(hù)文件系統(tǒng)數(shù)據(jù)的一致性；MDT存儲(chǔ)了 MDS上元數(shù)據(jù)的文件名、目錄、權(quán)限和文件布局。Lustre集群文件系統(tǒng)可以支持1000個(gè)客戶端節(jié)點(diǎn)的I/O請(qǐng)求，兩個(gè)MDS采用共享存儲(chǔ)設(shè)備的Active-standby方式的容錯(cuò)機(jī)制，存儲(chǔ)設(shè)備跟普通的、基于塊的集成驅(qū)動(dòng)器電子裝置IDE存儲(chǔ)設(shè)備不同，是基于對(duì)象的智能存儲(chǔ)設(shè)備。
[0006]Lustre集群文件系統(tǒng)的架構(gòu)中，元數(shù)據(jù)處理節(jié)點(diǎn)與數(shù)據(jù)處理節(jié)點(diǎn)相互獨(dú)立，元數(shù)據(jù)節(jié)點(diǎn)用于文件系統(tǒng)的命名空間管理，負(fù)責(zé)處理、保存和維護(hù)文件的元數(shù)據(jù)信息，例如文件名、文件屬性等；數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)實(shí)際數(shù)據(jù)的存儲(chǔ)。實(shí)際的生產(chǎn)中，lustre集群文件系統(tǒng)的架構(gòu)的數(shù)據(jù)處理節(jié)點(diǎn)OSS和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST通常是兩個(gè)獨(dú)立的設(shè)備，數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST利用RAID等技術(shù)保證數(shù)據(jù)的安全性，例如磁盤陣列，而數(shù)據(jù)處理節(jié)點(diǎn)OSS通過高性能的網(wǎng)絡(luò)提供高帶寬。通常情況下一個(gè)數(shù)據(jù)處理節(jié)點(diǎn)OSS能夠管理32個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST。
[0007]Lustre集群文件系統(tǒng)的文件元數(shù)據(jù)中包括一個(gè)重要的屬性:文件條帶布局，利用該屬性用戶可以指定或者查詢到文件數(shù)據(jù)的實(shí)際存放位置，也就是文件數(shù)據(jù)所在的數(shù)據(jù)節(jié)點(diǎn) OSTo
[0008]但是，相對(duì)于帶庫(kù)，磁盤介質(zhì)在power on情況下的使用壽命要短很多，僅在1400天左右。在超出使用壽命后，磁盤的故障率會(huì)明顯增加，從而導(dǎo)致數(shù)據(jù)的丟失，嚴(yán)重影響數(shù)據(jù)安全和設(shè)備正常使用。
[0009]為了解決這一問題，亟待提出一種新的基于Lustre集群存儲(chǔ)系統(tǒng)特征的方法。以期在實(shí)現(xiàn)高效歸檔同時(shí)，實(shí)現(xiàn)低功耗，并極大延長(zhǎng)磁盤使用壽命。

【發(fā)明內(nèi)容】

[0010]本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種能夠延長(zhǎng)磁盤壽命的高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法。
[0011]本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的:
一種高效、低功耗的離線存儲(chǔ)系統(tǒng)，采用Lustre集群文件系統(tǒng)，其特征在于:所述Lustre集群文件系統(tǒng)采用數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST分離的架構(gòu)，所述數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST以主備模式共享后端存儲(chǔ)空間，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS以雙活模式共享一部分?jǐn)?shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST，以實(shí)現(xiàn)系統(tǒng)的高可用HA ;采用數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控系統(tǒng)中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST的容量占用率，并對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電和下電操作，所述數(shù)據(jù)管理節(jié)點(diǎn)設(shè)備包括MDS和MDT。
[0012]本發(fā)明高效、低功耗的離線存儲(chǔ)方法，其特征在于:所述離線存儲(chǔ)系統(tǒng)使用時(shí)，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS只有2個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上電，其他磁盤陣列下電，數(shù)據(jù)管理節(jié)點(diǎn)處于常上電狀態(tài)；利用lustre集群文件系統(tǒng)的條帶設(shè)置指令，將歸檔數(shù)據(jù)定位到上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST中；數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控到正在使用的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST系統(tǒng)容量使用完時(shí)，對(duì)下一組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電操作，并將歸檔操作利用lustre集群文件系統(tǒng)的條帶設(shè)置指令定位到新上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上，然后對(duì)容量使用完的存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行下電操作。
[0013]所述離線存儲(chǔ)系統(tǒng)使用到最后的兩組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST時(shí)，數(shù)據(jù)恢復(fù)流程可以通過lustre集群文件系統(tǒng)的條帶獲取指令由數(shù)據(jù)管理節(jié)點(diǎn)獲取數(shù)據(jù)所在的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OSTo
[0014]前端應(yīng)用需要恢復(fù)位于數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)時(shí)，所述數(shù)據(jù)管理節(jié)點(diǎn)控制數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行上電操作；數(shù)據(jù)處理節(jié)點(diǎn)OSS完全識(shí)別數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST后，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)通知前端應(yīng)用進(jìn)行數(shù)據(jù)的讀取操作，數(shù)據(jù)讀取完成后，若不再有針對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)訪問，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)再次將該數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行下電操作。
[0015]本發(fā)明的有益效果是:該高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法，采用Lustre集群文件系統(tǒng)，不僅歸檔的性能方面要遠(yuǎn)優(yōu)于磁帶庫(kù)做離線存儲(chǔ)的方法，而且還可以定位文件數(shù)據(jù)的實(shí)際存放位置；同時(shí)，后端的存儲(chǔ)系統(tǒng)并不是全部上電，而是僅使用部分上電，一方面降低了離線存儲(chǔ)系統(tǒng)的功耗，另一方面延長(zhǎng)了磁盤的使用壽命。
【附圖說明】
[0016]附圖1為發(fā)明離線存儲(chǔ)系統(tǒng)部署架構(gòu)示意圖。
[0017]附圖2為發(fā)明離線存儲(chǔ)系統(tǒng)使用架構(gòu)示意圖。
[0018]附圖3為發(fā)明離線存儲(chǔ)系統(tǒng)數(shù)據(jù)恢復(fù)流程示意圖。
[0019]圖中，實(shí)線框表示數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上電，虛線框表示數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST下電。
【具體實(shí)施方式】
[0020]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的說明。
[0021]—種高效、低功耗的離線存儲(chǔ)系統(tǒng)，采用Lustre集群文件系統(tǒng)，所述Lustre集群文件系統(tǒng)采用數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST分離的架構(gòu)，所述數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST以主備模式共享后端存儲(chǔ)空間，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS以雙活模式共享一部分?jǐn)?shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST，以實(shí)現(xiàn)系統(tǒng)的高可用HA ;采用數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控系統(tǒng)中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST的容量占用率，并對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電和下電操作，所述數(shù)據(jù)管理節(jié)點(diǎn)設(shè)備包括MDS和MDT。
[0022]根據(jù)系統(tǒng)容量配置數(shù)據(jù)節(jié)點(diǎn)數(shù)量，如附圖2中所示，以4處理節(jié)點(diǎn)0SS1~0SS4為例，配置4*4個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST，每?jī)蓚€(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST位于一個(gè)磁盤陣列上，每個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST容量4T*8 (8+2)，共512ΤΒ。
[0023]如附圖3所示，所述離線存儲(chǔ)系統(tǒng)使用時(shí)，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS只有2個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上電，即一個(gè)磁盤陣列，可用容量為64ΤΒ，其他磁盤陣列下電，數(shù)據(jù)管理節(jié)點(diǎn)處于常上電狀態(tài)；利用lustre集群文件系統(tǒng)的條帶設(shè)置指令，將歸檔數(shù)據(jù)定位到上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST中；數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控到正在使用的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST系統(tǒng)容量使用完時(shí)，對(duì)下一組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電操作，并將歸檔操作利用lustre集群文件系統(tǒng)的條帶設(shè)置指令定位到新上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上，然后對(duì)容量使用完的存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行下電操作。
[0024]如附圖3所示，所述離線存儲(chǔ)系統(tǒng)使用到最后的兩組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST時(shí)，數(shù)據(jù)恢復(fù)流程可以通過lustre集群文件系統(tǒng)的條帶獲取指令由數(shù)據(jù)管理節(jié)點(diǎn)獲取數(shù)據(jù)所在的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST。
[0025]如附圖3所示，前端應(yīng)用需要恢復(fù)位于數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)時(shí)，所述數(shù)據(jù)管理節(jié)點(diǎn)控制數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行上電操作；數(shù)據(jù)處理節(jié)點(diǎn)OSS完全識(shí)別數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST后，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)通知前端應(yīng)用進(jìn)行數(shù)據(jù)的讀取操作，數(shù)據(jù)讀取完成后，若不再有針對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)訪問，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)再次將該數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行下電操作。
【主權(quán)項(xiàng)】
1.一種高效、低功耗的離線存儲(chǔ)系統(tǒng)，采用Lustre集群文件系統(tǒng)，其特征在于:所述Lustre集群文件系統(tǒng)采用數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST分離的架構(gòu)，所述數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST以主備模式共享后端存儲(chǔ)空間，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS以雙活模式共享一部分?jǐn)?shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST，以實(shí)現(xiàn)系統(tǒng)的高可用HA ;采用數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控系統(tǒng)中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST的容量占用率，并對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電和下電操作，所述數(shù)據(jù)管理節(jié)點(diǎn)設(shè)備包括MDS和MDT。
2.根據(jù)權(quán)利要求1所述的高效、低功耗的離線存儲(chǔ)方法，其特征在于:所述離線存儲(chǔ)系統(tǒng)使用時(shí)，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS只有2個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上電，其他磁盤陣列下電，數(shù)據(jù)管理節(jié)點(diǎn)處于常上電狀態(tài)；利用lustre集群文件系統(tǒng)的條帶設(shè)置指令，將歸檔數(shù)據(jù)定位到上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST中；數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控到正在使用的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST系統(tǒng)容量使用完時(shí)，對(duì)下一組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電操作，并將歸檔操作利用lustre集群文件系統(tǒng)的條帶設(shè)置指令定位到新上電的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上，然后對(duì)容量使用完的存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行下電操作。
3.根據(jù)權(quán)利要求2所述的高效、低功耗的離線存儲(chǔ)方法，其特征在于:所述離線存儲(chǔ)系統(tǒng)使用到最后的兩組數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST時(shí)，數(shù)據(jù)恢復(fù)流程可以通過lustre集群文件系統(tǒng)的條帶獲取指令由數(shù)據(jù)管理節(jié)點(diǎn)獲取數(shù)據(jù)所在的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)0ST。
4.根據(jù)權(quán)利要求2所述的高效、低功耗的離線存儲(chǔ)方法，其特征在于:前端應(yīng)用需要恢復(fù)位于數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)時(shí)，所述數(shù)據(jù)管理節(jié)點(diǎn)控制數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行上電操作；數(shù)據(jù)處理節(jié)點(diǎn)OSS完全識(shí)別數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST后，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)通知前端應(yīng)用進(jìn)行數(shù)據(jù)的讀取操作，數(shù)據(jù)讀取完成后，若不再有針對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST上的數(shù)據(jù)訪問，所述數(shù)據(jù)管理節(jié)點(diǎn)會(huì)再次將該數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST所在的磁盤陣列進(jìn)行下電操作。
【專利摘要】本發(fā)明特別涉及一種高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法。該高效、低功耗的離線存儲(chǔ)系統(tǒng)，采用數(shù)據(jù)處理節(jié)點(diǎn)OSS與數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST分離的架構(gòu)，兩個(gè)元數(shù)據(jù)節(jié)點(diǎn)以主備模式共享后端存儲(chǔ)空間，每對(duì)數(shù)據(jù)處理節(jié)點(diǎn)OSS以雙活模式共享一部分?jǐn)?shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST；采用數(shù)據(jù)管理節(jié)點(diǎn)監(jiān)控系統(tǒng)中數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST的容量占用率，并對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST進(jìn)行上電和下電操作。該高效、低功耗的離線存儲(chǔ)系統(tǒng)及方法，采用Lustre集群文件系統(tǒng)，不僅歸檔的性能方面要遠(yuǎn)優(yōu)于磁帶庫(kù)做離線存儲(chǔ)的方法，而且還可以定位文件數(shù)據(jù)的實(shí)際存放位置；同時(shí)，后端的存儲(chǔ)系統(tǒng)并不是全部上電，而是僅使用部分上電，一方面降低了離線存儲(chǔ)系統(tǒng)的功耗，另一方面延長(zhǎng)了磁盤的使用壽命。
【IPC分類】G06F17-30, G06F3-06, G06F12-08
【公開號(hào)】CN104598568
【申請(qǐng)?zhí)枴緾N201510013550
【發(fā)明人】張?jiān)谫F, 姜偉麗, 郭鵬, 張立強(qiáng)
【申請(qǐng)人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年5月6日
【申請(qǐng)日】2015年1月12日