海量小文件分級存儲方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種海量小文件分級存儲方法，包括如下創(chuàng)建一級存儲池和二級存儲池；合并海量小文件形成一個大文件；存儲所述大文件至一級存儲池，當所述大文件在設(shè)定時間內(nèi)未進行讀寫操作，則遷移該大文件至二級存儲池。當客戶端請求訪問某小文件時，首先判斷該小文件所在的大文件存放的存儲池；若所述大文件存放于一級存儲池，則通過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放于二級存儲池，則首先通過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至一級存儲池。本發(fā)明還提供相應(yīng)的系統(tǒng)。本發(fā)明提高了分布式文件系統(tǒng)處理海量小文件的效率，減少了存儲空間；本發(fā)明通過分級存儲進一步降低了存儲成本。
【專利說明】海量小文件分級存儲方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及文件存儲，具體地，涉及一種海量小文件分級存儲方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在大數(shù)據(jù)時代，人們每天面臨的工作和生活無不和數(shù)據(jù)信息相關(guān)，信息呈現(xiàn)爆炸 式增長趨勢，存儲需求急劇膨脹，根據(jù)研究顯示，2020年數(shù)字宇宙將達到35. 2ZB。傳統(tǒng)的存 儲不足以支撐海量數(shù)據(jù)存儲。云存儲通過橫向擴展技術(shù)，可支撐EB級的存儲，提供高可靠 性、高擴展性以及高可用性的存儲空間。
[0003] 假設(shè)一種場景：某個時刻有100萬個用戶在通過及時通信工具發(fā)信息，每條信息 容量為1KB，在此應(yīng)用場景下傳統(tǒng)的分布式文件系統(tǒng)將會面臨嚴峻的問題。首先，處理如此 龐大數(shù)量的文件，如果按照普通的存儲方式，那么需要反復(fù)運行1〇〇萬次存儲命令才能完 成任務(wù)，即便用程序來完成存儲的工作，也會是費時費力的龐大工程；其次，分布式文件系 統(tǒng)每存入一個文件都需要建立相應(yīng)的元數(shù)據(jù)，那么100萬個文件對應(yīng)的100萬個元數(shù)據(jù)將 造成十分巨大的空間占用，相比于每個文件僅僅1KB的體積，用傳統(tǒng)的分布式文件系統(tǒng)所 帶來的元數(shù)據(jù)空間開銷使得存儲效率降低。而即便刨除元數(shù)據(jù)空間的占用，由于文件系統(tǒng) 的特性,對于文件簇為4KB的文件系統(tǒng)，1KB的文件也會占用4KB的空間，那么100萬個小 文件將占用額外的3GB空間。在這種情況下，提前對巨量的小文件進行處理就變得十分必 要。同時分布式文件系統(tǒng)多采用多副本策略通常副本數(shù)為3即有效存儲容量與裸容量比為 1:3。當考慮信息的可靠性、時效性（近期需要訪問）以及讀寫響應(yīng)時間時，該策略非常有必 要能充分發(fā)揮分布式文件系統(tǒng)的優(yōu)勢。但隨著時間的推移當該信息成為歷史信息時（信息 極少被訪問）還采用多副本策略就會對存儲資源造成極大的浪費，造成高昂的保存成本。 因此有必要采用分級存儲策略。
[0004] 經(jīng)過對現(xiàn)有技術(shù)的檢索，發(fā)現(xiàn)申請?zhí)枮?01410014559. X，發(fā)明名稱為一種分布式 文件系統(tǒng)中海量小文件10操作傳輸提速方法的發(fā)明，其在發(fā)送端將大量小文件10操作緩 存，執(zhí)行流量匯集，打包成單一大文件一次性傳輸?shù)浇邮斩?，在接收端對所述大文件進行解 析，獲得每一個小文件10操作，并執(zhí)行相關(guān)文件寫入操作。所述方法大大降低了網(wǎng)絡(luò)交互 次數(shù)，提高了海量小文件10操作的傳輸速度。但是該專利只對海量小文件進行預(yù)處理，未 分層存儲。


【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種海量小文件分級存儲方法。
[0006] 根據(jù)本發(fā)明的一個方面提供的海量小文件分級存儲方法，包括如下步驟：
[0007] 步驟1 :創(chuàng)建一級存儲池和二級存儲池，其中一級存儲池的訪問速度大于二級存 儲池的訪問速度；
[0008] 步驟2 :合并多個小文件形成一個大文件；
[0009] 步驟3 :存儲所述大文件至一級存儲池，當所述大文件在設(shè)定時間內(nèi)未進行讀寫 操作，則遷移該大文件至二級存儲池。
[0010] 優(yōu)選地，一級存儲池有效容量與裸容量比小于二級存儲池有效容量與裸容量比。
[0011] 優(yōu)選地，所述步驟2包括如下步驟：
[0012] 步驟2. 1 :將多個小文件進行合并形成一個大文件，在合并的過程中，讀取每個小 文件的長度，記錄該小文件體積以及合并后大文件的起始位置；
[0013] 步驟2. 2 :根據(jù)被合并的小文件和合成的大文件形成索引文件并刪除小文件。
[0014] 優(yōu)選地，所述步驟3包括如下步驟：
[0015] 步驟3. 1 :根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在該粒度下該大 文件是否進行讀寫操作；
[0016] 步驟3. 2 :當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，則將所述 大文件從一級存儲池遷移到二級存儲池以減少存儲空間。
[0017] 優(yōu)選地，所述步驟3之后還包括如下步驟：
[0018] 步驟4:當客戶端請求訪問其中一個小文件時，根據(jù)索引文件和與多級存儲策略 相對應(yīng)的多級存儲調(diào)度策略首先判斷該小文件所在的大文件存放的存儲池；若所述大文件 存放于一級存儲池，則通過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放 于二級存儲池，則首先通過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至 一級存儲池。
[0019] 根據(jù)本發(fā)明的另一個方面提供的海量小文件分級存儲系統(tǒng)，包括如下裝置：
[0020] 存儲池創(chuàng)建裝置，用于創(chuàng)建一級存儲池和二級存儲池；
[0021] 大文件生成裝置，用于合并多個小文件形成一個大文件；
[0022] 大文件遷移裝置，用于存儲所述大文件至一級存儲池后，當所述大文件在設(shè)定時 間內(nèi)未進行讀寫操作，遷移該大文件至二級存儲池。
[0023] 優(yōu)選地，一級存儲池有效容量與裸容量比小于二級存儲池有效容量與裸容量比。
[0024] 優(yōu)選地，所述大文件生成裝置包括如下裝置：
[0025] 小文件合并裝置，用于將多個小文件進行合并形成一個大文件，在合并的過程中， 讀取每個小文件的長度，記錄其體積以及合并后大文件的起始位置；
[0026] 索引文件生成裝置，用于根據(jù)被合并的小文件和合成的大文件形成索引文件并刪 除小文件。
[0027] 優(yōu)選地，所述大文件遷移裝置包括如下裝置：
[0028] 讀寫操作感知裝置，用于根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在 該粒度下該大文件是否進行讀寫操作；
[0029] 遷移裝置，用于當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，將所 述大文件從一級存儲池遷移到二級存儲池。
[0030] 優(yōu)選地，還包括小文件訪問裝置，用于根據(jù)索引文件和與多級存儲策略相對應(yīng)的 多級存儲調(diào)度策略首先判斷該小文件所在的大文件存放的存儲池；若所述大文件存放于一 級存儲池，則通過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放于二級存 儲池，則首先通過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至一級存儲 池。
[0031] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0032] 本發(fā)明將多個小文件合并成一個大文件提高了分布式文件系統(tǒng)處理海量小文件 的效率，減少了存儲空間；本發(fā)明通過分級存儲進一步降低了存儲成本。

【專利附圖】

【附圖說明】
[0033] 通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、 目的和優(yōu)點將會變得更明顯：
[0034] 圖1為本發(fā)明的流程圖；
[0035] 圖2為本發(fā)明中小文件合并的流程圖；
[0036] 圖3為本發(fā)明中讀取小文件的流程圖。

【具體實施方式】
[0037] 下面結(jié)合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領(lǐng)域的技術(shù) 人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當指出的是，對本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明 的保護范圍。
[0038] 在本實施例中，如圖1、圖2、圖3所示，本發(fā)明提供的海量小文件分級存儲方法包 括如下步驟：
[0039] 步驟1 :創(chuàng)建一級存儲池和二級存儲池，其中，一級存儲池的訪問速度大于二級存 儲池的訪問速度，一級存儲池有效容量與裸容量比小于二級存儲池有效容量與裸容量比；
[0040] 步驟2 :合并多個小文件形成一個大文件；
[0041] 步驟3 :存儲所述大文件至一級存儲池，當所述大文件在設(shè)定時間內(nèi)未進行讀寫 操作，則遷移該大文件至二級存儲池；
[0042] 步驟4:當客戶端請求訪問其中一個小文件時，根據(jù)索引文件和與多級存儲策略 相對應(yīng)的多級存儲調(diào)度策略首先判斷該小文件所在的大文件存放的存儲池；若所述大文件 存放于一級存儲池，則通過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放 于二級存儲池，則首先通過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至 一級存儲池。
[0043] 其中，所述步驟1包括如下步驟：
[0044] 步驟1. 1 :創(chuàng)建一個跨節(jié)點的三副本的一級存儲池，即一級存儲池有效容量與裸 容量比為1:3 ;
[0045] 步驟1. 2 :創(chuàng)建一個編解碼方式的二級存儲池，即二級存儲池有效容量與裸容量 比為1:1. 5。
[0046] 所述步驟2包括如下步驟：
[0047] 步驟2. 1 :將多個小文件進行合并形成一個大文件，在合并的過程中，讀取每個小 文件的長度，記錄其體積以及合并后大文件的起始位置；
[0048] 步驟2. 2 :根據(jù)被合并的小文件和合成的大文件形成索引文件并刪除小文件。
[0049] 所述步驟3包括如下步驟：
[0050] 步驟3. 1 :根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在該粒度下該大 文件是否進行讀寫操作；
[0051] 步驟3. 2 :當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，則將所述 大文件從一級存儲池遷移到二級存儲池以減少存儲空間。
[0052] 本發(fā)明提供的海量小文件分級存儲系統(tǒng)，包括如下裝置：
[0053] 存儲池創(chuàng)建裝置，用于創(chuàng)建一級存儲池和二級存儲池，其中，一級存儲池的訪問速 度大于二級存儲池的訪問速度，一級存儲池有效容量與裸容量比小于二級存儲池有效容量 與裸容量比；
[0054] 大文件生成裝置，用于合并多個小文件形成一個大文件；
[0055] 大文件遷移裝置，用于存儲所述大文件至一級存儲池后，當所述大文件在設(shè)定時 間內(nèi)未進行讀寫操作，遷移該大文件至二級存儲池；
[0056] 小文件訪問裝置，用于根據(jù)索引文件和與多級存儲策略相對應(yīng)的多級存儲調(diào)度策 略首先判斷該小文件所在的大文件存放的存儲池；若所述大文件存放于一級存儲池，則通 過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放于二級存儲池，則首先通 過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至一級存儲池。
[0057] 其中，所述存儲池創(chuàng)建裝置包括如下裝置：
[0058] -級存儲池創(chuàng)建裝置，用于創(chuàng)建一個跨節(jié)點的三副本的一級存儲池，即一級存儲 池有效容量與裸容量比為1:3 ;
[0059] 二級存儲池創(chuàng)建裝置，用于創(chuàng)建一個編解碼方式的二級存儲池，即二級存儲池有 效容量與裸容量比為1:1.5。
[0060] 所述大文件生成裝置包括如下裝置：
[0061] 小文件合并裝置，用于將多個小文件進行合并形成一個大文件，在合并的過程中， 讀取每個小文件的長度，記錄其體積以及合并后大文件的起始位置；
[0062] 索引文件生成裝置，用于根據(jù)被合并的小文件和合成的大文件形成索引文件刪除 小文件。
[0063] 所述大文件遷移裝置包括如下裝置：
[0064] 讀寫操作感知裝置，用于根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在 該粒度下該大文件是否進行讀寫操作；
[0065] 遷移裝置，用于當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，將所 述大文件從一級存儲池遷移到二級存儲池。
[0066] 以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述 特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影 響本發(fā)明的實質(zhì)內(nèi)容。
【權(quán)利要求】
1. 一種海量小文件分級存儲方法，其特征在于，包括如下步驟： 步驟1 :創(chuàng)建一級存儲池和二級存儲池，其中一級存儲池的訪問速度大于二級存儲池 的訪問速度； 步驟2 :合并多個小文件形成一個大文件； 步驟3 :存儲所述大文件至一級存儲池，當所述大文件在設(shè)定時間內(nèi)未進行讀寫操作， 則遷移該大文件至二級存儲池。
2. 根據(jù)權(quán)利要求1所述的海量小文件分級存儲方法，其特征在于，一級存儲池有效容 量與裸容量比小于二級存儲池有效容量與裸容量比。
3. 根據(jù)權(quán)利要求1或2所述的海量小文件分級存儲方法，其特征在于，所述步驟2包括 如下步驟： 步驟2. 1 :將多個小文件進行合并形成一個大文件，在合并的過程中，讀取每個小文件 的長度，記錄該小文件體積以及合并后大文件的起始位置； 步驟2. 2 :根據(jù)被合并的小文件和合成的大文件形成索引文件并刪除小文件。
4. 根據(jù)權(quán)利要求3所述的海量小文件分級存儲方法，其特征在于，所述步驟3包括如下 步驟： 步驟3. 1 :根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在該粒度下該大文件 是否進行讀寫操作； 步驟3.2 :當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，則將所述大文 件從一級存儲池遷移到二級存儲池以減少存儲空間。
5. 根據(jù)權(quán)利要求4所述的海量小文件分級存儲方法，其特征在于，所述步驟3之后還包 括如下步驟： 步驟4 :當客戶端請求訪問其中一個小文件時，根據(jù)索引文件和與多級存儲策略相對 應(yīng)的多級存儲調(diào)度策略首先判斷該小文件所在的大文件存放的存儲池；若所述大文件存放 于一級存儲池，則通過索引文件截取出該小文件并發(fā)送給客戶端；若所述大文件存放于二 級存儲池，則首先通過索引文件解碼出該小文件發(fā)送給客戶端并把所述大文件遷移至一級 存儲池。
6. -種海量小文件分級存儲系統(tǒng)，其特征在于，包括如下裝置： 存儲池創(chuàng)建裝置，用于創(chuàng)建一級存儲池和二級存儲池； 大文件生成裝置，用于合并多個小文件形成一個大文件； 大文件遷移裝置，用于存儲所述大文件至一級存儲池后，當所述大文件在設(shè)定時間內(nèi) 未進行讀寫操作，遷移該大文件至二級存儲池。
7. 根據(jù)權(quán)利要求6所述的海量小文件分級存儲系統(tǒng)，其特征在于，一級存儲池有效容 量與裸容量比小于二級存儲池有效容量與裸容量比。
8. 根據(jù)權(quán)利要求6或7所述的海量小文件分級存儲系統(tǒng)，其特征在于，所述大文件生成 裝置包括如下裝置： 小文件合并裝置，用于將多個小文件進行合并形成一個大文件，在合并的過程中，讀取 每個小文件的長度，記錄其體積以及合并后大文件的起始位置； 索引文件生成裝置，用于根據(jù)被合并的小文件和合成的大文件形成索引文件并刪除小 文件。
9. 根據(jù)權(quán)利要求8所述的海量小文件分級存儲系統(tǒng)，其特征在于，所述大文件遷移裝 置包括如下裝置： 讀寫操作感知裝置，用于根據(jù)周、月、年不同的粒度來設(shè)置多級存儲策略并感知在該粒 度下該大文件是否進行讀寫操作； 遷移裝置，用于當感知到該大文件在該粒度下設(shè)定時間內(nèi)從未被讀寫訪問，將所述大 文件從一級存儲池遷移到二級存儲池。
10. 根據(jù)權(quán)利要求9所述的海量小文件分級存儲系統(tǒng)，其特征在于，還包括小文件訪問 裝置，用于根據(jù)索引文件和與多級存儲策略相對應(yīng)的多級存儲調(diào)度策略首先判斷該小文件 所在的大文件存放的存儲池；若所述大文件存放于一級存儲池，則通過索引文件截取出該 小文件并發(fā)送給客戶端；若所述大文件存放于二級存儲池，則首先通過索引文件解碼出該 小文件發(fā)送給客戶端并把所述大文件遷移至一級存儲池。
【文檔編號】G06F12/08GK104123237SQ201410290165
【公開日】2014年10月29日 申請日期:2014年6月24日 優(yōu)先權(quán)日:2014年6月24日
【發(fā)明者】毛祺, 謝朝陽, 童曉渝, 李學(xué)慧, 丁星, 武靜 申請人:中電科華云信息技術(shù)有限公司