專利名稱：一種提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法
技術(shù)領(lǐng)域：
本申請涉及計算機(jī)數(shù)據(jù)存儲技術(shù)領(lǐng)域，尤其涉及一種提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法。
背景技術(shù)：
自從計算機(jī)發(fā)明以來，幾十年間取得飛速發(fā)展，其計算能力呈幾何級增長。伴隨著計算能力的發(fā)展，存儲技術(shù)無論是在容量還是在速度方面也得到了空前進(jìn)步，存儲介質(zhì)從磁帶、軟盤發(fā)展到機(jī)械硬盤以及固態(tài)硬盤。目前大容量數(shù)據(jù)存儲的主流介質(zhì)還是機(jī)械硬盤，但機(jī)械磁盤總會有其難以突破的物理極限，用戶不但要面對大規(guī)模數(shù)據(jù)存儲的問題，同時又要保證數(shù)據(jù)的訪問及時有效。因此用戶常常面臨速度與容量之間的取舍。從計算機(jī)結(jié)構(gòu)上來看，數(shù)據(jù)存儲的位置在邏輯上距離CPU越遠(yuǎn)，數(shù)據(jù)訪問速度越慢。并且不同級之間的設(shè)備的訪問速度的差距可以達(dá)到幾個數(shù)量級的區(qū)別。內(nèi)存的訪問速度是納秒級，而磁盤訪問速度則為毫秒級。因此在內(nèi)存與磁盤之間，還有巨大的性能提升空間。存儲生產(chǎn)廠商也在不斷提高著機(jī)械磁盤的轉(zhuǎn)速及存儲密度來加大數(shù)據(jù)容量的同時提高數(shù)據(jù)的訪問性能。提高數(shù)據(jù)存儲介質(zhì)的訪問速度，可以有多種辦法。例如，可以使用更加高端的存儲介質(zhì)，如用高轉(zhuǎn)速的機(jī)械磁盤或固態(tài)磁盤(SSD)替換低轉(zhuǎn)速的機(jī)械硬盤；或者，增加系統(tǒng)的內(nèi)存量，通過操作系統(tǒng)自身的磁盤緩沖技術(shù)來加快數(shù)據(jù)的訪問。將所有數(shù)據(jù)存儲在這樣的高速介質(zhì)中，固然是一個解決數(shù)據(jù)訪問速度的直接有效的方案。但是在數(shù)據(jù)量的總量很大的情況下，完全采用高端磁盤，其增加的成本將會出現(xiàn)幾倍，甚至是幾十倍的增長。除非對一些關(guān)鍵應(yīng)用，否則這樣的存儲方案其性價比是得不償失的，在預(yù)算有限的情況下，用戶也無法承受這樣的成本壓力。

發(fā)明內(nèi)容
本申請?zhí)峁┝艘环N提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法，可以在保證成本不大幅上升的前提下，使存儲系統(tǒng)有更高的數(shù)據(jù)吞吐量。本申請實施例提供的一種提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法，包括A、將源介質(zhì)和緩存介質(zhì)在邏輯上分別分成相同等份的存儲空間，每一份存儲空間稱為一個映射頁；在內(nèi)存中建立一個用于記錄源介質(zhì)的映射頁與緩存介質(zhì)的映射頁之間數(shù)據(jù)的存儲映射關(guān)系的重定向表，該重定向表初始為空；所述緩存介質(zhì)的存取速度大于源介質(zhì)的存取速度；B、對文件系統(tǒng)提交到源介質(zhì)的所有請求進(jìn)行監(jiān)控，并判斷對源介質(zhì)的請求是讀請求還是寫請求，若是讀請求，執(zhí)行步驟C ;若是寫請求，執(zhí)行步驟F ；C、從讀請求中提取讀取的位置，根據(jù)這個位置數(shù)據(jù)計算其所落入的映射頁的編號中，并使用這個編號在重定向表中進(jìn)行查詢是否有相應(yīng)的映射表項存在，若存在，執(zhí)行步驟D，否則執(zhí)行步驟E ;
D、根據(jù)重定向表將該讀請求定向到緩存介質(zhì)的映射頁中，完成本次讀操作后返回步驟B ;E、將讀請求所落入的映射頁的數(shù)據(jù)從源介質(zhì)讀取并寫入到緩存介質(zhì)，并建立相應(yīng)的映射表項插入到重定向表中，使重定向表反映當(dāng)前源介質(zhì)與緩存介質(zhì)的數(shù)據(jù)的存儲映射關(guān)系，并將讀請求所要求的數(shù)據(jù)返回文件系統(tǒng)；然后返回步驟B ;F、根據(jù)寫請求將數(shù)據(jù)寫入到源介質(zhì)的相應(yīng)的位置，并返回步驟B。較佳地，源介質(zhì)和緩存介質(zhì)上的每一個映射頁的大小均相等。較佳地，映射頁大小為2的冪次方字節(jié)，最小為16KB，最大為2048KB。較佳地，緩存介質(zhì)的容量大小為源介質(zhì)容量大小的5-20%。較佳地，步驟A進(jìn)一步包括指定緩存介質(zhì)的剩余可用空間的臨界值；步驟E之后進(jìn)一步包括判斷緩存介質(zhì)中的剩余可用空間是否少于臨界值，若是，啟動空間回收過程，使得回收空間與剩余可用空間的總和大于2倍所述臨界值，否則直接返回步驟B。較佳地，步驟D進(jìn)一步包括將所述緩存介質(zhì)的映射頁的使用頻率加I ;步驟E所述建立相應(yīng)的映射表項并插入到重定向表中包括將該新分配的映射頁的使用頻率設(shè)置為I，減少一頁緩存介質(zhì)的可用空間；所述空間回收過程包括El、取得使用頻率值最小的映射頁，并將映射頁從重定向表中刪除，增加I頁緩存介質(zhì)的可用空間，同時增加I頁本次總共回收空間；E2、判斷總共回收空間是否大于等于回收目標(biāo)值，若是則完成空間回收過程，否則返回步驟E1。較佳地，回收目標(biāo)值設(shè)置為臨界值的2倍。較佳地，所述臨界值為緩存介質(zhì)存儲容量的1%_5%。從以上技術(shù)方案可以看出，通過捕獲向低速存儲介質(zhì)發(fā)起的所有輸入輸出請求，并將這些輸入輸出請求根據(jù)訪問情況重定向到高速存儲介質(zhì)上，進(jìn)而達(dá)到提高存儲系統(tǒng)數(shù)據(jù)訪問速度的目的。


圖I為本申請?zhí)峁┑奶岣叽鎯ο到y(tǒng)數(shù)據(jù)訪問速度的方法流程圖；圖2為本申請實施例提供的對存儲系統(tǒng)進(jìn)行加速的流程圖；圖3為本申請實施例提供的提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法流程圖。
具體實施例方式對于保存在存儲介質(zhì)中的所有數(shù)據(jù)，根據(jù)數(shù)據(jù)局部性原理，并不是所有數(shù)據(jù)被使用的頻率及可能性都是相同的。正如內(nèi)存中的數(shù)據(jù)相對于CPU緩存一樣，通過CPU —二級緩存將常用數(shù)據(jù)存儲在高速緩存中，使得計算性能得到大幅提高。在存儲系統(tǒng)中，實際的情況與內(nèi)存類似，也是一部分?jǐn)?shù)據(jù)被使用得很頻繁(我們稱這部分的數(shù)據(jù)為熱數(shù)據(jù))，而另一部分?jǐn)?shù)據(jù)使用得較少甚至是訪問一次后就不再被使用(我們稱這部份數(shù)據(jù)為冷數(shù)據(jù))。而根據(jù)計算機(jī)科學(xué)中的局部性原理，被訪問數(shù)據(jù)及其附近的數(shù)據(jù)將來被訪問到的可能性要比其他位置的數(shù)據(jù)高。特別是從文件系統(tǒng)的設(shè)計來看，文件系統(tǒng)的實現(xiàn)都傾向于在空間上進(jìn)行連續(xù)分配并將數(shù)據(jù)存儲在這些連續(xù)的空間中。在機(jī)械磁盤中，數(shù)據(jù)訪問的最大一部份時間消耗在數(shù)據(jù)尋址過程當(dāng)中。受益于數(shù)據(jù)局部性原理及文件系統(tǒng)數(shù)據(jù)上安排的連續(xù)性，如果將熱數(shù)據(jù)放在高速存儲介質(zhì)上，冷數(shù)據(jù)放在低速存儲介質(zhì)上，那么只要少許的成本投入就可以取得存儲性能上的明顯提升。本申請?zhí)峁┮环N提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法，通過捕獲向低速存儲介質(zhì)發(fā)起的所有輸入輸出請求，并將這些輸入輸出請求根據(jù)訪問情況重定向到高速存儲介質(zhì)上，進(jìn)而達(dá)到提高存儲系統(tǒng)數(shù)據(jù)訪問速度的目的。以下將被加速的低速存儲介質(zhì)稱為源介質(zhì)，而高速存儲介質(zhì)稱為緩存介質(zhì)。高速存儲介質(zhì)的容量要遠(yuǎn)小了源介質(zhì)的容量，一般選擇其容量為源介質(zhì)容量大小的5-20%之間。該方法的流程如圖I所示，包括如下步驟步驟101 :將源介質(zhì)和緩存介質(zhì)在邏輯上分別分成相同等份的存儲空間，每一份存儲空間稱為映射頁；源介質(zhì)和緩存介質(zhì)上的每一個映射頁的大小均相等。在內(nèi)存中建立一個用于記錄源介質(zhì)與緩存介質(zhì)之間數(shù)據(jù)的存儲映射關(guān)系的重定向表，該重定向表初始為空。映射頁大小可設(shè)置為2的冪次方字節(jié)大小，最小為16KB，最大為2048KB，并且相鄰頁大小呈 2 的倍數(shù)遞增，即分別為 16KB、32KB、64KB、128KB、256KB、512KB、1024KB、2048KB，映射頁一旦固定，將不得改變。映射頁都是從介質(zhì)的開始位置按自然數(shù)順序進(jìn)行編號。在計算機(jī)系統(tǒng)中，一次讀寫的數(shù)據(jù)單位一般最大為4KB，因此分頁的處理方式，可以擴(kuò)大預(yù)讀的范圍，從而減少源介質(zhì)與緩存介質(zhì)之間數(shù)據(jù)遷移的次數(shù)，也就是減少了讀寫操作的次數(shù)，因此這會導(dǎo)致重定向表的命中率等比例提高，并且因為IO次數(shù)變少，相應(yīng)的讀寫數(shù)據(jù)的時間就少，提高了存儲系統(tǒng)的總體性能。步驟102 :對文件系統(tǒng)提交到源介質(zhì)的所有請求進(jìn)行監(jiān)控。步驟103 :判斷監(jiān)控到的對源介質(zhì)的請求是讀請求還是寫請求，若是讀請求，執(zhí)行步驟104，若是寫請求，執(zhí)行步驟107。對于數(shù)據(jù)的第一次訪問，無論是讀或者寫，那么這個數(shù)據(jù)則極有可能在不久的將來被再次訪問。針對輸入輸出兩種不同類型的數(shù)據(jù)訪問方式，需要采用不同執(zhí)行策略。步驟104 :從讀請求中提取讀取的位置，并根據(jù)這個位置數(shù)據(jù)計算其所落入的映射頁的編號中，并使用這個編號在重定向表中進(jìn)行查詢是否有相應(yīng)的映射表項存在，若是，執(zhí)行步驟105，否則執(zhí)行步驟106。步驟105 :根據(jù)重定向表將該讀請求定向到緩存介質(zhì)中，完成本次讀操作后返回步驟102。步驟106 :將讀請求所落入的映射頁的數(shù)據(jù)從源介質(zhì)讀取并寫入到緩存介質(zhì)，并建立相應(yīng)的映射表項，插入到重定向表中，使重定向表反映當(dāng)前源介質(zhì)與緩存介質(zhì)的數(shù)據(jù)的存儲映射關(guān)系，并將讀請求所要求的數(shù)據(jù)返回文件系統(tǒng)。然后返回步驟102。步驟107 :根據(jù)寫請求將數(shù)據(jù)寫入到源介質(zhì)的相應(yīng)位置，并返回步驟102。為使本申請技術(shù)方案的技術(shù)原理、特點以及技術(shù)效果更加清楚，以下結(jié)合具體實施例對本申請技術(shù)方案進(jìn)行詳細(xì)闡述。本申請實施例提供的對存儲系統(tǒng)進(jìn)行加速的初始設(shè)置如圖2所示，包括
步驟201 :在存儲系統(tǒng)中附加一塊高速磁盤作為緩存介質(zhì)。步驟202 向監(jiān)控系統(tǒng)發(fā)送ST_BINDING命令，并且將源介質(zhì)與緩存介質(zhì)標(biāo)識傳遞給監(jiān)控模塊，由監(jiān)控模塊完成源介質(zhì)與緩存介質(zhì)之間綁定關(guān)系的創(chuàng)建及其初始化。步驟203 :在內(nèi)存中生成一個空的重定向表與這個綁定關(guān)系進(jìn)行關(guān)聯(lián)。步驟204 :指定緩存介質(zhì)的剩余可用空間的臨界值。臨界值的存在，是為了在緩存介質(zhì)的剩余可用空間不足時，提供一個緩沖區(qū)間，以啟動空間回收程序，使得回收空間與剩余可用空間的總和大于所述臨界值則結(jié)束該空間回收程序。如果沒有這個緩沖區(qū)間，當(dāng)緩存空間不足時，為了騰出可用空間，需要凍結(jié)源介質(zhì)的訪問。這對于系統(tǒng)的性能是一種傷害。較佳地，臨界值取為I%_5%。經(jīng)過上述初始設(shè)置后，可以執(zhí)行如圖3所示的提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法流程步驟301 :監(jiān)控發(fā)向源介質(zhì)的輸入輸出請求。步驟302 :判斷監(jiān)控到的當(dāng)前請求是否為寫請求，若是，執(zhí)行步驟310，否則執(zhí)行步驟 303。步驟303 :提取寫請求的數(shù)據(jù)的位置，并計算其所落入的映射頁的編號，并利用此編號在重定向表中查找該映射頁。步驟304 :判斷在重定向表中是否存在相應(yīng)的映射頁，若是，執(zhí)行步驟305，否則執(zhí)行步驟306。步驟305 :根據(jù)該映射頁中的目標(biāo)編號，將請求重定向到緩存介質(zhì)的映射頁中，并將該映射頁的使用頻率加1，然后返回步驟301。步驟306 :執(zhí)行到此，說明數(shù)據(jù)不存在緩存介質(zhì)中。首先根據(jù)映射頁編號將源介質(zhì)中該映射頁的數(shù)據(jù)讀取出來，將讀請求所需要的數(shù)據(jù)返回給文件系統(tǒng)。步驟307 :在緩存介質(zhì)中分配一個映射頁，并且將從源介質(zhì)讀取出來的一頁數(shù)據(jù)寫入緩存介質(zhì)中新分配的映射頁當(dāng)中，然后向重定向表中增加本映射關(guān)系表項，并將該新分配的映射頁的使用頻率設(shè)置為I，減少一頁緩存介質(zhì)的可用空間。步驟308 :判斷緩存介質(zhì)中的剩余可用空間是否少于臨界值，如果是執(zhí)行步驟309，否則直接返回步驟301。步驟309 :啟動空間回收過程，包括步驟309-a、取得使用頻率值最小的映射頁，并將映射頁從重定向表中刪除。步驟309-b、增加I頁緩存介質(zhì)的可用空間，同時增加I頁本次總共回收空間。步驟309-c、判斷總共回收空間大于等于回收目標(biāo)值，則完成空間回收過程，否則返回步驟309a繼續(xù)回收。其中，回收目標(biāo)值可以設(shè)置為臨界值的2倍。步驟310 :直接使請求發(fā)往源介質(zhì)即可，然后返回步驟301。通過本申請?zhí)峁┑姆椒?，可以達(dá)到如下的效果I.縮短存儲系統(tǒng)的讀取操作時間，也就是加快了訪問速度。由于熱數(shù)據(jù)直接從緩存介質(zhì)讀取，這樣越是被頻繁訪問的數(shù)據(jù)，其性能提升就越是明顯。2.由于緩存介質(zhì)的容量遠(yuǎn)小于源介質(zhì)，所以在少量增加設(shè)備成本的情況下，就能明顯提高存儲介質(zhì)訪問速度，從而能夠滿足更高性能及吞吐量的應(yīng)用的要求。3.在處理讀寫操作時，由于是采用的各種分頁的方式處理，所以可以根據(jù)不同系統(tǒng)的對數(shù)據(jù)的處理方式選擇不同的映射頁大小，可以最優(yōu)地配置。如增大映射頁的大小，則可以使產(chǎn)生IO次數(shù)減少，并且增大重定向表的命中率，從而在整體上提高了存儲系統(tǒng)的性能，使得加速性能更加有效。
4.由于數(shù)據(jù)的讀寫操作的重定向是自動發(fā)生的，對于原有的使用源介質(zhì)的程序沒有影響，因此不需要對這些程序做任何變動就能夠應(yīng)用本申請的技術(shù)。
以上所述僅為本申請的較佳實施例而已，并不用以限制本申請的保護(hù)范圍，凡在本申請技術(shù)方案的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請保護(hù)的范圍之內(nèi)。
權(quán)利要求
1.ー種提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法，其特征在于，包括 A、將源介質(zhì)和緩存介質(zhì)在邏輯上分別分成相同等份的存儲空間，每ー份存儲空間稱為ー個映射頁在內(nèi)存中建立一個用于記錄源介質(zhì)的映射頁與緩存介質(zhì)的映射頁之間數(shù)據(jù)的存儲映射關(guān)系的重定向表，該重定向表初始為空；所述緩存介質(zhì)的存取速度大于源介質(zhì)的存取速度； B、對文件系統(tǒng)提交到源介質(zhì)的所有請求進(jìn)行監(jiān)控，并判斷對源介質(zhì)的請求是讀請求還是寫請求，若是讀請求，執(zhí)行步驟C ;若是寫請求，執(zhí)行步驟F ； C、從讀請求中提取讀取的位置，根據(jù)這個位置數(shù)據(jù)計算其所落入的映射頁的編號中，并使用這個編號在重定向表中進(jìn)行查詢是否有相應(yīng)的映射表項存在，若存在，執(zhí)行步驟D，否則執(zhí)行步驟E ; D、根據(jù)重定向表將該讀請求定向到緩存介質(zhì)的映射頁中，完成本次讀操作后返回步驟B ； E、將讀請求所落入的映射頁的數(shù)據(jù)從源介質(zhì)讀取并寫入到緩存介質(zhì)，并建立相應(yīng)的映射表項插入到重定向表中，使重定向表反映當(dāng)前源介質(zhì)與緩存介質(zhì)的數(shù)據(jù)的存儲映射關(guān)系，并將讀請求所要求的數(shù)據(jù)返回文件系統(tǒng)；然后返回步驟B ; F、根據(jù)寫請求將數(shù)據(jù)寫入到源介質(zhì)的相應(yīng)的位置，并返回步驟B。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，源介質(zhì)和緩存介質(zhì)上的每ー個映射頁的大小均相等。
3.根據(jù)權(quán)利要求I所述的方法，其特征在干，映射頁大小為2的冪次方字節(jié)，最小為16KB，最大為 2048KB。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，緩存介質(zhì)的容量大小為源介質(zhì)容量大小的 5-20%ο
5.根據(jù)權(quán)利要求I所述的方法，其特征在于，步驟A進(jìn)ー步包括指定緩存介質(zhì)的剩余可用空間的臨界值； 步驟E之后進(jìn)ー步包括 判斷緩存介質(zhì)中的剰余可用空間是否少于臨界值，若是，啟動空間回收過程，使得回收空間與剩余可用空間的總和大于回收目標(biāo)值，否則直接返回步驟B。
6.根據(jù)權(quán)利要求5所述的方法，其特征在干， 步驟D進(jìn)ー步包括將所述緩存介質(zhì)的映射頁的使用頻率加I ; 步驟E所述建立相應(yīng)的映射表項并插入到重定向表中包括將該新分配的映射頁的使用頻率設(shè)置為1，減少ー頁緩存介質(zhì)的可用空間； 所述空間回收過程包括 E1、取得使用頻率值最小的映射頁，并將映射頁從重定向表中刪除，増加I頁緩存介質(zhì)的可用空間，同時增加I頁本次總共回收空間； E2、判斷總共回收空間是否大于等于回收目標(biāo)值，若是則完成空間回收過程，否則返回步驟E1。
7.根據(jù)權(quán)利要求6所述的方法，其特征在干，回收目標(biāo)值設(shè)置為臨界值的2倍。
8.根據(jù)權(quán)利要求5至7任一項所述的方法，其特征在于，所述臨界值為緩存介質(zhì)存儲容量的1%-5%。
全文摘要
本申請公開了一種提高存儲系統(tǒng)數(shù)據(jù)訪問速度的方法，通過捕獲向低速存儲介質(zhì)發(fā)起的所有輸入輸出請求，并將這些輸入輸出請求根據(jù)訪問情況重定向到高速存儲介質(zhì)上，進(jìn)而達(dá)到提高存儲系統(tǒng)數(shù)據(jù)訪問速度的目的。
文檔編號G06F12/08GK102981979SQ20121046098
公開日2013年3月20日 申請日期2012年11月15日 優(yōu)先權(quán)日2012年11月15日
發(fā)明者葉佑群 申請人:上海愛數(shù)軟件有限公司