專利名稱：一種密集型系統(tǒng)中的存儲系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種密集型系統(tǒng)中的存儲系統(tǒng)及方法。
背景技術(shù)：
在I/O密集型的系統(tǒng)中，當(dāng)出現(xiàn)大量并發(fā)I/O操作時，系統(tǒng)整體性能會急劇下降，造成大量業(yè)務(wù)積壓與延遲。而現(xiàn)今CPU和內(nèi)存性能的大幅度提高，每秒可以讀寫數(shù)十/上百萬次，究其原因是由于硬盤數(shù)據(jù)的讀寫造成性能下降，采用15000轉(zhuǎn)磁盤和增加緩存都無法解決問題，傳統(tǒng)存儲I/o性能成為瓶頸。傳統(tǒng)機(jī)械硬盤在應(yīng)用中確實有其自身的優(yōu)點:容量大，價格低廉并具有相對完善的資料保護(hù)系統(tǒng)。但因其復(fù)雜的內(nèi)部機(jī)械結(jié)構(gòu)，需要不斷的通過磁頭臂在不同的盤片移動讀取數(shù)據(jù)(如圖1所示)，導(dǎo)致機(jī)械硬盤的低讀寫速度和高延遲。而現(xiàn)有企業(yè)級的FC (Fiber Channel的縮寫，即光纖通道)硬盤和SAS (SerialAttached SCSI的縮寫，即串行連接SCSI)硬盤轉(zhuǎn)速雖有15000轉(zhuǎn)，但硬盤功耗已經(jīng)達(dá)到計算系統(tǒng)允許的極限，也就意味著，機(jī)械硬盤已經(jīng)幾無性能提升的空間。綜上可知，傳統(tǒng)的存儲在隨機(jī)I/O密集型系統(tǒng)中已不能滿足其性能要求，需要加以改進(jìn)。固態(tài)硬盤是由控制單元和固態(tài)存儲單元(DRAM或FLASH芯片)組成的硬盤，沒有機(jī)械裝置和旋轉(zhuǎn)介質(zhì)，具有讀寫速度快耐高低溫、防震無噪音、重量輕能耗低的特點。SSD固態(tài)硬盤相對于HDD最大的優(yōu)點是超高的隨機(jī)I/O性能(目前寫速率已達(dá)到1100MBPS，讀速率已達(dá)到1700MBPS)。經(jīng)過測試， 固態(tài)硬盤的性能是傳統(tǒng)光纖通道硬盤的30倍，30個15000RPM的光纖通道磁盤才能達(dá)到單一固態(tài)硬盤同樣的性能。

發(fā)明內(nèi)容
本發(fā)明的目的是，針對現(xiàn)有技術(shù)的缺陷，提供一種降低機(jī)械硬盤的高延遲和低輸入輸出，從而提高系統(tǒng)的整體性能的密集型系統(tǒng)中的存儲系統(tǒng)。本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下:一種密集型系統(tǒng)中的存儲系統(tǒng)，包括需求分析模塊、固態(tài)硬盤和機(jī)械硬盤；所述需求分析模塊用于分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，并根據(jù)數(shù)據(jù)的讀寫頻率將數(shù)據(jù)分別發(fā)送至固態(tài)硬盤或機(jī)械硬盤進(jìn)行存儲；所述固態(tài)硬盤用于存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)；所述機(jī)械硬盤用于存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)。本發(fā)明的有益效果是:本發(fā)明所述系統(tǒng)采用機(jī)械硬盤和固態(tài)硬盤分層存儲，可最大化利用固態(tài)硬盤的高I/o輸入輸出性能特點；降低了對存儲網(wǎng)絡(luò)的依賴，可以直接利用本地硬盤進(jìn)行話單的處理與備份，大大提高了存儲方案的性價比；降低建設(shè)和維護(hù)成本。在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
進(jìn)一步，所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量等。進(jìn)一步，所述需求分析模塊分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤；并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤。采用上述進(jìn)一步方案的有益效果是，可以滿足系統(tǒng)容量的要求又能達(dá)到極大的性能提升。進(jìn)一步，所述固態(tài)硬盤還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。本發(fā)明的另一個目的是，針對現(xiàn)有技術(shù)的缺陷，提供一種降低機(jī)械硬盤的高延遲和低輸入輸出，從而提高系統(tǒng)的整體性能的密集型系統(tǒng)中的存儲方法。本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下一種密集型系統(tǒng)中的存儲方法，具體包括以下步驟步驟1:需求分析模塊判斷系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，如果需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作，進(jìn)行步驟2 ;否則，進(jìn)行步驟3 ；步驟2 :固態(tài)硬盤接收從需求分析模塊發(fā)送至的存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)并存儲；步驟3 :機(jī)械硬盤接收從需求分析模塊發(fā)送至的存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)并存儲。本發(fā)明的有益效果是本發(fā)明所述方法采用機(jī)械硬盤和固態(tài)硬盤分層存儲，可最大化利用固態(tài)硬盤的高I/o輸入輸出性能特點；降低了對存儲網(wǎng)絡(luò)的依賴，可以直接利用本地硬盤進(jìn)行話單的處理與備份，大大提高了存儲方案的性價比；降低建設(shè)和維護(hù)成本。在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。進(jìn)一步，所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量等。進(jìn)一步，所述需求分析模塊分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤；并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤。采用上述進(jìn)一步方案的有益效果是，可以滿足系統(tǒng)容量的要求又能達(dá)到極大的性能提升。進(jìn)一步，所述固態(tài)硬盤還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。固態(tài)硬盤因其超高的隨機(jī)1/0，非常適用于I/O密集型的系統(tǒng)中，但其價格較高、容量小，我們可使用SSD與HDD混搭的方式。SSD與HDD的混合使用，有兩種方式1.固態(tài)硬盤作為緩存使用在許多存儲系統(tǒng)中，無法增加緩沖卡，但可以通過增加固態(tài)硬盤當(dāng)作緩存來使用，不需要替換現(xiàn)有的磁盤驅(qū)動器，可以極大提高整個系統(tǒng)的性能。2.固態(tài)硬盤和機(jī)械硬盤分層存儲通過對用戶需求的分析，我們可以得到數(shù)據(jù)的重要性、訪問頻率、保留時間、容量等系統(tǒng)指標(biāo)，基于數(shù)據(jù)訪問局部性的原理，對數(shù)據(jù)采用不同的存儲方式分別存儲在不同性能的存儲設(shè)備上，從而提高系統(tǒng)的性能。這種SSD和HDD混搭的方式是目前存儲系統(tǒng)中性價比最高的方案。在需要進(jìn)行大量讀寫操作的文件系統(tǒng)、高并發(fā)讀寫頻繁的數(shù)據(jù)庫等放在SSD固態(tài)硬盤上，將備份或時效性低、隨機(jī)I/o較小的內(nèi)容放在I/O性能較低的HDD機(jī)械硬盤上。在有大量小文件讀寫頻繁發(fā)生的文件系統(tǒng)中使用SSD，對于大量小文件I/O操作頻繁文件系統(tǒng)中，使用SSD可大幅度提高系統(tǒng)性能。例如在電信詳單處理系統(tǒng)中，由于話單基本都是幾KB大小的文件，同時話單的數(shù)量也非常大，在這類系統(tǒng)中可直接采用PC1-E接口的SSD固態(tài)硬盤用于話單的處理，充分利用SSD的隨機(jī)讀寫高性能的優(yōu)點；在門戶網(wǎng)站中，由于需要存放大量的小圖標(biāo)以及頁面元素的cache，可將這類文件等直接存放在SSD固態(tài)硬盤上。


圖1為傳統(tǒng)機(jī)械硬盤的讀與原理不意圖；圖2為本發(fā)明具體實施例1所述的一種密集型系統(tǒng)中的存儲系統(tǒng)結(jié)構(gòu)圖；圖3為本發(fā)明具體實施例2所述的一種密集型系統(tǒng)中的存儲方法流程圖；圖4為本發(fā)明實施例3固態(tài)硬盤在單實例數(shù)據(jù)中的應(yīng)用圖；圖5為本發(fā)明實施例4固態(tài)硬盤在數(shù)據(jù)庫高可用互備模式下的應(yīng)用圖；圖6為本發(fā)明實施例5固態(tài)硬盤在數(shù)據(jù)庫高可用主從模式下的應(yīng)用圖。附圖中，各標(biāo)號所代表的部件列表如下1、分析模塊，2、固態(tài)硬盤，3、機(jī)械硬盤。
具體實施例方式以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。如圖2所示，本發(fā)明具體實施例1所述的一種密集型系統(tǒng)中的存儲系統(tǒng)，包括需求分析模塊1、固態(tài)硬盤2和機(jī)械硬盤3 ;所述需求分析模塊I用于分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，并根據(jù)數(shù)據(jù)的讀寫頻率將數(shù)據(jù)分別發(fā)送至固態(tài)硬盤2或機(jī)械硬盤3進(jìn)行存儲；所述固態(tài)硬盤2用于存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)；所述機(jī)械硬盤3用于存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)。所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量等。所述需求分析模塊I分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤2 ;并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤3。所述固態(tài)硬盤2還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。如圖3所示，本發(fā)明具體實施例2所述的一種密集型系統(tǒng)中的存儲方法，具體包括以下步驟步驟1:需求分析模塊判斷系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，如果需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作，進(jìn)行步驟2 ;否則，進(jìn)行步驟3 ；步驟2 :固態(tài)硬盤接收從需求分析模塊發(fā)送至的存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)并存儲；步驟3 :機(jī)械硬盤接收從需求分析模塊發(fā)送至的存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)并存儲。
所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量等。所述需求分析模塊分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤；并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤。所述固態(tài)硬盤還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。圖4為本發(fā)明實施例3固態(tài)硬盤在單實例數(shù)據(jù)中的應(yīng)用圖，在高并發(fā)，隨機(jī)讀寫頻繁的數(shù)據(jù)庫中使用SSD固態(tài)硬盤在數(shù)據(jù)庫使用過程中，經(jīng)常執(zhí)行I/O操作的歸檔日志、重做日志、索引數(shù)據(jù)、一些用戶經(jīng)常訪問的熱點數(shù)據(jù)存放在固態(tài)硬盤中，而將其他不常使用的數(shù)據(jù)或歷史數(shù)據(jù)存放到大容量的機(jī)械硬盤中，即可以滿足系統(tǒng)容量的要求有能達(dá)到極大地性能提升。圖5為本發(fā)明實施例4固態(tài)硬盤在數(shù)據(jù)庫高可用互備模式下的應(yīng)用圖，為對于數(shù)據(jù)庫的高可用性的SSD固態(tài)硬盤互備方式解決方案。圖6為本發(fā)明實施例5固態(tài)硬盤在數(shù)據(jù)庫高可用主從模式下的應(yīng)用圖，為對于數(shù)據(jù)庫的高可用性的SSD固態(tài)硬盤主從方式解決方案。對于實施例4、5、6中的配置采用以下配置服務(wù)器采用x86PC服務(wù)器(64-bit),操作系統(tǒng)采用RedHat Enterprise6. x版本(RHEL從6.1開始對SSD的驅(qū)動程序進(jìn)行了優(yōu)化)。SSD硬盤接口選擇，首選PC1-E接口(速率8Gbps，容量大(可達(dá)3. 2T))，次選SATA3. O接口(速率6Gbps，容量小(目前基本上都在IT以內(nèi)))。結(jié)合業(yè)務(wù)特點，該方案可不需要使用共享存儲。因此，高可用性實現(xiàn)方式比較簡單，就是每種類型服務(wù)器采用雙機(jī)互備的方式部署，這種部署方式適用于大多數(shù)場景。如果需要采用共享存儲，則SSD存儲由SSD盤陣提供。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種密集型系統(tǒng)中的存儲系統(tǒng)，其特征在于，包括需求分析模塊、固態(tài)硬盤和機(jī)械硬盤； 所述需求分析模塊用于分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，并根據(jù)數(shù)據(jù)的讀寫頻率將數(shù)據(jù)分別發(fā)送至固態(tài)硬盤或機(jī)械硬盤進(jìn)行存儲； 所述固態(tài)硬盤用于存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)； 所述機(jī)械硬盤用于存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的存儲系統(tǒng)，其特征在于，所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量。
3.根據(jù)權(quán)利要求2所述的存儲系統(tǒng)，其特征在于，所述需求分析模塊分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤；并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤。
4.根據(jù)權(quán)利要求1-3任一項所述的存儲系統(tǒng)，其特征在于，所述固態(tài)硬盤還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。
5.一種密集型系統(tǒng)中的存儲方法，其特征在于，具體包括以下步驟: 步驟1:需求分析模塊判斷系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，如果需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作，進(jìn)行步驟2 ;否則，進(jìn)行步驟3 ； 步驟2:固態(tài)硬盤接 收從需求分析模塊發(fā)送至的存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)并存儲； 步驟3:機(jī)械硬盤接收從需求分析模塊發(fā)送至的存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)并存儲。
6.根據(jù)權(quán)利要求5所述的存儲系統(tǒng)，其特征在于，所述系統(tǒng)指標(biāo)包括數(shù)據(jù)的重要性、訪問頻率、保留時間和容量。
7.根據(jù)權(quán)利要求6所述的存儲系統(tǒng)，其特征在于，所述需求分析模塊分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，將需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)發(fā)送至固態(tài)硬盤；并將存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)發(fā)送至機(jī)械硬盤。
8.根據(jù)權(quán)利要求5-7任一項所述的存儲系統(tǒng)，其特征在于，所述固態(tài)硬盤還用于存儲并發(fā)讀寫頻繁的數(shù)據(jù)庫。
全文摘要
本發(fā)明涉及一種密集型系統(tǒng)中的存儲系統(tǒng)及方法，其中，一種密集型系統(tǒng)中的存儲系統(tǒng)，包括需求分析模塊、固態(tài)硬盤和機(jī)械硬盤；所述需求分析模塊用于分析系統(tǒng)中需存儲的數(shù)據(jù)的系統(tǒng)指標(biāo)，并將數(shù)據(jù)分別發(fā)送至固態(tài)硬盤或機(jī)械硬盤進(jìn)行存儲；所述固態(tài)硬盤用于存儲需要進(jìn)行大量讀寫操作的數(shù)據(jù)和經(jīng)常執(zhí)行輸入輸出操作的數(shù)據(jù)；所述機(jī)械硬盤用于存儲備份或時效性低、隨機(jī)輸入輸出少的數(shù)據(jù)。本發(fā)明所述系統(tǒng)采用機(jī)械硬盤和固態(tài)硬盤分層存儲，可最大化利用固態(tài)硬盤的高I/O輸入輸出性能特點；降低了對存儲網(wǎng)絡(luò)的依賴，可以直接利用本地硬盤進(jìn)行話單的處理與備份，大大提高了存儲方案的性價比；降低建設(shè)和維護(hù)成本。
文檔編號G06F3/06GK103076993SQ20121058596
公開日2013年5月1日 申請日期2012年12月28日 優(yōu)先權(quán)日2012年12月28日
發(fā)明者郭寧 申請人:北京思特奇信息技術(shù)股份有限公司