專利名稱：基于多通道存儲設備的海量存儲系統(tǒng)及其系統(tǒng)控制方法
技術(shù)領域：
本發(fā)明屬于存儲技術(shù)領域，具體涉及一種基于多通道存儲設備的海量存儲系統(tǒng)及其系統(tǒng)控制方法。
背景技術(shù)：
近幾年來，各種共享與交換的數(shù)據(jù)信息以難以置信的速度急劇增加，導致了用戶對存儲產(chǎn)品的容量和帶寬的持續(xù)性地、爆炸性增長。例如，在許多前沿性的課題研究領域(如人類基因、氣候分析等)中，要求的存儲容量至少在1TB以上，而且容量需求還在不斷增長。與此同時，隨著網(wǎng)絡的普及和多媒體應用推廣等，對存儲服務帶寬的要求也在不斷同步提高，在某些重要課題中甚至要求1TB/S的帶寬。而現(xiàn)有存儲系統(tǒng)，由于受到服務器與存儲設備單連接模式的制約，盡管可以通過累加使用高密度、大容量存儲設備的方式來滿足容量上的要求，但它不能同時提高存儲帶寬。而且大量存儲設備上的I/O數(shù)據(jù)都需經(jīng)由服務器轉(zhuǎn)發(fā)給客戶，這種工作模式不僅容易導致外設通道擁塞，還會因為數(shù)據(jù)存取和傳輸過程中經(jīng)歷的多次存儲轉(zhuǎn)發(fā)，增加系統(tǒng)開銷和傳輸延遲，導致平均數(shù)傳率降低和服務等待時間加長。特別是當大量客戶發(fā)出請求時，上述問題會更加突出，形成“服務器瓶頸”。
有鑒于此，十分有必要構(gòu)造一種具有良好的擴展性能、可提供高速數(shù)據(jù)傳輸率且可緩解服務器負載的海量存儲系統(tǒng)，以滿足人們?nèi)找婵量痰拇鎯σ蟆?br>
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有海量存儲系統(tǒng)的系統(tǒng)結(jié)構(gòu)和用戶服務模式的不足，從改進其系統(tǒng)結(jié)構(gòu)的角度構(gòu)造一種可滿足人們對容量、帶寬需求不斷增長的基于多通道存儲設備的海量存儲系統(tǒng)，并減少服務器負載、提高I/O服務性能；本發(fā)明還提供了該海量存儲系統(tǒng)的系統(tǒng)控制方法。
本發(fā)明的一種基于多通道存儲設備的海量存儲系統(tǒng)，包括服務器和若干存儲設備，其特征在于所述存儲設備包括主機通道接口模塊、存儲設備接口模塊、網(wǎng)絡接口模塊和陣列運行控制模塊，前三個模塊通過PCI總線與陣列運行控制模塊相連；構(gòu)成具有主機通道、存儲設備通道和網(wǎng)絡通道的多通道存儲設備，服務器通過其配置的外設適配器接入主機通道；存儲設備通過各自的網(wǎng)絡接口連入與服務器相同或不同的網(wǎng)絡。
上述海量存儲系統(tǒng)的系統(tǒng)控制方法，其步驟為●由服務器通過主機通道對各個存儲設備負責設備與文件系統(tǒng)的集中管理。服務器通過其網(wǎng)絡通道接收用戶的文件服務請求；●多通道存儲設備負責數(shù)據(jù)訪問和網(wǎng)絡傳輸操作，利用其網(wǎng)絡通道作為用戶數(shù)據(jù)通道，進行網(wǎng)絡用戶與存儲設備間的直接數(shù)據(jù)傳輸；對于所有非讀寫文件的請求，服務器直接執(zhí)行并向用戶返回結(jié)果；對于讀/寫文件請求，服務器執(zhí)行文件地址信息提取/地址空間預分配的處理，將地址信息和用戶權(quán)限信息返回用戶，并同時通知存儲設備。上述過程中派生的存儲I/O命令將通過服務器主機通道交給相應存儲設備完成。此后的數(shù)據(jù)存取和傳輸任務將在多通道存儲設備和用戶間進行，待完成所有的存取和傳輸后，用戶通知服務器結(jié)束服務。
本發(fā)明具有如下特點(1)系統(tǒng)的可擴展性好，系統(tǒng)通過增加多通道存儲設備增加存儲容量的同時，也增加了數(shù)據(jù)通道數(shù)，實現(xiàn)了擴容與增速同步。
(2)系統(tǒng)采用的命令與數(shù)據(jù)分流處理方式，可以大幅度減少服務器的負載，避免存儲設備性能的發(fā)揮受單一外設通道的制約。
(3)系統(tǒng)內(nèi)多個存儲設備運行具有高度并行性，除了可以實現(xiàn)并行存取操作外，還可以實現(xiàn)數(shù)據(jù)的并行網(wǎng)絡傳輸。
(4)實現(xiàn)了集中的文件系統(tǒng)管理與分布的數(shù)據(jù)存取，保證了管理的高效率與存儲的高性能。
(5)用戶I/O數(shù)據(jù)直接從存儲設備傳輸?shù)接脩?，縮短了I/O路徑，減少了系統(tǒng)延遲，提高了平均數(shù)傳率。


圖1為本發(fā)明中海量存儲系統(tǒng)的基本組成結(jié)構(gòu)圖；圖2為多通道存儲設備的系統(tǒng)結(jié)構(gòu)示意圖；圖3為多通道存儲設備控制模塊的控制流程示意圖；圖4為本發(fā)明采用FC通道的海量存儲系統(tǒng)實施例的結(jié)構(gòu)示意圖；圖5為本發(fā)明一種實施例的示意圖。
圖6為本發(fā)明中的服務器控制流程圖。
具體實施例方式
如圖1所示，本發(fā)明包括服務器S(可以是多個)和若干多通道存儲設備D1…、Dn，服務器通過外設通道適配器1形成的主機通道10與存儲設備D1…Dn相連，同時服務器S與存儲設備通過各自的網(wǎng)絡接口4.0、4.1，…，4.n連入網(wǎng)絡。存儲設備D1…Dn均具有主機通道接口1.1…1.n、設備通道接口2.1…2.n和網(wǎng)絡通道接口4.1…4.n，形成具有主機通道10、存儲設備通道3.1…3.n和網(wǎng)絡通道6.1…6.n的多通道存儲設備，作為系統(tǒng)的基本存儲節(jié)點。服務器通過網(wǎng)絡通道6.0接收用戶的命令請求和響應請求結(jié)果，用戶通過多通道存儲設備的網(wǎng)絡通道6.1…6.n進行文件數(shù)據(jù)的傳輸。
多通道存儲設備的系統(tǒng)結(jié)構(gòu)見圖2，包含控制模塊150、主機通道接口模塊112、存儲設備接口模塊122以及網(wǎng)絡接口模塊132，各模塊之間通過PCI總線140物理連接。
控制模塊150包括CPU 152、RAM 151和EPROM 153，提供計算能力和運行環(huán)境以實現(xiàn)各模塊初始化、命令分解/合并、數(shù)據(jù)分塊/重組、協(xié)議變換、緩存管理和I/O任務調(diào)度的控制功能。
主機通道接口模塊112由主機通道接口1.1~1.n構(gòu)成。
存儲設備接口模塊122由存儲設備接口2.11~2.1n構(gòu)成，提供與存儲設備的連接。存儲設備可以是各類磁盤驅(qū)動器，其類型由存儲設備通道接口類型決定。
主機通道接口和存儲設備接口均執(zhí)行面向塊設備級的協(xié)議，其中，主機通道接口設置成TARGET態(tài)的外設接口，根據(jù)性能、成本采用SCSI、FC等。存儲設備接口設置成MASTER態(tài)的外設接口，如FC、SCSI和IDE等。
網(wǎng)絡接口模塊132由網(wǎng)絡通道接口4.11~4.1n組成，網(wǎng)絡接口可以采用相同或不同的形式，各網(wǎng)絡接口可以接入同一網(wǎng)絡或不同網(wǎng)絡中。
上述控制裝置可構(gòu)成主機通道10.1~10.n，存儲設備通道3.11~3.1n以及網(wǎng)絡通道6.11~6.1n。
如圖3所示，多通道存儲設備在加電啟動后，會建立主機通道中斷例程以及網(wǎng)絡通道服務端口的監(jiān)聽例程。若從主機通道接收到SCSI命令，則以高優(yōu)先級進入I/O任務隊列；若從網(wǎng)絡通道服務端口接收到網(wǎng)絡用戶請求，則啟動用戶請求處理進程，根據(jù)其處理能力派生出一組I/O命令，逐次提交進入I/O任務隊列。所有進入I/O任務隊列的I/O命令按一定的優(yōu)先原則排序后，根據(jù)設置的陣列級別進行命令分解，形成對應多個磁盤的命令鏈。多個命令鏈上的I/O命令在交付底層執(zhí)行以前要經(jīng)過Buffer管理功能處理，剔除命中的命令并返回執(zhí)行結(jié)果，其余命令交由I/O調(diào)度過程執(zhí)行。I/O調(diào)度過程啟動相應的存儲設備接口驅(qū)動磁盤執(zhí)行I/O命令。當所啟動的I/O命令都執(zhí)行完畢后，判斷所有操作是否都正常，若無錯誤，則回送執(zhí)行結(jié)果。服務器發(fā)來的命令通過主機通道接口回送給服務器；用戶命令執(zhí)行結(jié)果返回到用戶請求處理進程，用戶請求處理進程檢查用戶I/O命令組是否全部執(zhí)行完畢，若全部執(zhí)行完，則將結(jié)果通過網(wǎng)絡通道返回給遠端用戶，若尚未執(zhí)行完，則繼續(xù)向低層提交I/O命令直至全部完成。
該海量存儲系統(tǒng)采用命令與數(shù)據(jù)分流的控制方法，由服務器S通過主機通道10對各個存儲設備實施集中式的設備與文件系統(tǒng)管理，保持了與以往系統(tǒng)的高度兼容性，保護了先期軟件(如操作系統(tǒng)、文件系統(tǒng)、I/O設備驅(qū)動等)的投資；由多通道存儲設備負責數(shù)據(jù)訪問和網(wǎng)絡傳輸操作，利用其網(wǎng)絡通道6.1…6.n作為用戶數(shù)據(jù)通道，進行網(wǎng)絡用戶與存儲設備間的直接數(shù)據(jù)傳輸。系統(tǒng)運行時，服務器S通過其網(wǎng)絡通道6.0接收用戶的文件服務請求，首先進行用戶級、文件系統(tǒng)級的管理及預處理操作，期間所派生的I/O命令通過主機通道10交給多通道存儲設備執(zhí)行。對于用戶的管理功能請求，服務器直接執(zhí)行完畢后通過網(wǎng)絡通道6.0向用戶返回結(jié)果，結(jié)束服務。對于涉及大量數(shù)據(jù)I/O的文件存取請求在進行完管理及預處理操作后，服務器通過網(wǎng)絡通道向用戶返回一系列讀寫指示信息，結(jié)束第一階段的操作。然后用戶依據(jù)該信息通過網(wǎng)絡向多通道存儲設備提出數(shù)據(jù)訪問與傳輸要求，并由多通道存儲設備執(zhí)行相應的數(shù)據(jù)訪問和傳輸操作，完成對用戶請求的服務。
該海量存儲系統(tǒng)充分體現(xiàn)了多通道、并行處理的原則，若在服務器上接入多個多通道存儲設備，則每接入一個便擴展了一個網(wǎng)絡通道，存儲數(shù)據(jù)訪問可利用此網(wǎng)絡通道，進行用戶與存儲設備間的直接數(shù)據(jù)傳送，實現(xiàn)了容量和速度同步擴展的理想。
如圖4所示，如果服務器S1…Sm采用FC類型外設通道適配器，并使用具有FC主機通道的多通道存儲設備D1…Dn，以及FC交換機(10.0)，則可構(gòu)成與SAN(Storage Area Network)11結(jié)構(gòu)相似但又不同的海量存儲系統(tǒng)。相同之處在于它們都是基于FC交換網(wǎng)絡形成的存儲系統(tǒng)。不同之處在于SAN系統(tǒng)中存儲設備與公共網(wǎng)絡用戶C1、C2…Ci的數(shù)據(jù)交換需要通過服務器，而本發(fā)明的海量存儲系統(tǒng)中存儲設備可利用各自到公共網(wǎng)絡的接口與用戶直接交換數(shù)據(jù)。
附圖5是本發(fā)明的一個具體實施例，服務器S使用的是普通PC機，CPU為的配置為PentiumMMX200，內(nèi)存64M，通過DFE530TX網(wǎng)絡接口適配器接入由百兆交換機(6)形成的百兆以太網(wǎng)，外設通道接口采用Symbios公司的SYM53C895 SCSI-PCI適配器和多通道存儲設備相連。服務器通過SCSI總線(10)連接多通道磁盤陣列D1和多通道磁盤陣列D2。兩個陣列的主機通道接口均采用Symbios公司的SYM53C895 SCSI-PCI適配器，并設置為SLAVE狀態(tài)，網(wǎng)絡通道接口均采用DFE530TX網(wǎng)絡接口適配器接入百兆交換網(wǎng)。多通道磁盤陣列D1為SCSI陣列，CPU型號為P2-450，內(nèi)存64M，設備通道接口采用了三塊SYM53C875 SCSI-PCI適配器，每個SCSI通道上掛一個SCSI硬盤。多通道磁盤陣列D2為EIDE陣列，CPU型號為P2-450，內(nèi)存64M，設備通道接口直接利用了PC機主板上的IDE接口芯片，每個IDE通道掛一個可支持ATA 100/66的IDE硬盤。
用戶對文件系統(tǒng)的訪問請求一般分為目錄請求和文件請求。目錄請求包括讀目錄屬性、修改目錄屬性、列目錄內(nèi)容、建立新目錄、刪除空目錄；文件請求包括讀文件屬性、修改文件屬性、讀文件、建立并寫新文件、刪除文件。其中讀文件和建立并寫新文件這兩種請求會涉及到大量I/O數(shù)據(jù)流動，而其它請求是對文件系統(tǒng)的結(jié)構(gòu)及文件屬性的管理，所涉及的數(shù)據(jù)量相對較少。按照命令與數(shù)據(jù)分流的控制方法，系統(tǒng)運行時，服務器將對每一個用戶請求進行用戶身份、權(quán)限檢查，并對合法有效的請求分類處理服務器執(zhí)行所有非讀寫文件類請求，并直接向用戶返回結(jié)果；對于讀寫文件請求，服務器執(zhí)行文件地址信息提取(對于讀文件請求)或地址空間預分配(對于寫文件請求)的處理，將整理了的地址信息和用戶權(quán)限信息返回用戶，并同時通知存儲設備。上述過程中派生的存儲I/O命令將通過服務器主機通道交給相應存儲設備完成。此后的數(shù)據(jù)存取和傳輸任務將由多通道存儲設備進行，待用戶與存儲設備間完成了相應的存取和傳輸后，用戶通知服務器結(jié)束本次服務。上述服務器處理過程見附圖6。
服務器通過網(wǎng)絡將預處理結(jié)果傳輸給用戶，用戶接受后再通過網(wǎng)絡把請求和讀寫地址信息直接提交給存儲設備。存儲設備在收到服務器的用戶權(quán)限通知后，即啟動讀/寫進程等待用戶讀/寫指令，在用戶發(fā)送來讀/寫文件請求和地址組信息后，立即執(zhí)行，并將執(zhí)行結(jié)果回送用戶。
按照該控制方法，用戶在向海量存儲系統(tǒng)獲取文件讀寫服務請求時，將按如下步驟進行。對讀文件數(shù)據(jù)請求的步驟為①客戶機向服務器發(fā)出讀文件請求；②服務器對請求確認，并對請求進行分析，獲取文件所在存儲設備位置和文件的存儲地址組；③服務器向存儲設備發(fā)出用戶授權(quán)；④存儲設備啟動讀進程，等待客戶機請求的到來；⑤服務器向客戶機發(fā)出確認、授權(quán)字、存儲設備的地址及數(shù)據(jù)存儲地址組；⑥客戶機根據(jù)地址建立與存儲設備的網(wǎng)絡連接，直接發(fā)送對應文件數(shù)據(jù)的讀I/O請求；⑦存儲設備執(zhí)行I/O請求，得到數(shù)據(jù)后直接傳送給客戶機；⑧客戶機向服務器和存儲設備發(fā)出結(jié)束信號，讀過程結(jié)束；寫文件請求的步驟為①客戶機向服務器發(fā)出寫文件請求和相關(guān)控制信息；②服務器確認后，為此文件預先分配存儲空間，得到請求文件所在存儲設備位置和文件的存儲地址；③服務器向存儲設備發(fā)出用戶授權(quán)；④服務器向客戶機發(fā)出授權(quán)字、存儲設備的地址及數(shù)據(jù)存儲地址組；⑤客戶機根據(jù)地址建立與存儲設備的網(wǎng)絡連接，將I/O請求和文件數(shù)據(jù)傳輸給存儲設備；⑥存儲設備按照約定的數(shù)據(jù)存儲地址，執(zhí)行寫文件數(shù)據(jù)操作，完成后通知客戶機；⑦客戶機向存儲設備和服務器發(fā)送結(jié)束信息，寫過程結(jié)束。
本發(fā)明改變了海量存儲系統(tǒng)中服務器通過單一外設通道連接存儲設備的結(jié)構(gòu)，形成了服務器和存儲設備間的多通道連接結(jié)構(gòu)，使服務器與存儲設備的關(guān)系由原來的主從關(guān)系轉(zhuǎn)變?yōu)閷Φ汝P(guān)系，并采用命令與數(shù)據(jù)分流處理模式，分離系統(tǒng)中管理功能及其對應I/O操作與實際文件數(shù)據(jù)I/O操作及傳輸任務，一方面極大地減輕服務器負載，另一方面縮短用戶數(shù)據(jù)路徑、提高用戶數(shù)據(jù)傳輸率。
權(quán)利要求
1.一種基于多通道存儲設備的海量存儲系統(tǒng)，包括服務器和若干存儲設備，其特征在于所述存儲設備(D1…Dn)包括主機通道接口模塊(112)、存儲設備接口模塊(122)、網(wǎng)絡接口模塊(132)和陣列運行控制模塊(150)，前三個模塊通過PCI總線(140)與陣列運行控制模塊(150)相連；構(gòu)成具有主機通道(10)、存儲設備通道(3.i)和網(wǎng)絡通道(6.i)的多通道存儲設備(D.i)，服務器(S)通過其配置的外設適配器(1)接入主機通道(10)；存儲設備(D.1…D.n)通過各自的網(wǎng)絡接口(4.1…4.n)連入與服務器(S)相同或不同的網(wǎng)絡。
2.權(quán)利要求1所述海量存儲系統(tǒng)的系統(tǒng)控制方法，其步驟為●由服務器(S)通過主機通道(10)對各個存儲設備(D.1…D.n)負責設備與文件系統(tǒng)的集中管理。服務器(S)通過其網(wǎng)絡通道(6.0)接收用戶的文件服務請求；●多通道存儲設備(D.1…D.n)負責數(shù)據(jù)訪問和網(wǎng)絡傳輸操作，利用其網(wǎng)絡通道(6.1…6.n)作為用戶數(shù)據(jù)通道，進行網(wǎng)絡用戶與存儲設備間的直接數(shù)據(jù)傳輸；●對于所有非讀寫文件的請求，服務器直接執(zhí)行并向用戶返回結(jié)果；對于讀/寫文件請求，服務器(S)執(zhí)行文件地址信息提取/地址空間預分配的處理，將地址信息和用戶權(quán)限信息返回用戶，并同時通知存儲設備。上述過程中派生的存儲I/O命令將通過服務器主機通道交給相應存儲設備完成。此后的數(shù)據(jù)存取和傳輸任務將在多通道存儲設備和用戶間進行，待完成所有的存取和傳輸后，用戶通知服務器結(jié)束服務。
全文摘要
本發(fā)明公開了一種基于多通道存儲設備的海量存儲系統(tǒng)，包括服務器和若干存儲設備，存儲設備包括主機通道、存儲設備及網(wǎng)絡的接口模塊和陣列運行控制模塊，接口模塊通過PCI總線與陣列運行控制模塊相連；構(gòu)成多通道存儲設備，服務器通過外設適配器接入主機通道；存儲設備通過各自的網(wǎng)絡接口連入與服務器相同或不同的網(wǎng)絡。該系統(tǒng)采用了命令與數(shù)據(jù)分流的控制方法。本發(fā)明具有①系統(tǒng)的可擴展性好；②可大幅度減少服務器的負載，避免存儲設備性能的發(fā)揮受單一外設通道的制約、存儲設備運行具有高度并行性；③實現(xiàn)了集中的文件系統(tǒng)管理與分布的數(shù)據(jù)存取，保證了管理的高效率與存儲的高性能；④用戶I/O數(shù)據(jù)直接從存儲設備傳輸?shù)接脩?，縮短了I/O路徑，減少了系統(tǒng)延遲，提高了平均數(shù)傳率。
文檔編號G06F13/14GK1487436SQ03125249
公開日2004年4月7日 申請日期2003年8月8日 優(yōu)先權(quán)日2003年8月8日
發(fā)明者馮丹, 張江陵, 王芳, 周可, 鄧玉輝, 童薇, 施展, 劉景寧, 李潔瓊, 馮 丹 申請人:華中科技大學