一種具有QoS保證的云存儲平臺的制作方法
【專利摘要】本發(fā)明是一種具有QoS保證的云存儲平臺，該云存儲平臺包括四個級別的數(shù)據(jù)中心，按照地理位置分布，劃分包含多個級別數(shù)據(jù)中心的虛擬數(shù)據(jù)中心；同一個數(shù)據(jù)的副本緩存在虛擬數(shù)據(jù)中心內(nèi)的不同級別數(shù)據(jù)中心存儲系統(tǒng)上；一級數(shù)據(jù)中心安裝全局資源控制器，全局資源控制器通過分配云存儲各個數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)和存儲系統(tǒng)資源，控制不同QoS級別業(yè)務(wù)的數(shù)據(jù)訪問負(fù)載；其余各級的各個數(shù)據(jù)中心安裝局部資源控制器，向全局控制器實(shí)時報告數(shù)據(jù)中心的網(wǎng)絡(luò)流量和存儲系統(tǒng)負(fù)載情況；用戶通過云存儲平臺接口API，從最快的數(shù)據(jù)中心下載的數(shù)據(jù)。本發(fā)明能顯著改善廣域網(wǎng)云存儲平臺的網(wǎng)絡(luò)流量和存儲系統(tǒng)負(fù)載均衡狀況，加快用戶訪問速度，并提升系統(tǒng)整體吞吐率。
【專利說明】—種具有QoS保證的云存儲平臺
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)信息管理的【技術(shù)領(lǐng)域】，具體的說是一種廣域網(wǎng)分布式的云存儲系統(tǒng)，特別涉及其系統(tǒng)連接結(jié)構(gòu)和資源調(diào)度方法。
【背景技術(shù)】
[0002]隨著云計算技術(shù)的不斷普及，用戶對云存儲平臺的數(shù)據(jù)服務(wù)質(zhì)量(QoS)有著較高的需求。云存儲平臺通常基于廣域網(wǎng)上的多個數(shù)據(jù)中心構(gòu)建。然而，不同數(shù)據(jù)中心之間的網(wǎng)絡(luò)連接帶寬和數(shù)據(jù)中心內(nèi)存儲系統(tǒng)的處理能力存在差異，會導(dǎo)致云存儲平臺無法像傳統(tǒng)的企業(yè)級存儲系統(tǒng)那樣為用戶提供實(shí)時、可靠的數(shù)據(jù)服務(wù)。例如，系統(tǒng)會遇到突發(fā)的訪問請求高峰，導(dǎo)致局部網(wǎng)絡(luò)或全局網(wǎng)絡(luò)出現(xiàn)擁塞；此外，廣域網(wǎng)鏈路的可靠性不高，也無法保證平臺服務(wù)質(zhì)量。
[0003]對云存儲系統(tǒng)進(jìn)行QoS調(diào)度的目的就是采用資源可控的網(wǎng)絡(luò)設(shè)備和存儲系統(tǒng)，實(shí)現(xiàn)云存儲平臺內(nèi)網(wǎng)絡(luò)流量和系統(tǒng)負(fù)載的動態(tài)管理，使得管理者能夠有效地控制物理和虛擬網(wǎng)絡(luò)的數(shù)據(jù)流量和路由，防止網(wǎng)絡(luò)或系統(tǒng)擁塞導(dǎo)致的服務(wù)質(zhì)量下降，避免鏈路故障帶來的影響，并提升云存儲系統(tǒng)整體吞吐率。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種具有QoS保證云存儲系統(tǒng)，構(gòu)建一個高可靠、高可用性和高性能的云存儲平臺。云存儲平臺資源控制器監(jiān)控和評估各個數(shù)據(jù)中心的網(wǎng)絡(luò)流量和存儲系統(tǒng)負(fù)載，分配和調(diào)度各數(shù)據(jù)中心內(nèi)不同QoS級別數(shù)據(jù)業(yè)務(wù)的資源，保障各級QoS數(shù)據(jù)業(yè)務(wù)的服務(wù)質(zhì)量，并使系統(tǒng)整體資源利用率最優(yōu)。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案:
[0006]一種具有QoS保證的云存儲平臺，采用層次式架構(gòu)管理廣域網(wǎng)上的多個不同級別的數(shù)據(jù)中心。如圖2所示，包括四個級別的數(shù)據(jù)中心，一級數(shù)據(jù)中心只有一個，其它各級數(shù)據(jù)中心可以有多個；
[0007]各級數(shù)據(jù)中心節(jié)點(diǎn)組成一個層次化的樹狀網(wǎng)絡(luò)，以第四級數(shù)據(jù)中心為最小地理覆蓋，將該數(shù)據(jù)中心及其上級數(shù)據(jù)中心作為一個虛擬數(shù)據(jù)中心；
[0008]虛擬數(shù)據(jù)中心用于將同一個數(shù)據(jù)的副本緩存在虛擬數(shù)據(jù)中心內(nèi)的不同數(shù)據(jù)中心存儲系統(tǒng)上，將數(shù)據(jù)業(yè)務(wù)分為三種不同QoS級別；
[0009]一級數(shù)據(jù)中心內(nèi)安裝全局網(wǎng)絡(luò)資源控制器，其它各級數(shù)據(jù)中心安裝局部網(wǎng)絡(luò)資源控制器，向全局資源控制器報告各級數(shù)據(jù)業(yè)務(wù)的實(shí)時流量情況和訪問負(fù)載，全局資源控制器則通過智能調(diào)度算法控制云存儲平臺各個數(shù)據(jù)中心內(nèi)，不同QoS級別的數(shù)據(jù)業(yè)務(wù)流量。
[0010]本發(fā)明中，數(shù)據(jù)中心總共分為4級，根據(jù)數(shù)據(jù)中心的規(guī)模和級別，由大到小分別為一級、二級、三級和四級數(shù)據(jù)中心。
[0011]本發(fā)明中，可按照地理位置分布，劃分包含多個級別數(shù)據(jù)中心的虛擬數(shù)據(jù)中心。
[0012]同一個數(shù)據(jù)的副本緩存在虛擬數(shù)據(jù)中心內(nèi)的不同數(shù)據(jù)中心存儲系統(tǒng)上。一級數(shù)據(jù)中心擁有全部數(shù)據(jù)副本，它將所有數(shù)據(jù)副本按地理覆蓋分配到各個二級數(shù)據(jù)中心，二級數(shù)據(jù)中心再將數(shù)據(jù)副本分配到下屬的三級數(shù)據(jù)中心；
[0013]將數(shù)據(jù)業(yè)務(wù)分為三種不同QoS級別，分別是一級、二級和三級。三種數(shù)據(jù)業(yè)務(wù)對延時的敏感度依次降低，優(yōu)先級也依次變低。第一級業(yè)務(wù)優(yōu)先級最高，要求能夠立即響應(yīng)；第二級業(yè)務(wù)優(yōu)先級為中，允許在一定時間內(nèi)完成響應(yīng)；第三級業(yè)務(wù)優(yōu)先級最低，當(dāng)系統(tǒng)繁忙時，可以暫停響應(yīng)。
[0014]用戶通過云存儲平臺接口 API，從最快的數(shù)據(jù)中心下載所需的數(shù)據(jù)，或通過并行下載，從多個數(shù)據(jù)中心同時下載數(shù)據(jù)。
[0015]本發(fā)明可以顯著改善廣域網(wǎng)云存儲平臺系統(tǒng)負(fù)載均衡狀況，提升系統(tǒng)整體吞吐率。通過自動為用戶選取最優(yōu)的訪問節(jié)點(diǎn)，加快用戶的訪問速度，提升用戶數(shù)據(jù)服務(wù)質(zhì)量。此外，平臺能夠保證在廣域網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路或某個數(shù)據(jù)中心節(jié)點(diǎn)發(fā)生故障，業(yè)務(wù)服務(wù)無需中斷。
【專利附圖】

【附圖說明】
[0016]圖1為云存儲內(nèi)結(jié)構(gòu)和網(wǎng)絡(luò)連接示意圖。
[0017]圖2為云存儲內(nèi)各個數(shù)據(jù)中心層次關(guān)系示意圖
[0018]圖3為云存儲內(nèi)資源控制器示意圖。
【具體實(shí)施方式】
[0019]采用層次式架構(gòu)管理廣域網(wǎng)上的多個不同級別的數(shù)據(jù)中心。如圖1所示，一級數(shù)據(jù)中心通常把機(jī)房設(shè)在區(qū)域中心地帶，便于網(wǎng)絡(luò)覆蓋。一級數(shù)據(jù)中心在網(wǎng)絡(luò)邊界處部署兩臺核心交換機(jī)，匯聚各二級數(shù)據(jù)中心的雙上行鏈路，避免單點(diǎn)故障。
[0020]二級數(shù)據(jù)中心是對一級數(shù)據(jù)中心的分流，通常機(jī)房建于二級區(qū)域的中心地帶。二級數(shù)據(jù)中心采用兩條光纖專線方式接入一級數(shù)據(jù)中心，以實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)間的高速數(shù)據(jù)交換。兩條專線既可以通過聚合增加帶寬，也可以實(shí)現(xiàn)鏈路冗余。
[0021]三級數(shù)據(jù)中心是對二級數(shù)據(jù)中心的進(jìn)一步分流，機(jī)房建于二級區(qū)域的邊緣地帶，三級數(shù)據(jù)中心通過光纖專線接入一級數(shù)據(jù)中心和其上級的二級數(shù)據(jù)中心。設(shè)置兩條專線的作用同樣是為了實(shí)現(xiàn)鏈路冗余和負(fù)載均衡，同時，二級數(shù)據(jù)中心作為所管轄三級數(shù)據(jù)中心的匯聚點(diǎn)。
[0022]四級數(shù)據(jù)中心是對區(qū)域的最小覆蓋，采用專線實(shí)現(xiàn)與其上級的三級數(shù)據(jù)中心和二級數(shù)據(jù)中心的雙鏈路接入。
[0023]云存儲的底層在用基于廣域網(wǎng)的分布式對象存儲系統(tǒng)。系統(tǒng)在廣域網(wǎng)存儲節(jié)點(diǎn)集群中構(gòu)建全局命名空間，通過復(fù)制對象實(shí)現(xiàn)數(shù)據(jù)的冗余和容錯；同時系統(tǒng)具有自動修復(fù)和自動管理的能力，例如能夠根據(jù)文件訪問熱度自動遷移文件存儲的節(jié)點(diǎn)；此外，系統(tǒng)還支持升級和擴(kuò)容過程的業(yè)務(wù)零中斷。
[0024]如圖3所示，系統(tǒng)控制架構(gòu)分為三層:即資源設(shè)備層、局部資源控制層和全局資源控制層。
[0025]資源設(shè)備層指物理設(shè)備，包括網(wǎng)絡(luò)設(shè)備和存儲設(shè)備，部署在各個數(shù)據(jù)中心內(nèi)，基于分配的系統(tǒng)資源向用戶提供數(shù)據(jù)服務(wù)。[0026]局部資源控制層指局部資源控制服務(wù)器，部署在各個數(shù)據(jù)中心出口，處理網(wǎng)絡(luò)帶寬和存儲負(fù)載的調(diào)度，向全局資源控制層報告狀態(tài)信息。局部資源控制器會把交換機(jī)的鏈路狀態(tài)、帶寬信息、存儲系統(tǒng)的負(fù)載情況發(fā)送給全局控制器，以便進(jìn)行帶寬調(diào)整、路徑規(guī)劃和存儲資源分配。
[0027]全局資源控制器部署在一級數(shù)據(jù)中心，收集各個數(shù)據(jù)中心局部資源控制器上報的網(wǎng)絡(luò)鏈路和存儲負(fù)載信息，針對不同QoS級別業(yè)務(wù)，實(shí)現(xiàn)對云存儲系統(tǒng)進(jìn)行全局統(tǒng)一資源控制。
[0028]全局最優(yōu)的網(wǎng)絡(luò)帶寬和存儲系統(tǒng)資源分配策略是實(shí)現(xiàn)云存儲系統(tǒng)QoS保證的核心技術(shù)，根據(jù)不同QoS級別業(yè)務(wù)的流量和負(fù)載情況，使用全局最優(yōu)資源調(diào)度算法計算出各個數(shù)據(jù)中心應(yīng)分配的流量帶寬和存儲負(fù)載資源。當(dāng)新業(yè)務(wù)數(shù)據(jù)開始傳輸時，根據(jù)該業(yè)務(wù)可能消耗的帶寬和存儲資源，為其選擇一條最優(yōu)的路徑。分配的資源信息會下發(fā)到各個數(shù)據(jù)中心的局部資源控制器中，再由控制器控制數(shù)據(jù)中心的資源設(shè)備，從而保證不同QoS級別業(yè)務(wù)的性能需求，提升云存儲系統(tǒng)整體吞吐率，實(shí)現(xiàn)云存儲整體網(wǎng)絡(luò)和存儲資源利用率最優(yōu)化。
【權(quán)利要求】
1.一種具有QoS保證的云存儲平臺，包括四個級別的數(shù)據(jù)中心，一級數(shù)據(jù)中心只有一個，其它各級數(shù)據(jù)中心可以有多個； 各級數(shù)據(jù)中心節(jié)點(diǎn)組成一個層次化的樹狀網(wǎng)絡(luò)，以第四級數(shù)據(jù)中心為最小地理覆蓋，將該數(shù)據(jù)中心及其上級數(shù)據(jù)中心作為一個虛擬數(shù)據(jù)中心； 虛擬數(shù)據(jù)中心用于將同一個數(shù)據(jù)的副本緩存在虛擬數(shù)據(jù)中心內(nèi)的不同數(shù)據(jù)中心存儲系統(tǒng)上，將數(shù)據(jù)業(yè)務(wù)分為三種不同QoS級別；一級數(shù)據(jù)中心內(nèi)安裝全局資源控制器，其它各級數(shù)據(jù)中心安裝局部資源控制器，向全局資源控制器報告各級數(shù)據(jù)業(yè)務(wù)的實(shí)時網(wǎng)絡(luò)流量和系統(tǒng)負(fù)載情況，全局資源控制器則通過智能調(diào)度算法控制云存儲平臺全網(wǎng)各個數(shù)據(jù)中心內(nèi)，不同QoS級別業(yè)務(wù)的數(shù)據(jù)訪問負(fù)載；用戶通過云存儲平臺接口 API，從最快的數(shù)據(jù)中心下載所需的數(shù)據(jù)，或通過并行下載，從多個數(shù)據(jù)中心同時下載數(shù)據(jù)。
【文檔編號】H04L29/08GK103888516SQ201410073780
【公開日】2014年6月25日 申請日期:2014年2月28日 優(yōu)先權(quán)日:2014年2月28日
【發(fā)明者】夏純中 申請人:江蘇大學(xué)