一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法
【專利摘要】本發(fā)明公開一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，屬于計(jì)算機(jī)系統(tǒng)存儲(chǔ)領(lǐng)域；具體步驟為：①基本的負(fù)載的均衡，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上；②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況；③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載；本發(fā)明適用于在高壓力、高并發(fā)讀寫、多用戶、異構(gòu)的大規(guī)模分布式存儲(chǔ)系統(tǒng)可以處理異構(gòu)的數(shù)據(jù)負(fù)載，自適應(yīng)地根據(jù)負(fù)載調(diào)整其在服務(wù)器之間的分布。
【專利說明】一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，屬于計(jì)算機(jī)系統(tǒng)存儲(chǔ)領(lǐng)域，具體地說是一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法。

【背景技術(shù)】
[0002]存儲(chǔ)技術(shù)的發(fā)展是伴隨著計(jì)算機(jī)技術(shù)的發(fā)展而發(fā)展的，也就是說，從計(jì)算機(jī)技術(shù)誕生之日起，人們就在為追求更高性能的存儲(chǔ)系統(tǒng)而努力。在過去幾十年，可以說是存儲(chǔ)技術(shù)不斷創(chuàng)新發(fā)展的年代，特別是最近二十年，集群存儲(chǔ)系統(tǒng)呈現(xiàn)爆發(fā)式增長(zhǎng)的趨勢(shì)，出現(xiàn)了包括SAN、NAS、Lustre、HDFS、(^ph等各種各樣的集群存儲(chǔ)。集群存儲(chǔ)架構(gòu)在大規(guī)模企業(yè)應(yīng)用架構(gòu)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、高性能計(jì)算領(lǐng)域有著旺盛的生命力和廣闊的發(fā)展前景。
[0003]然而，由于集群存儲(chǔ)系統(tǒng)規(guī)模龐大，小到幾十臺(tái)存儲(chǔ)服務(wù)器，大到上萬臺(tái)的規(guī)模，同時(shí)并發(fā)的用戶數(shù)也很龐大，集群的負(fù)載均衡機(jī)制尤為重要。目前，數(shù)據(jù)的負(fù)載均衡策略不能有效地平衡數(shù)據(jù)的訪問負(fù)載，而且在自適應(yīng)上以及容錯(cuò)性上存在嚴(yán)重不足，特別是在異構(gòu)的集群環(huán)境中，由于服務(wù)器之間的性能差距大，傳統(tǒng)的負(fù)載均衡策略幾乎是失效的。這樣導(dǎo)致集群的利用率低效，未能發(fā)揮集群的最大性能。出于節(jié)約成本的考慮，大部分企業(yè)在構(gòu)建大規(guī)模存儲(chǔ)集群的時(shí)候，都會(huì)利用上閑置的或者以往購買的服務(wù)器，再添加新購買的服務(wù)器。這樣就導(dǎo)致存儲(chǔ)集群是異構(gòu)的。在現(xiàn)有的負(fù)載均衡機(jī)制的基礎(chǔ)上，提出一種自適應(yīng)的分布式異構(gòu)存儲(chǔ)系統(tǒng)數(shù)據(jù)負(fù)載均衡機(jī)制就顯得很必要了。


【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的不足和問題，提供一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，用戶在初始化系統(tǒng)時(shí)，向所有的存儲(chǔ)服務(wù)器發(fā)送請(qǐng)求，獲取其當(dāng)前計(jì)算能力的配置信息，將其作為存儲(chǔ)服務(wù)器的初始權(quán)值。在系統(tǒng)初始化時(shí)，存儲(chǔ)服務(wù)器的計(jì)算能力等于其硬件的配置。系統(tǒng)運(yùn)行一段時(shí)間內(nèi)，存儲(chǔ)服務(wù)器的權(quán)值根據(jù)實(shí)時(shí)信息調(diào)整后的值存儲(chǔ)服務(wù)器返回最新的權(quán)值配置信息。要寫某條數(shù)據(jù)時(shí)，根據(jù)自適應(yīng)分布式的增量負(fù)載均衡方法決定該條數(shù)據(jù)寫到哪個(gè)服務(wù)器上。當(dāng)集群各個(gè)服務(wù)器之間負(fù)載差別很大時(shí)，動(dòng)態(tài)的轉(zhuǎn)移數(shù)據(jù)，用于平衡集群的負(fù)載。
[0005]提出的具體方案是:
一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，其特征是通過整合計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源、用戶請(qǐng)求數(shù)據(jù)的情況等各種實(shí)時(shí)的信息，實(shí)現(xiàn)整個(gè)分布式系統(tǒng)的負(fù)載均衡，具體步驟為:
①基本的負(fù)載的均衡，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上；
②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況；
③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載。
[0006]所述的數(shù)據(jù)負(fù)載是CPU、硬盤、網(wǎng)絡(luò)的使用情況及新能參數(shù)。
[0007]所述的步驟③根據(jù)更新的服務(wù)器性能再次使用基本的負(fù)載均衡算法重新調(diào)整負(fù)載的分布情況，使得負(fù)載能夠重新公平的分布在服務(wù)器上。
[0008]本發(fā)明的有益之處是:本發(fā)明提供一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法適用于在高壓力、高并發(fā)讀寫、多用戶、異構(gòu)的大規(guī)模分布式存儲(chǔ)系統(tǒng)可以處理異構(gòu)的數(shù)據(jù)負(fù)載，自適應(yīng)地根據(jù)負(fù)載調(diào)整其在服務(wù)器之間的分布；根據(jù)服務(wù)器的性能來均衡負(fù)載，在大量增加數(shù)據(jù)時(shí)，根據(jù)基本的負(fù)載均衡算法的hash特性，新增數(shù)據(jù)負(fù)載仍能夠均衡的分布在服務(wù)器之間；根據(jù)實(shí)時(shí)的負(fù)載情況，自適應(yīng)地調(diào)整服務(wù)器的負(fù)載。

【具體實(shí)施方式】
[0009]對(duì)本發(fā)明的內(nèi)容以具體實(shí)例來描述實(shí)現(xiàn)的過程。
[0010]用戶在初始化系統(tǒng)時(shí)，向所有的存儲(chǔ)服務(wù)器發(fā)送請(qǐng)求，獲取其當(dāng)前計(jì)算能力的配置信息，將其作為存儲(chǔ)服務(wù)器的初始權(quán)值。在系統(tǒng)初始化時(shí)，存儲(chǔ)服務(wù)器的計(jì)算能力等于其硬件的配置。系統(tǒng)運(yùn)行一段時(shí)間內(nèi)，存儲(chǔ)服務(wù)器的權(quán)值根據(jù)實(shí)時(shí)信息調(diào)整后的值存儲(chǔ)服務(wù)器返回最新的權(quán)值配置信息。要寫某條數(shù)據(jù)時(shí)，根據(jù)自適應(yīng)分布式的增量負(fù)載均衡方法決定該條數(shù)據(jù)寫到哪個(gè)服務(wù)器上。當(dāng)集群各個(gè)服務(wù)器之間負(fù)載差別很大時(shí)，動(dòng)態(tài)的轉(zhuǎn)移數(shù)據(jù)，用于平衡集群的負(fù)載。
[0011]實(shí)施例1
一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，通過整合計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源、用戶請(qǐng)求數(shù)據(jù)的情況等各種實(shí)時(shí)的信息，實(shí)現(xiàn)整個(gè)分布式系統(tǒng)的負(fù)載均衡，具體步驟為:
①基本的負(fù)載的均衡，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上；
②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況；
③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載。
[0012]實(shí)施例2
一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，通過整合計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源、用戶請(qǐng)求數(shù)據(jù)的情況等各種實(shí)時(shí)的信息，實(shí)現(xiàn)整個(gè)分布式系統(tǒng)的負(fù)載均衡，具體步驟為:
①基本的負(fù)載的均衡，數(shù)據(jù)負(fù)載是CPU、硬盤、網(wǎng)絡(luò)的使用情況及新能參數(shù)，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上；
②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況；
③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載。
[0013]實(shí)施例3
一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，通過整合計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源、用戶請(qǐng)求數(shù)據(jù)的情況等各種實(shí)時(shí)的信息，實(shí)現(xiàn)整個(gè)分布式系統(tǒng)的負(fù)載均衡，具體步驟為: ①基本的負(fù)載的均衡，數(shù)據(jù)負(fù)載是CPU、硬盤、網(wǎng)絡(luò)的使用情況及新能參數(shù)，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上；
②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況；
③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載，根據(jù)更新的服務(wù)器性能再次使用基本的負(fù)載均衡算法重新調(diào)整負(fù)載的分布情況，使得負(fù)載能夠重新公平的分布在服務(wù)器上。
【權(quán)利要求】
1.一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，其特征是通過整合計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源、用戶請(qǐng)求數(shù)據(jù)的情況等各種實(shí)時(shí)的信息，實(shí)現(xiàn)整個(gè)分布式系統(tǒng)的負(fù)載均衡，具體步驟為: ①基本的負(fù)載的均衡，在系統(tǒng)初建時(shí)，根據(jù)節(jié)點(diǎn)的最大負(fù)載能力，將數(shù)據(jù)分布在集群的各個(gè)節(jié)點(diǎn)上； ②自適應(yīng)分布式的增量負(fù)載的均衡，在系統(tǒng)運(yùn)行時(shí)，實(shí)時(shí)地收集各個(gè)節(jié)點(diǎn)資源占用情況，自適應(yīng)地、動(dòng)態(tài)地調(diào)整數(shù)據(jù)分布情況； ③采用基于權(quán)重的hash方法，在系統(tǒng)初建時(shí)將數(shù)據(jù)的負(fù)載大小視為相同，把異構(gòu)服務(wù)器的性能作為權(quán)重，在集群之間均衡地分布數(shù)據(jù)負(fù)載。
2.根據(jù)權(quán)利要求1所述的一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，其特征是所述的數(shù)據(jù)負(fù)載是CPU、硬盤、網(wǎng)絡(luò)的使用情況及新能參數(shù)。
3.根據(jù)權(quán)利要求1所述的一種異構(gòu)集群存儲(chǔ)自適應(yīng)數(shù)據(jù)負(fù)載的方法，其特征是所述的步驟③根據(jù)更新的服務(wù)器性能再次使用基本的負(fù)載均衡算法重新調(diào)整負(fù)載的分布情況，使得負(fù)載能夠重新公平的分布在服務(wù)器上。
【文檔編號(hào)】H04L12/803GK104270402SQ201410420267
【公開日】2015年1月7日 申請(qǐng)日期:2014年8月25日 優(yōu)先權(quán)日:2014年8月25日
【發(fā)明者】陳大雅, 程瑤, 劉粉粉 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司