分布式系統(tǒng)的管理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機領(lǐng)域，具體地，涉及一種分布式系統(tǒng)的管理方法和裝置。
【背景技術(shù)】
[0002]分布式文件系統(tǒng)一般包含客戶端，元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器，客戶端負(fù)責(zé)文件數(shù)據(jù)的訪問接口制定，元數(shù)據(jù)服務(wù)器處理文件的布局及屬性，數(shù)據(jù)服務(wù)器存儲文件的數(shù)據(jù)內(nèi)容。
[0003]對于分布式文件系統(tǒng)，可以存儲海量數(shù)據(jù)是其最主要的特征，而海量數(shù)據(jù)就伴隨著大批量的磁盤和數(shù)據(jù)節(jié)點的存在，而數(shù)據(jù)節(jié)點中的磁盤能耗是非常大的，而系統(tǒng)的業(yè)務(wù)經(jīng)常根據(jù)時間段的不同而壓力大小不同，業(yè)務(wù)壓力小時，大量的數(shù)據(jù)盤在空載狀態(tài)，產(chǎn)生了很多不必要的功耗，直接造成了分布式文件系統(tǒng)的使用成本的增加。
[0004]對于該問題，現(xiàn)有技術(shù)采用的解決法案是將不同的節(jié)點劃分為不同的物理分區(qū)，對分區(qū)內(nèi)的節(jié)點進(jìn)行關(guān)機或整機節(jié)能，但是由于這種方法中整個節(jié)點處于關(guān)機和節(jié)能狀態(tài)，那么當(dāng)業(yè)務(wù)需要訪問其上的數(shù)據(jù)時，其由關(guān)機或節(jié)能狀態(tài)轉(zhuǎn)移到全速工作狀態(tài)的切換時間會過長，那么將直接導(dǎo)致上層訪問時間的延遲放大。
[0005]針對相關(guān)技術(shù)中的上述問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0006]針對相關(guān)技術(shù)中的上述問題，本發(fā)明提出一種分布式系統(tǒng)的管理方法和裝置，能夠避免整節(jié)點關(guān)機節(jié)能帶來的業(yè)務(wù)切換時間長的問題，并可以有效的利用業(yè)務(wù)特征進(jìn)行系統(tǒng)的節(jié)能處理。
[0007]本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0008]根據(jù)本發(fā)明的一個方面，提供了一種分布式系統(tǒng)的管理方法，其中，分布式系統(tǒng)包括元數(shù)據(jù)服務(wù)節(jié)點，數(shù)據(jù)節(jié)點。
[0009]該管理方法包括:
[0010]對分布式系統(tǒng)中所有磁盤進(jìn)行分組，得到多個服務(wù)組和多個節(jié)能組；
[0011]將多個節(jié)能組的讀寫業(yè)務(wù)迀移至多個服務(wù)組，并對多個節(jié)能組內(nèi)的磁盤進(jìn)行降速或休眠；
[0012]使多個服務(wù)組全速運行所在的業(yè)務(wù)。
[0013]其中，對分布式系統(tǒng)中的所有磁盤進(jìn)行分組時，分組的依據(jù)包括以下至少之一:
[0014]同一個文件位于同一磁盤組中；
[0015]業(yè)務(wù)的壓力；
[0016]業(yè)務(wù)的訪問方式。
[0017]此外，該管理方法進(jìn)一步包括:
[0018]在向數(shù)據(jù)節(jié)點讀寫數(shù)據(jù)時，數(shù)據(jù)節(jié)點統(tǒng)計該數(shù)據(jù)節(jié)點對應(yīng)的各磁盤組的業(yè)務(wù)壓力值并發(fā)送至元數(shù)據(jù)服務(wù)節(jié)點；
[0019]元數(shù)據(jù)服務(wù)節(jié)點將各磁盤組的業(yè)務(wù)壓力值與對應(yīng)各磁盤組的各壓力閾值分別進(jìn)行比較；
[0020]在磁盤組的業(yè)務(wù)壓力值大于對應(yīng)的壓力閾值的情況下，將該磁盤組切換為節(jié)能組。
[0021]可選的，該管理方法進(jìn)一步包括:
[0022]在向數(shù)據(jù)節(jié)點寫入新文件時，元數(shù)據(jù)服務(wù)器將新文件寫入到該數(shù)據(jù)節(jié)點的同一個服務(wù)組內(nèi)的磁盤中。
[0023]可選的，該管理方法進(jìn)一步包括:
[0024]在從數(shù)據(jù)節(jié)點讀取的文件位于節(jié)能組的磁盤中的情況下，數(shù)據(jù)節(jié)點將該節(jié)能組內(nèi)的多個磁盤喚醒以提供服務(wù)。
[0025]可選的，該管理方法進(jìn)一步包括:
[0026]元數(shù)據(jù)節(jié)點定期采集各數(shù)據(jù)節(jié)點所對應(yīng)的各磁盤組的容量使用情況；
[0027]將服務(wù)組的可用容量與節(jié)能組的可用容量的差值與容量閾值作比較；
[0028]在差值超過容量閾值的情況下，將該服務(wù)組和該節(jié)能組進(jìn)行狀態(tài)切換。
[0029]其中，在將服務(wù)組的可用容量與節(jié)能組的可用容量的差值與容量閾值作比較時，可將從屬于同一數(shù)據(jù)節(jié)點的服務(wù)組的可用容量和節(jié)能組的可用容量的差值與容量閾值作比較。
[0030]根據(jù)本發(fā)明的另一方面，提供了一種分布式系統(tǒng)的管理裝置，其中，分布式系統(tǒng)包括元數(shù)據(jù)服務(wù)節(jié)點，數(shù)據(jù)節(jié)點。
[0031]該管理裝置包括:
[0032]分組模塊，用于對分布式系統(tǒng)中所有磁盤進(jìn)行分組，得到多個服務(wù)組和多個節(jié)能組；
[0033]轉(zhuǎn)換模塊，用于將多個節(jié)能組的讀寫業(yè)務(wù)迀移至多個服務(wù)組，并對多個節(jié)能組內(nèi)的磁盤進(jìn)行降速或休眠；
[0034]運行模塊，用于使多個服務(wù)組全速運行所在的業(yè)務(wù)。
[0035]此外，該管理裝置進(jìn)一步包括:
[0036]統(tǒng)計模塊，用于在向數(shù)據(jù)節(jié)點讀寫數(shù)據(jù)時，統(tǒng)計該數(shù)據(jù)節(jié)點對應(yīng)的各磁盤組的業(yè)務(wù)壓力值并發(fā)送至元數(shù)據(jù)服務(wù)節(jié)點；
[0037]第一比較模塊，用于將各磁盤組的業(yè)務(wù)壓力值與對應(yīng)各磁盤組的各壓力閾值分別進(jìn)行比較；
[0038]第一切換模塊，用于在磁盤組的業(yè)務(wù)壓力值大于對應(yīng)的壓力閾值的情況下，將該磁盤組切換為節(jié)能組。
[0039]可選的，該管理裝置進(jìn)一步包括:
[0040]采集模塊，用于定期采集各數(shù)據(jù)節(jié)點所對應(yīng)的各磁盤組的容量使用情況；
[0041]第二比較模塊，用于將服務(wù)組的可用容量與節(jié)能組的可用容量的差值與容量閾值作比較；
[0042]第二切換模塊，用于在差值超過容量閾值的情況下，將該服務(wù)組和該節(jié)能組進(jìn)行狀態(tài)切換。
[0043]本發(fā)明通過對分布式系統(tǒng)中所有磁盤劃分為若干個服務(wù)組和節(jié)能組，并將節(jié)能組的讀寫業(yè)務(wù)迀入服務(wù)組，并對節(jié)能組內(nèi)磁盤降速或休眠，使服務(wù)分組全速轉(zhuǎn)動正常服務(wù)。既避免了整節(jié)點關(guān)機節(jié)能帶來的業(yè)務(wù)切換時間長的問題，又可以有效的利用業(yè)務(wù)特征進(jìn)行系統(tǒng)的節(jié)能處理。
【附圖說明】
[0044]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0045]圖1是根據(jù)本發(fā)明實施例的分布式系統(tǒng)的管理方法的流程圖；
[0046]圖2是根據(jù)本發(fā)明另一實施例的分布式系統(tǒng)的管理方法的流程圖；
[0047]圖3是根據(jù)本發(fā)明實施例的分布式系統(tǒng)的管理裝置的框圖。
【具體實施方式】
[0048]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0049]根據(jù)本發(fā)明的實施例，提供了一種分布式系統(tǒng)的管理方法，其中，分布式系統(tǒng)包括元數(shù)據(jù)服務(wù)節(jié)點，數(shù)據(jù)節(jié)點，客戶端節(jié)點。
[0050]如圖1所示，根據(jù)本發(fā)明實施例的管理方法包括:
[0051]步驟SlOl，對分布式系統(tǒng)中所有磁盤進(jìn)行分組，得到多個服務(wù)組和多個節(jié)能組；
[0052]步驟S103，將多個節(jié)能組的讀寫業(yè)務(wù)迀移至多個服務(wù)組，并對多個節(jié)能組內(nèi)的磁盤進(jìn)行降速或休眠；
[0053]步驟S103，使多個服務(wù)組全速運行所在的業(yè)務(wù)。
[0054]其中，在一個實施例中，在對分布式系統(tǒng)中的所有磁盤進(jìn)行分組時，分組的依據(jù)包括以下至少之一:
[0055]同一個文件位于同一磁盤組中；
[0056]業(yè)務(wù)的壓力；
[0057]業(yè)務(wù)的訪問方式。
[0058]為了更好的理解本發(fā)明的上述技術(shù)方案，下面結(jié)合圖2所示的具體實例來對本發(fā)明的上述技術(shù)方案進(jìn)行詳細(xì)闡述。
[0059]從圖2可以看出，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0060]1、元數(shù)據(jù)服務(wù)節(jié)點將各個數(shù)據(jù)節(jié)點的磁盤劃分為若干個分組，在選取文件布局時，使得同一個文件只落入同一個分組；
[0061]2、客戶端節(jié)點向數(shù)據(jù)節(jié)點寫入或讀取數(shù)據(jù)；
[0062]3、數(shù)據(jù)節(jié)點統(tǒng)計當(dāng)前的業(yè)務(wù)壓力(即該數(shù)據(jù)節(jié)點對應(yīng)的各磁盤組的業(yè)務(wù)壓力值)并發(fā)送至元數(shù)據(jù)服務(wù)器；
[0063]4、元數(shù)據(jù)服務(wù)節(jié)點定期向數(shù)據(jù)節(jié)點獲取其統(tǒng)計的當(dāng)前的業(yè)務(wù)壓力值；
[0064]并根據(jù)每個磁盤分組的處理能力，選擇是否可以節(jié)能(具體為:元數(shù)據(jù)服務(wù)節(jié)點將各磁盤組的業(yè)務(wù)壓力值與對應(yīng)各磁盤組的各壓力閾值分別進(jìn)行比較;在磁盤組的業(yè)務(wù)壓力值大于對應(yīng)的壓力閾值的情況下，將該磁盤組切換為節(jié)能組，即選擇可以節(jié)能；否則不進(jìn)行切換)；
[0065]5、若可以節(jié)能，元數(shù)據(jù)服務(wù)節(jié)點則向數(shù)據(jù)節(jié)點發(fā)出指定目標(biāo)磁盤組(即業(yè)務(wù)壓力值大于壓力閾值的磁盤組)節(jié)能的命令