提高云計(jì)算系統(tǒng)能量有效性的數(shù)據(jù)擺放及節(jié)點(diǎn)調(diào)度方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云計(jì)算能量有效性領(lǐng)域，尤其涉及提高云計(jì)算系統(tǒng)能量有效性的數(shù)據(jù) 擺放及節(jié)點(diǎn)調(diào)度方法。
【背景技術(shù)】
[0002] 近年來隨著云計(jì)算的興起，大量的云應(yīng)用和云項(xiàng)目在網(wǎng)絡(luò)中被應(yīng)用，如Google云 計(jì)算平臺(tái)，亞馬遜的EC2,IBM的BlueCloud，百度云等。然而數(shù)據(jù)中心由成千上萬臺(tái)服務(wù)器 組成，除提供信息處理服務(wù)外還需對其進(jìn)行維護(hù)，這將消耗巨大的能量。因此能量消耗成為 了數(shù)據(jù)中心成本的重要因素。經(jīng)計(jì)算在一個(gè)面積為20000平方英尺的企業(yè)數(shù)據(jù)中心中，每 平方英尺消耗100W的功耗，這相當(dāng)于400000平方英尺的商業(yè)辦公大樓所消耗的能量。2005 年美國數(shù)據(jù)中心服務(wù)器的能量消耗約占美國能量消耗的1.2%，2006年美國數(shù)據(jù)中心消耗 了大約610億kW·Η的能量，這等價(jià)于耗費(fèi)45億美元。大型聯(lián)機(jī)事務(wù)處理系統(tǒng)（如0LTP， 數(shù)據(jù)密集型的應(yīng)用程序）的存儲(chǔ)消耗功率占所有IT設(shè)備消耗總功率的70%以上。數(shù)字信 息的快速增長導(dǎo)致數(shù)據(jù)中心設(shè)備能量消耗率會(huì)在短時(shí)間內(nèi)大幅增長，能量的消耗已經(jīng)逐漸 超過了機(jī)器的硬件成本。如此巨大的能量耗費(fèi)，已經(jīng)引起越來越多重視，數(shù)據(jù)中心節(jié)能技術(shù) 的研究迫在眉睫。
[0003] 服務(wù)器大部分能量是在資源空閑狀態(tài)下被消耗的，NRDC報(bào)告指出服務(wù)器在空閑狀 態(tài)下消耗的能量占服務(wù)器總消耗能量的69%~97%，將空閑服務(wù)器關(guān)閉可達(dá)到節(jié)能目的。 現(xiàn)有的云平臺(tái)節(jié)能技術(shù)局限于Hadoop平臺(tái)，使用HDFS內(nèi)部架構(gòu)進(jìn)行動(dòng)態(tài)數(shù)據(jù)擺放太過于 局限，并不適用于大部分云計(jì)算環(huán)境。如何在云平臺(tái)中進(jìn)行數(shù)據(jù)擺放成為減少能量消耗的 重要問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為克服上述的不足之處，目的在于提供提高云計(jì)算系統(tǒng)能量有效性的數(shù)據(jù) 擺放及節(jié)點(diǎn)調(diào)度方法，本方法采用動(dòng)態(tài)數(shù)據(jù)擺放算法及節(jié)點(diǎn)調(diào)度策略，解決了動(dòng)態(tài)數(shù)據(jù)擺 放的局限性問題，同時(shí)提高了能量有效性。
[0005] 本發(fā)明是通過以下技術(shù)方案達(dá)到上述目的：提高云計(jì)算系統(tǒng)能量有效性的數(shù)據(jù)擺 放及節(jié)點(diǎn)調(diào)度方法，包括如下步驟：
[0006] (1)將任務(wù)請求抽象成對指定數(shù)據(jù)塊的讀寫計(jì)算操作，對云平臺(tái)存儲(chǔ)的數(shù)據(jù)作初 始化布置；
[0007] (2)初始化布置后，根據(jù)動(dòng)態(tài)數(shù)據(jù)擺放算法調(diào)整數(shù)據(jù)擺放；
[0008] (3)基于數(shù)據(jù)擺放結(jié)果確定得到開啟最少的節(jié)點(diǎn)且能達(dá)到最大節(jié)能效果的調(diào)度優(yōu) 化策略，完成節(jié)點(diǎn)調(diào)度優(yōu)化。
[0009] 作為優(yōu)選，所述步驟（1)初始化布置的方法如下：
[0010] 1)將數(shù)據(jù)劃分為大小為B的數(shù)據(jù)塊，得到全數(shù)據(jù)塊集合為D= {d。，山，d2，…，dMJ， 其中，Μ為數(shù)據(jù)塊個(gè)數(shù)；
[0011] 2)在節(jié)點(diǎn)中建立數(shù)據(jù)塊備份，將備份的數(shù)量定義為備份因子K(K>1)，每個(gè)數(shù)據(jù)塊 山(0 <i<Μ)有一個(gè)主備份塊Ρ和Κ-1個(gè)從備份數(shù)據(jù)塊匕，…，hKi;
[0012] 3)設(shè)定任務(wù)請求優(yōu)先訪問主備份塊，過載時(shí)訪問從備份塊；設(shè)定存儲(chǔ)節(jié)點(diǎn)集合為 S= {s。，s2,…，sNJ，其中，N代表節(jié)點(diǎn)個(gè)數(shù)；
[0013] 4)根據(jù)備份因子數(shù)將每個(gè)數(shù)據(jù)塊的數(shù)據(jù)分為K個(gè)數(shù)據(jù)組；組與組之間采取隨機(jī)映 射方式，每組中的數(shù)據(jù)塊隨機(jī)映射到組內(nèi)的N/K個(gè)節(jié)點(diǎn)并得出該組的位置映射表；
[0014] 5)將所有組的位置映射表放到全局位置映射表Map中。
[0015] 作為優(yōu)選，所述的K個(gè)數(shù)據(jù)組，每組等價(jià)于一個(gè)包含Μ個(gè)數(shù)據(jù)塊的全數(shù)據(jù)集合，將 這組數(shù)據(jù)塊存儲(chǔ)到Ν/Κ個(gè)節(jié)點(diǎn)上，分配給每個(gè)分組的節(jié)點(diǎn)均不相同。
[0016] 作為優(yōu)選，所述步驟（2)動(dòng)態(tài)數(shù)據(jù)擺放算法如下：
[0017] (a)通過Map查找資源利用率高于設(shè)定的最大值或者低于設(shè)定的最小值的節(jié)點(diǎn)， 組成集合Sutll;
[0018] (b)計(jì)算節(jié)點(diǎn)集合Sutll中的節(jié)點(diǎn)s在數(shù)據(jù)擺放過程中的節(jié)點(diǎn)資源利用率，計(jì)算公 式如下：
[0019] U=e·Ucpu+(l_e) ·Udlsk
[0020] 其中Ucpu，Udls#別表示cpu和磁盤的利用率，e為比例因子；（c)若節(jié)點(diǎn)s的資源 利用率高于設(shè)定的最大值或低于設(shè)定的最小值，則查找并開啟數(shù)據(jù)可交換節(jié)點(diǎn)St，將節(jié)點(diǎn)s 中過載的數(shù)據(jù)塊轉(zhuǎn)移到節(jié)點(diǎn)st中后關(guān)閉節(jié)點(diǎn)St;
[0021] (d)重復(fù)循環(huán)執(zhí)行步驟（a)_步驟（c)直至調(diào)整完成數(shù)據(jù)擺放。
[0022] 作為優(yōu)選，所述數(shù)據(jù)可交換節(jié)點(diǎn)定義為如果節(jié)點(diǎn)s和節(jié)點(diǎn)st中有相同數(shù)據(jù)塊的備 份，則8和\是數(shù)據(jù)可交換的。
[0023] 作為優(yōu)選，所述調(diào)度優(yōu)化策略如下：
[0024] ⑴設(shè)定任務(wù)執(zhí)行時(shí)間上限T_，在時(shí)間T_內(nèi)，查找滿足任務(wù)請求且當(dāng)前集群消 耗功率1^_最小的節(jié)點(diǎn)集合，得到消耗功率最小的開啟節(jié)點(diǎn)集合問題F(JS，Τ);
[0025] (ii)將開啟節(jié)點(diǎn)集合問題F(Jra_st，S，T)轉(zhuǎn)化為帶權(quán)重的集合覆蓋問題 WSC(U，S#)，其中，U代表任務(wù)請求的數(shù)據(jù)塊在節(jié)點(diǎn)中的位置，S#代表所有數(shù)據(jù)在節(jié)點(diǎn)中存儲(chǔ) 的位置；
[0026] (iii)計(jì)算得到節(jié)點(diǎn)的權(quán)重，公式為及=f7； < 其中，I；為任務(wù)請求隊(duì)列的 j=0 總執(zhí)行時(shí)間，?\是開啟節(jié)點(diǎn)s^丸行任務(wù)請求的時(shí)間；
[0027] (iv)采用批處理節(jié)點(diǎn)調(diào)度算法解決帶權(quán)重的集合覆蓋問題WSC(U，S#)。
[0028] 本發(fā)明的有益效果在于：（1)解決了動(dòng)態(tài)數(shù)據(jù)擺放的局限性問題，基本適用于全 部云計(jì)算環(huán)境；（2)減少能量消耗，提高了能量有效性。
【附圖說明】
[0029] 圖1是本發(fā)明實(shí)施例的云系統(tǒng)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0030] 下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步描述，但本發(fā)明的保護(hù)范圍并不僅限于 此：
[0031] 實(shí)施例：提高云計(jì)算系統(tǒng)能量有效性的數(shù)據(jù)擺放及節(jié)點(diǎn)調(diào)度方法，包括如下步 驟：
[0032] 第一步，將任務(wù)請求抽象成對指定數(shù)據(jù)塊的讀寫計(jì)算等操作，因?yàn)樵破脚_(tái)事先存 儲(chǔ)了大量的數(shù)據(jù)，所以對這部分?jǐn)?shù)據(jù)做初始化布置。
[0033] 圖1所示的為本實(shí)施例的云系統(tǒng)結(jié)構(gòu)圖，已知云平臺(tái)的節(jié)點(diǎn)資源集合 (s。，Sds2,…，sN》和任務(wù)請求隊(duì)列（r。，1^，r2,…，rN ^，當(dāng)云平臺(tái)中節(jié)點(diǎn)資源利用率發(fā)生變 化時(shí)，將發(fā)生數(shù)據(jù)迀移，動(dòng)態(tài)數(shù)據(jù)擺放算法給出擺放策略，并啟動(dòng)節(jié)點(diǎn)調(diào)度策略生成節(jié)點(diǎn)開 關(guān)方案，在調(diào)度中有兩個(gè)優(yōu)化目標(biāo)：1)給定消耗功率上限，通過節(jié)點(diǎn)調(diào)度使任務(wù)請求的執(zhí) 行時(shí)間最??；2)給定任務(wù)請求執(zhí)行時(shí)間上限，通過節(jié)點(diǎn)調(diào)度使開啟的節(jié)點(diǎn)集合消耗功率最 小。
[0034] 在本發(fā)明的實(shí)施例中所述的數(shù)據(jù)初始化布置具體方法如下，首先將數(shù)據(jù)劃分成大 小為B的數(shù)據(jù)塊，得到全數(shù)據(jù)塊集合D= {cUc^c^，…，dM1}(M代表數(shù)據(jù)塊的個(gè)數(shù)）。為了 保證數(shù)據(jù)的可靠性，數(shù)據(jù)塊在節(jié)點(diǎn)中存有備份，將備份的數(shù)量定義為備份因子K(K>1)，因 此每個(gè)數(shù)據(jù)塊山(0<i<Μ)有一個(gè)主備份塊Ρ，和Κ-1個(gè)從備份數(shù)據(jù)塊h，…，hKi。假 定任務(wù)請求在訪問數(shù)據(jù)塊時(shí)首先訪問主備份塊P，當(dāng)主備份塊P有更新時(shí)，在統(tǒng)一時(shí)間內(nèi) 將更新傳遞給所有從備份數(shù)據(jù)塊，如無特殊情況只有當(dāng)主備份塊。設(shè)存儲(chǔ)節(jié)點(diǎn)集合為S= {s。，Sl，s2，…，sNJ(N代表節(jié)點(diǎn)個(gè)數(shù)）。數(shù)據(jù)塊做如下初始化擺放：按照備份因子數(shù)，將包含 主數(shù)據(jù)塊和從數(shù)據(jù)塊在內(nèi)的所有數(shù)據(jù)分為K組：每組等價(jià)于一個(gè)包含Μ個(gè)數(shù)據(jù)塊的全數(shù)據(jù) 集合，將這組數(shù)據(jù)塊存儲(chǔ)到Ν/Κ個(gè)節(jié)點(diǎn)上，分配給每個(gè)分組的節(jié)點(diǎn)均不相同。每組中存放一 張數(shù)據(jù)塊與節(jié)點(diǎn)的位置映射表，在主控制模塊中存儲(chǔ)所有數(shù)據(jù)塊的位置映射表Map。分組集 合定義為G= {g。，g2，…，gN/KJ，其中g(shù)i表示第i個(gè)分組（0彡i彡K-1)，
[0035] g；= {···,sj, ···,sz, ···} (0 ^i^N, 0 ^z^N,j^z)
[0036] 集合gl中元素代表集群節(jié)點(diǎn)。從響應(yīng)時(shí)間和節(jié)能兩方面的綜合考慮，組與組之間 應(yīng)采用不同的布置策略，綜合考慮，這里采用了組間不同的數(shù)據(jù)分配方式，為了盡可能的使 組與組之間映射位置不同，這里采用隨機(jī)映射方式，每組中的數(shù)據(jù)塊都隨機(jī)映射到組內(nèi)的 N/K個(gè)節(jié)點(diǎn)并得出該組的位置映射表，最后將所有組的位置映