一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云計(jì)算領(lǐng)域，具體涉及一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu) 化方案。
【背景技術(shù)】
[0002] MapReduce是一個(gè)流行的編程模型處理大型數(shù)據(jù)集的目的。MapReduce可以分為 map和reduce兩種任務(wù)，map任務(wù)包含map階段，reduce任務(wù)包括shuffle、merge和reduce 階段。MapReduce任務(wù)執(zhí)行時(shí)間通常是由那些性能較低的節(jié)點(diǎn)決定。推測執(zhí)行策略被稱為 處理上述問題的一種方法；具體來說是通過將低性能的機(jī)器上運(yùn)行這些任務(wù)備份到性能更 尚機(jī)器上的。
[0003] 盡管多個(gè)推測執(zhí)行策略被提出了，仍有很多缺陷存在于策略。傳統(tǒng)的推測執(zhí)行策 略，推測執(zhí)行的準(zhǔn)確率低，錯(cuò)誤的啟動推測執(zhí)行策略，將消耗更多的資源。極端情況下，會導(dǎo) 致整個(gè)集群運(yùn)行速度的快速下降。甚至陷入由于資源的反復(fù)競爭，使整個(gè)集群陷入死鎖的 狀態(tài)，最終可能導(dǎo)致任務(wù)的失敗。此外，在云環(huán)境中，出售資源，或者說服務(wù)就是收益的一種 方式，介紹資源消耗，就相當(dāng)與是增加某個(gè)集群所帶來的經(jīng)濟(jì)效益，如：某用戶購買了某公 司云計(jì)算服務(wù)（按時(shí)間計(jì)費(fèi)），當(dāng)用戶提交一個(gè)作業(yè)時(shí)，采用默認(rèn)的策略可能需要消耗20分 鐘，采用優(yōu)化的策略則可以節(jié)約時(shí)間5分鐘，這樣就為用戶節(jié)約了費(fèi)用；最壞情況下，由于 不合理地啟動備份任務(wù)，會導(dǎo)致任務(wù)的失敗，造成資源的浪費(fèi)，而優(yōu)化過后的策略則可以避 免上述情況，提高了用戶的滿意度，所以提高備份任務(wù)推測執(zhí)行策略的準(zhǔn)確率有其必要性。
[0004] 基于上述問題，一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案，采用指數(shù) 平滑算法，集合集群中節(jié)點(diǎn)實(shí)時(shí)性能，極大程度的克服了原有策略準(zhǔn)確率低，錯(cuò)誤地啟動備 份任務(wù)，導(dǎo)致過度消耗集群資源。本方案提高了推測執(zhí)行的正確率，有效地節(jié)約了資源，大 大提升了整個(gè)集群的運(yùn)行速度，縮短了任務(wù)執(zhí)行所需要消耗的時(shí)間。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案，采用 指數(shù)平滑算法，集合集群中節(jié)點(diǎn)實(shí)時(shí)性能，對任務(wù)運(yùn)行的剩余時(shí)間進(jìn)行準(zhǔn)確的預(yù)測。解決默 認(rèn)情況下，推測執(zhí)行準(zhǔn)確率低，由于錯(cuò)誤地啟動備份任務(wù)的問題。極大程度的提高了推測執(zhí) 行的正確率，有效地節(jié)約了集群中有限的資源。
[0006] 本發(fā)明所提供的一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案主要包括4 個(gè)步驟：預(yù)測當(dāng)前各任務(wù)完成時(shí)間、預(yù)測新任務(wù)完成時(shí)間、選擇需備份的任務(wù)和選擇在哪個(gè) 節(jié)點(diǎn)上備份執(zhí)行。
[0007] 具體步驟如下：
[0008] (5)預(yù)測當(dāng)前各任務(wù)完成時(shí)間
[0009] 具體來說需根據(jù)以下公式：
[0010]
[0012] 其中，Ireni代表當(dāng)前任務(wù)總的剩余時(shí)間，它由當(dāng)前階段剩余時(shí)間和剩余階段總的剩 余時(shí)間組成。進(jìn)一步的化簡公式中，P代表剩余階段中的某一個(gè)，fp代表剩余所有的階段， 代表某階段P的平均完成時(shí)間。&(^〇^是個(gè)參數(shù)，可以表示為當(dāng)前數(shù)據(jù)處理量和平均 每個(gè)任務(wù)數(shù)據(jù)處理量的比值，datainputR表當(dāng)前處理數(shù)據(jù)量，Clataavg代表平均每個(gè)節(jié)點(diǎn)的處 理數(shù)據(jù)量。其次，我們根據(jù)平滑處理后的公式來計(jì)算當(dāng)前階段的剩余時(shí)間。
[0013] (6)預(yù)測新任務(wù)完成時(shí)間：新任務(wù)的完成時(shí)間依據(jù)以下公式
[0014] Tbf= TimeStamp+T avg
[0015] 其中，Tbf代表備份任務(wù)完成的時(shí)刻，TimeStamp代表當(dāng)前時(shí)刻，T avg代表已經(jīng)完成 的任務(wù)在該階段所用的時(shí)間。
[0016] (7)選則需備份的任務(wù)
[0017] 遍歷所有任務(wù)，選擇如果開啟備份執(zhí)行，最后可能是有效任務(wù)的任務(wù)，也就是說， 剩余執(zhí)行時(shí)間和假如開啟備份任務(wù)完成時(shí)間差最大的任務(wù)
[0018] (8)選擇在哪個(gè)節(jié)點(diǎn)上備份執(zhí)行
[0019] 根據(jù)節(jié)點(diǎn)的位置進(jìn)行分類：分為Data-Local、Rack_Local以及Other-Local,優(yōu)先 選擇Data-Local,其次再根據(jù)剩余資源選擇當(dāng)前最優(yōu)節(jié)點(diǎn)，會更有可能成為有效的推測執(zhí) 行。
[0020] 有益效果
[0021] 本發(fā)明解決了傳統(tǒng)的推測執(zhí)行策略，推測執(zhí)行的準(zhǔn)確率低，市場會錯(cuò)誤地啟動推 測執(zhí)行策略等缺點(diǎn)。本方案極大程度的提高了推測執(zhí)行的正確率，有效地節(jié)約了資源，大大 提升了整個(gè)集群的運(yùn)行速度，縮短了任務(wù)執(zhí)行所需要消耗的時(shí)間。
【附圖說明】
[0022] 圖1為一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案的流
[0023] 程圖；
[0024] 圖2為WordCount執(zhí)行時(shí)間的比較；
[0025] 圖3為Gr印執(zhí)行時(shí)間的比較。
【具體實(shí)施方式】
[0026] 下面將參考附圖并結(jié)合實(shí)施例，來詳細(xì)說明本發(fā)明。以下結(jié)合實(shí)際部署情況為例 來說明本發(fā)明。
[0027] 本發(fā)明所提供的一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案主要包括4 個(gè)步驟，如圖1中所示，具體為：預(yù)測當(dāng)前各任務(wù)完成時(shí)間、預(yù)測新任務(wù)完成時(shí)間、選擇需備 份的任務(wù)和選擇在哪個(gè)節(jié)點(diǎn)上備份執(zhí)行。
[0028] 具體步驟如下：
[0029] (1)預(yù)測當(dāng)前各任務(wù)完成時(shí)間
[0030] 具體來說是根據(jù)以下公式：
[0033] 其中，Ireni代表當(dāng)前任務(wù)總的剩余時(shí)間，它由當(dāng)前階段剩余時(shí)間和剩余階段總的剩 余時(shí)間組成。進(jìn)一步的化簡公式中，P代表剩余階段中的某一個(gè)，fp代表剩余所有的階段， 代表某階段P的平均完成時(shí)間。&(^〇^是個(gè)參數(shù)，可以表示為當(dāng)前數(shù)據(jù)處理量和平均 每個(gè)任務(wù)數(shù)據(jù)處理量的比值，datainputR表當(dāng)前處理數(shù)據(jù)量，Clataavg代表平均每個(gè)節(jié)點(diǎn)的處 理數(shù)據(jù)量。當(dāng)前階段是shuffle階段時(shí)，我們設(shè)置factor dS 1，因?yàn)閟huffle未完成時(shí)難 以估估計(jì)處理的數(shù)據(jù)量。
[0034] 其次，我們根據(jù)平滑處理后的公式來計(jì)算當(dāng)前階段的剩余時(shí)間，平滑處理的公式 如下：
[0035] vpt= a*v ot+(l_a)*vpt !，a = 0· 1，
[0036] vpt代表預(yù)測的速度，v &代表觀測到的速度，v pt i代表上一時(shí)刻的預(yù)測速度，a是其 中一個(gè)參數(shù)，設(shè)置為〇. 1。則完成當(dāng)前階段剩余數(shù)據(jù)量需要時(shí)間可以表示為：
[0038] (2)預(yù)測新任務(wù)完成時(shí)間：新任務(wù)的完成時(shí)間依據(jù)以下公式
[0039] Tbf= TimeStamp+T avg
[0040] 其中，Tbf代表備份任務(wù)完成的時(shí)刻，TimeStamp代表當(dāng)前時(shí)刻，T avg代表已經(jīng)完成 的任務(wù)在該階段所用的時(shí)間。
[0041] (3)選則需備份的任務(wù)
[0042] 遍歷所有任務(wù)，對每個(gè)任務(wù)計(jì)算Difference = Irem-Tbf
[0043] 對于其中Difference小于0的任務(wù)直接舍棄，相互比較記錄下Difference的最 大值，對應(yīng)的任務(wù)為需要開啟備份任務(wù)的節(jié)點(diǎn)。
[0044] (4)選擇在哪個(gè)節(jié)點(diǎn)上開啟備份執(zhí)行
[0045] 根據(jù)節(jié)點(diǎn)的位置進(jìn)行分類：分為Data-Local、Data_Rack以及Data-Other,優(yōu)先選 擇Data-Local,其次再根據(jù)剩余資源選擇當(dāng)前最優(yōu)節(jié)點(diǎn)，具體選擇方式如下：
[0046]
[0047] 根據(jù)Ratio選擇，選擇出值最大的節(jié)點(diǎn)，代表著剩余資源相對豐富的點(diǎn)，將備份的 任務(wù)交由這些節(jié)點(diǎn)執(zhí)行，會更有可能成為有效的推測執(zhí)行。
[0048] 對提出的策略與原有策略進(jìn)行課比較，分別運(yùn)行了 WordCount、Grep應(yīng)用， WordCount和Grep的數(shù)據(jù)集為50GB。在不同策略下，每組實(shí)驗(yàn)進(jìn)行了 5次，了取平均值， MR-None代表在MapReduce里面禁用了推測執(zhí)行策略；MR-Original代表在MapReduce里面 采用了原始推測執(zhí)行策略，MR-Optimized代表在MapReduce里面采用了本文提出的推測執(zhí) 行策略。
[0049] 實(shí)驗(yàn)產(chǎn)生的結(jié)果如圖2、圖3所示，詳細(xì)來說，我們的策略比原有策略減少了至少 15%的執(zhí)行時(shí)間；相對禁用該策略的情況，執(zhí)行時(shí)間減少了了 25%。
【主權(quán)項(xiàng)】
1. 一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案，其特征在于，包括4個(gè)步驟： 預(yù)測當(dāng)前各任務(wù)完成時(shí)間、預(yù)測新任務(wù)完成時(shí)間、選擇需備份的任務(wù)和選擇在哪個(gè)節(jié)點(diǎn)上 備份執(zhí)行； 具體步驟如下： (1) 預(yù)測當(dāng)前各任務(wù)完成時(shí)間 具體來說需根據(jù)以下公式：其中，Τ_代表當(dāng)前任務(wù)總的剩余時(shí)間，它由當(dāng)前階段剩余時(shí)間和剩余階段總的剩余時(shí) 間組成；進(jìn)一步的化簡公式中，Ρ代表剩余階段中的某一個(gè)，fp代表剩余所有的階段， 代表某階段P的平均完成時(shí)間；個(gè)參數(shù)，可以表示為當(dāng)前數(shù)據(jù)處理量和平均每個(gè) 任務(wù)數(shù)據(jù)處理量的比值，datainputR表當(dāng)前處理數(shù)據(jù)量，dataavg代表平均每個(gè)節(jié)點(diǎn)的處理數(shù) 據(jù)量；其次，我們根據(jù)平滑處理后的公式來計(jì)算當(dāng)前階段的剩余時(shí)間； (2) 預(yù)測新任務(wù)完成時(shí)間：新任務(wù)的完成時(shí)間依據(jù)以下公式 Tbf=TimeStamp+Tavg 其中，Tbf代表備份任務(wù)完成的時(shí)刻，Timestamp代表當(dāng)前時(shí)刻，Tavg代表已經(jīng)完成的任 務(wù)在該階段所用的時(shí)間； (3) 選則需備份的任務(wù) 遍歷所有任務(wù)，選擇如果開啟備份執(zhí)行，最后可能是有效任務(wù)的任務(wù)，也就是說，剩余 執(zhí)行時(shí)間和假如開啟備份任務(wù)完成時(shí)間差最大的任務(wù)； (4) 選擇在哪個(gè)節(jié)點(diǎn)上備份執(zhí)行 根據(jù)節(jié)點(diǎn)的位置進(jìn)行分類：分為Data-Local、Rack-Local以及Other-Local,優(yōu)先選擇Data-Local,其次再根據(jù)剩余資源選擇當(dāng)前最優(yōu)節(jié)點(diǎn)，會更有可能成為有效的推測執(zhí)行。
【專利摘要】一種MapReduce中備份任務(wù)推測執(zhí)行策略的優(yōu)化方案，采用指數(shù)平滑算法，結(jié)合集群中節(jié)點(diǎn)實(shí)時(shí)性能，對任務(wù)運(yùn)行各階段的時(shí)間分別計(jì)算，達(dá)到對任務(wù)運(yùn)行的剩余時(shí)間進(jìn)行準(zhǔn)確預(yù)測的目的。解決了默認(rèn)情況下，推測執(zhí)行準(zhǔn)確率低，由于錯(cuò)誤地啟動備份任務(wù)的問題。本方案極大程度的提高推測執(zhí)行的正確率，節(jié)省了任務(wù)運(yùn)行的時(shí)間，有效地節(jié)約了集群中有限的資源。
【IPC分類】G06F9/50
【公開號】CN105302647
【申請?zhí)枴緾N201510752617
【發(fā)明人】劉琦, 蔡衛(wèi)東, 肖博, 沈劍, 付章杰
【申請人】南京信息工程大學(xué)
【公開日】2016年2月3日
【申請日】2015年11月6日