一種etl調(diào)度的實現(xiàn)方法及裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種ETL調(diào)度的實現(xiàn)方法及裝置；其中，所述方法包括：建立待執(zhí)行任務(wù)的依賴關(guān)系，基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量；獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急程度；基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù)；確定滿足第一預(yù)設(shè)條件且所述第三參數(shù)最大時，執(zhí)行最大的第三參數(shù)對應(yīng)的任務(wù)。
【專利說明】
-種ETL調(diào)度的實現(xiàn)方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計算機技術(shù)，具體設(shè)及一種6化調(diào)度的實現(xiàn)方法及裝置。
【背景技術(shù)】
[0002] 隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)分析受到了廣泛的重視。作為數(shù)據(jù)分析的基礎(chǔ)工作， 數(shù)據(jù)抽取、轉(zhuǎn)換和加載巧化，Extract-Transform-Load)也越來越繁重。特別當數(shù)據(jù)來源廣 泛，數(shù)據(jù)格式各異，數(shù)據(jù)內(nèi)容千差萬別時，E化的組織合理與否一定程度上影響數(shù)據(jù)分析的 及時性。
[0003] 現(xiàn)有技術(shù)的問題在于忽略了系統(tǒng)計算資源的有限性，沒有提及調(diào)度任務(wù)在時間維 度的分布，特別是當任務(wù)數(shù)量巨大時，對于某一時刻如何從多個任務(wù)中選擇并啟動一個最 佳的任務(wù)，相關(guān)技術(shù)中，對于該問題，尚無有效解決方案。W至于雖然應(yīng)用服務(wù)器資源得到 了充分運用，但調(diào)度任務(wù)沒能按規(guī)定的時間點完成，無法滿足業(yè)務(wù)上的需求。

【發(fā)明內(nèi)容】

[0004] 為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實施例提供一種6化調(diào)度的實現(xiàn)方法及裝 置，實現(xiàn)6化調(diào)度的優(yōu)化，提升ETL的調(diào)度效率。 陽〇化]為達到上述目的，本發(fā)明實施例的技術(shù)方案是運樣實現(xiàn)的：
[0006] 本發(fā)明實施例提供了一種6化調(diào)度的實現(xiàn)方法，所述方法包括：
[0007] 建立待執(zhí)行任務(wù)的依賴關(guān)系，基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參 數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量；
[0008] 獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急 程度；
[0009] 基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù)；
[0010] 確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時，執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任 務(wù)。
[0011] 上述方案中，所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù)鏈路任務(wù)的計算量總和；
[0012] 所述第一參數(shù)滿足表達式為：ΣΣP燈l，Ti)ti{i聲j，i，je(l，2,3，...，n)};
[0013] 其中，ΣΡ(Τι，Τ,Η,α聲j，i，j e (l，2,3，...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計算量；P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運 行；Ρ化，Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運行時間的平均值；
[0014] 所述第二參數(shù)滿足表達式為
[0015] 其中，t。胃為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間。
[0016] 上述方案中，所述基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參 數(shù)泡括：
[0017] 所述第Ξ參數(shù)Stask。滿足表達式為：
[0018]
[0019] 其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。
[0020] 上述方案中，所述滿足第一預(yù)設(shè)條件，包括：
[0021] 當前已運行的任務(wù)量與待運行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運行量；
[0022] 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值；
[0023] 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的中央處理器CPU的使用率小于 100%。
[0024] 上述方案中，所述任務(wù)最遲起始執(zhí)行時間tse滿足表達式為：
[00巧]tse〇= te η tn; 陽0%] 其中，te。表示任務(wù)η要求完成的最終時間；Τ。表示任務(wù)η的歷史運行時間的平均 值；
[0027] 其中，所述表示任務(wù)η要求完成的最終時間te。滿足表達式為： 陽028] te〇= Max ( Σ P (T i, Tj) t j U 聲 j, i, j e (1, 2, 3, . . .，η)})。
[0029] 上述方案中，所述執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)之前，所述方法還包括：判斷當 前時間是否晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間；確定所述當前時間晚 于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所述最大的第Ξ參數(shù)對應(yīng)的任 務(wù)。
[0030] 本發(fā)明實施例還提供了一種6化調(diào)度的實現(xiàn)裝置，所述裝置包括：建立單元、第一 獲取單元、第二獲取單元、生成單元和執(zhí)行單元；其中，
[0031] 所述建立單元，用于建立待執(zhí)行任務(wù)的依賴關(guān)系；
[0032] 所述第一獲取單元，用于基于所述建立單元建立的所述依賴關(guān)系獲得所述待執(zhí)行 任務(wù)的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量；
[0033] 所述第二獲取單元，用于獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表 征所述待執(zhí)行任務(wù)的緊急程度；
[0034] 所述生成單元，用于基于所述第一獲取單元獲得的所述第一參數(shù)和所述第二獲取 單元獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù)；
[0035] 所述執(zhí)行單元，用于確定滿足第一預(yù)設(shè)條件且所述生成單元生成的所述第Ξ參數(shù) 最大時，執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)。
[0036] 上述方案中，所述第一獲取單元獲取的所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù)鏈 路任務(wù)的計算量總和；
[0037] 所述第一參數(shù)滿足表達式為：Σ Σ Ρ 燈1，Tj) tj {i 聲 j，i，j e (1，2, 3,...，η)};
[0038] 其中，EP(Ti，T,)t,{i聲j，i，j e (l，2,3，...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計算量；P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運 行；Ρ化，Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運行時間的平均值；
[0039] 所述第二獲取單元獲取的所述第二參數(shù)滿足表達式為
[0040] 其中，t。胃為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間。
[0041] 上述方案中，所述生成單元生成的所述第Ξ參數(shù)Stask。滿足表達式為：
[0042]
[0043] 其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。 陽044] 上述方案中，所述執(zhí)行單元，用于確定當前已運行的任務(wù)量與待運行的任務(wù)量的 總和小于預(yù)設(shè)任務(wù)運行量；和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O帶 寬小于允許占用的I/O帶寬的極限值；和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的中 央處理器CPU的使用率小于100%時，且所述生成單元生成的所述第Ξ參數(shù)最大時，執(zhí)行最 大的第Ξ參數(shù)對應(yīng)的任務(wù)。
[0045] 上述方案中，所述任務(wù)最遲起始執(zhí)行時間tse滿足表達式為：
[0046] tse〇= te η tn;
[0047] 其中，te。表示任務(wù)η要求完成的最終時間；Τ。表示任務(wù)η的歷史運行時間的平均 值；
[0048] 其中，所述表示任務(wù)η要求完成的最終時間te。滿足表達式為： 陽049] te〇= Max ( Σ P (T i, Tj) t j U 聲 j, i, j e (1, 2, 3, . . .，η)})。
[0050] 上述方案中，所述執(zhí)行單元，還用于執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)之前，判斷當 前時間是否晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間；確定所述當前時間晚 于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所述最大的第Ξ參數(shù)對應(yīng)的任 務(wù)。
[0051] 本發(fā)明實施例提供的6化調(diào)度的實現(xiàn)方法及裝置，通過建立待執(zhí)行任務(wù)的依賴關(guān) 系，基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí) 行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量；獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征 所述待執(zhí)行任務(wù)的緊急程度；基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ 參數(shù)；確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時，執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)。如 此，采用本發(fā)明實施例的技術(shù)方案，基于任務(wù)之間的依賴關(guān)系，通過任務(wù)的緊急程度和所述 任務(wù)的后續(xù)依賴任務(wù)的運行時間運兩個維度對6化調(diào)度進行優(yōu)化，在保證任務(wù)即時運行的 情況下充分利用資源，避免了后續(xù)的任務(wù)無法按時完成，一方面解決了分析系統(tǒng)數(shù)據(jù)處理 的及時性問題，為業(yè)務(wù)部口提供服務(wù)，盡早發(fā)現(xiàn)生產(chǎn)經(jīng)營中存在的問題，及時調(diào)整策略，適 應(yīng)市場；另一方面可W在滿足生產(chǎn)需求的前提下，充分發(fā)揮經(jīng)營分析系統(tǒng)產(chǎn)能，減少系統(tǒng)建 設(shè)投入；此外，還會明顯降低人工維護系統(tǒng)、組織安排調(diào)度所投入的人力成本，提升復(fù)雜調(diào) 度系統(tǒng)的易用性。
【附圖說明】
[0052] 圖1為本發(fā)明實施例的mi調(diào)度的實現(xiàn)方法的流程示意圖；
[0053] 圖2為本發(fā)明實施例中任務(wù)間的依賴關(guān)系示意圖；
[0054] 圖3為本發(fā)明實施例的mi調(diào)度的實現(xiàn)裝置的組成結(jié)構(gòu)示意圖。
【具體實施方式】
[0055] 下面結(jié)合附圖及具體實施例對本發(fā)明作進一步詳細的說明。
[0056] 本發(fā)明實施例提供了一種mi調(diào)度的實現(xiàn)方法。圖1為本發(fā)明實施例的mi調(diào)度 的實現(xiàn)方法的流程示意圖；如圖1所示，所述方法包括：
[0057] 步驟101 :建立待執(zhí)行任務(wù)的依賴關(guān)系，基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù) 的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量。
[0058] 本實施例中，首先建立依賴關(guān)系模型，所述依賴關(guān)系模型為待執(zhí)行的所有任務(wù)之 間的依賴關(guān)系模型。任務(wù)間存在著錯綜復(fù)雜的依賴關(guān)系，一個調(diào)度可被多個任務(wù)依賴，一個 任務(wù)可能需要依賴多個任務(wù)。一方面，當一個任務(wù)完成時，會通知后續(xù)任務(wù)開始執(zhí)行。另一 方面，當前置任務(wù)全部完成時，當前任務(wù)才能夠開始執(zhí)行。另外，整個任務(wù)鏈條由起始任務(wù) 完成后的接口數(shù)據(jù)到達時觸發(fā)執(zhí)行。圖2為本發(fā)明實施例中任務(wù)間的依賴關(guān)系示意圖；如 圖2所示，任務(wù)1被后續(xù)多個任務(wù)所依賴，任務(wù)8的生成取決于前置任務(wù)1、任務(wù)4、任務(wù)5 和任務(wù)6。
[0059] 具體的，化sk。為待運行的第η個任務(wù)，則化sk。與其運行時間W及自身與其他任 務(wù)的依賴關(guān)系相關(guān)；Task。滿足的表達式如公式（1)所示： W60] Taskn= {Tn，Rn} (D
[0061] 其中，Τ。表示任務(wù)η的歷史運行時間的平均值；R。表示任務(wù)η與其他任務(wù)的關(guān)系；
[0062] 其中，滿足的表達式如公式似所示：
[0063] Rn= {Ρ (Τ m, Τη) I m, η e (1, 2,. . . , Ζ), m 聲 η} 似 W64] 其中，當P(Tm, Τ。）= 1時，表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能 開始運行；當Ρ (Tm，Τ。）= 0時，表示任務(wù)η不依賴任務(wù)m。
[0065] 本步驟中，所述待執(zhí)行任務(wù)的第一參數(shù)為所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算 量，即后續(xù)鏈路任務(wù)的計算量總和；W圖2中所述的任務(wù)5為例，所述任務(wù)5的后續(xù)任務(wù)包 括任務(wù)6、任務(wù)8、任務(wù)9和任務(wù)10,則所述任務(wù)5的后續(xù)總?cè)蝿?wù)的計算量為所述任務(wù)6、任 務(wù)8、任務(wù)9和任務(wù)10的計算量；當所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量越大，說明為所 述待執(zhí)行任務(wù)預(yù)留的執(zhí)行時間應(yīng)該越長，則所述待執(zhí)行任務(wù)應(yīng)盡早執(zhí)行?；谏鲜鲆蕾嚹?型，所述第一參數(shù)滿足公式（3)所示：
[0066] Σ Σ P 化，Tj) t j a 聲 j，i，j e (1，2, 3,...，η)} 做
[0067] 其中，ΣΡ(Τι，Τ,Η,α聲j，i，j e (l，2,3，...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計算量；P (Ti, Tj) = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運 行；Ρ化，Tj) = 0表示任務(wù)η不依賴任務(wù)m ;tj為任務(wù)j的歷史運行時間的平均值。其中， 所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù)的計算量與后續(xù)鏈路任務(wù)的的歷史平均運行時間t，相關(guān)， 則可W理解為，所述后續(xù)鏈路任務(wù)的計算量為所述后續(xù)鏈路任務(wù)的運行時間。
[0068] 步驟102 :獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征所述待執(zhí)行 任務(wù)的緊急程度。
[0069] 本實施例中，所述表征所述待執(zhí)行任務(wù)的緊急程度的第二參數(shù)如公式（4)表示：
[0070]
(4)
[00川公式（4)中，t。胃為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間，則tse-t。胃為所 述任務(wù)最遲起始執(zhí)行時間與當前時間之間的時間差，所述時間差越小，說明對應(yīng)任務(wù)需執(zhí) 行的緊急程度越大；相應(yīng)的所述時間差越小，則公式（4)表征的所述第二參數(shù)的數(shù)值則越 大。
[0072] 本實施例中，每一個任務(wù)的完成時間存在最終期限；任務(wù)可早于所述最終期限完 成，但不可晚于所述最終期限完成。結(jié)合步驟101中所述的依賴關(guān)系模型，所述最終期限Te 的表達式如公式（5)所示：
[0073] Te = {tei, ?θ2, te], . . . , tej 妨
[0074] 其中，te。表示任務(wù)η要求完成的最終時間，即所述任務(wù)η不能晚于te。完成，否則 后續(xù)的任務(wù)將無法按時完成。則某一任務(wù)的后續(xù)任務(wù)所需的運行時間總和為： W75] Σ P(T,,Tj)tj{i ^ j,i, j e (1,2, 3,...,η)} (6)
[0076] 其中，公式化）中所示的1至η表示所述任務(wù)后的1至η個任務(wù)。則所述任務(wù)η 要求完成的最終時間te。為所述任務(wù)η后續(xù)各任務(wù)的運行時間之和的最大值；則te。的表達 式如公式（7)所示： 陽077] ten= Max ( Σ P 燈 1，Tj) t j a 聲 j，i，j e (1，2, 3, . . .，η)}) (7)
[0078] 基于公式（7)，則所述任務(wù)最遲起始執(zhí)行時間tse的表達式如公式（8)所示： 陽0巧]tse〇= te n_tn 做
[0080] 其中，tse。表不任務(wù)η最遲起始執(zhí)行時間；te。表不任務(wù)η要求完成的最終時間； Τ。表示任務(wù)η的歷史運行時間的平均值。
[0081] 步驟103 :基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù)。
[0082] 本實施例中，所述基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參 數(shù)泡括：
[0083] 所述第Ξ參數(shù)Stask滿足的表達式如公式（9)所示：
[0084]
(9)
[00化]其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)，可根據(jù)實際情況或經(jīng)驗值預(yù)先設(shè)定；Staskn 為任務(wù)η的第Ξ參數(shù)；一--為步驟102中生成的所述第二參數(shù)；Σ Σ Ρ化，Τ,) .tse - tmw t, a聲j，i，j e (1，2, 3,...，η)}為步驟101中獲得的所述第一參數(shù)。
[0086] 從公式巧）中可W看出，所述第Ξ參數(shù)與表征待執(zhí)行任務(wù)的緊急程度的第二參數(shù) 和表征待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量的第一參數(shù)相關(guān)；所述第二參數(shù)越大，說明當前 時間距離所述待實行任務(wù)的最遲起始執(zhí)行時間越近，即緊急程度越大；所述第一參數(shù)越大， 說明所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù)的總的計算量越大，需要的時間也越多；因此，對于所 有待執(zhí)行任務(wù)，獲得每個待執(zhí)行任務(wù)的Stask值，將獲得的Stask值由大到小排列，Stask值 越大，對應(yīng)的任務(wù)需要盡早運行。
[0087] 步驟104 :確定滿足第一預(yù)設(shè)條件且所述第Ξ參數(shù)最大時，執(zhí)行最大的第Ξ參數(shù) 對應(yīng)的任務(wù)。
[0088] 本實施例中，Task。所需系統(tǒng)資源主要由兩部分構(gòu)成：一部分為系統(tǒng)輸入輸出（1/ 0，1噸ut/Ou化ut)資源；另一部分由任務(wù)所占用的CPU資源?；趯⑾到y(tǒng)資源得到充分的、 高效的運用，步驟104中，所述滿足第一預(yù)設(shè)條件，包括：
[0089] 當前已運行的任務(wù)量與待運行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運行量；
[0090] 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值；
[0091] 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的中央處理器（CPU)的使用率小 于 100%。
[0092] 其中，所述當前已運行的任務(wù)量與待運行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運行量滿 足公式（10)所示：
[0093] Prun+Pstart<Pmax (10) 陽094] 其中，Prim表示當前運行的任務(wù)數(shù)量；Pstart表示待運行的任務(wù)數(shù)量；Pmax表示 允許運行的任務(wù)總量；
[0095] 所述當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用 的I/O帶寬的極限值滿足公式（11)所示：
[0096]
(11) 陽097] 其中，Sused表示當前運行任務(wù)已占用的I/O帶寬；Rread康示任務(wù)i需要占用 的I/O帶寬
表示待運行的η個任務(wù)需要占用的I/O帶寬的總和； Sreadmax表示允許占用的I/O帶寬的極限值；
[0098] 所述當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的中央處理器（CPU)的使用率小 于100%滿足公式（12)所示：
[0099]
(12,) 陽1〇0] 其中，Dcpuused表示當前CPU的使用率；Tcpu康示任務(wù)i需要占用的CPU的計算 時間；TcpUi/ (tei-tnow)表示任務(wù)i在運行時間內(nèi)的CPU使用率
表示 待運行的η個任務(wù)在運行時間內(nèi)的CPU的使用率的總和。 陽101] 也就是說，所述滿足第一預(yù)設(shè)條件為：運行的任務(wù)量應(yīng)小于預(yù)設(shè)的任務(wù)運行量，并 且運行任務(wù)需要占用的I/O帶寬應(yīng)小于許占用的I/O帶寬的極限值，并且運行任務(wù)需占用 的CPU使用率應(yīng)小于100%。在滿足上述第一預(yù)設(shè)條件下，篩選出滿足所述第一預(yù)設(shè)條件的 Μ個任務(wù)，再基于所述Μ個任務(wù)的Stask值優(yōu)先選擇所述Stask值最大的任務(wù)運行。
[0102] 采用本發(fā)明實施例的技術(shù)方案，基于任務(wù)之間的依賴關(guān)系，通過任務(wù)的緊急程度 和所述任務(wù)的后續(xù)依賴任務(wù)的運行時間運兩個維度對mi調(diào)度進行優(yōu)化，在保證任務(wù)即時 運行的情況下充分利用資源，避免了后續(xù)的任務(wù)無法按時完成，一方面解決了分析系統(tǒng)數(shù) 據(jù)處理的及時性問題，為業(yè)務(wù)部口提供服務(wù)，盡早發(fā)現(xiàn)生產(chǎn)經(jīng)營中存在的問題，及時調(diào)整策 略，適應(yīng)市場；另一方面可W在滿足生產(chǎn)需求的前提下，充分發(fā)揮經(jīng)營分析系統(tǒng)產(chǎn)能，減少 系統(tǒng)建設(shè)投入；此外，還會明顯降低人工維護系統(tǒng)、組織安排調(diào)度所投入的人力成本，提升 復(fù)雜調(diào)度系統(tǒng)的易用性。 陽103] 依據(jù)本發(fā)明實施例的另一實施例，所述執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)之前，所 述方法還包括：判斷當前時間是否晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間； 確定所述當前時間晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所述最大 的第Ξ參數(shù)對應(yīng)的任務(wù)。
[0104] 在本實施例中，每一個任務(wù)還存在一個最早執(zhí)行時間；任務(wù)可晚于所述最早執(zhí)行 時間開始執(zhí)行，但不可早于所述最早執(zhí)行時間執(zhí)行。具體的，任務(wù)的最早執(zhí)行時間由前置依 賴任務(wù)的完成情況決定；當所述前置依賴任務(wù)全部完成時，所述任務(wù)即可觸發(fā)執(zhí)行。因此， 所述任務(wù)的最早執(zhí)行時間可基于所述前置依賴任務(wù)完成的接口數(shù)據(jù)到達時間W及所述前 置依賴任務(wù)的完成情況獲得。
[01化]具體的，所述任務(wù)的最早執(zhí)行時間的表達式滿足公式（13)所示： 陽 106] ts = {tsi, ts2,…tsj (13) 陽107] 其中，ts。表示任務(wù)η最早執(zhí)行時間，即所述任務(wù)η不能早于Ts。執(zhí)行。則某一任 務(wù)的前置依賴任務(wù)所需的運行時間總和為：
[0108] Σ P(T"Tj)tj{i ^ j,i, j e (1,2, 3,...,η)} (14)
[0109] 其中，公式（14)中所示的1至η表示所述任務(wù)之前的1至η個任務(wù)。則所述任務(wù) η的最早執(zhí)行時間tsn為所述任務(wù)η的前置依賴任務(wù)的運行時間之和的最大值；則tsn的 表達式如公式（15)所示： 陽 110] tSn=Max( Σ Pa'i'TiHjU 聲 j，i，j e (l，2,3，...，n)}) (巧） 陽111] 基于步驟101至步驟104所述的mi調(diào)度的實現(xiàn)方法，在實際應(yīng)用中，具體的ETL 調(diào)度過程包括W下步驟：
[0112] 步驟一：獲得任務(wù)的依賴關(guān)系，計算每個任務(wù)的最早執(zhí)行時間ts。
[0113] 運里，所述最早執(zhí)行時間ts的計算過程可如上述方法獲得，運里不再寶述。
[0114] 步驟二：確定此時允許運行的任務(wù)總量Pmax。
[0115] 步驟Ξ :檢查當前的待運行任務(wù)量P，當P < Pmax時，執(zhí)行步驟四，否則，不執(zhí)行任 何操作。
[0116] 步驟四：依據(jù)公式（9)計算所有待運行任務(wù)的第Ξ參數(shù)Stask，并篩選出滿足公式 (10)至公式（12)所示條件的待運行任務(wù)，將滿足所述條件的待運行任務(wù)按所述第Ξ參數(shù) Stask由大到小進行排序，按順序依次運行待運行任務(wù)。
[0117] 步驟五：定時監(jiān)測是否有任務(wù)運行結(jié)束。當沒有任務(wù)運行結(jié)束時，不做任務(wù)處理； 當有任務(wù)運行結(jié)束時，記錄所述任務(wù)運行時長到歷史表，并重新執(zhí)行步驟二。
[0118] 本發(fā)明實施例還提供了一種6化調(diào)度的實現(xiàn)裝置。圖3為本發(fā)明實施例的mi調(diào) 度的實現(xiàn)裝置的組成結(jié)構(gòu)示意圖；如圖3所示，所述裝置包括：建立單元31、第一獲取單元 32、第二獲取單元33、生成單元34和執(zhí)行單元35 ;其中，
[0119] 所述建立單元31，用于建立待執(zhí)行任務(wù)的依賴關(guān)系；
[0120] 所述第一獲取單元32,用于基于所述建立單元31建立的所述依賴關(guān)系獲得所述 待執(zhí)行任務(wù)的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量； 陽121] 所述第二獲取單元33,用于獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于 表征所述待執(zhí)行任務(wù)的緊急程度；
[0122] 所述生成單元34,用于基于所述第一獲取單元32獲得的所述第一參數(shù)和所述第 二獲取單元33獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第Ξ參數(shù)；
[0123] 所述執(zhí)行單元35,用于確定滿足第一預(yù)設(shè)條件且所述生成單元34生成的所述第 Ξ參數(shù)最大時，執(zhí)行最大的第Ξ參數(shù)對應(yīng)的任務(wù)。
[0124] 本實施例中，所述第一獲取單元32獲取的所述第一參數(shù)表征所述待執(zhí)行任務(wù)后 續(xù)鏈路任務(wù)的計算量總和； 陽125] 所述第一參數(shù)滿足表達式為：ΣΣP燈l，Ti)ti{i聲j，i，je(l，2,3，...，n)}; 陽126] 其中，ΣP燈l，Ti)ti{i聲j，i，je(l，2,3，...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路 任務(wù)的計算量；P燈1，Tj) = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運 行；Ρ化，Τ,) = 0表示任務(wù)η不依賴任務(wù)m ;t,為任務(wù)j的歷史運行時間的平均值； 陽127] 所述第二獲取單元33獲取的所述第二參數(shù)滿足表達式為
[0128] 其中，t。胃為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間。
[0129] 所述任務(wù)最遲起始執(zhí)行時間tse滿足表達式為： 陽 130] tse"= te " t"； 陽131] 其中，te。表示任務(wù)η要求完成的最終時間；Τ。表示任務(wù)η的歷史運行時間的平均 值； 陽132] 其中，所述表示任務(wù)η要求完成的最終時間te。滿足表達式為： 陽 1；33] ten=Max( Σ PO'i'TiHjU 聲 j，i，j e (l，2,3，...，n)})。
[0134] 本實施例中，所述生成單元34生成的所述第Ξ參數(shù)Stask。滿足表達式為： 陽 135]
[0136] 其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。 陽137] 本實施例中，所述執(zhí)行單元35,用于確定當前已運行的任務(wù)量與待運行的任務(wù)量 的總和小于預(yù)設(shè)任務(wù)運行量；和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O 帶寬小于允許占用的I/O帶寬的極限值；和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的 中央處理器CPU的使用率小于100%時，且所述生成單元34生成的所述第Ξ參數(shù)最大時，執(zhí) 行最大的第Ξ參數(shù)對應(yīng)的任務(wù)。
[0138] 依據(jù)本實施例的另一實施例，所述執(zhí)行單元35,還用于執(zhí)行最大的第Ξ參數(shù)對應(yīng) 的任務(wù)之前，判斷當前時間是否晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間；確 定所述當前時間晚于所述最大的第Ξ參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所述最大的 第Ξ參數(shù)對應(yīng)的任務(wù)。
[0139] 本領(lǐng)域技術(shù)人員應(yīng)當理解，本發(fā)明實施例的mi調(diào)度的實現(xiàn)裝置中各處理單元的 功能，可參照前述6化調(diào)度的實現(xiàn)方法的相關(guān)描述而理解，本發(fā)明實施例的mi調(diào)度的實現(xiàn) 裝置中各處理單元，可通過實現(xiàn)本發(fā)明實施例所述的功能的模擬電路而實現(xiàn)，也可W通過 執(zhí)行本發(fā)明實施例所述的功能的軟件在智能終端上的運行而實現(xiàn)。
[0140] 在本發(fā)明實施例中，所述mi調(diào)度的實現(xiàn)裝置中的建立單元31、第一獲取單元32、 第二獲取單元33、生成單元34和執(zhí)行單元35,在實際應(yīng)用中均可由所述mi調(diào)度的實現(xiàn) 裝置中的中央處理器（CPU, Central Processing Unit)、數(shù)字信號處理器值SP，Digital Si即al Processor)或可編程口陣列（FPGA，F(xiàn)ield -Programm油le Gate Array)實現(xiàn)。 陽141] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、裝置、或計算機程序 產(chǎn)品。因此，本發(fā)明可采用硬件實施例、軟件實施例、或結(jié)合軟件和硬件方面的實施例的形 式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲 介質(zhì)（包括但不限于磁盤存儲器和光學(xué)存儲器等）上實施的計算機程序產(chǎn)品的形式。
[0142] 本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、裝置、和計算機程序產(chǎn)品的流程圖和/ 或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和 /或方框、W及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻\些計算機程序指 令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器W產(chǎn)生 一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn) 在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0143] 運些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備W特 定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指 令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或 多個方框中指定的功能。
[0144] 運些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計 算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟W產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或 其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖 一個方框或多個方框中指定的功能的步驟。
[0145] W上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。
【主權(quán)項】
1. 一種數(shù)據(jù)抽取、轉(zhuǎn)換和加載ETL調(diào)度的實現(xiàn)方法，其特征在于，所述方法包括： 建立待執(zhí)行任務(wù)的依賴關(guān)系，基于所述依賴關(guān)系獲得所述待執(zhí)行任務(wù)的第一參數(shù)；所 述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量； 獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征所述待執(zhí)行任務(wù)的緊急程 度； 基于所述第一參數(shù)和所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù)； 確定滿足第一預(yù)設(shè)條件且所述第三參數(shù)最大時，執(zhí)行最大的第三參數(shù)對應(yīng)的任務(wù)。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一參數(shù)表征所述待執(zhí)行任務(wù)后續(xù) 鏈路任務(wù)的計算量總和； 所述第一參數(shù)滿足表達式為：Σ Σ P (1 η) t」U辛j，i，j e (1，2, 3, · · ·，η)}; 其中，Σ Pd 乒j，i，j e (1，2, 3,...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù) 的計算量；P⑴，TJ = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運行； Pd Τ,) = 0表示任務(wù)η不依賴任務(wù)m 為任務(wù)j的歷史運行時間的平均值； 所述第二參數(shù)滿足表達式為其中，t_為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述第一參數(shù)和所述第二參數(shù) 按第一預(yù)設(shè)規(guī)則生成第三參數(shù)；包括： 所述第三參數(shù)Staskn滿足表達式為：其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述滿足第一預(yù)設(shè)條件，包括： 當前已運行的任務(wù)量與待運行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運行量； 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)占用的輸入輸出I/O帶寬小于允許占用的I/O 帶寬的極限值； 和，當運行所述待執(zhí)行任務(wù)后，所有任務(wù)需占用的中央處理器CPU的使用率小于 100%〇5. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述任務(wù)最遲起始執(zhí)行時間tse滿足表達 式為： tsen= te n tn； 其中，仏"表示任務(wù)n要求完成的最終時間；T "表示任務(wù)n的歷史運行時間的平均值； 其中，所述表示任務(wù)η要求完成的最終時間ten滿足表達式為： ten= Max ( Σ P (T i，T) t j {i 乒 j，i，j e (1，2, 3, · · ·，η)})。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行最大的第三參數(shù)對應(yīng)的任務(wù)之 前，所述方法還包括：判斷當前時間是否晚于所述最大的第三參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行 時間；確定所述當前時間晚于所述最大的第三參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所 述最大的第三參數(shù)對應(yīng)的任務(wù)。7. -種ETL調(diào)度的實現(xiàn)裝置，其特征在于，所述裝置包括：建立單元、第一獲取單元、第 二獲取單元、生成單元和執(zhí)行單元；其中， 所述建立單元，用于建立待執(zhí)行任務(wù)的依賴關(guān)系； 所述第一獲取單元，用于基于所述建立單元建立的所述依賴關(guān)系獲得所述待執(zhí)行任務(wù) 的第一參數(shù)；所述第一參數(shù)用于表征所述待執(zhí)行任務(wù)的后續(xù)總?cè)蝿?wù)的計算量； 所述第二獲取單元，用于獲得所述待執(zhí)行任務(wù)的第二參數(shù)，所述第二參數(shù)用于表征所 述待執(zhí)行任務(wù)的緊急程度； 所述生成單元，用于基于所述第一獲取單元獲得的所述第一參數(shù)和所述第二獲取單元 獲取的所述第二參數(shù)按第一預(yù)設(shè)規(guī)則生成第三參數(shù)； 所述執(zhí)行單元，用于確定滿足第一預(yù)設(shè)條件且所述生成單元生成的所述第三參數(shù)最大 時，執(zhí)行最大的第三參數(shù)對應(yīng)的任務(wù)。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一獲取單元獲取的所述第一參數(shù) 表征所述待執(zhí)行任務(wù)后續(xù)鏈路任務(wù)的計算量總和； 所述第一參數(shù)滿足表達式為：Σ Σ P (1 η) t」U辛j，i，j e (1，2, 3, · · ·，η)}; 其中，Σ Pd 乒j，i，j e (1，2, 3,...，n)}為所述待執(zhí)行任務(wù)的后續(xù)鏈路任務(wù) 的計算量；P⑴，TJ = 1表示任務(wù)η依賴任務(wù)m，僅當任務(wù)m完成后任務(wù)η才能開始運行； Pd Τ,) = 0表示任務(wù)η不依賴任務(wù)m 為任務(wù)j的歷史運行時間的平均值； 所述第二獲取單元獲取的所述第二參數(shù)滿足表達式為：其中，t_為當前時間，tse為所述任務(wù)最遲起始執(zhí)行時間。9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述生成單元生成的所述第三參數(shù) Staskn滿足表達式為：其中，a和b為預(yù)設(shè)調(diào)節(jié)系數(shù)。10. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述執(zhí)行單元，用于確定當前已運行的 任務(wù)量與待運行的任務(wù)量的總和小于預(yù)設(shè)任務(wù)運行量；和，當運行所述待執(zhí)行任務(wù)后，所有 任務(wù)占用的輸入輸出I/O帶寬小于允許占用的I/O帶寬的極限值；和，當運行所述待執(zhí)行任 務(wù)后，所有任務(wù)需占用的中央處理器CPU的使用率小于100%時，且所述生成單元生成的所 述第三參數(shù)最大時，執(zhí)行最大的第三參數(shù)對應(yīng)的任務(wù)。11. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述任務(wù)最遲起始執(zhí)行時間tse滿足表 達式為： tsen= te n tn； 其中，仏"表示任務(wù)n要求完成的最終時間；T "表示任務(wù)n的歷史運行時間的平均值； 其中，所述表示任務(wù)η要求完成的最終時間ten滿足表達式為： ten= Max ( Σ P (T i，T) t j {i 乒 j，i，j e (1，2, 3, · · ·，η)})。12. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述執(zhí)行單元，還用于執(zhí)行最大的第三 參數(shù)對應(yīng)的任務(wù)之前，判斷當前時間是否晚于所述最大的第三參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行 時間；確定所述當前時間晚于所述最大的第三參數(shù)對應(yīng)的任務(wù)的最早執(zhí)行時間時，執(zhí)行所 述最大的第三參數(shù)對應(yīng)的任務(wù)。
【文檔編號】G06F9/48GK105824809SQ201510001683
【公開日】2016年8月3日
【申請日】2015年1月4日
【發(fā)明人】李秀清, 趙景科, 侯曉沖, 高夢嬌
【申請人】中國移動通信集團河北有限公司