一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法及裝置制造方法
【專利摘要】本申請(qǐng)公開了一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，首先為每種任務(wù)設(shè)置調(diào)度類型，然后讀取任務(wù)，提取任務(wù)的調(diào)度類型，按照任務(wù)的調(diào)度類型，選擇任務(wù)執(zhí)行的觸發(fā)方式，最后根據(jù)觸發(fā)方式，觸發(fā)執(zhí)行任務(wù)。同時(shí)還公開了一種數(shù)據(jù)數(shù)倉(cāng)的任務(wù)調(diào)度裝置，包括調(diào)度類型設(shè)置模塊，調(diào)度掃描模塊和任務(wù)執(zhí)行模塊，通過(guò)為每個(gè)任務(wù)設(shè)置調(diào)度類型，并按照調(diào)度類型選擇不同的觸發(fā)方法進(jìn)行處理，可以靈活的根據(jù)用戶的需求來(lái)處置任務(wù)，并能夠有效降低資源的急劇消耗帶來(lái)宕機(jī)的風(fēng)險(xiǎn)，提高用戶的滿意度。
【專利說(shuō)明】一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法及裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及數(shù)據(jù)庫(kù)【技術(shù)領(lǐng)域】，尤其涉及數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法及裝置。
【背景技術(shù)】
[0002]隨著90年代后期Internet的興起與飛速發(fā)展，我們進(jìn)入了一個(gè)新的時(shí)代，大量的信息和數(shù)據(jù)，迎面而來(lái)，用科學(xué)的方法去整理數(shù)據(jù)，從而從不同視角對(duì)企業(yè)經(jīng)營(yíng)各方面信息的精確分析、準(zhǔn)確判斷，比以往更為迫切。數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)的概念應(yīng)運(yùn)而生,數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。隨著企業(yè)信息化程度的不斷提高，企業(yè)內(nèi)部積累了大量的業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)用于對(duì)這些相互獨(dú)立、分散的數(shù)據(jù)進(jìn)行統(tǒng)一的處理，以滿足企業(yè)高層決策與分析需要。隨著數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)帶來(lái)的良好效果，各行各業(yè)的單位，已經(jīng)能很好的接受“整合數(shù)據(jù)，從數(shù)據(jù)中找知識(shí)，運(yùn)用數(shù)據(jù)知識(shí)、用數(shù)據(jù)說(shuō)話”等新的關(guān)系到改良生產(chǎn)活動(dòng)各環(huán)節(jié)、提高生產(chǎn)效率、發(fā)展生產(chǎn)力的理念。
[0003]任務(wù)在數(shù)據(jù)倉(cāng)庫(kù)的概念中就是最小處理數(shù)據(jù)動(dòng)作的一種技術(shù)實(shí)現(xiàn)，在一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)的處理都是由成千上萬(wàn)的各種處理任務(wù)完成。在當(dāng)前流行的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)中，任務(wù)調(diào)度一般都實(shí)現(xiàn)了根據(jù)任務(wù)依賴關(guān)系，進(jìn)行任務(wù)并發(fā)調(diào)度，并可以設(shè)置任務(wù)運(yùn)行的并發(fā)度及任務(wù)的優(yōu)先級(jí)，優(yōu)先級(jí)越高，任務(wù)會(huì)優(yōu)先觸發(fā)執(zhí)行。但在一些實(shí)際使用場(chǎng)景中，仍然存在種種問(wèn)題，例如:由于數(shù)據(jù)平臺(tái)運(yùn)算資源不夠，發(fā)生整個(gè)平臺(tái)宕掉；任務(wù)的觸發(fā)時(shí)間和完成時(shí)間沒有達(dá)到業(yè)務(wù)方的需求等等。
[0004]特別地，在傳統(tǒng)的任務(wù)調(diào)度方法中，首先進(jìn)行觸發(fā)時(shí)間判斷，觸發(fā)時(shí)間判斷為判斷讀取到的可用任務(wù)是否滿足時(shí)間觸發(fā)條件，只有當(dāng)讀取到可用任務(wù)時(shí)的時(shí)間大于設(shè)置的觸發(fā)時(shí)間，才繼續(xù)往下判斷，否則終止判斷，退出，并進(jìn)行下一個(gè)等待任務(wù)的觸發(fā)判斷；然后進(jìn)行并發(fā)數(shù)判斷，每類任務(wù)類型都設(shè)有可運(yùn)行的最大并發(fā)數(shù)，當(dāng)讀取到的任務(wù)相應(yīng)的任務(wù)類型正在運(yùn)行的并發(fā)數(shù)小于等于設(shè)置的最大并發(fā)數(shù)時(shí)，那么觸發(fā)執(zhí)行該任務(wù)，否則終止，退出，并進(jìn)行下一個(gè)等待任務(wù)的觸發(fā)判斷。
[0005]可見在傳統(tǒng)的任務(wù)調(diào)度方法中可以設(shè)置任務(wù)的觸發(fā)時(shí)間和通過(guò)設(shè)置任務(wù)類型的最大并發(fā)數(shù)做到資源的控制，但實(shí)際使用過(guò)程中，并不準(zhǔn)確，也做不到很好的控制，主要原因?yàn)?，調(diào)度本身并不能準(zhǔn)確的知道被觸發(fā)執(zhí)行的任務(wù)到底使用了多少資源，需要運(yùn)行多少時(shí)間，也許少量幾個(gè)任務(wù)就能把機(jī)器運(yùn)算資源使用光，導(dǎo)致運(yùn)算資源不足，延誤運(yùn)算時(shí)間，甚至運(yùn)算平臺(tái)巖掉。
[0006]因此現(xiàn)有的任務(wù)調(diào)度方法沒辦法真實(shí)的解決資源使用/時(shí)間控制的問(wèn)題，到最后經(jīng)常發(fā)生運(yùn)算平臺(tái)負(fù)載過(guò)重甚至宕機(jī)的現(xiàn)象，而且任務(wù)的運(yùn)算時(shí)間也難以把握，導(dǎo)致很多時(shí)候滿足不了業(yè)務(wù)方的時(shí)間需求。

【發(fā)明內(nèi)容】

[0007]本申請(qǐng)的目的是在傳統(tǒng)調(diào)度方法的基礎(chǔ)上，根據(jù)任務(wù)的調(diào)度類型來(lái)調(diào)度任務(wù)，避免由于數(shù)據(jù)平臺(tái)運(yùn)算資源不夠，發(fā)生整個(gè)平臺(tái)宕掉，或者任務(wù)的觸發(fā)時(shí)間和完成時(shí)間沒有達(dá)到業(yè)務(wù)方的需求。
[0008]一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，所述數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)均配置有調(diào)度類型，所述調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先，不同所述調(diào)度類型對(duì)應(yīng)不同任務(wù)執(zhí)行的觸發(fā)方式，所述任務(wù)調(diào)度方法包括步驟:
[0009]讀取任務(wù)，提取所述任務(wù)的調(diào)度類型，按照所述任務(wù)的調(diào)度類型，選擇所述調(diào)度類型所對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式；
[0010]以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)。
[0011]當(dāng)所述的調(diào)度類型為資源優(yōu)化時(shí)，以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)，包括步驟:
[0012]判斷執(zhí)行任務(wù)的運(yùn)算資源平臺(tái)的可用資源是否滿足所述任務(wù)預(yù)計(jì)需要的任務(wù)資源，如果滿足則進(jìn)行下一步，否則返回去讀取下一個(gè)任務(wù)；
[0013]觸發(fā)執(zhí)行所述任務(wù)；
[0014]收集所述任務(wù)實(shí)際使用資源信息。
[0015]進(jìn)一步地，所述任務(wù)預(yù)計(jì)需要的任務(wù)資源是通過(guò)統(tǒng)計(jì)一定周期內(nèi)每次運(yùn)行時(shí)實(shí)際用到的資源情況，做平均值運(yùn)算。
[0016]當(dāng)所述調(diào)度類型為時(shí)間優(yōu)先時(shí)，以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)，包括步驟:
[0017]判斷讀取到的任務(wù)是否滿足時(shí)間觸發(fā)條件，只有當(dāng)讀取到任務(wù)時(shí)的時(shí)間大于設(shè)置的觸發(fā)時(shí)間，則進(jìn)行下一步，否則返回到讀取下一個(gè)任務(wù)；
[0018]觸發(fā)執(zhí)行所述任務(wù)。
[0019]本申請(qǐng)還提出了一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度裝置，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，所述調(diào)度裝置包括依次連接的調(diào)度類型設(shè)置模塊，調(diào)度掃描模塊和任務(wù)執(zhí)行模塊，其中:
[0020]所述調(diào)度類型設(shè)置模塊，用于為每種任務(wù)設(shè)置調(diào)度類型，所述調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先，不同所述調(diào)度類型對(duì)應(yīng)不同任務(wù)執(zhí)行的觸發(fā)方式；
[0021]所述調(diào)度掃描模塊，用于讀取任務(wù)，按照所述任務(wù)的調(diào)度類型，選擇對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式；
[0022]所述任務(wù)執(zhí)行模塊，用于根據(jù)所述的觸發(fā)方式，觸發(fā)執(zhí)行所述的任務(wù)。
[0023]進(jìn)一步地，所述任務(wù)執(zhí)行模塊還包括判斷單元，用于在選擇觸發(fā)方式后，判斷當(dāng)前條件是否滿足觸發(fā)條件。
[0024]作為本申請(qǐng)的一種方式，所述任務(wù)執(zhí)行模塊還包括任務(wù)占用資源預(yù)估單元，用于收集所述任務(wù)實(shí)際使用資源信息，預(yù)估執(zhí)行任務(wù)需要的任務(wù)資源。
[0025]作為本申請(qǐng)的另一種方式，所述任務(wù)執(zhí)行模塊還包括觸發(fā)時(shí)間設(shè)置單元，用于設(shè)置任務(wù)的觸發(fā)時(shí)間。
[0026]本申請(qǐng)的數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法，讓用戶自己選擇要滿足的數(shù)據(jù)場(chǎng)景，如運(yùn)算資源的穩(wěn)定對(duì)整個(gè)平臺(tái)比較重要，那么可以選擇資源優(yōu)先的調(diào)度策略，最大程度保障平臺(tái)的穩(wěn)定，如實(shí)現(xiàn)業(yè)務(wù)時(shí)間比較重要，那么可以選擇時(shí)間優(yōu)先的調(diào)度策略，最大程度保障任務(wù)執(zhí)行時(shí)間接近業(yè)務(wù)要求的時(shí)間完成。本申請(qǐng)的數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度裝置，通過(guò)調(diào)度類型設(shè)置模塊為任務(wù)設(shè)置調(diào)度類型，并根據(jù)調(diào)度類型選擇觸發(fā)方式，可以靈活的根據(jù)用戶的需求來(lái)處置任務(wù)，并能夠有效降低資源的急劇消耗帶來(lái)宕機(jī)的風(fēng)險(xiǎn)，提高用戶的滿意度?！緦＠綀D】

【附圖說(shuō)明】
[0027]圖1為本申請(qǐng)數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法的流程圖；
[0028]圖2為本申請(qǐng)資源優(yōu)化觸發(fā)方式下調(diào)度方法流程圖；
[0029]圖3為本申請(qǐng)時(shí)間優(yōu)化觸發(fā)方式下調(diào)度方法流程圖；
[0030]圖4為本申請(qǐng)數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0031]下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)技術(shù)方案做進(jìn)一步詳細(xì)說(shuō)明，以下實(shí)施例不構(gòu)成對(duì)本申請(qǐng)的限定。
[0032]本申請(qǐng)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)調(diào)度方法流程圖如圖1所示，包括步驟:
[0033]步驟101、為每種任務(wù)配置調(diào)度類型。
[0034]具體地，每種任務(wù)都配置有調(diào)度類型，調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先，當(dāng)然也可以根據(jù)其他主題來(lái)進(jìn)行配置，本實(shí)施例僅以資源優(yōu)先和時(shí)間優(yōu)先來(lái)進(jìn)行說(shuō)明。用戶在配置任務(wù)屬性信息時(shí)，任務(wù)的調(diào)度類型作為一個(gè)屬性信息配置進(jìn)去，讓用戶自己選擇需要保證的對(duì)象，如需要保證資源的可用性，選擇配置調(diào)度類型為資源優(yōu)先；需要保證業(yè)務(wù)時(shí)間的準(zhǔn)時(shí)性，選擇配置調(diào)度類型為時(shí)間優(yōu)先。
[0035]需要說(shuō)明的是，調(diào)度類型配置的方法不限于采用用戶主動(dòng)配置的方法，也可以由系統(tǒng)根據(jù)任務(wù)的種類采用該種類默認(rèn)的調(diào)度類型來(lái)自動(dòng)為任務(wù)設(shè)置調(diào)度類型。或者采用其他方式來(lái)確定任務(wù)的調(diào)度類型，如根據(jù)任務(wù)的優(yōu)先級(jí)，或者根據(jù)任務(wù)的發(fā)起對(duì)象等。
[0036]步驟102、讀取任務(wù)，按照任務(wù)的調(diào)度類型，選擇任務(wù)執(zhí)行的觸發(fā)方式。
[0037]數(shù)據(jù)倉(cāng)庫(kù)通過(guò)調(diào)度掃描來(lái)讀取任務(wù)，一般來(lái)說(shuō)，讀取的時(shí)候按照優(yōu)先級(jí)讀取處于等待運(yùn)行的可用任務(wù)，等待運(yùn)行的可用任務(wù)為符合依賴條件的處于等待運(yùn)行的任務(wù)，也就是說(shuō)當(dāng)一個(gè)任務(wù)的父任務(wù)都是成功結(jié)束狀態(tài)，那么該任務(wù)即為一個(gè)等待運(yùn)行的可用任務(wù)。調(diào)度掃描讀取一個(gè)等待運(yùn)行的可用任務(wù)，讀取的時(shí)候按照優(yōu)先級(jí)讀取，讀取后首先提取該任務(wù)的調(diào)度類型，按照該任務(wù)的調(diào)度類型，選擇任務(wù)執(zhí)行的觸發(fā)方式。
[0038]步驟103、按照所選擇的觸發(fā)方式，觸發(fā)執(zhí)行該任務(wù)。
[0039]需要說(shuō)明的是，數(shù)據(jù)倉(cāng)庫(kù)為每種調(diào)度類型設(shè)置了各自對(duì)應(yīng)的觸發(fā)方式，每種觸發(fā)方式又對(duì)應(yīng)了不同的觸發(fā)條件。調(diào)度掃描將按照每種任務(wù)設(shè)置的調(diào)度類型，選擇任務(wù)執(zhí)行的觸發(fā)方式，如果是資源優(yōu)先，則選擇資源優(yōu)先的觸發(fā)方式，判斷是否滿足資源優(yōu)先的觸發(fā)條件，如果滿足則執(zhí)行，否則返回到步驟102去讀取下一個(gè)任務(wù)；如果是時(shí)間優(yōu)先，則選擇時(shí)間優(yōu)先的觸發(fā)方式，判斷是否滿足時(shí)間優(yōu)先的觸發(fā)條件，如果滿足則執(zhí)行，否則返回到步驟102去讀取下一個(gè)任務(wù)。
[0040]具體地，當(dāng)當(dāng)前任務(wù)的調(diào)度類型為資源優(yōu)先時(shí)，本申請(qǐng)的按照所選擇的觸發(fā)方式，觸發(fā)執(zhí)行該任務(wù)的步驟如圖2所示，還包括:
[0041]步驟201、判斷可用資源是否滿足當(dāng)前任務(wù)預(yù)計(jì)需要的任務(wù)資源，如果滿足則進(jìn)行下一步，否則返回去讀取下一個(gè)任務(wù)；
[0042]步驟202、觸發(fā)執(zhí)行任務(wù)；
[0043]步驟203、收集該任務(wù)實(shí)際使用資源信息。[0044]需要說(shuō)明的是，在資源優(yōu)先觸發(fā)方式下，執(zhí)行任務(wù)的運(yùn)算資源平臺(tái)的可用資源的計(jì)算，目前大部分運(yùn)算平臺(tái)都有比較成熟的計(jì)算方法，如開源的hadoop分布式平臺(tái)，阿里巴巴的DataEngine分布式平臺(tái)，都可以用程序?qū)嵗痠nstance數(shù)來(lái)計(jì)算；傳統(tǒng)數(shù)據(jù)庫(kù)可以使用機(jī)器負(fù)載/內(nèi)存使用數(shù)量來(lái)計(jì)算。本申請(qǐng)并不限于可用資源的計(jì)算采用哪種方法，這里不再贅述。
[0045]在資源優(yōu)先觸發(fā)方式下，等待運(yùn)行任務(wù)的資源需求預(yù)估，本申請(qǐng)采用統(tǒng)計(jì)一定周期內(nèi)(比如7天)每次運(yùn)行該任務(wù)時(shí)實(shí)際用到的資源情況，做平均值運(yùn)算。當(dāng)待運(yùn)行的是一個(gè)新任務(wù)時(shí)，可以預(yù)先設(shè)置一個(gè)資源需求預(yù)估值，也可以不設(shè)置，系統(tǒng)默認(rèn)為0，等一次運(yùn)行以后則根據(jù)歷史數(shù)據(jù)來(lái)進(jìn)行預(yù)估。需要說(shuō)明的是，預(yù)估的周期可以自由設(shè)定，也可以采用其他資源需求預(yù)估的辦法來(lái)進(jìn)行資源需求預(yù)估，這里不再贅述。
[0046]具體地，當(dāng)當(dāng)前任務(wù)的調(diào)度類型為時(shí)間優(yōu)先時(shí)，本申請(qǐng)的按照所選擇的觸發(fā)方式，觸發(fā)執(zhí)行該任務(wù)的步驟如圖3所示，還包括:
[0047]步驟301、判斷讀取到的任務(wù)是否滿足時(shí)間觸發(fā)條件，只有當(dāng)讀取到任務(wù)時(shí)的時(shí)間大于設(shè)置的觸發(fā)時(shí)間，則進(jìn)行下一步，否則返回到讀取下一個(gè)任務(wù)；
[0048]步驟302、執(zhí)行任務(wù)。
[0049]需要說(shuō)明的是，一般情況下，一些執(zhí)行時(shí)間短平快的任務(wù)比較適合選擇時(shí)間優(yōu)先，而一些比較耗運(yùn)算資源的任務(wù)適合選擇資源優(yōu)先。
[0050]本申請(qǐng)同時(shí)提出了一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度裝置，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，如圖4所示，包括依次相連的調(diào)度類型設(shè)置模塊41，調(diào)度掃描模塊42和任務(wù)執(zhí)行模塊43。
[0051]具體地，調(diào)度類型設(shè)置模塊41用于為每種任務(wù)設(shè)置調(diào)度類型，為任務(wù)設(shè)置的調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先。當(dāng)然也可以根據(jù)其他主題來(lái)進(jìn)行設(shè)置不同的調(diào)度類型，本實(shí)施例僅以資源優(yōu)先和時(shí)間優(yōu)先來(lái)進(jìn)行說(shuō)明。
[0052]調(diào)度掃描模塊42用于讀取任務(wù)，一般來(lái)說(shuō)，讀取的時(shí)候按照優(yōu)先級(jí)讀取處于等待運(yùn)行的可用任務(wù)，處于等待運(yùn)行的可用任務(wù)為符合依賴條件的處于等待運(yùn)行的任務(wù)，也就是說(shuō)當(dāng)一個(gè)任務(wù)的父任務(wù)都是成功結(jié)束狀態(tài)，那么該任務(wù)即為一個(gè)等待運(yùn)行的任務(wù)。調(diào)度掃描模塊42讀取一個(gè)等待運(yùn)行的可用任務(wù)，讀取的時(shí)候按照優(yōu)先級(jí)讀取，讀取后首先提取該任務(wù)的調(diào)度類型，按照該任務(wù)的調(diào)度類型，選擇任務(wù)執(zhí)行的觸發(fā)方式。
[0053]任務(wù)執(zhí)行模塊43用于接收調(diào)度掃描模塊42傳送的觸發(fā)方式，觸發(fā)執(zhí)行調(diào)度掃描模塊42讀取的任務(wù)。
[0054]具體地，任務(wù)執(zhí)行模塊43還包括判斷單元432，用于判斷當(dāng)前任務(wù)是否滿足觸發(fā)條件。當(dāng)當(dāng)前的任務(wù)是資源優(yōu)先時(shí)，判斷可用資源是否滿足當(dāng)前任務(wù)預(yù)計(jì)需要的任務(wù)資源，如果滿足則執(zhí)行，否則返回去讀取下一個(gè)任務(wù)；當(dāng)當(dāng)前任務(wù)是時(shí)間優(yōu)先時(shí)，判斷觸發(fā)時(shí)間是否滿足當(dāng)前任務(wù)，滿足則執(zhí)行任務(wù)，否則返回到讀取下一個(gè)任務(wù)。
[0055]作為本申請(qǐng)的一個(gè)實(shí)施例，任務(wù)執(zhí)行模塊43還包括任務(wù)占用資源預(yù)估單元433，用于收集任務(wù)實(shí)際使用資源信息，預(yù)估執(zhí)行任務(wù)需要的任務(wù)資源，并將預(yù)估的任務(wù)需要的任務(wù)資源信息提供給判斷單元432，便于判斷單元432作出判斷。
[0056]作為本申請(qǐng)的另一個(gè)實(shí)施例，任務(wù)執(zhí)行模塊43還包括觸發(fā)時(shí)間設(shè)置單元431，用于設(shè)置任務(wù)的觸發(fā)時(shí)間，提供給判斷單元432，便于判斷單元432作出判斷。[0057]以上實(shí)施例僅用以說(shuō)明本申請(qǐng)的技術(shù)方案而非對(duì)其進(jìn)行限制，在不背離本申請(qǐng)精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本申請(qǐng)作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本申請(qǐng)所附的權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度方法，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，其特征在于，所述數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)均配置有調(diào)度類型，所述調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先，不同所述調(diào)度類型對(duì)應(yīng)不同任務(wù)執(zhí)行的觸發(fā)方式，所述任務(wù)調(diào)度方法包括步驟: 讀取任務(wù)，提取所述任務(wù)的調(diào)度類型，按照所述任務(wù)的調(diào)度類型，選擇所述調(diào)度類型所對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式； 以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)。
2.如權(quán)利要求1所述的任務(wù)調(diào)度方法，其特征在于，當(dāng)調(diào)度類型為資源優(yōu)先時(shí)，以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)，包括步驟: 判斷執(zhí)行任務(wù)的運(yùn)算資源平臺(tái)的可用資源是否滿足所述任務(wù)預(yù)計(jì)需要的任務(wù)資源，如果滿足則進(jìn)行下一步，否則返回去讀取下一個(gè)任務(wù)； 觸發(fā)執(zhí)行所述任務(wù)； 收集所述任務(wù)實(shí)際使用資源信息。
3.如權(quán)利要求2所述的任務(wù)調(diào)度方法，其特征在于，所述任務(wù)預(yù)計(jì)需要的任務(wù)資源是通過(guò)統(tǒng)計(jì)一定周期內(nèi)每次運(yùn)行時(shí)實(shí)際用到的資源情況，做平均值運(yùn)算。
4.如權(quán)利要求1所述的任務(wù)調(diào)度方法，其特征在于，當(dāng)所述調(diào)度類型為時(shí)間優(yōu)先時(shí)，以所述對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式觸發(fā)執(zhí)行所述任務(wù)，，包括步驟: 判斷讀取到的任務(wù)是否滿足時(shí)間觸發(fā)條件，只有當(dāng)讀取到任務(wù)時(shí)的時(shí)間大于設(shè)置的觸發(fā)時(shí)間，則進(jìn)行下一步，否則返回到讀取下一個(gè)任務(wù)； 觸發(fā)執(zhí)行所述任務(wù)。
5.一種數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)調(diào)度裝置，應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行任務(wù)調(diào)度，其特征在于，所述調(diào)度裝置包括依次連接的調(diào)度類型設(shè)置模塊，調(diào)度掃描模塊和任務(wù)執(zhí)行模塊，其中: 所述調(diào)度類型設(shè)置模塊，用于為每種任務(wù)設(shè)置調(diào)度類型，所述調(diào)度類型包括資源優(yōu)先或時(shí)間優(yōu)先，不同所述調(diào)度類型對(duì)應(yīng)不同任務(wù)執(zhí)行的觸發(fā)方式； 所述調(diào)度掃描模塊，用于讀取任務(wù)，按照所述任務(wù)的調(diào)度類型，選擇對(duì)應(yīng)的任務(wù)執(zhí)行的觸發(fā)方式； 所述任務(wù)執(zhí)行模塊，用于根據(jù)所述的觸發(fā)方式，觸發(fā)執(zhí)行所述的任務(wù)。
6.如權(quán)利要求5所述的任務(wù)調(diào)度裝置，其特征在于，所述任務(wù)執(zhí)行模塊還包括判斷單元，用于在選擇觸發(fā)方式后，判斷當(dāng)前條件是否滿足觸發(fā)條件。
7.如權(quán)利要求6所述的任務(wù)調(diào)度裝置，其特征在于，所述任務(wù)執(zhí)行模塊還包括任務(wù)占用資源預(yù)估單元，用于收集所述任務(wù)實(shí)際使用資源信息，預(yù)估執(zhí)行任務(wù)需要的任務(wù)資源。
8.如權(quán)利要求6所述的任務(wù)調(diào)度裝置，其特征在于，所述任務(wù)執(zhí)行模塊還包括觸發(fā)時(shí)間設(shè)置單元，用于設(shè)置任務(wù)的觸發(fā)時(shí)間。
【文檔編號(hào)】G06F9/46GK103593232SQ201210289275
【公開日】2014年2月19日 申請(qǐng)日期:2012年8月15日 優(yōu)先權(quán)日:2012年8月15日
【發(fā)明者】高繼軍 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司