基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法
【專利摘要】本發(fā)明涉及一種基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，該方法包括：開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程；所述主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第一相關(guān)任務(wù)云中的第一任務(wù)云；所述第一任務(wù)云對(duì)本地的第一任務(wù)組進(jìn)行遍歷，從所述第一任務(wù)組中選擇滿足匯聚條件的表組成第一組表；將所述第一組表并行匯聚處理得到匯聚表；當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息；標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。本發(fā)明通過任務(wù)模型配置可以最大化地利用數(shù)據(jù)庫(kù)資源,并在數(shù)據(jù)缺失時(shí)及時(shí)發(fā)出告警，通過數(shù)據(jù)戳快速定位問題根源。
【專利說明】基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)倉(cāng)庫(kù)，特別是涉及一種基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法。
【背景技術(shù)】
[0002]數(shù)據(jù)倉(cāng)庫(kù)主要有數(shù)據(jù)緩存層、基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)倉(cāng)庫(kù)層和數(shù)據(jù)集市層組成?，F(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理方式普遍采用的是周期輪詢和定時(shí)作業(yè)。即ETL將數(shù)據(jù)裝載至數(shù)據(jù)存儲(chǔ)層或者基礎(chǔ)數(shù)據(jù)層；定時(shí)作業(yè)將數(shù)據(jù)抽取、匯聚至數(shù)據(jù)倉(cāng)庫(kù)層；根據(jù)業(yè)務(wù)需求從數(shù)據(jù)倉(cāng)庫(kù)層匯聚至數(shù)據(jù)集市層。而對(duì)于裝載延時(shí)或數(shù)據(jù)缺失時(shí)通常是采用某個(gè)時(shí)間點(diǎn)來匯聚前面幾個(gè)周期的數(shù)據(jù)。
[0003]現(xiàn)在技術(shù)存在以下幾個(gè)問題:在遇到接口數(shù)據(jù)缺失、數(shù)據(jù)裝載延時(shí)或者其它導(dǎo)致數(shù)據(jù)無法及時(shí)裝載入庫(kù)的問題時(shí)，由于匯聚程序是依賴定時(shí)、周期的作業(yè)驅(qū)動(dòng)，從而無法及時(shí)得到消息仍然繼續(xù)定時(shí)匯聚數(shù)據(jù)，導(dǎo)致上層數(shù)據(jù)缺失；由于ETL裝載程序和匯聚程序脫節(jié)，沒有及時(shí)有效的消息傳遞導(dǎo)致上層的數(shù)據(jù)缺失，通常是問題發(fā)生了一段時(shí)間之后，才由用戶反應(yīng)數(shù)據(jù)缺失，造成用戶體驗(yàn)很差；為了彌補(bǔ)數(shù)據(jù)缺失問題，現(xiàn)有方案通常是某個(gè)時(shí)間點(diǎn)匯聚前面幾個(gè)周期的數(shù)據(jù)，這樣做了很多重復(fù)的工作，很大程度的浪費(fèi)了數(shù)據(jù)庫(kù)資源；由于數(shù)據(jù)倉(cāng)庫(kù)本身就具有多接口數(shù)據(jù)源、匯聚表間的依賴關(guān)系層次較深、數(shù)據(jù)處理有大量的并發(fā)任務(wù)等特點(diǎn)，而目前常用的方案由于ETL和匯聚之間沒有有效的消息傳遞導(dǎo)致數(shù)據(jù)質(zhì)量無法及時(shí)的捕獲到異常情況，在問題溯源時(shí)只能通過人工排查，效率非常低下；并且對(duì)匯聚任務(wù)無法進(jìn)行合理靈活的組織，導(dǎo)致數(shù)據(jù)庫(kù)資源資源經(jīng)常得不到充分合理的利用。
[0004]針對(duì)現(xiàn)有技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)的裝載延時(shí)或數(shù)據(jù)缺失等問題，需要建立一種新的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是為了解決接口數(shù)據(jù)缺失、數(shù)據(jù)裝載延時(shí)導(dǎo)致數(shù)據(jù)無法及時(shí)裝載入庫(kù)的問題。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法包括:
[0007]開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程；
[0008]所述主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第一相關(guān)任務(wù)云中的第一任務(wù)云；
[0009]所述第一任務(wù)云對(duì)本地的第一任務(wù)組進(jìn)行遍歷，從所述第一任務(wù)組中選擇滿足匯聚條件的表組成第一組表；
[0010]將所述第一組表并行匯聚處理得到匯聚表；
[0011]當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息；
[0012]標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。
[0013]進(jìn)一步地，所述方法還包括:數(shù)據(jù)裝載程序?qū)?shù)據(jù)源在數(shù)據(jù)緩存層進(jìn)行裝載。[0014]進(jìn)一步地，所述方法還包括:所述數(shù)據(jù)裝載程序通過校驗(yàn)標(biāo)準(zhǔn)接口獲取所述數(shù)據(jù)源的屬性信息。
[0015]進(jìn)一步地，當(dāng)所述匯聚表的可信度沒有發(fā)生變化時(shí)，則標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。
[0016]進(jìn)一步地，所述第一任務(wù)云還包括第二任務(wù)組，所述方法還包括:
[0017]啟動(dòng)所述第二任務(wù)組；
[0018]所述第一任務(wù)云對(duì)本地的第二任務(wù)組進(jìn)行遍歷，從所述第二任務(wù)組中選擇滿足匯聚條件的表組成第二組表；
[0019]將所述第二組表并行匯聚處理得到匯聚表；
[0020]當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息；
[0021]標(biāo)記所述第二任務(wù)組實(shí)例狀態(tài)。
[0022]進(jìn)一步地，所述第一相關(guān)任務(wù)云還包括第二任務(wù)云，所述方法還包括:
[0023]如果所述第一任務(wù)云和所述第二任務(wù)云在節(jié)點(diǎn)處匯合，則所述第一相關(guān)任務(wù)云遍歷結(jié)束。
[0024]進(jìn)一步地，所述方法還包括:所述主任務(wù)進(jìn)程啟動(dòng)所述第二相關(guān)任務(wù)云。
[0025]進(jìn)一步地，所述數(shù)據(jù)源屬性信息包括:接口記錄數(shù)、成功狀態(tài)、數(shù)據(jù)粒度、數(shù)據(jù)戳。
[0026]進(jìn)一步地，當(dāng)所述第一任務(wù)云和第二任務(wù)云的所述數(shù)據(jù)源的屬性信息相關(guān)時(shí)，同時(shí)啟動(dòng)所述第一任務(wù)云和第二任務(wù)云。
[0027]進(jìn)一步地，具體的，還包括，利用所述數(shù)據(jù)戳查找數(shù)據(jù)缺失和提高補(bǔ)匯數(shù)據(jù)效率。
[0028]本發(fā)明的優(yōu)點(diǎn)為:
[0029]1、本發(fā)明基于數(shù)據(jù)可信度，由任務(wù)自行觸發(fā)其它關(guān)聯(lián)任務(wù)，一個(gè)數(shù)據(jù)源接口的異動(dòng)會(huì)自動(dòng)觸發(fā)匯聚所有由該接口影響的數(shù)據(jù)表，不需要人工干預(yù)，通過合理的任務(wù)模型配置可以最大可能的避免高峰期數(shù)據(jù)庫(kù)資源使用瓶頸，將數(shù)據(jù)庫(kù)資源科學(xué)的最大化利用；
[0030]2、可以在數(shù)據(jù)缺失時(shí)及時(shí)發(fā)出告警，并可以通過數(shù)據(jù)戳快速定位問題根源。
【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明實(shí)施例提供的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法流程圖；
[0032]圖2為本發(fā)明實(shí)施例提供的調(diào)度方法流程圖；
[0033]圖3為本發(fā)明實(shí)施例提供的任務(wù)模型示意圖；
[0034]圖4為本發(fā)明實(shí)施例提供的數(shù)據(jù)可信度流程圖；
[0035]圖5為本發(fā)明實(shí)施例提供的數(shù)據(jù)戳結(jié)構(gòu)示意圖；
[0036]圖6為本發(fā)明實(shí)施例提供的任務(wù)調(diào)度流程圖。
【具體實(shí)施方式】
[0037]下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0038]圖1為本發(fā)明實(shí)施例提供的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法流程圖。如圖1所示，該方法包括以下步驟:
[0039]步驟101，開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程。[0040]進(jìn)一步地，在步驟101之前，該方法還包括:數(shù)據(jù)裝載程序?qū)?shù)據(jù)源在數(shù)據(jù)緩存層進(jìn)行裝載；數(shù)據(jù)裝載程序通過校驗(yàn)標(biāo)準(zhǔn)接口獲取數(shù)據(jù)源的屬性信息。數(shù)據(jù)源屬性信息包括:接口記錄數(shù)、成功狀態(tài)、數(shù)據(jù)粒度、數(shù)據(jù)戳。利用數(shù)據(jù)戳查找數(shù)據(jù)缺失和提高補(bǔ)匯數(shù)據(jù)效率。
[0041]步驟102，主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第一相關(guān)任務(wù)云中的第一任務(wù)云。
[0042]步驟103，第一任務(wù)云對(duì)本地的第一任務(wù)組進(jìn)行遍歷，從第一任務(wù)組中選擇滿足匯聚條件的表組成第一組表。
[0043]步驟104，將第一組表并行匯聚處理得到匯聚表。
[0044]步驟105，當(dāng)匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息。
[0045]進(jìn)一步地，當(dāng)匯聚表的可信度沒有發(fā)生變化時(shí)，則標(biāo)記第一任務(wù)組實(shí)例狀態(tài)。
[0046]步驟106，標(biāo)記第一任務(wù)組實(shí)例狀態(tài)。
[0047]進(jìn)一步地，第一任務(wù)云還包括第二任務(wù)組，該方法還包括:
[0048]啟動(dòng)第二任務(wù)組；
[0049]第一任務(wù)云對(duì)本地的第二任務(wù)組進(jìn)行遍歷，從第二任務(wù)組中選擇滿足匯聚條件的表組成第二組表；
[0050]將第二組表并行匯聚處理得到匯聚表；
[0051]當(dāng)匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄匯聚表信息；
[0052]標(biāo)記第二任務(wù)組實(shí)例狀態(tài)。
[0053]進(jìn)一步地，第一相關(guān)任務(wù)云還包括第二任務(wù)云，當(dāng)?shù)谝蝗蝿?wù)云和第二任務(wù)云的數(shù)據(jù)源的屬性信息相關(guān)時(shí)，同時(shí)啟動(dòng)第一任務(wù)云和第二任務(wù)云，如果第一任務(wù)云和第二任務(wù)云在節(jié)點(diǎn)處匯合，則第一相關(guān)任務(wù)云遍歷結(jié)束。
[0054]進(jìn)一步地，主任務(wù)進(jìn)程啟動(dòng)第二相關(guān)任務(wù)云，該方法包括:
[0055]開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程；
[0056]主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第二相關(guān)任務(wù)云中的第三任務(wù)云；
[0057]第三任務(wù)云對(duì)本地的第三任務(wù)組進(jìn)行遍歷，從第三任務(wù)組中選擇滿足匯聚條件的表組成第三組表；
[0058]將第三組表并行匯聚處理得到匯聚表；
[0059]當(dāng)匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄匯聚表信息；
[0060]標(biāo)記第三任務(wù)組實(shí)例狀態(tài)。
[0061]圖2為本發(fā)明實(shí)施例提供的調(diào)度方法流程圖。如圖2所示，該方法包括以下步驟:
[0062]步驟201，數(shù)據(jù)裝載程序在裝載完接口數(shù)據(jù)源后，通過校驗(yàn)標(biāo)準(zhǔn)的接口規(guī)格記錄接口的記錄數(shù)、成功狀態(tài)、數(shù)據(jù)粒度、數(shù)據(jù)時(shí)間戳等屬性消息；
[0063]步驟202，將數(shù)據(jù)源的屬性消息裝載成日志，并存入日志管理中。
[0064]步驟203，調(diào)度程序在啟動(dòng)后會(huì)讀取該消息，從數(shù)據(jù)處理程序中調(diào)用匯聚程序并遍歷任務(wù)模型，啟動(dòng)將滿足匯聚條件的匯聚任務(wù)，并記錄完整的匯聚和告警日志，存入日志管理中。
[0065]步驟204，數(shù)據(jù)處理程序?qū)⒆约和暾膮R聚程序日志也存入日志管理中。
[0066]該調(diào)度方法的基本原理為:將不同的數(shù)據(jù)元素按照一定的邏輯組織起來，通過各匯聚表的相互制約關(guān)系來達(dá)到各任務(wù)的聯(lián)動(dòng)，將任務(wù)按照一定的邏輯和功能組合成一個(gè)完整的任務(wù)模型，形成一個(gè)完備的自循環(huán)與自我修復(fù)調(diào)度系統(tǒng)。可以最大程度的實(shí)現(xiàn)自動(dòng)、智能、快速的數(shù)據(jù)處理和數(shù)據(jù)補(bǔ)匯功能，通過合理的任務(wù)配置可以在空間上將數(shù)據(jù)庫(kù)性能發(fā)揮到最大化。
[0067]圖3為本發(fā)明實(shí)施例提供的任務(wù)模型示意圖。如圖3所示，該任務(wù)模型包括:主任務(wù)進(jìn)程、任務(wù)云、任務(wù)組和子任務(wù)。
[0068]該任務(wù)模型的執(zhí)行步驟為:
[0069]步驟301，啟動(dòng)主任務(wù)進(jìn)程，主任務(wù)進(jìn)程會(huì)根據(jù)配置信息啟動(dòng)多個(gè)相關(guān)的任務(wù)云；
[0070]步驟302，當(dāng)某一任務(wù)云啟動(dòng)后，任務(wù)云會(huì)從指定組開始逐一遍歷每一組表，并將滿足匯聚條件的同組表并行匯聚，形成匯聚表。
[0071]步驟303，判斷匯聚表當(dāng)前的可信度和上次相比是否發(fā)生變化，如果發(fā)生變化則表示源數(shù)據(jù)發(fā)生變化，并創(chuàng)建匯聚子任務(wù)。
[0072]步驟304，匯聚子任務(wù)完成后，判斷該任務(wù)云中是否還有下一組任務(wù)，如果有，則繼續(xù)完成下一組任務(wù)，如果沒有，則繼續(xù)下一任務(wù)云。
[0073]該任務(wù)模型中的各個(gè)模型所起的作用如下:
[0074]調(diào)度主任務(wù):每一次調(diào)度任務(wù)被啟動(dòng)時(shí)，會(huì)啟動(dòng)一個(gè)主任務(wù)進(jìn)程，主任務(wù)會(huì)根據(jù)配置信息，啟動(dòng)多個(gè)相關(guān)的任務(wù)云，每朵任務(wù)云相當(dāng)于一個(gè)獨(dú)立的進(jìn)程，但會(huì)在某一個(gè)節(jié)點(diǎn)處匯合，表示同級(jí)任務(wù)云到此節(jié)點(diǎn)處結(jié)束，然后會(huì)由主任務(wù)進(jìn)程啟動(dòng)新的相關(guān)任務(wù)云，由此循環(huán)直到本輪調(diào)度任務(wù)完全結(jié)束；
[0075]任務(wù)云:每一朵任務(wù)云被啟動(dòng)時(shí)，標(biāo)志著一階段內(nèi)可以完全獨(dú)立運(yùn)行的匯聚任務(wù)開始運(yùn)行，從設(shè)定的組開始啟動(dòng)相應(yīng)的組任務(wù)，由此循環(huán)直到運(yùn)行至設(shè)定的節(jié)點(diǎn)處，此任務(wù)云將結(jié)束生命周期，等待其它同級(jí)任務(wù)云運(yùn)行結(jié)束，然后會(huì)由主任務(wù)進(jìn)程啟動(dòng)新的相關(guān)任務(wù)云進(jìn)程；
[0076]任務(wù)組:為了避免在多任務(wù)并行執(zhí)行時(shí)任務(wù)間可能存在資源利用沖突的情況，即多個(gè)任務(wù)同時(shí)運(yùn)行時(shí)，可能存在對(duì)某張表或某個(gè)資源同時(shí)征用的情況，在調(diào)度程序中引入了組的概念，即將沒有依賴關(guān)系的表分為同一組，并行匯聚，當(dāng)某個(gè)任務(wù)云啟動(dòng)時(shí)，會(huì)從指定組開始逐一遍歷每一組表，將滿足匯聚條件的同組表并行匯聚，待本組表遍歷完成判斷是否存在下一組表，再執(zhí)行后續(xù)任務(wù)，這樣既從根本上杜絕了多任務(wù)并行執(zhí)行時(shí)可能造成的沖突，提聞?wù){(diào)度程序的穩(wěn)定性；
[0077]子任務(wù):在每一組任務(wù)被啟動(dòng)時(shí)，會(huì)逐一遍歷該組的每個(gè)匯聚表，從起始日期開始掃描，判斷匯聚表當(dāng)前的可信度和上次相比是否發(fā)生變化，如果有則表示源數(shù)據(jù)發(fā)生變化，會(huì)創(chuàng)建具體的匯聚子任務(wù)，每個(gè)被遍歷過的匯聚表狀態(tài)會(huì)被記錄，當(dāng)當(dāng)前組每個(gè)匯聚表被遍歷完成時(shí)會(huì)檢查后續(xù)任務(wù)。每個(gè)子任務(wù)會(huì)在被啟動(dòng)后會(huì)有自己獨(dú)立的完整的告警和調(diào)度日志記錄，具體的數(shù)據(jù)處理程序會(huì)有自己的完整的匯聚日志記錄，保證了任務(wù)的隔離性。
[0078]圖4為本發(fā)明實(shí)施例提供的數(shù)據(jù)可信度流程圖。如圖4所示，表A的源表由B、C、D三個(gè)表組成，其中B為主表，C和D為次表。
[0079]該數(shù)據(jù)可信度包括以下步驟:
[0080]步驟401，當(dāng)主表到位時(shí)，次表C和D還沒有到位，等待一段時(shí)間后，如果次表還沒有到位，就先對(duì)A表數(shù)據(jù)進(jìn)行匯聚以滿足上層數(shù)據(jù)需求，此處的A表數(shù)據(jù)在該時(shí)間點(diǎn)的可信度將由它的源表的可信度通過算法計(jì)算得出。
[0081]步驟402，當(dāng)下一周期對(duì)A表進(jìn)行掃描時(shí)，判斷A表的源表是否增加，如果增加，則說明C和D表到位，會(huì)重新計(jì)算可信度。
[0082]圖5為本發(fā)明實(shí)施例提供的數(shù)據(jù)戳結(jié)構(gòu)示意圖。如圖5所示，數(shù)據(jù)戳是一個(gè)以表數(shù)據(jù)的構(gòu)成為基礎(chǔ)的元素集合，它由以下幾部分組成:基礎(chǔ)物理字段；時(shí)間粒度，它是將小時(shí)、天和月等粒度分別建成多張表，這些表有利于提高匯聚效率；可信度。
[0083]本實(shí)施例提供的每個(gè)粒度下數(shù)據(jù)源的分布計(jì)劃模型為=A1表20130812的天粒度數(shù)據(jù)由B1X1兩個(gè)表的20130812小時(shí)粒度數(shù)據(jù)匯聚而成；A2表201307月份的月數(shù)據(jù)由B2、C2的201307月份天粒度數(shù)據(jù)和D2表201307月份月粒度數(shù)據(jù)匯聚而成。
[0084]在圖5中，A表20130801的天粒度數(shù)據(jù)由B1的201308月份月粒度數(shù)據(jù)、B2的201307月份月粒度數(shù)據(jù)和B3的201308月份天粒度數(shù)據(jù)、B4的201308月份天粒度數(shù)據(jù)匯聚rfu 。
[0085]由此可以得出數(shù)據(jù)戳的形成原理，其中，每個(gè)源表都有兩部分組成，一個(gè)是源表，一個(gè)是目標(biāo)表，它們形成了一個(gè)完整的數(shù)據(jù)地圖。數(shù)據(jù)地圖可以用來表示和追溯某個(gè)時(shí)間維度的數(shù)據(jù)產(chǎn)生的完整路徑，這樣可以便于查找數(shù)據(jù)缺失的原因和提高補(bǔ)匯數(shù)據(jù)效率。
[0086]圖6為本發(fā)明實(shí)施例提供的任務(wù)調(diào)度流程圖。如圖6所示，該任務(wù)調(diào)度包括以下步驟:
[0087]步驟601，創(chuàng)建調(diào)度任務(wù)，可以手動(dòng)啟動(dòng)調(diào)度任務(wù)，也可以在一輪調(diào)度任務(wù)完成后，自動(dòng)創(chuàng)建下一個(gè)調(diào)度任務(wù)，轉(zhuǎn)到步驟602。
[0088]步驟602，判斷是否有任務(wù)存在，如果沒有任務(wù)存在，轉(zhuǎn)到步驟603 ;如果有任務(wù)存在，判斷是否正在運(yùn)行，如果沒有任務(wù)運(yùn)行，轉(zhuǎn)到步驟604。
[0089]步驟603，啟動(dòng)調(diào)度任務(wù)，轉(zhuǎn)到步驟605。
[0090]步驟604，修改啟動(dòng)時(shí)間及參數(shù)，當(dāng)?shù)竭_(dá)啟動(dòng)時(shí)間時(shí)，轉(zhuǎn)到步驟603。
[0091]步驟605,創(chuàng)建主任務(wù)實(shí)例,并循環(huán)創(chuàng)建根任務(wù)云,轉(zhuǎn)到步驟606。
[0092]步驟606,查看父級(jí)任務(wù)云是否到位,如果到位,創(chuàng)建任務(wù)云實(shí)例,轉(zhuǎn)到步驟607。
[0093]步驟607，創(chuàng)建任務(wù)組實(shí)例，轉(zhuǎn)到步驟608。
[0094]步驟608，循環(huán)創(chuàng)建子任務(wù)實(shí)例，轉(zhuǎn)到步驟609和步驟610。
[0095]步驟609，匯聚子任務(wù)，轉(zhuǎn)到步驟611。
[0096]步驟610，檢查子任務(wù)。
[0097]步驟611，對(duì)匯聚子任務(wù)初始化，檢查是否觸發(fā)匯聚日期，如果是，轉(zhuǎn)到步驟612。
[0098]步驟612，檢查主父表是否到位，如果到位，轉(zhuǎn)到步驟713 ;如果不到位，轉(zhuǎn)到步驟616。
[0099]步驟613，檢查是否匯聚過，如果是，轉(zhuǎn)到步驟614 ;如果不是，轉(zhuǎn)到步驟615。
[0100]步驟614，檢查可信度變化，如果發(fā)生變化，轉(zhuǎn)到步驟615 ;如果沒有發(fā)生變化，轉(zhuǎn)到步驟617。
[0101]步驟615，匯聚子任務(wù)，轉(zhuǎn)到步驟616。
[0102]步驟616，匯聚子任務(wù)完成后，標(biāo)記任務(wù)實(shí)例狀態(tài)，轉(zhuǎn)到步驟617 ;
[0103]步驟617，檢查同組其他任務(wù)是否遍歷完成，如果是，轉(zhuǎn)到步驟618。
[0104]步驟618，標(biāo)記任務(wù)組實(shí)例狀態(tài)，檢查是否還有下一組任務(wù)，轉(zhuǎn)到步驟619。[0105]步驟619，如果有，轉(zhuǎn)到步驟620 ;如果沒有，轉(zhuǎn)到步驟621。
[0106]步驟620，啟動(dòng)下一個(gè)任務(wù)組，轉(zhuǎn)到步驟607。
[0107]步驟621，該任務(wù)云完成遍歷，檢查該任務(wù)云是否是葉子云，如果不是，轉(zhuǎn)到步驟622 ;如果是，轉(zhuǎn)到步驟623。
[0108]步驟622，循環(huán)創(chuàng)建子任務(wù)云，轉(zhuǎn)到步驟606 ；
[0109]步驟623，檢查所有葉子云是否完成遍歷，如果完成遍歷，轉(zhuǎn)到步驟624。
[0110]步驟624，檢查所有葉子云是否遍歷到最大日期，轉(zhuǎn)到步驟625。
[0111]步驟625，如果不是，轉(zhuǎn)到步驟626 ;如果是，轉(zhuǎn)到步驟627。
[0112]步驟626,啟動(dòng)新一天的主任務(wù),轉(zhuǎn)到步驟605。
[0113]步驟627，所有任務(wù)出口，轉(zhuǎn)到步驟601。
[0114]以上所述的【具體實(shí)施方式】，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的【具體實(shí)施方式】而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法包括: 開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程； 所述主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第一相關(guān)任務(wù)云中的第一任務(wù)云； 所述第一任務(wù)云對(duì)本地的第一任務(wù)組進(jìn)行遍歷，從所述第一任務(wù)組中選擇滿足匯聚條件的表組成第一組表； 將所述第一組表并行匯聚處理得到匯聚表； 當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息； 標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法還包括:數(shù)據(jù)裝載程序?qū)?shù)據(jù)源在數(shù)據(jù)緩存層進(jìn)行裝載。
3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法還包括:所述數(shù)據(jù)裝載程序通過校驗(yàn)標(biāo)準(zhǔn)接口獲取所述數(shù)據(jù)源的屬性信息。
4.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法還包括:當(dāng)所述匯聚表的可信度沒有發(fā)生變化時(shí)，則標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。
5.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述第一任務(wù)云還包括第二任務(wù)組，所述方法還包括: 啟動(dòng)所述第二任務(wù)組； 所述第一任務(wù)云對(duì)本地的第二任務(wù)組進(jìn)行遍歷，從所述第二任務(wù)組中選擇滿足匯聚條件的表組成第二組表； 將所述第二組表并行匯聚處理得到匯聚表； 當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息； 標(biāo)記所述第二任務(wù)組實(shí)例狀態(tài)。
6.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述第一相關(guān)任務(wù)云還包括第二任務(wù)云，所述方法還包括: 如果所述第一任務(wù)云和所述第二任務(wù)云在節(jié)點(diǎn)處匯合，則所述第一相關(guān)任務(wù)云遍歷結(jié)束。
7.根據(jù)權(quán)利要求6所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法還包括:所述主任務(wù)進(jìn)程啟動(dòng)所述第二相關(guān)任務(wù)云。
8.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述數(shù)據(jù)源屬性信息包括:接口記錄數(shù)、成功狀態(tài)、數(shù)據(jù)粒度、數(shù)據(jù)戳。
9.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，當(dāng)所述第一任務(wù)云和第二任務(wù)云的所述數(shù)據(jù)源的屬性信息相關(guān)時(shí)，同時(shí)啟動(dòng)所述第一任務(wù)云和第二任務(wù)云。
10.根據(jù)權(quán)利要求8所述的基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，具體的，還包括，利用所述數(shù)據(jù)戳查找數(shù)據(jù)缺失和提高補(bǔ)匯數(shù)據(jù)效率。
【文檔編號(hào)】G06F11/34GK103810258SQ201410037541
【公開日】2014年5月21日 申請(qǐng)日期:2014年1月26日 優(yōu)先權(quán)日:2014年1月26日
【發(fā)明者】何峻, 陳亞萍, 孫勇 申請(qǐng)人:杭州東方通信軟件技術(shù)有限公司