專利名稱：一種數(shù)據(jù)處理過程的協(xié)同方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理過程的協(xié)同方法和裝置。
背景技術(shù)：
ODS系統(tǒng)是一個跨系統(tǒng)運營數(shù)據(jù)的共享平臺，承接操作環(huán)境和分析環(huán)境。ODS對應(yīng) 用系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行清洗、過濾和整合，同時為各個應(yīng)用系統(tǒng)提供近實時的運營報表等 跨系統(tǒng)共享數(shù)據(jù)服務(wù)。ODS系統(tǒng)的數(shù)據(jù)架構(gòu)如圖1所示，其數(shù)據(jù)處理過程包括從其它業(yè)務(wù)系統(tǒng)抽取業(yè)務(wù) 數(shù)據(jù)到接口層；在接口層將數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換并加載到整合層；以整合層的數(shù)據(jù)進(jìn)行跨 系統(tǒng)數(shù)據(jù)的應(yīng)用、分析，形成匯總層的數(shù)據(jù)，并將匯總層的數(shù)據(jù)共享給相應(yīng)的業(yè)務(wù)系統(tǒng)。因 此，數(shù)據(jù)處理過程是ODS系統(tǒng)的基本也是重要功能。由于ODS系統(tǒng)整合的數(shù)據(jù)源眾多、提供 的跨系統(tǒng)應(yīng)用和分析數(shù)據(jù)眾多，因此ODS系統(tǒng)中的眾多數(shù)據(jù)處理過程之間的協(xié)同處理就顯 得極其重要。現(xiàn)有技術(shù)中的一種數(shù)據(jù)處理過程的協(xié)同方法，其通過預(yù)估每個數(shù)據(jù)處理過程的執(zhí) 行耗時，并制定每個數(shù)據(jù)處理過程的先后執(zhí)行時間，來控制數(shù)據(jù)處理過程的先后執(zhí)行順序。 另一種數(shù)據(jù)處理過程的協(xié)同方法，是通過設(shè)定數(shù)據(jù)處理過程之間的執(zhí)行依賴，來確定每個 數(shù)據(jù)處理過程的執(zhí)行時機(jī)。上述方法中，由于數(shù)據(jù)處理過程的執(zhí)行耗時是不固定的，前后執(zhí)行的數(shù)據(jù)處理過 程之間的定時時差不好預(yù)估，一般情況下都是將此時間差加大，增加等待的執(zhí)行時間。例 如，ODS系統(tǒng)一般以天為單位從CRM系統(tǒng)中獲取客戶訂單數(shù)據(jù)，然后根據(jù)客戶訂單數(shù)據(jù)再處 理其他核心層的數(shù)據(jù)，假設(shè)CRM訂單數(shù)據(jù)處理過程為3小時，因此，將CRM訂單數(shù)據(jù)的處理 過程定時在凌晨0 30分啟動執(zhí)行，預(yù)計在3 30分鐘執(zhí)行完畢，客戶資料寬表處理程序一般 定時在4:00開始執(zhí)行。因此造成了執(zhí)行總時長過長，浪費了數(shù)據(jù)處理時間。此外，不管是采用時間制定還是數(shù)據(jù)處理過程依賴的方式，在實際使用中都很繁 瑣。由于ODS系統(tǒng)中接口眾多、數(shù)據(jù)處理過程數(shù)量級很大，配置執(zhí)行依賴、先后執(zhí)行順序的 過程相當(dāng)復(fù)雜，對操作人員的業(yè)務(wù)要求相當(dāng)高，一般只有資深的維護(hù)人員才能了解大部分 的數(shù)據(jù)處理過程，而要求其將不同的數(shù)據(jù)處理過程的依賴關(guān)系建立正確，將是一件非常復(fù) 雜的工作，配置過程存在疏漏的可能性相當(dāng)大。總之，需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是如何能夠提供一種數(shù) 據(jù)處理過程的協(xié)同方法，減少冗余的等待執(zhí)行時間，提高ODS系統(tǒng)的數(shù)據(jù)處理效率，以及簡 化數(shù)據(jù)處理過程的配置。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種數(shù)據(jù)處理過程的協(xié)同方法和裝置，減少冗 余的等待執(zhí)行時間，提高ODS系統(tǒng)的數(shù)據(jù)處理效率，并簡化數(shù)據(jù)處理過程的配置。
為了解決上述問題，本發(fā)明公開了一種數(shù)據(jù)處理過程的協(xié)同方法，包括建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；所述元數(shù)據(jù)包括數(shù)據(jù) 源和數(shù)據(jù)處理結(jié)果；配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各個數(shù)據(jù)處理 過程間的協(xié)同處理。優(yōu)選的，所述建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息，包括抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù)據(jù)抽取”和“數(shù)據(jù)加載”的 流程配置節(jié)點；將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的源數(shù)據(jù)定義為數(shù)據(jù)源，并建立所 述數(shù)據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的目標(biāo)數(shù)據(jù)定義為數(shù)據(jù)處理結(jié)果， 并建立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。優(yōu)選的，所述配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息具體為配置所述數(shù)據(jù)處理 過程的執(zhí)行周期和/或推薦執(zhí)行時間。優(yōu)選的，所述依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，包 括依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行；依據(jù)配置信息進(jìn)行驅(qū)動檢查，判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依賴；若否，則直接執(zhí)行當(dāng)前數(shù)據(jù)處理過程；若是，則依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在周期依賴；若是，則暫 停執(zhí)行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行完畢，執(zhí)行當(dāng)前數(shù)據(jù)處理 過程；若否，則執(zhí)行當(dāng)前數(shù)據(jù)處理過程。優(yōu)選的，所述依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行，具體為依據(jù)執(zhí) 行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始 執(zhí)行；或者，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。優(yōu)選的，所述依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依賴，包括獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；判斷所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的輸出關(guān)系的數(shù)據(jù)處理結(jié) 果；如果是，則當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處理過程 存在數(shù)據(jù)依賴；如果否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處 理過程不存在數(shù)據(jù)依賴。優(yōu)選的，所述依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在周期依賴，具體 為判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過程的執(zhí)行周期； 如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù)處理過程不存在 周期依賴。優(yōu)選的，所述依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，還包 括依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依賴的數(shù)據(jù)處理過程的執(zhí)行結(jié)果進(jìn)行查詢，獲知被依賴的數(shù)據(jù)處理過程是否正確執(zhí)行完畢。相應(yīng)的，本發(fā)明還提供了一種數(shù)據(jù)處理過程的協(xié)同裝置，包括配置信息建立模塊，用于建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信 息；所述元數(shù)據(jù)包括數(shù)據(jù)源和數(shù)據(jù)處理結(jié)果；調(diào)度計劃配置模塊，用于配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；數(shù)據(jù)處理執(zhí)行模塊，用于依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理 過程，實現(xiàn)各個數(shù)據(jù)處理過程間的協(xié)同處理。優(yōu)選的，所述配置信息建立模塊包括節(jié)點獲取子模塊，用于抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù)據(jù)抽 取”和“數(shù)據(jù)加載”的流程配置節(jié)點；輸入關(guān)系建立子模塊，用于將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的源數(shù) 據(jù)定義為數(shù)據(jù)源，并建立所述數(shù)據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；輸出關(guān)系建立子模塊，用于將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的目標(biāo) 數(shù)據(jù)定義為數(shù)據(jù)處理結(jié)果，并建立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。優(yōu)選的，所述調(diào)度計劃配置模塊配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息具體為 配置所述數(shù)據(jù)處理過程的執(zhí)行周期和/或推薦執(zhí)行時間。優(yōu)選的，所述數(shù)據(jù)處理執(zhí)行模塊包括驅(qū)動準(zhǔn)備開始子模塊，用于依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行；數(shù)據(jù)依賴判斷子模塊，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依 賴；若否，直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊，若是，則觸發(fā)周期依賴判斷子模塊；數(shù)據(jù)處理執(zhí)行子模塊，用于執(zhí)行當(dāng)前數(shù)據(jù)處理過程；周期依賴判斷子模塊，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依 賴；若否，暫停執(zhí)行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行完畢，觸發(fā)數(shù) 據(jù)處理執(zhí)行子模塊，若是，則直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊。優(yōu)選的，所述驅(qū)動準(zhǔn)備子模塊依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí) 行，具體為依據(jù)執(zhí)行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù) 處理過程準(zhǔn)備開始執(zhí)行；或者，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備 開始執(zhí)行。優(yōu)選的，所述數(shù)據(jù)依賴判斷子模塊包括數(shù)據(jù)源獲取單元，用于獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；依賴關(guān)系判斷單元，用于判斷所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的 輸出關(guān)系的數(shù)據(jù)處理結(jié)果；如果是，則當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng) 前數(shù)據(jù)處理過程存在數(shù)據(jù)依賴；如果否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程， 判斷當(dāng)前數(shù)據(jù)處理過程不存在數(shù)據(jù)依賴。優(yōu)選的，所述依賴判斷子模塊依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在 周期依賴，具體為判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過 程的執(zhí)行周期；如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù) 處理過程不存在周期依賴。優(yōu)選的，所述數(shù)據(jù)處理執(zhí)行模塊還包括執(zhí)行結(jié)果查詢子模塊，用于依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依賴的數(shù)據(jù)處理過程的執(zhí)行結(jié)果進(jìn)行查詢，獲知被依賴的數(shù)據(jù)處理 過程是否正確執(zhí)行完畢。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點本發(fā)明提出的一種數(shù)據(jù)處理過程的協(xié)同方法，通過建立數(shù)據(jù)處理過程與元數(shù)據(jù)的 輸入輸出關(guān)系的配置信息，以及配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息，能夠依據(jù)所述配 置信息和調(diào)度計劃信息自動執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各個數(shù)據(jù)處理過程間的協(xié)同處 理。由于無需對每個數(shù)據(jù)處理過程設(shè)定執(zhí)行時間，減少了冗余的等待執(zhí)行時間，提高ODS系 統(tǒng)的數(shù)據(jù)處理效率。進(jìn)一步，本發(fā)明注重對數(shù)據(jù)處理周期的配置，推薦執(zhí)行時間則作為輔助執(zhí)行條件， 以實現(xiàn)不同數(shù)據(jù)處理過程先后執(zhí)行順序。相比于現(xiàn)有技術(shù)的通過預(yù)估每個數(shù)據(jù)處理過程的 執(zhí)行耗時，制定每個數(shù)據(jù)處理過程的先后執(zhí)行時間的方法，利用本發(fā)明的方法，配置人員無 需關(guān)心具體數(shù)據(jù)處理過程的執(zhí)行時間長度，而重點關(guān)注數(shù)據(jù)處理過程的執(zhí)行周期，簡化了 數(shù)據(jù)處理過程的配置。此外，相比于現(xiàn)有技術(shù)中，通過設(shè)定數(shù)據(jù)處理過程之間的執(zhí)行依賴，實現(xiàn)數(shù)據(jù)處理 過程的先后執(zhí)行順序的方法，本發(fā)明無需對執(zhí)行依賴進(jìn)行配置，而是根據(jù)數(shù)據(jù)驅(qū)動，自動判 定數(shù)據(jù)處理過程間的依賴關(guān)系，同樣的，簡化了數(shù)據(jù)處理過程的配置，降低了對操作人員的 業(yè)務(wù)要求。


圖1是ODS系統(tǒng)的數(shù)據(jù)架構(gòu)示意圖；圖2是本發(fā)明一種數(shù)據(jù)處理過程的協(xié)同方法實施例的流程圖；圖3是本發(fā)明方法實施例的步驟201的子步驟的流程圖；圖4是本發(fā)明方法實施例的步驟203的子步驟的流程圖；圖5是具有依賴關(guān)系的兩個數(shù)據(jù)處理過程的執(zhí)行過程示意圖；圖6是本發(fā)明一種數(shù)據(jù)處理過程的協(xié)同裝置實施例的結(jié)構(gòu)圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實 施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。參照圖2，示出了本發(fā)明一種數(shù)據(jù)處理過程的協(xié)同方法實施例的流程圖，包括步驟201，建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；所述元數(shù)據(jù) 包括數(shù)據(jù)源和數(shù)據(jù)處理結(jié)果；ODS系統(tǒng)中的數(shù)據(jù)處理過程一般包括數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載四 個流程環(huán)節(jié)。在本發(fā)明的技術(shù)方案中，將對數(shù)據(jù)處理過程的“數(shù)據(jù)抽取”和“數(shù)據(jù)加載”環(huán) 節(jié)進(jìn)行擴(kuò)展，即通過對數(shù)據(jù)整合過程中的“數(shù)據(jù)抽取”和“數(shù)據(jù)加載”環(huán)節(jié)的分析，獲得數(shù) 據(jù)處理過程涉及到的數(shù)據(jù)源(包括數(shù)據(jù)庫表數(shù)據(jù)源、文件數(shù)據(jù)源)和數(shù)據(jù)處理結(jié)果(一般 是數(shù)據(jù)庫表，也有數(shù)據(jù)文件)，并采用元數(shù)據(jù)的方式把數(shù)據(jù)源、數(shù)據(jù)處理結(jié)果管理起來，并建 立數(shù)據(jù)處理過程與這些元數(shù)據(jù)(數(shù)據(jù)源、數(shù)據(jù)處理結(jié)果)的輸入輸出關(guān)系的配置信息。具體的，如圖3所示，為步驟201的子步驟的流程圖，包括
子步驟2011，抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù)據(jù)抽取”和“數(shù) 據(jù)加載”的流程配置節(jié)點；一般的，從 ETL(Extraction-Transformation-Loading，數(shù)據(jù)抽取-轉(zhuǎn)換-加載) 模塊中提取數(shù)據(jù)處理過程信息，每一條數(shù)據(jù)處理過程信息代表了一個數(shù)據(jù)處理過程，通過 對數(shù)據(jù)處理過程信息的逐條分析獲得流程配置節(jié)點。子步驟2012，將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的源數(shù)據(jù)定義為數(shù)據(jù) 源，并建立所述數(shù)據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；子步驟2013，將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的目標(biāo)數(shù)據(jù)定義為數(shù) 據(jù)處理結(jié)果，并建立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。其中，從流程配置節(jié)點中分析出的源數(shù)據(jù)或目標(biāo)數(shù)據(jù)具體為從所獲得的流程配 置節(jié)點提取數(shù)據(jù)處理的規(guī)則信息，通過數(shù)據(jù)處理規(guī)則信息及其相關(guān)的數(shù)據(jù)映射單元信息， 分析出數(shù)據(jù)處理規(guī)則處理的數(shù)據(jù)。需要說明的是，ETL模塊的實現(xiàn)是依賴于統(tǒng)一的規(guī)則模 型，配置數(shù)據(jù)處理過程時，需要配置具體的執(zhí)行規(guī)則，執(zhí)行規(guī)則實現(xiàn)具體的數(shù)據(jù)處理操作。 執(zhí)行規(guī)則包括了規(guī)則的基本信息、規(guī)則的算法信息(FTP處理算法、SQLLoader處理算法、表 復(fù)制處理算法、縱橫表互轉(zhuǎn)處理算法等)。數(shù)據(jù)映射單元與執(zhí)行規(guī)則在配置上是相互獨立 的，但通過數(shù)據(jù)處理單元建立了兩者的關(guān)系。例如一個表復(fù)制的規(guī)則，通過提取數(shù)據(jù)處理 單元中配置的數(shù)據(jù)映射單元信息，實現(xiàn)將數(shù)據(jù)映射單元中配置好映射關(guān)系的兩個(或者多 個)實體間的數(shù)據(jù)進(jìn)行轉(zhuǎn)換。數(shù)據(jù)映射單元實現(xiàn)了由一張(或者多張)源表到一張目標(biāo)表 的字段映射關(guān)系。通過數(shù)據(jù)處理規(guī)則信息及其相關(guān)的數(shù)據(jù)映射單元信息，即可分析出數(shù)據(jù) 處理規(guī)則處理的數(shù)據(jù)，即獲得與流程配置節(jié)點相對應(yīng)的源數(shù)據(jù)或目標(biāo)數(shù)據(jù)。步驟202，配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；其中，所述配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息具體為配置所述數(shù)據(jù)處理過 程的執(zhí)行周期和/或推薦執(zhí)行時間。在本發(fā)明的數(shù)據(jù)處理過程中，需要配置每個數(shù)據(jù)處理過程的調(diào)度計劃信息。重點 是配置數(shù)據(jù)處理過程的執(zhí)行周期(例如月、周、日等)，執(zhí)行周期定義了一個數(shù)據(jù)處理過程 是按月執(zhí)行還是按周或日執(zhí)行，即以執(zhí)行周期為時間間隔觸發(fā)；其中，當(dāng)配置按月執(zhí)行時， 會精確到具體每個月的哪一天；當(dāng)配置按周執(zhí)行時，會精確到具體每周的哪一天。此外，還 可以給定數(shù)據(jù)處理過程的推薦執(zhí)行時間，推薦執(zhí)行時間是具體的時間點。本發(fā)明注重對數(shù) 據(jù)處理周期的配置，每一個數(shù)據(jù)處理過程均配置執(zhí)行周期；推薦執(zhí)行時間則作為輔助執(zhí)行 條件，可以配置該信息，也可以不配置該信息。步驟203，依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各個 數(shù)據(jù)處理過程間的協(xié)同處理。具體的，如圖4所示，為步驟203的子步驟的流程圖，包括子步驟2031，依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行；其中，具備推薦執(zhí)行時間的，依據(jù)執(zhí)行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述 調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。調(diào)度時間是具體的時間點，是調(diào)度周期 與推薦執(zhí)行時間匹配后的結(jié)果，包含年月日時分秒。例如，某一數(shù)據(jù)處理過程的執(zhí)行周期 為按周執(zhí)行、每周周三；推薦執(zhí)行時間為06:00:00，則在每周周三依據(jù)具體的調(diào)度時間， 如2010年12月15日06:00:00驅(qū)動該數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。
不具備推薦執(zhí)行時間的，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程開 始執(zhí)行。例如，預(yù)置時間點為00:00:00，執(zhí)行周期為按天執(zhí)行，則在每一天的00:00:00準(zhǔn)備 開始執(zhí)行調(diào)度；又如，預(yù)置時間點為12:00:00，執(zhí)行周期為按周執(zhí)行、每周周一，則每一周 第一天的12:00:00時準(zhǔn)備開始執(zhí)行調(diào)度。子步驟2032，依據(jù)配置信息進(jìn)行驅(qū)動檢查，判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù) 依賴；若是，則執(zhí)行2033 ；若否，則執(zhí)行2035 ；數(shù)據(jù)驅(qū)動是本方案驅(qū)動數(shù)據(jù)處理過程執(zhí)行的一個重要原則。一個數(shù)據(jù)處理過程 在配置的調(diào)度時間啟動時，需要進(jìn)行數(shù)據(jù)驅(qū)動的判斷，也即，依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處 理過程是否存在數(shù)據(jù)依賴，具體包括獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；判斷 所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的輸出關(guān)系的數(shù)據(jù)處理結(jié)果；如果是，則 當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處理過程存在數(shù)據(jù)依賴；如果 否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處理過程不存在數(shù)據(jù) 依賴。其中，所謂當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，也就是指當(dāng)前數(shù)據(jù)處理過程 的執(zhí)行需要在其它數(shù)據(jù)處理過程結(jié)束處理后才能開始，即當(dāng)前數(shù)據(jù)處理過程的開始執(zhí)行依 賴于其它數(shù)據(jù)處理過程的執(zhí)行結(jié)果。也就是說，通過將需要執(zhí)行的數(shù)據(jù)處理過程的輸入元數(shù)據(jù)到其它數(shù)據(jù)處理過程的 輸出元數(shù)據(jù)中進(jìn)行核對，當(dāng)核對結(jié)果中匹配到了其它的數(shù)據(jù)處理過程的輸出元數(shù)據(jù)時，則 認(rèn)為出現(xiàn)了數(shù)據(jù)依賴。子步驟2033，依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在周期依賴；若 是，則執(zhí)行2034 ；若否，則執(zhí)行2035 ；周期依賴是本方案驅(qū)動數(shù)據(jù)處理過程執(zhí)行的另一個重要原則。ODS系統(tǒng)中的眾 多數(shù)據(jù)處理過程的執(zhí)行周期要求是不同的，在數(shù)據(jù)驅(qū)動的基礎(chǔ)上，還需要增加周期的依賴， 即，當(dāng)兩個不同執(zhí)行周期的數(shù)據(jù)處理過程存在數(shù)據(jù)依賴的情況下，需要根據(jù)周期的情況來 進(jìn)行兩個數(shù)據(jù)處理過程間是否存在周期依賴。其主要是實現(xiàn)原則為長周期的數(shù)據(jù)處理過程 依賴于短周期的數(shù)據(jù)處理過程。所述依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在周 期依賴，具體為判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過程 的執(zhí)行周期；如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù)處 理過程不存在周期依賴。以“用戶話單數(shù)據(jù)處理過程”與“零次戶統(tǒng)計報表數(shù)據(jù)處理過程”為例，進(jìn)行說明。 其中，“用戶話單數(shù)據(jù)處理過程”的執(zhí)行周期為“按日執(zhí)行”，而“零次戶統(tǒng)計報表數(shù)據(jù)處理過 程”的執(zhí)行周期為“按月執(zhí)行、每月第一天”，且其處理的數(shù)據(jù)依賴于“用戶話單數(shù)據(jù)處理過 程”。因此，當(dāng)每月1日準(zhǔn)備開始執(zhí)行“零次戶統(tǒng)計報表數(shù)據(jù)處理過程”時，調(diào)度計劃在判定 “零次戶統(tǒng)計報表數(shù)據(jù)處理過程”存在數(shù)據(jù)依賴后，需要進(jìn)一步判定二者的執(zhí)行周期?；?本例，“零次戶統(tǒng)計報表數(shù)據(jù)處理過程”的執(zhí)行周期大于“用戶話單數(shù)據(jù)處理過程”的執(zhí)行周 期。因此，“零次戶統(tǒng)計報表數(shù)據(jù)處理過程”的執(zhí)行必須依賴于上月最后一天的“用戶話單 數(shù)據(jù)處理過程”的成功執(zhí)行才可以進(jìn)行。子步驟2034，暫停執(zhí)行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行 完畢，執(zhí)行步驟2035 ；如果當(dāng)前數(shù)據(jù)處理過程滿足數(shù)據(jù)依賴和周期依賴，即當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，且當(dāng)前數(shù)據(jù)處理過程的周期大于等于被依賴的數(shù)據(jù)處理過程，則調(diào)度程 序?qū)⒖刂七@兩個數(shù)據(jù)依賴的數(shù)據(jù)處理過程的先后執(zhí)行順序，暫停執(zhí)行當(dāng)前數(shù)據(jù)處理過程。 被依賴的數(shù)據(jù)處理過程在沒有正確執(zhí)行完畢時，當(dāng)前數(shù)據(jù)處理過程被掛起，直到其依賴的 數(shù)據(jù)處理過程正確執(zhí)行成功后才可激活，觸發(fā)當(dāng)前數(shù)據(jù)處理過程的暫停狀態(tài)，進(jìn)而恢復(fù)繼 續(xù)執(zhí)行。其中，當(dāng)前數(shù)據(jù)處理過程被掛起的過程中，依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依 賴的數(shù)據(jù)處理過程的執(zhí)行結(jié)果進(jìn)行查詢，獲知被依賴的數(shù)據(jù)處理過程是否正確執(zhí)行完畢。子步驟2035，執(zhí)行當(dāng)前數(shù)據(jù)處理過程。如果當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程；或者當(dāng)前數(shù)據(jù)處理過程依賴 于其它數(shù)據(jù)處理過程，但當(dāng)前數(shù)據(jù)處理過程的周期小于被依賴的數(shù)據(jù)處理過程，則其執(zhí)行 過程不受其它數(shù)據(jù)處理過程的影響，直接執(zhí)行當(dāng)前數(shù)據(jù)處理過程即可。本發(fā)明提出的一種數(shù)據(jù)處理過程的協(xié)同方法，具備不同執(zhí)行周期的數(shù)據(jù)處理過程 間的協(xié)同能力，依據(jù)所述配置信息和調(diào)度計劃信息自動執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各 個數(shù)據(jù)處理過程間的協(xié)同處理，無需對每個數(shù)據(jù)處理過程設(shè)定執(zhí)行時間，減少了冗余的等 待執(zhí)行時間，提高ODS系統(tǒng)的數(shù)據(jù)處理效率。進(jìn)一步，本發(fā)明注重對數(shù)據(jù)處理周期的配置，推薦執(zhí)行時間則作為輔助執(zhí)行條件， 以實現(xiàn)不同數(shù)據(jù)處理過程先后執(zhí)行順序。相比于現(xiàn)有技術(shù)中，通過預(yù)估每個數(shù)據(jù)處理過程 的執(zhí)行耗時，制定每個數(shù)據(jù)處理過程的先后執(zhí)行時間，利用本發(fā)明的方法，配置人員無需關(guān) 心具體數(shù)據(jù)處理過程的執(zhí)行時間長度，而重點關(guān)注數(shù)據(jù)處理過程的周期配置，簡化了數(shù)據(jù) 處理過程的配置。此外，相比于現(xiàn)有技術(shù)中，通過設(shè)定數(shù)據(jù)處理過程之間的執(zhí)行依賴，實現(xiàn)數(shù)據(jù)處理 過程的先后執(zhí)行，本發(fā)明無需進(jìn)行此種關(guān)系的配置，而是根據(jù)數(shù)據(jù)驅(qū)動，自動判定數(shù)據(jù)處理 過程間的依賴關(guān)系，同樣簡化了數(shù)據(jù)處理過程的配置，降低了對操作人員的業(yè)務(wù)要求。需要說明的是，在實際應(yīng)用過程中，本發(fā)明一般不提供數(shù)據(jù)處理過程的執(zhí)行周期 的配置界面，數(shù)據(jù)處理過程的配置界面都是在原ETL工具中進(jìn)行配置，以及進(jìn)行周期、執(zhí)行 時間的配置。本方案采用增強(qiáng)模塊的形式依附于原ETL工具，對其配置的數(shù)據(jù)處理過程中 關(guān)心的信息進(jìn)行抽取。下面舉一個具體的例子進(jìn)行詳細(xì)說明。參照圖5，為具有依賴關(guān)系的兩個數(shù)據(jù)處 理過程的執(zhí)行過程示意圖。本實施例以“CRM訂單數(shù)據(jù)處理過程”和“客戶資料寬表處理過 程”進(jìn)行舉例說明。其中，數(shù)據(jù)處理過程A為“CRM訂單數(shù)據(jù)處理過程”，數(shù)據(jù)處理過程B為 “客戶資料寬表處理過程”，具體的處理過程如下Si，分別建立“CRM訂單數(shù)據(jù)處理過程”與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息，以及 “客戶資料寬表處理過程”與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；抽取“CRM訂單數(shù)據(jù)處理過程”和“客戶資料寬表處理過程”的流程配置節(jié)點，并獲 得類型為“數(shù)據(jù)抽取”和“數(shù)據(jù)加載”的流程配置節(jié)點。進(jìn)一步，對于“CRM訂單數(shù)據(jù)處理過程”，將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分 析出的元數(shù)據(jù)A定義為“CRM訂單數(shù)據(jù)處理過程”的數(shù)據(jù)源，并建立元數(shù)據(jù)A與“CRM訂單數(shù) 據(jù)處理過程”的輸入關(guān)系；將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的元數(shù)據(jù)B定義 為“CRM訂單數(shù)據(jù)處理過程”的數(shù)據(jù)處理結(jié)果，并建立元數(shù)據(jù)B與“CRM訂單數(shù)據(jù)處理過程” 的輸出關(guān)系。
對于“客戶資料寬表處理過程”，將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的 元數(shù)據(jù)B定義為“客戶資料寬表處理過程”的數(shù)據(jù)源，并建立元數(shù)據(jù)B與“CRM訂單數(shù)據(jù)處理 過程”的輸入關(guān)系；將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的元數(shù)據(jù)C定義為“客 戶資料寬表處理過程”的數(shù)據(jù)處理結(jié)果，并建立元數(shù)據(jù)C與“客戶資料寬表處理過程”的輸 出關(guān)系。S2，配置“CRM訂單數(shù)據(jù)處理過程”和“客戶資料寬表處理過程”的調(diào)度計劃信息；其中，針對“CRM訂單數(shù)據(jù)處理過程”，配置其執(zhí)行周期為“按天執(zhí)行”，推薦執(zhí)行時 間為“0 30 00，，；針對“客戶資料寬表處理過程”，配置其執(zhí)行周期為“按天執(zhí)行”。S3，分別依據(jù)調(diào)度計劃信息驅(qū)動“CRM訂單數(shù)據(jù)處理過程”和“客戶資料寬表處理 過程”準(zhǔn)備開始執(zhí)行；針對“CRM訂單數(shù)據(jù)處理過程”，按照執(zhí)行周期“天”，推薦執(zhí)行時間“00 30 00”，在 每天的“00:30:00”驅(qū)動該數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。由于“客戶資料寬表處理過程”不 具備推薦執(zhí)行時間，則依據(jù)執(zhí)行周期在預(yù)置時間點，如每天的“00:00:00”驅(qū)動該數(shù)據(jù)處理 過程準(zhǔn)備開始執(zhí)行.S4，依據(jù)配置信息進(jìn)行驅(qū)動檢查，判斷“客戶資料寬表處理過程”依賴于“CRM訂單 數(shù)據(jù)處理過程”；客戶資料寬表處理過程”的輸入關(guān)系的數(shù)據(jù)源為元數(shù)據(jù)B，"CRM訂單數(shù)據(jù)處理過 程”的輸出關(guān)系的數(shù)據(jù)處理結(jié)果也為元數(shù)據(jù)B，則判斷“客戶資料寬表處理過程^賴于“CRM 訂單數(shù)據(jù)處理過程”。S5，依據(jù)調(diào)度計劃信息判斷“客戶資料寬表處理過程”的執(zhí)行周期等于“CRM訂單 數(shù)據(jù)處理過程”的執(zhí)行周期，則暫停執(zhí)行“客戶資料寬表處理過程”；S6，依據(jù)配置信息進(jìn)行驅(qū)動檢查，判斷“CRM訂單數(shù)據(jù)處理過程”不依賴于其它數(shù)據(jù) 處理過程，在“03 30 00”直接驅(qū)動“CRM訂單數(shù)據(jù)處理過程”開始執(zhí)行；S7，對“CRM訂單數(shù)據(jù)處理過程”進(jìn)行數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載這 四個流程配置節(jié)點；其中，通過預(yù)置間隔時間的探測機(jī)制，即每隔一段時間對“CRM訂單數(shù)據(jù)處理過程” 的執(zhí)行結(jié)果進(jìn)行查詢，獲知“CRM訂單數(shù)據(jù)處理過程”是否正確執(zhí)行完畢。S8，"CRM訂單數(shù)據(jù)處理過程”正確執(zhí)行完畢，“客戶資料寬表處理過程”結(jié)束暫停， 開始執(zhí)行；S9，“客戶資料寬表處理過程”進(jìn)行數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載這四 個流程配置節(jié)點，并正確執(zhí)行完畢。通過上述方法，實現(xiàn)了 “CRM訂單數(shù)據(jù)處理過程”，和“客戶資料寬表處理過程”的 協(xié)同處理。配置人員無需關(guān)心具體數(shù)據(jù)處理過程的執(zhí)行時間長度，而重點關(guān)注數(shù)據(jù)處理過 程的周期配置。例如，對于“客戶數(shù)據(jù)寬表數(shù)據(jù)處理過程”，無需了解“CRM訂單數(shù)據(jù)處理過 程”的執(zhí)行時間長度及執(zhí)行開始時間，僅需要將調(diào)度計劃的周期配置為“按日執(zhí)行”即可，無 需精確到“4:00分”。減少了具有依賴關(guān)系的數(shù)據(jù)處理過程的等待執(zhí)行時間，提高ODS系統(tǒng) 的數(shù)據(jù)處理效率?？梢岳斫獾氖?，在ODS系統(tǒng)中存在大量的數(shù)據(jù)處理過程，包括同時進(jìn)行的和具有 執(zhí)行先后順序的多個數(shù)據(jù)處理過程。為方便說明，本發(fā)明實施例僅以上述兩個數(shù)據(jù)處理過程為例進(jìn)行介紹，其他的數(shù)據(jù)處理過程可相互參見。參照圖6，示出了本發(fā)明一種數(shù)據(jù)處理過程的協(xié)同裝置實施例的結(jié)構(gòu)圖，包括配置信息建立模塊601，用于建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置 信息；所述元數(shù)據(jù)包括數(shù)據(jù)源和數(shù)據(jù)處理結(jié)果；調(diào)度計劃配置模塊602，用于配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；數(shù)據(jù)處理執(zhí)行模塊603，用于依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù) 處理過程，實現(xiàn)各個數(shù)據(jù)處理過程間的協(xié)同處理。進(jìn)一步，參照圖6，所述配置信息建立模塊601包括節(jié)點獲取子模塊6011，用于抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù) 據(jù)抽取”和“數(shù)據(jù)加載”的流程配置節(jié)點；輸入關(guān)系建立子模塊6012，用于將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的 源數(shù)據(jù)定義為數(shù)據(jù)源，并建立所述數(shù)據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；輸出關(guān)系建立子模塊6013，用于將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的 目標(biāo)數(shù)據(jù)定義為數(shù)據(jù)處理結(jié)果，并建立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。進(jìn)一步，所述調(diào)度計劃配置模塊配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息具體為 配置所述數(shù)據(jù)處理過程的執(zhí)行周期和/或推薦執(zhí)行時間。優(yōu)選的，所述數(shù)據(jù)處理執(zhí)行模塊603包括驅(qū)動準(zhǔn)備開始子模塊6031，用于依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí) 行；數(shù)據(jù)依賴判斷子模塊6032，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在 數(shù)據(jù)依賴；若否，直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊6033，若是，則觸發(fā)周期依賴判斷子模塊 6034 ；數(shù)據(jù)處理執(zhí)行子模塊6033，用于執(zhí)行當(dāng)前數(shù)據(jù)處理過程；周期依賴判斷子模塊6034，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù) 據(jù)依賴；若否，暫停執(zhí)行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行完畢，觸 發(fā)數(shù)據(jù)處理執(zhí)行子模塊6033，若是，則直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊6033。在本發(fā)明的一個優(yōu)選實施例中，所述驅(qū)動準(zhǔn)備子模塊依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù) 處理過程準(zhǔn)備開始執(zhí)行，具體為依據(jù)執(zhí)行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù)處 理過程準(zhǔn)備開始執(zhí)行；或者，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開 始執(zhí)行。在本發(fā)明的一個優(yōu)選實施例中，所述數(shù)據(jù)依賴判斷子模塊包括數(shù)據(jù)源獲取單元，用于獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；依賴關(guān)系判斷單元，用于判斷所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的 輸出關(guān)系的數(shù)據(jù)處理結(jié)果；如果是，則當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng) 前數(shù)據(jù)處理過程存在數(shù)據(jù)依賴；如果否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程， 判斷當(dāng)前數(shù)據(jù)處理過程不存在數(shù)據(jù)依賴。進(jìn)一步，所述依賴判斷子模塊依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在 周期依賴，具體為
判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過程的執(zhí)行 周期；如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù)處理過程 不存在周期依賴。在本發(fā)明的另一個優(yōu)選實施例中，所述數(shù)據(jù)處理執(zhí)行模塊還包括執(zhí)行結(jié)果查詢子模塊，用于依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依賴的數(shù)據(jù)處理 過程的執(zhí)行結(jié)果進(jìn)行查詢，獲知被依賴的數(shù)據(jù)處理過程是否正確執(zhí)行完畢。本說明書中的各個實施例均采用遞進(jìn)的方式描述，每個實施例重點說明的都是與 其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于系統(tǒng)實施例 而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部 分說明即可。以上對本發(fā)明所提供的一種數(shù)據(jù)處理過程的協(xié)同方法和裝置，進(jìn)行了詳細(xì)介紹， 本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進(jìn)行了闡述，以上實施例的說明只是用 于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的 思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為 對本發(fā)明的限制。
權(quán)利要求
1.一種數(shù)據(jù)處理過程的協(xié)同方法，其特征在于，包括建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；所述元數(shù)據(jù)包括數(shù)據(jù)源和 數(shù)據(jù)處理結(jié)果；配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各個數(shù)據(jù)處理過程 間的協(xié)同處理。
2.如權(quán)利要求1所述的方法，其特征在于，所述建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸 出關(guān)系的配置信息，包括抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù)據(jù)抽取”和“數(shù)據(jù)加載”的流程 配置節(jié)點；將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的源數(shù)據(jù)定義為數(shù)據(jù)源，并建立所述數(shù) 據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的目標(biāo)數(shù)據(jù)定義為數(shù)據(jù)處理結(jié)果，并建 立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。
3.如權(quán)利要求1所述的方法，其特征在于，所述配置各個數(shù)據(jù)處理過程的調(diào)度計劃信 息具體為配置所述數(shù)據(jù)處理過程的執(zhí)行周期和/或推薦執(zhí)行時間。
4.如權(quán)利要求1至3中任一權(quán)利要求所述的方法，其特征在于，所述依據(jù)所述配置信息 和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，包括依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行；依據(jù)配置信息進(jìn)行驅(qū)動檢查，判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依賴；若否，則直接執(zhí)行當(dāng)前數(shù)據(jù)處理過程；若是，則依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在周期依賴；若是，則暫停執(zhí) 行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行完畢，執(zhí)行當(dāng)前數(shù)據(jù)處理過程； 若否，則執(zhí)行當(dāng)前數(shù)據(jù)處理過程。
5.如權(quán)利要求4所述的方法，其特征在于，所述依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程 準(zhǔn)備開始執(zhí)行，具體為依據(jù)執(zhí)行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù)處理過 程準(zhǔn)備開始執(zhí)行；或者，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。
6.如權(quán)利要求4所述的方法，其特征在于，所述依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程 是否存在數(shù)據(jù)依賴，包括獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；判斷所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的輸出關(guān)系的數(shù)據(jù)處理結(jié)果；如果是，則當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處理過程存在 數(shù)據(jù)依賴；如果否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù)據(jù)處理過 程不存在數(shù)據(jù)依賴。
7.如權(quán)利要求6所述的方法，其特征在于，所述依據(jù)調(diào)度計劃信息判斷當(dāng)前數(shù)據(jù)處理 過程是否存在周期依賴，具體為判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過程的執(zhí)行周期； 如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù)處理過程不存在 周期依賴。
8.如權(quán)利要求4所述的方法，其特征在于，所述依據(jù)所述配置信息和調(diào)度計劃信息執(zhí) 行相應(yīng)的數(shù)據(jù)處理過程，還包括依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依賴的數(shù)據(jù)處理過程的執(zhí)行結(jié)果進(jìn)行查詢，獲知 被依賴的數(shù)據(jù)處理過程是否正確執(zhí)行完畢。
9.一種數(shù)據(jù)處理過程的協(xié)同裝置，其特征在于，包括配置信息建立模塊，用于建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；所 述元數(shù)據(jù)包括數(shù)據(jù)源和數(shù)據(jù)處理結(jié)果；調(diào)度計劃配置模塊，用于配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息； 數(shù)據(jù)處理執(zhí)行模塊，用于依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過 程，實現(xiàn)各個數(shù)據(jù)處理過程間的協(xié)同處理。
10.如權(quán)利要求9所述的裝置，其特征在于，所述配置信息建立模塊包括節(jié)點獲取子模塊，用于抽取數(shù)據(jù)處理過程的流程配置節(jié)點，并獲得類型為“數(shù)據(jù)抽取” 和“數(shù)據(jù)加載”的流程配置節(jié)點；輸入關(guān)系建立子模塊，用于將從“數(shù)據(jù)抽取”類型的流程配置節(jié)點中分析出的源數(shù)據(jù)定 義為數(shù)據(jù)源，并建立所述數(shù)據(jù)源與數(shù)據(jù)處理過程的輸入關(guān)系；輸出關(guān)系建立子模塊，用于將從“數(shù)據(jù)加載”類型的流程配置節(jié)點中分析出的目標(biāo)數(shù)據(jù) 定義為數(shù)據(jù)處理結(jié)果，并建立所述數(shù)據(jù)處理結(jié)果與數(shù)據(jù)處理過程的輸出關(guān)系。
11.如權(quán)利要求9所述的裝置，其特征在于，所述調(diào)度計劃配置模塊配置各個數(shù)據(jù)處理 過程的調(diào)度計劃信息具體為配置所述數(shù)據(jù)處理過程的執(zhí)行周期和/或推薦執(zhí)行時間。
12.如權(quán)利要求9至11中任一權(quán)利要求所述的裝置，其特征在于，所述數(shù)據(jù)處理執(zhí)行模 塊包括驅(qū)動準(zhǔn)備開始子模塊，用于依據(jù)調(diào)度計劃信息驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行； 數(shù)據(jù)依賴判斷子模塊，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依賴； 若否，直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊，若是，則觸發(fā)周期依賴判斷子模塊； 數(shù)據(jù)處理執(zhí)行子模塊，用于執(zhí)行當(dāng)前數(shù)據(jù)處理過程；周期依賴判斷子模塊，用于依據(jù)配置信息判斷當(dāng)前數(shù)據(jù)處理過程是否存在數(shù)據(jù)依賴； 若否，暫停執(zhí)行當(dāng)前數(shù)據(jù)處理過程，直到被依賴的數(shù)據(jù)處理過程正確執(zhí)行完畢，觸發(fā)數(shù)據(jù)處 理執(zhí)行子模塊，若是，則直接觸發(fā)數(shù)據(jù)處理執(zhí)行子模塊。
13.如權(quán)利要求12所述的裝置，其特征在于，所述驅(qū)動準(zhǔn)備子模塊依據(jù)調(diào)度計劃信息 驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行，具體為依據(jù)執(zhí)行周期和推薦執(zhí)行時間生成調(diào)度時間，在所述調(diào)度時間到達(dá)時驅(qū)動數(shù)據(jù)處理過 程準(zhǔn)備開始執(zhí)行；或者，依據(jù)執(zhí)行周期在預(yù)置時間點到達(dá)時驅(qū)動數(shù)據(jù)處理過程準(zhǔn)備開始執(zhí)行。
14.如權(quán)利要求12所述的裝置，其特征在于，所述數(shù)據(jù)依賴判斷子模塊包括 數(shù)據(jù)源獲取單元，用于獲取當(dāng)前數(shù)據(jù)處理過程的輸入關(guān)系的數(shù)據(jù)源；依賴關(guān)系判斷單元，用于判斷所述輸入關(guān)系的數(shù)據(jù)源是否為其它數(shù)據(jù)處理過程的輸出 關(guān)系的數(shù)據(jù)處理結(jié)果；如果是，則當(dāng)前數(shù)據(jù)處理過程依賴于其它數(shù)據(jù)處理過程，判斷當(dāng)前數(shù) 據(jù)處理過程存在數(shù)據(jù)依賴；如果否，則當(dāng)前數(shù)據(jù)處理過程不依賴于其它數(shù)據(jù)處理過程，判斷 當(dāng)前數(shù)據(jù)處理過程不存在數(shù)據(jù)依賴。
15.如權(quán)利要求14所述的裝置，其特征在于，所述依賴判斷子模塊依據(jù)調(diào)度計劃信息 判斷當(dāng)前數(shù)據(jù)處理過程是否存在周期依賴，具體為判斷當(dāng)前數(shù)據(jù)處理過程的執(zhí)行周期是否大于等于被依賴的數(shù)據(jù)處理過程的執(zhí)行周期； 如果是，則判斷當(dāng)前數(shù)據(jù)處理過程存在周期依賴；如果否，則判斷當(dāng)前數(shù)據(jù)處理過程不存在 周期依賴。
16.如權(quán)利要求12所述的裝置，其特征在于，所述數(shù)據(jù)處理執(zhí)行模塊還包括執(zhí)行結(jié)果查詢子模塊，用于依據(jù)預(yù)置間隔時間的探測機(jī)制，對被依賴的數(shù)據(jù)處理過程 的執(zhí)行結(jié)果進(jìn)行查詢，獲知被依賴的數(shù)據(jù)處理過程是否正確執(zhí)行完畢。
全文摘要
本發(fā)明提供了一種數(shù)據(jù)處理過程的協(xié)同方法和裝置，所述方法包括建立數(shù)據(jù)處理過程與元數(shù)據(jù)的輸入輸出關(guān)系的配置信息；所述元數(shù)據(jù)包括數(shù)據(jù)源和數(shù)據(jù)處理結(jié)果；配置各個數(shù)據(jù)處理過程的調(diào)度計劃信息；依據(jù)所述配置信息和調(diào)度計劃信息執(zhí)行相應(yīng)的數(shù)據(jù)處理過程，實現(xiàn)各個數(shù)據(jù)處理過程間的協(xié)同處理。通過本發(fā)明減少了冗余的等待執(zhí)行時間，提高了ODS系統(tǒng)的數(shù)據(jù)處理效率，并且簡化了數(shù)據(jù)處理過程的配置。
文檔編號G06Q10/00GK102096857SQ20101060709
公開日2011年6月15日 申請日期2010年12月27日 優(yōu)先權(quán)日2010年12月27日
發(fā)明者孫繼綱, 林榮華, 王宇, 趙雨佳 申請人:大唐軟件技術(shù)股份有限公司