一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法及系統(tǒng)，包括數(shù)據(jù)采集模塊、動(dòng)態(tài)建庫(kù)模塊、入庫(kù)加載模塊、數(shù)據(jù)持久層模塊。數(shù)據(jù)采集模塊用于定義數(shù)據(jù)源、提供數(shù)據(jù)源特征、定制采集方法；動(dòng)態(tài)建庫(kù)模塊根據(jù)數(shù)據(jù)結(jié)構(gòu)定制元數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)；入庫(kù)加載模塊用于數(shù)據(jù)結(jié)構(gòu)再定義和加載入庫(kù)；數(shù)據(jù)持久層模塊用于元數(shù)據(jù)庫(kù)管理。本發(fā)明提供的集成系統(tǒng)具有靈活的可擴(kuò)展性和通用性，處理用戶在數(shù)據(jù)結(jié)構(gòu)不明確時(shí)對(duì)復(fù)雜多源數(shù)據(jù)的集成問(wèn)題，為數(shù)據(jù)決策分析提供可靠的數(shù)據(jù)集保障。
【專利說(shuō)明】一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域，尤其是涉及一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法及系統(tǒng)，。
【背景技術(shù)】
[0002]隨著當(dāng)今社會(huì)數(shù)據(jù)的日益膨脹，生產(chǎn)、通信、醫(yī)療等行業(yè)產(chǎn)生了大量非結(jié)構(gòu)化的實(shí)時(shí)或滯后數(shù)據(jù)，這些數(shù)據(jù)呈現(xiàn)出結(jié)構(gòu)相異、來(lái)源渠道多樣、數(shù)據(jù)冗余程度高等特點(diǎn)，不僅在數(shù)據(jù)采集角度的用戶增加了不斷重復(fù)的工作量，不同數(shù)據(jù)源的入庫(kù)加載也是極其繁瑣的，數(shù)據(jù)集成入庫(kù)的過(guò)程中增加了失誤的概率。
[0003]目前典型的數(shù)據(jù)集成過(guò)程是抽取、轉(zhuǎn)換、降維、集成，但是這四個(gè)過(guò)程卻忽略了動(dòng)態(tài)性，其必須要有針對(duì)性的設(shè)計(jì)一套方案進(jìn)行源數(shù)據(jù)的集成工作，缺乏靈活性和通用性，傳統(tǒng)的異構(gòu)多源數(shù)據(jù)集成，不同的數(shù)據(jù)源必須有不同的數(shù)據(jù)集成方法，這有一個(gè)弊端，就是一旦某一環(huán)節(jié)出現(xiàn)問(wèn)題(比如數(shù)據(jù)采集時(shí)出現(xiàn)數(shù)據(jù)結(jié)構(gòu)解析錯(cuò)誤)，未來(lái)的數(shù)據(jù)集成和數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建將毫無(wú)意義。
[0004]比如在重鋼集團(tuán)熱連軋工藝生產(chǎn)流程中，針對(duì)某一生產(chǎn)線產(chǎn)生的實(shí)時(shí)數(shù)據(jù)，當(dāng)生產(chǎn)流程或采集點(diǎn)樣本數(shù)據(jù)結(jié)構(gòu)發(fā)生變化時(shí)，企業(yè)只能重新設(shè)計(jì)一套新方案來(lái)采集新數(shù)據(jù)源，這無(wú)疑為企業(yè)增加了繁瑣的工作量，而且在采集方案的設(shè)計(jì)過(guò)程中增加了人工失誤率。
[0005]因此，異構(gòu)多源數(shù)據(jù)集成工作的通用性愈發(fā)重要。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明的目的在于提供一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法及系統(tǒng)，它的特點(diǎn)是在數(shù)據(jù)采集過(guò)程中提供一種動(dòng)態(tài)定制異構(gòu)多源數(shù)據(jù)采集方法的機(jī)制，在整個(gè)系統(tǒng)中定義了一種多數(shù)據(jù)源的層次化管理模式，在數(shù)據(jù)入庫(kù)加載模塊實(shí)現(xiàn)了一種靈活的業(yè)務(wù)數(shù)據(jù)再定義方法，另外提供了一種元數(shù)據(jù)管理機(jī)制和動(dòng)態(tài)數(shù)據(jù)集成方法。
[0007]為了實(shí)現(xiàn)本發(fā)明的目的，采用以下技術(shù)方案:
一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)，該系統(tǒng)適用于開(kāi)放生產(chǎn)環(huán)境中多源、異構(gòu)數(shù)據(jù)的集成，支持?jǐn)?shù)據(jù)源動(dòng)態(tài)變化和數(shù)據(jù)采集方式相對(duì)靈活多變的情況，所述系統(tǒng)包括數(shù)據(jù)采集模塊、動(dòng)態(tài)建庫(kù)模塊、入庫(kù)加載模塊、數(shù)據(jù)持久層模塊；
所述數(shù)據(jù)采集模塊動(dòng)態(tài)為各數(shù)據(jù)源量身定做采集方法并發(fā)送至數(shù)據(jù)持久層模塊，采集數(shù)據(jù)至系統(tǒng)緩存庫(kù)，完成數(shù)據(jù)源的定義，提取數(shù)據(jù)源特征并發(fā)送至動(dòng)態(tài)建庫(kù)模塊；
所述動(dòng)態(tài)建庫(kù)模塊接收數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)源特征，用于為異構(gòu)多源數(shù)據(jù)動(dòng)態(tài)定制業(yè)務(wù)數(shù)據(jù)庫(kù)和元數(shù)據(jù)庫(kù)，生成元表記錄并更新元數(shù)據(jù)庫(kù)數(shù)據(jù)；
所述入庫(kù)加載模塊接收數(shù)據(jù)采集模塊緩存庫(kù)的轉(zhuǎn)換后的數(shù)據(jù)，并做再定義處理，實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)統(tǒng)一性，并引導(dǎo)多源數(shù)據(jù)進(jìn)入相應(yīng)業(yè)務(wù)數(shù)據(jù)庫(kù)；
所述數(shù)據(jù)持久層模塊存儲(chǔ)異構(gòu)多源業(yè)務(wù)數(shù)據(jù)、異構(gòu)多源元數(shù)據(jù)和數(shù)據(jù)采集模塊定制的采集方法，提供元數(shù)據(jù)庫(kù)管理機(jī)制，并實(shí)現(xiàn)元數(shù)據(jù)庫(kù)與業(yè)務(wù)數(shù)據(jù)的兩庫(kù)聯(lián)動(dòng)。[0008]所述數(shù)據(jù)采集模塊包括:
數(shù)據(jù)源定義單元，用于在數(shù)據(jù)持久層定義數(shù)據(jù)源基本信息；
采集方法動(dòng)態(tài)定制單元，用于管理多源數(shù)據(jù)相應(yīng)的數(shù)據(jù)采集方法，并將采集方法發(fā)送給采集方法庫(kù)；
特征提取單元，用于提取數(shù)據(jù)源的屬性、數(shù)據(jù)結(jié)構(gòu)等信息，并將其發(fā)送給動(dòng)態(tài)建庫(kù)模塊。
[0009]所述動(dòng)態(tài)建庫(kù)模塊包括:
元數(shù)據(jù)庫(kù)動(dòng)態(tài)定制單元，用于為各數(shù)據(jù)源動(dòng)態(tài)定制元數(shù)據(jù)庫(kù)表結(jié)構(gòu)，接收數(shù)據(jù)采集模塊的數(shù)據(jù)源特征信息，并依此作為元表記錄更新元數(shù)據(jù)庫(kù)；
業(yè)務(wù)數(shù)據(jù)庫(kù)動(dòng)態(tài)定制單元，為各數(shù)據(jù)源動(dòng)態(tài)定制業(yè)務(wù)數(shù)據(jù)庫(kù)。
[0010]所述入庫(kù)加載模塊包括:
數(shù)據(jù)源再定義單元，用于接收數(shù)據(jù)采集模塊緩存庫(kù)中的數(shù)據(jù)，通過(guò)分析元數(shù)據(jù)庫(kù)屬性間關(guān)系對(duì)數(shù)據(jù)結(jié)構(gòu)再定義；
入庫(kù)加載單元，用于根據(jù)各數(shù)據(jù)源特征定制入庫(kù)引導(dǎo)程序，并完成數(shù)據(jù)入庫(kù)加載工作。
[0011]本發(fā)明還提出一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法，該集成方法包括以下步驟: 步驟1、采集源數(shù)據(jù)并向系統(tǒng)提供數(shù)據(jù)源特征、定制采集方法；
步驟2、動(dòng)態(tài)定制元數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)；
步驟3、對(duì)業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)再定義，生成入庫(kù)引導(dǎo)程序并完成業(yè)務(wù)數(shù)據(jù)入庫(kù)。
[0012]所述步驟I還包括以下具體步驟:
步驟1.1，所述數(shù)據(jù)采集模塊在數(shù)據(jù)持久層定義數(shù)據(jù)源；
步驟1.2，所述數(shù)據(jù)采集模塊動(dòng)態(tài)定制各數(shù)據(jù)源的采集方法，并發(fā)送至采集方法庫(kù)； 步驟1.3，所述數(shù)據(jù)采集模塊提取各數(shù)據(jù)源的特征信息并發(fā)送至動(dòng)態(tài)建庫(kù)模塊。
[0013]所述步驟2還包括以下具體步驟:
步驟2.1,所述動(dòng)態(tài)建庫(kù)模塊定制表元表和屬性元表；
步驟2.2，所述動(dòng)態(tài)建庫(kù)模塊定制業(yè)務(wù)數(shù)據(jù)庫(kù)結(jié)構(gòu)。
[0014]步驟3包括以下具體步驟:
步驟3.1，所述入庫(kù)加載模塊動(dòng)態(tài)定制各數(shù)據(jù)源的入庫(kù)引導(dǎo)程序；
步驟3.2，所述入庫(kù)加載模塊接收數(shù)據(jù)采集模塊的數(shù)據(jù)，進(jìn)行數(shù)據(jù)結(jié)構(gòu)再定義；
步驟3.3，所述入庫(kù)引導(dǎo)程序?qū)⒃俣x后的數(shù)據(jù)加載至業(yè)務(wù)數(shù)據(jù)庫(kù)中。
[0015]本發(fā)明的優(yōu)點(diǎn)在于，它使用區(qū)別于傳統(tǒng)異構(gòu)多源數(shù)據(jù)集成的動(dòng)態(tài)集成方法，利用源數(shù)據(jù)特征定制數(shù)據(jù)采集方法和元數(shù)據(jù)庫(kù)，再通過(guò)元數(shù)據(jù)庫(kù)進(jìn)行業(yè)務(wù)數(shù)據(jù)庫(kù)結(jié)構(gòu)的定制和數(shù)據(jù)結(jié)構(gòu)再定義，引導(dǎo)入庫(kù)方法也實(shí)現(xiàn)了其動(dòng)態(tài)定制，為異構(gòu)多源數(shù)據(jù)的集成帶來(lái)了機(jī)動(dòng)性，其中采集方法和數(shù)據(jù)庫(kù)的定制也更加通用，元數(shù)據(jù)庫(kù)管理機(jī)制更提供了一種靈活的數(shù)據(jù)庫(kù)管理模式。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1是本發(fā)明的系統(tǒng)流程圖；
圖2是本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖；
圖3是本發(fā)明的異構(gòu)多源數(shù)據(jù)的采集示意圖； 圖4是本發(fā)明的多元化業(yè)務(wù)層次管理模型圖；
圖5是本發(fā)明的多源數(shù)據(jù)的特征提取示意圖；
圖6是本發(fā)明的動(dòng)態(tài)數(shù)據(jù)入庫(kù)加載示意圖；
圖7是本發(fā)明的元數(shù)據(jù)管理機(jī)制圖；
圖8是本發(fā)明的數(shù)據(jù)庫(kù)系統(tǒng)層次圖。
【具體實(shí)施方式】
[0017]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0018]本發(fā)明提供一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法與系統(tǒng)，該系統(tǒng)尤其適用于開(kāi)放生產(chǎn)環(huán)境中多源、異構(gòu)數(shù)據(jù)的集成，并且支持?jǐn)?shù)據(jù)源動(dòng)態(tài)變化和數(shù)據(jù)采集方式相對(duì)靈活多變的情況。
[0019]該提供了一種動(dòng)態(tài)定制異構(gòu)多源數(shù)據(jù)采集方法的機(jī)制，可對(duì)不同結(jié)構(gòu)的數(shù)據(jù)源進(jìn)行采集方法的定制和管理，并在數(shù)據(jù)接入到系統(tǒng)時(shí)對(duì)不同來(lái)源的數(shù)據(jù)調(diào)用相應(yīng)的方法進(jìn)行格式轉(zhuǎn)換、整理等采集工作，最終統(tǒng)一在相同的數(shù)據(jù)格式下；定義了一種多數(shù)據(jù)源的層次化管理模式，將所有數(shù)據(jù)源統(tǒng)一在一個(gè)包括數(shù)據(jù)源層次、特征層次、業(yè)務(wù)層次三層邏輯的多層邏輯管理模式下，從而適應(yīng)數(shù)據(jù)源的動(dòng)態(tài)變化，實(shí)現(xiàn)數(shù)據(jù)特征的統(tǒng)一管理；提供了一種元數(shù)據(jù)管理機(jī)制，元數(shù)據(jù)庫(kù)與業(yè)務(wù)數(shù)據(jù)庫(kù)之間可以動(dòng)態(tài)聯(lián)動(dòng)，是真正意義上的“庫(kù)管理庫(kù)”；實(shí)現(xiàn)了一種靈活的業(yè)務(wù)數(shù)據(jù)再定義方法，針對(duì)各異構(gòu)數(shù)據(jù)源的特征，將各數(shù)據(jù)源的業(yè)務(wù)數(shù)據(jù)進(jìn)行重組，形成新的再定義元表；提供了一種動(dòng)態(tài)數(shù)據(jù)集成方法，通過(guò)數(shù)據(jù)源動(dòng)態(tài)入庫(kù)引導(dǎo)，實(shí)現(xiàn)了數(shù)據(jù)批量高效加載入庫(kù)。
[0020]系統(tǒng)是一個(gè)層次管理模型，如圖4所示的三層結(jié)構(gòu)，第一層是數(shù)據(jù)源層次，負(fù)責(zé)管理各生產(chǎn)工廠數(shù)據(jù)基本信息(如北海鋼鐵的處理鋼種號(hào)、首次接入時(shí)間、數(shù)據(jù)源種類和種數(shù)等)；第二層是特征層次，統(tǒng)一管理各工廠元數(shù)據(jù)數(shù)據(jù)，例如表元表和屬性元表均由特征層次管理；業(yè)務(wù)層次便是具體業(yè)務(wù)數(shù)據(jù)表，例如北海鋼鐵的BH_RM_SET表保存了軋鋼過(guò)程中的粗軋?jiān)O(shè)定數(shù)據(jù)，又如重慶鋼鐵的CQ_FM_C0MC0N_DATA表保存了軋鋼過(guò)程的公共常量。
[0021]如圖2所示，異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)包括數(shù)據(jù)采集模塊、動(dòng)態(tài)建庫(kù)模塊、入庫(kù)加載模塊、數(shù)據(jù)持久層模塊，完成從數(shù)據(jù)的采集、采集方法的定制、數(shù)據(jù)源特征提取、數(shù)據(jù)結(jié)構(gòu)再定義到最終完成數(shù)據(jù)加載的操作。系統(tǒng)通過(guò)數(shù)據(jù)采集模塊定制采集方法并提供數(shù)據(jù)源特征；動(dòng)態(tài)建庫(kù)模塊完成元數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)的定制；入庫(kù)加載模塊將數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中；數(shù)據(jù)持久層模塊通過(guò)元數(shù)據(jù)庫(kù)管理機(jī)制使業(yè)務(wù)數(shù)據(jù)庫(kù)的管理更加效率。
[0022]其中，數(shù)據(jù)采集模塊由定義數(shù)據(jù)源，動(dòng)態(tài)定制采集方法，特征提取三部分功能構(gòu)成。
[0023]數(shù)據(jù)采集模塊通過(guò)用戶判斷數(shù)據(jù)庫(kù)中是否為數(shù)據(jù)源已備案定義數(shù)據(jù)源，當(dāng)數(shù)據(jù)源首次接入時(shí)，用戶要定義數(shù)據(jù)源。例如數(shù)據(jù)源為首次接入的某工廠生產(chǎn)線數(shù)據(jù)，用戶要定義工廠數(shù)據(jù)的路徑、工廠狀態(tài)、采集方法的路徑等信息；如果數(shù)據(jù)源不是首次接入，則跳過(guò)此步驟。
[0024]在數(shù)據(jù)源定義之后可根據(jù)數(shù)據(jù)源附帶的表頭文件定制數(shù)據(jù)采集方法，每個(gè)數(shù)據(jù)源接入時(shí)都有數(shù)據(jù)相關(guān)頭文件用于描述結(jié)構(gòu)信息(多為C語(yǔ)言編寫的頭文件)，數(shù)據(jù)采集模塊負(fù)責(zé)將這些頭文件按標(biāo)識(shí)(比如struct關(guān)鍵字)提取出數(shù)據(jù)結(jié)構(gòu)，根據(jù)數(shù)據(jù)結(jié)構(gòu)定制采集程序進(jìn)行數(shù)據(jù)先讀后寫，輸出文本數(shù)據(jù)到數(shù)據(jù)緩存庫(kù)中。定制采集程序中，數(shù)據(jù)結(jié)構(gòu)的提取過(guò)程是一個(gè)遞歸的過(guò)程，例如在軋鋼生產(chǎn)流程中產(chǎn)生的數(shù)據(jù)多為product, dat形式，給出的頭文件也是C語(yǔ)言編寫的頭文件，可以掃描所有頭文件，通過(guò)關(guān)鍵字struct截取出數(shù)據(jù)結(jié)構(gòu)體，作為業(yè)務(wù)數(shù)據(jù)基本表；通過(guò)關(guān)鍵字起始的分號(hào)，截取出結(jié)構(gòu)體的成員(結(jié)構(gòu)體和成員等信息被稱為數(shù)據(jù)特征)，因?yàn)椴煌杉椒ǖ牟煌幰话愣际歉鲾?shù)據(jù)源數(shù)據(jù)結(jié)構(gòu)樹(shù)和頭文件中定義的宏不同，其他的文本處理過(guò)程和讀寫機(jī)制都是相同的，所以可將各源數(shù)據(jù)結(jié)構(gòu)樹(shù)融合到讀寫數(shù)據(jù)文件的方法中，便形成了異構(gòu)多源數(shù)據(jù)采集方法的定制，如圖3所示，將采集方法保存到數(shù)據(jù)庫(kù)的采集方法庫(kù)中以供后期調(diào)用。
[0025]數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)是一個(gè)樹(shù)狀結(jié)構(gòu)，從頭文件中可提取出關(guān)于結(jié)構(gòu)信息的結(jié)構(gòu)體，進(jìn)一步提取可得到表和屬性，如圖5所示，通過(guò)掃描各數(shù)據(jù)源提供的頭文件可根據(jù)關(guān)鍵字struct和C語(yǔ)言數(shù)據(jù)類型保留字(如int, float)提取出多個(gè)結(jié)構(gòu)體和成員，進(jìn)一步形成生成元表和業(yè)務(wù)數(shù)據(jù)庫(kù)結(jié)構(gòu)的sql創(chuàng)建和插入腳本(在動(dòng)態(tài)建庫(kù)模塊中會(huì)執(zhí)行建庫(kù))，特征提取單元將這些數(shù)據(jù)特征信息發(fā)送給動(dòng)態(tài)建庫(kù)模塊。
[0026]動(dòng)態(tài)建庫(kù)模塊主要包括元數(shù)據(jù)庫(kù)的定制和業(yè)務(wù)數(shù)據(jù)庫(kù)的定制兩部分功能。
[0027]動(dòng)態(tài)建庫(kù)模塊，通過(guò)數(shù)據(jù)的特征(結(jié)構(gòu)體和成員)生成屬性元表和表元表創(chuàng)建代碼(即表創(chuàng)建sql語(yǔ)句)，根據(jù)數(shù)據(jù)源特征定制數(shù)據(jù)庫(kù)。根據(jù)屬性(結(jié)構(gòu)體)名稱、類型、長(zhǎng)度等信息生成元表插入語(yǔ)句，將數(shù)據(jù)特征插入上述創(chuàng)建的元數(shù)據(jù)庫(kù)中，完成元數(shù)據(jù)庫(kù)定制工作。
[0028]依據(jù)元數(shù)據(jù)庫(kù)中表元表和屬性元表，定制數(shù)據(jù)庫(kù)，此時(shí)業(yè)務(wù)數(shù)據(jù)庫(kù)中便創(chuàng)建了相應(yīng)源的業(yè)務(wù)表。
[0029]入庫(kù)加載模塊主要由數(shù)據(jù)結(jié)構(gòu)再定義和入庫(kù)加載兩部分構(gòu)成。
[0030]入庫(kù)加載模塊先進(jìn)行數(shù)據(jù)結(jié)構(gòu)再定義，數(shù)據(jù)緩存庫(kù)中的數(shù)據(jù)(此時(shí)數(shù)據(jù)已經(jīng)過(guò)初步轉(zhuǎn)換，可讀性更高)與數(shù)據(jù)持久層中其他源的數(shù)據(jù)可能存在類似同名異義、異名同義、同名同義等現(xiàn)象，為實(shí)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)組織形式的統(tǒng)一，通過(guò)元數(shù)據(jù)表將數(shù)據(jù)結(jié)構(gòu)進(jìn)行再定義，解決了這些沖突。下表1便是一種再定義形式，如果源I中表A與源2中表X為異名同義表，因此將其抽取出來(lái)再定義為表M，表示源IA或源2x。如果源I表B部分屬性與源2表y部分屬性同義，那么可將兩表部分共同屬性提取出來(lái)進(jìn)行重組，表N便為重組后的表。
[0031]表1
【權(quán)利要求】
1.一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)，該系統(tǒng)適用于開(kāi)放生產(chǎn)環(huán)境中多源、異構(gòu)數(shù)據(jù)的集成，支持?jǐn)?shù)據(jù)源動(dòng)態(tài)變化和數(shù)據(jù)采集方式相對(duì)靈活多變的情況，其特征在于，所述系統(tǒng)包括數(shù)據(jù)采集模塊、動(dòng)態(tài)建庫(kù)模塊、入庫(kù)加載模塊、數(shù)據(jù)持久層模塊； 所述數(shù)據(jù)采集模塊動(dòng)態(tài)為各數(shù)據(jù)源量身定做采集方法并發(fā)送至數(shù)據(jù)持久層模塊，采集數(shù)據(jù)至系統(tǒng)緩存庫(kù)，完成數(shù)據(jù)源的定義，提取數(shù)據(jù)源特征并發(fā)送至動(dòng)態(tài)建庫(kù)模塊； 所述動(dòng)態(tài)建庫(kù)模塊接收數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)源特征，用于為異構(gòu)多源數(shù)據(jù)動(dòng)態(tài)定制業(yè)務(wù)數(shù)據(jù)庫(kù)和元數(shù)據(jù)庫(kù)，生成元表記錄并更新元數(shù)據(jù)庫(kù)數(shù)據(jù)； 所述入庫(kù)加載模塊接收數(shù)據(jù)采集模塊緩存庫(kù)的轉(zhuǎn)換后的數(shù)據(jù)，并做再定義處理，實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)統(tǒng)一性，并引導(dǎo)多源數(shù)據(jù)進(jìn)入相應(yīng)業(yè)務(wù)數(shù)據(jù)庫(kù)； 所述數(shù)據(jù)持久層模塊存儲(chǔ)異構(gòu)多源業(yè)務(wù)數(shù)據(jù)、異構(gòu)多源元數(shù)據(jù)和數(shù)據(jù)采集模塊定制的采集方法，提供元數(shù)據(jù)庫(kù)管理機(jī)制，并實(shí)現(xiàn)元數(shù)據(jù)庫(kù)與業(yè)務(wù)數(shù)據(jù)的兩庫(kù)聯(lián)動(dòng)。
2.如權(quán)利要求1所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊包括: 數(shù)據(jù)源定義單元，用于在數(shù)據(jù)持久層定義數(shù)據(jù)源基本信息； 采集方法動(dòng)態(tài)定制單元，用于管理多源數(shù)據(jù)相應(yīng)的數(shù)據(jù)采集方法，并將采集方法發(fā)送給采集方法庫(kù)； 特征提取單元，用于提取數(shù)據(jù)源的屬性、數(shù)據(jù)結(jié)構(gòu)等信息，并將其發(fā)送給動(dòng)態(tài)建庫(kù)模塊。
3.如權(quán)利要求1所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)，其特征在于，所述動(dòng)態(tài)建庫(kù)模塊包括: 元數(shù)據(jù)庫(kù)動(dòng)態(tài)定制單元，用于為各數(shù)據(jù)源動(dòng)態(tài)定制元數(shù)據(jù)庫(kù)表結(jié)構(gòu)，接收數(shù)據(jù)采集模塊的數(shù)據(jù)源特征信息，并依此作為元表記錄更新元數(shù)據(jù)庫(kù)； 業(yè)務(wù)數(shù)據(jù)庫(kù)動(dòng)態(tài)定制單元，為各數(shù)據(jù)源動(dòng)態(tài)定制業(yè)務(wù)數(shù)據(jù)庫(kù)。
4.如權(quán)利要求1所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成系統(tǒng)，其特征在于，所述入庫(kù)加載模塊包括: 數(shù)據(jù)源再定義單元，用于接收數(shù)據(jù)采集模塊緩存庫(kù)中的數(shù)據(jù)，通過(guò)分析元數(shù)據(jù)庫(kù)屬性間關(guān)系對(duì)數(shù)據(jù)結(jié)構(gòu)再定義； 入庫(kù)加載單元，用于根據(jù)各數(shù)據(jù)源特征定制入庫(kù)引導(dǎo)程序，并完成數(shù)據(jù)入庫(kù)加載工作。
5.一種異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法，其特征在于，該集成方法包括以下步驟: 步驟1、采集源數(shù)據(jù)并向系統(tǒng)提供數(shù)據(jù)源特征、定制采集方法； 步驟2、動(dòng)態(tài)定制元數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)； 步驟3、對(duì)業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)再定義，生成入庫(kù)引導(dǎo)程序并完成業(yè)務(wù)數(shù)據(jù)入庫(kù)。
6.如權(quán)利要求5所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法，其特征在于，所述步驟I還包括以下具體步驟: 步驟1.1，所述數(shù)據(jù)采集模塊在數(shù)據(jù)持久層定義數(shù)據(jù)源； 步驟1.2，所述數(shù)據(jù)采集模塊動(dòng)態(tài)定制各數(shù)據(jù)源的采集方法，并發(fā)送至采集方法庫(kù)； 步驟1.3，所述數(shù)據(jù)采集模塊提取各數(shù)據(jù)源的特征信息并發(fā)送至動(dòng)態(tài)建庫(kù)模塊。
7.如權(quán)利要求5所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法，其特征在于，所述步驟2還包括以下具體步驟:步驟2.1,所述動(dòng)態(tài)建庫(kù)模塊定制表元表和屬性元表； 步驟2.2，所述動(dòng)態(tài)建庫(kù)模塊定制業(yè)務(wù)數(shù)據(jù)庫(kù)結(jié)構(gòu)。
8.如權(quán)利要求5所述的異構(gòu)多源數(shù)據(jù)的動(dòng)態(tài)集成方法發(fā)，其特征在于，步驟3包括以下具體步驟: 步驟3.1，所述入庫(kù)加載模塊動(dòng)態(tài)定制各數(shù)據(jù)源的入庫(kù)引導(dǎo)程序； 步驟3.2，所述入庫(kù)加載模塊接收數(shù)據(jù)采集模塊的數(shù)據(jù)，進(jìn)行數(shù)據(jù)結(jié)構(gòu)再定義； 步驟3.3，所述入庫(kù) 引導(dǎo)程序?qū)⒃俣x后的數(shù)據(jù)加載至業(yè)務(wù)數(shù)據(jù)庫(kù)中。
【文檔編號(hào)】G06F17/30GK103902671SQ201410102827
【公開(kāi)日】2014年7月2日 申請(qǐng)日期:2014年3月19日 優(yōu)先權(quán)日:2014年3月19日
【發(fā)明者】謝永紅, 趙利民, 張德政, 阿孜古麗·吾拉木, 栗輝, 杜宏博 申請(qǐng)人:北京科技大學(xué)