一種數(shù)據(jù)集成方法
【專利摘要】一種數(shù)據(jù)集成方法，它包括以下步驟：接收數(shù)據(jù)集成信息，在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源，將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上，傳輸所述目的數(shù)據(jù)給目的端數(shù)據(jù)庫。本發(fā)明通過將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)，使用戶能夠按照全局模式透明地訪問數(shù)據(jù)源的數(shù)據(jù)，通過將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上，可以維護(hù)數(shù)據(jù)源的數(shù)據(jù)一致性，提高了信息共享利用的效率；通過源端與目的端間的數(shù)據(jù)轉(zhuǎn)換從而達(dá)到數(shù)據(jù)集成目的，解決了數(shù)據(jù)的分布性和映射性的問題。
【專利說明】一種數(shù)據(jù)集成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)集成技術(shù)領(lǐng)，具體地說是一種數(shù)據(jù)集成方法。
【背景技術(shù)】
[0002]在企業(yè)中，由于開發(fā)時間或開發(fā)部門的不同，往往有多個映射的、運行在不同的軟硬件平臺上的信息系統(tǒng)同時運行，這些系統(tǒng)的數(shù)據(jù)源彼此獨立、相互封閉，使得數(shù)據(jù)難以在系統(tǒng)之間交流、共享和融合。因此非常需要對已有的信息進(jìn)行整合，共享信息。
[0003]數(shù)據(jù)集成是指將不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯或物理上有機地集中，也就是將來自不同的源端數(shù)據(jù)庫中的數(shù)據(jù)在邏輯或物理上有機的集中后形成目的端數(shù)據(jù)庫中的數(shù)據(jù)，通過數(shù)據(jù)集成可以為企業(yè)提供全面的數(shù)據(jù)共享。
[0004]數(shù)據(jù)集成提供了在一個企業(yè)主計算機上存儲的后端信息的一幅鏡像。當(dāng)一個客戶需要檢查一項訂單的狀態(tài)時，這項查詢就被轉(zhuǎn)移到數(shù)據(jù)集成軟件。因此，并非總需要訪問該企業(yè)的主計算機。數(shù)據(jù)集成軟件擁有足夠的智能，知道什么時候與主計算機保持同步以便使數(shù)據(jù)不斷更新。為電子商務(wù)應(yīng)用集成ERP數(shù)據(jù)是通過數(shù)據(jù)分級和直接訪問ERP數(shù)據(jù)這兩者的結(jié)合來完成的，它包括使用一個數(shù)據(jù)服務(wù)器和一些數(shù)據(jù)高速緩存器。數(shù)據(jù)集成軟件以智能方式將直接實時的和分批的數(shù)據(jù)存取方法混和起來，以便從一個ERP系統(tǒng)中抽取數(shù)據(jù)。
[0005]在對數(shù)據(jù)集成的研究過程中，仍需注重以下問題:(1)關(guān)系數(shù)據(jù)模型與基于XML的半結(jié)構(gòu)化數(shù)據(jù)問的映射，要保證映射前后數(shù)據(jù)的完整性及一致性約束；(2)半結(jié)構(gòu)化數(shù)據(jù)全局模式的構(gòu)建方法和映射方法，同樣要保證數(shù)據(jù)的完整性和一致性約束能夠在半結(jié)構(gòu)化的數(shù)據(jù)問傳遞:(3)數(shù)據(jù)集成過程中安全可靠的數(shù)據(jù)傳輸。
[0006]在XML、Web Services及網(wǎng)格計算等技術(shù)規(guī)范的推動下,數(shù)據(jù)集成中的一些難題將會得到很好的解決，數(shù)據(jù)集成的應(yīng)用也會更加廣泛。

【發(fā)明內(nèi)容】

[0007]為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種數(shù)據(jù)集成方法。
[0008]本發(fā)明解決其技術(shù)問題所采取的技術(shù)方案是:一種數(shù)據(jù)集成方法，其特征是，包括 接收數(shù)據(jù)集成信息；
在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源；
將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上；
傳輸所述目的數(shù)據(jù)給目的端數(shù)據(jù)庫。
[0009]進(jìn)一步地，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)。
[0010]優(yōu)選地，所述全局模式數(shù)據(jù)包括數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)、字段信息和數(shù)據(jù)操作。
[0011]優(yōu)選地，所述數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)的過程就是對數(shù)據(jù)源進(jìn)行數(shù)據(jù)提取、驗證、清理、整合、聚集和裝入的處理過程。[0012]進(jìn)一步地，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)傳輸方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上。
[0013]進(jìn)一步地，所述通過數(shù)據(jù)傳輸方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上的過程就是數(shù)據(jù)源主動推送數(shù)據(jù)到目標(biāo)數(shù)據(jù)源上或者目標(biāo)數(shù)據(jù)源主動從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。
[0014]進(jìn)一步地，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上。
[0015]進(jìn)一步地，所述通過數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上的過程就是通過數(shù)據(jù)復(fù)制觸發(fā)事件來啟動其它數(shù)據(jù)源到目標(biāo)數(shù)據(jù)源上的數(shù)據(jù)復(fù)制，所述據(jù)復(fù)制觸發(fā)事件包括數(shù)據(jù)變化觸發(fā)事件、批量觸發(fā)事件、客戶調(diào)用觸發(fā)事件和定時觸發(fā)事件。
[0016]更近一步地，上述方法中所述的數(shù)據(jù)映射包括語法映射和字段映射；
所述語法映射就是將數(shù)據(jù)源的命名規(guī)則和數(shù)據(jù)類型映射為目的數(shù)據(jù)的命名規(guī)則和數(shù)據(jù)類型；
所述字段映射就是將數(shù)據(jù)源的內(nèi)容和含義映射為目的數(shù)據(jù)的內(nèi)容和含義，字段映射包括字段拆分、字段合并、字段數(shù)據(jù)格式變換和字段轉(zhuǎn)移。
[0017]本發(fā)明的有益效果是:本發(fā)明通過將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)，使用戶能夠按照全局模式透明地訪問數(shù)據(jù)源的數(shù)據(jù)，通過將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上，可以維護(hù)數(shù)據(jù)源的數(shù)據(jù)一致性，提高了信息共享利用的效率；通過源端與目的端間的數(shù)據(jù)轉(zhuǎn)換從而達(dá)到數(shù)據(jù)集成目的，解決了數(shù)據(jù)的分布性和映射性的問題。
【專利附圖】

【附圖說明】
[0018]下面結(jié)合附圖對本發(fā)明進(jìn)一步說明:
圖1是本發(fā)明的方法流程圖；
圖2是本發(fā)明所述語法映射的示意圖；
圖3是本發(fā)明所述字段拆分的示意圖；
圖4是本發(fā)明所述字段合并的示意圖；
圖5是本發(fā)明所述字段數(shù)據(jù)格式變換的示意圖；
圖6是本發(fā)明所述字段轉(zhuǎn)移的示意圖。
【具體實施方式】
[0019]如圖1所示，本發(fā)明的一種數(shù)據(jù)集成方法，它包括以下步驟:
接收數(shù)據(jù)集成信息；
在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源；
將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上；
傳輸所述目的數(shù)據(jù)給目的端數(shù)據(jù)庫。
[0020]本發(fā)明充分利用多種數(shù)據(jù)集成手段，解決企業(yè)間數(shù)據(jù)碎片的問題，以更快地做出數(shù)據(jù)驅(qū)動型業(yè)務(wù)決策和更有效有力地進(jìn)行業(yè)務(wù)運作。
[0021]一、數(shù)據(jù)集成方式
本發(fā)明的一種采用數(shù)據(jù)集成方式的數(shù)據(jù)集成方法，它包括以下步驟:接收數(shù)據(jù)集成信息，在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源，將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)，傳輸所述全局模式數(shù)據(jù)給目的端數(shù)據(jù)庫。
[0022]進(jìn)行數(shù)據(jù)集成時將各數(shù)據(jù)源的數(shù)據(jù)視圖集成為全局模式，使用戶能夠按照全局模式透明地訪問各數(shù)據(jù)源的，全局模式描述了數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)、字段信息和數(shù)據(jù)操作等。
[0023]用戶直接在全局模式的基礎(chǔ)上提交請求，目的端根據(jù)這些請求轉(zhuǎn)換成各個數(shù)據(jù)源在本地數(shù)據(jù)視圖基礎(chǔ)上能夠執(zhí)行的請求。數(shù)據(jù)集成方式的特點是直接為用戶提供透明的數(shù)據(jù)訪問方法。由于用戶使用的全局模式是虛擬的數(shù)據(jù)源，不僅能夠集成結(jié)構(gòu)化的數(shù)據(jù)源信息，還可以集成半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)源中的信息。數(shù)據(jù)集成的數(shù)據(jù)源主要指數(shù)據(jù)庫管理系統(tǒng)，廣義上也包括各類XML文檔、HTML文檔、電子郵件、普通文件等結(jié)構(gòu)化、半結(jié)構(gòu)化信肩、O
[0024]在數(shù)據(jù)集成過程中，各個數(shù)據(jù)源的結(jié)構(gòu)不一致性，從而給數(shù)據(jù)集成帶來了一些難度，可以通過ETL (數(shù)據(jù)提取、轉(zhuǎn)換、加載)的過程可以消除數(shù)據(jù)源之間的映射關(guān)系。ETL的工作流程可以詳細(xì)化為數(shù)據(jù)的提取、驗證、清理、整合、聚集和裝入。數(shù)據(jù)是企業(yè)進(jìn)行事物處理的前提，為眾多的信息系統(tǒng)提供服務(wù)。面對多個平臺和多個數(shù)據(jù)結(jié)構(gòu)，以及平臺之間物理上相隔遙遠(yuǎn)等復(fù)雜的數(shù)據(jù)環(huán)境，ETL要完成提供綜合且高品質(zhì)的數(shù)據(jù)的任務(wù)，同時具備良好的通用性和擴展性。
[0025]二、數(shù)據(jù)復(fù)制方式
本發(fā)明的一種采用數(shù)據(jù)復(fù)制方式的數(shù)據(jù)集成方法，它包括以下步驟:接收數(shù)據(jù)集成信息，在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源，確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)傳輸方式或數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上，傳輸所述目標(biāo)數(shù)據(jù)源給目的端數(shù)據(jù)庫。
[0026]數(shù)據(jù)復(fù)制方式將各個數(shù)據(jù)源的數(shù)據(jù)復(fù)制到與其相關(guān)的目標(biāo)數(shù)據(jù)源上，可以維護(hù)數(shù)據(jù)源整體上的數(shù)據(jù)一致性、提高信息共享利用的效率。數(shù)據(jù)復(fù)制可以是整個數(shù)據(jù)源的復(fù)制，也可以是僅對變化數(shù)據(jù)的傳播與復(fù)制。
[0027]數(shù)據(jù)復(fù)制方式可以減少用戶對多種數(shù)據(jù)源的重復(fù)訪問，從而提高數(shù)據(jù)集成的性能。最常見的數(shù)據(jù)復(fù)制方法就是數(shù)據(jù)倉庫方法，該方法將各個數(shù)據(jù)源的數(shù)據(jù)復(fù)制到同一處——數(shù)據(jù)倉庫，像訪問普通數(shù)據(jù)庫一樣,直接訪問數(shù)據(jù)倉庫。
[0028]數(shù)據(jù)復(fù)制方式可以從數(shù)據(jù)傳輸方式和數(shù)據(jù)復(fù)制觸發(fā)方式兩個方面來劃分。數(shù)據(jù)傳輸方式是指數(shù)據(jù)在發(fā)布數(shù)據(jù)的源數(shù)據(jù)源和訂閱數(shù)據(jù)的目的數(shù)據(jù)源間的傳輸形式，可分為數(shù)據(jù)推送和數(shù)據(jù)抽取。
[0029]數(shù)據(jù)推送是指源數(shù)據(jù)主動將數(shù)據(jù)推送到目的數(shù)據(jù)源上。而數(shù)據(jù)抽取則是與數(shù)據(jù)推送相反的操作，是目的數(shù)據(jù)源主動向源數(shù)據(jù)源發(fā)出數(shù)據(jù)請求，從源數(shù)據(jù)源獲取數(shù)據(jù)到本地。在有些情況下，源端傳送到目的端的數(shù)據(jù)并不直接存儲到目的數(shù)據(jù)源中，需要經(jīng)過目的端的本地化處理。這時通常采用緩存來協(xié)調(diào)源端和數(shù)據(jù)訂閱端的異步。在數(shù)據(jù)推送的方式下，數(shù)據(jù)緩存要構(gòu)建在目的端；而在數(shù)據(jù)抽取的方式下，數(shù)據(jù)緩存則要構(gòu)建在源端。
[0030]數(shù)據(jù)復(fù)制觸發(fā)方式是指調(diào)用數(shù)據(jù)復(fù)制的方式。通常預(yù)先定義了一些事件，這些事件可以包括:對數(shù)據(jù)發(fā)布端引起的數(shù)據(jù)變化的某個操作、數(shù)據(jù)發(fā)布端數(shù)據(jù)緩存累積到一定批量、用戶對某個數(shù)據(jù)源發(fā)送訪問請求、具有一定間隔的時間點等。當(dāng)這些事件被觸發(fā)時執(zhí)行相應(yīng)的數(shù)據(jù)復(fù)制。因此，數(shù)據(jù)復(fù)制觸發(fā)方式按事件定義的不同可以分為:數(shù)據(jù)變化觸發(fā)、批量觸發(fā)、客戶調(diào)用觸發(fā)、定時觸發(fā)等。
[0031]數(shù)據(jù)復(fù)制通常直接采用端到端方式，也有一些數(shù)據(jù)集成系統(tǒng)使用專為數(shù)據(jù)周轉(zhuǎn)服務(wù)的數(shù)據(jù)平臺。數(shù)據(jù)復(fù)制時，數(shù)據(jù)發(fā)布者先將數(shù)據(jù)傳送到這個數(shù)據(jù)平臺上，由數(shù)據(jù)平臺處理后轉(zhuǎn)發(fā)給數(shù)據(jù)訂閱者。數(shù)據(jù)平臺要處理好網(wǎng)絡(luò)負(fù)擔(dān)和并發(fā)控制問題。使用數(shù)據(jù)平臺的好處是單點控制、便于管理。但數(shù)據(jù)平臺增加了系統(tǒng)的復(fù)雜性，降低了系統(tǒng)的可靠性。
[0032]三、綜合性集成方式
本發(fā)明的一種采用綜合性集成方式的數(shù)據(jù)集成方法，它包括以下步驟:接收數(shù)據(jù)集成信息，在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源，將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上；傳輸所述目的數(shù)據(jù)給目的端數(shù)據(jù)庫。其中，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)，或確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)傳輸方式或數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上。
[0033]數(shù)據(jù)集成方式為用戶提供了全局?jǐn)?shù)據(jù)視圖及統(tǒng)一的訪問接口，透明度高；但該方法并沒實現(xiàn)數(shù)據(jù)源間的數(shù)據(jù)交互，用戶使用時經(jīng)常需要訪問多個數(shù)據(jù)源，因此該方法需要系統(tǒng)有很好的網(wǎng)絡(luò)性能。數(shù)據(jù)復(fù)制方式在用戶使用某個數(shù)據(jù)源之前，將用戶可能用到的其它數(shù)據(jù)源的數(shù)據(jù)預(yù)先復(fù)制過來，用戶使用時僅需訪問某個數(shù)據(jù)源或少量的幾個數(shù)據(jù)源，這會大大提高系統(tǒng)處理用戶請求的效率；但數(shù)據(jù)復(fù)制方式通常存在延時，使用該方法時，很難保障數(shù)據(jù)源之間數(shù)據(jù)的實時一致性。
[0034]數(shù)據(jù)集成方式適用于被集成的系統(tǒng)規(guī)模大、數(shù)據(jù)更新頻繁、數(shù)據(jù)實時一致性要求高的情況。當(dāng)很難預(yù)測用戶的查詢需求時，也適合采用這種方法。在數(shù)據(jù)集成方式中，通常采用中間件方法。由于聯(lián)邦數(shù)據(jù)庫在集成時需要為每個數(shù)據(jù)源單獨編寫大量的通訊接口，因此現(xiàn)在單純的聯(lián)邦數(shù)據(jù)庫方法已很少被采用。
[0035]數(shù)據(jù)復(fù)制方式則適用于數(shù)據(jù)源相對穩(wěn)定、用戶查詢模式已知或有限的情況。當(dāng)數(shù)據(jù)分布性比較廣，網(wǎng)絡(luò)延遲較大，同時又需要有很短的處理時間時，也可考慮采用數(shù)據(jù)集成方法。有些應(yīng)用場合需要對數(shù)據(jù)進(jìn)行備份，這時通常采用數(shù)據(jù)復(fù)制方式；還有一些場合，出于機密性的考慮，數(shù)據(jù)不允許復(fù)制，這時就要使用數(shù)據(jù)集成方法了。
[0036]為了突破前兩種方法的局限性，通常將這兩種方法混合在一起使用，即所謂的綜合性集成方式。綜合性集成方式通常是想辦法提高基于中間件系統(tǒng)的性能，該方法仍有虛擬的數(shù)據(jù)模式視圖供用戶使用，同時能夠?qū)?shù)據(jù)源間常用的數(shù)據(jù)進(jìn)行復(fù)制。對于用戶簡單的訪問請求，綜合性集成方式總是盡力通過數(shù)據(jù)復(fù)制方式，在本地數(shù)據(jù)源或單一數(shù)據(jù)源上實現(xiàn)用戶的訪問需求；而對那些復(fù)雜的用戶請求，無法通過數(shù)據(jù)復(fù)制方式實現(xiàn)時，才使用數(shù)據(jù)集成。
[0037]在調(diào)用上述各種集成方式的過程中，需要解決數(shù)據(jù)映射性問題。數(shù)據(jù)映射性一直是困擾很多數(shù)據(jù)集成系統(tǒng)的核心問題，也是在數(shù)據(jù)集成方面研究的熱點。其中數(shù)據(jù)映射的難點主要表現(xiàn)在語法映射和字段映射上。
[0038](I)語法映射
語法映射一般指源數(shù)據(jù)和目的數(shù)據(jù)之間命名規(guī)則及數(shù)據(jù)類型存在不同。對數(shù)據(jù)庫而言，命名規(guī)則指表名和字段名。語法映射相對簡單，只要實現(xiàn)字段到字段、記錄到記錄的映射，解決其中的名字沖突和數(shù)據(jù)類型沖突。這種映射都很直接，比較容易實現(xiàn)。因此，語法映射無需關(guān)心數(shù)據(jù)的內(nèi)容和含義，只要知道數(shù)據(jù)結(jié)構(gòu)信息.完成源數(shù)據(jù)結(jié)構(gòu)到目的數(shù)據(jù)結(jié)構(gòu)之間的映射就可以了。從圖2中可以看出語法映射的特點，字段數(shù)據(jù)內(nèi)容(“1001”、“張三”)在映射過程中沒有發(fā)生變化。
[0039](2)字段映射
當(dāng)數(shù)據(jù)集成要考慮數(shù)據(jù)的內(nèi)容和含義時，就進(jìn)入到字段映射的層次上。字段映射要比語法映射復(fù)雜得多，它往往是需要破壞字段的原子性，即需要直接處理數(shù)據(jù)內(nèi)容。如圖3-6所示，常見的字段映射包括以下一些方式:字段拆分、字段合并、字段數(shù)據(jù)格式變換、字段轉(zhuǎn)移等。
[0040]語法映射和字段映射的區(qū)別可以追溯到數(shù)據(jù)源建模時的差異:當(dāng)數(shù)據(jù)源的實體關(guān)系模型相同，只是命名規(guī)則不同時，造成的只是數(shù)據(jù)源之間的語法映射；當(dāng)數(shù)據(jù)源構(gòu)建實體模型時，若采用不同的粒度劃分、不同的實體間關(guān)系以及不同的字段數(shù)據(jù)字段表示，必然會造成數(shù)據(jù)源間的字段映射，給數(shù)據(jù)集成帶來很大麻煩。事實上，現(xiàn)實中數(shù)據(jù)集成系統(tǒng)的語法映射現(xiàn)象是普遍存在的。上面提到的幾種語法映射屬于較為規(guī)則的語法映射，可以用特定的映射方法解決這些問題。還有一些不常見或不易被發(fā)現(xiàn)的語法映射，例如數(shù)據(jù)源在構(gòu)建時隱含了一些約束信息，在數(shù)據(jù)集成時，這些約束不易被發(fā)現(xiàn)，往往會造成錯誤的產(chǎn)生。如某個數(shù)據(jù)項用來定義月份，隱含著其值只能在I到12之間，而集成時如果忽略了這一約束，很可能造成荒謬的結(jié)果。
[0041]與現(xiàn)有技術(shù)相比，本發(fā)明有以下優(yōu)點:
(I)、隨著企業(yè)將數(shù)據(jù)管理視為業(yè)務(wù)問題，因此通過運用多個工具、技能集和供應(yīng)商的復(fù)雜度降至最低對于工作效率的提高變得尤為關(guān)鍵。
[0042](2)、數(shù)據(jù)集成平臺通過提高工作效率，幫助各個應(yīng)用系統(tǒng)更為高效地運營。平臺使應(yīng)用系統(tǒng)不必在每個項目上做重復(fù)工作。應(yīng)用系統(tǒng)而是可以在所有項目中共享方法、技術(shù)和資產(chǎn)，例如邏輯和元數(shù)據(jù)。
[0043](3)、在平臺上標(biāo)準(zhǔn)化數(shù)據(jù)集成實踐，創(chuàng)建集成能力中心時，可以在集成應(yīng)用程序和數(shù)據(jù)接口的開發(fā)時間與成本以及維護(hù)成本方面獲得極大節(jié)省。
[0044](4)、數(shù)據(jù)集成還涉及許多不同角色，從數(shù)據(jù)管理員和業(yè)務(wù)分析師到數(shù)據(jù)架構(gòu)師和開發(fā)人員，各司其職并且各盡所能，以便以更為快速和實惠的方式應(yīng)對不斷變化的業(yè)務(wù)需求。
[0045](5)、統(tǒng)一的數(shù)據(jù)集成平臺讓技術(shù)部門和業(yè)務(wù)部門可以更加有效地協(xié)作。平臺提供界面和工具，使工具集中各部分能夠在多個項目中無縫配合使用。參與數(shù)據(jù)集成的人員只需花費較少時間了解平臺，從而可以將更多時間投入本職工作中。
[0046]以上所述只是本發(fā)明的優(yōu)選實施方式，對于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也被視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)集成方法，其特征是，包括 接收數(shù)據(jù)集成信息； 在源端數(shù)據(jù)庫中查找相應(yīng)的數(shù)據(jù)源； 將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上； 傳輸所述目的數(shù)據(jù)給目的端數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)集成方法，其特征是，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是將所有數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的一種數(shù)據(jù)集成方法，其特征是，所述全局模式數(shù)據(jù)包括數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)、字段信息和數(shù)據(jù)操作。
4.根據(jù)權(quán)利要求2所述的一種數(shù)據(jù)集成方法，其特征是，所述數(shù)據(jù)源的數(shù)據(jù)集成為全局模式數(shù)據(jù)的過程就是對數(shù)據(jù)源進(jìn)行數(shù)據(jù)提取、驗證、清理、整合、聚集和裝入的處理過程。
5.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)集成方法，其特征是，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)傳輸方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上。
6.根據(jù)權(quán)利要求5所述的一種數(shù)據(jù)集成方法，其特征是，所述通過數(shù)據(jù)傳輸方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上的過程就是數(shù)據(jù)源主動推送數(shù)據(jù)到目標(biāo)數(shù)據(jù)源上的過程。
7.根據(jù)權(quán)利要求5所述的一種數(shù)據(jù)集成方法，其特征是，所述通過數(shù)據(jù)傳輸方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上的過程就是目標(biāo)數(shù)據(jù)源主動從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。
8.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)集成方法，其特征是，所述將數(shù)據(jù)源的數(shù)據(jù)映射到目的數(shù)據(jù)上的過程就是確定一個數(shù)據(jù)源為目標(biāo)數(shù)據(jù)源并通過數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上。
9.根據(jù)權(quán)利要求8所述的一種數(shù)據(jù)集成方法，其特征是，所述通過數(shù)據(jù)復(fù)制觸發(fā)方式將其它數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源上的過程就是通過數(shù)據(jù)復(fù)制觸發(fā)事件來啟動其它數(shù)據(jù)源到目標(biāo)數(shù)據(jù)源上的數(shù)據(jù)復(fù)制，所述據(jù)復(fù)制觸發(fā)事件包括數(shù)據(jù)變化觸發(fā)事件、批量觸發(fā)事件、客戶調(diào)用觸發(fā)事件和定時觸發(fā)事件。
10.根據(jù)權(quán)利要求1-9任一項所述的一種數(shù)據(jù)集成方法，其特征是，所述數(shù)據(jù)映射包括語法映射和字段映射； 所述語法映射就是將數(shù)據(jù)源的命名規(guī)則和數(shù)據(jù)類型映射為目的數(shù)據(jù)的命名規(guī)則和數(shù)據(jù)類型； 所述字段映射就是將數(shù)據(jù)源的內(nèi)容和含義映射為目的數(shù)據(jù)的內(nèi)容和含義，字段映射包括字段拆分、字段合并、字段數(shù)據(jù)格式變換和字段轉(zhuǎn)移。
【文檔編號】G06F17/30GK103927344SQ201410123611
【公開日】2014年7月16日 申請日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】王勇, 曲曉白, 吳光州, 王立峰 申請人:國網(wǎng)山東省電力公司