本發(fā)明屬于互聯(lián)網(wǎng)開發(fā)技術(shù)領(lǐng)域，具體的說(shuō)提供了一種周期性自動(dòng)全量提取數(shù)據(jù)庫(kù)數(shù)據(jù)的方法。

背景技術(shù)：

在國(guó)內(nèi)，許多中小企業(yè)發(fā)展的局限性在于發(fā)展初期資金不足，IT基礎(chǔ)薄弱甚至忽略IT，僅隨著市場(chǎng)發(fā)展才逐漸引入信息化管理體系；其次，由于信息系統(tǒng)分散搭建，各部門之間互相孤立，信息不能有效溝通，使得企業(yè)發(fā)展大受掣肘；即便是有些企業(yè)意識(shí)到了整合信息系統(tǒng)的重要性，但是礙于巨大的投資壓力，所以并不敢輕易嘗試。最終，許多企業(yè)因此走入了“信息孤島”的困境，信息管理混亂，影響企業(yè)進(jìn)一步發(fā)展。

隨著大數(shù)據(jù)時(shí)代來(lái)臨，信息管理對(duì)中小企業(yè)生存的重要作用逐漸凸顯出來(lái)，企業(yè)往往希望將各個(gè)孤立系統(tǒng)的數(shù)據(jù)整合到一個(gè)集中管理系統(tǒng)中。這就涉及到從孤立系統(tǒng)全量抽取數(shù)據(jù)到集中管理系統(tǒng)的問(wèn)題。

對(duì)這些孤立系統(tǒng)的數(shù)據(jù)提取，要求不影響現(xiàn)有系統(tǒng)的運(yùn)行，采用傳統(tǒng)的ETL(Extract-Transform-Load)工具，一般要求已有系統(tǒng)的數(shù)據(jù)表中有數(shù)值遞增的索引字段，根據(jù)遞增索引字段進(jìn)行增量抽取，這一點(diǎn)往往無(wú)法保證，因此ETL工具一般只能一次性抽取全量數(shù)據(jù)，以后新增數(shù)據(jù)無(wú)法處理了。

本發(fā)明提供了一種對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)進(jìn)行周期性自動(dòng)全量數(shù)據(jù)提取的方法，在不對(duì)現(xiàn)有系統(tǒng)進(jìn)行改造的前提下，能夠?qū)F(xiàn)有系統(tǒng)中的數(shù)據(jù)周期性自動(dòng)全量提取到集中管理系統(tǒng)中。

技術(shù)實(shí)現(xiàn)要素：
：

針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種周期性自動(dòng)全量提取數(shù)據(jù)庫(kù)數(shù)據(jù)的方法。

本發(fā)明針對(duì)關(guān)系型數(shù)據(jù)庫(kù)，對(duì)需要抽取的數(shù)據(jù)表字段自定義了數(shù)據(jù)庫(kù)提取主鍵，使用提取主鍵周期性的從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，并實(shí)時(shí)記錄下已提取記錄標(biāo)識(shí)。在下個(gè)運(yùn)行周期啟動(dòng)時(shí)，從提取記錄標(biāo)識(shí)開始繼續(xù)提取，從而達(dá)到全量提取數(shù)據(jù)的目的。

本發(fā)明的技術(shù)方案為：

一種周期性自動(dòng)全量提取數(shù)據(jù)庫(kù)數(shù)據(jù)的方法，其步驟為：

1)從關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)表中選取若干字段，將選取的每一字段的字段值左補(bǔ)若干位；選取的若干字段為能夠唯一標(biāo)識(shí)一條記錄的若干字段；

2)將選取的字段組合作為該關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的提取主鍵，將補(bǔ)齊后的值按字符串拼接在一起作為提取主鍵的值；

3)周期性從該關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)表中進(jìn)行數(shù)據(jù)提?。好看翁崛條記錄并記錄本次提取的最后一條記錄的提取主鍵值，下次提取時(shí)通過(guò)比對(duì)提取主鍵值獲取后面n條記錄，直至完成數(shù)據(jù)表中記錄的全量提取。

進(jìn)一步的，左補(bǔ)的若干位均為0；左補(bǔ)若干位后的每一字段的長(zhǎng)度均相同。

進(jìn)一步的，左補(bǔ)若干位后的每一字段的長(zhǎng)度均為20。

進(jìn)一步的，選取的字段包括姓名、性別和生日字段。

進(jìn)一步的，步驟3)中，每次提取記錄時(shí)，先根據(jù)提取主鍵的字段對(duì)記錄進(jìn)行排序，然后提取n條記錄。

進(jìn)一步的，對(duì)該關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)中單一數(shù)據(jù)表進(jìn)行全量提取。

進(jìn)一步的，將該關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)中多個(gè)數(shù)據(jù)表通過(guò)sql語(yǔ)句建立動(dòng)態(tài)視圖，然后對(duì)該多個(gè)數(shù)據(jù)表進(jìn)行全量提取。

進(jìn)一步的，對(duì)提取出來(lái)的記錄進(jìn)行定制化的轉(zhuǎn)換后存儲(chǔ)到一數(shù)據(jù)管理系統(tǒng)。

與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為：

本發(fā)明不要求已有系統(tǒng)的數(shù)據(jù)表定義數(shù)值自增的主鍵，也不需要對(duì)已有系統(tǒng)進(jìn)行改造，就能夠周期性全量提取數(shù)據(jù)。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一提供的數(shù)據(jù)庫(kù)數(shù)據(jù)提取和標(biāo)準(zhǔn)化的流程圖。

具體實(shí)現(xiàn)方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需說(shuō)明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

實(shí)施例一

圖1為本發(fā)明實(shí)施例一提供的數(shù)據(jù)提取方法的流程圖。本實(shí)施例可適用于提取各種關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)，具體包括如下步驟：

步驟101：定義數(shù)據(jù)庫(kù)提取主鍵

因?yàn)楝F(xiàn)有系統(tǒng)的數(shù)據(jù)庫(kù)表往往沒(méi)有數(shù)值自增字段，需要自定義提取主鍵。

自定義提取主鍵從數(shù)據(jù)表中任意選擇幾個(gè)可以唯一標(biāo)識(shí)一條記錄的字段。將每個(gè)字段的值左補(bǔ)‘0’，使字段總長(zhǎng)度至N位(N缺省為20位，舉例來(lái)說(shuō)，字段值為ABC，左補(bǔ)17個(gè)‘0’，使字段值為‘00000000000000000ABC’)，然后將補(bǔ)齊后的字段值按字符串拼接在一起作為提取主鍵的值。

舉例來(lái)說(shuō)，如果有下面員工信息表(employee)和數(shù)據(jù)，如表1：

表1為員工信息表

分析這個(gè)表的數(shù)據(jù)，通過(guò)姓名，性別和生日可以唯一確定一條記錄，那么用這3個(gè)字段來(lái)構(gòu)造提取主鍵，每條記錄的提取主鍵的值分別為：

000000000000000000張三0000000000000000000男00000000000019850810

000000000000000000王飛0000000000000000000男00000000000019890110

000000000000000000王飛0000000000000000000女00000000000019900704

000000000000000000王飛0000000000000000000男00000000000019850321

步驟102：提取數(shù)據(jù)：

提取數(shù)據(jù)按批次提取，可以針對(duì)單一數(shù)據(jù)表提取，也可以將多個(gè)表的數(shù)據(jù)通過(guò)sql語(yǔ)句建立動(dòng)態(tài)視圖進(jìn)行提取。

每次提取，先根據(jù)提取主鍵的字段對(duì)記錄進(jìn)行排序，然后提取n條，完成n條記錄的提取后，記錄最后一條記錄的提取主鍵值，下次提取通過(guò)比對(duì)提取主鍵的值，獲取后面n條記錄，周期往復(fù)完成表數(shù)據(jù)的全量提取。

舉例來(lái)說(shuō)，提取表1中的數(shù)據(jù)，將n設(shè)置為3，第一次提取前3條記錄，并記錄最后提取的的記錄主鍵值為“000000000000000000王飛0000000000000000000女00000000000019900704”，下一次提取時(shí)，計(jì)算表中記錄的主鍵值，將主鍵值大于“000000000000000000王飛0000000000000000000女00000000000019900704”的后n條記錄提取出來(lái)。

通過(guò)上面方法提取出來(lái)的記錄保存成集中管理系統(tǒng)要求的數(shù)據(jù)格式(見(jiàn)步驟103)，并將最后一條記錄的提取主鍵值記錄下來(lái)(見(jiàn)步驟104)。

步驟103：轉(zhuǎn)換提取數(shù)據(jù)為集中管理系統(tǒng)數(shù)據(jù)格式。

將第102步查詢到的數(shù)據(jù)轉(zhuǎn)換成集中管理系統(tǒng)要求的格式，在本發(fā)明的例子中，假設(shè)集中管理系統(tǒng)要求性別使用字典碼(男用0表示，女用1表示)，生日必須是YYYY-MM-DD格式(這里僅僅是舉例，實(shí)際情況比較復(fù)雜，可能要關(guān)聯(lián)補(bǔ)充其他信息，比如需要從B表中關(guān)聯(lián)出工作崗位和工資標(biāo)準(zhǔn)，那么需要通過(guò)SQL關(guān)聯(lián)查詢語(yǔ)句構(gòu)造出動(dòng)態(tài)視圖，然后針對(duì)動(dòng)態(tài)視圖進(jìn)行提取，而不是簡(jiǎn)單的格式轉(zhuǎn)換)，那么可以針對(duì)提取出來(lái)的記錄進(jìn)行定制化的轉(zhuǎn)換，轉(zhuǎn)換后的數(shù)據(jù)供集中管理系統(tǒng)使用。如下是轉(zhuǎn)換后的數(shù)據(jù)：

張三0 1985-08-10西城區(qū)xx小區(qū)A樓1708室信息化部

王飛0 1989-01-10海淀區(qū)xx小區(qū)B樓1001室運(yùn)維部

王飛1 1990-07-04東城區(qū)xx小區(qū)C樓2001室財(cái)務(wù)部

步驟104：記錄提取數(shù)據(jù)位置。

將第2步提取出來(lái)的最后一條記錄的提取主鍵值記錄下來(lái)，比如：

EMPLOYEE_datasource＝000000000000000000王飛0000000000000000000女00000000000019900704

步驟105：周期提取

設(shè)置一個(gè)提取周期，比如每10分鐘啟動(dòng)一次提取，下次提取時(shí)比對(duì)上次提取到的最后一條記錄的主鍵值，獲取后面的n條記錄，從而實(shí)現(xiàn)周期性抽取數(shù)據(jù)。

代碼示例：

通過(guò)配置文件配置抽取策略：

屬性說(shuō)明如表2所示：

表2為屬性說(shuō)明表