本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種高效歸集多系統(tǒng)大數(shù)據(jù)的實現(xiàn)方法。

背景技術(shù)：

大數(shù)據(jù)(big data)，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。在分析運用大數(shù)據(jù)前，我們必須進行大數(shù)據(jù)的歸集，而在現(xiàn)有的數(shù)據(jù)抽取方式上，數(shù)據(jù)抽取效率低、抽取到的數(shù)據(jù)可用性差、支持的配置方式不夠靈活的缺點亟待優(yōu)化，這些在數(shù)據(jù)歸集中出現(xiàn)的短板也使的我們在大數(shù)據(jù)的應(yīng)用上很難進一步發(fā)展。

技術(shù)實現(xiàn)要素：

為了解決以上技術(shù)問題，本發(fā)明提出了一種高效歸集多系統(tǒng)大數(shù)據(jù)的實現(xiàn)方法。

主要通過以下步驟完成:

1、數(shù)據(jù)庫鏈接配置部分

通過在數(shù)據(jù)庫中建立數(shù)據(jù)庫鏈接信息設(shè)置表，并且記錄各系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)庫鏈接配置信息，這樣在以后的數(shù)據(jù)抽取活動中直接訪問數(shù)據(jù)庫鏈接信息設(shè)置表，讀取相應(yīng)數(shù)據(jù)庫的鏈接配置信息，進行快速高效的數(shù)據(jù)庫鏈接。

2、數(shù)據(jù)定位部分

不同于全量抽取，我們要抽取的數(shù)據(jù)是我們知道的有分析利用價值的數(shù)據(jù)，所以通過建立數(shù)據(jù)抽取表設(shè)置表進行準(zhǔn)確的數(shù)據(jù)定位，從而實現(xiàn)只對有用數(shù)據(jù)的抽取，從降低數(shù)據(jù)抽取量的角度實現(xiàn)高效數(shù)據(jù)抽取。

3、數(shù)據(jù)抽取優(yōu)化部分

在抽取數(shù)據(jù)時，是將在數(shù)據(jù)庫定位到的表中的某些字段全部抽取出來，這樣表上的索引會影響到我們的抽取速度。所以我們在定位到數(shù)據(jù)庫中表之后，首先進行表索引的查詢，如果索引數(shù)不為0，則將表上的索引刪掉再進行數(shù)據(jù)的抽取，如果沒有索引則直接進行數(shù)據(jù)抽取。再數(shù)據(jù)抽取完成之后再重新建立相應(yīng)的表索引。

4、數(shù)據(jù)分類、分批、分時抽取

首先根據(jù)數(shù)據(jù)的更新速度和過濾條件進行數(shù)據(jù)分類，根據(jù)不同的數(shù)據(jù)更新速度設(shè)置不同的數(shù)據(jù)抽取頻率。根據(jù)不同系統(tǒng)的情況設(shè)置分時分批的數(shù)據(jù)抽取。

附圖說明

圖1是多系統(tǒng)大數(shù)據(jù)高效歸集的實現(xiàn)過程視圖。

具體實施方式

下面對本發(fā)明的內(nèi)容進行更加詳細(xì)的闡述：

實施例：

一種高效歸集多系統(tǒng)大數(shù)據(jù)的實現(xiàn)方法包括以下內(nèi)容和步驟：

A、多系統(tǒng)大數(shù)據(jù)歸集總體工作流程，如附圖1所示。

B、多系統(tǒng)數(shù)據(jù)庫鏈接的快速建立。

1、設(shè)計數(shù)據(jù)庫鏈接信息設(shè)置表，用來記錄所有的數(shù)據(jù)庫鏈接配置。

C、精確數(shù)據(jù)定位的實現(xiàn)

設(shè)計表數(shù)據(jù)抽取表設(shè)置表用來記錄，表的結(jié)構(gòu)如下：

D、數(shù)據(jù)抽取優(yōu)化處理

通過刪除表索引的方式加快表中字段所有數(shù)據(jù)的全面抽取。再數(shù)據(jù)抽取完成后再重新建立索引。

部分算法如下：

E、數(shù)據(jù)的分類、分時、分批處理的實現(xiàn)

根據(jù)數(shù)據(jù)的更新速度和過濾條件進行數(shù)據(jù)分類，依據(jù)數(shù)據(jù)的更新速度設(shè)置不同的抽取頻率，并根據(jù)各公司不同的情況進行分類分時分批的數(shù)據(jù)抽取。

部分算法如下：

本方法具有以下特點：A、對于多系統(tǒng)數(shù)據(jù)庫的多種數(shù)據(jù)庫鏈接方式的支持，并在數(shù)據(jù)抽過程中建立數(shù)據(jù)庫鏈接信息設(shè)置表對多數(shù)據(jù)庫的詳細(xì)鏈接配置信息進行記錄，方便快速建立數(shù)據(jù)庫鏈接；B、在多系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)抽過程中建立數(shù)據(jù)抽取表設(shè)置表對數(shù)據(jù)抽取詳細(xì)信息進行記錄，方便快速定位要抽取的數(shù)據(jù)信息；C、通過在抽取數(shù)據(jù)前刪除影響抽取速度的表索引(數(shù)據(jù)抽取完成重新建立索引)的方式提高數(shù)據(jù)抽取速度；D、通過對數(shù)據(jù)更新速度的分類，同時結(jié)合數(shù)據(jù)抽取表設(shè)置表中的過濾條件字段，對不同數(shù)據(jù)進行分時分批分過濾條件的數(shù)據(jù)抽取方式實現(xiàn)大數(shù)據(jù)量的數(shù)據(jù)高效抽取。