本發(fā)明涉及一種融合系統(tǒng)及方法，特別是涉及一種面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化的融合系統(tǒng)及方法。

背景技術(shù)：

在信息社會，每時(shí)都在產(chǎn)生海量的各種數(shù)據(jù)；這些信息數(shù)據(jù)產(chǎn)生于社會各系統(tǒng)內(nèi)，而每個(gè)系統(tǒng)自己的數(shù)據(jù)意義千變?nèi)f化，數(shù)據(jù)系統(tǒng)也是封閉的成為了一個(gè)個(gè)信息孤島。如何將這些千變?nèi)f化的，存在于一個(gè)個(gè)信息孤島的數(shù)據(jù)融合到一起，是形成大數(shù)據(jù)分析的基礎(chǔ)。傳統(tǒng)的數(shù)據(jù)處理技術(shù)，要么無法支持海量數(shù)據(jù)處理的技術(shù)要求，要么某單一領(lǐng)域業(yè)務(wù)需求與數(shù)據(jù)處理技術(shù)耦合性太強(qiáng)，缺少通用化，無法做到定制化和智能化，很難以平臺化的方式去支撐將多源異構(gòu)海量的數(shù)據(jù)融合。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化的融合系統(tǒng)及方法，其能夠?qū)⒏鞣N不同結(jié)構(gòu)化數(shù)據(jù)和不同非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一結(jié)構(gòu)化數(shù)據(jù)對異構(gòu)數(shù)據(jù)進(jìn)行語義分析，數(shù)據(jù)轉(zhuǎn)化，統(tǒng)一存儲。

本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的：一種面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的融合系統(tǒng)，其包括數(shù)據(jù)融合引擎模塊、數(shù)據(jù)模型管理系統(tǒng)模塊、分布式存儲資源池模塊，數(shù)據(jù)模型管理系統(tǒng)模塊、分布式存儲資源池模塊都與數(shù)據(jù)融合引擎模塊相連。

優(yōu)選地，所述數(shù)據(jù)融合引擎模塊用于多源異構(gòu)海量數(shù)據(jù)源數(shù)據(jù)清洗、加載、轉(zhuǎn)換、提取。

優(yōu)選地，所述數(shù)據(jù)融合引擎模塊包括結(jié)構(gòu)化數(shù)據(jù)采集模塊、非結(jié)構(gòu)化數(shù)據(jù)采集模塊、數(shù)據(jù)融合流程編排器、數(shù)據(jù)模型購構(gòu)建器、語義解析模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)轉(zhuǎn)換模塊，其中：

結(jié)構(gòu)化數(shù)據(jù)采集模塊用于對結(jié)構(gòu)化數(shù)據(jù)源數(shù)據(jù)進(jìn)行接口適配合數(shù)據(jù)采集；

非結(jié)構(gòu)化數(shù)據(jù)采集模塊用于對非結(jié)構(gòu)化數(shù)據(jù)源數(shù)據(jù)進(jìn)行接口適配合數(shù)據(jù)采集；

數(shù)據(jù)融合流程編排器用于配置數(shù)據(jù)融合所需流程處理環(huán)節(jié)；

數(shù)據(jù)模型購構(gòu)建器其用于構(gòu)建數(shù)據(jù)融合統(tǒng)一模型；

語義解析模塊用于對各種不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)語義解析和歸納，以便于后續(xù)數(shù)據(jù)分析；

數(shù)據(jù)分析模塊對數(shù)據(jù)結(jié)構(gòu)進(jìn)一步分析和形成統(tǒng)一轉(zhuǎn)換結(jié)構(gòu)；

數(shù)據(jù)轉(zhuǎn)換模塊對各數(shù)據(jù)源結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換。

優(yōu)選地，所述數(shù)據(jù)模型管理系統(tǒng)模塊用于面向領(lǐng)域數(shù)據(jù)模型設(shè)計(jì)。

優(yōu)選地，所述分布式存儲資源池模塊用于數(shù)據(jù)融合后依據(jù)數(shù)據(jù)模型提取出的主題分布式數(shù)據(jù)倉庫。

本發(fā)明還提供一種面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的融合方法，其包括以下步驟：

步驟一，啟動(dòng)數(shù)據(jù)融合引擎采集器；

步驟二，啟動(dòng)數(shù)據(jù)采集分析模塊；

步驟三，數(shù)據(jù)模塊構(gòu)建；

步驟四，數(shù)據(jù)融合任務(wù)發(fā)布；

步驟五，數(shù)據(jù)融合任務(wù)執(zhí)行；

步驟六，分布數(shù)據(jù)存儲；

步驟七，結(jié)束。

本發(fā)明的積極進(jìn)步效果在于：本發(fā)明能夠使用面向領(lǐng)域的可通用化，模板化數(shù)據(jù)模型對數(shù)據(jù)進(jìn)行分析提取形成數(shù)據(jù)倉庫，按照業(yè)務(wù)需求對異構(gòu)數(shù)據(jù)進(jìn)行語義分析，數(shù)據(jù)轉(zhuǎn)化，統(tǒng)一存儲，自動(dòng)發(fā)現(xiàn)和適配不同結(jié)構(gòu)的數(shù)據(jù)源，自動(dòng)將各種不同結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一結(jié)構(gòu)化數(shù)據(jù)，自動(dòng)將各種非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一結(jié)構(gòu)化數(shù)據(jù)。

附圖說明

圖1為本發(fā)明的結(jié)構(gòu)示意圖。

圖2為本發(fā)明的流程圖。

具體實(shí)施方式

下面結(jié)合附圖給出本發(fā)明較佳實(shí)施例，以詳細(xì)說明本發(fā)明的技術(shù)方案。

如圖1所示，本發(fā)明面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化的融合系統(tǒng)包括數(shù)據(jù)融合引擎模塊、數(shù)據(jù)模型管理系統(tǒng)模塊、分布式存儲資源池模塊，數(shù)據(jù)模型管理系統(tǒng)模塊、分布式存儲資源池模塊都與數(shù)據(jù)融合引擎模塊相連。

所述數(shù)據(jù)融合引擎模塊用于多源異構(gòu)海量數(shù)據(jù)源數(shù)據(jù)清洗、加載、轉(zhuǎn)換、提取。

所述數(shù)據(jù)融合引擎模塊包括結(jié)構(gòu)化數(shù)據(jù)采集模塊、非結(jié)構(gòu)化數(shù)據(jù)采集模塊、數(shù)據(jù)融合流程編排器、數(shù)據(jù)模型購構(gòu)建器、語義解析模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)轉(zhuǎn)換模塊，其中：

結(jié)構(gòu)化數(shù)據(jù)采集模塊用于對結(jié)構(gòu)化數(shù)據(jù)源數(shù)據(jù)進(jìn)行接口適配合數(shù)據(jù)采集；

非結(jié)構(gòu)化數(shù)據(jù)采集模塊用于對非結(jié)構(gòu)化數(shù)據(jù)源數(shù)據(jù)進(jìn)行接口適配合數(shù)據(jù)采集；

數(shù)據(jù)融合流程編排器用于配置數(shù)據(jù)融合所需流程處理環(huán)節(jié)；

數(shù)據(jù)模型購構(gòu)建器其用于構(gòu)建數(shù)據(jù)融合統(tǒng)一模型；

語義解析模塊用于對各種不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)語義解析和歸納，以便于后續(xù)數(shù)據(jù)分析；

數(shù)據(jù)分析模塊對數(shù)據(jù)結(jié)構(gòu)進(jìn)一步分析和形成統(tǒng)一轉(zhuǎn)換結(jié)構(gòu)；

數(shù)據(jù)轉(zhuǎn)換模塊對各數(shù)據(jù)源結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換。

所述數(shù)據(jù)模型管理系統(tǒng)模塊用于面向領(lǐng)域數(shù)據(jù)模型設(shè)計(jì)。

所述分布式存儲資源池模塊用于數(shù)據(jù)融合后依據(jù)數(shù)據(jù)模型提取出的主題分布式數(shù)據(jù)倉庫。

如圖2所示，本發(fā)明面向領(lǐng)域數(shù)據(jù)模型的結(jié)構(gòu)化和非結(jié)構(gòu)化的融合方法包括以下步驟：

步驟一，啟動(dòng)數(shù)據(jù)融合引擎采集器，各分布式數(shù)據(jù)采集器自動(dòng)完成發(fā)現(xiàn)和適配各自接口的數(shù)據(jù)源并反饋至數(shù)據(jù)分析模塊；

步驟二，啟動(dòng)數(shù)據(jù)采集分析模塊，數(shù)據(jù)分析模塊對各數(shù)據(jù)源不同數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)；

步驟三，數(shù)據(jù)模塊構(gòu)建；

步驟四，數(shù)據(jù)融合任務(wù)發(fā)布；

步驟五，數(shù)據(jù)融合任務(wù)執(zhí)行，根據(jù)配置自動(dòng)執(zhí)行數(shù)據(jù)融合任務(wù)；

步驟六，分布數(shù)據(jù)存儲，將數(shù)據(jù)融合目標(biāo)數(shù)據(jù)分布式存儲于資源池；

步驟七，結(jié)束。

以上所述的具體實(shí)施例，對本發(fā)明的解決的技術(shù)問題、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。