一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法
【專利摘要】本發(fā)明涉及信息【技術(shù)領(lǐng)域】，具體公開了一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法；包括：對(duì)需要進(jìn)行集成、交換和共享的業(yè)務(wù)建立數(shù)據(jù)元管理模型，并對(duì)所述數(shù)據(jù)元管理模型內(nèi)的每一個(gè)數(shù)據(jù)項(xiàng)進(jìn)行唯一標(biāo)識(shí)；將數(shù)據(jù)元管理模型中標(biāo)識(shí)與多源異構(gòu)數(shù)據(jù)庫字段進(jìn)行映射；根據(jù)標(biāo)識(shí)所對(duì)應(yīng)的字段生成相應(yīng)的目標(biāo)SQL語句；訪問多源異構(gòu)數(shù)據(jù)庫，執(zhí)行目標(biāo)SQL語句，返回結(jié)果集；采用融合算法對(duì)結(jié)果集進(jìn)行融合處理。本發(fā)明可以有效識(shí)別并融合異構(gòu)數(shù)據(jù)源中存在的沖突實(shí)例，可以在更高層次上提高數(shù)據(jù)集成/數(shù)據(jù)融合的效果；有效的提高了數(shù)據(jù)交換和集成的準(zhǔn)確性，大大提高了數(shù)據(jù)集成和交換的效率。
【專利說明】一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息【技術(shù)領(lǐng)域】，尤其是涉及一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法。

【背景技術(shù)】
[0002]數(shù)據(jù)共享:是每個(gè)信息系統(tǒng)建設(shè)共同的目標(biāo)，可以使更多的人更充分的使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復(fù)勞動(dòng)和相應(yīng)費(fèi)用，而把精力重點(diǎn)放在開發(fā)新的應(yīng)用程序及系統(tǒng)集成上。
[0003]傳統(tǒng)的數(shù)據(jù)共享技術(shù)概括起來，有以下特征:①僅支持?jǐn)?shù)據(jù)模型間的基本幾何要素映射，一般僅支持簡單的點(diǎn)、線概念；②傳統(tǒng)屬性(非圖形)數(shù)據(jù)單獨(dú)處理；③未定義元數(shù)據(jù)，即使定義了元數(shù)據(jù)也是建立在對(duì)共享數(shù)據(jù)直接映射基礎(chǔ)上的應(yīng)用，如數(shù)據(jù)資源目錄和注冊(cè)管理信息等，也僅作為數(shù)據(jù)索引加以引用，并沒有本質(zhì)提升輸入數(shù)據(jù)與輸出模型要求一致。
[0004]目前多源異構(gòu)數(shù)據(jù)共享主要面臨如下困難:①可實(shí)現(xiàn)性，是指用戶獲取數(shù)據(jù)的難易程度；由于多源異構(gòu)數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣，數(shù)據(jù)傳輸?shù)墓ぷ髁枯^大，用戶只能通過網(wǎng)絡(luò)來獲取多源異構(gòu)數(shù)據(jù)資源。而以往大量的應(yīng)用數(shù)據(jù)是針對(duì)單機(jī)或局域網(wǎng)開發(fā)的，這樣就產(chǎn)生了大量不可在互聯(lián)網(wǎng)上直接訪問的遺留型數(shù)據(jù)資源，如何在互聯(lián)網(wǎng)上對(duì)這些資源的訪問需要考慮，如何彌合多源異構(gòu)數(shù)據(jù)和互聯(lián)網(wǎng)之間的鴻溝，如何利用互聯(lián)網(wǎng)協(xié)議傳輸多源異構(gòu)數(shù)據(jù)；用戶如何在互聯(lián)網(wǎng)上找到該系統(tǒng)，通過該系統(tǒng)訪問到遺留型多源異構(gòu)數(shù)據(jù)；用戶得到的多源異構(gòu)數(shù)據(jù)的格式如何，能否直接應(yīng)用或經(jīng)轉(zhuǎn)換后應(yīng)用，目前還沒有有效的解決方案。②互操作性，是指用戶理解數(shù)據(jù)的難易程度；由于不同產(chǎn)品的開發(fā)與商業(yè)策略差異，造成了不同的應(yīng)用數(shù)據(jù)之間邊界分明，用戶難以理解和使用多源異構(gòu)數(shù)據(jù)。多源異構(gòu)數(shù)據(jù)互操作的關(guān)鍵就是解決多源異構(gòu)數(shù)據(jù)異構(gòu)問題，而數(shù)據(jù)具有語法和語義，如何分層次討論數(shù)據(jù)異構(gòu)問題，以及解決在互聯(lián)網(wǎng)環(huán)境中考慮語法差異、語義差異和融合差異的問題，目前還沒有有效的解決方案。③易用性，是指用戶處理多源異構(gòu)數(shù)據(jù)的簡易程度；很多多源異構(gòu)數(shù)據(jù)產(chǎn)品都提供了二次開發(fā)平臺(tái)以便用戶構(gòu)造自己的應(yīng)用以滿足各種需求；在互聯(lián)網(wǎng)環(huán)境中應(yīng)用的構(gòu)造方法也從單機(jī)單任務(wù)模式擴(kuò)展到了多任務(wù)分布計(jì)算模式，潛在的用戶市場不可能被少數(shù)廠商壟斷，而且也很難針對(duì)特定應(yīng)用提供服務(wù)，這就需要開放的數(shù)據(jù)處理框架提供數(shù)據(jù)要素與服務(wù)要素，然后通過要素之間的整合應(yīng)用完成任務(wù)，目前還沒有有效的解決方案。
[0005]數(shù)據(jù)交換:是指在不同的軟件和操作系統(tǒng)之間使用網(wǎng)絡(luò)以及那些特殊的設(shè)備等硬件進(jìn)行數(shù)據(jù)移動(dòng)的過程。各個(gè)系統(tǒng)間實(shí)現(xiàn)業(yè)務(wù)協(xié)作，互聯(lián)互通以及數(shù)據(jù)共享在企業(yè)異構(gòu)數(shù)據(jù)系統(tǒng)中，其主要解決方法就是通過數(shù)據(jù)交換技術(shù)。
[0006]目前已知的數(shù)據(jù)交換方案存在的缺陷如下:①針對(duì)具體應(yīng)用編制且配置復(fù)雜；②靈活性和通用性低；③異構(gòu)適應(yīng)能力低。異構(gòu)性，是數(shù)據(jù)集成必須面臨的首要問題，其主要表現(xiàn)在兩個(gè)方面:系統(tǒng)異構(gòu)，數(shù)據(jù)源所依賴的應(yīng)用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)乃至操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)；模式異構(gòu)，數(shù)據(jù)源在存儲(chǔ)模式上的不同，包括結(jié)構(gòu)化和非結(jié)構(gòu)化的。實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)交換需要考慮數(shù)據(jù)的透明訪問與異構(gòu)數(shù)據(jù)轉(zhuǎn)換的問題，目前還沒有有效的解決方案。
[0007]數(shù)據(jù)中心:標(biāo)志著IT應(yīng)用的規(guī)范化和組織化。如今各種數(shù)據(jù)中心已經(jīng)成為如交通、能源一樣的經(jīng)濟(jì)基礎(chǔ)設(shè)施。隨著數(shù)據(jù)中心規(guī)模和密度的急劇擴(kuò)大，人類社會(huì)在得益于數(shù)據(jù)中心的同時(shí)，也受到利用傳統(tǒng)技術(shù)建立起來的龐大數(shù)據(jù)中心在成本、因變速度、能源消耗等方面的種種困擾。
[0008]傳統(tǒng)數(shù)據(jù)中心的管理存在著如下缺陷:①利用率低，靈活性差；②可擴(kuò)展性差煙囪式管理成本高，能耗加劇。
[0009]數(shù)據(jù)融合:是指利用計(jì)算機(jī)對(duì)按時(shí)序獲得的若干觀測信息，在一定準(zhǔn)則下加以自動(dòng)分析、綜合，以完成所需的決策和評(píng)估任務(wù)而進(jìn)行的信息處理技術(shù)。該技術(shù)的核心問題是針對(duì)不同的環(huán)境選擇合適的融合算法，由于信息的多樣性和復(fù)雜性，數(shù)據(jù)融合算法要求具有魯棒性和并行處理能力，目前的融合算法都無法適合信息的多樣性和復(fù)雜性。
[0010]唯一標(biāo)識(shí):國內(nèi)大型數(shù)字期刊生產(chǎn)商都不同程度的使用了唯一標(biāo)識(shí)符。例如，萬方數(shù)據(jù)、清華同方和重慶維普等都采用了各自的唯一標(biāo)識(shí)符方案。此外，其他類型的數(shù)字資源生產(chǎn)商，如方正Apabi電子圖書同樣使用了唯一標(biāo)識(shí)符。作為人類社會(huì)的伴生物，它的悠久歷史和重要程度，遠(yuǎn)遠(yuǎn)超過我們通常的認(rèn)識(shí)。作為視覺識(shí)別的標(biāo)識(shí)已取得廣泛應(yīng)用，作為信息識(shí)別的標(biāo)識(shí)目前還沒有很好的得到普遍應(yīng)用。
[0011]同國外相比，國內(nèi)唯一標(biāo)識(shí)符的應(yīng)用仍處于初級(jí)階段，主要存在下述缺陷:①國內(nèi)的自定義唯一標(biāo)識(shí)符作用僅僅是數(shù)字對(duì)象的唯一編號(hào)，唯一標(biāo)識(shí)符的制定和使用缺少規(guī)范，各個(gè)數(shù)字文獻(xiàn)生產(chǎn)商使用的唯一標(biāo)識(shí)符各異，沒有形成統(tǒng)一的規(guī)范標(biāo)準(zhǔn)；②唯一標(biāo)識(shí)符僅在各自資源范圍內(nèi)發(fā)揮作用，一旦脫離各自的數(shù)據(jù)庫，其唯一標(biāo)識(shí)符便不能揭示文獻(xiàn)的任何特征；③唯一標(biāo)識(shí)符的應(yīng)用層次比較低，其作用僅限于對(duì)內(nèi)部數(shù)字對(duì)象的標(biāo)識(shí)，與唯一標(biāo)識(shí)符應(yīng)用相關(guān)的解析系統(tǒng)和管理機(jī)制也沒有建立起來，無法實(shí)現(xiàn)各個(gè)數(shù)字文獻(xiàn)生產(chǎn)商的資源共享；④唯一標(biāo)識(shí)無層級(jí)關(guān)系，對(duì)于所有數(shù)據(jù)采用統(tǒng)一的標(biāo)識(shí)方式，無法體現(xiàn)數(shù)據(jù)之間的層級(jí)和關(guān)系。
[0012]整合分布異構(gòu)數(shù)據(jù)資源、實(shí)現(xiàn)數(shù)據(jù)共享，為管理決策提供更加完整和可靠的數(shù)據(jù)服務(wù)支持，是當(dāng)前及未來各領(lǐng)域深化信息系統(tǒng)建設(shè)發(fā)展的重要課題和方向。從各種分布、異構(gòu)數(shù)據(jù)源中抽取數(shù)據(jù)，并進(jìn)行數(shù)據(jù)變換、數(shù)據(jù)合并、數(shù)據(jù)融合和數(shù)據(jù)分發(fā)等處理工作，則是數(shù)據(jù)集成處理的一項(xiàng)最基本任務(wù)。建立一個(gè)相對(duì)靜態(tài)的集成環(huán)境，對(duì)用戶提供統(tǒng)一的信息存取接口，是目前常用的數(shù)據(jù)集成方法。無論哪一種集成方法，異構(gòu)性是數(shù)據(jù)集成面臨的首要問題，主要表現(xiàn)在兩個(gè)方面:系統(tǒng)異構(gòu)，數(shù)據(jù)源所依賴的應(yīng)用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)乃至操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)；模式異構(gòu)，數(shù)據(jù)源在存儲(chǔ)模式上的不同，可能是結(jié)構(gòu)化的，也可能是非結(jié)構(gòu)化的；即使是結(jié)構(gòu)化的數(shù)據(jù)源，其數(shù)據(jù)結(jié)構(gòu)和存取模式也會(huì)不同。實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成主要需要解決數(shù)據(jù)的透明訪問、數(shù)據(jù)在語法、語義和結(jié)構(gòu)上的異構(gòu)以及其異構(gòu)數(shù)據(jù)轉(zhuǎn)換的問題。
[0013]傳統(tǒng)的異構(gòu)數(shù)據(jù)集成方法可以分為兩種:1)模式集成方法，主要是利用自定義的全局模式(標(biāo)準(zhǔn)數(shù)據(jù)模型)，提供一個(gè)所有異構(gòu)數(shù)據(jù)源的虛擬視圖(數(shù)據(jù)映射字典)，數(shù)據(jù)既可以保留在數(shù)據(jù)源處，也可以集中存放在數(shù)據(jù)交換中心，該方法由于其靈活性和典型性，成為數(shù)據(jù)集成的常用方法。2)物化處理方法，主要是建立中心數(shù)據(jù)庫，將各個(gè)數(shù)據(jù)源的數(shù)據(jù)復(fù)制到數(shù)據(jù)中心，其優(yōu)點(diǎn)是容易獲得較好的集成查詢性能，但不能靈活的適應(yīng)需求變化。
[0014]以上兩種方法在技術(shù)實(shí)現(xiàn)上多采用“基于數(shù)據(jù)結(jié)構(gòu)直接映射的數(shù)據(jù)匹配集成/交換技術(shù)”，雖然基本能夠滿足對(duì)異構(gòu)數(shù)據(jù)源的統(tǒng)一查詢接口，但對(duì)于定義多源分布式異構(gòu)數(shù)據(jù)同步集成/交換處理需求，此法會(huì)變得異常復(fù)雜，導(dǎo)致很多方面難以滿足應(yīng)用要求，且很難達(dá)到多源數(shù)據(jù)融合服務(wù)要求。
[0015]如何將數(shù)據(jù)標(biāo)識(shí)轉(zhuǎn)換成語義網(wǎng)絡(luò)，利用語義網(wǎng)絡(luò)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一描述和自動(dòng)集成處理，主要表現(xiàn)在以下方面:①業(yè)務(wù)數(shù)據(jù)的描述方法，針對(duì)各部門的業(yè)務(wù)數(shù)據(jù)，因業(yè)務(wù)標(biāo)準(zhǔn)的不一，描述的方式會(huì)千差萬別。②數(shù)據(jù)對(duì)象的統(tǒng)一表示，由于數(shù)據(jù)結(jié)構(gòu)差異化，數(shù)據(jù)對(duì)象的表示有多種方式，使得數(shù)據(jù)集成過程復(fù)雜多樣。③唯一標(biāo)識(shí)的規(guī)范，唯一標(biāo)識(shí)的制定和使用缺少規(guī)范，因此需要制定一種統(tǒng)一的標(biāo)識(shí)方法與處理規(guī)則。
[0016]目前還沒有數(shù)據(jù)集成和交換方法來有效的解決上述問題。


【發(fā)明內(nèi)容】

[0017]本發(fā)明所解決的技術(shù)問題是提供一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，本發(fā)明在深入研究國內(nèi)外數(shù)據(jù)集成/轉(zhuǎn)換常用方法的基礎(chǔ)上，提出了一種基于6W原則的唯一標(biāo)識(shí)，在6個(gè)方向上針對(duì)數(shù)據(jù)、信息、知識(shí)、接口等內(nèi)容，從4個(gè)層級(jí)(系列、集合、實(shí)體、子集)同時(shí)對(duì)數(shù)據(jù)集關(guān)鍵屬性進(jìn)行網(wǎng)格化唯一標(biāo)識(shí)，并利用標(biāo)識(shí)所具有的多維矩陣計(jì)算特征，對(duì)每個(gè)層級(jí)每個(gè)方向都進(jìn)行了唯一性規(guī)范和符號(hào)化處理，要求每一層級(jí)的標(biāo)識(shí)加上父級(jí)標(biāo)識(shí)都不允許重復(fù)。本發(fā)明解決了數(shù)據(jù)源在存儲(chǔ)模式上的不同、業(yè)務(wù)數(shù)據(jù)描述問題、數(shù)據(jù)對(duì)象的唯一表示以及唯一標(biāo)識(shí)的規(guī)范問題，由于本發(fā)明采用唯一性標(biāo)識(shí)中的4層6向網(wǎng)格化數(shù)據(jù)融合快速計(jì)算方法，允許系統(tǒng)在6個(gè)方向上同時(shí)對(duì)不同來源數(shù)據(jù)進(jìn)行融合處理，為不同訴求的數(shù)據(jù)共享/集成/交換/融合的計(jì)算處理方法提供了技術(shù)支持，實(shí)現(xiàn)了多源異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)、信息、知識(shí)和服務(wù)的全面集成、交換和融合，并可將該方法應(yīng)用到數(shù)據(jù)集成/轉(zhuǎn)換/融合處理系統(tǒng)中，改善對(duì)異構(gòu)數(shù)據(jù)進(jìn)行自動(dòng)合并處理的實(shí)用性。此方法可以有效識(shí)別并融合異構(gòu)數(shù)據(jù)源中存在的沖突實(shí)例，可以在更高層次上提高數(shù)據(jù)集成/數(shù)據(jù)融合的效果；有效的提高了數(shù)據(jù)交換和集成的準(zhǔn)確性，大大提高了數(shù)據(jù)集成和交換的效率。
[0018]為了解決上述技術(shù)問題，本發(fā)明提供了一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法；包括:
[0019]步驟一、建立數(shù)據(jù)元管理模型:對(duì)需要進(jìn)行集成、交換和共享的業(yè)務(wù)建立數(shù)據(jù)元管理模型，并對(duì)所述數(shù)據(jù)元管理模型內(nèi)的每一個(gè)數(shù)據(jù)項(xiàng)進(jìn)行唯一標(biāo)識(shí)；
[0020]步驟二、字段和標(biāo)識(shí)映射:將所述數(shù)據(jù)元管理模型中的所述標(biāo)識(shí)與多源異構(gòu)數(shù)據(jù)庫中字段進(jìn)行映射；
[0021]步驟三、自動(dòng)轉(zhuǎn)換SQL:根據(jù)所述標(biāo)識(shí)映射的所述字段生成相應(yīng)的目標(biāo)SQL語句；
[0022]步驟四、目標(biāo)SQL執(zhí)行并返回結(jié)果:訪問所述多源異構(gòu)數(shù)據(jù)庫，執(zhí)行所述目標(biāo)SQL語句，返回結(jié)果集；
[0023]步驟五、多源數(shù)據(jù)結(jié)果融合:采用融合算法對(duì)所述結(jié)果集進(jìn)行融合處理。
[0024]優(yōu)選的，所述步驟一中，建立所述數(shù)據(jù)元管理模型包括步驟如下:
[0025]①訪問業(yè)務(wù)模型庫，或者根據(jù)業(yè)務(wù)場景手動(dòng)錄入業(yè)務(wù)模型，對(duì)通過訪問元數(shù)據(jù)庫中的描述異構(gòu)源數(shù)據(jù)庫的部分，分析各個(gè)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)，生成數(shù)據(jù)元管理模型的樹形結(jié)構(gòu)；
[0026]②制定劃分樹形結(jié)構(gòu)的規(guī)則，包括:不同的領(lǐng)域?qū)ο髣澐譃橐粋€(gè)系列；同一所述系列下具有相同屬性的業(yè)務(wù)劃分為一個(gè)集合；同一所述集合下不同活動(dòng)劃分為不同的實(shí)體；所述同一活動(dòng)下其他子活動(dòng)劃分為子集；所述多源異構(gòu)數(shù)據(jù)庫中的所述字段劃分為字符，所述多源異構(gòu)數(shù)據(jù)庫中的表字段劃分為屬性或特性；
[0027]③根據(jù)劃分規(guī)則對(duì)所述業(yè)務(wù)進(jìn)行劃分，根據(jù)已經(jīng)制定的所述樹形結(jié)構(gòu)的規(guī)則對(duì)生成的樹形結(jié)構(gòu)進(jìn)行判斷，依次將相應(yīng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行唯一標(biāo)識(shí)描述，簡化的標(biāo)識(shí)對(duì)應(yīng)關(guān)系，任何一個(gè)領(lǐng)域中的對(duì)象的都用一個(gè)唯一標(biāo)識(shí)描述；
[0028]④所述劃分結(jié)束后，則異構(gòu)數(shù)據(jù)交換數(shù)據(jù)元模型建成，將所述模型保存到數(shù)據(jù)元模型庫中。
[0029]更加優(yōu)選的，所述步驟二中，所述字段中和所述數(shù)據(jù)元管理模型中定義的所述標(biāo)識(shí)的數(shù)據(jù)類型、單位和意義完全一樣的做直接映射，所述字段中和所述數(shù)據(jù)元管理模型中定義的所述標(biāo)識(shí)的數(shù)據(jù)類型、單位和意義不同的進(jìn)行額外處理，所述額外處理是添加額外交換規(guī)則，用來指導(dǎo)交換程序進(jìn)行處理。
[0030]更加優(yōu)選的，所述額外交換規(guī)則包括:碼表轉(zhuǎn)換規(guī)則、默認(rèn)值規(guī)則、別名規(guī)則、替換規(guī)則、條件規(guī)則、篩選規(guī)則、冗余列和計(jì)算公式，所述額外交換規(guī)則中的每種規(guī)則只處理一種交換情況的字段，當(dāng)處理包含有兩種或者兩種以上交換情況的所述字段時(shí)，則根據(jù)所述交換情況將對(duì)應(yīng)的所述額外交換規(guī)則組合起來描述一個(gè)字段，直到所述字段與所述標(biāo)識(shí)映射完成。
[0031]更加優(yōu)選的，所述步驟一中，在對(duì)所述業(yè)務(wù)模型內(nèi)的每一個(gè)數(shù)據(jù)項(xiàng)進(jìn)行唯一標(biāo)識(shí)時(shí)，所述數(shù)據(jù)項(xiàng)包括對(duì)象、活動(dòng)和屬性；所述數(shù)據(jù)項(xiàng)還分為Μ類、C類和0類，所述Μ類數(shù)據(jù)項(xiàng)為確定數(shù)據(jù)唯一性的標(biāo)識(shí)且為必填項(xiàng)，所述C類數(shù)據(jù)項(xiàng)為條件必選項(xiàng)，所述0類數(shù)據(jù)項(xiàng)的標(biāo)識(shí)為可選項(xiàng)，所述C類數(shù)據(jù)項(xiàng)和所述0類數(shù)據(jù)項(xiàng)均為非必填項(xiàng)。
[0032]更加優(yōu)選的，所述步驟一中，所述數(shù)據(jù)元管理模型構(gòu)建的規(guī)則是:根據(jù)業(yè)務(wù)域分成不同的系列，每個(gè)系列內(nèi)的業(yè)務(wù)報(bào)表按照業(yè)務(wù)分類以及對(duì)象不同分成不同的集合，所述集合再分成實(shí)體，即業(yè)務(wù)報(bào)表；所述實(shí)體再分成子集，即所述業(yè)務(wù)報(bào)表內(nèi)的子表格；每一個(gè)所述集合至少含有一個(gè)Μ類實(shí)體，即基礎(chǔ)的所述業(yè)務(wù)報(bào)表。
[0033]更加優(yōu)選的，所述步驟三中，所述自動(dòng)轉(zhuǎn)換SQL包括select轉(zhuǎn)換、delete轉(zhuǎn)換、insert 和 update 轉(zhuǎn)換。
[0034]更加優(yōu)選的，所述select轉(zhuǎn)換包括步驟如下:
[0035]①把源SQL中字段名根據(jù)上一節(jié)做的映射關(guān)系，進(jìn)行一一替換，把SQL轉(zhuǎn)換成基于標(biāo)識(shí)的SQL ；
[0036]②基于標(biāo)識(shí)SQL去掉葉子節(jié)點(diǎn)，留下所述葉子節(jié)點(diǎn)隸屬的對(duì)象，所述對(duì)象包括系列、集合、實(shí)體和子集，將所述對(duì)象進(jìn)行合并，保留不同的所述對(duì)象；
[0037]③將所述對(duì)象標(biāo)識(shí)按從小到大的順序進(jìn)行排序，并對(duì)應(yīng)添加所述對(duì)象對(duì)應(yīng)的對(duì)象表，將所述對(duì)象表分別重新命名；
[0038]④依次把相鄰的兩個(gè)所述對(duì)象建立自連接，自連接的條件是兩個(gè)所述對(duì)象中具有相同的所述Μ類數(shù)據(jù)項(xiàng)，其中，所述Μ類數(shù)據(jù)項(xiàng)是指數(shù)據(jù)唯一性的數(shù)據(jù)字段；
[0039]⑤將所述對(duì)象表中主鍵和目標(biāo)庫中表的主鍵建立連接，使所述對(duì)象表中記錄和物理表建立起連接，形成完整的記錄；
[0040]⑥將基于標(biāo)識(shí)的SQL轉(zhuǎn)換成目標(biāo)庫中的字段，生成目標(biāo)庫腳本，在目標(biāo)庫中查詢所述目標(biāo)庫腳本。
[0041]更加優(yōu)選的，所述Delete轉(zhuǎn)換包括步驟如下:
[0042]①Delete轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)刪除，若A庫為源庫，B庫為目標(biāo)庫，現(xiàn)在將所述A庫中的表A1數(shù)據(jù)刪除相應(yīng)的記錄，此時(shí)B庫對(duì)應(yīng)的表也刪除相應(yīng)記錄；
[0043]②構(gòu)造刪除所述表A1記錄的Delete SQL,轉(zhuǎn)換時(shí)，通過所述A庫與所述B庫模型映射，根據(jù)表名和字段，獲取對(duì)應(yīng)的需要?jiǎng)h除的目標(biāo)表集合；
[0044]③根據(jù)所述目標(biāo)表之間的關(guān)系，依次處理所述目標(biāo)表，調(diào)用所述select轉(zhuǎn)換，根據(jù)源表名稱、目標(biāo)表名稱，得到需要?jiǎng)h除的記錄的rowid或者主鍵，構(gòu)造目標(biāo)表的deleteSQL語句，并同時(shí)處理各種約束和規(guī)則，將所有所述目標(biāo)表的delete SQL語句封裝到過程；
[0045]④多線程批量執(zhí)行過程，完成數(shù)據(jù)刪除；
[0046]其中，刪除數(shù)據(jù)時(shí)，刪除語句的順序不能變更，即先從子表進(jìn)行刪除，再刪除所述子表的父表。
[0047]更加優(yōu)選的，所述insert轉(zhuǎn)換和所述update轉(zhuǎn)換包括步驟如下:
[0048]①insert轉(zhuǎn)換和update轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)同步，若A庫為源庫，B庫為目標(biāo)庫，將所述A庫中的表A1數(shù)據(jù)同步到所述B庫對(duì)應(yīng)的表；
[0049]②查詢所述表A1的數(shù)據(jù)，循環(huán)記錄，并同時(shí)將每條記錄構(gòu)造成insert/updateSQL語句；
[0050]③獲取insert/update SQL的列名稱及對(duì)應(yīng)的值，分別存儲(chǔ)，循環(huán)列名稱及值，通過所述A庫與所述B庫的模型映射找到每個(gè)列對(duì)應(yīng)的目標(biāo)表及與該表對(duì)應(yīng)的目標(biāo)列，然后存儲(chǔ)目標(biāo)表集合；
[0051]④根據(jù)所述目標(biāo)表之間的關(guān)系，依次處理所述目標(biāo)表，構(gòu)造所述目標(biāo)表的insert/update SQL語句，并處理過程中各種約束和規(guī)則，直到所有的所述目標(biāo)表處理完成，將所有目標(biāo)表的insert SQL語句封裝到過程；在構(gòu)造insert/update SQL語句的同時(shí)，構(gòu)造select語句和update語句，查詢所述目標(biāo)表中是否存在要同步的記錄,若存在,則更新對(duì)應(yīng)的記錄，否則，插入記錄；
[0052]⑤多線程批量執(zhí)行所述步驟④生成的所述SQL語句，完成數(shù)據(jù)導(dǎo)入和更新；
[0053]其中，當(dāng)插入或者修改數(shù)據(jù)時(shí)，操作的順序不能隨意變更，即先從父表進(jìn)行操作，再對(duì)其子表操作。
[0054]更加優(yōu)選的，所述步驟四中，當(dāng)執(zhí)行所述目標(biāo)SQL語句時(shí)，根據(jù)所述目標(biāo)SQL語句的類型進(jìn)行判斷，根據(jù)所述類型給予對(duì)應(yīng)的處理。
[0055]更加優(yōu)選的，所述對(duì)應(yīng)的處理包括:對(duì)于select句型，執(zhí)行完之后，返回查詢結(jié)果，對(duì)于delete句型以及insert和update句型,執(zhí)行完之后,返回操作成功或者操作失敗的提示。
[0056]更加優(yōu)選的，所述步驟五中，所述融合處理包括步驟如下:
[0057]①所述數(shù)據(jù)的采集，采集的所述數(shù)據(jù)為所述步驟四中的所得到的所述結(jié)果集；
[0058]②數(shù)據(jù)預(yù)處理，將采集到的所述數(shù)據(jù)轉(zhuǎn)換統(tǒng)一成數(shù)據(jù)元管理模型中定義的格式，再根據(jù)字段和唯一標(biāo)識(shí)的映射規(guī)則，對(duì)所述數(shù)據(jù)的結(jié)果進(jìn)行組合，從而得到有條理有層次的信息；
[0059]③數(shù)據(jù)融合計(jì)算，采用改進(jìn)的D-S證據(jù)理論方法對(duì)所述信息進(jìn)行融合，包括:首先把針對(duì)結(jié)果集中的所述信息逐個(gè)取出，與數(shù)據(jù)元管理庫中的對(duì)應(yīng)結(jié)果進(jìn)行匹配，為匹配成功的結(jié)果分配相應(yīng)的權(quán)值，所述權(quán)值是結(jié)果進(jìn)行基本可信度分配，依此分配計(jì)算，直到匹配結(jié)果集合的所有的匹配成功的所述結(jié)果都分析完，則得到最終的結(jié)果；
[0060]④輸出所述最終的結(jié)果。
[0061]其中，所述Μ類表示必選(Mandatory);所述C類表示條件必選(Condit1nal);所述0類表示可選(Opt1nal)。
[0062]其中，所述SQL是結(jié)構(gòu)化查詢語言(Structured Query Language)的縮寫，結(jié)構(gòu)化查詢語言是一種數(shù)據(jù)庫查詢和程序設(shè)計(jì)語言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫系統(tǒng)；同時(shí)也是數(shù)據(jù)庫腳本文件的擴(kuò)展名。結(jié)構(gòu)化查詢語言是高級(jí)的非過程化編程語言，允許用戶在高層數(shù)據(jù)結(jié)構(gòu)上工作。它不要求用戶指定對(duì)數(shù)據(jù)的存放方法，也不需要用戶了解具體的數(shù)據(jù)存放方式，所以具有完全不同底層結(jié)構(gòu)的不同數(shù)據(jù)庫系統(tǒng)可以使用相同的結(jié)構(gòu)化查詢語言語言作為數(shù)據(jù)輸入與管理的接口。結(jié)構(gòu)化查詢語言語句可以嵌套，這使他具有極大的靈活性和強(qiáng)大的功能。
[0063]其中，所述D-S(Dempster-Shafer)證據(jù)理論是由Dempster于1967年首先提出，由他的學(xué)生shafer于1976年進(jìn)一步發(fā)展起來的一種不精確推理理論,也稱為Dempster/Shafer證據(jù)理論(D_S證據(jù)理論)。D_S證據(jù)理論是對(duì)傳統(tǒng)的貝葉斯理論的重要推廣，它用信任區(qū)間代替概率，用集合表示命題(事件)，用Dempster組合規(guī)則代替貝葉斯公式來更新信任函數(shù)。作為一種不確定推理方法，證據(jù)理論的主要特點(diǎn)是:滿足比貝葉斯概率論更弱的條件；具有直接表達(dá)“不確定”和“不知道”的能力。
[0064]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下有益效果:
[0065]①一次描述
[0066]基于唯一標(biāo)識(shí)的實(shí)現(xiàn)，實(shí)現(xiàn)了數(shù)據(jù)資源的統(tǒng)一集中管理，面對(duì)分散、多來源、多類型的元數(shù)據(jù)數(shù)據(jù)、對(duì)象數(shù)據(jù)，本系統(tǒng)要能夠?qū)崿F(xiàn)對(duì)這些數(shù)據(jù)的標(biāo)識(shí)，對(duì)所標(biāo)識(shí)的數(shù)字對(duì)象而言，相當(dāng)于人的身份證，具有唯一性。保證了在網(wǎng)絡(luò)環(huán)境下對(duì)數(shù)字化對(duì)象的準(zhǔn)確提取，有效的避免重復(fù)冗余的工作，大大提高數(shù)據(jù)庫利用效率，使得數(shù)據(jù)集成和交換效率大大提高。
[0067]唯一標(biāo)識(shí)的特性是一次描述，這一特性避免并且解決了多重規(guī)則和標(biāo)準(zhǔn)不統(tǒng)一的問題。是建立完整標(biāo)準(zhǔn)體系的基礎(chǔ)，為數(shù)據(jù)集成和交換提供了完整性，準(zhǔn)確性，高效性的保證。
[0068]②規(guī)范VS腳本
[0069]解決了數(shù)據(jù)清洗、匯總、別名和替換的問題；
[0070]唯一標(biāo)識(shí)的重點(diǎn)是制定統(tǒng)一規(guī)范的規(guī)則，規(guī)則制定包括了規(guī)則劃分，訪問數(shù)據(jù)庫，根據(jù)劃分規(guī)則對(duì)業(yè)務(wù)進(jìn)行描述等等。按照規(guī)則所處理的數(shù)據(jù)，據(jù)有統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，將多源同類的數(shù)據(jù)進(jìn)行規(guī)范統(tǒng)一輸出，不僅完成了數(shù)據(jù)清洗的工作，還解決了匯總以及別名替換的問題。
[0071]③健壯性
[0072]因?yàn)榻⒘私y(tǒng)一的規(guī)則，并且每個(gè)規(guī)則都映射了唯一標(biāo)識(shí)，最大程度的減少了系統(tǒng)中的奇異性，有效的提高了數(shù)據(jù)交換和集成的準(zhǔn)確性。在異構(gòu)數(shù)據(jù)的適宜性反面，也有著足夠的優(yōu)勢(shì)，只要有規(guī)則就能完成數(shù)據(jù)的集成和交換，大大提高了系統(tǒng)的通用性。
[0073]本發(fā)明基于唯一標(biāo)識(shí)實(shí)現(xiàn)數(shù)據(jù)資源的統(tǒng)一集中管理，使得分散的、多源的異構(gòu)數(shù)據(jù)的訪問更為規(guī)范，另外，唯一標(biāo)識(shí)的應(yīng)用保證了對(duì)數(shù)字化對(duì)象的準(zhǔn)確提取，有效的避免重復(fù)冗余的工作，大大提高數(shù)據(jù)庫利用效率，使得數(shù)據(jù)集成和交換效率大大提高，在一定程度上減少了數(shù)據(jù)清洗的復(fù)雜度。元數(shù)據(jù)的應(yīng)用，優(yōu)化了異構(gòu)數(shù)據(jù)庫的訪問，使得訪問更為透明。
[0074]本發(fā)明在深入研究國內(nèi)外數(shù)據(jù)集成/轉(zhuǎn)換常用方法的基礎(chǔ)上，提出了一種基于6W原則的唯一標(biāo)識(shí)，在6個(gè)方向上針對(duì)數(shù)據(jù)、信息、知識(shí)、接口等內(nèi)容，從4個(gè)層級(jí)(系列、集合、實(shí)體、子集)同時(shí)對(duì)數(shù)據(jù)集關(guān)鍵屬性進(jìn)行網(wǎng)格化唯一標(biāo)識(shí)，并利用標(biāo)識(shí)所具有的多維矩陣計(jì)算特征，對(duì)每個(gè)層級(jí)每個(gè)方向都進(jìn)行了唯一性規(guī)范和符號(hào)化處理，要求每一層級(jí)的標(biāo)識(shí)加上父級(jí)標(biāo)識(shí)都不允許重復(fù)。本發(fā)明解決了數(shù)據(jù)源在存儲(chǔ)模式上的不同、業(yè)務(wù)數(shù)據(jù)描述問題、數(shù)據(jù)對(duì)象的唯一表示以及唯一標(biāo)識(shí)的規(guī)范問題，由于本發(fā)明采用唯一性標(biāo)識(shí)中的4層6向網(wǎng)格化數(shù)據(jù)融合快速計(jì)算方法，允許系統(tǒng)在6個(gè)方向上同時(shí)對(duì)不同來源數(shù)據(jù)進(jìn)行融合處理，為不同訴求的數(shù)據(jù)共享/集成/交換/融合的計(jì)算處理方法提供了技術(shù)支持，實(shí)現(xiàn)了多源異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)、信息、知識(shí)和服務(wù)的全面集成、交換和融合，并可將該方法應(yīng)用到數(shù)據(jù)集成/轉(zhuǎn)換/融合處理系統(tǒng)中，改善對(duì)異構(gòu)數(shù)據(jù)進(jìn)行自動(dòng)合并處理的實(shí)用性。此方法可以有效識(shí)別并融合異構(gòu)數(shù)據(jù)源中存在的沖突實(shí)例，可以在更高層次上提高數(shù)據(jù)集成/數(shù)據(jù)融合的效果；有效的提高了數(shù)據(jù)交換和集成的準(zhǔn)確性，大大提高了數(shù)據(jù)集成和交換的效率。

【專利附圖】

【附圖說明】
[0075]圖1示例性的示出了基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法總體框架示意圖；
[0076]圖2示例性的示出了基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法流程示意圖；
[0077]圖3示例性的示出了按照6W原則建立的數(shù)據(jù)交換數(shù)據(jù)元模型結(jié)構(gòu)示意圖；
[0078]圖4示例性的示出了按照6W原則建立的數(shù)據(jù)交換數(shù)據(jù)元模型構(gòu)建示意圖；
[0079]圖5示例性的示出了數(shù)據(jù)集成和交換方法中唯一標(biāo)識(shí)示意圖；
[0080]圖6示例性的示出了數(shù)據(jù)集成和交換方法中SQL轉(zhuǎn)換過程示意圖；
[0081]圖7示例性的示出了數(shù)據(jù)集成和交換方法中數(shù)據(jù)融合過程示意圖。

【具體實(shí)施方式】
[0082]為了更好的理解本發(fā)明所解決的技術(shù)問題、所提供的技術(shù)方案，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。此處所描述的具體實(shí)施例僅用以解釋本發(fā)明的實(shí)施，但并不用于限定本發(fā)明。
[0083]本發(fā)明設(shè)計(jì)主要是為了解決異構(gòu)數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)集成、轉(zhuǎn)換、融合和共享服務(wù)，如圖1所示，目的是屏蔽底層數(shù)據(jù)庫種類、數(shù)據(jù)管理模式、數(shù)據(jù)存取方式、數(shù)據(jù)庫物理結(jié)構(gòu)以及數(shù)據(jù)庫訪問實(shí)體的名稱等屬性信息。
[0084]在優(yōu)選的實(shí)施例中，圖2示例性的示出了一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法流程圖；包括:
[0085]①建立數(shù)據(jù)交換數(shù)據(jù)元模型:把需要進(jìn)行集成、交換和共享的數(shù)據(jù)涉及到的業(yè)務(wù)邏輯，按照6W原則建立的數(shù)據(jù)交換數(shù)據(jù)元模型，該模型結(jié)構(gòu)如圖2，其中主要包括屬性名稱、屬性代碼、屬性類型、屬性標(biāo)識(shí)、值域、來源/計(jì)算、約束條件、非空值、重復(fù)次數(shù)等字段列，其中屬性標(biāo)識(shí)就是唯一標(biāo)識(shí)列；
[0086]②字段和標(biāo)識(shí)映射:對(duì)需要進(jìn)行集成交換的數(shù)據(jù)庫，利用數(shù)據(jù)元模型建立的唯一標(biāo)識(shí)進(jìn)行描述，把數(shù)據(jù)庫中的需要交換字段和唯一標(biāo)識(shí)進(jìn)行映射，對(duì)于某些特例需要借助交換規(guī)則才能完成交換；
[0087]③自動(dòng)轉(zhuǎn)換成目標(biāo)SQL:將數(shù)據(jù)源訪問邏輯轉(zhuǎn)換成目標(biāo)數(shù)據(jù)庫數(shù)據(jù)訪問邏輯(SQL或存儲(chǔ)過程)，根據(jù)所提供標(biāo)識(shí)所對(duì)應(yīng)的字段，生成相應(yīng)的目標(biāo)SQL語句；
[0088]④執(zhí)行目標(biāo)SQL，返回結(jié)果:執(zhí)行目標(biāo)SQL語句，返回結(jié)果集；
[0089]⑤多源數(shù)據(jù)結(jié)果融合:采用D-S證據(jù)理論方法對(duì)所述結(jié)果集進(jìn)行融合處理。
[0090]在更加優(yōu)選的實(shí)施例中，建立數(shù)據(jù)交換數(shù)據(jù)元模型包括:
[0091]異構(gòu)數(shù)據(jù)交換數(shù)據(jù)元模型的目標(biāo)是通過樹形結(jié)構(gòu)，用系列、集合、實(shí)體、子集、屬性和特性(后兩種對(duì)象在表現(xiàn)形式上為字符、數(shù)字、日期、Blob、Clob)對(duì)業(yè)務(wù)進(jìn)行描述，并對(duì)這些結(jié)構(gòu)的節(jié)點(diǎn)進(jìn)行唯一標(biāo)識(shí)，如:系列為根節(jié)點(diǎn)標(biāo)識(shí)為1，系列下的葉子節(jié)點(diǎn)標(biāo)識(shí)為1.1按遞增排序，子節(jié)點(diǎn)的標(biāo)識(shí)為上級(jí)節(jié)點(diǎn)標(biāo)識(shí)加”加上本節(jié)點(diǎn)的標(biāo)識(shí)，如圖3所示，為對(duì)應(yīng)豐吳型關(guān)系。
[0092]在更加優(yōu)選的實(shí)施例中，數(shù)據(jù)交換數(shù)據(jù)元模型的構(gòu)建整體思路如圖4所示，包括:
[0093]1、訪問業(yè)務(wù)模型庫，
[0094]訪問業(yè)務(wù)模型庫，或者根據(jù)業(yè)務(wù)場景手動(dòng)錄入業(yè)務(wù)模型，對(duì)通過訪問元數(shù)據(jù)庫中的描述異構(gòu)源數(shù)據(jù)庫的部分，分析各個(gè)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)，生成數(shù)據(jù)元管理模型的樹形結(jié)構(gòu)，以便進(jìn)行下一步的處理；
[0095]2、設(shè)定劃分規(guī)則，
[0096]制定劃分樹形結(jié)構(gòu)的規(guī)則，分別是:依據(jù)不同的領(lǐng)域?qū)ο髣澐譃橄盗校煌幌盗邢戮唧w有相同屬性的業(yè)務(wù)劃分為一個(gè)集合；同一集合不同活動(dòng)劃分為不同的實(shí)體；活動(dòng)下有其他子活動(dòng)的則劃分為子集；而數(shù)據(jù)庫的表字段劃分為屬性或者特性；
[0097]在更加優(yōu)選的實(shí)施例中，根據(jù)劃分規(guī)則對(duì)業(yè)務(wù)進(jìn)行描述，包括:
[0098]根據(jù)已經(jīng)制定的規(guī)則對(duì)生成的樹形結(jié)構(gòu)進(jìn)行判斷，依次對(duì)相應(yīng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行唯一標(biāo)識(shí)描述，簡化的標(biāo)識(shí)對(duì)應(yīng)關(guān)系如圖5所示，任何一個(gè)領(lǐng)域?qū)ο蟮亩加靡粋€(gè)唯一標(biāo)識(shí)描述；
[0099]劃分結(jié)束后，則異構(gòu)數(shù)據(jù)交換數(shù)據(jù)元模型建成，把模型保存到數(shù)據(jù)元模型庫中。
[0100]在更加優(yōu)選的實(shí)施例中，字段和標(biāo)識(shí)映射包括:
[0101]異構(gòu)數(shù)據(jù)元模型建好后，則進(jìn)入數(shù)據(jù)庫中字段和標(biāo)識(shí)映射步驟。對(duì)于大多數(shù)的字段，直接和標(biāo)識(shí)做映射就可以交換了。有些字段需要額外處理，主要是添加某些交換規(guī)則，用來指導(dǎo)交換程序進(jìn)行相應(yīng)處理，主要包含規(guī)則有:碼表轉(zhuǎn)換規(guī)則、默認(rèn)值規(guī)則、別名規(guī)則、替換規(guī)則、冗余列和計(jì)算公式等等，每種規(guī)則處理一種情況，這些規(guī)則也可以綜合起來描述一個(gè)字段，處理比較復(fù)雜的交換情況。
[0102]對(duì)于規(guī)則部分的管理，采用動(dòng)態(tài)加載的方法實(shí)現(xiàn)，如果有無法處理的情況，可以根據(jù)具體情況添加新的規(guī)則處理類，這樣擴(kuò)大了平臺(tái)服務(wù)的適應(yīng)性。
[0103]在更加優(yōu)選的實(shí)施例中，自動(dòng)轉(zhuǎn)換成目標(biāo)SQL包括:
[0104]根據(jù)字段和唯一標(biāo)識(shí)映射關(guān)系，以及交換規(guī)則把源SQL(包括select、delete、update、insert和存儲(chǔ)過程等)轉(zhuǎn)換成目標(biāo)庫可以執(zhí)行的SQL。轉(zhuǎn)換過程如圖6所示。
[0105]SQL的轉(zhuǎn)換主要分為select轉(zhuǎn)換、delete轉(zhuǎn)換、insert和update轉(zhuǎn)換和存儲(chǔ)過程轉(zhuǎn)換，具體包括:
[0106]1、select 轉(zhuǎn)換
[0107]①把源SQL中字段名根據(jù)上一節(jié)做的映射關(guān)系，進(jìn)行一一替換，把SQL轉(zhuǎn)換成基于標(biāo)識(shí)的SQL。
[0108]②基于標(biāo)識(shí)SQL去掉葉子節(jié)點(diǎn)，留下該節(jié)點(diǎn)隸屬的系列、集合、實(shí)體和子集，把這些對(duì)象進(jìn)行合并，只保留不同的對(duì)象；把這些對(duì)象標(biāo)識(shí)按從小到大的順序進(jìn)行排序；依次把相鄰的兩個(gè)對(duì)象建立自連接，自連接的條件是兩個(gè)對(duì)象中相同的Μ列，其中，Μ列是指數(shù)據(jù)唯一性的數(shù)據(jù)字段。
[0109]③把對(duì)象表中主鍵和目標(biāo)庫中表的主鍵建立連接，這樣對(duì)象表中記錄就和物理表建立起連接，形成完整的記錄。
[0110]④把SQL中的標(biāo)識(shí)的轉(zhuǎn)換成目標(biāo)庫中的字段，生成目標(biāo)庫腳本，就可以在目標(biāo)庫中進(jìn)行查詢了。
[0111]2、delete 轉(zhuǎn)換算法
[0112]①delete轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)刪除。假設(shè)A(源庫)，B(目標(biāo)庫)，現(xiàn)在將A庫中的表A1數(shù)據(jù)刪除相應(yīng)的記錄，此時(shí)B庫對(duì)應(yīng)的表也應(yīng)該刪除相應(yīng)記錄。
[0113]②構(gòu)造刪除A1記錄的delete SQL，轉(zhuǎn)換時(shí)，通過A與B模型映射，根據(jù)表名和字段，獲取對(duì)應(yīng)的需要?jiǎng)h除的目標(biāo)表集合。
[0114]③根據(jù)目標(biāo)表之間的關(guān)系，依次處理目標(biāo)表，調(diào)用select，根據(jù)源表名稱、目標(biāo)表名稱，得到需要?jiǎng)h除的記錄的rowid或者主鍵，構(gòu)造該表的delete SQL語句,在此過程中處理各種約束和規(guī)則，將所有目標(biāo)表的delete SQL語句封裝到過程。
[0115]④多線程批量執(zhí)行過程，完成數(shù)據(jù)刪除。
[0116]注意，由于刪除數(shù)據(jù)時(shí)，需要先從子表進(jìn)行刪除，再刪除其父表，因此，刪除語句的順序不能變更。
[0117]3、insert 和 update 轉(zhuǎn)換算法
[0118]①insert/update轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)同步。假設(shè)A (源庫)，B(目標(biāo)庫)，現(xiàn)在將A庫中的表A1數(shù)據(jù)同步到B庫對(duì)應(yīng)的表。
[0119]②查詢A1表數(shù)據(jù)，循環(huán)記錄，在此過程中，將每條記錄構(gòu)造成insert/update SQL語句。
[0120]③獲取insert/update SQL的列名稱及對(duì)應(yīng)的值，分別存儲(chǔ)，循環(huán)列名稱及值，通過A與B的模型映射找到每個(gè)列對(duì)應(yīng)的目標(biāo)表及與該表對(duì)應(yīng)的目標(biāo)列，然后存儲(chǔ)目標(biāo)表集入口 ο
[0121]④根據(jù)目標(biāo)表之間的關(guān)系，依次處理目標(biāo)表，構(gòu)造該表的insert/updateSQL語句，并處理過程中各種約束和規(guī)則，直到所有目標(biāo)表處理完成，將所有目標(biāo)表的insert SQL語句封裝到過程。在構(gòu)造insert/update SQL語句的同時(shí)，構(gòu)造select、update語句，查詢目標(biāo)表中是否存在要同步的記錄，如果存在，則更新對(duì)應(yīng)的記錄，否則，插入記錄。
[0122]⑤多線程批量執(zhí)行第四步生成的SQL過程，完成數(shù)據(jù)導(dǎo)入/更新。
[0123]由于插入或者修改數(shù)據(jù)時(shí)，需要先從父表進(jìn)行操作，再對(duì)其子表操作，因此，操作的順序不能隨意變更。
[0124]在更加優(yōu)選的實(shí)施例中，存儲(chǔ)過程的轉(zhuǎn)換算法包括:
[0125]存儲(chǔ)過程轉(zhuǎn)換算法主要是依賴以上轉(zhuǎn)換算法，對(duì)應(yīng)其他語法的腳本例如變量定義、賦值、分支、循環(huán)、游標(biāo)操作、異常處理等等，保持原來的腳本，只需要轉(zhuǎn)換成目標(biāo)庫中支持的關(guān)鍵字，只要把遇到的select、insert、update和delete語句按上面方法進(jìn)行轉(zhuǎn)換即可。
[0126]在更加優(yōu)選的實(shí)施例中，執(zhí)行目標(biāo)SQL，返回結(jié)果，包括:
[0127]在目標(biāo)庫中執(zhí)行上一節(jié)中所生成的結(jié)果腳本。在執(zhí)行結(jié)果腳本時(shí)，需要根據(jù)腳本的類型進(jìn)行判斷，根據(jù)類型給予對(duì)應(yīng)的處理。對(duì)于select句型，執(zhí)行完之后，返回查詢結(jié)果，對(duì)于delete句型以及insert和update句型,執(zhí)行完之后,返回操作成功或者失敗的提
/j、l Ο
[0128]在更加優(yōu)選的實(shí)施例中，多源數(shù)據(jù)結(jié)果融合包括:
[0129]多源數(shù)據(jù)結(jié)果融合主要是針對(duì)上一節(jié)中進(jìn)行執(zhí)行了 select語句的查詢結(jié)果進(jìn)行處理的過程，以下重點(diǎn)介紹多源數(shù)據(jù)結(jié)果融合的步驟，如圖7所示為數(shù)據(jù)融合過程。
[0130]①數(shù)據(jù)采集，采集的數(shù)據(jù)為來自上一節(jié)中所得到的數(shù)據(jù)結(jié)果；
[0131]②數(shù)據(jù)預(yù)處理，將采集到的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式，再根據(jù)字段和唯一標(biāo)識(shí)的映射規(guī)則，對(duì)數(shù)據(jù)結(jié)果進(jìn)行組合，從而得到有條理有層次的信息；
[0132]③數(shù)據(jù)融合計(jì)算，改進(jìn)的D-S(Dempster-Shafer)證據(jù)理論方法對(duì)數(shù)據(jù)進(jìn)行融合；基于D-S證據(jù)理論數(shù)據(jù)融合算法的融合過程為:首先把針對(duì)結(jié)果集中的結(jié)果逐個(gè)取出，與知識(shí)庫中的對(duì)應(yīng)結(jié)果進(jìn)行匹配，為匹配成功的結(jié)果分配相應(yīng)的權(quán)值記為，這個(gè)權(quán)值是結(jié)果進(jìn)行基本可信度分配。在本課題中用a表示結(jié)果匹配，表示結(jié)果不匹配。依此分配計(jì)算下去，直到匹配結(jié)果集合的所有的結(jié)果都分析完后，則得到最終的結(jié)果。
[0133]④結(jié)果輸出。
[0134]具體的實(shí)施例中:
[0135]以新疆油田數(shù)據(jù)為例，示例性的示出了一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，具體包括數(shù)據(jù)交換數(shù)據(jù)元模型、字段和標(biāo)志映射、應(yīng)用程序、源SQL、自動(dòng)轉(zhuǎn)換成目標(biāo)SQL、執(zhí)行目標(biāo)SQL，返回結(jié)果和多元數(shù)據(jù)結(jié)果融合的如下幾個(gè)步驟:
[0136]1、建立數(shù)據(jù)交換數(shù)據(jù)元模型:訪問業(yè)務(wù)模型庫，或者根據(jù)業(yè)務(wù)場景手動(dòng)錄入業(yè)務(wù)模型，對(duì)通過訪問元數(shù)據(jù)庫中的描述異構(gòu)源數(shù)據(jù)庫的部分，分析各個(gè)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)，生成數(shù)據(jù)元管理模型的樹形結(jié)構(gòu)；依據(jù)不同的領(lǐng)域?qū)ο髣澐譃橄盗?；同一系列下具體有相同屬性的業(yè)務(wù)劃分為一個(gè)集合；同一集合不同活動(dòng)劃分為不同的實(shí)體；活動(dòng)下有其他子活動(dòng)的則劃分為子集；而數(shù)據(jù)庫的表字段劃分為屬性或者特性；根據(jù)已經(jīng)制定的規(guī)則對(duì)生成的樹形結(jié)構(gòu)進(jìn)行判斷，依次對(duì)相應(yīng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行唯一標(biāo)識(shí)描述，任何一個(gè)領(lǐng)域?qū)ο蟮亩加靡粋€(gè)唯一標(biāo)識(shí)描述;劃分結(jié)束后，則異構(gòu)數(shù)據(jù)交換數(shù)據(jù)元模型建成，把模型保存到數(shù)據(jù)元模型庫中。
[0137]2、字段和標(biāo)志映射:對(duì)于大多數(shù)的字段，直接和標(biāo)識(shí)做映射就可以交換；有些字段需要額外處理，主要是添加某些交換規(guī)則，用來指導(dǎo)交換程序進(jìn)行相應(yīng)處理，主要包含規(guī)則有:碼表轉(zhuǎn)換規(guī)則、默認(rèn)值規(guī)則、別名規(guī)則、替換規(guī)則、冗余列和計(jì)算公式等等，每種規(guī)則處理一種情況，這些規(guī)則也可以綜合起來描述一個(gè)字段，處理比較復(fù)雜的交換情況；對(duì)于規(guī)則部分的管理，采用動(dòng)態(tài)加載的方法實(shí)現(xiàn)，如果有無法處理的情況，可以根據(jù)具體情況添加新的規(guī)則處理類。
[0138]3、應(yīng)用程序:對(duì)業(yè)務(wù)模型進(jìn)行分析，得到標(biāo)志或字段；
[0139]4、根據(jù)標(biāo)識(shí)和字段生成原始的SQL，稱為源SQL ；
[0140]5、如圖6所示，根據(jù)字段和唯一標(biāo)識(shí)映射關(guān)系，將源SQL轉(zhuǎn)換成目標(biāo)SQL，根據(jù)字段和唯一標(biāo)識(shí)映射關(guān)系，以及交換規(guī)則把源SQL(包括select、delete、update、insert和存儲(chǔ)過程等)轉(zhuǎn)換成目標(biāo)庫可以執(zhí)行的SQL:①select轉(zhuǎn)換，把源SQL中字段名根據(jù)上一節(jié)做的映射關(guān)系，進(jìn)行一一替換，把SQL轉(zhuǎn)換成基于標(biāo)識(shí)的SQL ;基于標(biāo)識(shí)SQL去掉葉子節(jié)點(diǎn)，留下該節(jié)點(diǎn)隸屬的系列、集合、實(shí)體和子集，把這些對(duì)象進(jìn)行合并，只保留不同的對(duì)象，把這些對(duì)象標(biāo)識(shí)按從小到大的順序進(jìn)行排序，依次把相鄰的兩個(gè)對(duì)象建立自連接，自連接的條件是兩個(gè)對(duì)象中相同的Μ列，其中，Μ列是指數(shù)據(jù)唯一性的數(shù)據(jù)字段；把對(duì)象表中主鍵和目標(biāo)庫中表的主鍵建立連接，這樣對(duì)象表中記錄就和物理表建立起連接，形成完整的記錄；把SQL中的標(biāo)識(shí)的轉(zhuǎn)換成目標(biāo)庫中的字段，生成目標(biāo)庫腳本，就可以在目標(biāo)庫中進(jìn)行查詢了。②delete轉(zhuǎn)換，主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)刪除。假設(shè)A(源庫)，B(目標(biāo)庫)，現(xiàn)在將A庫中的表A1數(shù)據(jù)刪除相應(yīng)的記錄，此時(shí)B庫對(duì)應(yīng)的表也應(yīng)該刪除相應(yīng)記錄；構(gòu)造刪除A1記錄的delete SQL,轉(zhuǎn)換時(shí)，通過A與B模型映射，根據(jù)表名和字段，獲取對(duì)應(yīng)的需要?jiǎng)h除的目標(biāo)表集合；根據(jù)目標(biāo)表之間的關(guān)系，依次處理目標(biāo)表，調(diào)用select，根據(jù)源表名稱、目標(biāo)表名稱，得到需要?jiǎng)h除的記錄的rowid,構(gòu)造該表的delete SQL語句,在此過程中處理各種約束和規(guī)則，將所有目標(biāo)表的delete SQL語句封裝到過程；多線程批量執(zhí)行過程，完成數(shù)據(jù)刪除；注意，由于刪除數(shù)據(jù)時(shí)，需要先從子表進(jìn)行刪除，再刪除其父表，因此，刪除語句的順序不能變更。③insert和update轉(zhuǎn)換算法,insert/update轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)同步。假設(shè)A(源庫)，B(目標(biāo)庫)，現(xiàn)在將A庫中的表A1數(shù)據(jù)同步至1J B庫對(duì)應(yīng)的表；查詢A1表數(shù)據(jù)，循環(huán)記錄,在此過程中，將每條記錄構(gòu)造成insert/updateSQL語句；獲取insert/update SQL的列名稱及對(duì)應(yīng)的值，分別存儲(chǔ)，循環(huán)列名稱及值，通過A與B的模型映射找到每個(gè)列對(duì)應(yīng)的目標(biāo)表及與該表對(duì)應(yīng)的目標(biāo)列，然后存儲(chǔ)目標(biāo)表集合；根據(jù)目標(biāo)表之間的關(guān)系，依次處理目標(biāo)表，構(gòu)造該表的insert/update SQL語句，并處理過程中各種約束和規(guī)則，直到所有目標(biāo)表處理完成，將所有目標(biāo)表的insert SQL語句封裝到過程。在構(gòu)造insert/update SQL語句的同時(shí)，構(gòu)造select、update語句，查詢目標(biāo)表中是否存在要同步的記錄，如果存在，則更新對(duì)應(yīng)的記錄，否則，插入記錄；多線程批量執(zhí)行第四步生成的SQL過程，完成數(shù)據(jù)導(dǎo)入/更新；注意，由于插入或者修改數(shù)據(jù)時(shí)，需要先從父表進(jìn)行操作，再對(duì)其子表操作，因此，操作的順序不能隨意變更。④存儲(chǔ)過程的轉(zhuǎn)換算法，存儲(chǔ)過程轉(zhuǎn)換算法主要是依賴以上轉(zhuǎn)換算法，對(duì)應(yīng)其他語法的腳本例如變量定義、賦值、分支、循環(huán)、游標(biāo)操作、異常處理等等，保持原來的腳本，只需要轉(zhuǎn)換成目標(biāo)庫中支持的關(guān)鍵字，只要把遇到的select、insert、update和delete語句按上面方法進(jìn)行轉(zhuǎn)換即可。
[0141]6、在目標(biāo)庫中執(zhí)行上一步中的目標(biāo)SQL，返回結(jié)果需要根據(jù)腳本的類型進(jìn)行判斷，根據(jù)類型給予對(duì)應(yīng)的處理:對(duì)于select句型，執(zhí)行完之后，返回查詢結(jié)果；對(duì)于delete句型以及insert和update句型，執(zhí)行完之后，返回操作成功或者失敗的提示。
[0142]7、采集上一步的結(jié)果；將采集到的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式，再根據(jù)字段和唯一標(biāo)識(shí)的映射規(guī)則，對(duì)數(shù)據(jù)結(jié)果進(jìn)行組合，得到有條理有層次的信息；采用改進(jìn)的D-S證據(jù)理論方法對(duì)數(shù)據(jù)進(jìn)行融合，首先把針對(duì)結(jié)果集中的結(jié)果逐個(gè)取出，與知識(shí)庫中的對(duì)應(yīng)結(jié)果進(jìn)行匹配，為匹配成功的結(jié)果分配相應(yīng)的權(quán)值記為，這個(gè)權(quán)值是結(jié)果進(jìn)行基本可信度分配。在本課題中用a表示結(jié)果匹配，表示結(jié)果不匹配。依此分配計(jì)算下去，直到匹配結(jié)果集合的所有的結(jié)果都分析完后，則得到最終的結(jié)果；結(jié)果輸出。
[0143]以上通過具體的和優(yōu)選的實(shí)施例詳細(xì)的描述了本發(fā)明，但本領(lǐng)域技術(shù)人員應(yīng)該明白，本發(fā)明并不局限于以上所述實(shí)施例，凡在本發(fā)明的基本原理之內(nèi)，所作的任何修改、組合及等同替換等，均包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，包括: 步驟一、建立數(shù)據(jù)元管理模型:對(duì)需要進(jìn)行集成、交換和共享的業(yè)務(wù)建立數(shù)據(jù)元管理模型，并對(duì)所述數(shù)據(jù)元管理模型內(nèi)的每一個(gè)數(shù)據(jù)項(xiàng)進(jìn)行唯一標(biāo)識(shí)； 步驟二、字段和標(biāo)識(shí)映射:將所述數(shù)據(jù)元管理模型中的所述標(biāo)識(shí)與多源異構(gòu)數(shù)據(jù)庫中字段進(jìn)行映射； 步驟三、自動(dòng)轉(zhuǎn)換SQL:根據(jù)所述標(biāo)識(shí)映射的所述字段生成相應(yīng)的目標(biāo)SQL語句； 步驟四、目標(biāo)SQL執(zhí)行并返回結(jié)果:訪問所述多源異構(gòu)數(shù)據(jù)庫，執(zhí)行所述目標(biāo)SQL語句，返回結(jié)果集； 步驟五、多源數(shù)據(jù)結(jié)果融合:采用融合算法對(duì)所述結(jié)果集進(jìn)行融合處理。
2.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟一中，建立所述數(shù)據(jù)元管理模型包括步驟如下: ①訪問業(yè)務(wù)模型庫，或者根據(jù)業(yè)務(wù)場景手動(dòng)錄入業(yè)務(wù)模型，對(duì)通過訪問元數(shù)據(jù)庫中的描述異構(gòu)源數(shù)據(jù)庫的部分，分析各個(gè)數(shù)據(jù)庫的數(shù)據(jù)結(jié)構(gòu)，生成數(shù)據(jù)元管理模型的樹形結(jié)構(gòu)； ②制定劃分樹形結(jié)構(gòu)的規(guī)則，包括:不同的領(lǐng)域?qū)ο髣澐譃橐粋€(gè)系列；同一所述系列下具有相同屬性的業(yè)務(wù)劃分為一個(gè)集合；同一所述集合下不同活動(dòng)劃分為不同的實(shí)體；所述同一活動(dòng)下其他子活動(dòng)劃分為子集；所述多源異構(gòu)數(shù)據(jù)庫中的所述字段劃分為字符，所述多源異構(gòu)數(shù)據(jù)庫中的表字段劃分為屬性或特性； ③根據(jù)劃分規(guī)則對(duì)所述業(yè)務(wù)進(jìn)行劃分，根據(jù)已經(jīng)制定的所述樹形結(jié)構(gòu)的規(guī)則對(duì)生成的樹形結(jié)構(gòu)進(jìn)行判斷，依次將相應(yīng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行唯一標(biāo)識(shí)描述，簡化的標(biāo)識(shí)對(duì)應(yīng)關(guān)系，任何一個(gè)領(lǐng)域中的對(duì)象的都用一個(gè)唯一標(biāo)識(shí)描述； ④所述劃分結(jié)束后，則異構(gòu)數(shù)據(jù)交換數(shù)據(jù)元模型建成，將所述模型保存到數(shù)據(jù)元模型庫中。
3.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟二中，所述字段中和所述數(shù)據(jù)元管理模型中定義的所述標(biāo)識(shí)的數(shù)據(jù)類型、單位和意義完全一樣的做直接映射，所述字段中和所述數(shù)據(jù)元管理模型中定義的所述標(biāo)識(shí)的數(shù)據(jù)類型、單位和意義不同的進(jìn)行額外處理，所述額外處理是添加額外交換規(guī)則，用來指導(dǎo)交換程序進(jìn)行處理。
4.根據(jù)權(quán)利要求3所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述額外交換規(guī)則包括:碼表轉(zhuǎn)換規(guī)則、默認(rèn)值規(guī)則、別名規(guī)則、替換規(guī)則、條件規(guī)則、篩選規(guī)則、冗余列和計(jì)算公式，所述額外交換規(guī)則中的每種規(guī)則只處理一種交換情況的字段，當(dāng)處理包含有兩種或者兩種以上交換情況的所述字段時(shí)，則根據(jù)所述交換情況將對(duì)應(yīng)的所述額外交換規(guī)則組合起來描述一個(gè)字段，直到所述字段與所述標(biāo)識(shí)映射完成。
5.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟一中，在對(duì)所述業(yè)務(wù)模型內(nèi)的每一個(gè)數(shù)據(jù)項(xiàng)進(jìn)行唯一標(biāo)識(shí)時(shí)，所述數(shù)據(jù)項(xiàng)包括對(duì)象、活動(dòng)和屬性；所述數(shù)據(jù)項(xiàng)還分為M類、C類和O類，所述M類數(shù)據(jù)項(xiàng)為確定數(shù)據(jù)唯一性的標(biāo)識(shí)且為必填項(xiàng)，所述C類數(shù)據(jù)項(xiàng)為條件必選項(xiàng)，所述O類數(shù)據(jù)項(xiàng)的標(biāo)識(shí)為可選項(xiàng)，所述C類數(shù)據(jù)項(xiàng)和所述O類數(shù)據(jù)項(xiàng)均為非必填項(xiàng)。
6.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟一中，所述數(shù)據(jù)元管理模型構(gòu)建的規(guī)則是:根據(jù)業(yè)務(wù)域分成不同的系列，每個(gè)系列內(nèi)的業(yè)務(wù)報(bào)表按照業(yè)務(wù)分類以及對(duì)象不同分成不同的集合，所述集合再分成實(shí)體，即業(yè)務(wù)報(bào)表；所述實(shí)體再分成子集，即所述業(yè)務(wù)報(bào)表內(nèi)的子表格；每一個(gè)所述集合至少含有一個(gè)M類實(shí)體，即基礎(chǔ)的所述業(yè)務(wù)報(bào)表。
7.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟三中，所述自動(dòng)轉(zhuǎn)換SQL包括select轉(zhuǎn)換、delete轉(zhuǎn)換、insert和update轉(zhuǎn)換； 所述select轉(zhuǎn)換包括步驟如下: ①把源SQL中字段名根據(jù)上一節(jié)做的映射關(guān)系，進(jìn)行一一替換，把SQL轉(zhuǎn)換成基于標(biāo)識(shí)的 SQL ； ②基于標(biāo)識(shí)SQL去掉葉子節(jié)點(diǎn)，留下所述葉子節(jié)點(diǎn)隸屬的對(duì)象，所述對(duì)象包括系列、集合、實(shí)體和子集，將所述對(duì)象進(jìn)行合并，保留不同的所述對(duì)象； ③將所述對(duì)象標(biāo)識(shí)按從小到大的順序進(jìn)行排序，并對(duì)應(yīng)添加所述對(duì)象對(duì)應(yīng)的對(duì)象表，將所述對(duì)象表分別重新命名； ④依次把相鄰的兩個(gè)所述對(duì)象建立自連接，自連接的條件是兩個(gè)所述對(duì)象中具有相同的所述M類數(shù)據(jù)項(xiàng)，其中，所述M類數(shù)據(jù)項(xiàng)是指數(shù)據(jù)唯一性的數(shù)據(jù)字段； ⑤將所述對(duì)象表中主鍵和目標(biāo)庫中表的主鍵建立連接，使所述對(duì)象表中記錄和物理表建立起連接，形成完整的記錄； ⑥將基于標(biāo)識(shí)的SQL轉(zhuǎn)換成目標(biāo)庫中的字段，生成目標(biāo)庫腳本，在目標(biāo)庫中查詢所述目標(biāo)庫腳本； 所述Delete轉(zhuǎn)換包括步驟如下: ①Delete轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)刪除，若A庫為源庫，B庫為目標(biāo)庫，現(xiàn)在將所述A庫中的表Al數(shù)據(jù)刪除相應(yīng)的記錄，此時(shí)B庫對(duì)應(yīng)的表也刪除相應(yīng)記錄； ②構(gòu)造刪除所述表Al記錄的DeleteSQL,轉(zhuǎn)換時(shí),通過所述A庫與所述B庫模型映射，根據(jù)表名和字段，獲取對(duì)應(yīng)的需要?jiǎng)h除的目標(biāo)表集合； ③根據(jù)所述目標(biāo)表之間的關(guān)系，依次處理所述目標(biāo)表，調(diào)用所述select轉(zhuǎn)換，根據(jù)源表名稱、目標(biāo)表名稱，得到需要?jiǎng)h除的記錄的rowid或者主鍵，構(gòu)造目標(biāo)表的delete SQL語句，并同時(shí)處理各種約束和規(guī)則，將所有所述目標(biāo)表的delete SQL語句封裝到過程； ④多線程批量執(zhí)行過程，完成數(shù)據(jù)刪除； 其中，刪除數(shù)據(jù)時(shí)，刪除語句的順序不能變更，即先從子表進(jìn)行刪除，再刪除所述子表的父表； 所述insert轉(zhuǎn)換和所述update轉(zhuǎn)換包括步驟如下: ①insert轉(zhuǎn)換和update轉(zhuǎn)換主要用于進(jìn)行不同數(shù)據(jù)庫之間數(shù)據(jù)同步，若A庫為源庫，B庫為目標(biāo)庫，將所述A庫中的表Al數(shù)據(jù)同步到所述B庫對(duì)應(yīng)的表； ②查詢所述表Al的數(shù)據(jù),循環(huán)記錄,并同時(shí)將每條記錄構(gòu)造成insert/updateSQL語句； ③獲取insert/updateSQL的列名稱及對(duì)應(yīng)的值,分別存儲(chǔ),循環(huán)列名稱及值,通過所述A庫與所述B庫的模型映射找到每個(gè)列對(duì)應(yīng)的目標(biāo)表及與該表對(duì)應(yīng)的目標(biāo)列，然后存儲(chǔ)目標(biāo)表集合； ④根據(jù)所述目標(biāo)表之間的關(guān)系，依次處理所述目標(biāo)表，構(gòu)造所述目標(biāo)表的insert/update SQL語句，并處理過程中各種約束和規(guī)則，直到所有的所述目標(biāo)表處理完成，將所有目標(biāo)表的insert SQL語句封裝到過程；在構(gòu)造insert/updateSQL語句的同時(shí),構(gòu)造select語句和update語句，查詢所述目標(biāo)表中是否存在要同步的記錄，若存在，則更新對(duì)應(yīng)的記錄，否則，插入記錄； ⑤多線程批量執(zhí)行所述步驟④生成的所述SQL語句，完成數(shù)據(jù)導(dǎo)入和更新； 其中，當(dāng)插入或者修改數(shù)據(jù)時(shí)，操作的順序不能隨意變更，即先從父表進(jìn)行操作，再對(duì)其子表操作。
8.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟四中，當(dāng)執(zhí)行所述目標(biāo)SQL語句時(shí)，根據(jù)所述目標(biāo)SQL語句的類型進(jìn)行判斷，根據(jù)所述類型給予對(duì)應(yīng)的處理。
9.根據(jù)權(quán)利要求8所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述對(duì)應(yīng)的處理包括:對(duì)于select句型，執(zhí)行完之后，返回查詢結(jié)果，對(duì)于delete句型以及insert和update句型,執(zhí)行完之后,返回操作成功或者操作失敗的提示。
10.根據(jù)權(quán)利要求1所述的基于唯一標(biāo)識(shí)的數(shù)據(jù)集成和交換方法，其特征在于，所述步驟五中，所述融合處理包括步驟如下: ①所述數(shù)據(jù)的采集，采集的所述數(shù)據(jù)為所述步驟四中的所得到的所述結(jié)果集； ②數(shù)據(jù)預(yù)處理，將采集到的所述數(shù)據(jù)轉(zhuǎn)換統(tǒng)一成數(shù)據(jù)元管理模型中定義的格式，再根據(jù)字段和唯一標(biāo)識(shí)的映射規(guī)則，對(duì)所述數(shù)據(jù)的結(jié)果進(jìn)行組合，從而得到有條理有層次的信息； ③數(shù)據(jù)融合計(jì)算，采用改進(jìn)的D-S證據(jù)理論方法對(duì)所述信息進(jìn)行融合，包括:首先把針對(duì)結(jié)果集中的所述信息逐個(gè)取出，與數(shù)據(jù)元管理庫中的對(duì)應(yīng)結(jié)果進(jìn)行匹配，為匹配成功的結(jié)果分配相應(yīng)的權(quán)值，所述權(quán)值是結(jié)果進(jìn)行基本可信度分配，依此分配計(jì)算，直到匹配結(jié)果集合的所有的匹配成功的所述結(jié)果都分析完，則得到最終的結(jié)果； ④輸出所述最終的結(jié)果。
【文檔編號(hào)】G06F17/30GK104346377SQ201310330170
【公開日】2015年2月11日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】譚遠(yuǎn)華, 張建濤, 朱平, 夏東梅 申請(qǐng)人:克拉瑪依紅有軟件有限責(zé)任公司