一種基于事務(wù)的數(shù)據(jù)整合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于事務(wù)的數(shù)據(jù)整合方法，基于事務(wù)處理機(jī)制的特性，來(lái)實(shí)現(xiàn)數(shù)據(jù)整合的完整性與一致性。
【背景技術(shù)】
[0002]隨著信息化程度的提高，數(shù)據(jù)共享的內(nèi)容與形式也越來(lái)越豐富，然而數(shù)據(jù)源以及數(shù)據(jù)之間的異構(gòu)性使數(shù)據(jù)的共享產(chǎn)生了一定的困難，解決這一問(wèn)題的關(guān)鍵手段是進(jìn)行有效的數(shù)據(jù)整合，然而數(shù)據(jù)整合的如何確保數(shù)據(jù)的正確性、一致性、完整性，是現(xiàn)在面臨的一個(gè)問(wèn)題。
[0003]事務(wù)作為工作的基本單位，具有下列四個(gè)特性，稱為事務(wù)的ACID特性:原子性(Atomicity)，一個(gè)事務(wù)對(duì)數(shù)據(jù)庫(kù)的所有操作，是一個(gè)不可分割的工作單元。這些操作要么全部執(zhí)行，要么什么也不做；一致性(Consistency)，一個(gè)事務(wù)獨(dú)立執(zhí)行的結(jié)果應(yīng)保持?jǐn)?shù)據(jù)庫(kù)的一致性，即數(shù)據(jù)不會(huì)因?yàn)槭聞?wù)的執(zhí)行而遭受破壞；隔離性(Isolat1n)，在多個(gè)事務(wù)并發(fā)執(zhí)行時(shí)，系統(tǒng)應(yīng)保證與這些事務(wù)先后單獨(dú)執(zhí)行時(shí)的結(jié)果一樣，此時(shí)稱事務(wù)達(dá)到了隔離性的要求，也就是在多個(gè)并發(fā)事務(wù)執(zhí)行時(shí)，保證執(zhí)行結(jié)果是正確的，如同單用戶環(huán)境一樣；持久性(Durability)，持久性也稱為永久性，指事務(wù)一旦執(zhí)行完成，它在系統(tǒng)中產(chǎn)生的所有修改就是永久性的。接下來(lái)的其他操作或故障不應(yīng)該對(duì)其執(zhí)行結(jié)果有任何影響。
[0004]事務(wù)的概念來(lái)自于數(shù)據(jù)庫(kù)研究領(lǐng)域，用于解決數(shù)據(jù)的并發(fā)訪問(wèn)和出錯(cuò)恢復(fù)問(wèn)題，如何使事務(wù)處理技術(shù)與數(shù)據(jù)整合結(jié)合起來(lái)，提高整合流程的穩(wěn)定性和可靠性，正是本發(fā)明的出發(fā)點(diǎn)。

【發(fā)明內(nèi)容】

[0005]為解決上述問(wèn)題，本發(fā)明的目的在于提供一種基于事務(wù)的數(shù)據(jù)整合方法，基于事務(wù)處理機(jī)制的特性，來(lái)進(jìn)行數(shù)據(jù)整合的方法。
[0006]本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的:
[0007]—種基于事務(wù)的數(shù)據(jù)整合方法，包括以下步驟:
[0008]步驟I，將數(shù)據(jù)整合過(guò)程拆分成子過(guò)程；
[0009]步驟2，將所述子過(guò)程進(jìn)行作業(yè)封裝得到子作業(yè)；所述子作業(yè)集合為父作業(yè)；
[0010]步驟3，對(duì)所述子作業(yè)進(jìn)行異常數(shù)據(jù)捕獲與異常數(shù)據(jù)處理；
[0011]步驟4，將所述子作業(yè)進(jìn)行事務(wù)設(shè)定；
[0012]步驟5，將所述父作業(yè)進(jìn)行事務(wù)設(shè)定；
[0013]步驟6，將所述數(shù)據(jù)整合啟動(dòng)運(yùn)行；
[0014]步驟7，監(jiān)控所述子作業(yè)的執(zhí)行狀態(tài)，當(dāng)所述子作業(yè)全部運(yùn)行成功時(shí)，所述父作業(yè)運(yùn)行成功，并提交數(shù)據(jù)，所述數(shù)據(jù)整合過(guò)程完成；當(dāng)所述子作業(yè)運(yùn)行失敗，不提交數(shù)據(jù)，所述數(shù)據(jù)整合過(guò)程完成。
[0015]進(jìn)一步的，步驟3包括:
[0016]步驟3.1，設(shè)定所述異常數(shù)據(jù)的條件；
[0017]步驟3.2，捕獲符合所述條件的異常數(shù)據(jù)，當(dāng)所述異常數(shù)據(jù)進(jìn)行修正得到常規(guī)數(shù)據(jù)時(shí)，將所述常規(guī)數(shù)據(jù)繼續(xù)進(jìn)行數(shù)據(jù)整合；當(dāng)所述異常數(shù)據(jù)無(wú)法修正得到常規(guī)數(shù)據(jù)時(shí)，將所述異常數(shù)據(jù)存儲(chǔ)到文件中，跳過(guò)所述異常數(shù)據(jù)，繼續(xù)進(jìn)行數(shù)據(jù)整合；
[0018]步驟3.3，當(dāng)捕獲到不符合所述條件的其他異常數(shù)據(jù)時(shí)，所述數(shù)據(jù)整合結(jié)束。
[0019]進(jìn)一步的，步驟4為，判定所述子作業(yè)是否出現(xiàn)步驟3.3所述其他異常數(shù)據(jù)。
[0020]進(jìn)一步的，步驟5為，判定所述父作業(yè)是否出現(xiàn)步驟3.3所述其他異常數(shù)據(jù)。
[0021]本發(fā)明中，根據(jù)業(yè)務(wù)規(guī)則將轉(zhuǎn)換功能按照模塊進(jìn)行劃分，保障了功能的復(fù)用，同時(shí)為整合過(guò)程的拆分以進(jìn)行作業(yè)封裝、事務(wù)設(shè)定提供了基礎(chǔ)。在整合過(guò)程拆分后，對(duì)子作業(yè)與父作業(yè)的封裝完成了對(duì)整體流程執(zhí)行單元的封裝，數(shù)據(jù)整合的完整性便建立在各作業(yè)的邏輯層和操作層事務(wù)的完整性上，這樣保障整合流程與數(shù)據(jù)的完整性、一致性。
【附圖說(shuō)明】
[0022]圖1為本發(fā)明所述的基于事務(wù)的數(shù)據(jù)整合方法的流程圖；
[0023]圖2為本發(fā)明所述的異常數(shù)據(jù)轉(zhuǎn)換的流程圖；
[0024]圖3為本發(fā)明所述的異常數(shù)據(jù)進(jìn)行存儲(chǔ)的示意圖；
[0025]圖4為本發(fā)明所述的數(shù)據(jù)異常后數(shù)據(jù)整合結(jié)束的示意圖；
[0026]圖5為本發(fā)明所述的作業(yè)事務(wù)狀態(tài)的示意圖。
【具體實(shí)施方式】
[0027]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。但所舉實(shí)例不作為對(duì)本發(fā)明的限定。
[0028]—種基于事務(wù)的數(shù)據(jù)整合方法，所述數(shù)據(jù)整合按照數(shù)據(jù)轉(zhuǎn)換功能分模塊進(jìn)行分類完成，如值映射、字段拆分合并的數(shù)據(jù)轉(zhuǎn)換功能，所述數(shù)據(jù)轉(zhuǎn)換功能通過(guò)算法實(shí)現(xiàn)，如圖1所示，包括以下步驟:
[0029]步驟1，將數(shù)據(jù)整合過(guò)程按照業(yè)務(wù)需求拆分成子過(guò)程，其中整合過(guò)程涉及到多張?jiān)幢砼c多張目標(biāo)表的操作，可按照目標(biāo)表進(jìn)行過(guò)程拆分，即對(duì)每張目標(biāo)表的操作對(duì)應(yīng)一個(gè)或多個(gè)子過(guò)程，這樣保證了對(duì)各張表進(jìn)行了獨(dú)立操作，避免了目標(biāo)表在一個(gè)過(guò)程內(nèi)的交叉操作，同時(shí)也很好地解決了表間數(shù)據(jù)依賴的問(wèn)題。
[0030]步驟2，數(shù)據(jù)整合過(guò)程中按照步驟I中所述的要求，那么根據(jù)業(yè)務(wù)需求將大的整合過(guò)程進(jìn)行拆分，拆分的依據(jù)是對(duì)目標(biāo)表的操作，拆分后的順序可依照各目標(biāo)表數(shù)據(jù)之間的依賴關(guān)系；如步驟I中所述每張目標(biāo)表的操作對(duì)應(yīng)一個(gè)或多個(gè)子過(guò)程，其中子過(guò)程數(shù)量的依據(jù)為目標(biāo)表數(shù)據(jù)操作邏輯的復(fù)雜性，拆分后的一個(gè)或多個(gè)子過(guò)程進(jìn)行作業(yè)封裝得到子作業(yè)；所述子作業(yè)集合為父作業(yè)，所述父作業(yè)統(tǒng)籌調(diào)度所述子作業(yè)。
[0031]步驟3，為了保障整合過(guò)程運(yùn)行的流暢度，以及減少事務(wù)執(zhí)行帶來(lái)的代價(jià)太高的弊端，需要將封裝后的子作業(yè)進(jìn)行異常數(shù)據(jù)捕獲與異常數(shù)據(jù)處理。
[0032]具體的，根據(jù)業(yè)務(wù)規(guī)則，對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清理的規(guī)則設(shè)定，主要包括數(shù)據(jù)檢測(cè)和數(shù)據(jù)修正，包括:
[0033]步驟3.1，設(shè)定所述異常數(shù)據(jù)的條件，異常數(shù)據(jù)類型主要包括:殘缺數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)，其中殘缺數(shù)據(jù)是指信息缺失的數(shù)據(jù)，條件設(shè)定即為判斷指定字段值是否為空；錯(cuò)誤數(shù)據(jù)可分