專利名稱：一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)及方法
技術領域：
本發(fā)明涉及數(shù)據(jù)交換領域，特別涉及一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)及方法。
背景技術：
數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務處理環(huán) 境、外部數(shù)據(jù)源和脫機的數(shù)據(jù)存儲介質(zhì)導入到數(shù)據(jù)倉庫中；在技術上，主要涉及到關聯(lián)、轉(zhuǎn) 換、增量、調(diào)度和監(jiān)控等幾個方面。以上的過程就是數(shù)據(jù)加載技術。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)及方法，提高數(shù)據(jù)加載的效率和數(shù) 據(jù)的可靠度。一方面，本發(fā)明提供一種實現(xiàn)數(shù)據(jù)加載的方法，包括以下步驟a、根據(jù)預定的規(guī)則抽取業(yè)務部門的數(shù)據(jù)；b、解析所述步驟a抽取的數(shù)據(jù)，對其中的問題數(shù)據(jù)作出標注并單獨存儲；C、將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)；d、將所述步驟b解析的正常的數(shù)據(jù)和所述步驟c轉(zhuǎn)換的數(shù)據(jù)一并加載于綜合數(shù)據(jù) 庫中。所述步驟a包括以下步驟al、建立前置交換服務器，根據(jù)預定的規(guī)則將數(shù)據(jù)從業(yè)務部門抽取到前置交換服 務器；a2、建立數(shù)據(jù)中心數(shù)據(jù)庫，將數(shù)據(jù)從前置服務器抽取到數(shù)據(jù)中心數(shù)據(jù)庫。所述步驟b包括以下步驟bl、在數(shù)據(jù)抽取到所述數(shù)據(jù)中心數(shù)據(jù)庫的過程中，對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到 問題數(shù)據(jù)庫中；b2、將所述步驟bl的數(shù)據(jù)整合進入綜合數(shù)據(jù)庫后，對綜合數(shù)據(jù)庫中的數(shù)據(jù)進行校 驗，將校驗出的問題數(shù)據(jù)記錄到所述問題數(shù)據(jù)庫中。所述步驟c中的數(shù)據(jù)轉(zhuǎn)換包括字符集的轉(zhuǎn)換、數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換、代碼轉(zhuǎn)換以 及值轉(zhuǎn)換。所述字符集的轉(zhuǎn)換是指不同字符集統(tǒng)一為一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn) 換、數(shù)據(jù)庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換；所述數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換是指對源數(shù)據(jù) 中的不同數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，包括數(shù)據(jù)類型、格式轉(zhuǎn)換、以及度量單位轉(zhuǎn)換； 所述代碼轉(zhuǎn)換是指把不符合標準的代碼替換為標準的代碼；所述值轉(zhuǎn)換是指特殊數(shù)據(jù)項的 數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。另一方面，本發(fā)明還提供一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)，包括數(shù)據(jù)控制單元，與所述系統(tǒng)各模塊連接，用以抽取數(shù)據(jù)并整合控制數(shù)據(jù)；
問題數(shù)據(jù)庫，所述數(shù)據(jù)控制單元從業(yè)務部門抽取數(shù)據(jù)并對其中的錯誤數(shù)據(jù)作出標 注并轉(zhuǎn)移到所述問題數(shù)據(jù)庫中；綜合數(shù)據(jù)庫，所述數(shù)據(jù)控制單元將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)并連同 其他正常的數(shù)據(jù)加載于所述綜合數(shù)據(jù)庫。所述系統(tǒng)還包括前置交換服務器和數(shù)據(jù)中心數(shù)據(jù)庫，根據(jù)預定的規(guī)則將數(shù)據(jù)從業(yè) 務部門抽取到前置交換服務器，并進一步將數(shù)據(jù)從前置服務器抽取到數(shù)據(jù)中心數(shù)據(jù)庫。在數(shù)據(jù)抽取到所述數(shù)據(jù)中心數(shù)據(jù)庫的過程中，對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到問題 數(shù)據(jù)庫中；數(shù)據(jù)整合進入綜合數(shù)據(jù)庫后，對綜合數(shù)據(jù)庫中的數(shù)據(jù)進行校驗，將校驗出的問題 數(shù)據(jù)記錄到所述問題數(shù)據(jù)庫中。
所述數(shù)據(jù)控制單元將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)，具體包括字符集的 轉(zhuǎn)換、數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換、代碼轉(zhuǎn)換以及值轉(zhuǎn)換。所述字符集的轉(zhuǎn)換是指不同字符集統(tǒng)一為一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn) 換、數(shù)據(jù)庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換；所述數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換是指對源數(shù)據(jù) 中的不同數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，包括數(shù)據(jù)類型、格式轉(zhuǎn)換、以及度量單位轉(zhuǎn)換； 所述代碼轉(zhuǎn)換是指把不符合標準的代碼替換為標準的代碼；所述值轉(zhuǎn)換是指特殊數(shù)據(jù)項的 數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。采用本發(fā)明所述的一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)及方法，本發(fā)明提供了對錯誤數(shù)據(jù)的 鑒別功能，在對外部數(shù)據(jù)抽取后還對其中的錯誤數(shù)據(jù)作出標注并另行存儲；另外，還對不符 合標準的數(shù)據(jù)進行轉(zhuǎn)化，使之符合標準化，最終將整合后的數(shù)據(jù)加載于相應數(shù)據(jù)庫。經(jīng)過對 錯誤數(shù)據(jù)的鑒別和對非標準的數(shù)據(jù)進行標準化后，較大的提高了加載后的數(shù)據(jù)的可靠度和 準確度。


圖1是本發(fā)明所述方法的流程圖；圖2是本發(fā)明所述系統(tǒng)的原理示意圖。
具體實施例方式下面結合附圖和實施例進一步說明本發(fā)明的技術方案，本實施例以加載企業(yè)誠信 數(shù)據(jù)庫來說明。參見圖1，圖1是本發(fā)明所述方法的流程圖100，包括101、抽取數(shù)據(jù)到前置交換服務器；在企業(yè)業(yè)務部門的前置機上，通過前置機系統(tǒng)的數(shù)據(jù)抽取設計器定義好抽取的規(guī) 則以及簡單轉(zhuǎn)換的規(guī)則，把數(shù)據(jù)從業(yè)務部門抽取到前置交換服務器上。抽取過程中對數(shù)據(jù) 格式、代碼等進行轉(zhuǎn)換。102、抽取數(shù)據(jù)到數(shù)據(jù)中心數(shù)據(jù)庫；數(shù)據(jù)中心交換平臺通過數(shù)據(jù)抽取設計器定義好從前置機往數(shù)據(jù)中心數(shù)據(jù)庫接口 層的抽取規(guī)則，把數(shù)據(jù)從前置交換服務器中抽取數(shù)據(jù)到數(shù)據(jù)中心數(shù)據(jù)庫中。數(shù)據(jù)抽取設計器能夠支持當前各種數(shù)據(jù)庫類型，用戶可根據(jù)業(yè)務需求定義掛接的 應用系統(tǒng)種類，數(shù)據(jù)項等。數(shù)據(jù)抽取設計器通過數(shù)據(jù)抽取設計工具可以在平臺上不斷掛接新的應用系統(tǒng)，只修改相應的參數(shù)，而不需要修改程序。103、對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到問題數(shù)據(jù)庫中；該步驟稱之為數(shù)據(jù)清洗，數(shù)據(jù)清洗是在抽取出來的業(yè)務數(shù)據(jù)中找出問題數(shù)據(jù)，并 把這些問題數(shù)據(jù)標注問題原因后轉(zhuǎn)移到問題數(shù)據(jù)庫中。數(shù)據(jù)的清洗在兩個步驟中進行首先在數(shù)據(jù)整合進入數(shù)據(jù)中心數(shù)據(jù)庫的過程中， 將錯誤數(shù)據(jù)過濾并轉(zhuǎn)移到問題庫中；其次在數(shù)據(jù)整合進入綜合數(shù)據(jù)庫后，對綜合數(shù)據(jù)庫中 的數(shù)據(jù)進行校驗，通過共享數(shù)據(jù)集成平臺的數(shù)據(jù)校驗器校驗出問題數(shù)據(jù)并記錄到問題數(shù)據(jù) 庫中。104、轉(zhuǎn)化數(shù)據(jù)為標準數(shù)據(jù)；對不符合企業(yè)誠信數(shù)據(jù)庫(綜合數(shù)據(jù)庫)標準的數(shù)據(jù)進行轉(zhuǎn)換；具體包括以下內(nèi) 容字符集的轉(zhuǎn)換不同字符集統(tǒng)一為一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn)換、數(shù)據(jù) 庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換。數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換對源數(shù)據(jù)中的不同數(shù)據(jù)格式轉(zhuǎn)換為企業(yè)誠信數(shù)據(jù)庫統(tǒng)一的 數(shù)據(jù)格式。包括數(shù)據(jù)類型、格式等轉(zhuǎn)換、以及度量單位轉(zhuǎn)換。代碼轉(zhuǎn)換把與企業(yè)誠信數(shù)據(jù)庫代碼標準不符合的代碼替換為標準的代碼。值轉(zhuǎn)換包括特殊數(shù)據(jù)項的數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。105、整合數(shù)據(jù)并存儲于綜合數(shù)據(jù)庫。根據(jù)存儲設計，把整合完成的數(shù)據(jù)按照存儲的規(guī)則裝載到綜合數(shù)據(jù)庫不同的存儲 區(qū)域中。另外，本發(fā)明還具有交換監(jiān)控功能，其能對數(shù)據(jù)庫運行狀態(tài)進行監(jiān)控，對數(shù)據(jù)更新 狀況進行監(jiān)控，可以顯示指定時間段的各業(yè)務數(shù)據(jù)更新情況。并且還能對抽取質(zhì)量進行監(jiān) 控，包括每天抽取的數(shù)據(jù)是否正確、有無運行、抽取是否及時、錯誤信息展現(xiàn)。參見圖2，圖2是本發(fā)明所述系統(tǒng)的原理示意圖200，包括數(shù)據(jù)控制單元50，與所述系統(tǒng)各模塊連接，用以抽取數(shù)據(jù)并整合控制數(shù)據(jù)；問題數(shù)據(jù)庫30，所述數(shù)據(jù)控制單元50從業(yè)務部門抽取數(shù)據(jù)并對其中的錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到所述問題數(shù)據(jù)庫30中；綜合數(shù)據(jù)庫40，所述數(shù)據(jù)控制單元50將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)并連同其他正常的數(shù)據(jù)加載于所述綜合數(shù)據(jù)庫40。所述系統(tǒng)還包括前置交換服務器10和數(shù)據(jù)中心數(shù)據(jù)庫20，根據(jù)預定的規(guī)則將數(shù)據(jù)從業(yè)務部門抽取到前置交換服務器10，并進一步將數(shù)據(jù)從前置交換服務器10抽取到數(shù) 據(jù)中心數(shù)據(jù)庫20。在數(shù)據(jù)抽取到所述數(shù)據(jù)中心數(shù)據(jù)庫20的過程中，對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到問題數(shù)據(jù)庫30中；數(shù)據(jù)整合進入綜合數(shù)據(jù)庫40后，對綜合數(shù)據(jù)庫40中的數(shù)據(jù)進行校驗，將 校驗出的問題數(shù)據(jù)記錄到所述問題數(shù)據(jù)庫30中。所述數(shù)據(jù)控制單元50將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)，具體包括字符集的轉(zhuǎn)換、數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換、代碼轉(zhuǎn)換以及值轉(zhuǎn)換。所述字符集的轉(zhuǎn)換是指不同字符集統(tǒng)一為一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn)換、數(shù)據(jù)庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換；所述數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換是指對源數(shù)據(jù)中的不同數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，包括數(shù)據(jù)類型、格式轉(zhuǎn)換、以及度量單位轉(zhuǎn)換；所述代碼轉(zhuǎn)換是指把不符合標準的代碼替換為標準的代碼；所述值轉(zhuǎn)換是指特殊數(shù)據(jù)項的 數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。需要說明的是，本發(fā)明所述的系統(tǒng)和所述的方法在原理以及實現(xiàn)過程中基本相同 或類似，故在此不再贅述。本技術領域中的普通技術人員應當認識到，以上的實施例僅是用來說明本發(fā)明， 而并非用作為對本發(fā)明的限定，只要在本發(fā)明的實質(zhì)精神范圍內(nèi)，對以上實施例的變化、變 型都將落在本發(fā)明的權利要求書范圍內(nèi)。
權利要求
一種實現(xiàn)數(shù)據(jù)加載的方法，其特征在于，包括以下步驟a、根據(jù)預定的規(guī)則抽取業(yè)務部門的數(shù)據(jù)；b、解析所述步驟a抽取的數(shù)據(jù)，對其中的問題數(shù)據(jù)作出標注并單獨存儲；c、將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)；d、將所述步驟b解析的正常的數(shù)據(jù)和所述步驟c轉(zhuǎn)換的數(shù)據(jù)一并加載于綜合數(shù)據(jù)庫中。
2.如權利要求1所述的方法，其特征在于，所述步驟a包括以下步驟al、建立前置交換服務器，根據(jù)預定的規(guī)則將數(shù)據(jù)從業(yè)務部門抽取到前置交換服務器；a2、建立數(shù)據(jù)中心數(shù)據(jù)庫，將數(shù)據(jù)從前置服務器抽取到數(shù)據(jù)中心數(shù)據(jù)庫。
3.如權利要求2所述的方法，其特征在于，所述步驟b包括以下步驟bl、在數(shù)據(jù)抽取到所述數(shù)據(jù)中心數(shù)據(jù)庫的過程中，對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到問題 數(shù)據(jù)庫中；b2、將所述步驟bl的數(shù)據(jù)整合進入綜合數(shù)據(jù)庫后，對綜合數(shù)據(jù)庫中的數(shù)據(jù)進行校驗， 將校驗出的問題數(shù)據(jù)記錄到所述問題數(shù)據(jù)庫中。
4.如權利要求3所述的方法，其特征在于，所述步驟c中的數(shù)據(jù)轉(zhuǎn)換包括字符集的轉(zhuǎn) 換、數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換、代碼轉(zhuǎn)換以及值轉(zhuǎn)換。
5.如權利要求4所述的方法，其特征在于，所述字符集的轉(zhuǎn)換是指不同字符集統(tǒng)一為 一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn)換、數(shù)據(jù)庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換； 所述數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換是指對源數(shù)據(jù)中的不同數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，包括數(shù) 據(jù)類型、格式轉(zhuǎn)換、以及度量單位轉(zhuǎn)換；所述代碼轉(zhuǎn)換是指把不符合標準的代碼替換為標準 的代碼；所述值轉(zhuǎn)換是指特殊數(shù)據(jù)項的數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。
6.一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)，其特征在于，包括數(shù)據(jù)控制單元，與所述系統(tǒng)各模塊連接，用以抽取數(shù)據(jù)并整合控制數(shù)據(jù)； 問題數(shù)據(jù)庫，所述數(shù)據(jù)控制單元從業(yè)務部門抽取數(shù)據(jù)并對其中的錯誤數(shù)據(jù)作出標注并 轉(zhuǎn)移到所述問題數(shù)據(jù)庫中；綜合數(shù)據(jù)庫，所述數(shù)據(jù)控制單元將不符合預定標準的數(shù)據(jù)轉(zhuǎn)換為標準數(shù)據(jù)并連同其他 正常的數(shù)據(jù)加載于所述綜合數(shù)據(jù)庫。
7.如權利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括前置交換服務器和數(shù)據(jù)中 心數(shù)據(jù)庫，根據(jù)預定的規(guī)則將數(shù)據(jù)從業(yè)務部門抽取到前置交換服務器，并進一步將數(shù)據(jù)從 前置服務器抽取到數(shù)據(jù)中心數(shù)據(jù)庫。
8.如權利要求6所述的系統(tǒng)，其特征在于，在數(shù)據(jù)抽取到所述數(shù)據(jù)中心數(shù)據(jù)庫的過程 中，對錯誤數(shù)據(jù)作出標注并轉(zhuǎn)移到問題數(shù)據(jù)庫中；數(shù)據(jù)整合進入綜合數(shù)據(jù)庫后，對綜合數(shù)據(jù) 庫中的數(shù)據(jù)進行校驗，將校驗出的問題數(shù)據(jù)記錄到所述問題數(shù)據(jù)庫中。
9.如權利要求8所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)控制單元將不符合預定標準的數(shù) 據(jù)轉(zhuǎn)換為標準數(shù)據(jù)，具體包括字符集的轉(zhuǎn)換、數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換、代碼轉(zhuǎn)換以及值轉(zhuǎn)換。
10.如權利要求9所述的方法，其特征在于，所述字符集的轉(zhuǎn)換是指不同字符集統(tǒng)一為 一種字符集的轉(zhuǎn)換，包括字符編碼的轉(zhuǎn)換、數(shù)據(jù)庫字符集的轉(zhuǎn)換、中文字符編碼集合轉(zhuǎn)換； 所述數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換是指對源數(shù)據(jù)中的不同數(shù)據(jù)格式轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式，包括數(shù)據(jù)類型、格式轉(zhuǎn)換、以及度量單位轉(zhuǎn)換；所述代碼轉(zhuǎn)換是指把不符合標準 的代碼替換為標準 的代碼；所述值轉(zhuǎn)換是指特殊數(shù)據(jù)項的數(shù)據(jù)替換以及數(shù)據(jù)項的拆分和合并轉(zhuǎn)換。
全文摘要
本發(fā)明揭示了一種實現(xiàn)數(shù)據(jù)加載的系統(tǒng)及方法，本發(fā)明提供了對錯誤數(shù)據(jù)的鑒別功能，在對外部數(shù)據(jù)抽取后還對其中的錯誤數(shù)據(jù)作出標注并另行存儲；另外，還對不符合標準的數(shù)據(jù)進行轉(zhuǎn)化，使之符合標準化，最終將整合后的數(shù)據(jù)加載于相應數(shù)據(jù)庫。經(jīng)過對錯誤數(shù)據(jù)的鑒別和對非標準的數(shù)據(jù)進行標準化后，較大的提高了加載后的數(shù)據(jù)的可靠度和準確度。
文檔編號G06F17/30GK101814072SQ20091004636
公開日2010年8月25日 申請日期2009年2月19日 優(yōu)先權日2009年2月19日
發(fā)明者孫圭寧, 朱利峰, 秦克明, 高建強, 高念高 申請人:上海眾恒信息產(chǎn)業(yè)股份有限公司