專利名稱：一種支持多種文件類型的數(shù)據(jù)采集方法
技術領域：
本發(fā)明專利是用于各軟件應用系統(tǒng)對業(yè)務數(shù)據(jù)的采集，減少手工工作量，也 減少了數(shù)據(jù)出錯的機率，提高業(yè)務處理效率，提高系統(tǒng)的數(shù)據(jù)準確性，從而實現(xiàn) 各系統(tǒng)間的數(shù)據(jù)共享，同時因為幾乎支持各種數(shù)據(jù)類型，也降低了軟件供應商的 開發(fā)成本；除了系統(tǒng)間數(shù)據(jù)共享外，在一個新系統(tǒng)建設過程中，保護原系統(tǒng)產(chǎn)生 的數(shù)據(jù)資源很重要， 一定要導入到新系統(tǒng)中，像舊系統(tǒng)產(chǎn)生的一些人員，工資， 財務等數(shù)據(jù)在新系統(tǒng)中都要記錄下來，以保證數(shù)據(jù)的連續(xù)性，這種情況也需要數(shù) 據(jù)釆集工具，實現(xiàn)新舊系統(tǒng)的平穩(wěn)切換。
技術背景目前計算機軟件產(chǎn)業(yè)的不斷發(fā)展，越來越多的行業(yè)單位都實現(xiàn)了信息化，但 由于一些行業(yè)單位業(yè)務煩瑣，又沒有一個軟件提供商能為其提供所有的技術支持， 許多行業(yè)單位存在好幾套軟件同時應用的現(xiàn)象，比如證券公司在經(jīng)營過程重同時 應用0A系統(tǒng)，薪酬系統(tǒng)，清算系統(tǒng)，財務管理系統(tǒng)等等，而這些系統(tǒng)間還存在著 某些關聯(lián)，比如A系統(tǒng)可能會需要B系統(tǒng)的數(shù)據(jù)，但又不能讓用戶在AB系統(tǒng)都分 別錄一遍數(shù)據(jù)，如果那樣不僅為用戶帶了巨大的工作量，而且重復錄入還可能存 在錄入錯誤，給數(shù)據(jù)核對造成一定的困難。于是各應用軟件就常常會涉及到數(shù)據(jù) 采集、數(shù)據(jù)匯總、財務核算等工作，數(shù)據(jù)采集的重要性十分顯著。這種從其他數(shù) 據(jù)庫或外部文件而來的數(shù)據(jù)稱為接口數(shù)據(jù)，然而各種接口系統(tǒng)所產(chǎn)生的數(shù)據(jù)格式 均有所不同，所以必須在開發(fā)的過程中，經(jīng)過采集、整理，才能將異構(gòu)數(shù)據(jù)形式 轉(zhuǎn)換為應用系統(tǒng)所需要的格式，本發(fā)明中的這套采集工具，正是符合以上所需， 經(jīng)過許多用戶使用后提煉出來的。 發(fā)明內(nèi)容本發(fā)明的目的是提供一個比較通用的讀數(shù)工具，通過這個工具來滿足系統(tǒng)對 于其它系統(tǒng)數(shù)據(jù)采集需求的一種支持多種文件類型的數(shù)據(jù)采集方法。本發(fā)明的方法包括五個部分，第一、數(shù)據(jù)庫服務器信息定義；第二、數(shù)據(jù)源定 義；第三、內(nèi)外表關系定義；第四、數(shù)據(jù)采集。由用戶定義要讀數(shù)的后臺數(shù)據(jù)庫聯(lián)接信息，如果不是后臺數(shù)據(jù)庫讀取方式，而是外部文件讀取方式，可以不定義數(shù)據(jù)庫聯(lián)接信息，直接根據(jù)向?qū)нM入第2步， 定義表單即表名、路徑、文件類型等信息，然后再定義對應的表單結(jié)構(gòu)，以及與 系統(tǒng)表的關系，讀數(shù)工具根據(jù)用戶定義的這些信息將所需數(shù)據(jù)讀入到系統(tǒng)表中， 以供其它系統(tǒng)進一步處理。


圖1表示數(shù)據(jù)采集定義流程。
具體實施方式
本發(fā)明的支持多種文件類型的數(shù)據(jù)采集方法可以廣泛支持MSSSQL 、 SYBASE、 ORACLE等大型數(shù)據(jù)庫，也支持DBF、 TXT、 EXCEL外部文件，以下是對本發(fā)明的具 體描述。本發(fā)明的支持多種文件類型的數(shù)據(jù)采集方法分以下幾部分 數(shù)據(jù)庫服務器聯(lián)接信息定義如果存在對后臺數(shù)據(jù)庫的連接取數(shù)，就需要用 戶在該功能下定義服務器名稱，數(shù)據(jù)庫名稱，管理員口令等信息，本發(fā)明通過這 些信息建立DBLINK用于后臺數(shù)據(jù)庫的連接，如MSS SQLServer、 0RACLE、 SYBASE 大型數(shù)據(jù)庫，如果是DBF、 TXT、 EXCEL外部文件方式則不需要定義數(shù)據(jù)庫服務器 聯(lián)接信息。數(shù)據(jù)源定義定義數(shù)據(jù)源名稱，如果是外部表類型，定義存放路徑，日期字 段，取數(shù)SQL，表單結(jié)構(gòu)定義(字段名稱，類型，長度，精度)。如果是后臺數(shù)據(jù) 庫形式，還要關聯(lián)數(shù)據(jù)庫聯(lián)接信息，取數(shù)SQL。內(nèi)外表關系定義外部要讀入的數(shù)據(jù)源和系統(tǒng)表不一定會是一一對應關系， 這就需要定義一下他們之間的關系，這里也支持通過某些函數(shù)轉(zhuǎn)換后再讀入到系 統(tǒng)表中。如外部數(shù)據(jù)源中可能"A"表示某值，而系統(tǒng)表為了系統(tǒng)需要，用"01" 表示某值。數(shù)據(jù)采集根據(jù)以上定義，通過讀數(shù)工具中的數(shù)據(jù)采集功能，根據(jù)定義的表 單結(jié)構(gòu)及內(nèi)外表關系，將外部數(shù)據(jù)讀入到系統(tǒng)表中來。實施案例本發(fā)明已經(jīng)成功運用到各個行業(yè)，如保險、證券、銀行、煙草、制造 等行業(yè)，如讀取薪酬基本工資、績效、社保金、公積金、費用報銷數(shù)據(jù)、固定 資產(chǎn)數(shù)據(jù)、券商清算數(shù)據(jù)等，滿足財務系統(tǒng)對這些數(shù)據(jù)進一步核算的需要，做到 了不落地式處理，減少了手工錄入的錯誤率，也降低了軟件供應商的開發(fā)成本。
權(quán)利要求
1、一種支持多種文件類型的數(shù)據(jù)采集方法，其特征在于包括下列內(nèi)容1)數(shù)據(jù)庫服務器信息定義，定義要取數(shù)據(jù)的數(shù)據(jù)庫服務器信息；2)數(shù)據(jù)源定義，定義每種數(shù)據(jù)來源，包括文件名稱，文件存放路徑，以讀數(shù)據(jù)庫服務器方式，要有對應數(shù)據(jù)庫服務器的編號、讀入到系統(tǒng)中實表名、實表名稱字段的信息，同時定義表單結(jié)構(gòu)，表單結(jié)構(gòu)，包括字段名稱、類型、長度、主外鍵信息；3)內(nèi)外數(shù)據(jù)表關系定義，定義外部數(shù)據(jù)表結(jié)構(gòu)與讀入的系統(tǒng)數(shù)據(jù)表結(jié)構(gòu)的關系，包括(1)外部數(shù)據(jù)源和系統(tǒng)表不是一一對應關系的；(2)對外部數(shù)據(jù)源需要做某些處理再存入系統(tǒng)表中的；4)數(shù)據(jù)采集，通過定義數(shù)據(jù)源類型，利用連接對象，通過定義表結(jié)構(gòu)及關系定義，將數(shù)據(jù)源讀入到系統(tǒng)表中。
2、 根據(jù)權(quán)利要求l所述的數(shù)據(jù)采集方法，其特征在于為后臺數(shù)據(jù)庫數(shù)據(jù)的讀 入定義數(shù)據(jù)庫服務器的相關信息包括數(shù)據(jù)庫服務器名稱、數(shù)據(jù)庫實例名稱、屬 主、用戶密碼、DBLINK名稱和數(shù)據(jù)庫信息編號，通過定義上述信息連接數(shù)據(jù)源所 在的數(shù)據(jù)庫，為采集數(shù)據(jù)做準備
3、 根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于定義所需采集的數(shù)據(jù)表 信息包括(1) 以數(shù)據(jù)庫方式，要選擇在數(shù)據(jù)庫服務器定義功能中定義的數(shù)據(jù)庫信息編號；(2) 以外部文件類型，需要定義文件類型、文件名稱、存放路徑、讀入系統(tǒng) 中的實表名稱、實表日期列和取數(shù)SQL;(3) 同時定義要讀入的數(shù)據(jù)源結(jié)構(gòu)信息，包括字段名稱，字段類型，字段長 度、精度，主外鍵信息。
4、 根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于以后臺數(shù)據(jù)庫采集方式 和外部文件取數(shù)方式，都需要通過定義的數(shù)據(jù)庫信息連接后臺數(shù)據(jù)庫或者外部文 件類型定義的數(shù)據(jù)源信息，組織成一個包含不同數(shù)據(jù)庫引擎的連接字符串，通過 傳遞這個連接字符串，建立通用數(shù)據(jù)訪問的OLEDB與外部數(shù)據(jù)源建立連接，能使用戶的應用程序找到并讀出任意類型的數(shù)據(jù)存儲；獲取到定義的外部數(shù)據(jù)表結(jié)構(gòu)， 在需要采集數(shù)據(jù)的系統(tǒng)內(nèi)，創(chuàng)建一個具有相同類型的臨時表，執(zhí)行取數(shù)SQL，將原 始數(shù)據(jù)讀入到臨時表中，然后再通過定義的外部表與系統(tǒng)表關系，通過數(shù)據(jù)整理， 再將臨時表中的數(shù)據(jù)轉(zhuǎn)入系統(tǒng)表，從而實現(xiàn)系統(tǒng)所需數(shù)據(jù)源的采集。
5、 根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于定義外部數(shù)據(jù)源與系統(tǒng) 表之間的關系，通過自定義函數(shù)方式，將數(shù)據(jù)進行轉(zhuǎn)換。
6、 根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于對于數(shù)據(jù)庫方式讀入， 支持MSS SQLServer 、 ORACLE和SYBASE大型數(shù)據(jù)庫，也支持外部DBF、 TXT和EXCEL 文件方式，。
全文摘要
本發(fā)明涉及一種支持多種文件類型的數(shù)據(jù)采集方法，通過本發(fā)明的方法可以將任何類型的數(shù)據(jù)讀入到需要的系統(tǒng)中。如OA系統(tǒng)、薪酬系統(tǒng)、券商的清算系統(tǒng)等后臺數(shù)據(jù)庫形式，也可以是用戶自己定義的EXCEL表，業(yè)務系統(tǒng)提供的DBF或者是TXT數(shù)據(jù)源，都可以通過本工具讀入到所需系統(tǒng)中去，再由所需系統(tǒng)對其要實現(xiàn)的功能進行數(shù)據(jù)處理。如券商的財務核算系統(tǒng)將從它的清算系統(tǒng)中采集數(shù)據(jù)，為下一步的核算提供數(shù)據(jù)。
文檔編號G06F17/30GK101320394SQ20081013862
公開日2008年12月10日 申請日期2008年7月21日 優(yōu)先權(quán)日2008年7月21日
發(fā)明者李秀平, 晶 郝 申請人:浪潮集團山東通用軟件有限公司