專利名稱：一種高安全性的自動(dòng)數(shù)據(jù)交換裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及一種自動(dòng)數(shù)據(jù)交換裝置，特別涉及一種適用于計(jì)算機(jī)信 息安全領(lǐng)域的高安全性的自動(dòng)數(shù)據(jù)交換裝置。
背景技術(shù)：
隨著電子政務(wù)、電子商務(wù)等業(yè)務(wù)的發(fā)展，信息在不同的網(wǎng)絡(luò)、系統(tǒng)和數(shù) 據(jù)源之間實(shí)現(xiàn)自動(dòng)、快速、安全的交換，即"數(shù)據(jù)交換"成為電子政務(wù)、電 子商務(wù)信息共享和信息互聯(lián)互通的主要問題，而數(shù)據(jù)是數(shù)據(jù)交換過程中最重 要的元素，保證數(shù)據(jù)交換過程中數(shù)據(jù)的質(zhì)量、安全性、 一致性及保密性等， 對(duì)數(shù)據(jù)進(jìn)行安全性檢查，是數(shù)據(jù)交換必須解決的核心問題。
但是，在現(xiàn)有的數(shù)據(jù)交換過程中，可信網(wǎng)絡(luò)與非可信網(wǎng)絡(luò)之間，異構(gòu)系 統(tǒng)、異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交換都比較困難，實(shí)現(xiàn)比較復(fù)雜；同時(shí)，無法保 證數(shù)據(jù)交換過程中數(shù)據(jù)的質(zhì)量、安全性、 一致性及保密性等，對(duì)數(shù)據(jù)進(jìn)行安 全性檢查。
因此，特別需要一種高安全性的自動(dòng)數(shù)據(jù)交換裝置，針對(duì)電子政務(wù)、電 子商務(wù)數(shù)據(jù)交換對(duì)數(shù)據(jù)安全性的深層次需求，充分考慮了數(shù)據(jù)交換業(yè)務(wù)的復(fù) 雜性和需求不斷變化的突出特點(diǎn)，對(duì)交換的數(shù)據(jù)進(jìn)行檢査，達(dá)到迅速開展業(yè) 務(wù)和最大限度減輕用戶工作量的目的。

實(shí)用新型內(nèi)容
本實(shí)用新型所要解決的技術(shù)問題在于提供一種高安全性的自動(dòng)數(shù)據(jù)交換 裝置，在數(shù)據(jù)交換過程中采用工作流方式，可自動(dòng)觸發(fā)數(shù)據(jù)交換工作流程， 并對(duì)數(shù)據(jù)綜合運(yùn)用木馬防病毒過濾，文件格式等檢查方法，保證數(shù)據(jù)交換過 程的安全性，保證數(shù)據(jù)的安全性，實(shí)現(xiàn)資源整合、信息安全共享，保證各類 網(wǎng)絡(luò)化業(yè)務(wù)的順利開展。本實(shí)用新型所要解決的技術(shù)問題可以通過以下技術(shù)方案來實(shí)現(xiàn) 一種高安全性的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，它包括將數(shù)據(jù)從數(shù) 據(jù)源中抽取出來并傳輸給所述數(shù)據(jù)處理單元的數(shù)據(jù)抽取單元、對(duì)所述數(shù)據(jù)抽 取單元抽取的數(shù)據(jù)進(jìn)行各種處理的數(shù)據(jù)處理單元及將所述數(shù)據(jù)處理單元處理 的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中的數(shù)據(jù)加載單元，所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元 及數(shù)據(jù)加載單元之間通過數(shù)據(jù)管路連接。 '
所述數(shù)據(jù)處理單元包括數(shù)據(jù)連接、數(shù)據(jù)過濾、病毒木馬處理和文件格式 檢査等功能模塊。
所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過工作流的方 式進(jìn)行數(shù)據(jù)交換。
所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過工作流的方 式對(duì)每一個(gè)數(shù)據(jù)交換過程進(jìn)行描述和交換流程控制。
所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過時(shí)間和消息 的方式進(jìn)行數(shù)據(jù)交換的觸發(fā)。
本實(shí)用新型的高安全性的自動(dòng)數(shù)據(jù)交換裝置，通過數(shù)據(jù)抽取單元、數(shù)據(jù) 處理單元和數(shù)據(jù)加載單元來進(jìn)行數(shù)據(jù)交換，并用工作流來描述一個(gè)完整數(shù)據(jù) 交換過程，采用具備優(yōu)先級(jí)的工作流觸發(fā)機(jī)制實(shí)現(xiàn)多個(gè)數(shù)據(jù)交換過程并發(fā)進(jìn) 行，并在工作流中嵌入數(shù)據(jù)綜合檢查等安全措施實(shí)現(xiàn)高安全性的數(shù)據(jù)交換， 實(shí)現(xiàn)本實(shí)用新型的目的。


圖1為本實(shí)用新型的高安全性的自動(dòng)數(shù)據(jù)交換裝置的系統(tǒng)框圖。 具體實(shí)施方法
為了使本實(shí)用新型實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明 白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本實(shí)用新型。
如圖1所示， 一種高安全性的自動(dòng)數(shù)據(jù)交換裝置，它包括數(shù)據(jù)抽取單 元l、數(shù)據(jù)處理單元2和數(shù)據(jù)加載單元3，由數(shù)據(jù)抽取單元l、數(shù)據(jù)處理單元 2和數(shù)據(jù)加載單元3構(gòu)成一個(gè)數(shù)據(jù)交換工作流；所謂工作流是由一組功能單 元按照業(yè)務(wù)流程順序通過數(shù)據(jù)管道(DataPipe)串接在一起實(shí)現(xiàn)的。一個(gè)基本的數(shù)據(jù)交換工作流由一個(gè)源業(yè)單元、 一個(gè)目標(biāo)業(yè)務(wù)單元和一套 交換規(guī)則組成， 一個(gè)復(fù)雜的數(shù)據(jù)交換工作流實(shí)際上可以拆分為若干組基本的 數(shù)據(jù)交換工作流，基本的數(shù)據(jù)交換工作流的構(gòu)成元素是最基礎(chǔ)的數(shù)據(jù)交換基 本單元，包括抽取對(duì)象類型及可配置的抽取單元、加載目標(biāo)類型及可配置的 加載單元和可配置的轉(zhuǎn)換單元，根據(jù)晷體業(yè)務(wù)對(duì)象的要求，通過選擇、配置 這些基本單元，形成一個(gè)完整的數(shù)據(jù)交換工作流。
在本實(shí)施例中，數(shù)據(jù)抽取單元1作為抽取單元，從數(shù)據(jù)源中抽取數(shù)據(jù)出 來并傳輸給數(shù)據(jù)處理單元2;數(shù)據(jù)處理單元2作為轉(zhuǎn)換單元，對(duì)數(shù)據(jù)抽取單 元1抽取的數(shù)據(jù)進(jìn)行各種處理；數(shù)據(jù)加載單元3作為加載單元，將經(jīng)過數(shù)據(jù) 處理單元2處理的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中，數(shù)據(jù)抽取單元1、數(shù)據(jù)處理單元2 及數(shù)據(jù)加載單元3之間通過數(shù)據(jù)管路連接，構(gòu)成一個(gè)完整的數(shù)據(jù)交換工作流。
在本實(shí)用新型的數(shù)據(jù)交換工作流中，數(shù)據(jù)抽取(Extract)單元1 一般有 兩個(gè)，分別從數(shù)據(jù)庫(kù)和文本文件中提取數(shù)據(jù)；通過兩個(gè)數(shù)據(jù)管道(Datapipe) 通過數(shù)據(jù)處理單元2傳遞給下一個(gè)連接節(jié)點(diǎn)(Join)，連接節(jié)點(diǎn)按照事先設(shè)計(jì) 的連接條件，將兩個(gè)管道中的數(shù)據(jù)進(jìn)行類似數(shù)據(jù)庫(kù)系統(tǒng)中的join操作，將數(shù) 據(jù)進(jìn)行橫向合并；在數(shù)據(jù)處理單元2中通過一個(gè)數(shù)據(jù)管道(Datapipe)傳遞 給下一個(gè)清洗節(jié)點(diǎn)(Clean),對(duì)傳入的數(shù)據(jù)進(jìn)行清洗；清洗之后的數(shù)據(jù)被發(fā) 送到轉(zhuǎn)換節(jié)點(diǎn)(Tmnsformation),對(duì)數(shù)據(jù)格式和內(nèi)容進(jìn)行轉(zhuǎn)換和影射；轉(zhuǎn)換 后的數(shù)據(jù)被分發(fā)到數(shù)據(jù)加載單元3的加載節(jié)點(diǎn)(Load)及聚合節(jié)點(diǎn) (Aggregation),聚合后的匯總數(shù)據(jù)也被傳送到數(shù)據(jù)加載單元3的加載節(jié)點(diǎn) (Load);加載節(jié)點(diǎn)(Load)負(fù)責(zé)將最終產(chǎn)生的明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)保存到 目標(biāo)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文件、目標(biāo)應(yīng)用系統(tǒng)中。
本實(shí)用新型的高安全性的自動(dòng)數(shù)據(jù)交換裝置的數(shù)據(jù)交換規(guī)則的定制和編 寫，包括數(shù)據(jù)轉(zhuǎn)換規(guī)則和數(shù)據(jù)交換運(yùn)行規(guī)則，數(shù)據(jù)轉(zhuǎn)換規(guī)則負(fù)責(zé)數(shù)據(jù)的轉(zhuǎn)換 過程定義；數(shù)據(jù)交換運(yùn)行規(guī)則負(fù)責(zé)連接源數(shù)據(jù)和目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換過 程的調(diào)度。
數(shù)據(jù)抽取單元1具有如下類型的功能單元
DBReader:從DBMS數(shù)據(jù)源中讀取數(shù)據(jù)，支持增量數(shù)據(jù)抽?。?FileReader:從外部文件中讀取數(shù)據(jù)； FTP:從FTP服務(wù)器中讀取數(shù)據(jù)；HTTP/WEB SERVICES:發(fā)送WEB請(qǐng)求到服務(wù)器，然后從WEB服務(wù)器 返回的數(shù)據(jù)流中讀取數(shù)據(jù)；
SMTP (簡(jiǎn)單的郵件傳送協(xié)議)訪問電子郵件服務(wù)器，從指定的電子郵 箱中讀取數(shù)據(jù)；
JMS:從JMS消息總線中讀取數(shù)據(jù)；
企業(yè)級(jí)別JAVABEANS (EJB):調(diào)用EJB接口，從返回的數(shù)據(jù)流中讀取 數(shù)據(jù)。
數(shù)據(jù)處理單元2具有如下類型的功能單元
Joiner:實(shí)現(xiàn)兩個(gè)數(shù)據(jù)集的Join操作，包括數(shù)據(jù)庫(kù)中常見的連接類型， 及數(shù)據(jù)庫(kù)中未提供的部分連接類型。禾U用Joiner組件，還可以實(shí)現(xiàn)不同數(shù)據(jù) 源的Join操作；
Filter:根據(jù)指定的條件過濾數(shù)據(jù)；
Switcher:根據(jù)數(shù)據(jù)的某些特征值，往不同的數(shù)據(jù)管道輸出數(shù)據(jù)； Duplicator:復(fù)制輸入管道的數(shù)據(jù)，往多個(gè)數(shù)據(jù)管道輸出； Sorter:對(duì)數(shù)據(jù)進(jìn)行排序；
Aggregator:對(duì)數(shù)據(jù)進(jìn)行累計(jì)運(yùn)算，例如Sum、 Count、 Max、 Min等聚
合運(yùn)算；
Converter:對(duì)數(shù)據(jù)進(jìn)行各種各樣的轉(zhuǎn)化，包括類型轉(zhuǎn)換、數(shù)據(jù)計(jì)算、代 碼缺失檢測(cè)替換等。DataConflux提供了大量的轉(zhuǎn)化函數(shù)，并且開發(fā)人員可以 根據(jù)需要自行設(shè)計(jì)、添加所需的函數(shù)。
Antivirus:對(duì)數(shù)據(jù)進(jìn)行病毒木馬査殺。
數(shù)據(jù)加載單元3具有如下類型的功能單元
DBWriter:以SQL語句的方式更新目標(biāo)數(shù)據(jù)庫(kù)中的數(shù)據(jù)；
DBLoader:以外部文件批量裝載的方式裝載數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫(kù)中，例如
Sybase ASE中的Bulk Copy, Sybase IQ的Load;
FileWriter:將數(shù)據(jù)導(dǎo)出到外部文本文件，支持本地文本文件、FTP遠(yuǎn)程文件。
DataConflux:包含了 ETL產(chǎn)品中常用的功能組件和轉(zhuǎn)換函數(shù)，并且增加了一些數(shù)據(jù)質(zhì)量檢測(cè)、清洗的函數(shù)以及主鍵轉(zhuǎn)換函數(shù)，例如，Check函數(shù)可 以檢測(cè)某個(gè)代值是否為標(biāo)準(zhǔn)代碼表中的代碼值，否則將其清洗為某特定代碼 值。
在本實(shí)用新型的高安全性的自動(dòng)數(shù)據(jù)交換裝置中，數(shù)據(jù)抽取單元1、數(shù) 據(jù)處理單元2和數(shù)據(jù)加載單元3之間通過時(shí)間和消息的方式進(jìn)行數(shù)據(jù)交換的 觸發(fā)。
基于時(shí)間的數(shù)據(jù)交換的觸發(fā)，工作流的優(yōu)先級(jí)基于系統(tǒng)優(yōu)先級(jí)，每次時(shí) 間的任務(wù)調(diào)度根據(jù)優(yōu)先級(jí)進(jìn)行。
基于定時(shí)器消息的數(shù)據(jù)交換的觸發(fā)，每次調(diào)度基于消息機(jī)制，消息可以 采用定時(shí)器消息和事件消息兩種。
本實(shí)用新型的高安全性的自動(dòng)數(shù)據(jù)交換裝置支持按固定時(shí)間點(diǎn)觸發(fā)流 程，通過類似Crontab的配置方式定義調(diào)度周期；支持按固定時(shí)間周期觸發(fā) 流程，如每3分鐘、每1秒等。最小間隔0.1秒；或者通過各種接口，實(shí)時(shí) 觸發(fā)。
數(shù)據(jù)處理單元2中的數(shù)據(jù)綜合檢查包括數(shù)據(jù)過濾、病毒木馬處理、文件 格式檢査等高安全性數(shù)據(jù)檢查方法，并基于工作流的方式綜合運(yùn)用上述檢査 方法。使用防病毒軟件對(duì)病毒木馬處理，具有數(shù)據(jù)文件格式檢查、數(shù)據(jù)流量 動(dòng)態(tài)檢查雙重檢查功能，所有處理在內(nèi)存中以接近線速的處理速度完成。文 件格式檢査，根據(jù)需要對(duì)文件分類，如文本文件、圖片、聲音、視頻等，檢 査文件格式是否符合需要傳輸?shù)母袷?，如果是將文件交換，如果是文本文件， 對(duì)文本文件的內(nèi)容進(jìn)行初步的過濾?；诠ぷ髁鞯臄?shù)據(jù)綜合檢查方法。為了 實(shí)現(xiàn)數(shù)據(jù)交換過程中數(shù)據(jù)高安全性檢査，將上述幾種數(shù)據(jù)檢査方法按照業(yè)務(wù) 活動(dòng)依時(shí)序或邏輯關(guān)系相互連接構(gòu)成業(yè)務(wù)流程。在業(yè)務(wù)開展過程中，數(shù)據(jù)依 據(jù)檢査方法和組織規(guī)范進(jìn)行傳遞、處理或執(zhí)行，實(shí)現(xiàn)了自動(dòng)化、綜合的數(shù)據(jù) 檢査。
參見圖l，數(shù)據(jù)處理單元2對(duì)數(shù)據(jù)進(jìn)行病毒木馬檢査時(shí)，采用工作流的 數(shù)據(jù)處理單元2的antivirus功能模塊完成，即每一個(gè)木馬病毒過濾檢查任務(wù) (Job)由若干獨(dú)立的功能單元按照一定的邏輯順序通過數(shù)據(jù)管道連接而成這 是一個(gè)典型的數(shù)據(jù)檢查流程。木馬病毒過濾檢査首先是數(shù)據(jù)抽取單元1，分 別從數(shù)據(jù)庫(kù)和文本文件提取數(shù)據(jù)；通過兩個(gè)數(shù)據(jù)管道傳遞給讀取過濾規(guī)則節(jié)點(diǎn)，再通過數(shù)據(jù)管道傳遞到按照規(guī)則檢査節(jié)點(diǎn)，防病毒木馬程序啟動(dòng)，按照 規(guī)則對(duì)數(shù)據(jù)查殺毒和査木馬，接著通過一個(gè)數(shù)據(jù)管道傳遞給處理節(jié)點(diǎn)進(jìn)行處 理，如果發(fā)現(xiàn)有病毒或者木馬，數(shù)據(jù)被拋棄，否則，將最終產(chǎn)生的檢査完成 的明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)保存到目標(biāo)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文件、目標(biāo)應(yīng)用系統(tǒng) 中，根據(jù)需要木馬病毒檢査方法之前可以加入防火墻數(shù)據(jù)過濾及其他檢査方 法節(jié)點(diǎn)。
數(shù)據(jù)格式及內(nèi)容檢査主要是針對(duì)文件類型的數(shù)據(jù)，采用工作流的處理模 式，文件格式及數(shù)據(jù)內(nèi)容檢查首先是數(shù)據(jù)抽取單元1，從從數(shù)據(jù)庫(kù)和文本文
件提取數(shù)據(jù)；通過數(shù)據(jù)管道傳遞給讀取規(guī)則節(jié)點(diǎn)，在通過數(shù)據(jù)管道傳遞到按 照文件格式規(guī)則檢査節(jié)點(diǎn)，此時(shí)程序首先檢查規(guī)則的第一項(xiàng)文件類型，通過 配置，可以將文件類型分成黑名單和白名單兩種，符合白名單的文件則傳遞 到下一個(gè)功能單元，符合黑名單的數(shù)據(jù)則拋棄，然后再遍歷規(guī)則的其他項(xiàng)， 以便檢查文件的內(nèi)容，最后通過一個(gè)數(shù)據(jù)管道傳遞給處理節(jié)點(diǎn)進(jìn)行處理，格 式及內(nèi)容正確的數(shù)據(jù)進(jìn)行交換，將最終產(chǎn)生的檢查完成的明細(xì)數(shù)據(jù)和匯總數(shù) 據(jù)保存到目標(biāo)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文件、目標(biāo)應(yīng)用系統(tǒng)中。根據(jù)需要文件檢 査方法之前可以加入防火墻數(shù)據(jù)過濾及其他檢查方法節(jié)點(diǎn)。
以上顯示和描述了本實(shí)用新型的基本原理和主要特征及其優(yōu)點(diǎn)。本行業(yè) 的技術(shù)人員應(yīng)該了解，本實(shí)用新型不受上述實(shí)施例的限制，上述實(shí)施例和說 明書中描述的只是說明本實(shí)用新型的原理，在不脫離本實(shí)用新型精神和范圍 的前提下，本實(shí)用新型還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求 保護(hù)的本實(shí)用新型范圍內(nèi)。本實(shí)用新型要求保護(hù)范圍由所附的權(quán)利要求書及 其等效物界定。
權(quán)利要求1、一種高安全性的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，它包括將數(shù)據(jù)從數(shù)據(jù)源中抽取出來并傳輸給所述數(shù)據(jù)處理單元的數(shù)據(jù)抽取單元、對(duì)所述數(shù)據(jù)抽取單元抽取的數(shù)據(jù)進(jìn)行各種處理的數(shù)據(jù)處理單元及將所述數(shù)據(jù)處理單元處理的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中的數(shù)據(jù)加載單元，所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過數(shù)據(jù)管路連接。
2、 如權(quán)利要求1所述的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，所述數(shù)據(jù)處理 單元包括數(shù)據(jù)連接、數(shù)據(jù)過濾、病毒木馬處理和文件格式檢查等功能模塊。
3、 如權(quán)利要求l所述的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，所述數(shù)據(jù)抽取 單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過工作流的方式進(jìn)行數(shù)據(jù)交換。
4、 如權(quán)利要求l所述的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過工作流的方式對(duì)每一個(gè)數(shù)據(jù)交 換過程進(jìn)行描述和交換流程控制。
5、 如權(quán)利要求l所述的自動(dòng)數(shù)據(jù)交換裝置，其特征在于，所述數(shù)據(jù)抽取 單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過時(shí)間和消息的方式進(jìn)行數(shù)據(jù)交 換的觸發(fā)。
專利摘要本實(shí)用新型公開一種高安全性的自動(dòng)數(shù)據(jù)交換裝置，它包括將數(shù)據(jù)從數(shù)據(jù)源中抽取出來并傳輸給所述數(shù)據(jù)處理單元的數(shù)據(jù)抽取單元、對(duì)所述數(shù)據(jù)抽取單元抽取的數(shù)據(jù)進(jìn)行各種處理的數(shù)據(jù)處理單元及將所述數(shù)據(jù)處理單元處理的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中的數(shù)據(jù)加載單元，所述數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元及數(shù)據(jù)加載單元之間通過數(shù)據(jù)管路連接；通過數(shù)據(jù)抽取單元、數(shù)據(jù)處理單元和數(shù)據(jù)加載單元來進(jìn)行數(shù)據(jù)交換，并用工作流來描述一個(gè)完整數(shù)據(jù)交換過程，采用具備優(yōu)先級(jí)的工作流觸發(fā)機(jī)制實(shí)現(xiàn)多個(gè)數(shù)據(jù)交換過程并發(fā)進(jìn)行，并在工作流中嵌入數(shù)據(jù)綜合檢查等安全措施實(shí)現(xiàn)高安全性的數(shù)據(jù)交換，實(shí)現(xiàn)本實(shí)用新型的目的。
文檔編號(hào)H04L29/06GK201252571SQ200820152759
公開日2009年6月3日 申請(qǐng)日期2008年9月5日 優(yōu)先權(quán)日2008年9月5日
發(fā)明者吳旭東, 周國(guó)勇, 欣 李, 歐陽滿, 沈寒輝, 剛 王, 福 王, 袁藝芳, 翔 鄒 申請(qǐng)人:公安部第三研究所