專利名稱：一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)，尤其是針對(duì)具有海量數(shù)據(jù)的數(shù)據(jù)庫(kù)的 智能化采集。
背景技術(shù)：
云計(jì)算(cloud computing)，分布式計(jì)算技術(shù)的一種，其最基本的概念，是透過網(wǎng) 絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的龐 大系統(tǒng)經(jīng)搜尋、計(jì)算分析之后將處理結(jié)果回傳給用戶。透過這項(xiàng)技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以 在數(shù)秒之內(nèi)，達(dá)成處理數(shù)以千萬計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大效能的 網(wǎng)絡(luò)服務(wù)。一個(gè)基于云計(jì)算技術(shù)的計(jì)算機(jī)集群稱為“云”。云計(jì)算具有以下特占.
^ \\\ ·
(1)超大規(guī)模?！霸啤本哂邢喈?dāng)?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器。“云” 能賦予用戶前所未有的計(jì)算能力；
(2)虛擬化。云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請(qǐng)求的資 源來自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶無需了解、 也不用擔(dān)心應(yīng)用運(yùn)行的具體位置；
(3)高可靠性?！霸啤笔褂昧藬?shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù) 的高可靠性，使用云計(jì)算比使用本地計(jì)算機(jī)可靠；
(4)通用性。云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用， 同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行；
(5)高可擴(kuò)展性?！霸啤钡囊?guī)?？梢詣?dòng)態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長(zhǎng)的需要；
(6)極其廉價(jià)。由于“云”的特殊容錯(cuò)措施可以采用極其廉價(jià)的節(jié)點(diǎn)來構(gòu)成云。數(shù)據(jù)采集指從一個(gè)系統(tǒng)或者終端獲取數(shù)據(jù)，并按照一定的格式存儲(chǔ)進(jìn)入另一個(gè)系 統(tǒng)或者終端的過程。計(jì)算機(jī)科學(xué)中的數(shù)據(jù)采集根據(jù)終端和系統(tǒng)的不同可以進(jìn)行不同劃分， 其中一種就是從異構(gòu)的分散的數(shù)據(jù)庫(kù)中采集數(shù)據(jù)，然后進(jìn)行統(tǒng)一的數(shù)據(jù)管理和存儲(chǔ)。在移 動(dòng)搜索中，需要采集大量的用戶數(shù)據(jù)和移動(dòng)環(huán)境數(shù)據(jù)。移動(dòng)數(shù)據(jù)具有兩個(gè)主要特點(diǎn)，分散化 和海量性。分散化指移動(dòng)數(shù)據(jù)存在于運(yùn)營(yíng)商的各種異構(gòu)數(shù)據(jù)庫(kù)中，且分散于各個(gè)數(shù)據(jù)中心。 海量性是指由于時(shí)間的累積和用戶的增長(zhǎng)，移動(dòng)用戶的消費(fèi)記錄和無線環(huán)境數(shù)據(jù)都會(huì)呈現(xiàn) 海量的特點(diǎn)。各個(gè)結(jié)點(diǎn)采集的數(shù)據(jù)，可以通過定義統(tǒng)一的數(shù)據(jù)格式而達(dá)到分散數(shù)據(jù)整合的目 的，云計(jì)算透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無數(shù)個(gè)較小的子程序，再交由多部 服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計(jì)算分析之后將處理結(jié)果回傳給用戶的特點(diǎn)，可以將分 散的移動(dòng)數(shù)據(jù)整合到一個(gè)統(tǒng)一的平臺(tái)上加以利用，這是其他計(jì)算模式無法提供的優(yōu)點(diǎn)。對(duì) 于單個(gè)結(jié)點(diǎn)采集到的海量數(shù)據(jù)，云計(jì)算通過自己的超大規(guī)模和高容錯(cuò)能力，更好的發(fā)揮整 個(gè)系統(tǒng)的處理能力而不是單個(gè)結(jié)點(diǎn)的處理能力。
此外，21世紀(jì)是智能化的時(shí)代，包括三大智能化，信息的智能化——信息搜索，能 源的智能化——低碳能源，物體的智能化——物聯(lián)網(wǎng)。目前智能化的進(jìn)步飛速，各種智能的 系統(tǒng)和方法應(yīng)允而生。目前，數(shù)據(jù)采集系統(tǒng)還有很多不足。第一，前臺(tái)系統(tǒng)的改變，尤其是 前臺(tái)數(shù)據(jù)庫(kù)系統(tǒng)由于業(yè)務(wù)或者升級(jí)等原因的改變，導(dǎo)致采集系統(tǒng)的不能適應(yīng)這種變化。第 二，很多數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)的ETL工具的靈活度低，尤其是不能對(duì)系統(tǒng)的情況形成很好的 反饋。鑒于以上情況，本發(fā)明提供了一種有效的系統(tǒng)和方法來解決這些問題。

發(fā)明內(nèi)容
為了實(shí)現(xiàn)移動(dòng)數(shù)據(jù)的海量智能化的采集和存儲(chǔ)，本發(fā)明提供了一種基于云計(jì)算系 統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)，部署在云計(jì)算系統(tǒng)中，其特征是所述系統(tǒng)包括分別部署在云計(jì)算 系統(tǒng)主節(jié)點(diǎn)和從節(jié)點(diǎn)的主節(jié)點(diǎn)子系統(tǒng)和從節(jié)點(diǎn)系統(tǒng)，其中，所述主節(jié)點(diǎn)子系統(tǒng)包括
連接智能庫(kù)模塊主要用于前臺(tái)連接，包括提供預(yù)連接的SQL語句，生成預(yù)連接任務(wù) 化參數(shù)，生成前臺(tái)連接任務(wù)化參數(shù)；
處理智能庫(kù)模塊用于選擇數(shù)據(jù)的處理方式，定義統(tǒng)一的數(shù)據(jù)格式，確定數(shù)據(jù)內(nèi)容的篩 選策略，生成數(shù)據(jù)處理任務(wù)化參數(shù)；生成數(shù)據(jù)處理任務(wù)輸出；
存儲(chǔ)智能庫(kù)模塊用于選擇后臺(tái)存儲(chǔ)的策略，生成預(yù)存儲(chǔ)任務(wù)化參數(shù)，生成存儲(chǔ)任務(wù)化 參數(shù)；生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出；
智能分析決策模塊主要用于調(diào)用所述連接智能庫(kù)模塊、處理智能庫(kù)模塊、處理智能庫(kù) 模塊，分別生成針對(duì)從節(jié)點(diǎn)的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，提交給云計(jì)算輔助管 理主節(jié)點(diǎn)模塊；接收云計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處 理信息、預(yù)存儲(chǔ)信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報(bào)告，提交云計(jì)算輔助 管理主節(jié)點(diǎn)模塊；
云計(jì)算輔助管理主節(jié)點(diǎn)模塊是主節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收用 戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸 出，通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊； 所述從節(jié)點(diǎn)子系統(tǒng)包括
前臺(tái)連接模塊用于通過JDBC接口連接前臺(tái)的各種異構(gòu)數(shù)據(jù)庫(kù)，并反饋前臺(tái)連接信
息；
數(shù)據(jù)處理模塊根據(jù)前臺(tái)預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表格處 理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處
理信息；
后臺(tái)存儲(chǔ)模塊實(shí)現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系統(tǒng)中，或者通過 JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并反饋存儲(chǔ)信息；
云計(jì)算輔助管理從節(jié)點(diǎn)模塊是從節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收云 計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所 述前臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將各種反饋信息通過云計(jì)算系統(tǒng)返回給 云計(jì)算輔助管理主節(jié)點(diǎn)模塊。一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)采集方法，其特征在于，包括以 下步驟步驟1 云計(jì)算輔助管理主節(jié)點(diǎn)模塊接收用戶提交的一個(gè)數(shù)據(jù)采集請(qǐng)求，提交給智能 分析決策模塊；
步驟2 智能分析決策模塊調(diào)用連接智能庫(kù)模塊，生成預(yù)連接任務(wù)輸出到云計(jì)算輔助 管理主節(jié)點(diǎn)模塊；
步驟3 云計(jì)算輔助管理主節(jié)點(diǎn)模塊將預(yù)連接任務(wù)通過云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)上的 云計(jì)算輔助管理從節(jié)點(diǎn)模塊；
步驟4:云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用前臺(tái)連接模塊，通過JDBC接口連接前臺(tái)的各 種異構(gòu)數(shù)據(jù)庫(kù)，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋前臺(tái)連接信息；
步驟5 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將前臺(tái)預(yù)連接反饋信息通過云計(jì)算系統(tǒng)返回給云 計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的 信息進(jìn)行分支判斷選擇
如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用處理智 能庫(kù)模塊，生成預(yù)處理任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理主節(jié)點(diǎn)模 塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管理從節(jié)點(diǎn) 模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺(tái)預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表 格處理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù) 據(jù)處理信息，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋預(yù)處理信息； 否則，生成預(yù)連接失敗信息，反饋用戶；
步驟6 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將數(shù)據(jù)預(yù)處理反饋信息通過云計(jì)算系統(tǒng)返回給云 計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的 信息進(jìn)行分支判斷選擇
如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用存 儲(chǔ)智能庫(kù)模塊，生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理 主節(jié)點(diǎn)模塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管 理從節(jié)點(diǎn)模塊調(diào)用后臺(tái)存儲(chǔ)模塊，實(shí)現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系 統(tǒng)中，或者通過JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋后臺(tái) 預(yù)存儲(chǔ)信息；
否則，生成預(yù)處理失敗信息，反饋用戶；
步驟7 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將預(yù)存儲(chǔ)反饋信息通過云計(jì)算系統(tǒng)返回給云計(jì)算 輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)后臺(tái)預(yù)存儲(chǔ) 反饋信息進(jìn)行分支判斷選擇
如果反饋的預(yù)存儲(chǔ)信息表示后臺(tái)預(yù)存儲(chǔ)任務(wù)執(zhí)行成功，則由智能分析決策模塊生成數(shù) 據(jù)采集任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理主節(jié)點(diǎn)模塊通過給云計(jì)算 系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用所述前 臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將相應(yīng)反饋信息通過云計(jì)算系統(tǒng)返回給云計(jì) 算輔助管理主節(jié)點(diǎn)模塊；
否則，生成預(yù)儲(chǔ)存失敗信息，反饋用戶。
本發(fā)明的優(yōu)點(diǎn)在于第一，采用智能分析決策，尤其是對(duì)了解不深或者未知系統(tǒng)利 用反饋決策機(jī)制，將前臺(tái)數(shù)據(jù)庫(kù)的基本情況和后臺(tái)存儲(chǔ)遇到的問題形成一份完成的反饋報(bào)告，可以為用戶的任務(wù)決策提供有效的信息；第二，采用云計(jì)算網(wǎng)絡(luò)，利用云計(jì)算將大程序 分解成小程序然后整合形成結(jié)果的特點(diǎn)，實(shí)現(xiàn)分散的數(shù)據(jù)的統(tǒng)一整合，對(duì)單個(gè)結(jié)點(diǎn)采集到 的海量數(shù)據(jù)可以通過上傳到云計(jì)算系統(tǒng)，進(jìn)而利用云計(jì)算網(wǎng)絡(luò)超大規(guī)模的特點(diǎn)進(jìn)行海量數(shù) 據(jù)處理，解決了數(shù)據(jù)不斷增長(zhǎng)對(duì)系統(tǒng)性能造成的影響。第三，采用分級(jí)決策機(jī)制，各個(gè)決策 都是以前一個(gè)決策成功的基礎(chǔ)上繼續(xù)進(jìn)行，保證各個(gè)決策都是有邏輯先后的順序，實(shí)現(xiàn)科 學(xué)智能的決策。第四，各個(gè)不同數(shù)據(jù)庫(kù)采集的數(shù)據(jù)是分散沒有統(tǒng)一的數(shù)據(jù)格式，通過本系統(tǒng) 之后定義統(tǒng)一的格式可以實(shí)現(xiàn)不同數(shù)據(jù)的整合。


圖1為本發(fā)明的一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)示意圖。圖2為本發(fā)明的一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)方法流程圖的前部分。圖3為本發(fā)明的一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)方法流程圖的后續(xù)部 分。
具體實(shí)施例方式有關(guān)本發(fā)明的技術(shù)內(nèi)容及詳細(xì)說明，現(xiàn)結(jié)合

如下
請(qǐng)參閱圖1，一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)，部署在云計(jì)算系統(tǒng)中，其特征 是所述系統(tǒng)包括分別部署在云計(jì)算系統(tǒng)主節(jié)點(diǎn)和從節(jié)點(diǎn)的主節(jié)點(diǎn)子系統(tǒng)和從節(jié)點(diǎn)系統(tǒng)， 其中，所述主節(jié)點(diǎn)子系統(tǒng)包括
連接智能庫(kù)模塊主要用于前臺(tái)連接，包括提供預(yù)連接的SQL語句，生成預(yù)連接任務(wù) 化參數(shù)，生成前臺(tái)連接任務(wù)化參數(shù)；
處理智能庫(kù)模塊用于選擇數(shù)據(jù)的處理方式，定義統(tǒng)一的數(shù)據(jù)格式，確定數(shù)據(jù)內(nèi)容的篩 選策略，生成數(shù)據(jù)處理任務(wù)化參數(shù)；生成數(shù)據(jù)處理任務(wù)輸出；
存儲(chǔ)智能庫(kù)模塊用于選擇后臺(tái)存儲(chǔ)的策略，生成預(yù)存儲(chǔ)任務(wù)化參數(shù)，生成存儲(chǔ)任務(wù)化 參數(shù)；生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出；
智能分析決策模塊主要用于調(diào)用所述連接智能庫(kù)模塊、處理智能庫(kù)模塊、處理智能庫(kù) 模塊，分別生成針對(duì)從節(jié)點(diǎn)的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，提交給云計(jì)算輔助管 理主節(jié)點(diǎn)模塊；接收云計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處 理信息、預(yù)存儲(chǔ)信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報(bào)告，提交云計(jì)算輔助 管理主節(jié)點(diǎn)模塊；
云計(jì)算輔助管理主節(jié)點(diǎn)模塊是主節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收用 戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸 出，通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊； 所述從節(jié)點(diǎn)子系統(tǒng)包括
前臺(tái)連接模塊用于通過JDBC接口連接前臺(tái)的各種異構(gòu)數(shù)據(jù)庫(kù)，并反饋前臺(tái)連接信
息；
數(shù)據(jù)處理模塊根據(jù)前臺(tái)預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表格處 理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處
理信息；后臺(tái)存儲(chǔ)模塊實(shí)現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系統(tǒng)中，或者通過 JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并反饋存儲(chǔ)信息；
云計(jì)算輔助管理從節(jié)點(diǎn)模塊是從節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收云 計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所 述前臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將各種反饋信息通過云計(jì)算系統(tǒng)返回給 云計(jì)算輔助管理主節(jié)點(diǎn)模塊。 結(jié)合圖2和圖3所示的基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)采集方法，包 括如下步驟
步驟SlOl 云計(jì)算輔助管理主節(jié)點(diǎn)模塊接收用戶提交的一個(gè)數(shù)據(jù)采集請(qǐng)求，提交給智 能分析決策模塊；
步驟S102 智能分析決策模塊調(diào)用連接智能庫(kù)模塊，生成預(yù)連接任務(wù)輸出到云計(jì)算輔 助管理主節(jié)點(diǎn)模塊；
步驟S103 云計(jì)算輔助管理主節(jié)點(diǎn)模塊將預(yù)連接任務(wù)通過云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn) 上的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；
步驟S104 云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用前臺(tái)連接模塊，通過JDBC接口連接前臺(tái)的 各種異構(gòu)數(shù)據(jù)庫(kù)，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋前臺(tái)連接信息；
步驟S105 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將前臺(tái)預(yù)連接反饋信息通過云計(jì)算系統(tǒng)返回 給云計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反 饋的信息進(jìn)行分支判斷選擇
如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則步驟S107，由智能分析決策模塊 調(diào)用處理智能庫(kù)模塊，生成預(yù)處理任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；步驟S108，云 計(jì)算輔助管理主節(jié)點(diǎn)模塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊; 步驟S109，云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺(tái)預(yù)連接的信息為各種 異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括 數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋預(yù)處 理信息；
否則，生成預(yù)連接失敗信息，反饋用戶(步驟S106)；
步驟SllO 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將數(shù)據(jù)預(yù)處理反饋信息通過云計(jì)算系統(tǒng)返回 給云計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反 饋的信息進(jìn)行分支判斷選擇
如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用存 儲(chǔ)智能庫(kù)模塊(步驟S111)，生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì) 算輔助管理主節(jié)點(diǎn)模塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊(步 驟S112);云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用后臺(tái)存儲(chǔ)模塊(步驟S113)，實(shí)現(xiàn)將經(jīng)過預(yù)處理的 數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系統(tǒng)中，或者通過JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并向云 計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋后臺(tái)預(yù)存儲(chǔ)信息；
否則，返回步驟S106，生成預(yù)處理失敗信息，反饋用戶；
步驟S114 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將預(yù)存儲(chǔ)反饋信息通過云計(jì)算系統(tǒng)返回給云 計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)后臺(tái)預(yù)
8存儲(chǔ)反饋信息進(jìn)行分支判斷選擇
如果反饋的預(yù)存儲(chǔ)信息表示后臺(tái)預(yù)存儲(chǔ)任務(wù)執(zhí)行成功，則步驟S115，由智能分析決策 模塊生成數(shù)據(jù)采集任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；步驟S116，云計(jì)算輔助管理主 節(jié)點(diǎn)模塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；步驟S117，云計(jì) 算輔助管理從節(jié)點(diǎn)模塊調(diào)用所述前臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將相應(yīng)反 饋信息通過云計(jì)算系統(tǒng)返回給云計(jì)算輔助管理主節(jié)點(diǎn)模塊； 否則，返回步驟S106，生成預(yù)儲(chǔ)存失敗信息，反饋用戶。本發(fā)明所述系統(tǒng)主要是在云計(jì)算系統(tǒng)上建立智能的一個(gè)采集系統(tǒng)，該系統(tǒng)與云計(jì) 算系統(tǒng)密切聯(lián)系，但并不影響云計(jì)算系統(tǒng)的基本功能。云計(jì)算系統(tǒng)的文件系統(tǒng)、各種參數(shù)配 置，以及基于云計(jì)算的后臺(tái)存儲(chǔ)數(shù)據(jù)庫(kù)都是云計(jì)算系統(tǒng)固有特性，本系統(tǒng)在實(shí)現(xiàn)中可以加 以利用。同時(shí)，本系統(tǒng)由于下面的決策是以上面的決策正確為前提的，上面的決策正確獲取 的參數(shù)，又可以作為下面決策的參考的依據(jù)，這樣不僅可以保證決策的邏輯順序，同時(shí)可以 大大提高決策的質(zhì)量和正確，保證系統(tǒng)最后產(chǎn)生的決策結(jié)果是可以在系統(tǒng)上運(yùn)行的。就大 大提高系統(tǒng)的智能化水平和成功率，減少不必要的操作失誤和系統(tǒng)盲區(qū)導(dǎo)致的低效問題。由于云計(jì)算是現(xiàn)有的技術(shù)并且有統(tǒng)一的技術(shù)規(guī)范，本發(fā)明僅就系統(tǒng)進(jìn)行闡述，其 他具體實(shí)現(xiàn)的技術(shù)細(xì)節(jié)，不再贅述。
權(quán)利要求
一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)，部署在云計(jì)算系統(tǒng)中，其特征是所述系統(tǒng)包括分別部署在云計(jì)算系統(tǒng)主節(jié)點(diǎn)和從節(jié)點(diǎn)的主節(jié)點(diǎn)子系統(tǒng)和從節(jié)點(diǎn)系統(tǒng)，其中，所述主節(jié)點(diǎn)子系統(tǒng)包括連接智能庫(kù)模塊主要用于前臺(tái)連接，包括提供預(yù)連接的SQL語句，生成預(yù)連接任務(wù)化參數(shù)，生成前臺(tái)連接任務(wù)化參數(shù)；處理智能庫(kù)模塊用于選擇數(shù)據(jù)的處理方式，定義統(tǒng)一的數(shù)據(jù)格式，確定數(shù)據(jù)內(nèi)容的篩選策略，生成數(shù)據(jù)處理任務(wù)化參數(shù)；生成數(shù)據(jù)處理任務(wù)輸出；存儲(chǔ)智能庫(kù)模塊用于選擇后臺(tái)存儲(chǔ)的策略，生成預(yù)存儲(chǔ)任務(wù)化參數(shù)，生成存儲(chǔ)任務(wù)化參數(shù)；生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出；智能分析決策模塊主要用于調(diào)用所述連接智能庫(kù)模塊、處理智能庫(kù)模塊、處理智能庫(kù)模塊，分別生成針對(duì)從節(jié)點(diǎn)的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，提交給云計(jì)算輔助管理主節(jié)點(diǎn)模塊；接收云計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接反饋信息，包括預(yù)連接信息、預(yù)處理信息、預(yù)存儲(chǔ)信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務(wù)，或者用戶報(bào)告，提交云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理主節(jié)點(diǎn)模塊是主節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收用戶提交的數(shù)據(jù)采集任務(wù)，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務(wù)輸出，通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊； 所述從節(jié)點(diǎn)子系統(tǒng)包括前臺(tái)連接模塊用于通過JDBC接口連接前臺(tái)的各種異構(gòu)數(shù)據(jù)庫(kù)，并反饋前臺(tái)連接信息；數(shù)據(jù)處理模塊根據(jù)前臺(tái)預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表格處理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù)據(jù)處理信息；后臺(tái)存儲(chǔ)模塊實(shí)現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系統(tǒng)中，或者通過JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并反饋存儲(chǔ)信息；云計(jì)算輔助管理從節(jié)點(diǎn)模塊是從節(jié)點(diǎn)子系統(tǒng)與云計(jì)算系統(tǒng)的接口界面，用于接收云計(jì)算輔助管理主節(jié)點(diǎn)模塊的預(yù)連接任務(wù)、預(yù)處理任務(wù)、預(yù)存儲(chǔ)任務(wù)，數(shù)據(jù)采集任務(wù)，調(diào)用所述前臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將各種反饋信息通過云計(jì)算系統(tǒng)返回給云計(jì)算輔助管理主節(jié)點(diǎn)模塊。
2.—種權(quán)利要求1所述的基于云計(jì)算網(wǎng)絡(luò)的智能數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)采集方法，其特 征在于，包括以下步驟步驟1 云計(jì)算輔助管理主節(jié)點(diǎn)模塊接收用戶提交的一個(gè)數(shù)據(jù)采集請(qǐng)求，提交給智能 分析決策模塊；步驟2 智能分析決策模塊調(diào)用連接智能庫(kù)模塊，生成預(yù)連接任務(wù)輸出到云計(jì)算輔助 管理主節(jié)點(diǎn)模塊；步驟3 云計(jì)算輔助管理主節(jié)點(diǎn)模塊將預(yù)連接任務(wù)通過云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)上的 云計(jì)算輔助管理從節(jié)點(diǎn)模塊；步驟4 云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用前臺(tái)連接模塊，通過JDBC接口連接前臺(tái)的各 種異構(gòu)數(shù)據(jù)庫(kù)，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋前臺(tái)連接信息；步驟5 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將前臺(tái)預(yù)連接反饋信息通過云計(jì)算系統(tǒng)返回給云 計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的 信息進(jìn)行分支判斷選擇如果反饋的預(yù)連接信息表示預(yù)連接任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用處理智 能庫(kù)模塊，生成預(yù)處理任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理主節(jié)點(diǎn)模 塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管理從節(jié)點(diǎn) 模塊調(diào)用數(shù)據(jù)處理模塊，根據(jù)前臺(tái)預(yù)連接的信息為各種異構(gòu)數(shù)據(jù)庫(kù)的表生成相應(yīng)的數(shù)據(jù)表 格處理類和函數(shù)，對(duì)采集的數(shù)據(jù)進(jìn)行必要的處理，包括數(shù)據(jù)格式轉(zhuǎn)化、文本處理，并反饋數(shù) 據(jù)處理信息，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋預(yù)處理信息； 否則，生成預(yù)連接失敗信息，反饋用戶；步驟6 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將數(shù)據(jù)預(yù)處理反饋信息通過云計(jì)算系統(tǒng)返回給云 計(jì)算輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的 信息進(jìn)行分支判斷選擇如果反饋的預(yù)處理信息表示數(shù)據(jù)預(yù)處理任務(wù)執(zhí)行成功，則由智能分析決策模塊調(diào)用存 儲(chǔ)智能庫(kù)模塊，生成后臺(tái)預(yù)存儲(chǔ)任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理 主節(jié)點(diǎn)模塊通過給云計(jì)算系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管 理從節(jié)點(diǎn)模塊調(diào)用后臺(tái)存儲(chǔ)模塊，實(shí)現(xiàn)將經(jīng)過預(yù)處理的數(shù)據(jù)，存儲(chǔ)到云計(jì)算系統(tǒng)的文件系 統(tǒng)中，或者通過JDBC接口存儲(chǔ)到新建數(shù)據(jù)庫(kù)中，并向云計(jì)算輔助管理從節(jié)點(diǎn)模塊反饋后臺(tái) 預(yù)存儲(chǔ)信息；否則，生成預(yù)處理失敗信息，反饋用戶；步驟7 云計(jì)算輔助管理從節(jié)點(diǎn)模塊將預(yù)存儲(chǔ)反饋信息通過云計(jì)算系統(tǒng)返回給云計(jì)算 輔助管理主節(jié)點(diǎn)模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)后臺(tái)預(yù)存儲(chǔ) 反饋信息進(jìn)行分支判斷選擇如果反饋的預(yù)存儲(chǔ)信息表示后臺(tái)預(yù)存儲(chǔ)任務(wù)執(zhí)行成功，則由智能分析決策模塊生成數(shù) 據(jù)采集任務(wù)輸出到云計(jì)算輔助管理主節(jié)點(diǎn)模塊；云計(jì)算輔助管理主節(jié)點(diǎn)模塊通過給云計(jì)算 系統(tǒng)提交給從節(jié)點(diǎn)的云計(jì)算輔助管理從節(jié)點(diǎn)模塊；云計(jì)算輔助管理從節(jié)點(diǎn)模塊調(diào)用所述前 臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊，并將相應(yīng)反饋信息通過云計(jì)算系統(tǒng)返回給云計(jì) 算輔助管理主節(jié)點(diǎn)模塊；否則，生成預(yù)儲(chǔ)存失敗信息，反饋用戶。
全文摘要
本發(fā)明提供一種基于云計(jì)算系統(tǒng)的智能數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集方法，包括分別部署在云計(jì)算系統(tǒng)的主節(jié)點(diǎn)和從節(jié)點(diǎn)上主節(jié)點(diǎn)子系統(tǒng)、從節(jié)點(diǎn)子系統(tǒng)，主節(jié)點(diǎn)子系統(tǒng)包括連接智能庫(kù)模塊、處理智能庫(kù)模塊、存儲(chǔ)智能庫(kù)模塊、智能分析決策模塊、云計(jì)算輔助管理主節(jié)點(diǎn)模塊；從節(jié)點(diǎn)子系統(tǒng)包括前臺(tái)連接模塊、數(shù)據(jù)處理模塊、后臺(tái)存儲(chǔ)模塊、云計(jì)算輔助管理從節(jié)點(diǎn)模塊。本發(fā)明的優(yōu)點(diǎn)在于采用智能分析決策，為用戶的任務(wù)決策提供有效的信息；同時(shí)利用云計(jì)算系統(tǒng)超大規(guī)模的特點(diǎn)進(jìn)行海量數(shù)據(jù)處理，解決了數(shù)據(jù)不斷增長(zhǎng)對(duì)系統(tǒng)性能造成的影響。
文檔編號(hào)H04L29/08GK101944113SQ201010282840
公開日2011年1月12日 申請(qǐng)日期2010年9月16日 優(yōu)先權(quán)日2010年9月16日
發(fā)明者伍海浪, 王芙蓉 申請(qǐng)人:華中科技大學(xué)