本發(fā)明實(shí)施例涉及通信技術(shù)領(lǐng)域，尤其涉及一種跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)。

背景技術(shù)：

隨著大數(shù)據(jù)應(yīng)用潛力的不斷挖掘，很多公司分布在不同地區(qū)的分子公司都擁有自己的數(shù)據(jù)中心。數(shù)據(jù)部門(mén)需要將這些數(shù)據(jù)中心的數(shù)據(jù)跨公網(wǎng)收集、整合集中，為整個(gè)公司提供數(shù)據(jù)服務(wù)。

現(xiàn)有技術(shù)中，分子公司分別收集數(shù)據(jù)，并將數(shù)據(jù)匯聚到總部數(shù)據(jù)中心，總部數(shù)據(jù)中心對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一融合，形成數(shù)據(jù)資產(chǎn)。

由于總部數(shù)據(jù)中心對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一融合時(shí)需要耗費(fèi)一定的時(shí)間，總部數(shù)據(jù)中心對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一融合后，分子公司才可以訪(fǎng)問(wèn)獲取融合后的數(shù)據(jù)，造成分子公司的效率下降。另外，不同的分子公司需要向總部數(shù)據(jù)中心發(fā)送數(shù)據(jù)時(shí)，一個(gè)分子公司要等另一個(gè)分子公司發(fā)送完之后再發(fā)送，即不同的分子公司不能很好的并發(fā)執(zhí)行數(shù)據(jù)發(fā)送，造成網(wǎng)絡(luò)帶寬資源的浪費(fèi)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，以提高分子公司的效率，以及網(wǎng)絡(luò)帶寬資源。

本發(fā)明實(shí)施例的一個(gè)方面是提供一種跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，包括：數(shù)據(jù)載入服務(wù)模塊和數(shù)據(jù)中心通信模塊；

所述數(shù)據(jù)載入服務(wù)模塊用于采集源數(shù)據(jù)中心各個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并生成第一通信請(qǐng)求，所述第一通信請(qǐng)求用于請(qǐng)求所述數(shù)據(jù)中心通信模塊將所述數(shù)據(jù)發(fā)送給目的數(shù)據(jù)中心；

所述數(shù)據(jù)中心通信模塊用于將所述第一通信請(qǐng)求發(fā)送給所述目的數(shù)據(jù)中心；接收所述目的數(shù)據(jù)中心的反饋信息；將所述數(shù)據(jù)發(fā)送給所述目的數(shù)據(jù)中心。

可選的，所述數(shù)據(jù)載入服務(wù)模塊還用于記錄其工作狀態(tài)，所述工作狀態(tài)包括如下至少一種：

數(shù)據(jù)采集狀態(tài)、數(shù)據(jù)預(yù)處理狀態(tài)、數(shù)據(jù)傳輸狀態(tài)。

可選的，所述數(shù)據(jù)中心通信模塊包括：通信輸出單元、通信核心組件；

所述通信輸出單元用于將所述第一通信請(qǐng)求傳輸給所述通信核心組件；

所述通信核心組件用于對(duì)所述第一通信請(qǐng)求進(jìn)行格式轉(zhuǎn)換，并將轉(zhuǎn)換后的所述第一通信請(qǐng)求發(fā)送給所述目的數(shù)據(jù)中心。

可選的，所述數(shù)據(jù)中心通信模塊還包括：通信輸入單元；

所述通信輸入單元用于接收所述目的數(shù)據(jù)中心發(fā)送的第二通信請(qǐng)求，并根據(jù)所述第二通信請(qǐng)求，對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限進(jìn)行驗(yàn)證。

可選的，所述通信輸入單元根據(jù)所述第二通信請(qǐng)求，對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限進(jìn)行驗(yàn)證時(shí)，具體用于：

解析所述第二通信請(qǐng)求，獲取所述第二通信請(qǐng)求中的統(tǒng)一資源定位符；

查詢(xún)所述數(shù)據(jù)中心通信模塊是否存儲(chǔ)有所述統(tǒng)一資源定位符；

若所述數(shù)據(jù)中心通信模塊存儲(chǔ)有所述統(tǒng)一資源定位符，則對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限驗(yàn)證成功。

可選的，所述數(shù)據(jù)中心通信模塊存儲(chǔ)有白名單，所述白名單包括應(yīng)用程序編程接口的訪(fǎng)問(wèn)規(guī)則；

所述通信輸入單元查詢(xún)所述數(shù)據(jù)中心通信模塊是否存儲(chǔ)有所述統(tǒng)一資源定位符時(shí)，具體用于：

查詢(xún)所述統(tǒng)一資源定位符對(duì)應(yīng)的應(yīng)用程序編程接口的訪(fǎng)問(wèn)規(guī)則是否存儲(chǔ)在所述白名單中。

可選的，所述通信輸入單元對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限驗(yàn)證成功之后，還用于：

將所述第二通信請(qǐng)求傳輸給所述通信核心組件。

可選的，所述數(shù)據(jù)中心通信模塊還包括：應(yīng)用程序；

所述通信核心組件還用于將所述第二通信請(qǐng)求傳輸給所述應(yīng)用程序。

可選的，所述應(yīng)用程序還用于向所述通信輸出單元發(fā)送所述第一通信請(qǐng)求。

可選的，所述數(shù)據(jù)載入服務(wù)模塊包括：數(shù)據(jù)載入引擎；

所述數(shù)據(jù)載入引擎用于周期性的采集源數(shù)據(jù)中心各個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

本發(fā)明實(shí)施例提供的跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，通過(guò)在每個(gè)分子公司建立上述跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，形成對(duì)等的網(wǎng)絡(luò)子集。減輕總部數(shù)據(jù)中心在數(shù)據(jù)傳送，以及交換過(guò)程中的壓力，提高了分子公司的效率。形成了一套在各數(shù)據(jù)中心中收集數(shù)據(jù)、分布式存儲(chǔ)的數(shù)據(jù)收集系統(tǒng)，并且建立了分子數(shù)據(jù)中心的通信方式，節(jié)省了網(wǎng)絡(luò)帶寬資源，為分子數(shù)據(jù)中心數(shù)據(jù)交換使用提供基礎(chǔ)。

附圖說(shuō)明

圖1為現(xiàn)有技術(shù)中關(guān)系型數(shù)據(jù)庫(kù)采集方式的示意圖；

圖2為現(xiàn)有技術(shù)中開(kāi)源軟件搜集數(shù)據(jù)并分布式存儲(chǔ)的示意圖；

圖3為現(xiàn)有技術(shù)中關(guān)系型數(shù)據(jù)庫(kù)與分布式存儲(chǔ)數(shù)據(jù)互導(dǎo)的示意圖；

圖4為現(xiàn)有技術(shù)中分子公司數(shù)據(jù)匯集的示意圖；

圖5為本發(fā)明實(shí)施例提供的跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)的示意圖；

圖6為本實(shí)施例提供的數(shù)據(jù)載入服務(wù)模塊的工作流程示意圖；

圖7為本實(shí)施例提供的數(shù)據(jù)中心通信模塊的工作流程示意圖。

具體實(shí)施方式

隨著大數(shù)據(jù)應(yīng)用潛力的不斷挖掘，很多公司分布在不同地區(qū)的分子公司都擁有自己的數(shù)據(jù)中心。數(shù)據(jù)部門(mén)需要將這些數(shù)據(jù)中心的數(shù)據(jù)跨公網(wǎng)收集、整合集中，為整個(gè)公司提供數(shù)據(jù)服務(wù)。

現(xiàn)有技術(shù)中，每個(gè)子數(shù)據(jù)中心都有自己獨(dú)立的數(shù)據(jù)庫(kù)，如果要有效的分析這些海量數(shù)據(jù)，需要將這些來(lái)自各個(gè)分子公司數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到一個(gè)分布式存儲(chǔ)集群，或者一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)中。這個(gè)過(guò)程包含數(shù)據(jù)的收集和數(shù)據(jù)的集中，兩個(gè)階段。分子公司數(shù)據(jù)采集有如下幾種方式：

一種方式是：如圖1所示，建立傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)(oracle，mysql)。通過(guò)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品的命令或者一些中間軟件(pl/sqldeveloper等)，建立相應(yīng)的數(shù)據(jù)存儲(chǔ)，導(dǎo)入相應(yīng)的數(shù)據(jù)并存儲(chǔ)。

另一種方式是：許多企業(yè)都有自己的數(shù)據(jù)采集工具，多用于系統(tǒng)日志收集。如apachechukwa，cloudera的flume等，這些數(shù)據(jù)收集工具均采用了分布式架構(gòu)，可以滿(mǎn)足每秒數(shù)百mb的數(shù)據(jù)采集和數(shù)據(jù)傳輸需求。通過(guò)這些收集工具采集的數(shù)據(jù)，一般存儲(chǔ)到hadoop分布式文件系統(tǒng)中，即hdfs，如圖2所示。

再一種方式是：如圖3所示，企業(yè)也可以選擇利用sqoop來(lái)進(jìn)行從傳統(tǒng)數(shù)據(jù)庫(kù)向hdfs傳輸數(shù)據(jù)，進(jìn)行hadoop和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互遷移。sqoop提供的是各種hdfs與一般數(shù)據(jù)系統(tǒng)之間的接口，以命令行參數(shù)方式執(zhí)行，將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(mysql,oracle)中的數(shù)據(jù)寫(xiě)入到hadoop分布式文件系統(tǒng)中。也可以將hadoop分布式文件系統(tǒng)中的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中。

如圖4所示，各分子公司通過(guò)上述的方式，對(duì)數(shù)據(jù)進(jìn)行收集，形成傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)或者h(yuǎn)dfs存儲(chǔ)的，即自己的數(shù)據(jù)中心。進(jìn)而可以向總部數(shù)據(jù)中心遷移的大數(shù)據(jù)集。而這些數(shù)據(jù)需要匯總到總部數(shù)據(jù)中心以后，才能對(duì)數(shù)據(jù)進(jìn)行融合，形成數(shù)據(jù)資產(chǎn)，進(jìn)而提供更優(yōu)質(zhì)的數(shù)據(jù)服務(wù)。

圖5為本發(fā)明實(shí)施例提供的跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)的示意圖。如圖5所示，本實(shí)施例提供的跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)主要包括兩個(gè)大的模塊：數(shù)據(jù)載入服務(wù)模塊和數(shù)據(jù)中心通信模塊；其中，所述數(shù)據(jù)載入服務(wù)模塊用于采集源數(shù)據(jù)中心各個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并生成第一通信請(qǐng)求，所述第一通信請(qǐng)求用于請(qǐng)求所述數(shù)據(jù)中心通信模塊將所述數(shù)據(jù)發(fā)送給目的數(shù)據(jù)中心；所述數(shù)據(jù)中心通信模塊用于將所述第一通信請(qǐng)求發(fā)送給所述目的數(shù)據(jù)中心；接收所述目的數(shù)據(jù)中心的反饋信息；將所述數(shù)據(jù)發(fā)送給所述目的數(shù)據(jù)中心。

所述數(shù)據(jù)載入服務(wù)模塊是跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)的核心，它首要的功能是提供定時(shí)數(shù)據(jù)收集任務(wù)，在此基礎(chǔ)之上還要根據(jù)實(shí)際應(yīng)用提供手動(dòng)觸發(fā)任務(wù)、重新運(yùn)行所有失敗的任務(wù)、重新收集特定的數(shù)據(jù)等功能。下面具體介紹：

1、手動(dòng)觸發(fā)任務(wù)：用戶(hù)可以手動(dòng)的啟動(dòng)所有數(shù)據(jù)收集任務(wù)。如果遇到了故障導(dǎo)致服務(wù)無(wú)法啟動(dòng)，就需要有手動(dòng)啟動(dòng)任務(wù)的機(jī)制。

2、重新運(yùn)行所有失敗的任務(wù)：所述數(shù)據(jù)載入服務(wù)模塊還用于記錄其工作狀態(tài)，所述工作狀態(tài)包括如下至少一種：數(shù)據(jù)采集狀態(tài)、數(shù)據(jù)預(yù)處理狀態(tài)、數(shù)據(jù)傳輸狀態(tài)。

數(shù)據(jù)載入服務(wù)模塊的每個(gè)階段都會(huì)有相應(yīng)的記錄，記錄該任務(wù)所處的階段，是數(shù)據(jù)抽取階段還是數(shù)據(jù)預(yù)處理階段亦或是數(shù)據(jù)傳輸階段。數(shù)據(jù)載入服務(wù)模塊會(huì)為每個(gè)任務(wù)的線(xiàn)程設(shè)置監(jiān)視器，監(jiān)視器負(fù)責(zé)將任務(wù)的狀態(tài)及時(shí)的寫(xiě)入到數(shù)據(jù)庫(kù)里。

3、重新收集特定的數(shù)據(jù)：提供針對(duì)特性的數(shù)據(jù)庫(kù)中的特定的數(shù)據(jù)的操作，避免因?yàn)槟承﹤€(gè)別的數(shù)據(jù)而重新啟動(dòng)所有數(shù)據(jù)載入任務(wù)。

4、啟動(dòng)收集任務(wù)：數(shù)據(jù)載入服務(wù)模塊的首要作用是自動(dòng)在某一時(shí)間開(kāi)始執(zhí)行數(shù)據(jù)收集的任務(wù)。它是一個(gè)定時(shí)的任務(wù)。

5、自檢：需要定時(shí)的回報(bào)自己的狀態(tài)：是否在正常工作。

數(shù)據(jù)中心通信模塊的主要作用是提供一個(gè)數(shù)據(jù)中心之間通信的解決方案，其主要任務(wù)是為上層應(yīng)用程序服務(wù)(在此指的是數(shù)據(jù)載入服務(wù)模塊，但它可以很方便的擴(kuò)展以支持其他的應(yīng)用)，為上層應(yīng)用程序提供透明的通信服務(wù)。應(yīng)用程序不用知道目的數(shù)據(jù)應(yīng)用是否在本數(shù)據(jù)中心內(nèi)，訪(fǎng)問(wèn)其他數(shù)據(jù)中心內(nèi)的數(shù)據(jù)和在本數(shù)據(jù)中心的使用方式是一樣的，不需要改變。

在本實(shí)施例中，所述數(shù)據(jù)中心通信模塊包括：通信輸出單元、通信核心組件；所述通信輸出單元用于將所述第一通信請(qǐng)求傳輸給所述通信核心組件；所述通信核心組件用于對(duì)所述第一通信請(qǐng)求進(jìn)行格式轉(zhuǎn)換，并將轉(zhuǎn)換后的所述第一通信請(qǐng)求發(fā)送給所述目的數(shù)據(jù)中心。所述數(shù)據(jù)中心通信模塊還包括：通信輸入單元；所述通信輸入單元用于接收所述目的數(shù)據(jù)中心發(fā)送的第二通信請(qǐng)求，并根據(jù)所述第二通信請(qǐng)求，對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限進(jìn)行驗(yàn)證。所述通信輸入單元根據(jù)所述第二通信請(qǐng)求，對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限進(jìn)行驗(yàn)證時(shí)，具體用于：解析所述第二通信請(qǐng)求，獲取所述第二通信請(qǐng)求中的統(tǒng)一資源定位符；查詢(xún)所述數(shù)據(jù)中心通信模塊是否存儲(chǔ)有所述統(tǒng)一資源定位符；若所述數(shù)據(jù)中心通信模塊存儲(chǔ)有所述統(tǒng)一資源定位符，則對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限驗(yàn)證成功。所述數(shù)據(jù)中心通信模塊存儲(chǔ)有白名單，所述白名單包括應(yīng)用程序編程接口的訪(fǎng)問(wèn)規(guī)則；所述通信輸入單元查詢(xún)所述數(shù)據(jù)中心通信模塊是否存儲(chǔ)有所述統(tǒng)一資源定位符時(shí)，具體用于：查詢(xún)所述統(tǒng)一資源定位符對(duì)應(yīng)的應(yīng)用程序編程接口的訪(fǎng)問(wèn)規(guī)則是否存儲(chǔ)在所述白名單中。所述通信輸入單元對(duì)所述目的數(shù)據(jù)中心的訪(fǎng)問(wèn)權(quán)限驗(yàn)證成功之后，還用于：將所述第二通信請(qǐng)求傳輸給所述通信核心組件。所述數(shù)據(jù)中心通信模塊還包括：應(yīng)用程序；所述通信核心組件還用于將所述第二通信請(qǐng)求傳輸給所述應(yīng)用程序。所述應(yīng)用程序還用于向所述通信輸出單元發(fā)送所述第一通信請(qǐng)求。

下面分別具體介紹通信輸出單元、通信核心組件、通信輸入單元的作用：

通信輸出單元(out)：數(shù)據(jù)載入服務(wù)模塊將數(shù)據(jù)抽取、轉(zhuǎn)換后調(diào)用該服務(wù)，通信輸出單元(out)負(fù)責(zé)將請(qǐng)求轉(zhuǎn)交給通信核心組件(telcore)做進(jìn)一步處理。通信核心組件(telcore)接收通信輸出單元(out)的調(diào)用，將用戶(hù)的通信請(qǐng)求重定向、將數(shù)據(jù)中心內(nèi)的請(qǐng)求統(tǒng)一資源定位符(uniformresourcelocator，簡(jiǎn)稱(chēng)url)映射成可以在網(wǎng)絡(luò)上傳輸?shù)膗rl。將新的請(qǐng)求報(bào)文的首部字段和原來(lái)報(bào)文的主體組裝成新的超文本傳輸協(xié)議(hypertexttransferprotocol，簡(jiǎn)稱(chēng)http)請(qǐng)求。然后發(fā)送該請(qǐng)求。

通信輸入單元(in)：主要負(fù)責(zé)接收通信核心組件(telcore)發(fā)起的通信請(qǐng)求處理和訪(fǎng)問(wèn)控制，數(shù)據(jù)中心通信模塊啟動(dòng)后會(huì)監(jiān)聽(tīng)來(lái)自其他數(shù)據(jù)中心的請(qǐng)求，當(dāng)捕獲到來(lái)自其他數(shù)據(jù)中心的請(qǐng)求時(shí)，通信輸入單元(in)首先解析請(qǐng)求報(bào)文，取出報(bào)文的首部字段對(duì)其中的url進(jìn)行檢查，比對(duì)數(shù)據(jù)中心通信模塊的配置，看該記錄是否存在于白名單(白名單是一個(gè)配置文件，里面規(guī)定了一系列api的訪(fǎng)問(wèn)規(guī)則)中。如果存在白名單中則將報(bào)文轉(zhuǎn)換為數(shù)據(jù)中心內(nèi)部的報(bào)文并交由上層的應(yīng)用程序。目的應(yīng)用程序接收請(qǐng)求后做處理，并將結(jié)果發(fā)送到本數(shù)據(jù)中心內(nèi)部的通信模塊。通信模塊的通信輸出單元(out)接收應(yīng)用程序的請(qǐng)求，然后做對(duì)應(yīng)的操作。至此，本次通信成功。如果不存在白名單內(nèi)，則此次通信失敗。

本發(fā)明實(shí)施例通過(guò)在每個(gè)分子公司建立上述跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，形成對(duì)等的網(wǎng)絡(luò)子集。減輕總部數(shù)據(jù)中心在數(shù)據(jù)傳送，以及交換過(guò)程中的壓力，提高了分子公司的效率。形成了一套在各數(shù)據(jù)中心中收集數(shù)據(jù)、分布式存儲(chǔ)的數(shù)據(jù)收集系統(tǒng)，并且建立了分子數(shù)據(jù)中心的通信方式，節(jié)省了網(wǎng)絡(luò)帶寬資源，為分子數(shù)據(jù)中心數(shù)據(jù)交換使用提供基礎(chǔ)。

圖6為本實(shí)施例提供的數(shù)據(jù)載入服務(wù)模塊的工作流程示意圖。如圖6所示，所述數(shù)據(jù)載入服務(wù)模塊包括：數(shù)據(jù)載入引擎；所述數(shù)據(jù)載入引擎用于周期性的采集源數(shù)據(jù)中心各個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

數(shù)據(jù)載入引擎負(fù)責(zé)整個(gè)數(shù)據(jù)抽取的任務(wù)調(diào)度。定時(shí)觸發(fā)作業(yè)(job)抽取數(shù)據(jù)、裝換數(shù)據(jù)格式、發(fā)送數(shù)據(jù)。任務(wù)的信息通過(guò)xml文件配置，主要包括存儲(chǔ)數(shù)據(jù)、分屬的數(shù)據(jù)中心、數(shù)據(jù)的源，以及job啟動(dòng)的每一個(gè)任務(wù)(task)可以抽取的數(shù)據(jù)量等信息。

圖7為本實(shí)施例提供的數(shù)據(jù)中心通信模塊的工作流程示意圖。如圖7所示，數(shù)據(jù)中心a為源數(shù)據(jù)中心，數(shù)據(jù)中心b為目的數(shù)據(jù)中心。數(shù)據(jù)中心a包括：通信輸入單元、通信輸出單元、通信核心組件、源應(yīng)用程序；數(shù)據(jù)中心b包括：通信輸入單元、通信輸出單元、通信核心組件、目的應(yīng)用程序。當(dāng)數(shù)據(jù)中心a的源應(yīng)用程序與數(shù)據(jù)中心b的目的應(yīng)用程序通信時(shí)，數(shù)據(jù)中心a的源應(yīng)用程序首先向通信輸出單元發(fā)送通信請(qǐng)求，此處，源應(yīng)用程序可以是對(duì)數(shù)據(jù)有需求的程序，包括對(duì)傳輸數(shù)據(jù)和使用數(shù)據(jù)的需求。目的應(yīng)用程序可以?xún)H僅是數(shù)據(jù)，也可以是應(yīng)用程序中運(yùn)行的結(jié)果。數(shù)據(jù)中心a的通信輸出單元接收到該通信請(qǐng)求后，將該通信請(qǐng)求轉(zhuǎn)發(fā)給數(shù)據(jù)中心a的通信核心組件，數(shù)據(jù)中心a的通信核心組件向數(shù)據(jù)中心b發(fā)送該通信請(qǐng)求。數(shù)據(jù)中心b的通信輸入單元捕獲到數(shù)據(jù)中心a發(fā)送的通信請(qǐng)求后，檢測(cè)數(shù)據(jù)中心a的訪(fǎng)問(wèn)權(quán)限，如果數(shù)據(jù)中心a有權(quán)限訪(fǎng)問(wèn)數(shù)據(jù)中心b，則數(shù)據(jù)中心b的通信輸入單元通過(guò)數(shù)據(jù)中心b的通信核心組件將該通信請(qǐng)求轉(zhuǎn)發(fā)給目的應(yīng)用程序。目的應(yīng)用程序接收到該通信請(qǐng)求后，對(duì)該通信請(qǐng)求進(jìn)行處理，并將相應(yīng)的回復(fù)發(fā)送給數(shù)據(jù)中心b的通信輸出單元，數(shù)據(jù)中心b的通信輸出單元再通過(guò)數(shù)據(jù)中心b的通信核心組件將相應(yīng)的回復(fù)發(fā)送給數(shù)據(jù)中心a的通信輸入單元，數(shù)據(jù)中心a的通信輸入單元再通過(guò)數(shù)據(jù)中心a的通信核心組件將相應(yīng)的回復(fù)發(fā)送給源應(yīng)用程序，從而實(shí)現(xiàn)了源應(yīng)用程序與目的應(yīng)用程序之間的通信。

本發(fā)明實(shí)施例通過(guò)在每個(gè)分子公司建立上述跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，形成對(duì)等的網(wǎng)絡(luò)子集。減輕總部數(shù)據(jù)中心在數(shù)據(jù)傳送，以及交換過(guò)程中的壓力，提高了分子公司的效率。形成了一套在各數(shù)據(jù)中心中收集數(shù)據(jù)、分布式存儲(chǔ)的數(shù)據(jù)收集系統(tǒng)，并且建立了分子數(shù)據(jù)中心的通信方式，節(jié)省了網(wǎng)絡(luò)帶寬資源，為分子數(shù)據(jù)中心數(shù)據(jù)交換使用提供基礎(chǔ)。

綜上所述，本發(fā)明實(shí)施例通過(guò)在每個(gè)分子公司建立上述跨網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)收集系統(tǒng)，形成對(duì)等的網(wǎng)絡(luò)子集。減輕總部數(shù)據(jù)中心在數(shù)據(jù)傳送，以及交換過(guò)程中的壓力，提高了分子公司的效率。形成了一套在各數(shù)據(jù)中心中收集數(shù)據(jù)、分布式存儲(chǔ)的數(shù)據(jù)收集系統(tǒng)，并且建立了分子數(shù)據(jù)中心的通信方式，節(jié)省了網(wǎng)絡(luò)帶寬資源，為分子數(shù)據(jù)中心數(shù)據(jù)交換使用提供基礎(chǔ)。

在本發(fā)明所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。

上述以軟件功能單元的形式實(shí)現(xiàn)的集成的單元，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。上述軟件功能單元存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的部分步驟。而前述的存儲(chǔ)介質(zhì)包括：u盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(read-onlymemory，rom)、隨機(jī)存取存儲(chǔ)器(randomaccessmemory，ram)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

本領(lǐng)域技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，僅以上述各功能模塊的劃分進(jìn)行舉例說(shuō)明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。上述描述的裝置的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。

最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。