1.一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,包括:
界面編輯器,用于創(chuàng)建數(shù)據(jù)采集流程,并將所述數(shù)據(jù)采集流程發(fā)送給數(shù)據(jù)交換客戶端集群中的數(shù)據(jù)交換客戶端節(jié)點(diǎn),所述數(shù)據(jù)采集流程包括:數(shù)據(jù)源端地址、數(shù)據(jù)采集條件、采集字段信息、調(diào)度規(guī)則和分流控制器實(shí)現(xiàn)類;
數(shù)據(jù)分流控制器,用于根據(jù)所述分流控制器實(shí)現(xiàn)類和需要采集的數(shù)據(jù)業(yè)務(wù)確定分流條件;從數(shù)據(jù)采集源端獲取到待處理的并發(fā)數(shù)據(jù)流,根據(jù)所述分流條件將所述待處理的并發(fā)數(shù)據(jù)流分割為多個(gè)數(shù)據(jù)字段,并將所述多個(gè)數(shù)據(jù)字段分別分配給數(shù)據(jù)交換客戶端集群中的各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn);
數(shù)據(jù)交換客戶端集群,用于通過所述數(shù)據(jù)分流控制器選擇出的各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)對(duì)相應(yīng)的數(shù)據(jù)字段進(jìn)行數(shù)據(jù)交換處理,通過所述各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)將數(shù)據(jù)交換處理完成后的各個(gè)數(shù)據(jù)字段分別存儲(chǔ)到數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)交換客戶端集群,還用于通過所述數(shù)據(jù)分流控制器選擇出的各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)對(duì)相應(yīng)的數(shù)據(jù)字段進(jìn)行加密處理,并在各個(gè)數(shù)據(jù)字段進(jìn)行數(shù)據(jù)交換處理完成后再對(duì)各個(gè)數(shù)據(jù)字段進(jìn)行解密處理,通過所述各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)將解密處理完成后的各個(gè)數(shù)據(jù)字段分別存儲(chǔ)到數(shù)據(jù)庫中。
3.根據(jù)權(quán)利要求1所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)分類控制器,具體用于當(dāng)數(shù)據(jù)交換客戶端集群開始調(diào)度運(yùn)行時(shí),使用分流控制器鎖從所述待處理的并發(fā)數(shù)據(jù)流計(jì)算出一個(gè)數(shù)據(jù)字段的開始數(shù)據(jù)位置和結(jié)束數(shù)據(jù)位置,將所述并發(fā)數(shù)據(jù)流中從所述開始數(shù)據(jù)位置至所述結(jié)束數(shù)據(jù)位置之間的數(shù)據(jù)字段配置給所述數(shù)據(jù)交換客戶端集群中的一個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn),使用所述分流控制器鎖繼續(xù)計(jì)算分配給所述數(shù)據(jù)交換客戶端集群中的另一個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)的數(shù)據(jù)字段。
4.根據(jù)權(quán)利要求3所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)交換客戶端集群,具體用于使用所述分流控制器鎖獲取到分配給各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)的開始數(shù)據(jù)位置和結(jié)束數(shù)據(jù)位置,觸發(fā)各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)根據(jù)配置給對(duì)應(yīng)數(shù)據(jù)交換客戶端節(jié)點(diǎn)的開始數(shù)據(jù)位置和結(jié)束數(shù)據(jù)位置從所述并發(fā)數(shù)據(jù)流中獲取到對(duì)應(yīng)各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)的數(shù)據(jù)字段。
5.根據(jù)權(quán)利要求1所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)交換客戶端集群,具體用于通過所述各個(gè)數(shù)據(jù)交換客戶端節(jié)點(diǎn)調(diào)用表輸入分布式鎖,通過所述表輸入分布式鎖將相應(yīng)的數(shù)據(jù)字段寫入到數(shù)據(jù)庫中的數(shù)據(jù)目標(biāo)列表中。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)交換客戶端集群,還用于從所有數(shù)據(jù)交換客戶端節(jié)點(diǎn)中選擇出一個(gè)數(shù)據(jù)交換客戶端主節(jié)點(diǎn),其余數(shù)據(jù)交換客戶端節(jié)點(diǎn)作為數(shù)據(jù)交換客戶端從節(jié)點(diǎn),通過所述數(shù)據(jù)交換客戶端主節(jié)點(diǎn)對(duì)所述界面編輯器發(fā)送的數(shù)據(jù)采集流程進(jìn)行解析從而得到解析出的流程實(shí)例,并由所述數(shù)據(jù)交換客戶端主節(jié)點(diǎn)將解析出的流程實(shí)例存儲(chǔ)到所述數(shù)據(jù)交換客戶端集群的后端緩存中,通過所述數(shù)據(jù)交換客戶端從節(jié)點(diǎn)從所述數(shù)據(jù)交換客戶端集群的后端緩存中獲取到所述解析出的流程實(shí)例。
7.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的一種分布式數(shù)據(jù)交換系統(tǒng),其特征在于,所述數(shù)據(jù)分流控制器,還用于當(dāng)所述數(shù)據(jù)交換客戶端集群中存在數(shù)據(jù)交換客戶端節(jié)點(diǎn)發(fā)生異常時(shí),重新向數(shù)據(jù)交換客戶端集群中的數(shù)據(jù)交換客戶端節(jié)點(diǎn)分配數(shù)據(jù)字段。