本申請(qǐng)涉及數(shù)據(jù)交換，尤其涉及一種端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)。

背景技術(shù)：

1、目前常采用通過(guò)使用數(shù)據(jù)映射將數(shù)據(jù)表內(nèi)容映射為標(biāo)準(zhǔn)文件，再將標(biāo)準(zhǔn)文件映射成目標(biāo)數(shù)據(jù)表的方式，生成etl(extract-transform-load，數(shù)據(jù)抽取、轉(zhuǎn)換、裝載)作業(yè)的方式進(jìn)行不同系統(tǒng)間進(jìn)行數(shù)據(jù)交換時(shí)。

2、但面向etl過(guò)程的作業(yè)化開(kāi)發(fā)，存在以下幾個(gè)缺點(diǎn)：

3、1)技術(shù)門檻高。用戶需要足夠理解底層平臺(tái)實(shí)現(xiàn)細(xì)節(jié)，針對(duì)特定的使用訴求使用特定的開(kāi)發(fā)模板，并通過(guò)積木拼接的方式組裝起來(lái)。

4、2)服務(wù)穩(wěn)定性差。為傳統(tǒng)springmvc架構(gòu)，存在項(xiàng)目臃腫、部署效率低下、資源無(wú)法隔離、功能模塊耦合程度高、無(wú)法靈活擴(kuò)展等問(wèn)題，導(dǎo)致整體服務(wù)的穩(wěn)定性差。

5、因此，如何有效降低數(shù)據(jù)交換的復(fù)雜度，成為一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，旨在解決如何有效降低數(shù)據(jù)交換的復(fù)雜度的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)預(yù)處理子系統(tǒng)、開(kāi)發(fā)配置子系統(tǒng)和數(shù)據(jù)同步子系統(tǒng)；

3、所述數(shù)據(jù)預(yù)處理子系統(tǒng)，用于在檢測(cè)到源客戶端發(fā)送數(shù)據(jù)交換請(qǐng)求時(shí)，根據(jù)初始格式數(shù)據(jù)對(duì)應(yīng)的目標(biāo)交換場(chǎng)景將所述初始格式數(shù)據(jù)轉(zhuǎn)換為場(chǎng)景封裝數(shù)據(jù)；

4、所述開(kāi)發(fā)配置子系統(tǒng)，用于根據(jù)預(yù)設(shè)元數(shù)據(jù)庫(kù)和所述場(chǎng)景封裝數(shù)據(jù)生成交換配置文件；

5、所述數(shù)據(jù)同步子系統(tǒng)，用于基于目標(biāo)客戶端對(duì)應(yīng)的目標(biāo)文件格式和所述交換配置文件生成目標(biāo)格式數(shù)據(jù)，并將所述目標(biāo)格式數(shù)據(jù)發(fā)送至所述目標(biāo)客戶端。

6、在一實(shí)施例中，所述數(shù)據(jù)預(yù)處理子系統(tǒng)，還用于對(duì)所述初始格式數(shù)據(jù)進(jìn)行預(yù)設(shè)參數(shù)校驗(yàn)；

7、所述數(shù)據(jù)預(yù)處理子系統(tǒng)，還用于在所述預(yù)設(shè)參數(shù)校驗(yàn)通過(guò)時(shí)，將所述場(chǎng)景封裝數(shù)據(jù)發(fā)送至所述開(kāi)發(fā)配置子系統(tǒng)。

8、在一實(shí)施例中，所述數(shù)據(jù)預(yù)處理子系統(tǒng)包括參數(shù)校驗(yàn)?zāi)K和接入檢測(cè)模塊；

9、所述參數(shù)校驗(yàn)?zāi)K，用于在檢測(cè)到源客戶端發(fā)送數(shù)據(jù)交換請(qǐng)求時(shí)，根據(jù)所述目標(biāo)交換場(chǎng)景將所述初始格式數(shù)據(jù)轉(zhuǎn)換為場(chǎng)景封裝數(shù)據(jù)；

10、所述參數(shù)校驗(yàn)?zāi)K，還用于根據(jù)所述目標(biāo)交換場(chǎng)景進(jìn)行預(yù)設(shè)規(guī)則校驗(yàn)，獲得規(guī)則校驗(yàn)結(jié)果；

11、所述接入檢測(cè)模塊，用于在所述規(guī)則校驗(yàn)結(jié)果為通過(guò)時(shí)，根據(jù)所述數(shù)據(jù)交換請(qǐng)求進(jìn)行預(yù)設(shè)權(quán)限校驗(yàn)；

12、所述接入檢測(cè)模塊，還用于在所述預(yù)設(shè)權(quán)限校驗(yàn)通過(guò)時(shí)，將所述場(chǎng)景封裝數(shù)據(jù)發(fā)送至所述開(kāi)發(fā)配置子系統(tǒng)。

13、在一實(shí)施例中，所述參數(shù)校驗(yàn)?zāi)K包括：場(chǎng)景解析單元、校驗(yàn)篩選單元和規(guī)則校驗(yàn)單元；

14、所述場(chǎng)景解析單元，用于在檢測(cè)到源客戶端發(fā)送數(shù)據(jù)交換請(qǐng)求時(shí)，確定所述初始格式數(shù)據(jù)對(duì)應(yīng)的所述目標(biāo)處理場(chǎng)景，并根據(jù)所述目標(biāo)處理場(chǎng)景對(duì)所述初始格式數(shù)據(jù)進(jìn)行封裝，獲得場(chǎng)景封裝數(shù)據(jù)；

15、所述校驗(yàn)篩選單元，用于根據(jù)所述目標(biāo)處理場(chǎng)景對(duì)預(yù)設(shè)校驗(yàn)對(duì)象進(jìn)行篩選，獲得目標(biāo)校驗(yàn)規(guī)則；

16、所述規(guī)則校驗(yàn)單元，用于基于所述目標(biāo)校驗(yàn)規(guī)則對(duì)所述場(chǎng)景封裝數(shù)據(jù)進(jìn)行預(yù)設(shè)規(guī)則校驗(yàn)，獲得所述規(guī)則校驗(yàn)結(jié)果。

17、在一實(shí)施例中，所述開(kāi)發(fā)配置子系統(tǒng)包括：場(chǎng)景配置模塊、場(chǎng)景拆分模塊和配置生成模塊；

18、所述場(chǎng)景配置模塊，用于根據(jù)所述場(chǎng)景封裝數(shù)據(jù)進(jìn)行預(yù)設(shè)對(duì)象轉(zhuǎn)換，生成目標(biāo)用戶數(shù)據(jù)流；

19、所述場(chǎng)景拆分模塊，用于對(duì)所述目標(biāo)用戶數(shù)據(jù)流進(jìn)行預(yù)設(shè)拆分作業(yè)，生成目標(biāo)作業(yè)數(shù)據(jù)流；

20、所述配置生成模塊，用于基于所述目標(biāo)用戶數(shù)據(jù)流、所述目標(biāo)作業(yè)數(shù)據(jù)流和所述預(yù)設(shè)元數(shù)據(jù)庫(kù)生成所述交換配置文件。

21、在一實(shí)施例中，所述場(chǎng)景配置模塊，用于根據(jù)所述場(chǎng)景封裝數(shù)據(jù)的數(shù)據(jù)類型生成目標(biāo)處理對(duì)象；

22、所述場(chǎng)景配置模塊，用于確定所述場(chǎng)景封裝數(shù)據(jù)對(duì)應(yīng)的目標(biāo)轉(zhuǎn)換任務(wù)，并根據(jù)所述目標(biāo)轉(zhuǎn)換任務(wù)和所述目標(biāo)處理對(duì)象生成所述目標(biāo)用戶數(shù)據(jù)流。

23、在一實(shí)施例中，所述場(chǎng)景拆分模塊，用于根據(jù)所述目標(biāo)用戶數(shù)據(jù)流對(duì)全局拆分處理器進(jìn)行篩選，獲得目標(biāo)拆分處理器；

24、所述場(chǎng)景拆分模塊，用于基于所述目標(biāo)拆分處理器、所述目標(biāo)用戶數(shù)據(jù)流和所述預(yù)設(shè)元數(shù)據(jù)庫(kù)生成所述目標(biāo)作業(yè)數(shù)據(jù)流。

25、在一實(shí)施例中，所述配置生成模塊，用于根據(jù)所述目標(biāo)用戶數(shù)據(jù)流確定目標(biāo)交換作業(yè)；

26、所述配置生成模塊，用于基于所述目標(biāo)作業(yè)數(shù)據(jù)流確定目標(biāo)配置處理器；

27、所述配置生成模塊，用于根據(jù)所述預(yù)設(shè)元數(shù)據(jù)庫(kù)對(duì)所述目標(biāo)交換作業(yè)和所述目標(biāo)配置處理器進(jìn)行預(yù)設(shè)配置關(guān)聯(lián)，生成所述交換配置文件。

28、在一實(shí)施例中，所述系統(tǒng)還包括：元數(shù)據(jù)處理子系統(tǒng)；

29、所述元數(shù)據(jù)處理子系統(tǒng)，用于在接收到配置擴(kuò)展請(qǐng)求時(shí)，通過(guò)預(yù)設(shè)數(shù)據(jù)探針從目標(biāo)數(shù)據(jù)源獲取目標(biāo)表格信息；

30、所述元數(shù)據(jù)處理子系統(tǒng)，還用于根據(jù)預(yù)設(shè)比對(duì)規(guī)則將所述目標(biāo)表格信息存儲(chǔ)至所述預(yù)設(shè)元數(shù)據(jù)庫(kù)。

31、在一實(shí)施例中，所述數(shù)據(jù)同步子系統(tǒng)，還用于對(duì)所述交換配置文件進(jìn)行預(yù)設(shè)灰度轉(zhuǎn)換，獲得灰度測(cè)試作業(yè)；

32、所述數(shù)據(jù)同步子系統(tǒng)，還用于當(dāng)檢測(cè)到灰度測(cè)試指令時(shí)，基于預(yù)設(shè)生產(chǎn)作業(yè)和所述灰度測(cè)試作業(yè)進(jìn)行實(shí)例化測(cè)試，獲得生產(chǎn)作業(yè)結(jié)果和灰度作業(yè)結(jié)果；

33、所述數(shù)據(jù)同步子系統(tǒng)，還用于對(duì)所述生產(chǎn)作業(yè)結(jié)果和所述灰度作業(yè)結(jié)果進(jìn)行預(yù)設(shè)口徑數(shù)據(jù)比對(duì)，獲得目標(biāo)交換測(cè)試結(jié)果；

34、所述數(shù)據(jù)同步子系統(tǒng)，還用于在所述目標(biāo)交換測(cè)試結(jié)果為通過(guò)時(shí)，基于所述目標(biāo)客戶端對(duì)應(yīng)的所述目標(biāo)文件格式和所述交換配置文件生成所述目標(biāo)格式數(shù)據(jù)，并將所述目標(biāo)格式數(shù)據(jù)發(fā)送至所述目標(biāo)客戶端

35、本申請(qǐng)?zhí)峁┝艘环N端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)預(yù)處理子系統(tǒng)、開(kāi)發(fā)配置子系統(tǒng)和數(shù)據(jù)同步子系統(tǒng)；數(shù)據(jù)預(yù)處理子系統(tǒng)，用于在檢測(cè)到源客戶端發(fā)送數(shù)據(jù)交換請(qǐng)求時(shí)，根據(jù)初始格式數(shù)據(jù)對(duì)應(yīng)的目標(biāo)交換場(chǎng)景將初始格式數(shù)據(jù)轉(zhuǎn)換為場(chǎng)景封裝數(shù)據(jù)；開(kāi)發(fā)配置子系統(tǒng)，用于根據(jù)預(yù)設(shè)元數(shù)據(jù)庫(kù)和場(chǎng)景封裝數(shù)據(jù)生成交換配置文件；數(shù)據(jù)同步子系統(tǒng)，用于基于目標(biāo)客戶端對(duì)應(yīng)的目標(biāo)文件格式和交換配置文件生成目標(biāo)格式數(shù)據(jù)，并將目標(biāo)格式數(shù)據(jù)同步至目標(biāo)客戶端。本申請(qǐng)通過(guò)對(duì)源客戶端發(fā)送的初始格式數(shù)據(jù)進(jìn)行場(chǎng)景分析，基于確定的目標(biāo)交換場(chǎng)景將初始格式數(shù)據(jù)封裝為場(chǎng)景封裝數(shù)據(jù)，進(jìn)而以預(yù)設(shè)元數(shù)據(jù)庫(kù)中配置的元數(shù)據(jù)為基石，將場(chǎng)景封裝數(shù)據(jù)轉(zhuǎn)化為交換配置文件，從而基于交換配置文件和目標(biāo)客戶端所需的目標(biāo)文件格式生成對(duì)應(yīng)的目標(biāo)格式數(shù)據(jù)，并將目標(biāo)格式數(shù)據(jù)至目標(biāo)客戶端。因此，本申請(qǐng)則提出了一種端到端場(chǎng)景化向?qū)降臄?shù)據(jù)交換開(kāi)發(fā)方法，以元數(shù)據(jù)為基石、以場(chǎng)景化為中心，從而快速便捷地實(shí)現(xiàn)端到端數(shù)據(jù)交換。

技術(shù)特征：

1.一種端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述系統(tǒng)包括：數(shù)據(jù)預(yù)處理子系統(tǒng)、開(kāi)發(fā)配置子系統(tǒng)和數(shù)據(jù)同步子系統(tǒng)；

2.如權(quán)利要求1所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理子系統(tǒng)，還用于對(duì)所述初始格式數(shù)據(jù)進(jìn)行預(yù)設(shè)參數(shù)校驗(yàn)；

3.如權(quán)利要求2所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理子系統(tǒng)包括參數(shù)校驗(yàn)?zāi)K和接入檢測(cè)模塊；

4.如權(quán)利要求3所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述參數(shù)校驗(yàn)?zāi)K包括：場(chǎng)景解析單元、校驗(yàn)篩選單元和規(guī)則校驗(yàn)單元；

5.如權(quán)利要求4所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述開(kāi)發(fā)配置子系統(tǒng)包括：場(chǎng)景配置模塊、場(chǎng)景拆分模塊和配置生成模塊；

6.如權(quán)利要求5所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，

7.如權(quán)利要求5所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，

8.如權(quán)利要求5所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，

9.如權(quán)利要求1所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，所述系統(tǒng)還包括：元數(shù)據(jù)處理子系統(tǒng)；

10.如權(quán)利要求1所述的端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，其特征在于，

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種端到端場(chǎng)景化數(shù)據(jù)交換系統(tǒng)，本申請(qǐng)涉及數(shù)據(jù)交換技術(shù)領(lǐng)域，該系統(tǒng)中數(shù)據(jù)預(yù)處理子系統(tǒng)在檢測(cè)到源客戶端發(fā)送數(shù)據(jù)交換請(qǐng)求時(shí)，根據(jù)初始格式數(shù)據(jù)對(duì)應(yīng)的目標(biāo)交換場(chǎng)景將初始格式數(shù)據(jù)轉(zhuǎn)換為場(chǎng)景封裝數(shù)據(jù)；開(kāi)發(fā)配置子系統(tǒng)根據(jù)預(yù)設(shè)元數(shù)據(jù)庫(kù)和場(chǎng)景封裝數(shù)據(jù)生成交換配置文件；數(shù)據(jù)同步子系統(tǒng)基于目標(biāo)客戶端對(duì)應(yīng)的目標(biāo)文件格式和交換配置文件生成目標(biāo)格式數(shù)據(jù)，并將目標(biāo)格式數(shù)據(jù)同步至目標(biāo)客戶端。本申請(qǐng)通過(guò)對(duì)源客戶端發(fā)送的初始格式數(shù)據(jù)進(jìn)行場(chǎng)景分析，以預(yù)設(shè)元數(shù)據(jù)庫(kù)中配置的元數(shù)據(jù)為基石，從而基于交換配置文件和目標(biāo)客戶端所需的目標(biāo)文件格式生成對(duì)應(yīng)的目標(biāo)格式數(shù)據(jù)同步至目標(biāo)客戶端，快速便捷地實(shí)現(xiàn)端到端數(shù)據(jù)交換。

技術(shù)研發(fā)人員：林少鑫,高錦鋒,劉建彪,熊俊,劉嘉,蔡岳衡,趙鑫懿
受保護(hù)的技術(shù)使用者：招商銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9