本發(fā)明涉及數(shù)據(jù)處理，應(yīng)用于金融等場景中，尤其涉及一種外部數(shù)據(jù)測試方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在金融領(lǐng)域，數(shù)據(jù)賦能業(yè)務(wù)已成為近年來的共識。除了公司內(nèi)部數(shù)據(jù)和可獲得的共享數(shù)據(jù)外，接入外部數(shù)據(jù)也能有效地賦能業(yè)務(wù)。然而，第三方數(shù)據(jù)公司提供的數(shù)據(jù)質(zhì)量參差不齊，需要評估其是否滿足本公司的安全和合規(guī)要求。此外，數(shù)據(jù)采購的成本效益也需要仔細考量。傳統(tǒng)的外部數(shù)據(jù)接入流程并未采用通用流程來解決這些問題，對臨時接入的外部數(shù)據(jù)源缺乏全面評價，這與當(dāng)前降本增效的大環(huán)境不符。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例的目的在于提出一種外部數(shù)據(jù)測試方法、裝置、設(shè)備及存儲介質(zhì)，以解決傳統(tǒng)外部數(shù)據(jù)接入流程中存在的問題，即缺乏對數(shù)據(jù)的全面評價，以及未能有效控制外部數(shù)據(jù)的質(zhì)量。

2、為了解決上述技術(shù)問題，本發(fā)明實施例提供外部數(shù)據(jù)測試方法，采用了如下所述的技術(shù)方案：

3、一種外部數(shù)據(jù)測試方法，包括下述步驟：

4、獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本；

5、將所述測試樣本切割成第一測試樣本和第二測試樣本；

6、將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表；

7、根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集；

8、根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告。

9、在一個實施例中，所述獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本，包括：

10、獲取所述外部數(shù)據(jù)源，判斷所述外部數(shù)據(jù)源是否符合預(yù)設(shè)契合規(guī)則；

11、當(dāng)所述外部數(shù)據(jù)源符合預(yù)設(shè)契合規(guī)則時，獲取外部數(shù)據(jù)字段；

12、對所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段進行審查，判斷所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段是否符合評估標準；

13、當(dāng)所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段符合評估標準時，則將所述外部數(shù)據(jù)字段與內(nèi)部數(shù)據(jù)字段整合成測試樣本。

14、在一個實施例中，所述當(dāng)所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段符合評估標準時，則將所述外部數(shù)據(jù)字段與內(nèi)部數(shù)據(jù)字段整合成測試樣本，包括：

15、對所述外部數(shù)據(jù)字段與內(nèi)部數(shù)據(jù)字段進行數(shù)據(jù)預(yù)處理；

16、根據(jù)映射規(guī)則確定外部數(shù)據(jù)字段與內(nèi)部數(shù)據(jù)字段之間的映射關(guān)系；

17、根據(jù)所述映射關(guān)系對所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段進行整合，獲得數(shù)據(jù)字段集；

18、使用抽樣算法從所述數(shù)據(jù)字段集中抽取測試樣本。

19、在一個實施例中，所述將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表，包括：

20、對所述第一測試樣本進行分析，并獲取第一測試樣本的數(shù)據(jù)特征；

21、將所述外部數(shù)據(jù)源中的名單與所述數(shù)據(jù)特征進行匹配；

22、當(dāng)所述外部數(shù)據(jù)源中的名單與數(shù)據(jù)特征匹配成功時，對匹配成功的名單進行分析，根據(jù)分析結(jié)果將匹配成功的關(guān)注名單加入關(guān)注列表。

23、在一個實施例中，所述將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表，還包括：

24、當(dāng)所述外部數(shù)據(jù)源中的名單與數(shù)據(jù)特征匹配失敗時，獲取外部數(shù)據(jù)源中的名單與所述數(shù)據(jù)特征的撞庫率；

25、將所述撞庫率與預(yù)設(shè)撞庫閾值比較，當(dāng)所述撞庫率低于預(yù)設(shè)撞庫時，重新獲取外部數(shù)據(jù)源的名單并進行撞庫。

26、在一個實施例中，所述根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集之后，還包括：

27、對所述外部數(shù)據(jù)字段進行單因子分析，獲取評估結(jié)果；

28、對所述外部數(shù)據(jù)字段進行統(tǒng)計指標計算，獲得指標數(shù)據(jù)；

29、根據(jù)所述評估結(jié)果和指標數(shù)據(jù)在所書外部數(shù)據(jù)字段中篩選備選字段；

30、將所述篩選的備選字段加入備選字段集中。

31、在一個實施例中，所述根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告之后，包括：

32、在歷史記錄系統(tǒng)中獲取在指定時間中查詢的總案件；

33、根據(jù)所述數(shù)據(jù)測試報告獲取舊策略命中案件和新策略命中案件；

34、根據(jù)所述查詢的總案件、舊策略命中案件和新策略命中案件計算總收益值和總損失值；

35、根據(jù)所述總收益值和總損失值決定是否接收外部數(shù)據(jù)源。

36、為了解決上述技術(shù)問題，本發(fā)明實施例還提供外部數(shù)據(jù)測試裝置，采用了如下所述的技術(shù)方案：

37、一種外部數(shù)據(jù)測試裝置，包括：

38、測試樣本模塊，用于獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本；

39、樣本分割模塊，用于將所述測試樣本切割成第一測試樣本和第二測試樣本；

40、名單匹配模塊，用于將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表；

41、備選字段模塊，用于根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集；

42、數(shù)據(jù)測試模塊，用于根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告。

43、為了解決上述技術(shù)問題，本發(fā)明實施例還提供一種計算機設(shè)備，采用了如下所述的技術(shù)方案：

44、一種計算機設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執(zhí)行所述計算機可讀指令時實現(xiàn)上述所述的外部數(shù)據(jù)測試方法的步驟。

45、為了解決上述技術(shù)問題，本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì)，采用了如下所述的技術(shù)方案：

46、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機可讀指令，所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上述所述的外部數(shù)據(jù)測試方法的步驟。

47、與現(xiàn)有技術(shù)相比，本發(fā)明實施例主要有以下有益效果：

48、本發(fā)明實施例所述外部數(shù)據(jù)測試方法，通過獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本；將所述測試樣本切割成第一測試樣本和第二測試樣本；將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表；根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集；根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告。本發(fā)明通過對外部數(shù)據(jù)源進行有效的評估和關(guān)聯(lián)，能夠全面評價數(shù)據(jù)的準確性、完整性、及時性等要素，從而提高接入外部數(shù)據(jù)的質(zhì)量和效率。

技術(shù)特征：

1.一種外部數(shù)據(jù)測試方法，其特征在于，包括下述步驟：

2.根據(jù)權(quán)利要求1所述的外部數(shù)據(jù)測試方法，其特征在于，所述獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本，包括：

3.根據(jù)權(quán)利要求2所述的外部數(shù)據(jù)測試方法，其特征在于，所述當(dāng)所述外部數(shù)據(jù)字段和內(nèi)部數(shù)據(jù)字段符合評估標準時，則將所述外部數(shù)據(jù)字段與內(nèi)部數(shù)據(jù)字段整合成測試樣本，包括：

4.根據(jù)權(quán)利要求3所述的外部數(shù)據(jù)測試方法，其特征在于，所述將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表，包括：

5.根據(jù)權(quán)利要求4所述的外部數(shù)據(jù)測試的方法，其特征在于，所述將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表，還包括：

6.根據(jù)權(quán)利要求2所述的外部數(shù)據(jù)測試方法，其特征在于，所述根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集之后，還包括：

7.根據(jù)權(quán)利要求1所述的外部數(shù)據(jù)測試方法，其特征在于，所述根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告之后，包括：

8.一種外部數(shù)據(jù)測試裝置，其特征在于，包括：

9.一種計算機設(shè)備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執(zhí)行所述計算機可讀指令時實現(xiàn)如權(quán)利要求1至7中任一項所述的外部數(shù)據(jù)測試方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機可讀指令，所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的外部數(shù)據(jù)測試方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種外部數(shù)據(jù)測試方法、裝置、系統(tǒng)及介質(zhì)，包括：獲取符合預(yù)設(shè)契合規(guī)則的外部數(shù)據(jù)源，將所述外部數(shù)據(jù)源與內(nèi)部數(shù)據(jù)字段整合成測試樣本；將所述測試樣本切割成第一測試樣本和第二測試樣本；將所述外部數(shù)據(jù)源與所述第一測試樣本進行匹配，將匹配成功的數(shù)據(jù)加入關(guān)注列表；根據(jù)所述第二測試樣本構(gòu)建預(yù)測模型，并通過評估指標在第二測試樣本獲得備選字段集；根據(jù)所述關(guān)注列表和備選字段集對外部數(shù)據(jù)源進行測試，獲得數(shù)據(jù)測試報告。本發(fā)明通過對外部數(shù)據(jù)源進行有效的評估和關(guān)聯(lián)，能夠全面評價數(shù)據(jù)的準確性、完整性、及時性等要素，從而提高接入外部數(shù)據(jù)的質(zhì)量和效率。

技術(shù)研發(fā)人員：朱澤超,宋愷,朱艷喬
受保護的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23