本發(fā)明實(shí)施例涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)校驗(yàn)方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在數(shù)據(jù)處理領(lǐng)域，etl(extract?transform?load，抽取轉(zhuǎn)換加載)技術(shù)是一種常見的數(shù)據(jù)處理方法，用于從源系統(tǒng)中提取數(shù)據(jù)，經(jīng)過轉(zhuǎn)換處理后加載到目標(biāo)系統(tǒng)中。傳統(tǒng)的etl技術(shù)通常需要編寫大量的代碼來實(shí)現(xiàn)數(shù)據(jù)處理和校驗(yàn)邏輯，存在以下不足之處：

2、繁瑣的代碼編寫:傳統(tǒng)的etl過程中，傳統(tǒng)的etl技術(shù)通常采用靜態(tài)的校驗(yàn)規(guī)則，一旦定義后很難修改，靈活性不足，無法適應(yīng)業(yè)務(wù)需求的變化，且需要編寫大量的代碼來實(shí)現(xiàn)數(shù)據(jù)校驗(yàn)邏輯，包括校驗(yàn)規(guī)則的定義、條件判斷、異常處理等，工作量大且容易出錯(cuò)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種數(shù)據(jù)校驗(yàn)方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，可以通過對(duì)校驗(yàn)配置表自定義校驗(yàn)規(guī)則，并基于編輯出的配置表進(jìn)行數(shù)據(jù)校驗(yàn)，無需對(duì)底層代碼的修改，降低校驗(yàn)規(guī)則修改難度，提高數(shù)據(jù)校驗(yàn)的適用性。

2、第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)校驗(yàn)方法，該方法包括：

3、在接收到校驗(yàn)配置指令的情況下，在預(yù)設(shè)界面中顯示初始校驗(yàn)配置表；

4、針對(duì)所述初始校驗(yàn)配置表中的每個(gè)待配置項(xiàng)，根據(jù)配置填充操作生成所述待配置項(xiàng)對(duì)應(yīng)的配置結(jié)果，根據(jù)多個(gè)待配置項(xiàng)的配置結(jié)果得到目標(biāo)校驗(yàn)配置表；其中，所述待配置項(xiàng)包括：字段名稱、校驗(yàn)類型、校驗(yàn)錯(cuò)誤說明、校驗(yàn)組別、記錄時(shí)間、更新時(shí)間和優(yōu)先級(jí)中的至少一種；

5、基于所述目標(biāo)校驗(yàn)配置表對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)，生成所述待校驗(yàn)數(shù)據(jù)片段對(duì)應(yīng)的目標(biāo)校驗(yàn)結(jié)果。

6、第二方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)校驗(yàn)裝置，該裝置包括：

7、初始校驗(yàn)配置表展示模塊，用于在接收到校驗(yàn)配置指令的情況下，在預(yù)設(shè)界面中顯示初始校驗(yàn)配置表；

8、目標(biāo)校驗(yàn)配置表確定模塊，用于針對(duì)所述初始校驗(yàn)配置表中的每個(gè)待配置項(xiàng)，根據(jù)配置填充操作生成所述待配置項(xiàng)對(duì)應(yīng)的配置結(jié)果，根據(jù)多個(gè)待配置項(xiàng)的配置結(jié)果得到目標(biāo)校驗(yàn)配置表；其中，所述待配置項(xiàng)包括：字段名稱、校驗(yàn)類型、校驗(yàn)錯(cuò)誤說明、校驗(yàn)組別、記錄時(shí)間、更新時(shí)間和優(yōu)先級(jí)中的至少一種；

9、數(shù)據(jù)校驗(yàn)?zāi)K，用于基于所述目標(biāo)校驗(yàn)配置表對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)，生成所述待校驗(yàn)數(shù)據(jù)片段對(duì)應(yīng)的目標(biāo)校驗(yàn)結(jié)果。

10、第三方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備包括：

11、一個(gè)或多個(gè)處理器；

12、存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

13、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)任一實(shí)施例所述的數(shù)據(jù)校驗(yàn)方法。

14、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)任一實(shí)施例所述的數(shù)據(jù)校驗(yàn)方法。

15、本發(fā)明實(shí)施例所提供的技術(shù)方案，通過在接收到校驗(yàn)配置指令的情況下，在預(yù)設(shè)界面中顯示初始校驗(yàn)配置表；針對(duì)初始校驗(yàn)配置表中的每個(gè)待配置項(xiàng)，根據(jù)配置填充操作生成待配置項(xiàng)對(duì)應(yīng)的配置結(jié)果，根據(jù)多個(gè)待配置項(xiàng)的配置結(jié)果得到目標(biāo)校驗(yàn)配置表；基于目標(biāo)校驗(yàn)配置表對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)，生成待校驗(yàn)數(shù)據(jù)片段對(duì)應(yīng)的目標(biāo)校驗(yàn)結(jié)果。本發(fā)明實(shí)施例的技術(shù)方案解決了現(xiàn)有數(shù)據(jù)校驗(yàn)技術(shù)中數(shù)據(jù)校驗(yàn)規(guī)則修改難度高，無法適應(yīng)業(yè)務(wù)需求的問題，可以通過對(duì)校驗(yàn)配置表自定義校驗(yàn)規(guī)則，并基于編輯出的配置表進(jìn)行數(shù)據(jù)校驗(yàn)，無需對(duì)底層代碼的修改，降低校驗(yàn)規(guī)則修改難度，提高數(shù)據(jù)校驗(yàn)的適用性。

技術(shù)特征：

1.一種數(shù)據(jù)校驗(yàn)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)校驗(yàn)配置表對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)，生成所述待校驗(yàn)數(shù)據(jù)片段對(duì)應(yīng)的目標(biāo)校驗(yàn)結(jié)果，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)配置填充操作生成所述待配置項(xiàng)對(duì)應(yīng)的配置結(jié)果，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)之前，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述校驗(yàn)類型包括：空和非空檢查、數(shù)值檢查、長(zhǎng)度檢查、日期檢查、正則檢查、字典枚舉和預(yù)設(shè)校驗(yàn)類型中的至少一種。

8.一種數(shù)據(jù)校驗(yàn)裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一所述的數(shù)據(jù)校驗(yàn)方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例公開了一種數(shù)據(jù)校驗(yàn)方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，其中，方法包括：在接收到校驗(yàn)配置指令的情況下，在預(yù)設(shè)界面中顯示初始校驗(yàn)配置表；針對(duì)初始校驗(yàn)配置表中的每個(gè)待配置項(xiàng)，根據(jù)配置填充操作生成待配置項(xiàng)對(duì)應(yīng)的配置結(jié)果，根據(jù)多個(gè)待配置項(xiàng)的配置結(jié)果得到目標(biāo)校驗(yàn)配置表；基于目標(biāo)校驗(yàn)配置表對(duì)待校驗(yàn)數(shù)據(jù)片段進(jìn)行數(shù)據(jù)校驗(yàn)，生成待校驗(yàn)數(shù)據(jù)片段對(duì)應(yīng)的目標(biāo)校驗(yàn)結(jié)果。本發(fā)明實(shí)施例的技術(shù)方案解決了現(xiàn)有數(shù)據(jù)校驗(yàn)技術(shù)中數(shù)據(jù)校驗(yàn)規(guī)則修改難度高，無法適應(yīng)業(yè)務(wù)需求的問題，可以通過對(duì)校驗(yàn)配置表自定義校驗(yàn)規(guī)則，并基于編輯出的配置表進(jìn)行數(shù)據(jù)校驗(yàn)，無需對(duì)底層代碼的修改，降低校驗(yàn)規(guī)則修改難度，提高數(shù)據(jù)校驗(yàn)的適用性。

技術(shù)研發(fā)人員：王杰,胡兵,林煒鋒,李少青,傅強(qiáng),楊滿智,金紅,陳曉光
受保護(hù)的技術(shù)使用者：恒安嘉新（北京）科技股份公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6