本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)評估方法、裝置、終端和存儲介質(zhì)。

背景技術：

1、數(shù)據(jù)質(zhì)量評估是一個確保數(shù)據(jù)準確、完整、一致且可用的過程。良好的數(shù)據(jù)質(zhì)量對于做出可靠的決策至關重要，特別是在數(shù)據(jù)分析、機器學習和業(yè)務智能等領域。

2、然而，現(xiàn)有的聯(lián)網(wǎng)式數(shù)據(jù)質(zhì)量檢測評估難以應對存在安全隱患的網(wǎng)絡環(huán)境或者斷網(wǎng)情形，只能采用獨立部署應用程序的方式評估數(shù)據(jù)質(zhì)量，效率慢、成本高，數(shù)據(jù)質(zhì)量評估過程難以監(jiān)測，且評估結(jié)果脫離監(jiān)控環(huán)境，評估結(jié)果不夠準確，可信度不高。

技術實現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種數(shù)據(jù)評估方法、裝置、終端和存儲介質(zhì)，旨在無法聯(lián)網(wǎng)的情況下或者處于較為復雜的網(wǎng)絡環(huán)境的情況下，準確地實現(xiàn)數(shù)據(jù)質(zhì)量評估。

2、為實現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)評估方法，應用于數(shù)據(jù)評估系統(tǒng)，所述數(shù)據(jù)評估系統(tǒng)處于網(wǎng)絡離線狀態(tài)，所述數(shù)據(jù)評估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡離線狀態(tài)下的數(shù)據(jù)存儲；

3、所述方法包括：

4、獲取待評估數(shù)據(jù)對應的配置信息；

5、基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序；

6、基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，得到目標評估結(jié)果，其中，所述目標評估結(jié)果用于表征所述待評估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測結(jié)果。

7、具體地，所述獲取待評估數(shù)據(jù)對應的配置信息，包括：

8、從初始數(shù)據(jù)中篩選出所述待評估數(shù)據(jù)；

9、基于所述待評估數(shù)據(jù)，通過所述數(shù)據(jù)評估系統(tǒng)進行配置，生成所述配置信息，其中，所述配置信息包括待評估數(shù)據(jù)對應的評估對象、待評估數(shù)據(jù)對應的評估參數(shù)以及待評估數(shù)據(jù)對應的數(shù)據(jù)提取方式。

10、具體地，在所述基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序之前，所述方法還包括：

11、建立初始數(shù)據(jù)評估標準；

12、基于初始數(shù)據(jù)評估標準以及所述初始數(shù)據(jù)，更新所述初始數(shù)據(jù)評估標準，得到所述數(shù)據(jù)評估標準。

13、具體地，在所述基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，得到目標評估結(jié)果之前，所述方法還包括：

14、從所述待評估數(shù)據(jù)中篩選出示例數(shù)據(jù)；

15、通過數(shù)據(jù)一致性驗證模型，根據(jù)所述配置信息以及所述示例數(shù)據(jù)，生成數(shù)據(jù)一致性驗證結(jié)果，若所述數(shù)據(jù)一致性驗證結(jié)果為所述待評估數(shù)據(jù)符合預設數(shù)據(jù)一致性標準，則將所述待評估數(shù)據(jù)以及所述配置信息存儲至所述數(shù)據(jù)庫；若所述數(shù)據(jù)一致性驗證結(jié)果為所述待評估數(shù)據(jù)不符合所述預設數(shù)據(jù)一致性標準，則重新從所述初始數(shù)據(jù)中篩選出待評估數(shù)據(jù)，直至所述數(shù)據(jù)一致性驗證結(jié)果為所述待評估數(shù)據(jù)符合所述預設數(shù)據(jù)一致性標準。

16、具體地，所述數(shù)據(jù)一致性驗證模型包括輸入層、嵌入層、編碼層、全連接層以及輸出層；

17、所述通過數(shù)據(jù)一致性驗證模型，根據(jù)所述配置信息以及所述示例數(shù)據(jù)，生成數(shù)據(jù)一致性驗證結(jié)果，包括：

18、通過所述輸入層，根據(jù)所述配置信息，生成第一特征向量；

19、通過所述輸入層，根據(jù)所述示例數(shù)據(jù)，生成示例數(shù)據(jù)對應的數(shù)值向量；

20、通過所述嵌入層，根據(jù)所述第一特征向量，生成第二特征向量；

21、通過所述編碼層，根據(jù)所述數(shù)值向量以及所述第二特征向量，生成序列化特征向量；

22、通過所述全連接層，根據(jù)所述序列化特征向量，生成輸出向量；

23、通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗證結(jié)果。

24、具體地，所述編碼層包括長短期記憶網(wǎng)絡層；

25、所述通過所述編碼層，根據(jù)所述數(shù)值向量以及所述第二特征向量，生成序列化特征向量，包括：

26、將所述數(shù)值向量以及所述第二向量輸入至所述長短期記憶網(wǎng)絡層，輸出得到隱狀態(tài)向量以及單元狀態(tài)向量；

27、對所述隱狀態(tài)向量以及所述單元狀態(tài)向量進行整合處理，得到所述序列化特征向量。

28、具體地，所述通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗證結(jié)果，包括：

29、將所述輸出向量輸入至所述輸出層，得到輸出概率值，其中，所述輸出概率值用于表征所述待評估數(shù)據(jù)符合所述預設數(shù)據(jù)一致性標準的可能性；

30、若所述輸出概率值大于或等于預設概率閾值，則確定所述待評估數(shù)據(jù)符合所述預設數(shù)據(jù)一致性標準；若所述輸出概率值小于預設概率閾值，則確定所述待評估數(shù)據(jù)不符合所述預設數(shù)據(jù)一致性標準。

31、為實現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)評估裝置，應用于數(shù)據(jù)評估系統(tǒng)，所述數(shù)據(jù)評估系統(tǒng)處于網(wǎng)絡離線狀態(tài)，所述數(shù)據(jù)評估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡離線狀態(tài)下的數(shù)據(jù)存儲；

32、所述裝置包括：

33、第一單元，用于獲取待評估數(shù)據(jù)對應的配置信息；

34、第二單元，用于基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序；

35、第三單元，用于基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，得到目標評估結(jié)果，其中，所述目標評估結(jié)果用于表征所述待評估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測結(jié)果。

36、為實現(xiàn)上述目的，本發(fā)明還提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲有多條指令，所述指令適于處理器進行加載，以執(zhí)行本發(fā)明所提供的任一種方法中的步驟。

37、本發(fā)明提供的一種數(shù)據(jù)評估方法、裝置、終端和存儲介質(zhì)，首先可以獲取待評估數(shù)據(jù)對應的配置信息；然后，基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序；基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，最終得到所述待評估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測結(jié)果。

38、本發(fā)明相較于現(xiàn)有的對于數(shù)據(jù)質(zhì)量評估方式，可以在無法聯(lián)網(wǎng)的情況下或者處于較為復雜的網(wǎng)絡環(huán)境的情況下，準確獲取待評估數(shù)據(jù)的配置數(shù)據(jù)，并在離線狀態(tài)下執(zhí)行基于數(shù)據(jù)評估標準的評估程序，精準評價待評估數(shù)據(jù)的數(shù)據(jù)質(zhì)量。

技術特征：

1.一種數(shù)據(jù)評估方法，其特征在于，應用于數(shù)據(jù)評估系統(tǒng)，所述數(shù)據(jù)評估系統(tǒng)處于網(wǎng)絡離線狀態(tài)，所述數(shù)據(jù)評估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡離線狀態(tài)下的數(shù)據(jù)存儲；

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取待評估數(shù)據(jù)對應的配置信息，包括：

3.如權(quán)利要求2所述的方法，其特征在于，在所述基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序之前，所述方法還包括：

4.如權(quán)利要求2所述的方法，其特征在于，在所述基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，得到目標評估結(jié)果之前，所述方法還包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)一致性驗證模型包括輸入層、嵌入層、編碼層、全連接層以及輸出層；

6.如權(quán)利要求5所述的方法，其特征在于，所述編碼層包括長短期記憶網(wǎng)絡層；

7.如權(quán)利要求5所述的方法，其特征在于，所述通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗證結(jié)果，包括：

8.一種數(shù)據(jù)評估裝置，其特征在于，應用于數(shù)據(jù)評估系統(tǒng)，所述數(shù)據(jù)評估系統(tǒng)處于網(wǎng)絡離線狀態(tài)，所述數(shù)據(jù)評估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡離線狀態(tài)下的數(shù)據(jù)存儲；

9.一種終端，其特征在于，包括處理器和存儲器，所述存儲器存儲有多條指令；所述處理器從所述存儲器中加載指令，以執(zhí)行如權(quán)利要求1～7任一項所述方法中的步驟。

10.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有多條指令，所述指令適于處理器進行加載，以執(zhí)行權(quán)利要求1～7任一項所述方法中的步驟。

技術總結(jié)
本發(fā)明公開了一種數(shù)據(jù)評估方法、裝置、終端和存儲介質(zhì)，本發(fā)明涉及數(shù)據(jù)處理技術領域，所述方法包括：獲取待評估數(shù)據(jù)對應的配置信息；基于數(shù)據(jù)評估標準以及所述待評估數(shù)據(jù)，生成評估程序；基于所述配置信息以及所述待評估數(shù)據(jù)，執(zhí)行所述評估程序，得到目標評估結(jié)果。本發(fā)明旨在無法聯(lián)網(wǎng)的情況下或者處于較為復雜的網(wǎng)絡環(huán)境的情況下，準確地實現(xiàn)數(shù)據(jù)質(zhì)量評估。

技術研發(fā)人員：彭文華,李衛(wèi),朱倩倩
受保護的技術使用者：國家工業(yè)信息安全發(fā)展研究中心
技術研發(fā)日：
技術公布日：2025/1/9