本申請實施例涉及數(shù)據(jù)分析，尤其涉及一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法及系統(tǒng)。

背景技術(shù)：

1、隨著在當(dāng)今大數(shù)據(jù)時代，企業(yè)面臨著海量數(shù)據(jù)的處理挑戰(zhàn)。這些數(shù)據(jù)不僅來自內(nèi)部系統(tǒng)，還可能包括外部合作伙伴、社交媒體、物聯(lián)網(wǎng)設(shè)備等多種數(shù)據(jù)源。為了確保業(yè)務(wù)決策的有效性和準(zhǔn)確性，企業(yè)需要對收集到的數(shù)據(jù)進(jìn)行實時的質(zhì)量評估。這種質(zhì)量評估不僅要覆蓋結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫記錄，還要能夠解析非結(jié)構(gòu)化數(shù)據(jù)，例如文本、圖像和視頻等，以理解其背后的業(yè)務(wù)含義。此外，隨著業(yè)務(wù)環(huán)境的變化，數(shù)據(jù)驗證規(guī)則也需要具備動態(tài)調(diào)整的能力，以適應(yīng)不斷變化的數(shù)據(jù)特征。

2、當(dāng)前市面上存在多種針對數(shù)據(jù)質(zhì)量評估的方法和技術(shù)工具，它們通常提供了預(yù)設(shè)的數(shù)據(jù)校驗規(guī)則來檢查數(shù)據(jù)的完整性、一致性以及時效性。部分先進(jìn)的解決方案已經(jīng)開始采用機(jī)器學(xué)習(xí)算法來自動檢測異常值或模式偏差，并嘗試通過自然語言處理（nlp）技術(shù)來理解和分類非結(jié)構(gòu)化數(shù)據(jù)。

3、盡管現(xiàn)有的數(shù)據(jù)質(zhì)量評估工具已經(jīng)相當(dāng)成熟，但在實際應(yīng)用中仍存在一些局限性。首先，大多數(shù)傳統(tǒng)方法依賴于靜態(tài)定義的數(shù)據(jù)質(zhì)量規(guī)則，這使得它們難以應(yīng)對快速變化的數(shù)據(jù)類型和業(yè)務(wù)邏輯。其次，在處理非結(jié)構(gòu)化數(shù)據(jù)時，現(xiàn)有技術(shù)往往只能實現(xiàn)表面層次的理解，缺乏深入的語義分析能力，從而影響了數(shù)據(jù)質(zhì)量評估的整體效果。最后，雖然有些系統(tǒng)開始引入智能算法提高自動化程度，但這些算法對于復(fù)雜邏輯關(guān)系的識別與處理還不夠精準(zhǔn)，導(dǎo)致最終生成的數(shù)據(jù)質(zhì)量評價模型可能不夠全面或準(zhǔn)確。

技術(shù)實現(xiàn)思路

1、本申請實施例提供一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中數(shù)據(jù)質(zhì)量和可用性低的問題。

2、第一方面，本申請實施例提供了一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法，，包括：

3、接收來自不同數(shù)據(jù)源的實時數(shù)據(jù)，所述實時數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

4、對所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實時數(shù)據(jù)的業(yè)務(wù)語境；

5、根據(jù)所述業(yè)務(wù)語境，對數(shù)據(jù)驗證規(guī)則進(jìn)行動態(tài)調(diào)整處理，并通過智能算法對所述實時數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實時數(shù)據(jù)的完整性和一致性評估結(jié)果；

6、對所述實時數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評估處理，并基于所述邏輯關(guān)系的評估結(jié)果，結(jié)合所述完整性和一致性評估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評價模型，所述數(shù)據(jù)質(zhì)量評價模型用于量化所述實時數(shù)據(jù)的準(zhǔn)確性和時效性；

7、依據(jù)所述數(shù)據(jù)質(zhì)量評價模型，生成數(shù)據(jù)質(zhì)量報告，并根據(jù)所述數(shù)據(jù)質(zhì)量報告，提出業(yè)務(wù)改進(jìn)措施。

8、第二方面，本申請實施例提供了一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估系統(tǒng)，包括:

9、接收模塊，用于接收來自不同數(shù)據(jù)源的實時數(shù)據(jù)，所述實時數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

10、解析模塊，用于對所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實時數(shù)據(jù)的業(yè)務(wù)語境；

11、調(diào)整模塊，用于根據(jù)所述業(yè)務(wù)語境，對數(shù)據(jù)驗證規(guī)則進(jìn)行動態(tài)調(diào)整處理，并通過智能算法對所述實時數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實時數(shù)據(jù)的完整性和一致性評估結(jié)果；

12、構(gòu)建模塊，用于對所述實時數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評估處理，并基于所述邏輯關(guān)系的評估結(jié)果，結(jié)合所述完整性和一致性評估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評價模型，所述數(shù)據(jù)質(zhì)量評價模型用于量化所述實時數(shù)據(jù)的準(zhǔn)確性和時效性；

13、生成模塊，用于依據(jù)所述數(shù)據(jù)質(zhì)量評價模型，生成數(shù)據(jù)質(zhì)量報告，并根據(jù)所述數(shù)據(jù)質(zhì)量報告，提出業(yè)務(wù)改進(jìn)措施。

14、第三方面，本申請實施例提供了一種計算設(shè)備，包括處理組件以及存儲組件；所述存儲組件存儲一個或多個計算機(jī)指令；所述一個或多個計算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實現(xiàn)如上述第一方面任一項所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法。

15、第四方面，本申請實施例提供了一種計算機(jī)存儲介質(zhì)，存儲有計算機(jī)程序，所述計算機(jī)程序被計算機(jī)執(zhí)行時，實現(xiàn)如上述第一方面任一項所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法。

16、本申請實施例中，接收來自不同數(shù)據(jù)源的實時數(shù)據(jù)，實時數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到實時數(shù)據(jù)的業(yè)務(wù)語境；通過智能算法對實時數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到實時數(shù)據(jù)的完整性和一致性評估結(jié)果；基于邏輯關(guān)系的評估結(jié)果，結(jié)合完整性和一致性評估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評價模型，數(shù)據(jù)質(zhì)量評價模型用于量化實時數(shù)據(jù)的準(zhǔn)確性和時效性；生成數(shù)據(jù)質(zhì)量報告，并根據(jù)數(shù)據(jù)質(zhì)量報告，提出業(yè)務(wù)改進(jìn)措施；根據(jù)業(yè)務(wù)改進(jìn)措施，優(yōu)化數(shù)據(jù)采集和處理流程。本申請?zhí)峁┑募夹g(shù)方案能夠提升數(shù)據(jù)質(zhì)量評估的靈活性和效率，并且能夠更好地支持企業(yè)的實時數(shù)據(jù)分析需求。

17、本申請的這些方面或其他方面在以下實施例的描述中會更加簡明易懂。

技術(shù)特征：

1.一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述實時數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評估處理，并基于所述邏輯關(guān)系的評估結(jié)果，結(jié)合所述完整性和一致性評估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評價模型，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述邏輯關(guān)系綜合評估結(jié)果、所述完整性和一致性評估結(jié)果，量化所述實時數(shù)據(jù)的準(zhǔn)確性和時效性，得到綜合分析結(jié)果，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述業(yè)務(wù)語境，對數(shù)據(jù)驗證規(guī)則進(jìn)行動態(tài)調(diào)整處理，并通過智能算法對所述實時數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實時數(shù)據(jù)的完整性和一致性評估結(jié)果，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述應(yīng)用智能算法，對所述實時數(shù)據(jù)進(jìn)行完整性檢查處理，識別所述實時數(shù)據(jù)中是否存在缺失值或空值，并統(tǒng)計完整性指標(biāo)，得到完整性檢查結(jié)果，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過所述智能算法，對所述實時數(shù)據(jù)進(jìn)行一致性檢查處理，確保所述實時數(shù)據(jù)的不同字段之間具有一致性，得到一致性檢查結(jié)果，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實時數(shù)據(jù)的業(yè)務(wù)語境，包括：

8.一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估系統(tǒng)，其特征在于，包括:

9.一種計算設(shè)備，其特征在于，包括處理組件以及存儲組件；所述存儲組件存儲一個或多個計算機(jī)指令；所述一個或多個計算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實現(xiàn)如權(quán)利要求1~7任一項所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法。

10.一種計算機(jī)存儲介質(zhì)，其特征在于，存儲有計算機(jī)程序，所述計算機(jī)程序被計算機(jī)執(zhí)行時，實現(xiàn)如權(quán)利要求1~7任一項所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法。

技術(shù)總結(jié)
本申請?zhí)峁┮环N基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評估方法及系統(tǒng)。其中，接收來自不同數(shù)據(jù)源的實時數(shù)據(jù)，實時數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到實時數(shù)據(jù)的業(yè)務(wù)語境；通過智能算法對實時數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到實時數(shù)據(jù)的完整性和一致性評估結(jié)果；基于邏輯關(guān)系的評估結(jié)果，結(jié)合完整性和一致性評估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評價模型，數(shù)據(jù)質(zhì)量評價模型用于量化實時數(shù)據(jù)的準(zhǔn)確性和時效性；生成數(shù)據(jù)質(zhì)量報告，并根據(jù)數(shù)據(jù)質(zhì)量報告，提出業(yè)務(wù)改進(jìn)措施；根據(jù)業(yè)務(wù)改進(jìn)措施，優(yōu)化數(shù)據(jù)采集和處理流程。本申請?zhí)峁┑募夹g(shù)方案能夠提升數(shù)據(jù)質(zhì)量評估的靈活性和效率，并且能夠更好地支持企業(yè)的實時數(shù)據(jù)分析需求。

技術(shù)研發(fā)人員：朱瑾鵬,王永祥,任東英,石磊,范長偉
受保護(hù)的技術(shù)使用者：北京數(shù)洋智慧科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9