本發(fā)明涉及數(shù)據(jù)分析,具體是一種基于數(shù)據(jù)治理的數(shù)據(jù)資產(chǎn)管理評估系統(tǒng)及方法。
背景技術(shù):
1、數(shù)據(jù)資產(chǎn)管理是指對組織內(nèi)的數(shù)據(jù)資產(chǎn)進行系統(tǒng)化管理和控制,旨在最大化數(shù)據(jù)的價值,確保數(shù)據(jù)的質(zhì)量和安全性,促進數(shù)據(jù)的有效利用;數(shù)據(jù)治理是數(shù)據(jù)資產(chǎn)管理和控制的一系列政策、流程、角色和責(zé)任的集合,其確保數(shù)據(jù)在整個生命周期內(nèi)的質(zhì)量和安全性,提高數(shù)據(jù)的質(zhì)量和利用價值;
2、當(dāng)下環(huán)境中,個人數(shù)據(jù)或企業(yè)數(shù)據(jù)每時每刻都發(fā)生著大量數(shù)據(jù)的生成,傳統(tǒng)意義上,對于數(shù)據(jù)的處理為通過人工判斷,對數(shù)據(jù)進行選擇性存儲;而現(xiàn)如今大數(shù)據(jù)時代,有著更為先進的數(shù)據(jù)存儲模式,大大提高了傳統(tǒng)數(shù)據(jù)的存儲效率,通過設(shè)置區(qū)塊分類實現(xiàn)對數(shù)據(jù)的多樣存儲;然而這種模式僅僅滿足了人們對于數(shù)據(jù)存儲的需求,對于存儲后的數(shù)據(jù)如何高效利用,如何串聯(lián)數(shù)據(jù)之間的關(guān)聯(lián)性卻仍處于低效能化;用戶僅能通過需求進行自行檢索,或通過關(guān)鍵詞進行逐步篩選,此種模式對于數(shù)據(jù)的高效利用和價值提高均存在缺陷。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于數(shù)據(jù)治理的數(shù)據(jù)資產(chǎn)管理評估系統(tǒng)及方法,以解決現(xiàn)有技術(shù)中提出的問題。
2、為實現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:
3、一種基于數(shù)據(jù)治理的數(shù)據(jù)資產(chǎn)管理評估方法,該方法包括以下步驟:
4、s100、利用權(quán)限管理端口對目標(biāo)數(shù)據(jù)庫進行訪問,通過架設(shè)數(shù)據(jù)調(diào)取通道對目標(biāo)數(shù)據(jù)庫儲存數(shù)據(jù)遍歷,并將遍歷數(shù)據(jù)進行輸出;
5、s200、對數(shù)據(jù)庫遍歷輸出數(shù)據(jù)基于對應(yīng)數(shù)據(jù)的關(guān)聯(lián)屬性進行賦值編號處理,通過數(shù)據(jù)集成處理構(gòu)建時序數(shù)據(jù)集;
6、s300、調(diào)取各時序數(shù)據(jù)集中對應(yīng)數(shù)據(jù)的調(diào)用記錄數(shù)據(jù)對各時序數(shù)據(jù)集中數(shù)據(jù)進行數(shù)據(jù)調(diào)用質(zhì)量分析;基于分析結(jié)果對各類型數(shù)據(jù)對應(yīng)時序數(shù)據(jù)集進行領(lǐng)域貢獻率分析,并結(jié)合分析數(shù)據(jù)對各領(lǐng)域數(shù)據(jù)進行關(guān)聯(lián)分析,獲取各領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈;
7、s400、根據(jù)領(lǐng)域數(shù)據(jù)關(guān)聯(lián)分析結(jié)果,對數(shù)據(jù)庫中對應(yīng)領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈進行構(gòu)建存儲并輸出。
8、所述s100利用權(quán)限管理端口對目標(biāo)數(shù)據(jù)庫進行訪問,通過架設(shè)數(shù)據(jù)調(diào)取通道對目標(biāo)數(shù)據(jù)庫儲存數(shù)據(jù)遍歷,并將遍歷數(shù)據(jù)進行輸出的具體步驟如下:
9、s101、通過目標(biāo)數(shù)據(jù)庫的訪問端口,利用權(quán)限管理員身份進行訪問,并對數(shù)據(jù)庫進行臨時數(shù)據(jù)調(diào)取通道構(gòu)建;所述目標(biāo)數(shù)據(jù)庫企業(yè)數(shù)據(jù)庫或個人數(shù)據(jù)庫等;
10、s102、在數(shù)據(jù)庫中對存儲數(shù)據(jù)進行全遍歷,通過固定遍歷窗口對數(shù)據(jù)庫中存儲數(shù)據(jù)進行遍歷,直至將數(shù)據(jù)庫儲存數(shù)據(jù)進行完全遍歷,將遍歷數(shù)據(jù)進行輸出分析。
11、所述s200對數(shù)據(jù)庫遍歷輸出數(shù)據(jù)基于對應(yīng)數(shù)據(jù)的關(guān)聯(lián)屬性進行賦值編號處理,通過數(shù)據(jù)集成處理構(gòu)建時序數(shù)據(jù)集的具體步驟如下:
12、s201、對數(shù)據(jù)庫中遍歷輸出數(shù)據(jù)進行對應(yīng)關(guān)聯(lián)數(shù)據(jù)提??;所述關(guān)聯(lián)數(shù)據(jù)為目標(biāo)數(shù)據(jù)的所屬領(lǐng)域數(shù)據(jù)、類型數(shù)據(jù)和存儲時間數(shù)據(jù);基于各數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)特征進行編號賦值,構(gòu)建各數(shù)據(jù)的特征索引編號;
13、s202、基于各數(shù)據(jù)的特征索引編號,分別基于數(shù)據(jù)所屬領(lǐng)域和類型進行分類處理;對處理后的各領(lǐng)域中對應(yīng)各類型數(shù)據(jù)進行時序集成處理,將同領(lǐng)域同類型數(shù)據(jù)進行集成統(tǒng)籌并構(gòu)建集合,針對集合中數(shù)據(jù)基于其存儲時間特征進行時序排列處理,構(gòu)建對應(yīng)領(lǐng)域?qū)?yīng)類型數(shù)據(jù)的時序數(shù)據(jù)集;其中所述時序排列處理為以各數(shù)據(jù)的存儲時間為對照分析對象,按照存儲時間的先后順序進行集合排序。
14、所述s300調(diào)取各時序數(shù)據(jù)集中對應(yīng)數(shù)據(jù)的調(diào)用記錄數(shù)據(jù)對各時序數(shù)據(jù)集中數(shù)據(jù)進行數(shù)據(jù)調(diào)用質(zhì)量分析;基于分析結(jié)果對各類型數(shù)據(jù)對應(yīng)時序數(shù)據(jù)集進行領(lǐng)域貢獻率分析,并結(jié)合分析數(shù)據(jù)對各領(lǐng)域數(shù)據(jù)進行關(guān)聯(lián)分析,獲取各領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈的具體步驟如下:
15、s301、基于各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)集,分別提取各時序數(shù)據(jù)集中各時間點數(shù)據(jù);分別對各提取數(shù)據(jù)進行調(diào)用記錄數(shù)據(jù)查詢;所述調(diào)用記錄為目標(biāo)數(shù)據(jù)存儲至數(shù)據(jù)庫對應(yīng)時間點至當(dāng)前實時時間,被調(diào)用時間和調(diào)用次數(shù);根據(jù)各目標(biāo)數(shù)據(jù)的調(diào)用數(shù)據(jù)對各目標(biāo)數(shù)據(jù)進行實時數(shù)據(jù)質(zhì)量評估,其分析公式為
16、
17、其中,dq(f,p,n)為對應(yīng)編號f領(lǐng)域,編號p類型,集合中編號n元素數(shù)據(jù)的實時數(shù)據(jù)質(zhì)量評估值;α和β為評估系數(shù);m(f,p,n)和h(f,p,n)分別為對應(yīng)編號f領(lǐng)域,編號p類型,集合中編號n元素數(shù)據(jù)的調(diào)用次數(shù)和調(diào)用時間;t為當(dāng)前實時時間;t(f,p,n)為對應(yīng)編號f領(lǐng)域,編號p類型,集合中編號n元素數(shù)據(jù)的入庫時間;
18、根據(jù)各時序數(shù)據(jù)集中各數(shù)據(jù)的實時數(shù)據(jù)質(zhì)量評估分析結(jié)果,對各類型對應(yīng)時序數(shù)據(jù)集合進行綜合類型數(shù)據(jù)質(zhì)量評估,其計算公式為
19、
20、其中,cq(f,p)為對應(yīng)編號f領(lǐng)域,編號p類型數(shù)據(jù)時序集合的綜合類型數(shù)據(jù)質(zhì)量評估值;基于對應(yīng)領(lǐng)域中各類型時序數(shù)據(jù)集的綜合類型數(shù)據(jù)質(zhì)量評估數(shù)據(jù),對當(dāng)前類型時序數(shù)據(jù)進行領(lǐng)域數(shù)據(jù)價值貢獻分析,其計算公式為
21、
22、其中,cv(f,p)為對應(yīng)編號f領(lǐng)域,編號p類型數(shù)據(jù)時序集合的領(lǐng)域數(shù)據(jù)價值貢獻值;a(f,p)為對應(yīng)編號f領(lǐng)域,編號p類型數(shù)據(jù)的領(lǐng)域貢獻影響比例;cq(f,p)max和cq(f,p)min分別為對應(yīng)編號f領(lǐng)域中各類型數(shù)據(jù)時序集合的綜合類型數(shù)據(jù)質(zhì)量評估值的最大值和最小值;
23、s302、結(jié)合各領(lǐng)域中對應(yīng)各類型數(shù)據(jù)的質(zhì)量評估數(shù)據(jù)和價值貢獻分析數(shù)據(jù),對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行關(guān)聯(lián)分析;分別對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行特征坐標(biāo)構(gòu)建,以對應(yīng)數(shù)據(jù)的領(lǐng)域身份特征指數(shù),類型身份特征指數(shù),對應(yīng)數(shù)據(jù)的實質(zhì)數(shù)據(jù)量和數(shù)據(jù)的入庫時間為維度數(shù)據(jù)構(gòu)建特征坐標(biāo);其中所述領(lǐng)域身份特征指數(shù),類型身份特征指數(shù)分別為對應(yīng)數(shù)據(jù)所屬領(lǐng)域和類型的身份特征代碼數(shù)據(jù),用于表示對應(yīng)領(lǐng)域和類型的身份信息;根據(jù)各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)的特征坐標(biāo)數(shù)據(jù),對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行遍歷關(guān)聯(lián)分析,其計算公式為
24、
25、其中,m1,m2為各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中遍歷的任意兩數(shù)據(jù);r(m1,m2)為數(shù)據(jù)m1和m2之間的數(shù)據(jù)關(guān)聯(lián)值;m1→cv(f,p)和m1→cq(f,p)分別為數(shù)據(jù)m1所對應(yīng)的數(shù)據(jù)時序集合的領(lǐng)域數(shù)據(jù)價值貢獻值和數(shù)據(jù)時序集合綜合類型數(shù)據(jù)質(zhì)量評估值;m2→cv(f,p)和m2→cq(f,p)分別為數(shù)據(jù)m2所對應(yīng)的數(shù)據(jù)時序集合的領(lǐng)域數(shù)據(jù)價值貢獻值和數(shù)據(jù)時序集合綜合類型數(shù)據(jù)質(zhì)量評估值;z(m1)和z(m2)分別為數(shù)據(jù)m1和m2對應(yīng)特征坐標(biāo)的衍生特征向量;其中,數(shù)據(jù)特征坐標(biāo)的衍生特征向量是通過以數(shù)據(jù)特征坐標(biāo)與坐標(biāo)原點進行構(gòu)建;向量之間的計算為向量點乘;
26、通過設(shè)置數(shù)據(jù)關(guān)聯(lián)閾值r(x),通過對比閾值對遍歷數(shù)據(jù)之間的關(guān)聯(lián)性進行判斷;若r(m1,m2)<r(x),則判斷當(dāng)前遍歷的兩數(shù)據(jù)為弱關(guān)聯(lián)性;若r(m1,m2)≥r(x),則判斷當(dāng)前遍歷的兩數(shù)據(jù)為強關(guān)聯(lián)性;根據(jù)判斷結(jié)果,通過完全遍歷數(shù)據(jù)并進行關(guān)聯(lián)性分析,將與目標(biāo)數(shù)據(jù)存在強關(guān)聯(lián)性的數(shù)據(jù)進行標(biāo)注提取,并通過關(guān)聯(lián)性分析結(jié)果,由強至弱依次進行數(shù)據(jù)鏈串聯(lián),構(gòu)建目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈。
27、所述s400根據(jù)領(lǐng)域數(shù)據(jù)關(guān)聯(lián)分析結(jié)果,對數(shù)據(jù)庫中對應(yīng)領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈進行構(gòu)建存儲并輸出的具體步驟如下:
28、s401、對數(shù)據(jù)庫中存儲數(shù)據(jù)的領(lǐng)域類型時序數(shù)據(jù)集合劃分及對應(yīng)數(shù)據(jù)時序集合的質(zhì)量評估和領(lǐng)域貢獻分析數(shù)據(jù)進行記錄存儲;
29、s402、將數(shù)據(jù)庫中各數(shù)據(jù)關(guān)聯(lián)分析結(jié)果及對應(yīng)關(guān)聯(lián)數(shù)據(jù)構(gòu)建的關(guān)聯(lián)數(shù)據(jù)鏈進行反饋輸出。
30、一種基于數(shù)據(jù)治理的數(shù)據(jù)資產(chǎn)管理評估系統(tǒng),所述系統(tǒng)包括數(shù)據(jù)訪問模塊、數(shù)據(jù)集構(gòu)建模塊、數(shù)據(jù)關(guān)聯(lián)評估模塊和數(shù)據(jù)輸出模塊;
31、所述數(shù)據(jù)訪問模塊利用權(quán)限管理端口對目標(biāo)數(shù)據(jù)庫進行訪問,通過架設(shè)數(shù)據(jù)調(diào)取通道對目標(biāo)數(shù)據(jù)庫儲存數(shù)據(jù)遍歷,并將遍歷數(shù)據(jù)進行輸出;所述數(shù)據(jù)集構(gòu)建模塊對數(shù)據(jù)庫遍歷輸出數(shù)據(jù)基于對應(yīng)數(shù)據(jù)的關(guān)聯(lián)屬性進行賦值編號處理,通過數(shù)據(jù)集成處理構(gòu)建時序數(shù)據(jù)集;所述數(shù)據(jù)關(guān)聯(lián)評估模塊調(diào)取各時序數(shù)據(jù)集中對應(yīng)數(shù)據(jù)的調(diào)用記錄數(shù)據(jù)對各時序數(shù)據(jù)集中數(shù)據(jù)進行數(shù)據(jù)調(diào)用質(zhì)量分析;基于分析結(jié)果對各類型數(shù)據(jù)對應(yīng)時序數(shù)據(jù)集進行領(lǐng)域貢獻率分析,并結(jié)合分析數(shù)據(jù)對各領(lǐng)域數(shù)據(jù)進行關(guān)聯(lián)分析,獲取各領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈;所述數(shù)據(jù)輸出模塊根據(jù)領(lǐng)域數(shù)據(jù)關(guān)聯(lián)分析結(jié)果,對數(shù)據(jù)庫中對應(yīng)領(lǐng)域數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈進行構(gòu)建存儲并輸出。
32、所述數(shù)據(jù)訪問模塊包括數(shù)據(jù)庫訪問單元和數(shù)據(jù)調(diào)取單元;
33、所述數(shù)據(jù)庫訪問單元通過目標(biāo)數(shù)據(jù)庫的訪問端口,利用權(quán)限管理員身份進行訪問,并對數(shù)據(jù)庫進行臨時數(shù)據(jù)調(diào)取通道構(gòu)建;
34、所述數(shù)據(jù)調(diào)取單元在數(shù)據(jù)庫中對存儲數(shù)據(jù)進行全遍歷,通過固定遍歷窗口對數(shù)據(jù)庫中存儲數(shù)據(jù)進行遍歷,直至將數(shù)據(jù)庫儲存數(shù)據(jù)進行完全遍歷,將遍歷數(shù)據(jù)進行輸出分析。
35、所述數(shù)據(jù)集構(gòu)建模塊包括數(shù)據(jù)處理單元和時序數(shù)據(jù)集構(gòu)建單元;
36、所述數(shù)據(jù)處理單元對數(shù)據(jù)庫中遍歷輸出數(shù)據(jù)進行對應(yīng)關(guān)聯(lián)數(shù)據(jù)提??;所述關(guān)聯(lián)數(shù)據(jù)為目標(biāo)數(shù)據(jù)的所屬領(lǐng)域數(shù)據(jù)、類型數(shù)據(jù)和存儲時間數(shù)據(jù);基于各數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)特征進行編號賦值,構(gòu)建各數(shù)據(jù)的特征索引編號;
37、所述時序數(shù)據(jù)集構(gòu)建單元基于各數(shù)據(jù)的特征索引編號,分別基于數(shù)據(jù)所屬領(lǐng)域和類型進行分類處理;對處理后的各領(lǐng)域中對應(yīng)各類型數(shù)據(jù)進行時序集成處理,將同領(lǐng)域同類型數(shù)據(jù)進行集成統(tǒng)籌并構(gòu)建集合,針對集合中數(shù)據(jù)基于其存儲時間特征進行時序排列處理,構(gòu)建對應(yīng)領(lǐng)域?qū)?yīng)類型數(shù)據(jù)的時序數(shù)據(jù)集。
38、所述數(shù)據(jù)關(guān)聯(lián)評估模塊包括數(shù)據(jù)綜合評估單元和數(shù)據(jù)關(guān)聯(lián)分析單元;
39、所述數(shù)據(jù)綜合評估單元基于各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)集,分別提取各時序數(shù)據(jù)集中各時間點數(shù)據(jù);分別對各提取數(shù)據(jù)進行調(diào)用記錄數(shù)據(jù)查詢;所述調(diào)用記錄為目標(biāo)數(shù)據(jù)存儲至數(shù)據(jù)庫對應(yīng)時間點至當(dāng)前實時時間,被調(diào)用時間和調(diào)用次數(shù);根據(jù)各目標(biāo)數(shù)據(jù)的調(diào)用數(shù)據(jù)對各目標(biāo)數(shù)據(jù)進行實時數(shù)據(jù)質(zhì)量評估;根據(jù)各時序數(shù)據(jù)集中各數(shù)據(jù)的實時數(shù)據(jù)質(zhì)量評估分析結(jié)果,對各類型對應(yīng)時序數(shù)據(jù)集合進行綜合類型數(shù)據(jù)質(zhì)量評估;基于對應(yīng)領(lǐng)域中各類型時序數(shù)據(jù)集的綜合類型數(shù)據(jù)質(zhì)量評估數(shù)據(jù),對當(dāng)前類型時序數(shù)據(jù)進行領(lǐng)域數(shù)據(jù)價值貢獻分析;
40、所述數(shù)據(jù)關(guān)聯(lián)分析單元結(jié)合各領(lǐng)域中對應(yīng)各類型數(shù)據(jù)的質(zhì)量評估數(shù)據(jù)和價值貢獻分析數(shù)據(jù),對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行關(guān)聯(lián)分析;分別對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行特征坐標(biāo)構(gòu)建,以對應(yīng)數(shù)據(jù)的領(lǐng)域身份特征指數(shù),類型身份特征指數(shù),對應(yīng)數(shù)據(jù)的實質(zhì)數(shù)據(jù)量和數(shù)據(jù)的入庫時間為維度數(shù)據(jù)構(gòu)建特征坐標(biāo);根據(jù)各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)的特征坐標(biāo)數(shù)據(jù),對各領(lǐng)域中對應(yīng)各類型時序數(shù)據(jù)中的數(shù)據(jù)進行遍歷關(guān)聯(lián)分析;通過設(shè)置數(shù)據(jù)關(guān)聯(lián)閾值,通過對比閾值對遍歷數(shù)據(jù)之間的關(guān)聯(lián)性進行判斷;根據(jù)判斷結(jié)果,通過完全遍歷數(shù)據(jù)并進行關(guān)聯(lián)性分析,并通過關(guān)聯(lián)性分析結(jié)果,構(gòu)建目標(biāo)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)鏈。
41、所述數(shù)據(jù)輸出模塊包括數(shù)據(jù)記錄單元和數(shù)據(jù)鏈輸出單元;
42、所述數(shù)據(jù)記錄單元對數(shù)據(jù)庫中存儲數(shù)據(jù)的領(lǐng)域類型時序數(shù)據(jù)集合劃分及對應(yīng)數(shù)據(jù)時序集合的質(zhì)量評估和領(lǐng)域貢獻分析數(shù)據(jù)進行記錄存儲;
43、所述數(shù)據(jù)鏈輸出單元將數(shù)據(jù)庫中各數(shù)據(jù)關(guān)聯(lián)分析結(jié)果及對應(yīng)關(guān)聯(lián)數(shù)據(jù)構(gòu)建的關(guān)聯(lián)數(shù)據(jù)鏈進行反饋輸出。
44、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
45、本發(fā)明通過串聯(lián)數(shù)據(jù)庫調(diào)取個人或企業(yè)數(shù)據(jù)庫存儲數(shù)據(jù),并通過系列數(shù)據(jù)處理方式對調(diào)取數(shù)據(jù)進行優(yōu)化分類構(gòu)建對應(yīng)的時序數(shù)據(jù)集合;基于時序數(shù)據(jù)集合對各數(shù)據(jù)進行實時數(shù)據(jù)質(zhì)量評估,并綜合判斷時序數(shù)據(jù)集合的綜合價值貢獻情況;結(jié)合各數(shù)據(jù)的質(zhì)量分析和價值貢獻分析對在數(shù)據(jù)庫中對任意數(shù)據(jù)進行關(guān)聯(lián)分析,并根據(jù)關(guān)聯(lián)分析結(jié)果實現(xiàn)對高關(guān)聯(lián)性數(shù)據(jù)進行數(shù)據(jù)串聯(lián)構(gòu)建關(guān)聯(lián)數(shù)據(jù)鏈;本發(fā)明能夠有效分析數(shù)據(jù)庫中各數(shù)據(jù)的實時價值狀態(tài),并基于各數(shù)據(jù)的價值狀態(tài)進行關(guān)聯(lián)結(jié)合,自主智能化地對相關(guān)數(shù)據(jù)進行有效的串聯(lián)輸出,較大的提高了數(shù)據(jù)的利用效率,并通過關(guān)聯(lián)數(shù)據(jù)鏈提高了各數(shù)據(jù)串聯(lián)數(shù)據(jù)使用價值。