基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)依賴關系分析的方法，在OPM基礎上，建立數(shù)據(jù)起源依賴關系分析模型，具體給出數(shù)據(jù)起源依賴關系和數(shù)據(jù)依賴關系，利用細化操作和合成操作具體分析數(shù)據(jù)依賴關系，其特征在于，包括以下步驟：（1）建立一種數(shù)據(jù)起源依賴關系分析模型，具體給出數(shù)據(jù)起源依賴關系和數(shù)據(jù)依賴關系，以及該模型中相關操作；（2）基于數(shù)據(jù)起源依賴關系分析模型，設計一種數(shù)據(jù)依賴關系分析方法；（3）基于規(guī)則，重點設計數(shù)據(jù)依賴分析細化、合成算法。采用本發(fā)明的模型及方法，充分考慮了數(shù)據(jù)起源語義完備和存儲空間節(jié)約需求，實現(xiàn)了不同抽象級別數(shù)據(jù)起源分析，很好滿足了不同用戶對于數(shù)據(jù)起源的個性化追蹤，有很好的轉化前景。
【專利說明】基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法
【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)管理【技術領域】，更具體的講，涉及到數(shù)據(jù)起源、工作流、依賴關系、語義等【技術領域】，提出了一種基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，具體完成數(shù)據(jù)起源依賴關系和數(shù)據(jù)起源依賴關系分析模型定義，利用細化操作和合成操作分析依賴關系。
【背景技術】
[0002]數(shù)據(jù)起源(DataProvenance, Data Lineage, Data Pedigree, Data Derivation)又稱為數(shù)據(jù)血統(tǒng)、數(shù)據(jù)血緣、數(shù)據(jù)世系、數(shù)據(jù)譜系、數(shù)據(jù)來源等。數(shù)據(jù)起源是對數(shù)據(jù)處理的整個歷史信息，包括數(shù)據(jù)的來源和處理這些數(shù)據(jù)的所有后繼過程(數(shù)據(jù)產(chǎn)生、并隨著時間推移而演變的整個過程)。
[0003]數(shù)據(jù)起源依賴關系實質(zhì)上就是數(shù)據(jù)起源的語義信息。在抽象級別上，數(shù)據(jù)起源是一種依賴關系，描述數(shù)據(jù)產(chǎn)品是如何得到的，相關的數(shù)據(jù)和過程的作用是什么，角色是什么。依賴關系的研究需要很強的語義基礎支撐，所以，數(shù)據(jù)起源信息需要清晰的形式化描述，定義追蹤操作的語義，增強數(shù)據(jù)起源依賴分析和推理能力。
[0004]目前，數(shù)據(jù)起源依賴關系分析的主流模型之一為OPM (The Open ProvenanceModel)，0PM是社區(qū)驅動的數(shù)據(jù)起源模型，支持起源技術的互操作。OPM基于有向無環(huán)圖，表示數(shù)據(jù)產(chǎn)品和計算中關聯(lián)的過程，以及他們之間的因果依賴關系。
[0005]本發(fā)明基于標注的數(shù)據(jù)起源語義信息，對OPM進行細化，提出一種基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，主要建立數(shù)據(jù)起源依賴關系分析模型，利用交、并、細化以及合成操作，進一步分析依賴關系，并且設計了一套規(guī)則，給出了數(shù)據(jù)依賴圖的構造、細化以及合成算法，滿足不同用戶對于不同抽象層次數(shù)據(jù)起源信息查詢的需求。

【發(fā)明內(nèi)容】

[0006]發(fā)明目的:為了解決數(shù)據(jù)起源依賴關系分析的問題，本發(fā)明的目的在于提出一種供數(shù)據(jù)依賴分析的方法，給出數(shù)據(jù)起源依賴關系以及數(shù)據(jù)起源依賴關系分析模型，基于該模型，設計了一種數(shù)據(jù)依賴分析的方法，具體包括一系列規(guī)則的設計，以及數(shù)據(jù)依賴圖構造、細化及合成算法的構建，從而滿足不同抽象級別、不同信息類別的數(shù)據(jù)起源信息需求。
[0007]技術方案:一種基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，包括如下內(nèi)容:
[0008]數(shù)據(jù)起源依賴關系概念:
[0009]數(shù)據(jù)起源依賴關系在本質(zhì)上是數(shù)據(jù)起源的語義信息，可以分為數(shù)據(jù)依賴關系、過程依賴關系和控制依賴關系。本發(fā)明參照0ΡΜ，給出數(shù)據(jù)起源依賴關系定義及其性質(zhì)。
[0010]定義I數(shù)據(jù)起源依賴關系定義為一個5元組DP_Dependency=(Data_Set,Process_Set， Data_Data_Dependency， Data_Process_Dependency, Process_Data_Dependency,Process—Process—Dependency)，其中[0011] Data—Set是數(shù)據(jù)的集合；
[0012] Process—Set 是過程的集合；
[0013] Data—Data—Dependency:Data—Set — Data—Set，是數(shù)據(jù)到數(shù)據(jù)的映射關系，稱為數(shù)據(jù)依賴關系；
[0014] Data—Process—Dependency:Data—Set — Process—Set，是數(shù)據(jù)到過程的映射關系，稱為過程對數(shù)據(jù)依賴關系，即過程依賴于數(shù)據(jù)，數(shù)據(jù)是過程的輸入；
[0015] Process—Data—Dependency !Process—Set — Data—Set，是過程到數(shù)據(jù)的映射關系，稱為數(shù)據(jù)對過程依賴關系，即數(shù)據(jù)依賴于過程，數(shù)據(jù)是過程的輸出；
[0016] Process—Process—Dependency !Process—Set — Process—Set，是過程到過程的映射關系，稱為過程依賴關系；
[0017] 過程對數(shù)據(jù)依賴關系和數(shù)據(jù)對過程依賴關系統(tǒng)稱為控制依賴關系。
[0018]定理I數(shù)據(jù)依賴關系具有傳遞性
[0019]如果Dl，D2, D3 ^ Data—Set，滿足 D2:Data—Data—Dependency (Dl)，D3:Data_Data—Dependency (D2)，則 D3:Data—Data—Dependency (Dl)成立，數(shù)據(jù)依賴關系滿足傳遞性。
[0020]定理2控制依賴關系具有傳遞性
[0021]如果Dl，D2 G Data—Set，PI, P2 ^ Process—Set，滿足下列情況之一的，控制依賴關系滿足傳遞性:
[0022] 滿足 Dl:Data—Process—Dependency (PD, P2 !Process—Process—Dependency(Pl)JJDl:Data—Process—Dependency (P2)；
[0023] 滿足 D2:Data—Data—Dependency (D1)，D1:Data—Process—Dependency (Pl)，則D2:Data—Process—Dependency (Pl)；
[0024] 滿足 Dl !Process—Data—Dependency (P2)，P2 !Process—Process—Dependency(Pl)JUDl !Process—Data—Dependency (Pl)；
[0025] 滿足 D2:Data—Data—Dependency (D1)，D1 !Process—Data—Dependency (Pl)，則D2 !Process—Data—Dependency (Pl)。
[0026]定理3過程依賴關系具有傳遞性
[0027]如果P1，P2，P3 ^ Process—Set，滿足 P2 !Process—Process—Dependency (Pl )，P3:Process—Process—Dependency (P2)，則 P3 !Process—Process—Dependency (Pl)，稱過程依賴關系滿足傳遞性。
[0028]定理4數(shù)據(jù)依賴關系不具有自反性和對稱性。
[0029]根據(jù)數(shù)據(jù)起源依賴關系的定義，數(shù)據(jù)依賴關系、過程依賴關系和控制依賴關系都不會依賴于本身，都不滿足自反性。同樣，數(shù)據(jù)依賴關系、過程依賴關系和控制依賴關系都不滿足對稱性。
[0030]如果將定義的數(shù)據(jù)起源依賴關系釆用圖的方式描述，則點表示數(shù)據(jù)或過程，邊表示依賴關系。WasGeneratedBy和Used表示的是控制依賴關系，WasDerivedFrom表示的是數(shù)據(jù)依賴關系，WasInformedBy表示的是過程依賴關系。
[0031]數(shù)據(jù)起源依賴關系分析模型:
[0032]本發(fā)明設計的一種數(shù)據(jù)起源依賴關系分析模型，是為了滿足用戶對數(shù)據(jù)起源的信息查詢服務，以標注的數(shù)據(jù)起源信息為基礎，提供清晰的描述數(shù)據(jù)產(chǎn)品對于其他數(shù)據(jù)、過程的依賴信息，滿足不同用戶的基于不同應用主題、不同抽象層次需求的數(shù)據(jù)起源應用功能，包含以下功能層:
[0033](I)數(shù)據(jù)起源依賴關系層:基于標注的數(shù)據(jù)起源信息，主要包括數(shù)據(jù)依賴、過程依賴以及控制依賴這三類數(shù)據(jù)起源依賴關系；
[0034](2)依賴關系操作層:基于數(shù)據(jù)起源依賴關系層，對數(shù)據(jù)依賴、過程依賴、控制依賴這三種依賴關系進行更具體的操作，主要為交、并、細化以及合成操作；
[0035](3)依賴關系視圖層:根據(jù)依賴關系操作層對依賴關系的細化或者合成的具體操作，也可以根據(jù)用戶指定的關注數(shù)據(jù)或過程進行的細化或者合成操作，為用戶提供不同抽象級別、不同信息類別的依賴關系視圖或基于用戶關注點的依賴關系視圖。
[0036]基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法:
[0037]基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析的方法，針對基本流程以及依賴關系，設計了一套規(guī)則，基于規(guī)則，設計了一種數(shù)據(jù)依賴分析的方法，該方法主要包括以下
三類方法:
[0038](I)數(shù)據(jù)依賴圖的構造:基于設計的一系列構造規(guī)則，設計了用于數(shù)據(jù)依賴圖的構
造算法;
[0039](2)數(shù)據(jù)依賴圖的細化:基于基本流程及依賴關系，設計了一系列細化規(guī)則，并且以此規(guī)則，建立了數(shù)據(jù)依賴圖的細化算法；數(shù)據(jù)依賴圖細化算法，采用每兩個結點進行比較的思路，假設有η個結點的數(shù)據(jù)依賴圖Dep_Graph，則對兩個結點的依賴關系進行細化；當Dep_Graph每兩個結點都有邊的情況下，是需要計算最多的時候；而在這種情況下，算法的復雜情況是(n_l)+(n_2)+…+2+l=n`(n_l)/2,所以算法的復雜度是O (η2)；
[0040](3)數(shù)據(jù)依賴圖的合成:基于基本流程及依賴關系，構造了一套合成規(guī)則，并在此基礎上，設計了數(shù)據(jù)依賴圖的合成算法。數(shù)據(jù)依賴圖合成算法，采用廣度優(yōu)先搜索來搜索到每一個結點的相鄰結點，進行是否是二分圖判斷，根據(jù)判斷的三種情況分別進行完全依賴合成、部分依賴合成和不合成處理。算法的復雜度由廣度優(yōu)先搜索、二分圖判斷和合成處理三部分組成。如果在一個圖中得到最優(yōu)的數(shù)據(jù)依賴的合成，即得到最大的二分圖，那么復雜度是NP-hard的。如果采用只是對一個結點搜索相鄰結點，然后進行判斷處理的方式，則算法的復雜度是多項式級別的。
[0041]有益效果:實驗表明，本發(fā)明提出的基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，依據(jù)數(shù)據(jù)依賴關系分析，利用細化或合成操作，可以查看數(shù)據(jù)起源追蹤的不同視圖，滿足用戶不同起源信息的需求，具有較完備的語義、較低的存儲和較低的算法復雜度，可以滿足不同用戶對于不同抽象層次數(shù)據(jù)起源信息查詢的需求。
【專利附圖】

【附圖說明】
[0042]圖1為數(shù)據(jù)起源依賴關系分析模型；
[0043]圖2為控制依賴圖實例；
[0044]圖3為根據(jù)圖2得到的數(shù)據(jù)依賴圖；
[0045]圖4為存儲耗費比較。【具體實施方式】
[0046]下面結合具體實施例，進一步闡明本發(fā)明，應理解這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領域技術人員對本發(fā)明的各種等價形式的修改均落于本申請所附權利要求所限定的范圍。
[0047]數(shù)據(jù)起源依賴關系分析模型
[0048]圖1為本發(fā)明提出的數(shù)據(jù)起源依賴關系分析模型，對該模型中的數(shù)據(jù)依賴相關的概念作如下定義闡述。
[0049]定義2數(shù)據(jù)依賴對于一個給定的源數(shù)據(jù)Source_Data,存在依賴序列S= <Source_Data, D1, D2,...Dn, Sink_Data > ,滿足:
[0050] Source—Data，D1, D2, eeeDnj Sink—Data ^ Data—Set ；
[0051] 有 eQ，e”...，en e Data—Data—Dependency，efData—Data—Dependency (Θη)，0 < i < n。
[0052]則s為Source—Data的一個數(shù)據(jù)依賴，即Source—Data由Sink—Data演化而來。
[0053]定義3完全數(shù)據(jù)依賴對于給定的數(shù)據(jù)Source—Data和Sink—Data，Source—Data數(shù)據(jù)依賴于 Sink—Data，Source—Data= U1,…，Ij，Sink—Data= IO1,…，0m}，如果 O1,…，Om — Ii, i < n，則I1,…，In完全依賴于O1,…，0m，即Source—Data完全數(shù)據(jù)依賴于Sink—


f
Data，記作Oata—> Sink—Data?
[0054]定義4部分數(shù)據(jù)依賴對于給定的數(shù)據(jù)Source—Data和Sink—Data，Source—Data 數(shù)據(jù)依賴于 Sink—Data，Source—Data= U1,…，Ij，SinkJlata=IO1,…，0m}，如果Oi — Ijj i < m，j < n，則 Source—Data 的一項數(shù)據(jù)依賴于 Sink—Data 的一項，稱 Source—
Data部分數(shù)據(jù)依賴于Sink—Data，記作


Source—Data— Sink—Datoe
[0055]定義5操作并DP—D印1、DP—Dep2是兩個數(shù)據(jù)起源依賴關系圖，定義DP—D印I和DP—Dep2的并集，記為DP—Depl U DP—Dep2，具體如下:
[0056] Data—SetDP—Depl u DP—Dep2=Data—SetDP—Depl U Data—SetDP—Dep2
[0057] Process—SetDP-Depl UDP-Dep2=PiOcess—SetDP-Depl U Process—SetDP-Dep2
[0058] Data—Data—DependencyDP—Depl U DP-Dep2=Data—Data—Dependency DP-Depl u Data—Data—DependencyDP-Dep2
[0059] Data—Process—DependencyDP-Depl u DP-Dep2=Data—Process—DependencyDP-Depl U Data—Process—DependencyDP—Dep2
[0060] Process—Data—DependencyDP-Depl u DP-Dep2=Process—Data—DependencyDP-Depl U Process—Data—DependencyDP—Dep2
[0061] Process—Process—DependencyDP—Depl u DP—Dep2=Process—Process—DependencyDP—Depl U Process—Process—Dependency DP—Dep2
[0062]定義6操作交DP—D印1、DP—Dep2是兩個數(shù)據(jù)起源依賴關系圖，定義DP—D印I和DP—Dep2的交集，記為DP—Depl H DP—Dep2，具體如下:
[0063] Data—SetDP-Depl n DP-Dep2=Data—SetDP-Depl Π Data—SetDP-Dep2
[0064] Process—SetDP-Depl nDP-Dep2=PiOcess—SetDP-Depl Π Process—SetDP-Dep2Data—Data—DependencyDP—Depl n DP—Dep2=Data—Data—Dependency DP-Depl n Data—
【權利要求】
1.一種基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，其特征在于，包括以下步驟: 1)建立數(shù)據(jù)起源依賴關系分析模型； 2)設計數(shù)據(jù)依賴分析方法； 所述步驟I)所建立的數(shù)據(jù)起源依賴關系分析模型，以數(shù)據(jù)起源信息為基礎，提供清晰的描述數(shù)據(jù)產(chǎn)品對于其他數(shù)據(jù)、過程的依賴信息，滿足數(shù)據(jù)起源追蹤深層次的分析需求，滿足不同用戶的基于不同應用主題、不同抽象層次需求的數(shù)據(jù)起源應用功能，包括數(shù)據(jù)起源查詢和推理，數(shù)據(jù)可信性、數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量的判斷分析，數(shù)據(jù)集成和數(shù)據(jù)起源可視化，該模型由數(shù)據(jù)起源依賴關系、依賴關系操作和依賴關系視圖三個層次組成，進一步包含以下步驟: 11)在數(shù)據(jù)起源依賴關系層，具體分為數(shù)據(jù)依賴、過程依賴和控制依賴三種類型； 12)在依賴關系操作層，對于11)所述的三種類型的依賴關系通過交、并、細化和合成操作進行計算； 13)在依賴關系視圖層，根據(jù)12)的計算，得到基于不同抽象級別或不同信息類別的依賴關系視圖；也可以根據(jù)用戶指定的關注點進行細化和合成操作，得到基于用戶關注點的依賴關系視圖； 所述步驟2)的數(shù)據(jù)依賴分析方法，是基于數(shù)據(jù)起源依賴關系分析模型，依據(jù)面向過程標注的數(shù)據(jù)起源信息，包含了數(shù)據(jù)依賴圖的構造、細化和合成這三類方法: 21)數(shù)據(jù)依賴圖的構造:從基本流程的構成角度，設計了相應的規(guī)則用于數(shù)據(jù)依賴圖的構造，并給出了數(shù)據(jù)依賴圖構造的具體算法； 22)數(shù)據(jù)依賴圖的細化:從基本流程的構成和完全、部分依賴角度，設計了相應的規(guī)則用于數(shù)據(jù)依賴圖的細化，并且給出了數(shù)據(jù)依賴圖細化的具體算法； 23)數(shù)據(jù)依賴圖的合成:從基本流程的構成和完全、部分依賴角度，設計了相應的規(guī)則用于數(shù)據(jù)依賴圖的合成，并且給出了數(shù)據(jù)依賴圖合成的具體算法。
2.根據(jù)權利要求1所述的基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，其特征在于，步驟22)所設計的數(shù)據(jù)依賴圖細化算法，采用每兩個結點進行比較的思路，假設有η個結點的數(shù)據(jù)依賴圖Dep_Graph，則對兩個結點的依賴關系進行細化。
3.根據(jù)權利要求1所述的基于數(shù)據(jù)起源依賴關系分析模型的數(shù)據(jù)依賴分析方法，其特征在于，步驟23)所設計的數(shù)據(jù)依賴圖合成算法，采用廣度優(yōu)先搜索來搜索到每一個結點的相鄰結點，進行是否是二分圖判斷，根據(jù)判斷的三種情況分別進行完全依賴合成、部分依賴合成和不合成處理。
【文檔編號】G06F17/30GK103823885SQ201410082707
【公開日】2014年5月28日 申請日期:2014年3月7日 優(yōu)先權日:2014年3月7日
【發(fā)明者】許國艷, 王志堅, 楊莉 申請人:河海大學