大量數(shù)據(jù)關系的表示的制作方法
【技術領域】
[0001] 本發(fā)明涉及一種表示大量數(shù)據(jù)關系的方法，更具體地，涉及一種利用屬性超圖 (AHG)表示數(shù)據(jù)事件之間的大量數(shù)據(jù)關系的方法，從而以有效的方式存儲和檢索該大量的 數(shù)據(jù)關系，以用于分析。
【背景技術】
[0002] 對于大多數(shù)AI應用，包括機器學習、數(shù)據(jù)庫中的知識發(fā)掘（knowledgediscovery fromdatabases,KDD)以及大數(shù)據(jù)分析，對知識表達的選擇是一項困難的任務。由W.A.伍 茲于 1983 年 10 月在Computer，16(0)發(fā)表的題為 "What'simportantaboutknowledge representation"的文章中（下文用"伍茲"表示）提出應該使用兩個衡量標準去評價知識 表達的性能，即表達充分性和計數(shù)效率；并且基本作為模式存儲、檢索和操作的范式。
[0003] 在數(shù)據(jù)挖掘，或者數(shù)據(jù)庫中的知識發(fā)掘中，尤其是在大數(shù)據(jù)時代中，數(shù)據(jù)事件關系 形式的大量模式需要被合適表達，表達形式應適于KDD系統(tǒng)用戶實現(xiàn)目標。由于涉及到該 系統(tǒng)的目標通常定義模糊并且隨時間變化，因此數(shù)據(jù)和數(shù)據(jù)關系表示對于KDD系統(tǒng)而言要 比傳統(tǒng)的事物處理系統(tǒng)更重要。除了伍茲提出的要求外，還需要考慮其他方面。首先，表示 方案應該提供簡單知識重組機制，或者將焦點集中于某部分知識，從而實現(xiàn)變化的目標。第 二，該表示方案應該是可擴展的，并且支持大量關系的快速查詢和檢索。由于現(xiàn)實世界中的 數(shù)據(jù)通常包含噪聲和不確定性，因此從KDD系統(tǒng)中提取的模式通常是概率性的。除邏輯基 準之外，該表示還應該支持數(shù)字基準。最后，由于從大數(shù)據(jù)庫中檢測的模式可能是不同階 的，并且由于低階關系不能夠生成高階模式，因此需要清楚地表示不同階的模式。進一步的 信息提供于A.K.C.黃（Wong)和Y.王在1995年于溫哥華.BC.加拿大發(fā)表在Proc.OfThe 1995IEEEInt'lConf.OnSMC，第二卷，第 1142-1148 頁的題為"Discoveryofhighorder patterns" 的文章。
[0004] 這些年來，已經(jīng)出現(xiàn)多種數(shù)據(jù)關系的表示方案。最受歡迎的一種為E.F.科德發(fā) 表于CommunicationoftheACM，13 (6) : 377-387,1970 的題為"Arelationalmodelof dataforlargeshareddatabanks"的文章中提出的數(shù)據(jù)關系模型，該關系模型形成了關 系型數(shù)據(jù)庫實現(xiàn)的基礎。盡管關系模型對于事務處理有效且廣泛適用，但是眾所周知，它在 數(shù)據(jù)分析中效率低下。關于此的進一步細節(jié)可見于J.V.霍曼和P.J.科瓦奇發(fā)表于Issues inInformationSystem，X(l):208_213,2009 的題為"Acomparisonoftherelational databasemodelandassociativedatabasemodel" 的文章；以及由D.克倫克所著的書 籍"DatabaseProcessing:fundamentalsandimplementation'，，PrenticeHall，第 7 版， 2000(下文用"克倫克"表示）中的選錄。
[0005] 關系數(shù)據(jù)模型需要提前進行結構設計，并且嚴重依賴操作問題領域的知識（例 如索引和鍵約束）。除了關系數(shù)據(jù)模型，還存在其他表示數(shù)據(jù)及數(shù)據(jù)關系的概念，尤其用 于支持數(shù)據(jù)分析（而非事務處理），例如由D.C.Tsichritzis和F.H.Lochovsky在ACM ComputingSurveys，8(l) :15-123 發(fā)表于 1976 年 3 月的題為"Hierachicaldata-base management:Asurvy"的文章中描述的層級模型；由R.盤格魯和C.古鐵雷斯于2008年 2 月在ACMComputingSurveys，40(l) :1-1:39 發(fā)表的題為"Survyofgraphdatabase models"（下文用"盎格魯"表示）的文章中描述的網(wǎng)絡/圖形模型；并且尤其用于知識管 理、規(guī)則模型和邏輯模型。
[0006] 層級數(shù)據(jù)模型將數(shù)據(jù)組織為樹形結構。數(shù)據(jù)被存儲為彼此通過鏈接連接的記錄。 它使每個子記錄僅具有一個根源，而每個父記錄可以具有一個或多個子記錄。為了檢索數(shù) 據(jù)，需要遍歷整個樹。就其本質而言，樹僅將第一階關系直接表示為父子鏈接。
[0007] 可以將樹看作特殊形式的圖形。圖形表示，如貝葉斯和馬爾科夫網(wǎng)絡，以及源自 定向圖的數(shù)據(jù)模型（見盎格魯），通常提供更通用的方法來表示模型。它們直接通過鏈接 表示兩個節(jié)點之間的第一階關聯(lián)。然而，如泊爾發(fā)表的文章ProbalilisticReasoningin IntelligentSystems:NetworksofPlausibleInference，摩根考夫曼，1988 的文章（下 文用"珀爾"表示）觀察到的，包括樹和網(wǎng)絡在內的基于圖形的表示不能夠區(qū)分集合連通性 和其元素間連通性。因此，它們不夠通用，不足以表示不同階的模型。
[0008] 生產式（如果-那么）規(guī)則是廣泛應用于專家系統(tǒng)和面向分類任務的另一方案。 它明確表示了一組觀察（左手先導）和一個屬性值（右手結果）之間的關聯(lián)。規(guī)則被認為 比樹更容易理解。然而，在KDD應用中，隨著每個興趣的變化，必須要預測不同屬性的值。此 外，需要獲得大量的規(guī)則。這在現(xiàn)實世界中有時是不現(xiàn)實的。見A.K.C.黃（Wong)和Y.王在 IEEETrans.OnKnowledgeandDataEngineering，9 (6): 877-893,1997 發(fā)表的文章"High orderpatterndiscoveryfromdiscrete-valueddata"。在這種情況下，我們需要一種 可以容易地為該系統(tǒng)的不同目標重組表示知識的方案。
[0009] 除基于屬性（命題）的表示以外，如霍恩子句（概述見克倫克）的關系表示和一階 邏輯也用于學習系統(tǒng)。S.馬格爾頓在"InductiveLogicProgramming"，學術出版社，1992 中提供了概述。它們是非常有力并具表現(xiàn)力的形式體系。因為它們起初被設計用于形式化 數(shù)學推理，并在之后用于邏輯編程，因此其中的模式是確定性的，而非概率性的。為了做概 率性推理，必須采用特殊形式。該問題還存在于結構表達中，如語義網(wǎng)絡。此外，基于邏輯 的表示被認為比基于圖形的表示更加不容易理解，并且更難以可視化。

【發(fā)明內容】

[0010] 本發(fā)明實施例的一個目的在于表示框架內的定性和定量數(shù)據(jù)關系，用于數(shù)據(jù)存 儲、操作和檢索，以支持涉及大量或非常大量數(shù)據(jù)的分析和建模。
[0011] 本發(fā)明的進一步的目的包括提供：
[0012] 1.數(shù)據(jù)關系的新的數(shù)據(jù)/知識表示方案；
[0013] 2.可以編碼定性和定量模式并且易于訪問以分析和建模的知識和數(shù)據(jù)關系表示 語言；以及
[0014] 3.消除現(xiàn)有數(shù)據(jù)庫模型中的缺點，即在表示復雜關系中的不夠通用、過多數(shù)據(jù)冗 余以及分析和建模效率低。
[0015] 通過下文的描述，本發(fā)明的實施例的其他目的和進一步的應用范圍會更加明顯； 然而應該注意的是，由于在詳細說明的基礎上，在本發(fā)明保護范圍內作出多種變化和改進 對于本領域技術人員是明顯的，因此詳細的說明表示本發(fā)明的具代表性或者優(yōu)選實施例， 僅作描述目的。
[0016] 為了實現(xiàn)上述目的，提供下述方案，作為新的數(shù)據(jù)關系表示模型的部分：
[0017] 1.基于屬性超圖（AHG)的表示語言，該表示語言足夠通用，以在多個抽象級別上 編碼信息，并且足夠簡單，以量化其組織結構的信息內容。
[0018] 2.用于操作數(shù)據(jù)關系的對屬性超圖數(shù)據(jù)模型的操作，包括構建、更新、檢索、刪除 以及其他域特定功能。
[0019] 3.設計并執(zhí)行數(shù)據(jù)管理系統(tǒng)以存儲數(shù)據(jù)關系，用于深度分析和建模的基礎。
[0020] 本發(fā)明因其通用性、多功能性、有效性及靈活性而非常適于存儲和檢索大量數(shù)據(jù) 關系產品。本發(fā)明自然支持數(shù)據(jù)分析和建模。在需要數(shù)據(jù)分析的數(shù)據(jù)和知識管理、數(shù)據(jù)挖 掘、統(tǒng)計建模、機器學習和其他領域具有明顯應用。
[0021] 根據(jù)本發(fā)明的第一個方面，提供了一種利用數(shù)據(jù)關系表示大量數(shù)據(jù)的方法。該方 法包括以下步驟：提供具有多個數(shù)據(jù)事件、該多個數(shù)據(jù)事件之間的多個數(shù)據(jù)關系，以及該數(shù) 據(jù)事件和數(shù)據(jù)關系的性質的數(shù)據(jù)集合；數(shù)據(jù)集合由數(shù)據(jù)源生成，滿足無論在多個超邊中是 否存在統(tǒng)計模式，該數(shù)據(jù)源中的所有數(shù)據(jù)事件被收集；將該多個數(shù)據(jù)事件表示為頂點；將 該多個數(shù)據(jù)關系表示為超邊；并將該數(shù)據(jù)事件和數(shù)據(jù)關系的性質表示為分別與該頂點或超 邊相關的屬性。
[0022] 根據(jù)本發(fā)明的第二個方面，提供了一種含有利用數(shù)據(jù)關系表示大量數(shù)據(jù)的程序代 碼的計算機可讀介質。該程序代碼執(zhí)行以下步驟：提供具有多個數(shù)據(jù)事件、該多個數(shù)據(jù)事件 之間的多個數(shù)據(jù)關系，以及該數(shù)據(jù)事件和數(shù)據(jù)關系的性質的數(shù)據(jù)集合；數(shù)據(jù)集合由數(shù)據(jù)源 生成，滿足無論在多個超邊中是否存在統(tǒng)計模式，該數(shù)據(jù)源中的所有數(shù)據(jù)事件被收集；將該 多