數(shù)據(jù)處理方法、知識庫推理方法及相關(guān)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更為具體而言，涉及一種應(yīng)用于知識庫推理的數(shù)據(jù)處理方法、知識庫推理方法及相關(guān)裝置。
【背景技術(shù)】
[0002]知識庫中的知識分為兩類:本體(ontology)和事實(fact)。采用三元組表示為(主體(subject)，謂詞(predicate)，客體(object))，簡寫為(S，ρ, O)。其中事實指的是對現(xiàn)實世界或虛擬世界中的一個基本的描述，如“姚明的妻子是葉莉”可以用一個三元組表示為(姚明，妻子，葉莉)。而本體是對事實的抽象，包括概念、屬性、概念之間的關(guān)系、屬性之間的關(guān)系、以及對概念和屬性的約束。如定義概念“人”、“運(yùn)動員”，定義屬性“妻子”、“丈夫”，定義概念之間的關(guān)系(運(yùn)動員，子類(subClassOf)，人)，定義屬性之間的關(guān)系(妻子，互逆(inverseOf)，丈夫)。
[0003]知識庫推理是指基于知識庫中已有的知識和知識描述語言的語義或規(guī)則通過程序自動生成知識庫中沒有明確表述的新事實。以圖1所示，用陰影橢圓表示概念，用透明橢圓表示實例，用箭頭表示屬性，則根據(jù)推理規(guī)則“(？ a，實例，？ x)，(？ x,子類，？y) — ( ? a，實例，？ y) ” 和 “(？ a, ? p, ? b)，( ？ P，互逆，？ q) — ( ? b, ? q, ?a) ”推理出新事實如新增箭頭所示。
[0004]現(xiàn)有的知識庫推理方法一般基于分布式編程框架Hadoop。Hadoop采用MapReduce編程模型，該模型的處理流程主要包括兩個階段，首先，在Map (映射)階段數(shù)據(jù)被分割到不同的Map節(jié)點上，并在這些節(jié)點上運(yùn)行Hadoop用戶實現(xiàn)的Map函數(shù)并輸出key-value對，然后將Map函數(shù)的輸出結(jié)果根據(jù)key排序、合并，并且通過局域網(wǎng)將key相同的所有key-value傳輸?shù)酵粋€計算節(jié)點。在Reduce (歸約)階段，這些收到數(shù)據(jù)的節(jié)點執(zhí)行Hadoop用戶實現(xiàn)的Reduce函數(shù)，并輸出結(jié)果到硬盤。一種具體的執(zhí)行流程如圖2所示。
[0005]現(xiàn)有的基于Hadoop的知識庫推理技術(shù)，例如，面向表達(dá)能力有限的RDFS和OWL規(guī)則集的推理引擎，其所有規(guī)則都是硬編碼到推理引擎中。這樣的知識庫推理技術(shù)無法根據(jù)需要實現(xiàn)推理語義的擴(kuò)展，并且在規(guī)則的調(diào)度方面也是固定的，無法根據(jù)規(guī)則/規(guī)則集的變化而優(yōu)化規(guī)則的調(diào)度順序。因此，現(xiàn)有的知識庫推理技術(shù)的適用范圍小、靈活性差且推理效率低。
[0006]此外，現(xiàn)有的知識庫推理技術(shù)容易出現(xiàn)內(nèi)存不足、硬盤開銷大等問題，這些問題同樣會導(dǎo)致推理效率降低。

【發(fā)明內(nèi)容】

[0007]為了解決現(xiàn)有的知識庫推理技術(shù)所存在的缺陷，本發(fā)明實施例提供一種數(shù)據(jù)處理方法、知識庫推理方法及相關(guān)裝置，能夠提高知識庫推理技術(shù)的適用場景和靈活性、提高規(guī)則執(zhí)行的效率以及整體的推理性能。
[0008]第一方面，本發(fā)明實施例提供了一種應(yīng)用于知識庫推理的數(shù)據(jù)處理方法，包括:
[0009]采用以下方式得到用于確定在知識庫推理過程中各規(guī)則的調(diào)度順序的規(guī)則依賴關(guān)系:
[0010]從所述知識庫中選取數(shù)據(jù)構(gòu)成第一數(shù)據(jù)集；
[0011]根據(jù)所述知識庫的規(guī)則對所述第一數(shù)據(jù)集進(jìn)行推理；
[0012]根據(jù)各規(guī)則的推理結(jié)果及對應(yīng)的輸入數(shù)據(jù)確定所述規(guī)則依賴關(guān)系。
[0013]可選地，在本發(fā)明實施例的一種實現(xiàn)方式中，所述根據(jù)各規(guī)則的推理結(jié)果及對應(yīng)的輸入數(shù)據(jù)確定所述規(guī)則依賴關(guān)系，包括:將各規(guī)則的推理結(jié)果與其它規(guī)則的條件進(jìn)行匹配判斷；如果第一規(guī)則的推理結(jié)果與第二規(guī)則的條件匹配，則在構(gòu)建的用于表示所述規(guī)則依賴關(guān)系的有向無環(huán)圖中建立從所述第一規(guī)則指向所述第二規(guī)則的邊；其中，所述第一規(guī)則和所述第二規(guī)則用于表示所述知識庫的規(guī)則中的任一規(guī)則。
[0014]進(jìn)一步地，所述方法還包括:根據(jù)拓?fù)渑判蛩惴▽λ鲇邢驘o環(huán)圖進(jìn)行拓?fù)渑判?，確定在知識庫推理過程中各規(guī)則的調(diào)度順序。
[0015]可選地，在本發(fā)明實施例的另一種實現(xiàn)方式中，所述方法還包括:根據(jù)所述規(guī)則依賴關(guān)系確定在知識庫推理過程中各規(guī)則的調(diào)度順序。
[0016]第二方面，本發(fā)明實施例提供了一種知識庫推理方法，包括:
[0017]采用根據(jù)本發(fā)明實施例第一方面的方法得到用于確定在知識庫推理過程中各規(guī)則的調(diào)度順序的規(guī)則依賴關(guān)系；
[0018]根據(jù)所述規(guī)則依賴關(guān)系確定在知識庫推理過程中各規(guī)則的調(diào)度順序；
[0019]根據(jù)確定的各規(guī)則的調(diào)度順序?qū)λ鲋R庫進(jìn)行知識庫推理。
[0020]可選地，在本實施例的一種實現(xiàn)方式中，所述方法還包括:在知識庫推理過程中進(jìn)行去重處理，包括:在每個執(zhí)行推理的MapReduce作業(yè)結(jié)束后進(jìn)行所述去重處理，或，在每一輪規(guī)則迭代之后進(jìn)行所述去重處理，或，在確定不產(chǎn)生新的推理結(jié)果之后進(jìn)行所述去重處理。
[0021]第三方面，本發(fā)明實施例提供了一種應(yīng)用于知識庫推理的數(shù)據(jù)處理裝置，包括:
[0022]關(guān)系模塊，用于得到用以確定在知識庫推理過程中各規(guī)則的調(diào)度順序的規(guī)則依賴關(guān)系;
[0023]所述關(guān)系模塊包括:
[0024]采樣子模塊，用于從所述知識庫中選取數(shù)據(jù)構(gòu)成第一數(shù)據(jù)集；
[0025]推理子模塊，用于根據(jù)所述知識庫的規(guī)則對所述第一數(shù)據(jù)集進(jìn)行推理；
[0026]確定子模塊，用于根據(jù)各規(guī)則的推理結(jié)果及對應(yīng)的輸入數(shù)據(jù)確定所述規(guī)則依賴關(guān)系O
[0027]可選地，在本實施例的一種實現(xiàn)方式中，所述確定子模塊具體用于執(zhí)行以下處理:將各規(guī)則的推理結(jié)果與其它規(guī)則的條件進(jìn)行匹配判斷；如果第一規(guī)則的推理結(jié)果與第二規(guī)則的條件匹配，則在構(gòu)建的用于表示所述規(guī)則依賴關(guān)系的有向無環(huán)圖中建立從所述第一規(guī)則指向所述第二規(guī)則的邊；其中，所述第一規(guī)則和所述第二規(guī)則用于表示所述知識庫的規(guī)則中的任一規(guī)則。
[0028]進(jìn)一步可選地，所述裝置還包括第一順序模塊，用于根據(jù)拓?fù)渑判蛩惴▽λ鲇邢驘o環(huán)圖進(jìn)行拓?fù)渑判?，確定在知識庫推理過程中各規(guī)則的調(diào)度順序。
[0029]可選地，在本實施例的另一種實現(xiàn)方式中，所述裝置還包括第二順序模塊，用于根據(jù)所述規(guī)則依賴關(guān)系確定在知識庫推理過程中各規(guī)則的調(diào)度順序。
[0030]第四方面，本發(fā)明實施例提供一種推理裝置，包括:
[0031]如權(quán)利要求7或8所述的數(shù)據(jù)處理裝置；
[0032]順序模塊，用于根據(jù)所述規(guī)則依賴關(guān)系確定在知識庫推理過程中各規(guī)則的調(diào)度順序;
[0033]根據(jù)本發(fā)明實施例第三方面的數(shù)據(jù)處理裝置；
[0034]順序模塊，用于根據(jù)所述規(guī)則依賴關(guān)系確定在知識庫推理過程中各規(guī)則的調(diào)度順序;
[0035]推理模塊，用于根據(jù)確定的各規(guī)則的調(diào)度順序?qū)λ鲋R庫進(jìn)行知識庫推理。
[0036]可選地，在本實施例的一種實現(xiàn)方式中，所述裝置還包括:去重模塊，用于在所述推理模塊進(jìn)行知識庫推理的過程中進(jìn)行去重處理，包括:在每個執(zhí)行推理的MapReduce作業(yè)結(jié)束后進(jìn)行所述去重處理，或，在每一輪規(guī)則迭代之后進(jìn)行所述去重處理，或，在確定不產(chǎn)生新的推理結(jié)果之后進(jìn)行所述去重處理。
[0037]第五方面，本發(fā)明實施例提供一種應(yīng)用于知識庫推理的數(shù)據(jù)處理方法，包括:
[0038]采用以下方式存儲所述知識庫中的數(shù)據(jù):
[0039]根據(jù)預(yù)設(shè)的分類策略將所述知識庫中的數(shù)據(jù)分類；
[0040]根據(jù)各類數(shù)據(jù)的數(shù)據(jù)量確定第一數(shù)據(jù)和第二數(shù)據(jù)，其中，所述第一數(shù)據(jù)用于作為MapReduce任務(wù)的輸入，所述第二數(shù)據(jù)用于在所述MapReduce任務(wù)的歸約Reduce階段參與知識庫推理，所述MapReduce任務(wù)用于根據(jù)所述第一數(shù)據(jù)和第二數(shù)據(jù)進(jìn)行數(shù)據(jù)庫推理；
[0041]將所述第一數(shù)據(jù)存儲至硬盤，將所述第二數(shù)據(jù)存儲至內(nèi)存。
[0042]可選地，在本實施例的一種實現(xiàn)方式中，所述根據(jù)預(yù)設(shè)的分類策略將所述知識庫中的數(shù)據(jù)分類，包括:根據(jù)所述知識庫中各數(shù)據(jù)的謂詞類型將所述知識庫中的數(shù)據(jù)分類存放于相應(yīng)的輸入文件中。
[0043]可選地，在本實施例的另一種實現(xiàn)方式中，根據(jù)各類數(shù)據(jù)的數(shù)據(jù)量確定第一數(shù)據(jù)和第二數(shù)據(jù)，包括:根據(jù)各類數(shù)據(jù)的數(shù)據(jù)量進(jìn)行判斷，將各類數(shù)據(jù)中數(shù)據(jù)量最大的那類數(shù)據(jù)作為所述第一數(shù)據(jù)，其余的數(shù)據(jù)作為所述第二數(shù)據(jù)。
[0044]可選地，在本實施例的再一種實現(xiàn)方式中，所述MapReduce任務(wù)用于根據(jù)所述第一數(shù)據(jù)和第二數(shù)據(jù)進(jìn)行數(shù)據(jù)庫推理，包括:在所述MapReduce任務(wù)的映射Map階段，輸入所述第一數(shù)據(jù)并生成分類表示所述第一數(shù)據(jù)的key-value對；在所述MapReduce任務(wù)的歸約Reduce階段，根據(jù)輸入到各Reduce節(jié)點的key-value對和所述第二數(shù)據(jù)進(jìn)行知識庫推理；其中，分類表示所述第一數(shù)據(jù)的key-value對包括:以所述第一數(shù)據(jù)中的數(shù)據(jù)的客體、謂詞或主體為key，以所述第一數(shù)據(jù)中的數(shù)據(jù)為value的key-value對。
[0045]可選地，在本實施例的又一種實現(xiàn)方式中，將所述第二數(shù)據(jù)存儲至內(nèi)存包括:將所述第二數(shù)據(jù)讀入至執(zhí)行所述MapReduce任務(wù)的各Reduce節(jié)點的內(nèi)存中，并生成分類表示所述第二數(shù)據(jù)的key-vakue對；其中，分類表示所述第二數(shù)據(jù)的key-value對包括:以所述第二數(shù)據(jù)中的數(shù)據(jù)的客體、謂詞或主體為key，以所述第二數(shù)據(jù)中的數(shù)據(jù)為value的key-value 對。
[0046]第六方面，本發(fā)明實施例提供一種知識庫推理方法，包括:
[0047]從硬盤讀取第一數(shù)據(jù)作為MapReduce任務(wù)的輸入并執(zhí)行所述MapReduce任務(wù)；
[0048]在所述MapReduce任務(wù)的映射Map階段，生成分類表示所述第一數(shù)據(jù)的key-value對；
[0049]在所述MapReduce任務(wù)的歸約Reduce階段，根據(jù)輸入到各Reduce節(jié)點的key-value對和內(nèi)存中的第二數(shù)據(jù)進(jìn)行知識庫推理；
[0050]其中，所述第一數(shù)據(jù)和第二數(shù)據(jù)是采用根據(jù)本發(fā)明實施例第五方面的方法處理知識庫中的數(shù)據(jù)后得到的第一數(shù)據(jù)和第二數(shù)據(jù)。
[0051]可選地，在本實施例的一種實現(xiàn)方式中，生成分類表示所述第一數(shù)據(jù)的key-value對，包括:生成以所述第一數(shù)據(jù)中的數(shù)據(jù)的客體、謂詞或主體為key，以所述第一數(shù)據(jù)中的數(shù)據(jù)為value的key-value對。
[0052]可選地，在本實施例的另一種實現(xiàn)方式中，所述根據(jù)輸入到各Reduce節(jié)點的key-value