一種數(shù)據(jù)填充方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及數(shù)據(jù)庫(kù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)填充方法及系統(tǒng)。
【背景技術(shù)】
[0002]通常，在各類數(shù)據(jù)庫(kù)的數(shù)據(jù)源中，往往會(huì)存在一些空缺信息，有些是因?yàn)樵紨?shù)據(jù)的缺失造成的，有些是因?yàn)椴僮魃系氖д`造成的。這些數(shù)據(jù)庫(kù)中的空缺信息會(huì)造成數(shù)據(jù)不完整，是各類數(shù)據(jù)庫(kù)中一個(gè)較為普遍的問(wèn)題，數(shù)據(jù)填充技術(shù)的提出就是希望通過(guò)一些技術(shù)手段來(lái)估算、預(yù)測(cè)、或者找回?cái)?shù)據(jù)源中的空缺信息。
[0003]現(xiàn)有的針對(duì)字符串型數(shù)據(jù)的數(shù)據(jù)填充方法通?？煞譃閮深?基于推理的數(shù)據(jù)填充方法和基于檢索的數(shù)據(jù)填充方法。
[0004]基于推理的數(shù)據(jù)填充方法主要是結(jié)合一些給定的數(shù)據(jù)質(zhì)量規(guī)則(比如Funct1nal Dependencies屬性依賴關(guān)系)，從數(shù)據(jù)集的其他部分推理出空缺處的空缺信息。比如在一個(gè)地址數(shù)據(jù)集中，已知依賴關(guān)系“城市名稱可以決定省份名稱”，在數(shù)據(jù)集其中一個(gè)元組中寫著“學(xué)校=‘南京大學(xué)’，城市=‘南京’，省份=‘江蘇’”，而另外一個(gè)元組寫著“學(xué)校=‘南航’，城市=‘南京’，省份=即第二個(gè)元組的省份為空缺信息)，那么我們就可以根據(jù)依賴關(guān)系把第二個(gè)元組中空缺的省份填寫為“江蘇”。
[0005]基于檢索的數(shù)據(jù)填充方法主要是從外部資源比如網(wǎng)絡(luò)中檢索獲取空缺處的空缺信息。當(dāng)數(shù)據(jù)集中的空缺信息在萬(wàn)維網(wǎng)中存在時(shí)，該方法可以準(zhǔn)確查找到空缺信息并填充到數(shù)據(jù)集中的空缺處。
[0006]然而，基于推理的數(shù)據(jù)填充方法的主要缺點(diǎn)體現(xiàn)在對(duì)于唯一的空缺信息的填補(bǔ)上，也就是在數(shù)據(jù)集中的完整部分沒有出現(xiàn)與該空缺信息相應(yīng)的信息的話，那么就不可能準(zhǔn)確地推斷和填充該空缺信息，造成數(shù)據(jù)填充的準(zhǔn)確率低；而基于檢索的數(shù)據(jù)填充方法雖然能夠準(zhǔn)確填充空缺信息，提高數(shù)據(jù)填充的準(zhǔn)確率，但其在對(duì)空缺信息進(jìn)行檢索時(shí)，需要在外部資源中進(jìn)行海量的檢索查詢，這會(huì)產(chǎn)生大量的檢索查詢操作，相應(yīng)地就會(huì)造成很大的系統(tǒng)開銷。

【發(fā)明內(nèi)容】

[0007]有鑒于此，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)填充方法及系統(tǒng)，以實(shí)現(xiàn)在較小的系統(tǒng)開銷下獲得較高的數(shù)據(jù)填充準(zhǔn)確率。
[0008]為了實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例提供的技術(shù)方案如下:
[0009]一種數(shù)據(jù)填充方法，包括:
[0010]根據(jù)數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)，并構(gòu)建所述數(shù)據(jù)庫(kù)中所有數(shù)據(jù)之間的數(shù)據(jù)依賴關(guān)系，重復(fù)執(zhí)行以下步驟，直至所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)被填充完畢:
[0011]根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，并根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)，從所述數(shù)據(jù)庫(kù)的外部資源中檢索并填充所述待檢索數(shù)據(jù)。
[0012]優(yōu)選地，所述根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，包括:
[0013]從所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中，根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定與所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)存在數(shù)據(jù)依賴關(guān)系的空缺數(shù)據(jù)，作為所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)；
[0014]根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系；
[0015]以所述數(shù)據(jù)庫(kù)的各個(gè)空缺數(shù)據(jù)為節(jié)點(diǎn)，以各個(gè)空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系作為節(jié)點(diǎn)之間的有向邊，構(gòu)建空缺數(shù)據(jù)依賴圖，并根據(jù)所述空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)。
[0016]優(yōu)選地，所述根據(jù)所述空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)，包括:
[0017]從所述空缺數(shù)據(jù)依賴圖的各個(gè)節(jié)點(diǎn)中，將存在相同空缺數(shù)據(jù)依賴關(guān)系且互相之間不存在任何數(shù)據(jù)依賴關(guān)系的節(jié)點(diǎn)合并為一個(gè)節(jié)點(diǎn)，進(jìn)行節(jié)點(diǎn)合并；
[0018]節(jié)點(diǎn)合并之后，對(duì)于存在從多個(gè)節(jié)點(diǎn)指向自身的多個(gè)有向邊的節(jié)點(diǎn)，刪除從多個(gè)節(jié)點(diǎn)指向自身的多個(gè)有向邊，生成簡(jiǎn)化空缺數(shù)據(jù)依賴圖；
[0019]從所述簡(jiǎn)化空缺數(shù)據(jù)依賴圖中，將只具有從自身出發(fā)指向其它節(jié)點(diǎn)的有向邊的節(jié)點(diǎn)以及與其它節(jié)點(diǎn)之間不存在任何有向邊的節(jié)點(diǎn)集合對(duì)應(yīng)的空缺數(shù)據(jù)作為所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)；所述節(jié)點(diǎn)集合包括至少兩個(gè)節(jié)點(diǎn)。
[0020]優(yōu)選地，所述根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，包括:
[0021]從所述至少一組不可推斷數(shù)據(jù)中選擇數(shù)量最少的一組數(shù)據(jù)，作為一組待檢索數(shù)據(jù)。
[0022]優(yōu)選地，所述外部資源包括互聯(lián)網(wǎng)資源。
[0023]一種數(shù)據(jù)填充系統(tǒng)，包括:
[0024]構(gòu)建模塊，用于根據(jù)數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)，并構(gòu)建所述數(shù)據(jù)庫(kù)中所有數(shù)據(jù)之間的數(shù)據(jù)依賴關(guān)系；
[0025]填充模塊，用于重復(fù)執(zhí)行以下步驟，直至所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)被填充完畢:
[0026]根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，并根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)，從所述數(shù)據(jù)庫(kù)的外部資源中檢索并填充所述待檢索數(shù)據(jù)。
[0027]優(yōu)選地，所述填充模塊，包括:
[0028]第一確定模塊，用于從所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中，根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定與所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)存在數(shù)據(jù)依賴關(guān)系的空缺數(shù)據(jù)，作為所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)；
[0029]第二確定模塊，用于根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系；
[0030]第三確定模塊，用于以所述數(shù)據(jù)庫(kù)的各個(gè)空缺數(shù)據(jù)為節(jié)點(diǎn)，以各個(gè)空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系作為節(jié)點(diǎn)之間的有向邊，構(gòu)建空缺數(shù)據(jù)依賴圖，并根據(jù)所述空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)。
[0031 ] 優(yōu)選地，所述第三確定模塊，包括:
[0032]節(jié)點(diǎn)合并單元，用于從所述空缺數(shù)據(jù)依賴圖的各個(gè)節(jié)點(diǎn)中，將存在相同空缺數(shù)據(jù)依賴關(guān)系且互相之間不存在任何數(shù)據(jù)依賴關(guān)系的節(jié)點(diǎn)合并為一個(gè)節(jié)點(diǎn)，進(jìn)行節(jié)點(diǎn)合并；
[0033]有向邊修剪單元，用于節(jié)點(diǎn)合并之后，對(duì)于存在從多個(gè)節(jié)點(diǎn)指向自身的多個(gè)有向邊的節(jié)點(diǎn)，刪除從多個(gè)節(jié)點(diǎn)指向自身的多個(gè)有向邊，生成簡(jiǎn)化空缺數(shù)據(jù)依賴圖；
[0034]查找單元，用于從所述簡(jiǎn)化空缺數(shù)據(jù)依賴圖中，將只具有從自身出發(fā)指向其它節(jié)點(diǎn)的有向邊的節(jié)點(diǎn)以及與其它節(jié)點(diǎn)之間不存在任何有向邊的節(jié)點(diǎn)集合對(duì)應(yīng)的空缺數(shù)據(jù)作為所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)；所述節(jié)點(diǎn)集合包括至少兩個(gè)節(jié)點(diǎn)。
[0035]優(yōu)選地，所述根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)的填充模塊，用于:從所述至少一組不可推斷數(shù)據(jù)中選擇數(shù)量最少的一組數(shù)據(jù)，作為一組待檢索數(shù)據(jù)。
[0036]優(yōu)選地，所述外部資源包括互聯(lián)網(wǎng)資源。
[0037]由以上本申請(qǐng)?zhí)峁┑囊环N數(shù)據(jù)填充方法，根據(jù)數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)，并構(gòu)建所述數(shù)據(jù)庫(kù)中所有數(shù)據(jù)之間的數(shù)據(jù)依賴關(guān)系，重復(fù)執(zhí)行以下步驟，直至所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)被填充完畢:根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫(kù)的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，并根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫(kù)中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)，從所述數(shù)據(jù)庫(kù)的外部資源中檢索并填充所述待檢索數(shù)據(jù)。這樣，通過(guò)推斷和檢索的交替執(zhí)行，高效且高質(zhì)量地實(shí)現(xiàn)數(shù)據(jù)集中空缺數(shù)據(jù)的填充，可以實(shí)現(xiàn)在較小的系統(tǒng)開銷下獲得較高的數(shù)據(jù)填充準(zhǔn)確率。
【附圖說(shuō)明】
[0038]為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0039]圖1為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法的樣例數(shù)據(jù)表以及數(shù)據(jù)依賴關(guān)系的示意圖；
[0040]圖2為本申請(qǐng)實(shí)施例提供的數(shù)據(jù)填充方法的交互過(guò)程的示意圖；
[0041]圖3為本申請(qǐng)實(shí)施例提供的數(shù)據(jù)填充方法的構(gòu)建簡(jiǎn)化空缺數(shù)據(jù)依賴圖的過(guò)程的示意圖；
[0042]圖4為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法的一種實(shí)施例的流程示意圖；
[0043]圖5為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法的另一種實(shí)施例的流程示意圖；
[0044]圖6-圖10分別為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法與現(xiàn)有技術(shù)的實(shí)驗(yàn)數(shù)據(jù)對(duì)比圖；
[0045]圖11為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充系統(tǒng)的一種實(shí)施例的結(jié)構(gòu)示意圖；
[0046]圖12為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充系統(tǒng)的另一種實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0047]為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)中的技術(shù)方案，下面將結(jié)合附圖，對(duì)本申請(qǐng)的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例。基于本申請(qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。
[0048]下面結(jié)合附圖，對(duì)本申請(qǐng)的實(shí)施方案進(jìn)行詳細(xì)描述。
[0049]圖1為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法的樣例數(shù)據(jù)表以及數(shù)據(jù)依賴關(guān)系的示意圖。
[0050]圖4為本申請(qǐng)?zhí)峁┑臄?shù)據(jù)填充方法的一種實(shí)施例的流程示意圖。
[0051