]參照圖4所示，本申請實施例提供的數(shù)據(jù)填充方法包括:
[0052]步驟SlOO:根據(jù)數(shù)據(jù)庫中的已有數(shù)據(jù)確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)，并構(gòu)建所述數(shù)據(jù)庫中所有數(shù)據(jù)之間的數(shù)據(jù)依賴關(guān)系；
[0053]在本申請實施例中，由于數(shù)據(jù)庫中存在已有數(shù)據(jù)，則除去已有數(shù)據(jù)，即為空缺數(shù)據(jù)。而且同一數(shù)據(jù)庫中的所有數(shù)據(jù)之間通常包含一定的數(shù)據(jù)依賴關(guān)系。
[0054]這里的數(shù)據(jù)依賴關(guān)系包括已有數(shù)據(jù)和空缺數(shù)據(jù)之間的依賴關(guān)系，已有數(shù)據(jù)和已有數(shù)據(jù)之間的依賴關(guān)系，以及空缺數(shù)據(jù)和空缺數(shù)據(jù)之間的依賴關(guān)系。
[0055]步驟S200:根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，并根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)；
[0056]在本申請實施例中，“可推斷數(shù)據(jù)”是指可以根據(jù)數(shù)據(jù)依賴關(guān)系由已有數(shù)據(jù)推斷出的空缺數(shù)據(jù)，可推斷數(shù)據(jù)與已有數(shù)據(jù)之間存在數(shù)據(jù)依賴關(guān)系。
[0057]比如:一個地址數(shù)據(jù)集中，包含數(shù)據(jù)依賴關(guān)系“城市名稱可以決定省份名稱”，則在該地址數(shù)據(jù)集其中一個元組中寫著“學(xué)校=‘南京大學(xué)’，城市=‘南京’，省份=‘江蘇’”，而另外一個元組寫著“學(xué)校=‘南航’，城市=‘南京’，省份=(即第二個元組的省份為空缺信息)，那么我們就可以根據(jù)數(shù)據(jù)依賴關(guān)系把第二個元組中空缺的省份推斷為“江蘇”。
[0058]在本申請實施例中，“不可推斷數(shù)據(jù)”是無法直接由已有數(shù)據(jù)推斷出的空缺數(shù)據(jù)，與已有數(shù)據(jù)之間并不存在直接的數(shù)據(jù)依賴關(guān)系。
[0059]另外，“不可推斷數(shù)據(jù)”作為空缺數(shù)據(jù)的一部分，可能與其它的空缺數(shù)據(jù)之間存在數(shù)據(jù)依賴關(guān)系，也可能與其它的空缺數(shù)據(jù)之間不存在數(shù)據(jù)依賴關(guān)系。
[0060]當(dāng)“不可推斷數(shù)據(jù)”與其它的空缺數(shù)據(jù)之間存在數(shù)據(jù)依賴關(guān)系時，“不可推斷數(shù)據(jù)”被填充以后，即可根據(jù)被填充的“不可推斷數(shù)據(jù)”(被填充后即為已有數(shù)據(jù))來推斷其它的空缺數(shù)據(jù)，當(dāng)“不可推斷數(shù)據(jù)”與其它的空缺數(shù)據(jù)之間不存在數(shù)據(jù)依賴關(guān)系時，即便被填充也無法推斷其它的空缺數(shù)據(jù)。
[0061]在本申請實施例中，根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，這里的預(yù)設(shè)規(guī)則可以是從所述至少一組不可推斷數(shù)據(jù)中選擇數(shù)量最少的一組數(shù)據(jù)，作為一組待檢索數(shù)據(jù)，這樣就可以在保證所填充的數(shù)據(jù)的準(zhǔn)確性的前提下，使得需要檢索的數(shù)據(jù)量最小，可以避免在外部資源中進(jìn)行海量的檢索查詢，盡量減少檢索查詢操作，降低系統(tǒng)開銷。
[0062]檢索少量的空缺數(shù)據(jù)能極大的提高基于推斷的方法的填充召回率，為了保證在最小開銷下能夠獲得最高的召回率，應(yīng)最少的使用檢索操作，盡可能多的使用推斷操作。
[0063]步驟S300:根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述待檢索數(shù)據(jù)；
[0064]在本申請實施例中，將“根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)”稱為推斷步驟，將“從所述數(shù)據(jù)庫的外部資源中檢索并填充所述待檢索數(shù)據(jù)”稱為檢索步驟。
[0065]由于“可推斷數(shù)據(jù)”是指可以根據(jù)數(shù)據(jù)依賴關(guān)系由已有數(shù)據(jù)推斷出的空缺數(shù)據(jù)，可推斷數(shù)據(jù)與已有數(shù)據(jù)之間存在數(shù)據(jù)依賴關(guān)系，所以可以直接由已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷出“可推斷數(shù)據(jù)”，然后填充，則填充后的“可推斷數(shù)據(jù)”即成為已有數(shù)據(jù)。
[0066]同時，由于“不可推斷數(shù)據(jù)”是無法直接由已有數(shù)據(jù)推斷出的空缺數(shù)據(jù)，與已有數(shù)據(jù)之間并不存在直接的數(shù)據(jù)依賴關(guān)系，所以從外部資源比如互聯(lián)網(wǎng)資源中查找該“不可推斷數(shù)據(jù)”并填充，可以保證所填充的數(shù)據(jù)的準(zhǔn)確性。
[0067]可以理解的是，本申請實施例中，當(dāng)一次推斷就填充了所有的空缺數(shù)據(jù)時，即可省去后續(xù)的檢索步驟，而當(dāng)沒有可推斷的數(shù)據(jù)時，也可以先進(jìn)行檢索步驟再進(jìn)行推斷步驟，本實施例中的步驟標(biāo)號并不用作對方法實施順序的限定。
[0068]步驟S400:判斷所述數(shù)據(jù)庫的空缺數(shù)據(jù)是否被填充完畢；如果否，返回步驟S200 ;如果是，結(jié)束。
[0069]本申請實施例提出一種交互式的基于推斷和檢索的數(shù)據(jù)填充方法，根據(jù)數(shù)據(jù)庫中的已有數(shù)據(jù)確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)，并構(gòu)建所述數(shù)據(jù)庫中所有數(shù)據(jù)之間的數(shù)據(jù)依賴關(guān)系，重復(fù)執(zhí)行以下步驟，直至所述數(shù)據(jù)庫的空缺數(shù)據(jù)被填充完畢:根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，并根據(jù)預(yù)設(shè)規(guī)則從所述至少一組不可推斷數(shù)據(jù)中確定一組待檢索數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系推斷并填充所述可推斷數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述待檢索數(shù)據(jù)。
[0070]該方法交替使用推斷和檢索來填充數(shù)據(jù):
[0071]比如:所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)確定待填充到所述數(shù)據(jù)庫中的所有空缺數(shù)據(jù)中的第一可推斷數(shù)據(jù)組和第一待檢索數(shù)據(jù)組；根據(jù)所述數(shù)據(jù)依賴關(guān)系推斷并填充所述第一可推斷數(shù)據(jù)組中的數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述第一待檢索數(shù)據(jù)組中的數(shù)據(jù)，并確定所述數(shù)據(jù)庫中的第一剩余空缺數(shù)據(jù)；根據(jù)所述數(shù)據(jù)依賴關(guān)系，確定所述第一剩余空缺數(shù)據(jù)中的第二可推斷數(shù)據(jù)組和第二待檢索數(shù)據(jù)組；根據(jù)所述數(shù)據(jù)依賴關(guān)系推斷并填充所述第二可推斷數(shù)據(jù)組中的數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述第二待檢索數(shù)據(jù)組中的數(shù)據(jù)，并確定所述數(shù)據(jù)庫中的第二剩余空缺數(shù)據(jù)；依次類推，直至待填充到所述數(shù)據(jù)庫中的所有空缺數(shù)據(jù)被填充完畢。
[0072]即:推斷并填充所述數(shù)據(jù)庫中的第一組空缺數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述數(shù)據(jù)庫中的第二組空缺數(shù)據(jù)；根據(jù)所述已有數(shù)據(jù)、所述第一組空缺數(shù)據(jù)和所述第二組空缺數(shù)據(jù)，推斷并填充所述數(shù)據(jù)庫中的第三組空缺數(shù)據(jù)，從所述數(shù)據(jù)庫的外部資源中檢索并填充所述數(shù)據(jù)庫中的第四組空缺數(shù)據(jù)；依次類推，直至待填充到所述數(shù)據(jù)庫中的空缺數(shù)據(jù)被填充完畢。下面舉例說明:本申請實施例提供的數(shù)據(jù)填充方法(交互式檢索-推理數(shù)據(jù)填充方法 TRIP:1nTeractive Retrieving-1nferring data imputat1napproach)的交互過程如圖2所示:
[0073](I)第一次推斷步驟(圖2(a)):根據(jù)表中已有數(shù)據(jù)以及圖1 (b)中的數(shù)據(jù)依賴關(guān)系，可以推斷出T1MJ1 [F]，T2[B]的值分別為bp ei，f10
[0074](2)第一次檢索步驟(圖2(b)):如果可以檢索到！^^，T5[B]的值且分別為b2，b3的話，那么在第二次推斷步驟(圖2(c))中就可以推斷aT4[C]，T4[D]的值為c3，d3。
[0075](3)第二次檢索步驟(圖2(d))和第三次推斷步驟(圖2(e)):如果在圖2(d)中選擇T3[C]，T3[D]，T4[E]來進(jìn)行檢索且值分別為c2，d2，e2之后，就可以推斷圖2(e)中T5[E]，T4[F]，T5[F]的值為 e2，f2，f2。
[0076]當(dāng)一次推斷步驟最大程度地填充所有可推斷的空缺數(shù)據(jù)后，接下來的檢索步驟可以檢索到一系列不可推斷的空缺數(shù)據(jù)，從而使得在下一次推斷步驟中一些剩余的空缺數(shù)據(jù)可以推斷出來。連續(xù)重復(fù)這兩個步驟直到出現(xiàn)結(jié)束條件比如沒有可以填充的空缺數(shù)據(jù)后，結(jié)束對空缺數(shù)據(jù)的填充。
[0077]通過推斷步驟和檢索步驟交替填充數(shù)據(jù)，可以使得系統(tǒng)的開銷較小且數(shù)據(jù)填充準(zhǔn)確率較高，這樣，通過推斷和檢索的交替執(zhí)行，可以高效且高質(zhì)量地實現(xiàn)對于數(shù)據(jù)集中的空缺數(shù)據(jù)的填充，可以實現(xiàn)在較小的系統(tǒng)開銷下獲得較高的數(shù)據(jù)填充準(zhǔn)確率。因此，本申請實施例提供的交互式檢索-推理數(shù)據(jù)填充方法(TRIP)，能夠在數(shù)據(jù)填充中確定最佳方案，并且通過這個方案，能夠以最小填充代價(系統(tǒng)開銷)達(dá)到很高的填充精確度和召回率。
[0078]圖3為本申請實施例提供的數(shù)據(jù)填充方法的構(gòu)建簡化空缺數(shù)據(jù)依賴圖的過程的示意圖。
[0079]圖5為本申請?zhí)峁┑臄?shù)據(jù)填充方法的另一種實施例的流程示意圖。
[0080]參照圖5所示，本申請實施例提供的數(shù)據(jù)填充方法，所述步驟S200中的根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)和至少一組不可推斷數(shù)據(jù)，包括:
[0081]步驟S201:從所述數(shù)據(jù)庫的空缺數(shù)據(jù)中，根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定與所述數(shù)據(jù)庫中的已有數(shù)據(jù)存在數(shù)據(jù)依賴關(guān)系的空缺數(shù)據(jù)，作為所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的可推斷數(shù)據(jù)；
[0082]步驟S202:根據(jù)所述數(shù)據(jù)庫中的已有數(shù)據(jù)和所述數(shù)據(jù)依賴關(guān)系確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系；
[0083]步驟S203:以所述數(shù)據(jù)庫的各個空缺數(shù)據(jù)為節(jié)點，以各個空缺數(shù)據(jù)之間的空缺數(shù)據(jù)依賴關(guān)系作為節(jié)點之間的有向邊，構(gòu)建空缺數(shù)據(jù)依賴圖，并根據(jù)所述空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)。
[0084]在填充過程當(dāng)中，TRIP方法最關(guān)鍵的是在檢索步驟中選擇最少的空缺數(shù)據(jù)進(jìn)行檢索，從而使得系統(tǒng)開銷最小，得到最佳調(diào)度方案。
[0085]得到最優(yōu)調(diào)度方案的算法如下:
[0086]構(gòu)建空缺數(shù)據(jù)依賴圖:以第一次檢索步驟(圖2(b))為例，圖3(a)、(b)、(c)所示即為構(gòu)建過程。
[0087]步驟1:將圖2(b)所有未填補的空缺數(shù)據(jù)當(dāng)做空缺數(shù)據(jù)依賴圖中的節(jié)點，如圖3(a)所示。
[0088]步驟2:將空缺數(shù)據(jù)之間所有可能的數(shù)據(jù)依賴關(guān)系當(dāng)做節(jié)點間的有向邊，至此，形成了空缺數(shù)據(jù)依賴圖，如圖3(b)所示。
[0089]在本申請實施例中，根據(jù)所述空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)，首先要對構(gòu)建而成的空缺數(shù)據(jù)依賴圖進(jìn)行簡化，然后利用簡化空缺數(shù)據(jù)依賴圖確定所述數(shù)據(jù)庫的空缺數(shù)據(jù)中的至少一組不可推斷數(shù)據(jù)，簡化過程包括:<