專利名稱：甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng)。
背景技術(shù)：
搜索引擎技術(shù)可以實(shí)現(xiàn)根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序搜集互聯(lián)網(wǎng)上 的信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)。搜索引擎技術(shù)誕生以來， 互聯(lián)網(wǎng)中提供搜索服務(wù)的網(wǎng)站為了更好的提供用戶身邊信息的搜索服務(wù)，進(jìn)一步推出了 生活搜索。生活搜索指的是在搜索引擎中有明確的生活信息，針對(duì)生活信息深度處理， 為用戶帶來極大的方便。如選中一個(gè)生活的類別、地域等標(biāo)簽，然后再使用搜索引擎， 則可以幫助搜索用戶方便地尋找身邊的分類生活信息。目前，可以搜索的信息類型較 多，包括房屋租售、工作機(jī)會(huì)、火車票、物品交易和餐飲等。提供生活搜索的網(wǎng)站，其數(shù)據(jù)庫(kù)中需要預(yù)先存儲(chǔ)有大量豐富的數(shù)據(jù)。以實(shí)現(xiàn)店 鋪這類實(shí)體的生活搜索為例，網(wǎng)站需要預(yù)先收集盡量多的店鋪的信息。然而，隨著生活 服務(wù)行業(yè)不斷發(fā)展，網(wǎng)站還需要不斷地將網(wǎng)站數(shù)據(jù)庫(kù)中的店鋪數(shù)據(jù)進(jìn)行擴(kuò)充、更新。隨之而來的問題是，如果待導(dǎo)入的店鋪數(shù)據(jù)與網(wǎng)站數(shù)據(jù)庫(kù)中的某已有店鋪數(shù)據(jù) 相同，即待導(dǎo)入的店鋪實(shí)際在網(wǎng)站數(shù)據(jù)庫(kù)中已經(jīng)存在，則，導(dǎo)入新的店鋪數(shù)據(jù)后，將造 成網(wǎng)站數(shù)據(jù)庫(kù)中數(shù)據(jù)的重復(fù)，顯然，這些重復(fù)的數(shù)據(jù)會(huì)浪費(fèi)數(shù)據(jù)庫(kù)寶貴的存儲(chǔ)空間。另 一方面，當(dāng)用戶發(fā)起店鋪搜索，而網(wǎng)站數(shù)據(jù)庫(kù)中存在重復(fù)店鋪數(shù)據(jù)，這樣，網(wǎng)站會(huì)返回 這些重復(fù)的店鋪數(shù)據(jù)給用戶，而返回的這些重復(fù)店鋪數(shù)據(jù)實(shí)際上僅代表了較少的店鋪， 則這樣是搜索結(jié)果并不是用戶希望獲得的結(jié)果，也不利于用戶的搜索體驗(yàn)。為了保證用 戶體驗(yàn)，為用戶提供精準(zhǔn)的搜索服務(wù)，就必須保證數(shù)據(jù)庫(kù)中的所有店鋪的唯一性。然而，現(xiàn)有技術(shù)中還沒有高效的甄別重復(fù)實(shí)體數(shù)據(jù)的方法。

發(fā)明內(nèi)容
本申請(qǐng)實(shí)施例的目的是提供一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng)，以實(shí)現(xiàn)高效 的甄別重復(fù)實(shí)體數(shù)據(jù)。為解決上述技術(shù)問題，本申請(qǐng)實(shí)施例提供一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng) 是這樣實(shí)現(xiàn)的一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法，包括Sl 服務(wù)器獲取待甄別的實(shí)體數(shù)據(jù)；S2 服務(wù)器將待甄別的實(shí)體數(shù)據(jù)的名稱與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)的 名稱通 過下述方式逐一比較實(shí)體名稱利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行 分詞并確定詞性；將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入預(yù)定的模 板；
通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是否相同 得到實(shí)體名稱比較的評(píng)分；S3 服務(wù)器通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與比較的 數(shù)據(jù)庫(kù)中的實(shí)體數(shù)據(jù)重復(fù)；S4服務(wù)器將判斷為不重復(fù)的所述待甄別的實(shí)體數(shù)據(jù)添加入數(shù)據(jù)庫(kù)。一種服務(wù)器，包括獲取單元，用于獲取待甄別的實(shí)體數(shù)據(jù)；名稱比較單元，用于將待甄別實(shí)體數(shù)據(jù)的名稱與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)的 名稱通過下述方式逐一比較實(shí)體名稱利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行 分詞并確定詞性；將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入 預(yù)定的模板；通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是否 相同得到實(shí)體名稱比較的評(píng)分；
判斷單元，用于通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與比 較的數(shù)據(jù)庫(kù)中的實(shí)體數(shù)據(jù)是否重復(fù)；添加單元，用于將判斷為不重復(fù)的實(shí)體數(shù)據(jù)添加入所述數(shù)據(jù)庫(kù)中。由以上本申請(qǐng)實(shí)施例提供的技術(shù)方案可見，服務(wù)器獲取待甄別的實(shí)體數(shù)據(jù)，月艮 務(wù)器將待甄別的實(shí)體數(shù)據(jù)與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)對(duì)實(shí)體名稱逐一進(jìn)行比較并得到 評(píng)分，服務(wù)器通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與數(shù)據(jù)庫(kù)中的實(shí) 體數(shù)據(jù)重復(fù)，可以高效的甄別出重復(fù)的實(shí)體數(shù)據(jù)，并將不重復(fù)的實(shí)體數(shù)據(jù)添加入所述數(shù) 據(jù)庫(kù)中。


為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或 現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅 是本申請(qǐng)中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性 的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本申請(qǐng)涉及的系統(tǒng)結(jié)構(gòu)圖；圖2為本申請(qǐng)甄別重復(fù)實(shí)體數(shù)據(jù)方法實(shí)施例的流程圖；圖3為本申請(qǐng)postgresql數(shù)據(jù)庫(kù)集群拓?fù)鋱D；圖4為本申請(qǐng)S202中實(shí)體名稱比較的實(shí)現(xiàn)方式流程圖；圖5為本申請(qǐng)對(duì)機(jī)構(gòu)詞分類采用優(yōu)先匹配的原則示意圖；圖6為本申請(qǐng)一服務(wù)器實(shí)施例的框圖；圖7為本申請(qǐng)另一服務(wù)器實(shí)施例的框圖；圖8為本申請(qǐng)另一服務(wù)器實(shí)施例的框圖；圖9為本申請(qǐng)另一服務(wù)器實(shí)施例的框圖；圖10為本申請(qǐng)另一服務(wù)器實(shí)施例的框圖。
具體實(shí)施例方式本申請(qǐng)實(shí)施例提供一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng)。為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)中的技術(shù)方案，下面將結(jié)合本申請(qǐng) 實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述 的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例， 本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬 于本發(fā)明保護(hù)的范圍。本申請(qǐng)涉及的系統(tǒng)結(jié)構(gòu)可以如圖1所示，包括服務(wù)器和數(shù)據(jù)庫(kù)。以下介紹本申請(qǐng)甄別重復(fù)實(shí)體數(shù)據(jù)方法實(shí)施例，圖2示出了該方法實(shí)施例的流程，如圖2所示S201 服務(wù)器獲取待甄別的實(shí)體數(shù)據(jù)。這里的實(shí)體在可以具體化為店鋪，在后續(xù)中以店鋪實(shí)體為例進(jìn)行說明。待甄別的店鋪實(shí)體的數(shù)據(jù)包括店鋪名稱、店鋪地址和店鋪電話號(hào)碼等屬性的數(shù) 據(jù)。這些數(shù)據(jù)可以作為比較待甄別店鋪是否與數(shù)據(jù)庫(kù)中已有店鋪重復(fù)的依據(jù)。S202 服務(wù)器將待甄別的實(shí)體數(shù)據(jù)與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)逐一比較實(shí)體 名稱，該逐一比較過程包括利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行 分詞并確定詞性；其中，數(shù)據(jù)庫(kù)中的實(shí)體名稱分詞、確定詞性可以提前完成；將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入預(yù)定的模板；通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是否相同 得到實(shí)體名稱比較的評(píng)分。S203 服務(wù)器通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與數(shù)據(jù) 庫(kù)中的實(shí)體數(shù)據(jù)是否重復(fù)。以下具體介紹S202中實(shí)體名稱比較的實(shí)現(xiàn)方式，其是將待甄別的實(shí)體的名稱與 數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行比較，這個(gè)比較過程，包括圖4所示的步驟S401 利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名 稱進(jìn)行分詞并確定詞性。通過分詞詞庫(kù)將店名進(jìn)行分詞，將店名中的各個(gè)詞按其所屬的預(yù)定義詞庫(kù)，并 按照該預(yù)定義詞庫(kù)的詞性，為店名中的詞標(biāo)記詞性(這里的例子中設(shè)定不同詞性標(biāo)記為 S、P、C、O、N、X 等)。例如，“西安華德餐飲有限公司德克士高新餐廳”這樣的店名通過店名分詞處 理可以得到“西安_S華德_X餐飲有限公司_0德克士 _N高新_S餐廳_0”這樣的結(jié)^ ο為了對(duì)實(shí)體名稱進(jìn)行分詞，并在分詞之后能夠標(biāo)識(shí)各個(gè)分詞標(biāo)識(shí)屬性(地點(diǎn)、 機(jī)構(gòu)、行業(yè)等)，需要預(yù)先保存按詞性分類的分詞庫(kù)，比如地域詞庫(kù)，地點(diǎn)詞庫(kù)，機(jī)構(gòu) 詞庫(kù)，行業(yè)詞庫(kù)，方位詞庫(kù)、主店名、分店名等。為了提高分詞準(zhǔn)確率，添加品牌分詞 庫(kù)，在該詞庫(kù)中收集了店鋪的店鋪品牌名稱，例如，麥當(dāng)勞，肯德基，外婆家等店鋪的 品牌名稱。本實(shí)施例的例子中，對(duì)實(shí)體名稱(如店鋪名稱)做以下維度切分
權(quán)利要求
1.一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法，其特征在于，包括51服務(wù)器獲取待甄別的實(shí)體數(shù)據(jù)；52服務(wù)器將待甄別的實(shí)體數(shù)據(jù)的名稱與數(shù)據(jù)庫(kù)中的實(shí)體數(shù)據(jù)的名稱通過下述方式 逐一比較實(shí)體名稱利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行分詞 并確定詞性；將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入預(yù)定的模板；通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是否相同得到 實(shí)體名稱比較的評(píng)分；53服務(wù)器通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與比較的數(shù)據(jù) 庫(kù)中的實(shí)體數(shù)據(jù)是否重復(fù)；54服務(wù)器將判斷為不重復(fù)的所述待甄別的實(shí)體數(shù)據(jù)添加入數(shù)據(jù)庫(kù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)包括數(shù)據(jù) 庫(kù)中的所有實(shí)體數(shù)據(jù)或部分實(shí)體數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其特征在于，所述部分實(shí)體數(shù)據(jù)包括從所述數(shù)據(jù)庫(kù)的所 有實(shí)體數(shù)據(jù)中的篩選出來的懷疑實(shí)體數(shù)據(jù)。
4.如權(quán)利要求2所述的方法，其特征在于，所述篩選出來的懷疑實(shí)體數(shù)據(jù)由以下方式 得到將待查找的黃頁(yè)店鋪的店鋪名和分店名以空格連接，生成以空格分界的分詞串；通過上述所得到分詞串，與倒排索引類型字段進(jìn)行匹配查找；合并各數(shù)據(jù)節(jié)點(diǎn)上的查詢結(jié)果，生成懷疑店鋪查詢結(jié)果集合。
5.如權(quán)利要求1所述的方法，其特征在于，所述服務(wù)器利用預(yù)置的不同詞性的分詞詞 庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行分詞并確定詞性，包括服務(wù)器利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn) 行正向分詞和反向分詞；服務(wù)器對(duì)正向分詞和反向分詞得到的詞表進(jìn)行消歧處理以得到唯一分詞結(jié)果。
6.如權(quán)利要求1所述的方法，其特征在于，所述服務(wù)器利用預(yù)置的不同詞性的分詞詞 庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行分詞并確定詞性之后中，還包括服務(wù)器將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別進(jìn)行模式匹 配，從預(yù)置的模式規(guī)則文件中找到所述名稱所匹配的模式規(guī)則，從而將所述名稱中的分 詞標(biāo)記上詞性。
7.—種服務(wù)器，其特征在于，包括獲取單元，用于獲取待甄別的實(shí)體數(shù)據(jù)；名稱比較單元，用于將待甄別實(shí)體數(shù)據(jù)的名稱與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)的名稱 通過下述方式逐一比較實(shí)體名稱利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名稱進(jìn)行分詞 并確定詞性；將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入預(yù)定 的模板；通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是否相同 得到實(shí)體名稱比較的評(píng)分；判斷單元，用于通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與比較的 數(shù)據(jù)庫(kù)中的實(shí)體數(shù)據(jù)是否重復(fù)；添加單元，用于將判斷為不重復(fù)的實(shí)體數(shù)據(jù)添加入所述數(shù)據(jù)庫(kù)中。
8.如權(quán)利要求7所述的服務(wù)器，其特征在于，所述數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)包括數(shù) 據(jù)庫(kù)中的所有實(shí)體數(shù)據(jù)或部分實(shí)體數(shù)據(jù)。
9.如權(quán)利要求8所述的服務(wù)器，其特征在于，所述部分實(shí)體數(shù)據(jù)包括從所述數(shù)據(jù)庫(kù)的 所有實(shí)體數(shù)據(jù)中的篩選出來的懷疑實(shí)體的數(shù)據(jù)。
10.如權(quán)利要求8所述的服務(wù)器，其特征在于，還包括篩選單元，用于將待查找的黃 頁(yè)店鋪的店鋪名和分店名以空格連接，生成以空格分界的分詞串；通過上述所得到分詞串，與倒排索引類型字段進(jìn)行匹配查找；合并各個(gè)數(shù)據(jù)節(jié)點(diǎn)上的查詢結(jié)果，生成懷疑店鋪查詢結(jié)果集合。
11.如權(quán)利要求7所述的服務(wù)器，其特征在于，還包括添加單元，用于將判斷為不重 復(fù)的實(shí)體數(shù)據(jù)添加入所述數(shù)據(jù)庫(kù)中。
12.如權(quán)利要求7所述的服務(wù)器，其特征在于，所述名稱比較單元包括分詞單元，利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體名 稱進(jìn)行分詞并確定詞性；模板單元，將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別填入預(yù) 定的模板；評(píng)分單元，通過比較待甄別店名和數(shù)據(jù)庫(kù)中實(shí)體店名在所述模板中對(duì)應(yīng)詞性的詞是 否相同得到實(shí)體名稱比較的評(píng)分。
13.如權(quán)利要求12所述的服務(wù)器，其特征在于，所述分詞單元包括正向分詞單元和反 向分詞單元，分別利用預(yù)置的不同詞性的分詞詞庫(kù)對(duì)待甄別實(shí)體名稱及數(shù)據(jù)庫(kù)中的實(shí)體 名稱進(jìn)行正向分詞和反向分詞；相應(yīng)地，所述分詞單元還包括消岐單元，用于對(duì)正向分詞和反向分詞得到的詞表進(jìn) 行消歧處理以得到唯一分詞結(jié)果。
14.如權(quán)利要求12所述的服務(wù)器，其特征在于，所述名稱比較單元還包括模式匹配 單元，用于將經(jīng)過分詞并確定詞性的待甄別店名及數(shù)據(jù)庫(kù)中的實(shí)體名稱分別進(jìn)行模式匹 配，從預(yù)置的模式規(guī)則文件中找到所述名稱所匹配的模式規(guī)則，從而將所述名稱中的分 詞標(biāo)記上詞性。
全文摘要
一種甄別重復(fù)實(shí)體數(shù)據(jù)的方法和系統(tǒng)。所述方法包括S1服務(wù)器獲取待甄別的實(shí)體數(shù)據(jù)；S2服務(wù)器將待甄別的實(shí)體數(shù)據(jù)的名稱與數(shù)據(jù)庫(kù)中預(yù)定量的實(shí)體數(shù)據(jù)的名稱逐一進(jìn)行比較實(shí)體名稱并得到評(píng)分S3服務(wù)器通過比較評(píng)分與預(yù)定標(biāo)準(zhǔn)分來判斷所述待甄別的實(shí)體數(shù)據(jù)與比較的數(shù)據(jù)庫(kù)中的實(shí)體數(shù)據(jù)重復(fù)；S4服務(wù)器將判斷為不重復(fù)的所述待甄別的實(shí)體數(shù)據(jù)添加入數(shù)據(jù)庫(kù)。利用本方法，可以高效的甄別出重復(fù)的實(shí)體數(shù)據(jù)。
文檔編號(hào)G06F17/30GK102023984SQ20091017055
公開日2011年4月20日 申請(qǐng)日期2009年9月10日 優(yōu)先權(quán)日2009年9月10日
發(fā)明者莫正華 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司