重啟用站點的收錄方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種重啟用站點的收錄方法和系統(tǒng)。該方法包括：提取一個或多個時效性網(wǎng)頁；解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點；如果是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。本發(fā)明實施例能夠高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
【專利說明】重啟用站點的收錄方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)應(yīng)用【技術(shù)領(lǐng)域】，特別是涉及一種重啟用站點的收錄方法和系統(tǒng)。

【背景技術(shù)】
[0002]在計算機(jī)領(lǐng)域，站點(site)是指物理上具有較好的線路連接的能實現(xiàn)較快通信速率的計算機(jī)的集合(一般是指一個局域網(wǎng))，站點之間一般是通過慢速連接來實現(xiàn)信息通信(一般是指廣域網(wǎng))，即站點是對網(wǎng)上計算機(jī)的實際的物理分布的一種客觀反映。
[0003]隨著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，互聯(lián)網(wǎng)的更新速度極快，每天甚至數(shù)小時或數(shù)分鐘均可能存在著站點的失效、無效以及重啟用(站點的重啟用是指該站點曾經(jīng)被使用過，后成為無效或失效的站點，現(xiàn)又重新啟動)，對于搜索引擎而言及時重新收錄重啟用站點是一項基本的要求。然而，搜索引擎在確認(rèn)站點失效或無效后一般是采取打壓的策略，即spider (爬蟲)不再去抓取此站點，且展現(xiàn)時也會屏蔽掉該站點，久而久之下游也不會再建索引。當(dāng)站點重新啟用后，spider也很難及時地發(fā)現(xiàn)并且去更新，當(dāng)然下游也不會建索引呈現(xiàn)給用戶。如果站點失效或無效后，為了及時發(fā)現(xiàn)該站點的重新啟用而每天例行不斷地去抓取更新，顯然是一種流量浪費，而且互聯(lián)網(wǎng)中站點數(shù)據(jù)巨大，顯然不是一種很好的方法。相關(guān)技術(shù)中，針對站點失效或無效后，又重新啟用的情況，在調(diào)度時會根據(jù)站點歷史特征等信息，或者定期隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，但是其召回率和準(zhǔn)確率是無法保證的。因此，如何高效、有針對性地重新收錄重啟用站點成為目前亟待解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0004]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的重啟用站點的收錄方法和相應(yīng)的系統(tǒng)。
[0005]依據(jù)本發(fā)明的一個方面，提供了一種重啟用站點的收錄方法，包括:提取一個或多個時效性網(wǎng)頁；解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點；如果是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0006]可選地，所述提取一個或多個時效性網(wǎng)頁，包括:根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
[0007]可選地，解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息，包括:解析所述時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分；判斷所述頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
[0008]可選地，解析所述時效性網(wǎng)頁中的時效性內(nèi)容之后，判斷其中是否包含有時效性站點信息之前，還包括:所述時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，所述網(wǎng)頁包含的有效內(nèi)容與所述網(wǎng)頁的質(zhì)量成正比；選擇質(zhì)量超過指定閾值的多個網(wǎng)頁；在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息。
[0009]可選地，所述時效性內(nèi)容包括下列至少之一:
[0010]標(biāo)題；
[0011]正文；
[0012]相關(guān)鏈接。
[0013]可選地，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括:查找收錄站點數(shù)據(jù)庫，判斷所述時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點；若是，則驗證所述時效性站點信息對應(yīng)的站點為重啟用的站點。
[0014]可選地，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括:解析所述時效性站點信息，查找互聯(lián)網(wǎng)協(xié)議IP信息；若所述時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
[0015]可選地，將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄，包括:將所述時效性站點信息對應(yīng)的站點作為重啟用的站點；驗證所述重啟用的站點是否為有效站點；若是，則對所述重啟用的站點進(jìn)行重新收錄。
[0016]依據(jù)本發(fā)明的另一個方面，還提供了一種重啟用站點的收錄系統(tǒng)，包括:
[0017]提取模塊，適于提取一個或多個時效性網(wǎng)頁；
[0018]判斷模塊，適于解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；
[0019]驗證模塊，適于根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站占.
[0020]收錄模塊，適于如果驗證模塊的驗證結(jié)果為是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0021]可選地，所述提取模塊還適于:根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
[0022]可選地，所述判斷模塊還適于:解析所述時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分；判斷所述頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
[0023]可選地，所述判斷模塊還適于:所述時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，所述網(wǎng)頁包含的有效內(nèi)容與所述網(wǎng)頁的質(zhì)量成正比；選擇質(zhì)量超過指定閾值的多個網(wǎng)頁；在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信肩、O
[0024]可選地，所述時效性內(nèi)容包括下列至少之一:
[0025]標(biāo)題；
[0026]正文；
[0027]相關(guān)鏈接。
[0028]可選地，所述驗證模塊還適于:查找收錄站點數(shù)據(jù)庫，判斷所述時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點；若是，則驗證所述時效性站點信息對應(yīng)的站點為重啟用的站點。
[0029]可選地，所述驗證模塊還適于:解析所述時效性站點信息，查找互聯(lián)網(wǎng)協(xié)議IP信息；若所述時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
[0030]可選地，所述收錄模塊還適于:將所述時效性站點信息對應(yīng)的站點作為重啟用的站點；驗證所述重啟用的站點是否為有效站點；若是，則對所述重啟用的站點進(jìn)行重新收錄。
[0031]依據(jù)本發(fā)明的技術(shù)方案，通過解析一個或多個時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，并驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，若是，則將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。由此可見，本發(fā)明實施例能夠提取一個或多個時效性網(wǎng)頁，并解析時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，進(jìn)而驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，而無需爬蟲每天例行不斷地去抓取更新或者在調(diào)度時會根據(jù)站點歷史特征等信息隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新。本發(fā)明實施例解決了爬蟲每天例行不斷地去抓取更新，造成流量浪費的問題；同時解決了在調(diào)度時會根據(jù)站點歷史特征等信息，或者定期隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，而無法保證其召回率和準(zhǔn)確率的問題。因此，本發(fā)明實施例能夠高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
[0032]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
[0033]根據(jù)下文結(jié)合附圖對本發(fā)明具體實施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將會更加明了本發(fā)明的上述以及其他目的、優(yōu)點和特征。

【專利附圖】

【附圖說明】
[0034]通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0035]圖1示出了根據(jù)本發(fā)明一個實施例的重啟用站點的收錄方法的流程圖；
[0036]圖2示出了根據(jù)本發(fā)明一個實施例的基于查找收錄站點數(shù)據(jù)庫的重啟用站點的收錄方法的流程圖；
[0037]圖3示出了時效性網(wǎng)頁中新聞報道提及的重啟用站點的示意圖；
[0038]圖4示出了根據(jù)本發(fā)明一個實施例的基于查找IP的方式的重啟用站點的收錄方法的流程圖；以及
[0039]圖5示出了根據(jù)本發(fā)明一個實施例的重啟用站點的收錄系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0040]下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0041]為解決上述技術(shù)問題，本發(fā)明實施例提供了一種重啟用站點的收錄方法，圖1示出了根據(jù)本發(fā)明一個實施例的重啟用站點的收錄方法的流程圖。如圖1所示，該方法至少包括以下步驟S102至步驟S108。
[0042]步驟S102、提取一個或多個時效性網(wǎng)頁。
[0043]步驟S104、解析時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息，若是，則繼續(xù)執(zhí)行步驟S106 ;否則，結(jié)束本次流程。
[0044]步驟S106、根據(jù)時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，若是，則繼續(xù)執(zhí)行步驟S108 ;否則，結(jié)束本次流程。
[0045]步驟S108、將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0046]依據(jù)本發(fā)明的技術(shù)方案，通過解析一個或多個時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，并驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，若是，則將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。由此可見，本發(fā)明實施例能夠提取一個或多個時效性網(wǎng)頁，并解析時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，進(jìn)而驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，而無需爬蟲每天例行不斷地去抓取更新或者在調(diào)度時會根據(jù)站點歷史特征等信息隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新。本發(fā)明實施例解決了爬蟲每天例行不斷地去抓取更新，造成流量浪費的問題；同時解決了在調(diào)度時會根據(jù)站點歷史特征等信息，或者定期隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，而無法保證其召回率和準(zhǔn)確率的問題。因此，本發(fā)明實施例能夠高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
[0047]上文步驟S102中提及的時效性網(wǎng)頁是指發(fā)布時間距當(dāng)前不超過指定時長，且搜索引擎未收錄過的網(wǎng)頁。進(jìn)一步地，步驟S102可以采用的技術(shù)手段為:根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。例如，當(dāng)前時間為上午8:30，可以將網(wǎng)頁發(fā)布時間為上午7:30至8:30的網(wǎng)頁確認(rèn)為時效性網(wǎng)頁。又例如,若網(wǎng)頁的前鏈網(wǎng)頁是由搜索引擎利用搜索關(guān)鍵詞搜索到的搜索結(jié)果所在的網(wǎng)頁，即在搜索結(jié)果中鏈接到該網(wǎng)頁，則認(rèn)為該網(wǎng)頁被搜索引擎收錄過，該網(wǎng)頁不為時效性網(wǎng)頁；反之，該網(wǎng)頁為時效性網(wǎng)頁。
[0048]在步驟S102提取一個或多個時效性網(wǎng)頁之后，步驟S104進(jìn)一步解析時效性網(wǎng)頁中的時效性內(nèi)容，這里的時效性內(nèi)容可以是網(wǎng)頁時效性主體內(nèi)容，如正文、標(biāo)題、相關(guān)鏈接等。步驟S104可以采用的技術(shù)手段為:解析時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分，進(jìn)而判斷頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。若頁面內(nèi)容部分和/或超鏈部分包含有時效性站點信息，則獲取頁面內(nèi)容部分中提及的時效性站點信息，和/或，超鏈部分的時效性站點信息，并進(jìn)入隨后的步驟S108。若頁面內(nèi)容部分和/或超鏈部分均不包含有時效性站點信息，則結(jié)束本次流程。
[0049]由于低質(zhì)量的垃圾時效性網(wǎng)頁提煉出來的站點的質(zhì)量往往較低，本發(fā)明實施例可以進(jìn)一步將低質(zhì)量的時效性網(wǎng)頁識別出來。即步驟S104可以采用的技術(shù)手段為:當(dāng)時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，網(wǎng)頁包含的有效內(nèi)容與網(wǎng)頁的質(zhì)量成正比，隨后選擇質(zhì)量超過指定閾值的多個網(wǎng)頁，之后在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息。
[0050]在上文步驟S104判斷時效性網(wǎng)頁中的時效性內(nèi)容中包含有時效性站點信息后，步驟S106進(jìn)一步驗證時效性站點信息對應(yīng)的站點是否為重啟用的站點，可以通過查找收錄站點數(shù)據(jù)庫或查找IP(Internet Protocol,互聯(lián)網(wǎng)協(xié)議)的方式來驗證,下面將詳細(xì)說明這兩種方式。
[0051]方式一，通過查找收錄站點數(shù)據(jù)庫的方式。
[0052]在方式一中，可以查找收錄站點數(shù)據(jù)庫，判斷時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點。若是，則驗證時效性站點信息對應(yīng)的站點為重啟用的站點。若否，則驗證時效性站點信息對應(yīng)的站點不為重啟用的站點，可能該站點為新發(fā)布的站點。
[0053]方式二，通過查找IP的方式。
[0054]在方式二中，可以解析時效性站點信息，查找IP信息。若時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。若時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前未成為無效或失效的站點，則驗證該站點不為重啟用的站點，可能該站點為新發(fā)布的站點。若時效性站點信息不具備IP，則驗證該站點不為重啟用的站點。
[0055]進(jìn)一步地，為了提高重啟用的站點重新收錄的準(zhǔn)確性和有效性。步驟S108將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄之前，還需要驗證該重啟用的站點是否為有效站點，若為有效站點，則對重啟用的站點進(jìn)行重新收錄，反之，則不對重啟用的站點進(jìn)行重新收錄。
[0056]以上介紹了圖1所示的實施例中各環(huán)節(jié)的多種實現(xiàn)方式，下面通過具體的優(yōu)選實施例對本發(fā)明實施例提供的重啟用站點的收錄方法做進(jìn)一步說明。
[0057]實施例一
[0058]圖2示出了根據(jù)本發(fā)明一個實施例的基于查找收錄站點數(shù)據(jù)庫的重啟用站點的收錄方法的流程圖。如圖2所示，該方法包括以下步驟S202至步驟S210。
[0059]步驟S202、根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。這里的時效性網(wǎng)頁是指發(fā)布時間距當(dāng)前不超過指定時長，且搜索引擎未收錄過的網(wǎng)頁。例如，當(dāng)前時間為上午8:30，可以將網(wǎng)頁發(fā)布時間為上午7:30至8:30的網(wǎng)頁確認(rèn)為時效性網(wǎng)頁。又例如，若網(wǎng)頁的前鏈網(wǎng)頁是由搜索引擎利用搜索關(guān)鍵詞搜索到的搜索結(jié)果所在的網(wǎng)頁，即在搜索結(jié)果中鏈接到該網(wǎng)頁，則認(rèn)為該網(wǎng)頁被搜索引擎收錄過，該網(wǎng)頁不為時效性網(wǎng)頁；反之,該網(wǎng)頁為時效性網(wǎng)頁。
[0060]步驟S204、解析時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分，判斷頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息，若是，則繼續(xù)執(zhí)行步驟S206 ;否則，結(jié)束本次流程。
[0061]進(jìn)一步地，當(dāng)時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，網(wǎng)頁包含的有效內(nèi)容與網(wǎng)頁的質(zhì)量成正比，隨后選擇質(zhì)量超過指定閾值的多個網(wǎng)頁，之后在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息，從而可以將低質(zhì)量的時效性網(wǎng)頁識別出來。
[0062]步驟S206、查找收錄站點數(shù)據(jù)庫，判斷時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點，若是，則繼續(xù)執(zhí)行步驟S208，否則，繼續(xù)執(zhí)行步驟S210。
[0063]步驟S208、驗證時效性站點信息對應(yīng)的站點為重啟用的站點，并將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0064]進(jìn)一步地，為了提高重啟用的站點重新收錄的準(zhǔn)確性和有效性。步驟S208將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄之前，還需要驗證該重啟用的站點是否為有效站點，若為有效站點，則對重啟用的站點進(jìn)行重新收錄，反之，則不對重啟用的站點進(jìn)行重新收錄。
[0065]步驟S210、驗證時效性站點信息對應(yīng)的站點不為重啟用的站點，并結(jié)束本次流程。
[0066]如圖3所示，為時效性網(wǎng)頁中新聞報道提及的重啟用站點的示意圖，頁面內(nèi)容部分中包含有時效性站點信息，即“http://www.byte, com”。進(jìn)一步查找收錄站點數(shù)據(jù)庫,判斷該時效性站點信息對應(yīng)的站點之前已標(biāo)記為失效的站點，則驗證時效性站點信息對應(yīng)的站點為重啟用的站點，并將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0067]實施例一中，能夠提取一個或多個時效性網(wǎng)頁，并解析時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，進(jìn)而基于查找收錄站點數(shù)據(jù)庫的方式驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，而無需爬蟲每天例行不斷地去抓取更新或者在調(diào)度時會根據(jù)站點歷史特征等信息隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，實現(xiàn)高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
[0068]實施例二
[0069]圖4示出了根據(jù)本發(fā)明一個實施例的基于查找IP的方式的重啟用站點的收錄方法的流程圖。如圖4所示，該方法包括以下步驟S402至步驟S414。
[0070]步驟S402、根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。這里的時效性網(wǎng)頁是指發(fā)布時間距當(dāng)前不超過指定時長，且搜索引擎未收錄過的網(wǎng)頁。例如，當(dāng)前時間為上午8:30，可以將網(wǎng)頁發(fā)布時間為上午7:30至8:30的網(wǎng)頁確認(rèn)為時效性網(wǎng)頁。又例如，若網(wǎng)頁的前鏈網(wǎng)頁是由搜索引擎利用搜索關(guān)鍵詞搜索到的搜索結(jié)果所在的網(wǎng)頁，即在搜索結(jié)果中鏈接到該網(wǎng)頁，則認(rèn)為該網(wǎng)頁被搜索引擎收錄過，該網(wǎng)頁不為時效性網(wǎng)頁；反之,該網(wǎng)頁為時效性網(wǎng)頁。
[0071]步驟S404、解析時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分，判斷頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息，若是，則繼續(xù)執(zhí)行步驟S406 ;否則，結(jié)束本次流程。
[0072]進(jìn)一步地，當(dāng)時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，網(wǎng)頁包含的有效內(nèi)容與網(wǎng)頁的質(zhì)量成正比，隨后選擇質(zhì)量超過指定閾值的多個網(wǎng)頁，之后在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息，從而可以將低質(zhì)量的時效性網(wǎng)頁識別出來。
[0073]步驟S406、解析時效性站點信息，查找IP信息。
[0074]步驟S408、判斷時效性站點信息是否具備IP，若是，則繼續(xù)執(zhí)行步驟S410 ;否則，繼續(xù)執(zhí)行步驟S412。
[0075]步驟S410、判斷搜索引擎中記錄該IP對應(yīng)的站點之前是否已成為無效或失效的站點，若是，則繼續(xù)執(zhí)行步驟S414 ;否則，繼續(xù)執(zhí)行步驟S412。
[0076]步驟S412、驗證該站點不為重啟用的站點，并結(jié)束本次流程。
[0077]步驟S414、驗證該站點為重啟用的站點，將該重啟用的站點進(jìn)行重新收錄。
[0078]進(jìn)一步地，為了提高重啟用的站點重新收錄的準(zhǔn)確性和有效性。步驟S208將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄之前，還需要驗證該重啟用的站點是否為有效站點，若為有效站點，則對重啟用的站點進(jìn)行重新收錄，反之，則不對重啟用的站點進(jìn)行重新收錄。
[0079]實施例二中，能夠提取一個或多個時效性網(wǎng)頁，并解析時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，進(jìn)而基于查找IP的方式驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，而無需爬蟲每天例行不斷地去抓取更新或者在調(diào)度時會根據(jù)站點歷史特征等信息隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，實現(xiàn)高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
[0080]需要說明的是，實際應(yīng)用中，上述所有可選實施方式可以采用結(jié)合的方式任意組合，形成本發(fā)明的可選實施例，在此不再一一贅述。
[0081]基于同一發(fā)明構(gòu)思，本發(fā)明實施例還提供了一種重啟用站點的收錄系統(tǒng)，以實現(xiàn)上述重啟用站點的收錄方法。
[0082]圖5示出了根據(jù)本發(fā)明一個實施例的重啟用站點的收錄系統(tǒng)的結(jié)構(gòu)示意圖。參見圖5，該系統(tǒng)至少包括:提取模塊510、判斷模塊520、驗證模塊530以及收錄模塊540。
[0083]現(xiàn)介紹本發(fā)明實施例的重啟用站點的收錄系統(tǒng)的各組成或器件的功能以及各部分間的連接關(guān)系:
[0084]提取模塊510，適于提取一個或多個時效性網(wǎng)頁；
[0085]判斷模塊520，與提取模塊510相耦合，適于解析時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；
[0086]驗證模塊530，與判斷模塊520相耦合，適于根據(jù)時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點；
[0087]收錄模塊540，與驗證模塊530相耦合，適于如果驗證模塊530的驗證結(jié)果為是，則將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0088]在一個實施例中，提取模塊510還可以適于:根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
[0089]在一個實施例中，判斷模塊520還可以適于:解析時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分；判斷頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
[0090]在一個實施例中，判斷模塊520還可以適于:時效性網(wǎng)頁的網(wǎng)頁為多個時，根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，網(wǎng)頁包含的有效內(nèi)容與網(wǎng)頁的質(zhì)量成正比；選擇質(zhì)量超過指定閾值的多個網(wǎng)頁；在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信肩、O
[0091]在一個實施例中，時效性內(nèi)容包括下列至少之一:
[0092]標(biāo)題；
[0093]正文；
[0094]相關(guān)鏈接。
[0095]在一個實施例中，驗證模塊530還可以適于:查找收錄站點數(shù)據(jù)庫，判斷時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點；若是，則驗證時效性站點信息對應(yīng)的站點為重啟用的站點。
[0096]在一個實施例中，驗證模塊530還可以適于:解析時效性站點信息，查找IP信息；若時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
[0097]在一個實施例中，收錄模塊540還可以適于:將時效性站點信息對應(yīng)的站點作為重啟用的站點；驗證重啟用的站點是否為有效站點；若是，則對重啟用的站點進(jìn)行重新收錄。
[0098]根據(jù)上述任意一個優(yōu)選實施例或多個優(yōu)選實施例的組合，本發(fā)明實施例能夠達(dá)到如下有益效果:
[0099]依據(jù)本發(fā)明的技術(shù)方案，通過解析一個或多個時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，并驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，若是，則將時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。由此可見，本發(fā)明實施例能夠提取一個或多個時效性網(wǎng)頁，并解析時效性網(wǎng)頁中的時效性內(nèi)容，獲取其中包含的時效性站點信息，進(jìn)而驗證獲取的時效性站點信息對應(yīng)的站點是否為重啟用的站點，而無需爬蟲每天例行不斷地去抓取更新或者在調(diào)度時會根據(jù)站點歷史特征等信息隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新。本發(fā)明實施例解決了爬蟲每天例行不斷地去抓取更新，造成流量浪費的問題；同時解決了在調(diào)度時會根據(jù)站點歷史特征等信息，或者定期隨機(jī)來選取一批已經(jīng)失效或無效的站點去更新，而無法保證其召回率和準(zhǔn)確率的問題。因此，本發(fā)明實施例能夠高效、有針對性地重新收錄重啟用站點，為后續(xù)使用重啟用站點提供便利。并且，對搜索引擎而言，大大提升了其收錄站點的全面性和時效性，起到搜索引擎優(yōu)化的作用。
[0100]在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細(xì)節(jié)的情況下實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0101]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。
[0102]本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。
[0103]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。
[0104]本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的重啟用站點的收錄系統(tǒng)中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機(jī)程序和計算機(jī)程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機(jī)可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0105]應(yīng)該注意的是上述實施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機(jī)來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0106]至此，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到，雖然本文已詳盡示出和描述了本發(fā)明的多個示例性實施例，但是，在不脫離本發(fā)明精神和范圍的情況下，仍可根據(jù)本發(fā)明公開的內(nèi)容直接確定或推導(dǎo)出符合本發(fā)明原理的許多其他變型或修改。因此，本發(fā)明的范圍應(yīng)被理解和認(rèn)定為覆蓋了所有這些其他變型或修改。
[0107]本發(fā)明還提供Al、一種重啟用站點的收錄方法，包括:
[0108]提取一個或多個時效性網(wǎng)頁；
[0109]解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；
[0110]根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點；
[0111]如果是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0112]A2、根據(jù)Al所述的方法，其中，所述提取一個或多個時效性網(wǎng)頁，包括:
[0113]根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
[0114]A3、根據(jù)Al或A2所述的方法，其中，解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息，包括:
[0115]解析所述時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分；
[0116]判斷所述頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
[0117]A4、根據(jù)Al至A3任一項所述的方法，其中，解析所述時效性網(wǎng)頁中的時效性內(nèi)容之后，判斷其中是否包含有時效性站點信息之前，還包括:
[0118]所述時效性網(wǎng)頁的網(wǎng)頁為多個時，
[0119]根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，所述網(wǎng)頁包含的有效內(nèi)容與所述網(wǎng)頁的質(zhì)量成正比；
[0120]選擇質(zhì)量超過指定閾值的多個網(wǎng)頁；
[0121]在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息。
[0122]A5、根據(jù)Al至A4任一項所述的方法，其中，所述時效性內(nèi)容包括下列至少之一:
[0123]標(biāo)題；
[0124]正文；
[0125]相關(guān)鏈接。
[0126]A6、根據(jù)Al至A5任一項所述的方法，其中，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括:
[0127]查找收錄站點數(shù)據(jù)庫，判斷所述時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點；
[0128]若是，則驗證所述時效性站點信息對應(yīng)的站點為重啟用的站點。
[0129]A7、根據(jù)Al至A6任一項所述的方法，其中，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括:
[0130]解析所述時效性站點信息，查找互聯(lián)網(wǎng)協(xié)議IP信息；
[0131]若所述時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
[0132]AS、根據(jù)Al至A7任一項所述的方法，其中，將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄，包括:
[0133]將所述時效性站點信息對應(yīng)的站點作為重啟用的站點；
[0134]驗證所述重啟用的站點是否為有效站點；
[0135]若是，則對所述重啟用的站點進(jìn)行重新收錄。
[0136]B9、一種重啟用站點的收錄系統(tǒng)，包括:
[0137]提取模塊，適于提取一個或多個時效性網(wǎng)頁；
[0138]判斷模塊，適于解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息；
[0139]驗證模塊，適于根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站占.
[0140]收錄模塊，適于如果驗證模塊的驗證結(jié)果為是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
[0141]B10、根據(jù)B9所述的系統(tǒng)，其中，所述提取模塊還適于:
[0142]根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
[0143]B11、根據(jù)B9或BlO所述的系統(tǒng)，其中，所述判斷模塊還適于:
[0144]解析所述時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分；
[0145]判斷所述頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
[0146]B12、根據(jù)B9至Bll任一項所述的系統(tǒng)，其中，所述判斷模塊還適于:
[0147]所述時效性網(wǎng)頁的網(wǎng)頁為多個時，
[0148]根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，所述網(wǎng)頁包含的有效內(nèi)容與所述網(wǎng)頁的質(zhì)量成正比；
[0149]選擇質(zhì)量超過指定閾值的多個網(wǎng)頁；
[0150]在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息。
[0151]B13、根據(jù)B9至B12任一項所述的系統(tǒng)，其中，所述時效性內(nèi)容包括下列至少之
[0152]標(biāo)題；
[0153]正文；
[0154]相關(guān)鏈接。
[0155]B14、根據(jù)B9至B13任一項所述的系統(tǒng)，其中，所述驗證模塊還適于:
[0156]查找收錄站點數(shù)據(jù)庫，判斷所述時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點；
[0157]若是，則驗證所述時效性站點信息對應(yīng)的站點為重啟用的站點。
[0158]B15、根據(jù)B9至B14任一項所述的系統(tǒng)，其中，所述驗證模塊還適于:
[0159]解析所述時效性站點信息，查找互聯(lián)網(wǎng)協(xié)議IP信息；
[0160]若所述時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
[0161]B16、根據(jù)B9至B15任一項所述的系統(tǒng),其中，所述收錄模塊還適于:
[0162]將所述時效性站點信息對應(yīng)的站點作為重啟用的站點；
[0163]驗證所述重啟用的站點是否為有效站點；
[0164]若是，則對所述重啟用的站點進(jìn)行重新收錄。
【權(quán)利要求】
1.一種重啟用站點的收錄方法，包括: 提取一個或多個時效性網(wǎng)頁； 解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息； 根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點； 如果是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述提取一個或多個時效性網(wǎng)頁，包括: 根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息，包括: 解析所述時效性網(wǎng)頁的頁面內(nèi)容部分和/或超鏈部分； 判斷所述頁面內(nèi)容部分和/或超鏈部分是否包含有時效性站點信息。
4.根據(jù)權(quán)利要求1至3任一項所述的方法，其中，解析所述時效性網(wǎng)頁中的時效性內(nèi)容之后，判斷其中是否包含有時效性站點信息之前，還包括: 所述時效性網(wǎng)頁的網(wǎng)頁為多個時， 根據(jù)每個網(wǎng)頁的內(nèi)容確定每個網(wǎng)頁的質(zhì)量，其中，所述網(wǎng)頁包含的有效內(nèi)容與所述網(wǎng)頁的質(zhì)量成正比； 選擇質(zhì)量超過指定閾值的多個網(wǎng)頁； 在選擇的多個網(wǎng)頁中判斷其中是否包含有時效性站點信息。
5.根據(jù)權(quán)利要求1至4任一項所述的方法，其中，所述時效性內(nèi)容包括下列至少之一: 標(biāo)題； 正文； 相關(guān)鏈接。
6.根據(jù)權(quán)利要求1至5任一項所述的方法，其中，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括: 查找收錄站點數(shù)據(jù)庫，判斷所述時效性站點信息對應(yīng)的站點是否之前已標(biāo)記為無效或失效的站點； 若是，則驗證所述時效性站點信息對應(yīng)的站點為重啟用的站點。
7.根據(jù)權(quán)利要求1至6任一項所述的方法，其中，根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點，包括: 解析所述時效性站點信息，查找互聯(lián)網(wǎng)協(xié)議IP信息； 若所述時效性站點信息具備IP，且搜索引擎中記錄該IP對應(yīng)的站點之前已成為無效或失效的站點，則驗證該站點為重啟用的站點。
8.根據(jù)權(quán)利要求1至7任一項所述的方法，其中，將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄，包括: 將所述時效性站點信息對應(yīng)的站點作為重啟用的站點； 驗證所述重啟用的站點是否為有效站點； 若是，則對所述重啟用的站點進(jìn)行重新收錄。
9.一種重啟用站點的收錄系統(tǒng)，包括: 提取模塊，適于提取一個或多個時效性網(wǎng)頁； 判斷模塊，適于解析所述時效性網(wǎng)頁中的時效性內(nèi)容，判斷其中是否包含有時效性站點信息； 驗證模塊，適于根據(jù)所述時效性站點信息，驗證對應(yīng)的站點是否為重啟用的站點； 收錄模塊，適于如果驗證模塊的驗證結(jié)果為是，則將所述時效性站點信息對應(yīng)的站點作為重啟用的站點進(jìn)行重新收錄。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述提取模塊還適于: 根據(jù)網(wǎng)頁發(fā)布時間和/或前鏈網(wǎng)頁信息提取一個或多個時效性網(wǎng)頁。
【文檔編號】G06F17/30GK104182485SQ201410389132
【公開日】2014年12月3日 申請日期:2014年8月8日 優(yōu)先權(quán)日:2014年8月8日
【發(fā)明者】王智廣 申請人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司