專利名稱：基于站點配額的均衡調(diào)度系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種基于站點配額的均衡調(diào)度系統(tǒng)及方法。
背景技術(shù)：
對于搜索引擎來說，從互聯(lián)網(wǎng)上抓取頁面是其處理的第一步。然而互聯(lián)網(wǎng)累積的頁面數(shù)巨大，而每天新更新和新產(chǎn)生的頁面數(shù)同樣非常巨大。如何及時地獲取這些頁面，是搜索引擎面臨的首要問題。為了能及時地抓取這些海量頁面，必須進行合理而有效的調(diào)度。因此，采用何種調(diào)度算法就非常重要了。目前，網(wǎng)頁搜索在進行網(wǎng)頁抓取調(diào)度時，對于新發(fā)現(xiàn)的頁面按順序進行排隊。對于 歷史頁面，則根據(jù)歷史頁面的更新頻率來決定其重新調(diào)度的頻度。在網(wǎng)頁搜索中，由于所有頁面都采用統(tǒng)一的策略，下載延遲的時間幾乎都是按天來計的。這對于很多垂直搜索來說是無法容忍的。特殊情況下，大數(shù)據(jù)量網(wǎng)站將影響其他網(wǎng)站的及時處理。如果服務(wù)器數(shù)量不足，一些數(shù)據(jù)量大的網(wǎng)站的頁面，將占去大部分處理能力，導(dǎo)致其他網(wǎng)站無法及時處理。

發(fā)明內(nèi)容
鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的基于站點配額的均衡調(diào)度系統(tǒng)及方法。依據(jù)本發(fā)明的一個方面，提供了一種基于站點配額的均衡調(diào)度系統(tǒng)，包括調(diào)度任務(wù)獲取模塊，適于獲取站點的域名隊列中的調(diào)度任務(wù)；調(diào)度模塊，適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面?？蛇x地，所述調(diào)度任務(wù)獲取模塊適于按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)?？蛇x地，所述系統(tǒng)還包括反饋調(diào)整模塊，適于在調(diào)度一個頁面后將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。可選地，所述系統(tǒng)還包括反饋調(diào)整模塊，適于在下載一個頁面后將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差?？蛇x地，當頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間?？蛇x地，所述系統(tǒng)還包括配額分配模塊，具體包括站點結(jié)構(gòu)定位模塊，適于獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)；域名配額分配模塊，適于從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進行排序，從選擇排序后的域名中選擇預(yù)定數(shù)量的域名；域名IP定位模塊，適于對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器；調(diào)度時間設(shè)置模塊，適于定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間。如果上次調(diào)度時間大于或等當前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當前時間；循環(huán)分配模塊，適于如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理，當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為0，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間后再對所有站點循環(huán)分配。·
可選地，預(yù)定時間為I秒。根據(jù)本發(fā)明的另一方面，提供了基于站點配額的均衡調(diào)度方法，包括以下步驟獲取站點的域名隊列中的調(diào)度任務(wù)；對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。可選地，按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)?？蛇x地，調(diào)度一個頁面后還包括步驟將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。可選地，下載一個頁面后還包括步驟將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差?？蛇x地，當頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間?？蛇x地，對所述調(diào)度任務(wù)中的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面具體包括獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)；從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號；對站點域名按上次調(diào)度時間進行排序，從排序后的域名中選擇預(yù)定數(shù)量的域名；對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄各IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器；定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間。如果上次調(diào)度時間大于或等于當前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當前時間；如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理；當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為O，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間后再對所有站點循環(huán)分配?？蛇x地，預(yù)定時間為I秒。根據(jù)本發(fā)明的基于站點配額的均衡調(diào)度系統(tǒng)將方法保證所有站點在任何情況下都能獲得一定的下載機會。同時，可以根據(jù)實際情況設(shè)置不同的配額限制，以兼顧效率與時效性，滿足不同搜索產(chǎn)品的需求。這也為全網(wǎng)搜索能與垂直搜索統(tǒng)一處理奠定了基礎(chǔ)。上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式
。



通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中圖I示出了根據(jù)本發(fā)明一個實施例的基于站點配額的均衡調(diào)度方法流程圖；圖2示出了圖I中步驟S120的具體流程圖；圖3示出了根據(jù)本發(fā)明一個實施例的基于站點配額的均衡調(diào)度系統(tǒng)結(jié)構(gòu)示意圖；圖4示出了圖3中調(diào)度模塊具體結(jié)構(gòu)示意圖。
具體實施例方式下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。本實施例的基于站點配額的均衡調(diào)度方法流程如圖I所示，包括步驟S110，獲取站點的域名隊列中的調(diào)度任務(wù)?？梢詮娜W(wǎng)搜索系統(tǒng)的域名隊列中獲取調(diào)度任務(wù)。步驟S120，對調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從服務(wù)器中下載相應(yīng)數(shù)量的頁面。通過控制從服務(wù)器中下載網(wǎng)頁的數(shù)量，保證了所有站點在任何情況下都能獲得一定的下載機會，不會因為某些數(shù)據(jù)量大的網(wǎng)站的頁面，將占去大部分下載機會，導(dǎo)致其他網(wǎng)站無法及時下載及處理。進一步地，若域名隊列中的任務(wù)具有優(yōu)先級，則按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。在從每臺網(wǎng)站服務(wù)器下載網(wǎng)頁時，除了限制一定下載數(shù)量以外還要通過一定的調(diào)度算法控制在何時下載這一次可調(diào)度頁面數(shù)量的網(wǎng)頁，以保證網(wǎng)站服務(wù)器在自身的壓力容忍范圍內(nèi)。壓力控制必須針對ip，即服務(wù)器(一般來說，一個ip對應(yīng)一臺網(wǎng)站的服務(wù)器，所以壓力控制必須按ip進行以免對網(wǎng)站特定服務(wù)器造成太大的壓力。ip與域名對應(yīng)，一個域名可以有多個ip，也可能只有一個ip。一個url里可能使用的是域名，也可能直接使用ip)，一個ip可能同時屬于多個域名，所以對于一個ip的反復(fù)調(diào)度過程中，就要對所屬域名進行輪轉(zhuǎn)調(diào)度，舉例說，如果有兩個域名對應(yīng)同一個ip，那么這次調(diào)度該ip時調(diào)度了第一個域名的一批url，那么下次調(diào)度該ip時就應(yīng)該調(diào)度另一個域名的一批url。因此，需要控制服務(wù)器中頁面的調(diào)度時間。在調(diào)度一個頁面后還將該頁面的上次調(diào)度時間更新為上次調(diào)度時間加上頁面超時時間，其中，上次調(diào)度時間為頁面的一個屬性，每當調(diào)用該頁面后就更新該屬性，即更新為上次調(diào)度時間加上頁面超時時間。也就是說在一個 頁面超時時間內(nèi)不再調(diào)度該頁面。由于不同頁面的下載時間有長有短，因此當頁面下載完成后，除非頁面真的超時了，那么在頁面超時時間內(nèi)再無法得到調(diào)度，若未超時，則下載一個頁面后還將該頁面的上次調(diào)度時間更新為上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與頁面下載時間之差。其中，為了方便對同一站點同一管理，設(shè)置一個約定時間為頁面的下載時間，若頁面實際下載時間小于預(yù)設(shè)的下載時間，則頁面下載時間為所述約定時間，否則為頁面實際下載時間。例如一個ip上(一臺網(wǎng)站服務(wù)器)最快不能超過5秒(約定時間)下載一個頁面，但有的時候網(wǎng)站非常忙，可能10秒甚至超過了超時時間都無法下載一個頁面。所以為了保證不給服務(wù)器壓力太大，每次調(diào)度時直接將下次可下載時間增加了一個超時時間，比如說60秒。這樣這個ip在60秒內(nèi)都不能被再次調(diào)度到，而不是最初的約定時間(上述5秒)。由于只有下載程序清楚這個頁面下載用了多長時間。如果這個頁面最終超時了，也就是說下載耗時為全部超時時間，如60秒。那么這個時間就不需要在調(diào)度了，說明這個網(wǎng)站確實很忙，5秒調(diào)度一個頁面根本就下載不過來。但如果下載耗時少于超時時間，那就要分兩種情況。一種情況是下載時間甚至少于約定的最快時間，如5秒。那么這時的回調(diào)時間應(yīng)該是超時時間減去最快約定時間，就是回調(diào)55秒，即將上次調(diào)度時間設(shè)置為上次調(diào)度時間加上5秒，在這5秒之后可調(diào)度該頁面。因為如果回調(diào)更多的話，就打破了最快5秒下載一個頁面的約定。另一種情況是如果下載耗時超過了約定的時間，比如15秒，這時的回調(diào)時間才應(yīng)該是超時時間減去實際下載時間，也就是回調(diào)45秒。這樣在下載速度很快時，也能按約定時間進行控制，而在下載比較慢時，也能按實際情況，以慢于約定的時間去下載，而且可以保證在前面的頁面下載完成后才會繼續(xù)調(diào)度頁面，而不會出現(xiàn)更新慢的網(wǎng)站也總是按約定時間調(diào)度，結(jié)果頁面越積攢越多的情況。在下載頁面之前還包括循環(huán)分配站點下載配額的步驟，如圖2所示，具體包括步驟S210，獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)。步驟S220，從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進行排序，從排序后的域名中選擇預(yù)定數(shù)量的域名。步驟S230，對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄各IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器。步驟S240，定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間。如果上次調(diào)度時間大于或等于當前時間(上次調(diào)度時間屬性中記錄的時間值，由上述步驟S120中對該屬性值調(diào)整得到)，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP對應(yīng)的服務(wù)器的上次調(diào)度時間置為當前時間。
步驟S250，如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理。步驟S250，當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為0，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間(如I秒)后再對所有站點循環(huán)分配。所有站點連續(xù)排列，第一個站點序號為0，以后逐次加1，調(diào)度時先從O號站點開始，下次加I調(diào)度I號站點。調(diào)度到最后一個站點后，下次就要折回去再從O號站點調(diào)度。本發(fā)明還提供了一種基于站點配額的均衡調(diào)度系統(tǒng)，具體結(jié)構(gòu)如圖3所示，包括調(diào)度任務(wù)獲取模塊310和調(diào)度模塊320。調(diào)度任務(wù)獲取模塊310適于獲取站點的域名隊列中的調(diào)度任務(wù)，若域名隊列中的調(diào)度任務(wù)有優(yōu)先級順序，則按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。調(diào)度模塊320適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服 務(wù)器中下載相應(yīng)數(shù)量的頁面。本實施例的系統(tǒng)還包括反饋調(diào)整模塊，適于在調(diào)度一個頁面后將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。本實施例的系統(tǒng)還包括反饋調(diào)整模塊，適于在下載一個頁面后將所述服務(wù)器的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差。其中，當頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間。本實施例的系統(tǒng)還包括配額分配模塊4,具體如圖4所示,包括站點結(jié)構(gòu)定位模塊410，適于獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)；域名配額分配模塊420，適于從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進行排序，從選擇排序后的域名中選擇預(yù)定數(shù)量的域名；域名IP定位模塊430，適于對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器；調(diào)度時間設(shè)置模塊440，適于定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間。如果上次調(diào)度時間大于或等當前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當前時間；循環(huán)分配模塊450，適于如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理，當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為0，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間(如I秒)后再對所有站點循環(huán)分配。在此提供的算法和顯示不與任何特定計算機、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。在此處所提供的說明書中，說明了大量具體細節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細節(jié)的情況下實踐。在一些實例中，并未詳細示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。類似地，應(yīng)當理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖即所要求保護的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循具體實施方式
的權(quán)利要求書由此明確地并入該具體實施方式
，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中。可以把實施例中的模塊或單 元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的基于站點配額的均衡調(diào)度系統(tǒng)中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機程序和計算機程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。應(yīng)該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明進行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當編程的計算機來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱。
權(quán)利要求
1.一種基于站點配額的均衡調(diào)度系統(tǒng)，包括 調(diào)度任務(wù)獲取模塊，適于獲取站點的域名隊列中的調(diào)度任務(wù)； 調(diào)度模塊，適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。
2.如權(quán)利要求I所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述調(diào)度任務(wù)獲取模塊適于按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。
3.如權(quán)利要求I或2所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括反饋調(diào)整模塊，適于在調(diào)度一個頁面后將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。
4.如權(quán)利要求Γ3中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括反饋調(diào)整模塊，適于在下載一個頁面后將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差。
5.如權(quán)利要求廣4中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，當頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間。
6.如權(quán)利要求Γ5中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括配額分配模塊，具體包括 站點結(jié)構(gòu)定位模塊，適于獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)； 域名配額分配模塊，適于從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進行排序，從選擇排序后的域名中選擇預(yù)定數(shù)量的域名； 域名IP定位模塊，適于對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器； 調(diào)度時間設(shè)置模塊，適于定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間，如果上次調(diào)度時間大于或等當前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當前時間； 循環(huán)分配模塊，適于如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理，當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為O，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間后再對所有站點循環(huán)分配。
7.如權(quán)利要求Γ6中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，預(yù)定時間為I秒。
8.一種基于站點配額的均衡調(diào)度方法，包括以下步驟 獲取站點的域名隊列中的調(diào)度任務(wù)； 對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。
9.如權(quán)利要求8所述的基于站點配額的均衡調(diào)度方法，其特征在于，按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。
10.如權(quán)利要求8或9所述的基于站點配額的均衡調(diào)度方法，其特征在于，調(diào)度一個頁面后還包括步驟將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。
11.如權(quán)利要求8 10中任一項所述的基于站點配額的均衡調(diào)度方法，其特征在于，下載一個頁面后還包括步驟將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差。
12.如權(quán)利要求8 11中任一項所述的基于站點配額的均衡調(diào)度方法，其特征在于，當頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間。
13.如權(quán)利要求8 12中任一項所述的基于站點配額的均衡調(diào)度方法，其特征在于，在下載頁面之前還包括 獲取當前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)； 從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進行排序，從排序后的域名中選擇預(yù)定數(shù)量的域名； 對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄各IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器； 定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當前時間，如果上次調(diào)度時間大于或等于當前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當前時間； 如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理，當前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達到最大值，序號重置為0，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間后再對所有站點循環(huán)分配。
14.如權(quán)利要求8 13中任一項所述的基于站點配額的均衡調(diào)度方法，其特征在于，預(yù)定時間為I秒。
全文摘要
本發(fā)明公開了一種基于站點配額的均衡調(diào)度系統(tǒng)，涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，該系統(tǒng)包括調(diào)度任務(wù)獲取模塊，適于獲取站點的域名隊列中的調(diào)度任務(wù)；調(diào)度模塊，適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。本發(fā)明還公開了一種基于站點配額的均衡調(diào)度方法。根據(jù)本發(fā)明的基于站點配額的均衡調(diào)度系統(tǒng)將方法保證所有站點在任何情況下都能獲得一定的下載機會。同時，可以根據(jù)實際情況設(shè)置不同的配額限制，以兼顧效率與時效性，滿足不同搜索產(chǎn)品的需求。這也為全網(wǎng)搜索能與垂直搜索統(tǒng)一處理奠定了基礎(chǔ)。
文檔編號G06F9/50GK102929721SQ20121037692
公開日2013年2月13日 申請日期2012年9月29日 優(yōu)先權(quán)日2012年9月29日
發(fā)明者盧宏林 申請人:北京奇虎科技有限公司, 奇智軟件(北京)有限公司