技術(shù)編號(hào):6516421
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶(hù)請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明互聯(lián)網(wǎng)搜索引擎,提供了一種分布式網(wǎng)絡(luò)爬蟲(chóng)任務(wù)調(diào)度的方法及其系統(tǒng),其中,方法包括對(duì)分布式網(wǎng)絡(luò)爬蟲(chóng)集群進(jìn)行配置;第一爬蟲(chóng)分析第一層鏈接對(duì)應(yīng)的網(wǎng)頁(yè),提取網(wǎng)頁(yè)中存在的第二層鏈接;根據(jù)Hash一致性算法分配與第二層鏈接對(duì)應(yīng)的爬取任務(wù);如果第二層鏈接是分配給第一爬蟲(chóng)之外的爬蟲(chóng),則將第二層鏈接對(duì)應(yīng)的爬取任務(wù)記錄到相應(yīng)序號(hào)的爬蟲(chóng)對(duì)應(yīng)的爬取任務(wù)文件中;每隔預(yù)定的時(shí)間間隔將爬取任務(wù)文件打包上傳到共享目錄中;每個(gè)爬蟲(chóng)定時(shí)到共享目錄中提取并執(zhí)行對(duì)應(yīng)的爬取任務(wù)。本發(fā)明提供的分...
注意:該技術(shù)已申請(qǐng)專(zhuān)利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專(zhuān)利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專(zhuān)利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類(lèi)技術(shù)沒(méi)有源代碼,用于學(xué)習(xí)研究技術(shù)思路。