技術(shù)編號(hào)：12719653
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及信息抓取技術(shù)領(lǐng)域，特別是涉及信息抓取方法、裝置、中央控制節(jié)點(diǎn)設(shè)備及分布式系統(tǒng)。背景技術(shù)以爬蟲為首的信息抓取技術(shù)可以從互聯(lián)網(wǎng)中抓取大量的有用信息，為各種決策、分析提供數(shù)據(jù)支持。爬蟲在抓取信息過程中會(huì)將爬取的網(wǎng)頁信息記錄到本地的爬取歷史中，當(dāng)爬蟲由于某些不可控因素而消亡時(shí)，爬蟲首先重新啟動(dòng)，然后讀取本地的爬取歷史，將待抓取列表中的已抓取過的網(wǎng)頁過濾掉，從而抓取新的網(wǎng)頁的信息。但是，當(dāng)本地的爬取歷史消失時(shí)，爬蟲將無法讀取消失的爬取歷史中的數(shù)據(jù)，這就導(dǎo)致爬蟲需要重新對(duì)待抓取列表中的所有網(wǎng)頁進(jìn)行...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。