技術(shù)編號:11590405
提示:您尚未登錄,請點 登 陸 后下載,如果您還沒有賬戶請點 注 冊 ,登陸完成后,請刷新本頁查看技術(shù)詳細信息。本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域,尤其涉及一種爬取網(wǎng)頁的方法及裝置。背景技術(shù)網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則自動爬取萬維網(wǎng)中網(wǎng)頁的程序或者腳本。它可以根據(jù)既定的目標,選擇性地訪問萬維網(wǎng)上的網(wǎng)頁和相關(guān)的鏈接,獲取所需要的信息。在通過網(wǎng)絡(luò)爬蟲爬取網(wǎng)頁時,若需要爬取的網(wǎng)頁數(shù)量很大,則通常會將待爬取的網(wǎng)頁的統(tǒng)一資源定位符(UniformResourceLocator,簡稱URL)放到隊列中進行緩存,每個網(wǎng)頁的URL稱為一個爬蟲種子,每次由網(wǎng)絡(luò)爬蟲從緩存的隊列中按順序獲取爬蟲種子,然后進行網(wǎng)頁的爬取。當其中某些網(wǎng)頁需...
注意:該技術(shù)已申請專利,請尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識儲備,不適合論文引用。
請注意,此類技術(shù)沒有源代碼,用于學習研究技術(shù)思路。