技術(shù)編號:12666477
提示:您尚未登錄,請點 登 陸 后下載,如果您還沒有賬戶請點 注 冊 ,登陸完成后,請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域,特別是涉及一種爬取動態(tài)網(wǎng)頁的方法及裝置。背景技術(shù)網(wǎng)絡(luò)爬蟲是一種自動獲取網(wǎng)頁內(nèi)容的程序,是搜索引擎的重要組成部分。傳統(tǒng)的爬蟲策略是從一個或若干初始網(wǎng)頁的URL(UniformResourceLocator,統(tǒng)一資源定位符)開始,在抓取網(wǎng)頁的過程中,不斷從當(dāng)前頁面上抽取新的URL放入隊列,直到滿足系統(tǒng)的一定停止條件才停止。通俗的講,也就是通過源碼解析來獲得想要的內(nèi)容。但是,由于只有靜態(tài)網(wǎng)頁中的內(nèi)容全部記錄在網(wǎng)頁源碼中,而動態(tài)網(wǎng)頁中的內(nèi)容并不全部記錄在網(wǎng)頁源碼中,所以現(xiàn)有的這...
注意:該技術(shù)已申請專利,請尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識儲備,不適合論文引用。
請注意,此類技術(shù)沒有源代碼,用于學(xué)習(xí)研究技術(shù)思路。