技術(shù)編號：11829835
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及爬蟲識別領(lǐng)域，具體而言，涉及一種搜索引擎爬蟲的識別、處理方法及裝置。背景技術(shù)目前，云計算的發(fā)展趨勢迅猛，日益被大眾所熟知并接受，企業(yè)也逐漸將各類應(yīng)用、網(wǎng)站、服務(wù)遷移到云服務(wù)商提供的云計算環(huán)境。同時，通過爬蟲程序訪問web頁面，從網(wǎng)絡(luò)上獲取數(shù)據(jù)的現(xiàn)象越來越普遍。爬蟲既有來自傳統(tǒng)的搜索引擎，也有來自其他渠道的爬蟲，盡管云環(huán)境中的很多網(wǎng)站，希望允許搜索引擎的爬蟲訪問，以擴大知名度，引來更多的用戶訪問，但是由于存在來自其他渠道的爬蟲，例如一些爬蟲訪問僅僅用于自身目的，對網(wǎng)站沒有貢獻，但卻占用網(wǎng)...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。