技術(shù)編號(hào)：12719098
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，尤其涉及一種基于實(shí)測(cè)帶寬的多智能體互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)分配方法。背景技術(shù)為滿足海量數(shù)據(jù)爬取的需求，現(xiàn)代爬蟲系統(tǒng)一般采用大規(guī)模分布式架構(gòu)。在這種架構(gòu)中，如何高效配置多個(gè)數(shù)據(jù)采集節(jié)點(diǎn)的資源成為提升爬蟲系統(tǒng)性能的關(guān)鍵問題。傳統(tǒng)的分布式爬蟲系統(tǒng)一般采用隨機(jī)任務(wù)調(diào)度的機(jī)制或類似機(jī)制。這種機(jī)制的問題在于沒有考慮爬取目標(biāo)的地理位置差異，以及多個(gè)采集節(jié)點(diǎn)在采集、存儲(chǔ)方面的帶寬差異因素，更沒有運(yùn)用相應(yīng)的帶寬測(cè)試方法，因此無法做到資源的最優(yōu)配置，從而影響了分布式爬蟲系統(tǒng)的數(shù)據(jù)采集性能。發(fā)明內(nèi)容...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。