技術(shù)總結(jié)
本發(fā)明公開了一種基于實(shí)測(cè)帶寬的多智能體互聯(lián)網(wǎng)數(shù)據(jù)采集任務(wù)分配方法，假定在環(huán)境中存在L個(gè)目標(biāo)任務(wù)T1，T2，…,TL和K個(gè)智能體節(jié)點(diǎn)A1,A2,…,AK，若K>L，則執(zhí)行單任務(wù)分配算法，否則執(zhí)行多任務(wù)分配算法。在多任務(wù)分配時(shí)，傳統(tǒng)的分布式爬蟲系統(tǒng)一般采用隨機(jī)任務(wù)調(diào)度的機(jī)制，這種機(jī)制的問題在于沒有考慮多個(gè)采集節(jié)點(diǎn)能力的差異因素，從而影響了分布式爬蟲系統(tǒng)的數(shù)據(jù)采集性能。本發(fā)明針對(duì)上述不足，提供一種基于實(shí)測(cè)帶寬，合理分配分布式網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集任務(wù)的方法，優(yōu)先為采集能力匹配度高的節(jié)點(diǎn)分配采集任務(wù)，從而使得分布式數(shù)據(jù)采集系統(tǒng)獲得較高的采集性能，提高了互聯(lián)網(wǎng)信息的爬取效率。

技術(shù)研發(fā)人員：沈頌
受保護(hù)的技術(shù)使用者：浙江工商大學(xué)
文檔號(hào)碼：201710052671
技術(shù)研發(fā)日：2017.01.24
技術(shù)公布日：2017.06.23