技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明提供了一種數(shù)據(jù)去重的方法，所述方法應(yīng)用于包括多個(gè)下游數(shù)據(jù)處理設(shè)備的系統(tǒng)中，所述方法包括：中間設(shè)備獲取所接收到的數(shù)據(jù)中攜帶的唯一標(biāo)識；所述中間設(shè)備根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系和所述數(shù)據(jù)中的所述唯一標(biāo)識，確定所述數(shù)據(jù)將要被發(fā)送到的下游數(shù)據(jù)處理設(shè)備；所述中間設(shè)備將所述數(shù)據(jù)發(fā)送到所述下游數(shù)據(jù)處理設(shè)備，以使所述下游數(shù)據(jù)處理設(shè)備對相同數(shù)據(jù)進(jìn)行數(shù)據(jù)去重。本發(fā)明可以使多個(gè)下游數(shù)據(jù)處理設(shè)備對重復(fù)數(shù)據(jù)進(jìn)行有效的去重。

技術(shù)研發(fā)人員：李翔;張新銘
受保護(hù)的技術(shù)使用者：阿里巴巴集團(tuán)控股有限公司
技術(shù)研發(fā)日：2016.03.25
技術(shù)公布日：2017.10.03