技術總結
本發(fā)明公開了一種清洗比對入庫方法，該方法由入庫服務器對入庫的數(shù)據(jù)文件進行掃描，選擇不同的分塊方式對數(shù)據(jù)文件進行分塊，從中選擇中重復數(shù)據(jù)量大的分塊方式存儲入庫。該方法在清洗比對入庫時，以較小的粒度進行清洗比對，提高了重復數(shù)據(jù)的發(fā)現(xiàn)率，降低了數(shù)據(jù)存儲的占用空間。

技術研發(fā)人員：林殷;安西民;李垚
受保護的技術使用者：航天星圖科技（北京）有限公司
文檔號碼：201611207614
技術研發(fā)日：2016.12.23
技術公布日：2017.06.13