技術特征:
技術總結(jié)
本申請涉及一種中間數(shù)據(jù)傳輸方法及系統(tǒng)、分布式系統(tǒng)。其中,中間數(shù)據(jù)傳輸方法包括:確定所述上級子任務本次要傳輸?shù)闹虚g數(shù)據(jù),記為待傳數(shù)據(jù);從所述下級子任務的用于監(jiān)聽數(shù)據(jù)的網(wǎng)絡端口中選擇需要接收所述待傳數(shù)據(jù)的網(wǎng)絡端口,記為接收端口;將所述待傳數(shù)據(jù)通過網(wǎng)絡直接傳輸給所述接收端口。本發(fā)明實施例中,中間數(shù)據(jù)的傳輸不需要經(jīng)過分布式存儲系統(tǒng),避免了磁盤IO速率對中間數(shù)據(jù)傳輸速率的影響,提高了中間數(shù)據(jù)傳輸速率。
技術研發(fā)人員:呂志強;陶陽宇;陸一峰;李超;吳永軍;李治;劉耀麗
受保護的技術使用者:阿里巴巴集團控股有限公司
技術研發(fā)日:2016.02.14
技術公布日:2017.08.22