1.一種并行數(shù)據(jù)加載方法,其特征在于,所述方法應(yīng)用于并行數(shù)據(jù)加載系統(tǒng),所述系統(tǒng)包括:M個(gè)主節(jié)點(diǎn)、N個(gè)數(shù)據(jù)節(jié)點(diǎn)和R個(gè)文件傳輸協(xié)議FTP服務(wù)器,其中,所述M為大于等于1的整數(shù),所述N為大于等于2的整數(shù),所述R為大于等于1的整數(shù),所述M個(gè)主節(jié)點(diǎn)與所述N個(gè)數(shù)據(jù)節(jié)點(diǎn)以及所述R個(gè)FTP服務(wù)器通信連接,所述N個(gè)數(shù)據(jù)節(jié)點(diǎn)和所述R個(gè)FTP服務(wù)器通信連接;
所述方法包括:
主節(jié)點(diǎn)向至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載指示信息,所述加載指示信息用于指示所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)加載所述FTP服務(wù)器中存儲(chǔ)的數(shù)據(jù);
所述主節(jié)點(diǎn)接收所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送的任務(wù)分配請(qǐng)求信息,所述任務(wù)分配請(qǐng)求信息用于請(qǐng)求所述主節(jié)點(diǎn)為所述數(shù)據(jù)節(jié)點(diǎn)分配加載文件信息;
所述主節(jié)點(diǎn)向每個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的加載文件信息;
所述數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述加載文件信息從所述FTP服務(wù)器下載所述加載文件信息對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行加載。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述主節(jié)點(diǎn)向每個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的加載文件信息之前,還包括:
所述主節(jié)點(diǎn)根據(jù)所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請(qǐng)求信息的頻率,確定為每個(gè)數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,還包括:
若所述主節(jié)點(diǎn)確定待加載文件已經(jīng)全部加載完畢,向所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載完成指示信息。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,還包括:
若所述主節(jié)點(diǎn)確定待加載文件已經(jīng)全部加載完畢,向所述客戶端發(fā)送加載完成指示信息。
5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法,其特征在于,所述主節(jié)點(diǎn)根據(jù)所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請(qǐng)求信息的頻率,確定為每個(gè)數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小之前,還包括:
所述主節(jié)點(diǎn)將待加載文件分割為多個(gè)數(shù)據(jù)塊,每個(gè)數(shù)據(jù)塊對(duì)應(yīng)一個(gè)所述加載文件信息。
6.一種并行數(shù)據(jù)加載系統(tǒng)、其特征在于,包括:
M個(gè)主節(jié)點(diǎn)、N個(gè)數(shù)據(jù)節(jié)點(diǎn)和R個(gè)文件傳輸協(xié)議FTP服務(wù)器,其中,所述M為大于等于1的整數(shù),所述N為大于等于2的整數(shù),所述R為大于等于1的整數(shù),所述M個(gè)主節(jié)點(diǎn)與所述N個(gè)數(shù)據(jù)節(jié)點(diǎn)以及所述R個(gè)FTP服務(wù)器通信連接,所述N個(gè)數(shù)據(jù)節(jié)點(diǎn)和所述R個(gè)FTP服務(wù)器通信連接;
其中,
所述FTP服務(wù)器,用于存儲(chǔ)待加載文件;
所述主節(jié)點(diǎn),用于向至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載指示信息,所述加載指示信息用于指示所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)加載所述FTP服務(wù)器中存儲(chǔ)的數(shù)據(jù);
所述主節(jié)點(diǎn),還用于接收所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送的任務(wù)分配請(qǐng)求信息,所述任務(wù)分配請(qǐng)求信息用于請(qǐng)求所述主節(jié)點(diǎn)為所述數(shù)據(jù)節(jié)點(diǎn)分配加載文件信息;
所述主節(jié)點(diǎn),還用于向每個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的加載文件信息;
所述數(shù)據(jù)節(jié)點(diǎn),用于根據(jù)所述加載文件信息從所述FTP服務(wù)器下載所述加載文件信息對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行加載。
7.根據(jù)權(quán)利要求6所述的系統(tǒng),其特征在于,
所述主節(jié)點(diǎn)還用于根據(jù)所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請(qǐng)求信息的頻率,確定為每個(gè)數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小。
8.根據(jù)權(quán)利要求7所述的系統(tǒng),其特征在于,
所述主節(jié)點(diǎn)還用于確定待加載文件已經(jīng)全部加載完畢,向所述至少兩個(gè)數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載完成指示信息。
9.根據(jù)權(quán)利要求8所述的系統(tǒng),其特征在于,
所述主節(jié)點(diǎn)還用于接收客戶端發(fā)送的加載指示信息,所述加載指示信息中包含所述待加載文件的信息。
10.根據(jù)權(quán)利要求9所述的系統(tǒng),其特征在于,
所述主節(jié)點(diǎn)還用于確定待加載文件已經(jīng)全部加載完畢,向所述客戶端發(fā)送加載完成指示信息。
11.根據(jù)權(quán)利要求7-10任一項(xiàng)所述的系統(tǒng),其特征在于,
所述主節(jié)點(diǎn)還用于將待加載文件分割為多個(gè)數(shù)據(jù)塊,每個(gè)數(shù)據(jù)塊對(duì)應(yīng)一個(gè)所述加載文件信息。