1.一種結(jié)構(gòu)化數(shù)據(jù)的下載方法,其特征在于,包括:
接收結(jié)構(gòu)化數(shù)據(jù)的下載指令;
根據(jù)所述下載指令將對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)下載任務(wù)切分為多個(gè)數(shù)據(jù)分段下載任務(wù);
根據(jù)所述多個(gè)數(shù)據(jù)分段下載任務(wù)下載相應(yīng)的多個(gè)數(shù)據(jù)分段文件。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述下載指令包括要下載的結(jié)構(gòu)化數(shù)據(jù)的起止標(biāo)識(shí),所述根據(jù)所述下載指令將對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)下載任務(wù)切分為多個(gè)數(shù)據(jù)分段下載任務(wù),進(jìn)一步包括:
根據(jù)所述起止標(biāo)識(shí)確定所述結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)長(zhǎng)度;
將所述結(jié)構(gòu)化數(shù)據(jù)下載任務(wù)切分為結(jié)構(gòu)長(zhǎng)度小于或等于第一預(yù)設(shè)閾值的多個(gè)數(shù)據(jù)分段下載任務(wù)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述起止標(biāo)識(shí)是起止時(shí)間標(biāo)識(shí)。
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述多個(gè)數(shù)據(jù)分段下載任務(wù)下載相應(yīng)的多個(gè)數(shù)據(jù)分段文件具體包括:采用多線程并行下載所述多個(gè)數(shù)據(jù)分段文件。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,當(dāng)一個(gè)或多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),所述方法還包括:
獲取對(duì)應(yīng)的數(shù)據(jù)分段下載任務(wù)的待下載量;
當(dāng)所述待下載量大于第二預(yù)設(shè)閾值時(shí),將所述數(shù)據(jù)分段下載任務(wù)進(jìn)一步切分為兩個(gè)子分段下載任務(wù);
根據(jù)所述子分段下載任務(wù)下載相應(yīng)的數(shù)據(jù)分段文件。
6.根據(jù)權(quán)利要求4所述的方法,其特征在于,當(dāng)一個(gè)或多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),所述方法還包括:
重新下載相應(yīng)的數(shù)據(jù)分段文件。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)分段文件中包括分段標(biāo)識(shí),在所述根據(jù)所述多個(gè)數(shù)據(jù)分段下載任務(wù)下載相應(yīng)的多個(gè)數(shù)據(jù)分段文件之后,還包括:
根據(jù)所述數(shù)據(jù)分段文件和對(duì)應(yīng)的分段標(biāo)識(shí)生成要下載的所述結(jié)構(gòu)化數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,當(dāng)一個(gè)或多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),所述方法還包括:
根據(jù)已下載的所述多個(gè)數(shù)據(jù)分段文件和對(duì)應(yīng)的分段標(biāo)識(shí),生成部分要下載的所述結(jié)構(gòu)化數(shù)據(jù)和缺失數(shù)據(jù)分段的信息。
9.一種結(jié)構(gòu)化數(shù)據(jù)的下載裝置,其特征在于,包括:
接收模塊,用于接收結(jié)構(gòu)化數(shù)據(jù)的下載指令;
切分模塊,用于根據(jù)所述下載指令將對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)下載任務(wù)切分為多個(gè)數(shù)據(jù)分段下載任務(wù);
下載模塊,用于根據(jù)所述多個(gè)數(shù)據(jù)分段下載任務(wù)下載相應(yīng)的多個(gè)數(shù)據(jù)分段文件。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述下載指令包括要下載的結(jié)構(gòu)化數(shù)據(jù)的起止標(biāo)識(shí),所述切分模塊,進(jìn)一步包括:
確定子模塊,用于根據(jù)所述起止標(biāo)識(shí)確定所述結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)長(zhǎng)度;
切分子模塊,用于將所述結(jié)構(gòu)化數(shù)據(jù)下載任務(wù)切分為結(jié)構(gòu)長(zhǎng)度小于或等于第一預(yù)設(shè)閾值的多個(gè)數(shù)據(jù)分段下載任務(wù)。
11.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述下載模塊具體用于采用多線程并行下載所述多個(gè)數(shù)據(jù)分段文件。
12.根據(jù)權(quán)利要求11所述的裝置,其特征在于,所述裝置還包括:
獲取模塊,用于在一個(gè)或多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),獲取對(duì)應(yīng)的數(shù)據(jù)分段下載任務(wù)的待下載量;
所述切分模塊還用于在所述待下載量大于第二預(yù)設(shè)閾值時(shí),將所述數(shù)據(jù)分段下載任務(wù)進(jìn)一步切分為兩個(gè)子分段下載任務(wù);
所述下載模塊還用于根據(jù)所述子分段下載任務(wù)下載相應(yīng)的數(shù)據(jù)分段文件。
13.根據(jù)權(quán)利要求11所述的裝置,其特征在于,所述下載模塊還用于在一個(gè)或多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),重新下載相應(yīng)的數(shù)據(jù)分段文件。
14.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述數(shù)據(jù)分段文件中包括分段標(biāo)識(shí),所述裝置還包括:
合成模塊,用于根據(jù)所述數(shù)據(jù)分段文件和對(duì)應(yīng)的分段標(biāo)識(shí)生成要下載的所述結(jié)構(gòu)化數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的裝置,其特征在于,所述合成模塊還用于在一個(gè)或 多個(gè)所述數(shù)據(jù)分段文件下載失敗時(shí),根據(jù)已下載的所述多個(gè)數(shù)據(jù)分段文件和對(duì)應(yīng)的分段標(biāo)識(shí),生成部分要下載的所述結(jié)構(gòu)化數(shù)據(jù)和缺失數(shù)據(jù)分段的信息。