1.一種基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,包括步驟:
A、軌道預報的并行化設(shè)計,將大規(guī)模觀測任務(wù)分解若干個小任務(wù),每個小任務(wù)獨立完成;
B、軌道預報的并行化實現(xiàn)。
2.根據(jù)權(quán)利要求1所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A中,將大規(guī)模觀測任務(wù)分解若干個小任務(wù)是針對并行計算的思想設(shè)計一個全新的并行化算法來達到并行計算。
3.根據(jù)權(quán)利要求1-2所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A中,軌道預報的并行化設(shè)計包括步驟:
A1、獲取多顆衛(wèi)星軌道預報輸入;
A2、將所述輸入封裝在RDD中;
A3、將封裝后數(shù)據(jù)通過軌道預報程序輸出;
A4、所述輸出為寫入本地文件系統(tǒng)、寫入RDD、寫入Redis。
4.根據(jù)權(quán)利要求3所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A1包括:所述尾氣傳輸管連接所述集氣罩的一端處于整跟管路的最低位置,連接所述氧轉(zhuǎn)移效率測定儀的一端處于整跟管路的最高位置,防止冷凝水堵塞管道。
5.根據(jù)權(quán)利要求3所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A1包括:將一顆衛(wèi)星計算所需要的兩個文件數(shù)據(jù)放在一行,并添加一個參數(shù)標識衛(wèi)星名稱,輸入數(shù)據(jù)之間以空格或者其他字符隔開,RDD的每一行都表示一顆衛(wèi)星的軌道計算輸入。
6.根據(jù)權(quán)利要求3所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A2包括:RDD分區(qū)策略,所述RDD分區(qū)策略是計算多顆衛(wèi)星的軌道預報,將幾顆衛(wèi)星的計算任務(wù)放在同一個分區(qū),外部程序能接受多個計算輸入,并在所述程序中依次執(zhí)行得到最終的計算結(jié)果。
7.根據(jù)權(quán)利要求3所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟A3包括:每顆衛(wèi)星在每個計算時間段的軌道預報計算都會得到一個輸出結(jié)果,通過軌道標識參數(shù)對輸出結(jié)果進行區(qū)分,軌道預報輸出結(jié)果的存儲方式在外部程序的代碼中進行指定,存儲方式有三種:
a)寫入本地文件系統(tǒng);
b)寫入RDD;
c)寫入Redis內(nèi)存。
8.根據(jù)權(quán)利要求1所述的基于Spark的成像衛(wèi)星任務(wù)預處理并行化方法,其特征在于,所述步驟B包括:
B1、初始化Spark集群環(huán)境,配置集群參數(shù);
B2、從本地文件系統(tǒng)或者Redis中讀取輸入數(shù)據(jù)集生成RDD;
B3、通過pipe()方法將RDD中的元素傳遞給軌道預報這個外部程序;
B4、調(diào)用RDD的行動操作觸發(fā)實際計算。