專利名稱：多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及遙感數(shù)據(jù)地面預(yù)處理技術(shù)領(lǐng)域，特別涉及一種基于并行機(jī)群架 構(gòu)的高性能多衛(wèi)星遙感數(shù)據(jù)地面預(yù)處理系統(tǒng)。
背景技術(shù)：
遙感衛(wèi)星地面預(yù)處理系統(tǒng)是集衛(wèi)星數(shù)據(jù)存檔與管理、數(shù)據(jù)預(yù)處理與產(chǎn)品生 成于一體的綜合系統(tǒng)，是空間對地觀測系統(tǒng)的重要支撐系統(tǒng)，是關(guān)聯(lián)空間數(shù)據(jù) 獲取和地面應(yīng)用之間的紐帶。隨著信息技術(shù)和傳感器技術(shù)的飛速發(fā)展，衛(wèi)星遙 感影像空間分辨率、光譜分辨率和時間分辨率大大提高，星上數(shù)據(jù)釆集量增加
100-400倍，相應(yīng)的數(shù)據(jù)處理計算量也增加了 1000-10000倍，針對如此海量數(shù)
據(jù)處理的壓力，基于小型機(jī)或工作站平臺的傳統(tǒng)地面預(yù)處理系統(tǒng)在性能擴(kuò)展方 面受到制約。隨著可利用的遙感衛(wèi)星數(shù)量及其相應(yīng)的遙感器種類不斷增加，以 及人們對遙感數(shù)據(jù)應(yīng)用的深度和廣度不斷提出新的要求，遙感衛(wèi)星地面預(yù)處理 系統(tǒng)在靈活的重構(gòu)特性和多種產(chǎn)品處理能力方面面臨新的挑戰(zhàn)與需求，人們希 望在預(yù)處理系統(tǒng)中盡可能多地完成自己的處理需求，遙感衛(wèi)星地面預(yù)處理系統(tǒng) 在功能擴(kuò)展方面受到制約。
如何在性能和功能擴(kuò)展方面滿足遙感數(shù)據(jù)預(yù)處理的要求是一個需要迫切解 決的問題，有必要提供一種在性能和功能方面擴(kuò)展性好多衛(wèi)星遙感數(shù)據(jù)一體化 地面處理方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)， 解決多衛(wèi)星數(shù)據(jù)多級產(chǎn)品、海量數(shù)據(jù)快速處理問題。
實現(xiàn)本發(fā)明目的的技術(shù)方案是
一種多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)，包括硬件層，其提供預(yù)處理系統(tǒng)的硬件支撐，包括商品化機(jī)群系統(tǒng)、SAN/NAS 等存儲系統(tǒng)以及千兆以太網(wǎng)或infiniband等高性能網(wǎng)絡(luò)系統(tǒng)等硬件設(shè)施；
系統(tǒng)支撐層，提供系統(tǒng)軟件支撐環(huán)境，系統(tǒng)性能的擴(kuò)展，遙感數(shù)據(jù)預(yù)處 理是復(fù)雜的計算密集、數(shù)據(jù)密集和網(wǎng)絡(luò)密集型應(yīng)用，并且不同的處理功能對 計算、存儲和網(wǎng)絡(luò)性能的要求也不盡相同，該系統(tǒng)通過正交設(shè)計來實現(xiàn)并行 計算、并行存儲、并行網(wǎng)絡(luò)負(fù)載模塊，使得系統(tǒng)在處理性能、網(wǎng)絡(luò)性能、存 儲性能方面可以獨立擴(kuò)展，并可以根據(jù)數(shù)據(jù)處理特點綜合優(yōu)化三者性能，對 數(shù)據(jù)的處理、數(shù)據(jù)的歸檔和產(chǎn)品生產(chǎn)與分發(fā)提供了強(qiáng)大的系統(tǒng)性能支持，使 得系統(tǒng)性能高度擴(kuò)展和高效運行，達(dá)到了在性能方面按需擴(kuò)展的要求；
數(shù)據(jù)處理擴(kuò)展層，具有多種衛(wèi)星多種傳感器的抽象功能接口和公共的功 能組合邏輯，各類衛(wèi)星和傳感器具體的處理算法通過繼承的手段實現(xiàn)和添加， 確保了算法功能按需擴(kuò)展；
任務(wù)管理調(diào)度層，實現(xiàn)任務(wù)調(diào)度和流程管理，在該層通過集成高性能的 作業(yè)調(diào)度系統(tǒng)和工作流管理系統(tǒng)，實現(xiàn)了多種處理功能的工作負(fù)載均衡和流 程處理能力，在所述的工作流管理系統(tǒng)，同一流程會被加載兩次來共同完成 對任務(wù)的處理，第一次用于為各個階段處理任務(wù)生成相應(yīng)的參數(shù)文件，第二 次用于執(zhí)行各個階段處理任務(wù)完成特定的處理功能。
用戶處理功能組合層，為用戶提供了簡單易用的流程組合界面，用戶可 以組合各種復(fù)雜的包括數(shù)據(jù)處理、歸檔、產(chǎn)品生產(chǎn)和分發(fā)等多種功能在內(nèi)的 處理流程。
本發(fā)明的有益效果通過數(shù)據(jù)處理功能擴(kuò)展層和用戶處理功能組合層的 擴(kuò)展，實現(xiàn)了系統(tǒng)在功能方面的按需擴(kuò)展，不但可以增加新的多衛(wèi)星遙感數(shù) 據(jù)處理算法和功能，還能組合各種基本的處理功能，使用戶可隨意定制遙感 數(shù)據(jù)處理流程，滿足用戶特定的數(shù)據(jù)處理需求；具有完全開放的運行平臺， 在性能方面，用戶在不修改處理程序的情況下，便可以方便均衡的擴(kuò)展系統(tǒng) 的處理、存儲、網(wǎng)絡(luò)通信能力，提高程序的運行速度；在功能方面，當(dāng)有新的衛(wèi)星遙感數(shù)據(jù)進(jìn)入系統(tǒng)需要處理、歸檔、產(chǎn)品生產(chǎn)和分發(fā)時，只需將相應(yīng) 數(shù)據(jù)的處理^^塊才艮據(jù)一定的模板加入系統(tǒng)中即可完成功能的擴(kuò)展。


下面根據(jù)附圖對本發(fā)明實施例作進(jìn)一步詳細(xì)說明。
圖l是本發(fā)明實施例的系統(tǒng)結(jié)構(gòu)示意圖。
具體實施例方式
如圖1所示，本發(fā)明實施例所述的多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理 系統(tǒng)，包括硬件層、系統(tǒng)支撐層、數(shù)據(jù)處理擴(kuò)展層，任務(wù)管理調(diào)度層和用戶處
理功能組合層；其中硬件層提供預(yù)處理系統(tǒng)的硬件支撐，包括商品化機(jī)群系統(tǒng)、 SAN/NAS等存儲系統(tǒng)以及千兆以太網(wǎng)或infiniband等高性能網(wǎng)絡(luò)系統(tǒng)等硬件設(shè) 施；系統(tǒng)支撐層，提供系統(tǒng)軟件支撐環(huán)境，注重系統(tǒng)性能的擴(kuò)展，通過正交設(shè) 計來實現(xiàn)并行計算、并行存儲、并行網(wǎng)絡(luò)負(fù)載模塊，使得系統(tǒng)在處理性能、網(wǎng) 絡(luò)性能、存儲性能方面可以獨立擴(kuò)展，并可以根據(jù)數(shù)據(jù)處理特點綜合優(yōu)化三者 性能，并行計算才莫塊包括MPI、 OpenMP、 PVM等，并行存儲模塊包括PVFS、 Lustre、 StorNext等，網(wǎng)絡(luò)負(fù)載模塊包括LVS、 BigIP等相關(guān)軟件的部署方法； 在數(shù)據(jù)處理擴(kuò)展層，具有多種衛(wèi)星多種傳感器的抽象功能接口和公共的功能組 合邏輯，各類衛(wèi)星和傳感器具體的處理算法通過繼承的手段實現(xiàn)和添加，確保
算法功能按需擴(kuò)展；在任務(wù)管理調(diào)度層，實現(xiàn)任務(wù)調(diào)度和流程管理，在該層通 過集成高性能的作業(yè)調(diào)度系統(tǒng)和工作流管理系統(tǒng)，實現(xiàn)多種處理功能的工作負(fù) 載均衡和流程處理能力；在用戶處理功能組合層，為用戶提供了簡單易用的流 程組合界面，用戶可以組合各種復(fù)雜的包括數(shù)據(jù)處理、歸檔、產(chǎn)品生產(chǎn)和分發(fā) 等多種功能在內(nèi)的處理流程。
通常情況下用戶提交任務(wù)到系統(tǒng)，系統(tǒng)中的任務(wù)調(diào)度層收到任務(wù)，解釋任 務(wù)為工作流，提交給任務(wù)調(diào)度層的工作流管理層，由工作流管理層把任務(wù)分解 成階段性性任務(wù)，提交給作業(yè)調(diào)度層，作業(yè)調(diào)度層把階段性任務(wù)按照機(jī)群中的 負(fù)載情況調(diào)度到機(jī)群中的計算節(jié)點上，執(zhí)行階段任務(wù)的計算任務(wù)。工作流層控制工作流的執(zhí)行，重復(fù)調(diào)用作業(yè)管理層進(jìn)行階段任務(wù)的調(diào)度工作，直到完成任 務(wù)單規(guī)定的任務(wù)。
用戶可以在原系統(tǒng)中增加新的任務(wù)流程。如以前的流程是零級數(shù)據(jù)獲取、 系統(tǒng)輻射校正、系統(tǒng)幾何校正、然后輸出產(chǎn)品，現(xiàn)在需要在系統(tǒng)輻射校正之前 增加去條帶的操作。實時方法很簡單，用戶在用戶子定義處理流程層定義好包 括零級數(shù)據(jù)獲取、去條帶、系統(tǒng)輻射校正、系統(tǒng)幾何校正、然后輸出產(chǎn)品在內(nèi) 的工作流，把該工作流與一個任務(wù)名綁定。今后提交該任務(wù)名時，就可以執(zhí)行 增加了去條帶的處理任務(wù)。
用戶可以在原有系統(tǒng)中增加新衛(wèi)星載荷凄史據(jù)的處理功能。如現(xiàn)有系統(tǒng)可以 處理"北京一號，，小衛(wèi)星數(shù)據(jù)的處理，現(xiàn)在要增加"環(huán)境與災(zāi)害監(jiān)測預(yù)報小衛(wèi) 星"載荷的處理，用戶只需要按照"數(shù)據(jù)處理接口抽象設(shè)計層"規(guī)定的接口， 在"處理功能具體實現(xiàn)層，，增加新衛(wèi)星數(shù)據(jù)的處理功能，該功能將自動加載到 該預(yù)處理系統(tǒng)中，實現(xiàn)對多衛(wèi)星數(shù)據(jù)處理的功能擴(kuò)展。
任務(wù)是由 一 系列階段子任務(wù)(功能模塊)有機(jī)組合而成的處理流程。為實現(xiàn)通 用衛(wèi)星地面預(yù)處理系統(tǒng)對數(shù)據(jù)處理流程的靈活性要求，任務(wù)管理調(diào)度層引入了
工作流機(jī)制來最大化系統(tǒng)數(shù)據(jù)處理流程的靈活性與可擴(kuò)展性。該處理流程用xml 文件格式進(jìn)行描述，以配置文件形式存放，在運行任務(wù)時動態(tài)加載，因此可以 在數(shù)據(jù)處理流程中實現(xiàn)功能組件模塊的"熱插拔"。系工作流管理層將利用自身 引擎對描述文件進(jìn)行解析，并按照預(yù)先定義好的規(guī)則對流程中的各階段任務(wù)進(jìn) 行處理。在數(shù)據(jù)處理流程中，同一流程會凈皮加載兩次來共同完成對任務(wù)的處理。 第一次用于為各個階段處理任務(wù)生成相應(yīng)的參數(shù)文件，第二次用于執(zhí)行各個階 段處理任務(wù)完成特定的處理功能。同時，可以根據(jù)需要在流程中設(shè)立檢查點， 以檢測階段處理是否正確執(zhí)行完成，沒有通過檢測的流程，檢測點后續(xù)的任務(wù) 功能將不再被執(zhí)行，并且任務(wù)管理調(diào)度層還提供自定義檢查點檢測內(nèi)容與失效 處理策略的擴(kuò)展功能。系統(tǒng)在任務(wù)處理過程中，用戶可以有效地干預(yù)(掛起、恢 復(fù)、取消)流程處理狀態(tài)從而實現(xiàn)對系統(tǒng)中任務(wù)的有效控制、管理。任務(wù)處理同 時，系統(tǒng)會完整地記錄處理進(jìn)度等日志信息，操作員可以通過圖形化界面查看任務(wù)流程處理進(jìn)度及狀態(tài)等運行信息。
對于由一系列階段任務(wù)組合而成的數(shù)據(jù)處理流程，工作流引擎將把每個任 務(wù)中的全部階段任務(wù)解析為新的獨立的作業(yè)提交至系統(tǒng)任務(wù)調(diào)度服務(wù)器，并獲 得每個新的作業(yè)在調(diào)度服務(wù)器中對應(yīng)的作業(yè)編號。隨后系統(tǒng)將根據(jù)此作業(yè)編號 查詢作業(yè)調(diào)度進(jìn)展及狀態(tài)信息，同時也可根據(jù)調(diào)度指令利用此作業(yè)編號掛起、 恢復(fù)、取消、重做該作業(yè)。任務(wù)調(diào)度子系統(tǒng)支持任務(wù)優(yōu)先級與任務(wù)并發(fā)性。調(diào) 度服務(wù)器中的管理服務(wù)將把所有任務(wù)請求放入任務(wù)調(diào)度池中，同時把任務(wù)請求 指令傳給調(diào)度策略服務(wù)，策略服務(wù)將根據(jù)可用計算資源負(fù)載情況，對任務(wù)池中 任務(wù)按照優(yōu)先級高低次序進(jìn)行調(diào)度，指派給系統(tǒng)根據(jù)預(yù)定義策略選擇出的運行 節(jié)點來執(zhí)行任務(wù)。同時運行節(jié)點還將定期的把自身負(fù)載情況反饋給調(diào)度策略服 務(wù)，從而任務(wù)調(diào)度子系統(tǒng)即可在計算資源間自動實現(xiàn)負(fù)載均衡。為實現(xiàn)對衛(wèi)星 數(shù)據(jù)快速預(yù)處理的特性，任務(wù)調(diào)度子系統(tǒng)提供兩種并行任務(wù)調(diào)度策略以實現(xiàn)最
高處理性能。對計算量不大的任務(wù)(如零級數(shù)據(jù)處理、產(chǎn)品發(fā)布等)，系統(tǒng)采用 任務(wù)級并行調(diào)度策略；對于算法復(fù)雜或大數(shù)據(jù)量處理等計算密集型任務(wù)(如波 段配準(zhǔn)等)，系統(tǒng)則采用算法級并行策略?；跈C(jī)群的通用任務(wù)調(diào)度機(jī)制雖然能 在各計算節(jié)點間實現(xiàn)動態(tài)負(fù)載均衡，但對于以大數(shù)據(jù)量處理為主的計算，通常 也會導(dǎo)致在各節(jié)點間大規(guī)模數(shù)據(jù)移動，導(dǎo)致系統(tǒng)處理性能的下降，甚至成為高 性能并行計算中的一個瓶頸。為消除數(shù)據(jù)移動對系統(tǒng)性能的影響，系統(tǒng)在由各 計算節(jié)點組成機(jī)群上部署并行文件系統(tǒng)。這不僅能有效地避免數(shù)據(jù)在計算節(jié)點 間的大規(guī)模移動，還可以極大的縮短高性能并行計算中數(shù)據(jù)分發(fā)與回收的時間， 以及提高系統(tǒng)基于并行計算的并行處理算法并發(fā)讀寫數(shù)據(jù)的效率。
權(quán)利要求
1、一種多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)，其特征在于，包括硬件層，其提供預(yù)處理系統(tǒng)的硬件支撐，包括商品化機(jī)群系統(tǒng)、SAN/NAS等存儲系統(tǒng)以及諸如千兆以太網(wǎng)或infiniband的高性能網(wǎng)絡(luò)系統(tǒng)；系統(tǒng)支撐層，提供系統(tǒng)軟件支撐環(huán)境及系統(tǒng)性能的擴(kuò)展，通過正交設(shè)計來實現(xiàn)并行計算、并行存儲、并行網(wǎng)絡(luò)負(fù)載模塊，使得系統(tǒng)在處理性能、網(wǎng)絡(luò)性能、存儲性能方面可以獨立擴(kuò)展，并可以根據(jù)數(shù)據(jù)處理特點綜合優(yōu)化三者性能，對數(shù)據(jù)的處理、數(shù)據(jù)的歸檔和產(chǎn)品生產(chǎn)與分發(fā)提供了強(qiáng)大的系統(tǒng)性能支持，使得系統(tǒng)性能高度擴(kuò)展和高效運行，達(dá)到了在性能方面按需擴(kuò)展的要求；數(shù)據(jù)處理擴(kuò)展層，具有多種衛(wèi)星多種傳感器的抽象功能接口和公共的功能組合邏輯，各類衛(wèi)星和傳感器具體的處理算法通過繼承的手段實現(xiàn)和添加，確保了算法功能按需擴(kuò)展；任務(wù)管理調(diào)度層，實現(xiàn)任務(wù)調(diào)度和流程管理，在該層集成有作業(yè)調(diào)度系統(tǒng)和工作流管理系統(tǒng)，以實現(xiàn)多種處理功能的工作負(fù)載均衡和流程處理能力；用戶處理功能組合層，為用戶提供簡單易用的流程組合界面，用戶可以組合各種復(fù)雜的包括數(shù)據(jù)處理、歸檔、產(chǎn)品生產(chǎn)和分發(fā)等多種功能在內(nèi)的處理流程。
2、 根據(jù)權(quán)利要求1所述的多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)，其 特征在于在所述系統(tǒng)支撐層中，所述并行計算模塊包括MPI、 OpenMP、 PVM， 所述并行存儲模塊包括PVFS、 Lustre、 StorNext,所述網(wǎng)絡(luò)負(fù)載模塊包括LVS、 BigIP的部署方法。
3、 根據(jù)權(quán)利要求1或2所述的多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)， 其特征在于在任務(wù)管理調(diào)度層的所述工作流管理系統(tǒng)中，同 一流程會被力口載 兩次來共同完成對任務(wù)的處理，第一次用于為各個階段處理任務(wù)生成相應(yīng)的參 數(shù)文件，第二次用于執(zhí)行各個階段處理任務(wù)完成特定的處理功能。
全文摘要
本發(fā)明涉及一種多衛(wèi)星遙感數(shù)據(jù)一體化并行地面預(yù)處理系統(tǒng)，包括硬件層、系統(tǒng)支撐層、數(shù)據(jù)處理擴(kuò)展層，任務(wù)管理調(diào)度層和用戶處理功能組合層；其中硬件層提供預(yù)處理系統(tǒng)的硬件支撐；系統(tǒng)支撐層提供系統(tǒng)軟件支撐環(huán)境；數(shù)據(jù)處理擴(kuò)展層具有多種衛(wèi)星多種傳感器的抽象功能接口和公共的功能組合邏輯；任務(wù)管理調(diào)度層實現(xiàn)任務(wù)調(diào)度和流程管理；用戶處理功能組合層為用戶提供簡單易用的流程組合界面。本發(fā)明有益效果為用戶在不修改處理程序的情況下便可方便均衡的擴(kuò)展系統(tǒng)的處理、存儲、網(wǎng)絡(luò)通信能力，提高程序的運行速度；有新的衛(wèi)星遙感數(shù)據(jù)進(jìn)入系統(tǒng)需要處理、歸檔、產(chǎn)品生產(chǎn)和分發(fā)時只需將相應(yīng)數(shù)據(jù)的處理模塊根據(jù)一定的模板加入系統(tǒng)中即可完成功能的擴(kuò)展。
文檔編號G01S7/48GK101315424SQ20081013504
公開日2008年12月3日 申請日期2008年7月29日 優(yōu)先權(quán)日2008年7月29日
發(fā)明者于文洋, 劉定生, 張萬軍, 李國慶, 李景山, 進(jìn) 楊, 建 王, 章文毅, 趙靈軍, 甫 陳, 艷 馬, 馬廣彬, 方 黃, 鵬 黃, 黃克穎 申請人:中國科學(xué)院對地觀測與數(shù)字地球科學(xué)中心