一種基于消息傳遞接口的遙感影像金字塔并行構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于地理信息處理技術(shù)領(lǐng)域，設(shè)及一種地理信息系統(tǒng)中大規(guī)模遙感影像金 字塔的構(gòu)建方法。
【背景技術(shù)】
[0002] 隨著遙感數(shù)據(jù)獲取技術(shù)的快速發(fā)展，遙感影像的空間和時間分辨率都大幅度地提 高，單幅遙感影像文件的數(shù)據(jù)量也急劇增加。對于大規(guī)模遙感影像進行快速顯示和服務(wù)發(fā) 布時，通過預(yù)先構(gòu)建金字塔是提高可視化和服務(wù)性能的有效手段，但大數(shù)據(jù)量為金字塔的 構(gòu)建效率帶來了巨大挑戰(zhàn)。傳統(tǒng)串行的方式由于構(gòu)建時間很長，已無法與數(shù)據(jù)獲取的速度 相匹配，遠遠不能滿足實際應(yīng)用需求。如何對大數(shù)據(jù)量遙感影像快速構(gòu)建金字塔成為一個 亟待解決的問題。在此背景下，采用多處理器、多節(jié)點的集群計算環(huán)境和并行處理機制構(gòu)建 金字塔成為必然趨勢。
[0003] 金字塔結(jié)構(gòu)用于實現(xiàn)遙感影像的多分辨率組織。簡單來說，金字塔結(jié)構(gòu)就是由原 始遙感影像開始，建立起一系列不同分辨率的遙感影像，不同分辨率的遙感影像對應(yīng)不同 的金字塔級。同時，金字塔也是遙感影像的一種有損壓縮方式。構(gòu)建金字塔W后，可W改善 遙感影像顯示性能，當用戶需要對遙感影像進行不同分辨率地放大、縮小或平移時，通過選 擇一個與用戶視圖相近分辨率的數(shù)據(jù)進行可視化，從而系統(tǒng)只需進行少量的計算和查詢就 可W返回結(jié)果，不需要進行逐級采樣計算，大大減少數(shù)據(jù)顯示時間。
[0004] 并行構(gòu)建金字塔主要有兩種思路。一種是基于GPU (Graphic Processing化it,圖 形處理單元）進行并行加速，利用GPU的計算能力加快金字塔的構(gòu)建速度，該種方法與GPU 硬件能力相關(guān)，會提高系統(tǒng)架構(gòu)的成本；另一種是利用分布式集群系統(tǒng)，將大規(guī)模遙感影像 文件的金字塔構(gòu)建任務(wù)劃分為多個子任務(wù)，在多個分布式節(jié)點上同時進行。該種方法擴展 性較好，可W充分利用分布式并行環(huán)境來處理大規(guī)模數(shù)據(jù)，但需要將遙感影像分布存儲在 多個節(jié)點。目前，利用共享外存的高性能集群，基于MPI (Message Passing Inte計ace,消 息傳遞接口）進行大規(guī)模遙感影像金字塔的并行構(gòu)建研究較少。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的提供一種基于新思路的遙感影像金字塔并行構(gòu)建方法。本發(fā)明不需 利用GPU，而是利用共享外存的高性能集群，實現(xiàn)對遙感影像并行重采樣，然后將重采樣結(jié) 果并行寫入到文件系統(tǒng)中，形成遙感影像金字塔。
[0006] 本發(fā)明的技術(shù)解決方案為；一種基于消息傳遞接口的遙感影像金字塔并行構(gòu)建方 法，金字塔級數(shù)越大分辨率越低。步驟如下：
[0007] 第一步；設(shè)置金字塔級數(shù)和進程個數(shù)
[000引根據(jù)實際需要設(shè)定金字塔級數(shù)和進程個數(shù)，并設(shè)定零號進程作為主進程；
[0009] 第二步；讀取遙感影像的元數(shù)據(jù)信息
[0010] 主進程讀取遙感影像的元數(shù)據(jù)信息。
[0011] 第s步：創(chuàng)建金字塔文件
[0012] 主進程根據(jù)設(shè)定的金字塔級數(shù)和遙感影像的元數(shù)據(jù)信息計算待創(chuàng)建的金字塔 文件大小，如果金字塔文件不超過4GB，則創(chuàng)建GeoTIFF(Georeferenced Tagged Image File化rmat，地理參考標簽影像文件格式）格式的金字塔文件，該金字塔文件只包含相應(yīng) 的元數(shù)據(jù)信息；如果金字塔文件大小超過4GB，貝ij包I建BigTIFF炬ig Tagged Image File 化rmat，大規(guī)模標簽影像文件格式）格式的金字塔文件，該金字塔文件同樣只包含相應(yīng)的 元數(shù)據(jù)信息。
[0013] 對遙感影像的每一個波段進行下述處理，即包括第四步至第走步的處理：
[0014] 第四步：數(shù)據(jù)劃分
[0015] 主進程根據(jù)元數(shù)據(jù)信息，按照行劃分的方式對遙感影像的當前處理波段數(shù)據(jù)根據(jù) 數(shù)據(jù)量平均劃分給各個進程，并通知各個進程讀取各自劃分到的數(shù)據(jù)。
[0016] 第五步：讀取數(shù)據(jù)
[0017] 各個進程根據(jù)各自劃分到的數(shù)據(jù)情況，計算在原始遙感影像文件中的數(shù)據(jù)偏移， 將所要處理的遙感影像數(shù)據(jù)讀入內(nèi)存，各個進程讀取數(shù)據(jù)的過程并行地進行。
[0018] 設(shè)當前金字塔級數(shù)為0級，然后進行下述步驟：
[0019] 第六步運采樣
[0020] 各個進程采用重采樣算法對所要處理的遙感影像數(shù)據(jù)進行當前金字塔級數(shù)對應(yīng) 粒度的重采樣，將重采樣后的結(jié)果緩存在內(nèi)存中，準備寫入到金字塔文件，各個進程重采樣 操作并行地進行。
[0021] 第走步；并行寫出結(jié)果
[0022] 各個進程計算第六步緩存在內(nèi)存中的重采樣結(jié)果在金字塔文件中放置的偏移量， 將內(nèi)存中的重采樣后的結(jié)果并行寫入金字塔文件。
[0023] 將當前金字塔級數(shù)加1，如果當前金字塔級數(shù)小于設(shè)定金字塔級數(shù)，則返回第六 步；如果當前金字塔級數(shù)不小于設(shè)定金字塔級數(shù)，則結(jié)束當前處理波段的處理。
[0024] 本發(fā)明的有益效果是：
[0025] (1)本發(fā)明所生成的遙感影像金字塔文件與地理空間數(shù)據(jù)抽象庫 GDAL(Geospatial Data Abstract Library,地理數(shù)據(jù)抽象庫）生成的金字塔文件格式一 致，GDAL是一種被廣泛應(yīng)用的金字塔構(gòu)建工具，其創(chuàng)建的金字塔文件能夠被當前絕大多數(shù) 地理信息系統(tǒng)軟件直接使用，可W無縫集成到各種地理信息應(yīng)用中。
[0026] (2)本發(fā)明構(gòu)建金字塔效率高。除了在主進程創(chuàng)建金字塔文件時，各個進程需要等 待外，在重采樣和數(shù)據(jù)并行讀寫過程中，各個進程完全并行。而且，由于創(chuàng)建的金字塔文件 中只包含數(shù)據(jù)量很小的元數(shù)據(jù)信息，進程等待時間相對于金字塔構(gòu)建時間較少。
[0027] (3)本發(fā)明數(shù)據(jù)寫出效率高。各個進程在重采樣完成后，并行寫出重采樣結(jié)果數(shù) 據(jù)，提高了數(shù)據(jù)寫出效率。
【附圖說明】
[002引圖1是本發(fā)明的流程不意圖；
[0029] 圖2是本發(fā)明并行構(gòu)建金字塔時數(shù)據(jù)劃分和重采樣的示意圖；
[0030] 圖3是GDAL算法與本發(fā)明方法對不同類型遙感影像構(gòu)建金字塔的性能對比；
[0031] 圖4是本發(fā)明方法構(gòu)建金字塔時執(zhí)行時間隨處理進程數(shù)目變化情況。
【具體實施方式】
[0032] 結(jié)合附圖對本發(fā)明作進一步描述。
[0033] 圖1為本發(fā)明流程示意圖。假設(shè)設(shè)定N個進程參與金字塔并行構(gòu)建，分別為 Pu，Pi，…，Pw_i，其中P。為零號進程作為主進程。輸入?yún)?shù)除進程個數(shù)N W外，還有金字塔級 數(shù)K，即最后輸出為包含L。，Li，…，Lk_i級金字塔數(shù)據(jù)的文件。主進程從輸入遙感影像文件 F中讀取元數(shù)據(jù)信息（包括波段數(shù)、行數(shù)、列數(shù)、數(shù)據(jù)類型、多波段數(shù)據(jù)分布方式、顏色表信 息）。假設(shè)元數(shù)據(jù)信息的大小為M字節(jié)，遙感影像文件F中除去元數(shù)據(jù)信息后遙感影像數(shù)據(jù) 大小為D字節(jié)，金字塔文件大小則為M+進，1 D/22兮節(jié)。主進程P。根據(jù)金字塔級數(shù)，設(shè)置金