一種利用cpu與gpu協(xié)同的航空影像在線拼接方法
【專利摘要】本發(fā)明公開了一種利用CPU與GPU協(xié)同的航空影像在線拼接方法，直接利用POS數(shù)據(jù)和平均高程面糾正影像，來代替?zhèn)鹘y(tǒng)的連接點(diǎn)提取以及自動(dòng)空三等攝影測(cè)量過程，同時(shí)在CPU端計(jì)算當(dāng)前影像與對(duì)應(yīng)的糾正影像之間的單應(yīng)變換關(guān)系，來代替?zhèn)鹘y(tǒng)的基于共線方程的點(diǎn)到點(diǎn)的數(shù)字微分糾正過程，然后利用GPU并行計(jì)算實(shí)現(xiàn)影像的糾正過程；由于航空影像間具有較大重疊度，采用基于預(yù)計(jì)算的自適應(yīng)拼接方法，即通過計(jì)算后續(xù)影像的重疊度以判斷當(dāng)前影像是否需要拼接，很大程度上減少了冗余計(jì)算。有效的實(shí)現(xiàn)了航空影像的在線實(shí)時(shí)拼接，快速生成帶有地理坐標(biāo)的全景影像。
【專利說明】一種利用CPU與GPU協(xié)同的航空影像在線拼接方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及航空影像處理【技術(shù)領(lǐng)域】，特別涉及一種利用CPU與GPU協(xié)同的航空影 像在線拼接方法。

【背景技術(shù)】
[0002] 地震等地質(zhì)災(zāi)害之后，快速獲取災(zāi)害場(chǎng)景的影像是支持應(yīng)急救援的關(guān)鍵技術(shù)之 一。航空攝影測(cè)量可以為應(yīng)急響應(yīng)提供直觀、高分辨率的正射影像圖，可以獲取災(zāi)害場(chǎng)景的 高精度信息，但生成正射影像圖時(shí)間較長(zhǎng)。因此亟需通過快速拼接獲取全景影像圖。機(jī)載 影像實(shí)時(shí)拼接能夠保證在航飛完畢后即提供全景影像拼接結(jié)果。該全景影像可以作為災(zāi)情 評(píng)估的第一手資料，給災(zāi)害應(yīng)急響應(yīng)宏觀決策提供支持。
[0003] 針對(duì)影像拼接，目前國(guó)內(nèi)外開展的研究可以分為基于微分糾正的正射影像拼接方 法與基于特征匹配的影像拼接方法兩類：
[0004] (1)隨著計(jì)算機(jī)科學(xué)的發(fā)展，基于攝影測(cè)量的影像處理速度也得到了巨大的提 升，如法國(guó)歐空局推出的像素工廠（PixelFactory)以及武漢大學(xué)研制的數(shù)字?jǐn)z影測(cè) 量網(wǎng)格（DPGrid)，然而這些系統(tǒng)都是在獲取到全部影像后再對(duì)影像進(jìn)行處理，不能適用 于影像的機(jī)載實(shí)時(shí)處理?；谡溆跋衿唇拥姆椒?，采用攝影測(cè)量處理流程獲取正射 影像，然后再通過鑲嵌線優(yōu)化、勻光勻色等過程，可以獲取無縫鑲嵌的正射影像圖。國(guó) 內(nèi)外的重要參考文獻(xiàn)如：張祖勛，2007.從數(shù)字?jǐn)z影測(cè)量工作站（DPW)到數(shù)字?jǐn)z影測(cè)量 網(wǎng)格（DPGrid).武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2007,32(7):565-571;PanJ，WangM，Li DandJonathanL.,2009.Automaticgenerationofseamlinenetworkusingthe areavoronoidiagramwithoverlap.IEEETransactionsonGeoscienceandRemote Sensing，47 (6) : 1737-1744;AfekY，andBrandA. , 1998.Mosaicingoforthorectified aerialimage,PhotogrammetricEngineering&RemoteSensing，64(2) :115-125 ; FernandezE，GarfinkelRandArbiolR. , 1998.Mosaickingofaerial PhotographicmapsviaseamsdefinedbyBottleneckShortestPaths,Operations Research，46(3) : 293-304 ;袁修孝，鐘燦，2012. -種改進(jìn)的正射影像鑲嵌線最小化最大搜 索算法.測(cè)繪學(xué)報(bào)，41 (2) : 199-204等。
[0005] (2)基于特征匹配的影像拼接方法，首先在兩幅影像上提取特征進(jìn)行匹配，然后通 過同名特征計(jì)算影像間的關(guān)系，實(shí)現(xiàn)全景影像的拼接。計(jì)算機(jī)領(lǐng)域的學(xué)者針對(duì)全景影像拼 接開展了大量的研究，國(guó)內(nèi)外的重要參考文獻(xiàn)如：BrownMandLoweDG., 2007.Automatic panoramicimagestitchingusinginvariantfeatures,InternationalJournalof ComputerVision, 74(I),pp: 59-73；KanazawaY,KanataniK, 2004.Imagemosaicingby stratifiedmaching.ImageandVisionComputing, 22(2) :93_103;李艷_ ,向輝，2007. 穩(wěn)健的球面全景圖全自動(dòng)生成算法.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，19(11): 1393-1398 等。隨著無人機(jī)的快速發(fā)展，很多學(xué)者又將全景影像的方法發(fā)展到無人機(jī)影像的拼接中，國(guó) 內(nèi)外重要參考文獻(xiàn)如：宮阿都，何孝瑩，雷添杰，李京，2010.無控制點(diǎn)數(shù)據(jù)的無人機(jī)影 像快速處理.地球信息科學(xué)學(xué)報(bào)，12(2) : 254-259 ;何敬，李永樹，魯恒，任志明，2011. 基于SIFT特征點(diǎn)的無人機(jī)影像拼接方法研究.光電工程，38 (2) : 122-126Jurkbeyler E,HarrisC,EvansR. , 2008.BuildingaerialmosaicsforVisualMTI.In:5thEMRSDTC TechnicalConference,Edinburgh.YupingL,MedioniG. 2008.Map-EnhancedUAVimage sequenceregistrationandsynchronizationofmultipleimagesequences.In:IEEE ConferenceonComputerVisionandPatternRecognition,pp. 1-7 ;王勃，襲志輝，靳 克強(qiáng)，張一平，2010,基于SURF的無人機(jī)影像快速拼接算法.測(cè)繪科學(xué)，35 (S2) : 109-111 等。
[0006] 但是，這些研究都是在地面常規(guī)條件下，利用攝影測(cè)量處理方法將影像糾正成正 射影像再進(jìn)行拼接，或者利用耗時(shí)的同名點(diǎn)計(jì)算影像間的關(guān)系再進(jìn)行拼接，難以滿足機(jī)載 實(shí)時(shí)拼接的要求。針對(duì)機(jī)載影像的實(shí)時(shí)處理，文獻(xiàn)：鄭順義，馬電，桂力，王曉南，2014. 一種ARM+DSP架構(gòu)的機(jī)載影像實(shí)時(shí)拼接方法，武漢大學(xué)學(xué)報(bào).信息科學(xué)版，39(1) : 1-7. 提出了一種基于硬件實(shí)現(xiàn)的機(jī)載影像實(shí)時(shí)拼接方法，可以達(dá)到實(shí)時(shí)拼接的目的，但采用硬 件實(shí)現(xiàn)，開發(fā)成本較高，而且對(duì)具有高重疊度的影像全部影像進(jìn)行拼接，不僅會(huì)影響拼接效 率，而且由于沒有采用基于鑲嵌線的方式進(jìn)行拼接，在影像重疊度較高時(shí)，冗余的影像會(huì)引 起更多的拼接線，從而影響全景影像的視覺效果。機(jī)載傳感器數(shù)據(jù)的實(shí)時(shí)處理對(duì)應(yīng)急響應(yīng) 等突發(fā)情況具有重要意義，基于圖像配準(zhǔn)的影像拼接或者基于攝影測(cè)量過程的影像拼接， 都難以滿足影像的實(shí)時(shí)拼接要求。
[0007] 而圖形處理器GPU作為一種通用計(jì)算設(shè)備，將更多的晶體管作為執(zhí)行單元，計(jì)算 能力遠(yuǎn)遠(yuǎn)超過傳統(tǒng)的中央處理器CPU，使許多問題通過GPU解決，為遙感影像的快速處理提 供了一種新的解決方案。然而還沒有任何技術(shù)表明能夠通過GPU實(shí)現(xiàn)遙感影像的在線拼 接。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于針對(duì)航空影像在線實(shí)時(shí)拼接的計(jì)算瓶頸，提供一種利用CPU與 GTO協(xié)同的航空影像在線拼接方法，直接利用POS數(shù)據(jù)將影像糾正至平均高程面，來代替?zhèn)?統(tǒng)的特征點(diǎn)提取以及攝影測(cè)量處理過程，實(shí)現(xiàn)機(jī)載影像的實(shí)時(shí)拼接。
[0009] -種利用CPU與GPU協(xié)同的航空影像在線拼接方法，包括以下幾個(gè)步驟：
[0010] 步驟1:依據(jù)航線規(guī)劃圖對(duì)全景圖像的長(zhǎng)度進(jìn)行初始化設(shè)定，得到全景圖像的最 大長(zhǎng)度預(yù)估值，并啟動(dòng)航空相機(jī)，獲取航空相機(jī)拍攝的影像及對(duì)應(yīng)的POS數(shù)據(jù)，并將航空相 機(jī)拍攝的影像存儲(chǔ)于指定文件夾中；
[0011] 步驟2 :采用影像列表記錄已拍攝的影像名字和參與拼接的影像對(duì)應(yīng)的糾正影像 在全景圖像上的位置范圍，并將第一張拍攝的影像作為第一張拼接圖像；
[0012] 步驟3 :掃描所述指定文件夾，更新影像列表；
[0013] 依據(jù)當(dāng)前全景圖像長(zhǎng)度判斷影像拼接流程是否結(jié)束，若當(dāng)前全景圖像長(zhǎng)度大于或 等于全景圖像最大長(zhǎng)度預(yù)估值，則進(jìn)入步驟7 ;
[0014] 否則，判斷是否有新影像產(chǎn)生，如有，則更新影像列表，進(jìn)入步驟4 ;若沒有，返回 步驟3 ;
[0015] 步驟4 :依據(jù)更新后的影像列表，對(duì)加入影像列表的影像進(jìn)行參與拼接判斷處理；
[0016] 按拍攝的時(shí)間先后順序取出影像列表中第一張未處理的影像作為當(dāng)前影像，采用 CPU基于當(dāng)前影像的POS數(shù)據(jù)，計(jì)算當(dāng)前影像的糾正影像到當(dāng)前影像的單應(yīng)矩陣H，確定當(dāng) 前影像的糾正影像位于全景圖像的位置；
[0017] 【遙感影像存在幾何畸變，利用計(jì)算機(jī)進(jìn)行處理時(shí)，需要對(duì)其進(jìn)行糾正；糾正方法 屬于現(xiàn)有技術(shù)；】
[0018] 步驟5 :判斷當(dāng)前影像是否參與全景圖像的拼接；
[0019] 依據(jù)步驟4得到的當(dāng)前影像的糾正影像位于全景圖像的位置，計(jì)算當(dāng)前影像與前 一張拼接影像的重疊度O1，若O1CT,則判定當(dāng)前影像參與全景圖像的拼接，進(jìn)入步驟6 ;否 貝U，返回步驟3;
[0020] 其中，T為設(shè)定的拼接閾值；
[0021] 步驟6 :將當(dāng)前影像和對(duì)應(yīng)的單應(yīng)矩陣H輸入GPU內(nèi)存中，利用GPU獲取當(dāng)前影像 的糾正圖像，進(jìn)行影像拼接，并判斷當(dāng)前全景圖像長(zhǎng)度是否大于或等于全景圖像最大長(zhǎng)度 預(yù)估值，若大于或等于，則進(jìn)入步驟7,若小于，則判斷當(dāng)前影像列表中是否存在未進(jìn)行參與 拼接判斷處理的影像；若有，則返回步驟4,否則，返回步驟3 ;
[0022] 所述影像拼接是指在GPU中采用間接糾正的方式，采用雙線性插值循環(huán)采樣獲取 糾正影像上的每個(gè)像素坐標(biāo)的像素值，得到糾正圖像，并將糾正圖像復(fù)制到CPU內(nèi)存，疊加 至全景圖像中；
[0023] 步驟7 :求解當(dāng)前全景圖像的最大外接矩形，輸出所求得最大外接矩形包含的圖 像，即為所要拼接的全景圖像。
[0024] 所述單應(yīng)矩陣H采用以下公式計(jì)算：
[0025]

【權(quán)利要求】
1. 一種利用CPU與GPU協(xié)同的航空影像在線拼接方法，其特征在于，包括以下幾個(gè)步 驟： 步驟1 :依據(jù)航線規(guī)劃圖對(duì)全景圖像的長(zhǎng)度進(jìn)行初始化設(shè)定，得到全景圖像的最大長(zhǎng) 度預(yù)估值，并啟動(dòng)航空相機(jī)，獲取航空相機(jī)拍攝的影像及對(duì)應(yīng)的POS數(shù)據(jù)，并將航空相機(jī)拍 攝的影像存儲(chǔ)于指定文件夾中； 步驟2 :采用影像列表記錄已拍攝的影像名字和參與拼接的影像對(duì)應(yīng)的糾正影像在全 景圖像上的位置范圍，并將第一張拍攝的影像作為第一張拼接圖像； 步驟3 :掃描所述指定文件夾，更新影像列表； 依據(jù)當(dāng)前全景圖像長(zhǎng)度判斷影像拼接流程是否結(jié)束，若當(dāng)前全景圖像長(zhǎng)度大于或等于 全景圖像最大長(zhǎng)度預(yù)估值，則進(jìn)入步驟7 ; 否則，判斷是否有新影像產(chǎn)生，如有，則更新影像列表，進(jìn)入步驟4 ;若沒有，返回步驟 3 ； 步驟4 :依據(jù)更新后的影像列表，對(duì)加入影像列表的影像進(jìn)行參與拼接判斷處理； 按拍攝的時(shí)間先后順序取出影像列表中第一張未處理的影像作為當(dāng)前影像，采用CPU基于當(dāng)前影像的POS數(shù)據(jù)，計(jì)算當(dāng)前影像的糾正影像到當(dāng)前影像的單應(yīng)矩陣H，確定當(dāng)前影 像的糾正影像位于全景圖像的位置； 步驟5 :判斷當(dāng)前影像是否參與全景圖像的拼接； 依據(jù)步驟4得到的當(dāng)前影像的糾正影像位于全景圖像的位置，計(jì)算當(dāng)前影像與前一張 拼接影像的重疊度O1，若O1CT,則判定當(dāng)前影像參與全景圖像的拼接，進(jìn)入步驟6 ;否則，返 回步驟3 ; 其中，T為設(shè)定的拼接閾值； 步驟6 :將當(dāng)前影像和對(duì)應(yīng)的單應(yīng)矩陣H輸入GPU內(nèi)存中，利用GPU獲取當(dāng)前影像的糾 正圖像，進(jìn)行影像拼接，并判斷當(dāng)前全景圖像長(zhǎng)度是否大于或等于全景圖像最大長(zhǎng)度預(yù)估 值，若大于或等于，則進(jìn)入步驟7,若小于，則判斷當(dāng)前影像列表中是否存在未進(jìn)行參與拼接 判斷處理的影像；若有，則返回步驟4,否則，返回步驟3 ; 所述影像拼接是指在GPU中采用間接糾正的方式，采用雙線性插值循環(huán)采樣獲取糾正 影像上的每個(gè)像素坐標(biāo)的像素值，得到糾正圖像，并將糾正圖像復(fù)制到CPU內(nèi)存，疊加至全 景圖像中； 步驟7 :求解當(dāng)前全景圖像的最大外接矩形，輸出所求得最大外接矩形包含的圖像，即 為所要拼接的全景圖像。
2. 根據(jù)權(quán)利要求1所述的利用CPU與GPU協(xié)同的航空影像在線拼接方法，其特征在于， 所述單應(yīng)矩陣H采用以下公式計(jì)算：
其中，f為以像素為單位的相機(jī)焦距，Utl, Vtl分別為以像素為單位的影像高度和寬度的 一半，（X，y)為當(dāng)前影像像素坐標(biāo)下的坐標(biāo)（指的是以影像左上角為原點(diǎn)，向右為X方向， 向下為y方向的坐標(biāo)系）； 所述POS數(shù)據(jù)包括位置參數(shù)（Xs，Ys，Zs)和姿態(tài)參數(shù)(外咕/Γ)，其中，位置參數(shù)為外方 位線元素，姿態(tài)參數(shù)為外方位角元素； (aia2a3山山九；clC2c3)為根據(jù)POS數(shù)據(jù)的夕卜方位元素角元素計(jì)算得至IJ的旋轉(zhuǎn)矩陣元 素_
/7為飛機(jī)飛行相對(duì)地面平均的高度；(Xs，Ys)為從POS數(shù)據(jù)中獲取的當(dāng)前影像外方位 元素線元素，（Xtl,Ytl)為拼接影像中原點(diǎn)對(duì)應(yīng)的物方坐標(biāo)；GSD為糾正影像對(duì)應(yīng)的地面分辨 率大小。
3. 根據(jù)權(quán)利要求2所述的利用CPU與GPU協(xié)同的航空影像在線拼接方法，其特征在于， 所述當(dāng)前影像的糾正影像位于全景圖像的位置的計(jì)算公式如下：
其中，（i，j)為當(dāng)前影像中像素點(diǎn)在拼接影像中的像素坐標(biāo)，
4. 根據(jù)權(quán)利要求1-3任一項(xiàng)所述的利用CPU與GPU協(xié)同的航空影像在線拼接方法，其 特征在于，所述步驟3中如有新影像產(chǎn)生，則將新影像存儲(chǔ)至指定文件夾中，進(jìn)行影像列表 更新： 當(dāng)新影像列表記錄的已拍攝影像數(shù)量大于更新前的影像列表記錄的已拍攝影像數(shù)量 時(shí)，影像列表更新成功，影像拼接主進(jìn)程繼續(xù)進(jìn)行影像拼接，進(jìn)入步驟4 ; 當(dāng)新影像列表記錄的已拍攝影像數(shù)量等于更新前的影像列表記錄的已拍攝影像數(shù)量 時(shí)，影像列表更新失敗，在指定的等待時(shí)間內(nèi)等待影像拍攝，等待時(shí)間結(jié)束后，返回步驟3， 直到影像列表更新成功。
【文檔編號(hào)】G06T3/40GK104318540SQ201410559785
【公開日】2015年1月28日 申請(qǐng)日期:2014年10月20日 優(yōu)先權(quán)日:2014年10月20日
【發(fā)明者】張?jiān)粕? 鄒崢嶸, 周培龍, 張明磊, 周行行, 陶超 申請(qǐng)人:中南大學(xué)