連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種用于連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，屬于無(wú)人機(jī)圖像處理【技術(shù)領(lǐng)域】。該發(fā)明深入分析圖像拼接的四個(gè)階段（特征提取、特征匹配、變換矩陣、圖像合成）的數(shù)據(jù)量的大小以及階段間的串行或并行的依存關(guān)系。依據(jù)數(shù)據(jù)的類(lèi)型及其關(guān)系，設(shè)計(jì)符合無(wú)人機(jī)大數(shù)據(jù)量圖像處理特點(diǎn)和要求的數(shù)據(jù)處理的模式。同時(shí)將計(jì)算機(jī)的多核資源、多線程計(jì)算方法應(yīng)用到數(shù)據(jù)處理過(guò)程中以提高計(jì)算資源的利用率，加快運(yùn)算的速度。該方法針對(duì)性強(qiáng)，能夠顯著提高無(wú)人機(jī)大數(shù)據(jù)量遙感圖像的拼接處理能力，保障無(wú)人機(jī)圖像拼接情報(bào)的實(shí)時(shí)生成。
【專(zhuān)利說(shuō)明】連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于無(wú)人機(jī)圖像處理【技術(shù)領(lǐng)域】，具體涉及一種用連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法。
【背景技術(shù)】
[0002]無(wú)人機(jī)偵察技術(shù)屬于遙感技術(shù)的一種，相對(duì)衛(wèi)星偵察具有其自身優(yōu)點(diǎn)，如成本低、偵察地域控制靈活、不存在訪問(wèn)時(shí)間和周期限制、地面目標(biāo)分辨率高等；相對(duì)有人偵察機(jī)來(lái)說(shuō)，有晝夜可持續(xù)工作、不考慮飛行員疲勞和傷亡等方面的優(yōu)越性。近年來(lái)，無(wú)人機(jī)因其低空遙感數(shù)據(jù)具有高分辨率、高靈活性、高效率和低成本的優(yōu)勢(shì)而被廣泛應(yīng)用于自然災(zāi)害區(qū)域評(píng)估、戰(zhàn)場(chǎng)偵察、環(huán)境監(jiān)測(cè)等領(lǐng)域。例如汶川地震、玉樹(shù)地震發(fā)生時(shí)，利用無(wú)人機(jī)拍攝的遙感圖像對(duì)災(zāi)區(qū)的災(zāi)害損失快速評(píng)估及制定救災(zāi)決策提供科學(xué)依據(jù)；美軍大戰(zhàn)伊拉克戰(zhàn)場(chǎng)上使用了數(shù)十架無(wú)人機(jī)對(duì)戰(zhàn)場(chǎng)區(qū)域進(jìn)行偵查、監(jiān)視，為美軍制定實(shí)時(shí)的作戰(zhàn)計(jì)劃提供了有利的信息。
[0003]無(wú)人機(jī)偵察技術(shù)雖然在自然災(zāi)害區(qū)域評(píng)估、戰(zhàn)場(chǎng)偵察等領(lǐng)域起到了重要的作用，但是由于無(wú)人機(jī)獲得的偵察圖像具有數(shù)據(jù)量大、重疊率高的特點(diǎn)，很難用一幀圖像將感興趣區(qū)域的信息全部展現(xiàn)出來(lái)，使得感興趣區(qū)域目標(biāo)的獲取和精確定位存在巨大困難，從而給地面站指揮人員帶來(lái)繁重的工作。基于以上問(wèn)題，為了從無(wú)人機(jī)局部區(qū)域偵察圖像中獲得更加有效、全面、精準(zhǔn)的信息，需要對(duì)偵察圖像進(jìn)行一系列合理的處理，實(shí)現(xiàn)無(wú)人機(jī)偵察圖像的重建工作。通過(guò)無(wú)人機(jī)偵察圖像的重建，能夠得到高分辨率、大視角、寬視野的全景圖像，從而為地面站指揮人員提供一種有效且完整的場(chǎng)景表示方法，使其能夠更好地統(tǒng)一處理、解譯、分析和研究圖像信息。
[0004]目前，國(guó)內(nèi)外在圖像重建領(lǐng)域已經(jīng)有了相當(dāng)成熟的理論基礎(chǔ)，圖像拼接作為圖像重建的重要研究方向，已廣泛應(yīng)用于實(shí)際生活當(dāng)中。2004年，Lowe提出一種尺度不變特征提取SIFT (Scale Invariant Feature Transform)算法,是目前來(lái)說(shuō)應(yīng)用最多的圖像配準(zhǔn)算法。該算法雖然給圖像配準(zhǔn)帶來(lái)良好的配準(zhǔn)效果，但是在提高圖像拼接速度方面并沒(méi)有太大改善，大多數(shù)學(xué)者都是從SIFT算法的參數(shù)配置方面來(lái)改善速度指標(biāo)，這樣并不能完全達(dá)到實(shí)時(shí)處理的效果。對(duì)于大數(shù)據(jù)量的無(wú)人機(jī)偵察圖像來(lái)說(shuō)，想要采用改變SIFT算法參數(shù)的方法來(lái)達(dá)到圖像實(shí)時(shí)處理的效果難度更大。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是為了提高無(wú)人機(jī)大數(shù)據(jù)量偵察圖像的處理速度，根據(jù)圖像拼接的處理流程(特征提取、特征匹配、變換模型、圖像合成等方面)分析拼接過(guò)程中各個(gè)階段待處理數(shù)據(jù)量的大小以及各階段的前后依附關(guān)系，利用計(jì)算機(jī)多核資源，創(chuàng)建多個(gè)線程，設(shè)計(jì)圖像拼接的加速方法，實(shí)現(xiàn)無(wú)人機(jī)大數(shù)據(jù)遙感圖像的快速拼接。
[0006]本發(fā)明提供的連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，具體步驟如下:
[0007]第一步，分配任務(wù)塊，創(chuàng)建線程，提取圖像SIFT特征點(diǎn)。
[0008]第二步，對(duì)第一步提取的圖像特征點(diǎn)進(jìn)行匹配，找出相鄰兩幅圖像之間的同名點(diǎn)。
[0009]第三步，根據(jù)第二步匹配好的同名特征點(diǎn)計(jì)算相鄰兩幅圖像之間的變換矩陣。
[0010]第四步，利用第三步獲得的變換矩陣H將待拼接的圖像合成為高分辨率的全景圖像。
[0011]本發(fā)明的優(yōu)點(diǎn)在于:
[0012](I)基于拼接流程設(shè)計(jì)并行處理方法，處理速度快；
[0013](2)采用三步匹配策略，使得特征點(diǎn)配準(zhǔn)精度高；
[0014](3)充分利用計(jì)算機(jī)多核資源，提高了計(jì)算機(jī)CPU的使用效率；
[0015]因此，使用本發(fā)明方法能充分利用計(jì)算機(jī)自身的資源，提高大數(shù)據(jù)量圖像拼接的處理速度，實(shí)現(xiàn)圖像特征點(diǎn)的精確配準(zhǔn)，從而得到拼接效果優(yōu)良的高分辨率全景圖像。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0016]圖1是本發(fā)明用于無(wú)人機(jī)大數(shù)據(jù)量偵察圖像的并行拼接方法的整體步驟圖；
[0017]圖2是本發(fā)明步驟一中任務(wù)分塊、線程創(chuàng)建并行方法設(shè)計(jì)示意圖；
[0018]圖3是本發(fā)明步驟二中圖像特征點(diǎn)三步配準(zhǔn)法實(shí)現(xiàn)流程圖；
[0019]圖4a、圖4b為單幅圖像提取的特征點(diǎn)示意圖；
[0020]圖5a為圖4a、圖4b兩幅圖像的粗匹配結(jié)果；
[0021]圖5b為圖4a、圖4b兩幅圖像中存在的誤匹配；
[0022]圖6為圖4a、圖4b采用斜率約束法去除誤匹配的匹配結(jié)果；
[0023]圖7為實(shí)例中20幅圖像合成的全景圖像。
【具體實(shí)施方式】
[0024]下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0025]本發(fā)明是一種連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，流程如圖1所示，包括以下幾個(gè)步驟:
[0026]第一步，分配任務(wù)塊，創(chuàng)建線程，提取圖像SIFT特征點(diǎn)。
[0027]在圖像拼接的處理流程中，圖像的特征提取是圖像拼接過(guò)程中最耗時(shí)的一步，并且相鄰兩幅圖像的特征點(diǎn)之間不存在依附關(guān)系，滿(mǎn)足并行化處理?xiàng)l件。因此，利用計(jì)算機(jī)處理器的多核資源，實(shí)現(xiàn)圖像特征提取的并行化處理，如圖2所示。
[0028]包括以下幾個(gè)步驟:
[0029]首先，讀入待拼接圖像的存儲(chǔ)路徑，統(tǒng)計(jì)出待拼接圖像的數(shù)目η ；
[0030]然后，根據(jù)圖像的數(shù)目η和處理器的核心數(shù)k將待拼接的圖像進(jìn)行任務(wù)分塊，即將待處理的圖像平均分為k組，理想情況下每組的圖像數(shù)目應(yīng)該相等，為n/k幅圖像，形成k個(gè)任務(wù)塊。
[0031]最后，根據(jù)分配的任務(wù)塊數(shù)目創(chuàng)建線程，所創(chuàng)建的k個(gè)線程同時(shí)并行工作，分別用來(lái)提取相應(yīng)任務(wù)塊中圖像的SIFT特征點(diǎn)，其中，利用尺度不變特征提取算法(SIFT)來(lái)提取待拼接圖像的特征點(diǎn)。[0032]假設(shè)每個(gè)線程完成任務(wù)塊的時(shí)間為T(mén)i, i = 1,2,3……k，則采用多線程并行計(jì)算η幅圖像特征點(diǎn)的時(shí)間應(yīng)該為T(mén)#= max (T1, T2,……Tk)。相比于串行處理時(shí)所耗時(shí)間％ =T^T2+……+Tk要縮短很多，同時(shí)，計(jì)算機(jī)處理器核心數(shù)目越多，可創(chuàng)建的線程數(shù)目越多，處理時(shí)間就越短。
[0033]第二步，對(duì)第一步提取的圖像特征點(diǎn)進(jìn)行匹配，找出相鄰兩幅圖像之間的同名點(diǎn)。
[0034]確定穩(wěn)定的特征點(diǎn)是圖像配準(zhǔn)和拼接的重要環(huán)節(jié)，為了使相鄰圖像之間的特征點(diǎn)達(dá)到理想的配準(zhǔn)精度，本發(fā)明采用三歩配準(zhǔn)法逐步消除相鄰圖像之間的誤匹配，如圖3所示。具體實(shí)現(xiàn)方案如下所述:
[0035]首先，通過(guò)相鄰兩幅圖像特征點(diǎn)的描述符(128維向量)計(jì)算歐氏距離實(shí)現(xiàn)特征點(diǎn)的粗匹配。
[0036]將待匹配的第2幅圖像提取的所有特征點(diǎn)(記為P2i，i=l, 2，3，……N2，N2表示第二幅圖像的特征點(diǎn)的數(shù)目)構(gòu)建成k-d樹(shù)，逐個(gè)選定待匹配的第I幅圖像的特征點(diǎn)(記為Plj, j從I到N1，N1表示第一幅圖像的特征點(diǎn)數(shù)目)基于圖像2構(gòu)建的k-d樹(shù)進(jìn)行搜尋，找到與對(duì)應(yīng)的128維特征點(diǎn)描述符之間歐式距離最近的特征點(diǎn)和次近的特征點(diǎn)，并計(jì)算它們之間的歐氏距離分別標(biāo)記為Cltl和Cl1，如果最近歐氏距離Cltl與次近鄰歐氏距離Cl1的比值小于某個(gè)閾值(根據(jù)經(jīng)驗(yàn)值可以設(shè)置為0.8)，則認(rèn)為能夠計(jì)算出最近鄰歐氏距離的兩個(gè)特征點(diǎn)匹配成功，否則，遍歷尋找圖像I中下一個(gè)特征點(diǎn)的同名點(diǎn)，直至將圖像I中的特征點(diǎn)遍歷完畢，獲得N對(duì)相匹配的同名點(diǎn)。 [0037]然后，利用斜率約束刪除斜率相差較大的匹配點(diǎn)對(duì)。
[0038]將0-180度的角度范圍均分為36等分，每5度為一個(gè)級(jí)別；分別計(jì)算每對(duì)同名點(diǎn)對(duì)之間的斜率，并將其對(duì)應(yīng)到每個(gè)角度級(jí)別，對(duì)處于(-90°，0° )的負(fù)角度值，則將對(duì)應(yīng)的角度值加上180°后將其變換到90° -180°的范圍之內(nèi)；統(tǒng)計(jì)所有角度級(jí)別的值，找出處于角度級(jí)別最多的對(duì)應(yīng)的角度，并將該角度對(duì)應(yīng)的斜率作為剔除閾值h，刪除斜率對(duì)應(yīng)角度與km對(duì)應(yīng)角度之間的差值相差大于5°的那些特征點(diǎn)對(duì)。
[0039]最后，結(jié)合第三步，通過(guò)RANSAC算法獲取的變換矩陣，將相鄰兩幅圖像中一幅圖像的同名特征點(diǎn)通過(guò)變換矩陣變換到另一幅圖像坐標(biāo)系下，若變換后的點(diǎn)與其對(duì)應(yīng)的同名點(diǎn)的歐式距離大于某個(gè)閾值，則認(rèn)為這對(duì)同名點(diǎn)為外點(diǎn)，將該對(duì)同名點(diǎn)剔除，來(lái)實(shí)現(xiàn)特征點(diǎn)精確匹配。
[0040]第三步，根據(jù)第二步匹配好的同名特征點(diǎn)計(jì)算相鄰兩幅圖像之間的變換矩陣。
[0041 ] 首先，采用RANSAC算法確定初始變換矩陣。
[0042]令相鄰兩幅圖像上的同名點(diǎn)坐標(biāo)分別為IjP Ii+1，Ii= (XilYi, 1)T, Ii+1 =(xi+1, yi+1, 1)T，其中Ii, Ii+1為相鄰兩幅圖像上對(duì)應(yīng)的同名點(diǎn)坐標(biāo)。兩幅圖像同名點(diǎn)之間的對(duì)應(yīng)關(guān)系可以表示如下:
[0043]Ii = HIw(I)
[0044]其中:
(K K V
[0045]H= Zi3 h4 h5(2)
A hi 1 j
[0046]其中H為變換矩陣的表達(dá)式，h0, h1； h3, h4為圖像縮放和圖像旋轉(zhuǎn)量，h2, h5為水平方向和垂直方向的位移量，h6, h7為水平方向和垂直方向的變形量。
[0047]變換矩陣H需要求解8個(gè)參數(shù)，所以只要4個(gè)同名點(diǎn)對(duì)即可。RANSAC算法是采用迭代的方法求解初始變換矩陣，求解之前設(shè)置好判定為內(nèi)點(diǎn)的誤差閾值、迭代次數(shù)、內(nèi)點(diǎn)數(shù)目閾值，每次迭代都隨機(jī)抽取4個(gè)同名點(diǎn)計(jì)算出一個(gè)變換矩陣H，利用式I將第二幅圖像的特征點(diǎn)變換到第一幅圖像坐標(biāo)系下，計(jì)算變換后同名點(diǎn)之間的變化誤差，如果在設(shè)定的內(nèi)點(diǎn)誤差閾值內(nèi)，則認(rèn)為該對(duì)同名點(diǎn)為內(nèi)點(diǎn)，統(tǒng)計(jì)所有內(nèi)點(diǎn)的數(shù)目，看是否滿(mǎn)足設(shè)定的內(nèi)點(diǎn)數(shù)目閾值，滿(mǎn)足的話(huà)將此次求得的H作為初始變換矩陣，否則，繼續(xù)迭代。
[0048]然后，采用非線性最小二乘法L-M算法，在初始變換矩陣的基礎(chǔ)上求解高精度的變換矩陣，以便減小累積誤差和噪聲的影響，提高拼接質(zhì)量。根據(jù)最小二乘法L-M算法求解變換矩陣H的最優(yōu)參數(shù)，使得以變換矩陣參數(shù)為變量構(gòu)造的函數(shù)F (h)取最小值，函數(shù)F(h)表示所有匹配同名特征點(diǎn)之間距離和，如式3:
[0049]
【權(quán)利要求】
1.一種連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，包括以下幾個(gè)步驟: 第一步，分配任務(wù)塊，創(chuàng)建線程，提取圖像SIFT特征點(diǎn)； 讀入待拼接圖像，將待拼接圖像分為k組，形成k個(gè)任務(wù)塊，創(chuàng)建k個(gè)線程，分別提取相應(yīng)任務(wù)塊中圖像的SIFT特征點(diǎn)，k為處理器核心數(shù)； 第二步，對(duì)第一步提取的圖像特征點(diǎn)進(jìn)行匹配，找出相鄰兩幅圖像之間的同名點(diǎn)； 具體包括以下幾個(gè)步驟: 首先，通過(guò)相鄰兩幅圖像特征點(diǎn)的描述符計(jì)算歐氏距離，實(shí)現(xiàn)特征點(diǎn)的粗匹配，其中，描述符為128維向量； 將待匹配的第2幅圖像提取的所有特征點(diǎn)構(gòu)建成k-d樹(shù)，第2幅圖像特征點(diǎn)記為P2i； i=l, 2，3，……N2，N2表示第2幅圖像的特征點(diǎn)的數(shù)目，逐個(gè)選定待匹配的第I幅圖像的特征點(diǎn)，第I幅圖像的特征點(diǎn)記為Plpj從I到N1，N1表示第一幅圖像的特征點(diǎn)數(shù)目，基于圖像2構(gòu)建的k-d樹(shù)進(jìn)行搜尋，找到與Pb對(duì)應(yīng)的128維特征點(diǎn)描述符之間歐式距離最近的特征點(diǎn)和次近的特征點(diǎn)，并計(jì)算它們之間的歐氏距離，分別標(biāo)記為Cltl和Cl1，如果最近歐氏距離Cltl與 次近鄰歐氏距離Cl1的比值小于預(yù)設(shè)閾值，則第I幅圖像的特征點(diǎn)與第2幅圖像中歐式距離最近的特征點(diǎn)匹配成功，得到第I幅圖像中待匹配特征點(diǎn)的同名點(diǎn)，形成一對(duì)同名點(diǎn)否則，遍歷尋找第I幅圖像中下一個(gè)特征點(diǎn)的同名點(diǎn)，直至將第I幅圖像中的特征點(diǎn)遍歷完畢，獲得N對(duì)相匹配的同名點(diǎn)； 然后，利用斜率約束刪除斜率相差大于5°匹配點(diǎn)對(duì)； 將0-180度的角度范圍均分為36等分，每5度為一個(gè)級(jí)別； 分別計(jì)算每對(duì)同名點(diǎn)對(duì)之間的斜率，并將其對(duì)應(yīng)到每個(gè)角度級(jí)別，對(duì)處于(-90°，0° )的負(fù)角度值，則將對(duì)應(yīng)的角度值加上180°后將其變換到90° -180°的范圍之內(nèi)；統(tǒng)計(jì)所有角度級(jí)別的值，找出處于角度級(jí)別最多的對(duì)應(yīng)的角度，并將該角度對(duì)應(yīng)的斜率作為剔除閾值kn，刪除斜率對(duì)應(yīng)角度與km對(duì)應(yīng)角度之間的差值相差大于5°的特征點(diǎn)對(duì)； 最后，通過(guò)RANSAC算法剔除獲取的變換矩陣，將相鄰兩幅圖像中一幅圖像的同名特征點(diǎn)通過(guò)變換矩陣變換到另一幅圖像坐標(biāo)系下，若變換后的點(diǎn)與其對(duì)應(yīng)的同名點(diǎn)的歐式距離大于閾值，則認(rèn)為這對(duì)同名點(diǎn)為外點(diǎn)，將該對(duì)同名點(diǎn)剔除，實(shí)現(xiàn)特征點(diǎn)精確匹配； 第三步，根據(jù)第二步匹配好的同名特征點(diǎn)計(jì)算相鄰兩幅圖像之間的變換矩陣； 首先，采用RANSAC算法確定初始變換矩陣； 令相鄰兩幅圖像上的同名點(diǎn)坐標(biāo)分別為Ii和Ii+1，Ii = (Xi, Yi, 1)T，Ii+1 = (xi+i, yi+i, DT，其中Ii, Ii+i為相鄰兩幅圖像上對(duì)應(yīng)的同名點(diǎn)坐標(biāo)；兩幅圖像同名點(diǎn)之間的對(duì)應(yīng)關(guān)系可以表示如下: Ii = HIwCl) 其中:
2.根據(jù)權(quán)利要求1所述的一種連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，所述的第一步包括以下幾個(gè)步驟: 首先，讀入待拼接圖像的存儲(chǔ)路徑，待拼接圖的像數(shù)目為η ; 然后，根據(jù)圖像的數(shù)目η和處理器的核心數(shù)k將待拼接的圖像進(jìn)行任務(wù)分塊，即將待處理的圖像平均分為k組，每組的圖像數(shù)目為n/k幅圖像，形成k個(gè)任務(wù)塊； 最后，根據(jù)分配的任務(wù)塊數(shù)目創(chuàng)建線程，所創(chuàng)建的k個(gè)線程同時(shí)并行工作，分別用來(lái)提取相應(yīng)任務(wù)塊中圖像的SIFT特征點(diǎn)，其中，利用尺度不變特征提取算法來(lái)提取待拼接圖像的SIFT特征點(diǎn)。
3.根據(jù)權(quán)利要求1所述的一種連續(xù)幀多特征點(diǎn)無(wú)人機(jī)偵察圖像并行與匹配精度約束的拼接方法，所述的第四步中，重疊區(qū)域的圖像融合過(guò)程采用基于小波變換的圖像融合方法實(shí)現(xiàn)圖像的融合，對(duì)待融合的兩幅圖像完成小波變換的多級(jí)分解，不斷使用低通濾波器和高通濾波器進(jìn)行濾波，并進(jìn)行逐級(jí)降2采樣，最后獲得多級(jí)高頻分量和低頻分量；然后對(duì)兩幅圖像每層的系數(shù)圖，采用相應(yīng)的融合策略完成融合操作，最后得到融合后的小波塔形結(jié)構(gòu)，對(duì)它進(jìn)行小波 重構(gòu)變換產(chǎn)生融合后的圖像。
【文檔編號(hào)】G06T5/50GK103886569SQ201410132307
【公開(kāi)日】2014年6月25日 申請(qǐng)日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】丁文銳, 袁永顯, 李紅光, 向錦武, 劉碩 申請(qǐng)人:北京航空航天大學(xué)