專利名稱：多特征多級別的紅外與高光譜圖像的高精度配準方法
技術領域：
本發(fā)明屬于圖像處理技術領域，具體涉及遙感圖像的配準方法，特別是一種多特征多級別的紅外與高光譜圖像的高精度配準方法。本發(fā)明可以廣泛適用于航天、航空傳感器平臺所獲取的遙感圖像的配準。
背景技術：
與可見光圖像相比，紅外圖像和高光譜圖像具有獨特的優(yōu)勢紅外圖像反映了目標的溫度信息，可以識別目標的工作狀態(tài)；高光譜圖像反映了目標的材質信息，可以識別目標的材質以用于區(qū)分目標的真?zhèn)?。因此，綜合利用不同傳感器的互補特性，對紅外圖像與高光譜圖像進行融合，對情報獲取和分析具有重要的作用 。作為紅外圖像與高光譜圖像融合的前提是紅外圖像與高光譜圖像必須進行自動、高精度配準。紅外與高光譜圖像高精度自動配準技術是制約紅外與高光譜圖像融合應用的關鍵技術，具有重要的應用價值。然而，由于成像機理和空間分辨率等方面的差異，同一物體在紅外與高光譜圖像上的表現(xiàn)差異很大，這種差異給傳統(tǒng)的特征匹配方法帶來了很大的挑戰(zhàn)。實際上，即使讓判圖專家在紅外與高光譜圖像中手工快速標定一些控制點對也是一件很困難的事情。也正是因為紅外與高光譜圖像的較大差異，目前紅外與高光譜圖像配準技術基本上仍處于研究階段，尚未有專門的紅外-高光譜圖像配準軟件。盡管商業(yè)軟件，如Erdas和Envi，都提供了配準功能，但這些配準功能都是為可見光圖像設計的。在這些軟件上對紅外和高光譜圖像進行配準，成功的概率很小。在這種情況下，必須另辟思路研究新的配準方法，在保證配準精度的同時，盡可能提供其自動化程度和計算速度。

發(fā)明內容
(一 )要解決的技術問題本發(fā)明所要解決的技術問題是針對紅外圖像與高光譜圖像的互補性而提出一種特別適合于紅外與高光譜圖像的自動、高效、高精度的配準方法，以推動遙感識別技術的發(fā)展。( 二 )技術方案本發(fā)明提出一種紅外圖像與高光譜圖像的配準方法，包括如下步驟步驟SI、對紅外圖像進行降采樣，生成低分辨率紅外圖像，并根據高光譜圖像生成顯著波段圖像；步驟S2、在所述低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個尺度上提取角點特征和面點特征；步驟S3、對低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進行匹配，得到匹配的SIFT特征對，并利用匹配的SIFT特征對和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關系；步驟S4、在所述原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據提供的幾何約束，進行基于圖像塊對的多尺度角點特征、面點特征的提取，并根據初始變換模型、多尺度角點特征和多尺度面點特征確定更精確的變換模型；步驟S5、根據所述變換模型對高光譜圖像進行變換，得到變換后的高光譜圖像。(三)有益效果本發(fā)明的紅外與高光譜圖像高精度自動配準方法基于多特征多級別的配準，綜合利用了模式識別、計算機視覺領域中最新的特征提取和特征匹配技術及并行計算技術，有效地解決了紅外與高光譜圖像的配準問題，彌補了現(xiàn)有配準軟件對紅外與高光譜圖像配準方面的缺陷。
本發(fā)明的配準方法對紅外與高光譜圖像配準具有很好的通用性和實用性，能夠大大推動紅外與高光譜圖像的廣泛應用，具有很好的經濟效益。


圖I是本發(fā)明的紅外與高光譜圖像高精度自動配準方法的流程圖；圖2是本發(fā)明的方法的一個具體實施例的原始紅外圖像和生成的低分辨率圖像的例圖；圖3是本發(fā)明的方法的一個具體實施例的原始高光譜圖像與生成的顯著波段圖像的例圖；圖4是本發(fā)明的方法的一個具體實施例的提取SIFT特征的例圖；圖5是本發(fā)明的方法的一個具體實施例的SIFT特征提取中DOG構建圖例；圖6是本發(fā)明的方法的一個具體實施例的SIFT特征提取中極值點提取圖例；圖7是本發(fā)明的方法的一個具體實施例的SIFT特征提取中主方向檢測圖例；圖8是本發(fā)明的一個具體實施例的為特征點構造描述向量的一個示意圖；圖9是粗配準流程；圖10是⑶BICP核心流程。
具體實施例方式本發(fā)明的多特征多級別的紅外與高光譜圖像的高精度配準方法既可以硬件方式實現(xiàn)，也可以軟件方式實現(xiàn)。例如在個人計算機、工控機及服務器上以軟件的形式安裝并執(zhí)行，也可本發(fā)明的方法做成嵌入式芯片以硬件的形式來體現(xiàn)。下面參照附圖對本發(fā)明的具體實施方式
進行說明。在下面的描述中，所述的“圖像”特指通過遙感設備獲得的遙感圖像，并且是已進行了數字化的數字圖像。然而，本發(fā)明并不限于遙感圖像，對于其它技術領域中獲得的需要配準的紅外圖像和高光譜圖像，本發(fā)明也可適用。圖I是本發(fā)明的紅外與高光譜圖像高精度自動配準方法的流程圖。如圖I所示，總的來說，本發(fā)明的方法包括如下步驟步驟SI :對紅外圖像進行降采樣，生成低分辨率紅外圖像，并根據高光譜圖像生成顯著波段圖像。根據本發(fā)明的一種具體實施方式
，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。
步驟S2 :在低分辨率紅外圖像和顯著波段圖像上提取SIFT(Scale InvariantFeature Transform)特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個尺度上提取角點特征和面點特征。根據本發(fā)明的一種具體實施方式
，角點特征分為主動匹配角點特征和被動匹配角點特征，面點特征分為主動匹配面點特征和被動匹配面點特征。主動匹配角(面)點特征是參考圖像(如紅外圖像)上需要匹配的角(面)點特征，被動匹配角(面)點特征是待配準圖像(如高光譜圖像)上可能匹配的角(面)點特征。主動匹配角(面)點特征是被動匹配角(面)點特征的子集。步驟S3 :對低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進行匹配，得到匹配的SIFT特征對，并利用匹配的SIFT特征對和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關系。(注變換函數不恰當，文獻中術語為變換參數) 變換模型包含變換類型和變換參數-兩層含義。同樣，變換模型的確定也包括變換類型選擇和變換參數求解。上述變換模型是后續(xù)配準變換模型的初始值即初始變換模型，在精配準階段變換模型的類型及其參數都將不斷調整。根據本發(fā)明的一種具體實施方式
，采用最近鄰比值法來匹配SIFT特征，并去除外點，外點指不滿足上述變換模型的SIFT特征對；根據本發(fā)明的一種具體實施方式
，利用⑶BICP(Generalized Dual BootstrapIterative Closest Point)法得到初始變換模型。步驟S4 :在原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據提供的幾何約束，進行基于圖像塊對的多尺度角點特征、面點特征的提取，并根據初始變換模型、多尺度角點特征和多尺度面點特征確定更精確的變換模型。一在更精確的變換模型下，紅外圖像和顯著波段圖像的多尺度角/面點特征之間的擬合誤差更小。根據本發(fā)明的一種具體實施方式
，利用迭代重加權最小二乘法選擇變換模型并求取變換參數。步驟S5 :根據所述變換模型對高光譜圖像進行變換，得到變換后的高光譜圖像。根據本發(fā)明的一種具體實施方式
,根據變換模型對高光譜圖像進行雙三次樣條插值，然后根據變換模型及原始紅外圖像和高光譜圖像的尺寸計算參考圖像和變換后的高光譜圖像的最大重疊區(qū)域的坐標，取出、保存所述最大重疊區(qū)域的坐標內的紅外圖像和高光譜圖像。為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，對本發(fā)明作進一步的詳細說明。在該實施例中，步驟SI利用雙線性插值方法對紅外圖像進行降采樣，生成低分辨率紅外圖像。圖2為原始紅外圖像和生成的低分辨率圖像的例圖，其中上圖為原始紅外圖像，下圖為低分辨率圖像。顯著波段圖像可通過波段選擇、波段融合等方式生成，但計算量很大。為了減少計算量并克服噪聲的影響，在該實施例中，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。圖3為原始高光譜圖像與生成的顯著波段圖像的例圖，其中上圖為原始高光譜圖像，下圖為顯著波段圖像。
圖4是本發(fā)明的方法的具體實施例中步驟S2的提取SIFT特征的流程圖。在該實施例中，SIFT特征的提取是按照如下流程實現(xiàn)的步驟S21、構建圖像的DOG(Difference of Gaussian,高斯差分)金字塔。設圖像為I (X, y),貝U DOG金字塔中第k層高斯差分圖像為D (X, y, σ ) = L(x, y,
權利要求
1.一種紅外圖像與高光譜圖像的配準方法，其特征在于，包括如下步驟 步驟SI、對紅外圖像進行降采樣，生成低分辨率紅外圖像，并根據高光譜圖像生成顯著波段圖像； 步驟S2、在所述低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個尺度上提取角點特征和面點特征； 步驟S3、對低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進行匹配，得到匹配的SIFT特征對，并利用匹配的SIFT特征對和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關系； 步驟S4、在所述原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據提供的幾何約束，進行基于圖像塊對的多尺度角點特征、面點特征的提取，并根據初始變換模型、多尺度角點特征和多尺度面點特征確定更精確的變換模型； 步驟S5、根據所述變換模型對高光譜圖像進行變換，得到變換后的高光譜圖像。
2.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，在步驟SI中，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。
3.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，所述步驟S2中提取SIFT特征的步驟包括 步驟S21、構建圖像的DOG金字塔； 步驟S22、在DOG金字塔的每層上提取極值點，所謂極值點是指在局部鄰域內D(x，y,ko )取值最大的點； 步驟S23、對于所提取的極值點，去除局部曲率非常不對稱的極值點； 步驟S24、計算SIFT特征的亞像素級別的空間位置、尺度，其中SIFT特征是指保留下來的極值點； 步驟S25、確定所述SIFT特征主方向，所謂主方向是指與以SIFT特征為中心的鄰域內的梯度方向直方圖的峰值對應的梯度方向； 步驟S26、為SIFT特征構造描述向量，所謂描述向量是指用于刻畫該SIFT特征周圍圖像塊統(tǒng)計特征的、由梯度方向直方圖構成的向量；
4.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，所述步驟S2中提取角點特征和面點特征的步驟包括 步驟S21’、對于圖像的每個像素點計算互相關矩陣，互相關矩陣是用來描述該像素點與其鄰域像素的關系； 步驟S22’、根據互相關矩陣的特征值選取角點特征和面點特征，得到角點特征集合和面點特征集合； 步驟S23’、去除角點特征集合和面點特征集合中的噪聲點； 步驟S24’、對于角點特征和面點特征進行非極值點抑制； 步驟S25’、根據特征強度的大小來選擇被動角點特征和被動面點特征； 步驟S26’、根據特征強度的大小來選擇主動角點特征和主動面點特征。
5.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，在所述步驟S3中，采用最近鄰比值法來匹配SIFT特征，并去除外點，外點指不滿足上述變換模型的SIFT特征對。
6.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，在所述步驟S3中，利用GDBICP法得到初始變換模型。
7.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，所述步驟S3包括 步驟S31、根據選擇的SIFT特征對確定初始變換模型，SIFT特征對所在的鄰域作為初始匹配區(qū)域 步驟S32、根據選擇的SIFT特征對確定初始變換模型，SIFT特征對所在的鄰域作為初始匹配區(qū)域和當前匹配區(qū)域，分別從前向和后向利用ICP方法匹配當前匹配區(qū)域內的角點特征和面點特征； 步驟S33、根據當前匹配的角點特征和面點特征利用迭代重加權最小二乘法重新估計前向和后向變換參數；通過ICP和參數估計的交替迭代，確定最優(yōu)變換參數和最優(yōu)的匹配； 步驟S34、利用當前最優(yōu)匹配的角點特征和面點特征集合,根據Akaike Information準則進行模型選擇； 步驟S35、根據當前變換模型的不確定性進行匹配區(qū)域增長，區(qū)域增長的速度與當前匹配區(qū)域的前向匹配和后向匹配的角點特征和面點特征的匹配誤差成反比；
8.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，在所述步驟S4中，利用迭代重加權最小二乘法選擇變換模型并求取變換參數。
9.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，所述步驟S4包括 步驟S41、在原始紅外圖像和高光譜圖像顯著波段圖像上利用步驟S3提供的初始變換模型，進行基于圖像塊對的多尺度角點特征、面點特征特征提取； 步驟S42、根據初始模型和多尺度角點特征、面點特征集合利用迭代重加權最小二乘法選擇變換模型并求取變換參數。
10.如權利要求I所述的一種紅外圖像與高光譜圖像的配準方法，其特征在于，所述步驟S5包括 根據步驟S4求得的變換模型，按照高光譜圖像的波段排列順序對高光譜圖像的每一波段圖像分別進行雙三次樣條插值得到變換后的高光譜圖像，變換后的高光譜圖像與紅外圖像已經配準。
全文摘要
本發(fā)明公開了一種紅外圖像與高光譜圖像的配準方法，包括對紅外圖像進行降采樣，生成低分辨率紅外圖像，并根據高光譜圖像生成顯著波段圖像；在低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在低分辨率紅外圖像和顯著波段圖像的多個尺度上提取角點特征和面點特征；對低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進行匹配，得到匹配的SIFT特征對，并利用匹配的SIFT特征對和GDBICP方法獲得變換模型；在原始紅外圖像和顯著波段圖像上，利用初始變換模型據提供的幾何約束，進行基于圖像塊對的多尺度角點特征、面點特征的提取，并根據初始變換模型、多尺度角點特征和多尺度面點特征確定更精確的變換模型；根據變換模型對高光譜圖像進行變換，得到變換后的高光譜圖像。
文檔編號G06T7/00GK102819839SQ20121025153
公開日2012年12月12日 申請日期2012年7月19日 優(yōu)先權日2012年7月19日
發(fā)明者張秀玲, 霍春雷, 江碧濤, 潘春洪, 李京龍 申請人:北京市遙感信息研究所, 中國科學院自動化研究所