專利名稱：提高圖像拼接精度和穩(wěn)定性的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種視頻圖像處理技術(shù)領(lǐng)域的方法，具體是一種提高圖像拼接精 度和穩(wěn)定性的方法。
背景技術(shù)：
圖像拼接技術(shù)可以用來建立大視角的高分辨率圖像，在虛擬現(xiàn)實(shí)領(lǐng)域、醫(yī)學(xué)圖像 處理領(lǐng)域、遙感技術(shù)領(lǐng)域等均有廣泛的應(yīng)用。圖像拼接的過程由圖像配準(zhǔn)和圖像合成兩個(gè) 步驟組成，其中圖像配準(zhǔn)是整個(gè)圖像拼接的基礎(chǔ)。圖像拼接的質(zhì)量主要依賴圖像的配準(zhǔn)程 度，因此圖像的配準(zhǔn)是拼接方法的核心和關(guān)鍵。根據(jù)圖像配準(zhǔn)方法的不同，一般可以將圖像 拼接方法分為基于區(qū)域相關(guān)的拼接方法和基于特征相關(guān)的拼接方法兩個(gè)類型。一般來說， 基于區(qū)域相關(guān)的拼接方法圖像配準(zhǔn)的精度不高，容易受旋轉(zhuǎn)、變形以及照明不同的影響；而 基于特征相關(guān)的拼接方法由于利用了圖像的特征信息，對(duì)旋轉(zhuǎn)、變形以及照明具有較強(qiáng)的 抗干擾能力，其配準(zhǔn)精度通常較高?；谔卣飨嚓P(guān)的拼接方法的一般步驟分為提取圖像中 的特征、不同圖像間特征的匹配、估計(jì)圖像間的單應(yīng)矩陣和利用單應(yīng)矩陣轉(zhuǎn)移圖像像素。由 于實(shí)際中特征的提取存在定位誤差以及特征的匹配存在誤匹配，用于圖像拼接的單應(yīng)矩陣 的估計(jì)精度將會(huì)受此影響。近年來，隨著圖像拼接技術(shù)的進(jìn)一步發(fā)展，出現(xiàn)了大量減小特征 定位誤差以及消除誤匹配的方法。經(jīng)過對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，David Lowe于2004年在《International Journal ofComputer Vision (國際計(jì)算機(jī)視覺期刊)》上發(fā)表的“Distinctive image features fromscale-invariant keypoints (基于尺度不變關(guān)鍵點(diǎn)的顯著圖像特征)”中提 出了圖像尺度不變特征點(diǎn)即SIFT特征點(diǎn)的提取方法。通過引入尺度空間將二維圖像拓展 成三維的金字塔結(jié)構(gòu)并取在三個(gè)方向上都有較大灰度變化的點(diǎn)為特征點(diǎn)，極大地改善了特 征定位誤差。然而該技術(shù)在對(duì)SIFT特征點(diǎn)進(jìn)行匹配的后仍然存在大量誤匹配的問題。又經(jīng)檢索發(fā)現(xiàn)，Matthew Brown 禾口 David Lowe 于 2007 年在《International Journal ofComputer Vision (國際計(jì)算機(jī)視覺期刊)》上發(fā)表的 “Automatic panoramic image stitching usinginvariant features (使用不變特征的自動(dòng)全景圖像拼接)”中提 出了利用SIFT特征點(diǎn)進(jìn)行全景圖自動(dòng)拼接的方法。該方法利用隨機(jī)抽樣一致性方法(即 RANSAC方法)消除誤匹配，提高單應(yīng)矩陣的估計(jì)精度。RANSAC方法將在一定精度內(nèi)滿足某 一單應(yīng)矩陣的匹配點(diǎn)對(duì)稱為該單應(yīng)矩陣的內(nèi)點(diǎn)，否則稱為外點(diǎn)。RANSAC方法能夠處理存在 點(diǎn)對(duì)誤匹配的情況，然而當(dāng)誤匹配在總匹配點(diǎn)對(duì)中的比例較大時(shí)，RANSAC方法的耗時(shí)會(huì)相 當(dāng)大，且單應(yīng)矩陣的精度也會(huì)受到抽樣次數(shù)的不足的影響。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的上述不足，提出一種提高圖像拼接精度和穩(wěn) 定性的方法。該方法利用遺傳方法內(nèi)含的并行性和全局最優(yōu)性來提高單應(yīng)矩陣估計(jì)的效 率、估計(jì)精度及魯棒性，從而提高圖像拼接的精度和穩(wěn)定性，可廣泛應(yīng)用于攝影測(cè)量、遙感圖像處理、醫(yī)學(xué)圖像分析和虛擬現(xiàn)實(shí)等領(lǐng)域。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括以下步驟第一步，分別對(duì)待拼接的兩幅圖像進(jìn)行SIFT特征點(diǎn)提取，并對(duì)得到的兩組SIFT特 征點(diǎn)進(jìn)行匹配，得到初始匹配點(diǎn)對(duì)集。第二步，基于單應(yīng)矩陣的遺傳一致性估計(jì)，對(duì)初始匹配點(diǎn)對(duì)集進(jìn)行剔除誤匹配處 理，得到滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集。所述的剔除誤匹配處理，包括以下步驟1)在初始匹配點(diǎn)對(duì)集中選擇P個(gè)個(gè)體組成初始種群，得到每個(gè)個(gè)體包含的內(nèi)點(diǎn) 數(shù)，且至少有一個(gè)個(gè)體中包含的內(nèi)點(diǎn)數(shù)大于或者等于相關(guān)閾值Tin;所述的個(gè)體包含從初始匹配點(diǎn)對(duì)集中隨機(jī)選擇的s組非奇異匹配點(diǎn)對(duì)。所述的s取值范圍是區(qū)間[4，10]上的整數(shù)。所述的相關(guān)閾值Tin的取值范圍是[2s，4s]，其中s為個(gè)體所包含的匹配點(diǎn)對(duì)數(shù)。所述的？的取值范圍為[8+2，20(8+2)]，其中s為個(gè)體所包含的匹配點(diǎn)對(duì)數(shù)。所述的內(nèi)點(diǎn)是對(duì)稱轉(zhuǎn)移誤差小于內(nèi)點(diǎn)閾值Thr的匹配點(diǎn)對(duì)。所述的內(nèi)點(diǎn)閾值Thr的取值范圍是
。所述的對(duì)稱轉(zhuǎn)移誤差，是 其中=Dij是初始匹配點(diǎn)對(duì)集中第i組匹配點(diǎn)對(duì)(xu，xEi)對(duì)于第j個(gè)個(gè)體Ij的對(duì) 稱轉(zhuǎn)移誤差，1彡i彡N，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總數(shù)目，Xu = (xLi, yLi, 1)τ為第 i組匹配點(diǎn)對(duì)中第一幅圖匹配點(diǎn)的齊次坐標(biāo)，(xu，yu)T是以第一幅圖左上角像素點(diǎn)為原點(diǎn) 建立的坐標(biāo)系中的像素坐標(biāo)；xKi = (xEi, yEi, 1)τ為第i組匹配點(diǎn)對(duì)中第二幅圖匹配點(diǎn)的齊 次坐標(biāo)，(xKi，yKi)T是以第二幅圖左上角像素點(diǎn)為原點(diǎn)建立的坐標(biāo)系中的像素坐標(biāo)，Hj是利 用第j個(gè)個(gè)體L所包含的s對(duì)匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理所得到的單應(yīng)矩陣 估計(jì)實(shí)例，1 < j ^P0所述的歸一化直接線性變化處理，包括以下步驟a)計(jì)算第一幅圖的歸一化矩陣IY 其中:uL=-jyu ,vL =-^>L· , fL = Wl+Fl/2，Wl為第一幅圖以像素為單位的寬
度，&為第一幅圖的以像素為單位的長度，4為第一幅圖的尺度歸一化因子；b)計(jì)算第二幅圖的歸一化矩陣Tk 其中:
, We為第二幅圖以像素為單位的寬
度，F(xiàn)k為第二幅圖的以像素為單位的長度，4為第二幅圖的尺度歸一化因子；
c)歸一化匹配點(diǎn)對(duì)Xnu — TlX Li Xnei — TeX Ri 其中Xm為第一幅圖匹配點(diǎn)的歸一化齊次坐標(biāo)，xNEi為第二幅圖匹配點(diǎn)的歸一化 齊次坐標(biāo)，X' Li = (x' Li,y' Li,l)T,x' Ei = (x' Ei,y' Ei,l)T, (x' Li,x' Ki)是提供的 匹配點(diǎn)對(duì)； d)對(duì)A =
A1A..
進(jìn)行奇異值分解 A = UDVT,
其中=A1 =
0 ~XNRi
y NLi^-NRi
JiNRi 0 ~XNLi^NRi XNLi “ =“N Li' ^NLi' J-/ , XNRi “對(duì)角矩陣D的對(duì)角元素沿著對(duì)角線按降序排列，V的最后一列為h ；e)解除歸一化，得到單應(yīng)矩陣 H = Tl1HTs ,
fKKK
其中H =KKK，[fhKK,
比為h的第i個(gè)元素，H就是由提供的匹配點(diǎn)對(duì)得到的單應(yīng)矩陣估計(jì)實(shí)例。
2)將初始種群隨機(jī)劃分為個(gè)體數(shù)目都為s+2的子群，并在每個(gè)子群中選擇內(nèi)點(diǎn)數(shù) 最大和次大的兩個(gè)個(gè)體作為母體；3)將每個(gè)子群中的兩個(gè)母體隨機(jī)交換q組匹配點(diǎn)對(duì)生成2個(gè)子體，子體與母體共 形成4個(gè)中間個(gè)體。所述的q為區(qū)間[1，s-1]上的隨機(jī)整數(shù)。4)保留每個(gè)子群4個(gè)中間個(gè)體中內(nèi)點(diǎn)數(shù)最大的個(gè)體作為候選個(gè)體。5)對(duì)每個(gè)子群中的候選個(gè)體進(jìn)行變異處理，使每個(gè)候選個(gè)體變異為s+1個(gè)變異個(gè) 體，并將變異個(gè)體進(jìn)行調(diào)整處理，得到調(diào)整后的變異個(gè)體與候選個(gè)體組成的新的種群。所述的變異處理，分別在每個(gè)候選個(gè)體劃分的內(nèi)外點(diǎn)中選擇由m組內(nèi)點(diǎn)和4-m組 外點(diǎn)組成的變異個(gè)體，0 < m < S。每個(gè)候選個(gè)體都生成s+1個(gè)變異個(gè)體。所述的外點(diǎn)是對(duì)稱轉(zhuǎn)移誤差大于或等于內(nèi)點(diǎn)閾值Thr的匹配點(diǎn)對(duì)。所述的調(diào)整處理，是對(duì)每個(gè)候選個(gè)體生成的變異個(gè)體，逐個(gè)與判別個(gè)體進(jìn)行比 較，當(dāng)且僅當(dāng)判別個(gè)體的內(nèi)點(diǎn)數(shù)大于變異個(gè)體的內(nèi)點(diǎn)數(shù)，則將變異個(gè)體置換為判別個(gè)體。所述的判別個(gè)體是從候選個(gè)體的內(nèi)點(diǎn)中隨機(jī)選擇的s組非奇異匹配點(diǎn)對(duì)。6)對(duì)新的種群重復(fù)執(zhí)行2)_5)共G次后，此時(shí)種群中內(nèi)點(diǎn)數(shù)最大的個(gè)體的內(nèi)點(diǎn)就 是滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集。
所述的G，是
Iog(I-C)
其中P是種群中個(gè)體的數(shù)目，μ是第G次執(zhí)行完5)后得到的內(nèi)點(diǎn)數(shù)最大的個(gè)體 的內(nèi)點(diǎn)數(shù)，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總點(diǎn)對(duì)數(shù)，C是第G次執(zhí)行完5)后由s個(gè)正確 匹配點(diǎn)對(duì)組成的個(gè)體至少出現(xiàn)過一次的概率。所述的C的取值范圍是
。第三步，利用一致最大內(nèi)點(diǎn)集的所有匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理，得 到單應(yīng)矩陣的初始估計(jì)Hinit,并對(duì)單應(yīng)矩陣的初始估計(jì)進(jìn)行LM迭代優(yōu)化處理，得到單應(yīng)矩 陣的最優(yōu)估計(jì)H。pt。所述的LM迭代優(yōu)化處理，是在下面的公式中當(dāng)總對(duì)稱轉(zhuǎn)移誤差E不變時(shí)，H。pt即為 單應(yīng)矩陣的最優(yōu)估計(jì) 其中(xINU，xINEJ)是一致最大內(nèi)點(diǎn)集中的第j個(gè)匹配點(diǎn)對(duì)，1彡j彡M，M為一致 最大內(nèi)點(diǎn)集中匹配點(diǎn)對(duì)的個(gè)數(shù)，Il · I If表示矩陣的Frobenius范數(shù)，H。pt的初始值取為 Hinit/ I IHinitI |F, Hinit是單應(yīng)矩陣的初始估計(jì)。第四步，利用單應(yīng)矩陣的最優(yōu)估計(jì)H-進(jìn)行圖像的拼接，確定兩幅待拼接圖像的公 共區(qū)域，并得到公共區(qū)域的最小外接矩形所含的第一幅圖像的子圖像If^g和第二幅圖像的 子圖像IfM。所述的圖像的拼接，包括以下步驟1)、將第二幅圖像拼接到第一幅圖像上，根據(jù)Reg2 = Quad {Rk/Rk (3)得到第二幅圖 像所占的區(qū)域Reg2，其中=Rk= Hopt · Vk,Rk是第二幅圖像拼接到第一幅圖像上后的第k個(gè)頂點(diǎn)的齊次坐標(biāo)，1彡k彡4，Vk 是第二幅圖像本身的第k個(gè)頂點(diǎn)的齊次坐標(biāo)，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (ffL, Fl, 1)T，V4= (Wy 1，1)T，W^為第一幅圖以像素為單位的寬度，&為第一幅圖的以像素為單位的 長度，Quad{.}表示由四點(diǎn)依次連接構(gòu)成的四邊形所包含的區(qū)域，Rk(3)是表示矢量Rk的第 三個(gè)分量；2)、根據(jù)1)方法，得到第一幅圖像所占的區(qū)域Regl，區(qū)域Reg2和區(qū)域Regl的交集 就是兩幅待拼接圖像的公共區(qū)域，并將第二幅圖像與公共區(qū)域不同的內(nèi)容拼接到第一幅圖 像上。第五步，對(duì)第一幅圖像的子圖像IfM和第二幅圖像的子圖像ΙΓ^進(jìn)行無縫融合， 將融合后的圖像貼到公共區(qū)域即可得到圖像拼接的最終結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是能夠在初始匹配點(diǎn)對(duì)中存在大量誤匹配 的情況下精確快速穩(wěn)定地估計(jì)出用于圖像拼接的單應(yīng)矩陣，通過控制初始種群的形成并進(jìn) 一步采用子群的方式同時(shí)在解空間內(nèi)的多個(gè)區(qū)域進(jìn)行搜索，與現(xiàn)有技術(shù)中RANSAC每次只 在單個(gè)區(qū)域搜索形成鮮明對(duì)比，能夠在誤匹配點(diǎn)對(duì)大量存在的情況下快速實(shí)現(xiàn)單應(yīng)矩陣的 估計(jì)；利用變異個(gè)體根據(jù)內(nèi)點(diǎn)的可能分布進(jìn)行有目的的搜索，能夠在全局意義上更準(zhǔn)確地 找出一致最大內(nèi)點(diǎn)集，與現(xiàn)有技術(shù)中RANSAC每次隨機(jī)選擇搜索區(qū)域的盲目性形成鮮明對(duì) 比，顯著提高了單應(yīng)矩陣估計(jì)的估計(jì)精度和魯棒性，從而保證圖像拼接的精度；所采用的歸 一化直接線性變化中，兩幅圖像的尺度歸一化因子都只與圖像自身的長寬有關(guān)，這使得處理的結(jié)果與點(diǎn)的具體分布無關(guān)，提高了穩(wěn)定性。


圖1是實(shí)施例待拼接和拼接后的圖像示意圖；其中(a)是第一幅待拼接圖像；(b)是第二幅待拼接圖像；(C)是拼接后的圖像。圖2是實(shí)施例中尺度空間中的高斯金字塔和DOG金字塔結(jié)構(gòu)示意圖。圖3是實(shí)施例中尺度空間極值檢測(cè)示意圖。圖4是實(shí)施例中特征描述子示意圖；其中(a)是將坐標(biāo)軸轉(zhuǎn)為關(guān)鍵點(diǎn)的方向示意圖；(b)是特征點(diǎn)的32個(gè)維度示意 圖。圖5是實(shí)施例中分別采用實(shí)施例方法和現(xiàn)有技術(shù)中的RANSAC方法得到的內(nèi)點(diǎn)檢 測(cè)能量對(duì)比示意圖。圖6是實(shí)施例中分別采用實(shí)施例方法和現(xiàn)有技術(shù)中的RANSAC方法得到的估計(jì)誤 差對(duì)比示意圖。圖7是實(shí)施例中分別采用實(shí)施例方法和現(xiàn)有技術(shù)中的RANSAC方法得到的耗時(shí)對(duì) 比示意圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的方法進(jìn)一步描述本實(shí)施例在以本發(fā)明技術(shù)方案為前提 下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述 的實(shí)施例。實(shí)施例本實(shí)施例用于將圖1(a)所示圖像拼接到圖1(b)所示的圖像上，拼接得到的圖像 如圖1(c)所示，具體包括以下步驟第一步，分別對(duì)待拼接的兩幅圖像進(jìn)行SIFT特征點(diǎn)提取，并對(duì)得到的兩組SIFT特 征點(diǎn)進(jìn)行匹配，得到初始匹配點(diǎn)對(duì)集{(Xu，XRi) |1 < i ^ N}，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn) 對(duì)的總數(shù)目。xu = (^^，、，丨”為第i組匹配點(diǎn)對(duì)中第一幅圖匹配點(diǎn)的齊次坐標(biāo)，(xLi,yLi) τ是以第一幅圖左上角像素點(diǎn)為原點(diǎn)建立的坐標(biāo)系中的像素坐標(biāo)；xKi =(如卩^，丨”為第i 組匹配點(diǎn)對(duì)中第二幅圖匹配點(diǎn)的齊次坐標(biāo)，(xKi，yKi)T是以第二幅圖左上角像素點(diǎn)為原點(diǎn)建 立的坐標(biāo)系中的像素坐標(biāo)。所述的SIFT特征點(diǎn)的提取與匹配過程如下1)建立高斯金字塔高斯金字塔有ο階，每一階有1層尺度圖像。本實(shí)施例建立(O，1) = (4,5)的高 斯金字塔。第1階的第1層是放大2倍的原始圖像，在同一階中相鄰兩層的尺度因子比例 系數(shù)是k，則第1階第2層的尺度因子是k σ，然后其它層以此類推則可；第2階的第1層 由第一階的中間層尺度圖像進(jìn)行子抽樣獲得，其尺度因子是k2 σ，然后第2階的第2層的尺 度因子是第1層的k倍即k3 σ。第3階的第1層由第2階的中間層尺度圖像進(jìn)行子抽樣獲 得。其它階的構(gòu)成以此類推。得到的高斯金字塔的結(jié)構(gòu)如圖2左半邊所示。對(duì)于二維圖像 I(x，y)在不同尺度下的尺度空間表示L(x，y，(0可由圖像10^，y)與高斯核G(x，y，σ)的卷積得到L(x，y，σ ) = G(x，y，σ )*I(X，y)，其中:G(x,y,a)=^e-(x2+y2)'2(72，本實(shí)施例取σ = 1· 6。
2πσ2)建立DOG金字塔DOG金字塔通過高斯金字塔中相鄰尺度空間函數(shù)相減即可。DOG金字塔的第1層 的尺度因子與高斯金字塔的第1層是一致的，其它階也一樣。本實(shí)施例得到的DOG金字塔 如圖2右半邊所示。3) DOG空間的極值檢測(cè)為了檢測(cè)到DOG空間的最大值和最小值，需要比較DOG尺度空間圖像中的每個(gè)像 素與它鄰近26個(gè)像素的值，在圖3中，標(biāo)記為叉號(hào)的像素若比相鄰26個(gè)像素的DOG值都大 或都小，則該點(diǎn)將作為一個(gè)SIFT特征點(diǎn)，記下它的位置、對(duì)應(yīng)階數(shù)和層數(shù)。4)確定特征點(diǎn)的主方向根據(jù)特征點(diǎn)的階數(shù)和層數(shù)在高斯金字塔中找到對(duì)應(yīng)的圖像層，并以特征點(diǎn)的位置 為中心，在9X9的正方形鄰域內(nèi)統(tǒng)計(jì)所有點(diǎn)的梯度的大小和方向，并用梯度直方圖統(tǒng)計(jì)鄰 域像素的梯度方向。梯度直方圖的范圍是0° 360°，其中每10度為一個(gè)方向，總共36 個(gè)方向。統(tǒng)計(jì)得到的直方圖峰值所在的方向就代表了該特征點(diǎn)的主方向。其中正方形鄰域 內(nèi)點(diǎn)的梯度的大小m(x，y，σ)和方向計(jì)算如下m(x,y,σ) = ^(Ux +1,j,σ)-L(x-1,j,σ))2 + (L(毛y + Ι,σ)-L(x,y-l,a)f ,θ (x, y, σ ) = arctan((L(x, y+1, σ )-L(x, y-1, σ ))/(L(x+l, y, σ )-L(x-l, y, o)))。5)確定特征點(diǎn)的特征描述子為了確保旋轉(zhuǎn)不變性，首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向。以關(guān)鍵點(diǎn)為中心，取 8X8的窗口，將這個(gè)窗口切成2X2的子窗口，如圖4所示。圖4(a)的中心代表當(dāng)前關(guān)鍵點(diǎn)的位置，每一個(gè)小格代表了與關(guān)鍵點(diǎn)同尺度，并且 是在關(guān)鍵點(diǎn)鄰域內(nèi)的一個(gè)像素，小格中箭頭的方向代表該像素的梯度方向，箭頭的長度代 表梯度的模的大小，圓圈代表了高斯加權(quán)的范圍。圖4(b)中2X2的窗口的每個(gè)子窗口由 其上4X4的小塊組成。在每個(gè)4X4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，統(tǒng)計(jì)每個(gè) 方向的累加值，即形成一個(gè)種子點(diǎn)。一個(gè)特征點(diǎn)由2X2共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)包 含8個(gè)方向的信息，這樣每個(gè)特征點(diǎn)的特征描述子就有4X8 = 32個(gè)維度。所述的匹配，具體是首先將第一幅圖和第二幅圖中所有特征點(diǎn)的特征描述子進(jìn) 行長度歸一化，接著對(duì)第一幅圖中的每個(gè)特征點(diǎn)在第二幅圖中尋找相似性度量最大的兩個(gè) 特征點(diǎn)。當(dāng)次大的相似性度量除以最大的相似性度量少于比例閾值0. 8，則第一幅圖中的特 征點(diǎn)與第二幅圖中最相似的特征點(diǎn)為一對(duì)匹配點(diǎn)。兩特征點(diǎn)間的相似性度量Sd如下Sd(Descl, Desc2) = Descl1 · Desc2,其中=Descl和Desc2代表以32維列向量表示的特征描述子。Sd值越大表明兩特 征點(diǎn)越相似。第二步，在初始點(diǎn)對(duì)集A上利用基于單應(yīng)矩陣的遺傳一致性估計(jì)，對(duì)初始匹配點(diǎn) 對(duì)集進(jìn)行剔除誤匹配處理，得到滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集。
所述的剔除誤匹配處理，包括以下步驟1)在初始匹配點(diǎn)對(duì)集中選擇P (P = 12)個(gè)個(gè)體組成初始種群，得到每個(gè)個(gè)體包含 的內(nèi)點(diǎn)數(shù)，且至少有一個(gè)個(gè)體中包含的內(nèi)點(diǎn)數(shù)大于或者等于相關(guān)閾值TinCTin= 12)；所述的個(gè)體包含從初始匹配點(diǎn)對(duì)集中隨機(jī)選擇的s (S = 4)組非奇異匹配點(diǎn)對(duì)。所述的內(nèi)點(diǎn)是對(duì)稱轉(zhuǎn)移誤差小于內(nèi)點(diǎn)閾值ThHThr = 1)的匹配點(diǎn)對(duì)。所述的對(duì)稱轉(zhuǎn)移誤差，是
其中=Dij是初始匹配點(diǎn)對(duì)集中第i組匹配點(diǎn)對(duì)(xu，xEi)對(duì)于第j個(gè)個(gè)體Ij的對(duì) 稱轉(zhuǎn)移誤差，1彡i彡N，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總數(shù)目，xu = (xLi, yLi, 1)τ為第 i組匹配點(diǎn)對(duì)中第一幅圖匹配點(diǎn)的齊次坐標(biāo)，(xu，yu)T是以第一幅圖左上角像素點(diǎn)為原點(diǎn) 建立的坐標(biāo)系中的像素坐標(biāo)；xKi = (xEi, yEi, 1)τ為第i組匹配點(diǎn)對(duì)中第二幅圖匹配點(diǎn)的齊 次坐標(biāo)，(xKi，yKi)T是以第二幅圖左上角像素點(diǎn)為原點(diǎn)建立的坐標(biāo)系中的像素坐標(biāo)，Hj是利 用第j個(gè)個(gè)體L所包含的s對(duì)匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理所得到的單應(yīng)矩陣 估計(jì)實(shí)例，1 < j ^P0所述的歸一化直接線性變化處理，包括以下步驟a)計(jì)算第一幅圖的歸一化矩陣！Y
Wl為第一幅圖以像養(yǎng)
度，&為第一幅圖的以像素為單位的長度，4為第一幅圖的尺度歸一化因子；
b)計(jì)算第二幅圖的歸一化矩陣Tk
其中-Ul =1 v -JlxL
其中-.uR1 v1 s ^R =-YdVm
S /:1 S /:1
度，F(xiàn)k為第二幅圖的以像素為單位的長度，4為第二幅圖的尺度歸一化因子；C)歸一化匹配點(diǎn)對(duì)Xnu — TlX Li Xnei — TeX Ri 其中Xm為第一幅圖匹配點(diǎn)的歸一化齊次坐標(biāo)，xNEi為第二幅圖匹配點(diǎn)的歸一化
齊次坐標(biāo)，χ' u=(x' Li,y' 匹配點(diǎn)對(duì)；
Li，l)T，x'
Ri
=(χ' Ei,y' Ei,l)T, (χ' u，χ' Ki)是提供的 d)對(duì)A =
A,
A
進(jìn)行奇異值分解 A = UDVT,
12
其中 對(duì)角矩陣D的對(duì)角元素沿著對(duì)角線按降序排列，V的最后一列為h ；e)解除歸一化，得到單應(yīng)矩陣H = T￡ 1HTs ,
其中 比為h的第i個(gè)元素，H就是由提供的匹配點(diǎn)對(duì)得到的單應(yīng)矩陣估計(jì)實(shí)例。2)將初始種群隨機(jī)劃分為個(gè)體數(shù)目都為6的子群，并在每個(gè)子群中選擇內(nèi)點(diǎn)數(shù)最 大和次大的兩個(gè)個(gè)體作為母體；3)將每個(gè)子群中的兩個(gè)母體隨機(jī)交換q(q = 2)組匹配點(diǎn)對(duì)生成2個(gè)子體，子體與 母體共形成4個(gè)中間個(gè)體。4)保留每個(gè)子群4個(gè)中間個(gè)體中內(nèi)點(diǎn)數(shù)最大的個(gè)體作為候選個(gè)體。5)對(duì)每個(gè)子群中的候選個(gè)體進(jìn)行變異處理，使每個(gè)候選個(gè)體變異為5個(gè)變異個(gè) 體，并將變異個(gè)體進(jìn)行調(diào)整處理，得到調(diào)整后的變異個(gè)體與候選個(gè)體組成的新的種群。所述的變異處理，分別在每個(gè)候選個(gè)體劃分的內(nèi)外點(diǎn)中選擇由m組內(nèi)點(diǎn)和4-m組 外點(diǎn)組成的變異個(gè)體，0 < m < 4。每個(gè)候選個(gè)體都生成5個(gè)變異個(gè)體。所述的外點(diǎn)是對(duì)稱轉(zhuǎn)移誤差大于或等于內(nèi)點(diǎn)閾值ThHThr = 1)的匹配點(diǎn)對(duì)。所述的調(diào)整處理，是對(duì)每個(gè)候選個(gè)體生成的變異個(gè)體，逐個(gè)與判別個(gè)體進(jìn)行比 較，當(dāng)且僅當(dāng)判別個(gè)體的內(nèi)點(diǎn)數(shù)大于變異個(gè)體的內(nèi)點(diǎn)數(shù)，則將變異個(gè)體置換為判別個(gè)體。所述的判別個(gè)體是從候選個(gè)體的內(nèi)點(diǎn)中隨機(jī)選擇的4組非奇異匹配點(diǎn)對(duì)。6)對(duì)新的種群重復(fù)執(zhí)行2)_5)共G次后，此時(shí)種群中內(nèi)點(diǎn)數(shù)最大的個(gè)體的內(nèi)點(diǎn)就 是滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集。所述的G，是 其中Ρ是種群中個(gè)體的數(shù)目，μ是第G次執(zhí)行完5)后得到的內(nèi)點(diǎn)數(shù)最大的個(gè)體 的內(nèi)點(diǎn)數(shù)，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總點(diǎn)對(duì)數(shù)，C是第G次執(zhí)行完5)后由4個(gè)正確 匹配點(diǎn)對(duì)組成的個(gè)體至少出現(xiàn)過一次的概率，C = O. 99。第三步，利用一致最大內(nèi)點(diǎn)集的所有匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理，得 到單應(yīng)矩陣的初始估計(jì)Hinit,并對(duì)單應(yīng)矩陣的初始估計(jì)進(jìn)行LM迭代優(yōu)化處理，得到單應(yīng)矩 陣的最優(yōu)估計(jì)H。pt。所述的歸一化直接線性變化處理參照第二步的歸一化直接線性變化處理。所述的LM迭代優(yōu)化處理，是根據(jù)下面的公式，當(dāng)總對(duì)稱轉(zhuǎn)移誤差E不變時(shí)，Hopt即 為單應(yīng)矩陣的最優(yōu)估計(jì)
13
其中(XlNU，xINEJ)是一致最大內(nèi)點(diǎn)集中的第j個(gè)匹配點(diǎn)對(duì)，1彡j彡4，4M為一 致最大內(nèi)點(diǎn)集中匹配點(diǎn)對(duì)的個(gè)數(shù)，Μ · I If表示矩陣的Frobenius范數(shù)，H。pt的初始值取為 Hinit/ I IHinitI I F，Hinit是單應(yīng)矩陣的初始估計(jì)。第四步，利用單應(yīng)矩陣的最優(yōu)估計(jì)H-進(jìn)行圖像的拼接，確定兩幅待拼接圖像的公 共區(qū)域，并得到公共區(qū)域的最小外接矩形所含的圖1(b)的子圖像lfM和第二幅圖像的子 圖像Ireg。所述的圖像的拼接，包括以下步驟1)、將圖1 (a)拼接到圖1 (b)上，根據(jù)Reg2 = Quad{Rk/Rk(3)得到圖1 (a)所占的 區(qū)域Reg2，其中:Rk= Hopt · Vk,Rk是圖1 (a)拼接到圖1 (b)上后的第k個(gè)頂點(diǎn)的齊次坐標(biāo)，1彡k彡4，Vk是圖1 (a) 本身的第 k 個(gè)頂點(diǎn)的齊次坐標(biāo)，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (ffL,FL,l)T,V4= (ffL, 1，1)T，Wl為第一幅圖以像素為單位的寬度，F(xiàn)l為第一幅圖的以像素為單位的長度，Quad{. } 表示由四點(diǎn)依次連接構(gòu)成的四邊形所包含的區(qū)域，Rk(3)是表示矢量Rk的第三個(gè)分量；對(duì)于區(qū)域Reg2中任意整數(shù)像素點(diǎn)的齊次坐標(biāo)X，其灰度值可由第二幅圖中的對(duì)應(yīng) 點(diǎn)Xr =H^x的灰度值確定。令如=如/如(3)，貝IJ (ΧΚ(1)，如(2))1卩為此點(diǎn)的像素坐標(biāo)。由 于(χκ(1)，χκ(2))τ通常為小數(shù)，需利用雙線性插值確定此點(diǎn)的像素值并賦給區(qū)域Reg2中的
；X O所述的雙線性插值，具體公式如下IE(xE(l), xe(2)) = (1-a) (l_b)IK(c，d)+a(l_b)IK(c，d+l)+abIK(c+l，d+l) + (l_a) bIE(c+l, d)，其中Ικ(χκ(1)，χκ(2))表示第二幅圖在點(diǎn)(χκ(1)，χκ(2))處的灰度值。c = [xR⑴」，
為小于等于Xk(I)的最大整數(shù)4 = [、(2)」，為小于等于如(2)的最大整數(shù)；a = Xk(2)-d;b =xK(l)_c。2)、根據(jù)1)的方法，得到圖1(b)所占的區(qū)域Regl，區(qū)域Reg2和區(qū)域Regl的交集 就是兩幅待拼接圖像的公共區(qū)域，并將圖1(a)與公共區(qū)域不同的內(nèi)容拼接到圖1(b)上。第 五步，采用Multi-band Blending方法對(duì)圖1 (b)的子圖像lfReg和圖1 (a)的子圖像 Γ^進(jìn) 行無縫融合，將融合后的圖像貼到公共區(qū)域即可得到圖像拼接的最終結(jié)果。所述的無縫融合，具體包括以下步驟1)分別建立兩幅子圖的高斯金字塔以建立子圖lfReg的高斯金字塔為例，把lfReg作為高斯金字塔的第一層(底層)，那 么高斯金字塔的第k層圖像可以這樣構(gòu)造ΙΓ68 (U J.) = Σ Σ 一, “)1=! (2ζ· + 肌，2 J. + π),
m=—2η=—2其中w(m，η) = w(m) · w (η), w (0) = 3/8，w (士 1) = 1/4，w (士 2) = 1/16，
1 ^ k ^ N, N為高斯金字塔的層數(shù)。
子圖Ifieg的高斯金字塔結(jié)構(gòu)ΙΓ^以同樣方式建立。2)分別建立兩幅子圖的拉普拉斯金字塔以建立子圖lfReg的拉普拉斯金字塔為例，設(shè)高斯金字塔中第k層的內(nèi)插放大圖為
I RPReg* ·
Γ π廿士 TRP吻V +肌j + n,當(dāng)^^和^為整數(shù)其中1二8= 12 22 2’
2 2 [ ο其它引入放大算子Expand，內(nèi)插放大變換可以簡(jiǎn)記為= Expand(I^fReg')。到此，子圖IfM的拉普拉斯金字塔LPir^g構(gòu)造如下 子圖Ifieg的拉普拉斯金字塔結(jié)構(gòu)LPirieg以同樣方式建立。3)建立融合系數(shù)的高斯金字塔以創(chuàng)建子圖lfReg的融合系數(shù)高斯金字塔為例，首先建立一個(gè)與區(qū)域RPReg等大的 系數(shù)圖像ICy將圖像IQ接近圖1(b)的那一半圖像的灰度值設(shè)為1，而接近第二幅圖的一 半設(shè)為0。并建立圖像Iq的高斯金字塔ICut，此即為圖IfM的融合系數(shù)高斯金字塔，同時(shí) 子圖lfM的融合系數(shù)高斯金字塔為ICKk = I-ICy4)建立融合后圖像的拉普拉斯金字塔設(shè)融合后圖像為I·8，其拉普拉斯金字塔LPIfM構(gòu)造如下 5)重建融合后的圖像通過融合后圖像的拉普拉斯金字塔LPIfpM重建融合后圖像的高斯金字塔IfpM,
如下 取高斯金字塔的第一層Iju^g,即為子圖IfM和子圖ΙΓ^融合后的圖像。利用Visual Geometry Group研究組提供的Graffiti數(shù)據(jù)庫做實(shí)驗(yàn)，通過SIFT 方法在兩幅圖像中引入100對(duì)正確匹配數(shù)據(jù)點(diǎn)，然后隨機(jī)引入不同個(gè)數(shù)的錯(cuò)誤匹配點(diǎn)對(duì)以 形成不同的正確匹配點(diǎn)對(duì)比例，進(jìn)而得到的本實(shí)施例方法(HM-GCE)和現(xiàn)有的RANGSAC方法 在不同的正確數(shù)據(jù)點(diǎn)比例下性能的差異如圖5、圖6和圖7所示。從圖5可以看出本實(shí)施 例方法在不同正確匹配數(shù)據(jù)點(diǎn)比例下檢測(cè)到的內(nèi)點(diǎn)數(shù)均大于RANSAC方法，且內(nèi)點(diǎn)數(shù)穩(wěn)定 在85附近，這顯示了本實(shí)施例方法能夠更魯棒更穩(wěn)定地檢測(cè)出內(nèi)點(diǎn)，從而為估計(jì)結(jié)果的精 度和穩(wěn)定性提供了條件。圖6顯示出本實(shí)施例方法在不同正確匹配數(shù)據(jù)點(diǎn)比例下對(duì)目標(biāo)單應(yīng)矩陣的估計(jì)誤差均小于RANSAC方法，估計(jì)誤差采用Frobenius范數(shù):H-H1 ‘,其中。為
單應(yīng)矩陣估計(jì)實(shí)例，Ht為真實(shí)單應(yīng)矩陣。圖7顯示出盡管本實(shí)施例方法在正確匹配點(diǎn)對(duì)比 例較大時(shí)時(shí)間消耗略大于RANSAC方法，但是在錯(cuò)誤匹配點(diǎn)對(duì)大量存在時(shí)本實(shí)施例方法的 耗時(shí)要遠(yuǎn)小于RANSAC方法。
權(quán)利要求
一種提高圖像拼接精度和穩(wěn)定性的方法，其特征在于，包括以下步驟第一步，分別對(duì)待拼接的兩幅圖像進(jìn)行SIFT特征點(diǎn)提取，并對(duì)得到的兩組SIFT特征點(diǎn)進(jìn)行匹配，得到初始匹配點(diǎn)對(duì)集；第二步，基于單應(yīng)矩陣的遺傳一致性估計(jì)，對(duì)初始匹配點(diǎn)對(duì)集進(jìn)行剔除誤匹配處理，得到滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集；第三步，利用一致最大內(nèi)點(diǎn)集的所有匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理，得到單應(yīng)矩陣的初始估計(jì)Hinit，并對(duì)單應(yīng)矩陣的初始估計(jì)進(jìn)行LM迭代優(yōu)化處理，得到單應(yīng)矩陣的最優(yōu)估計(jì)Hopt；第四步，利用單應(yīng)矩陣的最優(yōu)估計(jì)Hopt進(jìn)行圖像的拼接，確定兩幅待拼接圖像的公共區(qū)域，并得到公共區(qū)域的最小外接矩形所含的第一幅圖像的子圖像和第二幅圖像的子圖像第五步，對(duì)第一幅圖像的子圖像和第二幅圖像的子圖像進(jìn)行無縫融合，將融合后的圖像貼到公共區(qū)域，得到圖像拼接的最終結(jié)果。FDA0000023001710000011.tif,FDA0000023001710000012.tif,FDA0000023001710000013.tif,FDA0000023001710000014.tif
2.根據(jù)權(quán)利要求1所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，第二步中所 述的剔除誤匹配處理，包括以下步驟1)在初始匹配點(diǎn)對(duì)集中選擇P個(gè)個(gè)體組成初始種群，得到每個(gè)個(gè)體包含的內(nèi)點(diǎn)數(shù)，且 至少有一個(gè)個(gè)體中包含的內(nèi)點(diǎn)數(shù)大于或者等于相關(guān)閾值Tin;所述的個(gè)體包含從初始匹配點(diǎn)對(duì)集中隨機(jī)選擇的s組非奇異匹配點(diǎn)對(duì)；所述的內(nèi)點(diǎn)是對(duì)稱轉(zhuǎn)移誤差小于內(nèi)點(diǎn)閾值Thr的匹配點(diǎn)對(duì)；2)將初始種群隨機(jī)劃分為個(gè)體數(shù)目都為s+2的子群，并在每個(gè)子群中選擇內(nèi)點(diǎn)數(shù)最大 和次大的兩個(gè)個(gè)體作為母體；3)將每個(gè)子群中的兩個(gè)母體隨機(jī)交換q組匹配點(diǎn)對(duì)生成2個(gè)子體，子體與母體共形成 4個(gè)中間個(gè)體；4)保留每個(gè)子群4個(gè)中間個(gè)體中內(nèi)點(diǎn)數(shù)最大的個(gè)體作為候選個(gè)體；5)對(duì)每個(gè)子群中的候選個(gè)體進(jìn)行變異處理，使每個(gè)候選個(gè)體變異為s+1個(gè)變異個(gè)體， 并將變異個(gè)體進(jìn)行調(diào)整處理，得到調(diào)整后的變異個(gè)體與候選個(gè)體組成的新的種群；6)對(duì)新的種群重復(fù)執(zhí)行2)-5)共G次后，此時(shí)種群中內(nèi)點(diǎn)數(shù)最大的個(gè)體的內(nèi)點(diǎn)就是滿 足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集；所述的G，是 其中p是種群中個(gè)體的數(shù)目，μ是第G次執(zhí)行完5)后得到的內(nèi)點(diǎn)數(shù)最大的個(gè)體的內(nèi) 點(diǎn)數(shù)，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總點(diǎn)對(duì)數(shù)，C是第G次執(zhí)行完5)后由S個(gè)正確匹配 點(diǎn)對(duì)組成的個(gè)體至少出現(xiàn)過一次的概率；所述的C的取值范圍是
。
3.根據(jù)權(quán)利要求2所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，所述的對(duì)稱 轉(zhuǎn)移誤差，是 其中DU是初始匹配點(diǎn)對(duì)集中第i組匹配點(diǎn)對(duì)(xu，xEi)對(duì)于第j個(gè)個(gè)體L的對(duì)稱轉(zhuǎn) 移誤差，1彡i彡N，N是初始匹配點(diǎn)對(duì)集中匹配點(diǎn)對(duì)的總數(shù)目，xu = (xLi, yLi, 1)τ為第i組 匹配點(diǎn)對(duì)中第一幅圖匹配點(diǎn)的齊次坐標(biāo)，(xu，yu)T是以第一幅圖左上角像素點(diǎn)為原點(diǎn)建立 的坐標(biāo)系中的像素坐標(biāo)；xKi = (xEi, yEi, 1)τ為第i組匹配點(diǎn)對(duì)中第二幅圖匹配點(diǎn)的齊次坐 標(biāo)，(xEi, yKi)T是以第二幅圖左上角像素點(diǎn)為原點(diǎn)建立的坐標(biāo)系中的像素坐標(biāo)，Hj是利用第 j個(gè)個(gè)體^所包含的s對(duì)匹配點(diǎn)對(duì)進(jìn)行歸一化直接線性變化處理所得到的單應(yīng)矩陣估計(jì)實(shí) 例，1 < j ( P。
4.根據(jù)權(quán)利要求1或3所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，所述的歸 一化直接線性變化處理，包括以下步驟 a)得到第一幅圖的歸一化矩陣IY 其中 Wl為第一幅圖以像素為單位的寬度， 為第一幅圖的以像素為單位的長度，4為第一幅圖的尺度歸一化因子； b)得到第二幅圖的歸一化矩陣Τκ: 為第二幅圖的以像素為單位的長度，4為第二幅圖的尺度歸一化因子； C)歸一化匹配點(diǎn)對(duì)XNLi — TlX Li' XNEi — TrX Ri 其中xNU為第一幅圖匹配點(diǎn)的歸一化齊次坐標(biāo)，xNKi為第二幅圖匹配點(diǎn)的歸一化齊次坐標(biāo)，X' Li = (χ' 點(diǎn)對(duì)； =(χ' Ei,y' Ei,l)T, (χ' Li,x' Ki)是提供的匹配進(jìn)行奇異值分解其中A,=A = UDVt,0層 y NLi^ NRiJ^NRi 0~ XNLi^· NRiXNLi “ =“N Li ‘ ^NLi' J-/ , xNRi “ =(xNEi' yNEi' ι)1，對(duì)角矩陣D的對(duì)角元素沿著對(duì)角線按降序排列，ν的最后一列為h e)解除歸一化，得到單應(yīng)矩陣 H = Tl1HTs , 比為h的第i個(gè)元素，H就是由提供的匹配點(diǎn)對(duì)得到的單應(yīng)矩陣估計(jì)實(shí)例。
5.根據(jù)權(quán)利要求2所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，所述的變異 處理，分別在每個(gè)候選個(gè)體劃分的內(nèi)外點(diǎn)中選擇由m組內(nèi)點(diǎn)和4-m組外點(diǎn)組成的變異個(gè)體， 0 ^m^ s,每個(gè)候選個(gè)體都生成s+1個(gè)變異個(gè)體；所述的外點(diǎn)是對(duì)稱轉(zhuǎn)移誤差大于或等于內(nèi)點(diǎn)閾值Thr的匹配點(diǎn)對(duì)。
6.根據(jù)權(quán)利要求2所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，所述的調(diào)整 處理，是對(duì)每個(gè)候選個(gè)體生成的變異個(gè)體，逐個(gè)與判別個(gè)體進(jìn)行比較，當(dāng)且僅當(dāng)判別個(gè)體 的內(nèi)點(diǎn)數(shù)大于變異個(gè)體的內(nèi)點(diǎn)數(shù)，則將變異個(gè)體置換為判別個(gè)體；所述的判別個(gè)體是從候選個(gè)體的內(nèi)點(diǎn)中隨機(jī)選擇的s組非奇異匹配點(diǎn)對(duì)。
7.根據(jù)權(quán)利要求1所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，第三步中所 述的LM迭代優(yōu)化處理，是在下面的公式中當(dāng)總對(duì)稱轉(zhuǎn)移誤差E不變時(shí)，H。pt即為單應(yīng)矩陣的 最優(yōu)估計(jì) 其中(xINU，xINEJ)是一致最大內(nèi)點(diǎn)集中的第j個(gè)匹配點(diǎn)對(duì)，1彡j彡M，M為一致最 大內(nèi)點(diǎn)集中匹配點(diǎn)對(duì)的個(gè)數(shù)，Μ · I |F表示矩陣的Frobenius范數(shù)，H。pt的初始值取為 Hinit/ I IHinitI |F, Hinit是單應(yīng)矩陣的初始估計(jì)。
8.根據(jù)權(quán)利要求1所述的基于單應(yīng)矩陣遺傳一致性估計(jì)的圖像拼接方法，其特征是， 第四步中所述的圖像的拼接，包括以下步驟1)、將第二幅圖像拼接到第一幅圖像上，根據(jù)Reg2= Quad{Rk/Rk(3)得到第二幅圖像所 占的區(qū)域Reg2，其中=Rk = Hopt · Vk,Rk是第二幅圖像拼接到第一幅圖像上后的第k個(gè)頂點(diǎn)的齊次坐標(biāo)，1 < k < 4，Vk是第 二幅圖像本身的第k個(gè)頂點(diǎn)的齊次坐標(biāo)，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (Wl,Fl,1)t, V4= (Wy 1，1)T，W[為第一幅圖以像素為單位的寬度，&為第一幅圖的以像素為單位的長度， Quad{. }表示由四點(diǎn)依次連接構(gòu)成的四邊形所包含的區(qū)域，Rk(3)是表示矢量Rk的第三個(gè)分 量；2)、根據(jù)1)方法，得到第一幅圖像所占的區(qū)域Regl，區(qū)域Reg2和區(qū)域Regl的交集就 是兩幅待拼接圖像的公共區(qū)域，并將第二幅圖像與公共區(qū)域不同的內(nèi)容拼接到第一幅圖像 上。
9.根據(jù)權(quán)利要求1所述的提高圖像拼接精度和穩(wěn)定性的方法，其特征是，第五步中所 述的無縫融合，包括以下步驟1)分別建立兩幅子圖的高斯金字塔把lfM作為高斯金字塔的第一層，高斯金字塔的第k層圖像I^ieg是 2 2 其中:w(m, n) = w(m) · w (η), w (0) = 3/8，w (士 1) = l/4，w (士2) = 1/16，1 彡 k 彡 N， N為高斯金字塔的層數(shù)，子圖ΙΓ^的高斯金字塔結(jié)構(gòu)ΙΓ^以同樣方式建立；2)分別建立兩幅子圖的拉普拉斯金字塔子圖IfM的拉普拉斯金字塔LPir^g構(gòu)造如下 ‘子圖Cieg的拉普拉斯金字塔結(jié)構(gòu)LPireg以同樣方式建立；3)建立融合系數(shù)的高斯金字塔首先建立一個(gè)與區(qū)域RPReg等大的系數(shù)圖像IQ，將圖像IQ接近第二幅圖像的那一 半圖像的灰度值設(shè)為1，而接近第二幅圖的一半設(shè)為0，并建立圖像IQ的高斯金字塔ICut, 此即為圖IfM的融合系數(shù)高斯金字塔，同時(shí)子圖Irieg的融合系數(shù)高斯金字塔為ICfflt = l"ICLk ；4)建立融合后圖像的拉普拉斯金字塔融合后圖像為Ikpk^其拉普拉斯金字塔LPIf^g構(gòu)造如下 5)重建融合后的圖像通過融合后圖像的拉普拉斯金字塔LPIfM重建融合后圖像的高斯金字塔IfM,如下 取高斯金字塔的第一層IrpM,即為子圖ifM和子圖融合后的圖像。
全文摘要
一種視頻圖像處理技術(shù)領(lǐng)域的提高圖像拼接精度和穩(wěn)定性的方法，包括以下步驟對(duì)待拼接圖像進(jìn)行SIFT特征點(diǎn)提取和匹配，得到初始匹配點(diǎn)對(duì)集；進(jìn)行剔除誤匹配處理，得到滿足同一單應(yīng)矩陣的一致最大內(nèi)點(diǎn)集；進(jìn)行歸一化直接線性變化處理，得到單應(yīng)矩陣的初始估計(jì)，并對(duì)單應(yīng)矩陣的初始估計(jì)進(jìn)行LM迭代優(yōu)化處理，得到單應(yīng)矩陣的最優(yōu)估計(jì)；進(jìn)行圖像的拼接，確定兩幅待拼接圖像的公共區(qū)域，并得到公共區(qū)域的最小外接矩形所含的兩幅圖像的子圖像；進(jìn)行無縫融合，將融合后的圖像貼到公共區(qū)域即可得到圖像拼接的最終結(jié)果。本發(fā)明能夠在初始匹配點(diǎn)對(duì)中存在大量誤匹配的情況下進(jìn)行圖像拼接，且拼接精度高，耗時(shí)短，穩(wěn)定性好。
文檔編號(hào)G06T5/50GK101882308SQ201010216340
公開日2010年11月10日 申請(qǐng)日期2010年7月2日 優(yōu)先權(quán)日2010年7月2日
發(fā)明者周軍, 姚達(dá), 安然 申請(qǐng)人:上海交通大學(xué)