基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法
【專利摘要】本發(fā)明涉及一種基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法。針對拼接結(jié)果與視頻流要求同步一致的情況，本發(fā)明使用了共享內(nèi)存技術(shù)，保證待拼接幀為當(dāng)前最新幀，從而實(shí)現(xiàn)同步性；為了保證拼接結(jié)果的準(zhǔn)確性，使用了參考幀變換技術(shù)，減少了累積誤差，增加了視頻流的可拼接時長；針對給拼接結(jié)果分配固定尺寸，造成的內(nèi)存資源浪費(fèi)和拼接性能下降的問題，本發(fā)明使用了拼接尺寸自適應(yīng)技術(shù)，動態(tài)計算應(yīng)該分配的尺寸大小，減少不必要的內(nèi)存開銷，提高拼接性能。
【專利說明】基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種同步在線圖像拼接技術(shù)，具體為基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接技術(shù)。

【背景技術(shù)】
[0002]圖像拼接技術(shù)不僅是計算機(jī)視覺領(lǐng)域研究的熱點(diǎn)問題，在實(shí)際的生活中也有廣泛的應(yīng)用，小到手機(jī)中的全景拼接，大到衛(wèi)星所攝星系圖像的拼接。圖像拼接技術(shù)最核心的目的就是提供更全、更準(zhǔn)確的全局信息，向觀測者反映一片區(qū)域、一個場景的完整信息。其中，實(shí)時視頻流的同步在線拼接又是未來拼接技術(shù)的發(fā)展趨勢。試想一下，無人機(jī)對一片未知的區(qū)域進(jìn)行拍攝，在拍攝過程中，能同步地對回傳圖像結(jié)果進(jìn)行拼接和顯示，這種拼接技術(shù)能夠?yàn)檐娛聜刹椤⒌匦慰睖y、災(zāi)后救援等需求提供所攝區(qū)域的同步全景信息，從而減少應(yīng)用者做出決策的時間。
[0003]文獻(xiàn)“何貝，王貴錦，沈永玲，等.結(jié)合地理參數(shù)的航拍視頻實(shí)時拼接算法[J].應(yīng)用科學(xué)學(xué)報，2012，30 (2): 151-157.”提出了一種結(jié)合地理參數(shù)的航拍視頻實(shí)時拼接算法。此方法根據(jù)地理參數(shù)對相機(jī)運(yùn)動模型進(jìn)行分解，完成視頻幀間的實(shí)時配準(zhǔn)，估計視頻每幀的主運(yùn)動方向，將現(xiàn)有的單一主方向的流形拼接算法拓展到任意方向，最后根據(jù)地理坐標(biāo)局部修正拼接條帶。這種方法對于有地理坐標(biāo)區(qū)域和所攝視頻中未出現(xiàn)拍攝傾角變化的情況，能夠產(chǎn)生比較好的結(jié)果。實(shí)際的需求往往是需要對一塊未知區(qū)域進(jìn)行地圖繪制，這時該方法會失效，并且無人機(jī)在航拍的時候，會受到氣流、雨水等自然條件的影響，不可能長時間保持一種拍攝角度，拍攝傾角必定會發(fā)生變化，這也會影響拼接的整體質(zhì)量。而且，根據(jù)文章中的實(shí)驗(yàn)結(jié)果可知，其拼接結(jié)果的尺寸為固定大小，并沒有用到拼接尺寸自適應(yīng)技術(shù)，生成圖中有效結(jié)果部分占整個生成圖的比例很小，這會造成內(nèi)存的極大浪費(fèi)和拼接性能的降低。除此之外，該方法并不能同步在線進(jìn)行拼接，即無法同步顯示當(dāng)前拼接的結(jié)果。


【發(fā)明內(nèi)容】

[0004]要解決的技術(shù)問題
[0005]為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法。
[0006]技術(shù)方案
[0007]—種基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法，其特征在于步驟如下:
[0008]步驟1:將第一幀圖像作為參考幀，下一幀作為拼接幀，提取當(dāng)前參考幀與最新拼接幀的SIFT特征點(diǎn)并進(jìn)行匹配，將參考幀和拼接幀的能夠匹配的特征點(diǎn)數(shù)量與設(shè)定的閾值進(jìn)行比較:
[0009]如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2 ;如果特征點(diǎn)數(shù)量小于設(shè)定的閾值，再重新取下一幀作為拼接幀進(jìn)行比較:如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2 ;否則認(rèn)為這兩次匹配無效，重新選擇參考幀，新的參考幀為與舊參考幀能夠有效匹配的最新拼接幀；
[0010]步驟2:根據(jù)兩幀圖像之間的特征點(diǎn)對應(yīng)關(guān)系，計算透視變換模型:
hx h2 h3
[0011]H= h4 h5 h6(I)
Jh h hg 一
[0012]其中，用于表示拼接幀圖像在給定世界坐標(biāo)系X軸方向上的平移和旋轉(zhuǎn)，h4，h5，h6用于表示拼接幀圖像在給定世界坐標(biāo)系y軸方向上的平移和旋轉(zhuǎn)，h7，h8，h9用于表示拼接幀圖像的尺度變換；
[0013]步驟3:計算透視變化模型的重投影誤差，判斷透視變化模型參數(shù)是否無效:
[0014]a、假設(shè)待拼接圖像中任意像素P = (X，y, 1)τ,由下式計算此像素在參考幀圖像中對應(yīng)的像素P’ = (X’，y’，1)τ:

(".、■.= (/?,X + Iu V + h,)/(lu.x + hx V + /?,,)
[0015]I, , "(2)
I>'' = (Kx+}hy+K)丨(^+Ky+K)
[0016]寫成矩陣的形式為:

pi hi
[0017](x\v\lf =----— Zj4 h5 h6 (χ,.ν，1)Γ(3)

(h7x + h,y + h9)


J1I "8 n9 _
[0018]b、計算p’ = (x’，y’，1)T重新投影到此拼接幀圖像的對應(yīng)像素P "=(X"，y" ,l)T:
[0019]W，i)r =77~I~(4)

(/?7x +/?、V +/?())
[0020]其中上^上^上^是滬第三行的元素；
[0021]C、重投影誤差由下式計算:
I N 1-;-7
[0022]error = —■ ^ J.v,"-七|' + |.v,_ "-V,-1_

N /=i
[0023]如果誤差大于5個像素，則認(rèn)為此透視變化模型參數(shù)無效；
[0024]步驟4:自適應(yīng)調(diào)整拼接圖像尺寸:
[0025]根據(jù)透視變換模型和公式3，計算拼接幀四個頂點(diǎn)的圖像坐標(biāo)經(jīng)過透視變換后在參考幀圖像坐標(biāo)系下的坐標(biāo):
[0026]所述的拼接巾貞四個頂點(diǎn)的圖像坐標(biāo):左上角LeftJJp = (0,0),右上角Right_Up = (width, O)，左下角 Left_Bottom = (O, height)，右下角 Right_Bottom =(width, height)；
[0027]所述的經(jīng)過透視變換后的在參考幀圖像坐標(biāo)系下的坐標(biāo):左上角Left_Up =(xiu, Yiu)，右上角 RightJJp = (xru, yru),左下角 Left_Bottom = (xlb, ylb)，右下角 Right_Bottom = (xrb, yrb)；
[0028]確定width, xlu, xru, xlb, xrb 和 height, ylu, yru, ylb, yrb 中的最大值和最小值:
max = max (width, xiu, x,, x!h, xrh)
[0029]mii!^ -1nin(C)1A-,,,X,,,,.ν/Λ,.vw,)⑶
max Y = max (height, , yni, y,h.yrh) 、,

min Y = min(0, yhl, yru, ylb, yrb)
[0030]計算需要生成的拼接結(jié)果的尺寸，其中ew、eh是尺寸補(bǔ)償:
f new widih = max X - min X+ ^11
[0031]I —(6)
[new_heighl = max Y - minY+sh
[0032]按照此尺寸動態(tài)地分配內(nèi)存空間給拼接幀圖像，再利用逐像素復(fù)制，完成圖像拼接。
[0033]所述的閾值的取值范圍為大于10且小于輸入圖像的分辨率大小。
[0034]所述的ew、ε !^根據(jù)輸入圖像的分辨率確定，ew為圖像寬的20%，圖像高的 20%。
[0035]有益效果
[0036]本發(fā)明提出的一種基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法，產(chǎn)生的有益效果:使用共享內(nèi)存技術(shù)，保證拼接的每一幀都是當(dāng)前視頻流的最新一幀，從而保證同步性；利用變換參考幀方法，減少累積誤差，增加視頻流的可拼接時長；利用拼接尺寸自適應(yīng)技術(shù)，動態(tài)地分配內(nèi)存空間，以減少拼接結(jié)果的內(nèi)存消耗，提高拼接性能。

【具體實(shí)施方式】
[0037]現(xiàn)結(jié)合實(shí)施例對本發(fā)明作進(jìn)一步描述:
[0038]本方法首先在計算機(jī)中開辟一段地址固定的內(nèi)存區(qū)，無人機(jī)每拍攝一張圖像都將其復(fù)制到這塊內(nèi)存中，后端處理程序一直檢測這塊內(nèi)存區(qū)是否有數(shù)據(jù)進(jìn)入，如果有數(shù)據(jù)，立即將數(shù)據(jù)取走，否則繼續(xù)檢測。這樣既能保證視頻采集模塊和拼接模塊具有一定的獨(dú)立性，又能保證數(shù)據(jù)的同步性。累積誤差是圖像拼接中最常見的問題，只拼接幾十張圖像可能累積誤差的問題并不會暴露，但是如果拼接幾千，幾萬張，累計誤差問題就會嚴(yán)重影響拼接質(zhì)量，甚至導(dǎo)致拼接失敗。基于此分析，本發(fā)明提出參考幀變換方法，找到不同圖像幀與參考幀之間的特征點(diǎn)匹配關(guān)系，估計透視變換模型參數(shù)。使用變換參考幀的方法減少累計誤差。對拼接模塊從內(nèi)存中取出的每一幀圖像提取特征點(diǎn)，匹配當(dāng)前參考幀與最新拼接幀的特征點(diǎn)，得到這兩幀的匹配關(guān)系。由于無人機(jī)在進(jìn)行航拍時，會受到風(fēng)力、氣流等自然因素的影響，不可能長時間保持一個拍攝角度，所以不能使用仿射變換模型進(jìn)行估計，為了減少這些不可控因素對拼接結(jié)果的影響，本發(fā)明使用自由度更高的透視變換模型描述兩幀之間的聯(lián)系。根據(jù)之前得到的透視變換模型，計算重投影誤差，只有當(dāng)此誤差在5個像素以內(nèi)時，才認(rèn)為估計的參數(shù)有效。采用拼接尺寸自適應(yīng)技術(shù)，給拼接結(jié)果分配合理的尺寸，不僅能避免內(nèi)存空間的浪費(fèi)，也能夠提高拼接整體性能。具體步驟如下:
[0039]步驟1:將第一幀圖像作為參考幀，下一幀作為拼接幀，提取當(dāng)前參考幀與最新拼接幀的SIFT特征點(diǎn)并進(jìn)行匹配，將參考幀和拼接幀的能夠匹配的特征點(diǎn)數(shù)量與設(shè)定的閾值進(jìn)行比較，閾值的取值范圍為大于10且小于輸入圖像的分辨率大小:
[0040]如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2 ;如果特征點(diǎn)數(shù)量小于設(shè)定的閾值，再重新取下一幀作為拼接幀進(jìn)行比較:如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2 ;否則認(rèn)為這兩次匹配無效，重新選擇參考幀，新的參考幀為與舊參考幀能夠有效匹配的最新拼接幀；
[0041]步驟2:根據(jù)兩幀圖像之間的特征點(diǎn)對應(yīng)關(guān)系，計算透視變換模型:
K lh h3
[0042]H= h4 h5 h6(I)
_h7 hs h9_
[0043]其中，用于表示拼接幀圖像在給定世界坐標(biāo)系X軸方向上的平移和旋轉(zhuǎn)，h4，h5，h6用于表示拼接幀圖像在給定世界坐標(biāo)系y軸方向上的平移和旋轉(zhuǎn)，h7，h8，h9用于表示拼接幀圖像的尺度變換；
[0044]步驟3:計算透視變化模型的重投影誤差，判斷透視變化模型參數(shù)是否無效:
[0045]a、假設(shè)待拼接圖像中任意像素P = (x, y, 1)τ，由下式計算此像素在參考幀圖像中對應(yīng)的像素P’ = (X’，y’，1)τ:
(.V’ = (IiiX + h2y + Ih )/(Ii1X + h,y + K)
[0046]<、 ，、(2)
1.V' = (h4x + H5V + h(') / (H1X + h,y + Ki)
[0047]寫成矩陣的形式為:

A1 h2 h 3
[0048](.τ',.ν,,?)Γ =--1———K h5 h6 (x, ν,?)Γ(3)

(h.x + h.y + h,)

Ih7 h9_
[0049]b、計算p’ = (x’，y’，1)T重新投影到此拼接幀圖像的對應(yīng)像素P "=Ge"，y" ,l)T:
_] (4)
[0051]其中上^上^上^是滬第三行的元素；
[0052]C、重投影誤差由下式計算:
[0053]en O,=去f + 丨乃 ” Γ(5)
[0054]如果誤差大于5個像素，則認(rèn)為此透視變化模型參數(shù)無效；
[0055]步驟4:自適應(yīng)調(diào)整拼接圖像尺寸:
[0056]根據(jù)透視變換模型和公式3，計算拼接幀四個頂點(diǎn)的圖像坐標(biāo)經(jīng)過透視變換后在參考幀圖像坐標(biāo)系下的坐標(biāo):
[0057]所述的拼接巾貞四個頂點(diǎn)的圖像坐標(biāo):左上角LeftJJp = (0,0),右上角Right_Up = (width, O)，左下角 Left_Bottom = (O, height)，右下角 Right_Bottom =(width, height)；
[0058]所述的經(jīng)過透視變換后的在參考幀圖像坐標(biāo)系下的坐標(biāo):左上角Left_Up =(xiu, Ylu)，右上角 RightJJp = (xru, yru),左下角 Left_Bottom = (xlb, ylb)，右下角 Right_Bottom = (xrb, yrb)；
[0059]確定width, xlu, xru, xlb, xrb 和 height, ylu, yru, ylb, yrb 中的最大值和最小值:
max = max ( width, xhi, Xru, x,h, xrh)

ιτι?η^-ηι?ι^Ο,.ν,,,Λ,,,,.ν^,.ν,,,)
[0060]\ ■ j, \ (5)
max Y = max (height, Vlii, , ylh,.y,h)

min Y = min(0,yln, yni, ylh,yrh)
[0061]計算需要生成的拼接結(jié)果的尺寸，其中ew、eh是尺寸補(bǔ)償，％、eh根據(jù)輸入圖像的分辨率確定，ew為圖像寬的20%，eh為圖像高的20%:1 new width = max X - min X -\-ε
[0062].— (()
[new_heighi = max Y - min Yε(}
[0063]按照此尺寸動態(tài)地分配內(nèi)存空間給拼接幀圖像，再利用逐像素復(fù)制，完成圖像拼接。
【權(quán)利要求】
1.一種基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法，其特征在于步驟如下: 步驟1:將第一幀圖像作為參考幀，下一幀作為拼接幀，提取當(dāng)前參考幀與最新拼接幀的SIFT特征點(diǎn)并進(jìn)行匹配，將參考幀和拼接幀的能夠匹配的特征點(diǎn)數(shù)量與設(shè)定的閾值進(jìn)行比較: 如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2;如果特征點(diǎn)數(shù)量小于設(shè)定的閾值，再重新取下一幀作為拼接幀進(jìn)行比較:如果特征點(diǎn)數(shù)量高于設(shè)定的閾值，進(jìn)入步驟2;否則認(rèn)為這兩次匹配無效，重新選擇參考幀，新的參考幀為與舊參考幀能夠有效匹配的最新拼接幀； 步驟2:根據(jù)兩幀圖像之間的特征點(diǎn)對應(yīng)關(guān)系，計算透視變換模型:
K h2 h3 H= K h5 he(I)
h-j h g Hg 其中，h1； h2，h3用于表示拼接幀圖像在給定世界坐標(biāo)系X軸方向上的平移和旋轉(zhuǎn)，h4，h5，h6用于表示拼接幀圖像在給定世界坐標(biāo)系y軸方向上的平移和旋轉(zhuǎn)，h7，h8，h9用于表示拼接幀圖像的尺度變換； 步驟3:計算透視變化模型的重投影誤差，判斷透視變化模型參數(shù)是否無效: a、假設(shè)待拼接圖像中任意像素P= (x, y, 1)τ,由下式計算此像素在參考幀圖像中對應(yīng)的像素 P’ = (X’，y’，1)τ:
|.v'-(/?l.v + Iu_y + /?,)/(Ii1X + i\y + K)< (2) 1>.' = (b+Ky+K) i (Ju+Ky+K) 寫成矩陣的形式為: \ h2 h ^ (.γ,'-νΜ)Γ =77-——T K K h6 (χ,ν,1)Γ(3) K d b、計算P’= “’^’，丨”重新投影到此拼接幀圖像的對應(yīng)像素？" = (X"，y" , 1)τ: (?O' =777'Τ\Η~' (?’’1)7(4)

(η?χ + HtiV +1% j 其中，h，7、h，8、h，9是H-1第三行的元素； C、重投影誤差由下式計算: error"-Xi f +1 v;."-v;.f(5)
N f=i 如果誤差大于5個像素，則認(rèn)為此透視變化模型參數(shù)無效； 步驟4:自適應(yīng)調(diào)整拼接圖像尺寸: 根據(jù)透視變換模型和公式3，計算拼接幀四個頂點(diǎn)的圖像坐標(biāo)經(jīng)過透視變換后在參考幀圖像坐標(biāo)系下的坐標(biāo): 所述的拼接巾貞四個頂點(diǎn)的圖像坐標(biāo):左上角LeftJJp = (O, O),右上角RightJJp =(width, O)，左下角 Left_Bottom = (0，height)，右下角 Right_Bottom = (width, height)；所述的經(jīng)過透視變換后的在參考幀圖像坐標(biāo)系下的坐標(biāo):左上角Left_Up = (xlu, ylu)，右上角 RightJJp = (xru, yru),左下角 Left_Bottom = (xlb, ylb)，右下角 Right_Bottom =(Xrb，^rb^ ;
確定 width, xlu, xru, xlb, xrb 和 height, ylu, yru, ylb, yrb 中的最大值和最小值:
計算需要生成的拼接結(jié)果的尺寸，其中％、eh是尺寸補(bǔ)償:
按照此尺寸動態(tài)地分配內(nèi)存空間給拼接幀圖像，再利用逐像素復(fù)制，完成圖像拼接。
2.根據(jù)權(quán)利要求1所述的基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法，其特征在于所述的閾值的取值范圍為大于10且小于輸入圖像的分辨率大小。
3.根據(jù)權(quán)利要求1所述的基于參考幀變換及拼接尺寸自適應(yīng)的同步在線拼接方法，其特征在于所述的％、％根據(jù)輸入圖像的分辨率確定，ew為圖像寬的20%，％為圖像高的 20%。
【文檔編號】G06F9/45GK104166580SQ201410406496
【公開日】2014年11月26日 申請日期:2014年8月18日 優(yōu)先權(quán)日:2014年8月18日
【發(fā)明者】楊濤, 張艷寧, 王斯丙, 馬文廣, 姚博偉 申請人:西北工業(yè)大學(xué)