本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于運動檢測的圖像配準(zhǔn)方法。

背景技術(shù)：

隨著圖像處理技術(shù)的發(fā)展，圖像配準(zhǔn)已經(jīng)被廣泛應(yīng)用于汽車電子、虛擬旅游、全景看房等眾多領(lǐng)域。圖像配準(zhǔn)可以將多張相鄰的圖像拼接為一幅圖像，增大單幅圖像的視野范圍，利于觀察。除此之外，將多攝像機全景拼接技術(shù)引入wmsn中，即可以在無云臺的條件下實現(xiàn)wmsn節(jié)點的全向視覺感知。同時，由于采用了多個攝像機同時采集節(jié)點周圍的視覺信息，因此可以完全避免為多節(jié)點的同步問題。

目前對圖像配準(zhǔn)的研究大部分是基于以下兩個條件：(1)相鄰圖像是在在同心的條件拍攝，即在拍攝照片的時候，盡量使相機的焦點聚集在一點，通過轉(zhuǎn)動攝像機，拍攝周圍的圖像；(2)拍攝的場景中不存在行人等運動物體，即要求待配準(zhǔn)圖像中的物體是靜止的?；谶@兩個條件，可以通過分析攝像機的成像模型以及圖像的分辨率，確定相鄰圖像的重疊區(qū)域并進行柱面投影，在此基礎(chǔ)上采用平移或單應(yīng)性變換的方式進行圖像配準(zhǔn)，可以獲得很好的配準(zhǔn)效果。當(dāng)配準(zhǔn)圖像中存在著近景、遠(yuǎn)景時，可以通過聚類等方式將特征點劃分為近景、遠(yuǎn)景兩個區(qū)域，求取各自的單應(yīng)性矩陣，采用距離加權(quán)的方式對圖像進行雙矩陣變換獲取圖像的配準(zhǔn)。

但是在現(xiàn)實生活中，大部分圖片很難滿足以上兩個條件，即相鄰的圖像不在同一個角度下拍攝，兩幅圖像存在著明顯的視差，并且拍攝的場景中有行人等運動物體。在這種情況下，由于視差、運動物體等因素的存在，現(xiàn)有的方法很難達(dá)到精確的配準(zhǔn)。apap或sphp盡管可以減小視差對配準(zhǔn)的影響，但是當(dāng)圖像中存在著運動物體時，這兩種方法對背景圖像的配準(zhǔn)效果可以，對運動物體會出現(xiàn)拼接錯位，嚴(yán)重的影響視覺效果。

綜上所述，當(dāng)待配準(zhǔn)圖像中存在較大視差且有運動物體時，當(dāng)前的配準(zhǔn)算法沒有考慮到運動物體對配準(zhǔn)的影響，導(dǎo)致在進行透視變換的時候視角改變，在配準(zhǔn)圖像的重疊區(qū)域會出現(xiàn)較為明顯的鬼影或拼縫，嚴(yán)重的影響配準(zhǔn)效果。

技術(shù)實現(xiàn)要素：

針對當(dāng)前算法對運動圖像配準(zhǔn)的不足，本發(fā)明提供了一種基于運動檢測的圖像配準(zhǔn)方法。

本發(fā)明采用全景攝像機組采集視頻，從視頻中讀取待配準(zhǔn)圖像，采用sphp對圖像進行配準(zhǔn)，形成第一幀配準(zhǔn)圖像，然后計算每一幅原始圖像中相互重疊區(qū)域，并采用幀差法檢測每一區(qū)域是否出現(xiàn)較大運動物體。對出現(xiàn)的運動物體進行標(biāo)記并分割出來，在進行配準(zhǔn)時該區(qū)域只取其中一幅圖像的信息，這樣就能夠消除sphp算法在較大視差情況下的配準(zhǔn)誤差，而已引入的sphp算法又保持了圖像間原有的和目標(biāo)場景間的透視投影關(guān)系。具體步驟如下：

步驟一：設(shè)定全景攝像機組的位置以及相對位置都不再發(fā)生變換，即每個相機的外參都不再發(fā)生改變，獲取待配準(zhǔn)圖像。

步驟二：通過sphp算法拼接產(chǎn)生第一幅全景圖像，并記錄全景圖像中每一像素點的原圖像所屬、原始圖像中的位置、特征點對的位置、拼縫位置等參數(shù)。

sphp算法需要進行坐標(biāo)系的變換處理，分為三個過程：坐標(biāo)系轉(zhuǎn)換、局部投影變換以及圖像配準(zhǔn)。

(1)坐標(biāo)系轉(zhuǎn)換

考慮到sphp的三種圖像變換需沿直線進行連續(xù)過渡，需要轉(zhuǎn)換圖像坐標(biāo)系。對圖像坐標(biāo)系旋轉(zhuǎn)一定角度，建立新的坐標(biāo)系，設(shè)為uov坐標(biāo)系。旋轉(zhuǎn)后的坐標(biāo)系uov下坐標(biāo)(u,v)和原圖像坐標(biāo)系xoy下坐標(biāo)(x,y)間的變換關(guān)系為：

采用透視變換公式，可以得到：

其中：

(2)局部投影變換

考慮到圖像變換的連續(xù)以及變換后圖像的形狀保持，將需要變換的圖像在uov坐標(biāo)系中分為三個部分：單應(yīng)性變換區(qū)域rh＝{(u,v)|u<u1}、過渡區(qū)域rt＝{(u,v)|u1<u<u2}以及相似變換區(qū)域rs＝{(u,v)|u>u2}。可以通過以下公式表示整個圖像的變換：

其中，t(u,v)是過渡函數(shù)，s(u,v)為相似函數(shù)：

(3)sphp配準(zhǔn)算法

在上文求解未知量與未知函數(shù)時，是在假定u1與u2已知的情況下進行的。因此需要對這兩個參數(shù)進行求解。考慮到為了保證圖像與場景間的投影關(guān)系，需要盡可能使圖像變換函數(shù)ω近似于相似變換。因此需要如下的能量函數(shù)：

式中，f代表弗洛貝尼斯范數(shù)；ω為目標(biāo)圖像內(nèi)一塊矩形區(qū)域；j(x,y；u1,u2)為函數(shù)ω在像素點(x,y)處的雅各比矩陣。由于能量函數(shù)e與變量u1，u2之間并不是線性關(guān)系，因此采用均勻采樣的方法對式(14)進行求解，將各個采樣值代入能量函數(shù)中，當(dāng)參考圖像的能量函數(shù)和目標(biāo)圖像的能量函數(shù)之和達(dá)到最小時u1,u2的值即為所求解的值。

步驟三：計算每一幅原始圖像中相互重疊區(qū)域，并采用幀差法檢測在重疊區(qū)域是否出現(xiàn)大于重疊區(qū)域面積20％的運動物體，如果沒有未發(fā)現(xiàn)大于重疊區(qū)域面積20％的運動物體，則對該區(qū)域進行查表、融合等處理，并生成重疊區(qū)域的全景圖像；如果在某一區(qū)域發(fā)現(xiàn)大于重疊區(qū)域面積20％的運動物體，則將運動物體輪廓范圍標(biāo)記出來，并將該區(qū)域?qū)?yīng)的全景圖像中的區(qū)域的1.2倍進行零值設(shè)定。

設(shè)兩幅待圖像的重疊區(qū)域面積為areao，采用上下幀做差在重疊區(qū)域檢測出來的運動物體為areami，其中i為運動物體的編號。當(dāng)滿足如下條件：

areami>0.2*areao(6)

則進行步驟四處理，否則將該運動物體的檢測圖像直接舍棄，因為較小的運動物體對拼接效果影響很小。

步驟四：重復(fù)步驟三，直至生成全景圖像。

全景圖像可能因重疊區(qū)域存在較大運動物體，而存在空洞。此時，將空洞區(qū)域的2.0倍范圍與運動目標(biāo)所在原圖像中的區(qū)域的2.0倍進行單應(yīng)性變換、實現(xiàn)圖像的拼接與疊加。最后，結(jié)合圖像融合方案，對該區(qū)域進行亮度、色彩調(diào)整，生成360度無縫全景圖像。

本發(fā)明的方法充分考慮了運動圖像對相鄰圖像配準(zhǔn)的影響，從系統(tǒng)的實時性出發(fā)，采用幀差法進行圖像中運動物體的檢測，并且采用sphp圖像配準(zhǔn)算法，保持了圖像本身和目標(biāo)場景間的透視投影關(guān)系，消除了較大視差情況下多幅圖像的配準(zhǔn)誤差，有效地改善了圖像拼接效果。

附圖說明

圖1是本發(fā)明的流程圖。

圖2是本發(fā)明的待配準(zhǔn)圖。

圖3是本發(fā)明的sphp配準(zhǔn)效果圖(未加運動檢測)。

圖4是本發(fā)明的待配準(zhǔn)圖像運動檢測效果圖。

圖5是本發(fā)明的待配準(zhǔn)圖像零值設(shè)定效果圖。

圖6是本發(fā)明的基于運動檢測的配準(zhǔn)效果圖。

具體實施方式

本實施方式的軟件環(huán)境為windows7系統(tǒng)，仿真環(huán)境為matlab2008a，如圖1所示。

步驟一：假定全景攝像機組一旦投入使用后，其位置以及相對位置都不再發(fā)生變換，即每個相機的外參都不再發(fā)生改變，獲取待配準(zhǔn)圖像，如圖2所示。

步驟2：通過sphp算法，拼接產(chǎn)生第一幅全景圖像，并記錄全景圖像中每一像素點的原圖像所屬、在原始圖像中的位置、特征點對的位置、拼縫的位置等參數(shù)。

通過ransac計算圖2圖像的透視矩陣，可得

通過公式14優(yōu)化可得u1＝-368.515539，u2＝0.000000。

通過sphp獲得的配準(zhǔn)圖像如圖3所示。

步驟三：計算每一幅原始圖像中相互重疊區(qū)域，并采用幀差法檢測每一區(qū)域是否出現(xiàn)較大運動物體，如果沒有未發(fā)現(xiàn)較大運動物體，則對該區(qū)域進行查表、融合等處理，并生成全景圖像；如果在某一區(qū)域發(fā)現(xiàn)較大運動物體，則將運動物體的范圍標(biāo)記出來，并將該區(qū)域?qū)?yīng)的全景圖像中的區(qū)域的1.2倍進行零值設(shè)定。

待配準(zhǔn)圖像運動檢測效果如圖4所示。

待配準(zhǔn)圖像零值設(shè)定效果如圖5所示。

步驟四：重復(fù)步驟三，直至生成全景圖像，這里全景圖像可能因重疊區(qū)域存在較大運動物體，而存在空洞。此時，將空洞區(qū)域的2.0倍范圍與運動目標(biāo)所在原圖像中的區(qū)域的2.0倍進行單應(yīng)性變換、實現(xiàn)圖像的拼接與疊加。最后，結(jié)合圖像融合方案，對該區(qū)域進行亮度、色彩調(diào)整，生成360度無縫全景圖像。

最終的拼接效果圖如圖6所示

從拼接效果圖中，可以看出，雖然圖像中依然存在著明顯的前景與背景區(qū)域，但是圖像的拼接效果并沒有受到影響，消除了圖像中行人周圍區(qū)域的重影，得到了更好的拼接效果。