專利名稱：基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法
基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法技術(shù)領域
本發(fā)明屬于計算機視覺領域，具體涉及兩幅或多幅圖像之間的對應點匹配方法。
技術(shù)背景
對應點匹配是計算機視覺及其相關領域中的一個基本問題。以前的相關研究大多 集中于普通透視圖像，然而由于魚眼圖像具有較大的視場范圍，在現(xiàn)實中具有重要的應用 價值，因此研究魚眼圖像對應點匹配問題具有重要的意義。
準稠密匹配是介于稀疏匹配和稠密匹配之間的一類對應點匹配方法，為了滿足三 維建模和基于圖像的渲染等應用中所需大量對應點的需要，同時盡可能提高對應點匹配的 可靠性，這類方法的對應點匹配只在紋理豐富的區(qū)域進行，而對均質(zhì)區(qū)域不進行對應點匹 配。這類方法的基本思想可概括為首先檢測和匹配圖像中的稀疏特征點，然后從這些稀疏 特征點開始，逐步向其鄰域進行匹配擴散。
在這類方法中，不同方法之間最主要的區(qū)別是匹配擴散過程中對應點視差限制 模型的選擇問題。Lhuillier 等人[l]Lhuillier M and Quan L. Matchpropagation for image-based modeling and rendering. IEEE Transactions onPattern Analysis and Machine Intelligence, 2002, 24 (8) :1140_1146，所采用的視差模型是二維視差梯度約 束，該模型假設圖像的局部變形近似為二維平移變換，這種假設只適用于短基線平行配置 的立體透視圖像對；為了將這類方法拓展到寬基線透視圖像，Karmala等人[2]Karmala J and Brandt S S.Quasi-dense wide baseline matching using match propagation. In Proceedingof Computer Vision and Pattern Recognition，2007，1-8，米用仿身寸模型來近 似局部視差；類似地，許等人[3]許振輝，張峰，孫鳳梅，胡占義.基于鄰域傳遞的魚眼圖像 的準稠密匹配.自動化學報，200935 (9) :1159-1167，也采用仿射模型來近似魚眼圖像對應 點的局部視差。但是，文獻[1]采用的模型不適合魚眼圖像的局部變形，而仿射模型由于 自由度較多，在計算和更新仿射模型參數(shù)時，由于有效數(shù)據(jù)樣本點較少，搜索空間較大等原 因，使得計算得到的模型很不穩(wěn)定，導致最終的擴散結(jié)果不可靠。另外，文獻[3]中的方法 只適用于攝像機已經(jīng)標定的情況(即攝像機內(nèi)外參數(shù)都已知)，這在某些應用中也是很不 方便的。發(fā)明內(nèi)容
本發(fā)明的目的是解決仿射模型不穩(wěn)定而導致最終的擴散結(jié)果不可靠的問題，為 此，本發(fā)明提供一種基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法。
本發(fā)明所述的一種基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法，步驟如 下
Si:從不同位置拍攝兩幅待匹配場景的魚眼圖像I，I'，并提取和匹配兩幅圖像 的特征點；
S2 對匹配的特征點進行精確定位，并計算這些特征點的相似性大小和旋轉(zhuǎn)變換3模型，然后將相似性大于某一閾值Ct的特征點作為后續(xù)準稠密對應點擴散的初始種子點， 并把這些種子點存入集合S ；
S3 根據(jù)相似性大小從種子點集合S中選出相似性最大的種子點作為最優(yōu)種子 點，同時從種子點集合中去除該種子點；然后從當前最優(yōu)種子點開始，在其鄰域?qū)崿F(xiàn)無極幾 何約束的準稠密對應點擴散；
S4 將擴散的對應點作為新的種子點，保存到種子點集合S，并且計算這些新種子 點的旋轉(zhuǎn)變換模型和相似性大小。
S5 如果當前種子點集合S不為空，那么轉(zhuǎn)步驟Sl ；
S6:利用已得到的準稠密對應點估計極幾何約束，然后利用此約束重新進行帶極 幾何約束的準稠密對應點擴散。
在S3和S6的準稠密對應點擴散過程中，局部視差約束采用旋轉(zhuǎn)變換模型，具體 講，已知圖像Ι，Γ中的一對種子點為χ，χ'，X和X'鄰域象素點分別為N(X)和Ν(χ')， 假設將種子點設為對應鄰域的局部坐標系原點，且種子點鄰域?qū)男D(zhuǎn)矩陣為R，那么在 當前種子點鄰域進行對應點擴散過程中，對任意一點P1 e N(X)，其在I'中可能的匹配點 視差限制條件為Ip2 =P2 e N(x')且I Ip2-Rp11 I彡ε }。
本發(fā)明中，對應點的視差約束采用旋轉(zhuǎn)變換模型，相比已有的仿射變換模型而言， 該模型計算簡單，模型自由參數(shù)只有一個，因此整個擴散過程穩(wěn)定可靠，并且可滿足大多數(shù) 的應用需求。
所述的的步驟S2中的精確定位的方法是
S21 將I1, I2中以對應特征點為中心，鄰域半徑為r的子圖像分別轉(zhuǎn)換到極坐標 系，得到兩個子圖像Γ 1； I' 2；
S22:對子圖像Γ 1； I' 2，采用相位相關法，求得兩子圖像的相對旋轉(zhuǎn)角度θ Q;
S23 以對應特征點的初始對應坐標和S22計算得到的相對旋轉(zhuǎn)角度θ ^為初值， 灰度相關性為代價函數(shù)，采用Levenberg-Marquat算法在原圖像I1, I2中通過迭代優(yōu)化，得 到對應特征點的精確對應位置和相對旋轉(zhuǎn)角度的精確值θ，同時也可得到對應特征的相對 旋轉(zhuǎn)變換矩陣R rcos0 -sin 沒、 IvSin^ cos 沒 j
精確定位保證初始種子點盡可能定位精確，并且可以求得更準確的初始旋轉(zhuǎn)模 型，使得后續(xù)擴散更準確，因為點的擴散是以種子點為基礎的。
稠密對應點擴散是在歸一化的圖像中進行的。歸一化后可以直接用文獻[1]中的 經(jīng)典方法進行擴散，即采用基于二維視差梯度約束的方法進行擴散，使得擴散過程簡單化。
本發(fā)明的有益效果本發(fā)明提出的方法較好地解決了現(xiàn)有準稠密匹配方法中存在 的不足。由于二維旋轉(zhuǎn)變換模型僅有一個自由度，即相對旋轉(zhuǎn)角度，因此模型簡單，計算結(jié) 果可靠，魯棒性強；其次，對絕大多數(shù)應用來講，局部變形采用旋轉(zhuǎn)變換模型可以得到所要 求的精度；第三，本發(fā)明無需事先標定攝像機的外參數(shù)，因此，使用靈活。通過和已有的其他 方法相比，該發(fā)明是一種切實可行的準稠密匹配方法。


圖1是本發(fā)明基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法的流程圖2是本發(fā)明種子點鄰域采用旋轉(zhuǎn)變換模型的歸一化示意圖，圖中W = 2，N = 1， X，X'為當前種子點圖3是本發(fā)明實例中用到的兩幅魚眼圖像；
圖4是本發(fā)明實例中的對應的初始種子點；
圖5是本發(fā)明準稠密對應點擴散結(jié)果的局部結(jié)果圖6是現(xiàn)有技術(shù)基于仿射模型的對應點擴散局部結(jié)果圖。
具體實施方式
下面將結(jié)合附圖對本發(fā)明加以詳細說明，應指出的是，所描述的實施例僅旨在便 于對本發(fā)明的理解，而對其不起任何限定作用。
本發(fā)明假設攝像機首先從不同位置拍攝兩幅魚眼圖像，然后通過以下步驟實現(xiàn)準 稠密對應點的匹配擴散，整個流程可參看圖1。
1、提取和匹配兩幅圖像的特征點
在這一步，可采用文獻中很多經(jīng)典的方法來自動實現(xiàn)特征提取和匹配，如基于仿 射不變量的特征提取方法[4]Mikolajczyk K, Tuytelaars Τ, Schmid C, Zisserman A, Matas J, Schaffalitzky F, Kadir T and Van Gool L. A comparisonof affine region detectors. International Journal of Computer Vision, 2005,65 (1-2) :43-72,基于仿身寸 不變描述子的匹配方法[5]Mikolajczyk K andSchmid C. A performance evaluation of local descriptors. IEEE Trans. Pattern Analysis and Machine Intelligence,2005, 27(10) :1615-1630,也可采用基于魯棒策略的匹配方法[6]Fischler M A and Bolles R C. Randomsample consensus :A paradigm for model fitting with applications to imageautomated cartography. Communication of the ACM, 1981, 24 (6) :381-395,還可以 采用人工選取特征點的方法來實現(xiàn)初始特征提取和匹配。
2、特征點的精確定位及初始種子點的確定
設原始圖像I，I'中的一對特征點為x，x'，這一步的目的是在圖像Γ中χ'的 鄰域搜索X的精確對應點，或者在圖像I中X的鄰域搜索X'的精確對應點。以第一種情況 為例，特征點的精確定位步驟可描述為
分別將圖像I和Γ中以χ和χ'為中心，半徑為r的圖像面片轉(zhuǎn)換到極坐標系， 得到子圖像I':和1' 2，然后采用相位相關法[7]Kuglin C D and Hines D C. =Thephase correlation image alignment method. In Proceedings of the IEEE 1975International Conference on Cybernetics and Society，163-165 (1975)，求得 Γ 丄和工‘2 的相對旋轉(zhuǎn) 角度θ。，通過校正兩個子圖像的相對旋轉(zhuǎn)，可計算得到這兩個子圖像的相關系數(shù)。
以χ2，θ ^為初始值，相關系數(shù)c為目標函數(shù)，采用Levenberg-Marquat算法迭代調(diào) 整&的位置和相對旋轉(zhuǎn)角度，最終收斂到最大相關值Cmax對應的位置χ' 2即為Xl的精確 對應點，同時可得到最大相關值Cmax對應的旋轉(zhuǎn)角度θ，相應地也可計算出這對特征點的 相對旋轉(zhuǎn)矩陣R，即R rcos0 -sin 沒、 IvSin^ cos 沒 j5
對所有特征點都重復以上過程，然后將相關值大于某一閾值Ct的特征點作為初始 種子點，并將這些種子點存入一個集合S。
3、從最優(yōu)種子點開始，實現(xiàn)無極幾何約束的準稠密對應點擴散
從當前種子點集合S中選出相關值最大的種子點作為當前最優(yōu)種子點，并且把該 種子點從集合S中剔除，然后在種子點鄰域開始對應點擴散過程。這一過程可進一步分為 兩部分第一部分是種子點鄰域的幾何歸一化，第二部分是種子點鄰域的準稠密對應點擴散。
3. 1種子點鄰域的幾何歸一化
在擴散之前，每對最優(yōu)種子點不僅包括對應點的坐標信息，還包括對應點的局部 旋轉(zhuǎn)變換矩陣R。假設當前最優(yōu)種子點為χ和χ'，對應的旋轉(zhuǎn)矩陣為R，根據(jù)這個變換矩 陣，可以在歸一化的圖像中進行對應點擴散。其歸一化過程為(1)在圖像I中以當前種子 點χ為中心提取一個方形圖像面片s，其大小為0(W+N)+1)X Q(W+N)+1)，其中，W是計算相 關性分數(shù)所要用到的窗口半徑大小，N是后續(xù)搜索對應點的鄰域半徑大??；(2)圖像I'中 與之對應的區(qū)域可以通過當前種子點的旋轉(zhuǎn)矩陣R將圖像I中方形窗口映射過去來獲得， 然后將該區(qū)域通過插值的方法變換為0(W+N)+1)XQ(W+N)+1)的方形圖像s'，具體過程 可參考圖2。
3. 2種子點鄰域的準稠密對應點擴散
種子點鄰域的準稠密對應點擴散是在歸一化的圖像s和S'中進行的。其擴散過 程和文獻[1]類似，其最終擴散的對應點同時保存在種子點集合S和最終的對應點集合M 中。
與文獻[1]不同的是，由于擴散點在歸一化的圖像S'中位于整數(shù)象素坐標，這些 坐標通常對應于原始圖像Γ中的子象素坐標。因此，擴散過程中新產(chǎn)生的種子點對應于子 象素級精度。另外，為了便于擴散過程中的唯一性約束檢驗，對應點集合M保存取整后的坐 標。
在準稠密對應點擴散過程中，局部視差約束采用旋轉(zhuǎn)變換模型，具體講，已知圖像 1,1'中的一對種子點為χ，χ'，X和X'鄰域象素點分別為N(X)和Ν(χ')，假設將種子點 設為對應鄰域的局部坐標系原點，且種子點鄰域?qū)男D(zhuǎn)矩陣為R，那么在當前種子點鄰 域進行對應點擴散過程中，對任意一點P1 e N(x)，其在I'中可能的匹配點視差限制條件 為{p2 :p2 e N(x')且 I Ip2-Rp1I I 彡 ε }。
4、計算新產(chǎn)生種子點的局部變換模型
除了最初的種子點外，在對應點擴散過程中會產(chǎn)生新的對應點，這些對應點作為 新產(chǎn)生的種子點用于后續(xù)的繼續(xù)擴散。這一步的目的是確定這些新產(chǎn)生種子點的局部旋轉(zhuǎn) 變換矩陣。
新產(chǎn)生的種子點是在當前種子點鄰域擴散得到的，假設當前種子點的旋轉(zhuǎn)角度為 θ，那么這些新產(chǎn)生的種子點的旋轉(zhuǎn)角度和當前種子點的旋轉(zhuǎn)角度應該非常接近，據(jù)此，我 們可通過如下方式確定新產(chǎn)生種子點的旋轉(zhuǎn)矩陣。
假設當前種子點的旋轉(zhuǎn)角度為θ，該種子點鄰域新產(chǎn)生的種子點的旋轉(zhuǎn)角度為 θ 士 Δ θ，那么可以在[-Δ θ，+Δ Θ]范圍內(nèi)以一定的步長搜索，其最大相關性對應的旋 轉(zhuǎn)角度作為新產(chǎn)生種子點的旋轉(zhuǎn)角度，同時也可求出該種子點相應的旋轉(zhuǎn)矩陣。
重復執(zhí)行步驟3和4，直到種子點集合為空，那么無約束準稠密對應點擴散過程結(jié)束ο
5、極幾何約束下的準稠密對應點擴散
根據(jù)前面步驟得到的準稠密對應點不可避免地存在一些錯誤擴散點，尤其是紋理 重復的區(qū)域，另外，這些擴散點的分布也很不均勻。針對這些問題，在這一步，首先根據(jù)無 極幾何約束下得到的擴散點來估計極幾何約束，這種估計方法已經(jīng)被證明比傳統(tǒng)的基于稀 疏匹配點的估計方法更精確和魯棒[7]Lhuillier Mand Quan L. A quasi-dense approach to surface reconstruction fromuncalibrated images. IEEE Transactions on Pattern Analysis and Machinelntelligence，2005，27 (3) :418-433.其次，在求得極幾何約束(即 本質(zhì)矩陣)后，重新從第一步得到的初始種子點開始，重復前面的擴散過程，不同的是，在 這次擴散中用到的幾何約束除了二維視差梯度約束外，還增加了極幾何約束，局部視差約 束采用旋轉(zhuǎn)變換模型。
這里給出一個具體的實施例，本實例中用到的魚眼相機由Nikon D90相機和 Sigma魚眼鏡頭(SIGMA 4. 5mm f2. 8EX DC)組成，鏡頭視角180度，分辨率為4288X2848.
圖3是一對魚眼圖像，為方便顯示，后續(xù)圖4和圖5僅截取了原始圖像的一部分。 可以看出，這對圖像具有較大的非線性變形，局部變形直接采用文獻[1]中的二維視差梯 度約束來近似顯然是不妥當?shù)摹?br> 圖4是21對初始種子點。這些種子點首先通過手工選取，然后進行精確定位，并 計算出這些種子點的局部旋轉(zhuǎn)變換模型。這里種子點的相關性度量采用ZNCCaero-mean Normalized Cross Correlation)，并把 ZNCC > Ct = 0. 8 的那些點作為初始種子點。
圖5是本發(fā)明非約束擴散得到的結(jié)果，這里所有參數(shù)和文獻[1]相同。從結(jié)果可 以看出，無論是平面區(qū)域、重復紋理區(qū)域、深度不連續(xù)區(qū)域還是遮擋區(qū)域，結(jié)果都是令人滿 意的，這體現(xiàn)在擴散結(jié)果精確，可靠，對重復紋理區(qū)域、深度不連續(xù)區(qū)域和遮擋區(qū)域，錯誤擴 散可以很快停止，避免了過擴散的后果。
為了便于比較，我們還對基于仿射模型[3]的擴散方法進行了實驗，結(jié)果見圖6。 可以看出，對于紋理豐富的平面區(qū)域，這類方法具有較好的擴散效果，但是對重復紋理區(qū) 域、深度不連續(xù)區(qū)域和遮擋區(qū)域，出現(xiàn)了大量的過擴散，造成擴散結(jié)果不穩(wěn)定和不可靠。正 像我們前面所述的，基于仿射模型的擴散方法，由于模型復雜，自由度較大，盡管采用該模 型從理論上來說能更好地近似圖像的局部變形，但是由于有效數(shù)據(jù)較少，導致最終的計算 結(jié)果很不可靠。
上面描述僅僅是用于實現(xiàn)本發(fā)明及其實施例，因此，本發(fā)明的范圍不應由該描述 來限定。根據(jù)本領域技術(shù)人員的理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬 于本發(fā)明權(quán)利要求限定的范圍。
權(quán)利要求
1.一種基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法，其特征在于步驟如下51從不同位置拍攝兩幅待匹配場景的魚眼圖像I，I'，并提取和匹配兩幅圖像的特 iiE ；^^ ’52對匹配的特征點進行精確定位，并計算這些特征點的相似性大小和旋轉(zhuǎn)變換模型， 然后將相似性大于某一閾值Ct的特征點作為后續(xù)準稠密對應點擴散的初始種子點，并把這 些種子點存入集合S ；53根據(jù)相似性大小從種子點集合S中選出相似性最大的種子點作為最優(yōu)種子點，同 時從種子點集合中去除該種子點；然后從當前最優(yōu)種子點開始，在其鄰域?qū)崿F(xiàn)無極幾何約 束的準稠密對應點擴散；54將擴散的對應點作為新的種子點，保存到種子點集合S，并且計算這些新種子點的 旋轉(zhuǎn)變換模型和相似性大小。55如果當前種子點集合S不為空，那么轉(zhuǎn)步驟Sl ；56利用已得到的準稠密對應點估計極幾何約束，然后利用此約束重新進行帶極幾何 約束的準稠密對應點擴散。在S3和S6的準稠密對應點擴散過程中，局部視差約束采用旋轉(zhuǎn)變換模型，具體講，已 知圖像Ι，Γ中的一對種子點為χ，χ'，χ和χ'鄰域象素點分別為N(X)和Ν(χ')，假設 將種子點設為對應鄰域的局部坐標系原點，且種子點鄰域?qū)男D(zhuǎn)矩陣為R，那么在當前 種子點鄰域進行對應點擴散過程中，對任意一點P1 e N(x)，其在I'中可能的匹配點視差 限制條件為{p2 =P2 e N(x')且 I Ip2-Rp11 I 彡 ε }。
2.根據(jù)權(quán)利要求1所述的一種基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法， 其特征在于S2中精確定位的方法是S21 將I1,12中以對應特征點為中心，鄰域半徑為r的子圖像分別轉(zhuǎn)換到極坐標系，得 到兩個子圖像I' I' 2；S22:對子圖像I' 1；1' 2，采用相位相關法，求得兩子圖像的相對旋轉(zhuǎn)角度Oci;S23 以對應特征點的初始對應坐標和S22計算得到的相對旋轉(zhuǎn)角度θ ^為初值，灰度 相關性為代價函數(shù)，采用Levenberg-Marquat算法在原圖像I1, I2中通過迭代優(yōu)化，得到對 應特征點的精確對應位置和相對旋轉(zhuǎn)角度的精確值θ，同時也可得到對應特征的相對旋轉(zhuǎn) 變換矩陣f cos θ _ sin 沒)R =vsin^ cos 沒 j
3.根據(jù)權(quán)利要求1或2所述的基于旋轉(zhuǎn)模型的魚眼圖像準稠密對應點匹配擴散方法， 其特征在于準稠密對應點擴散是在歸一化的圖像中進行的。
全文摘要
本發(fā)明公開一種基于旋轉(zhuǎn)模型的準稠密對應點匹配擴散方法；該方法主要包括以下幾個步驟對于同一場景從不同位置拍攝的一對魚眼圖像，首先提取和匹配圖像中的特征點，然后對這些特征點進行精確定位，并把這些特征點作為初始種子點；接著從最優(yōu)種子點開始向其鄰域進行準稠密對應點擴散，擴散的對應點作為新的種子點用于后續(xù)的繼續(xù)擴散。在本發(fā)明中，對應點的視差約束采用旋轉(zhuǎn)變換模型，相比已有的仿射變換模型而言，該模型計算簡單，模型自由參數(shù)只有一個，因此整個擴散過程穩(wěn)定可靠，并且可滿足大多數(shù)的應用需求。另外，該方法是一種非約束的擴散方法，無需對攝像機的運動參數(shù)進行事先標定，具有較大的靈活性。實驗結(jié)果也驗證了該方法的可行性，具有很強的實用性。
文檔編號G06T7/00GK102034235SQ20101053045
公開日2011年4月27日 申請日期2010年11月3日 優(yōu)先權(quán)日2010年11月3日
發(fā)明者李婧, 李曉明, 田亞平 申請人:山西大學