專利名稱：一種針對存在循環(huán)回路的圖像序列的特征點匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像序列的特征點匹配方法，尤其涉及一種針對存在循環(huán)回路的圖像 序列的特征點匹配方法。
背景技術(shù)：
攝像機(jī)跟蹤技術(shù)是指從輸入圖像序列中恢復(fù)攝像機(jī)的參數(shù)信息，同時重建拍攝場 景的稀疏三維結(jié)構(gòu)，其結(jié)果廣泛應(yīng)用于影視制作、三維跟蹤和增強(qiáng)現(xiàn)實。圖像之間的特征點 匹配是攝像機(jī)跟蹤的關(guān)鍵技術(shù)，即確定不同圖像間相同物體的對應(yīng)關(guān)系。現(xiàn)有許多攝像機(jī)跟蹤技術(shù)是針對離散拍攝的圖像集合(主要可參考Agarwal，S.， Snavely, N.，Simon，I.，Seitz, S. M.，Szeliski, R. :Building rome in a day. In :ICCV. (2009)72-79)。離散的圖像之間缺少先驗的關(guān)聯(lián)信息，其特征匹配只能枚舉整個圖像集合 中的所有圖像對。這種方法的匹配復(fù)雜度是二次的，如果涉及到成百上千幀圖像的求解，通 常需要幾天甚至幾個星期的時間完成特征匹配。相比離散的圖像集合，視頻拍攝得到的圖像序列在時序上包含更多關(guān)聯(lián)信息，相 鄰幀之間往往具有更強(qiáng)的相似性。通常的方法是僅僅在連續(xù)幀之間進(jìn)行特征匹配，KLT 或者SIFT等都可以在這種情形下適用(可參考Guofeng Zhang, Xueying Qin, Wei Hua, Tien-Tsin Wong, Pheng-Ann Heng, and Hujun Bao. RobustMetric Reconstruction from Challenging Video Sequences. IEEE Conference onComputer Vision and Pattern Recognition (CVPR)，2007.)。連續(xù)幀匹配的復(fù)雜度是線性的，可以很高效地完成圖像序列的特征點匹配，但是 存在兩個缺點1)由于圖像的噪聲、物體遮擋等原因，同一個特征的匹配會被中斷；2)由于 僅僅在連續(xù)幀之間進(jìn)行匹配，該方法無法檢測到圖像序列中的回路。因此，攝像機(jī)跟蹤技術(shù) 單純利用連續(xù)幀匹配得到的特征點不能得到精確的求解結(jié)果，存在結(jié)構(gòu)扭曲、交錯等問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有圖像序列的特征點匹配方法的不足，提供一種針對存 在循環(huán)回路的圖像序列的特征點匹配方法。為實現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案是所述針對存在循環(huán)回路的圖像序 列的特征點匹配方法包括如下步驟1)從圖像序列中的每一幀圖像上提取特征點；2)在圖像序列的連續(xù)幀之間進(jìn)行兩遍特征匹配，生成與場景三維點對應(yīng)的特征軌 跡；3)根據(jù)與場景三維點對應(yīng)的 特征軌跡生成特征軌跡描述量，并由所述特征軌跡描 述量得到各特征軌跡之間的匹配關(guān)系，再根據(jù)特征軌跡之間的匹配關(guān)系計算圖像序列的圖 像相似矩陣；4)根據(jù)所述圖像相似矩陣檢測出所述圖像序列中存在的循環(huán)回路，對每個循環(huán)回路中的子序列進(jìn)行特征點匹配；然后將匹配成功的對應(yīng)同一個場景三維點的特征軌跡進(jìn)行合并。進(jìn)一步地，本發(fā)明在步驟2)中，所述兩遍特征匹配的步驟為1)在第一遍匹配時，采用比較特征描述量距離的方式獲得匹配點；2)在第二遍匹配時，根據(jù)第一遍匹配得到的匹配點中的正匹配點，計算所述連續(xù) 幀之間的單應(yīng)映射關(guān)系，然后通過極線幾何約束下的圖像空間鄰域搜索，為在第一遍匹配 中沒匹配成功的特征點進(jìn)行再次匹配。進(jìn)一步地，本發(fā)明在步驟3)中，所述“由所述特征軌跡描述量得到特征軌跡之間 的可能匹配關(guān)系，根據(jù)特征軌跡之間的可能匹配關(guān)系計算圖像序列的圖像相似矩陣”的步 驟為利用將特征軌跡描述量進(jìn)行聚類的方法，將具有相似特征軌跡描述量的特征軌跡聚 集到同一個特征軌跡組中，然后對所有特征軌跡組統(tǒng)計圖像序列的任意兩幀圖像上的相似 特征軌跡數(shù)量，并以所述相似特征軌跡數(shù)量作為圖像之間的相似度衡量標(biāo)準(zhǔn)構(gòu)成圖像相似 矩陣。進(jìn)一步地，本發(fā)明所述“根據(jù)所述圖像相似矩陣檢測出圖像序列中存在的循環(huán)回 路”的方法為在所述圖像相似矩陣中，檢測圖像相似度最大值，然后以所述圖像相似度最大值 為中心，分別向橫向、縱向搜索找到與所述圖像序列中存在的循環(huán)回路對應(yīng)的圖像區(qū)間，所 述圖像區(qū)間內(nèi)的所有圖像相似度都大于閾值；根據(jù)橫向、縱向的圖像區(qū)間確定相應(yīng)兩個子 序列，由此得到對應(yīng)的循環(huán)回路。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是(1)本發(fā)明提出的兩遍匹配方法降低了圖像噪聲、攝像機(jī)運動對特征點匹配的影 響，可以將被打斷的特征軌跡連接起來，以生成穩(wěn)定的、較長的特征軌跡，為進(jìn)一步應(yīng)用提 供了穩(wěn)定的基礎(chǔ)。(2)本發(fā)明結(jié)合層次化聚類方法，對特征軌跡描述量進(jìn)行聚類，以檢測圖像序列中 的循環(huán)回路，合并對應(yīng)同一個三維點、但是被打斷的特征軌跡，大大地增強(qiáng)攝像機(jī)跟蹤等技 術(shù)在大型復(fù)雜圖像序列中的穩(wěn)定性和實用性。(3)本發(fā)明的特征點匹配方法是全自動的方法，其中涉及的參數(shù)都經(jīng)過試驗取為 固定的值，不需要根據(jù)序列調(diào)整。本發(fā)明的運行十分高效，對于幾千幀圖像序列，僅僅需要 幾十分鐘；而且本發(fā)明匹配結(jié)果穩(wěn)定，得到的特征點匹配結(jié)果可直接用于攝像機(jī)跟蹤、增強(qiáng) 現(xiàn)實等應(yīng)用。


圖1是本發(fā)明在進(jìn)行第二遍匹配時利用極線幾何進(jìn)行局部搜索的示意圖；圖2是對特征軌跡描述量進(jìn)行層次化聚類的示意圖；圖3是將本發(fā)明方法獲得的特征軌跡應(yīng)用于攝像機(jī)跟蹤的結(jié)果示意圖。
具體實施例方式以下具體說明本發(fā)明的技術(shù)方案。本發(fā)明方法的具體步驟如下步驟1)從圖像序列中的每一幀圖像上提取特征點，其具體步驟為
設(shè)輸入圖像序列為/={4’ = 1,2,…一，本發(fā)明的目標(biāo)是從所有圖像幀中提取特征 點進(jìn)行匹配，構(gòu)成特征軌跡。一個特征軌跡X對應(yīng)場景中的一個三維點，實際上是一個圖 像特征點的集合，S卩X = IxiIi e f(x)}，f(x)是可觀察到特征軌跡X的圖像集合，Xi 是特征點在圖像i上的坐標(biāo)，通過SIFT方法檢測(也可使用其它特征點方法，如SURF等)， 同時Xi還包含相應(yīng)的SIFT特征描述量p(Xi)，而χ的描述量是所有Xi描述量的平均值。從每一幀圖像上提取SIFT特征點的過程是1)利用從小到大的高斯核對圖像進(jìn)行過濾，形成一系列高斯平滑圖像；2)在相鄰的高斯平滑圖像之間進(jìn)行圖像差操作，形成一系列高斯差圖像；3)在相鄰的高斯差圖像之間檢測局部極值，確定SIFT特征點的位置Xi ；4)根據(jù)高斯核的方差確定局部窗口大小，并計算亮度梯度的分布計算SIFT特征 描述量P (Xi)。步驟2)在圖像序列的連續(xù)幀之間進(jìn)行兩遍特征匹配，生成與場景三維點對應(yīng)的 特征軌跡。其具體方法如下從圖像上提取SIFT特征點之后，需要將位于不同圖像上的相同特征點匹配起來， 形成特征軌跡。本發(fā)明采取兩遍匹配策略來解決由于特征區(qū)分度不夠、噪聲等因素造成的 特征丟失問題，可以生成穩(wěn)定的、較長的特征軌跡，最終得到的特征軌跡用于攝像機(jī)跟蹤、 三維重建、物體識別可以得到更加精確的結(jié)果。第一遍匹配采用比較特征描述量的距離的 方式以獲得匹配點；第二遍匹配則根據(jù)第一遍匹配得到的正匹配，結(jié)合極線幾何約束，通過 圖像空間鄰域搜索來為沒匹配上的特征點重新匹配。第二遍匹配也可以直接用KLT方法跟 蹤第一遍匹配沒能匹配成功的特征點，但是不如本發(fā)明的方法穩(wěn)定。1)假設(shè)一個特征軌跡χ正從第t幀圖像It跟蹤到t+Ι幀It+1，在It的位置記為 Xt，描述量為P (Xt)。為了確定在It+1上是否有可匹配的特征點，先采用基于描述量比較的方 法。對于Xt，根據(jù)描述量的距離，可以在圖像It+1上找到兩個最接近的特征點，分別 記為A^1(Xi)和<+1( )。它們的描述量分別表示為丨+1(x,))和樹。特征點Xt和 TVT1(A)之間的匹配可信度c，可以用最小特征距離與次小特征距離的比值來衡量
W+1⑷)-琳)
權(quán)利要求
1.一種針對存在循環(huán)回路的圖像序列的特征點匹配方法，其特征在于包括如下步驟1)從圖像序列中的每一幀圖像上提取特征點；2)在圖像序列的連續(xù)幀之間進(jìn)行兩遍特征匹配，生成與場景三維點對應(yīng)的特征軌跡；3)根據(jù)與場景三維點對應(yīng)的特征軌跡生成特征軌跡描述量，并由所述特征軌跡描述量 得到各特征軌跡之間的匹配關(guān)系，再根據(jù)特征軌跡之間的匹配關(guān)系計算圖像序列的圖像相 似矩陣；4)根據(jù)所述圖像相似矩陣檢測出所述圖像序列中存在的循環(huán)回路，對每個循環(huán)回路 中的子序列進(jìn)行特征點匹配；然后將匹配成功的對應(yīng)同一個場景三維點的特征軌跡進(jìn)行合并。
2.根據(jù)權(quán)利要求1所述的一種針對存在循環(huán)回路的圖像序列的特征點匹配方法，其特 征在于在步驟2)中，所述兩遍特征匹配為1)在第一遍匹配時，采用比較特征描述量距離的方式獲得匹配點；2)在第二遍匹配時，根據(jù)第一遍匹配得到的匹配點中的正匹配點，計算所述連續(xù)幀之 間的單應(yīng)映射關(guān)系，然后通過極線幾何約束下的圖像空間鄰域搜索，為在第一遍匹配中沒 匹配成功的特征點進(jìn)行再次匹配。
3.根據(jù)權(quán)利要求1或2所述的一種針對存在循環(huán)回路的圖像序列的特征點匹配方法， 其特征在于在步驟3)中，所述“由所述特征軌跡描述量得到特征軌跡之間的匹配關(guān)系，再 根據(jù)特征軌跡之間的匹配關(guān)系計算圖像序列的圖像相似矩陣”的步驟為利用將特征軌跡 描述量進(jìn)行聚類的方法，將具有相似特征軌跡描述量的特征軌跡聚集到同一個特征軌跡組 中，然后對所有特征軌跡組統(tǒng)計圖像序列的任意兩幀圖像上的相似特征軌跡數(shù)量，并以所 述相似特征軌跡數(shù)量作為圖像之間的相似度衡量標(biāo)準(zhǔn)構(gòu)成圖像相似矩陣。
4.根據(jù)權(quán)利要求1或2所述的一種針對存在循環(huán)回路的圖像序列的特征點匹配方法， 其特征在于，所述“根據(jù)所述圖像相似矩陣檢測出所述圖像序列中存在的循環(huán)回路”的方法 為在所述圖像相似矩陣中，首先檢測圖像相似度最大值，然后以所述圖像相似度最大值為 中心，分別向圖像相似矩陣的橫向、縱向搜索找到與所述圖像序列中存在的循環(huán)回路對應(yīng) 的圖像區(qū)間，所述圖像區(qū)間內(nèi)的所有圖像相似度都大于閾值；根據(jù)橫向、縱向的圖像區(qū)間確 定相應(yīng)兩個子序列，由此得到對應(yīng)的循環(huán)回路。
全文摘要
本發(fā)明公開了一種針對存在循環(huán)回路的圖像序列的特征點匹配方法，包括如下步驟1)從圖像序列中的每一幀圖像上提取特征點；2)在圖像序列的連續(xù)幀之間進(jìn)行兩遍特征匹配，生成與場景三維點對應(yīng)的特征軌跡；3)根據(jù)與場景三維點對應(yīng)的特征軌跡生成特征軌跡描述量，并由所述特征軌跡描述量得到各特征軌跡之間的匹配關(guān)系，根據(jù)特征軌跡之間的匹配關(guān)系計算圖像序列的圖像相似矩陣；4)根據(jù)所述圖像相似矩陣檢測出圖像序列中存在的循環(huán)回路，對每個循環(huán)回路中的子序列進(jìn)行特征點匹配；然后將匹配成功的對應(yīng)同一個場景三維點的特征軌跡進(jìn)行合并。
文檔編號G06T7/00GK102005041SQ20101053037
公開日2011年4月6日 申請日期2010年11月2日 優(yōu)先權(quán)日2010年11月2日
發(fā)明者章國鋒, 董子龍, 鮑虎軍 申請人:浙江大學(xué)