一種穩(wěn)定高效的高分辨率立體匹配方法
【專利摘要】本發(fā)明公開了一種穩(wěn)定高效的高分辨率立體匹配方法，包括如下步驟：利用高分辨率數(shù)碼攝像機獲取場景的立體圖像對；對所述立體圖像對構(gòu)建圖像金字塔；在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點；在所述圖像金字塔的最低分辨率層基于所述種子像素點利用種子像素擴張算法得到致密視差圖；對所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點；基于所述濾波后的視差圖結(jié)合圖像金字塔技術(shù)提升視差圖的分辨率得到最終的高分辨率立體匹配視差圖。所述立體匹配方法可以處理傳統(tǒng)方法不能處理的高分辨率立體圖像對，獲得穩(wěn)定高準(zhǔn)確度的視差圖。
【專利說明】一種穩(wěn)定高效的高分辨率立體匹配方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理和圖像匹配領(lǐng)域，具體地涉及一種穩(wěn)定高效的高分辨率立體 匹配方法。

【背景技術(shù)】
[0002] 近年來，隨著硬件技術(shù)的發(fā)展和計算機處理能力的提高，人們對三維數(shù)據(jù)獲取的 需求在不斷增長，其中運用低成本的設(shè)備方便快速地獲取高精度場景三維模型數(shù)據(jù)成為一 個熱門的研究和應(yīng)用方向。因此立體視覺技術(shù)逐漸廣泛運用起來。立體視覺一般需要兩臺 攝像機，因此價格較為低廉。立體視覺技術(shù)重建場景三維結(jié)構(gòu)一般分為如下三步：1、攝像 機內(nèi)外參數(shù)標(biāo)定過程；2、通過立體匹配算法獲得視差圖像3、結(jié)合標(biāo)定參數(shù)和視差圖像計 算場景的三維結(jié)構(gòu)。立體視覺技術(shù)提高其三維重建準(zhǔn)確度的一個核心問題是通過可靠立體 匹配算法得到高質(zhì)量的視差圖像。目前立體匹配方法一般可以分為局部匹配和全局匹配方 法?？偟膩碚f，基于窗口的局部匹配算法速度較快、資源消耗較低但是產(chǎn)生的視差圖誤匹配 區(qū)域較多，影響最終三維重建結(jié)果的準(zhǔn)確率；基于優(yōu)化預(yù)設(shè)能量函數(shù)的全局優(yōu)化匹配算法 雖能夠產(chǎn)生質(zhì)量較高的視差圖但是算法復(fù)雜度高，資源消耗很大，需要配置10G以上的內(nèi) 存且耗時較長，難以在普通個人電腦（PC)上處500萬像素以上的高分辨率立體圖像對。


【發(fā)明內(nèi)容】

[0003] 有鑒于此，有必要提供一種算法復(fù)雜度和資源利用較低，能夠處理高分辨率立體 圖像對，穩(wěn)定高效的高分辨率立體匹配方法。
[0004] 本發(fā)明的目的是提供一種穩(wěn)定高效的高分辨率立體匹配方法，包括如下步驟：
[0005] S1 :利用高分辨率數(shù)碼攝像機獲取場景的立體圖像對；
[0006] S2 :對所述立體圖像對構(gòu)建圖像金字塔；
[0007] S3 :在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點；
[0008] S4:在所述圖像金字塔的最低分辨率層基于所述匹配種子像素點利用種子像素擴 張算法得到致密視差圖；
[0009] S5 :對所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點；
[0010] S6:根據(jù)濾波后的視差圖結(jié)合圖像金字塔相鄰塔層之間的分辨率差將低分辨層的 視差圖提升到相鄰高分辨率層的致密視差圖；
[0011] S7 :判斷步驟S6中得到的致密視差圖是否為最底層最高分辨率致密視差圖，如否 則回到步驟S5,如是則獲得最終的高分辨率立體匹配視差圖并結(jié)束。
[0012] 其中，利用高分辨率數(shù)碼攝像機獲取場景的立體圖像對步驟通過兩臺高分辨率數(shù) 碼攝像機水平或垂直架設(shè)后同時拍攝場景的一對圖像后結(jié)合圖像校正技術(shù)獲得用于后續(xù) 立體匹配步驟的立體圖像對。
[0013] 其中，對所述立體圖像對構(gòu)建圖像金字塔步驟分別對立體圖像對的兩幅圖像構(gòu)建 高斯金字塔。
[0014] 優(yōu)選的，在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點步驟包 括：
[0015] 將圖像金字塔的最低分辨率層的圖像對作為待匹配的立體圖像對，分別用歸一 化交叉相關(guān)（NCC)和Census變換結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC 和DispCensus，然后構(gòu)建如下匹配種子像素點集合：Seed= {(x，y)|DispNCC(x，y)= DispCensus(x, y)}〇
[0016] 其中，在所述圖像金字塔的最低分辨率層基于所述種子像素點利用種子像素擴張 算法得到致密視差圖步驟通過種子像素擴張算法基于上述步驟得到的稀疏種子像素點集 合得到致密視差圖像。
[0017] 優(yōu)選的，對所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點步驟包括：
[0018] 利用加權(quán)中值濾波技術(shù)(Weighted Median Filter)對視差圖像進(jìn)行濾波，消除錯 誤匹配的區(qū)域。加權(quán)中值濾波技術(shù)通過結(jié)合引導(dǎo)濾波技術(shù)（Guided Filter)高效實現(xiàn)。
[0019] 在所述步驟S3中進(jìn)一步包括：
[0020] 利用兩種不同的匹配代價函數(shù)分別結(jié)合勝者全取策略（WTA)得到兩幅初始視差 圖，然后比較兩幅初始視差圖中每個像素位置處的視差值，將視差值相等的像素點設(shè)定為 所述可靠的匹配種子像素點。
[0021] 在每一金字塔視差圖像層均使用圖像濾波技術(shù)對初始視差圖像進(jìn)行濾波從而得 到可靠且高準(zhǔn)確度的視差圖像。
[0022] 除了在圖像金字塔的最低分辨率層通過掃描整體視差搜索空間的方式得到視差 圖像外，在其它分辨率層均首先通過上層低分辨率的視差圖像結(jié)合超分辨率技術(shù)獲得與本 層分辨率相同的視差圖，然后對所述視差圖的視差值附近進(jìn)行微調(diào)優(yōu)化得到本層的初始視 差圖像，其中超分辨率技術(shù)是將低分辨率的圖像通過技術(shù)手段提升到高分辨率圖像。
[0023] 優(yōu)選的，基于所述濾波后的視差圖結(jié)合圖像金字塔技術(shù)提升視差圖的分辨率得到 最終的高分辨率立體匹配視差圖步驟包括：
[0024] 對于緊鄰的上層低分辨率視差圖像首先通過線性插值技術(shù)得到與本層分辨率相 同的視差圖像Dispi，然后以Dispi為基礎(chǔ)，對于每個像素在其視差取值范圍附近進(jìn)行局 部搜索得到優(yōu)化的視差圖像Dispr，最后同樣利用加權(quán)中值濾波技術(shù)（Weighted Median Filter)對視差圖像進(jìn)行濾波，消除錯誤匹配的區(qū)域，得到本層最終的視差圖像Dispf。
[0025] 本發(fā)明優(yōu)點是：
[0026] 相對于現(xiàn)有技術(shù)，所述立體匹配方法由于借助了圖像金字塔立體匹配技術(shù)，因此 可以處理高分辨率立體圖像對。由于本方法通過兩幅不同的初始視差圖對比獲得匹配種子 像素點集合，結(jié)合受約束的種子像素擴張立體匹配算法能夠得到可靠高準(zhǔn)確度的初始視差 圖。此外本方法在圖像金字塔的每一層均對視差圖進(jìn)行濾波操作更進(jìn)步增強了輸出視差圖 的可靠性，算法復(fù)雜度和資源利用較低，能夠方便普通的個人電腦處理500萬像素以上的 高分辨率立體圖像對。

【專利附圖】

【附圖說明】
[0027] 下面結(jié)合附圖及實施例對本發(fā)明作進(jìn)一步描述：
[0028] 圖1是本發(fā)明的工作流程示意圖。

【具體實施方式】
[0029] 實施例：如圖1所示，本發(fā)明提供一種穩(wěn)定高效的高分辨率立體匹配方法的具體 實施例，其包括如下步驟：
[0030] 步驟01，利用高分辨率數(shù)碼攝像機獲取場景的立體圖像對，本實施方式中，兩臺高 分辨率數(shù)碼攝像機水平或垂直架設(shè)后同時拍攝場景的一對圖像。然后對所獲取的一對圖像 進(jìn)行重采樣使得極線平行，具體，可以利用Fusiello等人提出的方法（Fusiello A，Trucco E,. Verri A. A Compact Algorithm for Rectification of Stereo Pairs. Machine Vision and Applications, 2000,12 :16-22.)來實現(xiàn)所述立體圖像對校正，其中高分辨率數(shù)碼攝像 機的分辨率在500萬像素以上。
[0031] 步驟02,對所述立體圖像對構(gòu)建圖像金字塔，本實施方式中，分別對立體圖像對的 兩幅圖像構(gòu)建兩組高斯圖像金字塔，使得金字塔最頂層的圖像分辨率在10萬像素左右，也 即最低分辨率層。
[0032] 步驟03,在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點。
[0033] 具體的，將圖像金字塔的最低分辨率層的圖像對作為待匹配的立體圖像對，分別 用歸一化交叉相關(guān)（NCC)和Census變換，當(dāng)然不限于上述兩種，還可以利用SAD和SSD 等變換方法，參見 Brown M，Burschka D，Hager G. Advances in Computational Stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25 (8)： 993-1008.)結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC和DispCensus。
[0034] 具體來說，首先根據(jù)選定的匹配代價函數(shù)和一對立體圖像構(gòu)建一個三維張量視差 空間圖DSI，其中DSI (u，V，d)為圖像中像素位置（u，v)處視差值取d時的匹配代價函數(shù) 值（DSI 的具體構(gòu)建方法參見 Scharstein D，Szelis ki R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision，2002,47 (1/2/3)，7-42·)。則勝者全取策略（WTA)通過下式計算得到：
[0035]

【權(quán)利要求】
1. 一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于，其依次包括如下步驟： 51 :利用高分辨率數(shù)碼攝像機獲取場景的立體圖像對； 52 :對所述立體圖像對構(gòu)建圖像金字塔； 53 :在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點； S4:在所述圖像金字塔的最低分辨率層基于所述匹配種子像素點利用種子像素擴張算 法得到致密視差圖； S5 :對所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點； S6:根據(jù)濾波后的視差圖結(jié)合圖像金字塔相鄰塔層之間的分辨率差將低分辨層的視差 圖提升到相鄰高分辨率層的致密視差圖； S7 :判斷步驟S6中得到的致密視差圖是否為最底層最高分辨率致密視差圖，如否則回 到步驟S5,如是則獲得最終的高分辨率立體匹配視差圖并結(jié)束。
2. 如權(quán)利要求1所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：在所述 步驟S3中進(jìn)一步包括： 利用兩種不同的匹配代價函數(shù)分別結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖，然 后比較兩幅初始視差圖中每個像素位置處的視差值，將視差值相等的像素點設(shè)定為所述可 靠的匹配種子像素點。
3. 如權(quán)利要求2所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：在每一 金字塔視差圖像層均使用圖像濾波技術(shù)對初始視差圖像進(jìn)行濾波從而得到可靠且高準(zhǔn)確 度的視差圖像。
4. 如權(quán)利要求3所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：除了在 圖像金字塔的最低分辨率層通過掃描整體視差搜索空間的方式得到視差圖像外，在其它分 辨率層均首先通過上層低分辨率的視差圖像結(jié)合超分辨率技術(shù)獲得與本層分辨率相同的 視差圖，然后對所述視差圖的視差值附近進(jìn)行微調(diào)優(yōu)化得到本層的初始視差圖像。
5. 如權(quán)利要求4所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S3具體如下： 將圖像金字塔的最低分辨率層的圖像對作為待匹配的立體圖像對，分別用歸一化 交叉相關(guān)（NCC)和Census變換結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC 和DispCensus，然后構(gòu)建如下匹配種子像素點集合：Seed= {(X，y)|DispNCC(x，y)= DispCensus(x, y)}〇
6. 如權(quán)利要求5所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S5具體如下： 利用加權(quán)中值濾波技術(shù)(Weighted Median Filter)對視差圖像進(jìn)行濾波，消除錯誤匹 配的區(qū)域，且加權(quán)中值濾波技術(shù)通過結(jié)合引導(dǎo)濾波技術(shù)（Guided Filter)高效實現(xiàn)。
7. 如權(quán)利要求5所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S6具體如下： 對于緊鄰的上層低分辨率視差圖像首先通過線性插值技術(shù)得到與本層分辨率相同的 視差圖像Dispi，然后以Dispi為基礎(chǔ)，對于每個像素在其視差取值范圍附近進(jìn)行局部搜索 得到優(yōu)化的視差圖像Dispr，最后同樣利用加權(quán)中值濾波技術(shù)（Weighted Median Filter) 對視差圖像進(jìn)行濾波，消除錯誤匹配的區(qū)域，得到本層最終的視差圖像Dispf。
【文檔編號】G06T7/00GK104156957SQ201410384020
【公開日】2014年11月19日 申請日期:2014年8月6日 優(yōu)先權(quán)日:2014年8月6日
【發(fā)明者】陳洪, 林文光 申請人:昆山天工智能科技有限公司