專利名稱：一種用于立體視覺系統(tǒng)的雙目立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)立體視覺領(lǐng)域，具體涉及一種用于立體視覺系統(tǒng)的雙目立體匹配方法。
背景技術(shù)：
在計(jì)算機(jī)立體視覺領(lǐng)域，雙目立體匹配主要是通過找出每對(duì)圖像間的對(duì)應(yīng)關(guān)系，根據(jù)三角測量原理，得到視差圖；在獲得了視差信息后，根據(jù)投影模型很容易地可以得到原始圖像的深度信息和三維信息。雙目立體匹配技術(shù)被普遍認(rèn)為是立體視覺中最困難也是最關(guān)鍵的問題。每年都有許多新的雙目立體匹配算法被提出來。但是由于該問題本身就是一個(gè)病態(tài)問題，這使得雙目立體匹配成為一個(gè)較難解決的問題?，F(xiàn)有的雙目立體匹配算法分為兩大類，全局立體匹配算法和局部立體匹配算法，但很難有一種算法能解決所有的實(shí)際問題。雙目立體匹配算法的一般流程為，左右視圖的獲取，視圖的校正，立體匹配。視圖校正以后，使得匹配點(diǎn)尋找可以在一維搜索空間實(shí)現(xiàn)。局部立體匹配算法大都建立支持窗口，實(shí)現(xiàn)匹配點(diǎn)在極線上一維搜素，算法復(fù)雜度小，但匹配精確度差。相比而言，全局立體匹配算法利用整幅圖像的信息，構(gòu)造具有數(shù)據(jù)項(xiàng)和平滑項(xiàng)的能量函數(shù)，數(shù)據(jù)項(xiàng)表征圖像像素點(diǎn)相似程度，而平滑項(xiàng)表征圖像的結(jié)構(gòu)信息，所以全局立體匹配算法獲取的視差圖是全局優(yōu)化的結(jié)果，匹配精度較高，相應(yīng)的其算法復(fù)雜度較大。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)中全局立體匹配算法計(jì)算復(fù)雜度較高的問題，本發(fā)明提供了以下的技術(shù)方案一種用于立 體視覺系統(tǒng)的雙目立體匹配方法，包括以下步驟A計(jì)算左右視圖的初始視差圖并確定GCP點(diǎn)(ground control points路徑控制點(diǎn)地面控制點(diǎn))；B確定圖像每個(gè)GCP點(diǎn)的控制區(qū)，并估計(jì)控制區(qū)非遮擋點(diǎn)的視差范圍；C對(duì)GCP區(qū)非遮擋點(diǎn)，構(gòu)造能量函數(shù)，求取能量函數(shù)極小值，獲得非遮擋點(diǎn)的可信視差值；D利用局部信息對(duì)視差圖進(jìn)行后處理，得到優(yōu)化視差圖；優(yōu)選的，所述步驟B包括以下步驟BI確定GCP點(diǎn)的控制區(qū)。對(duì)于GCP點(diǎn)，考慮其水平方向上左邊和右邊的點(diǎn)，當(dāng)其周圍的點(diǎn)和該GCP點(diǎn)的測地距離大于某一個(gè)閾值的時(shí)候，即找到GCP點(diǎn)控制區(qū)的左右邊界。邊界所界定的區(qū)域即為該GCP點(diǎn)的控制區(qū)域。根據(jù)以下公式計(jì)算GCP點(diǎn)的控制區(qū)域。DX_GCP〈 Xdistance其中Dx_ot代表GCP左右點(diǎn)到GCP點(diǎn)的測地距離。測地距離表示當(dāng)前點(diǎn)和GCP點(diǎn)的色彩差異，但是要保證當(dāng)前點(diǎn)到GCP點(diǎn)的水平路徑上沒有色彩的階躍變化。
λ distance代表測地距離的閾值。若測地距離足夠小則表示該點(diǎn)屬于GCP點(diǎn)的控制區(qū)。反之，不屬于該點(diǎn)的控制區(qū)。若當(dāng)前點(diǎn)同時(shí)滿足兩個(gè)GCP點(diǎn)的控制區(qū)域要求，則選擇測地距離較小所對(duì)應(yīng)的那個(gè)GCP點(diǎn)。若當(dāng)前點(diǎn)沒有被分配到GCP控制區(qū)，則暫時(shí)不處理。B2估計(jì)GCP點(diǎn)控制區(qū)非遮擋點(diǎn)的視差值。左右圖中相匹配的GCP點(diǎn)都有一個(gè)相應(yīng)的控制區(qū)域，得到兩個(gè)控制區(qū)域以后，利用其控制區(qū)域的邊界點(diǎn)坐標(biāo)，估計(jì)GCP控制區(qū)內(nèi)像素點(diǎn)的視差范圍。實(shí)現(xiàn)方法如下。假設(shè)P·，P·分別代表左右圖中匹配的GCP點(diǎn)，兩個(gè)控制區(qū)域的坐標(biāo)差值有一個(gè)變化范圍，這個(gè)變化范圍作為當(dāng)前GCP控制區(qū)像素點(diǎn)的視差范圍，還可以再加上一個(gè)浮動(dòng)范圍山構(gòu)成了 GCP控制區(qū)的彈性視差范圍。優(yōu)選的，所述步驟C包括以下步驟Cl構(gòu)造能量函數(shù)的數(shù)據(jù)項(xiàng)部分。能量函數(shù)的數(shù)據(jù)項(xiàng)部分是GCP控制區(qū)內(nèi)以每個(gè)像素點(diǎn)為中心生成的測地距離區(qū)域的匹配代價(jià)和。構(gòu)建的匹配代價(jià)方法如下對(duì)左圖中GCP的控制區(qū)域，在視差估計(jì)的范圍內(nèi)，選取一個(gè)視差值，找到其在右圖中的匹配點(diǎn)，以這兩個(gè)匹配對(duì)點(diǎn)建立測地距離區(qū)域，將測地區(qū)域內(nèi)像素點(diǎn)的色彩差異作為匹配代價(jià)。C2構(gòu)造能量函數(shù)的平滑項(xiàng)部分。獲取全局GCP點(diǎn)的拓?fù)浣Y(jié)構(gòu)，轉(zhuǎn)化為對(duì)每一個(gè)像素點(diǎn)位置進(jìn)行定位的結(jié)構(gòu)信息。結(jié)構(gòu)信息的差異構(gòu)成了平滑項(xiàng)。具體實(shí)現(xiàn)方法如下對(duì)于GCP控制區(qū)域的每一個(gè)點(diǎn)，其相對(duì)于全局GCP點(diǎn)的位置是唯一的。這樣統(tǒng)計(jì)控制區(qū)域中一個(gè)點(diǎn)在各個(gè)方向 上GCP點(diǎn)的數(shù)目，結(jié)果可以作為該點(diǎn)的特征。同樣的方法找到右圖中匹配點(diǎn)GCP分布特征。這兩個(gè)特征的差異即為平滑項(xiàng)的一部分。C3利用GC優(yōu)化方法求解構(gòu)造的能量函數(shù)，獲取GCP控制區(qū)點(diǎn)的可信視差值。GC優(yōu)化算法為控制區(qū)域內(nèi)的所有點(diǎn)整體分配合適的視差值。本發(fā)明的有益效果是本發(fā)明，提出一種基于GCP控制區(qū)的半全局優(yōu)化立體匹配算法，利用局部立體匹配算法的結(jié)果，得到視差值可信的GCP點(diǎn)，結(jié)合全局立體匹配算法的思想，合理地利用局部數(shù)據(jù)信息和全局結(jié)構(gòu)信息對(duì)每一個(gè)GCP控制區(qū)域構(gòu)造新的能量優(yōu)化函數(shù)，完成多GCP控制區(qū)域像素點(diǎn)的視差值分配。本發(fā)明很好的融合了兩種算法的特點(diǎn)，既減小了算法的復(fù)雜度，又保證了算法的精確度。有效解決了局部立體匹配算法精度低的和全局算法復(fù)雜度高的問題。


圖1是本發(fā)明具體實(shí)施例的流程圖。圖2是圖1實(shí)施例的步驟結(jié)構(gòu)流程圖。圖3是圖2初始視差圖獲取及GCP點(diǎn)確定的流程圖。圖4是圖2 GCP點(diǎn)控制區(qū)獲取以及控制區(qū)內(nèi)非遮擋點(diǎn)視差估計(jì)流程圖。圖5是圖2基于GCP控制區(qū)半全局優(yōu)化算法的流程圖。圖6是圖2視差圖后處理流程圖。
圖7是測地生成區(qū)域示意圖。圖8是全局GCP信息統(tǒng)計(jì)示意圖。
具體實(shí)施例方式以下結(jié) 合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。如圖1所示，用于立體視覺系統(tǒng)的雙目立體匹配方法的一個(gè)實(shí)施例包括以下步驟A計(jì)算左右視圖的初始視差圖并獲取圖像的的GCP點(diǎn)；B確定圖像每個(gè)GCP點(diǎn)的控制區(qū)，并估計(jì)控制區(qū)像素點(diǎn)視差范圍；C對(duì)GCP區(qū)內(nèi)像素點(diǎn)，構(gòu)造能量函數(shù)，求取能量函數(shù)極小值，使得控制區(qū)內(nèi)像素點(diǎn)獲取可/[目視差值；D利用局部信息對(duì)視差圖進(jìn)行后處理，得到優(yōu)化視差圖；更具體的，如圖2所示，本發(fā)明的實(shí)施例中包括以下四個(gè)處理步驟100獲取初始視差圖，標(biāo)記圖像GCP點(diǎn)；200確定圖像每個(gè)GCP點(diǎn)的控制區(qū)，并估計(jì)控制區(qū)非遮擋點(diǎn)的視差范圍步驟；300對(duì)GCP區(qū)非遮擋點(diǎn)，構(gòu)造能量函數(shù),求取能量函數(shù)極小值，獲得非遮擋點(diǎn)的可視差值步驟；400利用局部信息對(duì)視差圖進(jìn)行后處理，得到優(yōu)化視差圖步驟；100計(jì)算左右視圖的初始視差圖并確定GCP點(diǎn)步驟101犾取左右視圖的初始視差圖。以左圖為參考圖，利用基于SAD的局部立體匹配算法(該算法可參考例如文獻(xiàn)T. Kanade. Development of a video-rate stereomachine.1n Image Understanding Workshop, pages 549 - 557, Monterey, CA, 1994.Morgan Kaufmann Publishers.)計(jì)算右圖的初始視差值。同理以右圖為參考圖,利用局部立體匹配算法計(jì)算左圖的視差圖。這樣得到左右圖的初始視差圖。102對(duì)左右初始視差圖進(jìn)行左右一致性檢測，不滿足左右一致性檢測的點(diǎn)被標(biāo)記為遮擋點(diǎn)。假設(shè)初始左右視差圖分別為Du De, xl表示為左視差圖中的一像素點(diǎn)，如公式(I)所示Dl (xl) =De (xl+Dl (xl) ) (I)左視差圖中的像素點(diǎn)&若等于右視差圖中與其匹配的像素點(diǎn)的視差值，則表示左視差圖中該點(diǎn)滿足左右一致性檢測。同樣，對(duì)于右時(shí)差圖中的一像素點(diǎn)xK，如公式(2)所示
權(quán)利要求
1.一種用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于包括以下步驟 A.獲取左右視圖的初始視差圖并確定圖像的GCP點(diǎn)； B.確定圖像每個(gè)GCP點(diǎn)的控制區(qū)，并估計(jì)控制區(qū)非遮擋點(diǎn)的視差范圍； C.對(duì)GCP區(qū)非遮擋點(diǎn)，構(gòu)造能量函數(shù)，求取能量函數(shù)極小值，獲得非遮擋點(diǎn)的可信視差值; D.利用局部信息對(duì)視差圖進(jìn)行后處理，得到優(yōu)化視差圖；利用優(yōu)化視差圖，實(shí)現(xiàn)立體匹配。
2.如權(quán)利要求1所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于所述步驟B包括以下步驟 B1.確定GCP點(diǎn)的控制區(qū)對(duì)于GCP點(diǎn)，考慮其水平方向上左邊和右邊的點(diǎn)，當(dāng)其周圍的點(diǎn)和該GCP點(diǎn)的測地距離大于閾值的時(shí)候，即找到GCP點(diǎn)控制區(qū)的左右邊界；邊界所界定的區(qū)域即為該GCP點(diǎn)的控制區(qū)域；即根據(jù)以下公式計(jì)算GCP點(diǎn)的控制區(qū)域 Dx-GCP〈 X distance 其中Dx-ecP代表GCP左右點(diǎn)到GCP點(diǎn)的測地距離，測地距離表示當(dāng)前點(diǎn)和GCP點(diǎn)的色彩差異，但是要保證當(dāng)前點(diǎn)到GCP點(diǎn)的水平路徑上沒有色彩的階躍變化；若在路徑上碰到階躍，階躍點(diǎn)位置即為控制區(qū)域的邊界；其中X —代表測地距離的閾值；若測地距離足夠小則表示該點(diǎn)屬于GCP點(diǎn)的控制區(qū)，反之，不屬于該點(diǎn)的控制區(qū)；若當(dāng)前點(diǎn)同時(shí)滿足兩個(gè)GCP點(diǎn)的控制區(qū)域要求，則選擇測地距離較小所對(duì)應(yīng)的那個(gè)GCP點(diǎn)。若當(dāng)前點(diǎn)沒有被分配到GCP控制區(qū)，則暫時(shí)不處理。
3.如權(quán)利要求1或2所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于所述步驟B還包括包括以下步驟 B2.估計(jì)GCP點(diǎn)控制區(qū)非遮擋點(diǎn)的視差值得到左右圖中相匹配的GCP點(diǎn)相應(yīng)的控制區(qū)域以后，利用其控制區(qū)域的邊界點(diǎn)坐標(biāo)，估計(jì)GCP控制區(qū)內(nèi)像素點(diǎn)的視差范圍，實(shí)現(xiàn)方法如下 兩個(gè)控制區(qū)域的坐標(biāo)差值的變化范圍作為當(dāng)前GCP控制區(qū)像素點(diǎn)的視差范圍。
4.如權(quán)利要求3所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于所述步驟B2中還包括再加上一個(gè)浮動(dòng)范圍d,構(gòu)成GCP控制區(qū)的彈性視差范圍。
5.如權(quán)利要求1中所述的所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于所述C步驟包括以下步驟 Cl構(gòu)造能量函數(shù)的數(shù)據(jù)項(xiàng)部分能量函數(shù)的數(shù)據(jù)項(xiàng)部分是GCP控制區(qū)內(nèi)以每個(gè)像素點(diǎn)為中心生成的測地距離區(qū)域的匹配代價(jià)和； C2構(gòu)造能量函數(shù)的平滑項(xiàng)部分獲取全局GCP點(diǎn)的拓?fù)浣Y(jié)構(gòu)，轉(zhuǎn)化為對(duì)每一個(gè)像素點(diǎn)位置進(jìn)行定位的結(jié)構(gòu)信息，該結(jié)構(gòu)信息的差異構(gòu)成了平滑項(xiàng)； C3利用GC優(yōu)化方法求解構(gòu)造的能量函數(shù)，獲取GCP控制區(qū)點(diǎn)的可信視差值；所述GC優(yōu)化方法為控制區(qū)域內(nèi)的所有點(diǎn)整體分配合適的視差值。
6.如權(quán)利要求5中所述的所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于所述C步驟包括以下步驟步驟Cl中構(gòu)建的匹配代價(jià)方法如下 對(duì)左圖中GCP的控制區(qū)域，在視差估計(jì)的范圍內(nèi)，選取一個(gè)視差值，找到其在右圖中的匹配點(diǎn)，以這兩個(gè)匹配對(duì)點(diǎn)建立測地距離區(qū)域，將測地區(qū)域內(nèi)像素點(diǎn)的色彩差異作為匹配代價(jià)。
7.如權(quán)利要求5或6中所述的所述的用于立體視覺系統(tǒng)的雙目立體匹配方法，其特征在于步驟C2具體實(shí)現(xiàn)方法如下 對(duì)于GCP控制區(qū)域的每一個(gè)點(diǎn)，其相對(duì)于全局GCP點(diǎn)的位置是唯一的。這樣統(tǒng)計(jì)控制區(qū)域中一個(gè)點(diǎn)在各個(gè)方向上GCP點(diǎn)的數(shù)目，結(jié)果可以作為該點(diǎn)的特征。同樣的方法找到右圖中匹配點(diǎn)GCP分布特征。這兩個(gè)特征的差異即為平滑項(xiàng)的一部分。
全文摘要
本發(fā)明公開了一種用于立體視覺系統(tǒng)的雙目立體匹配方法，包括計(jì)算左右視圖的初始視差圖并獲取圖像的GCP點(diǎn)；確定圖像GCP點(diǎn)的控制區(qū)域，并估計(jì)控制區(qū)域內(nèi)非遮擋點(diǎn)的視差范圍；對(duì)每個(gè)GCP控制區(qū)域，構(gòu)造能量函數(shù)，利用GC求取能量函數(shù)極小值，獲取非遮擋點(diǎn)的可信視差值；利用局部信息對(duì)視差圖進(jìn)行后處理，得到優(yōu)化的視差圖。本發(fā)明通過尋找視差圖像的GCP點(diǎn)，利用GCP點(diǎn)估計(jì)其控制區(qū)像素點(diǎn)的視差范圍，利用GC優(yōu)化方法求解能量函數(shù)的極值問題，為GCP控制區(qū)像素點(diǎn)分配合理的視差值，最后用局部信息對(duì)視差圖進(jìn)行后處理。本發(fā)明提出一種利用GCP點(diǎn)進(jìn)行半全局優(yōu)化求取視差圖的算法，可以獲取質(zhì)量較好的結(jié)果。
文檔編號(hào)G06T7/00GK103049903SQ20121047692
公開日2013年4月17日 申請(qǐng)日期2012年11月21日 優(yōu)先權(quán)日2012年11月21日
發(fā)明者王好謙, 吳勉, 張永兵, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院