專利名稱：三維電視系統(tǒng)中基于圖像分割的立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像的處理方法，尤其涉及一種三維電視系統(tǒng)中基于圖像分割的立體匹配方法。
背景技術(shù)：
立體匹配是計(jì)算機(jī)視覺領(lǐng)域的核心組成部分，在三維電視、汽車輔助駕駛、計(jì)算機(jī)視覺等實(shí)踐中都有廣泛的應(yīng)用。根據(jù)匹配基元的不同，大致可分為基于特征的匹配算法和基于面積的匹配算法，而基于特征的立體匹配方法雖然速度較快但由于不能獲得全局最優(yōu)視差，故近些年全局效果更好的基于面積的匹配算法應(yīng)用更為廣泛，其中圖割算法 (graph-cuts)、動(dòng)態(tài)規(guī)劃(Dynamic Programming)算法和置信傳播(Belief propagation) 算法對(duì)立體匹配的精度和準(zhǔn)確性都有很大提高。Jiangbo Lu, Ke Zhang, Lafruit, G.，Catthoor, F.在聲學(xué)，語音和信號(hào)處理會(huì)議 (Acoustics, Speech and Signal Processing, 2009.)上發(fā)表的論文“一種基于十字聚合的實(shí)時(shí)立體匹配方法，，(Real-time stereo matching A cross-based local approach)提出了一種十字聚合立體匹配算法，這種算法是一種比較快速的局部立體匹配算法，計(jì)算量較小且效果不錯(cuò)。但是該算法得到的結(jié)果在準(zhǔn)確性上比計(jì)算量大的全局匹配算法要差。Tao H, Sawhney H S and Kumar R在2001年發(fā)表在加拿大溫哥華第八屆計(jì)算機(jī)視覺會(huì)議(Proceedings of the Eighth International Conference On Computer Vision. Vancouver, Canada, 2001 (I) :532-539)上的論文“一種基于彩色圖像分割的立體匹配算法框架”(A Global Matching Framework for Stereo Computation)根據(jù)顏色平滑區(qū)域內(nèi)部視差可用平滑的視差模型表示以及視差不連續(xù)處跟分割區(qū)域邊緣一致的特性，先對(duì)彩色圖像進(jìn)行分割，然后利用速度較快但準(zhǔn)確率不高的匹配算法對(duì)左右圖像計(jì)算初始視差圖，最后利用分割信息對(duì)各分割區(qū)域的初始視差進(jìn)行擬合。該算法的優(yōu)點(diǎn)是單幅圖像所獲得的視差邊界一般情況比由視差估計(jì)得到的邊界更為準(zhǔn)確，而對(duì)遮擋區(qū)域匹配的魯棒性也得到改善，其算法效率相對(duì)較高。其缺點(diǎn)是由于分割算法的影響其分割假設(shè)并不一定總是正確的， 而由于強(qiáng)制平滑的影響，得到的視差可能并不能表示區(qū)域真正的視差。均值偏移(mean-shift)分割算法是一種常用的獲取圖像的分割信息的方法，均值偏移算法是一種利用概率分布的梯度尋找峰值的非參數(shù)估計(jì)方法，具有較高的魯棒性， 它通過對(duì)輸入彩色圖像的色彩域和空間域特征進(jìn)行聚類對(duì)圖像進(jìn)行分割，該算法能得到較好的分割效果，該算法的缺點(diǎn)是實(shí)時(shí)性一般。

發(fā)明內(nèi)容
為彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種速度更快的、自適應(yīng)的三維電視系統(tǒng)中基于圖像分割的立體匹配方法。首先利用改進(jìn)的十字聚合立體匹配算法計(jì)算初始視差，然后用基于圖論的圖像分割獲得的分割信息對(duì)初始視差進(jìn)行優(yōu)化。將其應(yīng)用于三維電視系統(tǒng)中，計(jì)算速度更快，實(shí)時(shí)性較好，獲取深度信息準(zhǔn)確，且對(duì)于圖像噪聲(光照、畸變等)的抗干擾能力強(qiáng)。該方法適用于三維電視系統(tǒng)中的深度生成應(yīng)用，在汽車輔助駕駛、計(jì)算機(jī)視覺等實(shí)踐中也可以有廣泛的應(yīng)用。為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種三維電視系統(tǒng)中基于圖像分割的立體匹配方法，具體步驟如下第一步，用平行雙目相機(jī)拍攝左右圖像并對(duì)其進(jìn)行校準(zhǔn)，使圖像對(duì)于同一物體的同一像素點(diǎn)在兩幅圖像中處于同一水平線，以符合立體匹配的限制條件；第二步，利用改進(jìn)的十字聚合立體匹配算法計(jì)算初始視差，對(duì)校準(zhǔn)后的左右圖像進(jìn)行分析，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的十字區(qū)域，進(jìn)一步獲得每個(gè)像素點(diǎn)對(duì)應(yīng)的自適應(yīng)區(qū)域，然后基于自適應(yīng)區(qū)域計(jì)算匹配代價(jià)，最后以匹配代價(jià)最小的視差為最優(yōu)解，得到左圖或者右圖的初始視差，并以此初始視差作為第四步的初始視差；第三步，采用基于圖論的圖像分割算法，對(duì)第一步中校準(zhǔn)后的左圖或右圖利用基于圖論的圖像分割算法進(jìn)行分割，得到的返回值S即為圖的最終分割信息，它將頂點(diǎn)用一系列的標(biāo)號(hào)信息標(biāo)識(shí)歸屬于不同分割區(qū)域，由像素點(diǎn)與頂點(diǎn)的對(duì)應(yīng)關(guān)系，從而就得到了圖像的分割信息，設(shè)置一個(gè)彩色的強(qiáng)度參數(shù)C，對(duì)分割結(jié)果中像素個(gè)數(shù)小于c的分割區(qū)域合并到周圍的大區(qū)塊中；第四步，利用分割后的圖像對(duì)第二步中得到的初始視差信息進(jìn)行中值濾波，得到需要匹配的左圖或右圖的視差圖。所述第一步中，因?yàn)橄鄼C(jī)參數(shù)的不同以及鏡頭畸變的干擾，需要先對(duì)圖像進(jìn)行校準(zhǔn)，使圖像對(duì)于同一物體的同一像素點(diǎn)在兩幅圖像中處于同一水平線，以符合立體匹配的限制條件；為此選取標(biāo)準(zhǔn)圖像Tsukuba圖像對(duì)作為原始圖像，進(jìn)行初始視差的計(jì)算。所述第二步中，采用十字聚合算法對(duì)校準(zhǔn)后的左右圖像進(jìn)行分析，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的十字區(qū)域，進(jìn)一步獲得每個(gè)像素點(diǎn)對(duì)應(yīng)的自適應(yīng)區(qū)域，然后基于自適應(yīng)區(qū)域計(jì)算匹配代價(jià)，最后以匹配代價(jià)最小的視差為最優(yōu)解，得到左圖或者右圖的初始視差。其具體步驟為2-1)對(duì)需要匹配的兩幅圖像分析，獲取每個(gè)像素點(diǎn)對(duì)應(yīng)的十字區(qū)域?qū)斎雸D像上的像素點(diǎn)p = (xp, yp), xp, yp分別表示p點(diǎn)橫縱坐標(biāo)位置,用{hp、 h+P，v_p，v+p}四個(gè)參數(shù)分別表示改像素點(diǎn)十字區(qū)域的左側(cè)，右側(cè)，上側(cè)，下側(cè)臂長。利用十字區(qū)域上像素點(diǎn)與中心點(diǎn)的顏色相似度確定每個(gè)臂長。例如要確定左臂長度hp_，從中心點(diǎn)向左依次檢測(cè)左側(cè)像素點(diǎn)P1與中心點(diǎn)P的相似度，判斷是否相似函數(shù)為
權(quán)利要求
1.一種三維電視系統(tǒng)中基于圖像分割的立體匹配方法，其特征是，具體步驟如下 第一步，用平行雙目相機(jī)拍攝左右圖像并對(duì)其校準(zhǔn)，使圖像對(duì)于同一物體的同一像素點(diǎn)在兩幅圖像中處于同一水平線，以符合立體匹配的限制條件；第二步，利用改進(jìn)的十字聚合立體匹配算法計(jì)算初始視差，即對(duì)校準(zhǔn)后的左右圖像進(jìn)行分析，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的十字區(qū)域，進(jìn)一步獲得每個(gè)像素點(diǎn)對(duì)應(yīng)的自適應(yīng)區(qū)域，然后基于自適應(yīng)區(qū)域計(jì)算匹配代價(jià)，最后以匹配代價(jià)最小的視差為最優(yōu)解，得到左圖或者右圖的初始視差，并以此初始視差作為第四步的初始視差；第三步，采用基于圖論的圖像分割算法，對(duì)第一步中校準(zhǔn)后的左圖或右圖利用基于圖論的圖像分割算法進(jìn)行分割，得到的返回值S即為圖的最終分割信息，它將頂點(diǎn)用一系列的標(biāo)號(hào)信息標(biāo)識(shí)歸屬于不同分割區(qū)域，由像素點(diǎn)與頂點(diǎn)的對(duì)應(yīng)關(guān)系，從而就得到了圖像的分割信息，設(shè)置一個(gè)參數(shù)C，對(duì)分割結(jié)果中像素個(gè)數(shù)小于c的分割區(qū)域合并到周圍的大區(qū)塊中；第四步，利用分割后的圖像對(duì)第二步中得到的初始視差信息進(jìn)行中值濾波，得到需要匹配的左圖或右圖的視差圖。
2.如權(quán)利要求I所述的三維電視系統(tǒng)中基于圖論的圖像分割算法的立體匹配方法，其特征是，所述第二步中，其具體步驟為2-1)對(duì)需要匹配的兩幅圖像分析，獲取每個(gè)像素點(diǎn)對(duì)應(yīng)的十字區(qū)域?qū)斎雸D像上的像素點(diǎn)P = (xp, yp), xp, yp分別表示p點(diǎn)橫縱坐標(biāo)位置,用{hp、h+p, v_p，v；}四個(gè)參數(shù)分別表示改像素點(diǎn)十字區(qū)域的左側(cè)，右側(cè)，上側(cè)，下側(cè)臂長；利用十字區(qū)域上像素點(diǎn)與中心點(diǎn)的顏色相似度確定每個(gè)臂長；確定左臂長度hp_時(shí)，從中心點(diǎn)向左依次檢測(cè)左側(cè)像素點(diǎn)P1與中心點(diǎn)P的相似度，判斷是否相似函數(shù)為
3.如權(quán)利要求I所述的三維電視系統(tǒng)中基于圖論的圖像分割算法的立體匹配方法，其特征是，所述第三步中，基于圖論的圖像分割算法步驟如下3-1)將邊集E按權(quán)值遞增的順序排列到JI= (0l，. . . , om)；3-2)令初始分割為S°，V中的每個(gè)頂點(diǎn)都是初始分割S°中的獨(dú)立分量；3-3)對(duì)于q=l,… m,重復(fù)步驟3-4);3-4)由Strl構(gòu)建Sq時(shí),令中的第q條邊Oq連接的節(jié)點(diǎn)為Vi, Vj,即Oq = (Vi, Vj),若 Vi，'分別屬于Strl中不同的分量，且W(Oq)比兩分量內(nèi)部差異都小，則合并兩分量，否則，不合并；即令Cf-1是S"1中包含Vi的分量，Cf1是包含 ' 的分量，若滿足Cf—1 Wf1和W(Oq)小于Cf-1和Cf的閾值T中的任意一個(gè)，則把Strl中的Cf-1和Cf1合并成一個(gè)分量，得到S%否則 Stl = Stl'即不合并；3-5)返回S = Sm ;返回的S即為圖的分割信息，它將頂點(diǎn)用一系列的標(biāo)號(hào)信息標(biāo)識(shí)歸屬于不同分割區(qū)域，由像素點(diǎn)與頂點(diǎn)的對(duì)應(yīng)關(guān)系，即得到圖像的分割信息。
全文摘要
本發(fā)明公開了一種速度更快的、自適應(yīng)的三維電視系統(tǒng)中基于圖像分割算法的立體匹配方法，以獲取參考圖像的分割信息，并將其應(yīng)用于三維電視系統(tǒng)中，實(shí)時(shí)性較好，獲取深度信息準(zhǔn)確，且對(duì)于圖像噪聲(光照、畸變等)的抗干擾能力強(qiáng)。具體步驟如下第一步，用平行雙目相機(jī)拍攝左右圖像并對(duì)其進(jìn)行校準(zhǔn)；第二步，利用改進(jìn)的十字聚合算法計(jì)算初始視差，得到左圖或右圖的初始視差圖；第三步，采用基于圖論的圖像分割算法，對(duì)第一步中校準(zhǔn)后的左圖或右圖利用基于圖論的圖像分割算法進(jìn)行分割；第四步，利用分割后的圖像對(duì)第二步中得到的初始視差圖信息進(jìn)行中值濾波，得到需要匹配的左圖或右圖的視差圖。
文檔編號(hào)H04N13/00GK102611904SQ20121003381
公開日2012年7月25日 申請(qǐng)日期2012年2月15日 優(yōu)先權(quán)日2012年2月15日
發(fā)明者李冉冉, 陳輝 申請(qǐng)人:山東大學(xué)