專(zhuān)利名稱(chēng)：多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法
技術(shù)領(lǐng)域：
本發(fā)明設(shè)計(jì)一種多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，屬于視頻圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
用于多視點(diǎn)視頻系統(tǒng)的塊匹配法是最常用的兩個(gè)視頻圖像之間的視差計(jì)算方法，其基本思想是將目標(biāo)圖像分割為固定尺寸的塊，并搜索每個(gè)塊在參考圖像中的最佳匹配。經(jīng)典的搜索技術(shù)是在搜索窗內(nèi)的完全搜索，其基本算法如下(設(shè)塊尺寸為N乘N)若f(T′)＝min(f(T))，則視差d＝T’，其中 T=m2+n2]]>T為圖像塊的空間位移量；T’是目標(biāo)圖像和參考圖像中兩個(gè)對(duì)應(yīng)圖像塊之間相關(guān)性達(dá)到最大時(shí)的空間位移量；m、n分別是空間位移量T的橫坐標(biāo)和縱坐標(biāo)，fl、fr是目標(biāo)圖像和參考圖像中兩個(gè)對(duì)應(yīng)圖像塊的像素灰度值。
傳統(tǒng)的塊匹配視差估計(jì)算法由于算法簡(jiǎn)單、計(jì)算量小而被普遍采用。然而，對(duì)整個(gè)目標(biāo)圖像進(jìn)行完全搜索時(shí)，其計(jì)算量很大。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，在傳統(tǒng)的塊匹配基礎(chǔ)上提出了基于立體攝像幾何及視頻特性的自適應(yīng)算法，提高了視差計(jì)算的效率。
本發(fā)明提出的多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，包括以下步驟(1)利用塊匹配法計(jì)算目標(biāo)視頻圖像中第一幀視頻圖像的完整視差；(2)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，以LW為搜索半徑，對(duì)參考視頻圖像進(jìn)行有限搜索；(3)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(4)；(4)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向左對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW1；(5)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(6)；(6)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向右對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW2；(7)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則取目標(biāo)視頻圖像中平均象素灰度差最小的圖像塊作為對(duì)應(yīng)的圖像塊，進(jìn)行步驟(8)；(8)根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差。
本發(fā)明提出的多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，其優(yōu)點(diǎn)是提高了算法的計(jì)算效率，只需比傳統(tǒng)的塊匹配算法更少的計(jì)算量，就可以得到相同的視差計(jì)算結(jié)果的準(zhǔn)確性。
具體實(shí)施例方式
本發(fā)明提出的多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，首先利用塊匹配法計(jì)算目標(biāo)視頻圖像中第一幀視頻圖像的完整視差；以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，以LW為搜索半徑，對(duì)參考視頻圖像進(jìn)行有限搜索；若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向左對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW1；若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向右對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW2；若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則取目標(biāo)視頻圖像中平均象素灰度差最小的圖像塊作為對(duì)應(yīng)的圖像塊，根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差。
在多視點(diǎn)攝像系統(tǒng)中，方向性與均勻性是與視差有關(guān)的兩個(gè)性質(zhì)，在視差計(jì)算時(shí)若能充分利用這些幾何特性，可以簡(jiǎn)化視差匹配的算法，實(shí)現(xiàn)快速匹配1、方向性對(duì)于同一景物，其透視投影左圖像相對(duì)于右圖像局部地向水平方向的反方向移動(dòng)。也就是說(shuō)，如果正水平方向是向右，則同一空間點(diǎn)在左圖像中的投影位置比右圖像偏左。這個(gè)特性為本算法的方向性搜索提供了依據(jù)，比如在搜索左圖像各塊在右圖像中的匹配塊時(shí)，可優(yōu)先向右方搜索。
2、均勻性偏振線上相鄰圖像子塊間的視差差異實(shí)際上是很小的，因此，在進(jìn)行視差匹配時(shí)，以鄰近塊已求出的視差矢量作為參考，在小范圍內(nèi)搜索當(dāng)前塊的視差矢量，能迅速準(zhǔn)確地搜索出當(dāng)前視差這一特性，稱(chēng)之為有限搜索。
視差計(jì)算的目的是應(yīng)用于視頻的編、解碼，因此可以結(jié)合視頻的特性，即相鄰視頻幀間的視差相關(guān)度非常高，進(jìn)一步提高塊匹配的效率；另外，由于算法是應(yīng)用于視頻，可以利用前面視頻幀的搜索結(jié)果來(lái)修改本幀的參數(shù)值，從而使得參數(shù)本身可以自動(dòng)適應(yīng)視頻的特性。
對(duì)于視頻的第一幀，采用傳統(tǒng)搜索算法得到其完整視差；從第二幀開(kāi)始，每一幀都在前一幀的視差結(jié)果基礎(chǔ)上進(jìn)行視差計(jì)算。
本發(fā)明方法中的搜索半徑LW、DW1和DW2，必須根據(jù)對(duì)目標(biāo)圖像進(jìn)行搜索的結(jié)果不斷調(diào)整，以提高搜索效率。三個(gè)搜索半徑參數(shù)的調(diào)整方法完全相同，以下以LW為例進(jìn)行說(shuō)明為每一幀圖像設(shè)定一個(gè)調(diào)整參數(shù)ALW，則第n+1幀圖像的LW＝(第n幀的ALW+第n-1幀的ALW+第n-2幀的ALW)/3，其中第n幀的ALW根據(jù)本幀在LW范圍內(nèi)搜索后的結(jié)果是否滿足匹配準(zhǔn)則而定，若滿足匹配準(zhǔn)則，則第n幀的ALW為搜索到的視差值與上一幀視差值差的絕對(duì)值；若不滿足匹配準(zhǔn)則，則第n幀的ALW為第n-1幀的ALW加9。
上述匹配準(zhǔn)則可采用平均絕對(duì)差準(zhǔn)則(MAD)或其他的相似度準(zhǔn)則，這里定義一種離散度準(zhǔn)則，性能優(yōu)于一般的MAD準(zhǔn)則。設(shè)fl(i，j)、fr(i，j)為參考視頻圖像和目標(biāo)視頻圖像塊的像素灰度，塊的尺寸為N乘以N，在滿足立體平行攝像系統(tǒng)條件下，定義離散度函數(shù)為當(dāng)B(d)為最小時(shí)，兩個(gè)圖像塊達(dá)到匹配，此時(shí)的d即為兩圖像塊之間的視差。
B(d)=Σi=0N-1Σj=0N-1(fl(i,j)-fr(i+d,j))2Σi=0N-1Σj=0N-1(fl(i,j)+fr(i+d,j))2]]>
權(quán)利要求
1.一種多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，其特征在于該方法包括以下步驟(1)利用塊匹配法計(jì)算目標(biāo)視頻圖像中第一幀視頻圖像的完整視差；(2)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，以LW為搜索半徑，對(duì)參考視頻圖像進(jìn)行有限搜索；(3)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(4)；(4)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向左對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW1；(5)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(6)；(6)以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，向右對(duì)參考視頻圖像進(jìn)行方向搜索，搜索范圍為L(zhǎng)W+1～LW+DW2；(7)若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則進(jìn)行步驟(8)，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則取目標(biāo)視頻圖像中平均象素灰度差最小的圖像塊作為對(duì)應(yīng)的圖像塊，進(jìn)行步驟(8)；(8)根據(jù)目標(biāo)視頻圖像中圖像塊的位置和搜索到的參考圖像塊的位置，得到目標(biāo)視頻圖像中的圖像塊與參考視頻圖像中相應(yīng)圖像塊之間的視差。
全文摘要
本發(fā)明涉及一種多視點(diǎn)系統(tǒng)中視頻圖像的視差計(jì)算方法，屬于視頻圖像處理技術(shù)領(lǐng)域。首先利用塊匹配法計(jì)算目標(biāo)視頻圖像中第一幀視頻圖像的完整視差；以上一幀目標(biāo)視頻圖像中的相應(yīng)圖像塊的視差值為當(dāng)前位置，對(duì)參考視頻圖像進(jìn)行有限搜索和方向搜索；若在參考視頻圖像中搜索到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則得到視差，若搜索不到與目標(biāo)視頻圖像中相對(duì)應(yīng)的圖像塊，則繼續(xù)搜索，直到最后，取目標(biāo)視頻圖像中平均象素灰度差最小的圖像塊作為對(duì)應(yīng)的圖像塊，得到視差。本發(fā)明方法提高了視差計(jì)算的效率。
文檔編號(hào)H04N13/00GK1688168SQ20051007747
公開(kāi)日2005年10月26日 申請(qǐng)日期2005年6月24日 優(yōu)先權(quán)日2005年6月24日
發(fā)明者張虎, 孫立鋒, 楊士強(qiáng) 申請(qǐng)人:清華大學(xué)