專利名稱：基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)、基于雙鏡頭的多視點(diǎn)立體圖像的獲取。具體講本發(fā)明涉及基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法。
背景技術(shù)：
目前的虛擬視點(diǎn)生成方案一、Eric Chen提出一種生成虛擬視點(diǎn)圖像的方法，它首先要已知攝相機(jī)的位置方 向參數(shù)和圖像的像素深度信息，由此建立圖像間的匹配關(guān)系，通過線性插值，可生成當(dāng)前視 點(diǎn)的虛擬場(chǎng)景畫面。由于需預(yù)先提供相機(jī)參數(shù)和深度信息，這種方法在應(yīng)用上有很大局限 性。二、McMillan提出一種通過重投影拼接生成新視點(diǎn)圖像的方法，它假定采集的圖 像都是以相同的攝像機(jī)內(nèi)參數(shù)拍攝的，而這是不可能實(shí)現(xiàn)的，因此，在應(yīng)用中也存在局限 性。三、三維透視重投影本身不是一個(gè)線性變換，但是，對(duì)于平行面圖像之間的重投影 可以通過線性插值實(shí)現(xiàn)。Seitz根據(jù)這一性質(zhì)，提出了 VIEW M0RPHING這種方法，將源圖像 變換到一個(gè)規(guī)范化的結(jié)構(gòu)模式定義下，使得它們的圖像平面與視點(diǎn)連線平行后，通過對(duì)應(yīng) 點(diǎn)插值產(chǎn)生對(duì)應(yīng)于新視點(diǎn)的中間圖像，再經(jīng)過一個(gè)后置變換將中間插值生成的圖像還原到 初始的結(jié)構(gòu)模式環(huán)境，從而實(shí)現(xiàn)新視點(diǎn)圖像生成。Seitz提出了一種可以作為生成新視點(diǎn)圖 像的原理框架算法，但在實(shí)際應(yīng)用中，受圖像像素匹配精度影響，所得圖像質(zhì)量并不好。并 且，該方法只適應(yīng)攝像機(jī)環(huán)繞景物運(yùn)動(dòng)采集的源圖像，對(duì)攝像機(jī)前后運(yùn)動(dòng)采集的圖像無(wú)能 為力。四、大連理工大學(xué)的胡志萍在其博士論文《圖像特征提取匹配和新視點(diǎn)圖像生成 技術(shù)研究》中提出一種基于攝像機(jī)橫向和縱向移動(dòng)采集的圖像生成新視點(diǎn)圖像的方法，該 方法在生成圖像中優(yōu)先保證輪廓對(duì)應(yīng)。對(duì)于通過攝像機(jī)橫向和縱向運(yùn)動(dòng)采集的四幅圖像的 視點(diǎn)所圍成的四邊形內(nèi)任意一新視點(diǎn)的圖像，可通過生成兩個(gè)縱向視點(diǎn)變化連線上的輔助 視點(diǎn)圖像實(shí)現(xiàn)。這兩個(gè)輔助視點(diǎn)的連線通過新視點(diǎn)，圍繞景物做的環(huán)繞運(yùn)動(dòng)。再由輔助視 點(diǎn)圖像生成新視點(diǎn)圖像。新視點(diǎn)圖像生成算法具體如下1.由基于點(diǎn)特征和線特征的寬基線匹配得到源圖像之間的極線幾何約束。2.由直線段間的相對(duì)位置和極線幾何約束關(guān)系確定兩幅圖像間的直線段對(duì)應(yīng)關(guān) 系再根據(jù)極線幾何約束關(guān)系，確定兩幅圖像輪廓點(diǎn)的精確對(duì)應(yīng)關(guān)系。3.根據(jù)極點(diǎn)位置判斷攝像機(jī)運(yùn)動(dòng)方式，如為攝像機(jī)縱向運(yùn)動(dòng)，經(jīng)過預(yù)處理，確定遠(yuǎn) 視點(diǎn)圖像中的無(wú)對(duì)應(yīng)區(qū)域。以遠(yuǎn)視點(diǎn)圖像中的對(duì)應(yīng)區(qū)域和近視點(diǎn)圖像作為源圖像。4.對(duì)兩 幅源圖像進(jìn)行校正，校正圖像中對(duì)應(yīng)極線位于同一水平線上，確定遍歷整個(gè)圖像的對(duì)應(yīng)極 線。把圖像中所有源極線的位置，即源極線與圖像邊界的交點(diǎn)坐標(biāo)，存于坐標(biāo)數(shù)組中，把所 有源極線上像素的顏色存于顏色數(shù)組中，相應(yīng)的每條源極線的長(zhǎng)度存于長(zhǎng)度數(shù)組中。
5.對(duì)所有源極線按對(duì)應(yīng)輪廓點(diǎn)進(jìn)行分段，得到對(duì)應(yīng)極線的對(duì)應(yīng)段。把分段后的信 息存于分段數(shù)組中，它們包括每段的起點(diǎn)和終點(diǎn)像素在源極線上的位置。6.由動(dòng)態(tài)規(guī)劃匹配法根據(jù)灰度的相似性實(shí)現(xiàn)對(duì)應(yīng)段內(nèi)點(diǎn)與點(diǎn)之間的匹配。把匹配 關(guān)系存于匹配數(shù)組中。7.根據(jù)對(duì)應(yīng)源極線上對(duì)應(yīng)點(diǎn)之間的插值生成新視點(diǎn)校正圖像的極線。生成極線的 位置存于極線位置數(shù)組，生成極線的顏色存于極線顏色數(shù)組中，相應(yīng)的每條極線的長(zhǎng)度存 于極線數(shù)組中。8.根據(jù)保存的極線端點(diǎn)的位置，將新視點(diǎn)的校正圖像后置變換為新視點(diǎn)圖像。如 為攝像機(jī)縱向運(yùn)動(dòng)采集圖像，生成的為初始目標(biāo)圖像。9.對(duì)攝像機(jī)前后運(yùn)動(dòng)時(shí)，處理極線上的無(wú)對(duì)應(yīng)區(qū)域。10.用周圍像素點(diǎn)的加權(quán)平均來(lái)填補(bǔ)新視點(diǎn)圖像中的空洞。此算法針對(duì)的不是兩幅視圖平行的情況，首先得將圖像預(yù)變換在同一平面上，然 后進(jìn)行匹配，且用的是動(dòng)態(tài)規(guī)劃的匹配方法，復(fù)雜度較高，插值生成后的圖像還得進(jìn)過后變 換來(lái)得到最后的虛擬視點(diǎn)圖像。預(yù)變換和后變換都會(huì)有偏差，導(dǎo)致最后得到的并不是真正 虛擬視點(diǎn)處的圖像。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于準(zhǔn)確獲取雙鏡頭的多視點(diǎn)立體圖像， 得到真正虛擬視點(diǎn)處的圖像。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是，基于左右視點(diǎn)圖像的中間視點(diǎn)快速、 自適應(yīng)生成算法，包括下列步驟首先輸入攝像機(jī)拍攝的左右兩視點(diǎn)圖像，依據(jù)Harris算子分別提取左右兩幅圖 像的角點(diǎn)；使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)，再利用RANSAC算法 剔除錯(cuò)誤的匹配點(diǎn)對(duì)；對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaimay三角剖 分，形成三角網(wǎng)；利用線性插值的方法找出中間虛擬視點(diǎn)圖像對(duì)應(yīng)的三角網(wǎng)，對(duì)于虛擬視點(diǎn)圖像的 每一個(gè)三角網(wǎng)格求出一個(gè)逆變換矩陣；利用逆變換矩陣，求出三角網(wǎng)格中每一點(diǎn)在左右視點(diǎn)圖像中對(duì)應(yīng)的點(diǎn)，將對(duì)應(yīng)點(diǎn) 的像素值賦給中間虛擬視點(diǎn)網(wǎng)格中的點(diǎn)，最終，可以產(chǎn)生中間虛擬視點(diǎn)的圖像。所述使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)，再利用RANSAC 算法剔除錯(cuò)誤的匹配點(diǎn)對(duì)，進(jìn)一步細(xì)化為，首先在已提取出角點(diǎn)的左視圖中取一角AP1G, j)，然后在待匹配的右視圖中以像素點(diǎn)(i，j)為中心，取一個(gè)MXN的矩形，將矩形中的每 個(gè)提取出來(lái)的角點(diǎn)P2與？工點(diǎn)進(jìn)行相似度衡量，相似度大于預(yù)設(shè)閾值0. 8的點(diǎn)即為可能匹配 點(diǎn)。順序?qū)⒆笠晥D中的每個(gè)特征點(diǎn)與右視圖匹配，得到左右視圖對(duì)中所有的可能的匹配角 點(diǎn)對(duì)，最后利用RANSAC算法對(duì)匹配點(diǎn)對(duì)再進(jìn)行錯(cuò)誤匹配點(diǎn)對(duì)的剔除，其中，Pi與？工的相似 度衡量是用相關(guān)窗口(2k+l) (21+1)內(nèi)圖像子區(qū)域的歸一化協(xié)方差相關(guān)值來(lái)確定。所述對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaimay三角剖分，形成三角網(wǎng)，進(jìn)一步細(xì)化為(1)構(gòu)造一個(gè)超級(jí)三角形，包含所有散點(diǎn)，放入三角形鏈表；(2)將點(diǎn)集中的散點(diǎn)依次插入，在三角形鏈表中找出其外接圓包含插入點(diǎn)的三角形，稱為該點(diǎn)的影響三角形，刪除影響三角形的公共邊，將插入點(diǎn)同影響三角形的全部頂點(diǎn) 連接起來(lái)，從而完成一個(gè)點(diǎn)在Delaimay三角形鏈表中的插入；(3)根據(jù)優(yōu)化準(zhǔn)則對(duì)局部新形成的三角形進(jìn)行優(yōu)化。將形成的三角形放入 Delaunay三角形鏈表；(4)循環(huán)執(zhí)行上述兩步，直到所有散點(diǎn)插入完畢。本發(fā)明可以產(chǎn)生如下的有益效果本發(fā)明所使用的算法是基于平行視圖，所以避免了預(yù)變換和后置變換，并且匹配 復(fù)雜度低，匹配精度高，所以整個(gè)系統(tǒng)的復(fù)雜度較低，生成的圖像較好。本設(shè)計(jì)綜合運(yùn)用角 點(diǎn)檢測(cè)技術(shù)、匹配、三角剖分以及插值等，提出來(lái)了一套完整的中間虛擬視點(diǎn)生成算法，并 可制作成軟件，便于應(yīng)用。


圖ISUSAN圓形模板。圖2在右視圖搜索P1 (i，j)點(diǎn)的對(duì)應(yīng)點(diǎn)。圖3逐點(diǎn)插入法圖。圖4Delaunay網(wǎng)格的變形過程示意。圖5算法流程。圖6左視圖。圖7右視圖。圖8左視圖角點(diǎn)圖。圖9右視圖角點(diǎn)圖。圖10匹配后的左右視圖。圖11三角剖分。圖12虛擬視點(diǎn)圖像圖。
具體實(shí)施例方式本本發(fā)明所使用的技術(shù)背景簡(jiǎn)介如下。角點(diǎn)檢測(cè)算法1、SUSAN 算子SUSAN算子使用的是圓形模板(又稱為窗口或核)來(lái)進(jìn)行角點(diǎn)探測(cè)，圓形模板有等 方向性的特點(diǎn).一股使用模板的半徑為3 4個(gè)像元，如圖1所示.模板置于每一個(gè)像元，將模板的每一個(gè)像元與中心像元進(jìn)行比較，
<formula>formula see original document page 5</formula>=O,其他⑴在模板中/f)為像元^T的灰度值，t為灰度差別的閾值，c叫做相似比較函數(shù)，為
模板中心的像素J為其他的像素.模板中所有像元都進(jìn)行這個(gè)比較，然后計(jì)算c的合計(jì)值 η.n(r0) = Y4C(Vj0)⑵合計(jì)值η就是USAN區(qū)域的像元個(gè)數(shù)，即獲得了 USAN區(qū)域的面積.下一步把它與 幾何閾值進(jìn)行比較獲得最終的響應(yīng)函數(shù).
R(r0) = g ~ n(r0), n(r0) < g;
=0,其他.(3)式中R為響應(yīng)函數(shù)，g為固定閾值，探測(cè)角點(diǎn)時(shí)g選取-模板像元個(gè)數(shù)，7X7模板
^g = 37x 去。2、沈俊算子對(duì)數(shù)字圖像分別按行和列各進(jìn)行兩次反向的遞歸濾波計(jì)算。設(shè)原數(shù)字圖像f (X，y)，先按行進(jìn)行(0 < χ < η)f^x, y) = f^x, y-l)+a0X [f(x, y)-f1(x, y-1)] y = l，2，3，...，nf2(x, y) = f2(x, y-l)+a0X Lf1 (x, y)-f2(x, y+1)] y = n-1, n~2,…，1，0式中，f2(x，y)即為按行進(jìn)行正、反向兩次遞歸濾波后的輸出，其中，aQ是(0，1)之 間的一個(gè)數(shù)，當(dāng)％越接近于1，邊緣檢測(cè)的定位精度越高；隨著％的減小，抗干擾能力增強(qiáng)， 但邊緣細(xì)節(jié)丟失增多，邊緣檢測(cè)的精度將受影響。在此基礎(chǔ)上再對(duì)它按列(0 < y < η)進(jìn) 行兩次正、反向?yàn)V波，即f3 (χ. y) = f3 (x-1, y) +a0 X [f2 (χ, y) -f3 (χ-1, y) ]x=l，2，...，nf4(x, y) = f4(x+l, y)+a0X [f3(x, y)-f4(x+l, y) ]x = n-l，n_2，…，1，0這樣f4(X，y)即為第一步運(yùn)算結(jié)果。計(jì)算f4 (χ, y)與原圖像的差，并對(duì)其進(jìn)行二值化處理，將所有的正值都賦1，其他像 素都為0。設(shè)某一閾值t，除去二值化后面積小于閾值t的區(qū)域，則留下的區(qū)域的邊界即為差 值圖像的零交叉點(diǎn)，為候選邊緣點(diǎn)。對(duì)于上述的每一零交叉點(diǎn)，取一個(gè)以該點(diǎn)為中心的窗口 W，W中對(duì)應(yīng)于二值化中1 區(qū)域和0區(qū)域的兩部分在原始圖像中的灰度值的均值之差即作為該點(diǎn)的灰度梯度值，保留 灰度梯度值大于某一閾值的零交叉點(diǎn)，即為最終求得的邊緣。3、Harris 算子 Harris算子是本專利所使用的算子，是C. Harris和M. J. Stephens提出的一種基 于信號(hào)的點(diǎn)特征提取算子，具有計(jì)算簡(jiǎn)單、提取的角點(diǎn)特征均勻合理、可以定量提取特征點(diǎn) 以及算子穩(wěn)定的特點(diǎn)。
匹配算法1、基于灰度匹配的方法這是本專利所使用的，基于灰度匹配的方法。也稱作相關(guān)匹配算法，用空間二維滑 動(dòng)模板進(jìn)行圖像匹配，不同算法的區(qū)別主要體現(xiàn)在模板及相關(guān)準(zhǔn)則的選擇方面。已有的基于灰度的匹配方法很多，如=Leese于1971年提出的MAD算法為使模板 匹配高速化。Barnea于1972年提出了序貫相似性檢測(cè)法——SSDA法，這種算法速度有了 較大提高，但是其精度低，匹配效果不好，而且易受噪聲影響。隨后陳寧江等提出的歸一化 灰度組合相關(guān)法，山海濤等提出基于灰度區(qū)域相關(guān)的歸一化灰度匹配法等。其中，歸一化積 相關(guān)匹配法較其它方法更具有優(yōu)勢(shì)。設(shè)參考圖S是大小為MXM的圖像，實(shí)時(shí)圖T是大小為NXM的圖像，并且M > N。 圖像匹配是將實(shí)時(shí)圖T疊放在參考圖S上平移，模板覆蓋下的那塊大小為NXN的搜索范圍 圖叫做子圖Suv，(u, ν)為這塊子圖的左上角像點(diǎn)在圖中的坐標(biāo)，稱為參考點(diǎn)，(u，ν)的取值 范圍為1 ^ u, ν < M-N+1(1)歸一化相關(guān)算法(NCC)
N-IN-I___
Σ Σ ~ ^uv ~NCC(U^v) =_2 jN N _2
y χ=0 ^=O\ χ=1 ^=I(2)式中&和〒分別為像圖和實(shí)時(shí)圖的均值
__1 N-IN-ISuv = ΤΤ^ΣΣ^ν^^)
7V ^=1(3)
_ι N-IN-IT = —τΣΣΤ(χ^">
iv y=i(4)基于灰度相關(guān)匹配能夠獲得較高的定位精度，但是它的運(yùn)算量大，難以達(dá)到實(shí)時(shí) 性要求。2、基于特征匹配的方法基于特征匹配的方法。首先在原始圖像中提取特征，然后再建立兩幅圖像之間特 征的匹配對(duì)應(yīng)關(guān)系。常用的特征匹配基元包括點(diǎn)、線、區(qū)域等顯著特征。圖像特征相比像素點(diǎn)數(shù)量上少 得多，特征間的匹配度量隨位置變化尖銳，容易找出準(zhǔn)確的匹配位置，特征提取能大大減少 噪聲影響，對(duì)灰度變化、形變和遮擋有較強(qiáng)的適應(yīng)力?；谔卣鞯膱D像匹配方法在實(shí)際中的 應(yīng)用越來(lái)越廣泛，也取得了很大的成果，基于圖像特征的匹配方法主要有以下四種(1)圖像點(diǎn)匹配技術(shù)。圖像點(diǎn)匹配技術(shù)可以分為兩類一類是建立模板和待匹配 圖像的特征點(diǎn)集之間的點(diǎn)一點(diǎn)對(duì)應(yīng)關(guān)系，然后計(jì)算對(duì)應(yīng)點(diǎn)之間的相似性度量來(lái)確定圖像匹 配與否；另一類是無(wú)須建立顯示的點(diǎn)-點(diǎn)對(duì)應(yīng)關(guān)系，主要有最小均方差匹配、快速點(diǎn)匹配、 Hausdorff點(diǎn)距離匹配等。(2)邊緣線匹配技術(shù)。邊緣線可以通過區(qū)域分割、邊緣檢測(cè)等得到。采用邊緣線段的優(yōu)點(diǎn)是孤立邊緣點(diǎn)的偏差對(duì)邊緣線段的影響很小。還加入邊緣連接性約束。(3)閉合輪廓匹配技術(shù)。輪廓匹配，是模式識(shí)別和三維重建的一個(gè)最基本問題，常見的有Fourier描述子、HRP描述子等。Fourier描述子反映的是輪廓線的全局特征。HRP描述子相比則反映了閉合邊界的局部特征，能夠很好的處理輪廓線的局部變化和遮掩性，降低了算法的復(fù)雜度。(4)使用高級(jí)特征的匹配技術(shù)。利用圖像特征間的幾何約束，將特征屬性值之間簡(jiǎn)單比較的結(jié)果作為相似性度量，從而進(jìn)一步提高匹配算法的速度。主要有圖像匹配法、松弛法和能量最小化法等?；谔卣髌ヅ浞椒?，一股都具有較好抗幾何失真和灰度失真的能力，對(duì)噪聲干擾也有一定的抑制能力，其難點(diǎn)在于自動(dòng)、穩(wěn)定、一致的特征提取，并且特征提取過程會(huì)損失大量的圖像信息，因而不易硬件實(shí)現(xiàn)。目前，對(duì)自然環(huán)境下的景物圖像進(jìn)行分割或特征提取仍然是一項(xiàng)困難的工作。三角剖分算法1、分治算法Shamos和Hoey提出了分治算法的思想，并給出一個(gè)生成Voronoi圖的分治算法。Lewis和Robinson將分治算法思想應(yīng)用于生成Delaunay三角網(wǎng)。他們給出了一個(gè)“問題簡(jiǎn)化”算法，遞歸地分割點(diǎn)集，直至子集中只包含三個(gè)點(diǎn)而形成三角形，然后自下而上地逐級(jí)合并生成最終的三角網(wǎng)。以后Lee和Schachter又改進(jìn)和完善了Lewis和Robinson的算法。Lee 和 Schachter 算法把點(diǎn)集{Pi}以橫坐標(biāo)為主，縱坐標(biāo)為輔按升序排序，然后遞歸地執(zhí)行以下步驟(1)把點(diǎn)集{Pi}分為近似相等的兩個(gè)子集{PL}和{PR}。(2)在{PL}和{ΡR}中生成三角網(wǎng)。(3)用Lawson提出的局部?jī)?yōu)化算法LOP優(yōu)化所生成的三角網(wǎng)，使之成為Delaunay三角網(wǎng)。(4)找出連接{PL}和{Ρκ}中兩個(gè)凸殼的底線和頂線。(5)由底線至頂線合并{PL}和{Ρκ}中的兩個(gè)三角網(wǎng)。2、三角網(wǎng)生長(zhǎng)法Green和Sibson首次實(shí)現(xiàn)了一個(gè)生成Dirichlet多邊形圖的生長(zhǎng)算法。Brassel和Reif也發(fā)表了類似的算法。McCullagh和Ross通過把點(diǎn)集分塊和排序改進(jìn)了點(diǎn)搜索方法，減少了搜索時(shí)間。Maus也給出了一個(gè)非常相似的算法。三角網(wǎng)生成算法的基本步驟是(1)以任一點(diǎn)為起始點(diǎn)。(2)找出與起始點(diǎn)最近的數(shù)據(jù)點(diǎn)相互連接形成Delaunay三角形的一條邊作為基 線，按Delaunay的兩條基本性質(zhì)，找出與基線構(gòu)成Delaunay三角形的第三點(diǎn)。(3)基線的兩個(gè)端點(diǎn)與第三點(diǎn)相連，成為新的基線。(4)迭代以上兩步直至所有基線都被處理。上述過程表明，三角網(wǎng)生長(zhǎng)算法的思路是，先找出點(diǎn)集中相距最短的兩點(diǎn)連接成為一條Delaunay邊，然后按照Delaunay三角網(wǎng)的性質(zhì)找出包含此邊的Delaunay三角形的另一個(gè)端點(diǎn)，依次處理所有新生成的邊，直至最終完成。
3、逐點(diǎn)插入法逐點(diǎn)插入算法是本專利所采用的算法，思路非常簡(jiǎn)單，先在包含所有數(shù)據(jù)點(diǎn)的一 個(gè)多邊形中建立初始三角網(wǎng)，然后將余下的點(diǎn)逐一插入，用LOP算法確保其成為Delaimay 三角網(wǎng)。現(xiàn)有圖像變形算法算法根據(jù)特征表達(dá)方式的不同，通?？梢詫⒊Ｒ?guī)的圖像變形算法分為四種網(wǎng)格變形算法，域變形算法，點(diǎn)變形算法和復(fù)雜特征變形算法。1、圖像網(wǎng)格變形算法網(wǎng)格變形算法首先在圖像中選擇若干特征控制點(diǎn)，建立圖像的特征網(wǎng)格模型，通 過改變圖像上有限的控制點(diǎn)，使圖像的其余部分在某種規(guī)則的約束下自動(dòng)調(diào)整，同時(shí)保證 改變控制點(diǎn)的位置僅影響該點(diǎn)附近的一個(gè)小區(qū)域的圖像。網(wǎng)格變形技術(shù)最早是Douglas Smythe在電影Willow中成功應(yīng)用的。這種方法首 先用網(wǎng)格來(lái)控制圖像扭曲，然后再采用溶解技術(shù)獲得中間圖像。該技術(shù)具有快速、直觀和高 效的優(yōu)點(diǎn).Nishita等人利用非均勻控制網(wǎng)格描述特征，提出了基于2D樣條網(wǎng)格映射的圖像 變形方法，該方法首先定義起始圖像和終止圖像間的對(duì)應(yīng)網(wǎng)格點(diǎn)，網(wǎng)格點(diǎn)之間的位移通過 插值方法進(jìn)行計(jì)算。該方法變形速度快，具有局部控制功能，變形效果流暢逼真，但其變形 控制較為困難。宋德軍等人利用B樣條曲面方法構(gòu)造圖像變形中的映射關(guān)系，該算法首先在起始 圖像上標(biāo)定一組特征點(diǎn)，插值生成B樣條曲面，然后由用戶操作改變特征點(diǎn)的位置，再插值 生成與終止圖像相對(duì)應(yīng)的B樣條曲面。該方法使得變形過程更容易控制，也更靈活，但是速 度比較慢。Kouzani等人提出了三角形網(wǎng)格變形算法，該算法能夠獲得更為豐富的變形效果； Takashi等人提出了多分辨網(wǎng)格插值的3D網(wǎng)格變形算法，這種算法易于數(shù)據(jù)存儲(chǔ)，控制能 力強(qiáng)，可以克服傳統(tǒng)技術(shù)中存在的不穩(wěn)定，難于控制以及聯(lián)接不規(guī)則等缺點(diǎn)?；贒elaimay三角剖分的圖像變形方法總體上類似于基于網(wǎng)格變形的方法。2、圖像域變形算法圖像域變形算法是利用起始圖像和終止圖像中有代表性的線段對(duì)來(lái)定義兩幅圖 像間的特征坐標(biāo)映射，其他的點(diǎn)通過到線段的距離來(lái)確定對(duì)準(zhǔn)關(guān)系。通常用逆向映射來(lái)估 計(jì)圖像變形，依次掃描目標(biāo)圖像的每一個(gè)像素，在原始圖像中找出對(duì)應(yīng)像素，這樣目標(biāo)圖像 的每一個(gè)像素都會(huì)有適當(dāng)?shù)奶畛?。圖像域變形算法最早是由Thaddeus Beier和Shawn Neely提出的，這種方法比網(wǎng) 格法更富有表現(xiàn)力且更加容易表達(dá)用戶的設(shè)計(jì)思想。操作中只需要在起始圖像和終止圖像 中的關(guān)鍵特征點(diǎn)處標(biāo)定特征線段對(duì)，不必對(duì)非特征點(diǎn)進(jìn)行標(biāo)定，即可產(chǎn)生相當(dāng)不錯(cuò)的流暢 漸變效果。Vitaly等人提出了利用同構(gòu)平面三角形一致的凸邊界特征實(shí)現(xiàn)變形的方法。該方 法中的相應(yīng)理論認(rèn)為，如果相應(yīng)頂點(diǎn)對(duì)準(zhǔn)的兩個(gè)平面三角形的拓?fù)浣Y(jié)構(gòu)相等，則他們是同 構(gòu)的。在變形過程中，通過角度和邊長(zhǎng)的插值計(jì)算中間平面三角形，三角形的局部特性可以 穩(wěn)定的保持，圖像漸變效果自然。
王建寧等人提出了一種基于三角形特征對(duì)應(yīng)的變形方法，該方法在離散的特征對(duì) 應(yīng)點(diǎn)的基礎(chǔ)之上構(gòu)造了一系列三角形之間的對(duì)應(yīng)關(guān)系，然后通過三角形內(nèi)部的線性關(guān)系求 得圖像間各點(diǎn)的對(duì)應(yīng)關(guān)系。這種做法使得插值的區(qū)域縮小了，加強(qiáng)了局部的信息向?qū)?，在?度上取得了優(yōu)勢(shì)。同時(shí)由于本算法的開銷與場(chǎng)景復(fù)雜度無(wú)關(guān)，而只與圖像大小有關(guān)，所以容 易取得快速、逼真的變形效果。Lee等人提出了一個(gè)分段線性近似的最優(yōu)化方法，該方法加快了域變形處理算法的速度，并且變形效果更加流暢自然。3圖像點(diǎn)變形算法圖像點(diǎn)變形算法是一種新的圖像變形算法，其變形函數(shù)完全建立在對(duì)離散特征點(diǎn) 插值的基礎(chǔ)上。通常圖像對(duì)于特征的描述可歸納為點(diǎn)、線段或者曲線的集合。另一方面，由 于線段和曲線都是由點(diǎn)組成的，所以所有對(duì)于特征的描述可以完全統(tǒng)一為一個(gè)點(diǎn)集合。這 樣基于點(diǎn)特征的圖像漸變?cè)鰪?qiáng)了形狀變化與交叉融合溶解度的控制，利用非統(tǒng)一混和技術(shù) 還可以產(chǎn)生不同混和率下的更加有趣的特技動(dòng)畫效果。Lee等人提出了基于能量函數(shù)的最小化算法，根據(jù)點(diǎn)對(duì)集合的位置約束產(chǎn)生 Cl-連續(xù)和一對(duì)一的變形，利用多網(wǎng)格松弛方法(MRM)求解產(chǎn)生變形或過渡變換率的線性 系統(tǒng)。算法的關(guān)鍵問題是如何將特征用一個(gè)點(diǎn)集表示。算法可以產(chǎn)生自然的形變效果，避 免圖像折疊失真，但是其計(jì)算量較高。Lee等人還提出了多級(jí)自由形態(tài)變形(MFFD)的概念， 是對(duì)Sederberg等人提出的FFD技術(shù)的擴(kuò)展。通過分層控制格產(chǎn)生一一對(duì)應(yīng)的C2-連續(xù)變 形函數(shù)，得到流暢的圖像漸變效果。算法增強(qiáng)了特征表現(xiàn)力，簡(jiǎn)化了人工操作。自組織特征映射算法的主要目標(biāo)是，自適應(yīng)的在一個(gè)拓?fù)渑判蚍绞较?，將任意維 的模式變換到一維或者二維神經(jīng)元陣列上。算法可應(yīng)用到矢量量化、語(yǔ)音識(shí)別、人臉識(shí)別等 不同領(lǐng)域。Su等人提出了基于Kohonen自組織特征映射的算法來(lái)實(shí)現(xiàn)2D圖像的變形。利 用一個(gè)簡(jiǎn)化的圖像模型確定鄰域位置函數(shù)，從而獲得自然的變形效果，僅利用少量的控制 點(diǎn)就可以提供豐富的圖像漸變效果。4、復(fù)雜特征變形算法復(fù)雜特征變形算法中應(yīng)用了一些先進(jìn)技術(shù)和理論，這些技術(shù)對(duì)于傳統(tǒng)方法進(jìn)行了 補(bǔ)充和擴(kuò)展。傳統(tǒng)技術(shù)的局限性包括，無(wú)法進(jìn)行不同視角圖像的漸變，無(wú)法填充形狀變換產(chǎn) 生的空洞，無(wú)法對(duì)單獨(dú)的一幅圖像進(jìn)行漸變處理，無(wú)法實(shí)現(xiàn)超過兩幅圖像的漸變等等。復(fù)雜 特征漸變已經(jīng)弱化了傳統(tǒng)意義上的特征的概念，更加注重漸變表達(dá)的生動(dòng)性，以及超現(xiàn)實(shí) 的視覺特技。Seitz和Dyer提出了一種View Morphing技術(shù)，它可以保證生成圖像的真實(shí)性，且 不需要知道圖像的3D信息，這避免了圖像的3D重建，因而具有極大的應(yīng)用價(jià)值。一股的視 圖變形技術(shù)需要知道圖像的投影矩陣，可是用目前的技術(shù)，從圖像直接獲得投影矩陣是很 困難的。View Morphing技術(shù)事先不需要知道圖像的投影矩陣，就可以對(duì)攝像機(jī)剛體運(yùn)動(dòng)所 獲得的兩幅圖像進(jìn)行插補(bǔ)運(yùn)算，獲得中間視點(diǎn)的圖像.該算法具有手工操作量少，視覺效 果自然的特點(diǎn)。Paul等人提出了一種利用2D離散小波產(chǎn)生視點(diǎn)漸變的視角合成技術(shù)。該技術(shù)不 需要攝像機(jī)校準(zhǔn)和圖像深度信息。首先估計(jì)出視點(diǎn)圖像對(duì)的基本矩陣，然后進(jìn)行平行視點(diǎn) 轉(zhuǎn)換和圖像預(yù)變換。利用小波變換方法對(duì)變換后的圖像對(duì)分層處理。兩幅圖像中的對(duì)應(yīng)小波系數(shù)通過線性插值產(chǎn)生多分辨率的中間視點(diǎn)，最后進(jìn)行圖像后處理產(chǎn)生正確視點(diǎn)圖像。Lee等人擴(kuò)展了傳統(tǒng)的基于兩幅圖像間的變形技術(shù)，提出了基于多幅圖像間的變 形算法，它是一種有效的圖像特征區(qū)域選擇合成技術(shù)，可進(jìn)行多幅圖像控制選擇區(qū)域間的 無(wú)縫拼接或非統(tǒng)一的特征混和。本發(fā)明目的在于目前，多視點(diǎn)立體圖像的實(shí)時(shí)獲取方法與技術(shù)仍然是多視點(diǎn)自由立體成像技術(shù)尚 未解決的瓶頸問題。要實(shí)時(shí)采集多個(gè)視點(diǎn)的立體圖像，通常的做法是用平行排列的N個(gè)攝 像機(jī)同時(shí)拍攝同一場(chǎng)景，從而來(lái)獲得不同位置(視點(diǎn))的N幅圖像。但這種方法本身存在 許多問題(1)系統(tǒng)笨重，實(shí)時(shí)采集不方便，只能用于固定場(chǎng)景的多視點(diǎn)立體圖像獲取。(2) 由于舒適容像的需要，對(duì)多個(gè)攝像機(jī)的光學(xué)參數(shù)和成像參數(shù)的一致性程度提出了非常高的 要求，給校準(zhǔn)、光學(xué)系統(tǒng)的調(diào)整帶來(lái)了很大的難度。(3)采集到的多視點(diǎn)圖像數(shù)據(jù)量過大，不 利于壓縮、傳輸和存儲(chǔ)。而通過本發(fā)明提出的算法，不需要多臺(tái)平行的攝像機(jī)，而只用兩臺(tái)平行的相隔一 定距離的攝像機(jī)，獲得兩幅平行的有視差的圖像，再通過本專利所使用的算法就可以生成 兩攝像機(jī)中間多個(gè)視點(diǎn)位置的虛擬視點(diǎn)圖像。下面進(jìn)一步詳細(xì)說(shuō)明本發(fā)明的技術(shù)方案。一 .首先輸入攝像機(jī)拍攝的左右兩視點(diǎn)圖像，依據(jù)Harris算子分別提取左右兩幅 圖像的角點(diǎn)。Harris算子是C. Harris和M. J. Stephens提出的一種基于信號(hào)的點(diǎn)特征提取算 子，具有計(jì)算簡(jiǎn)單、提取的角點(diǎn)特征均勻合理、可以定量提取特征點(diǎn)以及算子穩(wěn)定的特點(diǎn)。 其處理過程表示如下M = G(S) 8x
^SxSy ^ y _(1)I = det (M) _k · tr2 (M)，k = 0. 04(2)其中，gx為χ方向的梯度，gy為y方向的梯度，G(S)為高斯模板，det為矩陣的行 列式，tr為矩陣直跡，k為默認(rèn)常數(shù)。矩陣I中每一點(diǎn)的元素值對(duì)應(yīng)于原圖相應(yīng)點(diǎn)的興趣值。 M陣的特征值是自相關(guān)函數(shù)的一階曲率，如果兩個(gè)曲率值都相當(dāng)高，那么就認(rèn)為該 點(diǎn)是角點(diǎn)。二.使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)，再利用RANSAC算 法剔除錯(cuò)誤的匹配點(diǎn)對(duì)。首先在已提取出角點(diǎn)的左視圖中取一角點(diǎn)P1G, j)，然后在待匹配的右視圖中以 像素點(diǎn)(i，j)為中心，取一個(gè)(2k+l) X (21+1)的矩形，其中k與1根據(jù)需要設(shè)定(本設(shè)計(jì) 中k = 1 = 3)，將矩形中的每個(gè)提取出來(lái)的角點(diǎn)P2與P1點(diǎn)進(jìn)行相似度衡量，相似度大于預(yù) 設(shè)閾值0.8的點(diǎn)即為可能匹配點(diǎn)。順序?qū)⒆笠晥D中的每個(gè)特征點(diǎn)與右視圖匹配，最后得到 左右視圖對(duì)中所有的可能的匹配角點(diǎn)對(duì)。Pi與P1的相似度衡量是用相關(guān)窗口(2k+l) (21+1)內(nèi)圖像子區(qū)域的歸一化協(xié)方差 相關(guān)值來(lái)表示的。表示如圖2。
取左視圖特征AP1G, j)，右視圖特征點(diǎn)P2(i，j)。設(shè)左右視圖中像素點(diǎn)(i，j)處 的灰度值分別為I1(Lj)iI2^jh歸一化協(xié)方差可定義為
<formula>formula see original document page 12</formula>窗口大小S = (2k+l) (21+1)2k+l，21+l為窗口的長(zhǎng)和寬。左視圖所選窗口內(nèi)灰度方差
<formula>formula see original document page 12</formula>右視圖所選窗口內(nèi)灰度方差
<formula>formula see original document page 12</formula> τ ΠΤ和^ ΤΙΤ為左右視圖所選窗口內(nèi)灰度平均值。
<formula>formula see original document page 12</formula>通過上述求得的可能匹配點(diǎn)對(duì)中，可能存在一對(duì)多或者多對(duì)一的情況，因?yàn)槭菍?左視圖中角點(diǎn)在右視圖中所有與其互協(xié)方差大于0. 8的點(diǎn)作為了可能的匹配點(diǎn)對(duì)。下一步需要從可能的匹配點(diǎn)中找出正在的匹配點(diǎn)對(duì)。設(shè)一對(duì)匹配點(diǎn)對(duì)為(mn， m2J)，mn是左視圖的一個(gè)點(diǎn)，m2j是右視圖中的匹配點(diǎn)，N(Hili)是Hili點(diǎn)的R領(lǐng)域點(diǎn)的集合， N(m2j)是m2j點(diǎn)的R領(lǐng)域點(diǎn)的集合，如果(πιπ，πι2ρ是一個(gè)準(zhǔn)確的匹配點(diǎn)對(duì)，在其領(lǐng)域內(nèi)就可 以看到很多的準(zhǔn)確匹配點(diǎn)對(duì)(nlk，n21)nlk在Hili附近，Ii21在m21附近。定義匹配強(qiáng)度SM，計(jì)算 方法如下式
<formula>formula see original document page 12</formula>其中Cij 禾口 ckl 是匹配點(diǎn)對(duì)(mn，m2J)和(nlk，n21)的互協(xié)方差，dist (mn，m2J ;nlk，n21)
是兩對(duì)匹配點(diǎn)的平均距離，其定義如下式
<formula>formula see original document page 12</formula>δ Onli，m2J ；nlk, n21)的定義為式(8)
<formula>formula see original document page 12</formula> 如果"2/)是一對(duì)匹配并且;κ < s (8)
r是距離差比例，定義如下式<formula>formula see original document page 13</formula>(9)其中ε γ距離差閾值，本設(shè)計(jì)中取為0. 3.利用公式(6)，就可以求出匹配強(qiáng)度SM，對(duì)于一對(duì)多的情況，如左視圖的Hili在右 視圖中有兩個(gè)匹配點(diǎn)，分別為m2j，m2k，利用匹配強(qiáng)度的計(jì)算公式，分別計(jì)算出SmOiili, m2J)和 Sm(mn，m2k)，兩個(gè)中值最大的就是正確的匹配點(diǎn)對(duì)。上述找到的匹配點(diǎn)對(duì)中仍可能存在錯(cuò)誤的匹配點(diǎn)對(duì)，利用RANSAC算法對(duì)匹配點(diǎn) 對(duì)再進(jìn)行錯(cuò)誤匹配點(diǎn)對(duì)的剔除，其基本思想是首先從觀測(cè)數(shù)據(jù)集中隨機(jī)選取8個(gè)匹配點(diǎn) 對(duì)，稱這8個(gè)匹配點(diǎn)對(duì)為隨機(jī)樣本集，通過隨機(jī)樣本集來(lái)計(jì)算基本矩陣參數(shù)，建立一個(gè)基本 矩陣候選模型。設(shè)立一個(gè)對(duì)極距離閾值，計(jì)算所有匹配點(diǎn)對(duì)相對(duì)于該模型的對(duì)極距離，認(rèn)為 對(duì)極距離小于距離閾值的點(diǎn)符合基本矩陣候選模型，稱這些點(diǎn)對(duì)為模型的支集，如果這個(gè) 模型的支集足夠大，RANSAC就認(rèn)為這個(gè)基本矩陣就是我們要求解的基本矩陣。如果這個(gè)支 集中匹配點(diǎn)對(duì)的數(shù)目小于給定的閾值，則這個(gè)模型不是最優(yōu)的模型。重復(fù)上述過程直到找 到基本矩陣最優(yōu)模型。利用最優(yōu)基本矩陣，將那些對(duì)極距離大于設(shè)定閾值的匹配點(diǎn)對(duì)剔除。下面比較系統(tǒng)地?cái)⑹鯮ANSAC算法基本步驟是1.樣本空間中有η個(gè)匹配點(diǎn)對(duì)，隨機(jī)樣本集中需要有8個(gè)點(diǎn)對(duì)。2.由隨機(jī)樣本集得到候選模型S(S1, S2, S3, S4, S5, S6, S7, S8)-> F(F1, F2, F3, F4, F5, F6, F7, F8)。3.由F及對(duì)極距離閾值L，檢測(cè)所有匹配點(diǎn)對(duì)，得到候選模型F的支集M(m對(duì))。4.檢測(cè)是否m大于閾值T。否，重新選8對(duì)匹配點(diǎn)，繼續(xù)以上進(jìn)程。是，則得到目標(biāo)模型F。5.進(jìn)步，以一致集M中m對(duì)匹配點(diǎn)對(duì)目標(biāo)模型的參數(shù)F進(jìn)行優(yōu)化，得到優(yōu)化后的模 型F，。6.利用優(yōu)化的模型F，將對(duì)極距離大于閾值的匹配點(diǎn)對(duì)剔除。7.每隨機(jī)選點(diǎn)一次，設(shè)計(jì)數(shù)器coimt+1，重復(fù)k次沒有找到模型參數(shù)，終止。三.對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaimay三 角剖分，形成三角網(wǎng)。(1)構(gòu)造一個(gè)超級(jí)三角形，包含所有散點(diǎn)，放入三角形鏈表。(2)將點(diǎn)集中的散點(diǎn)依次插入，在三角形鏈表中找出其外接圓包含插入點(diǎn)的三角 形(稱為該點(diǎn)的影響三角形)，刪除影響三角形的公共邊，將插入點(diǎn)同影響三角形的全部頂 點(diǎn)連接起來(lái)，從而完成一個(gè)點(diǎn)在Delaimay三角形鏈表中的插入。具體做法如圖3所示。(3)根據(jù)優(yōu)化準(zhǔn)則對(duì)局部新形成的三角形進(jìn)行優(yōu)化。將形成的三角形放入 Delaunay三角形鏈表。(4)循環(huán)執(zhí)行上述兩步，直到所有散點(diǎn)插入完畢。四.利用線性插值的方法找出中間虛擬視點(diǎn)圖像對(duì)應(yīng)的三角網(wǎng)，對(duì)于虛擬視點(diǎn)圖像的每一個(gè)三角網(wǎng)格求出一個(gè)逆變換矩陣。首先給定兩幅圖像，將這兩幅圖像分別稱之為13和Id，即源圖像和目標(biāo)圖像，在這兩幅圖像上定義一系列相應(yīng)的控制點(diǎn)對(duì)，由在源圖像上的控制點(diǎn)系列和源圖像矩形區(qū)域的 4個(gè)頂點(diǎn)，可以在源圖像上構(gòu)造一個(gè)Delaunay三角網(wǎng)，此Delaunay三角網(wǎng)中的所有三角形 組成了一個(gè)源控制網(wǎng)格Ms，它的形狀由控制點(diǎn)的坐標(biāo)和Delaunay三角剖分算法共同確定。 第2個(gè)網(wǎng)格Md指定了它們?cè)谀繕?biāo)圖像中的對(duì)應(yīng)位置。具體變形過程如圖4所示，為簡(jiǎn)單起 見，圖中只有一個(gè)控制點(diǎn)。圖中顯示出網(wǎng)格Ms和Md分別對(duì)左圖和右圖形成全覆蓋，Ms和Md 一起用于定義空間坐標(biāo)轉(zhuǎn)變，此空間坐標(biāo)轉(zhuǎn)變將Is中所有點(diǎn)映射到Id上去。這些網(wǎng)格要求 限于拓?fù)渫瑯?gòu)，即不允許有區(qū)域折疊和不連續(xù)的情況發(fā)生，對(duì)于實(shí)際的變形應(yīng)用來(lái)說(shuō)，這并 不是一個(gè)十分苛刻的要求.因此，在Md上的結(jié)點(diǎn)可以根據(jù)需要遠(yuǎn)離Ms，只要它們不引起自 相交即可。此外，為了簡(jiǎn)化起見，這些網(wǎng)格僅限于有固定的邊界。由于三角形網(wǎng)格Ms和Md限于拓?fù)渫瑯?gòu)，網(wǎng)格中的三角形為一一對(duì)應(yīng)，并且它們對(duì) 相應(yīng)的圖像IjPidB成全覆蓋，所以整個(gè)圖像的變形可以簡(jiǎn)化為其中對(duì)應(yīng)的三角形區(qū)域的 變形。將圖4中的Ts變形為Td采用反向變形技術(shù)。反向變形可以保證目標(biāo)圖像中每一 個(gè)點(diǎn)都能在原始圖像中找到對(duì)應(yīng)的點(diǎn)，所以這里采用反向變形技術(shù)。設(shè)Ts和Td的對(duì)應(yīng)頂點(diǎn)分別為PS1、PS2、PS3和Pi、P2、P3，則由這6個(gè)點(diǎn)可唯一確定一 個(gè)仿射變換<formula>formula see original document page 14</formula>式(10)中Pdx和Pdy為Td中某點(diǎn)Pd的X，y坐標(biāo)，Psx和Psy為Ts中對(duì)應(yīng)點(diǎn)Ps的X， y坐標(biāo)。令<formula>formula see original document page 14</formula><formula>formula see original document page 14</formula><formula>formula see original document page 14</formula>五.利用逆變換矩陣，求出三角網(wǎng)格中每一點(diǎn)在左右視點(diǎn)圖像中對(duì)應(yīng)的點(diǎn)，將對(duì) 應(yīng)點(diǎn)的像素值賦給中間虛擬視點(diǎn)網(wǎng)格中的點(diǎn)。最終，可以產(chǎn)生中間虛擬視點(diǎn)的圖像。只要三角形Td沒有退化為一條直線或一個(gè)點(diǎn)，式(12)是一定可解的，實(shí)際上若Td 發(fā)生了退化，但由于網(wǎng)格中所有的三角形的邊界和與其相鄰三角形的邊界是重合的，式不 可解也不影響整個(gè)圖像變形的效果。必須注意的是，因?yàn)槿切芜\(yùn)動(dòng)包含三角形形變，所以Td內(nèi)的像素點(diǎn)通過仿射變 換映射到Ts內(nèi)時(shí)不一定正好在圖像像素的柵格上，即(Psx，Psy)不一定正好是整數(shù)，這時(shí)需 要雙線性內(nèi)插得到預(yù)測(cè)圖像。(1)設(shè)(Psx，Psy)的整數(shù)部分為(PsxQ，Psytl)，那么有 dx = Psx-Pdx, dy = Psy-Pdy0
(2) Td的預(yù)測(cè)圖像由下式確定<formula>formula see original document page 15</formula>
下面結(jié)合附圖進(jìn)一步詳細(xì)說(shuō)明本發(fā)明(1)獲取左視6和右視7。(2)提取左右視圖的角點(diǎn)，分別得到左視圖和右視圖的角點(diǎn)圖，如圖8，圖9。(3)對(duì)左、右視圖進(jìn)行角點(diǎn)匹配，剔除錯(cuò)誤的匹配點(diǎn)。匹配后的左右視圖如圖10所示(4)依據(jù)角點(diǎn)對(duì)左視圖進(jìn)行Delaimay三角剖分，形成三角網(wǎng)。如圖11所示。(5)插值生成中間的虛擬試點(diǎn)。如圖12所示。
權(quán)利要求
一種基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法，其特征是，包括下列步驟首先輸入攝像機(jī)拍攝的左右兩視點(diǎn)圖像，依據(jù)Harris算子分別提取左右兩幅圖像的角點(diǎn)；使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)，再利用RANSAC算法剔除錯(cuò)誤的匹配點(diǎn)對(duì)；對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaunay三角剖分，形成三角網(wǎng)；利用線性插值的方法找出中間虛擬視點(diǎn)圖像對(duì)應(yīng)的三角網(wǎng)，對(duì)于虛擬視點(diǎn)圖像的每一個(gè)三角網(wǎng)格求出一個(gè)逆變換矩陣；利用逆變換矩陣，求出三角網(wǎng)格中每一點(diǎn)在左右視點(diǎn)圖像中對(duì)應(yīng)的點(diǎn)，將對(duì)應(yīng)點(diǎn)的像素值賦給中間虛擬視點(diǎn)網(wǎng)格中的點(diǎn)，最終，可以產(chǎn)生中間虛擬視點(diǎn)的圖像。
2.根據(jù)權(quán)利要求1所述的一種基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法， 其特征是，所述使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)，再利用RANSAC 算法剔除錯(cuò)誤的匹配點(diǎn)對(duì)，進(jìn)一步細(xì)化為，首先在已提取出角點(diǎn)的左視圖中取一角AP1G, j)，然后在待匹配的右視圖中以像素點(diǎn)(i，j)為中心，取一個(gè)MXN的矩形，將矩形中的每 個(gè)提取出來(lái)的角點(diǎn)P2與？工點(diǎn)進(jìn)行相似度衡量，相似度大于預(yù)設(shè)閾值0. 8的點(diǎn)即為可能匹配 點(diǎn)。順序?qū)⒆笠晥D中的每個(gè)特征點(diǎn)與右視圖匹配，得到左右視圖對(duì)中所有的可能的匹配角 點(diǎn)對(duì)，最后利用RANSAC算法對(duì)匹配點(diǎn)對(duì)再進(jìn)行錯(cuò)誤匹配點(diǎn)對(duì)的剔除，其中，Pi與？工的相似 度衡量是用相關(guān)窗口(2k+l) (21+1)內(nèi)圖像子區(qū)域的歸一化協(xié)方差相關(guān)值來(lái)確定。
3.根據(jù)權(quán)利要求1所述的一種基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法， 其特征是，所述對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaimay 三角剖分，形成三角網(wǎng)，進(jìn)一步細(xì)化為(1)構(gòu)造一個(gè)超級(jí)三角形，包含所有散點(diǎn)，放入三角形鏈表；(2)將點(diǎn)集中的散點(diǎn)依次插入，在三角形鏈表中找出其外接圓包含插入點(diǎn)的三角形，稱 為該點(diǎn)的影響三角形，刪除影響三角形的公共邊，將插入點(diǎn)同影響三角形的全部頂點(diǎn)連接 起來(lái)，從而完成一個(gè)點(diǎn)在Delaimay三角形鏈表中的插入；(3)根據(jù)優(yōu)化準(zhǔn)則對(duì)局部新形成的三角形進(jìn)行優(yōu)化。將形成的三角形放入Delaimay三 角形鏈表；(4)循環(huán)執(zhí)行上述兩步，直到所有散點(diǎn)插入完畢。
全文摘要
本發(fā)明屬于圖像處理技術(shù)，具體涉及基于左右視點(diǎn)圖像的中間視點(diǎn)快速、自適應(yīng)生成算法。為準(zhǔn)確獲取雙鏡頭的多視點(diǎn)立體圖像，得到真正虛擬視點(diǎn)處的圖像，本發(fā)明采用的技術(shù)方案是，包括下列步驟首先輸入攝像機(jī)拍攝的左右兩視點(diǎn)圖像提取左右兩幅圖像的角點(diǎn)；使用歸一化協(xié)方差的方法提取左右兩視圖的匹配的角點(diǎn)對(duì)；對(duì)左右兩視圖根據(jù)提取出的準(zhǔn)確匹配點(diǎn)對(duì)經(jīng)過逐點(diǎn)插入法進(jìn)行Delaunay三角剖分；對(duì)于虛擬視點(diǎn)圖像的每一個(gè)三角網(wǎng)格求出一個(gè)逆變換矩陣；利用逆變換矩陣，求出三角網(wǎng)格中每一點(diǎn)在左右視點(diǎn)圖像中對(duì)應(yīng)的點(diǎn)，將對(duì)應(yīng)點(diǎn)的像素值賦給中間虛擬視點(diǎn)網(wǎng)格中的點(diǎn)，最終，可以產(chǎn)生中間虛擬視點(diǎn)的圖像。本發(fā)明主要應(yīng)用于圖像處理。
文檔編號(hào)G06T17/20GK101799939SQ20101013866
公開日2010年8月11日 申請(qǐng)日期2010年4月2日 優(yōu)先權(quán)日2010年4月2日
發(fā)明者侯春萍, 李素梅, 武國(guó)梁, 郭忠斌 申請(qǐng)人:天津大學(xué)