專(zhuān)利名稱(chēng)：生成全景圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)，具體涉及一種生成全景圖像的 設(shè)備和方法，尤其是一種產(chǎn)生平面主導(dǎo)的場(chǎng)景的多視點(diǎn)的全景圖像的 設(shè)備和方法。
背景技術(shù)：
近年來(lái)，圖像縫合技術(shù)無(wú)論在日常生活中還是商業(yè)中都得到了越 來(lái)越多的應(yīng)用。例如，用戶(hù)可以用相機(jī)拍攝下某一位置周?chē)木植康?圖像，然后利用圖像縫合技術(shù)將這些局部的圖像縫合起來(lái)，形成該位 置的全景圖像。或者，用手機(jī)上的攝像頭拍攝下多幅小視場(chǎng)的畫(huà)面， 然后利用圖像縫合技術(shù)將這些圖像縫合在一起，形成大視場(chǎng)的畫(huà)面。
例如，非專(zhuān)利文獻(xiàn)1 (M. Shi, and J.Y. Zheng， A Slit Scanning Depth of Route Panorama from Stationary Blur， Proc. of CVPR， Vol.l， pp. 1047-1054,2005)提出以低速用高幀頻的相機(jī)掃描場(chǎng)景，從每一幀中 提取窄條，然后通過(guò)將這些窄條簡(jiǎn)單地縫合在一起來(lái)形成最終的全景 圖像。另外，還可以對(duì)窄條寬度進(jìn)行調(diào)整，以部分地對(duì)付場(chǎng)景結(jié)構(gòu)的 深度變化帶來(lái)的不利影響。
非專(zhuān)利文獻(xiàn)2(A. Agarwalal et al., Photographing Long Scenes with Multi-Viewpoint Panoramas, Sigraph06, pp. 853-861， 2006)提出在像素 水平上，而并非在窄條水平上對(duì)圖像進(jìn)行縫合。例如，通過(guò)指定一些 在最終的多視點(diǎn)全景圖像中要體現(xiàn)出的特征，利用馬爾可夫隨機(jī)場(chǎng)最 優(yōu)化技術(shù)來(lái)基于這些特征從任意形狀的圖像區(qū)域形成全景圖像。
非專(zhuān)利文獻(xiàn)3 (S. Kang, R. Szeliski， and M. Uyttendaele， Seamless Stitching using Multi-Perspective Plane Sweep, MSR-TR-2004-48)提出 了基于場(chǎng)景結(jié)構(gòu)來(lái)縫合圖像。例如，將一對(duì)圖像中的重疊區(qū)域分割成 子區(qū)域，每個(gè)子區(qū)域被分配了各自的虛擬相機(jī)視角，然后針對(duì)每個(gè)子區(qū)域使用平面掃描算法(plane sweep algorithm)來(lái)獲得相似景深的映 射圖，使得最終產(chǎn)生的全景圖像的畫(huà)面表現(xiàn)是一致的。
但是，上述非專(zhuān)利文獻(xiàn)l提出的方法存在的問(wèn)題是，構(gòu)成的全景 圖像隨著景深的變化產(chǎn)生了畸變，雖然通過(guò)調(diào)整窄條的寬度可以消除 一些畸變，但是在景深沿著圖像的垂直軸變化的情況下，產(chǎn)生的景深 畸變則很難消除。另外，對(duì)于普通的用戶(hù)來(lái)說(shuō)，獲得高速的視頻攝像 機(jī)也是很困難的。
另外，上述非專(zhuān)利文獻(xiàn)2'提出的方法存在的問(wèn)題是，該方法只能 處理大致上平坦的場(chǎng)景，而且要由用戶(hù)自己來(lái)確定畫(huà)面中的平面場(chǎng)景。 在非專(zhuān)利文獻(xiàn)2中，為了針對(duì)全景圖像中的每個(gè)像素選擇合適的視點(diǎn)， 需要很強(qiáng)的運(yùn)算能力來(lái)執(zhí)行最優(yōu)化操作。
另外，上述非專(zhuān)利文獻(xiàn)3提出的方法存在的問(wèn)題是，相鄰圖像中 的直線在重疊區(qū)變成了曲線，為此，該方法只能在非重疊區(qū)對(duì)圖像進(jìn) 行拼接。
因此，由于無(wú)法釆集到任一場(chǎng)景圖像的精確景深數(shù)據(jù)，尤其在以 不同的角度拍攝的多個(gè)重疊物體的情況下，很難將圖像精確地縫合在 一起。如何在沒(méi)有諸如景裸和場(chǎng)景結(jié)構(gòu)之類(lèi)先驗(yàn)知識(shí)的情況下，來(lái)縫 合多幅圖像以形成全景圖像，就成了一個(gè)非常困難的問(wèn)題。

發(fā)明內(nèi)容
鑒于上述問(wèn)題，完成了本發(fā)明。本發(fā)明的目的是提供一種生成全 景圖像的設(shè)備和方法，能夠根據(jù)場(chǎng)景中的主導(dǎo)平面縫合圖像來(lái)形成平 面主導(dǎo)場(chǎng)景的多視點(diǎn)以及高質(zhì)量的全景圖像。
在本發(fā)明的一個(gè)方面，提出了一種產(chǎn)生全景圖像的方法，包括 估計(jì)每個(gè)均包含至少一個(gè)平面的輸入圖像中的主導(dǎo)平面；基于輸入圖 像關(guān)于主導(dǎo)平面的位置關(guān)系將輸入圖像作變形處理，使輸入圖像之間 部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。
在本發(fā)明的另一方面，提出了一種產(chǎn)生全景圖像的設(shè)備，包括 估計(jì)裝置，用于估計(jì)每個(gè)均包含至少一個(gè)平面的輸入圖像中的主導(dǎo)平 面；變形裝置，基于輸入圖像關(guān)于主導(dǎo)平面的位置關(guān)系將輸入圖像變形，以使輸入圖像之間部分重疊；以及融合裝置，融合所述輸入圖像， 以產(chǎn)生全景圖像。
利用本發(fā)明的上述設(shè)備和方法，可以在不需要先驗(yàn)知識(shí)的情況下， 根據(jù)場(chǎng)景中的主導(dǎo)平面來(lái)縫合圖像，進(jìn)而形成多視點(diǎn)的全景圖像。
另外，本發(fā)明通過(guò)不同圖像中相應(yīng)特征的聚類(lèi)來(lái)確定不同的平面， 從而解決了要估計(jì)景深的問(wèn)題，并且可以估計(jì)不同平面對(duì)象的運(yùn)動(dòng)。
另外，基于場(chǎng)景圖像中的平面結(jié)構(gòu)來(lái)選擇拼接縫，而非像傳統(tǒng)技 術(shù)那樣將拼接縫選擇為直線，進(jìn)一步提高了全景圖像的縫合質(zhì)量。


從下面結(jié)合附圖的詳細(xì)描述中，本發(fā)明的上述特征和優(yōu)點(diǎn)將更明 顯，其中
圖1示出了根據(jù)本發(fā)明實(shí)施例的設(shè)備的結(jié)構(gòu)框圖； 圖2是說(shuō)明如圖1所示的對(duì)應(yīng)關(guān)系確定單元的操作過(guò)程的示意圖； 圖3是說(shuō)明如圖l所示的融合單元的操作過(guò)程的示意圖； 圖4 (a)是說(shuō)明'鬼影'現(xiàn)象的示意圖4 (b)是用本發(fā)明的方法消餘了 ^鬼影'現(xiàn)象的示意圖； 圖5是說(shuō)明如何選擇縫合線的示意圖； 圖6是本發(fā)明的方法的流程圖。
具體實(shí)施例方式
下面，參考附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。 圖1示出了本發(fā)明實(shí)施例的設(shè)備的結(jié)構(gòu)框圖。如圖1所示，根據(jù) 本發(fā)明實(shí)施例的設(shè)備用于從輸入的多幅圖像產(chǎn)生全景圖像，例如主要 由建筑物的表面之類(lèi)的表面構(gòu)成的場(chǎng)景，街景或風(fēng)景區(qū)景色等，該設(shè) 備包括對(duì)應(yīng)關(guān)系確定單元IO，用于從輸入的兩幅圖像中找到二者之 間的對(duì)應(yīng)關(guān)系，例如圖像I!上的某個(gè)區(qū)域?qū)嶋H上對(duì)應(yīng)于圖像l2上的某 個(gè)區(qū)域，也就是說(shuō)兩圖像中有部分是可以重疊的；平面結(jié)構(gòu)估計(jì)單元 20，利用參數(shù)變換算法，例如8參數(shù)變換算法或者2參數(shù)變換算法， 根據(jù)所述對(duì)應(yīng)關(guān)系確定單元10所確定的圖像Ii和圖像12之間的對(duì)應(yīng)關(guān)系，基于圖像的聚類(lèi)特征來(lái)估計(jì)圖像中平面的個(gè)數(shù)和位置；主導(dǎo)平 面提取單元30，用于從圖像所包含的多個(gè)平面中找到具有最大的視覺(jué) 沖擊的平面，作為主導(dǎo)平面，該主導(dǎo)平面是根據(jù)圖像的特征進(jìn)行選擇 的，具體選擇過(guò)程以下詳細(xì)描述；主導(dǎo)平面運(yùn)動(dòng)估計(jì)單元40，利用主 導(dǎo)平面的參數(shù)變換來(lái)估計(jì)所確定的主導(dǎo)平面在不同圖像之間的運(yùn)動(dòng)， 在本實(shí)施例中采用8參數(shù)變換來(lái)實(shí)現(xiàn)；變形單元50，用于通過(guò)插值方 法對(duì)圖像I,和圖像12的主導(dǎo)平面進(jìn)行插值，以便將圖像L或者圖像12 變形成可彼此融合，并且使得二者部分重合；融合單元60，從圖像It 和圖像l2的重疊區(qū)域中選擇出適當(dāng)?shù)膮^(qū)域，作為融合區(qū)，并且將圖像 I、和圖像12在融合區(qū)中的對(duì)應(yīng)像素融合，從而將圖像Ii和圖像12縫合 在一起；以及后處理單元70，用于對(duì)縫合后的圖像進(jìn)行均衡、對(duì)象移 除和紋理修復(fù)之類(lèi)的操作，進(jìn)而輸出最終的全景圖像。
這樣，針對(duì)其他的圖像進(jìn)行同樣的操作，可以從相關(guān)聯(lián)的多幅圖 像創(chuàng)建全景圖像。下面結(jié)合附圖2 5詳細(xì)說(shuō)明本發(fā)明的設(shè)備所包含的 各個(gè)單元的具體處理過(guò)程。
圖2是說(shuō)明如圖1所示的對(duì)應(yīng)關(guān)系確定單元的確定輸入圖像之間 的對(duì)應(yīng)關(guān)系過(guò)程的示意圖。如圖2所示，對(duì)應(yīng)關(guān)系確定單元IO對(duì)輸入 的圖像Ii和圖像12進(jìn)行特征檢測(cè)，例如檢測(cè)圖像中的SIFT或者Harris Comer,然后在二者之間進(jìn)行特征匹配，從而確定圖像^中的特征與 圖像12中的特征之間的對(duì)應(yīng)關(guān)系。例如圖2中所示的區(qū)域P1中的若 干個(gè)特征分別對(duì)應(yīng)于圖像12中區(qū)域Pl，的相應(yīng)特征，則可以建立起區(qū) 域P1和區(qū)域P1'之間的對(duì)應(yīng)關(guān)系。同理，圖像Ii中的區(qū)域P2的若干 個(gè)特征與圖像12中區(qū)域P2'中的特征之間存在匹配關(guān)系，則建立起區(qū) 域P2和區(qū)域P2'的對(duì)應(yīng)關(guān)系。
在建立起對(duì)應(yīng)關(guān)系之后，平面結(jié)構(gòu)估計(jì)單元20對(duì)圖像I!和圖像
12中的平面結(jié)構(gòu)進(jìn)行估計(jì)，以便確定圖像Ii和圖像l2中的平面?zhèn)€數(shù)和
位置。不同視點(diǎn)和視角拍攝對(duì)平面進(jìn)行拍攝所獲得圖像可以由非專(zhuān)利 文獻(xiàn)4 (R. Szeliski, 'Image Mosaicing for Tele-Reality Applications, Digital Equipment Corporation Cambridge Research Lab, Technical Report CRL-94-2, 1994)所描述的8參數(shù)變換來(lái)建立聯(lián)系。該非專(zhuān)利文獻(xiàn)4通過(guò)引用被合并于此。
假設(shè)圖像Ii中的像素力)在圖像12中的對(duì)應(yīng)像素是"2，
》)，則下面的等式成立
& ^h,^,a +挑2 a =r (Xi);;i)- +附"+附5…(1)
t ^:^ +w7y+1 w^x+w7>^ +1
其中m。 m7是8個(gè)參數(shù)。由于存在8個(gè)參數(shù)，因此用4個(gè)非退化的對(duì) 應(yīng)對(duì)(corresponding pair)就可以完全計(jì)算出參數(shù)矢量[w。， Wi， m2, m3, m4, w5,m6,m7]，，它對(duì)應(yīng)于8維空間中.的一個(gè)點(diǎn)。
然后，在平面結(jié)構(gòu)估計(jì)單元20中，利用聚類(lèi)的方法，例如非專(zhuān)利 文獻(xiàn)5( A.K. Jain， M.N. Murty, and P丄Fly叫Data Clustering: A Review, ACM Computing Surveys, Vol. 31， No. 3， September 1999)所描述的凝 聚聚類(lèi)方法，來(lái)確定場(chǎng)景圖像中所包含的平面的個(gè)數(shù)，它等于聚類(lèi)的 個(gè)數(shù)，而8參 數(shù)可以用來(lái)描述每一個(gè)平面。該非專(zhuān)利文獻(xiàn)5通過(guò)引用 被合并于此。
換言之，通過(guò)聚類(lèi)算法，將圖像中的特征聚類(lèi)之后，通過(guò)判斷圖 像中聚類(lèi)的個(gè)數(shù)就可以判斷出圖像中包含的平面的數(shù)目，并且通過(guò)前 面提到的8參數(shù)來(lái)描述每個(gè)平面，它可以通過(guò)聚類(lèi)的均值來(lái)估計(jì)。
如上所述，主導(dǎo)平面提取單元30用來(lái)提取平面結(jié)構(gòu)估計(jì)單元20 所估計(jì)出的平面中的主導(dǎo)平面，也就是這些平面中最具有視覺(jué)沖擊的 平面。例如，將與平面結(jié)構(gòu)估計(jì)單元20所估計(jì)圖像中的最大的那個(gè)聚 類(lèi)所對(duì)應(yīng)的平面選擇為主導(dǎo)平面。但是，由于未考慮到圖像覆蓋面積 的大小，這種方法可能會(huì)不準(zhǔn)確。為了進(jìn)一步提高主導(dǎo)平面的判斷準(zhǔn) 確度，可以從這些平面中尋找其8參數(shù)變換在圖像^和圖像l2之間具 有最小強(qiáng)度差的那個(gè)平面。上述的強(qiáng)度差通常用均方差來(lái)衡量-
ms￡= Z(/,(7;"力，7;"力)—/2"力)2 …(2)
當(dāng)然，也可以對(duì)覆蓋面積、聚類(lèi)尺寸和MSE進(jìn)行加權(quán)求和的方式來(lái) 確定哪個(gè)平面是主導(dǎo)平面。這樣，可以對(duì)輸入圖像h和圖像l2分別確 定兩圖中的主導(dǎo)平面，例如圖像L中的區(qū)域P1和圖像I2中的區(qū)域P2。 然后，主導(dǎo)平面運(yùn)動(dòng)提取單元40通過(guò)對(duì)圖像L和圖像12中的主導(dǎo)平面進(jìn)行8參數(shù)變換來(lái)確定主導(dǎo)平面在兩幅圖像之間的運(yùn)動(dòng)量，也 就是確定圖像L中的主導(dǎo)平面和圖像12中的主導(dǎo)平面之間的相對(duì)位 置。
接下來(lái)，變形單元50根據(jù)所確定的圖像L和圖像12的主導(dǎo)平面
之間的位置關(guān)系，利用預(yù)定的插值算法來(lái)對(duì)圖像Ii和/或圖像12進(jìn)行變
形(waip)，以便將二者部分重疊，如圖3所示。
如上所述，融合單元60對(duì)圖像^和圖像12之間的重疊區(qū)域中選 定的融合區(qū)域進(jìn)行融合，而非對(duì)整個(gè)重疊區(qū)進(jìn)行融合，以便保證圖像 L和圖像l2之間的平滑過(guò)渡。在融合區(qū)之外，最終合成圖像的內(nèi)容分 別來(lái)自圖像I！和圖像12。圖3示出了已經(jīng)通過(guò)8參數(shù)變換變形后的一 副圖像與另一幅圖像之間的重疊區(qū)和融合區(qū)。
如圖3所示，圖像I,和圖像l2在水平方向上有平移，并且在垂直
方向上也有平移，因此形成了由陰影部分表示的矩形重疊區(qū)域。在重 疊區(qū)域中，可以將重疊區(qū)中間線兩側(cè)的區(qū)域作為融合區(qū)，也可以按照 某種準(zhǔn)則選擇其他部分的區(qū)域作為融合區(qū)，例如從圖3中可以看出， 融合區(qū)域的中間線偏離了重疊區(qū)域的中間線一段距離。
如上所述，選擇融合區(qū)的一個(gè)方法是將重疊區(qū)的中間線兩側(cè)的區(qū) 域作為融合區(qū)，這是因?yàn)樵诿糠鶊D像的中間區(qū)域由相機(jī)的透鏡所產(chǎn)生 的畸變是最小的。這種方法對(duì)于縫合主導(dǎo)平面所占據(jù)的區(qū)域是非常有 利的。但是對(duì)于由其他平面所占據(jù)的區(qū)域的縫合，將會(huì)產(chǎn)生如圖4 (a) 所示的'鬼影'現(xiàn)象。
為了消除'鬼影'現(xiàn)象，就需要尋找出最優(yōu)的融合區(qū)，也就是兩幅 圖像的重合區(qū)中相互之間具有最小強(qiáng)度差的區(qū)域，來(lái)進(jìn)行圖像的縫合。 因此，通過(guò)使下式最小化來(lái)求出最優(yōu)融合區(qū)
S(/1(x1+a，;;1+/ ) —/2(x2+aj2+/ ))2 ... (3)
其中L和12是兩幅圖像中對(duì)應(yīng)像素的強(qiáng)度，cx是從重疊區(qū)域的中間線 算起的水平位移，P是從底邊算起的垂直位移，Q表示重疊區(qū)，Bl和 B2分別表示圖像^和圖像l2的融合區(qū)。圖4 (b)示出了基于最優(yōu)融 合區(qū)進(jìn)行圖像縫合后得到的結(jié)果，從圖4 (b)中可以看出，'鬼影'現(xiàn)象被消除了，圖像質(zhì)量明顯提高。
作為另一選擇，縫合線并非必須是如圖3所示的直線，而是可以 是曲折線。例如，利用平面結(jié)構(gòu)估計(jì)單元20所得到的結(jié)果，可以得知
縫合線必定橫穿主導(dǎo)平面而不會(huì)橫穿其他的平面。如圖5所示，縫合
線穿過(guò)了圖像L和圖像l2的主導(dǎo)平面Pl和P1'，而繞開(kāi)了其他的平面
P2、 P2'、 P3和P3'。這樣，既能夠使得主導(dǎo)平面的縫合過(guò)程中不會(huì)產(chǎn) 生^鬼影'現(xiàn)象，也將縫合操作對(duì)其他平面的影響降低到最低。
在將圖像I,和圖像12進(jìn)行融合之后，后處理器70對(duì)縫合后的圖 像進(jìn)行均衡、對(duì)象移除和紋理修復(fù)之類(lèi)的操作，進(jìn)而輸出最終的全景 圖像。
雖然上面以8參數(shù)變換為例，對(duì)本發(fā)明的實(shí)施例做了描述，但是 也可以利用2參數(shù)變換來(lái)描述攝像機(jī)的運(yùn)動(dòng)，尤其在攝像機(jī)焦距固定， 垂直于所拍攝的場(chǎng)景并且隨著運(yùn)動(dòng)方向運(yùn)動(dòng)時(shí)。2參數(shù)變換包括水平 和垂直兩個(gè)方向的位移，可以表示如下
<formula>formula see original document page 11</formula> ... (4)
其中Ax表示由于攝像機(jī)的移動(dòng)引起的主導(dǎo)平面在水平方向的位移， 而A少表示由于攝像機(jī)的抖動(dòng)引起的主導(dǎo)平面在垂直方向的位移。在 這種情況下，上述提及的聚類(lèi)算法可以用來(lái)分析二維空間中的平面結(jié) 構(gòu)，這可以在保持圖像質(zhì)量的情況下大大提高處理效率。
下面對(duì)照附圖6說(shuō)明根據(jù)本發(fā)明實(shí)施方式的方法的流程圖。 如圖6所示，在步驟S601，對(duì)應(yīng)關(guān)系確定單元IO對(duì)輸入的圖像 L和圖像12進(jìn)行特征檢測(cè)，例如檢測(cè)圖像中的SIFT或者Harris Corner, 然后在二者之間進(jìn)行特征匹配，從而確定圖像h中的特征與圖像12中 的特征之間的對(duì)應(yīng)關(guān)系。
在步驟S602，在建立起對(duì)應(yīng)關(guān)系之后，平面結(jié)構(gòu)估計(jì)單元20對(duì) 圖像L和圖像12中的平面結(jié)構(gòu)進(jìn)行估計(jì)，以便確定圖像L和圖像12 中的平面?zhèn)€數(shù)和位置。不同視點(diǎn)和視角拍攝對(duì)平面進(jìn)行拍攝所獲得圖 像可以由非專(zhuān)利文獻(xiàn)4 (R. Szeliski， Image Mosaicing for Tele-Reality Applications, Digital Equipment Corporation Cambridge Research Lab， Technical Report CRL-94-2， 1994)所描述的8參數(shù)變換來(lái)建立聯(lián)系。該非專(zhuān)利文獻(xiàn)4通過(guò)引用被合并于此。
在步驟S603，主導(dǎo)平面提取單元30用來(lái)提取平面結(jié)構(gòu)估計(jì)單元 20所估計(jì)出的平面中的主導(dǎo)平面，也就是這些平面中最具有視覺(jué)沖擊 的平面。例如，將與平面結(jié)構(gòu)估計(jì)單元20所估計(jì)圖像中的最大的那個(gè) 聚類(lèi)所對(duì)應(yīng)的平面選擇為主導(dǎo)平面。
在步驟S604,主導(dǎo)平面運(yùn)動(dòng)提取單元40通過(guò)對(duì)圖像I！和圖像12 中的主導(dǎo)平面進(jìn)行8參數(shù)變換來(lái)確定主導(dǎo)平面在兩幅圖像之間的運(yùn)動(dòng) 量，也就是確定圖像I,中的主導(dǎo)平面和圖像12中的主導(dǎo)平面之間的相 對(duì)位置。
在步驟S605，變形單元50根據(jù)所確定的圖像I,和圖像12的主導(dǎo) 平面之間的位置關(guān)系，利用預(yù)定的插值算法來(lái)對(duì)圖像1和/或圖像12 進(jìn)行變形(warp)，以便將二者部分重疊，如圖3所示。
在步驟S606，融合單元60對(duì)圖像I,和圖像12之間的重疊區(qū)域中 選定的融合區(qū)域進(jìn)行融合，而非對(duì)整個(gè)重疊區(qū)進(jìn)行融合，以便保證圖 像li和圖像l2之間的平滑過(guò)渡。在融合區(qū)之外，最終合成圖像的內(nèi)容 分別來(lái)自圖像I,和圖像12。圖3示出了已經(jīng)通過(guò)8參數(shù)變換變形后的 一副圖像與另一幅圖像之間的重疊區(qū)和融合區(qū)。
在步驟S607，在將圖像I!和圖像12進(jìn)行融合之后，后處理器70 對(duì)縫合后的圖像進(jìn)行均衡、對(duì)象移除和紋理修復(fù)之類(lèi)的操作，進(jìn)而輸 出最終的全景圖像。
上面的描述僅用于實(shí)現(xiàn)本發(fā)明的實(shí)施方式，本領(lǐng)域的技術(shù)人員應(yīng) 該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均應(yīng)該屬于 本發(fā)明的權(quán)利要求來(lái)限定的范圍，因此，本發(fā)祖的保護(hù)范圍應(yīng)該以權(quán) 利要求書(shū)的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1、一種產(chǎn)生全景圖像的方法，包括估計(jì)每個(gè)均包含至少一個(gè)平面的輸入圖像中的主導(dǎo)平面；基于輸入圖像關(guān)于主導(dǎo)平面的位置關(guān)系將輸入圖像作變形處理，使輸入圖像之間部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。
2、 如權(quán)利要求1所述的方法，其中所述融合步驟包括 由所述輸入圖像之間的重疊部分中選擇縫合區(qū)； 由縫合區(qū)將具有重疊部分的兩輸入圖像融合。
3、 如權(quán)利要求2所述的方法，其中所述縫合區(qū)為僅僅橫穿所述至少一個(gè)平面中的所述主導(dǎo)平面的縫合線。
4、 如權(quán)利要求2所述的方法，其中所述縫合區(qū)是兩輸入圖像的重 疊部分的垂直中間線。
5、 如權(quán)利要求2所述的方法，其中所述縫合區(qū)是融合區(qū)的中間線， 所述融合區(qū)是所述重疊區(qū)中輸入圖像之間具有最小強(qiáng)度差的區(qū)域。
6、 如權(quán)利要求l所述的方法，其中所述估計(jì)步驟包括-檢測(cè)確定輸入圖像之間的匹配對(duì)應(yīng)關(guān)系； 應(yīng)用聚類(lèi)算法估計(jì)輸入圖像中的平面結(jié)構(gòu)；根據(jù)圖像中的特征確定所輸入圖像的平面結(jié)構(gòu)中的主導(dǎo)平面；以及估計(jì)輸入圖像之間的運(yùn)動(dòng)，以確定輸入圖像關(guān)于主導(dǎo)平面的位置 關(guān)系。
7、 如權(quán)利要求6所述的方法，其中確定主導(dǎo)平面的步驟是 根據(jù)聚類(lèi)算法所估計(jì)的圖像中的每個(gè)平面具有的聚類(lèi)確定圖像聚類(lèi)最大的平面為主導(dǎo)平面。
8、 如權(quán)利要求7所述的方法，其中在確定主導(dǎo)平面時(shí)，將圖像聚 類(lèi)與圖像特征中的圖像覆蓋面積、聚類(lèi)尺寸以及MSE加權(quán)求和確定。
9、 如權(quán)利要求1所述的方法，其中基于輸入圖像與主導(dǎo)平面之間的位置關(guān)系將輸入圖像作變形處理，使輸入圖像之間部分重疊的步驟 之前包括對(duì)輸入圖像中的主導(dǎo)平面進(jìn)行參數(shù)變換確定主導(dǎo)平面在待縫合圖 像之間的運(yùn)動(dòng)量，確定待縫合圖像的主導(dǎo)平面之間的相對(duì)位置。
10、 如權(quán)利要求7或8所述的方法，其中所述主導(dǎo)平面在輸入圖 像之間具有最小的強(qiáng)度差。
11、 如權(quán)利要求9所述的方法，其中所述參數(shù)變換是8參數(shù)或2 參數(shù)變換。
12、 一種產(chǎn)生全景圖像的設(shè)備，包括估計(jì)裝置，用于估計(jì)每個(gè)均包含至少一個(gè)平面的輸入圖像中的主導(dǎo)平面；變形裝置，基于輸入圖像關(guān)于主導(dǎo)平面的位置關(guān)系將輸入圖像變 形，以使輸入圖像之間部分重疊；以及融合裝置，融合所述輸入圖像，以產(chǎn)生全景圖像。
13、 如權(quán)利要求12所述的設(shè)備，其中所述融合裝置在輸入圖像的 重疊區(qū)域中選擇縫合區(qū)，并且沿著縫合區(qū)將所述輸入圖像融合。
14、 如權(quán)利要求13所述的設(shè)備，其中所述縫合區(qū)為僅僅橫穿所述 至少一個(gè)平面中的所述主導(dǎo)平面的縫合線。
15、 如權(quán)利要求13所述的設(shè)備，其中所述縫合區(qū)是輸入圖像的重 疊區(qū)的垂直中間線。
16、 如權(quán)利要求13所述的設(shè)備，其中所述縫合區(qū)是融合區(qū)的中間 線，所述融合區(qū)是所述重疊區(qū)中輸入圖像之間具有最小強(qiáng)度差的區(qū)域。
17、 如權(quán)利要求12所述的設(shè)備，其中所述估計(jì)裝置包括 對(duì)應(yīng)關(guān)系確定單元，用于檢測(cè)確定輸入圖像之間的匹配對(duì)應(yīng)關(guān)系； 平面結(jié)構(gòu)估計(jì)單元，用于應(yīng)用聚類(lèi)算法估計(jì)輸入圖像中的平面結(jié)構(gòu)；主導(dǎo)平面提取單元，用于根據(jù)圖像中的特征確定所輸入圖像的平 面結(jié)構(gòu)中的主導(dǎo)平面；以及主導(dǎo)平面運(yùn)動(dòng)估計(jì)單元，用于估計(jì)輸入圖像之間的運(yùn)動(dòng)，以確定 輸入圖像關(guān)于主導(dǎo)平面的位置關(guān)系。
18、 如權(quán)利要求17所述的設(shè)備，其中所述主導(dǎo)平面提取單元根據(jù) 聚類(lèi)算法所估計(jì)的圖像中的每個(gè)平面具有的聚類(lèi)確定圖像聚類(lèi)最大的 平面，作為所述主導(dǎo)平面。
19、 如權(quán)利要求18所述的設(shè)備，其中所述主導(dǎo)平面提取單元將圖 像聚類(lèi)與圖像特征中的圖像覆蓋面積、聚類(lèi)尺寸以及MSE加權(quán)求和 來(lái)確定所述主導(dǎo)平面，作為所述主導(dǎo)平面。
20、 如權(quán)利要求12所述的設(shè)備，其中所述主導(dǎo)平面運(yùn)動(dòng)估計(jì)單元 對(duì)輸入圖像中的主導(dǎo)平面進(jìn)行參數(shù)變換確定主導(dǎo)平面在待縫合圖像之 間的運(yùn)動(dòng)量，確定待縫合圖像關(guān)于主導(dǎo)平面的相對(duì)位置。
21、 如權(quán)利要求18或19所述的設(shè)備，其中所述主導(dǎo)平面在輸入 圖像之間具有最小的強(qiáng)度差。
22、 如權(quán)利要求21所述的設(shè)備，其中所述參數(shù)變換是8參數(shù)或2 參數(shù)變換。
全文摘要
公開(kāi)了一種產(chǎn)生全景圖像的方法和設(shè)備，用于產(chǎn)生平面主導(dǎo)的場(chǎng)景的多視點(diǎn)全景圖像。該方法包括估計(jì)每個(gè)均包含至少一個(gè)平面的輸入圖像中的主導(dǎo)平面；基于輸入圖像關(guān)于主導(dǎo)平面的位置關(guān)系將輸入圖像作變形處理，使輸入圖像之間部分重疊；以及融合輸入圖像，產(chǎn)生全景圖像。利用本發(fā)明的上述設(shè)備和方法，可以在不需要先驗(yàn)知識(shí)的情況下，根據(jù)場(chǎng)景中的主導(dǎo)平面來(lái)縫合圖像，進(jìn)而形成多視點(diǎn)的全景圖像。
文檔編號(hào)G06T5/50GK101414379SQ200710182320
公開(kāi)日2009年4月22日 申請(qǐng)日期2007年10月17日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者徐成華, 嘉 王, 王建宇, 謝杰成 申請(qǐng)人:日電(中國(guó))有限公司