專利名稱：基于相對深度計(jì)算的畫中游方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于相對深度計(jì)算的畫中游方法。
背景技術(shù)：
基于圖像的繪制技術(shù)(Image-Based Rendering，IBR)是一種從一系列拍攝的圖像或者沒有連接關(guān)系的點(diǎn)出發(fā)來進(jìn)行繪制，從而得到較好三維漫游效果的虛擬現(xiàn)實(shí)技術(shù)。它在電影電視特技制作和娛樂廣告等方面有著廣泛和深入的應(yīng)用。但與此同時(shí)，普遍地，該技術(shù)表達(dá)一個(gè)場景所需的數(shù)據(jù)量過于巨大，采樣難度過大。Y.Horry于1997年提出了畫中游技術(shù)(Tour Into the Picture，TIP)。該技術(shù)可以簡單地對一幅二維照片進(jìn)行漫游，較好地解決了IBR技術(shù)中的采樣問題。畫中游技術(shù)給出了一種簡單的三維模型，它由一些三維多邊形框架和公告板(billboard)組成，從而可以生成各式各樣令人悅目的高質(zhì)量3D動(dòng)畫。該技術(shù)目前已被廣泛應(yīng)用于娛樂、文物保護(hù)、廣告等各方面。
畫中游技術(shù)一般可以分為以下四個(gè)步驟 1、圖像預(yù)處理。將輸入圖像區(qū)分前后景，手動(dòng)制作前景mask圖和背景圖片。所謂前景mask圖是將圖像中前景部分摳出而形成的二維灰度圖，前景部分置為白色，其它部分為黑色。背景圖片則為去掉前景以后的背景，手動(dòng)將前景鏤空部分填充上與周圍背景相協(xié)調(diào)的圖案和色彩。這是開始TIP制作過程的準(zhǔn)備。
2、構(gòu)建蜘蛛網(wǎng)格。在背景圖片上構(gòu)建蜘蛛網(wǎng)格，從而可以提供建模的基本幾何信息。蜘蛛網(wǎng)格由滅點(diǎn)(vanishing point)、內(nèi)窗口(inner window)、外窗口(outer window)和由滅點(diǎn)向四周發(fā)出的射線組成。由于透視現(xiàn)象為近大遠(yuǎn)小，因而使得三維場景中互相平行的直線在二維圖像中不一定平行，最終匯聚成為一點(diǎn)，即所謂滅點(diǎn)。內(nèi)窗口為視點(diǎn)無法穿過的背部矩形，外窗口則為圖像的邊框。由滅點(diǎn)出發(fā)經(jīng)過內(nèi)窗口四個(gè)頂點(diǎn)的射線和內(nèi)窗口一起，把原圖像分為五個(gè)部分——內(nèi)窗口和上下左右四個(gè)多邊形。相對應(yīng)地，分別命名為后墻(rearwall)、天花板(ceiling)、地面(floor)、左墻(left wall)、右墻(right wall)。
3、重建模。對于背景，蜘蛛網(wǎng)格所分割而成的五個(gè)部分相對應(yīng)于建模過程中的五個(gè)相鄰接的矩形。基于三個(gè)假設(shè)進(jìn)行重建模1)五個(gè)矩形中相鄰的矩形彼此垂直；2)三維環(huán)境中后墻矩形(rear wall)平行于視平面；3)三維環(huán)境中地面矩形(floor)垂直于視平面。重建過程中，先獲取圖像中蜘蛛網(wǎng)格的有關(guān)位置信息，進(jìn)行各個(gè)關(guān)鍵點(diǎn)(建模過程中矩形的頂點(diǎn))的三維位置計(jì)算。其中，天花板高度等信息為估計(jì)尺寸。根據(jù)計(jì)算而得的各個(gè)關(guān)鍵點(diǎn)的位置信息進(jìn)行建模，得到背景的三維盒子模型(box model)。對于前景，基于公告板(billboard)形式，使用層次多邊形進(jìn)行建模，三維位置計(jì)算與背景類似。
4、紋理映射及渲染。假設(shè)三維矩形中的紋理都從相對應(yīng)的二維多邊形中繼承。渲染而得的輸出圖像中任意二維點(diǎn)可以找到三維模型中的對應(yīng)點(diǎn)，后者又可以找到原始圖像中的二維對應(yīng)點(diǎn)。對于前景的紋理映射，除了紋理對應(yīng)以外，還必須根據(jù)mask圖提供的信息，設(shè)置前景物體和周圍背景的不同透明值。因而渲染的每個(gè)點(diǎn)都可以在原圖中找到對應(yīng)的點(diǎn)，映射該點(diǎn)的色彩即可得到紋理映射的結(jié)果。
畫中游技術(shù)從一幅圖像出發(fā)，得到三維模型中的漫游效果，給人以全新的“人在畫中游”的視覺效果。但在應(yīng)用過程中，尤其是畫中游技術(shù)和全景圖技術(shù)相結(jié)合時(shí)，對畫中游技術(shù)中，在不改變視點(diǎn)位置情況下，重建的三維模型是否可以得到與原圖相同視覺效果，提出了更高的要求，這實(shí)質(zhì)上是對于重建三維模型的位置和尺寸的更精確的要求。畫中游技術(shù)的建模過程中，原有的高度等值的估計(jì)方法難以滿足需求，這直接影響到用戶在畫中游過程中的真實(shí)感。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于相對深度計(jì)算的畫中游方法。
以一幅圖像作為輸入進(jìn)行漫游，其步驟為 (1)確定圖像滅點(diǎn)數(shù)目；對圖像進(jìn)行前景背景劃分；對于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格； (2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度及模型相對尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對深度和相對尺寸計(jì)算這三個(gè)子步驟； (3)根據(jù)相對深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
本發(fā)明簡單易用，其有益效果是，可以通過科學(xué)計(jì)算得到畫中游模型的較精確的相對位置和相對尺寸，從而在視點(diǎn)位置和角度不變的情況下，使用戶得到與原始圖像相同視覺效果的三維模型透視輸出圖像。尤其在畫中游和全景圖技術(shù)相結(jié)合的應(yīng)用中，可以得到全景圖和畫中游模型之間的無跳躍切換。
對本發(fā)明進(jìn)行實(shí)驗(yàn)檢驗(yàn)，構(gòu)造精確的三維模型，進(jìn)行相機(jī)采樣。對采樣圖像使用新的畫中游方法(為1個(gè)滅點(diǎn)圖像)，對三維模型進(jìn)行重建。在原相對深度為100.00的采樣中，表1為本發(fā)明計(jì)算得到的結(jié)果，平均誤差為2.86％ 表1結(jié)果及誤差分析實(shí)驗(yàn)1實(shí)驗(yàn)2實(shí)驗(yàn)3相對深度97.3396.7397.37誤差2.67％3.27％2.63％ 重建的三維模型在經(jīng)過透視重新渲染形成輸出圖像的過程中，其相對深度和相對尺寸的誤差影響將進(jìn)一步減小，從而得到與原始圖像相同的視覺效果。進(jìn)行實(shí)驗(yàn)檢驗(yàn)，構(gòu)造精確的三維模型，進(jìn)行相機(jī)采樣。對采樣圖像使用新的畫中游方法(為1個(gè)滅點(diǎn)圖像)，對三維模型進(jìn)行重建。在原相對深度為100.00的采樣中，表1為本實(shí)用新型計(jì)算得到的結(jié)果，平均誤差為2.86％ 表1結(jié)果及誤差分析實(shí)驗(yàn)1實(shí)驗(yàn)2實(shí)驗(yàn)3相對深度97.3396.7397.37誤差2.67％3.27％2.63％ 重建的三維模型在經(jīng)過透視重新渲染形成輸出圖像的過程中，其相對深度和相對尺寸的誤差影響將進(jìn)一步減小，從而得到與原始圖像相同的視覺效果。
圖1是基于相對深度計(jì)算的畫中游方法的流程示意圖； 圖2a～d是畫中游方法的蜘蛛網(wǎng)格示意圖； 圖3是本發(fā)明的“相對深度”定義示意圖； 圖4為本發(fā)明的一個(gè)滅點(diǎn)圖像的相對深度和模型相對尺寸的計(jì)算示意圖； 圖5是本發(fā)明的左墻實(shí)際建模細(xì)節(jié)示意圖； 圖6a～c是本發(fā)明的一個(gè)滅點(diǎn)圖像經(jīng)過計(jì)算建模渲染后的輸出圖像效果示意圖； 圖7為本發(fā)明的兩個(gè)滅點(diǎn)圖像的相對深度和模型相對尺寸的計(jì)算示意圖； 圖8a～c是本發(fā)明的兩個(gè)滅點(diǎn)圖像的漫游過程輸出圖像。
具體實(shí)施例方式 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是定義圖像平面為垂直于地面的平面。原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上。在本方案中，稱如此放置的原始圖像為參考圖像。引入“相對深度(Relative Depth，RD)”的概念，即模型與圖像平面之間的距離深度。在畫中游技術(shù)中，“相對深度”即圖像平面與模型后墻之間的距離深度。根據(jù)透視幾何原理，在構(gòu)造蜘蛛網(wǎng)格的基礎(chǔ)上，由參考圖像的定義，可計(jì)算得到模型的相對深度。在此基礎(chǔ)上，可進(jìn)一步計(jì)算得到模型的各相對尺寸。所謂相對尺寸，即計(jì)算所得的尺寸是與參考圖像大小相對應(yīng)的模型尺寸，而非真實(shí)環(huán)境中物體的原始大小。相對深度的計(jì)算，決定了畫中游模型的位置和尺寸，也決定了用戶漫游的深度限制。
由于從單幅圖像中計(jì)算深度有一定困難，這要求一些輔助條件或者模型本身具有一定的幾何特征(如垂直或平行的直線和平面等)。我們基于以下假設(shè)提出本實(shí)用新型 (1)模型的左右墻和后墻均垂直于地面。
(2)圖像平面垂直于地面。
(3)原始圖像為相機(jī)水平采樣所得。
本發(fā)明針對不同的圖像特征，歸納了不同滅點(diǎn)數(shù)圖像的相對深度及模型尺寸計(jì)算方法。相對深度計(jì)算的基本步驟為 1、視點(diǎn)確定。確定一固定的視點(diǎn)，在該視點(diǎn)處進(jìn)行參考圖像和畫中游模型的切換。漫游過程中，所生成的新的圖像不同于原始圖像，包括視野大小、分辨率和視角等。新的生成圖像只有在該固定視點(diǎn)處才能得到與原始圖像相同的視覺效果。這意味著當(dāng)用戶要從畫中游模型切換回到原始圖像時(shí)必須回到該視點(diǎn)位置。
2、從蜘蛛網(wǎng)格獲取相對深度計(jì)算所需的數(shù)據(jù)。
3、根據(jù)不同的滅點(diǎn)數(shù)進(jìn)行相對深度和相對尺寸計(jì)算。
新的畫中游方法步驟為 (1)確定圖像滅點(diǎn)數(shù)目；手工對圖像進(jìn)行前景背景劃分；對于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格； (2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度及模型相對尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對深度和相對尺寸計(jì)算這三個(gè)子步驟； (3)根據(jù)相對深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
如圖1所示，首先，對原始圖像確定滅點(diǎn)類型以確定不同的相對深度及模型相對尺寸計(jì)算方法；區(qū)分其前后景，并分別對前景背景進(jìn)行預(yù)處理，形成前景mask和背景圖像。然后，在對背景圖像構(gòu)建蜘蛛網(wǎng)格的基礎(chǔ)上，根據(jù)不同的滅點(diǎn)類型，確定模型結(jié)構(gòu)，進(jìn)行相對深度和模型相對尺寸的計(jì)算。之后，根據(jù)計(jì)算得到的數(shù)據(jù)進(jìn)行前景背景的分別建模和紋理映射。最后，定位相機(jī)，并進(jìn)行渲染輸出結(jié)果圖像。
圖2(a)為蜘蛛網(wǎng)格的各組成部分滅點(diǎn)，內(nèi)窗口，外窗口，由滅點(diǎn)出發(fā)的各條射線。圖2(b)給出了在一個(gè)滅點(diǎn)背景圖像上構(gòu)建蜘蛛網(wǎng)格的實(shí)例。圖2(c)表示蜘蛛網(wǎng)格的構(gòu)建將背景圖像分為五個(gè)部分后墻，左右墻，天花板和地面，這將直接對應(yīng)建模過程中盒子模型的各面。圖2(d)即說明了建模后各頂點(diǎn)與蜘蛛網(wǎng)格中相關(guān)頂點(diǎn)的對應(yīng)關(guān)系，并給出了建模后的盒子模型外觀。
如圖3所示，“相對深度”定義為模型與圖像平面之間的距離深度。在畫中游技術(shù)中，“相對深度”即圖像平面與模型后墻之間的距離深度。圖像平面垂直于地平面，且參考圖像底邊在地平面上?！跋鄬ι疃取贝_定了模型的位置(即后墻位置，也就是漫游的深度限制)，實(shí)際上也就是三維盒子模型中地面矩形的長度。
在圖4所示實(shí)施例中，輸入圖像為一滅點(diǎn)圖像。圖4中，左上角為背景圖像，右上角為建模側(cè)視圖，左下角為建模頂視圖。視點(diǎn)位置在垂直于圖像平面且過滅點(diǎn)的直線上，視點(diǎn)到圖像平面的距離f可根據(jù)應(yīng)用需要設(shè)定，這樣，視點(diǎn)位置就確定了。由背景圖像的蜘蛛網(wǎng)格可以得到相對深度計(jì)算所需的有關(guān)數(shù)據(jù)信息內(nèi)窗口底邊到外窗口底邊的距離m1，滅點(diǎn)到外窗口底邊的距離vh(即視點(diǎn)高度)，滅點(diǎn)到內(nèi)窗口頂邊的距離m2，滅點(diǎn)到內(nèi)窗口左邊的距離p1，滅點(diǎn)到內(nèi)窗口右邊的距離p2。根據(jù)透視幾何原理，可以計(jì)算得到相對深度<math> <mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型寬度<math> <mrow> <mi>w</mi> <mo>=</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math> 這就得到了三維盒子模型的位置和主要的相對尺寸。除此之外，還有一些建模細(xì)節(jié)需要注意，如各個(gè)三維矩形的具體尺寸。如圖4中頂視圖和圖5所示，以左墻為例，其三維模型并不是一個(gè)d×h的矩形，而必須考慮其三維空間的可視角度，應(yīng)為一個(gè)(d-n1)×h的矩形。相類似地，右墻模型應(yīng)為(d-n2)×h的矩形，天花板模型應(yīng)為(d-n3)×h的矩形。其中，由圖5可得，<math> <mrow> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>4</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>h</mi> <mo>-</mo> <mi>height</mi> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mo>(</mo> <mi>height</mi> <mo>-</mo> <mi>vh</mi> <mo>)</mo> </mrow> </mfrac> <mo>.</mo> </mrow> </math> 圖6為圖4所示實(shí)施例的輸出圖效果比較。圖6(a)為該示例的輸入圖像，圖6(b)為對輸入圖像進(jìn)行TIP建模后得到的模型外觀，圖6(c)是對(b)中紋理部分的放大?？梢?，在視點(diǎn)位置和角度不變的情況下，經(jīng)過本實(shí)用新型的計(jì)算和建模，可得到與原輸入圖像相同視覺效果的輸出模型。
圖7給出了另一個(gè)實(shí)施例，其輸入圖像為二滅點(diǎn)圖像。圖7中，左上角為背景圖像，右上角為建模側(cè)視圖，左下角為建模頂視圖。根據(jù)透視幾何，圖像中的兩個(gè)滅點(diǎn)必然在同一水平線上，稱為滅線。視點(diǎn)位置在垂直于圖像平面且過兩滅點(diǎn)連線中點(diǎn)的直線上，視點(diǎn)到圖像平面的距離f可根據(jù)應(yīng)用需要設(shè)定，這就確定了視點(diǎn)位置。由背景圖像的蜘蛛網(wǎng)格可以得到相對深度計(jì)算所需的有關(guān)數(shù)據(jù)信息。經(jīng)過計(jì)算得到<math> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>4</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math> 圖8是圖7實(shí)施例經(jīng)過計(jì)算建模以后，在漫游過程中的輸出圖像效果。圖8(a)為對兩滅點(diǎn)圖像構(gòu)建網(wǎng)格，提取有關(guān)計(jì)算數(shù)據(jù)。圖8(b)為原始輸入圖像，圖8(c)為漫游過程中某一角度的輸出圖像，這是原始圖像中不能獲得的新視點(diǎn)視覺效果。
權(quán)利要求
1、一種基于相對深度計(jì)算的畫中游方法，其特征在于以一幅圖像作為輸入進(jìn)行漫游，其步驟為
(1)確定圖像滅點(diǎn)數(shù)目；對圖像進(jìn)行前景背景劃分；對于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格；
(2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度及模型相對尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對深度和相對尺寸計(jì)算這三個(gè)子步驟；
(3)根據(jù)相對深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
2、根據(jù)權(quán)利要求1所述的一種基于相對深度計(jì)算的畫中游方法，其特征在于所說的視點(diǎn)確定是該視點(diǎn)為切換畫中游模型和參考圖像的固定點(diǎn)，對于一滅點(diǎn)圖像，其視點(diǎn)位于過滅點(diǎn)，且垂直于圖像平面的直線上，視點(diǎn)到圖像平面的距離f可任意確定；對于兩滅點(diǎn)圖像，兩滅點(diǎn)位于同一水平線，即滅線上，其視點(diǎn)位于過兩滅點(diǎn)連線中點(diǎn)，且垂直于圖像平面的直線上，視點(diǎn)到圖像平面的距離f可任意確定。
3、根據(jù)權(quán)利要求1所述的一種基于相對深度計(jì)算的畫中游方法，其特征在于所說的按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度和相對尺寸計(jì)算是對于一個(gè)滅點(diǎn)的圖像，由背景圖像的蜘蛛網(wǎng)格獲取以下數(shù)據(jù)信息內(nèi)窗口底邊到外窗口底邊的距離m1，滅點(diǎn)到外窗口底邊的距離vh，即視點(diǎn)高度，滅點(diǎn)到內(nèi)窗口頂邊的距離m2，滅點(diǎn)到內(nèi)窗口左邊的距離p1，滅點(diǎn)到內(nèi)窗口右邊的距離p2，滅點(diǎn)到外窗口左邊距離p3，滅點(diǎn)到外窗口右邊距離p4，外窗口高度height，又根據(jù)透視幾何原理，計(jì)算得到三維盒子模型相對深度和相對尺寸如下相對深度<math> <mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型寬度<math> <mrow> <mi>w</mi> <mo>=</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math>
4、根據(jù)權(quán)利要求1所述的一種基于相對深度計(jì)算的畫中游方法，其特征在于所說的按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度和相對尺寸計(jì)算是對于兩個(gè)滅點(diǎn)的圖像，由背景圖像的蜘蛛網(wǎng)格獲取以下數(shù)據(jù)信息滅線到內(nèi)窗口底邊距離m1，滅線到左墻底邊的距離m2，滅線到右墻底邊的距離m3，滅線到外窗口頂邊的距離m4，滅線到外窗口底邊距離vh，即視點(diǎn)高度，內(nèi)窗口寬度p1，視點(diǎn)到外窗口左邊的距離p2，視點(diǎn)到外窗口右邊的距離p3，經(jīng)過計(jì)算得到后墻相對深度<math> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 左墻外沿相對深度<math> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 右墻外沿相對深度<math> <mrow> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 后墻寬度<math> <mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 左墻外沿寬度<math> <mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 右墻外沿寬度<math> <mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>4</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math>
5、根據(jù)權(quán)利要求3所述的一種基于相對深度計(jì)算的畫中游方法，其特征在于所說的一滅點(diǎn)圖像計(jì)算得到三維盒子模型是對于一滅點(diǎn)圖像，在得到盒子模型相對深度和相對尺寸數(shù)據(jù)之后，確認(rèn)盒子模型各三維矩形的具體尺寸，其左墻為一個(gè)(d-n1)×h的矩形，右墻模型為(d-n2)×h的矩形，天花板模型為(d-n3)×h的矩形，其中，<math> <mrow> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>4</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>h</mi> <mo>-</mo> <mi>height</mi> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mo>(</mo> <mi>height</mi> <mo>-</mo> <mi>vh</mi> <mo>)</mo> </mrow> </mfrac> <mo>.</mo> </mrow> </math>
全文摘要
本發(fā)明公開了一種基于相對深度計(jì)算的畫中游方法。其步驟為(1)確定圖像滅點(diǎn)數(shù)目；對圖像進(jìn)行前景背景劃分；對于前景部分，準(zhǔn)備前景mask圖；對圖像背景部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格；(2)按照滅點(diǎn)數(shù)目對背景圖像進(jìn)行相對深度及模型相對尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對深度和相對尺寸計(jì)算這三個(gè)子步驟；(3)根據(jù)相對深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。本方法針對較規(guī)整建筑物，能夠從二維圖像中較精確地計(jì)算三維模型的相對尺寸和相對位置，能較好地解決全景圖和畫中游相結(jié)合的應(yīng)用中兩種技術(shù)切換時(shí)的融合問題。
文檔編號G06T15/00GK1588453SQ20041005297
公開日2005年3月2日 申請日期2004年7月15日 優(yōu)先權(quán)日2004年7月15日
發(fā)明者曹智清, 石教英 申請人:浙江大學(xué)