專利名稱：基于圖像的著色和編輯方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于著色和編輯三維(3D)模型的方法及裝置，更特別地，涉及用于著色和編輯3D模型的方法及裝置，該方法及裝置可以使用3D模型的深度信息更加精確地著色3D模型，并可以更快地編輯3D模型。
背景技術(shù)：
由于對3D圖形的第一研究，3D圖形的一個最根本的目標(biāo)通?？偸歉_和更快速地著色3D模型。近來，多媒體應(yīng)用需要用戶設(shè)備，例如移動設(shè)備，以在網(wǎng)絡(luò)環(huán)境中能夠更快和更精確地著色3D模型。然而使用多邊網(wǎng)格的常規(guī)基于網(wǎng)格的著色技術(shù)已經(jīng)無法更好地滿足這種需要。例如在使用常規(guī)基于網(wǎng)格的著色技術(shù)在終端設(shè)備的小屏幕上著色復(fù)雜的3D模型的情況下，頂點(diǎn)之間的鏈接上的一些信息可能會產(chǎn)生冗余。為了能夠進(jìn)行交互的3D模型著色，必須將復(fù)雜的網(wǎng)格簡化。然而為了簡化這種復(fù)雜的網(wǎng)格，復(fù)雜的算法是必須的。另外，復(fù)雜的算法也需要壓縮網(wǎng)格并將壓縮的網(wǎng)格逐漸地發(fā)送。
常規(guī)基于圖像的著色技術(shù)通過使用具有深度信息的圖像(即深度圖像)能夠以高分辨率著色基于圖像或基于點(diǎn)的3D模型，該技術(shù)可以與常規(guī)基于網(wǎng)格的著色技術(shù)替換。該基于圖像的著色技術(shù)也可以適當(dāng)?shù)靥幚砘蚓庉媹D像數(shù)據(jù)，并可以對3D模型實(shí)時(shí)地進(jìn)行著色。
然而常規(guī)基于圖像的著色技術(shù)對3D模型的著色沒有考慮到這樣的事實(shí)，即3D模型的參考圖像可以包括簡單紋理模型的冗余數(shù)據(jù)，該數(shù)據(jù)從不同的視點(diǎn)對3D模型的相同部分著色，從而就相當(dāng)大地降低了著色的速度和質(zhì)量。
另外，常規(guī)基于圖像的著色技術(shù)不能夠?qū)?D模型的各個表面特征進(jìn)行滿意的著色，例如隨著視點(diǎn)不同而變化的光澤(glitter)或陰影。因此，通過常規(guī)基于圖像的著色技術(shù)著色的3D模型是不逼真的。
此外，常規(guī)基于網(wǎng)格的著色技術(shù)需要復(fù)雜的算法，這是因?yàn)闉榱诵薷幕趫D像的3D模型，除了修改基于圖像的3D模型的每一個參考圖像之外，沒有其它的選擇，在這種情況下，需要編輯的圖像數(shù)據(jù)量是很可觀的。

發(fā)明內(nèi)容
本發(fā)明提供一種用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法和裝置，該數(shù)據(jù)從不同的視點(diǎn)對3D模型的相同部分著色，該方法和裝置可以提高著色速度和質(zhì)量。
本發(fā)明也提供一種著色方法和裝置，其可以成功地對3D模型的表面特征進(jìn)行著色，例如隨著視點(diǎn)不同而變化的光澤和陰影。
本發(fā)明也提供一種基于圖像的編輯方法和裝置，其用于對使用基于圖像的著色方法著色后的3D模型進(jìn)行編輯。
根據(jù)本發(fā)明的一方面，提供一種刪除簡單紋理模型的冗余數(shù)據(jù)的方法。該方法包括(a)通過使用多個簡單紋理圖像之中的深度圖像來計(jì)算投影到三維(3D)空間中的像素的法向矢量，該多個簡單紋理圖像對3D模型的不同方面進(jìn)行著色；(b)通過使用在步驟(a)中得到的法向矢量來計(jì)算每一簡單紋理圖像的像素的可靠性；和(c)比較來源于不同簡單紋理圖像的但對3D模型的相同部分進(jìn)行著色的像素的可靠性，并刪除分別來源于不同的簡單紋理圖像中的具有低可靠性的像素。
在步驟(a)中，可以通過根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，并計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，就可以計(jì)算每一簡單紋理圖像像素的法向矢量。
步驟(a)可以包括根據(jù)每一深度圖像的像素值將每一簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自的兩個相鄰的像素形成三角平面，并計(jì)算該三角平面的法向矢量；和將該三角平面的法向矢量進(jìn)行平均。
在步驟(b)中，可以使用每一簡單紋理圖像的像素的法向矢量和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的向量，來計(jì)算每一簡單紋理圖像的像素的可靠性。
在步驟(b)中，可以根據(jù)每一簡單紋理圖像的像素的法向矢量的內(nèi)投影和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的向量，來確定每一簡單紋理圖像的像素的可靠性。
步驟(b)可以包括計(jì)算3D空間中每一簡單紋理的像素彼此之間的相鄰性(proximity)，并確定位于預(yù)定臨界距離或彼此之間更近的像素，來用作著色3D模型的相同部分。
在步驟(c)中，對3D模型的相同部分進(jìn)行著色的、但來源于不同的簡單紋理圖像的所有像素，除了具有最高可靠性的像素之外，都可以從分別產(chǎn)生所有這些像素的不同簡單紋理圖像中刪除。
在步驟(c)中，具有低可靠性的每個深度圖像的像素可以被設(shè)為背景圖像的像素。
根據(jù)本發(fā)明的另一方面，提供了一種用于刪除簡單紋理模型的冗余數(shù)據(jù)的裝置。該裝置包括法向矢量計(jì)算單元，用于通過使用對3D模型的不同方面進(jìn)行著色的多個簡單紋理圖像之中的深度圖像，來計(jì)算投影到三維(3D)空間上的像素的法向矢量；可靠性計(jì)算單元，用于通過使用由法向矢量計(jì)算單元所得到的法向矢量來計(jì)算每一簡單紋理圖像的像素的可靠性；和冗余數(shù)據(jù)刪除單元，用于比較來自不同的簡單紋理圖像的、但對3D模型的相同部分進(jìn)行著色的像素的可靠性，并從分別產(chǎn)生這些像素的不同簡單紋理圖像中刪除具有低可靠性的像素。
根據(jù)本發(fā)明的另一方面，提供了一種著色方法。該著色方法包括(a)接收對3D模型的不同方面進(jìn)行著色的簡單紋理圖像和3D模型的屬性信息，并通過使用該簡單紋理圖像和該屬性信息來產(chǎn)生擴(kuò)展深度圖像，其中該擴(kuò)展深度圖像是用于表示隨著視點(diǎn)不同而變化的3D模型的色彩和深度以及3D模型的屬性的二維(2D)圖像；(b)根據(jù)3D模型的屬性信息來為擴(kuò)展深度圖像的每一像素設(shè)置預(yù)定的反射模型系數(shù)；(c)計(jì)算包括在擴(kuò)展深度圖像中的每一深度圖像的像素的法向矢量；和(d)通過使用預(yù)定的反射模型系數(shù)和法向矢量來確定3D模型的色彩，其中該3D模型的色彩根據(jù)3D模型的屬性而變化，以及通過使用所確定的色彩來對該3D模型進(jìn)行著色。
屬性信息可以包括鏡面分量，用于指示3D模型反射光線和隨著視點(diǎn)不同而變化的程度，和發(fā)光分量，用于指示3D模型發(fā)光和隨著3D模型表面的紋理而變化的程度。
預(yù)定的反射模型可以是Phong反射模型。
在步驟(c)中，可以通過根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，并計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，就可以計(jì)算每一簡單紋理圖像的像素的法向矢量。
步驟(c)可以包括根據(jù)每一深度圖像的像素值將每一簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自的兩個相鄰的像素來形成三角平面，并計(jì)算該三角平面的法向矢量；和將該三角平面的法向矢量進(jìn)行平均。
根據(jù)本發(fā)明的另一方面，提供了一種著色裝置。該著色裝置包括擴(kuò)展深度圖像形成單元，用于接收對3D模型的不同方面進(jìn)行著色的簡單紋理圖像和3D模型的屬性信息，并使用該簡單紋理圖像和該屬性信息來產(chǎn)生擴(kuò)展深度圖像，該擴(kuò)展深度圖像是表示隨著視點(diǎn)不同而變化的3D模型的色彩和深度以及3D模型的屬性的二維(2D)圖像，；反射模型系數(shù)設(shè)置單元，用于根據(jù)3D模型的屬性信息為擴(kuò)展深度圖像的每一像素設(shè)置預(yù)定的反射模型系數(shù)；法向矢量確定單元，用于計(jì)算包括在擴(kuò)展深度圖像中的每一深度圖像的像素的法向矢量；和著色單元，用于通過使用預(yù)定的反射模型系數(shù)和法向矢量來確定3D模型的色彩，其中該3D模型的色彩根據(jù)3D模型的屬性而變化，和使用所確定的色彩對該3D模型進(jìn)行著色。
根據(jù)本發(fā)明的另一方面，提供了一種基于圖像的編輯方法。該基于圖像的編輯方法可以包括(a)捕獲使用多個簡單紋理圖像的、包括色彩圖像和深度圖像對3D模型進(jìn)行著色的圖像，每一個該簡單紋理圖像對3D模型的不同方面進(jìn)行著色；(b)編輯所捕獲的圖像的像素，并存儲該編輯的圖像；和(c)使用該編輯的圖像來更新參考圖像(多個簡單紋理圖像的色彩和深度圖像)。
步驟(c)可以包括(c1)選擇要使用編輯圖像進(jìn)行編輯的一個參考圖像和其中一部分；(c2)選擇與該編輯圖像的編輯像素相對應(yīng)的所選參考圖像的像素，和根據(jù)該編輯圖像對所選參考圖像的所選像素進(jìn)行編輯；和(c3)存儲該編輯的參考圖像。
在步驟(c)中，可以根據(jù)該編輯參考圖像對每一參考圖像的所有像素進(jìn)行編輯，其中該像素對與該編輯參考圖像的編輯像素相同的部分進(jìn)行著色。
步驟(b)可以包括(b1)選擇所捕獲圖像中著色的3D模型的一部分，并計(jì)算該所選擇部分的法向矢量；(b2)設(shè)置光源，該光源具有由用戶在步驟(b1)中所計(jì)算的法向矢量的方向上的無窮遠(yuǎn)點(diǎn)處設(shè)置的屬性；(b3)計(jì)算該捕獲圖像的像素的法向矢量；(b4)根據(jù)光源的屬性和在步驟(b3)中所計(jì)算的法向矢量來計(jì)算3D模型的色彩；和(b5)使用所計(jì)算的色彩來創(chuàng)建編輯的參考圖像。
在步驟(b4)中，可以使用Phong反射模型的系數(shù)來計(jì)算3D模型的色彩。
步驟(b)可以包括選擇要進(jìn)行編輯的一個參考圖像和其中一部分；通過將與所選參考圖像的所選部分相對應(yīng)的像素值設(shè)置為預(yù)定值，來從所選參考圖像中刪除該所選的部分；和將作為結(jié)果得到的參考圖像存儲為編輯參考圖像。
根據(jù)本發(fā)明的另一方面，提供了一種基于圖像的編輯裝置。該基于圖像的編輯裝置包括圖像捕獲單元，用于捕獲使用多個簡單紋理圖像對3D模型進(jìn)行著色的圖像，該圖像包括對3D模型的不同方面進(jìn)行著色的色彩和深度圖像；圖像編輯單元，用于編輯所捕獲的圖像的像素，并存儲該編輯的參考圖像；和向后投影單元，用于使用該編輯的參考圖像來更新參考圖像，其中該參考圖像為多個簡單紋理圖像的色彩和深度圖像。


通過參考附圖對本發(fā)明的示范性實(shí)施例進(jìn)行詳細(xì)的描述，本發(fā)明的上述和其它特征和優(yōu)點(diǎn)將會變得更為明顯，其中圖1是說明簡單紋理模型的圖；圖2是說明門(gate)模型和在捕獲門的參考圖像的位置處的相機(jī)位置的圖；圖3是說明依靠相機(jī)位置的分辨率變化的圖；圖4是根據(jù)本發(fā)明的一個優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的裝置的方框圖；圖5A和5B是根據(jù)本發(fā)明的一個優(yōu)選實(shí)施例的、用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法的流程圖；圖6是說明在本發(fā)明中的像素的可靠性的圖；圖7(a)和7(b)說明還沒有應(yīng)用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法的色彩圖和深度圖；圖7(c)和7(d)說明已經(jīng)應(yīng)用了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法的色彩圖和深度圖；
圖8展示了圖7(b)和7(d)的放大視圖；圖9是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的、使用擴(kuò)展深度圖像的著色裝置的方框圖；圖10是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的、使用擴(kuò)展深度圖像的著色方法的流程圖；圖11是說明使用擴(kuò)展深度圖像進(jìn)行著色的3D模型的圖；圖12是說明根據(jù)本發(fā)明的優(yōu)選實(shí)施例的向后傳播(back-propagation)處理的原理的圖；圖13是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的基于圖像的編輯裝置的方框圖；圖14A和14B是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的基于圖像的編輯方法的流程圖；圖15A是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的光線描繪(light paint)編輯方法的流程圖；圖15B是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的刪除編輯方法的流程圖；圖15C是根據(jù)本發(fā)明的優(yōu)選實(shí)施例的拷貝編輯方法的流程圖；圖16說明了通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的描繪編輯方法進(jìn)行著色的3D模型；圖17說明了通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的光線描繪編輯方法進(jìn)行著色的3D模型；和圖18(a)、18(b)和18(c)說明了分別使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的選擇編輯方法、根據(jù)本發(fā)明的優(yōu)選實(shí)施例的刪除編輯方法、和根據(jù)本發(fā)明的優(yōu)選實(shí)施例的拷貝編輯方法進(jìn)行著色的3D模型。
具體實(shí)施例方式
在本發(fā)明中，使用簡單紋理模型對三維(3D)模型進(jìn)行著色。簡單紋理模型包括對3D模型的不同方面進(jìn)行著色的參考圖像。每一參考圖像包含幾何信息(即深度信息)，關(guān)于相機(jī)的信息(諸如相機(jī)的位置、方向和視野(field-of-view)、以及近剪切板和遠(yuǎn)剪切板上的信息。圖1所示為簡單紋理模型的一個范例。更具體地說，在圖1的上半部所示為簡單紋理模型的色彩圖像，在圖1的下半部所示為簡單紋理模型的深度圖像，在圖1的最右邊所示為使用簡單紋理模型著色的3D模型。在使用正投影(orthographic)相機(jī)的情況下，存儲正投影相機(jī)的視野寬度和高度。每一深度圖像的像素用灰度級表示，該像素投影到3D模型表面的不同部分。根據(jù)預(yù)定相機(jī)與它們所分別投影到3D模型表面的部分之間的距離來確定每一深度圖像的像素值。參照圖1，3D模型靠近預(yù)定相機(jī)的部分在每一深度圖像中比3D模型遠(yuǎn)離預(yù)定相機(jī)的部分被著色得更亮。
可以使用例如小波(wavelet)壓縮方法的方法來存儲參考圖像，從而壓縮的參考圖像可以通過網(wǎng)絡(luò)被逐漸地發(fā)送。最好，色彩圖像和深度圖像具有相同的大小?？梢允褂妹肯袼?比特或16比特，將每一深度圖像有選擇性編碼成色彩圖像的α信道。然而，8比特并不足夠以高分辨率精確地著色3D模型。
每一深度圖像著色3D模型的一個方面，并且它們一起著色3D模型的每個方面。圖2所示為門模型和在捕獲門的圖像的位置處的相機(jī)位置。參照圖2，對每一參考圖像的大小和每一相機(jī)的位置和方向沒有作任何限制。為需要更精細(xì)著色的3D模型的表面部分準(zhǔn)備高分辨率圖。如圖3所示，捕獲恐龍頭圖像的相機(jī)比捕獲恐龍背圖像的相機(jī)產(chǎn)生更加精制的簡單紋理模型。
根據(jù)本發(fā)明，3D模型著色的靜態(tài)版本可以通過著色3D距離數(shù)據(jù)或離線合成對象而得到，并且如果需要，對離線著色的結(jié)果進(jìn)行優(yōu)化。
本發(fā)明采用了一種使用色彩流和深度流的基于動畫圖像的著色技術(shù)。動畫對象圖像是色彩流和深度流的集合。這里，使用它們各自的深度流合成色彩流?；趧赢媹D像的著色技術(shù)對于諸如3D電影的應(yīng)用可能會非常有用?；趧赢媹D像的著色技術(shù)對動畫的類型沒有任何限制。另外，基于動畫圖像的著色技術(shù)是一個復(fù)雜性獨(dú)立的著色技術(shù)，該著色技術(shù)通過使用MPEG-4視頻壓縮方法壓縮圖像數(shù)據(jù)，可以將大的圖像數(shù)據(jù)變小。在這一點(diǎn)上，基于動畫圖像的著色技術(shù)比常規(guī)的關(guān)鍵幀動畫技術(shù)效率更高，特別是當(dāng)應(yīng)用到復(fù)雜模型時(shí)。
現(xiàn)在參照附圖，更加全面地描述根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法和裝置。
簡單紋理模型包括參考圖像，該參考圖像包括色彩信息和深度信息。每一參考圖像也包括在3D模型的部分與預(yù)定視點(diǎn)之間的距離信息。簡單紋理模型中不同的參考圖像可以著色3D模型的相同部分，在這種情況下，簡單紋理模型具有冗余數(shù)據(jù)。來源于不同深度圖像的但是對3D模型的相同部分著色的采樣幾乎投影到3D空間中相同的點(diǎn)上。如此的冗余采樣會引起下列問題。
第一，冗余采樣不合乎理想地增加了簡單紋理模型的大小，并且由此對著色速度產(chǎn)生負(fù)面影響。
第二，可以將3D模型的表面部分著色成具有不同數(shù)目像素的不同輸出圖像，即3D模型的表面部分可以以不同的采樣速率被捕獲成不同的深度圖。在這種情況下，在每一輸出圖像中，低采樣速率的采樣比高采樣速率的采樣被著色更大。因此，可以用不可靠的像素，即低采樣速率的采樣來代替可靠的像素，即高采樣速率的采樣，這樣會導(dǎo)致著色質(zhì)量的降低。
第三，原理上，對3D模型的相同表面部分進(jìn)行著色的采樣最好具有相同的色彩、或至少相似的色彩，盡管它們來源于不同的深度圖。然而由于簡單紋理模型中的冗余數(shù)據(jù)，這些采樣可以有不同的顏色，這就會導(dǎo)致著色噪聲。
本發(fā)明可以通過使著色3D模型的相同的表面部分、但是在不同的深度圖中被恢復(fù)的采樣的數(shù)目最小化來解決上述問題。在本發(fā)明中，如果著色3D模型的相同的表面部分的采樣多于一個，就認(rèn)為它們是冗余。
圖4為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的裝置的方框圖。參照圖4，該裝置包括法向矢量計(jì)算單元410、可靠性計(jì)算單元420、鄰近計(jì)算單元430和冗余數(shù)據(jù)刪除單元440。
圖5A為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法的流程圖。參照圖4和5A，在步驟S510中，將著色預(yù)定3D模型并包括色彩圖(色彩圖像)和深度圖(深度圖像)的多個簡單紋理圖像輸入到法向矢量計(jì)算單元410中。恢復(fù)每一深度圖的像素投影在3D空間中的像素的位置，并計(jì)算每一深度圖的像素的附加屬性，諸如在每一深度圖上的像素的位置(x，y)、每一深度圖的像素的采樣大小和法向矢量和可靠性。法向矢量計(jì)算單元410在步驟S520中計(jì)算每一深度圖的像素的法向矢量，后面將參照圖5B更詳細(xì)地描述該過程。
在步驟S530中，可靠性計(jì)算單元420使用每一深度圖的像素的法向矢量來計(jì)算每一深度圖的像素的可靠性。深度圖的預(yù)定區(qū)域中的像素的可靠性確定了該深度圖的該預(yù)定區(qū)域中的采樣質(zhì)量?？煽啃杂?jì)算單元420使用下面的等式(1)計(jì)算每一深度圖的像素的可靠性。
r＝|(Np，Ns)|…(1)
在等式1中，Np表示垂直于相機(jī)視野平面的法向矢量，Ns表示預(yù)定采樣s的法向矢量，其垂直于由該預(yù)定采樣s著色的3D模型的表面的預(yù)定部分的表面，(Np·Ns)是法向矢量Np和Ns的內(nèi)積，以及|Np·Ns|是(Np·Ns)的絕對值。
在步驟S540中，鄰近計(jì)算單元430計(jì)算每一深度圖的像素彼此之間的三維鄰近性(proximity)，以便查找對3D模型的相同部分進(jìn)行著色的一組像素。更具體地說，鄰近計(jì)算單元430將每一深度圖的每一像素映射到3D坐標(biāo)系，并確定在該3D坐標(biāo)系中彼此之間位于預(yù)定距離之內(nèi)的像素，來作為著色3D模型的相同部分的像素。
在步驟S550中，冗余數(shù)據(jù)刪除單元440接收被確定作為著色3D模型的相同部分的像素，從這些接收的像素之中丟棄一些低可靠性的像素，并輸出一組已經(jīng)從中刪除冗余數(shù)據(jù)的簡單紋理圖像。更具體地說，冗余數(shù)據(jù)刪除單元440比較像素的可靠性，該像素被確定作為著色3D模型的相同部分的但來源于不同的深度圖，冗余數(shù)據(jù)刪除單元440選擇具有最高可靠性的像素，并丟棄其余的像素，從而將它們從它們各自的深度圖中刪除。這些被刪除的像素，即冗余像素在它們各自的深度圖上被設(shè)置為0值。
參照圖6，預(yù)定采樣s當(dāng)投影到第二平面P2時(shí)比當(dāng)投影到第一平面P1時(shí)具有更高的可靠性，這是因?yàn)橛?Np1，Ns)形成的角度比由(Np2，Ns)形成的角度要大。這里Ns表示預(yù)定采樣s的法向矢量。因此，投影到第二平面P2上的采樣可以比投影到第一平面P1上的采樣更令人滿意地對3D模型的幾何信息進(jìn)行著色。于是，投影到第一平面P1上的采樣被從它們各自的深度圖中刪除，這是因?yàn)樗鼈兊目煽啃员韧队暗降诙矫鍼2上的采樣要低。
圖5B是說明法向矢量計(jì)算單元410的操作的詳細(xì)流程圖。參照圖5B，在步驟S522中，法向矢量計(jì)算單元410通過參照每一深度圖的像素的值來將每一深度圖的像素投影到3D空間上，并且檢測與投影到3D空間上的每一像素相鄰的兩個像素。在步驟S524中，法向矢量計(jì)算單元410通過使用投影到3D空間上的像素以及它們各自相鄰的兩個像素來形成多個三角平面。在步驟S526中，法向矢量計(jì)算單元410計(jì)算與三角平面垂直的法向矢量。在步驟S528中，法向矢量計(jì)算單元410通過將在步驟S526中得到的法向矢量進(jìn)行平均，來計(jì)算每一深度圖的每一像素的法向矢量。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的裝置考慮到采用的大小可以不同的這樣的一個事實(shí)，并且因此一個大的采樣完全可以阻塞(block)多個小的采樣。在本發(fā)明中，在兩個具有不同大小的采樣相互阻塞(block)時(shí)，兩個中間的較大的那個被刪除。
在本發(fā)明中，法向矢量用于計(jì)算采樣的可靠性。然而，由于這種法向矢量圖會不必要地增加用于將3D模型傳送到用戶終端的頻道帶寬，它就不被包括在要發(fā)送給用戶終端的3D模型中。在本發(fā)明中，法向矢量只是用于預(yù)先處理過程，并使用3D信息來從深度圖中恢復(fù)該法向矢量。
在冗余采樣被從它們各自的深度圖中刪除之后，需要進(jìn)行特殊的處理以改善深度圖的精度。如上所述，其中已經(jīng)刪除了冗余采樣的深度圖會產(chǎn)生著色噪音。換言之，即使從不同深度圖的相同采樣中過濾出來的法向矢量也不太可能相互匹配。本發(fā)明通過下面的方式解決該問題。在本發(fā)明中，彼此之間的可靠性相差預(yù)定的臨界值或更少的采樣被認(rèn)為是具有相同的可靠性。如果分別從不同的深度圖恢復(fù)出來的冗余像素具有相同的可靠性，那么可以任意選擇一些要刪除的像素。
通過按照上述方式從它們各自的深度圖中刪除冗余采樣，得到包括從不同的深度圖中捕獲的像素的無冗余3D模型是可能的。
圖7(a)和7(b)所示為機(jī)器人模型的色彩圖和深度圖，其還沒有應(yīng)用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法。并且圖7(c)和7(d)所示為機(jī)器人模型的色彩圖和深度圖，其已經(jīng)應(yīng)用了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法。參照圖7(a)至7(d)，通過刪除相當(dāng)多的冗余數(shù)據(jù)，來顯著地降低機(jī)器人模型的尺寸。機(jī)器人模型尺寸的降低導(dǎo)致高著色速度。
圖8展示了圖7(b)和7(d)的放大視圖。參照圖8，在對應(yīng)于圖7(d)的圖8的右邊上的機(jī)器人模型的表面上的字母比在對應(yīng)于圖7(b)的圖8左邊上的要清楚。因此，通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法來增強(qiáng)著色質(zhì)量是可能的。
如上所述，使用簡單紋理模型的常規(guī)的基于圖像的著色方法通過使用包括色彩圖和深度圖的簡單紋理模型來著色3D模型。因此，使用簡單紋理模型的常規(guī)基于圖像的著色方法能夠比使用3D網(wǎng)格模型的常規(guī)著色方法獲得更好的著色質(zhì)量和更高的著色速度。然而，使用簡單紋理模型的常規(guī)的基于圖像的著色方法仍然不能對3D模型的表面紋理進(jìn)行滿意的著色。
為了克服使用簡單紋理模型的常規(guī)的基于圖像的著色方法的局限，本發(fā)明提供一種使用擴(kuò)展的簡單紋理模型的基于圖像的著色方法和裝置。通過向典型的簡單紋理模型增加關(guān)于3D模型紋理的數(shù)據(jù)來獲得擴(kuò)展的簡單紋理模型。擴(kuò)展的簡單紋理模型包括關(guān)于著色3D模型表面的每一像素的附加信息。
在下面的段落中，將更加全面地描述根據(jù)本發(fā)明的優(yōu)選實(shí)施例的使用擴(kuò)展的簡單紋理模型的基于圖像的著色方法和裝置。
在使用擴(kuò)展的簡單紋理模型的基于圖像的著色方法中，使用多個深度圖來著色3D模型。每一深度圖包括一組信息，諸如關(guān)于簡單紋理模型的信息和關(guān)于用于產(chǎn)生該簡單紋理模型的相機(jī)的信息。在本發(fā)明中，每一深度圖被重定義為擴(kuò)展的深度圖像(XDI)，其包括深度圖、色彩圖和3D模型的特征1、2……。3D模型的這些特征被存儲為2D圖像，諸如簡單紋理模型的色彩圖和深度圖。因此通過存儲表示3D模型的特征的值對3D模型的屬性進(jìn)行著色是可能的，其中這些屬性為例如對象的表面上的亮區(qū)和暗區(qū)以及發(fā)光區(qū)域。
根據(jù)用戶對對象的視點(diǎn)不同，可以不同地對對象的3D模型進(jìn)行著色。油彩色(splat color)是在對對象的3D模型進(jìn)行著色的處理過程中使用的基本元件之一，該油彩色(splat color)可以根據(jù)預(yù)定的用戶視點(diǎn)、從預(yù)定的視點(diǎn)著色的3D模型表面的紋理、去從預(yù)定的視點(diǎn)著色的3D模型表面的法向矢量、用戶的位置以及3D模型和光源的位置來確定。
在本發(fā)明中，對3D模型的著色是通過使用Phong反射模型來對光線從3D模型的表面反射的程度進(jìn)行著色來實(shí)現(xiàn)的。Phong反射模型包括用于著色3D模型特征的六個系數(shù)和一個光源，即從深度圖中恢復(fù)的像素的法向矢量、發(fā)射系數(shù)、陰影(ambient)系數(shù)、漫反射系數(shù)、鏡面系數(shù)和光澤系數(shù)?？梢允÷曰蛴妙A(yù)定默認(rèn)值代替六個系數(shù)中的某些，例如，環(huán)境系數(shù)和發(fā)射系數(shù)。色彩圖像被認(rèn)為是漫反射圖。
在本發(fā)明中，使用OpenGL著色3D模型，OpenGL是2D/3D圖形的標(biāo)準(zhǔn)。在對3D模型著色的過程中，通過圖形管道(pipeline)發(fā)送像素的法向矢量、對象參數(shù)和光學(xué)參數(shù)。當(dāng)前硬件加速器(例如Nvidia GeForce)可以通過硬件迅速地計(jì)算Phong反射模型。在本發(fā)明中，硬件著色處理可以利用OpenGL著色管道來實(shí)現(xiàn)。在硬件加速器由于某些原因而失效的情況下，可以用軟件著色處理來代替實(shí)現(xiàn)。
圖9所示的方框圖為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的使用擴(kuò)展的深度圖像的著色裝置，和圖10所示的流程圖為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的使用擴(kuò)展的深度圖像的著色方法。參照圖9和10，該著色裝置包括XDI形成單元910、反射模型系數(shù)設(shè)置單元920、法向矢量計(jì)算單元930和著色單元940。在步驟S1010中，XDI形成單元910接收簡單紋理模型和對象的3D模型的屬性信息。輸入到XDI形成單元910中的簡單紋理模型包括色彩圖和深度圖。輸入到XDI形成單元910中的對象的屬性信息包括3D模型的發(fā)射、陰影(ambient)、鏡面和光澤分量。鏡面分量根據(jù)用戶對3D模型的視點(diǎn)，對從3D模型表面反射的光線的程度的變化進(jìn)行著色，以及光澤分量根據(jù)3D模型的表面紋理，對從3D模型表面反射的光線反射程度的變化進(jìn)行著色。鏡面和光澤分量通過使用圖像編輯程序，例如Photoshop以2D圖的形式來產(chǎn)生，并且將2D圖像映射輸入到XDI形成單元910中。
在步驟S1020中，XDI形成單元910使用簡單紋理模型和3D模型的屬性信息來形成擴(kuò)展深度圖像。如上所述，XDI包括深度圖像、色彩圖像和3D模型的特征1、2、…。XDI形成單元910將XDI輸出到反射模型系數(shù)設(shè)置單元920和法向矢量計(jì)算單元930中。
反射模型系數(shù)設(shè)置單元920設(shè)置預(yù)定系數(shù)，其用于在下面的等式(2)中計(jì)算Phong反射模型。
color=E+IaKa+ΣSi1kc+kl*d+kqd2×(IaiKa+max{(l,n),0}IdiKd+(max{(r,v),0})pIsiKs)---(2)]]>在等式(2)中，Ks、Ka和Kd分別表示鏡面、陰影(ambient)和漫反射分量，p表示XDI的預(yù)定像素的光澤值，r表示從3D模型反射的光的方向，v表示3D模型被觀看的方向，l表示光源方向，n表示預(yù)定像素的法向向量，Si表示從光源所發(fā)出的光的強(qiáng)度，Kc、Kl和Kp表示從光源所發(fā)出的光的衰減系數(shù)，d表示在3D模型與光源之間的距離，以及Iai、Isi和Idi分別表示第i個光源的陰影、鏡面和漫反射色彩。
反射模型系數(shù)設(shè)置單元920根據(jù)預(yù)定的規(guī)則或算法為XDI的每一像素設(shè)置Ks、Ka、Kd、p、Iai、Isi和Idi。反射模型系數(shù)設(shè)置單元920將具有相同變量值的XDI的像素分組，使得它們可以被一起處理。
法向矢量計(jì)算單元930根據(jù)XDI的深度信息確定XDI的每一像素的法向矢量n，該過程已經(jīng)在上面參照圖5B進(jìn)行了描述。
在步驟S1050中，著色單元940通過根據(jù)反射模型系數(shù)Ks、Ka、Kd、p、Iai、Isi和Idi和XDI的每一像素的法向矢量n，使用上面的等式(2)計(jì)算XDI的每一像素的色彩值，來對3D模型進(jìn)行著色。著色單元940通過調(diào)節(jié)油彩(splat)尺寸計(jì)算Phong反射模型，并將反射模型系數(shù)Ks、Ka、Kd、p、Iai、Isi和Idi和XDI，每一像素的法向矢量n、XDI的每一像素的3D位置輸入到3D圖形加速器，例如OpenGL，并使用計(jì)算得到的Phong反射模型來著色對象的3D模型。在這種硬件圖形加速器失效的情況下，著色單元940能夠通過軟件，而不是使用硬件來實(shí)現(xiàn)上面的著色處理。
圖11所示為使用單個XDI的4組件圖所著色的3D模型。參照圖11，可以成功地對隨著視點(diǎn)不同而變化的金屬對象的屬性，諸如反射光線和金屬對象表面上的閃光(glitter)進(jìn)行著色。
現(xiàn)在更加全面地描述根據(jù)本發(fā)明的優(yōu)選實(shí)施例的基于圖像的圖像編輯裝置和方法。用于修改有紋理的3D模型表面的常規(guī)圖像編輯技術(shù)比較復(fù)雜和不方便，特別是當(dāng)并需要對有紋理的3D模型的表面上色，或需要對對象的有紋理的3D模型的表面應(yīng)用置換映射技術(shù)(displacement mapping technique)的時(shí)候。為了克服常規(guī)圖像編輯技術(shù)的上述限制，本發(fā)明提供一種基于圖像的編輯裝置和方法。
在本發(fā)明中，用戶能夠通過編輯組成3D模型的參考圖像之一，三維地構(gòu)成每一其它參考圖像的采樣，并將三維地構(gòu)成的該每一其它參考圖像的采樣投影到該編輯的參考圖像上，來對3D模型進(jìn)行編輯。如果投影到編輯參考圖像上的每一其它參考圖像的采樣距離它們的編輯參考圖像的各自像素的位置小于預(yù)定的臨界距離，那么就編輯它們。通過這樣做，就得到3D模型的參考圖像之中的連貫性。在本發(fā)明中，最好不要產(chǎn)生諸如3D網(wǎng)格的附加數(shù)據(jù)結(jié)構(gòu)。因此，在本發(fā)明中不需要執(zhí)行復(fù)雜的計(jì)算來形成中間模型。換言之，對3D模型的一個參考圖像進(jìn)行的修改被自動地應(yīng)用到3D模型的其它參考圖像中。另外，在著色3D模型的時(shí)候，可能捕獲3D模型的圖像并編輯該捕獲的圖像，并可能根據(jù)對捕獲的圖像作出的修改來編輯3D模型的參考圖像。
這種類型的編輯方法被稱為向后傳播編輯方法，因?yàn)樗ň庉?D模型的參考圖像之一，然后通過將其它的參考圖像與第一個編輯的參考圖像進(jìn)行比較來編輯該其它的參考圖像。圖12所示為向后傳播編輯方法的原理。參考圖12，水平圖是一個已編輯參考圖像，以及垂直圖A是將要根據(jù)已編輯的參考圖像進(jìn)行編輯的參考圖像。垂直圖A的像素是三維構(gòu)成的并被向后投影到水平圖上，使得它們分別與水平圖上的像素相對應(yīng)。投影到水平圖上的垂直圖A的像素的、距離水平圖上它們各自的像素的距離小于預(yù)定的臨界距離的那些像素被編輯，該編輯是通過用水平圖上它們各自像素的色彩信息置換它們的色彩信息來進(jìn)行的。
在本發(fā)明中，用戶通過適當(dāng)?shù)卦O(shè)置臨界值，可以調(diào)節(jié)將對3D模型的參考模型之一所做的修改向后傳播給其它參考圖像的程度。這對于具有低分辨率的參考圖像非常重要，特別是因?yàn)榉峙浣o量化(quantization)的這種少量比特可以導(dǎo)致從對象表面的不同參考圖像中恢復(fù)的采樣具有不同的深度值，盡管它們對3D模型的相同部分進(jìn)行著色。為了解決該問題，本發(fā)明提供一種選擇編輯方法，其中可以通過設(shè)置預(yù)定的臨界值來調(diào)節(jié)要被編輯的3D模型的數(shù)量。例如，如果預(yù)定的臨界值被設(shè)置為它的最大值，就確定投影到該編輯參考圖像上的3D模型的每一參考圖像的所有采樣都會被編輯。
圖13為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的基于圖像的編輯裝置的方框圖，以及圖14A和14B為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的基于圖像的編輯方法的流程圖。參考圖13，該基于圖像的編輯裝置包括捕獲單元1310、編輯單元1320、和向后投影單元1330。參照圖14A，在步驟S1410中，通過利用使用簡單紋理模型的常規(guī)著色方法來得到一組3D模型的參考圖像，并將其輸入到圖像捕獲單元1310中，以及該捕獲單元1310停止著色3D模型并捕獲要被編輯的3D模型的參考圖像中的一個。
在步驟S1420中，編輯單元1320使用下列編輯方法之中的一種方法來編輯該捕獲的參考圖像繪畫編輯方法、光線繪畫方法、刪除繪畫方法和拷貝編輯方法，此后將更詳細(xì)地對其進(jìn)行描述。
向后投影單元1330將關(guān)于編輯參考圖像的信息，即對捕獲的參考圖像作出的修改向后投影到其它參考圖像上，使得可以與該編輯的參考圖像相一致地編輯其它的參考圖像。
圖14B是圖14A的步驟S1430的詳細(xì)流程圖。參照圖14B，在步驟S1432中，向后投影單元1330根據(jù)對所捕獲的參考圖像做出的修改來選擇要被編輯的參考圖像，并確定每一所選參考圖像的哪些部分需要被編輯。在步驟S1434中，向后投影單元1330選擇每一所選參考圖像的像素，該像素對應(yīng)于所捕獲的參考圖像的已經(jīng)編輯的部分，并通過將對所捕獲的參考圖像做出的修改向后投影到每一所選參考圖像的所選像素上，來編輯每一所選參考圖像。在步驟S1436中，向后投影單元1330中存儲向后投影的結(jié)果，并使用該向后投影結(jié)果來更新該簡單紋理模型。
現(xiàn)在將參照圖15A至15C更詳細(xì)地描述步驟S1420。本發(fā)明提供一種用于編輯非壓縮的簡單紋理模型的紋理的繪畫編輯方法。該繪畫編輯方法使用典型的圖像編輯程序，例如PaintBrush或Photoshop，并是基于上述向后投影編輯方法的原理的。
根據(jù)下面的算法來執(zhí)行該繪畫編輯方法。在著色3D模型的過程中，用戶選擇3D模型的一個參考圖像來作為一個要繪畫編輯的圖像，并捕獲所選的參考圖像。使用圖像編輯程序，例如Photoshop來編輯所捕獲的參考圖像。將關(guān)于對所捕獲的參考圖像做出的修改的信息向后傳播到其它的參考圖像。如果投影到所捕獲的參考圖像上的每一其它參考圖像的采樣與它們的所捕獲的參考圖像的對應(yīng)像素具有不同的色彩，那么需要根據(jù)它們的所捕獲的參考圖像的對應(yīng)像素的色彩來編輯它們的色彩。
圖16(a)至16(c)所示為使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的繪畫編輯方法進(jìn)行編輯的3D模型。如圖16(c)所示，所捕獲的參考圖像上寫有字母，該字母然后被向后傳播到另一參考圖像，如圖16(c)所示。在該向后傳播處理之后，仍然可以對對應(yīng)的3D模型進(jìn)行著色。如圖16(a)至16(c)所示，對通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的繪畫編輯方法在一點(diǎn)處捕獲的3D模型的一個參考圖像作出的修改，該修改僅被向后傳播到此后進(jìn)行著色的3D模型的參考圖像上。
圖15A為根據(jù)本發(fā)明的優(yōu)選實(shí)施例的光線繪畫編輯方法的流程圖。例如，在進(jìn)一步安裝一個附加光源的情況下，需要編輯3D模型的簡單紋理模型以反射照明強(qiáng)度的改變。最終，本發(fā)明提供一種光線繪畫編輯方法。使用上述的Phong反射模型來計(jì)算由于照明的改變所引起的3D模型的紋理中的改變，其中Phong反射模型需要用于著色3D模型的表面的采樣的法向矢量。然而，該簡單紋理模型并不包括法向矢量圖。于是，應(yīng)該從簡單紋理模型的深度圖中獲得該法向矢量。
參照圖15，在步驟S1510中，用戶選擇3D模型的一個參考圖像來作為作為將要進(jìn)行光線繪圖編輯的一個參考圖像并且捕獲在著色3D模型中間所選擇的參考模型，并設(shè)置與照明屬性相關(guān)的變量，例如要新加入的光源的位置、方向和顏色。在步驟S1511中，選擇3D模型的預(yù)定部分，并且從該所選部分中提取法向矢量。在步驟S1512中，光源被放置在所提取的法向矢量方向上的無限遠(yuǎn)點(diǎn)處，使得在所捕獲的參考圖像中的3D模型被進(jìn)一步照亮。
在步驟S1513中，使用上述方法參照圖5B來計(jì)算所捕獲的參考圖像的像素的法向矢量。在步驟S1514中，使用上述的Phong反射模型來計(jì)算3D模型的色彩，該3D模型進(jìn)一步被新增加的光源照亮。在步驟S1515中，根據(jù)在步驟S1514中得到的3D模型的色彩來改變所捕獲的參考圖像的每一像素的色彩。
圖17(a)至17(c)所示為使用圖15A和15B的光線繪畫編輯方法進(jìn)行編輯的3D模型。如圖17(a)和17(b)所示，通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的光線繪畫編輯方法來編輯參考圖像，在該參考圖像中被著色的3D模型進(jìn)一步被照亮。在光線繪畫編輯處理之后，3D模型仍然可以被著色。因此，通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的光線繪畫編輯方法在一點(diǎn)處捕獲對3D模型的參考圖像作出的修改，該修改僅被向后傳播到此后進(jìn)行著色的3D模型的參考圖像上。
在下面的段落中，將要簡要描述說明根據(jù)本發(fā)明的優(yōu)選實(shí)施例的選擇編輯方法、刪除編輯方法和拷貝編輯方法。
一組簡單紋理模型的參考圖像包括關(guān)于對象的3D模型的信息。用戶可以使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的選擇編輯方法來從模型中分離任何想要的部分。在選擇編輯方法中，位圖分別與參考圖像相關(guān)聯(lián)，以及預(yù)定參考圖像的像素分別對應(yīng)于與該預(yù)定參考圖像相對應(yīng)的位圖的比特位。因此，如果將對應(yīng)于預(yù)定參考圖像的位圖的一個比特位設(shè)置為值1，則考慮選擇它對應(yīng)的預(yù)定參考圖像的像素。用戶可以使用可變大小的刷子來選擇任意參考圖像的一組像素。一旦編輯了任意參考圖像，則對任意參考圖像所做的修改被向后傳播到其它參考圖像，從而可以與已編輯的任意參考圖像相一致地來編輯其它參考圖像。每一其它參考圖像的采樣被三維地構(gòu)造，并被投影到該已編輯的任意參考圖像上。此后，在投影到該已編輯的任意參考圖像上的每一其它參考圖像的采樣之中選擇那些距離它們對應(yīng)的該已編輯的任意參考圖像的像素小于預(yù)定距離的那些像素，并且分別對應(yīng)于其它參考圖像的位圖的它們的對應(yīng)比特位值設(shè)置為值1。
通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的刪除編輯方法可以刪除3D模型的每一其它參考圖像的所選像素，其中3D模型的所選部分被刪除。使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的拷貝編輯方法可以拷貝3D模型的所選部分。使用從不同參考圖像中選擇的部分可以創(chuàng)建新的完整圖像，其中通過使用預(yù)定的參考相機(jī)，使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的選擇編輯方法至少選擇每一參考圖像的一部分。通過使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的拷貝編輯方法，預(yù)定參考圖像的所選像素全部被拷貝到一個新拷貝的參考圖像上，并且將該預(yù)定參考圖像的剩余像素的深度值設(shè)置為0，從而它們著色背景圖像。以上述方式新創(chuàng)建的參考圖像被分開存儲，從而它可以被保存為新的簡單紋理模型。
現(xiàn)在將參照圖15B和15C更全面地描述根據(jù)本發(fā)明的最優(yōu)實(shí)施例的刪除編輯方法。
參照圖15B，在刪除3D模型的一部分的情況下，在步驟S1520中，選擇參考圖像，以及在步驟S1521中，選擇所選參考圖像要刪除的一部分。在步驟S1522中，所選參考圖像的所選部分被刪除，在前面已經(jīng)描述了該過程。在步驟S1523中，將關(guān)于對所選參考圖像作出的改變的信息向后傳播到其它參考圖像上。
參照圖15C，在拷貝3D模型的一部分的情況下，在步驟S1530中，選擇參考圖像，以及在步驟S1531中，選擇所選參考圖像要被拷貝的部分。使用在步驟S1532中從所選參考圖像中拷貝的所選部分，來創(chuàng)建新的參考圖像，并在步驟S1533中將其存儲。圖18(a)至18(c)所示分別為使用根據(jù)本發(fā)明的優(yōu)選實(shí)施例的選擇編輯方法、刪除編輯方法、和拷貝編輯方法進(jìn)行編輯的3D模型。
本發(fā)明可以作為寫在計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼來實(shí)現(xiàn)。該計(jì)算機(jī)可讀記錄介質(zhì)包括所有類型的記錄設(shè)備，其中數(shù)據(jù)可以計(jì)算機(jī)可讀方式被存儲。例如，該計(jì)算機(jī)可讀記錄介質(zhì)包括ROM、RAM、CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲設(shè)備以及載波，諸如通過因特網(wǎng)的數(shù)據(jù)傳輸。該計(jì)算機(jī)可讀記錄介質(zhì)可以分布在網(wǎng)絡(luò)中彼此互聯(lián)的多個計(jì)算機(jī)系統(tǒng)上，從而使該計(jì)算機(jī)可讀代碼存儲在其中，并以分散方式從其中得到執(zhí)行。
如上所述，根據(jù)本發(fā)明的優(yōu)選實(shí)施例的用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法和裝置通過刪除簡單紋理模型的冗余數(shù)據(jù)能夠增強(qiáng)著色速度和著色質(zhì)量，其中該冗余數(shù)據(jù)從不同的視點(diǎn)著色對象的3D模型的相同部分。
另外，通過使用擴(kuò)展的深度圖(XDI)，可能成功地著色3D模型的表面特征，例如3D模型的表面上的閃光和陰影變化。
而且，通過簡單編輯其中的2D參考圖像來編輯3D模型是可能的。
雖然已經(jīng)參照其中的示范性實(shí)施例具體地展示和描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員將認(rèn)識到，不脫離如所附的權(quán)利要求所定義的本發(fā)明的精神和范圍的情況下，可以對其中的形式和細(xì)節(jié)做出各種改變。
權(quán)利要求
1.一種刪除簡單紋理模型的冗余數(shù)據(jù)的方法，該方法包括(a)通過使用多個簡單紋理圖像之中的深度圖像來計(jì)算投影到三維(3D)空間中的像素的法向矢量，該多個簡單紋理圖像對3D模型的不同方面進(jìn)行著色；(b)通過使用在步驟(a)中獲得的法向矢量來計(jì)算每一個簡單紋理圖像的像素的可靠性；和(c)比較來源于不同的簡單紋理圖像的但對3D模型的相同部分進(jìn)行著色的像素的可靠性，并從分別產(chǎn)生低可靠性的像素的不同簡單紋理圖像中刪除所述低可靠性的像素。
2.根據(jù)權(quán)利要求1所述的方法，其中在步驟(a)中，通過根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上和計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，來計(jì)算每一簡單紋理圖像的像素的法向矢量。
3.根據(jù)權(quán)利要求1所述的方法，其中步驟(a)包括根據(jù)每一深度圖像的像素值來將每一個簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一個像素相鄰的像素；通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素來形成三角平面，并計(jì)算該三角平面的法向矢量；和將該三角平面的法向矢量進(jìn)行平均。
4.根據(jù)權(quán)利要求1所述的方法，其中在步驟(b)中，通過使用每一簡單紋理圖像的像素的法向矢量和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的矢量，來計(jì)算每一個簡單紋理圖像的像素的可靠性。
5.根據(jù)權(quán)利要求1所述的方法，其中在步驟(b)中，依靠每一簡單紋理圖像的像素的法向矢量的內(nèi)投影和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的矢量，來確定每一簡單紋理圖像的像素的可靠性。
6.根據(jù)權(quán)利要求1所述的方法，其中步驟(b)包括計(jì)算3D空間中每一簡單紋理的像素彼此之間的相鄰性，并確定彼此之間具有預(yù)定的臨界距離或更小距離的像素，用作著色3D模型的相同部分。
7.根據(jù)權(quán)利要求1所述的方法，其中在步驟(c)中，對3D模型的相同部分進(jìn)行著色的、但來源于不同的簡單紋理圖像的所有像素，除了具有最高可靠性的像素之外，都被從分別產(chǎn)生所有這些像素的不同的簡單紋理圖像中刪除。
8.根據(jù)權(quán)利要求1所述的方法，其中在步驟(c)中，每一個具有低可靠性的深度圖像的像素被設(shè)置為背景圖像的像素。
9.一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行權(quán)利要求1至8中的任何方法的計(jì)算機(jī)可讀程序代碼。
10.一種用于刪除簡單紋理模型的冗余數(shù)據(jù)的裝置，該裝置包括法向矢量計(jì)算單元，用于通過使用對3D模型的不同方面進(jìn)行著色的多個簡單紋理圖像之中的深度圖像來計(jì)算投影到三維(3D)空間上的像素的法向矢量；可靠性計(jì)算單元，用于通過使用法向矢量計(jì)算單元獲得的法向矢量來計(jì)算每一簡單紋理圖像的像素的可靠性；和冗余數(shù)據(jù)刪除單元，用于比較來源于不同的簡單紋理圖像的但對3D模型的相同部分進(jìn)行著色的像素的可靠性，并從分別產(chǎn)生具有低可靠性的像素的不同的簡單紋理圖像中刪除所述具有低可靠性的像素。
11.根據(jù)權(quán)利要求10所述的裝置，其中法向矢量計(jì)算單元通過根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上和計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，來計(jì)算每一簡單紋理圖像像素的法向矢量。
12.根據(jù)權(quán)利要求10所述的裝置，其中法向矢量計(jì)算單元通過執(zhí)行如下步驟來計(jì)算每一簡單紋理圖像的像素的法向矢量根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自相鄰的兩個像素來形成三角平面；計(jì)算所述三角平面的法向矢量；以及對所述三角平面的法向矢量進(jìn)行平均。
13.根據(jù)權(quán)利要求10所述的裝置，其中可靠性計(jì)算單元通過使用每一簡單紋理圖像的像素的法向矢量和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的矢量，來計(jì)算每一簡單紋理圖像的像素的可靠性。
14.根據(jù)權(quán)利要求10所述的裝置，其中可靠性計(jì)算單元通過依靠每一紋理圖像的像素的法向矢量的內(nèi)投影和與用于產(chǎn)生該簡單紋理圖像的相機(jī)的視角平面相垂直的矢量，來確定每一簡單紋理圖像的像素的可靠性。
15.根據(jù)權(quán)利要求10所述的裝置，還包括相鄰計(jì)算單元，用于計(jì)算3D空間中的每一簡單紋理的像素彼此之間的相鄰性，并確定彼此之間具有預(yù)定的臨界距離或更小距離的像素，用作著色3D模型的相同部分。
16.根據(jù)權(quán)利要求10所述的裝置，其中冗余數(shù)據(jù)刪除單元從分別產(chǎn)生所有像素的不同的簡單紋理圖像中，刪除除了具有最高可靠性的像素之外的、所有用于對3D模型的相同部分進(jìn)行著色的但來源于不同的簡單紋理圖像的像素。
17.根據(jù)權(quán)利要求10所述的裝置，其中冗余數(shù)據(jù)刪除單元將每一個具有低可靠性的深度圖像的像素設(shè)置為背景圖像的像素。
18.一種著色方法，包括(a)接收對3D模型的不同方面進(jìn)行著色的簡單紋理圖像和3D模型的屬性信息，并使用該簡單紋理圖像和該屬性信息來產(chǎn)生擴(kuò)展的深度圖像，該擴(kuò)展的深度圖像是表示隨著視點(diǎn)不同而變化的3D模型的色彩和深度以及3D模型的屬性的二維(2D)圖像；(b)根據(jù)3D模型的屬性信息為擴(kuò)展的深度圖像的每一像素設(shè)置預(yù)定的反射模型的系數(shù)；(c)計(jì)算包括在擴(kuò)展的深度圖像中的每一深度圖像的像素的法向矢量；和(d)使用預(yù)定的反射模型系數(shù)和法向矢量來確定3D模型的色彩，該3D模型的色彩根據(jù)3D模型的屬性而變化，以及使用所確定的色彩來著色該3D模型。
19.根據(jù)權(quán)利要求18所述的著色方法，其中屬性信息包括鏡面分量，用于指示3D模型反射光線和隨著視點(diǎn)不同而變化的程度；和發(fā)光分量，用于指示3D模型發(fā)光和依靠3D模型表面的紋理而變化的程度。
20.根據(jù)權(quán)利要求18所述的著色方法，其中所述預(yù)定反射模型是Phong反射模型。
21.根據(jù)權(quán)利要求18所述的著色方法，其中在步驟(c)中，通過基于每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上和計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，來計(jì)算每一簡單紋理圖像的像素的法向矢量。
22.根據(jù)權(quán)利要求18所述的著色方法，其中步驟(c)包括根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一像素相鄰的像素；通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素來形成三角平面，并計(jì)算該三角平面的法向矢量；和將該三角平面的法向矢量進(jìn)行平均。
23.一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行權(quán)利要求18至22中的任何著色方法的計(jì)算機(jī)可讀程序代碼。
24.一種著色裝置，包括擴(kuò)展深度圖像形成單元，用于接收對3D模型的不同方面進(jìn)行著色的簡單紋理圖像和該3D模型的屬性信息，并使用該簡單紋理圖像和該屬性信息來產(chǎn)生擴(kuò)展深度圖像，該擴(kuò)展深度圖像是用于表示隨著視點(diǎn)不同而變化的3D模型的色彩和深度，以及3D模型的屬性的二維(2D)圖像；反射模型系數(shù)設(shè)置單元，用于根據(jù)3D模型的屬性信息來為擴(kuò)展深度圖像的每一像素設(shè)置預(yù)定的反射模型的系數(shù)；法向矢量確定單元，用于計(jì)算包括在擴(kuò)展深度圖像中的每一深度圖像的像素的法向矢量；和著色單元，用于通過使用預(yù)定的反射模型系數(shù)和法向矢量來確定根據(jù)3D模型的屬性而變化的3D模型的色彩，和使用所確定的色彩來著色該3D模型。
25.根據(jù)權(quán)利要求24所述的著色裝置，其中屬性信息包括鏡面分量，用于指示3D模型反射光線和隨著視點(diǎn)不同而變化的程度；和發(fā)光分量，用于指示3D模型發(fā)光和依靠3D模型的表面的紋理而變化的程度。
26.根據(jù)權(quán)利要求24所述的著色裝置，其中所述預(yù)定的反射模型是Phong反射模型。
27.根據(jù)權(quán)利要求24所述的著色裝置，其中法向矢量計(jì)算單元通過根據(jù)每一深度圖像的像素值來將每一簡單紋理圖像的像素投影到3D空間上和計(jì)算通過使用投影到3D空間上的像素和它們各自相鄰的兩個像素分別形成的三角平面的法向矢量，來計(jì)算每一簡單紋理圖像的像素的法向矢量。
28.根據(jù)權(quán)利要求24所述的著色裝置，其中法向矢量計(jì)算單元通過如下步驟來計(jì)算每一簡單紋理圖像的像素的法向矢量根據(jù)每一深度圖像的像素值將每一簡單紋理圖像的像素投影到3D空間上，并檢測與投影到3D空間上的每一像素相鄰的像素；使用投影到3D空間上的像素和它們各自相鄰的兩個像素來形成三角平面；計(jì)算所述三角平面的法向矢量；和將所述三角平面的法向矢量進(jìn)行平均。
29.一種基于圖像的編輯方法，包括(a)捕獲使用多個簡單紋理圖像對3D模型進(jìn)行著色的圖像，該圖像包括色彩圖像和深度圖像，每一個所述簡單紋理圖像對3D模型的不同方面進(jìn)行著色；(b)編輯所捕獲的圖像的像素，并存儲該編輯的圖像；和(c)使用該編輯的圖像來更新參考圖像(多個簡單紋理圖像的色彩和深度圖像)。
30.根據(jù)權(quán)利要求29所述的基于圖像的編輯方法，其中步驟(c)包括(c1)選擇要使用已編輯圖像進(jìn)行編輯的一個參考圖像和其中一部分；(c2)選擇與所述編輯圖像的編輯像素相對應(yīng)的所選參考圖像的像素，和根據(jù)該已編輯圖像對所選參考圖像的所選像素進(jìn)行編輯；和(c3)存儲該已編輯的參考圖像。
31.根據(jù)權(quán)利要求30所述的基于圖像的編輯方法，其中在步驟(c)中，根據(jù)該已編輯的參考圖像對每一參考圖像的所有像素進(jìn)行編輯，其中該參考像素對與該已編輯參考圖像的編輯像素相同的部分進(jìn)行著色。
32.根據(jù)權(quán)利要求29所述的基于圖像的編輯方法，其中步驟(b)包括(b1)選擇所捕獲的圖像中進(jìn)行著色的3D模型的一部分，并計(jì)算該選擇部分的法向矢量；(b2)設(shè)置光源，其中該光源具有由用戶在步驟(b1)中所計(jì)算的法向矢量的方向上無窮遠(yuǎn)點(diǎn)處所設(shè)置的屬性；(b3)計(jì)算所捕獲的圖像的像素的法向矢量；(b4)根據(jù)光源的屬性和在步驟(b3)中所計(jì)算的法向矢量來計(jì)算3D模型的色彩；和(b5)使用所計(jì)算的色彩來創(chuàng)建已編輯參考圖像。
33.根據(jù)權(quán)利要求32所述的基于圖像的編輯方法，其中在步驟(b4)中，使用Phong反射模型的系數(shù)來計(jì)算3D模型的色彩。
34.根據(jù)權(quán)利要求29所述的基于圖像的編輯方法，其中步驟(b)包括選擇要編輯的一個參考圖像和其中一部分；通過將對應(yīng)于所選參考圖像的所選部分的像素值設(shè)置為預(yù)定值，來從所選參考圖像中刪除該所選的部分；和將所得到的參考圖像存儲為已編輯參考圖像。
35.一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行權(quán)利要求29至34的任何基于圖像的編輯方法的計(jì)算機(jī)可讀程序代碼。
36.一種基于圖像的編輯裝置，包括圖像捕獲單元，用于捕獲通過使用包括色彩和深度圖像的多個簡單紋理圖像來對3D模型進(jìn)行著色的圖像，其中該色彩和深度圖像對3D模型的不同方面進(jìn)行著色；圖像編輯單元，用于編輯所捕獲的圖像的像素，并存儲已編輯參考圖像；和向后投影單元，用于使用已編輯參考圖像來更新參考圖像，該參考圖像為多個簡單紋理圖像的色彩和深度圖像。
37.根據(jù)權(quán)利要求36所述的基于圖像的編輯裝置，其中向后投影單元選擇要使用編輯圖像進(jìn)行編輯的一個參考圖像和其中一部分，選擇與已編輯參考圖像的編輯像素相對應(yīng)的所選參考圖像的像素，根據(jù)該已編輯參考圖像對所選參考圖像的所選像素進(jìn)行編輯，以及存儲所得到的參考圖像。
38.根據(jù)權(quán)利要求37所述的基于圖像的編輯裝置，其中向后投影單元根據(jù)已編輯參考圖像對每一參考圖像的像素進(jìn)行編輯，其中所述參考圖像對與該已編輯參考圖像的編輯像素相同的部分進(jìn)行著色。
39.根據(jù)權(quán)利要求36所述的基于圖像的編輯裝置，其中圖像編輯單元包括光源設(shè)置單元，用于選擇所捕獲的圖像中著色的3D模型的一部分，計(jì)算該選擇部分的法向矢量，以及設(shè)置光源，該光源具有由用戶在所選部分的法向矢量的方向上的無窮遠(yuǎn)點(diǎn)處所設(shè)置的屬性；矢量計(jì)算單元，用于計(jì)算該捕獲圖像的像素的法向矢量；和編輯圖像創(chuàng)建單元，用于根據(jù)光源的屬性和所捕獲圖像的像素的法向矢量來計(jì)算3D模型的色彩，并使用所計(jì)算的色彩來創(chuàng)建已編輯參考圖像。
40.根據(jù)權(quán)利要求39所述的基于圖像的編輯裝置，其中編輯圖像創(chuàng)建單元通過使用Phong反射模型的系數(shù)來計(jì)算3D模型的色彩。
41.根據(jù)權(quán)利要求36所述的基于圖像的編輯裝置，其中圖像編輯單元選擇要編輯的一個參考圖像和其中一部分，通過將對應(yīng)于所選參考圖像的所選部分的像素值設(shè)置為預(yù)定值，來從所選參考圖像中刪除該所選的部分，以及將所得到的參考圖像存儲為已編輯參考圖像。
全文摘要
本發(fā)明提供了一種用于刪除簡單紋理模型的冗余數(shù)據(jù)的方法和裝置、一種使用擴(kuò)展深度圖像的著色方法和裝置以及一種基于圖像的編輯方法和裝置。該方法包括(a)通過使用多個簡單紋理圖像之中的深度圖像來計(jì)算投影到三維(3D)空間中的像素的法向矢量，所述多個簡單紋理圖像對3D模型的不同方面進(jìn)行著色；(b)通過使用在步驟(a)中獲得的法向矢量來計(jì)算每一個簡單紋理圖像的像素的可靠性；和(c)比較來源于不同的簡單紋理圖像的但是對3D模型的相同部分進(jìn)行著色的像素的可靠性，并且從分別產(chǎn)生具有低可靠性的像素的不同簡單紋理圖像中刪除所述具有低可靠性的像素。
文檔編號G06T15/00GK1604142SQ20041009514
公開日2005年4月6日 申請日期2004年7月14日 優(yōu)先權(quán)日2003年7月14日
發(fā)明者樸仁圭, 韓周延, 韓萬鎮(zhèn), 亞歷克西·V·伊格內(nèi)坦科, 安東·庫諾欽, 利奧尼德·I·萊夫科維奇-馬斯萊尤克 申請人:三星電子株式會社