專利名稱：從二維圖像產(chǎn)生三維圖像的裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及一種從二維圖像產(chǎn)生三維圖像的裝置及其方法，更具體地，本發(fā)明涉及通過(guò)在輸入二維圖像的輪廓區(qū)域中添加明暗處理(shade)產(chǎn)生三維圖像的裝置及其方法。
背景技術(shù)：
Adobe Systems推銷和在世界范圍廣泛使用的Photoshop，采用濾波RGB或CIE-Lab格式的圖像的方法，以將二維圖像轉(zhuǎn)換成三維圖像。根據(jù)這個(gè)方法，在向三維圖像轉(zhuǎn)換期間，使用者必須人工調(diào)節(jié)照明的方向和增益，結(jié)果，一直存在的問(wèn)題是，在轉(zhuǎn)換的三維圖像中沒(méi)有表現(xiàn)出真實(shí)的二維圖像的特征。另外，雖然在濾波后在三維圖像中能夠表現(xiàn)出圖像，但是僅能夠是黑白圖像。同時(shí)，GNU圖像處理程序(Image Manipu1ation Program)，也使用與Photoshop相同的方法的LINUX圖形工具(graphic tool)，僅能夠?qū)GB格式的二維圖像轉(zhuǎn)換成三維圖像。
上述的圖形工具是，在使用者手動(dòng)選擇照明方向和增益時(shí)，從原始圖像創(chuàng)造新圖像，而不是基于原始圖像的照明效果將原始二維圖像轉(zhuǎn)換成三維圖像。因此，在運(yùn)動(dòng)圖像(運(yùn)動(dòng)畫(huà)面)時(shí)，必須對(duì)每個(gè)圖像手動(dòng)調(diào)節(jié)照明方向和增益，并且，上述圖形工具也不具有諸如模糊和噪音防止的功能。因此，用這樣的典型方法表現(xiàn)三維運(yùn)動(dòng)圖像很困難并且不實(shí)用。

發(fā)明內(nèi)容
本發(fā)明的開(kāi)發(fā)是為了克服上述現(xiàn)有技術(shù)的問(wèn)題。因此，本發(fā)明的目的是提供，根據(jù)原始圖像的照明特征，從原始二維靜止和運(yùn)動(dòng)的圖像產(chǎn)生三維圖像置及其方法。
在下面的說(shuō)明和實(shí)施例中將明了本發(fā)明的其它目的和優(yōu)點(diǎn)。
本發(fā)明是通過(guò)從二維圖像產(chǎn)生三維圖像的裝置實(shí)現(xiàn)的，所述裝置包括產(chǎn)生單元，用于通過(guò)估計(jì)輸入圖像的照明方向產(chǎn)生輸入圖像的明暗處理(shading)圖像；以及結(jié)合單元，將輸入圖像與明暗處理圖像結(jié)合，并輸出三維的結(jié)合的圖像。
根據(jù)本發(fā)明的一個(gè)方面，產(chǎn)生單元包括濾波單元，用不同取向的多個(gè)濾波器濾波輸入圖像，并輸出分別與各濾波器相對(duì)應(yīng)的各個(gè)結(jié)果的基本明暗處理圖像； 正值抽取單元，對(duì)每個(gè)基本的明暗處理圖像抽取正像素值；減法單元，計(jì)算在輸入圖像的像素值和相對(duì)于每個(gè)基本明暗處理圖像抽取的正像素值之間的差值；中值計(jì)算單元，計(jì)算對(duì)于每個(gè)基本明暗處理圖像計(jì)算的差值的中值；和濾波器選擇單元，選擇輸出最小中值的基本明暗處理圖像的濾波器，通過(guò)用濾波器選擇單元選擇的濾波器濾波輸入的圖像，濾波單元輸出/產(chǎn)生明暗處理圖像。
根據(jù)本發(fā)明的一個(gè)方面，濾波單元包括濾波存儲(chǔ)單元，存儲(chǔ)不同取向的多個(gè)濾波系數(shù)；和濾波器單元，相對(duì)于多個(gè)濾波系數(shù)連續(xù)地濾波輸入圖像，分別輸出與濾波系數(shù)相對(duì)應(yīng)的基本明暗處理圖像。
根據(jù)本發(fā)明一個(gè)方面，產(chǎn)生單元還包括濾波器調(diào)節(jié)單元，如果相對(duì)于當(dāng)前輸入圖像由濾波器選擇單元選擇的濾波器與以前選擇的濾波器不同，并且當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)在前圖像的最小中值之間的差值低于預(yù)定參考值，則它保持在前選擇的濾波器，從而使得所述裝置能夠通過(guò)產(chǎn)生與輸入的二維圖像相對(duì)應(yīng)的適當(dāng)?shù)拿靼堤幚韴D像，將運(yùn)動(dòng)的二維圖像轉(zhuǎn)換成運(yùn)動(dòng)的三維圖像。
根據(jù)本發(fā)明一個(gè)方面，濾波器調(diào)節(jié)單元包括最小中值存儲(chǔ)單元，它被輸入當(dāng)前圖像和在前圖像的最小中值，并存儲(chǔ)輸入的最小中值；和比較單元，如果相對(duì)于當(dāng)前輸入圖像由濾波器選擇單元選擇的濾波器不同與在前選擇的濾波器，并且在當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)在前圖像最小中值之間的差值低于預(yù)定的參考值時(shí)，則它輸出保持在前選擇的濾波器的控制信號(hào)。
根據(jù)本發(fā)明一個(gè)方面，提供圖像質(zhì)量改進(jìn)單元，改進(jìn)明暗處理圖像的圖像質(zhì)量。所述圖像質(zhì)量改進(jìn)單元包括噪音消除單元，從明暗處理圖像消除噪音信號(hào)；模糊單元，擴(kuò)散無(wú)噪音的明暗處理圖像；和增益調(diào)節(jié)單元，調(diào)節(jié)明暗處理圖像的明暗處理相關(guān)值。
根據(jù)本發(fā)明的一個(gè)方面，噪音消除單元是消除在明暗處理圖像的高頻范圍中產(chǎn)生的噪音信號(hào)的濾波器。模糊單元是5抽頭的低通濾波器，它在水平和/或豎直方向擴(kuò)散明暗處理圖像。
根據(jù)本發(fā)明的一個(gè)方面，提出變換單元轉(zhuǎn)換不在能夠顯示的色域范圍的三維圖像，使得所述三維圖像能夠被置于在能夠顯示的色域范圍內(nèi)。變換單元將三維圖像的光亮度和色度轉(zhuǎn)換成與接近色域的極端(extreme)顏色的亮度和色度。
根據(jù)另一個(gè)實(shí)施例，本發(fā)明可以通過(guò)一種從二維圖像產(chǎn)生三維圖像的方法實(shí)現(xiàn)，所述方法是通過(guò)估計(jì)輸入圖像的照明方向，產(chǎn)生相對(duì)于輸入二維圖像是明暗處理圖像；和將輸入的圖像與明暗處理圖像結(jié)合，并輸出結(jié)果的三維圖像。
根據(jù)本發(fā)明的一個(gè)方面，明暗處理圖像的產(chǎn)生包括用不同取向的多個(gè)濾波器，濾波輸入圖像，并輸出分別與各濾波器相對(duì)應(yīng)的結(jié)果基本明暗處理圖像；抽取每個(gè)基本明暗處理圖像的正像素值；計(jì)算在輸入圖像的像素值和相對(duì)于各基本明暗處理圖像抽取的正像素值之間的差值；計(jì)算相對(duì)于各基本明暗處理圖像計(jì)算的所述差值的中值；選擇輸出各中值的最小一個(gè)的基本明暗處理圖像的濾波器；和通過(guò)用選擇的濾波器濾波輸入圖像，輸出/產(chǎn)生明暗處理圖像。
根據(jù)本發(fā)明的一個(gè)方面，通過(guò)依據(jù)多個(gè)濾波系數(shù)連續(xù)地濾波輸入圖像和分別輸出與濾波系數(shù)相對(duì)應(yīng)的基本明暗處理圖像，輸出明暗處理圖像。
根據(jù)本發(fā)明一個(gè)方面，明暗處理圖像的產(chǎn)生還包括如果相對(duì)于當(dāng)前輸入圖像的選擇的濾波器與在前選擇的濾波器不同，并且如果在當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)在前圖像的最小中值的差值低于預(yù)定參考值，則保持前選擇的濾波器，從而，通過(guò)產(chǎn)生與輸入的二維圖像相對(duì)應(yīng)的適當(dāng)?shù)拿靼堤幚韴D像，提供運(yùn)動(dòng)的二維圖像向運(yùn)動(dòng)的三維圖像的轉(zhuǎn)換。
根據(jù)本發(fā)明一個(gè)方面，三維圖像的產(chǎn)生還包括通過(guò)消除明暗處理圖像的噪音信號(hào)，在結(jié)合前，改進(jìn)明暗處理圖像的圖像質(zhì)量； 擴(kuò)散無(wú)噪音的明暗處理圖像；和調(diào)節(jié)明暗處理圖像的明暗處理相關(guān)值。所述噪音消除步驟消除在明暗處理圖像的高頻范圍中產(chǎn)生的噪音信號(hào)。
根據(jù)本發(fā)明一個(gè)方面，三維圖像的產(chǎn)生還包括通過(guò)將三維圖像的亮度和色度轉(zhuǎn)換成最接近色域的極端顏色的亮度和色度，將在不在可顯示色域范圍中的三維圖像轉(zhuǎn)換成在可顯示色域范圍內(nèi)的三維圖像。
根據(jù)本發(fā)明從二維圖像產(chǎn)生三維圖像的裝置和方法，基于輸入二維圖像的照明方向，用不同的濾波器而產(chǎn)生的明暗處理圖像與輸入圖像相結(jié)合，結(jié)果，容易地產(chǎn)生三維圖像。而且，在選擇與輸入圖像的照明方向相對(duì)應(yīng)的濾波器時(shí)，因?yàn)閷⒃谇斑x擇的濾波器納入考慮之中，所以，使得運(yùn)動(dòng)圖像的三維轉(zhuǎn)換成為可能。


通過(guò)參照附圖，通過(guò)描述本發(fā)明的優(yōu)選實(shí)施例，本發(fā)明的上述目的和其它優(yōu)點(diǎn)將會(huì)更明了，其中圖1是根據(jù)本發(fā)明實(shí)施例從二維圖像產(chǎn)生三維圖像的裝置的方框圖；圖2是根據(jù)本發(fā)明實(shí)施例，顯示圖1所示的裝置中提供的產(chǎn)生單元以及從二維圖像產(chǎn)生三維圖像的詳細(xì)結(jié)構(gòu)的方框圖；圖3是根據(jù)本發(fā)明另一實(shí)施例，顯示圖1所示的裝置中提供產(chǎn)生單元，以及從二維圖像產(chǎn)生三維圖像的詳細(xì)結(jié)構(gòu)的方框圖；圖4是與二維帶通濾波器相對(duì)應(yīng)的卷積(convolution)的濾波器系數(shù)和每個(gè)矩陣的照明方向的視圖；圖5是在保持相同的色調(diào)時(shí)，將在YcbCr格式的輸入圖像轉(zhuǎn)換為在顯示裝置的信號(hào)范圍內(nèi)的原理圖；和圖6是根據(jù)本發(fā)明實(shí)施例從二維圖像產(chǎn)生三維圖像的方法流程圖。
具體實(shí)施例方式
現(xiàn)在詳細(xì)說(shuō)明附圖中示出的本發(fā)明的優(yōu)選實(shí)施例，其中各圖中的相同符號(hào)表示相同的元件。為了參照附圖解釋本發(fā)明，下面說(shuō)明各實(shí)施例。
圖1是根據(jù)本發(fā)明實(shí)施例從二維圖像產(chǎn)生三維圖像的裝置的結(jié)構(gòu)方框圖。圖6是根據(jù)本發(fā)明的實(shí)施例從二維圖像產(chǎn)生三維圖像的方法流程圖。
見(jiàn)圖1、2和6，根據(jù)本發(fā)明的三維圖像產(chǎn)生裝置100包括產(chǎn)生單元110；圖像質(zhì)量改進(jìn)單元120；加法單元130和變換單元140。特別是，能夠在軟件和/或計(jì)算機(jī)硬件中實(shí)施/實(shí)現(xiàn)本發(fā)明的各種處理(程序)。例如，裝置100及其描述的部件能夠作為一個(gè)計(jì)算機(jī)系統(tǒng)實(shí)施，所述系統(tǒng)包括能夠存儲(chǔ)本發(fā)明各種處理(程序)的存儲(chǔ)器，諸如磁和光盤(pán)、RAM、ROM、ASIC等；根據(jù)本發(fā)明的控制系統(tǒng)和產(chǎn)生結(jié)果的處理程序。例如經(jīng)由如因特網(wǎng)等網(wǎng)絡(luò)上下載也能夠分布本發(fā)明的處理程序。
產(chǎn)生單元110從輸入二維圖像I(x，y)估計(jì)照明方向，產(chǎn)生相對(duì)于輸入圖像I(x，y)的明暗處理圖像Fsel(x，y)。
產(chǎn)生單元110的結(jié)構(gòu)例子更詳細(xì)地示于圖2。見(jiàn)圖2，產(chǎn)生單元110包括濾波器單元200；正值抽取單元210；減法單元220；中值計(jì)算單元230；濾波器選擇單元240；和濾波器調(diào)節(jié)單元250。
濾波器單元200依據(jù)多個(gè)濾波系數(shù)濾波輸入圖像I(x，y)，并輸出分別與濾波系數(shù)相對(duì)應(yīng)的各基本明暗處理圖像(圖6的操作400)。濾波器單元200具有濾波器存儲(chǔ)單元202，和濾波器單元204。濾波器存儲(chǔ)單元202存儲(chǔ)不同取向的多個(gè)濾波系數(shù)。濾波器單元204從濾波器存儲(chǔ)單元202連續(xù)地選擇濾波系數(shù)，濾波輸入圖像，并輸出各基本明暗處理圖像。
另外，如圖3所示，濾波器單元200還能夠由不同取向的濾波器200-1-200-n組成。此時(shí)，向各濾波器200-1-200-n輸入二維圖像。濾波器200-1-200-n根據(jù)在存儲(chǔ)單元202(圖3中未示出)中存儲(chǔ)的濾波系數(shù)進(jìn)行濾波。對(duì)于濾波器200-1-200-n，使用如帶通濾波器或高通濾波器那樣的濾波器。在濾波器存儲(chǔ)單元202中存儲(chǔ)的濾波系數(shù)是各濾波器200-1-200-n的特征值。圖3所示的其他元件的工作與圖2的相同元件基本是同一的。
圖4示出與二維帶通濾波器相對(duì)應(yīng)的卷積濾波器的例子的濾波系數(shù)和相對(duì)于各矩陣的照明方向。根據(jù)濾波常數(shù)(-1，1)的對(duì)稱位置，能夠確定濾波的二維圖像的照明方向。在濾波器是3×3維時(shí)，能夠使用八取向的濾波器，在濾波器存儲(chǔ)單元202中存儲(chǔ)相對(duì)于八個(gè)濾波器的濾波系數(shù)。
為了最佳化從二維輸入圖像實(shí)現(xiàn)至三維圖像的轉(zhuǎn)換，必須選擇與輸入圖像中含有的照明方向相同取向的濾波器。濾波器單元204連續(xù)地選擇在濾波器存儲(chǔ)單元202中存儲(chǔ)的濾波系數(shù)，并將選擇的濾波系數(shù)應(yīng)用到輸入圖像，從而輸出濾波的信號(hào)Fi(x，y)(即，各基本明暗處理圖像)。在濾波器單元200是由多個(gè)濾波器200-1-200-n構(gòu)成時(shí)，來(lái)到的圖像能夠連續(xù)地或同時(shí)地被輸入到各濾波器200-1-200-n。
與被3×3卷積濾波器矩陣Ei濾波的輸入的圖像I(x，y)相對(duì)的基本明暗處理圖像Fi(x，y)的關(guān)系滿足以下方程式1方程式1Fi(x,y)=Σk=-11Σl=-11Ei(k+1,1+1)·I(x+k,y+1)]]>
這里，(x，y)是在豎直和水平軸中的像素位置(坐標(biāo))。
正值抽取單元210輸出各基本明暗處理圖像的正像素值(圖6的操作405)。根據(jù)濾波系數(shù)的特性或使用的濾波器200-1-200-n，基本明暗處理圖像能夠具有，在基本明暗處理圖像的前/后或上/下輪廓上的最大正像素值(即，在從輸入圖像中減去基本明暗處理圖像時(shí)產(chǎn)生最大負(fù)信號(hào))。一般來(lái)說(shuō)，在輸入圖像與各濾波系數(shù)或?yàn)V波器200-1-200-n產(chǎn)生的基本明暗處理圖像的正像素值一致時(shí)，基本明暗處理圖像緊密地匹配輸入圖像的照明方向，并且，在基本明暗處理圖像具有比輸入圖像較高亮度信號(hào)時(shí)(即，較大的正像素值，從而在從輸入圖像中減去基本明暗處理圖像時(shí)產(chǎn)生負(fù)信號(hào)值)，基本明暗處理圖像不與輸入圖像的照明方向緊密匹配。也就是說(shuō)，如果從輸入圖像的像素信號(hào)中減去相對(duì)應(yīng)的基本明暗處理圖像獲得的信號(hào)的能量小時(shí)，則認(rèn)為，濾波系數(shù)或?yàn)V波器與輸入圖像的照明方向較精確地/緊密地匹配。因此，使用輸入圖像的輪廓區(qū)域，能夠確定基于輸入圖像的照明方向的明暗處理圖像。
減法單元220計(jì)算在輸入圖像的像素值和相對(duì)于各基本明暗處理圖像抽取的正像素值之間的差值(圖6的操作410)。減法單元220的輸出信號(hào)Mdif從下面的方程式2得到方程式2Mdif=Σx=1PΣy=1Q(I(x,y)-Fi,pos(x,y))]]>中值計(jì)算單元230通過(guò)下面的方程式3計(jì)算，相對(duì)于各基本明暗處理圖像計(jì)算的差值的中值Mi方程3Mi=MdifP·Q]]>這里，P和Q分別是在水平和豎直方向中的像素?cái)?shù)目，F(xiàn)i，pos是從正值抽取單元210輸出的信號(hào)。
濾波器選擇單元240選擇將輸出帶有最小中值Mi的基本明暗處理圖像的濾波系數(shù)或?yàn)V波器(圖6的操作420)。濾波器選擇單元240選擇的濾波系數(shù)或?yàn)V波器是能夠與輸入圖像的照明方向緊密匹配的濾波系數(shù)或?yàn)V波器。如果使用圖2所示的濾波器單元200，則濾波器選擇單元240向?yàn)V波器單元200輸出一個(gè)信號(hào)，以選擇與輸入圖像的照明方向匹配的濾波系數(shù)的索引。如果使用如圖3所示的濾波器單元200，則濾波器選擇單元240也向?yàn)V波器單元200輸出一個(gè)信號(hào)，以選擇與輸入圖像照明方向緊密匹配的濾波器。在后者的情況，濾波器單元200設(shè)有多路轉(zhuǎn)換器或開(kāi)關(guān)，以根據(jù)濾波器選擇單元240的控制信號(hào)，產(chǎn)生從各濾波器200-1-200-n輸出的基本明暗處理圖像之一。然后，通過(guò)用濾波器選擇單元240選擇的濾波器濾波輸入圖像，能夠產(chǎn)生明暗處理圖像Fsel(x，y)，該明暗處理圖像是依據(jù)輸入圖像的照明方向。
在運(yùn)動(dòng)圖像的情況，產(chǎn)生單元110還包括濾波器調(diào)節(jié)單元250。即使前幀和后幀彼此很相似，在估計(jì)輸入圖像的照明方向時(shí)，由于文本或噪音的插入，常常選擇與前幀不同取向的濾波器，在運(yùn)動(dòng)圖像中這能夠引起較嚴(yán)重的問(wèn)題。另外，與圖像類型有關(guān)，一些觀察者甚至感到在輸出圖像中的抖動(dòng)。提供濾波器調(diào)節(jié)單元250，以自適應(yīng)地解決這些問(wèn)題。
因此，在相對(duì)于當(dāng)前輸入圖像由濾波器選擇單元240選擇的濾波系數(shù)或?yàn)V波器與在前選擇的濾波系數(shù)或?yàn)V波器不同時(shí)，濾波器調(diào)節(jié)單元250確定是否改變?yōu)V波系數(shù)或?yàn)V波器。濾波器調(diào)節(jié)單元250具有最小中值存儲(chǔ)單元252和比較單元254。最小中值存儲(chǔ)單元252存儲(chǔ)相對(duì)于在前圖像的最小中值Mi，所述在前圖像是從濾波器選擇單元240輸入的當(dāng)前圖像前輸入的圖像。
比較單元254將對(duì)于在前圖像前選擇的濾波器的識(shí)別信息或?yàn)V波系數(shù)的索引，與對(duì)于當(dāng)前輸入的圖像選擇的濾波器的識(shí)別信息或?yàn)V波系數(shù)索引進(jìn)行比較(圖6的操作425)。如果比較結(jié)果指示出在比較的索引和/或識(shí)別信息之間的差值，則所述比較單元254確定在當(dāng)前的和在前輸入圖像的最小中值Mi的差值是否超過(guò)參考值(圖6的操作430)。如果在最小中值之間的差值超過(guò)參考值，所述參考值表示在輸入圖像的相當(dāng)大的改變量，則濾波器選擇單元240選擇對(duì)于當(dāng)前輸入圖像選擇的濾波系數(shù)或?yàn)V波器(圖6的操作440)。如果最小中值之間的差值低于所述參考值，則保持在前選擇的濾波系數(shù)或?yàn)V波器(圖6的操作435)。
在操作445，濾波器單元200通過(guò)用濾波器調(diào)節(jié)單元250確定的濾波器的濾波系數(shù)，濾波輸入圖像，產(chǎn)生明暗處理圖像。
在圖1中，質(zhì)量改進(jìn)單元120改進(jìn)產(chǎn)生單元110輸出的明暗處理圖像Fsel(x，y)的圖像質(zhì)量(圖6操作450)。質(zhì)量改進(jìn)單元120具有噪音消除單元122、模糊單元124和增益調(diào)節(jié)單元126。
在圖1中，噪音消除單元122具有濾波器，用以消除明暗處理圖像的高頻范圍產(chǎn)生的噪音信號(hào)。模糊單元124通過(guò)二維模糊，或通過(guò)在水平和設(shè)置方向的分開(kāi)模糊擴(kuò)散明暗處理信號(hào)。對(duì)于模糊單元124，能夠使用五個(gè)抽頭的低通濾波器1、2、3、2、1，或也能夠使用其他類型的濾波器。
具有通過(guò)噪音消除單元122和模糊單元124改進(jìn)圖像質(zhì)量的明暗處理圖像FP(x，y)滿足下面的方程式4方程式4FP(x，y)＝Blurring[NPmap[Fsel(x，y)]]在圖1中，增益調(diào)節(jié)單元126調(diào)節(jié)改進(jìn)圖像質(zhì)量的明暗處理圖像Fp(x，y)的相關(guān)值。在操作455，結(jié)合單元130將輸入圖像與改進(jìn)的明暗處理圖像結(jié)合，并輸出結(jié)果的3維圖像O*(x，y)。從結(jié)合單元130輸出的三維結(jié)果圖像滿足下面的方程式5方程式5O*(x,y)=Σx=1PΣy=1Q(I(x,y)+g·Fsel,lp,nri(x,y))]]>這里，g是增益比。
在圖1中，如果三維圖像超過(guò)可顯示的色域，則在操作460，變換單元140轉(zhuǎn)換三維圖像O*(x，y)，使得圖像落入可顯示色域中。另外，從結(jié)合單元130輸出的三維圖像O*(x，y)有時(shí)超過(guò)顯示裝置的信號(hào)范圍。因此，如果在此狀態(tài)三維圖像O*(x，y)被切去，則圖像被變換成不希望的顏色，引起輸入圖像的顏色的不均衡。因此，如果顯示裝置的三維圖像O*(x，y)超過(guò)信號(hào)范圍，則變換單元140在保持顏色色調(diào)，但是適當(dāng)?shù)丶踊驕p亮度Dy和顏色色度Dc的同時(shí)，在色域的極端顏色當(dāng)中搜索對(duì)于輸入圖像的最相似的顏色。圖5示出在保持相同色調(diào)的同時(shí)，將三維YcbCr型圖像轉(zhuǎn)換為在顯示裝置的信號(hào)范圍內(nèi)的原理。
根據(jù)本發(fā)明的從二維圖像產(chǎn)生三維圖像的裝置和方法，除了RGB(紅綠蘭)與三個(gè)信道一起用外，能夠用于如RGB(紅綠蘭)、YCbCr、YIQ、YUV、CIE-Lab、CIE-LUV圖像的所有圖像。但是，至于其他圖像，像用亮度和兩個(gè)顏色Cb和Cr表示的YCbCr圖像，至變換單元140的引入圖像能夠簡(jiǎn)單地用Y分量或L分量的亮度信號(hào)產(chǎn)生，在變換時(shí)對(duì)于顏色分量的附加要求，例如對(duì)YCbCr圖像要求顏色Cb和Cr。
根據(jù)基于輸入圖像的照明特征從二維圖像產(chǎn)生三維圖像的裝置和方法，用不同的濾波器產(chǎn)生緊密匹配照明特征，例如，照明方向的輸入圖像的明暗處理圖像，并且產(chǎn)生的明暗處理圖像與輸入圖像結(jié)合，其結(jié)果，容易地自動(dòng)產(chǎn)生帶有適當(dāng)照明方向的三維圖像。另外，在選擇與輸入圖像的照明方向相對(duì)應(yīng)的濾波器的情況下，因?yàn)榭紤]了在前選擇的濾波器，所以運(yùn)動(dòng)圖像向三維圖像的轉(zhuǎn)換成為可能(即，本發(fā)明裝置能夠根據(jù)輸入圖像和在前輸入圖像的照明方向的差值自動(dòng)地更新明暗處理圖像)。
雖然說(shuō)明了本發(fā)明的優(yōu)選實(shí)施例，但是，本領(lǐng)域的技術(shù)人員應(yīng)該理解，本發(fā)明不限于上述實(shí)施例，在所附權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)能夠做出各種改變和修改。
權(quán)利要求
1.一種從二維圖像產(chǎn)生三維圖像的裝置，包括產(chǎn)生器，通過(guò)估計(jì)輸入圖像的照明方向產(chǎn)生二維輸入圖像的明暗處理圖像；和結(jié)合器，將輸入圖像與明暗處理圖像接合，輸出三維的結(jié)合的圖像。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述產(chǎn)生器包括濾波器單元，用不同取向的各濾波器濾波輸入的圖像，和輸出分別與各濾波器相對(duì)應(yīng)的各基本明暗處理圖像；正值抽取器，抽取每個(gè)基本明暗處理圖像的正像素值；減法器，計(jì)算在輸入圖像的像素值和對(duì)于每個(gè)基本明暗處理圖像抽取的正像素值之間的差值；中值計(jì)算器，計(jì)算對(duì)于每個(gè)基本明暗處理圖像計(jì)算的差值的中值；和濾波器選擇器，選擇濾波器，以輸出最小中值的基本明暗處理圖像，其中通過(guò)用濾波器選擇單元選擇的濾波器濾波輸入圖像，濾波器單元輸出明暗處理圖像。
3.根據(jù)權(quán)利要求2所述的裝置，其中濾波器單元包括濾波器存儲(chǔ)器，存儲(chǔ)各不同取向的濾波系數(shù)；和濾波器單元，依據(jù)各濾波系數(shù)連續(xù)地濾波輸入圖像，分別輸出與濾波系數(shù)相對(duì)應(yīng)的基本明暗處理圖像。
4.根據(jù)權(quán)利要求2所述的裝置，其中產(chǎn)生器還包括濾波器調(diào)節(jié)器，如果相對(duì)于當(dāng)前輸入圖像由濾波器選擇器選擇的濾波器與以前選擇的濾波器不同，并且在當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)在前圖像的最小中值之間的差值低于預(yù)定參考值，則所述濾波器調(diào)節(jié)器保持以前選擇的濾波器。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述濾波器調(diào)節(jié)器包括最小中值存儲(chǔ)器，存儲(chǔ)當(dāng)前圖像和前圖像的最小中值；和比較器，如果相對(duì)于當(dāng)前輸入圖像由濾波器選擇單元選擇的濾波器與以前選擇的濾波器不同，并且當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)以前圖像最小中值之間的差值低于預(yù)定的參考值，則所述比較器輸出保持以前選擇的濾波器的控制信號(hào)。
6.根據(jù)權(quán)利要求1所述的裝置，還包括圖像質(zhì)量改進(jìn)器，改進(jìn)明暗處理圖像的圖像質(zhì)量。
7.根據(jù)權(quán)利要求6所述的裝置，其中所述圖像質(zhì)量改進(jìn)器包括噪音消除單元，消除明暗處理圖像的噪音信號(hào)；模糊單元，擴(kuò)散無(wú)噪音的明暗處理圖像；和增益調(diào)節(jié)器，調(diào)節(jié)擴(kuò)散的明暗處理圖像的明暗處理相關(guān)值。
8.根據(jù)權(quán)利要求7所述的裝置，其中所述噪音消除器是濾波器，它消除在明暗處理圖像的高頻范圍中產(chǎn)生的噪音信號(hào)。
9.根據(jù)權(quán)利要求7所述的裝置，其中所述模糊單元是5抽頭的低通濾波器，它在水平和/或豎直方向擴(kuò)散明暗處理圖像。
10.根據(jù)權(quán)利要求1所述的裝置，還包括變換器，它將不在可顯示的色域范圍的三維圖像轉(zhuǎn)換到在可顯示的色域范圍內(nèi)的三維圖像。
11.根據(jù)權(quán)利要求10所述的裝置，其中所述變換器將三維圖像的亮度和色度轉(zhuǎn)換成與最接近色域的極端顏色的亮度和色度。
12.一種從二維圖像產(chǎn)生三維圖像的方法，包括通過(guò)估計(jì)輸入圖像的照明方向，產(chǎn)生相對(duì)于輸入的二維圖像的明暗處理圖像；將輸入圖像與明暗處理圖像結(jié)合，并輸出三維圖像。
13.根據(jù)權(quán)利要求12所述的方法，其中產(chǎn)生明暗處理圖像的步驟還包括步驟用不同取向的各濾波器，濾波輸入圖像，并輸出分別與各濾波器相對(duì)應(yīng)的基本明暗處理圖像；抽取每個(gè)基本明暗處理圖像的正像素值；計(jì)算在輸入圖像的像素值和相對(duì)于各基本明暗處理圖像抽取的正像素值之間的差值；計(jì)算相對(duì)于各基本明暗處理圖像計(jì)算的所述差值的中值；選擇濾波器，以輸出各中值的最小一個(gè)的基本明暗處理圖像；和通過(guò)用選擇的濾波器濾波輸入圖像，輸出所述明暗處理圖像。
14.根據(jù)權(quán)利要求13所述的方法，其中所述輸出基本明暗處理圖像的步驟包括依據(jù)多個(gè)濾波系數(shù)連續(xù)濾波輸入圖像，分別輸出與濾波系數(shù)相對(duì)應(yīng)的基本明暗處理圖像。
15.根據(jù)權(quán)利要求13所述的方法，其中所述產(chǎn)生步驟還包括如果相對(duì)于當(dāng)前輸入圖像選擇的濾波器與在前選擇的濾波器不同，并且如果在當(dāng)前輸入圖像的最小中值和一個(gè)或多個(gè)在前圖像的最小中值的差值低于預(yù)定參考值，則保持在前選擇的濾波器。
16.根據(jù)權(quán)利要求12所述的方法，還包括步驟在將輸入圖像與明暗處理圖像結(jié)合前，改進(jìn)明暗處理圖像的質(zhì)量。
17.根據(jù)權(quán)利要求16所述的方法，其中所述改進(jìn)明暗處理圖像質(zhì)量包括消除明暗處理圖像的噪音信號(hào)；擴(kuò)散無(wú)噪音的明暗處理圖像；和調(diào)節(jié)擴(kuò)散的明暗處理圖像的明暗處理相關(guān)值。
18.根據(jù)權(quán)利要求17所述的方法，其中所述噪音消除包括消除在明暗處理圖像的高頻范圍中產(chǎn)生的噪音信號(hào)。
19.根據(jù)權(quán)利要求17所述的方法，其中所述明暗處理圖像的擴(kuò)散包括在水平和/或豎直方向擴(kuò)散明暗處理圖像。
20.根據(jù)權(quán)利要求12所述的方法，還包括將不在可顯示色域范圍的三維圖像轉(zhuǎn)換到在可顯示色域范圍內(nèi)的三維圖像。
21.根據(jù)權(quán)利要求20所述的方法，其中所述三維圖像的轉(zhuǎn)換包括將三維圖像的亮度和色度轉(zhuǎn)換成最接近色域的極端顏色的亮度和色度。
22.一種將輸入二維圖像轉(zhuǎn)換成相應(yīng)的三維圖像的系統(tǒng)，包括程序處理器，根據(jù)輸入圖像的照明特征產(chǎn)生明暗處理圖像，將所述明暗處理圖像與輸入圖像結(jié)合，并將每個(gè)結(jié)合的圖像轉(zhuǎn)換成三維圖像。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述程序處理器還自動(dòng)地調(diào)節(jié)三維圖像的噪音、模糊和/或增益。
24.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述程序處理器還自動(dòng)地將所述三維圖像轉(zhuǎn)換到在可顯示色域的范圍內(nèi)。
25.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述程序處理器根據(jù)在輸入圖像和在前輸入圖像的照明特征的差值別自動(dòng)更新明暗處理圖像。
26.一種將輸入二維圖像轉(zhuǎn)換成三維圖像的系統(tǒng)，包括控序處理器，估計(jì)任何顏色格式的輸入二維圖像的照明方向，根據(jù)估計(jì)的輸入圖像的照明方向，自動(dòng)地產(chǎn)生照明調(diào)節(jié)的和增益調(diào)節(jié)的有顏色的三維圖像。
全文摘要
根據(jù)輸入圖像的照明特征，從輸入的二維圖像產(chǎn)生三維圖像，即，通過(guò)用不同取向的濾波器濾波二維輸入圖像；輸出與濾波器相對(duì)應(yīng)的各基本明暗處理圖像；抽取每個(gè)基本明暗處理圖像的正像素值；計(jì)算輸入圖像的像素值和抽取的正像素值之間的差值；計(jì)算計(jì)算的差值的中值；選擇濾波器以輸出最小中值的基本明暗處理圖像；通過(guò)用選擇的濾波器濾波輸入圖像，輸出明暗處理圖像；將輸入的圖像與所述明暗處理圖像結(jié)合，和根據(jù)結(jié)合的圖像輸出三維圖像。在選擇當(dāng)前圖像的濾波器時(shí)能夠考慮對(duì)在前圖像的前面選擇的濾波器，使得能夠產(chǎn)生三維運(yùn)動(dòng)圖像。
文檔編號(hào)G06T5/00GK1426024SQ0214583
公開(kāi)日2003年6月25日 申請(qǐng)日期2002年10月15日 優(yōu)先權(quán)日2001年12月11日
發(fā)明者金文喆, 樸永濬 申請(qǐng)人:三星電子株式會(huì)社