專利名稱：三維圖像插補(bǔ)裝置、三維攝像裝置以及三維圖像插補(bǔ)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)三維運(yùn)動(dòng)圖像進(jìn)行幀插補(bǔ)的三維圖像插補(bǔ)裝置，三維攝像裝置以及三維圖像插補(bǔ)方法。
背景技術(shù)：
近幾年，使用CO)圖像傳感器(Charge Coupled Device Image Sensor :電荷藕合器件圖像傳感器)或者CMOS圖像傳感器(Complementary Metal Oxide SemiconductorImage Sensor :互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器)等的固體攝像元件(下面有時(shí)簡(jiǎn)單稱為“攝像元件”)的數(shù)字圖片相機(jī)或者數(shù)字?jǐn)z像機(jī)的高功能化以及高性能化令人震驚。尤其是隨著半導(dǎo)體制造技術(shù)的進(jìn)步，固體攝像元件的像素構(gòu)造的細(xì)微化得到發(fā)展。其結(jié)果，固體攝像元件的像素以及驅(qū)動(dòng)電路不斷向著高集成化發(fā)展。因此，僅用幾 年的時(shí)間，攝像元件的像素?cái)?shù)從100萬(wàn)像素左右大大增加到1000萬(wàn)像素以上。加之，通過(guò)攝像獲得的圖像的質(zhì)量也有了飛躍性的提高。另ー方面，通過(guò)液晶顯示器或者等離子顯示器等的薄型顯示裝置，實(shí)現(xiàn)了不占地方、能夠以高分辨率且高對(duì)比度來(lái)顯示圖像。這樣的圖像高品質(zhì)化的趨勢(shì)，從ニ維圖像擴(kuò)大到三維圖像。最近已經(jīng)開始對(duì)采用偏振光眼鏡或者具有高速快門的眼鏡，顯示高畫質(zhì)的三維圖像的三維顯示裝置進(jìn)行了開發(fā)。用于獲得在三維顯示裝置上顯示的高畫質(zhì)的三維圖像或者三維影像的三維攝像裝置的開發(fā)也有了發(fā)展。作為獲得三維圖像并在三維顯示裝置上顯示的單純的方法，可以考慮以具備了位置不同的2個(gè)光學(xué)系(透鏡和攝像元件)的攝像裝置來(lái)拍攝圖像或者影像的方法。使用各光學(xué)系被拍攝的圖像作為左眼用圖像以及右眼用圖像被輸入到三維顯示裝置。通過(guò)三維顯示裝置將拍攝的左眼用圖像和右眼用圖像高速地切換來(lái)顯示，戴眼鏡的用戶能夠立體地感覺(jué)圖像。另外，還有這樣的方法，利用多臺(tái)相機(jī)構(gòu)成的攝像系算出場(chǎng)景的深度信息，根據(jù)深度信息和紋理(texture)信息生成左眼用圖像以及右眼用圖像。此外，還有這樣的方法，改變光照方法等場(chǎng)景的幾何條件或者光學(xué)條件或者攝像裝置的光學(xué)系的條件(光圈的大小等)，根據(jù)I臺(tái)相機(jī)拍攝的多張圖像算出深度信息，從而生成左眼用圖像以及右眼用圖像。作為有關(guān)前者的方法有同時(shí)利用從多個(gè)相機(jī)獲得的圖像求出各像素的深度的非專利文獻(xiàn)I中記載的多基線立體(Multi-baseline Stereo)法。該多基線立體法與一般的雙目立體相比能夠以高精度來(lái)推定場(chǎng)景的深度。作為一例說(shuō)明相機(jī)的臺(tái)數(shù)是2臺(tái)(雙目立體)時(shí)的左眼用圖像以及右眼用圖像(視差圖像)的生成方法。在雙目立體中利用2臺(tái)相機(jī)從互相不同的視點(diǎn)拍攝2張圖像，從被拍攝的各圖像提取特征點(diǎn)，通過(guò)求出特征點(diǎn)間的對(duì)應(yīng)關(guān)系來(lái)確定對(duì)應(yīng)點(diǎn)。這樣被確定的對(duì)應(yīng)點(diǎn)間的距離被稱為視差。例如，以2臺(tái)相機(jī)拍攝的2張圖像中，對(duì)應(yīng)的特征點(diǎn)的坐標(biāo)(X，y)分別為(5，10)，(10，10)時(shí)，視差成為5。在這里設(shè)相機(jī)被平行地配置，視差設(shè)為d，2臺(tái)相機(jī)的焦點(diǎn)距離設(shè)為f，相機(jī)間的距離(基線長(zhǎng)baseline)設(shè)為B時(shí)，根據(jù)(公式I)能夠求出從相機(jī)到被攝體的距離。(公式I)
^ - BfZ = L (式 I)
d在2臺(tái)相機(jī)間的距離長(zhǎng)時(shí)，在一個(gè)相機(jī)觀測(cè)的特征點(diǎn)不能在另一個(gè)相機(jī)觀測(cè)。即使是那樣的情況下，多基線立體法利用3臺(tái)以上的相機(jī)，從而能夠減少對(duì)應(yīng)點(diǎn)搜索的含糊性，所以減少視差推定的誤差。在求出深度時(shí)，例如像非專利文獻(xiàn)2所述的方法一樣，利用深度的信息和場(chǎng)景的紋理，能夠生成左眼用圖像以及右眼用圖像。根據(jù)非專利文獻(xiàn)2所述的方法，利用推定的深 度和從攝像裝置獲得的場(chǎng)景的紋理，能夠生成將虛擬相機(jī)位置(左眼用相機(jī)位置和右眼用相機(jī)位置)作為新的視點(diǎn)位置的圖像。這樣，能夠獲得與攝影時(shí)不同的視點(diǎn)位置的圖像。新的視點(diǎn)位置的圖像能夠通過(guò)(公式2)生成。在這里各記號(hào)與(公式I)相同。求深度的相機(jī)的X坐標(biāo)設(shè)為Xe，在新生成的視點(diǎn)位置上的相機(jī)的X坐標(biāo)設(shè)為XI，Xr0xl, xr分別是左眼用以及右眼用的相機(jī)(虛擬相機(jī))的X坐標(biāo)。將虛擬相機(jī)間的距離(基線長(zhǎng)baseline)設(shè)為 tx。(公式2)
J txfXi=XC +
2Z(式2)
txfxr-Xe ——
TZ根據(jù)上述，使用多臺(tái)相機(jī)算出深度，則能夠生成左眼用圖像以及右眼用圖像。在與后者有關(guān)的深度的算出方法中，作為變更與場(chǎng)景有關(guān)的條件的方法有非專利文獻(xiàn)3示出的光度立體(Photometric Stereo)法。改變照明的位置拍攝被攝體的多張圖像被輸入時(shí)，根據(jù)被攝體的像素值和照明的位置的三維關(guān)系，求出被攝體的三維位置。此外，作為改變攝像裝置的光學(xué)條件的方法有非專利文獻(xiàn)4示出的D印th From Defocus (散焦測(cè)距)法。在這個(gè)方法中，利用改變相機(jī)的焦點(diǎn)距離拍攝的多張圖像的各像素的模糊的變化量、相機(jī)的焦點(diǎn)距離、光圈的大小(開口直徑)，能夠求出從相機(jī)到被攝體為止的距離(深度)。這樣，從以前就開始研究了獲得場(chǎng)景的深度信息的各種各樣的方法。特別是D印thFrom Defocus法有這樣的特征，能夠?qū)z像裝置做成小型且輕量，不需要照明裝置等其他的裝置。(現(xiàn)有技術(shù)文獻(xiàn))(專利文獻(xiàn))專利文獻(xiàn)I :日本特開平7-262382號(hào)公報(bào)專利文獻(xiàn)2 :日本特開2010-16743號(hào)公報(bào)(非專利文獻(xiàn) 1)“A Multiple-baseline Stereo, ^IEEE Trans. Pattern Analysisand Machine Intelligence，Vol. 15，No. 4，pp. 353-363，1993，M. Okutomi and T. Kanade.(非專利文獻(xiàn)2)“Stereoscopic Image Generation Based on Depth Images for3D TV. ” IEEE Trans. On Broadcasting, Vol. 51，No. 2，June2005，L Zhang and W. J. Tam.
(非專利文獻(xiàn) 3) “Photometric method for determining surface orientationfrom multiple images.，，Optical Engineerings 19, 1,139-144, 1980, R. J. ffoodham.(非專利文獻(xiàn) 4) “A new sense for depth of field”，IEEE Transaction onPattern Analysis and Machine Intelligence, 2,4, pp. 523-531 1987, A.P.Pentland.(非專利文獻(xiàn) 5) " Depth from Defocus : A Spatial DomainApproach, " International Journal of Computer Vision, Vol. 13, No. 3,pp. 271-294, 1994 M. Subbarao and G. Surya.(非專利文獻(xiàn)6)“3DC安全方針” 3D consortium, 2010年4月20日修訂版·如上所述,通過(guò)采用Depth From Defocus法，以單眼且小型的系統(tǒng)就能獲得場(chǎng)景的深度信息。然而，在Depth From Defocus法中，需要改變相機(jī)的焦點(diǎn)距離拍攝2張以上的圖像。即，在攝影時(shí)為了改變相機(jī)的焦點(diǎn)距離，就需要前后驅(qū)動(dòng)透鏡(或攝像元件)。因此，在I次的攝影中需要的時(shí)間，很大地依存于驅(qū)動(dòng)時(shí)間以及在驅(qū)動(dòng)之后透鏡或者攝像元件的 振動(dòng)消失為止的時(shí)間。根據(jù)上述,在Depth From Defocus法中存在這樣的課題，I秒鐘只能拍攝少量的圖像。因此在Depth From Defocus法中，ー邊算出深度信息一邊拍攝運(yùn)動(dòng)圖像的情況下,運(yùn)動(dòng)圖像的幀速率變低。作為從幀速率低的運(yùn)動(dòng)圖像生成高幀速率的運(yùn)動(dòng)圖像的方法有根據(jù)2張圖像生成在時(shí)間方向插補(bǔ)的圖像，從而提高時(shí)間分辨率的方法。此方法作為例如使顯示器的顯示流暢而提高時(shí)間分辨率的方法來(lái)利用。然而，采用為了利用D印th From Defocus法的模糊存在的圖像進(jìn)行時(shí)間方向的插補(bǔ)時(shí)，雖然能夠生成包含模糊的插補(bǔ)圖像，不過(guò)該插補(bǔ)沒(méi)有考慮深度信息。因此，從包含模糊的插補(bǔ)圖像中不能算出根據(jù)Depth From Defocus法的深度信息。此外，作為提高ニ維圖像的時(shí)間分辨率的方法的延伸，可以考慮這樣的方法，根據(jù)Depth From Defocus法對(duì)各個(gè)靜止圖像，生成左眼用圖像以及右眼用圖像之后，在每個(gè)視點(diǎn)進(jìn)行圖像的插補(bǔ)，從而提高時(shí)間分辨率。然而，通過(guò)插補(bǔ)被生成的左眼用圖像以及右眼用圖像，因?yàn)樵谧笥要?dú)立地進(jìn)行了插補(bǔ)，所以不能保證三維幾何性位置關(guān)系正確。因此存在這樣的課題，作為每ー個(gè)靜止圖像來(lái)看的時(shí)候沒(méi)有不協(xié)調(diào)感，不過(guò)，在三維顯示裝置上看的時(shí)候成為有不協(xié)調(diào)感的三維運(yùn)動(dòng)圖像。根據(jù)專利文獻(xiàn)I所述的方法，定義了攝影被攝體的運(yùn)動(dòng)模式，進(jìn)行了坐標(biāo)信息的插補(bǔ)和運(yùn)動(dòng)信息的插補(bǔ)。根據(jù)這個(gè)方法，不但能進(jìn)行ニ維坐標(biāo)信息的插補(bǔ)，還能進(jìn)行三維的運(yùn)動(dòng)信息的插補(bǔ)。然而，存在這樣的課題，因?yàn)橐话愕膱?chǎng)景動(dòng)作復(fù)雜，難以進(jìn)行模式化，所以適用該方法比較困難。

發(fā)明內(nèi)容
本發(fā)明是解決所述以往的課題的發(fā)明，其目的在于提供能夠高精度地進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)的三維圖像插補(bǔ)裝置、三維攝像裝置以及三維圖像插補(bǔ)方法。為了達(dá)成上述目的，本發(fā)明的一個(gè)方案涉及的三維圖像插補(bǔ)裝置，進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)，該三維圖像插補(bǔ)裝置具備距離圖像插補(bǔ)部，生成在第一距離圖像和第二距離圖像之間進(jìn)行插補(bǔ)的至少一張插補(bǔ)距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運(yùn)動(dòng)圖像中包含的第一圖像以及第二圖像的深度；圖像插補(bǔ)部，生成在所述第一圖像和所述第二圖像之間進(jìn)行插補(bǔ)的至少一張插補(bǔ)圖像；以及插補(bǔ)視差圖像生成部，根據(jù)所述插補(bǔ)圖像，生成具有與所述插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的至少一組插補(bǔ)視差圖像。根據(jù)本構(gòu)成在進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)的情況下，分別進(jìn)行二維圖像的插補(bǔ)和距離圖像的插補(bǔ)之后，生成插補(bǔ)視差圖像。因此與各自進(jìn)行左眼用圖像的插補(bǔ)和右眼用圖像的插補(bǔ)來(lái)生成插補(bǔ)視差圖像的情況相比，能抑制深度方向的插補(bǔ)錯(cuò)誤，能夠高精度地進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)。此外，左眼用插補(bǔ)圖像和右眼用插補(bǔ)圖像，利用相同的插補(bǔ)距離圖像及插補(bǔ)圖像被生成，所以有這樣的效果，針對(duì)觀看進(jìn)行了幀插補(bǔ)的三維圖像的用戶，難以帶來(lái)因插補(bǔ)引起的不快感。此外，優(yōu)選的是，所述三維圖像插補(bǔ)裝置，還具備距離運(yùn)動(dòng)矢量算出部，根據(jù)所述第一距離圖像以及所述第二距離圖像算出運(yùn)動(dòng)矢量，以作為距離運(yùn)動(dòng)矢量；圖像運(yùn)動(dòng)矢量算出部，根據(jù)所述第一圖像以及所述第二圖像算出運(yùn)動(dòng)矢量，以作為圖像運(yùn)動(dòng)矢量；矢量 相似度算出部，算出矢量相似度，該矢量相似度是表示所述圖像運(yùn)動(dòng)矢量和所述距離運(yùn)動(dòng)矢量的相似性的程度的值；以及插補(bǔ)圖像數(shù)決定部，以被算出的所述矢量相似度越大則數(shù)量越多的方式，決定插補(bǔ)的上限數(shù)，所述插補(bǔ)視差圖像生成部，生成被決定的所述上限數(shù)以下的數(shù)量的所述插補(bǔ)視差圖像。根據(jù)這個(gè)構(gòu)成，能夠按照距離運(yùn)動(dòng)矢量與圖像運(yùn)動(dòng)矢量之間的相似度來(lái)決定插補(bǔ)的上限數(shù)。在距離運(yùn)動(dòng)矢量與圖像運(yùn)動(dòng)矢量之間的相似度低的情況下，距離運(yùn)動(dòng)矢量或者圖像運(yùn)動(dòng)矢量沒(méi)有被正確算出的可能性高。因此，在這樣的情況下，通過(guò)減少插補(bǔ)的上限數(shù)，從而能夠抑制因插補(bǔ)視差圖像導(dǎo)致三維運(yùn)動(dòng)圖像的畫質(zhì)惡化。此外，優(yōu)選的是，所述距離運(yùn)動(dòng)矢量算出部，按第一尺寸的每個(gè)塊算出所述距離運(yùn)動(dòng)矢量，所述圖像運(yùn)動(dòng)矢量算出部，按所述第一尺寸的每個(gè)塊算出所述圖像運(yùn)動(dòng)矢量，所述矢量相似度算出部，按比所述第一尺寸大的第二尺寸的每個(gè)塊，生成所述距離運(yùn)動(dòng)矢量的方向以及強(qiáng)度中的至少一方的直方圖，按所述第二尺寸的每個(gè)塊，生成所述圖像運(yùn)動(dòng)矢量的方向以及強(qiáng)度中的至少一方的直方圖，根據(jù)所述距離運(yùn)動(dòng)矢量與所述圖像運(yùn)動(dòng)矢量的方向的直方圖之間的相似性以及所述距離運(yùn)動(dòng)矢量與所述圖像運(yùn)動(dòng)矢量的強(qiáng)度的直方圖之間的相似性中的至少一方，算出所述矢量相似度。根據(jù)這個(gè)構(gòu)成，能夠根據(jù)運(yùn)動(dòng)矢量的方向與強(qiáng)度中的至少一方的直方圖，算出矢量相似度。據(jù)此，使運(yùn)動(dòng)矢量沒(méi)有被正確算出的可能性與矢量相似度的相關(guān)度提高，能夠恰當(dāng)?shù)貨Q定插補(bǔ)的上限數(shù)。此外，優(yōu)選的是，所述插補(bǔ)圖像數(shù)決定部，將由用戶輸入的所述上限數(shù)以下的數(shù)量決定為插補(bǔ)數(shù)，所述插補(bǔ)視差圖像生成部，生成被決定的所述插補(bǔ)數(shù)的所述插補(bǔ)視差圖像。根據(jù)這個(gè)構(gòu)成，能夠由用戶的輸入來(lái)決定插補(bǔ)數(shù)，能夠抑制因幀插補(bǔ)給用戶帶來(lái)的不快感。此外，優(yōu)選的是，所述三維圖像插補(bǔ)裝置，還具備距離圖像獲得部，根據(jù)第一攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得所述第一距離圖像，且根據(jù)時(shí)間上位于所述第一攝影圖像群的后邊的第二攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得所述第二距離圖像。根據(jù)這個(gè)構(gòu)成，作為輸入能夠利用焦點(diǎn)距離互不相同的多個(gè)攝影圖像，所以能夠貢獻(xiàn)于攝像裝置的小型化。此外，優(yōu)選的是，所述三維圖像插補(bǔ)裝置，還具備紋理圖像獲得部，利用表示所述第一攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第一紋理圖像作為所述第一圖像來(lái)獲得，且利用表示所述第二攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第二紋理圖像作為所述第二圖像來(lái)獲得。根據(jù)這個(gè)構(gòu)成，能夠根據(jù)紋理圖像生成插補(bǔ)視差圖像。此外，所述三維圖像插補(bǔ)裝置可以被構(gòu)成為集成電路。此外，本發(fā)明的一個(gè)方案涉及的三維攝像裝置，具備攝像部；以及上述三維圖像 插補(bǔ)裝置。這樣，能夠達(dá)到與所述三維圖像插補(bǔ)裝置同樣的效果。另外，本發(fā)明不僅能夠作為上述的三維圖像插補(bǔ)裝置來(lái)實(shí)現(xiàn)，而且還可以作為上述的三維圖像插補(bǔ)裝置具備的特征性的構(gòu)成要素的動(dòng)作為步驟的三維圖像插補(bǔ)方法來(lái)實(shí)現(xiàn)。此外，本發(fā)明能夠作為使計(jì)算機(jī)執(zhí)行三維圖像插補(bǔ)方法包含的各步驟的程序來(lái)實(shí)現(xiàn)。而且，上述的程序，當(dāng)然可以經(jīng)由⑶-ROM (Compact Disc Read Only Memory)等的非一時(shí)的記錄介質(zhì)或者互聯(lián)網(wǎng)等傳輸介質(zhì)來(lái)分發(fā)。根據(jù)本發(fā)明能夠高精度地進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)。


圖I是表示本發(fā)明的實(shí)施例的三維攝像裝置的全體結(jié)構(gòu)的圖。圖2是表示本發(fā)明的實(shí)施例的三維圖像插補(bǔ)部的結(jié)構(gòu)的方框圖。圖3是表示本發(fā)明的實(shí)施例的三維圖像插補(bǔ)部的處理動(dòng)作的流程圖。圖4是表示本發(fā)明的實(shí)施例的距離圖像獲得部的處理動(dòng)作的流程圖。圖5是用于說(shuō)明本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量算出方法的一例的圖。圖6是表不ネ旲糊圖像和全焦點(diǎn)圖像和PSF之間的關(guān)系的圖。圖7是表示本發(fā)明的實(shí)施例的模糊內(nèi)核的尺寸的求出方法的圖。圖8是表示本發(fā)明的實(shí)施例的矢量相似度算出部的處理動(dòng)作的流程圖。圖9是表示本發(fā)明的實(shí)施例的插補(bǔ)數(shù)的輸入方法的一例的圖。圖10是用于說(shuō)明本發(fā)明的實(shí)施例的插補(bǔ)距離圖像以及插補(bǔ)紋理圖像的生成方法的圖。圖11是用于說(shuō)明本發(fā)明的實(shí)施例的視差圖像生成方法的一例的圖。圖12是表示本發(fā)明的一個(gè)方案涉及的三維圖像插補(bǔ)裝置的功能結(jié)構(gòu)的方框圖。圖13是表示本發(fā)明的一個(gè)方案涉及的三維圖像插補(bǔ)裝置的處理動(dòng)作的流程圖。
具體實(shí)施例方式下面，參照

本發(fā)明的實(shí)施例。另外，下面說(shuō)明的實(shí)施例都是表示本發(fā)明優(yōu)選的ー個(gè)具體例子。換言之，以下的實(shí)施例中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置以及連接形式、步驟、步驟的順序等，都是本發(fā)明的一個(gè)例子，主旨不是限制本發(fā)明。本發(fā)明根據(jù)權(quán)利要求書的記載所確定。因此，以下的實(shí)施例的構(gòu)成要素中，在表示本發(fā)明的最上位概念的獨(dú)立權(quán)利要求中沒(méi)有記載的構(gòu)成要素，不是為了達(dá)成本發(fā)明的課題而必需的，可以說(shuō)明是構(gòu)成更好的形式的構(gòu)成要素。此外，在以下的說(shuō)明中，“圖像(image)”是指以二維形式來(lái)表示場(chǎng)景的亮度或者顏色等的信號(hào)或者信息。此外，“距離圖像(range image)”是指以二維形式來(lái)表示場(chǎng)景的離相機(jī)的距離(深度)的信號(hào)或者信息。此外，“視差圖像(parallax image)”是指與互相不同的多個(gè)視點(diǎn)位置對(duì)應(yīng)的多個(gè)圖像(例如，右眼用圖像以及左眼用圖像)。圖I是表示本發(fā)明的實(shí)施例的三維攝像裝置10的全體結(jié)構(gòu)的方框圖。本實(shí)施例的三維攝像裝置10是數(shù)字式的電子攝像機(jī)，具備攝像部100、信號(hào)處理部200、以及顯示部300。下面詳細(xì)說(shuō)明攝像部100、信號(hào)處理部200以及顯示部300。攝像部100拍攝場(chǎng)景的圖像。場(chǎng)景(scene)是指由攝像部100拍攝的圖像上映現(xiàn)的全部，除了被攝體還包括背景。 如圖I所示，攝像部100具備攝像元件101、光學(xué)透鏡103、濾光器104、控制部105、以及元件驅(qū)動(dòng)部106。攝像元件101是例如CXD圖像傳感器或者CMOS圖像傳感器等的固體攝像元件，由公知的半導(dǎo)體制造技術(shù)所制造。例如，攝像元件101具備在攝像面上布置為矩陣狀的多個(gè)光感知單元。光學(xué)透鏡103在攝像元件101的攝像面上形成像。在本實(shí)施例中攝像部100具備I塊光學(xué)透鏡103,不過(guò)也可以具備多塊光學(xué)透鏡。濾光器104是透過(guò)可見光，遮斷近紅外光(IR)的紅外遮斷濾光器4。另外，攝像部100不必一定要具備濾光器104?？刂撇?05生成用于驅(qū)動(dòng)攝像元件101的基本信號(hào)。加之，控制部105接收來(lái)自攝像元件101的輸出信號(hào)，發(fā)送到信號(hào)處理部200。元件驅(qū)動(dòng)部106根據(jù)由控制部105生成的基本信號(hào)，驅(qū)動(dòng)攝像元件101。另外，這些控制部105以及元件驅(qū)動(dòng)部106,由例如CO)驅(qū)動(dòng)器等的LSI (Large Scale Integration 大規(guī)模集成)構(gòu)成。信號(hào)處理部200根據(jù)從攝像部100輸出的信號(hào)，生成圖像信號(hào)。如圖I所示，信號(hào)處理部200具備存儲(chǔ)器201、三維圖像插補(bǔ)部202、以及接口部203。三維圖像插補(bǔ)部202進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)。該三維圖像插補(bǔ)部202，通過(guò)公知的數(shù)字信號(hào)處理處理器(DSP)等的硬件和執(zhí)行包含圖像信號(hào)生成處理的圖像處理的軟件的組合，能夠恰好地實(shí)現(xiàn)。另外，關(guān)于三維圖像插補(bǔ)部202的詳細(xì)內(nèi)容，利用附圖在后面敘述。存儲(chǔ)器201由例如DRAM(Dynamic Random Access Memory :動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等構(gòu)成。在存儲(chǔ)器201中記錄有從攝像部100獲得的信號(hào)，并且暫時(shí)地記錄有由三維圖像插補(bǔ)部202生成的圖像數(shù)據(jù)或者其壓縮圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由接口部203，發(fā)送到未圖示的記錄介質(zhì)或者顯示部300等。顯示部300顯示攝影條件或者被拍攝的圖像等。此外，顯示部300是靜電電容方式或者電阻膜方式等的觸摸面板，作為接受來(lái)自用戶的輸入的輸入部也發(fā)揮作用。由用戶輸入的信息，通過(guò)接ロ部203，反映到信號(hào)處理部200以及攝像部100的控制。另外，本實(shí)施例的三維攝像裝置10，還可以具備電子快門，尋像器(view Finder),電源(電池)，閃光等的公知的構(gòu)成要素，不過(guò)，這些構(gòu)成要素的說(shuō)明對(duì)理解本發(fā)明沒(méi)有特別的需要，所以省略其說(shuō)明。圖2是表示本發(fā)明的實(shí)施例的三維圖像插補(bǔ)部202的結(jié)構(gòu)的方框圖。如圖2所示，三維圖像插補(bǔ)部202具備距離圖像獲得部400、距離運(yùn)動(dòng)矢量算出部401、圖像運(yùn)動(dòng)矢量算出部402、矢量相似度算出部403、插補(bǔ)圖像數(shù)決定部404、距離圖像插補(bǔ)部405、圖像插補(bǔ)部406、以及插補(bǔ)視差圖像生成部407。距離圖像獲得部400獲得表示第一圖像以及第ニ圖像的深度的第一距離圖像以及第ニ距離圖像。第一圖像以及第ニ圖像是三維運(yùn)動(dòng)圖像中包含的相同視點(diǎn)的圖像，是成為幀插補(bǔ)的對(duì)象的圖像。在本實(shí)施例中，距離圖像獲得部400，根據(jù)第一攝影圖像群中包含的焦點(diǎn)距離互不 相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得第一距離圖像。此外，距離圖像獲得部400，根據(jù)第二攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得第ニ距離圖像。另外，第一攝影圖像群以及第ニ攝影圖像群分別包含由攝像部100邊改變焦點(diǎn)距離邊拍攝的多個(gè)攝影圖像。此外，第二攝影圖像群是在時(shí)間上位于第一攝影圖像群的后邊的圖像群。紋理圖像獲得部408，利用表示第一攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第一紋理圖像作為第一圖像來(lái)獲得。此外，紋理圖像獲得部408，利用表示第二攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第二紋理圖像作為第二圖像來(lái)獲得。在本實(shí)施例中，紋理圖像是指利用表示攝影圖像的模糊的特征的模糊信息對(duì)攝影圖像進(jìn)行復(fù)原處理，而得到的圖像。換言之，紋理圖像是除去攝影圖像中包含的模糊的圖像。即，紋理圖像是在全部的像素上對(duì)焦的圖像。另外，作為第一圖像以及第ニ圖像沒(méi)有必要利用第一紋理圖像以及第ニ紋理圖像。換言之，第一圖像以及第ニ圖像可以是具有模糊的圖像。這個(gè)情況下，三維圖像插補(bǔ)部202可以不具備紋理圖像獲得部408。距離運(yùn)動(dòng)矢量算出部401根據(jù)第一距離圖像以及第ニ距離圖像算出運(yùn)動(dòng)矢量。在這里，將這樣根據(jù)第一距離圖像以及第ニ距離圖像算出的運(yùn)動(dòng)矢量稱為距離運(yùn)動(dòng)矢量。圖像運(yùn)動(dòng)矢量算出部402根據(jù)第一圖像以及第ニ圖像算出運(yùn)動(dòng)矢量。在這里，將這樣根據(jù)第一圖像以及第ニ圖像算出的運(yùn)動(dòng)矢量稱為圖像運(yùn)動(dòng)矢量。矢量相似度算出部403算出矢量相似度,該矢量相似度是表不距尚運(yùn)動(dòng)矢量與圖像運(yùn)動(dòng)矢量的相似性的程度的值。矢量相似度的算出方法的細(xì)節(jié)在后面敘述。插補(bǔ)圖像數(shù)決定部404以被算出的相似度越大則數(shù)量越多的方式，決定插補(bǔ)的上限數(shù)。距離圖像插補(bǔ)部405生成在第一距離圖像與第二距離圖像之間進(jìn)行插補(bǔ)的至少I張插補(bǔ)距離圖像。具體而言，距離圖像插補(bǔ)部405生成由插補(bǔ)圖像數(shù)決定部404決定的插補(bǔ)的上限數(shù)以下的數(shù)量的插補(bǔ)距離圖像。圖像插補(bǔ)部406生成在第一圖像與第二圖像之間進(jìn)行插補(bǔ)的至少I張插補(bǔ)圖像。在本實(shí)施例中，圖像插補(bǔ)部406生成在第一紋理圖像與第二紋理圖像之間進(jìn)行插補(bǔ)的至少I張插補(bǔ)紋理圖像。具體而言，圖像插補(bǔ)部406生成由插補(bǔ)圖像數(shù)決定部404決定的插補(bǔ)的上限數(shù)以下的數(shù)量的插補(bǔ)圖像。插補(bǔ)視差圖像生成部407根據(jù)插補(bǔ)圖像，生成具有與插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的至少I組插補(bǔ)視差圖像。在本實(shí)施例中，插補(bǔ)視差圖像生成部407生成由插補(bǔ)圖像數(shù)決定部404決定的插補(bǔ)的上限數(shù)以下的數(shù)量的插補(bǔ)視差圖像。三維圖像插補(bǔ)部202，通過(guò)這樣生成插補(bǔ)視差圖像，從而進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)。另外，這樣進(jìn)行了幀插補(bǔ)的三維運(yùn)動(dòng)圖像，例如輸出到未圖示的立體顯示裝置。立體顯示裝置，根據(jù)例如眼鏡式的立體顯示方式顯示三維運(yùn)動(dòng)圖像。眼鏡式的立體顯示方式是對(duì) 戴眼鏡(例如液晶快門眼鏡或者偏振光眼鏡等)的用戶，顯示具有視差的左眼用圖像以及右眼用圖像的方式。另外，立體顯示裝置，沒(méi)有必要一定根據(jù)眼鏡式的立體顯示方式來(lái)顯示視差圖像，也可以根據(jù)裸眼式的立體顯示方式來(lái)顯示視差圖像。裸眼式的立體顯示方式是不使用眼鏡的立體顯示方式(例如，視差屏障(Parallax Barrier)方式或者柱狀透鏡(lenticularlens)方式等)。接著說(shuō)明如上述構(gòu)成的三維圖像插補(bǔ)部202的處理動(dòng)作。圖3是表示本發(fā)明的實(shí)施例的三維圖像插補(bǔ)部202的處理動(dòng)作的流程圖。以下對(duì)第一圖像以及第二圖像是第一紋理圖像以及第二紋理圖像的情況進(jìn)行說(shuō)明。首先，距離圖像獲得部400獲得第一距離圖像以及第二距離圖像(S102)。距離運(yùn)動(dòng)矢量算出部401從第一距離圖像以及第二距離圖像算出運(yùn)動(dòng)矢量(距離運(yùn)動(dòng)矢量)(S104)。紋理圖像獲得部408獲得第一紋理圖像以及第二紋理圖像(S105)。圖像運(yùn)動(dòng)矢量算出部402從第一紋理圖像及第二紋理圖像算出運(yùn)動(dòng)矢量(圖像運(yùn)動(dòng)矢量)(S106)。矢量相似度算出部403算出距離運(yùn)動(dòng)矢量與圖像運(yùn)動(dòng)矢量的相似度(S108)。插補(bǔ)圖像數(shù)決定部404以被算出的相似度越大則數(shù)量越多的方式，決定插補(bǔ)的上限數(shù)(S110)。距離圖像插補(bǔ)部405生成對(duì)第一距離圖像與第二距離圖像之間進(jìn)行插補(bǔ)的、數(shù)量為插補(bǔ)的上限數(shù)以下的插補(bǔ)距離圖像(S112)。圖像插補(bǔ)部406生成對(duì)第一紋理圖像與第二紋理圖像之間進(jìn)行插補(bǔ)的、數(shù)量為插補(bǔ)的上限數(shù)以下的插補(bǔ)紋理圖像(S114)。插補(bǔ)視差圖像生成部407根據(jù)插補(bǔ)紋理圖像，生成具有與對(duì)應(yīng)的插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的插補(bǔ)視差圖像(S116)。如上所述，生成了插補(bǔ)視差圖像，進(jìn)行了三維運(yùn)動(dòng)圖像的幀插補(bǔ)。另外，一邊變更成為插補(bǔ)的對(duì)象的圖像(第一紋理圖像及第二紋理圖像)一邊重復(fù)進(jìn)行步驟S102 S116的處理。接著說(shuō)明圖3表示的各步驟的處理的細(xì)節(jié)?！淳嚯x圖像獲得處理(S102)>首先說(shuō)明步驟S102的距離圖像獲得處理的細(xì)節(jié)。在本實(shí)施例中，距離圖像獲得部400根據(jù)從攝像部100獲得的多個(gè)攝影圖像，獲得表示場(chǎng)景離相機(jī)的距離的距離圖像。下面作為一例說(shuō)明根據(jù)專利文獻(xiàn)2記載的D印th FromDefocus法按每個(gè)像素測(cè)量距離的方法。另外，距離圖像獲得部400也可以根據(jù)其他的方法(例如使用多臺(tái)相機(jī)的立體法、光度立體(photometric stereo)、或者使用有源感應(yīng)器的TOF法等)獲得距離圖像。在Depth From Defocus法中，首先,攝像部100作為I個(gè)圖像群拍攝通過(guò)改變透鏡和光圈的設(shè)定而模糊互不相同的多張圖像。攝像部100，通過(guò)重復(fù)圖像群的攝影而獲得多個(gè)圖像群。在這里，稱這樣獲得的多個(gè)圖像群中的I個(gè)圖像群為第一圖像群，在時(shí)間上位于第一圖像群的下一個(gè)圖像群稱為第二圖像群。下面作為一例，說(shuō)明距離圖像獲得部400從I個(gè)圖像群獲得I個(gè)距離圖像的處理。距離圖像獲得部400按每個(gè)像素算出第一圖像群中包含的多張攝影圖像之間的模糊的相關(guān)量。距離圖像獲得部400，通過(guò)按每個(gè)像素參考預(yù)先決定了該模糊的相關(guān)量與被攝體距離之間的關(guān)系的參考表，來(lái)獲得距離圖像。

圖4是表示本發(fā)明的實(shí)施例的距離圖像獲得部400的處理動(dòng)作的一例的流程圖。具體而言，圖4表示根據(jù)Depth From Defocus法的距離測(cè)量方法。首先，距離圖像獲得部400，從攝像部100獲得拍攝了相同的場(chǎng)景的2張攝影圖像且焦點(diǎn)距離互不相同的2張攝影圖像(S202)。設(shè)該2張攝影圖像包含在第一圖像群中。另夕卜，焦點(diǎn)距離能夠通過(guò)移動(dòng)透鏡或者攝像元件的位置來(lái)變更。接著，距離圖像獲得部400將包含成為測(cè)距對(duì)象的像素和其近旁區(qū)域的像素群的區(qū)域設(shè)定為DFD內(nèi)核(S204)。該DFD內(nèi)核成為測(cè)距處理的對(duì)象。DFD內(nèi)核的尺寸和形式?jīng)]有特別限制，不過(guò)，能夠?qū)⒗缫詼y(cè)距對(duì)象像素為中心的10x10矩形區(qū)域等設(shè)定為DFD內(nèi)核。而且，距離圖像獲得部400，從改變焦點(diǎn)距離而拍攝的2張攝影圖像提取設(shè)定為DFD內(nèi)核的區(qū)域，并按DFD內(nèi)核的每個(gè)像素算出模糊相關(guān)量(S206)。在這里，距離圖像獲得部400利用針對(duì)DFD內(nèi)核預(yù)先被規(guī)定的加權(quán)系數(shù)，對(duì)按DFD內(nèi)核的每個(gè)像素求出的模糊相關(guān)量進(jìn)行加權(quán)(S208)。該加權(quán)系數(shù)是例如越是DFD內(nèi)核的中心該值越大，越是DFD內(nèi)核的邊緣該值越小的系數(shù)。另外，作為加權(quán)系數(shù)可以利用高斯分布等原有的加權(quán)分布。通過(guò)該加權(quán)處理有這樣的特征，對(duì)噪聲的影響具有魯棒性。被加權(quán)的模糊相關(guān)量的和作為DFD內(nèi)核的模糊相關(guān)量。最后，距尚圖像獲得部400使用表不距尚和ネ旲糊相關(guān)量的關(guān)系的一覽表，從ネ旲糊相關(guān)量求出距離(S210)。在ー覽表中，模糊相關(guān)量對(duì)被攝體距離的倒數(shù)具有線形關(guān)系(ー覽表算出處理參考非專利文獻(xiàn)5)。另外，如果ー覽表中沒(méi)有包含對(duì)應(yīng)的模糊相關(guān)量，距離圖像獲得部400可以根據(jù)插補(bǔ)求出被攝體距離。此外，優(yōu)選的是光學(xué)系有變更時(shí)也對(duì)ー覽表進(jìn)行變更。于是，距離圖像獲得部400可以按照光圈的大小和焦點(diǎn)距離，預(yù)先準(zhǔn)備多個(gè)ー覽表。這些光學(xué)系的設(shè)定信息在攝像時(shí)已經(jīng)知道，所以使用的一覽表可以事先算出。接著說(shuō)明模糊相關(guān)量算出方法。將以互相不同的焦點(diǎn)距離來(lái)拍攝的2張攝影圖像作為圖像G1，G2。距離圖像獲得部400選擇測(cè)定被攝體距離的測(cè)距對(duì)象像素，將該測(cè)距對(duì)象像素的近旁的MXM矩形區(qū)域的像素值作為DFD內(nèi)核分別設(shè)定在圖像G1，G2上。分別設(shè)圖像G1、G2的DFD內(nèi)核內(nèi)的像素值為gl (u, V), g2 (u, V) {u, V : 1,2,3, “·Μ},測(cè)距對(duì)象像素的坐標(biāo)為(cu, cv)。DFD內(nèi)核內(nèi)的任意的像素位置(U，V)的每個(gè)像素的模糊相關(guān)量G(U，V)在(公式3)表示。(公式3)=(式 3)
Agl(ii,v) + A(g-2(z./,v)在這里C是定數(shù)，被試驗(yàn)性地決定。Λ表示像素值的2次微分(拉普拉斯算子Laplacian)。這樣，每個(gè)像素的模糊相關(guān)量是通過(guò)在模糊不同的2張圖像的規(guī)定像素的像素值的差分除以在2個(gè)圖像的規(guī)定像素的2次微分的平均值而算出的。該模糊相關(guān)量表示在圖像內(nèi)的像素單位中的模糊的相關(guān)的程度。根據(jù)以上為止的處理，距離圖像獲得部400，針對(duì)攝影圖像群獲得表示從相機(jī)到被攝體為止的距離的距離圖像。換言之，距離圖像獲得部400，根據(jù)第一攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得第一距離圖像。加之，距離圖像 獲得部400，根據(jù)第二攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得第二距離圖像，所述第二攝影圖像群在時(shí)間上位于第一攝影圖像群的后邊。另外，距離圖像獲得部400，不必一定按照以上的處理來(lái)獲得距離圖像。例如，距離圖像獲得部400也可以只單純獲得由具有距離感應(yīng)器的攝像部100生成的距離圖像。<距離運(yùn)動(dòng)矢量算出處理(S104) >接著說(shuō)明步驟S104的距離運(yùn)動(dòng)矢量算出處理的細(xì)節(jié)。距離運(yùn)動(dòng)矢量算出部401從第一距離圖像以及第二距離圖像算出運(yùn)動(dòng)矢量。具體而言，距離運(yùn)動(dòng)矢量算出部401，首先對(duì)第一距離圖像及第二距離圖像的每個(gè)像素求出對(duì)應(yīng)點(diǎn)。而且，距離運(yùn)動(dòng)矢量算出部401算出連接對(duì)應(yīng)點(diǎn)的矢量，以作為運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量表示圖像間的每個(gè)像素的移動(dòng)量和移動(dòng)方向。關(guān)于運(yùn)動(dòng)矢量利用圖5來(lái)說(shuō)明。圖5(a)表示時(shí)刻t的距離圖像(第一距離圖像)和時(shí)刻t+Ι的距離圖像(第二距離圖像)。在圖5 (a)中，從時(shí)刻t+Ι的圖像搜索與時(shí)刻t的像素A對(duì)應(yīng)的像素，從而像素A和像素B被決定為對(duì)應(yīng)點(diǎn)。在這里，關(guān)于對(duì)應(yīng)的像素的搜索方法進(jìn)行敘述。首先，距離運(yùn)動(dòng)矢量算出部401在時(shí)刻t+Ι的距離圖像中，為了搜索與像素A對(duì)應(yīng)的像素，算出與像素A對(duì)應(yīng)的區(qū)域和與搜索區(qū)域中包含的像素對(duì)應(yīng)的區(qū)域之間的相關(guān)值。相關(guān)值,例如利用SAD (Sum Of AbsoluteDifference)或者 SSD (Sum Of Squared Difference))被算出。搜索區(qū)域，例如在圖5(a)的時(shí)刻t+Ι的距離圖像用虛線框來(lái)表示。另外，場(chǎng)景中的物體的動(dòng)作快的情況或者時(shí)刻t和時(shí)刻t+Ι的間隔大的情況下，搜索區(qū)域的尺寸可以設(shè)定地較大。此外，場(chǎng)景中的物體的動(dòng)作慢的情況或者時(shí)刻t和時(shí)刻t+i的間隔小的情況下，搜索區(qū)域的尺寸可以設(shè)定地較小。以下表示利用SAD以及SSD算出相關(guān)值的(公式4)。(公式4)
N Mcorsad = \n(u + il, ν + /I) — I2(u + i2, v + J2)\
M=O Vs=O(式4)M Mcorssd = [2](71(w + iIv + ./I),2(" +/2 \ + /2))2
w=0 v=0在這里，Il(u，V)表示在時(shí)刻t的圖像Il的像素(U，V)的像素值。12 (U，V)表示在時(shí)刻t+Ι的圖像12的像素(U，V)的像素值。距離運(yùn)動(dòng)矢量算出部401為了搜索與以圖像Il的像素為基準(zhǔn)的NXM像素的區(qū)域類似的區(qū)域，利用(公式4)，求出以圖像Il的像素(il，jl)為基準(zhǔn)的NXM像素的區(qū)域和以圖像12的像素(i2, j2)為基準(zhǔn)的NXM像素的區(qū)域之間的相關(guān)值。corsad是以SAD求出的相關(guān)值，corssd是以SSD求出的相關(guān)值，不過(guò)，作為相關(guān)值利用哪ー個(gè)都可以。另外，相關(guān)性越高corsad以及corssd的值越小。距離運(yùn)動(dòng)矢量算出部401在捜索區(qū)域內(nèi)一邊改變像素(i2，j2) —邊算出相關(guān)值。距離運(yùn)動(dòng)矢量算出部401，將這樣被算出的相關(guān)值中成為最小的相關(guān)值被算出的像素(i2, J2)決定為與像素A對(duì)應(yīng)的像素。在這里說(shuō)明了假定2張圖像間的照明的變動(dòng)或者對(duì)比的變動(dòng)小，利用SAD，SDD算出相關(guān)值的方法。另外，在2張圖像間的照明的變動(dòng)或者對(duì)比的變動(dòng)大的情況下，優(yōu)選的是例如利用正規(guī)化相互相關(guān)法來(lái)算出相關(guān)值。這樣，能夠更加可靠地搜索對(duì)應(yīng)點(diǎn)。距離運(yùn)動(dòng)矢量算出部401通過(guò)對(duì)所有的像素進(jìn)行以上的處理，能夠求出2張距離圖像的各像素的運(yùn)動(dòng)矢量。另外，在求出運(yùn)動(dòng)矢量之后可以進(jìn)行中值濾波器(medianFilter)等的干擾信號(hào)消除處理。另外，運(yùn)動(dòng)矢量不必一定按每個(gè)像素被算出。例如，距離運(yùn)動(dòng)矢量算出部401，可以按分割圖像而得到的第一尺寸的每個(gè)塊來(lái)算出距離運(yùn)動(dòng)矢量。這個(gè)情況下，能夠比按每個(gè)像素算出運(yùn)動(dòng)矢量的情況減輕用于算出運(yùn)動(dòng)矢量的負(fù)荷。<紋理圖像獲得處理(S105) >接著說(shuō)明步驟S105的紋理圖像獲得處理的細(xì)節(jié)。在本實(shí)施例中，紋理圖像獲得部408，首先利用第一圖像群和第一距離圖像算出第一紋理圖像。加之，紋理圖像獲得部408利用第二圖像群和第二距離圖像算出第二紋理圖像。具體而言，紋理圖像獲得部408利用表示第一攝影圖像群中包含的ー個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而獲得第一紋理圖像。加之，紋理圖像獲得部408利用表示第二攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而獲得第二紋理圖像。下面，參考附圖來(lái)說(shuō)明這些處理的細(xì)節(jié)。首先，關(guān)于紋理圖像的算出方法進(jìn)行說(shuō)明。本實(shí)施例表示的紋理圖像是指利用根據(jù)Depth From Defocus法得到的距離圖像，除去攝影圖像中包含的模糊的圖像。換言之，紋理圖像是在所有像素都對(duì)焦的圖像(全焦點(diǎn)圖像)。首先對(duì)根據(jù)攝影圖像生成紋理圖像的方法進(jìn)行說(shuō)明。在本實(shí)施例，紋理圖像獲得部408利用距離圖像和透鏡的公式，算出表示各像素的模糊的大小的模糊信息(模糊內(nèi)核)。紋理圖像獲得部408通過(guò)對(duì)攝影圖像的各像素利用模糊內(nèi)核進(jìn)行反卷積演算(復(fù)原處理)，從而生成在所有像素都對(duì)焦的紋理圖像(全焦點(diǎn)圖像)。為了說(shuō)明以上的處理，首先對(duì)圖像的模糊的生成過(guò)程進(jìn)行說(shuō)明。設(shè)沒(méi)有模糊的全焦點(diǎn)圖像的亮度分布為s(x, y),表示模糊的大小的模糊函數(shù)(PSF Point SpreadFunction)為f(x,y)。在這里為了說(shuō)明簡(jiǎn)單，假定圖像全體以一樣的模糊函數(shù)f產(chǎn)生模糊。如果忽視噪聲的影響，則以下的(公式5)成立。(公式5)i(x, y) = s(x, y)*f (x, y)(式 5)在這里,記號(hào)「*」表示卷積演算(convolution)。圖6是以圖像來(lái)表現(xiàn)(公式5)的例子。如圖6—樣地全焦點(diǎn)圖像是點(diǎn)時(shí)，通過(guò)以圓形狀的模糊函數(shù)(細(xì)節(jié)在后邊進(jìn)行定義)來(lái)卷積，從而獲得模糊圖像i(x，y)。該模糊函數(shù)也稱為模糊內(nèi)核。將模糊函數(shù)的圓的直徑稱為內(nèi)核尺寸。(公式5)的右邊通常以以下的(公式6)來(lái)表示。(公式6)
OQ C $(:，y) * /*(:，y) = J Jj k)f (x 一 j,y - k)djdk (式 6)在圖像由MXN個(gè)像素組成的情況下，所述的(公式6)能夠以以下的(公式7)來(lái)表不。(公式7)
I M-] N-I y) * /0:，y) = Tj— 2] Σ O，A..)/(x -1;-幻(式 7)
M X JS j=Q k=Q通常，2個(gè)函數(shù)的卷積的傅立葉變換，由各函數(shù)的傅立葉變換的積來(lái)表示。因此，將i (X，y)，s (X, y), f (X, y)的傅立葉變換,分別以I (u, v), S (u, v), F (u, V)表示時(shí),從(公式5)能夠?qū)С鲆韵碌?公式8)。另外，(U，V)是頻域中的坐標(biāo)，分別與實(shí)圖像的X方向以及y方向的空間頻率對(duì)應(yīng)。(公式8)I(u, V) = S(u, v) · F (u, v)(式 8)在這里，記號(hào)“ · ”表示在頻域中的函數(shù)的“積”。變形(公式8)時(shí)，能得到以下的(公式9)。(公式9)
r" 、 UlL V)6 (W，V) 二 —__-(式 9)
F[li, V)該(公式9)表示由相機(jī)攝影而得到的圖像i (X，y)的傅立葉變換I (U，V)除以作為模糊函數(shù)PSF的f(x,y)的傅立葉變換F (u, V)所得到的函數(shù),相當(dāng)于全焦點(diǎn)圖像s(x,y)的傅立葉變換S (u，V)。根據(jù)以上，如果知道作為各像素的模糊函數(shù)PSF的f (X，y)，則能夠從攝影圖像i (X，y)求出全焦點(diǎn)圖像s(x, y)。于是，說(shuō)明各像素的模糊函數(shù)PSF的求出方法的一例。圖7表示透鏡的模式圖。設(shè)對(duì)離相機(jī)的距離為d的被攝體進(jìn)行拍攝時(shí)的模糊內(nèi)核的尺寸為B，到攝像面為止的距離為C。根據(jù)相機(jī)的設(shè)定條件，光圈的直徑(開口直徑)A和焦點(diǎn)距離f是已知的。此時(shí)，開口直徑A與焦點(diǎn)距離f的關(guān)系，以及模糊內(nèi)核B與到攝像面為止的距離C及焦點(diǎn)距離f的差的關(guān)系是相似的，所以能夠得到(公式10)。
(公式10)A B = f C-f(式 10)根據(jù)(公式10)，模糊內(nèi)核的尺寸B可以表示為(公式11)。(公式11)
權(quán)利要求
1.ー種三維圖像插補(bǔ)裝置，進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)，該三維圖像插補(bǔ)裝置具備 距離圖像插補(bǔ)部，生成在第一距離圖像和第二距離圖像之間進(jìn)行插補(bǔ)的至少ー張插補(bǔ)距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運(yùn)動(dòng)圖像中包含的第一圖像以及第ニ圖像的深度； 圖像插補(bǔ)部，生成在所述第一圖像和所述第二圖像之間進(jìn)行插補(bǔ)的至少ー張插補(bǔ)圖像；以及 插補(bǔ)視差圖像生成部，根據(jù)所述插補(bǔ)圖像，生成具有與所述插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的至少ー組插補(bǔ)視差圖像。
2.如權(quán)利要求I所述的三維圖像插補(bǔ)裝置， 所述三維圖像插補(bǔ)裝置，還具備 距離運(yùn)動(dòng)矢量算出部，根據(jù)所述第一距離圖像以及所述第二距離圖像算出運(yùn)動(dòng)矢量，以作為距離運(yùn)動(dòng)矢量； 圖像運(yùn)動(dòng)矢量算出部，根據(jù)所述第一圖像以及所述第二圖像算出運(yùn)動(dòng)矢量，以作為圖像運(yùn)動(dòng)矢量； 矢量相似度算出部，算出矢量相似度，該矢量相似度是表示所述圖像運(yùn)動(dòng)矢量和所述距離運(yùn)動(dòng)矢量的相似性的程度的值；以及 插補(bǔ)圖像數(shù)決定部，以被算出的所述矢量相似度越大則數(shù)量越多的方式，決定插補(bǔ)的上限數(shù)， 所述插補(bǔ)視差圖像生成部，生成被決定的所述上限數(shù)以下的數(shù)量的所述插補(bǔ)視差圖像。
3.如權(quán)利要求2所述的三維圖像插補(bǔ)裝置， 所述距離運(yùn)動(dòng)矢量算出部，按第一尺寸的每個(gè)塊算出所述距離運(yùn)動(dòng)矢量， 所述圖像運(yùn)動(dòng)矢量算出部，按所述第一尺寸的每個(gè)塊算出所述圖像運(yùn)動(dòng)矢量， 所述矢量相似度算出部， 按比所述第一尺寸大的第二尺寸的每個(gè)塊，生成所述距離運(yùn)動(dòng)矢量的方向以及強(qiáng)度中的至少一方的直方圖， 按所述第二尺寸的每個(gè)塊，生成所述圖像運(yùn)動(dòng)矢量的方向以及強(qiáng)度中的至少一方的直方圖， 根據(jù)所述距離運(yùn)動(dòng)矢量與所述圖像運(yùn)動(dòng)矢量的方向的直方圖之間的相似性以及所述距離運(yùn)動(dòng)矢量與所述圖像運(yùn)動(dòng)矢量的強(qiáng)度的直方圖之間的相似性中的至少一方，算出所述矢量相似度。
4.如權(quán)利要求2或者3所述的三維圖像插補(bǔ)裝置， 所述插補(bǔ)圖像數(shù)決定部，將由用戶輸入的所述上限數(shù)以下的數(shù)量決定為插補(bǔ)數(shù)， 所述插補(bǔ)視差圖像生成部，生成被決定的所述插補(bǔ)數(shù)的所述插補(bǔ)視差圖像。
5.如權(quán)利要求I至4的任一項(xiàng)所述的三維圖像插補(bǔ)裝置， 所述三維圖像插補(bǔ)裝置，還具備 距離圖像獲得部，根據(jù)第一攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得所述第一距離圖像，且根據(jù)時(shí)間上位于所述第一攝影圖像群的后邊的第二攝影圖像群中包含的焦點(diǎn)距離互不相同的多個(gè)攝影圖像間的模糊的相關(guān)性，獲得所述第二距離圖像。
6.如權(quán)利要求5所述的三維圖像插補(bǔ)裝置， 所述三維圖像插補(bǔ)裝置，還具備 紋理圖像獲得部，利用表示所述第一攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第一紋理圖像作為所述第一圖像來(lái)獲得，且利用表示所述第二攝影圖像群中包含的一個(gè)攝影圖像的模糊的特征的模糊信息，對(duì)該ー個(gè)攝影圖像進(jìn)行復(fù)原處理，從而將第二紋理圖像作為所述第二圖像來(lái)獲得。
7.如權(quán)利要求I至6的任一項(xiàng)所述的三維圖像插補(bǔ)裝置， 所述三維圖像插補(bǔ)裝置被構(gòu)成為集成電路。
8.—種三維攝像裝置，具備 攝像部；以及 權(quán)利要求I至7的任一項(xiàng)所述的三維圖像插補(bǔ)裝置。
9.ー種三維圖像插補(bǔ)方法，進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)，該三維圖像插補(bǔ)方法包括 距離圖像插補(bǔ)步驟，生成在第一距離圖像和第二距離圖像之間進(jìn)行插補(bǔ)的至少ー張插補(bǔ)距離圖像，所述第一距離圖像和所述第二距離圖像分別表示所述三維運(yùn)動(dòng)圖像中包含的第一圖像以及第ニ圖像的深度； 圖像插補(bǔ)步驟，生成在所述第一圖像和所述第二圖像之間進(jìn)行插補(bǔ)的至少ー張插補(bǔ)圖像；以及 插補(bǔ)視差圖像生成步驟，根據(jù)所述插補(bǔ)圖像，生成具有與所述插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的至少ー組插補(bǔ)視差圖像。
10.ー種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求9所述的三維圖像插補(bǔ)方法。
全文摘要
進(jìn)行三維運(yùn)動(dòng)圖像的幀插補(bǔ)的三維圖像插補(bǔ)裝置，具備距離圖像插補(bǔ)部(501)，生成在第一距離圖像和第二距離圖像之間進(jìn)行插補(bǔ)的至少1張插補(bǔ)距離圖像，所述第一距離圖像和所述第二距離圖像分別表示三維運(yùn)動(dòng)圖像中包含的第一圖像以及第二圖像的深度；圖像插補(bǔ)部(502)，生成在第一圖像和第二圖像進(jìn)行之間插補(bǔ)的至少1張插補(bǔ)圖像；以及插補(bǔ)視差圖像生成部(503)，根據(jù)插補(bǔ)圖像，生成具有與插補(bǔ)距離圖像表示的深度對(duì)應(yīng)的視差的至少1組插補(bǔ)視差圖像。
文檔編號(hào)G06T7/20GK102687515SQ20118000512
公開日2012年9月19日 申請(qǐng)日期2011年10月26日 優(yōu)先權(quán)日2010年10月27日
發(fā)明者石井育規(guī) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社