本技術(shù)涉及一種成像裝置、圖像處理裝置以及圖像處理方法，并且能夠生成抑制圖像質(zhì)量和亮度劣化的圖像和具有高精度的深度圖。

背景技術(shù)：

近年來(lái)，由于3d打印機(jī)的價(jià)格降低和其他原因，期望容易獲取三維形狀的手段。

獲取對(duì)象的三維形狀的手段包括主動(dòng)(active)方法和被動(dòng)(passive)方法。主動(dòng)方法例如用光照射對(duì)象，并且基于來(lái)自對(duì)象的反射光而獲取三維形狀。從功耗或部件成本的角度來(lái)看，這不是容易的方法。與主動(dòng)方法相反，被動(dòng)方法在不用光照射對(duì)象的情況下獲取三維形狀。相比于主動(dòng)方法，這是更容易的方法。例如，被動(dòng)方法包括通過(guò)使用立體攝像裝置來(lái)得到圖像之間的對(duì)應(yīng)關(guān)系而生成深度圖的方法，以及通過(guò)獲取多個(gè)方向的偏振圖像來(lái)生成法線貼圖(normalmap)的方法。

在被動(dòng)方法中，已知的缺點(diǎn)是使用立體攝像裝置的方法不能獲取對(duì)象的平坦部分的深度。同時(shí)，在使用多個(gè)方向的偏振圖像的方法中，已知可以獲取對(duì)象的相對(duì)表面形狀，但不能獲取絕對(duì)距離。此外，在使用多個(gè)方向的偏振圖像的方法中，已知對(duì)象的法線的方位角具有180度的模糊度。因此，在專利文獻(xiàn)1中，通過(guò)在安裝到立體攝像裝置的各個(gè)攝像裝置的固態(tài)成像元件的每個(gè)像素處布置具有不同偏振方向的起偏器，可以同時(shí)執(zhí)行通過(guò)立體攝像裝置獲取深度圖并且通過(guò)偏振成像獲取法線貼圖。此外，專利文獻(xiàn)1描述了參照深度圖使得能夠解決法線貼圖的180度的模糊度以及使得能夠獲取絕對(duì)距離。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：國(guó)際公開(kāi)第2009-147814號(hào)

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問(wèn)題

同時(shí)，在布置在固態(tài)成像元件的每個(gè)像素處的起偏器中存在四個(gè)偏振方向的情況下，特定方向的偏振圖像的像素?cái)?shù)減少到原始固態(tài)成像元件的像素?cái)?shù)的四分之一，因此圖像質(zhì)量不利地劣化。此外，由于起偏器附接至每個(gè)像素，所以到達(dá)固態(tài)成像元件的光量減小，因此獲取的圖像變暗，但是仍可以執(zhí)行測(cè)距。

因此，本技術(shù)的目的在于提供一種能夠生成圖像質(zhì)量和亮度不會(huì)劣化的圖像以及具有高精度的深度圖的成像裝置、圖像處理裝置和圖像處理方法。

問(wèn)題的解決方案

本技術(shù)的第一方面是一種成像裝置，包括：第一成像單元和第二成像單元，第一成像單元和第二成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素；以及第三成像單元，第三成像單元包括不具有偏振特性的像素并且置于第一成像單元和第二成像單元之間。

在本技術(shù)中，第一成像單元和第二成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，以及第三成像單元包括不具有偏振特性的像素并且置于第一成像單元和第二成像單元之間。第一成像單元、第二成像單元以及第三成像單元在豎直方向和水平方向上匹配。第三成像單元的光軸位置位于連接第一成像單元和第二成像單元的光軸位置的線上。此外，例如，第一成像單元、第二成像單元以及第三成像單元被設(shè)置成使得其入射光瞳位于與其光軸方向垂直的同一條線上。

在將第一成像單元和第二成像單元設(shè)置于適配器的情況下，進(jìn)一步將位置調(diào)節(jié)機(jī)構(gòu)設(shè)置于適配器和第三成像單元之一，適配器例如以可附接且可拆卸的方式附接至第三成像單元，位置調(diào)節(jié)機(jī)構(gòu)用于使第一成像單元和第二成像單元的豎直方向和水平方向與第三成像單元的豎直方向和水平方向匹配。還包括通信單元，使得第一成像單元和第二成像單元能夠與使用第一圖像和第二圖像的主體單元進(jìn)行通信。此外，第三成像單元具有比第一成像單元和第二成像單元的像素更多的像素。

本技術(shù)的第二方面是一種圖像處理裝置，包括：

圖整合(integrating)單元，用于生成通過(guò)對(duì)深度圖和法線貼圖進(jìn)行整合處理而獲得的整合深度圖，其中，該深度圖是使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像而生成的，該法線貼圖基于由第一成像單元生成的第一圖像的偏振狀態(tài)，第一成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，第二成像單元具有等同于第一成像單元的配置的配置；以及

視點(diǎn)轉(zhuǎn)換單元，用于將由圖整合單元所生成的整合深度圖轉(zhuǎn)換為第三成像單元的視點(diǎn)的圖，第三成像單元置于第一成像單元和第二成像單元之間并且包括不具有偏振特性的像素。

此外，第三方面是一種圖像處理裝置，包括：

深度圖生成單元，用于通過(guò)使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像來(lái)執(zhí)行匹配處理，生成第一成像單元的視點(diǎn)的深度圖，第一成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，第二成像單元具有等同于第一成像單元的配置的配置；

法線貼圖生成單元，用于基于由第一成像單元生成的第一圖像的偏振狀態(tài)而生成法線貼圖；

圖整合單元，用于通過(guò)對(duì)由深度圖生成單元所生成的深度圖和由法線貼圖生成單元所生成的法線貼圖進(jìn)行整合處理而生成整合圖；以及

視點(diǎn)轉(zhuǎn)換單元，用于將由圖整合單元生成的整合圖或者由深度圖生成單元所生成的深度圖和由法線貼圖生成單元所生成的法線貼圖轉(zhuǎn)換為第三成像單元的視點(diǎn)的圖，第三成像單元置于第一成像單元和第二成像單元之間并且包括不具有偏振特性的像素。

在本技術(shù)中，使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像來(lái)執(zhí)行匹配處理，由此生成第一成像單元的視點(diǎn)的深度圖，其中，第一成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，第二成像單元具有等同于第一成像單元的配置的配置。此外，基于由第一成像單元生成的第一圖像的偏振狀態(tài)(例如基于具有三個(gè)或更多個(gè)偏振方向的第一圖像的亮度)而生成法線貼圖。

對(duì)由深度圖生成單元生成的深度圖和由法線貼圖生成單元生成的法線貼圖進(jìn)行整合處理，以根據(jù)深度圖中表示的深度值和基于法線貼圖而確定的對(duì)象的表面形狀來(lái)計(jì)算深度圖中未表示的深度值。因此，生成精度高于或等于由深度圖生成單元生成的深度圖的精度的深度圖。

此外，執(zhí)行視點(diǎn)轉(zhuǎn)換處理以將由圖整合單元生成的深度圖或者由深度圖生成單元生成的深度圖和由法線貼圖生成單元生成的法線貼圖轉(zhuǎn)換為第三成像單元的視點(diǎn)的圖，從而生成第三成像單元的視點(diǎn)的、具有高精度的深度圖，其中，第三成像單元包括不具有偏振特性的像素。

還包括用于將深度圖轉(zhuǎn)換為具有大量像素的圖的圖轉(zhuǎn)換單元。在第三成像單元具有比第一成像單元和第二成像單元的像素更多的像素的情況下，圖轉(zhuǎn)換單元在整合處理之后將第三成像單元的視點(diǎn)的深度圖轉(zhuǎn)換為與由第三成像單元生成的圖像的分辨率對(duì)應(yīng)的深度圖。此外，在第一圖像和第二圖像是彩色的情況下，從第一圖像分離或提取反射分量，并且基于分離或提取后的圖像的偏振狀態(tài)而生成法線貼圖?？商孢x地，第一圖像和第二圖像可以是黑白的。

本技術(shù)的第四方面是一種圖像處理方法，包括以下步驟：

由圖整合單元生成通過(guò)對(duì)深度圖和法線貼圖進(jìn)行整合處理而獲得的整合深度圖，其中，該深度圖是使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像而生成的，該法線貼圖基于由第一成像單元生成的第一圖像的偏振狀態(tài)，第一成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，第二成像單元具有等同于第一成像單元的配置的配置；以及

由視點(diǎn)轉(zhuǎn)換單元將所生成的整合深度圖轉(zhuǎn)換為第三成像單元的視點(diǎn)的圖，第三成像單元置于第一成像單元和第二成像單元之間并且包括不具有偏振特性的像素。

本發(fā)明的效果

根據(jù)本技術(shù)，包括：包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素的第一成像單元和第二成像單元；以及包括不具有偏振特性的像素并且置于第一成像單元和第二成像單元之間的第三成像單元。此外，通過(guò)使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像進(jìn)行匹配處理，生成第一成像單元的視點(diǎn)的深度圖，其中，第二成像單元具有等同于第一成像單元的配置的配置。此外，基于由第一成像單元生成的第一圖像的偏振狀態(tài)而生成法線貼圖。然后，通過(guò)對(duì)所生成的深度圖和法線貼圖進(jìn)行整合處理來(lái)生成高精度的深度圖。此后，將整合處理之后的深度圖或者整合處理之前的深度圖和法線貼圖轉(zhuǎn)換為第三成像單元的視點(diǎn)的圖，其中，第三成像單元置于第一成像單元和第二成像單元之間。因此，可以生成圖像質(zhì)量和亮度不會(huì)劣化的圖像以及與該圖像對(duì)應(yīng)的高精度深度圖。注意，本文描述的效果僅僅是示例，因此不是限制性的。另外，還可以包括附加的效果。

附圖說(shuō)明

圖1是示出成像裝置的配置的框圖。

圖2是示出第一成像單元、第二成像單元以及第三成像單元之間的位置關(guān)系的圖。

圖3是用于說(shuō)明第三成像單元置于第一成像單元與第二成像單元之間的情況與第三成像單元設(shè)置在外側(cè)的情況之間的差別的圖。

圖4是示意性地示出第一成像單元、第二成像單元以及第三成像單元的理想布置的圖。

圖5是用于說(shuō)明第一成像單元、第二成像單元以及第三成像單元的光軸方向不同的情況的圖。

圖6是例示使用在其透鏡單元處包括光闌的成像單元的情況下的布置的圖。

圖7是例示第一成像單元、第二成像單元以及第三成像單元的具體布置的圖。

圖8是例示第一成像單元、第二成像單元以及第三成像單元的其他具體布置的圖。

圖9是示出第一成像單元和第二成像單元經(jīng)由適配器附接至第三成像單元的透鏡單元的情況的圖。

圖10是例示在第一成像單元和第二成像單元中使用的起偏器的配置的圖。

圖11是例示在第三成像單元中使用的濾色器的像素布置的圖。

圖12是示出圖像處理單元的第一實(shí)施方式的配置的圖。

圖13是用于說(shuō)明到對(duì)象的距離的計(jì)算的圖。

圖14是用于說(shuō)明偏振圖像的亮度變化的圖。

圖15是例示亮度與偏振角之間的關(guān)系(在漫反射的情況下)的圖。

圖16是例示偏振度與天頂角之間的關(guān)系(在漫反射的情況下)的圖。

圖17是用于說(shuō)明對(duì)圖的整合處理的圖。

圖18是用于說(shuō)明視點(diǎn)轉(zhuǎn)換的圖。

圖19是示出第一實(shí)施方式的處理操作的流程圖。

圖20是示出生成深度圖的操作的流程圖。

圖21是示出圖像處理單元的第二實(shí)施方式的配置的圖。

圖22是示出第二實(shí)施方式的操作的流程圖。

圖23是示出圖像處理單元的第三實(shí)施方式的配置的圖。

圖24是示出成像單元與法向矢量的坐標(biāo)系之間的關(guān)系的圖。

圖25是示出第三實(shí)施方式的操作的流程圖。

圖26是例示第一成像單元和第二成像單元的另外的配置的圖。

圖27是用于說(shuō)明色度計(jì)算的圖。

圖28是用于說(shuō)明使用hsv空間去除鏡面反射分量的處理的圖。

圖29是示出亮度與偏振角之間的關(guān)系(在鏡面反射的情況下)的圖。

圖30是示出偏振度與天頂角之間的關(guān)系(在漫反射的情況下)的圖。

圖31是例示車輛控制系統(tǒng)的示意性配置的框圖。

圖32是示出成像裝置的安裝的示例的圖。

具體實(shí)施方式

下面將描述實(shí)現(xiàn)本技術(shù)的實(shí)施方式。注意，將以下面的順序給出說(shuō)明。

1.關(guān)于成像裝置

2.成像單元的布置和配置

3.圖像處理單元的配置和操作

3-1.第一實(shí)施方式的配置和操作

3-2.第二實(shí)施方式的配置和操作

3-3.第三實(shí)施方式的配置和操作

4.成像單元和圖像處理單元的其他實(shí)施方式

5.示例性應(yīng)用

<1.關(guān)于成像裝置>

圖1是示出本技術(shù)的成像裝置的配置的框圖。成像裝置10包括第一成像單元21、第二成像單元22、第三成像單元23以及圖像處理單元50。第一成像單元21和第二成像單元22包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，生成偏振圖像的圖像信號(hào)，并且將其輸出至圖像處理單元50。第三成像單元23包括不具有偏振特性的像素，生成非偏振圖像的圖像信號(hào)，并且將其輸出至圖像處理單元50。圖像處理單元50根據(jù)由第一成像單元21和第二成像單元22生成的偏振圖像而生成深度圖。圖像處理單元50進(jìn)一步將所生成的深度圖轉(zhuǎn)換為與由第三成像單元23生成的非偏振圖像對(duì)應(yīng)的深度圖。圖像處理單元50可以與第一成像單元21、第二成像單元22以及第三成像單元23一體地設(shè)置，或者可替選地，可以與第一成像單元21、第二成像單元22以及第三成像單元23分開(kāi)設(shè)置。

<2.成像單元的布置和配置>

圖2是示出第一成像單元、第二成像單元以及第三成像單元之間的位置關(guān)系的圖。注意，圖2的(a)是示出從上側(cè)方向觀看的視圖，并且圖2的(b)的是示出從正面方向觀看的視圖。

沒(méi)有布置起偏器的第三成像單元23置于布置有起偏器的第一成像單元21和第二成像單元23之間。第一成像單元21、第二成像單元22以及第三成像單元23在豎直方向和水平方向上是匹配的。例如，第三成像單元的光軸位置位于連接第一成像單元和第二成像單元的光軸位置的線上。

圖3是用于說(shuō)明第三成像單元置于第一成像單元與第二成像單元之間的情況與第三成像單元設(shè)置在外側(cè)的情況之間的差別的圖。當(dāng)如圖3的(a)所示的那樣，第三成像單元23相對(duì)于第一成像單元21和第二成像單元22設(shè)置在外側(cè)時(shí)，可以由第三成像單元23進(jìn)行成像的區(qū)域ar3對(duì)應(yīng)于第一成像單元21和第二成像單元22的捕獲圖像中的對(duì)象m的陰影。因此，在如稍后描述的那樣執(zhí)行如下視點(diǎn)轉(zhuǎn)換時(shí)，區(qū)域ar3的深度值變?yōu)闊o(wú)效：該視點(diǎn)轉(zhuǎn)換將來(lái)自第一成像單元21的視點(diǎn)的深度圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的深度圖。然而，當(dāng)如圖3的(b)所示的那樣，第三成像單元23置于第一成像單元21和第二成像單元22之間時(shí)，可以由第三成像單元23進(jìn)行成像的區(qū)域可以由第一成像單元21和第二成像單元22中之一進(jìn)行成像。因此，第一成像單元21和第二成像單元21的視角和其他參數(shù)被設(shè)置成使得：當(dāng)由第三成像單元23對(duì)期望的對(duì)象進(jìn)行成像時(shí)，第三成像單元23的成像范圍可以由第一成像單元21和第二成像單元22中之一進(jìn)行成像。以這樣的方式來(lái)布置第一成像單元、第二成像單元以及第三成像單元，使得能夠根據(jù)由第一成像單元21或第二成像單元生成的偏振圖像來(lái)計(jì)算由第三成像單元23所成像的區(qū)域的深度值。因此，如稍后描述的那樣，可以以更高的精度生成期望對(duì)象的深度圖。此外，通過(guò)將第三成像單元置于第一成像單元和第二成像單元之間，可以將遮蔽(occlusion)的發(fā)生抑制到最小程度。

圖4是示意性地示出第一成像單元、第二成像單元以及第三成像單元的理想布置的圖。注意，為了簡(jiǎn)化描述，假設(shè)成像單元是針孔攝像裝置。此外，通過(guò)針孔并且垂直于固態(tài)成像元件的成像表面的軸被認(rèn)為是成像單元的光軸。

優(yōu)選的是，第一成像單元21、第二成像單元22以及第三成像單元23被布置成使得成像單元的中心位置(針孔位置)在垂直于各個(gè)成像單元的光軸的同一直線上對(duì)準(zhǔn)。

此外，如果成像單元的中心位置布置在同一直線上，即使在第一成像單元、第二成像單元以及第三成像單元的光軸方向不同時(shí)，也可以生成與光軸方向相互匹配的情況下的圖像等效的圖像。在圖5的(a)中，例示了第一成像單元、第二成像單元以及第三成像單元的光軸方向不同的情況。在這種情況下，將第一成像單元21的光軸方向與第三成像單元23的光軸方向之間的角度差用作旋轉(zhuǎn)角度，并且將第一成像單元21的中心位置用作參考，來(lái)執(zhí)行幾何轉(zhuǎn)換。進(jìn)一步地，將第二成像單元21的光軸方向和第三成像單元23的光軸方向之間的角度差用作旋轉(zhuǎn)角度，并且將第二成像單元21的中心位置用作參考，來(lái)執(zhí)行幾何轉(zhuǎn)換。通過(guò)執(zhí)行這樣的處理，如圖5的(b)所示的那樣，實(shí)現(xiàn)到在下述狀態(tài)下所捕獲的圖像的轉(zhuǎn)換：在該狀態(tài)下，第一成像單元21、第二成像單元22以及第三成像單元23的光軸平行，并且各個(gè)成像單元的中心位置在垂直于光軸的同一直線上對(duì)準(zhǔn)。

圖6是例示使用在其透鏡單元處包括光闌的成像單元的情況下的布置的圖。在圖6的(a)中，透鏡單元201設(shè)置有光闌202，并且光闌202的入射側(cè)形成入射光瞳。在第一成像單元21、第二成像單元22以及第三成像單元23中包括這樣的透鏡單元的情況下，第一成像單元21、第二成像單元22以及第三成像單元23被布置成使得入射光瞳的位置彼此匹配，如圖6的(b)所示的那樣。

圖7是例示第一成像單元、第二成像單元以及第三成像單元的具體布置的圖。第三成像單元23由透鏡單元231、固態(tài)成像元件(未示出)以及其它部件構(gòu)成。透鏡單元231的前表面的左側(cè)(右側(cè))設(shè)置有第一成像單元21，而前表面的右側(cè)(左側(cè))設(shè)置有第二成像單元22。通過(guò)這種方式，將成像單元設(shè)置在透鏡單元231的前表面的右側(cè)和左側(cè)，得到圖2所示的第一成像單元、第二成像單元以及第三成像單元的位置關(guān)系。

圖8是例示第一成像單元、第二成像單元以及第三成像單元的其他具體布置的圖。第三成像單元23由透鏡單元231、固態(tài)成像元件(未示出)以及其它部件構(gòu)成。在該示例中，適配器31可附接至透鏡單元231并且可從透鏡單元231拆卸，并且第一成像單元21和第二成像單元22以突出的方式設(shè)置于適配器31的側(cè)面。此外，第一成像單元21和第二成像單元22被布置成使得當(dāng)適配器31安裝到透鏡單元231時(shí)，第一成像單元、第二成像單元以及第三成像單元具有圖2所示的位置關(guān)系。

適配器31由例如用于將透鏡單元231固定到適配器31的固定環(huán)和相對(duì)于固定環(huán)在固定環(huán)的圓周方向上以可旋轉(zhuǎn)方式保持的可移動(dòng)環(huán)構(gòu)成?？梢苿?dòng)環(huán)在基于可移動(dòng)環(huán)的旋轉(zhuǎn)軸線的對(duì)角位置處，固定有第一成像單元21和第二成像單元22。

圖9是示出第一成像單元和第二成像單元經(jīng)由適配器附接至第三成像單元的透鏡單元的情況的圖。在對(duì)透鏡單元231進(jìn)行操作的情況下，當(dāng)附接至透鏡單元231的適配器31繞透鏡單元231的光軸旋轉(zhuǎn)時(shí)，第一成像單元21和第二成像單元22的豎直方向和水平方向可以不同于第三成像單元23的豎直方向和水平方向，如圖9的(a)所示的那樣。因此，由第一成像單元21和第二成像單元22生成的圖像可能不利地相對(duì)于由第三成像單元23生成的圖像傾斜。因此，如圖9的(b)所示，例如，將位置調(diào)節(jié)機(jī)構(gòu)33設(shè)置于適配器31，并且使可移動(dòng)環(huán)旋轉(zhuǎn)，以使得即使在適配器31旋轉(zhuǎn)時(shí)，也能保持第一成像單元21和第二成像單元22的豎直方向和水平方向與第三成像單元23的豎直方向和水平方向匹配的狀態(tài)。位置調(diào)節(jié)機(jī)構(gòu)33包括例如如下部件：在固定環(huán)的圓周方向上驅(qū)動(dòng)可移動(dòng)環(huán)的驅(qū)動(dòng)單元；檢測(cè)透鏡單元231與可移動(dòng)環(huán)之間的位置關(guān)系的位置檢測(cè)傳感器；以及其他部件。驅(qū)動(dòng)單元基于位置檢測(cè)傳感器的檢測(cè)結(jié)果而驅(qū)動(dòng)可移動(dòng)環(huán)，以維持第一成像單元21和第二成像單元22的豎直方向和水平方向與第三成像單元23的豎直方向和水平方向匹配的狀態(tài)。使用這種適配器使得第三成像單元能夠使用現(xiàn)有的透鏡。

如圖8所示，設(shè)置有第一成像單元21和第二成像單元22的適配器31還設(shè)置有通信單元35，該通信單元35執(zhí)行第一成像單元21和第二成像單元22與主體單元之間的通信，該主體單元使用由第一成像單元生成的圖像和由第二成像單元生成的圖像。通信單元35與例如包括在主體單元40中的通信單元45進(jìn)行通信，并且將由第一成像單元21和第二成像單元22生成的偏振圖像的圖像信號(hào)提供給包括在主體單元40中的圖像處理單元。注意，通信單元45可以包括在第三成像單元23中，而不限于包括在主體單元40中。在這種情況下，第一成像單元21和第二成像單元22經(jīng)由第三成像單元23與圖像處理單元進(jìn)行通信。此外，不必限制通信單元35和通信單元45的通信方法，并且可以是符合wi-fi標(biāo)準(zhǔn)、藍(lán)牙(注冊(cè)商標(biāo))標(biāo)準(zhǔn)或其他標(biāo)準(zhǔn)的任何通信方法。

接下來(lái)，將描述第一成像單元、第二成像單元以及第三成像單元的配置。第一成像單元、第二成像單元以及第三成像單元由諸如互補(bǔ)金屬氧化物半導(dǎo)體(cmos)或電荷耦合器件(ccd)的固態(tài)成像元件構(gòu)成。第一成像單元和第二成像單元還包括起偏器。如稍后描述的，包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，以使得能夠根據(jù)偏振圖像計(jì)算表示偏振方向和亮度變化之間的關(guān)系的偏振模型公式。

圖10是例示在第一成像單元和第二成像單元中使用的起偏器的配置的圖。在第一成像單元21中使用的起偏器211和在第二成像單元22中使用的起偏器221被配置為使得可以在2×2像素的單位區(qū)域中獲得四個(gè)不同的偏振方向的像素值。注意，在圖10中，偏振方向由陰影線的方向表示。在第一成像單元和第二成像單元中使用的固態(tài)成像元件沒(méi)有設(shè)置濾色器，因此第一成像單元和第二成像單元生成非彩色的偏振圖像(黑白偏振圖像)的圖像信號(hào)，并且將其輸出至圖像處理單元50。

圖11是例示在第三成像單元中使用的濾色器的像素布置的圖。在第三成像單元中使用的固態(tài)成像元件設(shè)置有濾色器235。例如，將紅色像素(r)、綠色像素(g)以及藍(lán)色像素(b)布置成拜耳(bayer)陣列。第三成像單元生成三原色的非偏振圖像的圖像信號(hào)，并且將其輸出至圖像處理單元50。此外，第三成像單元的像素?cái)?shù)可以與第一成像單元和第二成像單元的像素?cái)?shù)相等，或者可以高于第一成像單元和第二成像單元的像素?cái)?shù)。

<3.圖像處理單元的配置和操作>

圖像處理單元執(zhí)行根據(jù)由第一成像單元和第二成像單元生成的偏振圖像而生成深度圖的處理。圖像處理單元進(jìn)一步執(zhí)行將所生成的深度圖轉(zhuǎn)換成與由第三成像單元生成的非偏振圖像對(duì)應(yīng)的深度圖的處理。

<3.1第一實(shí)施方式的配置和操作>

圖12是示出圖像處理單元的第一實(shí)施方式的配置的圖。成像裝置10的圖像處理單元50包括深度圖生成單元51、法線貼圖生成單元52、圖整合單元55以及整合圖視點(diǎn)轉(zhuǎn)換單元56。

深度圖生成單元51基于由第一成像單元21生成的偏振圖像和由具有與第一成像單元21的視點(diǎn)位置不同的視點(diǎn)位置的第二成像單元22生成的偏振圖像而執(zhí)行立體匹配處理，從而生成存儲(chǔ)了針對(duì)每個(gè)像素的深度值的深度圖。深度圖生成單元51將所生成的深度圖輸出至圖整合單元55。

深度圖生成單元51根據(jù)從第一成像單元21和第二成像單元22提供的偏振圖像中的每個(gè)，生成用于匹配處理的匹配圖像。如上所述，從第一成像單元21和第二成像單元22提供的偏振圖像具有多個(gè)偏振方向，因此在同一位置處的對(duì)象的圖像可以具有不同的偏振方向。因此，深度圖生成單元51生成匹配圖像，使得可以在不受偏振方向的差異影響的情況下執(zhí)行匹配處理。例如，深度圖生成單元51對(duì)從第一成像單元21和第二成像單元22提供的偏振圖像中的每個(gè)進(jìn)行濾波處理，并且生成非偏振圖像。在使用圖10所示的起偏器的情況下，深度圖生成單元51對(duì)2像素×2像素進(jìn)行平均濾波處理，計(jì)算四個(gè)偏振方向的像素值的平均值，從而生成非偏振圖像的像素值。深度圖生成單元51使用通過(guò)對(duì)從第一成像單元21和第二成像單元22提供的偏振圖像進(jìn)行濾波處理而獲得的非偏振圖像作為匹配圖像?？商孢x地，深度圖生成單元51可以對(duì)通過(guò)對(duì)從第一成像單元21和第二成像單元22提供的偏振圖像進(jìn)行濾波處理而獲得的非偏振圖像執(zhí)行邊緣提取處理，并且使用所獲得的每個(gè)經(jīng)邊緣提取的圖像作為匹配圖像。在使用這樣的經(jīng)邊緣提取的圖像作為匹配圖像的情況下，深度圖生成單元51可以在不受亮度水平的差異影響的情況下執(zhí)行匹配處理。

深度圖生成單元51進(jìn)一步使用匹配圖像執(zhí)行匹配處理。作為匹配方法，可以使用任何方法，諸如基于區(qū)域的匹配、基于特征的匹配或模板匹配。深度圖生成單元51執(zhí)行匹配處理，并且基于相應(yīng)的像素位置的移位量而計(jì)算從每個(gè)像素位置到對(duì)象的距離(以下稱為“深度值”)。圖13是用于說(shuō)明到對(duì)象的距離的計(jì)算的圖。注意，圖13是例示第一成像單元21和第二成像單元22以相同姿態(tài)布置左側(cè)和右側(cè)的情況的圖。這里，左側(cè)的成像單元被視為基準(zhǔn)成像單元，而右側(cè)的成像單元被視為參考成像單元。此外，成像單元的基部位置之間的間隔(基礎(chǔ)長(zhǎng)度)被表示為“l(fā)b”，并且成像單元的焦距被表示為“f”。在這種情況下，當(dāng)參考成像單元中的對(duì)象的位置xr相對(duì)于基準(zhǔn)成像單元中的對(duì)象的位置xl移位“l(fā)d”時(shí)，可以基于數(shù)學(xué)式(1)而計(jì)算到對(duì)象的距離“zp”。

[數(shù)學(xué)式1]

深度圖生成單元51通過(guò)將針對(duì)捕獲圖像所計(jì)算出的距離(深度值)與該捕獲圖像的像素相關(guān)聯(lián)來(lái)生成深度圖，其中該捕獲圖像的法線貼圖由法線貼圖生成單元52生成。例如，在法線貼圖生成單元52使用由第一成像單元21生成的偏振圖像來(lái)生成法線貼圖的情況下，深度圖生成單元51生成來(lái)自第一成像單元21的視點(diǎn)的深度圖，并且將其輸出至圖整合單元55。

法線貼圖生成單元52根據(jù)具有不同偏振方向的多個(gè)方向的偏振圖像生成法線貼圖。注意，法線貼圖的法線信息是如下信息：根據(jù)該信息，可以通過(guò)對(duì)法線信息進(jìn)行整合來(lái)獲取對(duì)象的表面形狀。對(duì)象的表面形狀包括相對(duì)值，但不包括與到對(duì)象的距離有關(guān)的信息。

法線貼圖生成單元52基于從第一成像單元21提供的具有多個(gè)偏振方向的偏振圖像而生成法線貼圖。圖14是用于說(shuō)明偏振圖像的亮度變化的圖。如圖14所示，使用光源lt照射對(duì)象ob，并且由成像單元cm、經(jīng)由偏振板pl對(duì)對(duì)象ob進(jìn)行成像。在這種情況下，已知在由成像單元cm生成的偏振圖像中，對(duì)象ob的亮度根據(jù)偏振板pl的旋轉(zhuǎn)而變化。這里，將在偏振板pl旋轉(zhuǎn)時(shí)的最高亮度表示為“idmax”，而將最低亮度表示為“idmin”。此外，假設(shè)在二維坐標(biāo)中的x軸和y軸作為偏振板pl的平面方向，在偏振板pl旋轉(zhuǎn)時(shí)，相對(duì)于xy平面上的x軸的角度被稱為偏振角υpol。偏振板pl的周期為180度，因此當(dāng)旋轉(zhuǎn)了180度時(shí)，其返回到原始偏振狀態(tài)。

圖15是例示亮度與偏振角之間的關(guān)系(在漫反射的情況下)的圖。將觀察到最大亮度idmax時(shí)的偏振角υpol定義為方位角φd。當(dāng)進(jìn)行這樣的定義時(shí)，表示在偏振板pl旋轉(zhuǎn)時(shí)觀察到的亮度idpol的變化(即，由于偏振角的差異而發(fā)生的預(yù)定亮度變化)的偏振模型公式可以表示為數(shù)學(xué)式(2)。

[數(shù)學(xué)式2]

在數(shù)學(xué)式(2)中，在生成偏振圖像時(shí)，偏振角υpol是明確的。最大亮度idmax、最小亮度dimin和方位角φd是變量。因此，由于存在三個(gè)變量，所以法線貼圖生成單元52使用具有三個(gè)或更多個(gè)偏振方向的偏振圖像的亮度來(lái)對(duì)由數(shù)學(xué)式(2)表示的函數(shù)進(jìn)行擬合，從而基于表示亮度和偏振角之間的關(guān)系的偏振模型公式而確定亮度變?yōu)樽畲髸r(shí)的方位角φd。

此外，以極坐標(biāo)系來(lái)表示對(duì)象表面法線。法線信息包括方位角φd和天頂角θd。注意，天頂角θd是從z軸朝向法線形成的角，并且方位角φd是在y軸方向上相對(duì)于x軸形成的角。這里，通過(guò)還使用通過(guò)使偏振板pl旋轉(zhuǎn)而獲得的最小亮度idmin和最大亮度idmax進(jìn)行數(shù)學(xué)式(3)的計(jì)算，計(jì)算偏振度ρd。

[數(shù)學(xué)式3]

根據(jù)菲涅爾(fresnel)公式，已知偏振度與天頂角之間的關(guān)系(在漫反射的情況下)具有例如圖16所示的特性。根據(jù)圖16所示的特性，可以基于偏振度ρd而確定天頂角θd。注意，圖16所示的特性是示例，并且特性根據(jù)對(duì)象的折射率而變化。

法線貼圖生成單元52基于具有三個(gè)或更多個(gè)偏振方向的偏振圖像，根據(jù)該偏振圖像的偏振方向和亮度，獲得亮度與偏振角之間的關(guān)系，從而確定亮度變?yōu)樽畲髸r(shí)的方位角φd。法線貼圖生成單元52進(jìn)一步使用根據(jù)亮度與偏振角之間的關(guān)系而獲得的最大亮度和最小亮度來(lái)計(jì)算偏振度ρd，并且基于表示偏振度與天頂角之間的關(guān)系的特性曲線來(lái)確定與所計(jì)算出的偏振度ρd對(duì)應(yīng)的天頂角θd。通過(guò)這種方式，法線貼圖生成單元52通過(guò)基于具有三個(gè)或更多個(gè)偏振方向的偏振圖像，針對(duì)每個(gè)像素位置獲得對(duì)象的法線信息(方位角φd和天頂角θd)來(lái)生成法線貼圖。法線貼圖生成單元52將所生成的法線貼圖輸出至圖整合單元55。

此外，第一成像單元和第二成像單元被配置為使得可以在沒(méi)有濾色器的情況下，在2×2像素的單位區(qū)域中獲得四個(gè)不同偏振方向的像素值，因此生成非彩色的偏振圖像。因此，相比于設(shè)置濾色器的情況，可以獲得具有高空間分辨率和較高靈敏度的偏振圖像，并且可以將具有更高精度的法線貼圖輸出到圖整合單元55。注意，法線貼圖是使用由圖12中的第一成像單元21生成的偏振圖像而生成的；然而，法線貼圖可以使用由第二成像單元21生成的偏振圖像來(lái)生成。在這種情況下，如上所述的那樣，深度圖生成單元51生成來(lái)自第二成像單元22的視點(diǎn)的深度圖，并且將其輸出至圖整合單元55。

圖整合單元55對(duì)由深度圖生成單元51生成的深度圖和由法線貼圖生成單元52生成的法線貼圖進(jìn)行整合處理，并且生成精度高于或等于由深度圖生成單元51生成的深度圖的精度的深度圖。例如，在沒(méi)有在深度圖中獲取到深度值的情況下，圖整合單元55基于在法線貼圖中表示的對(duì)象的表面形狀和在深度圖中表示的深度值，使用獲得其深度值的像素作為起點(diǎn)，來(lái)追蹤(trace)對(duì)象的表面形狀。圖整合單元55通過(guò)追蹤表面形狀來(lái)計(jì)算與未獲得其深度值的像素對(duì)應(yīng)的深度值。此外，圖整合單元55通過(guò)將估計(jì)的深度值包括在從深度圖生成單元51提供的深度圖中，生成精度高于或等于從深度圖生成單元51提供的深度圖的精度的深度圖。圖整合單元55將整合處理之后的深度圖輸出至整合圖視點(diǎn)轉(zhuǎn)換單元56。

圖17是用于說(shuō)明對(duì)圖的整合處理的圖。注意，為了簡(jiǎn)化描述，例如，將描述對(duì)一條線的整合處理。假設(shè)：如圖17的(a)所示的那樣，由第一成像單元21和第二成像單元22對(duì)對(duì)象ob進(jìn)行成像，由深度圖生成單元51獲得如圖17的(b)所示的深度圖，并且由法線貼圖生成單元52獲得如圖17的(c)所示的法線貼圖。還假設(shè)：例如，在深度圖中，左端的像素的深度值為“2(米)”，并且表示為“x”的其他像素中沒(méi)有存儲(chǔ)深度值。圖整合單元55基于法線貼圖而估計(jì)對(duì)象ob的表面形狀。這里，可以基于像素的法線方向，將左端起的第二像素確定為與從對(duì)應(yīng)于左端的像素的對(duì)象表面接近第一成像單元21和第二成像單元22的傾斜表面對(duì)應(yīng)。因此，圖整合單元55通過(guò)使用左端的像素作為起點(diǎn)來(lái)追蹤對(duì)象ob的表面形狀，估計(jì)左端起的第二個(gè)像素的深度值，并且得到例如“1.5(米)”。圖整合單元55進(jìn)一步將估計(jì)的深度值存儲(chǔ)在深度圖中。這里，可以基于像素的法線方向，將左端起的第三像素確定為與面向第一成像單元21和第二成像單元22的表面對(duì)應(yīng)。因此，圖整合單元55通過(guò)使用左端的像素作為起點(diǎn)追蹤對(duì)象ob的表面形狀，估計(jì)左端起的第三像素的深度值，并且得到例如“1(米)”。圖整合單元55進(jìn)一步將估計(jì)的深度值存儲(chǔ)在深度圖中。這里，可以將左端起的第四像素確定為與從對(duì)應(yīng)于左端起的第三像素的對(duì)象表面后退遠(yuǎn)離第一成像單元21和第二成像單元22的傾斜表面對(duì)應(yīng)。因此，圖整合單元55通過(guò)使用左端的像素作為起點(diǎn)追蹤對(duì)象ob的表面形狀，估計(jì)左端起的第四像素的深度值，并且得到例如“1.5(米)”。圖整合單元55進(jìn)一步將估計(jì)的深度值存儲(chǔ)在深度圖中。以類似的方式估計(jì)左端起的第五像素的深度值，并且將例如“2(米)”存儲(chǔ)在深度圖中。

通過(guò)這種方式，圖整合單元55執(zhí)行對(duì)深度圖和法線貼圖的整合處理，并且通過(guò)使用保持在深度圖中的深度值作為起點(diǎn)基于法線貼圖追蹤表面形狀來(lái)估計(jì)深度值。因此，即使在圖17的(b)所示的由深度圖生成單元51生成的深度圖中缺少一部分深度值時(shí)，圖整合單元55也可以補(bǔ)足缺失的深度值。因此，可以生成圖17的(d)所示的、精度高于圖17的(b)所示的深度圖的精度的深度圖。

整合圖視點(diǎn)轉(zhuǎn)換單元56對(duì)從圖整合單元55提供的整合之后的深度圖執(zhí)行視點(diǎn)轉(zhuǎn)換。從圖整合單元55提供的深度圖表示與由第一成像單元21(或第二成像單元22)生成的圖像的每個(gè)像素對(duì)應(yīng)的深度值，但是不對(duì)應(yīng)于由第三成像單元23生成的圖像。因此，整合圖視點(diǎn)轉(zhuǎn)換單元56執(zhí)行視點(diǎn)轉(zhuǎn)換，以將從圖整合單元55提供的整合之后的深度圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的深度圖。

圖18是用于說(shuō)明視點(diǎn)轉(zhuǎn)換的圖。例如，與由第一成像單元21生成的圖像的像素(u，v)對(duì)應(yīng)的深度被表示為“d”。此外，第一成像單元21的焦距被表示為“f”。

將第一成像單元21的中心視為世界坐標(biāo)系w中的原點(diǎn)，在世界坐標(biāo)系w中像素(u，v)所對(duì)應(yīng)的點(diǎn)pa的位置(x，y，z)可以根據(jù)數(shù)學(xué)式(4)至(6)來(lái)計(jì)算。

x＝u*d/f…(4)

y＝v*d/f…(5)

z＝d…(6)

這里，第三成像單元23相對(duì)于第一成像單元21的旋轉(zhuǎn)被定義為旋轉(zhuǎn)矩陣rm，并且第三成像單元23相對(duì)于第一成像單元21的平移被定義為平移矢量t。此外，第三成像單元23的焦距被表示為“f”。在這種情況下，可以使用基于數(shù)學(xué)式(7)獲得的(x'，y'，z')，根據(jù)數(shù)學(xué)式(8)和(9)，計(jì)算點(diǎn)pa在第三成像單元23的圖像平面上投影的像素(u'，v')。因此，像素(u'，v')提供與像素(u，v)對(duì)應(yīng)的深度“d”。

[數(shù)學(xué)式4]

u’＝x’*f’/z’…(8)

v’＝y(tǒng)’*f’/z’…(9)

通過(guò)對(duì)所有像素執(zhí)行上述計(jì)算，可以將來(lái)自第一成像單元21的視點(diǎn)的深度圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的深度圖。

注意，第一成像單元21和第三成像單元23被安裝成具有預(yù)定的旋轉(zhuǎn)量和平移量。可替選地，可以使用例如zhengyouzhang,“aflexiblenewtechniqueforcameracalibration,”ieeetrans.patternanal.mach.intell.(pami),22(11):1330-1334,2000和其他文獻(xiàn)中公開(kāi)的方法，在安裝第一成像單元21和第三成像單元23之后獲取旋轉(zhuǎn)量和平移量。

此外，圖像處理單元50可以將所生成的深度圖與第三圖像相關(guān)聯(lián)(例如，作為第三圖像的屬性信息或其他信息)，并且將其與第三圖像一起存儲(chǔ)在存儲(chǔ)介質(zhì)中或輸出至外部裝置或其他裝置。

圖19是示出第一實(shí)施方式的處理操作的流程圖。圖像處理單元50在步驟st1中獲取第一圖像。圖像處理單元50獲取由第一成像單元21生成的具有多個(gè)偏振方向的偏振圖像作為第一圖像。圖像處理單元50進(jìn)一步在步驟st2中獲取第二圖像。圖像處理單元50獲取由第二成像單元22生成的具有多個(gè)偏振方向的偏振圖像作為第二圖像。圖像處理單元50在步驟st3中獲取第三圖像。圖像處理單元50獲取由第三成像單元23生成的非偏振圖像作為第三圖像。

圖像處理單元50在步驟st4中生成深度圖。圖20是示出生成深度圖的操作的流程圖。圖像處理單元50的深度圖生成單元51在步驟st11中根據(jù)第一圖像生成非偏振圖像。深度圖生成單元51例如對(duì)第一圖像進(jìn)行平均濾波處理或其他處理以消除第一圖像與第二圖像之間的亮度水平差異，并且生成非偏振圖像。然后流程進(jìn)行到步驟st12。

圖像處理單元50的深度圖生成單元51在步驟st12中根據(jù)第二圖像生成非偏振圖像。如上所述的那樣，深度圖生成單元51例如對(duì)第二圖像進(jìn)行平均濾波處理或其他處理以消除第一圖像與第二圖像之間的亮度水平差異，并且生成非偏振圖像。然后流程進(jìn)行到步驟st13。

圖像處理單元50的深度圖生成單元51在步驟st13中執(zhí)行匹配處理。深度圖生成單元51使用在步驟st11和st12中生成的非偏振圖像來(lái)執(zhí)行匹配處理。此外，在匹配處理中，即使在使用通過(guò)對(duì)非偏振圖像執(zhí)行邊緣提取處理而獲得的圖像時(shí)，也不會(huì)受到亮度水平差異的影響。深度圖生成單元51基于匹配處理的結(jié)果而生成表示第一圖像的每個(gè)像素的深度值的深度圖，然后流程進(jìn)行到圖19中的步驟st5。

圖像處理單元50在步驟st5中生成法線貼圖。圖像處理單元50的法線貼圖生成單元52使用第一圖像來(lái)確定針對(duì)每個(gè)像素的方位角φd和天頂角θd，并且生成法線貼圖。然后流程進(jìn)行到步驟st6。

圖像處理單元50在步驟st6中對(duì)圖執(zhí)行整合處理。圖像處理單元50的圖整合單元55基于在深度圖中表示的深度值和在法線貼圖中表示的對(duì)象的表面形狀，通過(guò)使用獲得其深度值的像素作為起點(diǎn)追蹤表面形狀，估計(jì)與未獲得其深度值的像素對(duì)應(yīng)的深度值。此外，圖整合單元55通過(guò)將估計(jì)的深度值包括在深度圖中，生成精度高于或等于在步驟st4中生成的深度圖的精度的深度圖。然后流程進(jìn)行到步驟st7。

圖像處理單元50在步驟st7中執(zhí)行視點(diǎn)轉(zhuǎn)換處理。圖像處理單元50的整合圖視點(diǎn)轉(zhuǎn)換單元56將在步驟st6中生成的、來(lái)自第一圖像的視點(diǎn)的高精度深度圖轉(zhuǎn)換成來(lái)自第三圖像的視點(diǎn)的深度圖。

根據(jù)上述第一實(shí)施方式，即使對(duì)于在匹配處理中難以獲取其深度值的對(duì)象區(qū)域，也可以使用基于具有多個(gè)偏振方向的偏振圖像生成的法線貼圖來(lái)估計(jì)深度值。因此，可以生成精度高于或等于由深度圖生成單元25生成的深度圖的精度的深度圖，即，存儲(chǔ)了針對(duì)對(duì)象區(qū)域的每個(gè)像素的深度值的深度圖。

進(jìn)一步執(zhí)行視點(diǎn)轉(zhuǎn)換，例如將來(lái)自第一圖像的視點(diǎn)的高精度深度圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的深度圖。因此，可以生成圖像質(zhì)量和亮度不會(huì)由于設(shè)置起偏器而劣化的第三圖像以及與第三圖像對(duì)應(yīng)的高精度深度圖。

<3-2.第二實(shí)施方式的配置和操作>

接下來(lái)，將描述下述情況：使用具有比第一成像單元或第二成像單元的像素?cái)?shù)更多的像素?cái)?shù)的固態(tài)成像元件作為第三成像單元，以便能夠生成高分辨率的捕獲圖像。

圖21是示出圖像處理單元的第二實(shí)施方式的配置的圖。成像裝置10的圖像處理單元50包括深度圖生成單元51、法線貼圖生成單元52、圖整合單元55、整合圖視點(diǎn)轉(zhuǎn)換單元56以及上采樣單元57。深度圖生成單元51、法線貼圖生成單元52、圖整合單元55以及整合圖視點(diǎn)轉(zhuǎn)換單元56執(zhí)行與上述第一實(shí)施方式的處理類似的處理。

深度圖生成單元51基于由第一成像單元21生成的偏振圖像和由具有與第一成像單元21的視點(diǎn)位置不同的視點(diǎn)位置的第二成像單元22生成的偏振圖像而執(zhí)行立體匹配處理，從而生成存儲(chǔ)了針對(duì)每個(gè)像素的深度值的深度圖。深度圖生成單元51將所生成的深度圖輸出到圖整合單元55。

法線貼圖生成單元52根據(jù)具有不同偏振方向的多個(gè)方向的偏振圖像而生成法線貼圖。例如，根據(jù)由第一成像單元21生成的偏振圖像而生成法線貼圖，并且將其輸出至圖整合單元55。

圖整合單元55對(duì)由深度圖生成單元51生成的深度圖和由法線貼圖生成單元52生成的法線貼圖進(jìn)行整合處理，并且生成精度高于或等于由深度圖生成單元51生成的深度圖的精度的深度圖。圖整合單元55將整合之后的深度圖輸出至整合圖視點(diǎn)轉(zhuǎn)換單元56。

整合圖視點(diǎn)轉(zhuǎn)換單元56對(duì)從圖整合單元55提供的深度圖執(zhí)行視點(diǎn)轉(zhuǎn)換，并且將例如從圖整合單元55提供的來(lái)自第一成像單元21的視點(diǎn)的深度圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的深度圖。整合圖視點(diǎn)轉(zhuǎn)換單元56將視點(diǎn)轉(zhuǎn)換之后的深度圖輸出至上采樣單元57。

上采樣單元57對(duì)從整合圖視點(diǎn)轉(zhuǎn)換單元56提供的深度圖執(zhí)行上采樣處理，并且生成下述深度圖：該深度圖具有與由第三成像單元23生成的具有高像素?cái)?shù)的捕獲圖像對(duì)應(yīng)的分辨率。上采樣單元57例如使用在“johanneskopfandmichaelf.cohenanddanilischinskiandmattuyttendaele，“jointbilateralupsampling,”acmtransactionsongraphics(proceedingsofsiggraph2007)”中公開(kāi)的方法，使用具有較多像素?cái)?shù)的第三圖像作為引導(dǎo)，對(duì)具有比第三圖像的像素?cái)?shù)少的像素?cái)?shù)的深度圖進(jìn)行上采樣，并且生成表示針對(duì)第三圖像的每個(gè)像素的深度值的深度圖?？商孢x地，上采樣單元57可以使用另外的方法，例如使用雙線性濾波器的上采樣方法，從而生成具有與第三圖像對(duì)應(yīng)的像素?cái)?shù)的深度圖。

注意，圖像處理單元50可以將所生成的深度圖與具有比第一圖像或第二圖像的像素?cái)?shù)更多的像素?cái)?shù)的第三圖像相關(guān)聯(lián)(例如，作為第三圖像的屬性信息或其他信息)，并且將其與第三圖像一起存儲(chǔ)在存儲(chǔ)介質(zhì)中或者輸出至外部裝置或其他裝置。

圖22是示出第二實(shí)施方式的操作的流程圖。圖像處理單元50在步驟st21中獲取第一圖像。圖像處理單元50獲取由第一成像單元21生成的具有多個(gè)偏振方向的偏振圖像作為第一圖像。圖像處理單元50進(jìn)一步在步驟st22中獲取第二圖像。圖像處理單元50獲取由第二成像單元22生成的具有多個(gè)偏振方向的偏振圖像作為第二圖像。圖像處理單元50在步驟st23中獲取第三圖像。圖像處理單元50獲取由第三成像單元23生成的非偏振圖像作為第三圖像。

圖像處理單元50在步驟st24中生成深度圖。與圖19中的步驟st4類似地，圖像處理單元50的深度圖生成單元51根據(jù)第一圖像和第二圖像而生成與第一圖像對(duì)應(yīng)的深度圖。然后流程進(jìn)行到步驟st25。

圖像處理單元50在步驟st25中生成法線貼圖。與圖19中的步驟st5類似地，圖像處理單元50的法線貼圖生成單元52使用第一圖像來(lái)確定針對(duì)每個(gè)像素的方位角φd和天頂角θd，并且生成法線貼圖。然后流程進(jìn)行到步驟st26。

圖像處理單元50在步驟st26中對(duì)圖執(zhí)行整合處理。與圖19中的步驟st6類似地，圖像處理單元50的圖整合單元55生成精度高于步驟st24中生成的深度圖的精度的深度圖。然后流程進(jìn)行到步驟st27。

圖像處理單元50在步驟st27中執(zhí)行視點(diǎn)轉(zhuǎn)換處理。與圖19中的步驟st7類似地，圖像處理單元50的整合圖視點(diǎn)轉(zhuǎn)換單元56將在步驟st26中生成的來(lái)自第一圖像的視點(diǎn)的高精度深度圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的深度圖。然后流程進(jìn)行到步驟st28。

圖像處理單元50在步驟st28中執(zhí)行上采樣處理。圖像處理單元50的上采樣單元57對(duì)從整合圖視點(diǎn)轉(zhuǎn)換單元56提供的深度圖進(jìn)行上采樣處理，并且生成與由第三成像單元生成的捕獲圖像對(duì)應(yīng)的深度圖。

根據(jù)上述第二實(shí)施方式，即使對(duì)于在匹配處理中難以獲取其深度值的對(duì)象區(qū)域，也可以使用基于具有多個(gè)偏振方向的偏振圖像而生成的法線貼圖來(lái)估計(jì)深度值。因此，與第一實(shí)施方式類似地，可以生成精度高于或等于由深度圖生成單元51生成的深度圖的精度的深度圖，即，存儲(chǔ)了針對(duì)對(duì)象區(qū)域的每個(gè)像素的深度值的深度圖。進(jìn)一步執(zhí)行視點(diǎn)轉(zhuǎn)換，例如將來(lái)自第一圖像的視點(diǎn)的高精度深度圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的深度圖，因此，可以生成與第三圖像對(duì)應(yīng)的高精度深度圖。

在第二實(shí)施方式中，進(jìn)一步對(duì)視點(diǎn)轉(zhuǎn)換之后的深度圖執(zhí)行上采樣處理，并且生成表示針對(duì)具有高像素?cái)?shù)的第三圖像的每個(gè)像素的深度值的深度圖。因此，可以生成具有高像素?cái)?shù)并且圖像質(zhì)量和亮度不會(huì)由于設(shè)置起偏器而劣化的第三圖像、以及具有與第三圖像對(duì)應(yīng)的像素?cái)?shù)的高精度的深度圖。

同時(shí)，當(dāng)像素尺寸由于較高的像素?cái)?shù)而減小時(shí)，獲取具有更好的圖像質(zhì)量的偏振圖像會(huì)變得困難，并且不能容易地以低成本配置起偏器。然而，在第二實(shí)施方式中，可以在不在第一成像單元和第二成像單元中使用諸如第三成像單元的具有高像素?cái)?shù)的固態(tài)成像元件的情況下，生成具有與第三圖像對(duì)應(yīng)的像素?cái)?shù)的高精度的深度圖，因此，可以以合理的價(jià)格提供成像裝置。

<3-3.第三實(shí)施方式的配置和操作>

在上述第一實(shí)施方式和第二實(shí)施方式中，對(duì)圖整合之后的深度圖執(zhí)行視點(diǎn)轉(zhuǎn)換；然而，還可以在圖整合之前執(zhí)行視點(diǎn)轉(zhuǎn)換。接下來(lái)，將作為第三實(shí)施方式而對(duì)在圖整合之前執(zhí)行視點(diǎn)轉(zhuǎn)換的情況進(jìn)行描述。

圖23是示出圖像處理單元的第三實(shí)施方式的配置的圖。成像裝置10的圖像處理單元50包括深度圖生成單元51、法線貼圖生成單元52、深度圖視點(diǎn)轉(zhuǎn)換單元53、法線貼圖視點(diǎn)轉(zhuǎn)換單元54以及圖整合單元55。深度圖生成單元51、法線貼圖生成單元52以及圖整合單元55執(zhí)行與上述第一實(shí)施方式的處理類似的處理。

深度圖生成單元51基于由第一成像單元21生成的偏振圖像和由具有與第一成像單元21的視點(diǎn)位置不同的視點(diǎn)位置的第二成像單元22生成的偏振圖像來(lái)執(zhí)行立體匹配處理。深度圖生成單元51通過(guò)執(zhí)行立體匹配處理而生成存儲(chǔ)了第一成像單元21的視點(diǎn)的每個(gè)像素的深度值的深度圖，并且將其輸出至深度圖視點(diǎn)轉(zhuǎn)換單元53和法線貼圖視點(diǎn)轉(zhuǎn)換單元54。

法線貼圖生成單元52根據(jù)具有不同偏振方向的多個(gè)方向的偏振圖像而生成法線貼圖。例如，根據(jù)由第一成像單元21生成的偏振圖像而生成法線貼圖，并且將其輸出至深度圖視點(diǎn)轉(zhuǎn)換單元53和法線貼圖視點(diǎn)轉(zhuǎn)換單元54。

深度圖視點(diǎn)轉(zhuǎn)換單元53執(zhí)行與上述整合圖視點(diǎn)轉(zhuǎn)換單元56的處理類似的處理，并且將從深度圖生成單元51提供的來(lái)自第一成像單元21的視點(diǎn)的深度圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的深度圖。整合圖視點(diǎn)轉(zhuǎn)換單元56將視點(diǎn)轉(zhuǎn)換之后的深度圖輸出至圖整合單元55。

法線貼圖視點(diǎn)轉(zhuǎn)換單元54將例如從法線貼圖生成單元52提供的來(lái)自第一成像單元21的視點(diǎn)的法線貼圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的法線貼圖。

圖24是示出成像單元與法向矢量的坐標(biāo)系之間的關(guān)系的圖。這里，當(dāng)將成像單元21的光軸方向視為z軸方向，將橫向方向(例如水平方向)視為x軸方向，并且表示法線方向的法向矢量n被表示為如數(shù)學(xué)式(10)那樣時(shí)，方位角φd、天頂角θd和法向矢量這些分量具有數(shù)學(xué)式(11)和(12)所表示的關(guān)系。

[數(shù)學(xué)式5]

n＝[nx,ny,nz]^t…(10)

θd＝arccosnz…(11)(11)

因此，法線貼圖視點(diǎn)轉(zhuǎn)換單元54基于數(shù)學(xué)式(13)對(duì)法向矢量執(zhí)行視點(diǎn)轉(zhuǎn)換。這里，旋轉(zhuǎn)矩陣rm等效于數(shù)學(xué)式(7)。

[數(shù)學(xué)式6]

法線貼圖視點(diǎn)轉(zhuǎn)換單元54還計(jì)算來(lái)自第一成像單元21的視點(diǎn)的法線貼圖中的經(jīng)過(guò)了法向矢量的視點(diǎn)轉(zhuǎn)換的像素對(duì)應(yīng)于來(lái)自第三成像單元23的視點(diǎn)的法線貼圖中的哪個(gè)像素位置。例如，在將第一成像單元21的中心視為世界坐標(biāo)系w中的原點(diǎn)時(shí)，將與世界坐標(biāo)系中的點(diǎn)pa對(duì)應(yīng)的像素(u，v)表示為位置(x，y，z)，法線貼圖視點(diǎn)轉(zhuǎn)換單元54使用旋轉(zhuǎn)矩陣和像素(u，v)的深度值，計(jì)算位置(x，y，z)處的點(diǎn)pa被投影的、第三成像單元23的法線貼圖上的像素(u'，v')的位置。

法線貼圖視點(diǎn)轉(zhuǎn)換單元54對(duì)來(lái)自第一成像單元21的視點(diǎn)的法線貼圖的每個(gè)像素執(zhí)行這樣的法向矢量的視點(diǎn)轉(zhuǎn)換以及在第三成像單元23的法線貼圖上的相應(yīng)像素位置的計(jì)算。因此，通過(guò)法線貼圖視點(diǎn)轉(zhuǎn)換單元54將來(lái)自第一成像單元21的視點(diǎn)的法線貼圖轉(zhuǎn)換為來(lái)自第三成像單元23的視點(diǎn)的法線貼圖。注意，根據(jù)由深度圖生成單元51生成的深度圖而獲取像素(u，v)的深度值。

法線貼圖視點(diǎn)轉(zhuǎn)換單元54根據(jù)視點(diǎn)轉(zhuǎn)換之后的法向矢量，生成表示視點(diǎn)轉(zhuǎn)換之后的方位角和天頂角的法線貼圖，并且將其輸出至圖整合單元55。

圖整合單元55對(duì)由深度圖視點(diǎn)轉(zhuǎn)換單元53轉(zhuǎn)換成來(lái)自第三成像單元23的視點(diǎn)的深度圖和由法線貼圖視點(diǎn)轉(zhuǎn)換單元54轉(zhuǎn)換成來(lái)自第三成像單元23的視點(diǎn)的法線貼圖進(jìn)行整合處理。圖整合單元55通過(guò)對(duì)圖執(zhí)行整合處理，生成精度高于或等于由深度圖視點(diǎn)轉(zhuǎn)換單元53生成的來(lái)自第三成像單元23的視點(diǎn)的深度圖的精度的深度圖。

圖25是示出第三實(shí)施方式的操作的流程圖。圖像處理單元50在步驟st31獲取第一圖像。圖像處理單元50獲取由第一成像單元21生成的具有多個(gè)偏振方向的偏振圖像作為第一圖像。圖像處理單元50進(jìn)一步在步驟st32中獲取第二圖像。圖像處理單元50獲取由第二成像單元22生成的具有多個(gè)偏振方向的偏振圖像作為第二圖像。圖像處理單元50在步驟st33獲取第三圖像。圖像處理單元50獲取由第三成像單元23生成的非偏振圖像作為第三圖像。

圖像處理單元50在步驟st34中生成深度圖。與圖19中的步驟st4類似地，圖像處理單元50的深度圖生成單元51根據(jù)第一圖像和第二圖像生成與第一圖像對(duì)應(yīng)的深度圖。然后流程進(jìn)行到步驟st36。

圖像處理單元50在步驟st35中生成法線貼圖。與圖19中的步驟st5類似地，圖像處理單元50的法線貼圖生成單元52使用第一圖像確定針對(duì)每個(gè)像素的方位角φd和天頂角θd，并且生成法線貼圖。然后流程進(jìn)行到步驟st37。

圖像處理單元50在步驟st36中執(zhí)行深度圖視點(diǎn)轉(zhuǎn)換處理。與圖19中的步驟st7類似地，圖像處理單元50的深度圖視點(diǎn)轉(zhuǎn)換單元53將在步驟st34中生成的來(lái)自第一圖像的視點(diǎn)的深度圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的深度圖。然后流程進(jìn)行到步驟st38。

圖像處理單元50在步驟st37中執(zhí)行法線貼圖視點(diǎn)轉(zhuǎn)換處理。圖像處理單元50的法線貼圖視點(diǎn)轉(zhuǎn)換單元54基于深度圖中表示的深度值，將在步驟st35中生成的法線貼圖從來(lái)自第一圖像的視點(diǎn)的法線貼圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的法線貼圖。然后流程進(jìn)行到步驟st38。

圖像處理單元50在步驟st38中對(duì)圖執(zhí)行整合處理。與圖19中的步驟st6類似地，圖像處理單元50的圖整合單元55使用在步驟st37中生成的法線貼圖，生成精度高于步驟st36中生成的深度圖的精度的深度圖。

根據(jù)上述第三實(shí)施方式，即使對(duì)于在匹配處理中難以獲取其深度值的對(duì)象區(qū)域，也可以使用基于具有多個(gè)偏振方向的偏振圖像而生成的法線貼圖來(lái)估計(jì)深度值。因此，與第一實(shí)施方式類似地，可以生成精度高于或等于由深度圖生成單元51生成的深度圖的精度的深度圖，即存儲(chǔ)了針對(duì)對(duì)象區(qū)域的每個(gè)像素的深度值的深度圖。進(jìn)一步進(jìn)行視點(diǎn)轉(zhuǎn)換，例如將來(lái)自第一圖像的視點(diǎn)的深度圖和法線貼圖轉(zhuǎn)換為來(lái)自第三圖像的視點(diǎn)的深度圖和法線貼圖，然后對(duì)其進(jìn)行整合。因此，可以生成來(lái)自第三圖像的視點(diǎn)的高精度深度圖。

<4.成像單元和圖像處理單元的其他實(shí)施方式>

同時(shí)，在上述實(shí)施方式中，已經(jīng)描述了使用圖10所示的起偏器來(lái)生成非彩色的偏振圖像的情況；然而，通過(guò)第一成像單元和第二成像單元來(lái)生成彩色的偏振圖像，使得能夠在考慮對(duì)象的反射分量的情況下生成法線貼圖。

圖26是例示第一成像單元和第二成像單元的另外的配置的圖。注意，第一成像單元和第二成像單元具有等效配置。在成像單元21(22)中，將具有相同偏振方向的多個(gè)像素視為相同偏振像素塊，并且在相同偏振像素塊中包括各個(gè)顏色的像素。成像單元21(22)生成偏振圖像。例如，如圖26的(a)所示，在成像單元21(22)中，將具有相同偏振方向的2×2像素單位作為相同偏振像素塊。此外，成像單元21(22)使用如下起偏器：在該起偏器中，在列方向和行方向上，以重復(fù)的方式包括由具有不同偏振方向的四個(gè)相同偏振像素塊構(gòu)成的4×4像素的偏振模式單位塊。注意，偏振方向由圖26的(a)中的陰影線的方向表示。

例如，如圖26的(b)所示的那樣，在成像單元21(22)的濾色器中，顏色陣列是包括紅色像素r、綠色像素g和藍(lán)色像素b的、尺寸為2×2像素的拜耳陣列。同時(shí)，將由紅色像素、綠色像素和藍(lán)色像素構(gòu)成的4×4像素的像素塊視為顏色模式單位像素塊。如圖26的(c)所示的那樣，在成像單元21中，顏色模式單位塊在列方向和行方向中的每個(gè)上，相對(duì)于偏振圖案單位塊具有一個(gè)像素的位置差。因此，一個(gè)相同偏振像素塊包括一個(gè)紅色像素r、一個(gè)藍(lán)色像素b和兩個(gè)綠色像素g。此外，具有同一顏色的2×2像素的像素塊包括四個(gè)偏振方向的像素。

例如，法線貼圖生成單元52從偏振圖像中去除鏡面反射分量，以減輕鏡面反射的影響。鏡面反射的發(fā)生是由成像場(chǎng)景中的主導(dǎo)光源引起的。此外，當(dāng)成像單元21(22)執(zhí)行白平衡調(diào)節(jié)時(shí)，根據(jù)白平衡調(diào)節(jié)中的照明顏色來(lái)調(diào)節(jié)增益，因此認(rèn)為生成鏡面反射的照明的顏色是非彩色的。在這種情況下，表示照明顏色的rgb值是相同的值，因此獲得使得能夠去除鏡面反射分量的色度。法線貼圖生成單元52基于數(shù)學(xué)式(14)，根據(jù)已進(jìn)行白平衡校正的偏振圖像，獲得針對(duì)每個(gè)相同偏振像素塊(即針對(duì)如圖27所示的點(diǎn)標(biāo)記的每個(gè)位置)的色度i'υpol。法線貼圖生成單元52使用紅色像素的像素值rυpol、綠色圖像的像素值gυpol和藍(lán)色像素的像素值bυpol來(lái)對(duì)每個(gè)相同偏振像素塊執(zhí)行這樣的處理，并且生成僅包括漫反射分量的偏振圖像，該偏振圖像是去除了鏡面反射分量的圖像。注意，在如圖27的(b)所示的那樣通過(guò)拜耳陣列配置顏色陣列的情況下，例如，作為兩個(gè)綠色像素的像素值gυ1和gv2的平均值而獲得綠色像素的像素值gυpol。

[數(shù)學(xué)式7]

此外，法線貼圖生成單元52例如在假設(shè)光源為白色的情況下，生成去除了可歸因于光源的鏡面反射分量的偏振圖像。為了去除鏡面反射分量，可以使用文獻(xiàn)“d.miyazaki,r.tan,k.hara,andk.ikeuchi.polarization-basedinverserenderingfromasingleview.proceedingsofinternationalconferenceoncomputervision,pages982-987,2003”中公開(kāi)的方法。就是說(shuō)，基于數(shù)學(xué)式(15)將顏色空間從rgb空間轉(zhuǎn)換為m空間，并且基于數(shù)學(xué)式(16)生成去除了鏡面反射分量的圖像。通過(guò)基于數(shù)學(xué)式(17)將去除了鏡面反射分量的圖像從m空間返回到rgb空間，可以生成去除了鏡面反射分量的偏振圖像。

[數(shù)學(xué)式8]

此外，法線貼圖生成單元52可以使用文獻(xiàn)“tomoakihigo,daisukemiyazaki,katsushiikeuchi.kenkyu-hokoku2006-cvim-155.2006/9/9.realtimeremovalofspecularreflectioncomponentbasedondichromaticreflectionmodel,informationprocessingsocietyofjapan”中描述的方法來(lái)去除鏡面反射分量。在這種方法中，在向hsv空間投影時(shí)，在一個(gè)色相(hue)空間中利用如下事實(shí)：在漫反射分量中，飽和度與亮度成比例關(guān)系。圖28是用于說(shuō)明使用hsv空間去除鏡面反射分量的處理的圖。法線貼圖生成單元52使用圖28的(a)所示的從rgb空間轉(zhuǎn)換來(lái)的hsv空間，繪制如圖28的(b)所示的針對(duì)每個(gè)色相的飽和度與亮度之間的關(guān)系。法線貼圖生成單元52進(jìn)一步將如下分量作為鏡面反射分量而去除：該分量的亮度比如圖28的(c)所示的那樣所近似的直線la高出預(yù)定量以上。

法線貼圖生成單元52根據(jù)去除了鏡面反射的偏振圖像(即僅表示漫反射分量的偏振圖像)而生成法線信息。

法線貼圖生成單元52還可以生成包括鏡面反射分量的法線貼圖。圖29是示出亮度與偏振角之間的關(guān)系(在鏡面反射的情況)的圖。注意，出于對(duì)比目的，圖29的(a)是示出鏡面反射中的亮度與偏振角之間的關(guān)系的圖，并且在圖29的(b)中示出了漫反射中的亮度與偏振角之間的關(guān)系。

在鏡面反射的情況下，將觀察到最小亮度ismin時(shí)的偏振角υpol定義為方位角φs。在進(jìn)行了這樣的定義的情況下，表示在偏振板pl如圖14所示地那樣旋轉(zhuǎn)時(shí)所觀察到的亮度ispol(即由于偏振角的差異而發(fā)生的預(yù)定亮度變化)的偏振模型公式，可以表示為數(shù)學(xué)式(18)。

[數(shù)學(xué)式9]

在數(shù)學(xué)式(18)中，在生成偏振圖像時(shí)，偏振角υpol是明確的。最大亮度ismax、最小亮度ismin和方位角φs是變量。因此，由于存在三個(gè)變量，所以法線貼圖生成單元52使用具有三個(gè)或更多個(gè)偏振方向的偏振圖像的亮度來(lái)對(duì)由數(shù)學(xué)式(18)表示的函數(shù)進(jìn)行擬合，從而基于表示亮度和偏振角之間的關(guān)系的函數(shù)而確定亮度變?yōu)樽钚r(shí)的方位角φs。

此外，以極坐標(biāo)系表示對(duì)象表面法線。法線信息包括方位角φs和天頂角θs。注意，天頂角θs是從z軸朝向法線形成的角，并且方位角φs是在y軸方向上相對(duì)于x軸形成的角。這里，也可以通過(guò)使用通過(guò)旋轉(zhuǎn)偏振版pl而獲得的最小亮度ismin和最大亮度ismax執(zhí)行數(shù)學(xué)式(19)的計(jì)算，計(jì)算偏振度ρs。

[數(shù)學(xué)式10]

已知偏振度與天頂角之間的關(guān)系(在鏡面反射的情況下)具有圖30所示的特性。可以根據(jù)圖30所示的特性，基于偏振度ρs而確定一個(gè)或兩個(gè)天頂角。注意，圖30所示的特性是示例，并且特性根據(jù)對(duì)象的折射率而變化。此外，圖30中例示了確定兩個(gè)天頂角θs1和θs2的情況。

法線貼圖生成單元52進(jìn)一步對(duì)根據(jù)漫反射分量而計(jì)算出的方位角φd和天頂角θd以及根據(jù)鏡面反射分量而計(jì)算出的方位角φs和天頂角θs進(jìn)行整合，并且生成表示整合之后的方位角φds和天頂角θds的法線貼圖。作為整合處理，法線貼圖生成單元52例如將獲取的方位角和天頂角中的每個(gè)進(jìn)行平均。具體地，基于數(shù)學(xué)式(20)進(jìn)行整合處理，并且生成方位角φds。此外，存在在法線貼圖生成單元52中確定兩個(gè)天頂角θs的情況，因此基于數(shù)學(xué)式(21)和(22)進(jìn)行整合處理，并且生成天頂角θds。

[數(shù)學(xué)式11]

其中，

其中，

法線貼圖生成單元52還可以根據(jù)漫反射和鏡面反射中哪一個(gè)處于主導(dǎo)地位，利用加權(quán)對(duì)根據(jù)漫反射分量而計(jì)算出的方位角φd和天頂角θd以及根據(jù)鏡面反射分量而計(jì)算出的方位角φs和天頂角度θs進(jìn)行整合。對(duì)于加權(quán)，例如，使用亮度的幅度，并且選擇具有較大幅度的一方。此外，使用擬合誤差，并且選擇具有較小誤差的一方來(lái)進(jìn)行整合處理。擬合誤差是在對(duì)由數(shù)學(xué)式(2)或(18)表示的函數(shù)進(jìn)行擬合的情況下的函數(shù)值與偏振圖像的亮度之間的差異。例如，使用針對(duì)每個(gè)偏振方向的函數(shù)值與亮度之間的誤差的整合值或平均值。

在使用亮度的幅度進(jìn)行整合處理的情況下，法線貼圖生成單元52通過(guò)計(jì)算針對(duì)每個(gè)反射分量的亮度的幅度并且選擇具有較大幅度的一方來(lái)對(duì)方位角和天頂角進(jìn)行整合。此外，對(duì)于鏡面反射分量，可以確定兩個(gè)天頂角，從而選擇更接近于所獲得的針對(duì)漫反射分量的天頂角的天頂角。數(shù)學(xué)式(23)是漫反射中的幅度ad的計(jì)算式。數(shù)學(xué)式(24)是鏡面反射中的幅度as的計(jì)算式。

ad＝|dmax-|dmin…(23)(23)

as＝｜smax-|smin…(24)

法線貼圖生成單元52如數(shù)學(xué)式(25)所表示地那樣，通過(guò)使用漫反射分量中的幅度和鏡面反射分量中的幅度進(jìn)行加權(quán)而執(zhí)行整合處理，并且生成方位角φds。法線貼圖生成單元52還如數(shù)學(xué)式(26)和(27)所表示地那樣，通過(guò)使用漫反射分量中的幅度和鏡面反射分量中的幅度進(jìn)行加權(quán)而進(jìn)行整合，并且生成天頂角θds。

[數(shù)學(xué)式12]

其中，

其中，

此外，法線貼圖生成單元52可以選擇根據(jù)漫反射分量的偏振圖像而生成的法線信息和根據(jù)鏡面反射分量的偏振圖像而生成的法線信息中之一，作為法線信息的整合。這里，法線信息整合單元38從漫反射和鏡面反射中選擇占主導(dǎo)地位的反射的法線信息。法線信息整合單元38通過(guò)將由偏振角差異引起的亮度變化較大的反射視為占主導(dǎo)地位，從漫反射分量的幅度ad和鏡面反射分量的幅度as中選擇具有較大幅度的分量的法線信息。此外，法線信息整合單元38通過(guò)將由偏振角差異引起的相對(duì)于預(yù)定亮度變化的誤差較小的反射視為占主導(dǎo)地位，從漫反射分量的擬合誤差和鏡面反射分量的擬合誤差中選擇具有較小誤差的分量的法線信息。可替選地，法線信息整合單元38可以確定與周圍的法線信息的誤差，并且選擇具有較小誤差的法線信息。另外可替選地，法線信息整合單元38可以通過(guò)組合這些方法來(lái)選擇法線信息，或者也可以通過(guò)組合另外的方法來(lái)選擇法線信息。此外，在選擇鏡面反射分量的法線信息并且如上所述的那樣確定兩個(gè)天頂角θs1和θs2的情況下，法線信息整合單元38從天頂角θs1和θs2中選擇如下天頂角：該天頂角相對(duì)于由漫反射分量的法線信息表示的天頂角θd的角差異較小。就是說(shuō)，通過(guò)使用彩色的偏振圖像，可以在考慮反射分量的情況下生成精確的法線貼圖。

例如，在沒(méi)有發(fā)生鏡面反射的成像環(huán)境的情況下或者在生成具有高空間分辨率的法線貼圖的情況下，以這種方式配置的成像裝置可以通過(guò)使用黑白的偏振圖像來(lái)生成精確的法線貼圖。此外，例如，在易于發(fā)生鏡面反射的成像環(huán)境(諸如，晴天時(shí)的室外)的情況下，可以通過(guò)使用彩色的偏振圖像、在考慮反射分量的情況下執(zhí)行處理，生成精確的法線貼圖。

注意，上述流程圖示出的處理不限于按各個(gè)步驟的順序執(zhí)行處理的順序處理，而是可以通過(guò)流水線處理或并行處理來(lái)執(zhí)行。此外，濾色器不限于三原色的濾色器，而是可以使用互補(bǔ)色的濾色器。

<5.示例性應(yīng)用>

接下來(lái)，將描述成像裝置和圖像處理裝置(圖像處理方法)的示例性應(yīng)用。圖31是例示使用本技術(shù)的成像裝置和圖像處理裝置的車輛控制系統(tǒng)的示意性配置的框圖。車輛控制系統(tǒng)90包括經(jīng)由通信網(wǎng)絡(luò)920連接的多個(gè)控制單元或檢測(cè)單元。在圖31所示的示例中，車輛控制系統(tǒng)90包括驅(qū)動(dòng)系統(tǒng)控制單元931、車體系統(tǒng)控制單元932、電池控制單元933、外部信息檢測(cè)單元934、無(wú)線通信單元935以及整合控制單元940。通信網(wǎng)絡(luò)920可以是例如符合期望標(biāo)準(zhǔn)的車載通信網(wǎng)絡(luò)，例如控制器區(qū)域網(wǎng)絡(luò)(can)、本地互連網(wǎng)絡(luò)(lin)、局域網(wǎng)(lan)或flexray(注冊(cè)商標(biāo))。此外，整合控制單元940與輸入單元951、音頻輸出單元952和顯示單元953連接。

每個(gè)控制單元包括根據(jù)各種程序執(zhí)行計(jì)算處理的微型計(jì)算機(jī)、存儲(chǔ)由微型計(jì)算機(jī)執(zhí)行的程序或用于各種計(jì)算的參數(shù)的存儲(chǔ)單元以及驅(qū)動(dòng)要控制的各種類型的裝置的驅(qū)動(dòng)電路。

驅(qū)動(dòng)系統(tǒng)控制單元931根據(jù)各種程序控制與車輛的驅(qū)動(dòng)系統(tǒng)有關(guān)的裝置的操作。例如，驅(qū)動(dòng)系統(tǒng)控制單元931起到如下裝置的作用：用于生成車輛的驅(qū)動(dòng)力的驅(qū)動(dòng)力生成裝置(諸如內(nèi)燃機(jī)或驅(qū)動(dòng)電機(jī))，用于將驅(qū)動(dòng)力傳遞到車輪的驅(qū)動(dòng)力傳遞機(jī)構(gòu)，以及用于調(diào)節(jié)車輛的轉(zhuǎn)向角度的轉(zhuǎn)向機(jī)構(gòu)。驅(qū)動(dòng)系統(tǒng)控制單元931還可以起到諸如用于生成車輛的制動(dòng)力的制動(dòng)裝置的控制裝置的作用，或者起到諸如防抱死制動(dòng)系統(tǒng)(abs)或電子穩(wěn)定性控制系統(tǒng)(esc)的控制裝置的作用。

驅(qū)動(dòng)系統(tǒng)控制單元931與車輛狀態(tài)檢測(cè)單元9311連接。車輛狀態(tài)檢測(cè)單元9311包括如下中至少之一：用于檢測(cè)車體的軸向旋轉(zhuǎn)運(yùn)動(dòng)的角速度的陀螺儀傳感器，用于檢測(cè)車輛的加速度的加速度傳感器，以及用于檢測(cè)加速踏板的操作量、制動(dòng)踏板的操作量、方向盤的轉(zhuǎn)向角度、引擎速度或行駛速度的傳感器。驅(qū)動(dòng)系統(tǒng)控制單元931使用從車輛狀態(tài)檢測(cè)單元9311輸入的信號(hào)進(jìn)行計(jì)算處理，并且控制內(nèi)燃機(jī)、驅(qū)動(dòng)電機(jī)、電動(dòng)轉(zhuǎn)向裝置或制動(dòng)裝置。

車體系統(tǒng)控制單元932根據(jù)各種程序來(lái)控制安裝到車體的各種裝置的操作。例如，車體系統(tǒng)控制單元932起到無(wú)鑰匙進(jìn)入系統(tǒng)、智能鑰匙系統(tǒng)、自動(dòng)窗裝置或各種類型的燈(諸如，前燈、后燈、制動(dòng)燈、指示燈或霧燈)的控制裝置的作用。在這種情況下，可以向車體系統(tǒng)控制單元932輸入從替代鑰匙的便攜式裝置發(fā)送的無(wú)線電波的信號(hào)或各種開(kāi)關(guān)的信號(hào)。車體系統(tǒng)控制單元932接收這樣的無(wú)線電波或信號(hào)的輸入，并且控制車輛的門鎖裝置、自動(dòng)窗裝置、燈裝置或其他裝置。

電池控制單元933根據(jù)各種程序來(lái)控制作為驅(qū)動(dòng)電機(jī)的電源的二次電池9331。例如，可以向電池控制單元933輸入來(lái)自包括二次電池9331的電池裝置的信息，諸如電池溫度、電池輸出電壓或電池的剩余容量。電池控制單元933使用這些信號(hào)來(lái)執(zhí)行計(jì)算處理，并且執(zhí)行對(duì)二次電池9331的溫度調(diào)節(jié)控制或者對(duì)包括在電池裝置中的冷卻裝置或其他裝置的控制。

外部信息檢測(cè)單元934檢測(cè)安裝有車輛控制系統(tǒng)90的車輛的外部信息。外部信息檢測(cè)單元934使用本技術(shù)的成像裝置和圖像處理裝置。

圖32是示出成像裝置的安裝的示例的圖。例如，包括成像單元21、22和23的成像裝置20安裝在車輛80的前鼻翼、側(cè)鏡、后保險(xiǎn)杠、后門以及車輛內(nèi)部的前玻璃的上部中至少一個(gè)位置處。設(shè)置在前鼻翼處的成像裝置20-a和設(shè)置在車輛內(nèi)部的前玻璃的上部的成像裝置20-b主要獲取車輛80前方的圖像。設(shè)置在側(cè)鏡的成像裝置20-c和20-d主要獲取車輛80的側(cè)方的圖像。設(shè)置在后保險(xiǎn)杠或后門的成像裝置20-e主要獲取車輛80的后方的圖像。注意，圖32是示出各個(gè)成像裝置20-a至20-e的示例性成像范圍的圖。成像范圍ar-a表示設(shè)置在前鼻翼的成像裝置20-a的成像范圍。成像范圍ar-c和ar-d分別表示設(shè)置在側(cè)鏡的成像裝置20-c和20-d的成像范圍。成像范圍ar-e表示設(shè)置在后保險(xiǎn)杠或后門的成像裝置20-e的成像范圍。

返回參照?qǐng)D31，外部信息檢測(cè)單元934對(duì)車輛的周圍區(qū)域進(jìn)行成像，并且獲取偏振圖像和非偏振圖像。外部信息檢測(cè)單元934進(jìn)一步根據(jù)所獲取的偏振圖像生成可用于車輛控制的信息，例如與非偏振圖像對(duì)應(yīng)的、具有高精度的深度圖。

無(wú)線通信單元935經(jīng)由諸如專用短距離通信(dsrc)(注冊(cè)商標(biāo))的無(wú)線通信網(wǎng)絡(luò)與對(duì)車輛外部(諸如，其他車輛或道路環(huán)境)進(jìn)行控制的控制中心進(jìn)行通信，并且將接收到的信息輸出至整合控制單元940。此外，無(wú)線通信單元935可以將由外部信息檢測(cè)單元934獲取的信息傳送至另外的車輛、控制中心或其他實(shí)體。注意，無(wú)線通信單元935可以經(jīng)由諸如無(wú)線lan的無(wú)線通信網(wǎng)絡(luò)或者用于蜂窩電話的無(wú)線通信網(wǎng)絡(luò)(諸如，3g、lte和4g)的無(wú)線通信網(wǎng)絡(luò)與控制中心進(jìn)行通信。無(wú)線通信單元935還可以通過(guò)接收全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)的信號(hào)來(lái)執(zhí)行測(cè)距，并且將測(cè)距結(jié)果輸出至整合控制單元940。

整合控制單元940與輸入單元951、音頻輸出單元952和顯示單元953連接。輸入單元951由可被乘客操作以進(jìn)行輸入的裝置實(shí)現(xiàn)，諸如觸摸面板、按鈕、麥克風(fēng)、開(kāi)關(guān)或操縱桿。輸入單元951基于由乘客或其他人輸入的信息而生成輸入信號(hào)，并且將其輸出至整合控制單元940。

音頻輸出單元952通過(guò)輸出基于來(lái)自整合控制單元940的音頻信號(hào)的音頻，以聽(tīng)覺(jué)方式向車輛的乘客通知信息。顯示單元953通過(guò)顯示基于來(lái)自整合控制單元940的圖像信號(hào)的圖像，以視覺(jué)方式向車輛的乘客通知信息。

整合控制單元940包括中央處理單元(cpu)、只讀存儲(chǔ)器(rom)、隨機(jī)存取存儲(chǔ)器(ram)或其他部件。只讀存儲(chǔ)器(rom)存儲(chǔ)由中央處理單元(cpu)執(zhí)行的各種程序。隨機(jī)存取存儲(chǔ)器(ram)存儲(chǔ)諸如各種參數(shù)、計(jì)算結(jié)果或傳感器值的信息。cpu執(zhí)行存儲(chǔ)在rom中的各種程序，并且根據(jù)如下信號(hào)和信息來(lái)對(duì)車輛控制系統(tǒng)90中的操作進(jìn)行整體控制：來(lái)自輸入單元951的輸入信號(hào)，通過(guò)經(jīng)由通信網(wǎng)絡(luò)920與每個(gè)控制單元、外部信息檢測(cè)單元和無(wú)線通信單元進(jìn)行通信而獲取的信息，以及存儲(chǔ)在ram中的信息。整合控制單元940還生成表示要以聽(tīng)覺(jué)方式向車輛的乘客進(jìn)行通知的信息的音頻信號(hào)，并且將其輸出至音頻輸出單元952。整合控制單元940還生成以視覺(jué)方式通知信息的圖像信號(hào)，并且將其輸出至顯示單元953。整合控制單元940還使用無(wú)線通信單元935與存在于車輛外部的各種裝置(諸如其他車輛或控制中心)進(jìn)行通信。整合控制單元940還基于存儲(chǔ)在rom或ram中的圖信息以及從無(wú)線通信單元935獲取的測(cè)距結(jié)果，執(zhí)行對(duì)車輛的駕駛輔助。

注意，在圖31所示的示例中，經(jīng)由通信網(wǎng)絡(luò)920連接的至少兩個(gè)控制單元可以集成為一個(gè)控制單元?？商孢x地，每個(gè)控制單元可以包括多個(gè)控制單元。另外可替選地，車輛控制系統(tǒng)90可以包括未示出的另外的控制單元。此外，在上述描述中，由任一個(gè)控制單元執(zhí)行的功能的一部分或全部可以由另外的控制單元執(zhí)行。就是說(shuō)，可以由任何控制單元執(zhí)行預(yù)定的計(jì)算處理，只要經(jīng)由通信網(wǎng)絡(luò)920執(zhí)行信息的發(fā)送和接收即可。

在這樣的車輛控制系統(tǒng)中，可以通過(guò)使用本技術(shù)的成像裝置和圖像處理裝置，獲得其中圖像質(zhì)量或亮度的劣化得到抑制的周圍圖像和與周圍圖像對(duì)應(yīng)的具有高精度的深度圖。因此，使用其中圖像質(zhì)量或亮度的劣化得到抑制的周圍圖像和與周圍圖像對(duì)應(yīng)的深度圖，使得能夠例如準(zhǔn)確識(shí)別對(duì)象，以及建立能夠基于對(duì)象識(shí)別的結(jié)果而進(jìn)行安全駕駛的車輛控制系統(tǒng)。

同時(shí)，本文描述的一系列處理可以通過(guò)硬件、軟件或其組合配置來(lái)執(zhí)行。在通過(guò)軟件執(zhí)行處理的情況下，將存儲(chǔ)處理序列的程序安裝在并入專用硬件中的計(jì)算機(jī)的存儲(chǔ)器中，由此執(zhí)行該程序。可替選地，可以將程序安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)中，由此執(zhí)行該程序。

例如，程序可以預(yù)先存儲(chǔ)在作為記錄介質(zhì)的硬盤、固態(tài)驅(qū)動(dòng)器(ssd)或只讀存儲(chǔ)器(rom)中?？商孢x地，程序可以暫時(shí)地或永久地存儲(chǔ)在可拆卸存儲(chǔ)介質(zhì)中，例如，軟盤、致密盤只讀存儲(chǔ)器(cd-rom)、磁光(mo)盤、數(shù)字通用盤(dvd)、藍(lán)光盤(bd)(注冊(cè)商標(biāo))、磁盤或半導(dǎo)體存儲(chǔ)卡。這樣的可拆卸存儲(chǔ)介質(zhì)可以被提供為所謂的封裝軟件。

可替選地，程序可以從可存儲(chǔ)介質(zhì)安裝在計(jì)算機(jī)中，或者可以經(jīng)由諸如局域網(wǎng)(lan)或因特網(wǎng)的網(wǎng)絡(luò)、以無(wú)線或有線方式從下載站點(diǎn)傳送至計(jì)算機(jī)。計(jì)算機(jī)可以接收以這種方式傳送的程序，并且將該程序安裝在存儲(chǔ)介質(zhì)(諸如，并入的硬盤)中。

此外，本技術(shù)不應(yīng)被解釋為限于上述技術(shù)的實(shí)施方式。本技術(shù)的實(shí)施方式以實(shí)例的形式公開(kāi)了本技術(shù)，因此清楚的是，本領(lǐng)域技術(shù)人員可以在不脫離本技術(shù)的原理的范圍內(nèi)修改或替換實(shí)施方式。就是說(shuō)，為了確定本技術(shù)的原理，要考慮權(quán)利要求書(shū)。

注意，本技術(shù)的成像裝置也可以配置如下。

(1)一種成像裝置，包括：

第一成像單元和第二成像單元，包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素；以及

第三成像單元，包括不具有偏振特性的像素并且置于所述第一成像單元和所述第二成像單元之間。

(2)根據(jù)(1)所述的成像裝置，其中

所述第一成像單元、所述第二成像單元和所述第三成像單元在豎直方向和水平方向上匹配，以及

所述第三成像單元的光軸位置位于連接所述第一成像單元和所述第二成像單元的光軸位置的線上。

(3)根據(jù)(1)或(2)所述的成像裝置，

其中，所述第一成像單元、所述第二成像單元和所述第三成像單元被設(shè)置成使得其光軸方向彼此平行。

(4)根據(jù)(1)至(3)中任一項(xiàng)所述的成像裝置，

其中，所述第一成像單元、所述第二成像單元和所述第三成像單元被設(shè)置成使得其入射光瞳位于與其光軸方向垂直的同一條線上。

(5)根據(jù)(1)至(4)中任一項(xiàng)所述的成像裝置，

其中，所述第三成像單元具有比所述第一成像單元和所述第二成像單元的像素更多的像素?cái)?shù)。

(6)根據(jù)(1)至(5)中任一項(xiàng)所述的成像裝置，

其中，所述第一成像單元和所述第二成像單元通過(guò)被固定在所述第三成像單元的兩側(cè)來(lái)設(shè)置。

(7)根據(jù)(1)至(6)中任一項(xiàng)所述的成像裝置，

其中，所述第一成像單元和所述第二成像單元被設(shè)置于適配器，所述適配器以可附接且可拆卸的方式附接至所述第三成像單元；以及

在所述適配器和所述第三成像單元中之一設(shè)置位置調(diào)節(jié)機(jī)構(gòu)，所述位置調(diào)節(jié)機(jī)構(gòu)用于使所述第一成像單元和所述第二成像單元的豎直方向和水平方向與所述第三成像單元的豎直方向和水平方向匹配。

(8)根據(jù)(7)所述的成像裝置，還包括：

通信單元，用于執(zhí)行所述第一成像單元和所述第二成像單元與主體單元之間的通信，所述主體單元使用由所述第一成像單元生成的圖像和由所述第二成像單元生成的圖像。

可替選地，本技術(shù)的圖像處理裝置也可以配置如下。

(1)一種圖像處理裝置，包括：

深度圖生成單元，用于通過(guò)使用由第一成像單元生成的第一圖像和由第二成像單元生成的第二圖像執(zhí)行匹配處理，生成來(lái)自所述第一成像單元的視點(diǎn)的深度圖，所述第一成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素，所述第二成像單元具有等同于所述第一成像單元的配置的配置；

法線貼圖生成單元，用于基于由所述第一成像單元生成的所述第一圖像的偏振狀態(tài)而生成法線貼圖；

圖整合單元，用于通過(guò)對(duì)由所述深度圖生成單元所生成的深度圖和由所述法線貼圖生成單元所生成的法線貼圖執(zhí)行整合處理而生成整合圖，以及

視點(diǎn)轉(zhuǎn)換單元，用于將由所述圖整合單元生成的所述整合圖或者由所述深度圖生成單元所生成的所述深度圖和由所述法線貼圖生成單元所生成的所述法線貼圖轉(zhuǎn)換為來(lái)自第三成像單元的視點(diǎn)的圖，所述第三成像單元置于所述第一成像單元和所述第二成像單元之間并且包括不具有偏振特性的像素。

(2)根據(jù)(1)所述的圖像處理裝置，

其中，所述視點(diǎn)轉(zhuǎn)換單元將由所述深度圖生成單元所生成的所述深度圖和由所述法線貼圖生成單元所生成的所述法線貼圖轉(zhuǎn)換為來(lái)自所述第三成像單元的視點(diǎn)的圖。

(3)根據(jù)(1)或(2)所述的圖像處理裝置，

其中，所述法線貼圖生成單元基于具有三個(gè)或更多個(gè)偏振方向的所述第一圖像的亮度而生成所述法線貼圖。

(4)根據(jù)(1)至(3)中任一項(xiàng)所述的圖像處理裝置，

其中，所述圖整合單元根據(jù)在所述深度圖中表示的深度值和基于所述法線貼圖而確定的表面形狀，計(jì)算在所述深度圖中未表示的深度值。

(5)根據(jù)(1)至(4)中任一項(xiàng)所述的圖像處理裝置，還包括：

圖轉(zhuǎn)換單元，用于將所述深度圖轉(zhuǎn)換為具有大量像素的圖，

其中，所述第三成像單元具有比所述第一成像單元和所述第二成像單元的像素更多的像素，以及

所述圖轉(zhuǎn)換單元將在整合處理之后的來(lái)自所述第三成像單元的視點(diǎn)的深度圖轉(zhuǎn)換為與由所述第三成像單元生成的圖像對(duì)應(yīng)的深度圖。

(6)根據(jù)(1)至(5)中任一項(xiàng)所述的圖像處理裝置，

其中，所述第一圖像和所述第二圖像是彩色的，以及

所述法線貼圖生成單元從所述第一圖像分離或提取反射分量，并且基于分離或提取后的圖像的偏振狀態(tài)而生成法線貼圖。

(7)根據(jù)(1)至(5)中任一項(xiàng)所述的圖像處理裝置，

其中，所述第一圖像和所述第二圖像是黑白的。

工業(yè)適用性

在本技術(shù)的成像裝置、圖像處理裝置和圖像處理方法中，包括：第一成像單元和第二成像單元，該第一成像單元和第二成像單元包括針對(duì)多個(gè)偏振方向中的每個(gè)具有偏振特性的像素；以及第三成像單元，該第三成像單元包括不具有偏振特性的像素并且置于第一成像單元和第二成像單元之間。此外，通過(guò)使用由第一成像單元生成的第一圖像和由具有等同于第一成像單元的配置的配置的第二成像單元生成的第二圖像進(jìn)行匹配處理，生成來(lái)自第一成像單元的視點(diǎn)的深度圖。此外，基于由第一成像單元生成的第一圖像的偏振狀態(tài)而生成法線貼圖。然后通過(guò)對(duì)所生成的深度圖和法線貼圖進(jìn)行整合處理來(lái)生成具有較高精度的深度圖。此后，將整合處理之后的深度圖或者整合處理之前的深度圖和法線貼圖轉(zhuǎn)換為來(lái)自第三成像單元的視點(diǎn)的圖，第三成像單元置于第一成像單元和第二成像單元之間。因此，可以生成圖像質(zhì)量和亮度不會(huì)劣化的圖像以及與該圖像對(duì)應(yīng)的具有高精度的深度圖。因此，本技術(shù)適合于獲取對(duì)象的三維形狀的裝置。

附圖標(biāo)記列表

10成像裝置

21,22,23成像單元

25深度圖生成單元

31適配器

33位置調(diào)節(jié)機(jī)構(gòu)

35,45通信單元

40主體單元

50圖像處理單元

51深度圖生成單元

52法線貼圖生成單元

53深度圖視點(diǎn)轉(zhuǎn)換單元

54法線貼圖視點(diǎn)轉(zhuǎn)換單元

55圖整合單元

56整合圖視點(diǎn)轉(zhuǎn)換單元

57上采樣單元

201,231透鏡單元

202光闌

211起偏器

235濾色器