圖像處理設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種從拍攝的圖像中捜索被攝體并生成聚焦在作為捜索結(jié)果的被攝 體圖像上的圖像的圖像處理設(shè)備及其控制方法。
【背景技術(shù)】
[0002] 近年來，被稱為光場（下文中稱為"LF")照相機的攝像裝置已被商業(yè)化。該攝像 裝置能夠通過布置在圖像傳感器上的微透鏡陣列分割入射光，來拍攝多個方向上的光并獲 得光線信息。下文中，LF照相機拍攝的圖像被稱為"LF圖像"，并且圖像數(shù)據(jù)被稱為"LF數(shù) 據(jù)"。通過在拍攝之后基于與LF數(shù)據(jù)相關(guān)的光線強度及其入射方向執(zhí)行預(yù)定的計算處理， 能夠重構(gòu)在可選視點的圖像和W可選景深聚焦在可選位置的圖像。目P，通過在記錄的數(shù)據(jù) 上進行算法處理，能夠在拍攝之后重構(gòu)圖像的視點、焦點位置W及景深，該特征是LF照相 機的優(yōu)點。該重構(gòu)處理被稱為LF圖像的顯影處理。
[0003] 當顯示LF圖像時，一般通過聚焦在預(yù)定的默認焦點位置上來進行顯影處理。例 如，存儲在上次LF圖像顯示期間的設(shè)置信息作為默認焦點位置，并且下次使用該設(shè)置信 息。另外，一般進行如下圖像捜索（被攝體捜索）：包括人物的被攝體被指定為捜索條件， 并且通過使用被攝體識別和元數(shù)據(jù)來捜索指定的被攝體的圖像。日本特開2010-086194號 公報公開了圖像捜索結(jié)果的呈現(xiàn)方法。
[0004] 如上所述，上次LF圖像顯示期間的焦點位置等被設(shè)置為默認，通過聚焦在該焦點 位置來進行顯影，并顯示LF圖像，但是在運種設(shè)置下，被攝體未必總是被聚焦的。圖16A例 示了LF圖像的示例。運例示了在S個被攝體12U122和123當中聚焦在被攝體122上的 狀態(tài)作為默認狀態(tài)。因此，即使通過聚焦在默認焦點位置上來進行顯影，也未必總是聚焦在 被指定為捜索目標的被攝體（例如，被攝體123)上。因此，用戶需要在再次調(diào)整焦點位置 的同時捜索待捜索的被攝體。例如，如圖16B中LF圖像的示例所示，用戶需要進行調(diào)整操 作W聚焦在作為捜索目標的被攝體123上，因此，操作是復(fù)雜的。 陽0化]另外，日本特開2010-086194號公報中的現(xiàn)有技術(shù)公開了改變強調(diào)待捜索的被攝 體的分帖線的形狀或顏色，但是并未考慮待顯示的圖像的焦點位置。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明在處理光場數(shù)據(jù)的圖像處理設(shè)備中，通過聚焦在待捜索的被攝體上來提高 用戶的便利性。
[0007] 根據(jù)本發(fā)明的設(shè)備包括：第一圖像生成單元，其被構(gòu)造為由各自聚焦狀態(tài)可改變 的多個光場數(shù)據(jù)中的各個生成具有預(yù)定景深的第一圖像；捜索單元，其被構(gòu)造為通過分析 所述第一圖像生成單元生成的所述第一圖像，來捜索包括預(yù)定被攝體的光場數(shù)據(jù)；W及第 二圖像生成單元，其被構(gòu)造為基于所述捜索單元捜索到的所述光場數(shù)據(jù)，生成具有比所述 第一圖像淺的景深并且聚焦在所述預(yù)定被攝體上的第二圖像。
[0008] 根據(jù)本發(fā)明，聚焦在待捜索的被攝體上能夠提高用戶的便利性。
[0009] 通過W下（參照附圖）對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0010] 圖IA和圖IB是例示LF照相機內(nèi)部的結(jié)構(gòu)示例A和B的示意圖。
[0011] 圖2是例示在微透鏡陣列12與圖像傳感器13的各像素之間的位置關(guān)系的示意 圖。
[0012] 圖3是例示在到微透鏡的入射光的行進方向與圖像傳感器13的記錄區(qū)域之間的 關(guān)系的示意圖。
[0013] 圖4是例示入射到圖像傳感器13的光線的信息的示意圖。
[0014] 圖5是例示重新聚焦算法處理的示意圖。
[0015] 圖6是例示在到微透鏡的入射角的差異與圖像傳感器13中的記錄區(qū)域之間的關(guān) 系的不意圖。
[0016] 圖7是例示針對景深的調(diào)整處理的示意圖。
[0017] 圖8是例示根據(jù)本發(fā)明的實施例的圖像顯示設(shè)備的概況的框圖。
[0018] 圖9是例示圖8的被攝體捜索單元的概況的框圖。
[0019] 圖10是例示圖8中被攝體捜索單元的處理示例的流程圖。
[0020] 圖11是例示圖8中顯示圖像生成單元的概況的框圖。
[0021] 圖12是例示圖8中顯示圖像生成單元的處理示例的流程圖。
[0022] 圖13是例示根據(jù)本發(fā)明的第二實施例的顯示圖像生成單元的處理示例的流程 圖。
[0023] 圖14是例示根據(jù)本發(fā)明的第=實施例的顯示圖像生成單元的處理示例的流程 圖。
[0024] 圖15是例示根據(jù)本發(fā)明的第四實施例的顯示圖像生成單元的處理示例的流程 圖。
[0025] 圖16A和圖1她是例示LF圖像的示例的圖。
[00%] 圖17A和圖17B是例示全景聚焦（pan-focus)圖像的示例和對用戶的通知處理的 示例的圖。
【具體實施方式】
[0027] 下文中，參照附圖詳細詳細描述本發(fā)明的各實施例。在描述根據(jù)本發(fā)明的實施例 的圖像處理設(shè)備之前，將描述LF照相機。
[0028] 圖1例示了LF照相機的示意性結(jié)構(gòu)。圖像傳感器13對從被攝體通過構(gòu)成攝像光 學(xué)系統(tǒng)的攝像透鏡11入射到微透鏡陣列12的光進行光電轉(zhuǎn)換，并獲得電信號。注意，運里 獲得的攝像數(shù)據(jù)是LF數(shù)據(jù)。
[0029] 攝像透鏡11將來自被攝體的光投射到微透鏡陣列12。攝像透鏡11可更換，并且 通過將攝像透鏡11安裝在攝像裝置10的主體上來使用攝像透鏡11。用戶能夠通過攝像透 鏡11的縮放操作來改變攝像倍率。通過將微透鏡布置為網(wǎng)格狀來構(gòu)造微透鏡陣列12,并且 該微透鏡陣列12位于攝像透鏡11與圖像傳感器13之間。構(gòu)成微透鏡陣列12的各微透鏡 分割攝像透鏡11的入射光，并且向圖像傳感器13輸出分割的光。構(gòu)成攝像單元的圖像傳 感器13是具有多個像素的攝像元件，并且在各像素處檢測光強度。通過各微透鏡分割的光 入射到接收來自被攝體的光的圖像傳感器13的各像素。
[0030] 圖2是例示在微透鏡陣列12與圖像傳感器13的各像素之間的位置關(guān)系的示意 圖。微透鏡陣列12的各微透鏡被布置為與圖像傳感器13中的多個像素相對應(yīng)。由各微透 鏡分割的光入射到圖像傳感器13中的各像素，并且能夠在各像素處檢測到自不同方向的 光強度（光線信息）。此外，根據(jù)在各微透鏡與圖像傳感器13中的各像素之間的位置關(guān)系， 能夠知道通過微透鏡入射到圖像傳感器13中的各像素的光線的入射方向（方向信息）。具 體而言，根據(jù)光強度的分布檢測光的行進方向的信息。能夠通過對位于與來自各微透鏡的 光軸的偏屯、量相對應(yīng)的位置處的圖像傳感器13中的像素的各輸出進行合成，來獲得在距 微透鏡陣列12的透鏡頂點面不同距離的聚焦面上的圖像。注意，光線由函數(shù)表示，使用例 如位置、方向W及波長等的參數(shù)，通過兩個平行面來使該函數(shù)參數(shù)化。具體而言，根據(jù)與各 個微透鏡相對應(yīng)的多個像素的布置來確定到各個像素的光的入射方向。如上所述，攝像裝 置10獲得光線信息和方向信息，并進行光線的排序和計算處理（下文中稱為"重構(gòu)"），從 而能夠生成在光學(xué)焦點位置和光學(xué)視點處的圖像數(shù)據(jù)。關(guān)于光線的信息和關(guān)于方向的信息 被包括在LF數(shù)據(jù)中。運種情況下的焦點位置使得用戶能夠在拍攝之后聚焦在期望的圖像 區(qū)域中。
[0031] 圖3是例示在到微透鏡陣列12的微透鏡的入射光線的行進方向與圖像傳感器13 的記錄區(qū)域之間的關(guān)系的示意圖。在微透鏡陣列12上形成通過攝像透鏡11的被攝體圖像， 并且圖像傳感器13通過微透鏡陣列12被接收到微透鏡陣列12的入射光線。此時，如圖3 所示，在圖像傳感器13上不同位置處被接收根據(jù)入射到微透鏡陣列12的光線的行進方向 來對其進行接收，并且針對各微透鏡形成攝像透鏡11的形狀的相似形的被攝體圖像。
[0032] 圖4是例示入射到圖像傳感器13的光線的信息的示意圖。將使用圖4描述圖像 傳感器13接收到的光線。運里，在攝像透鏡11的透鏡表面上的直角坐標系被表示為（U， V)，并且在圖像傳感器13的攝像面上的直角坐標系被表示為（X，y)。此外，在攝像透鏡11 的透鏡表面與圖像傳感器13的攝像面之間的距離被表示為"F"。因此，通過攝像透鏡11和 圖像傳感器13的光強度可W被表示為圖中所示的四維函數(shù)L(u，v，x，y)。由于入射到各個 微透鏡的光線依據(jù)行進方向入射到不同的像素，因此除