專利名稱：解碼方法、解碼裝置以及電子照相機的制作方法
技術領域：
本發(fā)明涉及對由全光相機(Plenoptic Camera)所拍攝并編碼的圖像 進行解碼的解碼方法、解碼裝置以及在光學系統(tǒng)的形狀上具有特征的電 子照相機。
背景技術：
圖25是用于說明通常的照相機的對焦功能的圖。通過對焦鏡頭121 和未圖示的其他光學系統(tǒng)(例如變焦光學系統(tǒng))被聚光的光被投射到配 置在像平面121F上的攝像元件27上。如箭頭121B所示，對焦鏡頭121 相對于像平面121F的位置能沿著光軸121H而變更。該對焦鏡頭121的 位置在例如自動對焦(AF)等的控制時用于照相機的固件等的處理，并 使用離散數(shù)值來管理。圖中121A表示這種"對焦值"。在通常的照相機的光學系統(tǒng)包含變焦光學系統(tǒng)的情況下、或者是復 雜的光學系統(tǒng)的情況下，對焦鏡頭121由包含多個透鏡的透鏡組構成。 在該情況下，對焦值121A成為表示這種透鏡組的可變更和可控制的總體 狀態(tài)的值。照相機的鏡頭以使平面上的物體在平面上成像為基礎。這里，將通 過配置成規(guī)定的對焦值的對焦鏡頭121沒有模糊地成像在像平面121F上 的平面稱為"最佳的物體平面"。當被攝體位于最佳的物體平面121D上 時，在完全對焦的狀態(tài)下成像在攝像元件127上。通過改變對焦值121A， 可改變從像平面121F到最佳的物體平面121D的距離、即被攝體距離 121E。對焦值121A與被攝體距離121E —對一對應。實際上，即使存在與模糊的容許范圍對應的被攝場深度121G，并且物體平面121J從最佳的物體平面錯開該深度121G的量，光也會在實質 上對焦的狀態(tài)下被投射到攝像元件127上。圖26A示出使用這種通常的照相機進行攝影的情況。首先，通過自 動對焦或者用戶的手動對焦的操作使焦點對準被攝體X。該動作對應于 通過使對焦鏡頭121沿光軸方向121H移動，來使最佳的物體平面121D 與被攝體X的被攝體面一致。圖26A示出對焦鏡頭121移動到某個對焦 值121A，并且最佳的物體平面121D與被攝體X的被攝體面一致的狀態(tài)。 當在該狀況下按下釋放按鈕時，來自被攝體X的光經(jīng)由對焦鏡頭121在 對焦的狀態(tài)下被投射到攝像元件127上。與此相對，如圖26B所示，全光相機將來自被攝體X的光投射到微 透鏡陣列25上。g卩，在圖26B中的像平面121F上設置有微透鏡陣列， 攝像元件127配置在其后方的面上。根據(jù)這種結構，投射到微透鏡陣列125 上的來自被攝體X的各種光線K1、 K2、 K3被各個微透鏡125A分離，被 投射到攝像元件127的一部分127A上。因此，在由攝像元件的一部分127A 成像的信息內(nèi)包含有光線方向的信息。另一方面，由于被攝體X的光被投 射到微透鏡陣列125上，因而可以說，在攝像元件127的成像結果中包 含有位置信息，該位置信息表示光線是來自被攝體的哪個位置的光。這樣，全光相機的攝像元件的成像結果即圖像信息(光場(Light Field)圖像)包含有空間中的光線的信息(光線信息)。如上所述，全光 相機可對四維的光線信息進行采樣。例如，在美國登記專利6,097,394中公開了對光線信息(光場圖像信 息)進行編碼的方法。在該方法中，為了提高解碼速度，采用了矢量量 子化。并且，該方法不同于例如在對解碼數(shù)據(jù)的存取較為復雜的動態(tài)圖 像專家組(Moving Picture Experts Group (MPEG))等中采用的預測編碼， 而是參照碼書(Codebook)(字典數(shù)據(jù))內(nèi)的索引并將其輸出來進行矢量 編碼數(shù)據(jù)的解碼。然而，上述那樣的對光線信息進行編碼的照相機例如使用一個對焦 值進行攝影并對光線信息進行編碼和存儲。之后，上述照相機讀出光線信息并對其進行解碼，可根據(jù)該信息生成與多個對焦值對應的圖像并顯示。然而，在上述的美國登記專利6，097，394中，對根據(jù)光線信息在什么 樣的時機生成并顯示與多個對焦值對應的圖像卻未作公幵。在"Fourier Slice Photography", RenNg， Stanford University, 2005 中公開了傅立葉切片(Fourier Slicing)法，該方法對由全光相機所取得 的圖像進行重新對焦(Refocus)來生成以各種對焦值進行了對焦的圖像。 然而，該"Fourier Slice Photography", RenNg， Stanford University, 2005 對取得光線信息的全光相機等設備在什么樣的時機生成并顯示與多個對 焦值對應的圖像卻未作公開。并且，在上述的美國登記專利6,097,394中記載的編碼方法中，由于 使用試錯(Try and Error),因而處理負荷大，在使用便攜型全光相機進 行實時攝像的情況下未必適當。因此，期待出現(xiàn)一種組裝到便攜型全光 相機內(nèi)的更為適當?shù)木幋a方法和解碼方法。發(fā)明內(nèi)容本發(fā)明的第一 目的是提供可對經(jīng)編碼的光線信息進行解碼來生成圖 像信息、并可根據(jù)該圖像信息高效地生成并顯示與多個對焦值對應的圖 像的解碼方法和解碼裝置以及電子照相機。在本發(fā)明的第1方式中，提供了一種解碼方法，該解碼方法對經(jīng)編 碼的光線信息進行解碼，該光線信息包含來自被攝體的光線入射到規(guī)定 面上時在該面上的位置信息以及該光線入射到上述面上的角度信息，該 解碼方法具有以下步驟對在被攝體攝影時所獲得且與上述被攝體相關 聯(lián)的經(jīng)編碼的第1圖像信息和與上述第1圖像信息不同種類的經(jīng)編碼的 第2圖像信息進行解碼，并根據(jù)經(jīng)解碼的第1圖像信息和第2圖像信息 生成上述光線信息；根據(jù)上述所生成的光線信息，生成與被攝體攝影時 的第1對焦值對應的圖像信息并將其存儲在存儲介質內(nèi)；顯示基于與上 述第1對焦值對應的圖像信息的圖像；以及根據(jù)上述所生成的上述光線 信息，生成與不同于上述第1對焦值的第2對焦值對應的圖像信息并將 其存儲在上述存儲介質內(nèi)；其中，生成并存儲與上述第2對焦值對應的圖像信息的步驟與上述顯示的步驟并行執(zhí)行或者先于上述顯示的步驟執(zhí) 行。在本發(fā)明的第2方式中，提供了一種解碼裝置，該解碼裝置對經(jīng)編 碼的光線信息進行解碼，該光線信息包含來自被攝體的光線入射到規(guī)定 面上時在該面上的位置信息以及該光線入射到上述面上的角度信息，該 解碼裝置具有解碼部，其對在被攝體攝影時所獲得且與上述被攝體相 關聯(lián)的經(jīng)編碼的第1圖像信息和與上述第1圖像信息不同種類的經(jīng)編碼 的第2圖像信息進行解碼，生成上述光線信息；第1圖像生成部，其根 據(jù)上述所生成的光線信息，生成與被攝體攝影時的第1對焦值對應的圖 像信息并將其存儲在存儲介質內(nèi)；顯示部，其顯示與由上述第1圖像生 成部所生成的上述圖像信息對應的圖像；以及第2圖像生成部，其根據(jù) 由上述解碼部所生成的上述光線信息，生成與不同于上述第1對焦值的 第2對焦值對應的圖像信息并將其存儲在上述存儲介質內(nèi)。在本發(fā)明的第3方式中，提供了一種電子照相機，該電子照相機具 有對焦鏡頭；微透鏡陣列，其由配置在上述對焦鏡頭的焦點位置上的 多個微透鏡構成；攝像元件，其由二維配置的多個像素構成，上述多個 像素將依次通過上述對焦鏡頭和上述多個微透鏡各方而形成的被攝體像 轉換成電信號；以及編碼部，其對與上述多個像素的受光結果對應的光 線信息進行編碼；其中，上述對焦鏡頭的與光軸垂直的面的二維形狀和 構成上述微透鏡陣列的各微透鏡的二維形狀大致相同。在本發(fā)明的第4方式中，提供了一種解碼方法，該解碼方法對與經(jīng) 編碼的光線信息對應的圖像數(shù)據(jù)進行解碼，該光線信息包含來自被攝體 的光線入射到規(guī)定面上時在該面上的位置信息以及該光線入射到上述面 上的角度信息，該解碼方法具有以下步驟對在被攝體攝影時所獲得且 構成上述經(jīng)編碼的光線信息的第1圖像信息進行解碼，生成與構成上述 圖像數(shù)據(jù)的多個二維塊數(shù)據(jù)分別對應的第1像素數(shù)據(jù)；針對上述多個二 維塊數(shù)據(jù)各方，根據(jù)該二維塊數(shù)據(jù)的上述第1像素數(shù)據(jù)，對構成上述經(jīng) 編碼的光線信息的第2圖像信息進行解碼，生成第2像素數(shù)據(jù)；根據(jù)上 述第1像素數(shù)據(jù)和上述第2像素數(shù)據(jù)，生成與被攝體攝影時的第1對焦值對應的圖像數(shù)據(jù)并將其存儲在存儲介質內(nèi)；顯示與上述第1對焦值對 應的圖像數(shù)據(jù)；以及根據(jù)上述第1像素數(shù)據(jù)和上述第2像素數(shù)據(jù)，生成 與不同于上述第1對焦值的第2對焦值對應的圖像數(shù)據(jù)并將其存儲在存 儲介質內(nèi)。本發(fā)明的其他優(yōu)點將在隨后的說明中進行闡述，其中一部分根據(jù)該 說明將變得顯而易見，或者可以通過本發(fā)明的實踐而獲知。本發(fā)明的優(yōu) 點可以借助于下文中具體指出的手段和組合來實現(xiàn)并獲得。


包含于說明書中并構成說明書的一部分的附圖例示了本發(fā)明的實施 方式，并與以上給出的一般說明和以下給出的實施方式的詳細說明一起 用于對本發(fā)明的原理進行闡述。圖1A和圖1B是本發(fā)明的第1實施方式的數(shù)字照相機的外觀圖。 圖2是本發(fā)明的第1實施方式的數(shù)字照相機的整體結構圖。 圖3是用于說明圖2所示的微透鏡陣列和攝像部的像素之間的關系 的圖。圖4是用于說明微透鏡塊的圖。圖5是用于說明圖2所示的處理部的功能的一部分的功能框圖。 圖6是用于說明圖5所示的像素數(shù)據(jù)生成部的處理的流程圖。 圖7是用于說明本發(fā)明的實施方式中的微透鏡塊的圖。 圖8是用于說明本發(fā)明的實施方式中的處理塊的圖。 圖9A和圖9B是用于說明本發(fā)明的實施方式中的微透鏡塊的編碼方 法的圖。圖IO是用于說明本發(fā)明的實施方式的編碼方法中采用的Z形掃描的圖。圖11是用于說明本發(fā)明的實施方式中記錄被編碼的圖像數(shù)據(jù)的格式 的圖。圖12是用于說明對與圖2所示的攝像部的成像結果對應的圖像數(shù)據(jù) 進行編碼并將其寫入到工作存儲器內(nèi)的動作的流程圖。圖13是用于說明圖12所示的步驟S24的處理的流程圖。 圖14是用于說明本發(fā)明的實施方式中的再現(xiàn)處理的流程圖。 圖15是用于說明本發(fā)明的實施方式中的再現(xiàn)處理的接著圖14的流 程圖。圖16是用于說明圖14和圖15所示的再現(xiàn)處理中的數(shù)據(jù)流向的圖。 圖17A、圖17B、圖17C是用于說明圖14所示的再現(xiàn)處理的圖。 圖18是用于說明本發(fā)明的實施方式的數(shù)字照相機在再現(xiàn)時的對焦 和變焦的調(diào)整處理的流程圖。圖19是用于說明鏡頭推近圖像的圖。圖20是用于說明根據(jù)由全光相機所拍攝的圖像信息而生成從各種 描繪角度觀察對象物而觀察到的圖像的情況的圖。圖21是用于說明操作了圖1B所示的十字操作部的情況的處理的流 程圖。圖22是用于說明本發(fā)明的第2實施方式的數(shù)字照相機的光學系統(tǒng)的 結構的圖。圖23是用于說明使用光學系統(tǒng)是圓形的且為8X8像素的攝像部的情況的有效像素的圖。圖24是用于說明使用光學系統(tǒng)是矩形的且為8X8像素的攝像部的情況的有效像素的圖。圖25是用于說明通常的照相機的原理的圖。圖26A是用于說明現(xiàn)有的照相機的攝像原理的圖。圖26B是用于說明現(xiàn)有的全光相機的攝像原理的圖。
具體實施方式
以下，對本發(fā)明的實施方式的數(shù)字照相機進行說明。 <第1實施方式〉圖1A和圖1B是本發(fā)明的第1實施方式的數(shù)字照相機1的外觀圖。 如圖1A所示，在數(shù)字照相機1的前表面配置有來自被攝體的光入射的光 入射口 4以及閃光燈5。數(shù)字照相機1的可拆裝存儲器39構成為可拆裝。并且，在數(shù)字照相機1的上表面配置有用于執(zhí)行靜態(tài)圖像攝影的釋放開關6。
如圖1B所示，在數(shù)字照相機1的背面配置有液晶等的顯示部43和 操作部22。
圖2是本發(fā)明的實施方式的數(shù)字照相機1的內(nèi)部結構圖。如圖2所 示，數(shù)字照相機l例如具有操作部22，光學系統(tǒng)23，微透鏡陣列25， 攝像部27，模擬前端(Analog Front End (AFE)) 29，工作存儲器31， 處理部32，存儲器接口 (I/F)33，內(nèi)部存儲器35，存儲器接口 (I/F) 37， 可拆裝存儲器39，視頻存儲器41，顯示部43，外部接口 (I/F) 45，快 閃存儲器47，以及CPU48。
AFE 29、工作存儲器31、處理部32、存儲器接口 33、存儲器接口 37、視頻存儲器41、外部接口45以及CPU48經(jīng)由信號線21電連接。
如圖1B所示，操作部22具有鏡頭推近按鈕810，鏡頭拉遠按鈕 811，對焦值向前按鈕820，以及對焦值向后按鈕821。鏡頭推近按鈕810、 鏡頭拉遠按鈕811、對焦值向前按鈕820以及對焦值向后按鈕821配置成 十字形狀。在數(shù)字照相機1的背面的上側配置有對焦值向前按鈕820。在 數(shù)字照相機l的背面的下側配置有對焦值向后按鈕821。并且，在數(shù)字照 相機1的背面的右側配置有鏡頭推近按鈕810。在數(shù)字照相機1的背面的 左側配置有鏡頭拉遠按鈕811。
圖1A所示的按鈕的配置是一例，能適當變更。
而且，操作部22例如在數(shù)字照相機1的背面的按鈕810、 811、 820、 821的下側配置有十字操作部830。十字操作部830構成為，在位于中心 的確定(OK)按鈕831的周圍配置有上箭頭按鈕832、下箭頭按鈕833、 右箭頭按鈕834以及左箭頭按鈕835。上箭頭按鈕832、下箭頭按鈕833、 右箭頭按鈕834以及左箭頭按鈕835在按下了確定按鈕831的狀態(tài)下被 按下、和在未按下確定按鈕831的狀態(tài)下被按下這兩種情況下具有不同 的模式。
在按下了確定按鈕831的狀態(tài)下，上箭頭按鈕832、下箭頭按鈕833、 右箭頭按鈕834以及左箭頭按鈕835用于指定再現(xiàn)圖像的描繪角度。再現(xiàn)圖像的描繪角度例如可針對上下左右分別在0 10。的范圍內(nèi)指定。數(shù)字照相機1是使用圖25B所說明的全光相機，根據(jù)光線信息生成多個描 繪角度的再現(xiàn)圖像。并且，在未按下確定按鈕831的狀態(tài)下，上箭頭按鈕832、下箭頭 按鈕833、右箭頭按鈕834以及左箭頭按鈕835用于使在再現(xiàn)圖像內(nèi)顯示 變焦圖像的窗朝上下左右移動。而且，操作部22具有圖像保存按鈕840和取消按鈕841。圖像保存 按鈕840用于保存例如根據(jù)光線信息而生成的與某個對焦值對應的圖像、 或者某個描繪角度的圖像。取消按鈕841用于所有操作的取消、或者使 用中的模式的解除等。光學系統(tǒng)23例如由對焦鏡頭23a和變焦鏡頭23b構成。光學系統(tǒng)23 對來自被攝體的光進行聚光等并使其朝微透鏡陣列25射出。對焦鏡頭23a將來自被攝體的各點的光投射到微透鏡陣列25上的一 個會聚點上。例如在攝影模式中，當按下了鏡頭推近按鈕810時，變焦 鏡頭23b朝鏡頭推近方向(廣角側)移動，當按下了鏡頭拉遠按鈕811 時，變焦鏡頭23b朝鏡頭拉遠方向(望遠側)移動。在本實施方式中，對焦鏡頭23a和變焦鏡頭23b的二維形狀例如是 圓形。如圖3和圖4所示，微透鏡陣列25由配置成sXt的矩陣狀的多個微 透鏡ML (s、 t)構成。構成微透鏡陣列25的各微透鏡將入射到該微透 鏡的來自被攝體的各點的光(會聚光)按照來自該點的射出方向(角度) 進行分離(separate),并投射到攝像部27的攝像面上的對應的像素上。攝像部27是CCD或CMOS傳感器，其相對于微透鏡陣列25位于 光學系統(tǒng)23的相反側。攝像部27既可以是單板式，也可以是三板式。 攝像部27構成為把多個像素配置成矩陣狀。在本實施方式中，例如，對 于構成攝像部27的像素，以6X6像素的微透鏡塊MLB為單位來處理。 微透鏡塊MLB (s、 t)例如與一個微透鏡ML (s、 t)相對應。另外，微 透鏡塊MLB (s、 t)無需與一個微透鏡ML (s、 t) 一對一地相對應。微 透鏡塊MLB (s、 t)也可以通過像素插值處理等來生成。如圖4所示，各微透鏡塊MLB (s、 t)被分配6X6的像素PIC (u， v)。攝像部27生成與對各像素所接收的光進行光電轉換而產(chǎn)生的電荷對 應的模擬RAW圖像信號。在本實施方式中，如后所述，處理部32根據(jù)由RAW圖像信號得到 的數(shù)字RAW圖像數(shù)據(jù)進行插值處理等，生成各微透鏡塊MLB (s、 t)的 像素PIC (u， v)的像素數(shù)據(jù)L (u， v, s， t)。在本實施方式中，各微透鏡塊MLB (s、 t)的6X6的像素的像素數(shù) 據(jù)L (u， v， s， t)具有光線信息。廣義上的光線信息是指光線的信息。 一般，為了獲得光線的信息， 需要獲得該光線在自由空間內(nèi)通過的一點(x， y, z)和通過該點時的角 度(e， (j))。然而，在數(shù)字照相機l的攝影等中所設想的自由空間中，無 論取光線上的哪個點放射亮度都是不變的，因而將一般的光線信息視為 四維的光線信息。即，這里的光線信息是包含光線與規(guī)定的二維多樣體 交叉的點的位置和入射到該多樣體的角度的信息在內(nèi)的信息。此時，規(guī) 定的多樣體是假想的，是任意的多樣體。規(guī)定的多樣體例如是平面或球 面。并且，多樣體也可以不是單一的，例如還可以由2個不同的平面構 成。而且，根據(jù)光線信息的用途，還可以不是四維的光線信息，而是三 維的光線信息，其中，該三維的光線信息是基于僅考慮光線與規(guī)定的平 面交叉的點的位置(二維)、和入射到該平面的角度(二維)中的該光線 與平面上的一個方向矢量所成的角度(一維)的信息。而且，還可以把光線信息描述為兩個規(guī)定的第1平面與第2平面交 叉的2個部位的信息。這樣的描述方法例如記載在美國登記專利6,097，394中。在本實施方式中的數(shù)字照相機1中，可把微透鏡陣列25的平面設為 規(guī)定的平面。此時，可以視為用坐標(s、 t)描述該平面上的位置，并用 坐標(u， v)描述針對該平面的入射角。AFE 29對從攝像部27所輸入的模擬圖像信號實施規(guī)定的模擬前端 處理。然后，AFE29對處理后得到的圖像信號進行A/D轉換，并將通過 A/D轉換得到的數(shù)字RAW圖像數(shù)據(jù)寫入到工作存儲器31內(nèi)。工作存儲器31暫時存儲處理部32的處理對象數(shù)據(jù)或者處理后的數(shù) 據(jù)。工作存儲器31例如是同步(Synchronous) DRAM (SDRAM)。
處理部32如后所述進行通過攝像所得到的圖像數(shù)據(jù)的編碼、解碼等 處理。處理部32例如是數(shù)字信號處理器(Digital Signal Processor) (DSP)。 后面詳細說明處理部32的處理。
內(nèi)部存儲器35例如是快閃存儲器等半導體存儲器，其固定裝入在數(shù) 字照相機1內(nèi)。內(nèi)部存儲器35存儲通過攝像所得到的圖像數(shù)據(jù)，并經(jīng)由 存儲器接口 33將圖像數(shù)據(jù)輸入輸出給信號線21。
可拆裝存儲器39例如是由快閃存儲器構成的存儲卡，其可拆裝地安 裝在數(shù)字照相機1上?？刹鹧b存儲器39存儲通過攝像所得到的圖像數(shù)據(jù)， 并經(jīng)由存儲器接口 37將圖像數(shù)據(jù)輸入輸出給信號線21。
視頻存儲器41暫時存儲由處理部32所生成的顯示用的圖像數(shù)據(jù)。 顯示部43顯示與存儲在視頻存儲器41內(nèi)的圖像數(shù)據(jù)對應的圖像。顯示 部43例如是液晶顯示器。
外部接口 45在與數(shù)字照相機1的外部設備之間進行數(shù)據(jù)的輸入輸 出。外部接口 45例如是通用串行總線(Universal Serial Bus) (USB)接 C3。
快閃存儲器47存儲用于執(zhí)行攝像動作的各種程序和用于執(zhí)行各種 處理的參數(shù)。
CPU 48執(zhí)行從快閃存儲器47所讀出的程序，統(tǒng)一控制數(shù)字照相機1 的動作。
以下，說明圖2所示的處理部32。圖5是用于說明圖2所示的處理 部32的功能的一部分的功能框圖。
如圖5所示，處理部32例如具有像素數(shù)據(jù)生成部50、間隔提取處 理部51、聯(lián)合圖像專家組(JointPhotographic Experts Group) (JPEG)編 碼部53、全光編碼部55、頭部附加部61、頭部解釋部63、 JPEG解碼部 65、全光解碼部67、以及再現(xiàn)圖像生成部68作為功能塊。
另外，可以不使用DSP，而使用專用的硬件電路來構成像素數(shù)據(jù)生 成部50、間隔提取處理部51、 JPEG編碼部53、全光編碼部55、頭部附加部61、頭部解釋部63、 JPEG解碼部65、全光解碼部67以及再現(xiàn)圖像 生成部68中的一部分。并且，也可以利用DSP以外的處理器來實現(xiàn)這些 功能中的一部分或全部。
對處理部32的處理進行大致劃分，例如包括生成像素數(shù)據(jù)L(u， v， s， t)的處理，對像素數(shù)據(jù)L (u， v， s， t)進行編碼的處理，對經(jīng)編 碼的像素數(shù)據(jù)L (u， v， s， t)進行解碼的處理，顯示與經(jīng)解碼的像素數(shù) 據(jù)對應的圖像的處理，以及生成并顯示與所指定的對焦值對應的圖像的 處理。
以下，依次說明各處理。
首先，說明像素數(shù)據(jù)生成部50。圖6是用于說明像素數(shù)據(jù)生成部50 的處理的流程圖。 步驟S11:
像素數(shù)據(jù)生成部50例如從工作存儲器31中讀出RAW圖像數(shù)據(jù)。 步驟S12:
像素數(shù)據(jù)生成部50對所讀出的RAW圖像數(shù)據(jù)進行去馬賽克 (de-mosaic)處理、失調(diào)(Misalliance)校正處理以及插值處理等。去馬 賽克處理是通過在攝影時對各像素從其周邊像素收集不足的顏色信息并 賦予給該像素從而補充顏色信息，制作出全色圖像的處理。例如，在很 多數(shù)字照相機采用的單板式彩色圖像傳感器中，由于各像素僅具有單色 的顏色信息，因而需要去馬賽克處理。在三板式的情況下，不需要去馬 賽克處理。失調(diào)校正處理例如是使RAW圖像數(shù)據(jù)表示的圖像旋轉，校正 圖4所示的微透鏡陣列25的微透鏡ML (s， t)的排列和攝像部27的微 透鏡塊MLB的排列在橫向上的失調(diào)的處理。插值處理例如是為了使各微 透鏡塊MLB包含規(guī)定數(shù)量的像素數(shù)據(jù)而進行的。 步驟S13:
像素數(shù)據(jù)生成部50將在步驟S12所生成的1幀部分的像素數(shù)據(jù)L(u， v， s， t)作為應編碼的圖像數(shù)據(jù)(image data to be encoded) TE寫入到工 作存儲器31等內(nèi)。像素數(shù)據(jù)L (u， v， s， t)是光線信息的一例。
下面，說明用于對應編碼的圖像數(shù)據(jù)TE進行編碼的間隔提取處理部51、 JPEG編碼部53、全光編碼部55以及頭部附加部61。
間隔提取處理部51對構成應編碼的圖像數(shù)據(jù)TE的像素數(shù)據(jù)L (u， v， s， t)中的如圖7所示各微透鏡塊MLB內(nèi)的像素PIC (4， 4)、即像 素PIC (u0， v0)以外的像素PIC (u， v)的像素數(shù)據(jù)L (u， v， s， t) 進行間隔提取，生成圖像數(shù)據(jù)TE2。通過間隔提取，圖像數(shù)據(jù)TE2如圖 8等所示成為由像素數(shù)據(jù)L (u0， v0， s， t)構成的數(shù)據(jù)。
JPEG編碼部53對由間隔提取處理部51所生成的圖像數(shù)據(jù)TE2實 施JPEG編碼處理，生成JPEG哈夫曼代碼(Huffinan Code) JF。 JPEG 哈夫曼代碼JF是第1圖像信息的一例，JPEG編碼部53的編碼處理是第 1編碼處理的一例。在本實施方式中，作為第1編碼處理的一例，例示了 JPEG編碼處理，然而也可以使用其他的空間頻率變換。
JPEG編碼部53對圖像數(shù)據(jù)TE2實施DCT轉換處理而生成DCT轉 換系數(shù)K。然后，JPEG編碼部53對DCT轉換系數(shù)K進行量子化。然后， JPEG編碼部53對量子化后的DCT轉換系數(shù)從低頻分量(直流)向高頻 分量呈Z狀掃描。然后，JPEG編碼部53對掃描后的DCT轉換系數(shù)實施 哈夫曼代碼等的熵編碼，生成JPEG哈夫曼代碼JF。
如圖5所示，全光編碼部55具有路徑掃描部57和LZW處理部59。 如上所述，JPEG編碼部53對由像素數(shù)據(jù)L (u0， v0， s， t)構成的 圖像數(shù)據(jù)TE2進行編碼。與此相對，全光編碼部55對應編碼的圖像數(shù)據(jù) TE內(nèi)的像素數(shù)據(jù)L (uO7 v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)進 行可逆編碼，生成字串數(shù)據(jù)WORD。
如圖9A所示，路徑掃描部57以各微透鏡塊MLB內(nèi)的像素PIC(uO， v0)為基點，沿著路徑PATH1、 PATH2、 PATH3、 PATH4、 PATH5這5 個路徑掃描像素PIC (u0， v0)以外的像素PIC (u， v)的像素數(shù)據(jù)L (u， v， s， t)。
這里，路徑掃描部57在路徑PATH1的掃描中，生成像素數(shù)據(jù)L(5， 4， s， t)與像素數(shù)據(jù)L (u0， v0， s， t)的差分數(shù)據(jù)D (5， 4， s， t)、像 素數(shù)據(jù)L (5， 3， s， t)與像素數(shù)據(jù)L (5， 4， s， O的差分數(shù)據(jù)D (5， 3， s， t)、像素數(shù)據(jù)L (6， 3， s， t)與像素數(shù)據(jù)L (5， 3， s， t)的差分數(shù)據(jù)D (6， 3， s， t)、以及像素數(shù)據(jù)L (6， 4， s， t)與像素數(shù)據(jù)L (6， 3， s， t)的差分數(shù)據(jù)D (6， 4， s， t)。然后，路徑掃描部57生成由差分 數(shù)據(jù)D (5， 4， s， t)、 D (5， 3， s， t)、 D (6， 3， s， t)、 D (6， 4， s， O構成的字W0RD1。
并且，路徑掃描部57在路徑PATH2的掃描中，生成像素數(shù)據(jù)L(4， 3， s， t)與像素數(shù)據(jù)L (u0， v0， s， t)的差分數(shù)據(jù)D (4， 3， s， t)、像 素數(shù)據(jù)L (4， 2， s， t)與像素數(shù)據(jù)L (4， 3， s， t)的差分數(shù)據(jù)D (4， 2， s， t)、像素數(shù)據(jù)L (5， 2， s， t)與像素數(shù)據(jù)L (4， 2， s， t)的差分 數(shù)據(jù)D (5， 2， s, t)、像素數(shù)據(jù)L (4， 1， s， t)與像素數(shù)據(jù)L (5， 2， s， t)的差分數(shù)據(jù)D (4， 1， s， t)、以及像素數(shù)據(jù)L (3， 1， s， t)與像 素數(shù)據(jù)L (4， 1， s， t)的差分數(shù)據(jù)D (3， 1， s， t)。然后，路徑掃描部 57生成由差分數(shù)據(jù)D (4， 3， s， t)、 D (4， 2， s， t)、 D (5， 2， s， t)、 D (4， 1， s， t)、 D (3， 1， s， t)構成的字WORD2。
并且，路徑掃描部57在路徑PATH3的掃描中，生成像素數(shù)據(jù)L(3， 3， s， t)與像素數(shù)據(jù)L (u0， v0， s， t)的差分數(shù)據(jù)D (3， 3， s， t)、像 素數(shù)據(jù)L (3， 2， s， t)與像素數(shù)據(jù)L (3， 3, s， t)的差分數(shù)據(jù)D (3， 2， s， t)、像素數(shù)據(jù)L (2， 2， s， t)與像素數(shù)據(jù)L (3， 2， s， t)的差分 數(shù)據(jù)D (2， 2， s， t)、像素數(shù)據(jù)L (2， 3, s， t)與像素數(shù)據(jù)L (2， 2， s， t)的差分數(shù)據(jù)D (2， 3， s， t)、以及像素數(shù)據(jù)L (1， 3， s， t)與像 素數(shù)據(jù)L (2， 3， s， t)的差分數(shù)據(jù)D (1， 3， s， t)。然后，路徑掃描部 57生成由差數(shù)據(jù)D (3， 3， s， t)、 D (3， 2, s， t)、 D (2， 2， s， t)、 D (2， 3， s， t)、 D (1， 3， s， t)構成的字WORD3。
并且，路徑掃描部57在路徑PATH4的掃描中，生成像素數(shù)據(jù)L (3， 4， s, t)與像素數(shù)據(jù)L (u0， v0， s， t)的差分數(shù)據(jù)D (3， 4， s， t)、像 素數(shù)據(jù)L (2， 5， s， t)與像素數(shù)據(jù)L (3， 4， s， t)的差分數(shù)據(jù)D (2， 5， s， t)、像素數(shù)據(jù)L (2， 4， s， t)與像素數(shù)據(jù)L (2, 5， s， t)的差分 數(shù)據(jù)D (2， 4， s， t)、以及像素數(shù)據(jù)L (1， 4， s， t)與像素數(shù)據(jù)L (2， 4， s， t)的差分數(shù)據(jù)D (1， 4， s， t)。然后，路徑掃描部57生成由差分 數(shù)據(jù)D (3， 4， s， t)、 D (2， 5， s， t)、 D (2， 4， s， t)、 D (1， 4， s，t)構成的字WORD4。
并且，路徑掃描部57在路徑PATH5的掃描中，生成像素數(shù)據(jù)L(4, 5， s， t)與像素數(shù)據(jù)L (uO, v0， s， t)的差分數(shù)據(jù)D (4， 5， s， t)、像 素數(shù)據(jù)L (3， 5， s， t)與像素數(shù)據(jù)L (4， 5， s， t)的差分數(shù)據(jù)D (3， 5， s， t)、像素數(shù)據(jù)L (3， 6， s， t)與像素數(shù)據(jù)L (3， 5， s， t)的差分 數(shù)據(jù)D (3， 6， s， t)、像素數(shù)據(jù)L (4， 6, s， t)與像素數(shù)據(jù)L (3， 6， s， t)的差分數(shù)據(jù)D (4， 6， s， t)、以及像素數(shù)據(jù)L (5， 5， s， t)與像 素數(shù)據(jù)L (4, 6， s， t)的差分數(shù)據(jù)D (5， 5， s, t)。然后，路徑掃描部 57生成由差分數(shù)據(jù)D (4， 5， s， 0、 D (3， 5， s， t)、 D (3， 6， s， t)、 D (4， 6， s， t)、 D (5， 5, s， t)構成的字WORD5。
這里，如圖7所示，各微透鏡塊MLB內(nèi)的4個角的像素PIC(u， v) 的像素數(shù)據(jù)L (1， 1， s， t)、 L (1， 2， s， t)、 L (2， 1， s, t)、 L (5， 1， s， t)、 L (6， 1， s， t)、 L (6, 2， s， t)、 L (1， 5， s， t)、 L (1， 6， s， t)、 L (2， 6, s， 0、 L (5， 6， s， t)、 L (6， 5， s， t)、 L (6， 6， s， t)由于微透鏡塊MLB與微透鏡ML的位置關系的原因而不能獲得有效 的像素數(shù)據(jù)，因而不進行上述的掃描。不能在各微透鏡塊MLB內(nèi)的4個 角的像素中獲得有效的像素數(shù)據(jù)是因為，包含對焦鏡頭23a的光學系統(tǒng) 23具有圓形形狀，經(jīng)由對焦鏡頭23a投影在微透鏡塊MLB上的像具有模 糊不清的圓形形狀。另外，在使對焦鏡頭23a和變焦鏡頭23b為矩形的 情況下，例如圖9B所示，微透鏡ML內(nèi)的4個角的各1個像素以外的像 素的像素數(shù)據(jù)為有效。在該情況下，路徑掃描部57也可以利用圖9B所 示的路徑PATH11 14進行掃描。
路徑掃描部57例如以圖8所示的應編碼的圖像數(shù)據(jù)TE內(nèi)的處理塊 數(shù)據(jù)PRBK為單位，對該處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u， v， s， t)進行上述的掃描處理，生成字串數(shù)據(jù)WORD。另外，處理塊數(shù)據(jù)PRBK 是處理單位塊的一例。并且，微透鏡塊MLB是二維塊數(shù)據(jù)的一例。
這里，在處理塊數(shù)據(jù)PRBK內(nèi)包含8X8合計64個微透鏡塊MLB 的像素數(shù)據(jù)L(u， v， s， t)。因此，路徑掃描部57針對處理塊數(shù)據(jù)PRBK 生成320 (=5X8X8)字的字串數(shù)據(jù)WORD。如圖10所示，路徑掃描部57例如通過Z形掃描，將針對處理塊數(shù) 據(jù)PRBK內(nèi)的8X8合計64個的各個微透鏡塊MLB所生成的字 WORDl 5按順序排列，生成字串數(shù)據(jù)WORD。
LZW處理部59對從路徑掃描部57所輸入的字串數(shù)據(jù)WORD實施 LZW壓縮處理，生成LZW壓縮代碼LZ。另外，LZW處理部59還可以 進行LZW以外的字典庫的通用編碼(LZ編碼)。另外，LZW壓縮代碼 LZ是第2圖像信息的一例，全光編碼部55的編碼處理是第2編碼處理 的一例。
頭部附加部61生成由JPEG編碼部53所生成的JPEG哈夫曼代碼JF 和由LZW處理部59所生成的LZW壓縮代碼LZ的頭部數(shù)據(jù)HEADER。 在頭部數(shù)據(jù)HEADER內(nèi)寫入指向LZW壓縮代碼的指針、縮略圖像數(shù)據(jù)、 文件尺寸、圖像尺寸、攝影日期時間、其他的標簽信息。處理部32將頭 部附加部61所生成的頭部數(shù)據(jù)HEADER、指向LZW壓縮代碼LZ的指 針LZP、 JPEG縮略數(shù)據(jù)THM、以及JPEG哈夫曼代碼JF以圖11所示的 數(shù)據(jù)結構的文件形式寫入到內(nèi)都存儲器35或可拆裝存儲器39內(nèi)。
頭部解釋部63對從工作存儲器31所讀出的JPEG哈夫曼代碼JF和 LZW壓縮代碼LZ的頭部數(shù)據(jù)HEADER進行解釋。頭部解釋部63讀出 指向LZW壓縮代碼LZ的指針LZP，并從由該指針LZP表示的內(nèi)部存儲 器35或可拆裝存儲器39內(nèi)的地址讀出LZW壓縮代碼LZ。之后，頭部 解釋部63把所讀出的LZW壓縮代碼LZ輸出到全光解碼部67。并且， 頭部解釋部63從內(nèi)部存儲器35或可拆裝存儲器39中讀出與LZW壓縮 代碼LZ對應的JPEG哈夫曼代碼JF。之后，頭部解釋部63把所讀出的 JPEG哈夫曼代碼JF輸出到JPEG解碼部65。
JPEG解碼部65對從頭部解釋部63所輸出的JPEG哈夫曼代碼JF 進行JPEG解碼，生成JPEG解碼圖像數(shù)據(jù)。JPEG解碼圖像數(shù)據(jù)由像素 數(shù)據(jù)L (u0， v0， s, t)構成。JPEG解碼部65的解碼處理對應于上述的 JPEG編碼部53的編碼處理。即，JPEG解碼部65對JPEG哈夫曼代碼 JF依次實施哈夫曼解碼處理、逆量子化和逆DCT處理。全光解碼部67 根據(jù)JPEG解碼圖像數(shù)據(jù)對LZW壓縮代碼LZ進行解碼，生成像素數(shù)據(jù)L (u0， v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)。全光解碼部67的解 碼處理例如對應于上述的全光編碼部55的編碼處理。 以下，說明圖5所示的再現(xiàn)圖像生成部68。
再現(xiàn)圖像生成部68根據(jù)由全光解碼部67所解碼并存儲在工作存儲 器31等內(nèi)的像素數(shù)據(jù)L (u， v， s， t)，生成與所指定的對焦值對應的圖 像(再現(xiàn)圖像)數(shù)據(jù)。再現(xiàn)圖像生成部68生成的圖像數(shù)據(jù)的對焦值例如 是根據(jù)圖1B所示的對焦值向前按鈕820或對焦值向后按鈕821的操作信 號來決定的。并且，在再現(xiàn)圖像顯示于顯示部43上的期間，如果按下圖 1B所示的十字操作部830的確定按鈕831，而且操作了上箭頭按鈕832、 下箭頭按鈕833、右箭頭按鈕834以及左箭頭按鈕835，則再現(xiàn)圖像生成 部68生成與該操作對應的描繪角度的再現(xiàn)圖像數(shù)據(jù)。后面詳細說明再現(xiàn) 圖像生成部68的處理。
以下，說明數(shù)字照相機l的動作例。 [圖像數(shù)據(jù)記錄處理]
圖12是用于說明對與攝像部27的成像結果對應的圖像數(shù)據(jù)進行編 碼并將其寫入到工作存儲器31內(nèi)的動作的流禾呈圖。
以下，說明圖12所示的各步驟。另外，以下所示的處理中的一部分 的執(zhí)行順序是任意的。并且，還可以并行執(zhí)行一部分處理。
步驟S21:
當接通了操作部22的釋放開關6時，攝像部27利用各像素接收來 自被攝體的光，對各像素所接收的光進行光電轉換，生成與通過光電轉 換而產(chǎn)生的電荷對應的模擬RAW圖像信號。
步驟S22:
處理部32取得在生成步驟S21的RAW圖像信號時在光學系統(tǒng)23 中使用的鏡頭參數(shù)和對焦值f。另外，對焦值f與圖26B中的被攝體距離 21E為一對一的對應。因此，還可以替代對焦值f，而計算與對焦值f對 應的被攝體距離的值來取得。以下，這樣計算出的被攝體距離也用f表示。 并且，在單焦點照相機的情況下，不需要取得對焦值f。不過，為了再現(xiàn) 處理，也可以取得照相機固有的過焦距的值f作為對焦值。步驟S23:AFE 29對從攝像部27所輸入的模擬圖像信號實施規(guī)定的模擬前端 處理，將對處理后的圖像信號進行A/D轉換而得到的數(shù)字RAW圖像數(shù) 據(jù)寫入到工作存儲器31內(nèi)。像素數(shù)據(jù)生成部50從工作存儲器31中讀出 RAW圖像數(shù)據(jù)，進行去馬賽克(de-mosaic)處理、失調(diào)校正處理、插值 處理等，生成像素數(shù)據(jù)L (u， v， s， t)。之后，像素數(shù)據(jù)生成部50按照 每1幀把由像素數(shù)據(jù)L (u， v， s， t)構成的應編碼的圖像數(shù)據(jù)TE寫入 到工作存儲器31內(nèi)。步驟S24:處理部32從工作存儲器31中讀出應編碼的圖像數(shù)據(jù)TE來進行編 碼，生成JPEG哈夫曼代碼JF和LZW壓縮代碼LZ。然后，處理部32 將這兩個代碼與在步驟S22中取得的鏡頭參數(shù)和對焦值f 一起寫入到工 作存儲器31內(nèi)。這里，在圖5所示的間隔提取處理部51、 JPEG編碼部 53、全光編碼部55和頭部附加部61中進行編碼處理等。關于步驟S24 的處理，將在后面使用圖13進行詳細說明。步驟S25:頭部解釋部63從工作存儲器31中讀出JPEG哈夫曼代碼JF，并對 頭部數(shù)據(jù)HEADER進行解釋，在JPEG解碼部65中進行解碼。由此，生 成像素數(shù)據(jù)L (u0， v0， s， 0。然后，處理部32根據(jù)經(jīng)解碼的像素數(shù)據(jù) L (u0， v0， s， t)，生成縮略圖像數(shù)據(jù)和記錄瀏覽(rec-view)顯示用圖 像數(shù)據(jù)。之后，將通過對縮略圖像數(shù)據(jù)進行JPEG編碼而得到的縮略圖像 數(shù)據(jù)和記錄瀏覽顯示用圖像數(shù)據(jù)寫入到工作存儲器31內(nèi)。縮略圖像數(shù)據(jù) 例如是用于在從用戶接收到索引顯示指示的情況下使顯示部43顯示由多 個縮略圖像構成的索引圖像的圖像數(shù)據(jù)。記錄瀏覽顯示用圖像數(shù)據(jù)是圖 像確認用的圖像數(shù)據(jù)。是用于使被攝體攝影后的確認用的圖像在顯示部 43上顯示一定時間的圖像數(shù)據(jù)。這里，處理部32例如在接收到縮略顯示 指示的情況下，生成縮略圖像數(shù)據(jù)并將其寫入到視頻存儲器41內(nèi)。由此 將縮略圖像顯示在顯示部43上。步驟S26:處理部32從工作存儲器31中讀出寫入在工作存儲器31內(nèi)的JPEG 哈夫曼代碼JTF、 LZW壓縮代碼LZ和JPEG縮略圖像數(shù)據(jù)，將它們寫入 到內(nèi)部存儲器35或者可拆裝存儲器39內(nèi)。 [編碼處理(圖12的步驟S24)]
圖13是用于詳細說明圖12的步驟S24的編碼處理的流程圖。也可 以并行執(zhí)行本實施方式中的圖13所示的步驟S35 S37的處理(JPEG編 碼處理)和步驟S38、 S39的處理(LZW編碼處理)。
步驟S31:
用于確定在JPEG哈夫曼代碼JF的生成中使用的像素PIC (iiO， v0) 的信息被輸入到處理部32。用于確定像素PIC (u0， v0)的信息例如被 預先存儲在規(guī)定的存儲器內(nèi)。在本實施方式中，設u0^v0-4。其原因是 認為微透鏡塊ML的中央部的像素具有最有效的信息。
步驟S32:
處理部32把初始值"0"代入變量PBC。這里，變量PBC表示的值 是用于確定進行編碼的圖8所示的處理塊數(shù)據(jù)PRBK的值。 步驟S33:
處理部32使對變量PBC設定的值加"1 "。 步驟S34:
處理部32從工作存儲器31中讀出與變量PBC表示的值對應的編碼 對象的處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u， v， s， t)。 步驟S35:
間隔提取處理部51根據(jù)在步驟S31所輸入的信息，提取出在步驟 S34所讀出的處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u， v， s， t)中的像素 數(shù)據(jù)L (uO， v0， s， t)，生成圖像數(shù)據(jù)TE2。然后，JPEG編碼部53對 圖像數(shù)據(jù)TE2實施DCT轉換處理，生成DCT轉換系數(shù)K (i， j)。
步驟S36:
JPEG編碼部53對在步驟S35所生成的DCT轉換系數(shù)K (i， j)進 行量子化。
步驟S37:JPEG編碼部53對在步驟S36進行了量子化的DCT轉換系數(shù)從低頻 分量(直流)向高頻分量呈Z狀進行掃描。然后，JPEG編碼部53對掃 描后的DCT轉換系數(shù)實施哈夫曼代碼等的熵編碼，生成JPEG哈夫曼代 碼JF1。步驟S38:如圖9A所示，全光編碼部55的路徑掃描部57針對編碼對象的處理 塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u， v， s， t)，以各微透鏡塊MLB內(nèi)的像 素PIC (u0， v0)為基點，沿著路徑PATH1、 PATH2、 PATH3、 PATH4、 PATH5這5個路徑掃描像素PIC (u0， v0)以外的像素PIC (u， v)的像 素數(shù)據(jù)L (u， v， s， t)。如上所述，路徑掃描部57針對路徑上的像素數(shù) 據(jù)L (u， v， s， t)，生成與其前1個像素數(shù)據(jù)L (u， v， s， t)的差分數(shù) 據(jù)D (u， v， s， t)。然后，路徑掃描部57生成由差分數(shù)據(jù)D (u， v， s， t)構成的字。并且，如圖10所示，路徑掃描部57例如將針對處理塊數(shù) 據(jù)PRBK內(nèi)的8 X 8合計64個的各個微透鏡塊MLB生成的字WORD1 5通過Z形掃描按順序排列，生成字串數(shù)據(jù)WORD。步驟S39:LZW處理部59對從路徑掃描部57所輸入的字串數(shù)據(jù)WORD實施 LZW壓縮處理，生成LZW壓縮代碼LZ1。 步驟S40:頭部附加部61生成由JPEG編碼部53所生成的JPEG哈夫曼代碼JF1 和由LZW處理部59所生成的LZW壓縮代碼LZ1的頭部數(shù)據(jù)HEADER, 并將它們對應起來寫入到工作存儲器31內(nèi)。.步驟S41:處理部32判斷是否針對應編碼的圖像數(shù)據(jù)TE內(nèi)的所有處理塊數(shù)據(jù) PRBK完成了處理，在判斷為完成時，結束步驟S24的處理。另一方面， 當處理部32判斷為針對應編碼的圖像數(shù)據(jù)TE內(nèi)的所有處理塊數(shù)據(jù) PRBK的處理未完成時，回到步驟S33。這樣，把針對每個處理塊數(shù)據(jù)PRBK而生成的JPEG哈夫曼代碼JF (JF1， JF2，)和LZW壓縮代碼LZ (LZ1， LZ2,…)分別寫入到圖11所示的數(shù)據(jù)結構的JPEG哈夫曼代碼的存儲區(qū)域和LZW壓縮代碼的存
儲區(qū)域內(nèi)。 [再現(xiàn)處理]
圖14和圖15是用于說明再現(xiàn)處理的流程圖。以下，參照圖16、圖 17A 圖17C說明圖14和圖15所示的各步驟。 步驟S61:
處理部32例如從內(nèi)部存儲器35或可拆裝存儲器39中讀出縮略圖像 數(shù)據(jù)(JPEG圖像數(shù)據(jù))。之后，處理部32對所讀出的縮略圖像數(shù)據(jù)進行 JPEG解碼并寫入到視頻存儲器41內(nèi)。由此，在顯示部43上顯示縮略圖 像。經(jīng)JPEG解碼的縮略圖像數(shù)據(jù)具有在編碼時被間隔提取后的像素數(shù)據(jù) L (uO， vO， s， t)作為要素。在索引顯示時，在顯示部43上顯示與所拍 攝的多張圖像數(shù)據(jù)對應的縮略圖像。之后，當通過用戶進行操作部22的 操作而指定了所顯示的多個縮略圖像中的一個時，處理部32從內(nèi)部存儲 器35或可拆裝存儲器39中讀出與所指定的縮略圖像對應的JPEG哈夫曼 代碼JF和LZW壓縮代碼LZ，并4其寫入到工作存儲器31內(nèi)。
步驟S62:
處理部32的JPEG解碼部65從工作存儲器31中讀出與在步驟S61 中指定的縮略圖像對應的JPEG哈夫曼代碼JF。然后，JPEG解碼部65 對所讀出的JPEG哈夫曼代碼JF進行JPEG解碼，生成JPEG解碼圖像數(shù) 據(jù)。JPEG解碼圖像數(shù)據(jù)以像素數(shù)據(jù)L (uO， vO， s， t)為要素。之后， 處理部32把JPEG解碼圖像數(shù)據(jù)寫入到工作存儲器31內(nèi)。
步驟S63:
處理部32讀出在步驟S62寫入到工作存儲器31內(nèi)的JPEG解碼圖 像數(shù)據(jù)并將其寫入到視頻存儲器41內(nèi)。由此，在顯示部43上顯示以像 素數(shù)據(jù)L (uO， vO， s， t)為要素的JPEG解碼圖像。
步驟S64:
全光解碼部67根據(jù)在步驟S62所生成的JPEG解碼圖像數(shù)據(jù)和與在 步驟S61中所指定的縮略圖像對應的LZW壓縮代碼LZ，生成與所指定 的縮略圖像對應的圖像的像素數(shù)據(jù)L (uO， vO， s， t)以外的像素數(shù)據(jù)L(u， v， s， t)。之后，全光解碼部將所生成的像素數(shù)據(jù)L (u， v， s， t) 寫入到工作存儲器31內(nèi)。步驟S65:頭部解釋部63從頭部數(shù)據(jù)HEADER中讀出與JPEG哈夫曼代碼JF 對應的對焦值f。 步驟S66:再現(xiàn)圖像生成部68把在步驟S65所讀出的對焦值f代入變量F。并 且，再現(xiàn)圖像生成部68把0代入表示從對焦值f起的級數(shù)的變量N。 步驟S67:再現(xiàn)圖像生成部68把"f/10"代入表示相鄰的對焦值間的級寬度的Step。步驟S68:再現(xiàn)圖像生成部68把在步驟S67所求出的Step代入F (N) =f+N XStep,求出與N對應的對焦值F。 步驟S69:再現(xiàn)圖像生成部68檢查在工作存儲器31內(nèi)是否存儲有與N對應的 對焦值F (N)的圖像數(shù)據(jù)IM (N)。只要在該檢查結果是未存儲有圖像 數(shù)據(jù)IM (N)的情況下，再現(xiàn)圖像生成部68根據(jù)在步驟S63中解碼的像 素數(shù)據(jù)L (u0， v0， s， t)和在步驟S64中解碼的像素數(shù)據(jù)L (u0， v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)，生成圖像數(shù)據(jù)IM (N)(幀數(shù)據(jù))。 之后，再現(xiàn)圖像生成部68把圖像數(shù)據(jù)IM (N)寫入到工作存儲器31內(nèi)。 該圖像數(shù)據(jù)IM (N)的生成例如根據(jù)"Light Field Photography with a Hand-held Plenoptic Camera", RenNgetal， Stanford TechReport, 2005禾口 "Fourier Slice Photography", Ren Ng， Stanford University, 2005中公開 的方法來進行。即，根據(jù)Fourier Slicing方式和積分方式等來進行。積分 方式是執(zhí)行適合于獲得使微透鏡塊MLB內(nèi)的有效像素數(shù)據(jù)與期望的對 焦值對應的圖像的積分運算，并以"Light Field Photography with a Hand-held Plenoptic Camera", RenNgetal, Stanford TechReport, 2005中 的公式(1) (6)、以及"Fourier Slice Photography", RenNg， StanfordUniversity, 2005中的公式(1) (3)為基礎。傅立葉切片(Fourier Slicing)
方式是在傅立葉空間上短時間內(nèi)有效地執(zhí)行這種積分運算處理的方法，
使用四維傅立葉空間。
無論哪種運算方式，在用于獲得圖像數(shù)據(jù)IM (N)的這些運算中， 與JPEG的解碼處理等相比，都需要高的運算能力和更多的運算時間。另 外，N例如是整數(shù)，隨著N減小而成為近距離側的對焦。也可以規(guī)定成， 隨著N減小而成為遠距離側的對焦。
步驟S70:
如圖17A所示，再現(xiàn)圖像生成部68把圖像數(shù)據(jù)IM (N)寫入到視 頻存儲器41內(nèi)。由此，與對焦值F (N)對應的圖像(再現(xiàn)圖像)顯示 在顯示部43上。在初始階段中，如上所述，以像素數(shù)據(jù)(u0， v0， s， t) 為要素的JPEG解碼圖像已顯示在顯示部43上。該圖像是與F (0)的對 焦值對應的圖像。然而，對各個微透鏡塊MLB的(u0， v0)以外的像素 數(shù)據(jù)進行了間隔提取。因此，成為實質上利用暗的光學系統(tǒng)所拍攝的圖 像。因此，在對暗的場景等進行了攝影的情況下，重疊有噪音。在步驟 S70中，該圖像被與F (0)的對焦值對應的圖像IM (0)置換。由于該 圖像IM (0)對各個微透鏡塊MLB的所有有效像素數(shù)據(jù)進行積分，因而 成為更鮮明的噪音少的圖像。
這里，如在步驟S69的說明中已描述的那樣，由于該積分運算所需 要的時間長，因而在步驟S63中，將與(u0， v0)對應的圖像迅速顯示 給用戶。這樣，在對光線信息進行解碼、并生成期望的對焦值或者描繪 角度的圖像而進行顯示的動作中，首先僅生成并顯示與(u0， v0)對應 的JPEG解碼圖像數(shù)據(jù)，從而可迅速顯示與用戶指定的縮略圖像對應的圖 像。由此，不會讓用戶著急。
步驟S71:
再現(xiàn)圖像生成部68在未生成與和N相鄰的(N±l)所對應的對焦 值F (N±l) =f+ (N±l) XStep對應的圖像數(shù)據(jù)IM (N+1)、 IM (N 一l)的情況下，生成這些圖像數(shù)據(jù)并將其寫入到工作存儲器31內(nèi)。該 圖像數(shù)據(jù)的生成例如根據(jù)上述的傅立葉切片方式和積分方式等來進行。步驟S72:在存在與不和N相鄰的對焦值對應的圖像數(shù)據(jù)的情況下，再現(xiàn)圖像 生成部68將與這些對焦值對應的圖像數(shù)據(jù)從工作存儲器31中刪除。 步驟S73:再現(xiàn)圖像生成部68通過用戶進行的圖1B所示的對焦值向前按鈕 820和對焦值向后按鈕821的操作，判定是否指定了新的對焦值(是否有 對焦值的變更)。然后，在有新的對焦值的指定的情況下，再現(xiàn)圖像生成 部68進行步驟S74的處理。另一方面，在沒有對焦值的變更的情況下， 再現(xiàn)圖像生成部68進行步驟S75的處理。步驟S74:再現(xiàn)圖像生成部68設定與在步驟S73所指定的級對應的新的N，并 回到步驟S68。即，當按下了圖1B所示的對焦值向前按鈕820 —次時， N (計數(shù))增加一個，當按下了對焦值向后按鈕821—次時，N (計數(shù)) 減小一個。由此更新對焦值F (N)。這里，與新指定的對焦值對應的圖 像數(shù)據(jù)被預先存儲在工作存儲器31內(nèi)。因此，從進行指定到在顯示部43 上顯示與新的對焦值對應的圖像的時間短。因此，本照相機的響應性優(yōu) 良。例如，如圖17B所示，在讀出并顯示了圖像數(shù)據(jù)IM (N+l)的情 況下，再現(xiàn)圖像生成部68根據(jù)像素數(shù)據(jù)L (u， v， s， t)生成與對焦值F (N+2)對應的圖像數(shù)據(jù)IM (N+2)，并將其寫入到工作存儲器31內(nèi)。 此時，與對焦值F (N—l)對應的圖像數(shù)據(jù)IM (N—l)通過改寫等而被 刪除。并且，如圖17C所示，在讀出并顯示了圖像數(shù)據(jù)IM (N+2)的情 況下，根據(jù)像素數(shù)據(jù)L (u， v， s， t)生成與對焦值F (N+3)對應的圖 像數(shù)據(jù)IM(N+3)，并將其寫入到工作存儲器31內(nèi)。此時，與對焦值F (N)對應的圖像數(shù)據(jù)IM (N)通過改寫等而被刪除。并且，在用戶通過早按下對焦值向前按鈕820和對焦值向后按鈕821等而進行了大幅變更對焦值的指示的情況下，當前的變量N變更為跳過 多個級的值。在這種狀況下從步驟S74進到步驟S68的情況下，工作存 儲器31內(nèi)不存在圖像數(shù)據(jù)。在該情況下，新生成圖像數(shù)據(jù)。步驟S75:
處理部32判定是否按下了取消按鈕841。在用戶按下了取消按鈕841 的情況下，中止圖像的再現(xiàn)。另一方面，在未按下取消按鈕841的情況 下，處理部32進行步驟S76的處理。
步驟S76:
處理部32判定是否按下了圖像保存按鈕840。在用戶未按下圖像保 存按鈕840的情況下，進行歩驟S73的處理。另一方面，在按下了圖像 保存按鈕840的情況下，處理部32進行步驟S77的處理。
步驟S77:
處理部32在對工作存儲器31的圖像數(shù)據(jù)IM (N)實施JPEG編碼 處理的同時，把對焦值F (N)、初始對焦值f以及描繪角度等寫入到頭部 數(shù)據(jù)內(nèi)。之后，處理部32把JPEG編碼數(shù)據(jù)保存在內(nèi)置存儲器35或者可 拆裝存儲器39內(nèi)。
這樣，在本實施方式中的再現(xiàn)處理中，在用戶確認了根據(jù)光線信息 所生成的與期望的對焦值f對應的圖像之后，可保存該圖像。因此，用戶 在攝影時不用在意焦點，能可靠地獲得對焦于期望的被攝體部分上的圖 像。
圖18是用于說明數(shù)字照相機1的再現(xiàn)時的對焦和變焦調(diào)整處理的流 程圖。
步驟S111:
再現(xiàn)圖像生成部68判斷是否按下了圖1B所示的對焦值向前按鈕 820。當判斷為已按下時，再現(xiàn)圖像生成部68進行步驟S112的處理。另 一方面，當判斷為未按下時，再現(xiàn)圖像生成部68進行步驟S113的處理。
步驟S112:
再現(xiàn)圖像生成部68根據(jù)存儲在工作存儲器31內(nèi)的像素數(shù)據(jù)L (u， v， s， t)，生成提高了對焦值的(所指定的對焦值的)新的圖像(再現(xiàn)圖 像)數(shù)據(jù)，并將所生成的新的圖像數(shù)據(jù)寫入到視頻存儲器41內(nèi)。在與所 指定的對焦值對應的圖像數(shù)據(jù)已存儲在工作存儲器31等內(nèi)的情況下，再頁現(xiàn)圖像生成部68也可以讀出該圖像數(shù)據(jù)并將其寫入到視頻存儲器41內(nèi)， 生成與和所指定的對焦值相鄰的對焦值對應的未生成的圖像數(shù)據(jù)。這在 以下說明的步驟S114、 S116、 S118中也是一樣。 步驟S113:再現(xiàn)圖像生成部68判斷是否按下了對焦值向后按鈕821。當判斷為 已按下時，再現(xiàn)圖像生成部68進行步驟S114的處理。另一方面，當判 斷為未按下時，再現(xiàn)圖像生成部68進行步驟S115的處理。步驟S114:再現(xiàn)圖像生成部68根據(jù)存儲在工作存儲器31內(nèi)的像素數(shù)據(jù)L (u， v， s， t)，生成降低了對焦值的新的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)寫入到視 頻存儲器41內(nèi)。步驟S115:再現(xiàn)圖像生成部68判斷是否按下了鏡頭推近按鈕810。當判斷為按 下了鏡頭推近按鈕810時，再現(xiàn)圖像生成部68進行步驟S116的處理。 當判斷為未按下鏡頭推近按鈕810時，再現(xiàn)圖像生成部68進行步驟S117 的處理。步驟S116:再現(xiàn)圖像生成部68生成對再現(xiàn)中的圖像進行了鏡頭推近的新的圖 像的圖像數(shù)據(jù)，并將其寫入到視頻存儲器41內(nèi)。由此，如圖19所示， 在顯示于顯示部43上的整體圖像602內(nèi)的一部分區(qū)域內(nèi)顯示鏡頭推近圖 像600。步驟S117:再現(xiàn)圖像生成部68判斷是否按下了鏡頭拉遠按鈕811。當判斷為按 下了鏡頭拉遠按鈕811時，再現(xiàn)圖像生成部68進行步驟S118的處理。 當判斷為未按下鏡頭拉遠按鈕811時，再現(xiàn)圖像生成部68進行步驟Slll 的處理。步驟S118:再現(xiàn)圖像生成部68生成對再現(xiàn)中的圖像進行了鏡頭拉遠的新的圖 像的圖像數(shù)據(jù)，并將其寫入到視頻存儲器41內(nèi)。之后，處理回到步驟S111。如圖20所示，可根據(jù)由全光相機所拍攝的圖像信息，生成從右左上 下的各個描繪角度觀察對象物610所看到的圖像。即，如在"LightFidd Photography with a Hand-held Plenoptic Camera"等中記載的那樣，在微透 鏡陣列25下，通過了子孔徑(sub-aperture)的所有光線被對焦到對應的 像素。然后，通過選擇各微透鏡陣列25下的像素，可根據(jù)光線信息生成 不同視差的子孔徑圖像。[與十字操作部830對應的處理]圖21是用于說明操作了圖IB所示的十字操作部380的情況下的處 理的流程圖。步驟S121:再現(xiàn)圖像生成部68判斷是否按下了十字操作部830的確定按鈕831。 當判斷為按下了確定按鈕831時，再現(xiàn)圖像生成部68進行步驟S122(描繪角度變更模式)的處理。當判斷為未按下確定按鈕時，再現(xiàn)圖像生成 部68進行步驟S124的處理。 步驟S122:再現(xiàn)圖像生成部68判斷是否按下了上箭頭按鈕832、下箭頭按鈕 833、右箭頭按鈕834以及左箭頭按鈕835中的任一個。當判斷為按下了 其中任一個箭頭按鈕時，再現(xiàn)圖像生成部68進行歩驟S123的處理。當 判斷為未按下其中任一個按鈕時，再現(xiàn)圖像生成部68進行步驟S121的 處理。步驟S123:再現(xiàn)圖像生成部68生成使顯示在顯示部43上的再現(xiàn)圖像的描繪角 度成為由所按下的上箭頭按鈕832、下箭頭按鈕833、右箭頭按鈕834以 及左箭頭按鈕S35所指定的角度方向后的新的圖像數(shù)據(jù)，將其寫入到視 頻存儲器41內(nèi)并顯示在顯示部43上。步驟S124:再現(xiàn)圖像生成部68判斷是否按下了上箭頭按鈕832、下箭頭按鈕 833、右箭頭按鈕834以及左箭頭按鈕835中的任一個。當判斷為按下了 其中任一個箭頭按鈕時，再現(xiàn)圖像生成部68進行步驟S125 (變焦窗移動模式)的處理。當判斷為未按下其中任一個按鈕時，進行步驟S121的處理。步驟S125:再現(xiàn)圖像生成部68使顯示在顯示部43上的再現(xiàn)圖像內(nèi)的變焦窗朝 與所按下的上箭頭按鈕832、下箭頭按鈕833、右箭頭按鈕834以及左箭 頭按鈕835對應的方向移動。如以上說明那樣，在數(shù)字照相機l中，如圖14等所示，將與所指定 的對焦值相鄰的對焦值所對應的再現(xiàn)圖像在實際指定相鄰的對焦值之前 預先生成并存儲在工作存儲器31內(nèi)。因此，在之后指定了相鄰的對焦值 的情況下，可在短時間內(nèi)將與相鄰的對焦值對應的再現(xiàn)圖像顯示在顯示 部43上。由此，可使在指定對焦值來再現(xiàn)圖像時的響應性良好。并且，在數(shù)字照相機l中，如圖1B所示，由用戶操作對焦值向前按 鈕820和對焦值向后按鈕821，從而可離散地變更顯示在顯示部43上的 再現(xiàn)圖像的對焦值。由此，用戶可通過簡單操作觀察與被離散地規(guī)定的 多個對焦值中的任意對焦值對應的再現(xiàn)圖像。即，只要進行一次攝像， 就能在再現(xiàn)時通過簡單的操作顯示對位于近前側或深處側的任意的被攝 體進行了對焦的多種再現(xiàn)圖像。并且，在數(shù)字照相機1中，可根據(jù)是否是按下了確定按鈕831的狀 態(tài)而對十字操作部830選擇2種輸入模式。由此，可使用少的操作單元 實現(xiàn)顯示在顯示部43上的再現(xiàn)圖像的描繪角度的調(diào)整操作和變焦窗的二 維移動操作。并且，在數(shù)字照相機1中，如使用圖8和圖13等所說明的那樣，以 處理塊數(shù)據(jù)PRBK為單位對包含四維光線信息的應編碼的圖像數(shù)據(jù)TE 進行編碼。因此，可減輕伴隨圖5所示的處理部32的編碼處理的負荷， 可使用較低處理能力的芯片，并還能減小工作存儲器31所要求的存儲容 量°并且，在數(shù)字照相機l中，如使用圖13等所說明的那樣，對于微透 鏡塊MLB內(nèi)的像素數(shù)據(jù)L (u0， v0， s， t)，與相同處理塊數(shù)據(jù)PRBK內(nèi) 的其他像素數(shù)據(jù)L (u0， v0， s， t) 一體地進行JPEG編碼。并且，對于微透鏡塊MLB內(nèi)的像素數(shù)據(jù)L (u0， v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)，也與相同處理塊數(shù)據(jù)PRBK內(nèi)的其他微透鏡塊MLB內(nèi)的像素 數(shù)據(jù)L (u0， v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)—體地進行LZW 編碼。此時，并行執(zhí)行JPEG處理中的8X8的塊處理和處理塊PRBK的 LZW壓縮處理。因此，根據(jù)數(shù)字照相機l，與如以往那樣以所有像素數(shù) 據(jù)為對象進行空間編碼的情況相比，可減少編碼處理量。因此，容易在 便攜型全光相機中采用。而且，在各個處理塊PRBK中，通過并行執(zhí)行 JPEG處理中的8X8的塊處理和處理塊PRBK的LZW壓縮處理，提高了 編碼處理的速度。并且，在數(shù)字照相機l中，由于像素數(shù)據(jù)L (u0， v0， s， t)以外的像素數(shù)據(jù)L (u， v， s， t)在微透鏡塊MLB內(nèi)被進行LZW 編碼(可逆編碼)，因而信息量不會丟失，能進行維持高畫質的光線信息 的編碼。也就是說，由于光線傳播方向的信息被可逆地編碼，因而對各 種焦點進行重新對焦時所需要的信息沒有丟失地被記錄。因此，重新對 焦后的圖像極為清晰。因此，根據(jù)數(shù)字照相機l，與如以往那樣以所有像 素數(shù)據(jù)為對象進行空間編碼的情況相比，可減少編碼處理量。因此，容 易在便攜型全光相機中采用。并且，在數(shù)字照相機l中，由于像素數(shù)據(jù)L (u0， v0， s， t)以外的 像素數(shù)據(jù)L (u， v， s， t)在微透鏡塊MLB內(nèi)被進行LZW編碼(可逆編 碼)，因而信息量不會丟失，能進行維持高畫質的光線信息的編碼。<第2實施方式〉本實施方式的數(shù)字照相機的光學系統(tǒng)223與上述的第1實施方式的 光學系統(tǒng)23不同。以下，說明光學系統(tǒng)223。圖22是用于說明本實施方式的數(shù)字照相機的光學系統(tǒng)223的圖。光 學系統(tǒng)223由對焦鏡頭223a和變焦鏡頭223b構成。該光學系統(tǒng)223對 來自被攝體的光進行聚光等并使其朝微透鏡陣列25射出。對焦鏡頭223a 的垂直于光軸的面采用矩形形狀。對焦鏡頭223a將來自被攝體的各點的 光投射到微透鏡陣列25上的一個會聚點上。例如在攝影模式中，當按下 了鏡頭推近按鈕810時，變焦鏡頭223b朝鏡頭推近方向移動，當按下了 鏡頭拉遠按鈕811時，變焦鏡頭223b朝鏡頭拉遠方向移動。這里，變焦鏡頭223b的垂直于光軸的面的二維形狀例如如圖22所 示采用矩形。在本實施方式中，構成微透鏡陣列25的各個微透鏡的垂直于光軸的 面的二維形狀與對焦鏡頭223a和變焦鏡頭223b —樣是矩形。攝像部27如在第1實施方式中所說明的那樣，構成為把多個像素配 置成矩陣狀。在本實施方式中，由于對焦鏡頭223a、變焦鏡頭223b以及各個微透 鏡251采用相同形狀即矩形，因而與各個微透鏡251對應的微透鏡塊271 內(nèi)的大致所有像素都可接收光線。圖24示出本實施方式的這種微透鏡塊 271的狀況。如圖24所示，本實施方式中的微透鏡塊271由8X8像素構 成。在該微透鏡塊中，周邊的28像素是無效的，即不接收光的像素。另 一方面，6X6=36個像素可接收光，即是有效的。與此相對，在圖23中，示出光學系統(tǒng)不是矩形而是圓形的情況下的 受光狀況。如圖23所示，微透鏡塊271的有效像素數(shù)減至24個。艮卩， 周邊的許多像素為無效。有效像素的區(qū)域是大致圓形，是圓形的光學系 統(tǒng)的像。這里，當為了增大有效像素的區(qū)域而使光學系統(tǒng)與微透鏡陣列 25或攝像元件27的位置沿光軸錯開時，對該光學系統(tǒng)進行了成像的圓形 的像超出到相鄰的微透鏡塊的區(qū)域。同樣，微透鏡塊271的周邊像素接 收與微透鏡251相鄰的微透鏡的光，從而不能獲得有用的信息。從該說明中可以看出，為了使微透鏡塊內(nèi)的有效像素數(shù)最大，必須 使在微透鏡塊上成像的光學系統(tǒng)的垂直于光軸的面是與微透鏡塊相同的 形狀。S卩，光學系統(tǒng)的形狀(嚴格地說，對焦鏡頭223a的形狀)與各個 微透鏡271的形狀必須相同。在本實施方式中，是通過使包含對焦鏡頭 223a和變焦鏡頭223b的光學系統(tǒng)的垂直于光軸的面的二維形狀和微透鏡 的形狀為矩形來實現(xiàn)該條件的。當滿足了這種條件時，微透鏡塊內(nèi)的有效像素數(shù)增加，因而提高了 受光靈敏度。并且，由于微透鏡塊內(nèi)的像素與描繪角度對應，因而更多 的周邊像素變?yōu)橛行Ф姑枥L角度放大，即可進一步立體地識別被攝體。而且，由于光線信息L (u， v， s， t)的數(shù)據(jù)量增加，因而即使在在何的重新對焦處理(積分，傅立葉切片)中，也能提高生成圖像的清晰 度。本實施方式中的全光相機可取得這種顯著效果。這里，在上述的實施方式中，例示出把本發(fā)明應用于數(shù)字照相機1 的情況，然而還可以把本發(fā)明應用于不具有攝像功能的解碼裝置和顯示 裝置。并且，在上述的實施方式中，如使用圖14等所說明的那樣，例示出 生成與和顯示中的圖像的對焦值相鄰的對焦值對應的圖像數(shù)據(jù)的情況， 然而也可以預先生成并存儲與不相鄰的對焦值對應的圖像數(shù)據(jù)。并且，在上述的實施方式中，例示出從工作存儲器31中刪除與不和 顯示中的圖像的對焦值相鄰的對焦值對應的圖像數(shù)據(jù)的情況，然而也可 以從工作存儲器31中刪除與相鄰位置是離開2個以上的位置的對焦值對 應的圖像數(shù)據(jù)。本實施方式所示的構成微透鏡塊MLB的像素數(shù)、以及構成處理塊數(shù) 據(jù)PRBK的微透鏡塊MLB的數(shù)量是一例，它們的數(shù)量是任意的。并且，在上述的實施方式中，例示出使對焦鏡頭23a、 223a移動而 能調(diào)整對焦的照相機，然而本發(fā)明的電子照相機例如還可以是單焦點照 相機。并且，在上述的實施方式中，例示出將來自被攝體的光線通過微透 鏡陣列25成像在攝像部27的像素上的情況，然而只要是以包含光線信 息的方式使光入射到像素上的情況，就不作特別限定。例如，還可以用 反射器反射來自被攝體的光線，而成像在攝像部27的像素上。并且，在上述的實施方式中，例示出使用通過DSP等實現(xiàn)的處理部 32來對光線信息進行編碼和解碼的情況，然而，例如還可以用微處理器 執(zhí)行程序來實現(xiàn)這些功能。在該情況下，該程序是記載了各圖所示的各 步驟的程序。并且，在上述的第2實施方式中，例示出使對焦鏡頭223a、變焦鏡 頭223b、各個微透鏡以及像素的受光面的形狀為矩形的情況，然而該矩 形是例示，只要它們的形狀相同，就不作特別限定。上述的實施方式基于對焦值f，然而如上所述，還可以不基于對焦值f，而是基于與該值對應的被攝體距離21E作為參數(shù)g。在該情況下，g 的單位用米(m)給出，可以設定為例如圖14中的級寬度Step=g/10， 然而可以設定Step二l，即二lm，按每l米來進行對焦。這樣，通過將被攝體距離用于再現(xiàn)處理，用戶可從照相機獲得在前 方幾米對焦的信息，能享受更暢快的重新對焦的再現(xiàn)。本領域技術人員能很容易想到其他的優(yōu)點和變形。因此，本發(fā)明在 其廣義范圍內(nèi)不限于這里所示出和所說明的具體細節(jié)和代表性實施方 式。因此，可以在不脫離所附權利要求及其等同權利要求所定義的一般 發(fā)明概念的宗旨或范圍的情況下進行各種變形。
權利要求
1.一種解碼方法，該解碼方法對經(jīng)編碼的光線信息進行解碼，該光線信息包含來自被攝體的光線入射到規(guī)定面上時在該面上的位置信息以及該光線入射到上述面上的角度信息，該解碼方法具有以下步驟對在被攝體攝影時所獲得且與上述被攝體相關聯(lián)的經(jīng)編碼的第1圖像信息和與上述第1圖像信息不同種類的經(jīng)編碼的第2圖像信息進行解碼，并根據(jù)經(jīng)解碼的第1圖像信息和第2圖像信息生成上述光線信息；根據(jù)上述所生成的光線信息，生成與被攝體攝影時的第1對焦值對應的圖像信息并將其存儲在存儲介質內(nèi)；顯示基于與上述第1對焦值對應的圖像信息的圖像；以及根據(jù)上述所生成的上述光線信息，生成與不同于上述第1對焦值的第2對焦值對應的圖像信息并將其存儲在上述存儲介質內(nèi)，其中，生成并存儲與上述第2對焦值對應的圖像信息的步驟與上述顯示的步驟并行執(zhí)行或者先于上述顯示的步驟執(zhí)行。
2. 根據(jù)權利要求1所述的解碼方法，上述解碼方法還具有以下步驟 根據(jù)用戶指示，顯示基于與上述第2對焦值對應的圖像信息的圖像;以及與顯示基于與上述第2對焦值對應的圖像信息的圖像的步驟并行， 根據(jù)上述光線信息，生成與不同于上述第1對焦值和第2對焦值的第3 對焦值對應的圖像信息并將其存儲在上述存儲介質內(nèi)，其中，根據(jù)用戶指示重復執(zhí)行顯示基于與上述第2對焦值對應的圖 像信息的圖像的步驟以及生成并存儲與上述第3對焦值對應的圖像信息 的步驟。
3. 根據(jù)權利要求1所述的解碼方法，上述第1對焦值和上述第2對 焦值分別是預先離散地規(guī)定的多個對焦值中的一個。
4. 根據(jù)權利要求1所述的解碼方法，上述第2對焦值是相對于上述 第1對焦值與近距離側或遠距離側相鄰的對焦值。
5. 根據(jù)權利要求3所述的解碼方法，上述第2對焦值是相對于上述第1對焦值與近距離側或遠距離側相鄰的對焦值。
6. 根據(jù)權利要求1所述的解碼方法，該解碼方法還具有以下步驟 根據(jù)用戶指示進行任意的對焦值的指定作為上述第2對焦值。
7. 根據(jù)權利要求3所述的解碼方法，該解碼方法還具有以下步驟 根據(jù)用戶指示進行任意的對焦值的指定作為上述第2對焦值。
8. 根據(jù)權利要求2所述的解碼方法，該解碼方法還具有以下步驟 刪除存儲在上述存儲介質內(nèi)的上述圖像信息中的與如下的對焦值對應的 圖像信息該對焦值不和與作為生成上述顯示中的圖像的基礎的圖像信 息對應的對焦值相鄰。
9. 根據(jù)權利要求6所述的解碼方法，該解碼方法還具有以下步驟 刪除存儲在上述存儲介質內(nèi)的上述圖像信息中的與如下的對焦值對應的 圖像信息該對焦值不和與作為生成上述顯示中的圖像的基礎的圖像信 息對應的對焦值相鄰。
10. 根據(jù)權利要求7所述的解碼方法，該解碼方法還具有以下步驟刪除存儲在上述存儲介質內(nèi)的上述圖像信息中的與如下的對焦值對應的 圖像信息該對焦值不和與作為生成上述顯示中的圖像的基礎的圖像信 息對應的對焦值相鄰。
11. 根據(jù)權利要求1所述的解碼方法，該解碼方法還具有以下步驟 根據(jù)用戶指示，從對應于上述各對焦值而生成的圖像信息中選擇圖像信 息，對所選擇的圖像信息實施基于空間頻率轉換的編碼處理并記錄在上 述存儲介質內(nèi)。
12. 根據(jù)權利要求8所述的解碼方法，該解碼方法還具有以下步驟: 根據(jù)用戶指示，從對應于上述各對焦值而生成的圖像信息中選擇圖像信 息，對所選擇的圖像信息實施基于空間頻率轉換的編碼處理并記錄在上 述存儲介質內(nèi)。
13. 根據(jù)權利要求9所述的解碼方法，該解碼方法還具有以下步驟: 根據(jù)用戶指示，從對應于上述各對焦值而生成的圖像信息中選擇圖像信 息，對所選擇的圖像信息實施基于空間頻率轉換的編碼處理并記錄在上 述存儲介質內(nèi)。
14. 根據(jù)權利要求IO所述的解碼方法，該解碼方法還具有以下步驟: 根據(jù)用戶指示，從對應于上述各對焦值而生成的圖像信息中選擇圖像信 息，對所選擇的圖像信息實施基于空間頻率轉換的編碼處理并記錄在上 述存儲介質內(nèi)。
15. 根據(jù)權利要求1所述的解碼方法，在生成上述光線信息時，根 據(jù)上述經(jīng)解碼的第1圖像信息來解碼上述第2圖像信息。
16. 根據(jù)權利要求1所述的解碼方法，在生成上述光線信息時，上 述經(jīng)編碼的第1圖像信息被實施與空間頻率轉換對應的解碼處理，上述 經(jīng)編碼的第2圖像信息被實施與LZ編碼對應的解碼處理。
17. 根據(jù)權利要求1所述的解碼方法，該解碼方法還具有以下步驟 在生成上述光線信息之前，對在被攝體攝影時得到的且與上述被攝體相 關聯(lián)的經(jīng)編碼的縮略圖像進行解碼并顯示，其中，通過在上述所顯示的縮略圖像中進行指示選擇，來執(zhí)行生成 上述光線信息的步驟。
18. —種解碼裝置，該解碼裝置對經(jīng)編碼的光線信息進行解碼，該 光線信息包含來自被攝體的光線入射到規(guī)定面上時在該面上的位置信息 以及該光線入射到上述面上的角度信息，該解碼裝置具有-解碼部，其對在被攝體攝影時獲得的且與上述被攝體相關聯(lián)的經(jīng)編 碼的第1圖像信息和與上述第1圖像信息不同種類的經(jīng)編碼的第2圖像 信息進行解碼，生成上述光線信息；第1圖像生成部，其根據(jù)上述所生成的光線信息，生成與被攝體攝 影時的第1對焦值對應的圖像信息并將其存儲在存儲介質內(nèi)；顯示部，其顯示與由上述第1圖像生成部所生成的上述圖像信息對 應的圖像；以及第2圖像生成部，其根據(jù)由上述解碼部所生成的上述光線信息，生 成與不同于上述第1對焦值的第2對焦值對應的圖像信息并將其存儲在 上述存儲介質內(nèi)。 '''
19. 一種電子照相機，該電子照相機具有 對焦鏡頭；微透鏡陣列，其由配置在上述對焦鏡頭的焦點位置上的多個微透鏡構成；攝像元件，其由二維配置的多個像素構成，上述多個像素將依次通 過上述對焦鏡頭和上述多個微透鏡各方而形成的被攝體像轉換成電信 號；以及編碼部，其對與上述多個像素的受光結果對應的光線信息進行編碼， 其中，上述對焦鏡頭的與光軸垂直的面的二維形狀和構成上述微透 鏡陣列的各微透鏡的二維形狀大致相同。
20. 根據(jù)權利要求19所述的電子照相機，上述光線信息包含通過上 述對焦鏡頭和上述微透鏡陣列入射到上述多個像素上的來自被攝體的光 線入射到上述微透鏡陣列的面上時在該面上的位置信息以及該光線入射 到上述面上的角度信息；上述編碼部將上述光線信息分割成多個處理單位塊，并針對上述每 個處理單位塊執(zhí)行第1編碼處理和第2編碼處理，上述第1編碼處理對 上述多個處理單位塊的各方實施壓縮編碼，生成構成上述第1圖像信息 的第1塊單位信息，上述第2編碼處理對上述多個處理單位塊的各方實 施壓縮編碼，取得構成與上述第1圖像信息不同種類的第2圖像信息的 第2塊單位信息。
21. —種解碼方法，該解碼方法對與經(jīng)編碼的光線信息對應的圖像 數(shù)據(jù)進行解碼，該光線信息包含來自被攝體的光線入射到規(guī)定面上時在 該面上的位置信息以及該光線入射到上述面上的角度信息，該解碼方法 具有以下步驟對在被攝體攝影時得到的構成上述經(jīng)編碼的光線信息的第1圖像信 息進行解碼，生成與構成上述圖像數(shù)據(jù)的多個二維塊數(shù)據(jù)分別對應的第1 像素數(shù)據(jù)；針對上述多個二維塊數(shù)據(jù)各方，根據(jù)該二維塊數(shù)據(jù)的上述第1像素 數(shù)據(jù)，對構成上述經(jīng)編碼的光線信息的第2圖像信息進行解碼，生成第2 像素數(shù)據(jù)；根據(jù)上述第1像素數(shù)據(jù)和上述第2像素數(shù)據(jù)，生成與被攝體攝影時的第1對焦值對應的圖像數(shù)據(jù)并將其存儲在存儲介質內(nèi)；顯示與上述第l對焦值對應的圖像數(shù)據(jù)；以及 根據(jù)上述第1像素數(shù)據(jù)和上述第2像素數(shù)據(jù)，生成與不同于上述第 1對焦值的第2對焦值對應的圖像數(shù)據(jù)并將其存儲在存儲介質內(nèi)。
全文摘要
本發(fā)明提供解碼方法、解碼裝置以及電子照相機。在對經(jīng)編碼的光線信息進行解碼的解碼方法中，對在被攝體攝影時得到的與上述被攝體相關聯(lián)的經(jīng)編碼的第1圖像信息和與上述第1圖像信息不同種類的經(jīng)編碼的第2圖像信息進行解碼(S62，S64)。根據(jù)該經(jīng)解碼的第1圖像信息和第2圖像信息生成光線信息。根據(jù)該所生成的光線信息，生成與被攝體攝影時的第1對焦值對應的圖像信息并將其存儲在存儲介質內(nèi)。之后，顯示基于與第1對焦值對應的圖像信息的圖像(S63)。根據(jù)該所生成的上述光線信息，生成與不同于第1對焦值的第2對焦值對應的圖像信息并將其存儲在存儲介質內(nèi)。與上述顯示并行或者先于上述顯示來生成與第2對焦值對應的圖像信息。
文檔編號G06T17/00GK101241235SQ20081000869
公開日2008年8月13日 申請日期2008年2月5日 優(yōu)先權日2007年2月9日
發(fā)明者坂田誠一郎, 堀江健一 申請人:奧林巴斯映像株式會社