專利名稱：編碼方法、電子相機、記錄有編碼程序的記錄介質(zhì)以及解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對由全光相機(Plenoptic camera)拍攝到的圖像進行編 碼的編碼方法、電子相機、記錄有編碼程序的記錄介質(zhì)以及對編碼后的 圖像進行解碼的解碼方法。
背景技術(shù)：
圖20是表示通常的相機聚焦功能的圖。通過聚焦透鏡21和未圖示 的其他光學(xué)系統(tǒng)(例如變焦光學(xué)系統(tǒng))聚光后的光被投射到配置于像平 面21F的攝像元件27上。如箭頭21B所示，聚焦透鏡21相對于像平面 21F的位置可以沿著光軸21H而改變。聚焦透鏡21的位置例如在自動聚 焦(AF)等控制時用于相機的固件(Firmware)等的處理。該聚焦透鏡 21的位置是通過離散性的數(shù)值進行管理的。圖中21A表示這種"聚焦值"。在此，當(dāng)通常的相機的光學(xué)系統(tǒng)中包含變焦光學(xué)系統(tǒng)時、或者其屬 于較復(fù)雜的光學(xué)系統(tǒng)時，通過包含多個透鏡在內(nèi)的透鏡組來構(gòu)成聚焦透 鏡21。此時，聚焦值21A成為表示這種透鏡組中可改變和控制的總體狀 態(tài)的值。相機的透鏡基本上在平面上對平面上的物體進行成像。在此，將通 過配置成規(guī)定的聚焦值的聚焦透鏡21而清晰地成像在像平面21F上的平 面稱作"最佳的物體平面"。當(dāng)被拍攝體位于最佳的物體平面21D上時， 在完全對焦的狀態(tài)下成像在攝像元件27上。通過改變聚焦值21A，可以 改變從像平面21F到最佳的物體平面21D的距離、即被拍攝體距離21E。 聚焦值21A與被拍攝體距離21E成為一對一的對應(yīng)關(guān)系。
實際上即使存在與模糊的允許范圍對應(yīng)的被拍攝場深度21G，物體平面21J從最佳的物體平面錯開相當(dāng)于被拍攝場深度21G的量，實質(zhì)上 也會在對焦的狀態(tài)下投射在攝像元件27上。圖19A表示使用這種通常的相機進行拍攝的情況。首先通過自動聚 焦或者手動聚焦的操作使焦點對準(zhǔn)被拍攝體X。該動作與通過使聚焦透 鏡21在光軸21H的方向上移動從而將最佳的物體平面21D對準(zhǔn)被拍攝 體X的被拍攝體面的情況對應(yīng)。圖19A表示聚焦透鏡21移動到某個聚 焦值21A上，最佳的物體平面21D與被拍攝體X的被拍攝體面一致的狀 態(tài)。當(dāng)在該狀態(tài)下按下釋放按鈕時，來自被拍攝體X的光通過對焦?fàn)顟B(tài) 下的聚焦透鏡21而被投射到攝像元件27上。與此相對，如圖19B所示，在全光相機中，將來自被拍攝體X的光 投射到微透鏡陣列25上。即，在圖19B的像平面21F上設(shè)置有微透鏡陣 列25，攝像元件27被配置在其后的面上。通過這種結(jié)構(gòu)，被投射到微透 鏡陣列25上的來自被拍攝體X的各種光線K1、K2、K3被各個微透鏡25A 分離，投射到攝像元件27的一部分27A上。因而在通過該攝像元件的一 部分27A成像的信息中包含光線方向的信息。另一方面，由于被拍攝體X 的光投射到微透鏡陣列25上，所以可以認(rèn)為攝像元件27的成像結(jié)果包 含有位置信息，該位置信息表示光線是來自被拍攝體的哪個位置的光。這樣，作為全光相機的攝像元件的成像結(jié)果的圖像信息(光場(Light field)圖像)包含有空間上的光線的信息(光線信息)。如上所述，全光 相機可以對四維的光線信息進行采樣。在美國專利6097394中記載有對光線信息(光場圖像信息)進行編 碼的方法。在該方法中，為了提高解碼速度而采用了矢量量子化。并且， 該方法不同于例如訪問解碼數(shù)據(jù)較為復(fù)雜的動態(tài)圖像專家組(MPEG)方 式等中采用的預(yù)測編碼，而是參照碼本(Codebook)內(nèi)的索引并將其輸 出來對矢量編碼數(shù)據(jù)進行解碼。在美國專利6097394的方法中，光線信息被矢量量子化，在進行矢 量量子化時采用的碼本和索引被LZ (Lempd-Ziv)編碼而裝入到位流(Bit Stream)內(nèi)。為了提高圖像質(zhì)量，在最開始生成適當(dāng)?shù)拇a本之前，例如進
行基于試誤(Try and Error)的編碼，生成訓(xùn)練(training)集合。在此，由于基于試誤的編碼處理負(fù)荷較大，因而應(yīng)用到便攜型全光 相機的實時拍攝中未必適當(dāng)。因而期待出現(xiàn)一種適于裝入便攜型全光相 機的更為適當(dāng)?shù)木幋a方法。而且，在美國專利6097394中沒有記載如何從與主要的光線信息一并 被編碼的圖像中提取索引顯示于便攜設(shè)備或計算機上的縮略圖像的內(nèi)容。在"Light Field Photography with a Hand-held Plenoptic Camera", Ren Ng et, Stanford Tech Repot CTSR 2005-02, 2005中公開了具備機械/光學(xué)特 征的便攜型全光相機。但在該文獻(xiàn)中沒有公開如何對所取得的圖像進行 編碼的內(nèi)容。而且，在該文獻(xiàn)中也沒有公開在顯示器上實時顯示所取得 的圖像的方法、和對縮略圖像進行編碼的方法。在"Fourier Slice Photography", Ren Ng， Stanford University, 2005中 公開有傅立葉分層(Fourier Slicing)法，其是對由全光相機取得的圖像 進行重新聚焦(Refocus)來生成各種焦點深度下聚焦而成的圖像的方法。 但在該文獻(xiàn)中沒有公開取得光線信息的全光相機等設(shè)備如何對光線信息 進行編碼，也沒有公開對應(yīng)取得的圖像進行實時取景顯示的方法。并且，在"光線情報K基刁 < 空間符號化(3-D Space Coding Based on Light Ray Data)" 高野他、映像情報乂fV了學(xué)會誌Vol.52， No.l, pp.1321-7中，公開有把光線信息分割為塊而實施四維離散余弦轉(zhuǎn)換 (DCT)的技術(shù)。但在該技術(shù)中必須對龐大的四維數(shù)據(jù)執(zhí)行四維的DCT。 因而不僅編碼變得復(fù)雜，還要對除去直流分量之外的所有DCT系數(shù)應(yīng)用 線性量子化，所以光線的傳播方向的信息被不可逆地編碼，存在丟失該 信息的可能。發(fā)明內(nèi)容本發(fā)明的目的在于，提供一種能夠以較小的編碼處理負(fù)擔(dān)來提供高 畫質(zhì)的光線信息的編碼方法及其解碼方法、電子相機、以及記錄有這樣 的編碼程序的記錄介質(zhì)。本發(fā)明的其他優(yōu)點將在隨后的說明中進行闡述，其部分根據(jù)該說明
會變得清楚，或者可以通過實施本發(fā)明而獲知。本發(fā)明的優(yōu)點可以由下 文中具體指出的手段及其組合而實現(xiàn)并獲得。


被并入且構(gòu)成本說明書的一部分的附圖例示了本發(fā)明的實施方式， 并與前面給出的一般描述和后面給出的實施方式的詳細(xì)描述一起用于解 釋本發(fā)明的原理。圖1是本發(fā)明的實施方式涉及的數(shù)字相機的整體結(jié)構(gòu)圖。 圖2是用于說明圖1所示的微透鏡陣列和攝像部的像素之間的關(guān)系 的圖。圖3是用于說明微透鏡塊的圖。圖4是用于說明圖1所示的處理部的功能的一部分的框圖。 圖5是用于說明圖4所示的像素數(shù)據(jù)生成部的處理的流程圖。 圖6是用于說明本發(fā)明的實施方式中微透鏡塊的圖。 圖7是用于說明本發(fā)明的實施方式中處理(processing)塊的圖。 圖8A是用于說明本發(fā)明的實施方式中微透鏡塊的編碼方法的圖。 圖8B是用于說明微透鏡塊的其他編碼方法的圖。 圖9是用于說明本發(fā)明的實施方式涉及的編碼方法中采用的Z形掃 描的圖。圖10是用于說明本發(fā)明的實施方式中被編碼的圖像數(shù)據(jù)的記錄格 式的圖。圖11是用于說明根據(jù)圖1所示的攝像部的成像結(jié)果對圖像數(shù)據(jù)進行 編碼并將其寫入到作業(yè)存儲器中的動作的流程圖。圖12是用于說明圖11所示的動作中的數(shù)據(jù)流向的圖。圖13是用于說明圖ll所示的步驟S24的處理的流程圖。圖14是用于說明本發(fā)明的實施方式中縮略圖像的編碼方法的流程圖。圖15是用于說明本發(fā)明的實施方式中再現(xiàn)處理的流程圖。 圖16是用于說明圖15所示的再現(xiàn)處理中數(shù)據(jù)流向的圖。 圖17是用于說明本發(fā)明的實施方式中實時取景圖像的顯示處理的圖。圖18是用于說明本發(fā)明的實施方式的編碼處理的變形例的圖。圖19A和圖19B是用于說明現(xiàn)有相機和全光相機的拍攝原理的圖。 圖20是用于說明通常的相機的拍攝原理的圖。
具體實施方式
圖1是本發(fā)明的實施方式涉及的數(shù)字相機1的整體結(jié)構(gòu)圖。如圖1 所示，數(shù)字相機1例如具有操作部22、光學(xué)系統(tǒng)23、微透鏡陣列25、攝 像部27、模擬前端(analog front end: AFE) 29、作業(yè)存儲器31、處理 部32、存儲器接口 33、內(nèi)部存儲器35、存儲器接口 37、可拆裝的存儲 器39、視頻存儲器41、顯示部43、外部接口45、閃速存儲器(Flash Memory) 47和CPU 48。AFE 29、作業(yè)存儲器31、處理部32、存儲器接口 33、存儲器接口 37、視頻存儲器41、外部接口45和CPU48通過信號線21電連接。操作部22把對應(yīng)于用戶操作的操作信號輸出給CPU 48。操作部22 包含用于使數(shù)字相機1的電源導(dǎo)通的電源按鈕、和用于執(zhí)行靜止圖像拍 攝的釋放按鈕等各種操作部件。光學(xué)系統(tǒng)23由聚焦透鏡23a和變焦透鏡23b構(gòu)成，對來自被拍攝體 的光進行聚光等而朝向微透鏡陣列25出射。聚焦透鏡23a將來自被拍攝 體各點的光投射到微透鏡陣列25上的一個匯聚點上。如圖2和圖3所示，微透鏡陣列25是通過配置成sXt矩陣狀的多個 微透鏡ML (s，t)而構(gòu)成的。各微透鏡分別將從被拍攝體的各點入射進來 的光(匯聚光)按照始于該點的出射方向(角度)進行分離，投射到攝 像部27的攝像元件面上對應(yīng)的像素上。在本實施方式中，構(gòu)成微透鏡陣列25的各個微透鏡的二維形狀與聚 焦透鏡23a的二維形狀相同。該二維形狀例如為矩形。使各微透鏡的二 維形狀與聚焦透鏡23a的二維形狀相同，從而可以減少構(gòu)成微透鏡塊 MLB (s，t)的6X6像素中有效光沒有入射的像素(無用的像素)的數(shù)量。
攝像部27是CCD傳感器和CMOS傳感器，其相對于微透鏡陣列25 位于光學(xué)系統(tǒng)23的相反側(cè)。攝像部27既可以是單板式也可以是三板式。 攝像部27是把多個像素配置成矩陣狀而構(gòu)成的。各個像素的受光面的形 狀例如為矩形。在本實施方式中，聚焦透鏡23a、各個微透鏡以及像素的 受光面都為相同形狀、即矩形。由此可以減少從聚焦透鏡23a入射的光 中無法用攝像部27的像素接受的光的比例，可以提高攝像部27的受光 靈敏度。在本實施方式中，例如以6X6像素的微透鏡塊MLB為單位對構(gòu)成 攝像部27的像素進行處理。微透鏡塊MLB (s，t)例如與一個微透鏡ML (s,t)對應(yīng)。微透鏡塊MLB (s,t)無需與一個微透鏡ML (s，t) 一對一 地對應(yīng)。還可以通過像素插值處理等來生成微透鏡塊MLB (s，t)。如圖3所示，各微透鏡塊MLB(s,t)被分配有6X6個像素PIC(u，v)。 攝像部27生成與對各像素接受的光進行光電轉(zhuǎn)換而產(chǎn)生的電荷對應(yīng)的模 擬的RAW圖像信號。如后所述，在本實施方式中，處理部32根據(jù)從RAW圖像信號獲得 的數(shù)字的RAW圖像數(shù)據(jù)進行插值處理等，生成各微透鏡塊MLB (s,t) 的像素PIC (u,v)的像素數(shù)據(jù)L (u,v,s，t)。在本實施方式中，各微透鏡塊MLB (s，t)的6X6個像素的像素數(shù) 據(jù)L (u,v,s,t)具有光線信息。廣義上的光線信息是指光線的信息。 一般而言，為了獲得光線的信 息，需要獲得該光線在自由空間內(nèi)通過的一點(x,y,z)和通過該點時的角 度(W)。但在數(shù)字相機1的攝影等中所設(shè)想的自由空間中，無論放射 亮度取光線上的哪個點都是不變的，所以將一般的光線信息視為四維的 光線信息。即，在此所說的光線信息是指包含光線在規(guī)定的二維多樣體 中交叉的點的位置和入射到該多樣體中的角度的信息在內(nèi)的信息。此時， 規(guī)定的多樣體是假想的要素，是任意的。規(guī)定的多樣體例如是平面或者 球面。并且，多樣體也可以不是單一的，例如還可以由2個不同的平面 構(gòu)成。進而，根據(jù)光線信息的用途，還可以不是四維的光線信息而是三 維的光線信息，其中，該三維的光線信息是僅考慮到光線在規(guī)定的平面
上交叉的點的位置(二維)和入射到該平面上的角度(二維)中該光線 與平面上的一個方向矢量所成的角度(一維)而得到的。還可以把光線信息描述為2個規(guī)定的第1平面與第2平面交叉的2 個部位的信息。這樣的描述方法例如記載在美國專利6097394中。在本實施方式的數(shù)字相機1中，可以把微透鏡陣列25的平面設(shè)為規(guī) 定的平面。此時，可以視為用坐標(biāo)(s,t)描述該平面上的位置，用坐標(biāo) (n，v)描述相對于該平面的入射角。AFE 29對從攝像部27輸入的模擬圖像信號實施規(guī)定的模擬前端處 理。然后對處理后得到的圖像信號進行A/D轉(zhuǎn)換，將通過A/D轉(zhuǎn)換得到 的數(shù)字的RAW圖像數(shù)據(jù)寫入作業(yè)存儲器31 。作業(yè)存儲器31暫時存儲處理部32的處理對象數(shù)據(jù)或者處理后的數(shù) 據(jù)。作業(yè)存儲器31例如是同步DRAM (SDRAM)。處理部32如后所述進行通過拍攝得到的圖像數(shù)據(jù)的編碼、解碼等處 理。處理部32例如是數(shù)字信號處理器(DSP)。后面詳細(xì)說明該處理部 32的處理。另外，處理部32是編碼部的一個例子。內(nèi)部存儲器35例如是閃速存儲器等半導(dǎo)體存儲器，其固定裝入在數(shù) 字相機1內(nèi)。內(nèi)部存儲器35存儲通過拍攝得到的圖像數(shù)據(jù)，并通過存儲 器接口 33將圖像數(shù)據(jù)輸入輸出給信號線21?？刹鹧b的存儲器39例如是由閃速存儲器構(gòu)成的存儲卡，可拆裝地安 裝在數(shù)字相機1上?？刹鹧b的存儲器39存儲通過拍攝得到的圖像數(shù)據(jù)， 并通過存儲器接口 37將圖像數(shù)據(jù)輸入輸出給信號線21。視頻存儲器41暫時存儲由處理部32生成的顯示用的圖像數(shù)據(jù)。顯 示部43顯示與存儲在視頻存儲器41中的圖像數(shù)據(jù)對應(yīng)的圖像。顯示部 43例如是液晶顯示器。外部接口 45與數(shù)字相機1的外部設(shè)備之間進行數(shù)據(jù)的輸入輸出。外 部接口 45例如是通用串行總線(USB接口)。閃速存儲器47存儲有用于執(zhí)行拍攝動作的各種程序和用于執(zhí)行各 種處理的參數(shù)。CPU 48執(zhí)行從閃速存儲器47讀取的程序，統(tǒng)一控制數(shù)字相機1的動作。下面說明圖l所示的處理部32。圖4是用于說明圖l所示的處理部32的功能的一部分的框圖。如圖4所示，處理部32作為功能塊例如具有像素數(shù)據(jù)生成部50、 間除處理部51、聯(lián)合圖像專家組(JPEG)編碼部53、全光編碼部55、 頭附加部61、頭解釋部63、 JPEG解碼部65、全光解碼部67。還可以不使用DSP而使用專用的硬件電路來構(gòu)成像素數(shù)據(jù)生成部 50、間除處理部51、 JPEG編碼部53、全光編碼部55、頭附加部61、頭 解釋部63、 JPEG解碼部65、全光解碼部67的一部分。而且，還可以通 過DSP之外的處理器來實現(xiàn)這些功能的一部分或者全部。大致把處理部32的處理分為例如生成像素數(shù)據(jù)L (u，v，s,t)的處理、 對像素數(shù)據(jù)L (u，v,s，t)進行編碼的處理、對編碼后的像素數(shù)據(jù)L (u，v,s,t) 進行解碼的處理、顯示與解碼后的像素數(shù)據(jù)對應(yīng)的圖像的處理。下面按順序說明各處理。首先說明像素數(shù)據(jù)生成部50。圖5是用于說明像素數(shù)據(jù)生成部50 的處理的流程圖。步驟S11:像素數(shù)據(jù)生成部50例如從作業(yè)存儲器31讀取RAW圖像數(shù)據(jù)。 步驟S12:像素數(shù)據(jù)生成部50對讀取到的RAW圖像數(shù)據(jù)執(zhí)行去馬賽克 (De-mosaic)處理、失調(diào)(Misalliance)校正處理以及插值處理等。去 馬賽克處理是通過在攝影時對各像素從其周邊像素收集不足的顏色信息 并賦予給該像素從而補充顏色信息，制作出全色圖像的處理。例如在很 多數(shù)字相機所采用的單板式圖像傳感器中，為使各像素僅具有單色的顏 色信息而需要進行去馬賽克處理。三板式的情況下不需要去馬賽克處理。 失調(diào)校正處理例如是旋轉(zhuǎn)RAW圖像數(shù)據(jù)表示的圖像，校正圖3所示的微 透鏡陣列25的微透鏡ML (s，t)的排列和攝像部27的微透鏡塊MLB的 排列的橫向失調(diào)的處理。插值處理例如為了使各微透鏡塊MLB包含規(guī)定 數(shù)量的像素數(shù)據(jù)而進行。
步驟S13:像素數(shù)據(jù)生成部50將在步驟S12中生成的相當(dāng)于1幀的像素數(shù)據(jù)L (u，v,s,t)作為被編碼圖像數(shù)據(jù)TE寫入作業(yè)存儲器31等。像素數(shù)據(jù)L (u，v，s，t)是光線信息的一個例子。下面說明用于對被編碼圖像數(shù)據(jù)進行編碼的間除處理部51、 JPEG 編碼部53、全光編碼部55和頭附加部61。如圖6所示，間除處理部51從構(gòu)成被編碼圖像數(shù)據(jù)TE的像素數(shù)據(jù) L (u,v,s,t)中間除作為各微透鏡塊MLB內(nèi)的像素PIC (4,4)的、像素 PIC (uO，vO)之外的像素PIC (u，v)的像素數(shù)據(jù)L (u，v,s，t)，生成圖像數(shù) 據(jù)TE2。通過間除，如圖7等所示，圖像數(shù)據(jù)TE2成為由像素數(shù)據(jù)L (uO，vO,s,t)構(gòu)成的數(shù)據(jù)。JPEG編碼部53對由間除處理部51生成的圖像數(shù)據(jù)TE2實施JPEG 編碼處理，生成JPEG哈夫曼編碼(Huffinan Code) JF。 JPEG哈夫曼編 碼jf是第i圖像信息的一個例子，jpeg編碼部53進行的編碼處理是第 1編碼處理的一個例子。在本實施方式中，作為第1編碼處理的一個例子， 例示JPEG編碼處理，但也可以使用其他的空間頻率轉(zhuǎn)換。具體而言，JPEG編碼部53對圖像數(shù)據(jù)TE2實施DCT轉(zhuǎn)換處理而 生成DCT轉(zhuǎn)換系數(shù)K。然后，JPEG編碼部53對DCT轉(zhuǎn)換系數(shù)K進行 量子化。接著，JPEG編碼部53對量子化后的DCT轉(zhuǎn)換系數(shù)從低頻分量 (直流)向高頻分量呈Z狀掃描。接著，JPEG編碼部53對掃描后的DCT 轉(zhuǎn)換系數(shù)實施哈夫曼編碼等熵編碼，生成JPEG哈夫曼編碼JF。如圖4所示，全光編碼部55具有路徑掃描部57和LZW處理部59。 如上所述，JPEG編碼部53對由像素數(shù)據(jù)L (u0,v0，s,t)構(gòu)成的圖像 數(shù)據(jù)TE2進行編碼。與此相對，全光編碼部55對被編碼圖像數(shù)據(jù)TE內(nèi) 的像素數(shù)據(jù)L (u0,v0,s,t)之外的像素數(shù)據(jù)L (u，v,s,t)進行可逆編碼，生 成字符串?dāng)?shù)據(jù)WORD。字符串?dāng)?shù)據(jù)WORD是第2圖像信息的一個例子， 全光編碼部55進行的編碼處理是第2編碼處理的一個例子。在本實施方 式中，作為第2編碼處理例示LZW編碼，但也可以使用其他的LZ編碼 處理。
如圖8A所示，路徑掃描部57以各微透鏡塊MLB內(nèi)的像素PIC (uO，vO)為基點，沿著路徑PATH1、 PATH2、 PATH3、 PATH4、 PATH5 這5個路徑掃描像素PIC (uO,vO)之外的像素PIC (u，v)的像素數(shù)據(jù)L (u，v，s，t)。在此，路徑掃描部57在路徑PATH1的掃描中，生成像素數(shù)據(jù)L (5，4，s,t)與像素數(shù)據(jù)L (uO,vO，s，t)的差值數(shù)據(jù)D (5,4,s，t)、像素數(shù)據(jù)L (5，3,s,t)與像素數(shù)據(jù)L(5,4，s，t)的差值數(shù)據(jù)D(5,3，s,t)、像素數(shù)據(jù)L(6,3,s,t) 與像素數(shù)據(jù)L (5，3,s，t)的差值數(shù)據(jù)D (6,3,s,t)、以及像素數(shù)據(jù)L (6,4，s,t) 與像素數(shù)據(jù)L (6，3，s，t)的差值數(shù)據(jù)D (6,4，s,t)。然后，路徑掃描部57生 成由差值數(shù)據(jù)D (5，4,s,t)、 D (5，3,s，t)、 D (6,3,s，t)、 D (6，4，s,t)構(gòu)成的 字符W0RD1。并且，路徑掃描部57在路徑PATH2的掃描中，生成像素數(shù)據(jù)L (4，3，s,t)與像素數(shù)據(jù)L (uO，vO,s,t)的差值數(shù)據(jù)D (4,3，s，t)、像素數(shù)據(jù)L (4，2,s，t)與像素數(shù)據(jù)L(4,3,s,t)的差值數(shù)據(jù)D(4,2,s,t)、像素數(shù)據(jù)L(5,2，s,t) 與像素數(shù)據(jù)L (4,2,s，t)的差值數(shù)據(jù)D (5，2，s，t)、像素數(shù)據(jù)L (4，1,s，t)與 像素數(shù)據(jù)L (5,2，s,t)的差值數(shù)據(jù)D (4,1，s，t)、以及像素數(shù)據(jù)L (3,1，s，t) 與像素數(shù)據(jù)L (4,1,s,t)的差值數(shù)據(jù)D (3，1，s，t)。然后，路徑掃描部57生 成由差值數(shù)據(jù)D (4,3,s,t)、 D (4,2,s,t)、 D (5，2,s，t)、 D (4，1，s，t)、 D (3，1,s,t) 構(gòu)成的字符W0RD2。并且，路徑掃描部57在路徑PATH3的掃描中，生成像素數(shù)據(jù)L G,3,s,t)與像素數(shù)據(jù)L (uO,vO,s，t)的差值數(shù)據(jù)D (3,3，s，t)、像素數(shù)據(jù)L (3，2,s,t)與像素數(shù)據(jù)L(3,3，s,t)的差值數(shù)據(jù)DG，2,s,t)、像素數(shù)據(jù)L(2，2，s,t) 與像素數(shù)據(jù)L (3,2,s，t)的差值數(shù)據(jù)D (2，2，s,t)、像素數(shù)據(jù)L (2,3,s,t)與 像素數(shù)據(jù)L (2,2,s,t)的差值數(shù)據(jù)D (2，3，s，t)、以及像素數(shù)據(jù)L (1,3,s,t) 與像素數(shù)據(jù)L (2,3,s，t)的差值數(shù)據(jù)D (1,3,s,t)。然后，路徑掃描部57生 成由差值數(shù)據(jù)D (3，3，s，t)、 D (3,2，s,t)、 D (2，2,s,t)、 D (2,3，s，t)、 D (1，3，s,t) 構(gòu)成的字符W0RD3。并且，路徑掃描部57在路徑PATH4的掃描中，生成像素數(shù)據(jù)L (3，4，s，t)與像素數(shù)據(jù)L (uO，vO,s,t)的差值數(shù)據(jù)D (3,4,s,t)、像素數(shù)據(jù)L(2，5，s，t)與像素數(shù)據(jù)L(3，4，s,t)的差值數(shù)據(jù)D(2,5,s,t)、像素數(shù)據(jù)L(2,4,s,t) 與像素數(shù)據(jù)L (2,5,s,t)的差值數(shù)據(jù)D (2，4,s，t)、以及像素數(shù)據(jù)L (1，4，s，t) 與像素數(shù)據(jù)L (2,4,s,t)的差值數(shù)據(jù)D (1，4,s，t)。然后，路徑掃描部57生 成由差值數(shù)據(jù)D (3,4，s,t)、 D (2，5，s，t)、 D (2,4，s,t)、 D (1，4,s,t)構(gòu)成的 字符WORD4。并且，路徑掃描部57在路徑PATH5的掃描中，生成像素數(shù)據(jù)L (4,5，s，t)與像素數(shù)據(jù)L (uO，vO，s，t)的差值數(shù)據(jù)D (4，5,s,t)、像素數(shù)據(jù)L (3,5,s,t)與像素數(shù)據(jù)L(4，5,s，t)的差值數(shù)據(jù)D(3,5,s,t)、像素數(shù)據(jù)L(3,6，s，t) 與像素數(shù)據(jù)L (3，5，s，t)的差值數(shù)據(jù)D (3,6,s，t)、像素數(shù)據(jù)L (4，6，s，t)與 像素數(shù)據(jù)L (3,6,s,t)的差值數(shù)據(jù)D (4，6,s,t)、以及像素數(shù)據(jù)L (5,5，s,t) 與像素數(shù)據(jù)L (4,6,s，t)的差值數(shù)據(jù)D (5,5,s,t)。然后，路徑掃描部57生 成由差值數(shù)據(jù)D (4,5，s，t)、 D (3，5，s，t)、 D G，6,s，t)、 D (4,6，s，t)、 D (5,5,s，t) 構(gòu)成的字符W0RD5。在此，如圖6所示，各微透鏡塊MLB內(nèi)的4角的像素PIC 的 像素數(shù)據(jù)L (l,l,s,t)、 L (1，2，s,t)、 L (2，1，s,t)、 L (5,1,s，t)、 L (6,1,s,t)、 L (6,2，s,t)、 L (1，5，s，t)、 L (1，6，s,t)、 L (2,6,s,t)、 L (5，6,s，t)、 L (6，5,s，t)、 L (6，6,s,t)由于微透鏡塊MLB與微透鏡ML的位置關(guān)系的原因而不能獲 得有效的像素數(shù)據(jù)，因而不進行上述掃描。不能在各微透鏡塊MLB內(nèi)的 4角的像素中獲得有效的像素數(shù)據(jù)，是因為聚焦透鏡23a具有圓形形狀， 通過聚焦透鏡23a投影在微透鏡塊MLB上的像成為模糊不清的圓形形 狀。另外，在將聚焦透鏡23a和變焦透鏡23b設(shè)為矩形時，例如圖8B所 示，微透鏡ML內(nèi)的4角的各1個像素之外的像素的像素數(shù)據(jù)為有效。 這種情況下，路徑掃描部57也可以在圖8B所示的路徑PATH11 14上 進行掃描。路徑掃描部57例如以圖7所示的被編碼圖像數(shù)據(jù)TE內(nèi)的處理塊數(shù) 據(jù)PRBK為單位，對該處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u，v,s,t)進行 上述掃描處理，生成字符串?dāng)?shù)據(jù)WORD。另外，處理塊數(shù)據(jù)PRBK是處 理單位塊的一個例子。并且，微透鏡塊MLB是二維塊數(shù)據(jù)的一個例子。在此，在處理塊數(shù)據(jù)PRBK中包含有8X8合計64個微透鏡塊MLB 的像素數(shù)據(jù)L (u,v,s，t)。因此，路徑掃描部57對處理塊數(shù)據(jù)PRJBK生成 320 (=5X8X8)字符的字符串?dāng)?shù)據(jù)WORD。如圖9所示，路徑掃描部57例如通過Z形掃描，將對處理塊數(shù)據(jù) PRBK內(nèi)的8X8合計64個微透鏡塊MLB分別生成的字符WORD1 5 按順序排列，生成字符串?dāng)?shù)據(jù)WORD。LZW處理部59對從路徑掃描部57輸入的字符串?dāng)?shù)據(jù)WORD實施 LZW壓縮處理，生成LZW壓縮編碼LZ。另外，LZW處理部59還可以 進行LZW之外的基于字典的通用編碼(LZ編碼)。頭附加部61生成由JPEG編碼部53生成的JPEG哈夫曼編碼JF和 由LZW處理部59生成的LZW壓縮編碼LZ的頭數(shù)據(jù)HEADER。頭數(shù)據(jù) HEADER中寫入有向LZW壓縮編碼LZ的指針、縮略圖像數(shù)據(jù)、文件尺 寸、圖像尺寸、攝影日期時間、其他標(biāo)簽信息。處理部32把頭附加部61 生成的頭數(shù)據(jù)HEADER、向LZW壓縮編碼LZ的指針LZP、 JEPG縮略 數(shù)據(jù)THM、 JPEG哈夫曼編碼JF，以圖IO所示的數(shù)據(jù)結(jié)構(gòu)的文件形式寫 入到內(nèi)部存儲器35和可拆裝的存儲器39中。頭解釋部63對從作業(yè)存儲器31讀取到的JPEG哈夫曼編碼JF和 LZW壓縮編碼LZ的頭數(shù)據(jù)HEADER進行解釋。頭解釋部63讀取向LZW 壓縮編碼LZ的指針LZP對其進行保持。然后，當(dāng)頭解釋部63之后進行 LZW壓縮編碼LZ的讀取的情況下，根據(jù)該指針LZP對讀取對象的LZW 壓縮編碼LZ進行訪問。然后，頭解釋部63把從作業(yè)存儲器31讀取到的 JPEG哈夫曼編碼JF輸出給JPEG解碼部65，把LZW壓縮編碼LZ輸出 給全光解碼部67。JPEG解碼部65對從頭解釋部63輸出的JPEG哈夫曼編碼JF進行 JPEG解碼，生成JPEG解碼圖像數(shù)據(jù)。JPEG解碼圖像數(shù)據(jù)由像素數(shù)據(jù)L (uO,vO,s,t)構(gòu)成。JPEG解碼部65進行的解碼處理對應(yīng)于上述JPEG編 碼部53的編碼處理。即，JPEG解碼部65對JPEG哈夫曼編碼JF依次實 施哈夫曼解碼處理、逆量子化和逆DCT處理。全光解碼部67根據(jù)JPEG 解碼圖像數(shù)據(jù)對LZW壓縮編碼LZ進行解碼，生成像素數(shù)據(jù)L(uO，vO，s，t) 之外的像素數(shù)據(jù)L (u,v，s,t)。全光解碼部67的解碼處理例如對應(yīng)于上述
全光編碼部55的編碼處理。下面說明數(shù)字相機1的動作例。 [圖像數(shù)據(jù)記錄處理]圖11是用于說明對與攝像部27的成像結(jié)果對應(yīng)的圖像數(shù)據(jù)進行編碼并將其寫入到作業(yè)存儲器31中的動作的流程圖。圖12是用于說明圖11所示的動作中的數(shù)據(jù)流向的圖。下面參照圖12說明圖11所示的各步驟。另外，下面所示的處理中的一部分的執(zhí)行順序是任意的。還可以同時執(zhí)行一部分處理。步驟S2h當(dāng)接通操作部22的釋放開關(guān)時，攝像部27在各像素接受來自被拍 攝體的光，對各像素接受到的光進行光電轉(zhuǎn)換，生成與通過光電轉(zhuǎn)換產(chǎn) 生的電荷對應(yīng)的模擬的RAW圖像信號。步驟S22:處理部32取得在生成步驟S21的RAW圖像信號時光學(xué)系統(tǒng)23中 使用的鏡頭參數(shù)和聚焦值f。另外，聚焦值f與圖19B中的被拍攝體距離 21E成為一對一的對應(yīng)關(guān)系。因此，還可以通過計算來取得與聚焦值f 對應(yīng)的被拍攝體距離的值，來代替聚焦值f。以下也用f來表示這樣計算 出來的被拍攝體距離。并且，在單焦點相機的情況下，不需要取得聚焦 值。不過，為了進行再現(xiàn)處理，也可以取得相機固有的過焦距的值f而作 為聚焦值。步驟S23:AFE 29對從攝像部27輸入的模擬圖像信號實施規(guī)定的模擬前端處 理，把對處理后的圖像信號進行A/D轉(zhuǎn)換而得到的數(shù)字的RAW圖像數(shù) 據(jù)寫入作業(yè)存儲器31。并且，像素數(shù)據(jù)生成部50從作業(yè)存儲器31讀取 RAW圖像數(shù)據(jù)，進行去馬賽克處理、失調(diào)校正處理、插值處理等，生成 像素數(shù)據(jù)L (u,v,s，t)。之后，像素數(shù)據(jù)生成部50按照每幀把由像素數(shù)據(jù) L (u,v,s,t)構(gòu)成的被編碼圖像數(shù)據(jù)TE寫入作業(yè)存儲器31。步驟S24:處理部32從作業(yè)存儲器31讀取被編碼圖像數(shù)據(jù)TE進行編碼，生成
JPEG哈夫曼編碼JF和LZW壓縮編碼LZ。然后，處理部32將這兩個編 碼與在步驟S22中取得的鏡頭參數(shù)和聚焦值f 一起寫入作業(yè)存儲器31。 在此，編碼處理等是在圖4所示的間除處理部5K JPEG編碼部53、全 光編碼部55和頭附加部61中進行的。關(guān)于該步驟S24的處理，將在后 面參照圖13進行詳細(xì)說明。 步驟S25:頭解釋部63從作業(yè)存儲器31讀取JPEG哈夫曼編碼JF，同時對頭 數(shù)據(jù)HEADER進行解釋，在JPEG解碼部65中進行解碼。由此生成像素 數(shù)據(jù)L (uO，vO,s，t)。接著，處理部32根據(jù)解碼后的像素數(shù)據(jù)L (uO,vO，s，t)， 生成縮略圖像數(shù)據(jù)和快速取景顯示用圖像。之后，將通過對縮略圖像數(shù) 據(jù)進行JPEG編碼而得到的縮略圖像數(shù)據(jù)和快速取景顯示用圖像寫入作 業(yè)存儲器31。在此，處理部32例如在接受縮略顯示指示時生成縮略圖像 數(shù)據(jù)并將其寫入視頻存儲器41。由此將縮略圖像顯示在顯示部43上?？s 略圖像數(shù)據(jù)例如是用于在接受索引顯示指示后使顯示部43顯示由多個縮 略圖像構(gòu)成的索引圖像的圖像數(shù)據(jù)。步驟S26:處理部32從作業(yè)存儲器31讀取已寫入到作業(yè)存儲器31的JPEG哈 夫曼編碼JF、 LZW壓縮編碼LZ和縮略JPEG圖像，將它們寫入到內(nèi)部 存儲器35或者可拆裝的存儲器39中。[編碼處理(圖11的步驟S24)]圖13是用于詳細(xì)說明圖11的步驟S24的編碼處理的流程圖。也可 以同時執(zhí)行本實施方式中的圖13所示的步驟S35 S37的處理(JPEG編 碼處理)和步驟S38、 S39的處理(LZW編碼處理)。步驟S31:將用于確定生成JPEG哈夫曼編碼JF中使用的像素PIC (uO,vO)的 信息輸入到處理部32。用于確定像素PIC (uO,vO)的信息例如預(yù)先存儲 在規(guī)定的存儲器中。在本實施方式中，設(shè)110^0=4。其理由是認(rèn)為微透鏡 塊ML的中央部的像素具有最有效的信息。步驟S32:
處理部32把初始值"0"代入到變量PBC中。在此，變量PBC所 示的值用于確定圖7所示的進行編碼的處理塊數(shù)據(jù)PRBK。 步驟S33:處理部32將對變量PBC設(shè)定的值加"1 "。 步驟S34:處理部32從作業(yè)存儲器31讀取與變量PBC所示的值對應(yīng)的編碼對 象的處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u,v,s，t)。 步驟S35:間除處理部51根據(jù)在步驟S31中輸入的信息，提取在步驟S34中讀 取到的處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u,v，s，t)中的像素數(shù)據(jù)L (uO,vO,s,t)，生成圖像數(shù)據(jù)TE2。然后，JPEG編碼部53對圖像數(shù)據(jù)TE2 實施DCT轉(zhuǎn)換處理，生成DCT轉(zhuǎn)換系數(shù)K (i，j)。 步驟S36:JPEG編碼部53對在步驟S35中生成的DCT轉(zhuǎn)換系數(shù)K (i，j)進行 量子化。步驟S37:JPEG編碼部53從低頻分量(直流)向高頻分量呈Z狀掃描在步驟 S36中量子化后的DCT轉(zhuǎn)換系數(shù)。接著，JPEG編碼部53對掃描后的DCT 轉(zhuǎn)換系數(shù)實施哈夫曼編碼等熵編碼，生成JPEG哈夫曼編碼JF1 。步驟S38:如圖8A所示，對于編碼對象的處理塊數(shù)據(jù)PRBK內(nèi)的像素數(shù)據(jù)L (u，v，s，t)，全光編碼部55的路徑掃描部57以各微透鏡塊MLB內(nèi)的像素 PIC (uO，vO)為基點，沿著路徑PATH1、 PATH2、 PATH3、 PATH4、 PATH5 這5個路徑掃描像素PIC (uO,vO)之外的像素PIC (u,v)的像素數(shù)據(jù)L(u,v，s,t)。如上所述，路徑掃描部57對路徑上的像素數(shù)據(jù)L (u,v,s,t)， 生成與其前1個像素數(shù)據(jù)L (u,v,s,t)的差值數(shù)據(jù)D (u，v,s,t)。然后，路 徑掃描部57生成由差值數(shù)據(jù)D (u，v，s,t)構(gòu)成的字符。并且，如圖9所示， 路徑掃描部57例如通過Z形掃描，將對處理塊數(shù)據(jù)PRBK內(nèi)的8X 8共 計64個微透鏡塊MLB分別生成的字符W0RD1 5按順序排列，生成字
符串?dāng)?shù)據(jù)WORD。 步驟S39:
LZW處理部59對從路徑掃描部57輸入的字符串?dāng)?shù)據(jù)WORD實施 LZW壓縮處理，生成LZW壓縮編碼LZ1。 步驟S40:
頭附加部61生成由JPEG編碼部53生成的JPEG哈夫曼編碼JF和 由LZW處理部59生成的LZW壓縮編碼LZ的頭數(shù)據(jù)HEADER,把它們 對應(yīng)起來寫入作業(yè)存儲器31。
步驟S41:
處理部32對被編碼圖像數(shù)據(jù)TE內(nèi)的所有處理塊數(shù)據(jù)PRBK判斷處 理是否已結(jié)束，在判斷為已結(jié)束時結(jié)束步驟S24的處理。另一方面，在 處理部32對被編碼圖像數(shù)據(jù)TE內(nèi)的所有處理塊數(shù)據(jù)PRBK判斷為處理 沒有結(jié)束時，返回步驟S33。
由此，把對每個處理塊數(shù)據(jù)PRBK生成的JPEG哈夫曼編碼JF(JFl、 JF2、...)和LZW壓縮編碼LZ (LZ1、 LZ2...)分別寫入圖IO所示的數(shù) 據(jù)結(jié)構(gòu)的JPEG哈夫曼編碼的存儲區(qū)域和LZW壓縮編碼的存儲區(qū)域中。
圖14是用于說明處理部32進行的縮略圖像的編碼處理的流程圖。 步驟S51:
將確定用于生成縮略圖像數(shù)據(jù)的像素PIC (uO，vO)的信息輸入到處 理部32。
步驟S52:
處理部32根據(jù)在步驟S51中輸入的信息，讀取存儲在作業(yè)存儲器 31中的、構(gòu)成編碼圖像數(shù)據(jù)TE的像素數(shù)據(jù)L (n,v,s，t)中的像素數(shù)據(jù)L (uO，vO,s，t)。
步驟S53:
處理部32對在步驟S52中讀取到的像素數(shù)據(jù)L (uO,vO，s,t)進行間 除處理，生成編碼對象的縮略圖像數(shù)據(jù)。 步驟S54:
處理部32對在步驟S53中生成的編碼對象的縮略圖像數(shù)據(jù)實施
JPEG編碼處理。
步驟S55:
處理部32把在步驟S54中生成的編碼后的縮略圖像數(shù)據(jù)寫入作業(yè)存 儲器31。
圖15是用于說明再現(xiàn)處理的流程圖。參照圖16說明圖15所示的各 步驟。
步驟S61:
處理部32例如從圖1所示的內(nèi)部存儲器35或者可拆裝的存儲器39 中讀取縮略圖像數(shù)據(jù)(JPEG圖像數(shù)據(jù))，對讀取到的縮略圖像數(shù)據(jù)進行 JPEG解碼并寫入視頻存儲器41。由此在顯示部43上顯示縮略圖像。在 此，JPEG解碼后的縮略圖像數(shù)據(jù)以在編碼時被間除后的像素數(shù)據(jù)L (uO，vO，s,t)為要素。
步驟S62:
處理部32根據(jù)用戶對操作部的操作，判斷是否已選擇顯示在顯示部 43上的一個縮略圖像，在判斷為已選擇時，進入步驟S63。 步驟S63:
處理部32從內(nèi)部存儲器35或者可拆裝的存儲器39讀取與在步驟 S62中選擇出的縮略圖像對應(yīng)的圖像的JPEG哈夫曼編碼JF和LZW壓縮 編碼LZ，將它們寫入作業(yè)存儲器31。
然后，處理部32的JPEG解碼部65從作業(yè)存儲器31讀取與在步驟 S62中選擇出的縮略圖像對應(yīng)的JPEG哈夫曼編碼JF，對其進行JPEG解 碼，生成JPEG解碼圖像數(shù)據(jù)。JPEG解碼圖像數(shù)據(jù)以像素數(shù)據(jù)L(uO，vO，s,t) 為要素。
處理部32把上述JPEG解碼圖像數(shù)據(jù)寫入視頻存儲器41而顯示在 顯示部43上。并且，處理部32把上述JPEG解碼圖像數(shù)據(jù)寫入作業(yè)存儲 器31。
步驟S64:
JPEG解碼部65根據(jù)在步驟S63中生成的JPEG解碼圖像數(shù)據(jù)和與 在步驟S62中選擇出的縮略圖像對應(yīng)的LZW壓縮編碼LZ，生成選擇出 的圖像的像素數(shù)據(jù)L (uO，vO，s,t)之外的像素數(shù)據(jù)L (u，v，s，t)，將其寫入作 業(yè)存儲器31。然后，處理部32根據(jù)像素數(shù)據(jù)L (ii,v，s，O生成聚焦值f的 圖像數(shù)據(jù)，將其寫入視頻存儲器41，在顯示部43上顯示與之對應(yīng)的圖像。
步驟S65:
JPEG解碼部65使用解碼得到的像素數(shù)據(jù)L (n，v，s，t)，生成在步驟 S63中同與聚焦值f離散地相鄰的聚焦值對應(yīng)的圖像數(shù)據(jù)，把所生成的圖 像數(shù)據(jù)寫入作業(yè)存儲器31，其中，聚焦值f是與圖像對應(yīng)地讀取到的。 該圖像數(shù)據(jù)的生成例如根據(jù)上述"Light Field Photography with a Hand-held Plenoptic Camera", Ren Ng et， Stanford Tech Repot CTSR 2005-02, 2005中公開的方法來進行。
步驟S66:
當(dāng)用戶選擇新的聚焦值時，處理部32使顯示部43顯示與該聚焦值 對應(yīng)的圖像，并且，根據(jù)像素數(shù)據(jù)L (u，v,s，t)生成同與該新的聚焦值相 鄰的聚焦值對應(yīng)的圖像數(shù)據(jù)，并將其寫入作業(yè)存儲器31。此時，JPEG解 碼部65從作業(yè)存儲器31中刪除同已經(jīng)不與新選擇出的聚焦值相鄰的聚 焦值對應(yīng)的圖像數(shù)據(jù)。
圖17是用于說明在圖1所示的顯示部43上顯示實時取景圖像的處 理的流程圖。 步驟S71:
攝像部27生成模擬的RAW圖像信號，該模擬的RAW圖像信號與 通過對各像素接受到的光進行光電轉(zhuǎn)換而產(chǎn)生的電荷對應(yīng)。 步驟S72:
AFE 29對從攝像部27輸入的模擬圖像信號實施規(guī)定的模擬前端處 理，把處理后的數(shù)字的RAW圖像數(shù)據(jù)寫入作業(yè)存儲器31。并且，像素 數(shù)據(jù)生成部50從作業(yè)存儲器31讀取RAW圖像數(shù)據(jù)，進行去馬賽克處理、 失調(diào)校正處理、插值處理等而生成像素數(shù)據(jù)L (n,v,s,t)。之后，像素數(shù)據(jù)
生成部50針對每幀把由像素數(shù)據(jù)L (u,v，s，t)構(gòu)成的被編碼圖像數(shù)據(jù)TE 寫入作業(yè)存儲器31。
步驟S73:
處理部32讀取在步驟S72中寫入到作業(yè)存儲器31的像素數(shù)據(jù)L (u,v,s，t)中的像素數(shù)據(jù)L (uO,vO，s，t)。 步驟S74:
處理部32根據(jù)在步驟S73中讀取到的像素數(shù)據(jù)L (uO,vO，s，t)生成 實時取景圖像數(shù)據(jù)，將所生成的實時取景圖像數(shù)據(jù)寫入視頻存儲器41。 由此在顯示部43上顯示實時取景圖像。
如上所述，在數(shù)字相機l中，如使用圖7和圖13等說明的那樣，以 處理塊數(shù)據(jù)PRBK為單位對包含四維光線信息的被編碼圖像數(shù)據(jù)進行編 碼。
因此，可以減輕伴隨處理部32的編碼處理產(chǎn)生的負(fù)荷，能夠使用較 低處理能力的芯片，并且還能減小作業(yè)存儲器31所需的存儲容量。
并且，在數(shù)字相機1中，如使用圖13等說明的那樣，將微透鏡塊 MLB內(nèi)的像素數(shù)據(jù)L (uO,vO，s，t)與相同處理塊數(shù)據(jù)PRBK內(nèi)的其他像素 數(shù)據(jù)L (uO,vO,s,t) —體地進行JPEG編碼。并且，還將微透鏡塊MLB內(nèi) 的像素數(shù)據(jù)L (uO，vO，s，t)之外的像素數(shù)據(jù)L (u,v，s,t)，與相同處理塊數(shù) 據(jù)PRBK內(nèi)的其他微透鏡塊MLB內(nèi)的像素數(shù)據(jù)L (uO,vO，s,t)之外的像 素數(shù)據(jù)L (u，v,s,t) —體地進行LZW編碼。此時同時執(zhí)行JPEG處理中8 X 8個塊處理和處理塊PRBK的LZW壓縮處理。
因此，根據(jù)數(shù)字相機1，與以所有像素數(shù)據(jù)為對象進行空間編碼的 情況相比，可以減少編碼處理量。因而易于應(yīng)用到便攜型全光相機中。 進而，在各個處理塊PRBK中，通過同時執(zhí)行JPEG處理中的8X8個塊 處理和處理塊PRBK的LZW壓縮處理，編碼處理的速度得到提高。另外， 在數(shù)字相機1中，由于像素數(shù)據(jù)L (uO,vO,s，t)之外的像素數(shù)據(jù)L (u，v，s,t) 在微透鏡塊MLB內(nèi)進行LZW編碼(可逆編碼)，因而信息量不會丟失， 能夠進行維持高畫質(zhì)的光線信息的編碼。也就是說，由于光線的傳播方 向的信息被可逆地進行編碼，因而對各種聚焦值進行重新聚焦時所需的
信息被記錄而不會丟失。因此，重新聚焦后的圖像極為鮮明。
并且，在數(shù)字相機1中，如圖14所示，間除構(gòu)成被編碼圖像數(shù)據(jù)
TE的像素數(shù)據(jù)L (uO,vO,s，t)而生成縮略圖像數(shù)據(jù)，并對其進行編碼。因 此可以通過較低的處理負(fù)荷來生成縮略圖像數(shù)據(jù)。
并且，在數(shù)字相機1中，如圖17所示，在拍攝時把像素數(shù)據(jù)L(u,v,s，t) 寫入作業(yè)存儲器31 ，通過把對從作業(yè)存儲器31讀取像素數(shù)據(jù)L(uO，vO，s，t) 而得到的圖像實施恢復(fù)尺寸處理后的圖像寫入視頻存儲器41，從而在顯 示部43上顯示實時取景圖像。
由此，無需進行累積微透鏡塊MLB內(nèi)的像素數(shù)據(jù)那樣的圖像處理， 可以減輕處理負(fù)擔(dān)。
在此，在上述實施方式中，如圖8A中箭頭所示那樣，例示了生成相 鄰的像素數(shù)據(jù)L (u,v,s,t)間的差值數(shù)據(jù)D (u,v，s,t)的情況，但差值數(shù)據(jù) D (u,v,s,t)的生成方法是任意的。例如圖18所示，還可以生成一個像素 數(shù)據(jù)和多個像素數(shù)據(jù)之間的差值數(shù)據(jù)，對該差值數(shù)據(jù)進行編碼。
并且，本實施方式所示的構(gòu)成微透鏡塊MLB的像素數(shù)量、以及構(gòu)成 處理塊數(shù)據(jù)PRBK的微透鏡塊MLB的數(shù)量僅是一個例子。這些數(shù)量可以 任意設(shè)定。
并且，在上述實施方式中，例示了將來自被拍攝體的光線通過微透 鏡陣列25而在攝像部27的像素上成像的情況，但只要是以包含光線信 息的方式使光入射到像素中即可而沒有特別限定，還可以用反射器反射 來自被拍攝體的光線，使其成像在攝像部27的像素上。
并且，在上述實施方式中，例示了使用通過DSP等實現(xiàn)的處理部32 對光線信息進行編碼和解碼的情況，但例如也可以用微處理器執(zhí)行程序 來實現(xiàn)這些功能。
對于本領(lǐng)域的技術(shù)人員來說，將容易地發(fā)現(xiàn)另外的優(yōu)點和修改。因 此，在其更寬廣方面中的本發(fā)明不限于這里所示出和描述的具體細(xì)節(jié)和 代表性實施方式。因而，在不偏離由所附的權(quán)利要求及其等同物限定的 一般創(chuàng)造性概念的精神或范圍的情況下，可以做出各種修改。
權(quán)利要求
1.一種編碼方法，該編碼方法對光線信息進行編碼，該光線信息包含來自被拍攝體的光線入射到規(guī)定平面時在該平面上的位置信息、以及該光線入射到上述平面的角度信息，該編碼方法包括如下步驟把上述光線信息分割為多個處理單位塊；執(zhí)行第1編碼處理，即分別對上述多個處理單位塊實施壓縮編碼，取得構(gòu)成與上述被拍攝體有關(guān)的第1圖像信息的第1塊單位信息；以及執(zhí)行第2編碼處理，即分別對上述多個處理單位塊實施壓縮編碼，取得構(gòu)成不同于上述第1圖像信息的第2圖像信息的第2塊單位信息。
2. 根據(jù)權(quán)利要求1所述的編碼方法，并列執(zhí)行上述第1編碼處理和 上述第2編碼處理。
3. 根據(jù)權(quán)利要求2所述的編碼方法，上述第1編碼處理是不可逆的 壓縮處理，上述第2編碼處理是可逆的壓縮處理。
4. 根據(jù)權(quán)利要求3所述的編碼方法，上述第1編碼處理是基于空間 頻率轉(zhuǎn)換的編碼處理，上述第2編碼處理是使用基于LZ編碼的編碼方式 的編碼處理。
5. —種編碼方法，該編碼方法對光線信息進行編碼，該光線信息包 含來自被拍攝體的光線入射到規(guī)定平面時在該平面上的位置信息、以及 該光線入射到上述平面的角度信息，該編碼方法包括如下步驟把上述光線信息分割為多個二維塊，其中，上述光線信息是通過使 用攝像元件接受來自上述被拍攝體的光線而得到的二維排列的像素數(shù) 據(jù)，上述多個二維塊包含多個上述像素數(shù)據(jù)，且包含有從上述被拍攝體 向不同方向擴散的上述光線的角度信息；每次多個地匯集上述二維塊，取得多個處理單位塊作為處理單位塊; 執(zhí)行第1編碼處理，即分別對上述多個處理單位塊實施壓縮編碼， 取得構(gòu)成與上述被拍攝體有關(guān)的第1圖像信息的第1塊單位信息；以及執(zhí)行第2編碼處理，即分別對上述多個處理單位塊實施壓縮編碼， 取得構(gòu)成不同于上述第1圖像信息的第2圖像信息的第2塊單位信息。
6. 根據(jù)權(quán)利要求5所述的編碼方法，上述第1編碼處理中，將上述 處理單位塊內(nèi)的上述多個二維塊中規(guī)定像素的像素數(shù)據(jù)作為編碼處理對象，上述第2編碼處理中，將上述規(guī)定像素之外的像素的像素數(shù)據(jù)作為編碼處理對象。
7. 根據(jù)權(quán)利要求6所述的編碼方法，上述第2編碼處理包含如下處 理，即，在上述二維塊內(nèi)依次生成以上述規(guī)定像素為基點而相鄰的像素 的像素數(shù)據(jù)之間的差值數(shù)據(jù)，對通過一維排列上述所生成的多個差值數(shù) 據(jù)而得到的字符進行編碼。
8. 根據(jù)權(quán)利要求6或7所述的編碼方法，上述第2編碼處理中，不 將上述規(guī)定像素之外的像素中的一部分像素作為編碼對象。
9. 根據(jù)權(quán)利要求5所述的編碼方法，并列執(zhí)行上述第1編碼處理和 上述第2編碼處理。
10. 根據(jù)權(quán)利要求9所述的編碼方法，上述第1編碼處理是不可逆的 壓縮處理，上述第2編碼處理是可逆的壓縮處理。
11. 根據(jù)權(quán)利要求IO所述的編碼方法，上述第1編碼處理是基于空間 頻率轉(zhuǎn)換的編碼處理，上述第2編碼處理是使用基于LZ編碼的編碼方式 的編碼處理。
12. —種電子相機，該電子相機具有 聚焦透鏡；微透鏡陣列，其配置在上述聚焦透鏡的焦點位置上，由多個微透鏡 構(gòu)成；攝像元件，其由二維配置的多個像素構(gòu)成，把按照順序分別通過上 述聚焦透鏡和上述多個微透鏡而形成的被拍攝體像轉(zhuǎn)換為電信號；以及編碼部，其對與上述多個像素的受光結(jié)果對應(yīng)的光線信息進行編碼，上述光線信息包括來自上述被拍攝體的光線入射到規(guī)定平面時在該 平面上的位置信息、以及該光線入射到上述平面的角度信息，上述編碼部對拍攝上述被拍攝體時得到的上述光線信息進行編碼， 當(dāng)取得與上述被拍攝體有關(guān)的第1圖像信息和與上述第1圖像信息不同 種類的第2圖像信息時，將上述光線信息分割為多個處理單位塊，對每個上述處理單位塊執(zhí)行第1編碼處理和第2編碼處理，其中，上述第1 編碼處理中，分別對上述多個處理單位塊實施壓縮編碼，生成構(gòu)成上述第1圖像信息的第1塊單位信息；上述第2編碼處理中，分別對上述處 理單位塊實施壓縮編碼，取得構(gòu)成上述第2圖像信息的第2塊單位信息。
13. 根據(jù)權(quán)利要求12所述的電子相機，該電子相機還具有 顯示圖像的顯示部；以及顯示處理部，其使上述顯示部顯示對與上述光線信息中用于生成上 述第1圖像信息的光線信息對應(yīng)的圖像實施圖像處理后的圖像，作為實 時取景。
14. 根據(jù)權(quán)利要求12所述的電子相機，上述編碼部生成從上述光線 信息中用于生成上述第1圖像信息的光線信息中間除規(guī)定信息后的信息， 對該所生成的信息進行編碼，生成縮略圖像數(shù)據(jù)。
15. 根據(jù)權(quán)利要求14所述的電子相機，該電子相機還具有記錄部， 該記錄部把上述第1圖像信息、上述第2圖像信息和上述縮略圖像數(shù)據(jù) 記錄到可相對于上述電子相機拆裝的記錄介質(zhì)中。
16. —種解碼方法，該解碼方法對編碼后的光線信息進行解碼，該光 線信息包括來自被拍攝體的光線入射到規(guī)定平面時在該平面上的位置信 息、以及該光線入射到上述平面的角度信息，該解碼方法具有如下步驟按照每個規(guī)定的處理單位塊，對將上述光線信息編碼而得到的上述 被拍攝體的編碼后的第1圖像信息進行解碼，生成構(gòu)成上述第1解碼圖 像信息的第l塊單位信息；以及按照每個上述規(guī)定的處理單位塊，對與上述被拍攝體有關(guān)的、與上 述第1圖像信息不同種類的編碼后的第2圖像信息進行解碼，生成構(gòu)成 上述第2解碼圖像信息的第2塊單位信息。
17. 根據(jù)權(quán)利要求16所述的解碼方法，上述第2解碼處理中，根據(jù) 上述第1解碼圖像信息對上述第2圖像信息進行解碼。
18. 根據(jù)權(quán)利要求16所述的解碼方法，上述第1解碼處理是與不可 逆的壓縮處理對應(yīng)的解碼處理；上述第2解碼處理是與可逆的壓縮處理 對應(yīng)的解碼處理。
19.根據(jù)權(quán)利要求16所述的解碼方法，上述第1解碼處理是生成構(gòu)成上述處理單位塊的多個二維塊數(shù)據(jù)的各個規(guī)定像素數(shù)據(jù)而作為上述第1解碼圖像信息的處理；上述第2解碼處理是根據(jù)上述所生成的規(guī)定像素 數(shù)據(jù)，分別對上述多個二維塊數(shù)據(jù)生成上述規(guī)定像素數(shù)據(jù)之外的像素數(shù) 據(jù)而作為上述第2解碼圖像信息的處理。
全文摘要
本發(fā)明提供一種編碼方法、電子相機、記錄有編碼程序的記錄介質(zhì)以及解碼方法，該編碼方法對光線信息進行編碼，該光線信息包括來自被拍攝體的光線入射到規(guī)定平面時在該平面上的位置信息、以及該光線入射到上述平面的角度信息，上述光線信息被分割為多個處理單位塊PRBK。在第1編碼處理中，分別對上述多個處理單位塊PRBK實施壓縮編碼，取得構(gòu)成與上述被拍攝體有關(guān)的第1圖像信息的第1塊單位信息(步驟S35～S37)。在第2編碼處理中，分別對上述多個處理單位塊實施壓縮編碼，取得構(gòu)成不同于上述第1圖像信息的第2圖像信息的第2塊單位信息(步驟S38～S39)。
文檔編號H04N5/376GK101212566SQ20071016054
公開日2008年7月2日 申請日期2007年12月25日 優(yōu)先權(quán)日2006年12月26日
發(fā)明者坂田誠一郎, 堀江健一 申請人:奧林巴斯映像株式會社