專利名稱：用于對光場圖像進(jìn)行基于塊的壓縮的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對光場圖像的處理，更具體，涉及用于對光場圖Y象 進(jìn)行基于塊的壓縮的方法和設(shè)備。
背景技術(shù)：
傳統(tǒng)照相機(jī)不能捕獲大量的光學(xué)信息。具體地，傳統(tǒng)照相機(jī)不
能捕獲關(guān)于光圈(aperture)上位置的信息，其中光圈是不同光線進(jìn) 入照相機(jī)的地方。在操作期間，傳統(tǒng)數(shù)碼照相機(jī)捕獲代表打在照相 機(jī)中的光敏元件上的每個(gè)點(diǎn)的總光量的二維(2D)圖像。然而，此
像素處的方向信息對應(yīng)于光圏處的位置信息。
相反，光場照相機(jī)對四維(4D)光學(xué)相位空間或光場進(jìn)行采樣， 并且在這樣做時(shí)，捕獲關(guān)于光線的方向分布的信息。光場照相機(jī)捕 獲的這種信息可以稱為光場、全光函數(shù)或者輻射率。在計(jì)算攝影中， 光場是3D中所有光線的4D記錄。輻射率描述空間信息和角度信息 兩者，并且輻射率被定義為每立體角度(以弧度為單位)、每單位 面積的能量的密度。光場照相機(jī)捕獲輻射率；因此，最初失焦獲取 的光場圖像可以重新聚焦，噪聲可以被降低，視角可以改變，并且 可以獲得其他光場效果。
可以利用傳統(tǒng)照相4幾捕獲光場。在一個(gè)傳統(tǒng)方法中，利用傳統(tǒng) 照相機(jī)從不同位置捕獲場景的MxN個(gè)圖像。例如，如果從64個(gè)不 同位置捕獲8x8圖像，則產(chǎn)生64個(gè)圖像。從每個(gè)圖像中的每個(gè)位 置(i,j)取得像素，并將其置于塊中，以生成64個(gè)塊。
圖1A示出了示例性的現(xiàn)有技術(shù)的光場照相機(jī)，或者照相機(jī)陣 列，該陣列使用了兩個(gè)或更多物鏡110的陣列。每個(gè)物鏡聚焦于光敏元件108的特定區(qū)域，或者備選地聚焦于單獨(dú)的光敏元件108上。 此光場照相機(jī)100可以視為兩個(gè)或更多傳統(tǒng)照相機(jī)的組合，其中每 一個(gè)照相機(jī)同時(shí)將對象的圖像記錄在光敏元件108的特定區(qū)域上， 或者備選地記錄在特定光敏元件108上。捕獲的圖像隨后可以被組 合以形成一個(gè)圖像。
圖1B示出了示例性的現(xiàn)有技術(shù)全光照相機(jī)，其是另一種類型的 光場照相機(jī)，并且使用單個(gè)物鏡和顯微透鏡或小透鏡陣列106，該陣 列例如包括約100, 000個(gè)小透鏡。小透鏡陣列106通常與光敏元件 108 (例如，電荷耦合器件(CCD))相距較短距離(約0.5mm)。 全光照相機(jī)102捕獲的原始圖像由主照相機(jī)透鏡108的小圖像(通 常是圓形的)的陣列組成。這些小圖像可以稱為微圖像。小透鏡陣 列106支持全光照相機(jī)102以捕獲光場，即，不僅記錄圖像強(qiáng)度， 而且記錄每個(gè)點(diǎn)處不同方向上的強(qiáng)度分布。每個(gè)小透鏡將從主透鏡 104進(jìn)入的光束分裂成來自于主透鏡108的光圈上不同"針孔"位置的 射線。這些射線的每一個(gè)被記錄為光敏元件108上的像素，并且每 個(gè)小透鏡下的像素共同形成n像素圖像。每個(gè)小透鏡下的此n像素 區(qū)可以稱為宏像素，并且照相機(jī)102在每個(gè)宏像素處生成微圖像。 具有例如100, 000個(gè)小透鏡的照相機(jī)102捕獲的全光照片將包含 100， OOO個(gè)宏像素，并且因而生成對象的100， OOO個(gè)微圖像。例如， 參見圖2。通過適當(dāng)?shù)貜拿總€(gè)宏像素選擇像素，可以從宏像素處捕獲 的對象的微圖像創(chuàng)建對象的傳統(tǒng)圖片。
從光場照相機(jī)(包括全光照相機(jī))捕獲的光場通常保存為2D圖 像，該2D圖像包含"片段(tile)"或"微圖像"的陣列。光場圖像的壓 縮對于計(jì)算攝影是重要的問題。歸因于光場的4D性質(zhì)，以及光場的 2D片等同于傳統(tǒng)圖片這樣的事實(shí)，未壓縮的文件趨向于較大，并且 可能占據(jù)數(shù)千兆字節(jié)的空間。同時(shí)，數(shù)據(jù)中存在冗余從一個(gè)表面 點(diǎn)開始的所有射線具有近似相同的輻射率(對于朗伯(Lambertian) 表面，是完全相同)。這樣，存在對光場圖像進(jìn)行壓縮的動機(jī)。
傳統(tǒng)上，已經(jīng)使用現(xiàn)有的有損耗的和無損耗的圖像/視頻壓縮技術(shù)對光場圖像進(jìn)行壓縮。某些傳統(tǒng)方式將光場圖像中的2D片視為單 獨(dú)的圖像，并對每一個(gè)單獨(dú)進(jìn)行壓縮。在其他方式中，4D光場圖像 包含在一個(gè)2D圖像中，其由傳統(tǒng)方法簡單壓縮為一個(gè)圖像。這些方 式并未利用光場圖像特有的信息和冗余，而是將它們視為 一 般的圖像。
已經(jīng)提出了若干方式來專門壓縮光場圖像。某些傳統(tǒng)方法將4D 光場圖像中的每個(gè)2D片視為視頻中的幀。換言之，4D光場圖像中 的2D角度圖像被用于創(chuàng)建視頻，并且此視頻使用視頻壓縮方法進(jìn)行 壓縮。然而，利用光場專用壓縮技術(shù)壓縮的光場圖像通常需要特定 的查看器來查看光場圖像。
JPEG是常見的傳統(tǒng)圖像壓縮標(biāo)準(zhǔn)。JPEG代表聯(lián)合圖像專家組， 即創(chuàng)建JPEG標(biāo)準(zhǔn)的委員會的名稱。JPEG是基于塊的壓縮技術(shù)的示 例。JPEG將圖像分成8 x 8的像素塊，或者更一般地，基于塊的壓 縮技術(shù)將圖像劃分成wx w的像素塊，并使用某個(gè)變換函數(shù)來壓縮這 些塊。公知的是，由于將圖像劃分成塊，JPEG和其他基于塊的壓縮 技術(shù)存在生成"分塊贗像"的問題，其中壓縮后的圖像看起來是由塊 組成的，或者具有其他引入的垂直贗像/水平贗像(例如，垂直線或 水平線、不連貫或者條紋)。
JPEG標(biāo)準(zhǔn)和其他基于塊的壓縮技術(shù)可以用來直接壓縮光場圖 像，而無須考慮光場數(shù)據(jù)的細(xì)節(jié)。然而，歸因于光場圖像的準(zhǔn)周期 特性和壓縮的塊狀性質(zhì)，結(jié)果趨向于較差，包括明顯的分塊贗像。 這種分塊贗像可以嚴(yán)重地?fù)p壞光場圖像中的角度信息，并且因此可 能限制使用這些圖像可以達(dá)到的水平和垂直視差。
圖2示出了利用全光照相機(jī)(例如，圖1B示出的全光照相機(jī)102 ) 捕獲的光場圖像200。來自于圖像200的展開的區(qū)域202示出了光場 圖像200由很多單獨(dú)的宏像素組成，每個(gè)宏像素包括圓形微圖像。 區(qū)域202示出了沒有壓縮的、捕獲到的光場數(shù)據(jù)。區(qū)域204示出了 在將JPEG壓縮應(yīng)用至圖像200之后的、來自于圖像200的同 一 區(qū)域 的光場數(shù)據(jù)。JPEG壓縮引入的分塊贗像例如在展開的子區(qū)域206中
7示出的16個(gè)宏像素的微圖像中清晰可見。圖像208示出了未壓縮的 同一子區(qū)域，以用于比較。
然而，通常，利用傳統(tǒng)光場專用方法壓縮的光場不能利用傳統(tǒng) 的和較通用的圖像查看器來打開和查看。不具有光場查看應(yīng)用的用 戶可能希望能夠利用傳統(tǒng)的圖像查看器(諸如可以查看JPEG壓縮的 圖像的圖像查看器)來預(yù)覽光場的簡單2D表示。

發(fā)明內(nèi)容
描述了用于對光場圖像進(jìn)行基于塊的壓縮的方法和設(shè)備的實(shí)施 方式。實(shí)施方式可以將光場圖像預(yù)先處理為與基于塊的壓縮技術(shù)(例 如，JPEG壓縮標(biāo)準(zhǔn))的分塊機(jī)制兼容的格式，其中該基于塊的壓縮 技術(shù)用于執(zhí)行對光場圖像的實(shí)際壓縮。用于對光場圖像進(jìn)行基于塊 的壓縮的方法的實(shí)施方式可以實(shí)現(xiàn)為工具、模塊、庫函數(shù)、插件、 單機(jī)應(yīng)用等，或者可以在這些中實(shí)現(xiàn)。為了簡化，實(shí)施方式的實(shí)現(xiàn) 在此可以稱為光場預(yù)處理模塊。
光場預(yù)處理模塊的實(shí)施方式可以將捕獲的光場圖像轉(zhuǎn)換成適當(dāng) 的格式，使得不在最終的壓縮圖像中引入基于塊的壓縮(例如，JPEG) 的分塊贗像。光場預(yù)處理模塊將捕獲的光場圖像中的角度數(shù)據(jù)再整 形為與正在使用的基于塊的壓縮技術(shù)的分塊機(jī)制兼容的形狀(例如， 對于JPEG而言，大小為8x8、 16x16等的正方形)，使得得到的光 場圖像適合于壓縮技術(shù)的分塊機(jī)制。例如，如果使用了 JPEG，則JPEG 塊邊界變成了光場中角度圖像的自然邊界。
實(shí)施方式可以產(chǎn)生壓縮的2D圖像，對于該2D圖像，不需要專 門的光場圖像查看器來預(yù)覽整個(gè)光場圖像。全部的光場信息被包含 在一個(gè)2D圖像中，其可以通過傳統(tǒng)的基于塊的壓縮技術(shù)(例如， JPEG)以快速且魯棒的方式進(jìn)行壓縮，并且最終的壓縮圖像并不包 含在不使用此處描述的預(yù)處理的情況下對光場進(jìn)行壓縮可能產(chǎn)生的 分塊贗像。換言之，實(shí)施方式提供了在最終的壓縮光場中無分塊贗 像的高性能壓縮。在實(shí)施方式中，由光場預(yù)處理模塊獲得捕獲的光場圖像。捕獲 的光場圖像由光場預(yù)處理模塊進(jìn)行預(yù)處理，以產(chǎn)生塊大小和形狀都 與將要用來壓縮光場圖像的基于塊的壓縮技術(shù)兼容的預(yù)處理光場圖 像。在一個(gè)實(shí)施方式中，如果針對光場照相機(jī)的校準(zhǔn)圖像可用，則 照相機(jī)捕獲的光場圖像可以使用校準(zhǔn)圖像進(jìn)行正則化。預(yù)處理過的 光場圖像隨后由壓縮引擎進(jìn)行壓縮，以生成經(jīng)過壓縮的光場圖像， 該壓縮引擎實(shí)現(xiàn)基于塊的壓縮技術(shù)。經(jīng)過壓縮的光場圖像例如可以
存儲到存儲介質(zhì)中，存儲介質(zhì)諸如系統(tǒng)存儲器、盤驅(qū)動器、DVD、 CD等。經(jīng)過壓縮的光場圖像可以使用被配置用以打開并查看通過基 于塊的壓縮技術(shù)生成的圖像的任何應(yīng)用，進(jìn)行查看或以其他方式進(jìn) 行操縱。例如，如果使用了 JPEG壓縮，則可以使用能夠打開并顯示 JPEG文件的任何應(yīng)用，查看經(jīng)過壓縮的光場圖^f象。


圖1A示出了示例性的現(xiàn)有技術(shù)的光場照相機(jī)，或者照相機(jī)陣 列，其使用兩個(gè)或更多物鏡的陣列。
圖1B示出了示例性的現(xiàn)有技術(shù)的全光照相機(jī)，其使用單個(gè)物鏡 和顯微透鏡陣列。
圖2示出了利用全光照相機(jī)(例如，圖1B示出的全光照相機(jī)) 捕獲的光場圖像，并且示出了當(dāng)利用基于塊的壓縮技術(shù)壓縮原始圖 像時(shí)可能產(chǎn)生的分塊贗像。
圖3A和圖3B示出了根據(jù)一個(gè)實(shí)施方式的、在使用基于塊的壓 縮技術(shù)進(jìn)行壓縮之前，對示例性光場圖像進(jìn)行的預(yù)處理。
圖4示出了利用全光照相機(jī)(例如，圖1B示出的全光照相機(jī)) 捕獲的示例性光場圖像。
圖5是根據(jù)一個(gè)實(shí)施方式的、示出了光場預(yù)處理和壓縮方法中 的數(shù)據(jù)流的高層框圖。
圖6是根據(jù)一個(gè)實(shí)施方式的、用于在對光場圖像進(jìn)行基于塊的 壓縮之前，對來自光場圖像的宏像素或塊進(jìn)行預(yù)處理的方法流程圖。圖7示出了針對全光光場照相機(jī)的示例性校準(zhǔn)圖像。 圖8A示出了根據(jù)一個(gè)實(shí)施方式的、使用拉普拉斯(Laplacian) 插值的示例性插值方法。
圖8B示出了可以在實(shí)施方式中^f吏用的示例性巻積內(nèi)核。 圖9A示出了根據(jù)一個(gè)實(shí)施方式的、對利用光場成像系統(tǒng)(諸如， 圖1B的全光照相機(jī))捕獲的光場圖像的預(yù)處理，在該光場成像系統(tǒng) 中，在主透鏡的后面使用顯微透鏡。
圖9B示出了根據(jù)一個(gè)實(shí)施方式的、對利用光場成像系統(tǒng)(諸如， 圖1A的光場照相機(jī))捕獲的光場圖像的預(yù)處理。
圖10示出了可以在實(shí)施方式中使用的示例性計(jì)算機(jī)系統(tǒng)。 盡管通過示例針對若干實(shí)施方式和示例性附圖在此描述了本發(fā) 明，但是本領(lǐng)域技術(shù)人員將會理解，本發(fā)明并不限于描述的實(shí)施方 式或附圖。應(yīng)當(dāng)理解的是，附圖和具體實(shí)施方式
并不意在將本發(fā)明 限制于所公開的特定形式，相反，意在覆蓋落入本發(fā)明精神和范圍 的所有改進(jìn)、等同物和替代物。在此使用的標(biāo)題僅出于組織目的， 而不意在用于限制本描述的范圍。如在本申請全文中使用的，詞匯 "可以，，是在許可意義上(即，意思是有可能)使用的，而不是強(qiáng)制 的意義上(即，意思是必須)使用的。類似地，詞語"包括"、"包含" 和"含有"的意思是包括，但不限于。
具體實(shí)施例方式
描述了對光場圖像進(jìn)行基于塊的壓縮的方法和設(shè)備的各種實(shí)施 方式。實(shí)施方式可以將光場圖像預(yù)處理為與基于塊的壓縮技術(shù)(例 如，JPEG壓縮標(biāo)準(zhǔn))的分塊機(jī)制兼容的格式，其中該基于塊的壓縮 技術(shù)用于對光場圖像執(zhí)行實(shí)際壓縮。用于對光場圖像進(jìn)行基于塊的 壓縮的方法的實(shí)施方式可以實(shí)現(xiàn)為工具、模塊、庫函數(shù)、插件、單 機(jī)應(yīng)用等，或者可以在這些中實(shí)現(xiàn)。為了簡化，實(shí)施方式的實(shí)現(xiàn)在 此可以稱為光場預(yù)處理模塊。
光場預(yù)處理模塊的實(shí)施方式可以將捕獲的光場圖像轉(zhuǎn)換成適當(dāng)?shù)母袷?，使得不在最終的壓縮圖像中引入基于塊的壓縮(例如，JPEG) 的分塊贗像。光場預(yù)處理模塊將光場中的角度數(shù)據(jù)再整形為與正在 使用的基于塊的壓縮技術(shù)的分塊機(jī)制兼容的形狀(例如，對于JPEG 而言，大小為8x8、 16x16等的正方形)，使得得到的光場圖像適合 于壓縮技術(shù)的分塊4幾制。例如，如果使用JPEG，則JPEG塊邊界變 成了光場中角度圖像的自然邊界。
實(shí)施方式可以產(chǎn)生壓縮的2D圖像，對于該2D圖像，不需要專 門的光場圖像查看器來預(yù)覽整個(gè)光場圖像。全光場信息被包含在一 個(gè)2D圖像中，其通過傳統(tǒng)的基于塊的壓縮才支術(shù)(例如，JPEG)以 快速且魯棒的方式進(jìn)行壓縮，并且最終的壓縮圖像并不包含在不使 用此處描述的預(yù)處理的情況下對光場進(jìn)行壓縮可能產(chǎn)生的分塊贗 像。換言之，實(shí)施方式提供了在最終的壓縮光場中無分塊贗像的高 性能壓縮。
為了簡化，在此通常將實(shí)施方式描述為將JPEG壓縮標(biāo)準(zhǔn)用作 對光場預(yù)處理模塊的實(shí)施方式生成的預(yù)處理過的光場圖像進(jìn)行壓縮 的基于塊的壓縮技術(shù)。使用JPEG壓縮標(biāo)準(zhǔn)的實(shí)施方式生成的經(jīng)過壓 縮的光場圖像與傳統(tǒng)JPEG標(biāo)準(zhǔn)向后兼容。使用JPEG壓縮的實(shí)施方 式可以實(shí)現(xiàn)對光場圖像的良好質(zhì)量壓縮，同時(shí)使得將經(jīng)過壓縮的光 場可以與簡單2D圖片一樣，利用能打開和顯示JPEG ( .jpg)文件的 任何應(yīng)用進(jìn)行查看。當(dāng)使用JPEG壓縮時(shí)，可以將經(jīng)過壓縮的光場輸 出為2D JPEG ( .jpg )文件，并且因而可以利用能打開和顯示.jpg文 件的任何應(yīng)用來查看。然而，應(yīng)當(dāng)理解的是，實(shí)施方式并不限于將 JPEG壓縮標(biāo)準(zhǔn)作為基于塊的壓縮技術(shù)，而是可以適用任何基于塊的 壓縮纟支術(shù)。
圖3A和圖3B示出了根據(jù)一個(gè)實(shí)施方式的、在使用基于塊的壓 縮技術(shù)進(jìn)行壓縮之前，對示例性光場圖像進(jìn)行的預(yù)處理。圖3A示出 了由光場照相機(jī)(諸如圖1的照相機(jī)100 )捕獲的示例性4D光場300。 需要注意的是，4D光場是2D圖像(來自于不同投影中心的視圖) 的2D陣列。這些2D圖像可以稱為微圖像。需要注意的是，每個(gè)微
ii圖像中的信息是矩形的。在此示例中，陣列是6x6的，所以在光場 300中存在36個(gè)單獨(dú)的圖像，或微圖像。
令給定2D微圖像(例如，微圖像302)中的像素位置為(i,j)， 其中i = l...N以及j = l...M,其中N是2D微圖像中像素的行號而 M是像素的列號。從36個(gè)微圖像的每一個(gè)微圖像取得像素(i,j),并 將其放入塊Bij (參見塊304)中。如果在光場300中存在m個(gè)水平 圖像和n個(gè)垂直圖^象，則此塊初始為nxm個(gè)4象素。在此示例中，該 塊將是6x6個(gè)像素。另外，存在NxM個(gè)塊304。這NxM個(gè)塊 304被置于一個(gè)圖像中，使得光場的所有角度和空間信息都被包含在 這一個(gè)圖像中(參見圖3B的圖像310)。如果使用維度為nxm的 初始塊304,則得到的圖像的大小將是(N x n) x (M x m)個(gè)像素。
然而，應(yīng)該注意，塊大小nxm不一定直接與基于塊的壓縮技術(shù) (諸如，JPEG)的分塊機(jī)制兼容。在此示例中，6x6個(gè)像素的塊大 小并不直接與JPEG的典型壓縮分塊大小(8x8個(gè)像素)兼容。因 此，在此描述的光場預(yù)處理模塊的實(shí)施方式可以對塊304進(jìn)行預(yù)處 理(如圖3B的306所指示)，以便產(chǎn)生與基于塊的壓縮技術(shù)的分塊 機(jī)制兼容的維度為n'xm'的塊308。在此示例中，塊304被調(diào)整大小 為8x8個(gè)像素，以便與JPEG的分塊機(jī)制兼容。調(diào)整過大小的NxM 塊308隨后可以置于圖像310中。此圖像310的大小為(Nxn')x(M xm')個(gè)像素。隨后，可以使用基于塊的壓縮技術(shù)對圖像310進(jìn)行壓 縮，而不會產(chǎn)生在圖像310中使用初始不兼容維度的塊304的情況 下可能產(chǎn)生的分塊贗像。
在此示例中，塊304的塊大小n x m是6 x 6，這比基于塊的壓 縮技術(shù)的塊大小(8x8)要小。在這種情況下，初始塊304或區(qū)域 中的像素信息可以被插值，以填滿新的更大的塊308中的像素值。 可以使用各種插值技術(shù)中的任何一種。在一個(gè)實(shí)施方式中，例如， 可以使用拉普拉斯插值。
下面的情況也是可能的，即，在某些光場圖像中，nxm(缺省 的或"原始"塊大小)大于基于塊的壓縮技術(shù)使用的塊大小。另外，n不是必須等于m。例如，nxm可以是11 x 14、或11 x 11、或9x 9、或8xl0、或21x21等。在某些基于塊的壓縮技術(shù)(諸如JPEG) 中，分塊機(jī)制可以允許多種基礎(chǔ)分塊大小。例如，JPEG可以允許塊 大小為8的倍數(shù)，諸如8x8、 16 x 16或32 x 32等。這樣，在一個(gè) 實(shí)施方式中，基于塊的壓縮技術(shù)提供的下一更大的塊大小可以用于 塊308的塊大小。例如，如果nxm是12x14，并且基于塊的壓縮 技術(shù)允許8 x 8或16 x 16的塊大小，則16 x 16可以用于塊308的大 小n' x m'。
備選地，如果n'xm'小于nxm,則可以簡單地裁剪塊306以 產(chǎn)生更小的塊308。例如，如果nxm是10x10,而n'xm'是8x8, 則可以簡單地將塊306裁剪為8x8。需要注意的是，在某些光場圖 像中，微圖像中的邊緣信息在任何情況下歸因于用于捕獲光場信息 的光場照相機(jī)的性質(zhì)可能是有噪聲的，所以可以在不丟失很多可用 光場信息的情況下對邊緣像素進(jìn)行裁剪。還要注意的是，微圖像中 的像素越多，裁剪導(dǎo)致的負(fù)面影響(光場信息的丟失)越小。這樣， 裁剪可能不能用在包括有限數(shù)量像素的微圖像上，這樣的微圖像的 每個(gè)像素中的光場信息比具有更多像素的微圖像的每個(gè)像素中的光 場信息更有價(jià)值。
以上描述了這樣一種過程，借由該過程，光場預(yù)處理模塊可以 在將塊304放入圖像310之前，將其調(diào)整為大小與基于塊的壓縮技 術(shù)的分塊機(jī)制一致的塊308。備選地，可以/人初始維度(nxm)的 塊304形成圖像，隨后光場預(yù)處理模塊可以在圖像中的塊304上重 復(fù)對每個(gè)塊調(diào)整大小，以形成由大小與基于塊的壓縮技術(shù)的分塊機(jī) 制一致的塊308組成的新圖像310。
在某些光場圖像中，與每個(gè)微圖像除了是圖3A和圖3B中示出 的矩形不同，在每個(gè)塊或宏像素中記錄的信息可以是代表照相機(jī)光 圏的圓形或者圓盤(稱為微圖像)。圖4示出了利用全光照相機(jī)(例 如，圖1B示出的全光照相機(jī)102)捕獲的示例性光場圖像400。區(qū) 域402示出了光場圖像400的展開區(qū)域，并且來自展開區(qū)域402的宏像素404示出了示例性的圓形微圖像。在一個(gè)實(shí)施方式中，并不 是像在圖3A的圖像300的情況下那樣對每個(gè)宏像素404進(jìn)行簡單的 調(diào)整大小，光場預(yù)處理模塊首先將圓形微圖像再整形(例如，通過 裁剪)為矩形區(qū)或塊，并隨后將作為得到的塊的大小調(diào)整為與基于 塊的壓縮機(jī)制的分塊機(jī)制兼容(例如，對于JPEG壓調(diào)整為是8 x 8 的塊)。如果需要，塊中的像素信息可以被插值，以產(chǎn)生新塊中的 像素值?？梢允褂貌煌椒▉淼玫骄哂信c基于塊的壓縮技術(shù)的分塊 機(jī)制兼容的大小的塊。例如，假設(shè)正在使用JPEG壓縮。如果從微圖 像(塊)裁剪的區(qū)小于8x8，則塊被調(diào)整大小為8x8，其中利用插 值來產(chǎn)生像素值。如果塊大于8x8但是小于16x 16,則塊的大小可 以下調(diào)(例如，通過裁剪)為8x8，或者利用用于產(chǎn)生像素值的插 值而調(diào)整為16x 16。
一旦對微圖像進(jìn)行了裁剪，則裁剪過的塊被調(diào)整為與基于塊的 壓縮技術(shù)的分塊機(jī)制兼容的大小的塊，調(diào)整過大小的塊可以置于類 似于圖3B的圖像310的圖像中。光場的角度和空間信息被包含在作 為結(jié)果的圖像中。隨后可以使用基于塊的壓縮技術(shù)來對作為結(jié)果的 圖像進(jìn)行壓縮，而不會產(chǎn)生分塊贗像，這是因?yàn)樽鳛榻Y(jié)果的圖像的 塊大小與在基于塊的壓縮機(jī)制的分塊機(jī)制中使用的塊大小相同。
圖5是根據(jù)一個(gè)實(shí)施方式的、示出了光場預(yù)處理和壓縮方法中 的數(shù)據(jù)流的高層框圖。光場預(yù)處理模塊502獲得捕獲的光場圖像500 (例如，圖3A的圖像300，或者圖4的圖像400)。圖像500由光 場預(yù)處理模塊502進(jìn)行預(yù)處理，以生成預(yù)處理過的光場圖4象504，其 塊大小與將用于壓縮圖像504的基于塊的壓縮技術(shù)兼容。在一個(gè)實(shí) 施方式中，如果針對光場照相機(jī)的校準(zhǔn)圖4象501可用，則照相機(jī)捕 獲的光場圖像500可以使用校準(zhǔn)圖像進(jìn)行正則化。通常將捕獲的光 場圖像除以校準(zhǔn)圖像以正則化該圖像。隨后，由實(shí)現(xiàn)基于塊的壓縮 技術(shù)的壓縮引擎506對圖像504進(jìn)行壓縮，以生成經(jīng)過壓縮的光場 圖像508。經(jīng)過壓縮的圖像508例如可以存儲在存儲介質(zhì)510中，諸 如系統(tǒng)存儲器、盤驅(qū)動器、DVD、 CD等。經(jīng)過壓縮的光場圖像508可以使用任何應(yīng)用進(jìn)行查看或以其他方式操縱，其中該任何應(yīng)用被 配置以打開并查看基于塊的壓縮技術(shù)生成的圖像。例如，如果使用
了 JPEG壓縮，則可以使用能夠打開并顯示JPEG文件的任何應(yīng)用來 查看圖像508。
光場預(yù)處理模塊502和壓縮引擎506的實(shí)施方式可以實(shí)現(xiàn)在計(jì) 算機(jī)系統(tǒng)上。在圖10中示出了實(shí)施方式可以在其上實(shí)現(xiàn)的示例性系 統(tǒng)。光場預(yù)處理模塊502可以實(shí)現(xiàn)為工具、模塊、庫函數(shù)、插件、 單機(jī)應(yīng)用等，或者可以在這些中實(shí)現(xiàn)。光場預(yù)處理模塊502可以提 供用戶接口 ，該用戶接口提供一個(gè)或多個(gè)文本和/或圖形用戶接口部 件、模式或技術(shù)，用戶經(jīng)由其可以控制光場圖像的預(yù)處理的各個(gè)方 面。例如，用戶接口可以包括用戶接口部件，這些用戶4妄口部件允 許用戶選擇輸入文件和輸出文件、指定將使用的壓縮技術(shù)、指定用 于預(yù)處理的圖像504的塊大小、指定是否對塊進(jìn)行放大(插值)或 縮小(裁剪)，等等。
圖6-圖9更詳細(xì)地示出了在對圖像進(jìn)行基于塊的壓縮之前，用 于對光場圖像進(jìn)行預(yù)處理的方法的實(shí)施方式，具體地，該預(yù)處理應(yīng) 用于諸如圖4中圖像400之類的圖像，其中在圖像400中每個(gè)宏像 素包括圓形微圖像。然而，需要注意的是，針對這些附圖示出并描 述的至少某些預(yù)處理還可以應(yīng)用在諸如圖3A中圖像300的之類圖像 的預(yù)處理中，在圖像300中，每個(gè)宏像素是矩形微圖像。作為示例， 這些附圖假設(shè)將要根據(jù)JPEG壓縮標(biāo)準(zhǔn)進(jìn)行基于塊的壓縮，以及在 JPEG壓縮中使用的分塊機(jī)制的塊大小是8 x 8個(gè)像素。作為示例， 這些附圖還假設(shè)微圖像的部分將要被提取以及縮放或插值以便適 合于更大的塊，以及將使用拉普拉斯插值技術(shù)。在各種實(shí)施方式中， 可以使用除JPEG之外的其他基于塊的壓縮技術(shù)，可以使用除8x8 個(gè)像素之外的塊大小，以及可以使用包括其他插值技術(shù)的其他放大 方法。需要注意的是，在一個(gè)實(shí)施方式中，可以通過對輸入微圖像 的簡單裁剪來進(jìn)行縮小，以適合較小的塊大小。
圖6是根據(jù)一個(gè)實(shí)施方式的、用于在對光場圖像進(jìn)行基于塊的壓縮之前對來自光場圖像的宏像素或塊進(jìn)行預(yù)處理的方法的流程
圖。圖6中示出的方法可以在諸如圖5的模塊502之類的光場預(yù)處
理模塊中實(shí)現(xiàn)。
光場預(yù)處理模塊502可以從需要被預(yù)處理的光場圖像500獲得 第一光場圖像塊602或宏像素。在此示例中，示例性塊602約是20 x 20個(gè)像素。然而，光場預(yù)處理模塊的實(shí)施方式可以被配置為與各種 大小的光場圖像塊602 —起工作，并且塊602并不必須是正方形的， 甚至并不必須是矩形的，這是因?yàn)轭A(yù)處理方法的實(shí)施方式可以與其 他形狀(諸如，六邊形形狀)的輸入塊一起工作。在此示例中，來 自于塊602 (其是矩形的，并且約為20 x 20個(gè)像素)中的微圖像的 光場信息需要適合于使用基于塊的壓縮技術(shù)(例如，JPEG)進(jìn)行壓 縮的8x8像素塊。
在一個(gè)實(shí)施方式中，如果針對光場照相才幾的才交準(zhǔn)圖^象501可用， 則照相機(jī)捕獲的光場圖像500可以使用校準(zhǔn)圖像進(jìn)行正則化。通常 將捕獲的光場圖像除以校準(zhǔn)圖像以正則化該圖像。這樣，在一個(gè)實(shí) 施方式中，可以通過將光場圖像塊602除以來自于利用光場照相機(jī) 捕獲的校準(zhǔn)圖像501的相應(yīng)校準(zhǔn)塊600 ，將光場圖像塊602正則化(如 604處所示)。在對捕獲的光場圖像500進(jìn)行預(yù)處理中，可以通過將 捕獲的光場塊602除以來自校準(zhǔn)圖像501的相應(yīng)校準(zhǔn)塊600,而將圖 像502中的每個(gè)塊602正則化。在一個(gè)實(shí)施方式中，不是對整個(gè)塊 602進(jìn)行正則化，而是僅對包含圓形-微圖像的區(qū)域正則化。
圖7示出了用于全光光場照相機(jī)的示例性校準(zhǔn)圖像。校準(zhǔn)圖像 700是光場照相機(jī)(在此示例中，是諸如圖1B中照相機(jī)102的全光 照相機(jī))獲取的全白場景的圖像。參考照相機(jī)102,校準(zhǔn)圖像700 中較大的圓圏對應(yīng)于物鏡104的光圏，而大圓圈內(nèi)的每一個(gè)小圓圏 或微圖像對應(yīng)于顯微鏡頭陣列106中的具體的一個(gè)顯微鏡頭或小鏡 頭的光圏。正則化過程可以改進(jìn)每個(gè)顯微鏡頭光圏圓圏的邊界處的 質(zhì)量，并且增強(qiáng)光場圖像的整體外觀，移除可能由光場設(shè)備(照相 機(jī))引入的色彩偏差。色彩偏差位于微圖形的邊緣處，并且是由于顯微透鏡在邊界處的衰減造成的。區(qū)域702示出了來自于校準(zhǔn)圖像
700的示例性展開區(qū)域，并且宏像素704示出了來自于區(qū)域702的示 例性展開宏像素或塊以及其圓形微圖像。
如果執(zhí)行了正則化，則在正則化之后，塊602被再整形以便獲 得光場信息的矩形區(qū)。在某些光場圖像500 (諸如圖1B中所示全光 照相機(jī)102捕獲的那些)中，記錄的光場信息是每個(gè)塊602中的圓 盤或圓形(代表照相機(jī)光圏)，被稱為微圖像。此圓形光場信息需 要被再整形為大小與基于塊的壓縮技術(shù)的分塊機(jī)制兼容的矩形區(qū)。 在一個(gè)實(shí)施方式中，這可以通過對塊602中的微圖像進(jìn)行裁剪獲得 較小的塊而完成，如606處所示。在此示例中，裁剪606產(chǎn)生了光 場信息的5x5塊608。在610處，裁剪過的塊608的大小隨后^皮調(diào) 整為壓縮技術(shù)將使用的塊大小，在此示例中是8x8,并且使用插值 技術(shù)填滿8 x 8塊中的像素值，以生成調(diào)整過大小的塊612。在一個(gè) 實(shí)施方式中，使用了拉普拉斯插值技術(shù)，在其中求解拉普拉斯方程 以確定像素值。在預(yù)處理過的光場圖像504的相應(yīng)位置處創(chuàng)建調(diào)整 過大小的塊612,或者將調(diào)整過大小的塊612置于其中。在614處， 如果存在將要預(yù)處理的更多的光場圖像塊，則該方法從捕獲的光場 圖像500獲得下一圖像塊602,并繼續(xù)。否則，光場圖像500的預(yù)處 理完成。參考圖5,由光場預(yù)處理模塊對捕獲的光場圖像500進(jìn)行的 預(yù)處理完成，并且預(yù)處理過的光場圖像504被輸出以供壓縮引擎5 0 6 進(jìn)^f亍壓縮。
再次參考圖6，裁剪過的塊608的大小可以不同于僅作為示例而 使用的5x5,并且調(diào)整大小過程可以因使用的裁剪大小而不同。例 如，假設(shè)正在使用JPEG壓縮。如果從微圖像裁剪的區(qū)(例如，塊 608 )小于8x8，則塊被調(diào)整大小為8x8,其中利用插值來產(chǎn)生像 素值。如果塊608大于8x8但是小于16x16,則塊的大小可以下調(diào) 為8x8,或者利用用于產(chǎn)生像素值的插值而上調(diào)為16x 16。
在一個(gè)實(shí)施方式中，光場預(yù)處理模塊502使用的插值技術(shù)可以 是拉普拉斯求解器。圖8A和圖8B示出了根據(jù)一個(gè)實(shí)施方式的、使用拉普拉斯插值的示例性插值方法。插值的目標(biāo)在于使用裁剪過的
區(qū)域806內(nèi)的像素值，填充來自于宏像素800的區(qū)域806 (在802 處被裁剪)與塊804的外邊界之間的黑色區(qū)域，在此示例中，區(qū)域 806是5 x 5像素正方形，而塊804是8 x 8像素正方形，但是需要注 意的是，它們中的任一者或二者可以是不同形狀或維度。 一個(gè)實(shí)施 方式可以在裁剪過的區(qū)域806邊界處使用狄利克雷邊界條件810，而 在塊804的邊界處使用諾埃曼邊界條件812。公知的是，可以通過在 此塊上迭代與適當(dāng)內(nèi)核的巻積(在814處指示)，而利用這些邊界 條件實(shí)現(xiàn)對拉普拉斯方程的求解，從而生成輸出塊816(在此示例中， 是8x8輸出塊)。圖8B示出了可以在實(shí)施方式中使用的示例性巻 積內(nèi)核。在此實(shí)施方式中，巻積從裁剪過的區(qū)域806的邊界開始， 從而通過從里到外地傳播信息而填滿黑色區(qū)域。通常，約三到四次 迭代足夠填滿整個(gè)塊804。
圖9A和圖9B示出了根據(jù)一個(gè)實(shí)施方式的對光場圖像的預(yù)處理。 圖9A示出了根據(jù)一個(gè)實(shí)施方式的、對利用光場成像系統(tǒng)(諸如，圖 1B的全光照相機(jī)102)捕獲的光場圖像(諸如圖4中的示例性圖像 400)的預(yù)處理，其中在該光場成像系統(tǒng)中，在主透鏡的后面使用顯 微透鏡。圖9B示出了根據(jù)一個(gè)實(shí)施方式的、利用光場成像系統(tǒng)(諸 如，圖1A的光場照相機(jī)100)捕獲的光場圖像(諸如，圖3中的示 例性圖像300 )的預(yù)處理。光場預(yù)處理模塊的實(shí)施方式可以被配置為 對一種或兩種類型的光場圖像進(jìn)行處理。
參考圖9A,光場預(yù)處理模塊在對諸如圖4中的示例性圖像400 之類的光場圖像(其是使用諸如圖1B的全光照相機(jī)102的光場成像 系統(tǒng)捕獲的，在該光場成像系統(tǒng)中，在主鏡頭后面使用顯微鏡頭) 進(jìn)行預(yù)處理時(shí)可以執(zhí)行要素902、 904和906。這些要素可以被l丸行 以從利用光場成像系統(tǒng)(諸如圖1B的全光照相機(jī)102)捕獲的光場 圖像900中檢測并提取單獨(dú)的顯微透鏡圖像。示例性光場圖像900 是由多個(gè)顯微透鏡圖像組成的2D圖像。每個(gè)顯微透鏡圖像是從不同 角度看到的主(物)透鏡的光圈的圖像。在一個(gè)實(shí)施方式中，光場
18預(yù)處理模塊可以使用微圖像檢測方法來從光場圖像900提取單獨(dú)的 顯微透鏡圖像(微圖像)。在微圖像檢測方法中，光場預(yù)處理模塊 檢測第一微圖像(如902處所示)，并隨后估計(jì)微圖像的周期(如 904處所示)。在一個(gè)實(shí)施方式中，這可以通過以下實(shí)現(xiàn)對垂直方 向和水平方向的像素值取平均值，隨后取得這些平均值的自相關(guān)， 并且最終查看在自相關(guān)中從零位偏移到第一峰值的距離。這些值給 出了微圖像之間近似的垂直距離和水平距離。光場預(yù)處理模塊隨后 取得左上角的微圖像的坐標(biāo)，隨后通過在圖像中迭代，提取每個(gè)微 圖像(如906處所示)。顯微透鏡塊(即，宏像素)的大小設(shè)置為 等于微圖像周期的一半。隨后，可選地可以對每個(gè)提取的微圖像執(zhí) 行正則化(如908處所示)，以及執(zhí)行調(diào)整大小和在需要的情況下 執(zhí)行插值(如910處所指示)，以便生成預(yù)處理過的光場圖像912。 在一個(gè)實(shí)施方式中，光場預(yù)處理模塊并不是對圖像900進(jìn)行迭 代以及提取所有的微圖像，并隨后對提取的微圖像進(jìn)行如908和910 處所示的預(yù)處理，而是可以被配置用于提取下一微圖像，對提取 的微圖像進(jìn)行如908和910處所示的預(yù)處理，并對重復(fù)提取和對每 個(gè)微圖像的預(yù)處理，直到圖像900中的所有微圖像被提取和預(yù)處理 為止。
圖9B示出了根據(jù)一個(gè)實(shí)施方式的、對利用光場成像系統(tǒng)(諸如， 圖1A的光場照相機(jī)100)捕獲的光場圖像(諸如，圖3中的示例性 圖像300)的預(yù)處理。在這些圖像中，在輸入的捕獲的光場圖像920 的每個(gè)宏像素中不存在圓形微圖像?；旧?，捕獲的光場圖像920 中的每個(gè)宏像素是一個(gè)微圖像。對于這些類型的圖像，可選地可以 對宏像素執(zhí)行正則化，如922處所示。nxm的像素塊是從宏像素形 成的，如924處所指示，例如針對圖3A和圖3B描述的那樣。對塊 執(zhí)行調(diào)整大小和在需要的情況下執(zhí)行插值(如926處所示)，以便 生成與基于塊的壓縮技術(shù)的分塊機(jī)制兼容的n' x m'的像素塊。從圖 像920提取的所有塊都被處理，從而生成預(yù)處理過的光場圖像928 。
圖9A的預(yù)處理過的光場圖像912和圖9B的預(yù)處理過的光場圖像928隨后可以使用基于塊的壓縮技術(shù)(諸如，JPEG壓縮)來進(jìn)行 壓縮。由于光場預(yù)處理模塊執(zhí)行的預(yù)處理已經(jīng)將預(yù)處理過的光場圖 像中的塊的大小調(diào)整為與壓縮技術(shù)使用的分塊機(jī)制兼容的大小(和 形狀)，所以作為結(jié)果的壓縮圖像不會具有分塊贗像，而在不對圖 像進(jìn)行此處描述的預(yù)處理而直接對其進(jìn)行壓縮的情況下則會產(chǎn)生分 塊贗像。
示例系統(tǒng)
可以在一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)上執(zhí)行光場預(yù)處理模塊的各種實(shí) 施方式，其中所述計(jì)算機(jī)系統(tǒng)可以與各種其他設(shè)備交互。圖10示出 了一個(gè)這種計(jì)算機(jī)系統(tǒng)。在示出的實(shí)施方式中，計(jì)算機(jī)系統(tǒng)1000包
括一個(gè)或多個(gè)處理器ioio,其通過輸入/輸出n/o)接口 103o而連
接到系統(tǒng)存儲器1020。計(jì)算機(jī)系統(tǒng)1000還包括耦合到1/0接口 1030 的網(wǎng)絡(luò)接口 1040，以及一個(gè)或多個(gè)輸入/輸出i殳備1050，諸如光標(biāo)控 制設(shè)備1060、鍵盤1070、音頻設(shè)備1090和顯示器1080。在某些實(shí) 施方式中，可以想到可以使用計(jì)算機(jī)系統(tǒng)1000的單個(gè)實(shí)例來實(shí)現(xiàn) 實(shí)施方式，而在其他實(shí)施方式中，多個(gè)這種系統(tǒng)或構(gòu)成計(jì)算機(jī)系統(tǒng) 1000的多個(gè)節(jié)點(diǎn)可被配置用于管理實(shí)施方式的不同部分或者實(shí)例。 例如，在一個(gè)實(shí)施方式中，某些要素可以通過計(jì)算機(jī)系統(tǒng)1000的與 實(shí)現(xiàn)其他要素的那些節(jié)點(diǎn)不同的一個(gè)或多個(gè)節(jié)點(diǎn)來實(shí)現(xiàn)。
在各種實(shí)施方式中，計(jì)算機(jī)系統(tǒng)1000可以是包括一個(gè)處理器 1010的單處理器系統(tǒng)，或包括若干處理器1010的多處理器系統(tǒng)(例 如，兩個(gè)，四個(gè)，八個(gè)或另一個(gè)適合的數(shù)目)。處理器1010可以是 能夠執(zhí)行指令的任意適合的處理器。例如，在各個(gè)實(shí)施方式中，處 理器1010可以是實(shí)現(xiàn)各種指令集體系結(jié)構(gòu)(ISA )諸如x86， PowerPC, SPARC或MIPS ISA或任意其他適合的ISA中的任意一種的通用或 嵌入式處理器。在多處理器系統(tǒng)中，處理器1010中的每一個(gè)可以通 常實(shí)現(xiàn)相同的ISA， ^旦不必然如此。
系統(tǒng)存儲器1020可被配置為存儲可由處理器1010訪問的程序 指令和/或數(shù)據(jù)。在各個(gè)實(shí)施方式中，可以使用適合的存儲器技術(shù)，諸如靜態(tài)隨機(jī)訪問存儲器(SRAM)、異步動態(tài)RAM (SDRAM)、 非易失/閃存類存儲器或任意其他類型的存儲器，實(shí)現(xiàn)系統(tǒng)存儲器 1020。在示出的實(shí)施方式中，實(shí)現(xiàn)諸如上面針對用于利用基于塊的 壓縮技術(shù)進(jìn)行壓縮的光場圖像的處理的那些所希望的功能的程序指 令和數(shù)據(jù)，被分別示出作為程序指令1025和數(shù)據(jù)存儲1035存儲在 系統(tǒng)存儲器1020中。在其他實(shí)施方式中，程序指令和/或數(shù)據(jù)可被接 收、發(fā)送或存儲在不同類型的計(jì)算機(jī)可訪問的介質(zhì)上或與系統(tǒng)存儲 器1020或計(jì)算機(jī)系統(tǒng)1000分離的類似介質(zhì)上。 一般地說，計(jì)算機(jī) 可訪問介質(zhì)可以包括存儲介質(zhì)或存儲器介質(zhì)，諸如磁或光介質(zhì)，例 如通過I/O接口 1030連接到計(jì)算機(jī)系統(tǒng)1000的盤或CD/DVD-ROM。通過計(jì)算機(jī)可訪問介質(zhì)存儲的程序指令和數(shù)據(jù)可以以傳輸介 質(zhì)或諸如電、電磁或數(shù)字信號之類的信號進(jìn)行傳輸，可以通過諸如 網(wǎng)絡(luò)和/或無線鏈接之類的通信媒體來傳遞這些信號，諸如可以通過 網(wǎng)絡(luò)接口 1040來實(shí)現(xiàn)。
在一個(gè)實(shí)施方式中，1/0接口 1030可^皮配置為協(xié)調(diào)處理器1010， 系統(tǒng)存儲器1020和設(shè)備中的任意外圍設(shè)備(包括網(wǎng)絡(luò)接口 1040或 其他外圍接口，諸如輸入/輸出設(shè)備1050)之間的I/O流量。在某些 實(shí)施方式中，1/0"^妾口 1030可以扭j亍4壬意必需的協(xié)議、定時(shí)或其他 數(shù)據(jù)轉(zhuǎn)變，以便將一種組件(例如，系統(tǒng)存儲器1020)的數(shù)據(jù)信號 轉(zhuǎn)換為適用于另一種組件(例如，處理器1010)的格式。在某些實(shí) 施方式中，1/0接口 1030可以包括對通過各種類型的外圍總線，諸 如各種外圍組件互連(PCI)總線標(biāo)準(zhǔn)或通用串行總線(USB)標(biāo)準(zhǔn) 附加的設(shè)備的支持。在某些實(shí)施方式中，1/0接口 1030的功能可被 劃分為兩個(gè)或多個(gè)單獨(dú)組件，諸如例如北橋和南橋。另外，在某些 實(shí)施方式中，1/0接口 1030的某些或全部功能，諸如到系統(tǒng)存儲器 1020的接口可被直接集成到處理器1010內(nèi)。
網(wǎng)絡(luò)接口 1040可4皮配置為允許在計(jì)算才幾系統(tǒng)1000和附接至網(wǎng) 絡(luò)的其他設(shè)備(諸如其他計(jì)算機(jī)系統(tǒng)之間)、或是在計(jì)算機(jī)系統(tǒng)1000 的節(jié)點(diǎn)之間交換數(shù)據(jù)。在各種實(shí)施方式中，網(wǎng)絡(luò)接口 1040可以通過有線或無線通用數(shù)據(jù)網(wǎng)絡(luò)，諸如任意適合的以太網(wǎng)網(wǎng)絡(luò)，通過電信/ 電話網(wǎng)絡(luò)，諸如模擬語音網(wǎng)絡(luò)或數(shù)字光纖通信網(wǎng)絡(luò)，通過存儲區(qū)域
網(wǎng)絡(luò)，諸如Fibre Channel SAN，或通過任意其他適合的網(wǎng)絡(luò)和/或協(xié) 議類型支持通信。
在某些實(shí)施方式中，輸入/輸出設(shè)備1050可以包括一個(gè)或多個(gè)顯 示終端、鍵盤、小鍵盤、觸摸板、掃描設(shè)備、語音或光學(xué)識別設(shè)備， 或適用于通過一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)1000輸入或^^索數(shù)據(jù)的任意其 他設(shè)備。多個(gè)輸入/輸出設(shè)備1050可存在于計(jì)算機(jī)系統(tǒng)1000中，或 可以分布在計(jì)算機(jī)系統(tǒng)1000的各個(gè)節(jié)點(diǎn)上。在某些實(shí)施方式中，類 似的輸入/輸出設(shè)備可被與計(jì)算機(jī)系統(tǒng)1000分開，并且可以通過有線 或無線連接，諸如在網(wǎng)絡(luò)4妻口 1040上，與計(jì)算才幾系統(tǒng)1000的一個(gè) 或多個(gè)節(jié)點(diǎn)交互。
如圖IO所示，存儲器1020可以包括配置為實(shí)現(xiàn)光場預(yù)處理模 塊的實(shí)施方式的程序指令1025,以及包括可由程序指令1025訪問的 各種數(shù)據(jù)的數(shù)據(jù)存儲1035。在一個(gè)實(shí)施方式中，程序指令1025可以 包括上圖中示出的基于塊的壓縮引擎和光場預(yù)處理模塊的軟件單 元。數(shù)據(jù)存儲1035可以包括可用于這些實(shí)施方式的數(shù)據(jù)。在其他實(shí) 施方式中，可以包括其他或不同的軟件單元和數(shù)據(jù)。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解的是，計(jì)算機(jī)系統(tǒng)IOOO僅是說明性 的，而并非旨在將光場預(yù)處理模塊的范圍限制為此處的公開。具體 地，計(jì)算機(jī)系統(tǒng)和設(shè)備可以包括可以執(zhí)行指出的功能的硬件或軟件 的任意組合，包括計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、互聯(lián)網(wǎng)應(yīng)用、PDA、無線電 話、尋呼機(jī)等。計(jì)算機(jī)系統(tǒng)IOOO還可以連接到未示出的其他設(shè)備， 或作為獨(dú)立的系統(tǒng)操作。另外，在某些實(shí)施方式中，由示出的組件 提供的功能可被組合在更少的組件內(nèi)或分布在附加組件上。類似地， 在某些實(shí)施方式中，可以不提供示出的實(shí)施方式中的某一些功能， 和/或可以獲得其他附加的功能。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解的是，雖然各種項(xiàng)目被示出為在使 用時(shí)被存儲在存儲器或存儲設(shè)備上，可以出于存儲器管理和數(shù)據(jù)完
22整性的目的，在存儲器和其他存儲設(shè)備之間傳遞這些項(xiàng)目或它們的 部分。可替換地，在其他實(shí)施方式中，可以在存儲器或另一設(shè)備上 執(zhí)行軟件組件中的某 一 些或全部，并且通過計(jì)算機(jī)間通信與示出的 計(jì)算機(jī)系統(tǒng)通信。系統(tǒng)組件或數(shù)據(jù)結(jié)構(gòu)中的某 一 些或全部還可以被 存儲(例如，作為指令或結(jié)構(gòu)化數(shù)據(jù))在計(jì)算機(jī)可訪問的介質(zhì)上， 或?qū)⒁赃m當(dāng)驅(qū)動器讀取的便攜產(chǎn)品上，上面已經(jīng)描述了它們的各種
示例。在某些實(shí)施方式中，存儲在與計(jì)算機(jī)系統(tǒng)iooo分離的計(jì)算機(jī) 可訪問介質(zhì)上的指令可通過傳輸介質(zhì)或信號(諸如通過通信媒體， 例如網(wǎng)絡(luò)和/或無線鏈路傳遞的電、電磁或數(shù)字信號)傳輸?shù)接?jì)算機(jī)
系統(tǒng)1000。各種實(shí)施方式還包括在計(jì)算才幾可訪問介質(zhì)上接收，發(fā)送
或存儲根據(jù)前面所述執(zhí)行的指令和/或數(shù)據(jù)。因此，可以用其它計(jì)算 機(jī)系統(tǒng)配置實(shí)施本發(fā)明。 結(jié)論
各種實(shí)施方式還可以包括在計(jì)算機(jī)可訪問介質(zhì)上接收、發(fā)送或 存儲根據(jù)前面所述執(zhí)行的指令和/或數(shù)據(jù)。 一般而言，計(jì)算機(jī)可訪問
介質(zhì)可以包括存儲介質(zhì)或存儲器介質(zhì)，諸如磁或光學(xué)介質(zhì)(例如， 盤或DVD/CD-ROM);易失或非易失介質(zhì)，諸如RAM(例如， SDRAM, DDR， RDRAM， SRAM等)，ROM等；以及傳輸介質(zhì)或 信號，諸如通過例如網(wǎng)絡(luò)和/或無線鏈路之類的通信媒體傳遞的電、 電磁或數(shù)字信號。
圖中示出并且在此處描述的各種方法表示這些方法的實(shí)施方式 的示例?？梢杂密浖?、石更件或其組合實(shí)現(xiàn)這些方法。方法的順序可 被改變，并且各個(gè)元素可被增加、重新排列、組合、忽略、修改等。
受益于本公開，本領(lǐng)域的技術(shù)人員很明顯可以做出各種修改和 改變。本發(fā)明旨在包括所有這些修改和改變，并且因此上述描述被 認(rèn)為是說明性的而不是限制意義的。
權(quán)利要求
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括獲取光場圖像，其中所述光場圖像包括多個(gè)微圖像，其中所述微圖像的維度與基于塊的壓縮技術(shù)所使用的分塊維度不同；從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖像中的塊，其中每個(gè)塊包括來自于相應(yīng)微圖像的光場信息，并且每個(gè)塊的維度與所述基于塊的壓縮技術(shù)使用的分塊維度相同；根據(jù)所述基于塊的壓縮技術(shù)對所述預(yù)處理過的光場圖像進(jìn)行壓縮，以生成經(jīng)過壓縮的光場圖像；以及將所述經(jīng)過壓縮的光場圖像存儲到存儲介質(zhì)中。
2. 根據(jù)權(quán)利要求1所述的方法，其中從所述光場圖像中的每個(gè) 微圖像生成預(yù)處理過的光場圖像中的塊包括，針對每個(gè)微圖像裁剪所述微圖像以從所述微圖像中提取像素區(qū)域，其中所述區(qū)域 的維度小于所述塊的維度；以及對所述裁剪的像素區(qū)域進(jìn)行插值，以從所述裁剪的區(qū)域中的像素 的像素值產(chǎn)生用于相應(yīng)塊中的像素的像素值。
3. 根據(jù)權(quán)利要求2所述的方法，其中對所述裁剪的像素區(qū)域進(jìn) 行插值包括求解拉普拉斯方程，以從所述裁剪的區(qū)域中的像素的像素值生成 相應(yīng)塊中的像素的像素值。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述塊的維度為8乘8個(gè)像素。
5. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括在從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖像中 的塊之前，根據(jù)校準(zhǔn)圖像對所述光場圖像進(jìn)行正則化。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述光場圖像由全光照相 機(jī)捕獲，并且每個(gè)微圖像近似為圓形。
7. 根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括，在從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖像中的塊之前 定位所述光場圖像中的每個(gè)微圖像；以及 從所述光場圖像中提取所述定位的微圖像。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述基于塊的壓縮技術(shù)根 據(jù)JPEG (聯(lián)合圖像專家組)壓縮標(biāo)準(zhǔn)，對所述預(yù)處理過的光場圖像 進(jìn)4亍壓縮。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述經(jīng)過壓縮的光場圖像 可以使用能夠訪問利用所述基于塊的壓縮技術(shù)壓縮的文件的任何應(yīng) 用來查看。
10. —種系統(tǒng)，包括用于獲取光場圖像的裝置，其中所述光場圖像包括多個(gè)微圖像， 其中所述微圖像的維度與基于塊的壓縮技術(shù)所使用的分塊維度不同；用于從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖像 中的塊的裝置，其中每個(gè)塊包括來自于相應(yīng)微圖像的光場信息，并用于根據(jù)所述基于塊的壓縮技術(shù)對所述預(yù)處理過的光場圖像進(jìn) 行壓縮，以生成經(jīng)過壓縮的光場圖像的裝置；以及用于將所述經(jīng)過壓縮的光場圖像存儲到存儲介質(zhì)中的裝置。
11. 根據(jù)權(quán)利要求IO所述的系統(tǒng)，其中所述生成包括，針對每 個(gè)微圖像裁剪所述微圖像以從所述微圖像提取像素區(qū)域，其中所述區(qū)域的 維度小于所述塊的維度；以及對所述裁剪的像素區(qū)域進(jìn)行插值，以從所述裁剪的區(qū)域中的像素 的像素值產(chǎn)生用于相應(yīng)塊中的像素的像素值。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述插值包括求解拉普拉斯方程，以從所述裁剪的區(qū)域中的像素的像素值生成 相應(yīng)塊中的像素的像素值。
13. 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述塊的維度為8乘8個(gè)像素。
14. 根據(jù)權(quán)利要求IO所述的系統(tǒng)，進(jìn)一步包括用于在從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖 像中的塊之前，根據(jù)針對所述光場圖像的校準(zhǔn)圖像對所述光場圖像 進(jìn)行正則化的裝置。
15. 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述光場圖像由全光照 相機(jī)捕獲，并且每個(gè)微圖像近似為圓形。
16. 根據(jù)權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括這樣的裝置，其 用于在從所述光場圖像中的每個(gè)微圖像生成預(yù)處理過的光場圖像中 的塊之前定位所述光場圖像中的每個(gè)微圖像；以及 從所述光場圖像提取所述定位的微圖像。
17. 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述基于塊的壓縮技術(shù) 根據(jù)JPEG (聯(lián)合圖像專家組)壓縮標(biāo)準(zhǔn)，對所述預(yù)處理過的光場圖像進(jìn)行壓縮。
全文摘要
用于對光場圖像進(jìn)行基于塊的壓縮的方法和設(shè)備?？梢杂深A(yù)處理模塊將光場圖像預(yù)處理成與基于塊的壓縮技術(shù)的分塊機(jī)制兼容的格式，其中壓縮技術(shù)例如是JPEG。壓縮技術(shù)隨后用于對預(yù)處理過的光場圖像進(jìn)行壓縮。光場預(yù)處理模塊將捕獲的光場圖像中的角度數(shù)據(jù)再整形為與壓縮技術(shù)的分塊機(jī)制兼容的形狀，以便不在最終的壓縮圖像中引入基于塊的壓縮的分塊贗像。實(shí)施方式可以產(chǎn)生壓縮的2D圖像，對于該壓縮的2D圖像，不需要專門的光場圖像查看器來預(yù)覽整個(gè)光場圖像。全光場信息被包含在一個(gè)壓縮的2D圖像中。
文檔編號H04N1/41GK101588437SQ200910138539
公開日2009年11月25日 申請日期2009年4月29日 優(yōu)先權(quán)日2008年4月29日
發(fā)明者S·D·巴巴坎, T·G·喬吉維 申請人:奧多比公司