本公開(kāi)通常涉及多視角成像領(lǐng)域,尤其涉及一種使用光場(chǎng)照相機(jī)的多光場(chǎng)。
背景技術(shù):
光場(chǎng)照相機(jī)通過(guò)使用放置于主透鏡和圖像傳感器之間的微透鏡陣列,能夠測(cè)量沿與圖像傳感器相交的每一個(gè)射線束行進(jìn)的光的量。然后,對(duì)這種光場(chǎng)進(jìn)行后處理以從不同的視角來(lái)重構(gòu)場(chǎng)景的圖像。所述光場(chǎng)也允許用戶改變圖像的焦點(diǎn)。
圖1示出了光場(chǎng)照相機(jī)的說(shuō)明性結(jié)構(gòu)。光場(chǎng)照相機(jī)1包括與圖像傳感器陣列13相關(guān)聯(lián)的透鏡結(jié)構(gòu)。圖像傳感器陣列13包括以x列和y行的網(wǎng)格形式排列的大量感光點(diǎn)131、132、133至13p,n是與x乘以y相對(duì)應(yīng)的元件個(gè)數(shù)。濾色器陣列12設(shè)置在圖像傳感器陣列13上。濾色器陣列12典型地將rgb(紅、綠和藍(lán))濾色器設(shè)置在圖像傳感器陣列13上,例如rgb結(jié)構(gòu)可以是拜耳濾波器鑲嵌的形式。所述透鏡結(jié)構(gòu)包括初級(jí)透鏡10,也稱作主透鏡,以及包括多個(gè)m個(gè)微透鏡111、112、11m在內(nèi)的小透鏡陣列11,m是正整數(shù)。微透鏡111、112、11m按照這樣的方式設(shè)置,以便使得每一個(gè)都與多個(gè)感光點(diǎn)131、132、133至13p光學(xué)地相關(guān)聯(lián)。感光點(diǎn)131、132、133至13p的個(gè)數(shù)和與利用光場(chǎng)照相機(jī)獲取的場(chǎng)景個(gè)數(shù)相對(duì)應(yīng)的一個(gè)微透鏡光學(xué)地相關(guān)聯(lián)。為了獲得不同的視圖,可以對(duì)原始圖像(即,利用圖像傳感器陣列13獲取的顏色傳感器數(shù)據(jù))進(jìn)行解鑲嵌,然后進(jìn)行解復(fù)用。在解鑲嵌步驟之后,針對(duì)每一個(gè)視圖,在每一個(gè)感光點(diǎn)位置處獲得了rgb圖像數(shù)據(jù)值。
利用光場(chǎng)照相機(jī)捕獲的場(chǎng)景圖像應(yīng)該經(jīng)歷視圖解復(fù)用,即從2d原始圖像到4d光場(chǎng)的數(shù)據(jù)轉(zhuǎn)換。解復(fù)用過(guò)程包括按照這樣的方式重組原始圖像的感光點(diǎn),使得將捕獲具有一定入射角度的光射線的所有感光點(diǎn)131存儲(chǔ)在產(chǎn)生子孔徑視圖的相同圖像中。每一個(gè)子孔徑視圖是所述場(chǎng)景在不同角度下的投影。一組子孔徑視圖創(chuàng)建了分塊矩陣,其中中央的子孔徑視圖存儲(chǔ)了捕獲通過(guò)主透鏡的中央部分的光射線的感光點(diǎn)。事實(shí)上,通過(guò)微透鏡圖像中相對(duì)于微透鏡圖像中心的相對(duì)感光點(diǎn)位置來(lái)提供光射線的角度信息。
使用光場(chǎng)照相機(jī)的缺點(diǎn)之一在于漸暈效應(yīng),所述漸暈效應(yīng)引起外圍子孔徑視圖中的變暗視圖(由于較小的亮度值)。
圖1示出了外圍子孔徑視圖中由于較小的折射光導(dǎo)致的光場(chǎng)照相機(jī)的缺點(diǎn)。虛線表示由于漸暈效應(yīng)導(dǎo)致的具有較少折射光能量的光射線。
由于主透鏡的光學(xué)缺陷,較大的入射角引起較少的折射光能量。在2d模式下,結(jié)果是圖像的亮度不均勻,其中角部比中心暗淡。在光場(chǎng)照相機(jī)中,外圍子孔徑視圖是不可用的,因?yàn)橥鈬涌讖揭晥D與中心子孔徑視圖相比太暗。如圖1所示,外圍子孔徑視圖102(相對(duì)于微透鏡圖像的中心收集外圍定位感光點(diǎn)131和133)是不可用的,因?yàn)樘担饕且驗(yàn)橐晥D102經(jīng)受了暴露并且因此經(jīng)受了噪聲。另一方面,利用將通過(guò)主透鏡中心的光射線捕獲到感光點(diǎn)132的中心定位感光點(diǎn)132的收集得到的中心子孔徑視圖101是可用的,因?yàn)橐晥D101更好的暴露并且更少的噪聲。
圖2示出了圖1中所述的圖像傳感器陣列13的放大視圖。中心感光點(diǎn)132將已經(jīng)通過(guò)主透鏡中心的光射線捕獲到中心感光點(diǎn)132,同時(shí)外圍感光點(diǎn)131和133捕獲與中心感光點(diǎn)132相比以傾斜角度入射的光射線,由于幾個(gè)原因?qū)е峦鈬泄恻c(diǎn)131和133的亮度級(jí)較弱。首先,以傾斜角度入射的光射線具有較長(zhǎng)的路程以行進(jìn)至圖像角落。其次,離軸點(diǎn)看到的瞳孔不是圓形而是橢圓的,并且具有比中心感光點(diǎn)132看到的圓形瞳孔小的面積。再次,盡管光以法向入射撞擊圖像中心,所述光以角度b撞到圖像角落。所有余弦因子的組合效果是cos4定律(余弦四次方定律)的亮度朝著圖像角落而減少。
圖3示出了來(lái)自圖像傳感器陣列13的傳感器中心部分的白光信號(hào)的圖像。在這一圖像中,漸暈效應(yīng)近似遵循對(duì)稱的cos4定律(余弦四次方定律)減少。對(duì)于中心微透鏡的感光點(diǎn),例如可以通過(guò)cos4定律(余弦四次方定律)因子或者高斯減少函數(shù)來(lái)表示漸暈效應(yīng)。
盡管可以用cos4定律或任意其他的減少計(jì)算公式來(lái)仿真這種減少,那些減少只是理論減少計(jì)算。因此,校準(zhǔn)步驟可以用于更加精確地估計(jì)外圍感光點(diǎn)中的光減少。
同樣,除了信號(hào)量值問(wèn)題之外,這些漸暈效應(yīng)也導(dǎo)致在應(yīng)用內(nèi)容感知解鑲嵌方法時(shí)的彩色偽像。
根據(jù)n.sabater、m.seifi、v.drazic、g.sandri和p.perez于2015年3月20日的參考文獻(xiàn)“accuratedisparityestimationforplenopticimages,”http://link.springer.com/article/10.1007%2f978-3-319-16181-5_42/lookinside/000.png,使用通過(guò)將原始數(shù)據(jù)除以相應(yīng)的白色圖像(即朗伯發(fā)光類型對(duì)象的圖像)得到的加權(quán)矩陣可以減小(中心和外圍之間的)亮度級(jí)差異
在以上參考文獻(xiàn)中,解釋了考慮白色圖像作為加權(quán)矩陣比在每一個(gè)微透鏡上對(duì)漸暈進(jìn)行數(shù)學(xué)建模計(jì)算上更加有效。由于不能精確地知曉照相機(jī)的固有參數(shù)或者每一個(gè)透鏡的設(shè)計(jì),在每一個(gè)微透鏡上的漸暈效應(yīng)進(jìn)行數(shù)學(xué)建模是不切實(shí)際的。所提出的參考文獻(xiàn)的解決方案的一些問(wèn)題在于:每當(dāng)照相機(jī)參數(shù)(變焦/聚焦)改變時(shí),需要捕獲朗伯發(fā)光型對(duì)象圖像以便計(jì)算加權(quán)矩陣,因?yàn)槲⑼哥R圖像在感光點(diǎn)上的位置依賴于照相機(jī)參數(shù),即照相機(jī)的變焦和聚焦。也就是說(shuō),在改變照相機(jī)參數(shù)(變焦/聚焦)時(shí)為了計(jì)算加權(quán)矩陣的目的而捕獲朗伯發(fā)光型對(duì)象圖像是不切實(shí)際的。
此外,參考文獻(xiàn)ep15306059.5公開(kāi)了一種通過(guò)在初級(jí)透鏡和停止孔徑的位置處設(shè)置的感光點(diǎn)之間引入漸變?yōu)V波器來(lái)解決漸暈問(wèn)題的方式。這種方法的缺點(diǎn)在于當(dāng)改變照相機(jī)的聚焦/變焦時(shí)仍然需要捕獲朗伯發(fā)光型對(duì)象圖像以便估計(jì)微透鏡圖像在感光點(diǎn)上的位置。
技術(shù)實(shí)現(xiàn)要素:
本公開(kāi)提出了一種新穎的方法和設(shè)備來(lái)克服由光場(chǎng)照相機(jī)捕獲的圖像引起的漸暈效應(yīng),也稱作全光照相機(jī)。
根據(jù)本發(fā)明的原理,公開(kāi)了一種用于對(duì)由光場(chǎng)照相機(jī)捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正的方法,所述光場(chǎng)照相機(jī)包括具有多個(gè)感光點(diǎn)的圖像傳感器陣列。所述方法包括:從每一個(gè)感光點(diǎn)獲得亮度值;獲得用于補(bǔ)償每一個(gè)感光點(diǎn)的漸暈效應(yīng)的一組加權(quán)值,其中所述組的加權(quán)值與所述光場(chǎng)照相機(jī)的當(dāng)前設(shè)置相關(guān)聯(lián);以及基于所獲得的一組加權(quán)值來(lái)改變每一個(gè)感光點(diǎn)的亮度值。
本發(fā)明的原理也涉及一種對(duì)由光場(chǎng)照相機(jī)捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正的方法,所述光場(chǎng)照相機(jī)包括圖像傳感器陣列,包括多個(gè)感光點(diǎn)、初級(jí)透鏡、位于所述圖像傳感器陣列和所述初級(jí)透鏡之間的微透鏡以及設(shè)置在所述初級(jí)透鏡和微透鏡之間相距所述初級(jí)透鏡一定距離的附加透鏡,所述附加透鏡具有與所述距離相對(duì)應(yīng)的焦距。所述方法包括:從每一個(gè)感光點(diǎn)獲得亮度值;獲得用于補(bǔ)償每一個(gè)感光點(diǎn)的漸暈效應(yīng)的一組加權(quán)值;以及基于所獲得的一組加權(quán)值來(lái)改變每一個(gè)感光點(diǎn)的亮度值。
本發(fā)明的原理也涉及一種對(duì)由光場(chǎng)照相機(jī)捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正的設(shè)備,所述光場(chǎng)照相機(jī)包括圖像傳感器陣列,包括多個(gè)感光點(diǎn)、初級(jí)透鏡以及位于所述圖像傳感器陣列和所述初級(jí)透鏡之間的微透鏡,其中所述設(shè)備包括:存儲(chǔ)元件,用于存儲(chǔ)與所述光場(chǎng)照相機(jī)的相應(yīng)設(shè)置相關(guān)聯(lián)的一組加權(quán)值,所述一組加權(quán)值用于針對(duì)每一個(gè)感光點(diǎn)的漸暈效應(yīng)進(jìn)行補(bǔ)償;并且處理器可以與所述圖像傳感器陣列和所述存儲(chǔ)元件通信。所述處理器被配置為執(zhí)行:從每一個(gè)感光點(diǎn)獲得亮度值;獲得針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值,所述一組加權(quán)值與所述光場(chǎng)照相機(jī)的當(dāng)前設(shè)置相關(guān)聯(lián);以及基于所獲得的一組加權(quán)值來(lái)改變每一個(gè)感光點(diǎn)的亮度值。
本發(fā)明的原理也涉及一種對(duì)由光場(chǎng)照相機(jī)捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正的設(shè)備,所述光場(chǎng)照相機(jī)包括圖像傳感器陣列,包括多個(gè)感光點(diǎn)、存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)用于針對(duì)每一個(gè)感光點(diǎn)的漸暈效應(yīng)進(jìn)行補(bǔ)償?shù)囊唤M加權(quán)值。所述處理器被配置為執(zhí)行:獲得用光場(chǎng)照相機(jī)捕獲的每一個(gè)感光點(diǎn)的亮度值;獲得每一個(gè)感光點(diǎn)的一組加權(quán)值;以及基于所獲得的一組加權(quán)值來(lái)改變每一個(gè)感光點(diǎn)的亮度值。
本發(fā)明的原理也涉及一種光場(chǎng)照相機(jī),包括:初級(jí)透鏡;微透鏡;包括多個(gè)感光點(diǎn)在內(nèi)的圖像傳感器陣列;其中所述感光點(diǎn)具有相應(yīng)的靈敏度,所述靈敏度調(diào)節(jié)用于補(bǔ)償在由所述光場(chǎng)照相機(jī)捕獲的圖像上引起的漸暈效應(yīng)。
本發(fā)明的原理也涉及一種制造圖像傳感器陣列的方法,所述圖像傳感器陣列包括針對(duì)光場(chǎng)照相機(jī)的多個(gè)感光點(diǎn),使用包括與所述光場(chǎng)照相機(jī)具有相同結(jié)構(gòu)的其他光場(chǎng)照相機(jī),不同之處在于所述其他光場(chǎng)照相機(jī)的感光點(diǎn)具有均勻的靈敏度。所述方法包括:用其他光場(chǎng)照相機(jī)捕獲朗伯對(duì)象圖像;基于所捕獲的朗伯對(duì)象圖像,針對(duì)所述其他光場(chǎng)照相機(jī)的每一個(gè)感光點(diǎn),計(jì)算用于對(duì)在所述朗伯對(duì)象圖像上引起的漸暈效應(yīng)進(jìn)行補(bǔ)償?shù)囊唤M加權(quán)值;制造包括具有根據(jù)所計(jì)算的一組加權(quán)值而調(diào)節(jié)的相應(yīng)靈敏度的感光點(diǎn)在內(nèi)的圖像傳感器陣列;其中所述相應(yīng)的加權(quán)值與所述光場(chǎng)照相機(jī)的相應(yīng)感光點(diǎn)以及所述其他光場(chǎng)照相機(jī)的相應(yīng)感光點(diǎn)兩者相關(guān)聯(lián)。
本發(fā)明的原理也公開(kāi)一種制造包括針對(duì)光場(chǎng)照相機(jī)的多個(gè)感光點(diǎn)的圖像傳感器陣列的方法,所述光場(chǎng)照相機(jī)包括初級(jí)透鏡、包括多個(gè)微透鏡的小透鏡陣列以及設(shè)置在所述初級(jí)透鏡和所述微透鏡之間相距所述初級(jí)透鏡一定距離處的附加透鏡,所述附加透鏡具有與所述距離相對(duì)應(yīng)的焦距,所述圖像傳感器陣列包括多個(gè)感光點(diǎn),使用包括與所述光場(chǎng)照相機(jī)相同結(jié)構(gòu)的其他光場(chǎng)照相機(jī),不同之處在于所述另一個(gè)光場(chǎng)照相機(jī)的感光點(diǎn)具有均勻的靈敏度。所述方法包括:用另一個(gè)光場(chǎng)照相機(jī)捕獲朗伯對(duì)象圖像;基于所捕獲的朗伯對(duì)象圖像,針對(duì)所述另一個(gè)光場(chǎng)照相機(jī)的每一個(gè)感光點(diǎn),計(jì)算用于對(duì)在所述朗伯對(duì)象圖像上引起的漸暈效應(yīng)進(jìn)行補(bǔ)償?shù)囊唤M加權(quán)值;制造包括具有根據(jù)所計(jì)算的一組加權(quán)值而調(diào)節(jié)的相應(yīng)靈敏度的感光點(diǎn)在內(nèi)的圖像傳感器陣列;其中所述相應(yīng)的加權(quán)值與所述光場(chǎng)照相機(jī)的相應(yīng)感光點(diǎn)以及所述另一個(gè)光場(chǎng)照相機(jī)的相應(yīng)感光點(diǎn)兩者相關(guān)聯(lián)。
附圖說(shuō)明
圖1示出了光場(chǎng)照相機(jī)的說(shuō)明性結(jié)構(gòu)。
圖2示出了圖1中所述的圖像傳感器陣列的放大視圖;
圖3示出了來(lái)自圖1的感光點(diǎn)中部的的白光信號(hào)的圖像;
圖4示出了根據(jù)本公開(kāi)實(shí)施例的具有附加透鏡的光場(chǎng)照相機(jī)的說(shuō)明性結(jié)構(gòu);
圖5示出了在傳感器陣列外圍上的漸暈和濾色器效應(yīng);
圖6是示出了實(shí)現(xiàn)了根據(jù)本公開(kāi)實(shí)施例的光場(chǎng)照相機(jī)的設(shè)備的硬件結(jié)構(gòu)的圖;
圖7示出了根據(jù)本公開(kāi)實(shí)施例的使用光場(chǎng)照相機(jī)來(lái)計(jì)算針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值的說(shuō)明性流程圖;
圖8示出了根據(jù)本公開(kāi)實(shí)施例替代實(shí)施例的基于顏色信道來(lái)計(jì)算針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值的說(shuō)明性流程圖;
圖9示出了根據(jù)本公開(kāi)實(shí)施例的將所計(jì)算的相應(yīng)加權(quán)值施加至來(lái)自每一個(gè)感光點(diǎn)的輸出信號(hào)的結(jié)構(gòu)的說(shuō)明圖;
圖10示出了根據(jù)本公開(kāi)實(shí)施例的將所計(jì)算的一組加權(quán)值施加至每一個(gè)感光點(diǎn)的一組亮度值的說(shuō)明流程圖
圖11示出了根據(jù)本公開(kāi)第二實(shí)施例的光場(chǎng)照相機(jī)的說(shuō)明性結(jié)構(gòu);
圖12示出了根據(jù)本公開(kāi)第二實(shí)施例的計(jì)算針對(duì)每一個(gè)感光點(diǎn)的加權(quán)值的說(shuō)明性流程圖;
圖13示出了根據(jù)本公開(kāi)變體實(shí)施例的計(jì)算每一個(gè)感光點(diǎn)的填充因子或大小的說(shuō)明性流程圖;以及
圖14示出了根據(jù)本公開(kāi)實(shí)施例的制造包括多個(gè)感光點(diǎn)的圖像傳感器陣列的說(shuō)明性流程圖。
具體實(shí)施方式
期待本公開(kāi)可以通過(guò)本領(lǐng)域普通技術(shù)人員來(lái)實(shí)現(xiàn),從而將不會(huì)詳細(xì)地描述附圖中示出的元件的一些。例如,將不需要詳細(xì)描述基于處理器的設(shè)備,例如移動(dòng)電話、表、數(shù)字靜態(tài)照相機(jī)、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)、數(shù)字電視等。還應(yīng)該注意的是本公開(kāi)可以使用編程技術(shù)來(lái)實(shí)現(xiàn),例如同樣地這里不會(huì)描述的api(應(yīng)用程序接口)。最后,附圖上相似的數(shù)字表示類似的元件。還應(yīng)該注意的是盡管參考了彩色處理,附圖是黑白的,即不需要在附圖中使用彩色(而不是黑色和白色)來(lái)理解所展示的概念。
圖4示出了根據(jù)本公開(kāi)實(shí)施例的具有附加透鏡的光場(chǎng)照相機(jī)的說(shuō)明性結(jié)構(gòu)。技術(shù)參考文獻(xiàn)之一ep15305988.6公開(kāi)了在初級(jí)透鏡10和小透鏡陣列11之間放置附加透鏡21的概念,使得微透鏡圖像的位置不會(huì)依賴于照相機(jī)的變焦/聚焦。附加透鏡21設(shè)置在初級(jí)透鏡10和小透鏡陣列11之間的固定位置處,例如在光場(chǎng)照相機(jī)1的制造期間或者在制造光場(chǎng)照相機(jī)1之后,將附加透鏡21移到或者添加到相距初級(jí)透鏡10距離l1和相距小透鏡陣列11的距離l2處。附加透鏡21的焦距等于與初級(jí)透鏡10和附加透鏡21之間的距離l1相對(duì)應(yīng)的值。
附加透鏡21用于估計(jì)針對(duì)光場(chǎng)照相機(jī)1的每一組聚焦距離/變焦參數(shù)的一組微圖像中心。換句話說(shuō),利用這種方案,即使利用不同的變焦或聚焦設(shè)置也可以估計(jì)微圖像的中心。
當(dāng)附加透鏡21的焦距等于距離l1時(shí),通過(guò)微透鏡110、11i中心的主要光射線301、302和30i與光場(chǎng)照相機(jī)1的光軸2001平行,即離開(kāi)附加透鏡并且通過(guò)小透鏡陣列11的微透鏡中心的光射線與光場(chǎng)照相機(jī)1的光軸2001平行。將附加透鏡21的焦距設(shè)置為距離l1使能了在圖像傳感器陣列13上的小透鏡陣列11下面形成的微圖像中心之間的恒定距離。兩個(gè)相鄰微圖像中心之間的距離等于相應(yīng)小透鏡陣列11中心之間的距離,稱作l。當(dāng)對(duì)光場(chǎng)照相機(jī)1進(jìn)行校準(zhǔn)時(shí),微圖像中心在圖像傳感器陣列13上的規(guī)則排列有助于確定這些中心。此外,甚至當(dāng)距離l1改變時(shí)(例如變焦或者聚焦時(shí)),因?yàn)閷⒏郊油哥R21的焦距控制為等于l1,微圖像的中心在圖像傳感器陣列13上的位置不會(huì)改變。使用這些技術(shù)有助于避免每次改變初級(jí)透鏡10的變焦和/或聚焦參數(shù)時(shí)確定每一個(gè)微圖像的中心。通過(guò)采用第i個(gè)微透鏡11i的示例,當(dāng)從附加透鏡21輸出時(shí)光射線30i與光軸2001平行,并且這一射線30i碰到的點(diǎn)是在微透鏡30i下面形成的微圖像的中心34i,也是射線30i碰到的同一點(diǎn),無(wú)論初級(jí)透鏡10的聚焦距離和/或變焦參數(shù),即無(wú)論距離l1的值。
通過(guò)使用附加透鏡21,可以在傳感器陣列13上的相同位置中捕獲微圖像的中心,而與變焦或聚焦設(shè)置無(wú)關(guān),使得改變感光點(diǎn)的靈敏度在解決背景部分中提到的技術(shù)問(wèn)題時(shí)更加有效。
在本公開(kāi)的示范性實(shí)施例中,利用如圖4所示的附加透鏡21來(lái)執(zhí)行所要求的感光點(diǎn)靈敏度的計(jì)算。在一些示范性實(shí)施例中,可以不要求安裝附加透鏡21來(lái)計(jì)算所要求的感光點(diǎn)靈敏度,只要光場(chǎng)照相機(jī)1是定焦照相機(jī)(換句話說(shuō),如果光場(chǎng)照相機(jī)1不具有變焦/聚焦設(shè)置的功能,可以不要求附加透鏡21),或者當(dāng)存在將一組加權(quán)值與相應(yīng)的變焦/聚焦設(shè)置相關(guān)聯(lián)的裝置時(shí)。
在本公開(kāi)的一個(gè)示范性示例中,通過(guò)均勻地捕獲所照射的沿所有方向均等地輻射光的白色對(duì)象(下文中稱作“朗伯對(duì)象”)來(lái)執(zhí)行校準(zhǔn)步驟??梢灶A(yù)見(jiàn)這種捕獲的朗伯對(duì)象圖像應(yīng)該是均勻的白色的,然而由于漸暈和濾色器效應(yīng),所捕獲的圖像實(shí)際上不是均勻的白色。設(shè)置在圖像傳感器陣列13上的rgb(紅綠藍(lán))濾色器對(duì)于亮度級(jí)給出了這樣的效果:應(yīng)該補(bǔ)償濾色器的效果。
與此同時(shí),由于機(jī)械貓眼漸暈,存在一些亮度級(jí)小于針對(duì)機(jī)械貓眼漸暈的閾值(下文中稱作“最小閾值”)的感光點(diǎn)131、132、133至13p。
圖5示出了在傳感器陣列外圍上引起的漸暈和濾色器效應(yīng)。
在由于機(jī)械貓眼漸暈的情況下,傳感器的遠(yuǎn)離中心的外圍中的一些感光點(diǎn)絕不會(huì)接收任何有用的光。因此在本公開(kāi)中,預(yù)設(shè)了最小閾值以便在將要補(bǔ)償漸暈減小效應(yīng)的感光點(diǎn)和將不會(huì)補(bǔ)償?shù)母泄恻c(diǎn)之間進(jìn)行區(qū)分。由于前透鏡孔徑、后透鏡孔徑和光圈孔徑,一些感光點(diǎn)將處于“陰影”中(換句話說(shuō),這些感光點(diǎn)將不會(huì)接收光)。可以選擇最小閾值,以判定由于機(jī)械貓眼漸暈,所述感光點(diǎn)是否曾經(jīng)接收光。最小閾值的示例是1當(dāng)中的0.1。在本公開(kāi)中,將不會(huì)對(duì)小于最小閾值的亮度值的那些感光點(diǎn)進(jìn)行補(bǔ)償,因?yàn)橛捎跈C(jī)械貓眼漸暈,已經(jīng)確定那些感光點(diǎn)不會(huì)接收有用的光。
在本公開(kāi)的另一個(gè)實(shí)施例中,可以將每一個(gè)感光點(diǎn)的亮度值增加(或減少),或者也可以設(shè)計(jì)每一個(gè)感光點(diǎn)的靈敏度以對(duì)用于采樣顏色內(nèi)容的濾色器的效果進(jìn)行校正。例如,可以響應(yīng)于理想的白光信號(hào),將藍(lán)色濾色器后面的感光點(diǎn)設(shè)計(jì)為更高的靈敏度以捕獲與放置在綠色濾色器后面的感光點(diǎn)相同的值。隨后將在說(shuō)明書(shū)的這一部分中解釋詳細(xì)的步驟。
圖6是示出了根據(jù)本公開(kāi)各種實(shí)施例的設(shè)備的硬件結(jié)構(gòu)的圖。盡管在圖6中描述了設(shè)備5包括光場(chǎng)照相機(jī)1(或者將在說(shuō)明書(shū)的后續(xù)部分中解釋的1a),光場(chǎng)照相機(jī)1可以與設(shè)備5分離地配置。設(shè)備5可以是任意設(shè)備,例如桌上型或個(gè)人計(jì)算機(jī)、智能電話、智能手表、平板、移動(dòng)電話、便攜式/個(gè)人數(shù)字助理(“pda”)以及便于終端用戶和光場(chǎng)照相機(jī)1之間的信息通信的其它設(shè)備。光場(chǎng)照相機(jī)1也可以在內(nèi)部具有設(shè)備5的等價(jià)硬件結(jié)構(gòu)。
設(shè)備5包括通過(guò)地址和數(shù)據(jù)總線54彼此相連的以下元件,其中地址和數(shù)據(jù)總線還傳輸時(shí)鐘信號(hào):處理器51(或cpu),rom(只讀存儲(chǔ)器)型的非易失性存儲(chǔ)器52、隨機(jī)存取存儲(chǔ)器或ram53,無(wú)線電接口(rx)56,適用于數(shù)據(jù)傳輸?shù)慕涌?5(tx),光場(chǎng)照相機(jī)1,適用于向用戶顯示信息和/或輸入數(shù)據(jù)或參數(shù)的mmi(人機(jī)接口)58(i/f應(yīng)用)。
應(yīng)注意,存儲(chǔ)器52和53的描述中所用詞語(yǔ)"寄存器”或“存儲(chǔ)”表示所提及的存儲(chǔ)器、小容量存儲(chǔ)區(qū)域和大容量存儲(chǔ)區(qū)域(能夠?qū)⒄麄€(gè)程序存儲(chǔ)在這些存儲(chǔ)器中或所有或一部分?jǐn)?shù)據(jù)表示所接收的并且針對(duì)這些存儲(chǔ)器進(jìn)行解碼的數(shù)據(jù))中的每一個(gè)。
rom52包括程序“prog”。實(shí)現(xiàn)特定于本發(fā)明的且描述于下的方法步驟的算法存儲(chǔ)在rom52存儲(chǔ)器中,并且與實(shí)現(xiàn)這些步驟的設(shè)備5相關(guān)聯(lián)。當(dāng)加電時(shí),處理器51加載并運(yùn)行這些算法的指令。
ram53y尤其在寄存器和/或存儲(chǔ)器中包括負(fù)責(zé)設(shè)備5的接通的處理器51的操作程序、接收參數(shù)(例如,用于調(diào)節(jié)、編碼、mimo(多輸入多輸出)、幀重發(fā)的參數(shù))、發(fā)射參數(shù)(例如,用于調(diào)制、編碼、mimo、幀重發(fā)的參數(shù))、與無(wú)線電接口56接收和解碼的數(shù)據(jù)相對(duì)應(yīng)的輸入數(shù)據(jù)、形成為在接口處發(fā)射至應(yīng)用58的已解碼數(shù)據(jù)、初級(jí)透鏡10的參數(shù)和/或表示由微透鏡陣列的微透鏡形成的微圖像中心的信息。
設(shè)備5的除了相對(duì)于圖6描述的那些結(jié)構(gòu)之外的其他結(jié)構(gòu)與本公開(kāi)是兼容的。具體地,根據(jù)各種替代實(shí)施例,設(shè)備5可以根據(jù)純硬件實(shí)施來(lái)實(shí)現(xiàn),例如以專用組件(例如,asic(專用集成電路)或fpga(現(xiàn)場(chǎng)可編程門(mén)陣列)或vlsi(超大規(guī)模集成電路)或嵌入在設(shè)備中的若干電子組件)的形式、或甚至以硬件元件和軟件元件混合的形式。
無(wú)線電接口56和接口55適用于根據(jù)一個(gè)或幾個(gè)電信標(biāo)準(zhǔn)來(lái)接收和發(fā)射信號(hào),例如ieee802.11(wi-fi)、與imt-2000規(guī)范兼容的標(biāo)準(zhǔn)(也稱作3g)、與3gpplte兼容的標(biāo)準(zhǔn)(也稱作4g)、ieee802.15.1(也稱作藍(lán)牙)。
根據(jù)替代實(shí)施例,設(shè)備5不包括任何rom而是只包括ram,其中將實(shí)現(xiàn)本公開(kāi)特定的方法的步驟的算法存儲(chǔ)在ram中。
圖7示出了根據(jù)本公開(kāi)實(shí)施例的使用光場(chǎng)照相機(jī)來(lái)計(jì)算針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值的說(shuō)明性流程圖。所計(jì)算的加權(quán)值w(u,v)可以用于增加位置(u,v)處的感光點(diǎn)的亮度值??梢酝ㄟ^(guò)處理器51來(lái)執(zhí)行在該流程圖中描述的步驟。在這種示范性流程圖中,(u,v)表示第i個(gè)感光點(diǎn)在傳感器陣列13平面上的坐標(biāo)。在步驟7,根據(jù)將要處理的感光點(diǎn)的數(shù)字i遞增來(lái)將“u”和“v”的每一個(gè)值遞增(s7)。
在步驟1(s1),當(dāng)光場(chǎng)照相機(jī)1捕獲到沿所有方向均等地均勻輻射光的朗伯對(duì)象的圖像時(shí),處理器51接收所有感光點(diǎn)131、132、133至13p的亮度值。
可以利用顏色分量的加權(quán)求和來(lái)計(jì)算所述亮度值。例如,可以利用以下等式來(lái)計(jì)算亮度值。
l(u,v)=h_red*q_red+h_green*q_green+h_blue*q_blue。
例如,亮度l(u,v)=((q_redx299)+(q_greenx587)+(q_bluex114))/1000;
可以根據(jù)本公開(kāi)的原理來(lái)采用用于計(jì)算感光點(diǎn)131、132、133至13p的亮度值的其他技術(shù)。
在步驟1(s1),處理器51也將每一個(gè)感光點(diǎn)131、132、133至13p的亮度值歸一化,使得最大值轉(zhuǎn)換為所述感光點(diǎn)可以提供規(guī)定最大量值。
例如,對(duì)于8位傳感器為255;
l’(u,v)=255*l(u,v)/max_l
其中l(wèi)'(u,v)表示在感光點(diǎn)位置(u,v)處的歸一化亮度值,l(u,v)表示感光點(diǎn)位置(u,v)處的亮度值,以及max_l表示所有感光點(diǎn)131、132、133至13p中的最大亮度值。
在步驟2(s2),處理器51確定并且登記歸一化的最大亮度值max_l'。在一個(gè)示范性實(shí)施例中,處理器51可以將所有感光點(diǎn)的亮度值l(u,v)臨時(shí)地登記到諸如ram53或rom52之類的存儲(chǔ)器中,并且可以從登記的所有亮度值中確定最大亮度值max_l。處理器51也將歸一化的最大亮度值max_l’登記到存儲(chǔ)器中。具有最大亮度值max_l的感光點(diǎn)131、132、133至13p通常位置靠近傳感器陣列13的中心部分。
在步驟3(s3)至7(s7)中執(zhí)行針對(duì)每一個(gè)感光點(diǎn)131、132、133至13p的一組加權(quán)值(加權(quán)矩陣)的計(jì)算。
如上所述,在由于機(jī)械貓眼漸暈的一些情況下,傳感器陣列13的遠(yuǎn)離傳感器陣列13中心的外圍中的一些感光點(diǎn)131、132、133至13p絕不會(huì)接收任何有用的光。因此在本公開(kāi)中,準(zhǔn)備并且確定了最小閾值。本公開(kāi)中的系統(tǒng)涉及由于機(jī)械貓眼漸暈導(dǎo)致影響那些小于閾值的亮度值l(u,v)的感光點(diǎn)131、132、133至13p,并且將那些感光點(diǎn)131、132、133至13p的加權(quán)值設(shè)置為等于0。
在步驟3(s3),處理器51確定第i個(gè)感光點(diǎn)131、132、133至13p的亮度值l(u,v)是否小于最小閾值。如果確定第i個(gè)感光點(diǎn)的亮度值l’(u,v)小于最小閾值,過(guò)程前進(jìn)到步驟4(s4)。如果確定值l(u,v)大于或等于最小閾值,過(guò)程前進(jìn)到步驟5(s5)。
在步驟4(s4),如果確定第i個(gè)感光點(diǎn)131、132、133至13p的亮度值l(u,v)小于閾值,處理器51將針對(duì)這一感光點(diǎn)的加權(quán)值設(shè)置為等于0。
在步驟5(s5),處理器51計(jì)算針對(duì)第i個(gè)感光點(diǎn)131、132、133至13p的加權(quán)值。
然后,處理器51從存儲(chǔ)器中讀取值max_l,然后通過(guò)計(jì)算比率w(u,v)=max_l/l(u,v)來(lái)計(jì)算針對(duì)第i個(gè)感光點(diǎn)的加權(quán)值w(u,v),這是針對(duì)位置(u,v)的感光點(diǎn)的校正加權(quán)值。在這種示例中,w(u,v)用于對(duì)紅色、綠色和藍(lán)色分量進(jìn)行校正。
盡管這里已經(jīng)描述了具體的實(shí)施例,應(yīng)該理解的是針對(duì)亮度值的計(jì)算或者針對(duì)加權(quán)值的計(jì)算不局限于此,并且在本公開(kāi)的范圍內(nèi)可以進(jìn)行許多改進(jìn)或者附加。
在步驟6(s6),處理器51將針對(duì)第i個(gè)感光點(diǎn)計(jì)算的加權(quán)值存儲(chǔ)在存儲(chǔ)器中(加權(quán)矩陣存儲(chǔ)器87)。應(yīng)該注意的是在光場(chǎng)照相機(jī)中沒(méi)有安裝附加透鏡21的情況下,微透鏡圖像在傳感器陣列13上的位置依賴于照相機(jī)參數(shù),例如照相機(jī)的變焦和聚焦。在沒(méi)有安裝附加透鏡21的情況下,應(yīng)該將一組計(jì)算的加權(quán)值登記到與當(dāng)前的變焦/聚焦設(shè)置相關(guān)聯(lián)的存儲(chǔ)器中,通過(guò)在附圖中沒(méi)有描述的裝置來(lái)檢測(cè)當(dāng)前的變焦/聚焦設(shè)置。加權(quán)值可以進(jìn)一步與感光點(diǎn)(u,v)在傳感器陣列13平面上的位置相關(guān)聯(lián),以便施加至傳感器陣列13平面上的相應(yīng)感光點(diǎn)(u,v)的亮度值。換句話說(shuō),針對(duì)感光點(diǎn)(u,v)在傳感器陣列13平面上的位置而計(jì)算的加權(quán)值可以用于在隨后解釋的步驟114(s114)中,增加感光點(diǎn)(u,v)在傳感器陣列13平面上的相同位置上捕獲的亮度值。
在步驟7(s7),處理器51確定這是否是陣列中的最后一個(gè)感光點(diǎn)。確定感光點(diǎn)是否是最后一個(gè)感光點(diǎn)的示范性方式之一是將處理感光點(diǎn)號(hào)i與預(yù)先登記到存儲(chǔ)器中的最大感光點(diǎn)號(hào)imax進(jìn)行比較。在100x100總共10000個(gè)感光點(diǎn)設(shè)置在傳感器陣列13平面上的情況下,當(dāng)計(jì)算針對(duì)i=9999感光點(diǎn)(在這種情況下“i”是從0至9999的整數(shù))的加權(quán)值時(shí),處理器51將終止循環(huán)。在這種情況下,感光點(diǎn)不是最后一個(gè)感光點(diǎn),處理器51將感光點(diǎn)數(shù)i遞增,并且將回到步驟3(s3)。如果確定感光點(diǎn)是最后一個(gè)感光點(diǎn)imax,因?yàn)橛?jì)算了一組加權(quán)值(例如,針對(duì)從i=0至i=9999的10000個(gè)感光點(diǎn)的一組加權(quán)值),終止處理。
在這種流程圖中,為了使讀者能夠容易地理解本發(fā)明,按照第i個(gè)的形式表示將要處理的感光點(diǎn)。然而,本領(lǐng)域普通技術(shù)人員應(yīng)該理解的是可以使用不同形式的計(jì)算。例如,要處理的感光點(diǎn)可以采取(u,v)的形式,那么當(dāng)完成u=umax并且v=vmax處的感光點(diǎn)的計(jì)算時(shí)(例如,(在“u”和“v”是從0至99的整數(shù)的情況下)對(duì)于100x100傳感器,umax=99并且vmax=99),終止所述處理。
圖8示出了基于顏色信道來(lái)計(jì)算針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值的替代實(shí)施例的說(shuō)明性流程圖。如上所述,依賴于放置到每一個(gè)感光點(diǎn)131、132、133至13p的濾色器,因?yàn)槊恳粋€(gè)顏色信道帶來(lái)的效果可能不同,應(yīng)該改變加權(quán)值。通過(guò)處理器51來(lái)執(zhí)行在該流程圖中描述的整個(gè)方法。在這種示范性流程圖中,(u,v)表示第i個(gè)感光點(diǎn)在傳感器陣列13平面上的坐標(biāo)。在步驟80,根據(jù)將要處理的感光點(diǎn)的號(hào)i遞增來(lái)將“u”和“v”的每一個(gè)值遞增(s80)。當(dāng)然,存在用于檢測(cè)與每一個(gè)感光點(diǎn)相對(duì)應(yīng)的濾色器的顏色的裝置。
在步驟10(s10),當(dāng)光場(chǎng)照相機(jī)1捕獲到沿所有方向均等地均勻輻射光的朗伯對(duì)象的圖像時(shí),處理器51接收感光點(diǎn)131、132、133至13p的亮度值l(u,v)。如圖7中步驟1(s1)所述,執(zhí)行對(duì)捕捉的亮度值歸一化的步驟。如前所述,l'(u,v)、max_l’和q'(最大值,顏色)每一個(gè)均表示歸一化的亮度值。
在步驟20(s20),處理器51從接收信號(hào)(所有的亮度值)確定針對(duì)包括在諸如拜耳濾波器之類的濾色器中的每一種顏色的歸一化最大亮度值q'_(最大值,顏色)。在一個(gè)示范性實(shí)施例中,處理器51可以通過(guò)將放置到相應(yīng)感光點(diǎn)131、132、133至13p上的濾色器的相應(yīng)顏色相關(guān)聯(lián)來(lái)臨時(shí)登記所有感光點(diǎn)131、132、133至13p的亮度值。例如,處理器51可以登記與感光點(diǎn)131、132、133至13p的顏色“紅色”相關(guān)聯(lián)的亮度值,其上放置了紅色濾色器。然后,處理器51可以從登記的所有亮度值來(lái)定位每一種顏色的最大亮度值。處理器51可以將相應(yīng)的最大亮度值登記到存儲(chǔ)器中。例如,在濾色器包括紅色、綠色和藍(lán)色的情況下,確定針對(duì)每一種相應(yīng)顏色的歸一化最大亮度值(q’_(max.red),q’_(max.green),q’_(max.blue))。具有最大亮度值的感光點(diǎn)131、132、133至13p通常位置靠近傳感器陣列13的中心部分。
在步驟30(s30)至步驟80(s80)中執(zhí)行針對(duì)每一個(gè)感光點(diǎn)的一組加權(quán)值的計(jì)算。在步驟30(s30),處理器51確定第i個(gè)感光點(diǎn)的歸一化亮度值l’(u,v)是否小于最小閾值。如果確定該歸一化亮度值l’(u,v)小于最小閾值,過(guò)程前進(jìn)到步驟40(s40)。如果確定值l’(u,v)大于或等于最小閾值,過(guò)程前進(jìn)到步驟50(s50)。
在步驟40(s40),當(dāng)確定第i個(gè)感光點(diǎn)的歸一化亮度值小于閾值時(shí),處理器51確定由于機(jī)械貓眼漸暈導(dǎo)致該第i個(gè)感光點(diǎn)將不會(huì)接收光。處理器51將針對(duì)第i個(gè)感光點(diǎn)的加權(quán)值設(shè)置為等于0。
在步驟50(s50),處理器51確定第i個(gè)感光點(diǎn)上濾色器的顏色,并且獲得針對(duì)這一感光點(diǎn)上的濾色器的顏色的校正值。
在步驟60(s60),處理器51計(jì)算針對(duì)該第i個(gè)感光點(diǎn)的加權(quán)值,例如可以利用以下等式來(lái)確定所述加權(quán)值:
w(u,v)=h_color*q’_(max,color)/l’(u,v)
l’(u,v)是當(dāng)通過(guò)光場(chǎng)照相機(jī)1捕獲朗伯對(duì)象時(shí)位置(u,v)處的感光點(diǎn)上測(cè)量的歸一化亮度值。q'_(最大值,顏色)是當(dāng)通過(guò)光場(chǎng)照相機(jī)1捕獲朗伯對(duì)象時(shí)在圖像傳感器陣列13上測(cè)量的每種顏色的歸一化最大亮度值。h_color是與放置到感光點(diǎn)上的濾色器的顏色(例如,紅色、綠色或藍(lán)色)相對(duì)應(yīng)的預(yù)定校正值。
例如,在坐標(biāo)(u,v)處的第i個(gè)感光點(diǎn)上的濾色器是紅色的情況下,利用以下等式來(lái)計(jì)算加權(quán)值:
w(u,v)=h_color(red)*q’_(max.red)*1/l’(u,v)
在步驟70(s70),處理器51登記針對(duì)第i個(gè)感光點(diǎn)而計(jì)算的加權(quán)值。在這一步驟,在光場(chǎng)照相機(jī)中沒(méi)有安裝附加透鏡21的情況下,可以將所計(jì)算的一組加權(quán)值登記到與當(dāng)前的變焦/聚焦設(shè)置相關(guān)聯(lián)的存儲(chǔ)器中。
在步驟80(s80),處理器51通過(guò)將處理感光點(diǎn)號(hào)i與預(yù)先登記到存儲(chǔ)器中的最大感光點(diǎn)號(hào)imax進(jìn)行比較,來(lái)確定這是否是最后一個(gè)感光點(diǎn)。如果確定感光點(diǎn)是最后一個(gè)感光點(diǎn),終止處理。如果確定感光點(diǎn)不是針對(duì)加權(quán)值而計(jì)算的最后一個(gè)感光點(diǎn),處理器51將感光點(diǎn)數(shù)i遞增,并且返回步驟30(s30)來(lái)計(jì)算針對(duì)下一個(gè)感光點(diǎn)(第i+1個(gè)感光點(diǎn))的加權(quán)值。
在這種流程圖中,為了使讀者能夠容易地理解本發(fā)明,按照第i個(gè)的形式表示將要處理的感光點(diǎn)。然而,本領(lǐng)域普通技術(shù)人員應(yīng)該理解的是可以使用不同形式的計(jì)算。例如,要處理的感光點(diǎn)可以采取(u,v)的形式,那么當(dāng)完成u=umax并且v=vmax處的感光點(diǎn)的計(jì)算時(shí)(例如,(在“u”和“v”是從0至99的整數(shù)的情況下)對(duì)于100x100傳感器,umax=99并且vmax=99),終止所述處理。
【第一實(shí)施例】
圖9示出了根據(jù)本公開(kāi)實(shí)施例的用于將計(jì)算的相應(yīng)加權(quán)值施加至來(lái)自每一個(gè)感光點(diǎn)(感光點(diǎn))的輸出信號(hào)的結(jié)構(gòu)的原理圖。所計(jì)算的一組加權(quán)值分別被施加至每一個(gè)感光點(diǎn)的亮度值,以便補(bǔ)償在捕獲圖像時(shí)引起的漸暈效應(yīng)。
如圖9所示,由圖像傳感器陣列13捕獲的信號(hào)經(jīng)由行存取驅(qū)動(dòng)器81、列放大器82和模擬增益83發(fā)送到模數(shù)轉(zhuǎn)換設(shè)備84。時(shí)鐘發(fā)生器80調(diào)節(jié)執(zhí)行指令的速率。一組加權(quán)值由處理器51計(jì)算并登記到加權(quán)矩陣存儲(chǔ)裝置87中。在捕獲的信號(hào)被轉(zhuǎn)換為數(shù)字流之后,來(lái)自每一個(gè)感光點(diǎn)的信號(hào)可以在乘法器86處乘以對(duì)應(yīng)的加權(quán)值,以便補(bǔ)償漸暈效應(yīng)。備選地,來(lái)自每一個(gè)感光點(diǎn)的信號(hào)在被轉(zhuǎn)換成數(shù)字流之前可以被相乘。在該實(shí)現(xiàn)中,不需要通過(guò)改變每一個(gè)感光點(diǎn)的大小或填充因子來(lái)調(diào)整每一個(gè)感光點(diǎn)的靈敏度。根據(jù)所計(jì)算的一組加權(quán)值(加權(quán)矩陣)在捕獲圖像之后補(bǔ)償漸暈效應(yīng)。雖然在附圖中未指示用于檢測(cè)光場(chǎng)照相機(jī)1的當(dāng)前設(shè)置(諸如變焦/聚焦)的裝置,但是光場(chǎng)照相機(jī)1可以被配置為具有這樣的裝置。
在該實(shí)施例的變型中,存儲(chǔ)在加權(quán)矩陣存儲(chǔ)裝置87處的一組加權(quán)值可以由用戶更新。用戶可以從源外部下載一組加權(quán)值(一組加權(quán)矩陣),或者通過(guò)使用上述校準(zhǔn)步驟中的一些獲取一組加權(quán)值,并將所獲取的一組加權(quán)值登記到加權(quán)矩陣存儲(chǔ)裝置87中。該實(shí)現(xiàn)對(duì)于具有或不具有附加透鏡21的情況可以是有用的。即使使用附加透鏡21,也可能存在若干修改漸暈效應(yīng)的因素。情況之一是當(dāng)更換主透鏡時(shí)。這修改了漸暈效應(yīng),并因此需要重新計(jì)算加權(quán)。另一種情況是照相機(jī)的偏置或噪聲修改了漸暈效應(yīng)。該偏置隨著時(shí)間經(jīng)過(guò)而(通過(guò)由溫度、機(jī)械變化、物理變化等帶來(lái)的偏置)出現(xiàn)。存在修改漸暈效應(yīng)的若干其它因素,其中能夠根據(jù)由用戶進(jìn)行的配置改變來(lái)改變一組加權(quán)值將幫助補(bǔ)償這些情況。
一組加權(quán)值可以通過(guò)以下來(lái)直接計(jì)算:利用對(duì)光學(xué)設(shè)置的給定調(diào)諧來(lái)捕獲朗伯(lambertian)對(duì)象,然后利用上述算法計(jì)算我們?nèi)缓罂梢越?jīng)由外部接口上傳的一組加權(quán)值。在這種情況下,可以不必要使用附加透鏡21,因?yàn)橐唤M加權(quán)值(加權(quán)矩陣)在照相機(jī)中是可編程的。除非在確定的硬件中實(shí)現(xiàn)一組加權(quán)值,用戶可以使用朗伯對(duì)象在它適合于(變焦/焦距改變)時(shí)來(lái)校準(zhǔn)系統(tǒng)。根據(jù)本文描述的算法計(jì)算一組加權(quán)值,然后可以在捕獲朗伯對(duì)象時(shí)與光場(chǎng)照相機(jī)1的設(shè)置相關(guān)聯(lián)地將一組加權(quán)值存儲(chǔ)在存儲(chǔ)器(加權(quán)矩陣存儲(chǔ)裝置87)中。
圖10示出了根據(jù)本公開(kāi)實(shí)施例的用于將計(jì)算的一組加權(quán)值施加至每一個(gè)感光點(diǎn)的一組亮度值的說(shuō)明性流程圖。在該流程圖中描述的整個(gè)過(guò)程由處理器51執(zhí)行。在下面的解釋中,(u,v)指感光點(diǎn)在傳感器陣列平面13上的坐標(biāo)。
在步驟111(s111)中,處理器51從每一個(gè)感光點(diǎn)131、132、133至13p獲得亮度值,用光場(chǎng)照相機(jī)1捕獲并歸一化所述亮度值。
在步驟112(s112)中,處理器51訪問(wèn)存儲(chǔ)裝置(諸如加權(quán)矩陣存儲(chǔ)裝置87),以獲得每一個(gè)感光點(diǎn)131、132、133至13p的一組加權(quán)值,所述一組加權(quán)值可以與光場(chǎng)照相機(jī)1的當(dāng)前變焦/聚焦設(shè)置相關(guān)聯(lián)。如上所述,光場(chǎng)照相機(jī)1具有檢測(cè)當(dāng)前設(shè)置(諸如變焦/聚焦)的裝置,并且當(dāng)前設(shè)置被存儲(chǔ)在存儲(chǔ)器中。如果確定在存儲(chǔ)裝置(加權(quán)矩陣存儲(chǔ)裝置87)中找到與當(dāng)前變焦/聚焦設(shè)置相關(guān)聯(lián)的一組加權(quán)值,則過(guò)程進(jìn)行到步驟114(s114)。如果沒(méi)有找到與當(dāng)前變焦/聚焦設(shè)置相關(guān)聯(lián)的一組加權(quán)值,則過(guò)程進(jìn)行到步驟113(s113)。在變體實(shí)施例中,附加透鏡21可以被安裝在光場(chǎng)照相機(jī)1中。在這種情況下,一組加權(quán)值不必與相應(yīng)的變焦/聚焦設(shè)置相關(guān)聯(lián),因?yàn)閭鞲衅麝嚵?3上的一組微透鏡圖像的位置是固定的。
在步驟113(s113)中,處理器51提示用戶執(zhí)行圖7或圖8中描述的計(jì)算一組加權(quán)值的步驟,或者提示用戶登記與當(dāng)前變焦/聚焦設(shè)置相關(guān)聯(lián)的一組加權(quán)值??梢詮耐獠吭?諸如互聯(lián)網(wǎng)或制造商的站點(diǎn))獲得一組加權(quán)值。該提示可以以本領(lǐng)域中已知的任何方式執(zhí)行,諸如通過(guò)經(jīng)由mmi(人機(jī)界面)85示出消息或輸出音頻消息。
在步驟114(s114)中,處理器51將來(lái)自每一個(gè)感光點(diǎn)的亮度值乘以對(duì)應(yīng)的加權(quán)值。所計(jì)算的加權(quán)值w(u,v)可以用于乘以位置(u,v)處的感光點(diǎn)的亮度值。通過(guò)將每一個(gè)感光點(diǎn)的亮度值乘以對(duì)應(yīng)的加權(quán)值,由于漸暈效應(yīng)而受影響的每一個(gè)感光點(diǎn)的亮度值增加。最終,將補(bǔ)償由光場(chǎng)照相機(jī)1捕獲的圖像上引起的漸暈效應(yīng)。
【第二實(shí)施例】
以下第二實(shí)施例涉及利用附加硬件結(jié)構(gòu)來(lái)調(diào)整每一個(gè)感光點(diǎn)的靈敏度。
圖11示出了根據(jù)本公開(kāi)第二實(shí)施例的光場(chǎng)照相機(jī)的說(shuō)明性配置。與圖1中描繪的光場(chǎng)照相機(jī)1的不同之處在于包括感光點(diǎn)131a、132a、133a至13pa的圖像傳感器陣列13a的這些靈敏度分別被調(diào)整。其他結(jié)構(gòu)可以與圖1中描繪的光場(chǎng)照相機(jī)1幾乎相同。在第二實(shí)施例中,輸出相對(duì)高的亮度值的中心感光點(diǎn)132a將被設(shè)計(jì)成通過(guò)以下來(lái)捕捉較少的光子:減小中心感光點(diǎn)132a的大小或通過(guò)覆蓋或隱藏感光點(diǎn)的表面來(lái)調(diào)整中心感光點(diǎn)132a的填充因子。在該實(shí)施例中,可能需要安裝附加透鏡21,以便將圖像的中心設(shè)置為始終位于相同位置,而與因?yàn)槊恳粋€(gè)感光點(diǎn)131a、132a、133a至13pa的硬件結(jié)構(gòu)改變而導(dǎo)致的變焦/聚焦設(shè)置無(wú)關(guān)。然而,只要光場(chǎng)照相機(jī)1a是定焦照相機(jī),可以不需要安裝附加透鏡21(換句話說(shuō),在光場(chǎng)照相機(jī)1a不具有變焦/聚焦設(shè)置的功能的情況下,可以不需要附加透鏡21)。
與涉及通過(guò)將每一個(gè)感光點(diǎn)131、132、133至13p的亮度值乘以對(duì)應(yīng)的加權(quán)值來(lái)計(jì)算地改變亮度值的第一實(shí)施例相反,第二實(shí)施例涉及通過(guò)改變每一個(gè)感光點(diǎn)131a、132a、133a至13pa的硬件結(jié)構(gòu)來(lái)調(diào)整每一個(gè)感光點(diǎn)131a、132a、133a至13pa的靈敏度。換句話說(shuō),第二實(shí)施例涉及拉平感光點(diǎn)131a、132a、133a至13pa的亮度值,其旨在使所有感光點(diǎn)131a、132a、133a至13pa針對(duì)所捕獲的朗伯對(duì)象圖像輸出相對(duì)相同的亮度值。這可以通過(guò)降低中心感光點(diǎn)132a的靈敏度或者增加外圍感光點(diǎn)131a和133a的靈敏度來(lái)實(shí)現(xiàn),中心感光點(diǎn)132a與外圍感光點(diǎn)131a和133a相比捕捉更多的光子。
如上所述,本公開(kāi)的第二實(shí)現(xiàn)涉及設(shè)計(jì)(調(diào)整)圖像傳感器陣列13a中包括的每一個(gè)感光點(diǎn)131a、132a、133a至13pa的靈敏度??紤]相應(yīng)的加權(quán)值來(lái)調(diào)整每一個(gè)感光點(diǎn)131a、132a、133a至13pa的靈敏度。在每一個(gè)感光點(diǎn)131a、132a、133a至13pa上要捕捉的光子的數(shù)量可以與每一個(gè)感光點(diǎn)131a、132a、133a至13pa的大小或填充因子成比例。在制造或預(yù)制造階段中,執(zhí)行將在本描述中描述的一組加權(quán)值的計(jì)算,然后可以根據(jù)針對(duì)感光點(diǎn)131、132、133至13p和131a、132a、133a至13pa所計(jì)算的一組加權(quán)值來(lái)設(shè)計(jì)(調(diào)整)每一個(gè)感光點(diǎn)131a、132a、133a至13pa的大小或填充因子。
圖12示出了根據(jù)本公開(kāi)第二實(shí)施例的用于計(jì)算感光點(diǎn)的一組加權(quán)值(加權(quán)矩陣)的說(shuō)明性流程圖。重要的是知道使用圖1中描繪的其他光場(chǎng)照相機(jī)1執(zhí)行一組加權(quán)值的計(jì)算。光場(chǎng)照相機(jī)1具有與圖11中描繪的光場(chǎng)照相機(jī)1a相同的配置,除了圖像傳感器陣列13之外。光場(chǎng)照相機(jī)1的圖像傳感器陣列13包括沒(méi)有調(diào)整靈敏度的感光點(diǎn)131、132、133至13p,換句話說(shuō),光場(chǎng)照相機(jī)1的感光點(diǎn)131、132、133至13p的靈敏度是均勻的。另外,重要的是知道光場(chǎng)照相機(jī)1具有與光場(chǎng)照相機(jī)1a相同的感光點(diǎn)布置(感光點(diǎn)的數(shù)量和對(duì)準(zhǔn))。在下面的解釋中,(u,v)指感光點(diǎn)在傳感器陣列平面13或13a上的坐標(biāo)。
在步驟121(s121)中,光場(chǎng)照相機(jī)1捕獲沿所有方向上均等地輻射光的朗伯對(duì)象,并將信號(hào)發(fā)送到處理器51。換句話說(shuō),在步驟121(s121),當(dāng)由光場(chǎng)照相機(jī)1捕獲朗伯對(duì)象圖像時(shí),處理器51獲得光場(chǎng)照相機(jī)1的每一個(gè)感光點(diǎn)131、132、133至13p的亮度值。下表1示出了與位于小透鏡陣列11中心處的一個(gè)微透鏡相對(duì)應(yīng)的總共121個(gè)11×11的感光點(diǎn)131、132、133至13p中的亮度值的示例。
表1
在該示例中,最大亮度值是220。
在步驟122(s122)中,可以對(duì)每一個(gè)感光點(diǎn)131、132、133至13p的亮度值進(jìn)行歸一化,使得最大值被變換為感光點(diǎn)可以提供的最大量值。
例如,對(duì)于8位傳感器為255;
l'(u,v)=255*l(u,v)/max_l(u,v)
下表2示出了與一個(gè)微透鏡相對(duì)應(yīng)的總共121個(gè)11×11的感光點(diǎn)131、132、133至13p中的歸一化亮度值的示例。
表2
突出顯示的值是亮度值高于最小閾值(min_threshold)的感光點(diǎn)。在該示例性實(shí)施例中,將25設(shè)置為最小閾值(min_threshold=25)。那些突出顯示的感光點(diǎn)需要改變那些大小或填充因子以減少要捕獲的光子,以便拉平由每一個(gè)感光點(diǎn)131a、132a、133a至13pa捕獲的光的強(qiáng)度。
在步驟123(s123)中,處理器51確定第i個(gè)感光點(diǎn)131、132、133至13p的歸一化亮度值是否大于或等于最小閾值(min_threshold)。最小閾值(min_threshold)是任意預(yù)設(shè)值,并被存儲(chǔ)在存儲(chǔ)器中。
在步驟124(s124)中,如果第i個(gè)感光點(diǎn)131、132、133至13p的歸一化亮度值大于或等于最小閾值(min_threshold),則處理器51通過(guò)以下來(lái)計(jì)算第i個(gè)感光點(diǎn)131、132、133至13p的加權(quán)值:將最小閾值(min_threshold)除以該第i個(gè)感光點(diǎn)131、132、133至13p的歸一化亮度值。
對(duì)于加權(quán)值的計(jì)算,可以使用以下公式;
備選地,可以通過(guò)以下公式計(jì)算加權(quán)值。
w(u,v)=min_threshold/max(1'(u,v),min_threshold)
在步驟125(s125)中,處理器51將所計(jì)算的用于第i個(gè)感光點(diǎn)131、132、133至13p的加權(quán)值與感光點(diǎn)131、132、133至13p在傳感器陣列平面13上的坐標(biāo)(u,v)相關(guān)聯(lián)地登記到存儲(chǔ)器。例如,處理器51登記與感光點(diǎn)在傳感器陣列平面13上的位置(u,v)相關(guān)聯(lián)的加權(quán)值w,使得其計(jì)算的加權(quán)值要被施加至光場(chǎng)照相機(jī)1a中的傳感器陣列平面13a上的相同坐標(biāo)w的感光點(diǎn)131a、132a、133a至13pa。
在步驟127(s127)中,如果確定感光點(diǎn)131、132、133至13p的歸一化亮度值不大于或等于最小閾值(min_threshold),則處理器51將加權(quán)值設(shè)置為“1”。
在步驟126(s126)中,處理器51確定該第i個(gè)感光點(diǎn)131、132、133至13p是否是最后一個(gè)。處理器51可以確定這是否是最后一個(gè)感光點(diǎn)131、132、133至13p的示例性方法之一是將處理感光點(diǎn)號(hào)i與最大感光點(diǎn)號(hào)imax進(jìn)行比較,該最大感光點(diǎn)號(hào)imax被預(yù)先登記到存儲(chǔ)器。例如,在設(shè)備5中包括總共10000個(gè)100×100感光點(diǎn)的情況下,當(dāng)計(jì)算用于i=9999(在“i”是從0到9999的整數(shù)的情況下)的感光點(diǎn)的加權(quán)值時(shí),處理器51將終止循環(huán)。在這種情況下,如果它不是最后一個(gè)感光點(diǎn),則處理器51遞增感光點(diǎn)號(hào)i并返回到步驟123。如果它是最后一個(gè)感光點(diǎn)imax,則由于計(jì)算了一組加權(quán)值(加權(quán)矩陣),所以終止處理。
在該流程圖中,為了使讀者能夠容易地理解本公開(kāi),要處理的感光點(diǎn)是以第i個(gè)的形式表示的。然而,本領(lǐng)域技術(shù)人員可以理解,可以使用不同形式的計(jì)算。例如,要處理的感光點(diǎn)可以采取(u,v)的形式,然后當(dāng)完成在u=umax和v=vmax(例如,對(duì)于100×100的傳感器,umax=99和vmax=99(在“u”和“v”是從0至99的整數(shù)的情況下))處的感光點(diǎn)的計(jì)算時(shí)終止處理好。
下表示出了與一個(gè)微透鏡相對(duì)應(yīng)的每一個(gè)感光點(diǎn)131、132、133至13p所計(jì)算的一組加權(quán)值。
突出顯示的是那些靈敏度根據(jù)加權(quán)值中的每一個(gè)來(lái)調(diào)整的感光點(diǎn),例如用以下的公式:
surface(u,v)=maximum_surface*w(u,v)
最大表面maximum_surface指擊中最小閾值min_threshold亮度值的感光點(diǎn)的大小或填充因子。在上述示例中,利用擊中亮度值25的周邊感光點(diǎn)的大小或填充因子來(lái)限定maximum_surface。
例如,在最后一個(gè)表中亮度值擊中255的中心感光點(diǎn),大小或填充因子可以根據(jù)以下公式來(lái)調(diào)整:
size(or填充因子)(u,v)=maximum_surface(或填充因子)*0.098
可以通過(guò)以下來(lái)實(shí)現(xiàn)對(duì)相應(yīng)感光點(diǎn)131a、132a、133a至13pa的靈敏度的調(diào)整:通過(guò)放置部分地隱藏每一個(gè)感光點(diǎn)131a、132a、133a至13pa的接收表面的高速緩存,或者在每一個(gè)感光點(diǎn)131a、132a、133a至13pa前面制作掩模以減小每一個(gè)感光點(diǎn)131a、132a、133a至13pa的填充因子。
改變感光點(diǎn)131a、132a、133a至13pa的靈敏度的備選方式是設(shè)計(jì)灰色濾光器圖案并將其(例如通過(guò)蒸發(fā)技術(shù))印刷到感光點(diǎn)131a、132a、133a至13pa上,使得其在捕獲白色圖像時(shí)衰減觀測(cè)到的高值。
通過(guò)減小中心感光點(diǎn)的大小或填充因子,減小了感光點(diǎn)的靈敏度。這導(dǎo)致具有更多噪聲的較暗圖像。為了降低噪聲,可以增加照相機(jī)曝光時(shí)間。增加曝光時(shí)間可以提供更亮并且沒(méi)有漸暈的圖像。也就是說(shuō),可以考慮捕獲的圖像的亮度來(lái)調(diào)整曝光時(shí)間。
在第二實(shí)施例的備選實(shí)現(xiàn)中,受漸暈效應(yīng)影響的周邊感光點(diǎn)131a、132a、133a至13pa可被設(shè)計(jì)成基于由(在圖7和圖8中描述的)步驟計(jì)算的一組加權(quán)值來(lái)捕捉更多的光子??梢钥紤]所計(jì)算的加權(quán)值來(lái)增加周邊感光點(diǎn)的填充因子或大小。
w′(u,v)=max_lw′(u,v)=max_l’/max(lw′(u,v)=max_l’/max(l’(u,v),min_threshold)
max_l′指歸一化的最大亮度值,其被變換為感光點(diǎn)可以提供的最大量值。l’(u,v)指位于坐標(biāo)(u,v)處的感光點(diǎn)的歸一化亮度值。在使用8位傳感器的情況下,公式可以是;
w’(u,v)=255/max(lw’(u,v)=255/max(l’(u,v),min_threshold)
surface(u,v)=minimum_surface*w'(u,v)
最小表面minimum_surface指期望制造的最小感光點(diǎn)的大小或填充因子,并且其與擊中最大亮度值的感光點(diǎn)的大小相對(duì)應(yīng)。在上述示例中,minimum_surface用在前述表中擊中亮度值255的中心感光點(diǎn)的大小或填充因子來(lái)限定。
在另一備選實(shí)現(xiàn)中,可以考慮由“smax”表示的最大有意義填充因子來(lái)增加周邊感光點(diǎn)的填充因子或大小(值“smax”由傳感器的制造商設(shè)置,例如smax=0.9),并且最小值由“smin”表示(值“smin”由傳感器的制造商設(shè)置,例如smin=0.2)。兩個(gè)相鄰的感光點(diǎn)的中心之間的距離由“感光大小(photosize)”表示(在傳感器陣列13上,每?jī)蓚€(gè)相鄰感光點(diǎn)之間的距離假定為恒定或均一的,以保持公式工作)。通過(guò)“min_threshold”表示貓眼的閾值,并且將歸一化的亮度值[00101]表示為l'(u,v),傳感器陣列平面13上的坐標(biāo)(u,v)處的感光點(diǎn)的填充因子或大小可以通過(guò)以下等式計(jì)算:
surface(u,v)=(a(l'(u,v)-min_threshold)+smax)*photosize
a=(smin-smax)/(255-min_threshold)
例如,(u,v)處的感光點(diǎn)的原始填充因子或大小是光子大小photosize的大小的0.5。假設(shè)smin=0.3和smax=0.9,則感光點(diǎn)的最小的填充因子或大小將是photosize的0.3,并且最大值為photosize的0.9。對(duì)于min_threshold=20,具有l(wèi)'(u,v)=min_threshold的感光點(diǎn),感光點(diǎn)的填充因子或大小需要為photosize的0.9,因此大于感光點(diǎn)的原始填充因子或大小,并且具有l(wèi)'(u,v)=255的感光點(diǎn)需要為photosize的0.3,其小于感光點(diǎn)的原始填充因子或大小。
圖13示出了根據(jù)本公開(kāi)的第二實(shí)施例的用于針對(duì)感光點(diǎn)計(jì)算感光點(diǎn)的一組填充因子或大小f的說(shuō)明性流程圖。
在步驟131(s131)中,光場(chǎng)照相機(jī)1捕獲沿所有方向上均等地輻射光的朗伯對(duì)象,并將信號(hào)發(fā)送到處理器51。換句話說(shuō),在步驟131(s131)中,當(dāng)朗伯對(duì)象圖像由光場(chǎng)照相機(jī)1捕獲時(shí),處理器51獲得光場(chǎng)照相機(jī)1的感光點(diǎn)131、132、133至13p中的每一個(gè)的亮度值。
在步驟132(s132)中,可以對(duì)每一個(gè)感光點(diǎn)131、132、133至13p的亮度值進(jìn)行歸一化,使得最大值被變換為感光點(diǎn)可以提供的最大量值(對(duì)于8位傳感器是255)。
l'(u,v)=255*l(u,v)/max_l(u,v)
在步驟133(s133)中,處理器51利用以下的公式計(jì)算第i個(gè)感光點(diǎn)131、132、133至13p的填充因子f。
surface(u,v)=(a(l’(u,v)-min_threshold)+smax)*photosize
a=(smin-smax)/(255-min_threshold)
在步驟134(s134)中,處理器51將用于第i個(gè)感光點(diǎn)131、132、133至13p的計(jì)算的填充因子f與傳感器陣列平面13上的感光點(diǎn)131、132、133至13p的位置(u,v)相關(guān)聯(lián)地登記到存儲(chǔ)器。例如,處理器51登記與感光點(diǎn)在傳感器陣列平面13上的位置(u,v)相關(guān)聯(lián)的填充因子f,使得其計(jì)算的填充因子要被施加至光場(chǎng)照相機(jī)1a中的傳感器陣列平面13a上的相同位置(u,v)的感光點(diǎn)131a、132a、133a至13pa。
在步驟135(s135)中,處理器51確定第i個(gè)感光點(diǎn)131、132、133至13p是否是最后一個(gè)。處理器51可以確定這是否是最后一個(gè)感光點(diǎn)131、132、133至13p的示例性方法之一是將處理感光點(diǎn)號(hào)i與最大感光點(diǎn)號(hào)imax進(jìn)行比較,該最大感光點(diǎn)號(hào)imax被預(yù)先登記到存儲(chǔ)器。例如,在設(shè)備5中包括總共10000個(gè)100×100感光點(diǎn)的情況下,當(dāng)計(jì)算用于i=9999(在“i”是從0到9999的整數(shù)的情況下)的感光點(diǎn)的加權(quán)值時(shí),處理器51將終止循環(huán)。在這種情況下,如果它不是最后一個(gè)感光點(diǎn),則處理器51遞增感光點(diǎn)號(hào)i并返回到步驟133。如果它是最后一個(gè)感光點(diǎn)imax,則由于計(jì)算了一組加權(quán)值(加權(quán)矩陣),所以終止處理。
在該流程圖中,為了使讀者能夠容易地理解本公開(kāi),要處理的感光點(diǎn)是以第i個(gè)的形式表示的。然而,本領(lǐng)域技術(shù)人員可以理解,可以使用不同形式的計(jì)算。例如,要處理的感光點(diǎn)可以采取(u,v)的形式,然后當(dāng)完成在u=umax和v=vmax(例如,對(duì)于100×100的傳感器,umax=99和vmax=99(在“u”和“v”是從0至99的整數(shù)的情況下))處的感光點(diǎn)的計(jì)算時(shí)終止處理。
另一種變型實(shí)現(xiàn)(增加周邊感光點(diǎn)的填充因子或大小)不需要調(diào)整曝光時(shí)間,因?yàn)榕c減小感光點(diǎn)的填充因子或大小的實(shí)施例相比,要捕獲的圖像總體上是亮的,具有較少的噪聲。
圖14示出了根據(jù)本公開(kāi)實(shí)施例的用于制造包括多個(gè)感光點(diǎn)的圖像傳感器陣列的說(shuō)明性流程圖。
使用光場(chǎng)照相機(jī)1,捕獲沿所有方向上均等地輻射光的均勻照明的朗伯對(duì)象,并將信號(hào)發(fā)送到處理器51。換句話說(shuō),在步驟141(s141)處,該光場(chǎng)照相機(jī)1的處理器51(或者與光場(chǎng)照相機(jī)1分開(kāi)配置的設(shè)備5的處理器51)獲得當(dāng)朗伯對(duì)象圖像被另一個(gè)光場(chǎng)照相機(jī)1捕獲時(shí)每一個(gè)感光點(diǎn)131、132、133至13p的亮度值。
在步驟142中,計(jì)算用于基于所捕獲的朗伯對(duì)象圖像來(lái)校正將在圖像上引起的漸暈效應(yīng)的一組加權(quán)值(加權(quán)矩陣)(或新填充因子)。
在步驟143(s143)中,制造圖像傳感器陣列13a,該圖像傳感器陣列13a包括具有根據(jù)所計(jì)算的一組加權(quán)值(或新填充因子)調(diào)整的相應(yīng)靈敏度的感光點(diǎn)131a、132a、133a至13pa,所計(jì)算的一組加權(quán)值(或新填充因子)與其它光場(chǎng)照相機(jī)1的感光點(diǎn)131、132、133至13p的每一個(gè)坐標(biāo)相關(guān)聯(lián)。如上所述,與感光點(diǎn)131、132、133至13p在光場(chǎng)照相機(jī)1的傳感器陣列平面13上的坐標(biāo)(u,v)相關(guān)聯(lián)地登記加權(quán)值w(或新填充因子f)。除了不調(diào)整光場(chǎng)照相機(jī)1的感光點(diǎn)131、132、133至13p的靈敏度(換句話說(shuō),光場(chǎng)照相機(jī)的感光點(diǎn)131、132、133至13p的靈敏度是均一的)之外,光場(chǎng)照相機(jī)1包括與光場(chǎng)照相機(jī)1a相同的配置。因此,另一個(gè)光場(chǎng)照相機(jī)1的感光點(diǎn)131、132、133至13p的數(shù)量和布置與光場(chǎng)照相機(jī)1a的感光點(diǎn)131a、132a、133a至13pa相同。在制造階段中,根據(jù)與傳感器陣列平面13上的相應(yīng)坐標(biāo)相關(guān)聯(lián)的相應(yīng)加權(quán)值(或新填充因子)來(lái)調(diào)整相應(yīng)感光點(diǎn)131a、132a、133a至13pa的靈敏度。例如,將根據(jù)與傳感器陣列平面13上的坐標(biāo)(0,5)相關(guān)聯(lián)的加權(quán)值(或新填充因子f)調(diào)整傳感器陣列平面13a上的坐標(biāo)(0,5)處的感光點(diǎn)131a、132a、133a至13pa的靈敏度。
應(yīng)當(dāng)理解,用于調(diào)整感光點(diǎn)131a、132a、133a至13pa的靈敏度的所有其他各種實(shí)現(xiàn)可以用于本發(fā)明中。
上面公開(kāi)的表或公式或流程圖僅僅是用于介紹各種實(shí)施例的原理的示例。應(yīng)當(dāng)理解,公式、閾值、亮度值的計(jì)算或加權(quán)值的計(jì)算不限于此,并且在本發(fā)明的范圍內(nèi)可以做出許多修改和添加。
根據(jù)本公開(kāi)實(shí)施例,用戶可以從外部源下載一組加權(quán)值(一組加權(quán)矩陣),或者通過(guò)本描述中描述的校準(zhǔn)步驟獲取一組加權(quán)值,并且將所獲取的一組加權(quán)值登記到加權(quán)矩陣存儲(chǔ)裝置87中。加權(quán)矩陣存儲(chǔ)裝置87存儲(chǔ)均與相應(yīng)的變焦/聚焦設(shè)置相關(guān)聯(lián)的一組加權(quán)值。系統(tǒng)可以從加權(quán)矩陣存儲(chǔ)裝置87找到與當(dāng)前變焦/聚焦設(shè)置匹配的一組加權(quán)值,用于對(duì)由光場(chǎng)照相機(jī)1捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正。因此,改變每一個(gè)感光點(diǎn)131、132、133至13p的亮度值將有效地解決上述部分中所述的技術(shù)問(wèn)題。
根據(jù)本公開(kāi)的另一實(shí)施例,根據(jù)使用其他光場(chǎng)照相機(jī)1的計(jì)算的一組加權(quán)值來(lái)調(diào)整光場(chǎng)照相機(jī)1a的每一個(gè)感光點(diǎn)131a、132a、133a至13pa的靈敏度。光場(chǎng)照相機(jī)1a還可以包括附加透鏡21,其有助于針對(duì)光場(chǎng)照相機(jī)1的每組聚焦距離/變焦參數(shù)來(lái)估計(jì)一組微圖像中心。因此,改變每一個(gè)感光點(diǎn)131a、132a、133a至13pa的靈敏度將有效地解決上述部分中所述的技術(shù)問(wèn)題。
自然,本公開(kāi)不限于上述實(shí)施例特別地,本公開(kāi)不限于光場(chǎng)照相機(jī)1或1a,而是還擴(kuò)展到控制和/或校準(zhǔn)光場(chǎng)照相機(jī)的方法以及實(shí)現(xiàn)控制/校準(zhǔn)方法的硬件電路。
可通過(guò)由處理器51執(zhí)行的指令實(shí)現(xiàn)本文所述的對(duì)由光場(chǎng)照相機(jī)1或1a捕獲的圖像上引起的漸暈效應(yīng)進(jìn)行校正的方法,而且這些指令(和/或通過(guò)實(shí)現(xiàn)產(chǎn)生的數(shù)據(jù)值)可存儲(chǔ)在處理器可讀介質(zhì)上,諸如例如集成電路、軟件載體或其它存儲(chǔ)設(shè)備,諸如例如硬盤(pán)、壓縮盤(pán)(“cd”)、光盤(pán)(諸如例如dvd,其通常稱為數(shù)字多功能盤(pán)或數(shù)字視頻盤(pán))、隨機(jī)存取存儲(chǔ)器(“ram”)、或只讀存儲(chǔ)器(“rom”)。指令可以采取在處理器可讀介質(zhì)上有形實(shí)施的應(yīng)用程序的形式。指令可位于例如硬件、固件、軟件或其組合中??梢栽诶绮僮飨到y(tǒng)、分開(kāi)的應(yīng)用或兩者組合中發(fā)現(xiàn)指令。因此,處理器51可以被特征化為例如配置用于執(zhí)行處理的設(shè)備和包括具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如,存儲(chǔ)設(shè)備)的設(shè)備。此外,處理器可讀介質(zhì)可存儲(chǔ)實(shí)現(xiàn)所產(chǎn)生的數(shù)據(jù)值,作為對(duì)指令的添加或替代。
本領(lǐng)域技術(shù)人員應(yīng)清楚,實(shí)現(xiàn)可以產(chǎn)生被編排為攜帶例如可以被存儲(chǔ)或發(fā)送的信息的多種信號(hào)。信息可以包括例如執(zhí)行方法的指令,或通過(guò)描述的實(shí)現(xiàn)之一所產(chǎn)生的數(shù)據(jù)。例如,信號(hào)可以被編排為將用于寫(xiě)入或讀取所述實(shí)施例的語(yǔ)義的規(guī)則攜帶為數(shù)據(jù),或?qū)⒂伤鰧?shí)施例寫(xiě)入的真實(shí)語(yǔ)義值攜帶為數(shù)據(jù)。這種信號(hào)可被編排為例如電磁波(例如使用頻譜的射頻部分)或基帶信號(hào)。格式化可包括例如對(duì)數(shù)據(jù)流進(jìn)行編碼和調(diào)制具有已編碼數(shù)據(jù)流的載波。信號(hào)攜帶的信息可以是例如模擬或數(shù)字信息??梢酝ㄟ^(guò)公知的多種不同有線或無(wú)線鏈路來(lái)發(fā)送該信號(hào)。信號(hào)可存儲(chǔ)在處理器可讀介質(zhì)上。
已經(jīng)描述了多個(gè)實(shí)現(xiàn)。但是應(yīng)當(dāng)理解,可以做出各種修改。例如,可以合并、增補(bǔ)、修改或去除不同實(shí)現(xiàn)的元素,以便產(chǎn)生其它實(shí)現(xiàn)。附加地,本領(lǐng)域技術(shù)人員將理解的是,其他結(jié)構(gòu)或過(guò)程可以替代那些公開(kāi)的內(nèi)容,并且所得到的實(shí)現(xiàn)將用至少基本相同的方式來(lái)執(zhí)行至少基本相同的功能,以實(shí)現(xiàn)與所公開(kāi)的實(shí)現(xiàn)基本相同的結(jié)果。因此,本申請(qǐng)還涵蓋這些和其它實(shí)現(xiàn)。