本發(fā)明在成像技術(shù)的領(lǐng)域中，并且涉及用于確定/重建物體的光譜信息的光譜成像的方法和系統(tǒng)。

參考文獻(xiàn)

被認(rèn)為與當(dāng)前公開的主題相關(guān)的背景的參考文獻(xiàn)在下面列出：

1.y.monno、m.tanaka和m.okutomi，“proceedingsofis&t/spieelectronicimaging(ei2012)”，digitalphotographyviii，第8299卷，第82990o-1-7頁，2012年1月)

2.y.murakami、m.yamaguchi和n.ohyama，“hybrid-resolutionmultispectralimagingusingcolorfilterarray”，opt.express20，7173-7183頁，2012

3.a.stern，“compressedimagingsystemwithlinearsensors”，opt.lett.32，3077-3079頁，2007

4.a.wagadarikar、r.john、r.willett和d.brady，“singledisperserdesignforcodedaperturesnapshotspectralimaging”，appl.opt.47，b44-b51頁，2008

5.c.li、t.sun、k.f.kelly和y.zhang，“acompressivesensingandunmixingschemeforhyperspectraldataprocessing”，ieee_j_ip21(3)，第1200-1210頁，2012

6.m.a.golub、m.nathan、a.averbuch、e.lavi、v.a.zheludev和a.schclar，“spectralmultiplexingmethodfordigitalsnapshotspectralimaging”，appl.opt.48，1520-1526頁，2009

7.r.ng、m.levoy、m.brédif、g.duval、m.horowitz和p.hanrahan，“l(fā)ightfieldphotograhywithahand-heldplenopticcamera”，computersciencetechnicalreportcstr2，no.11，2005

8.j.rweber、d.j.cuccia、w.r.johnson、g.h.bearman、a.j.durkin、m.hsu等人，“multispectralimagingoftissueabsorptionandscatteringusingspatialfrequencydomainimagingandacomputed-tomographyimagingspectrometer”，journalofbiomedicaloptics，16(1)，011015–0110011015頁，2011

9.n.r.pal和s.k.pal，“areviewonimagesegmentationtechniques”，patternrecognition，26(9)，1277-1294頁，1993

10.d.h.foster、s.m.c.nascimento和k.amano，“informationlimitsonneuralidentificationofcoloredsurfacesinnaturalscenes”，vis.neurosci.21(3)，331-336頁，2004

對(duì)本文中上述參考文獻(xiàn)的承認(rèn)并不被推斷為意指這些以任何方式與當(dāng)前公開的主題的專利性相關(guān)。

背景

光譜成像旨在提供關(guān)于在圖像平面中的每個(gè)位置處的物體的至少一些光譜信息。已經(jīng)開發(fā)了各種光譜成像技術(shù)，包括多光譜成像、高光譜成像、全光譜成像、成像光譜學(xué)或化學(xué)成像。光譜圖像通常被表示為圖像立方體(imagecube)，一種數(shù)據(jù)立方體(datacube)。

多光譜(ms)和高光譜(hs)立方體可以以許多方式獲得。一些系統(tǒng)(利用擺掃式、推掃式和可調(diào)諧濾波器以用于實(shí)現(xiàn)hs成像器)依賴于3dhs立方體的1d或2d子集的多次獲取，然后是簡(jiǎn)單的重建。一些其他系統(tǒng)包括使分辨率與光譜信息(類似于bayercfa)進(jìn)行權(quán)衡并且需要空間光譜重建算法[1]、[2]的多色傳感器。

近來，已經(jīng)開發(fā)出幾種hs快照獲取技術(shù)。其中一些基于壓縮感測(cè)，其中hs圖像被假定為稀疏的，并且在成像系統(tǒng)內(nèi)使用附加的光學(xué)元件來壓縮數(shù)據(jù)[3]-[6]。然而，這些技術(shù)需要被成像的場(chǎng)景的現(xiàn)有知識(shí)，并且通常還遭受低光效率，并且實(shí)現(xiàn)這種技術(shù)的系統(tǒng)相當(dāng)復(fù)雜。

至于積分場(chǎng)光譜系統(tǒng)，這些系統(tǒng)的共同基礎(chǔ)原理在光譜信息與空間分辨率權(quán)衡的意義上與光場(chǎng)攝像機(jī)[7]相似。因此，檢測(cè)到的光中的多個(gè)光譜帶等于分辨率退化率。積分場(chǎng)高光譜成像技術(shù)(諸如，小透鏡陣列、光纖陣列、圖像切片機(jī)和微切片機(jī))都展示這種行為。另一種已知的解決方案涉及使用根據(jù)光柵衍射級(jí)使入射光發(fā)散以在傳感器上形成多個(gè)多光譜子圖像的2d光柵；這隨后是重建算法[8]。這種方法允許快速的高光譜立方體獲取，但是因而得到的圖像遭受低空間分辨率；所需的設(shè)置也不能集成在普通攝像機(jī)中。

概述

在本領(lǐng)域中需要用于光譜成像的新穎技術(shù)，其提供用于重建被成像的場(chǎng)景或物體的光譜的技術(shù)上簡(jiǎn)單的解決方案，使得能夠根據(jù)它們的光譜區(qū)分開不同的物體或特征。

本發(fā)明通過提供用于確定物體的光譜的新穎方法來滿足上述需要。該方法基于在創(chuàng)建輸入光場(chǎng)的光學(xué)圖像的同時(shí)對(duì)該輸入光場(chǎng)進(jìn)行編碼。更具體地，輸入光在朝向由檢測(cè)器單元的像素陣列限定的成像平面?zhèn)鞑サ耐瑫r(shí)通過光學(xué)編碼單元。光學(xué)單元的特征在于某個(gè)透射函數(shù)(transmittancefunction)(可能以預(yù)定方式可變)，且因此檢測(cè)到的光強(qiáng)度是圖像的光譜數(shù)據(jù)和光學(xué)單元的透射函數(shù)的函數(shù)。這使得能夠確定被成像物體的光譜數(shù)據(jù)。應(yīng)當(dāng)理解，檢測(cè)器(像素陣列)對(duì)被成像物體的光譜范圍敏感，并且物體可以在像素陣列的至少一個(gè)區(qū)域上成像，以允許物體的相應(yīng)光譜區(qū)域的重建。

光學(xué)單元通常包括光學(xué)編碼器和成像透鏡模塊。透鏡模塊可以包括一個(gè)或多個(gè)透鏡，并且通常被安置成使得像素陣列(檢測(cè)平面)位于透鏡模塊的后焦平面中。

這種光學(xué)單元的透射函數(shù)在這里稱為“有效透射函數(shù)”，因?yàn)樵谝恍?shí)施方式中，透射函數(shù)可以可控地改變。因此，本發(fā)明的光譜成像系統(tǒng)可以在所謂的“靜態(tài)”模式中操作，即有效透射函數(shù)是固定的，使得能夠通過獲取單個(gè)快照(幀)來重建物體的光譜；或在“動(dòng)態(tài)”模式中操作，根據(jù)該模式，以不同的有效透射函數(shù)順序地獲取多個(gè)幀(通常至少兩個(gè)幀)。此外，在“動(dòng)態(tài)”模式系統(tǒng)配置的一些實(shí)施方式中，用于至少兩個(gè)幀中的每一個(gè)的光學(xué)單元的透射函數(shù)在時(shí)變函數(shù)的形式中。

因此，本發(fā)明的成像系統(tǒng)包括光學(xué)單元，其安置在檢測(cè)器(其可以是單色檢測(cè)器或標(biāo)準(zhǔn)顏色(rgb)檢測(cè)器，例如，具有諸如bayer濾波器的濾色器陣列的檢測(cè)器)的像素陣列的前面；以及數(shù)據(jù)處理器，其用于接收和處理檢測(cè)器輸出數(shù)據(jù)(圖像數(shù)據(jù))。本發(fā)明的成像系統(tǒng)或至少其光學(xué)單元可以與檢測(cè)器單元成為整體。例如，由于成像器(攝像機(jī))的檢測(cè)器單元通常包括成像透鏡，因此這種成像透鏡可以形成本發(fā)明的成像系統(tǒng)的透鏡模塊。

相對(duì)于光學(xué)元件的相對(duì)安置，系統(tǒng)配置通?？梢跃哂袃蓚€(gè)不同的實(shí)施方式。在一個(gè)實(shí)施方式中，編碼器單元位于透鏡模塊和像素陣列之間(后者位于透鏡模塊的后焦平面中)，而在另一實(shí)施方式中，編碼器單元位于成像透鏡模塊的前面。在后一種情況下，編碼器單元可以被配置為在透射或反射模式中操作。

在本發(fā)明的一些實(shí)施方式中，光學(xué)單元被配置用于在創(chuàng)建輸入光場(chǎng)的光學(xué)圖像的同時(shí)在該輸入光場(chǎng)上施加角度編碼，從而提供高光譜圖像數(shù)據(jù)(高光譜立方體)的角度復(fù)用。更具體地，在使用包括在像素陣列的前面的角度編碼器和透鏡模塊的光學(xué)單元的情況下，在像素處的檢測(cè)到的光強(qiáng)度是以光學(xué)單元的有效透射函數(shù)復(fù)用的圖像的光譜數(shù)據(jù)，該有效透射函數(shù)是角度和波長(zhǎng)的函數(shù)。角度編碼器可以包括色散單元。

在輸入光場(chǎng)的光路中的色散單元的使用提供圖像數(shù)據(jù)的角度復(fù)用。更具體地，在像素處的檢測(cè)到的光強(qiáng)度是以作為角度和波長(zhǎng)的函數(shù)的光學(xué)單元的有效透射函數(shù)復(fù)用的圖像的光譜數(shù)據(jù)。如上面所指示的，可以改變有效透射函數(shù)。這可以通過執(zhí)行下列操作中的一個(gè)或多個(gè)來實(shí)現(xiàn)：影響色散單元本身(即，可調(diào)諧元件)的色散圖案、改變透鏡模塊的焦距以及影響整個(gè)色散單元(不可調(diào)諧的)相對(duì)于光軸的角位置。

在“靜態(tài)”模式配置中，即有效透射函數(shù)是固定的，并且可以通過獲取單個(gè)快照(幀)來重建物體的光譜(或其至少一部分)。唯一的要求是物體被成像在像素陣列的至少n個(gè)像素上以允許n個(gè)光譜帶的重建。在“動(dòng)態(tài)”模式配置中，如上所述實(shí)現(xiàn)的、利用光學(xué)單元的不同的有效透射函數(shù)順序地獲取兩個(gè)或更多個(gè)幀。在這種情況下，對(duì)于不同幀的圖像數(shù)據(jù)片段可以被處理以用于重建物體的光譜的不同光譜段。

利用角度編碼(圖像數(shù)據(jù)的角度復(fù)用)的本發(fā)明的實(shí)施方式的原理可以通過以下例子來解釋。通常在任何成像系統(tǒng)中，每個(gè)像素測(cè)量在不同的角度處的入射光射線(兩個(gè)邊緣射線之間的光射線束)的總強(qiáng)度。在利用色散單元的本發(fā)明的成像系統(tǒng)中，每個(gè)射線以稍微不同的角度入射到色散單元上，且因此其透射光譜被稍微修改。因此，本發(fā)明的每個(gè)像素測(cè)量多個(gè)加權(quán)修改的光譜的累積強(qiáng)度。由于色散單元的光譜透射率和透鏡模塊的角度特性是已知的，因此唯一的變量是物體的光譜。假設(shè)相鄰像素共享相同的光譜，可以應(yīng)用重建算法來恢復(fù)物體的光譜。

在本發(fā)明的一些其它實(shí)施方式中，光學(xué)編碼器包括可調(diào)諧濾波器，并且檢測(cè)器單元包括卷簾快門型檢測(cè)器陣列。檢測(cè)器陣列可以是例如利用對(duì)于不同檢測(cè)器元件(諸如，bayer濾波器)的濾色器的彩色像素陣列或單色濾光器。可調(diào)諧濾波器被配置且可操作用于在至少兩個(gè)不同的透射輪廓之間以透射輪廓變化的預(yù)定時(shí)間模式改變其有效透射率。優(yōu)選地，使用可調(diào)諧濾色器，即不同的有效透射函數(shù)是波長(zhǎng)的不同函數(shù)(即，光譜透射輪廓)。

卷簾快門型檢測(cè)器陣列通常被配置為選擇性地將像素陣列(線)的一部分暴露于輸入光。更具體地，檢測(cè)器單元具有快門，其具有被配置為覆蓋像素陣列的所有列但一次僅允許預(yù)定數(shù)量的行暴露于輸入光的開口。在預(yù)定曝光時(shí)間之后，檢測(cè)器提供來自線的檢測(cè)器元件(像素)的所收集的數(shù)據(jù)的讀出并將其添加到所生成的圖像數(shù)據(jù)?？烧{(diào)諧濾波器的透射輪廓的變化的時(shí)間模式具有對(duì)應(yīng)于預(yù)定數(shù)量的行(例如，2行、25行等)的曝光時(shí)間的時(shí)標(biāo)。應(yīng)當(dāng)注意，在數(shù)字型檢測(cè)器陣列中，曝光時(shí)間可以由陣列的每個(gè)檢測(cè)器元件的數(shù)據(jù)收集/集成的時(shí)間來定義。更具體地，與檢測(cè)器元件相關(guān)聯(lián)的電容器可以被放電，并且由于相關(guān)聯(lián)的檢測(cè)器單元在積分時(shí)間周期期間的光收集而被允許再充電。在積分/曝光時(shí)間之后，測(cè)量電容器中的電壓/電荷以確定所收集的光強(qiáng)度。為此目的，如本文所使用的術(shù)語曝光時(shí)間應(yīng)當(dāng)被廣泛地解釋為與通過檢測(cè)器元件的光收集的時(shí)間有關(guān)。

該配置通過指示由可調(diào)諧濾波器的兩個(gè)或更多個(gè)不同的透射輪廓編碼的光的不同行提供了圖像數(shù)據(jù)的生成?；跈z測(cè)器元件的預(yù)定(已知)的波長(zhǎng)靈敏度和可調(diào)諧濾波器的預(yù)定(已知)的兩個(gè)或更多個(gè)透射輪廓以及其預(yù)定時(shí)間模式，系統(tǒng)可以生成指示被成像的物體的光譜的數(shù)據(jù)，即在系統(tǒng)的視場(chǎng)中的圖像的光譜信息。通常，為了提供這樣的數(shù)據(jù)，物體的圖像應(yīng)當(dāng)包括圖像數(shù)據(jù)中的至少預(yù)定數(shù)量的行。

因此，根據(jù)本發(fā)明的一個(gè)廣泛方面，提供了用于在重建被成像的物體的光譜數(shù)據(jù)時(shí)使用的成像系統(tǒng)，該成像系統(tǒng)包括：光學(xué)單元；檢測(cè)器，其具有對(duì)預(yù)定光譜敏感的像素陣列；以及數(shù)據(jù)處理器，其用于接收和處理指示由像素陣列檢測(cè)到的光的圖像數(shù)據(jù)，并生成被成像的物體的重建的光譜數(shù)據(jù)；其中光學(xué)單元被配置且可操作用于在由像素陣列限定的成像平面上創(chuàng)建輸入光場(chǎng)的光學(xué)圖像的同時(shí)對(duì)該輸入光場(chǎng)施加預(yù)定編碼，圖像數(shù)據(jù)因此是所述預(yù)定編碼和待確定的物體的光譜的函數(shù)。

光學(xué)單元包括被配置用于施加所述預(yù)定編碼的編碼器組件和成像透鏡模塊。成像平面位于透鏡模塊的后焦平面中。編碼器組件可以安置在透鏡模塊和檢測(cè)平面之間的輸入光的光路中；或者可以安置在透鏡模塊的上游并且在透射模式或反射模式中可操作。檢測(cè)器可以是單色檢測(cè)器或彩色檢測(cè)器，如上所述。對(duì)輸入光場(chǎng)施加的編碼由光學(xué)單元的有效透射率限定。有效透射率是波長(zhǎng)的函數(shù)，并且在一些實(shí)施方式中是光傳播的角度的函數(shù)，并且在一些其它實(shí)施方式中是時(shí)間的函數(shù)。

成像系統(tǒng)還可以包括控制器，其用于修改光學(xué)單元的有效透射率，從而實(shí)現(xiàn)利用光學(xué)單元的不同的有效透射率獲取連續(xù)幀。

如上所述，在一些實(shí)施方式中，編碼器組件被配置用于通過使用色散單元向輸入光施加角度編碼。在這樣的實(shí)施方式中，控制器可以與色散單元和透鏡模塊中的至少一個(gè)相關(guān)聯(lián)，用于執(zhí)行以下操作中的至少一個(gè)：影響可調(diào)諧色散單元的色散圖案、影響色散圖案相對(duì)于光學(xué)單元的光軸的角位置、改變透鏡模塊的焦距以及移動(dòng)透鏡模塊。

同樣如上所述，在一些實(shí)施方式中，光學(xué)單元被配置用于對(duì)輸入光施加時(shí)變光譜編碼，并且檢測(cè)器是卷簾快門型檢測(cè)器。在這樣的實(shí)施方式中，控制器與濾色器相關(guān)聯(lián)，并且同一控制器或另一控制器與檢測(cè)器的快門相關(guān)聯(lián)。

根據(jù)本發(fā)明的另一個(gè)廣泛的方面，提供了用于在重建被成像的物體的光譜數(shù)據(jù)時(shí)使用的成像系統(tǒng)，該成像系統(tǒng)包括：光學(xué)單元；檢測(cè)器的像素陣列；以及數(shù)據(jù)處理器，其用于接收和處理指示由像素陣列檢測(cè)到的光的圖像數(shù)據(jù)，并生成被成像的物體的重建的光譜數(shù)據(jù)；其中光學(xué)單元被配置且可操作用于在由像素陣列限定的檢測(cè)平面上創(chuàng)建輸入光場(chǎng)的光學(xué)圖像的同時(shí)向該輸入光場(chǎng)施加預(yù)定角度碼，該圖像數(shù)據(jù)因此是所述預(yù)定角度碼和待確定的物體的光譜的函數(shù)。

光學(xué)單元被配置用于在像素陣列的至少n個(gè)像素上使物體成像，從而允許被成像的物體的n個(gè)光譜帶的重建。

光學(xué)單元包括色散單元和透鏡模塊，該透鏡模塊包括一個(gè)或多個(gè)透鏡。透鏡模塊(其限定光學(xué)單元的光軸)的給定相對(duì)定向和色散單元的色散圖案定義光學(xué)單元的有效光譜透射率，并因此定義角度編碼的相應(yīng)函數(shù)。色散單元可以是可調(diào)諧的，使得實(shí)現(xiàn)如上所述的其色散圖案的可控變化；或者可以包括具有預(yù)定的固定色散圖案的色散元件。

在一些實(shí)施方式中，處理單元被配置且可操作用于預(yù)處理對(duì)應(yīng)于感興趣區(qū)域的所獲取的幀的圖像數(shù)據(jù)以用于識(shí)別其光譜數(shù)據(jù)將被重建的物體，并利用對(duì)應(yīng)于所述幀獲取的有效光譜透射率以用于處理所識(shí)別的物體的圖像數(shù)據(jù)并重建物體的頻譜。預(yù)處理可以包括一個(gè)或多個(gè)模式識(shí)別算法，包括例如分割算法，其旨在識(shí)別具有實(shí)質(zhì)上均勻的光譜內(nèi)容的物體。

根據(jù)本發(fā)明的另一個(gè)廣泛的方面，提供了用于在重建物體的光譜數(shù)據(jù)時(shí)使用的成像方法，該方法包括：在像素陣列的至少n個(gè)像素上創(chuàng)建光場(chǎng)的光學(xué)圖像的同時(shí)，對(duì)來自感興趣區(qū)域的輸入光場(chǎng)施加角度編碼，以及處理對(duì)應(yīng)于由像素陣列在至少一個(gè)幀獲取期間檢測(cè)到的光的圖像數(shù)據(jù)，并且重建被成像的物體的至少n個(gè)光譜帶。

在成像的同時(shí)施加角度編碼包括使輸入光場(chǎng)與色散圖案相互作用。

根據(jù)本發(fā)明的又一個(gè)廣泛的方面，提供了用于在重建被成像的物體的光譜數(shù)據(jù)時(shí)使用的成像系統(tǒng)，該成像系統(tǒng)包括：光學(xué)單元；卷簾快門型檢測(cè)器，其包括像素陣列；以及數(shù)據(jù)處理器，其用于接收和處理指示由像素陣列檢測(cè)到的光的圖像數(shù)據(jù)，并生成被成像的物體的重建的光譜數(shù)據(jù)；其中光學(xué)單元包括可調(diào)諧濾波器，其位于朝向所述像素陣列傳播的輸入光場(chǎng)的光路中，并且被配置且可操作來以預(yù)定時(shí)間模式改變其在至少兩個(gè)不同的透射輪廓之間的透射率，使得由像素陣列的至少兩行順序地檢測(cè)的光對(duì)應(yīng)于可調(diào)諧濾波器的至少兩個(gè)不同的透射輪廓。

數(shù)據(jù)處理器可以利用關(guān)于所述卷簾快門型檢測(cè)器的操作的數(shù)據(jù)和關(guān)于可調(diào)諧濾波器的所述預(yù)定時(shí)間模式的數(shù)據(jù)來確定所述頻譜數(shù)據(jù)。圖像內(nèi)的物體可以通過圖像分割或任何其他類型的圖像濾波來識(shí)別。重建算法可以利用檢測(cè)到的光的強(qiáng)度和每行光譜差來恢復(fù)物體的光譜數(shù)據(jù)。

附圖簡(jiǎn)述

為了更好地理解本文中公開的主題以及舉例說明它可以如何在實(shí)踐中被執(zhí)行，現(xiàn)在將參考附圖僅作為非限制性的例子來描述實(shí)施方式，其中：

圖1是利用本發(fā)明的成像系統(tǒng)的感測(cè)系統(tǒng)的示意圖；

圖2a和2b分別更具體地示出了本發(fā)明的成像系統(tǒng)的兩個(gè)非限制性例子；

圖2c和2d示意性地顯示了根據(jù)本發(fā)明的一些實(shí)施方式的圖2a和2b的成像系統(tǒng)配置中的光傳播方案；

圖3示出了用于操作成像系統(tǒng)并處理圖像數(shù)據(jù)以重建被成像的物體/場(chǎng)景的光譜數(shù)據(jù)的本發(fā)明的方法的例子的流程圖；

圖4a和4b顯示了由發(fā)明人獲得的模擬結(jié)果，其中圖4a顯示了具有被標(biāo)記的感興趣區(qū)域的剪裁的rgb圖像，以及圖4b顯示了對(duì)于感興趣區(qū)域的每一個(gè)的原始光譜和重建的光譜；

圖5示意性地顯示了根據(jù)本發(fā)明的一些其它實(shí)施方式的成像系統(tǒng)配置中的光傳播方案；以及

圖6和圖7例示在圖5的實(shí)施方式中的本發(fā)明的操作方案。

實(shí)施方式的詳細(xì)描述

參考圖1，通過方框圖示意性地示出了利用本發(fā)明的成像系統(tǒng)100的感測(cè)系統(tǒng)(檢測(cè)系統(tǒng))10。成像系統(tǒng)100包括用于定位在由感測(cè)系統(tǒng)的像素陣列單元104限定的光敏表面(檢測(cè)/圖像平面)前面的光學(xué)單元102和被配置用于與像素陣列單元104的讀出電路進(jìn)行數(shù)據(jù)通信以用于從其中接收?qǐng)D像數(shù)據(jù)的數(shù)據(jù)處理器單元106。數(shù)據(jù)處理單元106可以與像素陣列單元104成為整體，例如，可以是像素陣列單元104的讀出電路的軟件模塊。

光學(xué)單元102被配置且可操作用于在由像素陣列單元104限定的成像平面上創(chuàng)建輸入光場(chǎng)的光學(xué)圖像的同時(shí)對(duì)該輸入光場(chǎng)施加預(yù)定編碼。對(duì)應(yīng)于檢測(cè)到的光信號(hào)的圖像數(shù)據(jù)是預(yù)定編碼和物體的光譜(即，輸入光場(chǎng)的)的函數(shù)。預(yù)定編碼由在相應(yīng)的圖像獲取期(幀)中使用的光學(xué)單元的有效透射函數(shù)(etf)定義。

光學(xué)單元102包括被配置用于施加預(yù)定編碼的編碼器組件和成像透鏡模塊。成像平面位于透鏡模塊的后焦平面中。編碼器組件可以安置在透鏡模塊和檢測(cè)平面之間的輸入光的光路中；或者可以安置在透鏡模塊的上游并且在透射或反射模式中可操作。檢測(cè)器可以是單色或彩色檢測(cè)器，如上所述。對(duì)輸入光場(chǎng)施加的編碼由光學(xué)單元的etf定義。etf是波長(zhǎng)的函數(shù)，并且在一些實(shí)施方式中也是光傳播角度的函數(shù)，并且在一些其它實(shí)施方式中是曝光時(shí)間的函數(shù)。

處理器單元106尤其包括數(shù)據(jù)輸入/輸出實(shí)用程序(utilities)(未示出)、存儲(chǔ)器模塊106a(例如，用于存儲(chǔ)所使用的光學(xué)單元的etf)和分析器模塊106b，該分析器模塊106b適合于使用對(duì)于相應(yīng)的圖像幀的光學(xué)單元的etf數(shù)據(jù)來分析來自像素陣列單元104的圖像數(shù)據(jù)，并確定物體的光譜。這將在下面被進(jìn)一步更詳細(xì)地描述。

在本發(fā)明的一些實(shí)施方式中，處理器單元106還包括與光學(xué)單元102相關(guān)聯(lián)的控制器106c，其用于管理光學(xué)單元102的etf的可控變化。如上所指示的并且將在下面進(jìn)一步更具體地被描述的，光學(xué)單元102的etf可以是可變的。在一些實(shí)施方式中，控制器106c還與用于控制曝光時(shí)間模式(或接收指示曝光時(shí)間模式的數(shù)據(jù))的像素陣列單元的快門(shutter)相關(guān)聯(lián)。

如上所述，在本發(fā)明的一些實(shí)施方式中，光學(xué)單元102被配置且可操作用于對(duì)輸入光場(chǎng)施加角度編碼，同時(shí)在檢測(cè)平面(即，像素陣列單元104的光敏表面)上創(chuàng)建其光學(xué)圖像。由光學(xué)單元102施加的角度編碼由光學(xué)單元的(etf)定義，etf是光傳播角度和波長(zhǎng)的函數(shù)。

通常，在成像系統(tǒng)中，每個(gè)像素在不同的角度(兩條邊緣射線之間的光射線束)處測(cè)量入射在所述像素上的光射線的總強(qiáng)度。包括角度編碼成像組件的光學(xué)單元102提供了輸入光l輸入的每個(gè)射線以稍微不同的角度照射在光學(xué)單元上，并且對(duì)應(yīng)的輸出光l輸出具有略微修改的透射光譜。因此，像素陣列單元104中的每個(gè)像素測(cè)量多個(gè)加權(quán)修改的光譜的累積強(qiáng)度。由于光學(xué)單元102的etf對(duì)于所獲取的給定圖像幀是固定的并且是已知的，因此影響檢測(cè)到的強(qiáng)度的唯一變量是物體的光譜。假設(shè)相鄰像素共享相同的光譜，重建算法可以應(yīng)用于恢復(fù)物體的光譜。

更具體地，在這樣的實(shí)施方式中，光學(xué)單元102包括色散單元/元件(構(gòu)成角度編碼單元)和成像透鏡模塊(構(gòu)成成像單元)。因此，這種光學(xué)單元102的etf由色散單元的光譜透射率和透鏡模塊的角度特性來定義。如下面將進(jìn)一步更具體地描述的，基于角度編碼的光學(xué)單元102的etf可以通過應(yīng)用以下操作中的至少一個(gè)來改變：改變可調(diào)諧色散元件的色散圖案、改變透鏡模塊的焦距以及影響整個(gè)色散元件相對(duì)于光軸的角位置。

參考圖2a和2b，其示意性地顯示了光學(xué)單元102的配置的兩個(gè)具體的但非限制性的例子。為了便于理解，使用相同的參考數(shù)字來識(shí)別在所有例子中共有的組件。如所示，光學(xué)單元102包括編碼器單元(例如，色散單元/元件)102a和透鏡模塊102b(在本例子中為單個(gè)成像透鏡)。由像素陣列單元104限定的檢測(cè)平面dp位于透鏡模塊102b的后焦平面中。

在圖2a的例子中，編碼器單元102a位于透鏡102b和檢測(cè)平面dp之間，而在圖2b的例子中，編碼器單元102a位于透鏡模塊102b的前面。

考慮到基于角度編碼的光學(xué)單元，它可以包括色散單元，其可以包括具有主動(dòng)(可調(diào)諧色散圖案)或被動(dòng)(固定色散圖案)的任何已知的適當(dāng)配置的色散元件。例如，可以使用標(biāo)準(zhǔn)具(etalon)作為色散元件。在本發(fā)明人執(zhí)行的模擬中，使用空氣間隔的法布里-珀羅標(biāo)準(zhǔn)具作為色散元件，其中透射的光譜隨著入射角度而變化。

參考圖2c和2d，其示意性地示出了對(duì)于基于角度編碼的光學(xué)單元在幀獲取期間分別通過圖2a和圖2b的配置的成像系統(tǒng)的光傳播。如圖2c所示，輸入光場(chǎng)l輸入的每個(gè)射線以不同的角度照射色散元件102a，這修改它的透射光譜?？缭讲煌嵌鹊耐干涔庾V變化呈現(xiàn)色散元件的已知特性。因此，每個(gè)像素測(cè)量射線的加權(quán)和，其中的每個(gè)具有不同的光譜。加權(quán)和的系數(shù)是已知的，并且是光學(xué)設(shè)計(jì)的性質(zhì)。通過應(yīng)用用于圖像分割的圖像處理算法，隨后是頻譜分解算法，可以重建高光譜立方體。

更具體地，每像素，總的所獲取的強(qiáng)度可以由下式描述：

其中，i表示總的所獲取的信號(hào)，w0表示具有角度θ的射線的權(quán)重，tθ(λ)表示標(biāo)準(zhǔn)具在角度θ處的光譜透射率，rλ表示物體的反射率光譜?？拷廨S，光斑大致為圓形的，因此角度加權(quán)函數(shù)的形式如下：

其中，θl和θh分別表示下邊緣射線和上邊緣射線，且cra表示主射線角度。

然后，一般化的復(fù)用光譜透射率由下式給出：

將雞(3)代入方程(1)，產(chǎn)生：

可選地，色散元件可以放置在透鏡的前面，如圖2b和2d所示。在成像的物體足夠遠(yuǎn)的情況下，這個(gè)配置被簡(jiǎn)化，因?yàn)榭梢约俣?quán)重函數(shù)是一致的：

如在圖2d的簡(jiǎn)單情況中所示的，單個(gè)物體發(fā)射僅對(duì)三個(gè)像素成像的三個(gè)波長(zhǎng)的光譜。色散元件具有取決于波長(zhǎng)和角度的透射函數(shù)。場(chǎng)景中的每個(gè)點(diǎn)，角度在整個(gè)透鏡中是相當(dāng)一致的(實(shí)際上等于cra)。因此，每像素，假定所有的射線都處于單個(gè)角度中。然后，所測(cè)量的強(qiáng)度(像素值)矩陣由下式給出：

其中，r是物體的光譜(僅僅三個(gè)波長(zhǎng)λ1、λ2和λ3)；t是取決于波長(zhǎng)和角度的透射率矩陣(例如，標(biāo)準(zhǔn)的標(biāo)準(zhǔn)具)；ti,j描述了第j個(gè)波長(zhǎng)的第i個(gè)角度的透射率；i是測(cè)量向量。

因此，r是唯一未知的，且可以通過下式重建：

r＝t^-1·i。(7)

實(shí)際考慮需要更高數(shù)量的像素(即，測(cè)量角度)。如下面將進(jìn)一步描述的，為了進(jìn)一步提高測(cè)量的光譜分辨率，多個(gè)幀的序列可以是使用對(duì)于不同幀的光學(xué)單元的不同etf的圖像?？梢酝ㄟ^移動(dòng)或傾斜色散元件和/或平行于光軸移動(dòng)透鏡(由聚焦機(jī)構(gòu))和/或垂直于光軸移動(dòng)透鏡(通過ois機(jī)構(gòu))來執(zhí)行etf的變化。

以下是在利用作為圖像的輸入光場(chǎng)的角度編碼的本發(fā)明的實(shí)施方式中使用的光譜重建過程的例子。在這個(gè)方面，參考圖1和圖3，其顯示了處理單元106的結(jié)構(gòu)以及其操作的流程圖200。處理單元106操作來對(duì)每幀的圖像數(shù)據(jù)應(yīng)用光譜重建過程。這樣的過程包括兩個(gè)階段：預(yù)處理階段202a和重建階段202b。

預(yù)處理階段202a由分析器106b的分割模塊執(zhí)行，并且被應(yīng)用于從幀獲取產(chǎn)生的圖像數(shù)據(jù)。預(yù)處理包括將圖像分割算法應(yīng)用于旨在區(qū)分開場(chǎng)景內(nèi)的物體的幀數(shù)據(jù)。這種算法的可能實(shí)現(xiàn)可以基于任何已知的模式識(shí)別技術(shù)，如在例如通過引用并入本文的[9]中所述的。待識(shí)別的物體(或段)是“均勻光譜內(nèi)容”的物體(或段)。后者意味著對(duì)于單個(gè)分割的物體，檢測(cè)到的像素強(qiáng)度僅通過增益因子(由于空間照明變化)而不是通過光譜內(nèi)容而不同。因此，識(shí)別這樣的物體/段，并且通過分析器106b的光譜分析器模塊來處理來自相應(yīng)像素的圖像數(shù)據(jù)，以重建物體的光譜內(nèi)容(步驟202b)。光譜分析器模塊操作以應(yīng)用于圖像數(shù)據(jù)分解算法來重建高光譜立方體。

假設(shè)利用在圖2b中描述的設(shè)置，每個(gè)像素與特定的cra有關(guān)，該cra取決于離光軸的距離(由于軸向?qū)ΨQ性)。因此，幾個(gè)像素可以具有相等的半徑，因此具有相等的cra，這對(duì)于噪聲處理是有利的。在這種情況下，方程(4)可以由下式重寫：

其中，m是與物體相關(guān)聯(lián)的像素(和cra)的數(shù)量，n是光譜帶的數(shù)量。在m<n的情況下，應(yīng)用線性最小均方。

如在圖3中進(jìn)一步示出的，在分辨率中的損失是不可接受的情況下，可以采用光學(xué)單元的不同的有效光譜透射率獲得附加的幀?？梢酝ㄟ^平行于光軸移動(dòng)透鏡(通過聚焦機(jī)構(gòu))、垂直于光軸(例如，通過光學(xué)圖像穩(wěn)定器(ois)機(jī)構(gòu))移動(dòng)透鏡或移動(dòng)或傾斜色散元件來改變有效光譜透射率。對(duì)于不同幀的圖像數(shù)據(jù)的處理允許物體光譜的不同光譜段的重建。

參考圖4a和4b，其顯示了由發(fā)明人獲得的模擬結(jié)果。圖4a示出了從高光譜立方體獲得的剪裁的rgb圖像(從[10]獲得的)，其中矩形標(biāo)記m1和m2對(duì)應(yīng)于兩個(gè)感興趣的區(qū)域。圖4b顯示了對(duì)應(yīng)于區(qū)域m1的原始光譜和重建的光譜的光譜s1和s'1，以及對(duì)應(yīng)于區(qū)域m2的原始光譜和重建的光譜的s2和s'2。

如上所指示的，在本發(fā)明的一些其他實(shí)施方式中，利用可調(diào)諧濾波器和卷簾快門型檢測(cè)器陣列，提供以通過使用利用隨時(shí)間變化的etf獲得的至少兩個(gè)圖像幀來獲得物體的光譜信息。在這個(gè)方面，參考圖5，其示出了系統(tǒng)300，包括卷簾快門型檢測(cè)器陣列304；光學(xué)單元102，包括被配置用于引導(dǎo)來自場(chǎng)景的光在檢測(cè)器陣列上生成圖像的成像裝置(例如，透鏡裝置)102b，以及可調(diào)諧濾波器302(構(gòu)成編碼器單元)，其位于朝著檢測(cè)器的光輸入的光路中。如上所述，濾波器302可以相對(duì)于輸入光傳播方向在成像裝置102b的上游或下游。濾波器302也可以位于成像裝置102b的元件之間，視情況而定。

可調(diào)諧濾波器302被配置為以預(yù)定時(shí)間模式改變?cè)趦蓚€(gè)或更多個(gè)不同的透射輪廓(profile)之間的其etf。更具體地，可調(diào)諧濾波器302可以是具有兩個(gè)或更多個(gè)不同的彩色透射曲線的濾色器，并且在所述透射曲線之間的切換以預(yù)定的時(shí)間間隔執(zhí)行。例如，可調(diào)諧濾波器可以在大約700nm的預(yù)定帶寬與大約500nm的預(yù)定帶寬之間(即，在紅色和綠色透射之間)改變它的透射。可選地，濾波器302可以在紅色、綠色和藍(lán)色之間或在紅色/綠色/藍(lán)色和白色(全譜)之間改變它的透射。還應(yīng)當(dāng)注意，透射輪廓可以包括近紅外(ir)波長(zhǎng)和/或近紫外(uv)光譜。還應(yīng)注意，可調(diào)諧濾波器302可以被配置為覆蓋全幀區(qū)域，即全局濾波。

通常，可調(diào)諧濾波器302的etf變化的時(shí)間模式被配置為對(duì)應(yīng)于卷簾快門型檢測(cè)器陣列304的一行或多行的曝光時(shí)間。因此，檢測(cè)器陣列304生成圖像數(shù)據(jù)，其中不同的行對(duì)應(yīng)于可調(diào)諧濾波器302的不同透射輪廓(不同的etf)。

該系統(tǒng)還包括如上所述配置的數(shù)據(jù)處理單元106，以接收來自檢測(cè)器304的圖像數(shù)據(jù)，并確定在被成像的視場(chǎng)中的一個(gè)或多個(gè)物體的光譜信息。通常，圖像數(shù)據(jù)可以使得感興趣的物體占據(jù)至少預(yù)定數(shù)量的像素行。因此，檢測(cè)器304通過兩個(gè)或更多個(gè)不同的波長(zhǎng)濾波來收集來自物體的不同區(qū)域的輸入光。基于關(guān)于檢測(cè)器陣列的檢測(cè)器元件的光譜響應(yīng)的預(yù)定數(shù)據(jù)以及關(guān)于可調(diào)諧濾波器302的時(shí)間模式和兩個(gè)或更多個(gè)透射輪廓的數(shù)據(jù)，數(shù)據(jù)處理單元106可以確定感興趣物體的光譜信息。

應(yīng)當(dāng)注意，圖像數(shù)據(jù)中的一些行可以由對(duì)兩個(gè)或更多個(gè)濾波輪廓的暴露而產(chǎn)生，因?yàn)榭烧{(diào)諧濾波器可以在這些行暴露于輸入光的同時(shí)改變其透射?；趀ft變化的時(shí)間模式，像素行的圖像數(shù)據(jù)可以通過基于對(duì)應(yīng)于每個(gè)eft的相對(duì)曝光時(shí)間對(duì)每個(gè)eft的影響加權(quán)來表示。

通常已知卷簾快門圖像傳感器以預(yù)定的曝光時(shí)間和每行通常短的讀出時(shí)間(～15-40μs)逐行獲取圖像。執(zhí)行獲取一系列幀(例如，視頻或突發(fā)模式)，使得每個(gè)連續(xù)幀的第一行正好在前一幀的最后一行之后被讀取。因此，幀(或多個(gè)幀)的曝光方案是行時(shí)間平面內(nèi)的平行四邊形。

圖6示出了卷簾快門型檢測(cè)器及其讀出的概念。在該非限制性例子中，曝光時(shí)間為9個(gè)時(shí)間單位，而讀出時(shí)間花費(fèi)1個(gè)時(shí)間單位；這被標(biāo)記用于頂行。因此，在單個(gè)時(shí)間單元中，在對(duì)于第一行的曝光開始之后，第二行暴露于光，使得它在前一行的讀出之后被讀出1個(gè)時(shí)間單位。如所示，濾波器輪廓隨時(shí)間(在該例子中每10個(gè)時(shí)間單位)而變化，導(dǎo)致不同的行暴露于不同波長(zhǎng)輪廓的輸入光。對(duì)于每一行，所收集的數(shù)據(jù)基于可調(diào)諧濾波器具有第一透射輪廓的時(shí)間和其具有第二透射輪廓的時(shí)間(以及在被應(yīng)用時(shí)的第三和第四透射輪廓)而對(duì)應(yīng)于加權(quán)濾波的輸入光。

因此，以兩種或更多種濾波模式的變化的混合來獲取每個(gè)行圖像。例如，第一行以單個(gè)濾波狀態(tài)(“紅色”狀態(tài))被獲取，而最后一行以“白色”狀態(tài)獲取光。所有其他行以濾波狀態(tài)(紅色和白色)的變化的線性混合來獲取圖像。

如果使用這樣的系統(tǒng)來對(duì)n行的矩形物體成像，則該圖像包含紅色和白色濾波狀態(tài)的n個(gè)不同的加權(quán)混合，這允許重建物體的光譜。這種光譜重建可以提供n個(gè)光譜帶。

可以通過圖像分割(例如，以確定檢測(cè)到單個(gè)物體而不是多個(gè)物體)來完成物體識(shí)別?？梢允褂酶鞣N物體檢測(cè)算法。

光譜重建利用關(guān)于被識(shí)別為物體的一部分的行的數(shù)量n的數(shù)據(jù)。該系統(tǒng)確定沿著圖像內(nèi)的垂直線的強(qiáng)度的橫截面，以獲得下式(對(duì)于在圖像數(shù)據(jù)中占據(jù)4行的物體)：

其中：

●tij是對(duì)于第i行的濾波狀態(tài)j(紅色/白色)的曝光時(shí)間；

●fr/fw是濾波狀態(tài)的光譜透射輪廓(4個(gè)光譜帶的分辨率，通常為n個(gè)光譜帶)；

●e是用于重建(4個(gè)光譜帶的分辨率)的(物體的)光譜輪廓。

應(yīng)當(dāng)注意，由于除了光譜輪廓e之外的所有參數(shù)被測(cè)量或者被已知為系統(tǒng)的參數(shù)，因此數(shù)據(jù)處理單元可以應(yīng)用合適的算法來確定物體的光譜輪廓e。

圖7例示了利用由#1(上)、#2(中)和#3(最下)標(biāo)記的3行(通常使用多得多的行)的本發(fā)明的技術(shù)。濾波器的透射輪廓在下文中被提到對(duì)濾波模式#1為藍(lán)色，且對(duì)濾波模式#2為橙色。通過濾波器獲得的平均光譜透射率可以由下式描述：

其中：t^藍(lán)(λ)是“藍(lán)色”模式的光譜透射率，t^橙(λ)是“橙色”模式的光譜透射率；t1^藍(lán)是對(duì)于第1行通過藍(lán)色濾波器的曝光時(shí)間，并且相應(yīng)地對(duì)于其他行和其他濾波模式。

由于平行四邊形結(jié)構(gòu)，下式適用：

鑒于上述內(nèi)容，不等式t1(λ)≠t2(λ)≠t3(λ)為每行提供唯一的光譜透射率。因此，對(duì)于足夠大的(數(shù)10行，例如40)并且具有均勻的發(fā)射光譜的物體，圖像數(shù)據(jù)包含物體的光譜信息，就像它通過與相關(guān)行的數(shù)量相對(duì)應(yīng)的數(shù)量的不同光譜濾波器被測(cè)量。這提供了物體的光譜的n(例如40)個(gè)不同的測(cè)量，并允許確定它的光譜輪廓。

如上所指示的，總的獲取的信號(hào)為：

其中，s(λ)是從感興趣物體發(fā)射或反射的光的光譜輪廓，并且ij是對(duì)于第j行中的像素的實(shí)際測(cè)量強(qiáng)度。利用預(yù)定和測(cè)量數(shù)據(jù)，可以確定物體的光譜輪廓。

因此，本發(fā)明提供了用于光譜數(shù)據(jù)重建的有效技術(shù)。本發(fā)明的技術(shù)提供單次快照重建，或者如果需要，提供用于增加光譜分辨率的多幀數(shù)據(jù)重建。