攝像裝置、圖像信號處理方法和程序的制作方法
【專利摘要】本發(fā)明涉及攝像裝置及其所實施的圖像信號處理方法和實施該圖像信號處理方法的程序。所述攝像裝置包括：攝像圖像信號曝光信息校正部，其基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號；合成系數(shù)計算部，其計算合成系數(shù)；以及合成部，其輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號，并將所述合成圖像信號寫入所述存儲單元。為此，提高通過合成具有不同曝光時間的多個攝像圖像信號而形成的合成圖像信號的質(zhì)量。
【專利說明】攝像裝置、圖像信號處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及例如進行動態(tài)范圍擴展處理和噪聲去除處理的攝像裝置、圖像信號處理方法和程序。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)的攝像裝置中，分別單獨地進行動態(tài)范圍擴展處理和噪聲去除處理。這里，動態(tài)范圍擴展處理是指通過合成與以不同曝光時間進行攝像的多幀圖像相對應的攝像圖像信號來擴展攝像圖像信號的動態(tài)范圍的處理。同時，噪聲去除處理是指通過對在時間上連續(xù)攝像的攝像圖像信號進行合成來去除各圖像上所疊加的噪聲的處理。
[0003]未經(jīng)審查的日本專利申請公開文本N0.2010-41200公開了通過對與以不同曝光時間攝像的兩幀圖像相對應的圖像信號進行合成處理來進行動態(tài)范圍擴展處理的示例。與該處理一起，通過使用取決于運動判定結(jié)果和曝光時間的巾貞遞歸量(frame recursionquantity)來進行噪聲去除處理，從而對前一幀的合成圖像信號和當前幀的合成圖像信號進行合成處理和混合處理。
[0004]未經(jīng)審查的日本專利申請公開文本N0.2008-160881公開了下述技術(shù):針對與以相同或不同曝光時間攝像的多幀圖像相對應的圖像信號，使用具有相同曝光時間的時間上連續(xù)的圖像信號。然后，通過進行有限沖激響應(finite impulse response, FIR)處理從圖像信號中去除噪聲。另外，通過合成具有不同曝光時間且去除了噪聲的圖像信號進行動態(tài)范圍擴展。未經(jīng)審查的日本專利申請公開文本N0.2008-160881討論了 FIR。然而，也可以考慮在對時間上連續(xù)的各個曝光時間進行無限沖激響應(infinite impulse response,HR)處理之后，進行圖像合成以擴展動態(tài)范圍。
[0005]在未經(jīng)審查的日本專利申請公開文本N0.2010-41200和未經(jīng)審查的日本專利申請公開文本2008-160881所描述的技術(shù)中，單獨地進行動態(tài)范圍擴展處理和噪聲去除處理，因此可能將噪聲疊加到合成圖像信號中，從而降低了合成圖像信號的質(zhì)量。

【發(fā)明內(nèi)容】

[0006]基于上述情況，期望提高通過和具有不同曝光時間的多個攝像圖像信號而形成的合成圖像信號的質(zhì)量。
[0007]根據(jù)本發(fā)明的一個實施例，基于與以不同曝光時間攝像的攝像圖像信號的不同曝光時間的相關(guān)信息對攝像圖像信號進行校正。
[0008]接著，計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號。
[0009]接著，輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號。
[0010]接著，將所述合成圖像信號寫入所述存儲單元。[0011]在上述處理中，基于合成系數(shù)將合成圖像信號與攝像圖像信號進行合成獲得了如下合成圖像信號，在該合成圖像信號中，從攝像圖像信號中去除了噪聲，且攝像圖像信號的動態(tài)范圍得到擴展。
[0012]根據(jù)本發(fā)明的實施例，以不同曝光時間攝像的攝像圖像信號的曝光時間的相關(guān)信息與基于攝像圖像信號和合成圖像信號計算得出的合成系數(shù)一起使用，從而能夠輸出質(zhì)量得到提高的合成圖像信號。
【專利附圖】

【附圖說明】
[0013]圖1是圖示了本發(fā)明第一實施方式的攝像裝置的示例性內(nèi)部構(gòu)造的方塊圖；
[0014]圖2是圖示了本發(fā)明第一實施方式的攝像圖像信號的示例的示例圖；
[0015]圖3是圖示了本發(fā)明第一實施方式的入射光量和攝像圖像信號電平之間的示例性關(guān)系的示例圖；
[0016]圖4是圖示了本發(fā)明第二實施方式的攝像裝置的示例性內(nèi)部構(gòu)造的方塊圖；
[0017]圖5是圖示了本發(fā)明第三實施方式的攝像裝置的示例性內(nèi)部構(gòu)造的方塊圖；
[0018]圖6是圖示了圖像處理裝置的示例性內(nèi)部構(gòu)造的方塊圖；及
[0019]圖7是圖示了圖像處理裝置的示例性內(nèi)部構(gòu)造的方塊圖。
【具體實施方式】
[0020]在下文中，將參考隨附的附圖詳細說明本發(fā)明的優(yōu)選實施例。注意，在說明書和隨附附圖中，使用相同的附圖標記來表示具有大體相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并省略了對這些結(jié)構(gòu)元件的重復說明。
[0021]在下文中將說明用于實施本發(fā)明的實施例(在下文中稱為實施方式)。說明書以下述順序進行說明。注意，共同部分中使用相同的附圖標記并因而簡化或省略對其的具體說明。
[0022]1.初步說明
[0023]2.第一實施方式(進行動態(tài)范圍擴展處理和噪聲去除處理的示例)
[0024]3.第二實施方式(調(diào)節(jié)幀間較大亮度變化的示例)
[0025]4.第三實施方式(降低總線帶寬和幀存儲器容量的示例)
[0026]5.變化例
[0027]1.初步說明
[0028]發(fā)明人首先進行了下述研究。
[0029]圖6是圖示了圖像處理裝置100的示例性內(nèi)部構(gòu)造的方塊圖。
[0030]圖像處理裝置100具有第一幀存儲器101、圖像合成部102、噪聲去除部103和第二幀存儲器104。圖像處理裝置100對經(jīng)過動態(tài)范圍擴展處理的圖像進行噪聲去除處理。
[0031]圖像傳感器(未圖示)以第一曝光時間(長時間曝光)和比第一曝光時間短的第二曝光時間(短時間曝光)來獲取物體的圖像，并分別輸出以各曝光時間進行曝光的攝像圖像信號。接著，第一幀存儲器101將從圖像傳感器(未圖示)輸入的攝像圖像信號作為合成前圖像保存在多個幀(例如，N幀)中。圖像合成部102從第一幀存儲器101中獲取N幀的合成前圖像，并對這些N幀的合成前圖像進行合成。在合成期間，將受到長時間曝光的攝像圖像信號合成在一起，將受到短時間曝光的攝像圖像信號合成在一起，并生成合成后圖像。接著，圖像合成部102輸出合成后圖像，以作為具有經(jīng)擴展的動態(tài)范圍的合成圖像。噪聲去除部103將從圖像合成部102輸入的合成后圖像保存到第二幀存儲器104中。接著，噪聲去除部103使用從第二幀存儲器104獲取的最后一幀的合成后圖像來去除從圖像合成部102輸入的當前幀的合成后圖像中的噪聲，并輸出合成圖像信號。
[0032]然而，圖像處理裝置100包括至少兩個高容量幀存儲:一個用于圖像合成以擴展動態(tài)范圍，而另一個用于巾貞遞歸(frame recursion)以進行噪聲去除處理。另外，對于上述情況必要的是，各個幀存儲器單獨進行用于計算運動信息和排列圖像的處理，因此增大了電路尺寸和功耗。
[0033]圖7是圖示了圖像處理裝置110的示例性內(nèi)部構(gòu)造的方塊圖。
[0034]圖像處理裝置110具有噪聲去除部111、幀存儲器112和圖像合成部113。圖像處理裝置110使用通過去除以不同曝光時間產(chǎn)生的攝像圖像信號中的噪聲而形成的攝像圖像信號來進行動態(tài)范圍擴展處理。
[0035]噪聲去除部111根據(jù)長時間曝光和短時間曝光各自的特性來去除從圖6所示的圖像傳感器(未圖示)輸入的攝像圖像信號中的噪聲，并將得到的攝像圖像信號以多幀存儲到幀存儲器112中作為合成前圖像。噪聲去除部111對從幀存儲器112中獲取的前一幀的合成前圖像的攝像圖像信號進行去除噪聲處理。圖像合成部113從幀存儲器112中獲取N幀的合成前圖像的攝像圖像信號，合成這些N幀的合成前圖像，并輸出具有經(jīng)擴展動態(tài)范圍的合成后圖像的攝像圖像信號。
[0036]在對以不同曝光時間攝像的各攝像圖像信號進行噪聲去除處理之后，圖像處理裝置110執(zhí)行用于動態(tài)范圍擴展的圖像合成。然而，在合成具有不同曝光時間的攝像圖像信號時產(chǎn)生的S/N比的差值、電子電路產(chǎn)生的散粒噪聲(shot noise)以及由于飽和水平而在合成區(qū)域中產(chǎn)生的噪聲并沒有被去除，從而使合成區(qū)域的邊界變得十分明顯。
[0037]根據(jù)上述研究的結(jié)果，發(fā)明人開發(fā)出本發(fā)明第一實施方式的攝像裝置10的構(gòu)造和處理。下面將說明當同時進行動態(tài)范圍擴展處理和噪聲去除處理時如何提高合成圖像信號質(zhì)量。
[0038]2.第一實施方式
[0039]〔進行動態(tài)范圍擴展處理和噪聲去除處理的示例〕
[0040]在下文中，將參照附圖1-3來說明本發(fā)明第一實施方式的攝像裝置10的示例性構(gòu)造和示例性操作。在攝像裝置10中，通過下文討論的彼此協(xié)作的內(nèi)部模塊而作為執(zhí)行程序的計算機來實現(xiàn)圖像信號處理方法。
[0041]圖1是圖示了攝像裝置10的示例性內(nèi)部構(gòu)造的方塊圖。
[0042]攝像裝置10具有攝像圖像信號平滑化部1、曝光閾值校正部2、攝像圖像信號曝光信息校正部3、合成系數(shù)計算部4、合成系數(shù)校正部5、合成部6和幀存儲器7。
[0043]攝像圖像信號平滑化部I通過對輸入到攝像裝置10中的攝像圖像信號進行平滑化來降低疊加到攝像圖像信號上的噪聲成分的影響。曝光閾值校正部2確定是否對平滑化后的攝像圖像信號與合成圖像信號進行合成，確定合成系數(shù)的分辨率，并將判定結(jié)果和合成系數(shù)的分辨率輸出到合成系數(shù)計算部4和合成系數(shù)校正部5。具體地，曝光閾值校正部2根據(jù)信號電平(其取決于攝像圖像信號的曝光時間(入射光量))的閾值來計算經(jīng)平滑化的攝像圖像信號的合成標記信息(判定結(jié)果的一個示例)。此外，曝光閾值校正部2還計算合成系數(shù)，該合成系數(shù)用于合成系數(shù)分辨率，并作為圖像合成期間的基礎(下文中成為“基礎合成系數(shù)”)。
[0044]合成標記信息是指用于指示合成部6是否對與多幀圖像相對應的攝像圖像信號進行合成處理(例如，ct混合處理(alpha blend process))的信息。例如，當在明亮區(qū)中以長時間曝光進行攝像時，攝像圖像信號電平可達到飽和電平并形成具有突發(fā)高亮(blown-out highlight)的圖像。然而，以短時間曝光進行攝像并接著受到組合的增益/偏移(combined gain/offset)的短時間曝光圖像信號中的攝像圖像信號電平可能超過飽和電平。由此，當對已達到飽和電平的長時間曝光圖像信號和受到組合的增益/偏移的短時間曝光圖像信號的各攝像圖像信號電平進行比較時，攝像圖像信號電平的差異極大。在這一點上，如果輸出已達到飽和電平的攝像圖像信號，合成圖像信號的動態(tài)范圍將最多僅達到飽和電平，這抑制了動態(tài)范圍的擴展。因此，需要產(chǎn)生用于指示合成部6不要對已經(jīng)達到飽和電平的攝像圖像信號進行合成的標記信息。
[0045]同時，當在暗區(qū)域中進行攝像時，圖像傳感器上的入射光量很微弱，攝像圖像信號電平同樣地保持為低，因此，在攝像圖像信號上疊加了噪聲。為了避免將此噪聲疊加到合成圖像信號上，針對攝像圖像信號電平設定閾值。接著，產(chǎn)生用于指示合成部6不要對攝像圖像信號電平不滿足閾值的攝像圖像信號進行合成的標記信息。
[0046]基礎合成系數(shù)是指用于表示合成部6所進行的圖像信號合成比率的分辨率的信息。換句話說，將基礎合成系數(shù)作為合成系數(shù)計算部4所計算的合成系數(shù)的分母值進行計算。例如，如果基礎合成系數(shù)是“32”，則將合成系數(shù)(合成比率)確定為具有“1/32”的分辨率。
[0047]攝像圖像信號曝光信息校正部3基于不同曝光時間的相關(guān)信息來校正攝像圖像信號。不同曝光時間的相關(guān)信息是以不同曝光時間攝像的攝像圖像信號的曝光時間之間的差值或比率。這里，通過使用曝光時間比率的示例進行說明。
[0048]例如，考慮短時間曝光和長時間曝光的曝光時間具有1: 2的曝光比率的情況，在此情況下，攝像圖像信號曝光信息校正部3將短時間曝光的曝光時間加倍，將短時間曝光圖像信號和長時間曝光圖像信號的曝光時間比率(曝光比率)校正為2: 2=1:1。
[0049]合成系數(shù)計算部4從幀存儲器7中獲取前一幀的合成圖像信號以作為參考信號，幀存儲器7中存儲了通過對以不同曝光時間攝像的攝像圖像信號進行合成而形成的合成圖像信號。接著，合成系數(shù)計算部4計算合成系數(shù)，所計算的合成系數(shù)用于對經(jīng)校正的攝像圖像信號與從幀存儲器7獲取的合成圖像信號進行合成。合成系數(shù)計算部4還根據(jù)移動物體的有關(guān)信息來計算合成系數(shù)，該信息是基于從幀存儲器7獲取的合成圖像信號以及其曝光比率已根據(jù)攝像曝光時間受到校正的攝像圖像信號計算出的。
[0050]通常，如果將用于形成包含有移動物體的多幀圖像的圖像信號合成在一起并混合，由于圖像中移動物體的位置而有可能產(chǎn)生諸如模糊或假色等圖像缺陷。例如，在物體正在移動的情況下，如果將連續(xù)幀的攝像圖像信號簡單地合成在一起，則圖像中的物體可能看起來模糊。然而，如果使用相關(guān)技術(shù)的圖像處理裝置100所執(zhí)行的方法，通過幀遞歸噪聲去除處理來擴展動態(tài)范圍，并因此可能增強了由圖像合成產(chǎn)生的諸如移動物體的模糊以及假色等圖像缺陷。另外，還可以想象到，幀存儲器的最小容量可能增加，電路尺寸和功耗可能由于諸如預先物體運動信息的計算和對準處理等因素而增加。另外還存在增強移動物體的模糊和假色的可能性。為此，需要提高移動物體的S/N比，同時也需要提高靜止物體和移動物體之間的S/N比。
[0051]為此，對于移動物體，合成系數(shù)計算部4保持原樣地輸出包含在攝像圖像信號中的物體區(qū)域。這里，合成系數(shù)計算部4使用運動信息、曝光比率信息、攝像圖像信號電平以及曝光閾值校正部2計算的基礎合成系數(shù)來計算前一幀的圖像信號和具有經(jīng)校正的曝光比率的攝像圖像信號之間的合成系數(shù)(比率)。
[0052]針對幀間差值進行的方法或使用運動矢量的方法適于計算合成系數(shù)校正部5使用的運動信息。也可以通過使用曝光比率信息和攝像圖像信號電平對合成系數(shù)進行控制，從而調(diào)整噪聲去除的強度。 [0053]基于曝光時間的相關(guān)信息或攝像圖像信號電平相對于曝光時間的閾值，合成系數(shù)校正部5對合成系數(shù)計算部4所計算的合成系數(shù)進行校正，并將經(jīng)校正的合成系數(shù)輸出到合成部6。例如，針對合成系數(shù)計算部4計算出的合成系數(shù)(比率)，合成系數(shù)校正部5進行校正處理(例如，空間濾波處理)，以用于緩和像素間的亮度和電平的波動。此外，合成系數(shù)校正部5通過使用曝光閾值校正部2所計算的合成標記信息來校正合成系數(shù)(比率)。
[0054]合成部6輸出合成圖像信號，并將該合成圖像信號寫入幀存儲器7中，該合成圖像信號是基于合成系數(shù)將從幀存儲器7獲取的合成圖像信號和經(jīng)校正的攝像圖像信號進行合成而得到的。換句話說，合成部6對具有經(jīng)校正曝光比率的攝像圖像信號和幀存儲器7中存儲的前一幀的合成圖像信號進行合成處理。通過使用合成系數(shù)校正部5輸出的合成系數(shù)(比率)MiXCoef來執(zhí)行這兩個圖像信號的合成。因此，合成部6能夠?qū)σ越o定曝光時間攝像的攝像圖像信號和前一幀的合成圖像信號進行合成。
[0055]這里，合成部6所執(zhí)行的計算中包含的各信號的值存在有下述方程I表示的關(guān)系。
[0056]MixSig(t+1) = MixCoef (t) XMixSig(t) +
[0057](1-MixCoef (t)) X (InSig(t) XGAIN(t) +OFS(t))(I)
[0058]InSig(t):時間t處的攝像圖像信號
[0059]MixSig(t):時間t處的合成圖像信號
[0060]RefSig(t):時間t處的參考信號(幀存儲器7輸出的合成圖像信號)，其等于時間t-Ι處的合成圖像信號MixSig(t-1)。
[0061]MixCoef⑴:時間t處的合成系數(shù)(以像素為單位計算)
[0062]GAIN(t):時間t處的曝光比率校正增益
[0063]OFS (t):時間t處的曝光比率校正偏移值
[0064]圖2是圖不了攝像圖像彳目號不例的不意圖。
[0065]圖像傳感器(未圖示)重復地以第一曝光時間(長時間曝光)和短于第一曝光時間的第二曝光時間(短時間曝光)獲取圖像，并輸出以不同曝光時間曝光的攝像圖像信號。此外，與以不同曝光時間攝像的兩幀圖像相對應的圖像信號(短時間曝光圖像信號和長時間曝光圖像信號)被周期性地輸出到攝像裝置10中。例如，以短時間曝光產(chǎn)生的圖像信號被輸入在第η幀上，而以長時間曝光產(chǎn)生的圖像信號被輸入在第(η+1)幀上(其中η是等于或大于O的整數(shù))。短時間曝光和長時間曝光交替地逐幀重復進行，圖像傳感器(未圖示)產(chǎn)生與各曝光時間相一致的圖像信號，并將產(chǎn)生的圖像信號輸出到攝像裝置10。[0066]注意，本發(fā)明也可適用于諸如以三個或以上的不同曝光時間攝像的圖像信號、以相同曝光時間攝像的圖像信號等圖像信號，而無需考慮曝光時間比率。另外，雖然在短時間曝光圖像信號之后是長時間曝光圖像信號的順序說明了圖像信號輸入順序，但本發(fā)明并不限于該順序。
[0067]圖3是圖示了入射光量和攝像圖像信號電平之間的示例性關(guān)系的說明圖。圖3的A示出了攝像圖像信號電平與長時間曝光圖像信號SI和短時間曝光圖像信號S2的之間關(guān)系的示例。圖3的B示出了在對長時間曝光信號SI和受到偏移的短時間曝光信號S4進行結(jié)合的情況下攝像圖像信號電平與各信號的入射光量之間關(guān)系的示例。圖3的C示出了在對長時間曝光圖像信號SI和受到組合的增益/偏移的短時間曝光圖像信號S5進行合成的情況下攝像圖像信號電平與入射光量之間關(guān)系的示例。
[0068]在下面的說明中，圖3中的以第一曝光時間攝像的攝像圖像信號被稱為“長時間曝光圖像信號Si”，而以第二曝光時間攝像的攝像圖像信號被稱為“短時間曝光圖像信號S2”。[0069]在使用如圖3的A所示的長時間曝光的情況下，相對于從物體經(jīng)由光學(未圖示)入射到圖像傳感器等(未圖示)上的光的入射光量，長時間曝光圖像信號Si的攝像圖像信號電平在飽和電平處變?yōu)楹愣?。同時，短時間曝光圖像信號S2的攝像圖像信號電平相對于入射光量的增加與長時間曝光圖像信號SI的攝像圖像信號電平相對于入射光量的增加相比較小。因此，短時間曝光圖像信號S2的攝像圖像信號電平與長時間曝光圖像信號SI的攝像圖像信號電平相比在較晚的時間處達到飽和電平。注意，如果達到飽和電平，即使短時間曝光圖像信號S2的攝像圖像信號電平也在飽和電平處變?yōu)楹愣ā?br> [0070]接下來，參考圖3的B研究用于對長時間曝光圖像信號SI和經(jīng)過偏移的短時間曝光圖像信號S2進行合成的處理。
[0071]為便于說明，假設了給定入射光量處的第一閾值以及在長時間曝光圖像信號SI的攝像圖像信號電平達到飽和電平時的入射光量處的第二閾值，第二閾值高于第一閾值。另外，將第一和第二閾值之間的區(qū)域標記為“合成區(qū)域”。
[0072]合成部6將短時間曝光圖像信號S2的電平偏移至如下電平，在該電平處長時間曝光圖像信號Si的電平相對于入射到圖像傳感器上的圖像光光量飽和。另外，與偏移處理一起，合成部6基于合成系數(shù)在合成區(qū)域合成長時間曝光圖像信號SI和短時間曝光圖像信號S2。如上所述，短時間曝光圖像信號S2的攝像圖像信號電平直到入射光量達到一定值時才達到飽和電平。在這一點上，如果針對超過第二閾值的入射光量全面對短時間曝光圖像信號S2進行偏移，能夠獲得短時間曝光圖像信號S4，短時間曝光圖像信號S4的攝像圖像信號電平上升為高于飽和電平。
[0073]因此，如果入射光量增加為超過第二閾值，對短時間曝光圖像信號S2進行偏移以計算短時間曝光圖像?目號S4。另外，長時間曝光圖像/[目號SI和短時間曝光圖像/[目號S2在合成區(qū)域進行合成。該合成過程能夠使長時間曝光圖像信號SI和短時間曝光圖像信號S4上的攝像圖像信號電平變得連續(xù)，從而擴展了攝像圖像信號電平的動態(tài)范圍。
[0074]接著，參考圖3的C研究對長時間曝光圖像信號SI和經(jīng)過組合的增益/偏移的短時間曝光圖像信號S5進行合成的處理。
[0075]合成部6將增益應用到短時間曝光圖像信號S2，使得所增益的比率等于在長時間曝光圖像信號Si的電平相對于入射到圖像傳感器上的圖像光的光量飽和時的位置處攝像圖像信號電平與光量的比率。換句話說，對于超過第二閾值的入射光量，合成部6將組合的增益/偏移應用到全體短時間曝光圖像信號S2。該組合的增益/偏移是如下處理:在入射光量升高為超過第二閾值時升高增益，并同時使短時間曝光圖像信號S2偏移。例如，通過應用組合的增益/偏移，使得短時間曝光圖像信號S2按照以長時間曝光圖像信號SI的攝像圖像信號電平相對于入射光量的比率的速率改變，從而獲取具有上升成高于飽和電平的攝像圖像信號的短時間曝光圖像信號S5。
[0076]另外，類似于圖3的B所示的情形，在合成區(qū)域?qū)﹂L時間曝光圖像信號SI和短時間曝光圖像信號S2進行合成。通過使短時間曝光圖像信號S2以此方式經(jīng)過組合的增益/偏移，能夠擴展合成后的攝像圖像信號電平的動態(tài)范圍。此外，攝像圖像信號電平相對于入射光量的斜率在飽和電平前后并不變化。因此，合成后的圖像不可能看起來不自然。
[0077]注意，合成部6能夠執(zhí)行如圖3的B和圖3的C所示的用于合成長時間曝光圖像信號和短時間曝光圖像信號的處理。合成部6所執(zhí)行的合成處理的實施可根據(jù)攝像裝置10的規(guī)格而任意設定。
[0078]根據(jù)上述第一實施方式的攝像裝置10，在攝像圖像信號的整個動態(tài)范圍上執(zhí)行時間上的IIR處理，且通過合成在時間上連續(xù)的攝像圖像信號而去除了噪聲。此時，可通過合成具有多個不同曝光時間的攝像圖像信號同時對來自多幀的圖像進行動態(tài)范圍擴展處理。
[0079]此外，能夠通過將合成圖像信號與攝像圖像信號進行合成而輸出各幀的合成圖像信號。因此，在合成具有不同曝光時間的多個攝像圖像信號時沒有降低攝像期間的幀速率。而且,能夠提高移動物體的S/N比，同時還提高了靜止物體和移動物體之間的S/N率。
[0080]而且，通過根據(jù)曝光信息和攝像圖像信號電平對合成系數(shù)進行控制，能夠控制噪聲去除的強度。因此，能夠應用下述控制，該控制提高了從具有低的S/N比的短時間曝光圖像信號中去除噪聲的強度，并降低了從具有相對較好S/N比的長時間曝光圖像信號中去除噪聲的強度。還能夠應用下述控制，該控制提高了低照明區(qū)域中的噪聲去除的強度，并降低了在高照明區(qū)域中的噪聲去除的強度。因此，能夠在擴展動態(tài)范圍的同時提高全體圖像的S/N 比。
[0081]此外，在過去，以每次兩幀對短時間曝光圖像信號和長時間曝光圖像信號進行合成。例如，參見圖2，對第η幀和第(η+1)幀的攝像圖像信號進行合成，接著對第(η+2)幀和第(η+3)幀的攝像圖像信號進行合成。對于此合成處理，雖然能夠檢測從第η幀到第(η+1)幀或從第(η+2)幀到第(η+3)幀的物體運動，但不能夠檢測從第(η+1)幀到第(η+2)幀的物體運動。然而，本發(fā)明實施方式的攝像裝置在以每次一幀進行移位的同時對第η幀和第(η+1)中貞、第(η+1)中貞和第(η+2)中貞、第(η+2)中貞和第(η+3)中貞等等進行合成。因此，與在先技術(shù)的合成處理相比，本發(fā)明能夠降低產(chǎn)生攝像圖像信號時的攝像時間點與產(chǎn)生前一幀攝像圖像信號的攝像時間點之間的差異，還能夠降低幀間物體運動信息的誤檢測。
[0082]此外，通過同時進行圖像合成和噪聲去除處理，能夠減小電路尺寸和功耗，并增加計算速度。另外，能夠降低幀存儲器7的在產(chǎn)生具有較好S/N比的高動態(tài)范圍(HDR)合成圖像信號時的攝像容量。
[0083]3.第二實施方式
[0084]〔調(diào)節(jié)幀間較大亮度變化的示例〕[0085]接下來，將參照圖4對本發(fā)明第二實施例的攝像裝置20的示例性構(gòu)造及示例性操作進行說明。
[0086]圖4圖示了第二實施例中攝像裝置20的示例性內(nèi)部構(gòu)造。
[0087]在第一實施例的攝像裝置10以上述方式同時實現(xiàn)動態(tài)范圍擴展處理和噪聲去除處理時，在幀間出現(xiàn)的較大亮度變化在某些情況下可能導致合成圖像信號的質(zhì)量降低。當出現(xiàn)較大亮度變化時，攝像圖像信號是亮度變化后的圖像信號，而前一幀的合成圖像信號是亮度變化前的圖像信號。接著，在合成有這些圖像信號的合成圖像信號中產(chǎn)生亮度差。例如，在輸入有合成圖像信號的顯示裝置上，圖像出現(xiàn)閃爍或閃動。
[0088]因此，除了攝像裝置10中設置的各部件之外，攝像裝置20還具有用于校正合成圖像信號曝光比率的合成圖像信號曝光信息校正部21。合成圖像信號曝光信息校正部21接收從幀存儲器7中獲取的前一幀合成圖像信號作為輸入。接著，合成圖像信號曝光信息校正部21基于物體亮度變化前的合成圖像信號的曝光時間的相關(guān)信息以及物體亮度變化后的攝像圖像信號的曝光時間的相關(guān)信息對合成圖像信號進行校正。在這一點上，合成圖像信號曝光信息校正部21會根據(jù)亮度變化前的合成圖像信號的曝光時間與亮度變化后的攝像圖像信號的曝光時間之差對幀存儲器7中存儲的前一幀合成圖像信號進行校正處理。
[0089]合成部6通過使用已由合成圖像信號曝光信息校正部21根據(jù)曝光時間的變化進行校正的合成圖像信號來進行合成處理。由此，能夠吸收前一幀合成圖像信號與亮度變化后的攝像圖像信號間的曝光比率。另外，即使發(fā)生突然亮度變化，也能夠輸出不產(chǎn)生亮度差的合成圖像信號。
[0090]根據(jù)上述第二實施例中的攝像裝置20，即使在幀間出現(xiàn)較大亮度變化時，也能夠抑制圖像閃爍，而不產(chǎn)生合成圖像信號中的亮度差。因此，即使在同時擴展動態(tài)范圍和進行噪聲去除處理時，也能夠輸出高品質(zhì)的合成圖像信號。
[0091]4.第三實施方式
[0092]〔降低總線帶寬和幀存儲器容量的示例〕
[0093]接著，將參考圖5說明本發(fā)明第三實施方式的攝像裝置30的示例性構(gòu)造和示例性操作。
[0094]圖5圖示了第三實施方式的攝像裝置30的示例性內(nèi)部構(gòu)造。
[0095]在第一實施方式的攝像裝置10以上述方式同時實現(xiàn)動態(tài)范圍擴展處理和噪聲去除處理時，同時從幀存儲器7中獲取來自多幀的圖像，從而造成總線帶寬變得吃緊。也可以想象到幀存儲器7中攝像容量不足。
[0096]因此，除了在攝像裝置20中設置的各部件之外，攝像裝置30還具有用于壓縮合成圖像信號的壓縮部31和用于使從幀存儲器7中獲取的經(jīng)壓縮的合成圖像信號解壓縮的解壓縮部33。
[0097]壓縮部31通過合成部6對已經(jīng)進行位深度(bit depth)擴張(或動態(tài)范圍被擴展)的合成圖像信號進行數(shù)據(jù)壓縮處理。接著，壓縮部31將經(jīng)壓縮的合成圖像信號寫入幀存儲器7。壓縮部31例如執(zhí)行處理，以將具有數(shù)據(jù)長度為14位的合成圖像信號壓縮為數(shù)據(jù)長度為10位的信號。
[0098]接著，解壓縮部33從幀存儲器7獲取經(jīng)壓縮的合成圖像信號，執(zhí)行數(shù)據(jù)解壓縮處理，并向合成圖像信號曝光信息校正部21輸出解壓縮結(jié)果。解壓縮部33例如直接將數(shù)據(jù)長度為10位的合成圖像信號解壓縮為數(shù)據(jù)長度為14位的信號。另外，將經(jīng)解壓縮的合成圖像信號用作合成部6中的參考信號。
[0099]根據(jù)上述第三實施方式的攝像裝置30，能夠降低從壓縮部31到幀存儲器7以及從幀存儲器7到解壓縮部33的總線帶寬中的數(shù)據(jù)量。另外，由于幀存儲器7僅存儲經(jīng)壓縮的合成圖像信號，所以能夠降低幀存儲器7的攝像容量。
[0100]另外，雖然期望壓縮部31所執(zhí)行的壓縮過程為無損耗壓縮，但例如根據(jù)合成圖像信號的位精度也可以執(zhí)行有損耗壓縮方案。這是因為，即使在不同于壓縮前的合成圖像信號的情況下，經(jīng)壓縮的合成圖像信號的最不重要的位也只在圖像色彩輕微改變方面產(chǎn)生很小的影響。
[0101]5.變化例
[0102]請注意的是，雖然圖3的C圖示了采用長時間曝光圖像信號SI的一部分作為合成區(qū)域的示例，但長時間曝光圖像信號Si整體也可用作合成區(qū)域。即使以此方式設定合成區(qū)域，仍然能夠充分地應用偏移或組合的增益/偏移。
[0103]另外，在上述實施方式中，將標記信息和基礎合成系數(shù)從曝光閾值校正部2分別輸入到合成系數(shù)計算部4和合成系數(shù)校正部5。然而，也可以通過將標記信息或基礎合成系數(shù)輸入到合成系數(shù)計算部4或合成系數(shù)校正部5來計算合成系數(shù)。
[0104]另外，能夠任意地組合上述第一至第三實施方式的攝像裝置的構(gòu)造和處理。
[0105]注意，在前述實施例中的系列操作可以在硬件中執(zhí)行，也可以在軟件中執(zhí)行。當在軟件中執(zhí)行系列操作的情況下，構(gòu)成此軟件的程序可以由內(nèi)置在專用硬件中的計算機執(zhí)行，或者可以由安裝有用于執(zhí)行各種功能的程序的計算機執(zhí)行。例如，構(gòu)成期望軟件的程序可以安裝在通用個人電腦上并在其上執(zhí)行。
[0106]另外，可以將用于存儲實現(xiàn)前述實施例的功能的軟件的程序代碼的記錄媒體提供到系統(tǒng)或裝置中。另外，顯然地，由上述系統(tǒng)或裝置中的用于獲取和執(zhí)行存儲在記錄媒體中的程序代碼的計算機(或CPU或其他控制裝置)來實現(xiàn)這些功能。
[0107]用于提供此示例中的程序代碼的記錄媒體例如可以是軟盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、磁帶、非易失性存儲卡或ROM。
[0108]另外，前述實施例的功能可通過計算機執(zhí)行所獲取的程序代碼來實現(xiàn)。此外，可基于計算機上運行的OS或其他軟件所執(zhí)行的程序代碼中的指令來進行部分或全部實際操作。本發(fā)明還包括由這些操作來實現(xiàn)前述實施例的功能的情況。
[0109]本領(lǐng)域技術(shù)人員應當理解，依據(jù)設計要求和其它因素，可以在本發(fā)明所附的權(quán)利要求及其等同物的范圍內(nèi)進行各種修改、組合、次組合及改變。
[0110]此外，本發(fā)明還可以構(gòu)造如下:
[0111](I) 一種攝像裝置，其包括:
[0112]攝像圖像信號曝光信息校正部，其基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號；
[0113]合成系數(shù)計算部，其計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號；以及
[0114]合成部，其輸出通過基于所述合成系數(shù)對從所述存儲單元獲取的所述合成圖像信號以及所校正的所述攝像圖像信號進行合成而形成的所述合成圖像信號，并將所述合成圖像信號寫入所述存儲單元。
[0115](2)根據(jù)(I)所述的攝像裝置，其中，所述合成系數(shù)計算部根據(jù)移動物體的信息來計算所述合成系數(shù)，所述移動物體的信息是基于所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號計算得到的。
[0116](3)根據(jù)⑴或⑵所述的攝像裝置，其還包括:
[0117]攝像圖像信號平滑化部，其平滑化所述攝像圖像信號；以及
[0118]曝光閾值校正部，其確定所述合成系數(shù)的分辨率以及用于指示是否對所平滑化的所述攝像圖像信號與所述合成圖像信號進行合成的判定結(jié)果，并將所述判定結(jié)果和所述合成系數(shù)的所述分辨率輸出到所述合成系數(shù)計算部。
[0119](4)根據(jù)(1)-(3)中任一項所述的攝像裝置，其還包括:
[0120]合成系數(shù)校正部，其基于所述曝光時間的相關(guān)信息或所述攝像圖像信號的電平相對于所述曝光時間的閾值來校正由所述合成系數(shù)計算部計算的所述合成系數(shù)，并將所校正的所述合成系數(shù)輸出到所述合成部。
[0121](5)根據(jù)(1)-(4)中任一項所述的攝像裝置，其中，所述不同曝光時間的相關(guān)信息是以所述不同曝光時間攝像的所述攝像圖像信號的曝光時間之間的差值或比率。
[0122](6)根據(jù)(1)-(5)中任一項所述的攝像裝置，其中，
[0123]所述攝像圖像信號是由圖像傳感器以第一曝光時間和短于所述第一曝光時間的第二曝光時間重復輸出的，且
[0124]所述合成部將以所述第二曝光時間攝像的所述攝像圖像信號的電平偏移至飽和電平，并基于所述合成系數(shù)在第一入射光量的閾值和低于所述第一入射光量的第二入射光量的閾值之間對以所述第一曝光時間攝像的所述攝像圖像信號與以所述第二曝光時間攝像的所述攝像圖像信號進行合成，在所述飽和電平處以所述第一曝光時間攝像的所述攝像圖像信號的電平相對于入射到所述圖像傳感器上的圖像光的光量飽和，在所述第一入射光量的閾值處以所述第一曝光時間攝像的所述攝像圖像信號的電平到達所述飽和電平。
[0125](7)根據(jù)(1)-(4)中任一項所述的攝像裝置，其中，所述合成部向以所述第二曝光時間攝像的所述攝像圖像信號應用增益，使得所增益的比率等于在以所述第一曝光時間攝像的所述攝像圖像信號的電平相對于入射到所述圖像傳感器上的圖像光的光量飽和時的位置處所述攝像圖像信號的電平與所述光量的比率。
[0126](8)根據(jù)(1)-(3)中任一項所述的攝像裝置，其還包括:
[0127]合成圖像信號曝光信息校正部，其基于在物體亮度變化前的所述合成圖像信號的所述曝光時間的相關(guān)信息以及在物體亮度變化后的所述攝像圖像信號的所述曝光時間的相關(guān)信息來校正所述合成圖像信號。
[0128](9)根據(jù)⑶所述的攝像裝置，其還包括:
[0129]壓縮部，其壓縮所述合成圖像信號并將所述合成圖像信號寫入所述存儲單元；以及
[0130]解壓縮部，其對從所述存儲單元獲取的經(jīng)壓縮的所述合成圖像信號進行解壓縮。
[0131](10) 一種圖像信號處理方法，其包括:
[0132]基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號;
[0133]計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號；
[0134]輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號；以及
[0135]將所述合成圖像信號寫入所述存儲單元。
[0136](11) 一種使計算機執(zhí)行如下步驟的程序:
[0137]基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號;
[0138]計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號；
[0139]輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號；以及
[0140]將所述合成圖像信號寫入所述存儲單元。
[0141]本申請包含與2012年8月10日向日本專利局提交的日本在先專利申請JP2012-178010的公開內(nèi)容相關(guān)的主題，并要求其優(yōu)先權(quán)，將該在先申請的全部內(nèi)容以引用的方式并入本文。
【權(quán)利要求】
1.一種攝像裝置，其包括: 攝像圖像信號曝光信息校正部，其基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號； 合成系數(shù)計算部，其計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號；以及 合成部，其輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號，并將所述合成圖像信號寫入所述存儲單元。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述合成系數(shù)計算部根據(jù)移動物體的信息來計算所述合成系數(shù)，所述移動物體的信息是基于所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號計算得到的。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其還包括: 攝像圖像信號平滑化部，其平滑化所述攝像圖像信號；以及 曝光閾值校正部，其確定所述合成系數(shù)的分辨率以及確定用于指示是否對所平滑化的所述攝像圖像信號與所述合成圖像信號進行合成的判定結(jié)果，并將所述判定結(jié)果和所述合成系數(shù)的所述分辨率輸出到所述合成系數(shù)計算部。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其還包括: 合成系數(shù)校正部，其基于所述曝光時間的相關(guān)信息或所述攝像圖像信號的電平相對于所述曝光時間的閾值來校正由所述合成系數(shù)計算部計算的所述合成系數(shù)，并將所校正的所述合成系數(shù)輸出到所述合成部。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其中，所述不同曝光時間的相關(guān)信息是以所述不同曝光時間攝像的所述攝像圖像信號的曝光時間之間的差值或比率。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其中， 所述攝像圖像信號是由圖像傳感器以第一曝光時間和短于所述第一曝光時間的第二曝光時間重復輸出的，且 所述合成部將以所述第二曝光時間攝像的所述攝像圖像信號的電平偏移至飽和電平，并基于所述合成系數(shù)在入射光量的第一閾值和入射光量的第二閾值之間對以所述第一曝光時間攝像的所述攝像圖像信號與以所述第二曝光時間攝像的所述攝像圖像信號進行合成，在所述飽和電平處以所述第一曝光時間攝像的所述攝像圖像信號的電平相對于入射到所述圖像傳感器上的圖像光的光量飽和，所述第二閾值高于所述第一閾值并且在所述第二閾值處以所述第一曝光時間攝像的所述攝像圖像信號的電平到達所述飽和電平。
7.根據(jù)權(quán)利要求6所述的攝像裝置，其中，所述合成部向以所述第二曝光時間攝像的所述攝像圖像信號應用增益，使得所增益的比率等于在以所述第一曝光時間攝像的所述攝像圖像信號的電平相對于入射到所述圖像傳感器上的圖像光的光量飽和時的位置處所述攝像圖像信號的電平與所述光量的比率。
8.根據(jù)權(quán)利要求1-7中任一項所述的攝像裝置，其還包括: 合成圖像信號曝光信息校正部，其基于在物體亮度變化前的所述合成圖像信號的所述曝光時間的相關(guān)信息以及在物體亮度變化后的所述攝像圖像信號的所述曝光時間的相關(guān)信息來校正所述合成圖像信號。
9.根據(jù)權(quán)利要求1-7中任一項所述的攝像裝置，其還包括: 壓縮部，其壓縮所述合成圖像信號并將所述合成圖像信號寫入所述存儲單元；以及 解壓縮部，其對從所述存儲單元獲取的經(jīng)壓縮的所述合成圖像信號進行解壓縮。
10.一種圖像信號處理方法，其包括: 基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號；計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號； 輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號；以及將所述合成圖像信號寫入所述存儲單元。
11.一種用于使計算機執(zhí)行以下步驟的程序: 基于不同曝光時間的相關(guān)信息來校正以所述不同曝光時間攝像的攝像圖像信號；計算合成系數(shù)，所述合成系數(shù)用于將所校正的所述攝像圖像信號與從用于存儲合成圖像信號的存儲單元獲取的所述合成圖像信號進行合成，在所述合成圖像信號中合成有以所述不同曝光時間攝像的所述攝像圖像信號； 輸出通過基于所述合成系數(shù)對所校正的所述攝像圖像信號和從所述存儲單元獲取的所述合成圖像信號進行合成而形成的所述合成圖像信號；以及將所述合成圖像信號寫入所述存儲單元。
【文檔編號】G06T5/50GK103581556SQ201310325616
【公開日】2014年2月12日 申請日期:2013年7月30日 優(yōu)先權(quán)日:2012年8月10日
【發(fā)明者】山口和哲, 神明克尚 申請人:索尼公司