圖像處理裝置及圖像處理方法【專利摘要】一種圖像處理裝置及圖像處理方法。攝像裝置(100)具備：攝像部(1)以及第1合成圖像生成部(6a)，取得圖像數(shù)據(jù)；第1生成部(6d)，對所取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，生成以多級的各分辨率進行了平滑化后的多級的像素值；像素值校正部(6f)，基于所取得的所述圖像數(shù)據(jù)的像素值與由所述第1生成部(6d)生成的各級的像素值之間的差分，按該各級的每一級對所取得的所述圖像數(shù)據(jù)的像素值進行校正；第1數(shù)據(jù)構成控制部(6i)，進行控制以便利用具有由該像素值校正部(6f)校正后的像素值的各級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。【專利說明】圖像處理裝置及圖像處理方法【
技術領域：
】[0001]本發(fā)明涉及圖像處理裝置以及圖像處理方法?！?br>背景技術：
】[0002]現(xiàn)有技術中，如日本特開2012-044639號公報所記載，提出了一種針對高動態(tài)范圍的圖像以不丟失現(xiàn)實感的級別來過度地增強亮度分量和色差分量后的圖像的生成方法(例如，參照專利文獻I)。[0003]在該技術中，在2個不同的頻帶(例如，低頻以及中頻等)中分別實施非銳化遮罩(unsharpmask)處理來局部地增強對比度。[0004]然而，在上述專利文獻I等情況下，由于對高動態(tài)范圍圖像僅在2個不同的頻帶中實施了對比度的增強處理，因此在對比度的差異不明顯的圖像區(qū)域中存在未實施適當?shù)脑鰪娞幚韽亩鴣G失現(xiàn)實感的風險?！?br/>發(fā)明內容】[0005]本發(fā)明的課題在于，能與對比度之差的大小無關地進行適當?shù)膱D像處理。[0006]為了解決上述課題，本發(fā)明所涉及的圖像處理裝置具備:第I取得單元，其取得圖像數(shù)據(jù)；第I生成單元，其對由該第I取得單元取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值；校正單元，其基于由所述第I取得單元取得的圖像數(shù)據(jù)的像素值與由所述第I生成單元生成的各級中的每一級的像素值之間的差分，按該各級中的每一級來校正所取得的所述圖像數(shù)據(jù)的像素值；以及控制單元，其進行控制，以便利用具有由該校正單元校正后的像素值的各級中的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，來構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。[0007]另外，本發(fā)明所涉及的圖像處理方法包括:取得圖像數(shù)據(jù)的步驟；對所取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值的步驟；基于所取得的圖像數(shù)據(jù)的像素值與所生成的各級中的每一級的像素值之間的差分，按該各級中的每一級來校正所取得的所述圖像數(shù)據(jù)的像素值的步驟；以及進行控制，以便利用具有校正后的像素值的各級中的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量來構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)的步驟?！緦＠綀D】【附圖說明】[0008]圖1是表示應用了本發(fā)明的實施方式I的攝像裝置的概略構成的框圖。[0009]圖2是表示圖1的攝像裝置所執(zhí)行的攝像處理所涉及的動作的一例的流程圖。[0010]圖3是表示圖2的攝像處理中的圖像增強處理所涉及的動作的一例的流程圖。[0011]圖4A是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0012]圖4B是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。[0013]圖4C是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0014]圖4D是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。[0015]圖5是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。[0016]圖6是用于說明圖3的圖像增強處理中的像素值的校正量的調整的圖。[0017]圖7是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0018]圖8A是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0019]圖8B是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0020]圖8C是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0021]圖8D是不意地表不圖2的攝像處理所涉及的圖像的一例的圖。[0022]圖8E是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。[0023]圖8F是示意地表示圖2的攝像處理所涉及的圖像的一例的圖。[0024]圖9是表示應用了本發(fā)明的實施方式2的攝像裝置的概略構成的框圖。[0025]圖10是表示圖9攝像裝置中具備的第2合成圖像生成部的概略構成的框圖。[0026]圖11是示意地表示剪輯表(cliptable)的圖。[0027]圖12是示意地表示灰度變換表的圖?！揪唧w實施方式】[0028]以下，針對本發(fā)明，使用附圖來說明【具體實施方式】。但發(fā)明的范圍不限于圖示例。[0029][實施方式I][0030]圖1是表示應用了本發(fā)明的實施方式I的攝像裝置100的概略構成的框圖。[0031]如圖1所示，實施方式I的攝像裝置100，具體而言，具備:攝像部1、攝像控制部2、圖像數(shù)據(jù)生成部3、存儲器4、記錄介質控制部5、圖像處理部6、顯示部7、操作輸入部8、以及中央控制部9。[0032]另外，攝像部1、攝像控制部2、圖像數(shù)據(jù)生成部3、存儲器4、記錄介質控制部5、圖像處理部6、顯示部7、以及中央控制部9經(jīng)由總線10進行了連接。[0033]攝像部I對規(guī)定的被攝體(例如，人等)進行拍攝來生成幀圖像。[0034]具體而言，攝像部I具備:透鏡部la、電子攝像部lb、以及透鏡驅動部lc。[0035]透鏡部Ia例如由變焦透鏡或對焦透鏡等的多個透鏡構成。[0036]電子攝像部Ib例如由CCD(ChargeCoupledDevice)或CMOS(ComplementaryMetal-oxideSemiconductor)等圖像傳感器(攝像元件)構成。而且，電子攝像部Ib將通過了透鏡部Ia的各種透鏡后的光學像變換成二維的圖像信號。[0037]例如，盡管省略圖示，但透鏡驅動部Ic具備:使變焦透鏡在光軸方向上移動的變焦驅動部、以及使對焦透鏡在光軸方向上移動的合焦驅動部等。[0038]此外，攝像部I除了透鏡部la、電子攝像部lb、以及透鏡驅動部Ic之外，還可以具備對通過透鏡部Ia的光的量進行調整的光圈(省略圖示)。[0039]攝像控制部2對攝像部I所執(zhí)行的被攝體的拍攝進行控制。即，盡管省略圖示，但攝像控制部2具備:定時發(fā)生器、以及驅動器等。而且，攝像控制部2由定時發(fā)生器、驅動器來對電子攝像部Ib進行掃描驅動，由電子攝像部Ib按每個規(guī)定周期將通過了透鏡部Ia的光學像變換成二維的圖像信號，并從該電子攝像部Ib的拍攝區(qū)域中每次各I畫面的量地讀出幀圖像，且使其輸出至圖像數(shù)據(jù)生成部3。[0040]另外，攝像控制部(攝像控制單元)2進行控制，以便在對攝像部I改變曝光條件的同時以大致相等的構圖進行多次拍攝。[0041]S卩，攝像控制部2對所謂的包圍曝光攝像的執(zhí)行進行控制，并逐次設定攝像部I所執(zhí)行的被攝體的拍攝時的曝光條件。即，攝像控制部2基于規(guī)定的程序線圖，來對電子攝像部Ic的快門速度(曝光時間)或信號放大率(ISO靈敏度)、光圈的光圈值等進行調整。而且，攝像控制部2例如以曝光適度作為基準值，來對快門速度、信號放大率或光圈值等進行控制，以便相對于該基準值成為曝光不足以及曝光過度，而且以固定了焦距的狀態(tài)來使攝像部I連續(xù)拍攝大致相等的構圖的多張圖像(參照圖4A?4C)。也就是，攝像控制部2針對大致相等的構圖的圖像，使明度變更為多級，并使攝像部I連續(xù)拍攝多張圖像。[0042]此外，盡管大致相等的構圖的多張圖像的拍攝例如優(yōu)選以使用三腳架等將裝置主體固定于規(guī)定位置的狀態(tài)來進行，但即使是手持的拍攝，也可以進行連續(xù)拍攝到的多張圖像的位置對齊。[0043]此外，攝像控制部2可以取代透鏡部Ia的對焦透鏡而使電子攝像部Ib在光軸方向上移動來調整透鏡部Ia的合焦位置。[0044]另外，攝像控制部2可以進行AF(自動合焦處理)、AE(自動曝光處理)、AWB(自動白平衡)等在對被攝體拍攝時的條件的調整控制。[0045]圖像數(shù)據(jù)生成部3在對從電子攝像部Ib轉發(fā)來的幀圖像的模擬值的信號按RGB的顏色分量的每一個適當進行了增益調整后，由采樣保持電路(省略圖示)進行采樣保持并由A/D變換器(省略圖示)變換成數(shù)字數(shù)據(jù)，在由色彩處理電路(省略圖示)進行了包含像素插值處理以及Y校正處理在內的色彩處理的處理后，生成數(shù)字值的亮度信號Y以及色差信號Cb、Cr(YUV數(shù)據(jù))。[0046]從色彩處理電路輸出的亮度信號Y以及色差信號Cb、Cr經(jīng)由未圖示的DMA控制器被DMA轉發(fā)至用作緩沖存儲器的存儲器4。[0047]存儲器4例如由DRAM(DynamicRandomAccessMemory)等構成，臨時存放由圖像處理部6或中央控制部9等處理的數(shù)據(jù)等。[0048]記錄介質控制部5構成為可對記錄介質M裝卸自由，并對來自所安裝的記錄介質M的數(shù)據(jù)的讀出或到記錄介質M的數(shù)據(jù)的寫入進行控制。[0049]S卩，記錄介質控制部5從記錄介質M讀出遵照規(guī)定的編碼方式(例如,JPEG形式、動態(tài)JPEG形式、MPEG形式等)進行了編碼后的靜止圖像的圖像數(shù)據(jù)或由多個圖像幀構成的運動圖像的圖像數(shù)據(jù)并轉發(fā)至圖像處理部6。[0050]此外，記錄介質M例如由非易失性存儲器(閃速存儲器)等構成，但這只是一例，并不限于此，能酌情任意變更。[0051]圖像處理部6具備:第I合成圖像生成部6a、圖像取得部6b、分量分離部6c、第I生成部6d、增強量取得部6e、像素值校正部6f、校正量調整部6g、高頻分量取得部6h、第I數(shù)據(jù)構成控制部61、第2生成部6j、以及數(shù)據(jù)合成部6k。[0052]此外，圖像處理部6的各部例如由規(guī)定的邏輯電路構成，但該構成只是一例，并不限于此。[0053]第I合成圖像生成部6a生成使動態(tài)范圍擴大而成的HDR合成圖像(參照圖4D)。[0054]g卩，第I合成圖像生成部(像素相加單元)6a進行控制，以便對由攝像控制部2控制而得到的多個圖像數(shù)據(jù)進行像素相加，來生成使動態(tài)范圍擴大而成的圖像數(shù)據(jù)。具體而言，第I合成圖像生成部6a從存儲器4取得在大致相等的構圖中使曝光條件(例如，曝光適度、曝光不足、曝光過度等)不同而多次拍攝到的圖像數(shù)據(jù)，并對這些圖像數(shù)據(jù)的對應的像素的亮度分量彼此進行相加，從而生成使動態(tài)范圍擴大了的HDR合成圖像的圖像數(shù)據(jù)(YUV數(shù)據(jù))。[0055]此外，生成HDR合成圖像的圖像數(shù)據(jù)的處理是公知的技術，故在此省略詳細的說明。[0056]圖像取得部6b取得作為圖像增強處理(后述)的處理對象的圖像。[0057]S卩，圖像取得部(取得單元)6b取得作為處理對象的圖像的圖像數(shù)據(jù)。具體而言，圖像取得部6b取得由第I合成圖像生成部6a生成的HDR合成圖像的圖像數(shù)據(jù)。例如，圖像取得部6b從存儲器4取得由第I合成圖像生成部6a生成的HDR合成圖像的圖像數(shù)據(jù)(YUV數(shù)據(jù))的復制，或者取得記錄介質M中所記錄的HDR合成圖像的圖像數(shù)據(jù)的復制。[0058]此外，后述的圖像處理部6所執(zhí)行的各處理既可以對HDR合成圖像的圖像數(shù)據(jù)自身進行，也可以根據(jù)需要對將HDR合成圖像的圖像數(shù)據(jù)以規(guī)定的比率縮小后的規(guī)定尺寸(例如，VGA尺寸等)的縮小圖像數(shù)據(jù)進行。[0059]分量分尚部6c對作為處理對象的圖像的分量進行分尚。[0060]S卩，分量分離部(分離單元)6c將由圖像取得部6b取得的規(guī)定的顏色空間的圖像數(shù)據(jù)分離成每個分量。具體而言，分量分離部6c例如將由圖像取得部6b取得的HDR合成圖像的圖像數(shù)據(jù)分離成亮度分量(亮度值)Y_hdr(參照圖5)和色差分量U_hdr、V_hdr后進行輸出。[0061]此外，盡管分離成亮度分量(亮度值)Y_hdr和色差分量U_hdr、V_hdr，但這只是一例，并不限于此，能酌情任意地變更，例如，可以在RGB顏色空間中分離成各顏色分量。[0062]第I生成部6d生成以多級的各分辨率進行了平滑化后的多級的像素值。即，第I生成部(第I生成單元)6d對由圖像取得部6b取得的作為處理對象的圖像的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值。具體而言，第I生成部6d使用高斯金字塔(GaussianPyramid),對由圖像取得部6b取得且由分量分離部6c分離出的HDR合成圖像的亮度分量(亮度值)Y_hdr反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值。[0063]例如，第I生成部6d對HDR合成圖像的亮度分量Y_hdr逐次反復執(zhí)行平滑化處理以及分辨率縮小處理，來生成亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]。也就是，該高斯金字塔越往上位的階層(更大值的段)去就越被更小地平滑化，從而越表現(xiàn)出亮度分量Y_hdr的全局性的對比度。[0064]接著，第I生成部6d使用邊緣保存型濾波器來按亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的各級的每一級進行平滑化，生成η段的平滑化高斯金字塔Y_G_pyramid_lpf[η](參照圖5)。在此，通過使用邊緣保存型濾波器，來僅對更小的振幅進行平滑化。[0065]由此，在像素值校正部6f所執(zhí)行的像素值的校正(后述)中，關于平坦部，頻帶處于更低頻的細節(jié)將被增強，例如，大的云的立體感的演出等、動態(tài)的對比度增強表現(xiàn)變得可能。另外，即使高斯金字塔的段數(shù)η少，也能使頻帶處于低頻的細節(jié)易于增強。[0066]此外，生成高斯金字塔的處理是公知的技術，故在此省略詳細的說明。[0067]增強量取得部6e取得多級的各分辨率的每一個分辨率的像素值的增強量。[0068]即，增強量取得部(第2取得單元)6e基于由圖像取得部6b取得的處理對象的圖像的圖像數(shù)據(jù)的像素值與由第I生成部6d生成的各級的每一級的像素值之間的差分，來取得各級的每一級的像素值的增強量。[0069]具體而言，增強量取得部6e例如將亮度分量Y_hdr的η段的平滑化高斯金字塔Y_G_pyramid_lpf[η]各自擴大至原始尺寸并返回，來生成η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η](參照圖5)。然后，增強量取得部6e將處理對象的HDR合成圖像的各像素的每一個像素的亮度分量Y_hdr和該亮度分量Y_hdr的η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一個像素的亮度分量分別歸一化至“O”?“I”的范圍的值，并基于它們的差分來取得亮度分量Y_hdr的各級的每一級的增強量。[0070]像素值校正部6f對多級的各分辨率的每一個分辨率的像素值進行校正。[0071]即，像素值校正部(校正單元)6f基于由圖像取得部6b取得的處理對象的圖像的圖像數(shù)據(jù)的像素值與由第I生成部6d生成的各級的每一級的像素值之間的差分，來對按該各級的每一級而取得的圖像數(shù)據(jù)的像素值進行校正。[0072]具體而言，像素值校正部6f例如以由增強量取得部6e取得的亮度分量Y_hdr的多級的各級的每一級的增強量，按該各分辨率的每一個分辨率來進行對亮度分量Y_hdr的像素值進行增強的校正，生成增強了亮度分量Y的細節(jié)后的η段的增強亮度分量Y_detail_up[η](圖5)。由此，像素值校正部6f例如若從η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]當中，使用高分辨率且平滑化級別低的下位段,則成為對頻帶為高頻的細節(jié)進行了增強的結果，另一方面，若使用低分辨率且平滑化級別高的上位段，則成為對頻帶從低頻至高頻的寬的頻帶的細節(jié)進行了增強的結果。[0073]校正量調整部6g調整多級的各分辨率的每一個分辨率的像素值的校正量。[0074]即，校正量調整部(調整單元)6g對像素值校正部6f所執(zhí)行的多級的各分辨率的每一個分辨率的像素值的校正量進行調整。具體而言，校正量調整部6g對由增強量取得部6e取得的亮度分量Y_hdr的多級的各級的每一級的增強級別進行調整(參照圖6)。在此，像素值的校正量的調整例如既可以在預先所規(guī)定的多個校正級別之中以基于用戶所執(zhí)行的操作輸入部8的規(guī)定操作而指定的校正級別來進行，也可以以用戶任意指定的級別來進行。[0075]例如，圖6是表示輸入圖像的亮度值Yin與增強后的輸出圖像的亮度值Yout的對應關系的圖。在圖6的情況下，Detail設定幅度D的基準位置(例如，中心)根據(jù)η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[n]的各像素的每一個像素的亮度分量的值來決定。而且，校正量調整部6g通過使增強級別(增益等級)隨著處理對象的HDR合成圖像的各像素的每一個像素的亮度分量Y_hdr與該亮度分量Y_hdr的η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η]的各像素的每一個像素的亮度分量之間的差分越小而越大，從而在亮度分量Y當中，成為振幅越小的細節(jié)(高頻分量含得不多的部分)越被增強的結果，能豐滿地表現(xiàn)細節(jié)。另一方面，在亮度分量Y當中，原本振幅大的細節(jié)(高頻分量含得多的部分)不會被增強，因此能抑制不需要的增強。[0076]此外，盡管若拓寬Detail設定幅度D，則對于高頻分量也能得到高的增強效果，但會成為明暗差大的部分中的過沖(overshoot)或下沖(undershoot)發(fā)生的原因。[0077]高頻分量取得部6h針對多級的各級的每一級的像素值取得高頻分量。[0078]即，高頻分量取得部(第3取得單元)6h針對由像素值校正部6f校正后的各級的每一級的亮度分量Y，以多級的分辨率來取得高頻分量。具體而言，高頻分量取得部6h使用拉普拉斯金字塔(LaplacianPyramid),針對多級的各級的每一級的亮度分量Y來取得高頻分量。[0079]例如，高頻分量取得部6h針對由像素值校正部6f生成的η段的增強亮度分量Υ_detail_up[n]的各個，生成η段的拉普拉斯金字塔。也就是，高頻分量取得部6h生成將η段的增強亮度分量Y_detail_up[n]的各個設為各組的、η段Xn組的拉普拉斯金字塔Y_L_pyramid_detail_up[η][η](參照圖7)。[0080]此外，生成拉普拉斯金字塔的處理是針對η段的增強亮度分量Y_detail_up[n]的各段來生成高斯金字塔并在相鄰的段彼此之間取差分的公知的技術，故在此省略詳細的說明。[0081]第I數(shù)據(jù)構成控制部6i構成對像素值進行了增強后的圖像數(shù)據(jù)。[0082]S卩，第I數(shù)據(jù)構成控制部(控制單元)6i進行控制，以便利用具有由像素值校正部6f校正后的像素值的各級的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，來構成對所取得的圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。具體而言，第I數(shù)據(jù)構成控制部6i進行控制，以便從由高頻分量取得部6h取得的多級的高頻分量當中確定與由像素值校正部6f校正后的像素值的分辨率相應的高頻分量，來構成對像素值進行了增強后的圖像數(shù)據(jù)。[0083]例如，第I數(shù)據(jù)構成控制部6i從由高頻分量取得部6h取得的η段Xn組的拉普拉斯金字塔Y_L_pyramid_detail_up[n][η]的各組中各選擇I段階層圖像(亮度分量Y)，來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η](參照圖7)。在此,作為選擇方法，按各組的每個組來選擇與組的值相同的值的段的階層圖像。例如，第I數(shù)據(jù)構成控制部6i從2組的Y_L_pyramid_detail_up[n][2]中選擇第2段的階層圖像Y_L_pyramid_detail_up[2][2]。最后,第I數(shù)據(jù)構成控制部6i取得η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像的復制，合并至最上位段，來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]。[0084]由此，η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]當中，在下位層，保存有在像素值校正部6f所執(zhí)行的像素值的校正中使用η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η]的下位層進行了增強后的頻帶為高頻的細節(jié)分量。另外,在中位層，保存從使用η段的尺寸重調平滑化高斯金字塔Y_G_pyrami_lpf_rsz[η]的中位層進行了增強后的頻帶為中頻?高頻的細節(jié)分量之中僅提取了與中頻對應的部分后的細節(jié)分量。另外，在上位層，保存從使用η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η]的上位層進行了增強后的頻帶為低頻?高頻的細節(jié)分量之中僅提取了與低頻對應的部分后的細節(jié)分量。也就是，在像素值校正部6f所執(zhí)行的像素值的校正中增強后的各種頻帶的細節(jié)分量按照不使頻帶重疊的方式被保存至η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]。[0085]另外,第I數(shù)據(jù)構成控制部6i重構η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]來生成亮度分量Y_final(亮度圖像數(shù)據(jù))(參照圖7)。例如，第I數(shù)據(jù)構成控制部6i使用從上位段的階層圖像起依次反復“擴大”以及“添加”的過程的一般的手法，來重構拉普拉斯金字塔Y_L_pyramid_final[η],使亮度分量Y_final得以完成。[0086]第2生成部6j生成對色差分量進行了增強后的色差圖像數(shù)據(jù)。[0087]即，第2生成部(第2生成單元)6j基于由第I數(shù)據(jù)構成控制部6i構成的圖像數(shù)據(jù)中的亮度值的增強程度，來生成對由分量分離部6c分離出的色差分量U_hdr、V_hdr進行了增強后的色差圖像數(shù)據(jù)。具體而言，第2生成部6j例如以與由增強量取得部6e取得的亮度分量Y_hdr的增強量大致相等的程度來對色差分量U_hdr、V_hdr的值進行放大，來使色差分量1打1^1、￥_打1^1(色差圖像數(shù)據(jù))完成(省略圖示)。[0088]在此，亮度分量Y_hdr的增強量既可以是該亮度分量Y_hdr的多級的各級的每一級的增強量當中與任一級對應的增強量，也可以是通過基于與多級對應的增強量進行規(guī)定的運算所計算出的增強量。[0089]數(shù)據(jù)合成部6k對亮度圖像數(shù)據(jù)與色差圖像數(shù)據(jù)進行合成。[0090]即，數(shù)據(jù)合成部(合成單元)6k對由第I數(shù)據(jù)構成控制部6i構成的亮度分量Y_final和由第2生成部6j生成的色差分量U_final、V_final進行合成，來生成圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)(參照圖8A)。[0091]顯示部7具備:顯示面板7a、以及顯示控制部7b。[0092]顯示面板7a在顯示畫面內顯示圖像。此外，作為顯示面板7a，例如可列舉液晶顯示面板或有機EL顯示面板等，但這只是一例，并不限于此。[0093]顯示控制部7b進行如下控制:讀出臨時存儲在存儲器4中的顯示用的圖像數(shù)據(jù)，基于由圖像處理部6解碼出的規(guī)定尺寸的圖像數(shù)據(jù)，來使規(guī)定的圖像顯示于顯示面板7a的顯不畫面。具體而言，顯不控制部7b具備:VRAM(VideoRandomAccessMemory)、VRAM控制器、以及數(shù)字視頻編碼器等(均省略圖示)。而且，數(shù)字視頻編碼器經(jīng)由VRAM控制器從VRAM以規(guī)定的重放幀頻(例如，30fps)讀出由圖像處理部6解碼且被存儲至VRAM的亮度信號Y以及色差信號Cb、Cr,并基于這些數(shù)據(jù)產(chǎn)生視頻信號且輸出至顯示面板7a。[0094]例如，顯示控制部7b在靜止圖像攝像模式或運動圖像攝像模式下，將通過攝像部I以及攝像控制部2所執(zhí)行的被攝體的拍攝而生成的多個幀圖像以規(guī)定的幀頻逐次更新的同時使實時顯示圖像G顯示于顯示面板7a。另外，顯示控制部7b使作為靜止圖像被記錄的圖像(記錄瀏覽圖像)顯示于顯示面板7a，或使作為運動圖像的記錄中的圖像顯示于顯示面板7a。[0095]操作輸入部8用于進行該攝像裝置100的規(guī)定操作。具體而言，操作輸入部8具備:被攝體的攝像指示所涉及的快門按鈕、攝像模式或功能等的選擇指示所涉及的選擇決定按鈕、以及變焦量的調整指示所涉及的變焦按鈕等(均省略圖示)的操作部，按照該操作部的各按鈕的操作來將規(guī)定的操作信號輸出至中央控制部9。[0096]中央控制部9對攝像裝置100的各部進行控制。具體而言，盡管省略圖示，但中央控制部9具備CPU(CentralProcessingUnit)等,遵照攝像裝置100用的各種處理程序(省略圖示)來進行各種控制動作。[0097]<攝像處理>[0098]接下來，參照圖2?圖8A?8F來說明攝像裝置100所執(zhí)行的攝像處理。[0099]圖2是表示攝像處理所涉及的動作的一例的流程圖。[0100]攝像處理是在基于用戶所執(zhí)行的操作輸入部8的選擇決定按鈕的規(guī)定操作，從顯示于菜單畫面的多個動作模式之中選擇指示了增強圖像攝像模式的情況下，在中央控制部9的控制下由該攝像裝置100的各部執(zhí)行的處理。[0101]如圖2所示，首先，中央控制部9的CPU基于用戶所執(zhí)行的操作輸入部8的快門按鈕的規(guī)定操作來判定是否輸入了攝像指示(步驟Si)。步驟SI中的是否輸入了攝像指示的判定直到被判定為輸入了該攝像指示為止(步驟Si;“是”)以規(guī)定的時間間隔反復執(zhí)行。[0102]若在步驟SI中判定為輸入了攝像指示(步驟SI;“是”)，則中央控制部9的CPU對攝像控制部2輸出攝像控制指令,攝像控制部2控制攝像部I使其在改變曝光條件的同時連續(xù)地拍攝多張圖像(步驟S2;參照圖4A?4C)。具體而言，攝像控制部2例如以曝光適度作為基準值，對快門速度、信號放大率或光圈值等進行控制，以便相對于該基準值成為曝光不足以及曝光過度，并以固定了焦距的狀態(tài)使攝像部I連續(xù)拍攝大致相等的構圖的多張(例如，3張等)圖像。然后，圖像數(shù)據(jù)生成部3生成連續(xù)拍攝到的各圖像的圖像數(shù)據(jù)，并輸出至存儲器4。[0103]接下來，圖像處理部6的第I合成圖像生成部6a從存儲器4取得連續(xù)拍攝到的各圖像的圖像數(shù)據(jù)，并對這些圖像數(shù)據(jù)的對應的像素的亮度分量彼此進行相加，來生成使圖4D圖示的動態(tài)范圍擴大了的HDR合成圖像的圖像數(shù)據(jù)(YUV數(shù)據(jù))(步驟S3)。[0104]接著，圖像處理部6進行增強HDR合成圖像的細節(jié)以及對比度的圖像增強處理(參照圖3)(步驟S4)。[0105]以下，參照圖3來說明圖像增強處理。圖3是表示圖像增強處理所涉及的動作的一例的流程圖。[0106]如圖3所示，首先，圖像處理部6的圖像取得部6b取得由第I合成圖像生成部6生成的HDR合成圖像的圖像數(shù)據(jù)的復制，分量分離部6c將HDR合成圖像的圖像數(shù)據(jù)分離成亮度分量(亮度值)Y_hdr(參照圖5)和色差分量U_hdr、V_hdr(步驟SII)。[0107]接下來，第I生成部6d對HDR合成圖像的亮度分量Y_hdr逐次反復執(zhí)行平滑化處理以及分辨率縮小處理，來生成亮度分量Y_hdr的η段的高斯金字塔G_pyramid[n](步驟S12)。接著，第I生成部6d按亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的各級的每一級進行平滑化，來生成η段的平滑化高斯金字塔Y_G_pyramid_lpf[η](步驟S13；參照圖5)。[0108]接下來，增強量取得部6e將由第I生成部6d生成的亮度分量Y_hdr的η段的平滑化高斯金字塔Y_G_pyramid_lpf[n]的各個恢復成原始尺寸,來生成η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η](步驟S14;參照圖5)。接著,增強量取得部6e將HDR合成圖像的各像素的每一個像素的亮度分量Y_hdr和該亮度分量Y_hdr的η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η]的各像素的每一個像素的亮度分量分別歸一化至“O”?“I”的范圍的值，并基于它們的差分來取得亮度分量Y_hdr的各級的每一級的增強量(步驟S15)。[0109]接下來，像素值校正部6f基于由增強量取得部6e取得的亮度分量Y_hdr的多級的各級的每一級的增強量，按各分辨率的每一個分辨率來校正亮度分量Y_hdr，生成η段的增強亮度分量Y_detail_up[n](步驟S16;參照圖5)。[0110]接下來，高頻分量取得部6h生成將由像素值校正部6f生成的η段的增強亮度分量Y_detail_up[η]的各個作為各組的、η段Xη組的拉普拉斯金字塔Y_L_pyramid_detail_up[η][η](步驟S17;參照圖7)。[0111]接下來，第I數(shù)據(jù)構成控制部6i從由高頻分量取得部6h取得的η段Xn組的拉普拉斯金字塔Y_L_pyramid_detail_up[n][η]的各組中各選擇I段的階層圖像(亮度分量Y)，而且將η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像的復制合并至最上位段，來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η](步驟S18;參照圖7)。接著，第I數(shù)據(jù)構成控制部6i從η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]的上位段的階層圖像起依次進行“擴大”以及“添加”等來重構，從而生成亮度分量Y_final(步驟S19;參照圖7)。[0112]接下來，第2生成部6j以與由增強量取得部6e取得的亮度分量Y_hdr的增強量大致相等的程度來對色差分量U_hdr、V_hdr的值進行放大，來生成色差分量U_final、V_final(步驟S20)。[0113]接著，數(shù)據(jù)合成部6k對亮度分量Y_final與色差分量U_final、V_final進行合成，來生成圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)(步驟S21;參照圖8A)。然后，圖像處理部6將圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)以規(guī)定的壓縮形式進行編碼，并輸出至存儲器4。[0114]回到圖2，記錄介質控制部5從存儲器4取得編碼處理后的圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)，并使其記錄至記錄介質M的規(guī)定的保存區(qū)域(步驟S5)。[0115]由此，結束攝像處理。[0116]如上所述，根據(jù)實施方式I的攝像裝置100，能基于取得圖像的圖像數(shù)據(jù)的像素值(例如，亮度值)與以多級的各分辨率對取得圖像的圖像數(shù)據(jù)進行了平滑化后的多級的像素值之間的差分，來對按該各級的每一級所取得的圖像數(shù)據(jù)的像素值進行校正，利用具有校正后的像素值的各級的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，來構成對所取得的圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。[0117]具體而言，使用高斯金字塔來對取得圖像的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，能生成以多級的各分辨率進行了平滑化后的多級的像素值。此時，能以多級的各分辨率使用邊緣保存型濾波器來進行平滑化，能以更少的段數(shù)易于增強低頻帶的對比度。另外，能基于取得圖像的圖像數(shù)據(jù)的像素值與以多級的各分辨率對取得圖像的圖像數(shù)據(jù)進行了平滑化后的多級的像素值之間的差分，來取得各級的每一級的像素值的增強量，進行以所取得的增強量來對按該各級的每一級所取得的圖像數(shù)據(jù)的像素值進行增強的校正。另外，能使用拉普拉斯金字塔，針對校正后的各級的每一級的像素值，以多級的分辨率來取得高頻分量，并能從所取得的多級的高頻分量當中確定與校正后的像素值的分辨率相應的高頻分量，來構成對像素值進行了增強后的圖像數(shù)據(jù)。[0118]因此，能提高針對取得圖像的圖像處理所涉及的頻率的分解級別，不僅對與取得圖像的細節(jié)部(參照圖8C以及圖D)相對應的圖像區(qū)域，而且對與對比度差異不明顯的平坦部(例如，云；參照圖8E以及圖8F)相對應的圖像區(qū)域也能實施比現(xiàn)有技術更適當?shù)脑鰪娞幚?，由此，能與取得圖像的對比度之差的大小無關地進行適當?shù)膱D像處理。[0119]此外，圖8C以及圖8E示出了實施現(xiàn)有的圖像處理后的圖像，圖8D以及圖8F示出了實施本實施方式所涉及的圖像增強處理后的圖像。[0120]另外，由于能對平滑化后的多級的像素值的校正量進行調整，因此能以用戶期望的校正程度來對多級的像素值進行校正，能使圖像處理完畢圖像的細節(jié)以及對比度的增強的程度得以變更。[0121]另外，由于基于亮度值的增強程度來生成對色差分量進行了增強后的色差圖像數(shù)據(jù)，并對增強了亮度值后的亮度圖像數(shù)據(jù)與色差圖像數(shù)據(jù)進行合成，因此不僅使取得圖像的亮度還使彩度得以增強，從而能使圖像處理完畢圖像的細節(jié)以及對比度的表現(xiàn)力得以提聞。[0122]另外，通過使用對將大致相等的構圖的圖像的明度變更成多級后的圖像進行像素相加來使動態(tài)范圍擴大而成的圖像數(shù)據(jù)作為取得圖像的圖像數(shù)據(jù)，能更適當?shù)剡M行伴隨圖像處理完畢圖像的動態(tài)范圍的擴大的表現(xiàn)。具體而言，能對通過在對攝像部I改變曝光條件的同時以大致相等的構圖來進行多次拍攝那樣的控制而得到的多個圖像數(shù)據(jù)進行像素相加，從而生成使動態(tài)范圍擴大而成的圖像數(shù)據(jù)。[0123][實施方式2][0124]以下，說明實施方式2的攝像裝置200。[0125]實施方式2的攝像裝置200除了以下詳細說明的點以外與上述實施方式I的攝像裝置100具有大致相同的構成，故省略詳細的說明。[0126]圖9是表示應用了本發(fā)明的實施方式2的攝像裝置200的概略構成的框圖。[0127]如圖9所示，實施方式2的攝像裝置200的圖像處理部206具備:第2合成圖像生成部206a、圖像取得部6b、分量分離部6c、第I生成部6d、增強量取得部6e、像素值校正部6f、校正量調整部6g、高頻分量取得部6h、高亮區(qū)域信息取得部2061、第2數(shù)據(jù)構成控制部2061、第2生成部6j、以及數(shù)據(jù)合成部6k。[0128]此外，圖像取得部6b、分量分離部6c、第I生成部6d、增強量取得部6e、像素值校正部6f、校正量調整部6g、高頻分量取得部6h、第2生成部6j、數(shù)據(jù)合成部6k具有與實施方式I的攝像裝置100所具備的相應部件大致相同的構成以及處理，故在此省略詳細的說明。[0129]第2合成圖像生成部206a與實施方式I的攝像裝置100所具備的第I合成圖像生成部6a同樣，生成使動態(tài)范圍擴大而成的HDR合成圖像(參照圖4D)。[0130]以下，參照圖10來詳細說明第2合成圖像生成部206a。[0131]圖10是表示第2合成圖像生成部206a的概略構成的框圖。[0132]如圖10所示，第2合成圖像生成部206a具備:亮度色差分離部2061、LPF部2062、ε濾波器部2063、鉗位/增益調整部2064、合成用圖(synthesismap)生成部2065、以及HDR合成部2066。[0133]亮度色差分離部2061從存儲器4取得曝光適度、曝光不足、以及曝光過度的各圖像數(shù)據(jù)，分離成亮度分量數(shù)據(jù)和色差分量數(shù)據(jù)，并輸出至HDR合成部2066。[0134]另外，亮度色差分離部2061生成曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)的復制，并輸出至LPF部2062以及ε濾波器部2063。[0135]LPF部2062進行對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)實施低通濾波的平均處理。[0136]即，LPF部(信息圖像生成單元)2062生成表示由攝像控制部2控制得到的多個圖像數(shù)據(jù)當中的任一個圖像數(shù)據(jù)(在本實施方式中為曝光適度的圖像數(shù)據(jù))的全局性的亮度分量的趨勢的信息圖像(灰度圖像:gradationimage)。具體而言，LPF部2062對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)施加低通濾波，生成與該圖像整體的全局性的亮度梯度(明度的趨勢)相關的灰度圖像，并輸出至鉗位/增益調整部2064以及合成用圖生成部2065。[0137]ε濾波器部2063對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)進行用于將該數(shù)據(jù)平滑化來去除噪聲的ε濾波的處理。然后，ε濾波器部2063將平滑化后的亮度分量數(shù)據(jù)輸出至合成用圖生成部2065。[0138]鉗位/增益調整部2064針對灰度圖像的規(guī)定亮度范圍進行使亮度值提高的處理。即，鉗位/增益調整部2064進行如下處理:一方面隨著增大亮度值的鉗位(減法)級別來減小對灰度圖像的陰影部的影響，另一方面隨著增大亮度值的增益級別來增大對灰度圖像的聞売部的影響。[0139]由此，針對由HDR合成部2066生成的HDR合成圖像的動態(tài)的對比度增強表現(xiàn)成為可能。[0140]合成用圖生成部2065生成對曝光適度、曝光不足、以及曝光過度的各圖像數(shù)據(jù)的像素相加比率進行調整的合成用圖。[0141]S卩，合成用圖生成部(比率調整單元)2065使用由LPF部2062生成的信息圖像(灰度圖像)，來對該HDR合成部(像素相加單元)2066所執(zhí)行的多個圖像數(shù)據(jù)的像素相加比率進行調整。具體而言,合成用圖生成部2065對由LPF部2062生成的灰度圖像的圖像數(shù)據(jù)、由ε濾波器部2063平滑化后的亮度分量數(shù)據(jù)、以及由鉗位/增益調整部2064實施了針對規(guī)定亮度范圍提高亮度值的處理后得到的灰度圖像的圖像數(shù)據(jù)進行融合(blending)(以像素級別進行合成)，來生成合成用圖。[0142]HDR合成部2066遵照由合成用圖生成部2065生成的合成用圖，來對曝光適度、曝光不足、以及曝光過度的各圖像數(shù)據(jù)進行合成。即，HDR合成部2066分別地，針對亮度值低的區(qū)域(黑色區(qū)域)設定以曝光過度的圖像數(shù)據(jù)為主的混合的比例，另外，針對灰色區(qū)域設定以曝光適度的圖像數(shù)據(jù)為主的混合的比例，另外，針對亮度值高的區(qū)域(白色區(qū)域)設定以曝光不足的圖像數(shù)據(jù)為主的混合的比例，來生成使動態(tài)范圍擴大了的HDR合成圖像的圖像數(shù)據(jù)。[0143]另外，針對曝光適度、曝光不足、以及曝光過度的各自的亮度分量數(shù)據(jù)以及色差分量數(shù)據(jù)單獨進行HDR合成部2066中的上述的生成，其后，對合成后的亮度分量數(shù)據(jù)與色差分量數(shù)據(jù)進行合成。[0144]高亮區(qū)域信息取得部2061取得用于剪輯亮度分量數(shù)據(jù)的高亮區(qū)域的剪輯表Tl(參照圖11)。[0145]即，高亮區(qū)域信息取得部(信息取得單元)2061取得根據(jù)由第I生成部6d生成的各級的每一級的像素值當中的一個對圖像數(shù)據(jù)的高亮區(qū)域進行確定的信息。具體而言，高亮區(qū)域信息取得部2061從規(guī)定的保存單元(例如，存儲器4等)取得剪輯表Tl，該剪輯表Tl用于確定從由第I生成部6d生成的亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[η]的第η段的階層圖像，也就是，從分辨率最低的金字塔生成的亮度分量數(shù)據(jù)的聞売區(qū)域。[0146]剪輯表Tl是用于進行以下調整的表:使在亮度分量Y_hdr的η段的高斯金字塔￥_G_pyramid[n]的第η段的階層圖像中，關于存在以256級來表征的濃度(亮度級別)當中的127以上的明度的區(qū)域不會變得更明亮。[0147]此外,盡管例示了亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像來作為利用了剪輯表Tl的剪輯處理的對象，但這只是一例，并不限于此，例如，能酌情任意地變更第η段以外的階層圖像等。[0148]第2數(shù)據(jù)構成控制部206i與實施方式I的攝像裝置100所具備的第I數(shù)據(jù)構成控制部6i同樣地，構成增強了像素值后的圖像數(shù)據(jù)。[0149]即，第2數(shù)據(jù)構成控制部206i進行如下控制:即，除了具有由像素值校正部6f校正后的像素值的各級的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，還對使用由高亮區(qū)域信息取得部2061取得的剪輯表Tl來使亮度分量Y_hdr的η段的高斯金字塔Υ_G_pyramid[n]的第η段的階層圖像中的規(guī)定以上的明度的區(qū)域的明度減少了的數(shù)據(jù)進行利用，來構成對所取得的圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。[0150]具體而言，例如，第2數(shù)據(jù)構成控制部206i與第I數(shù)據(jù)構成控制部6i同樣地，從由高頻分量取得部6h取得的η段Xη組的拉普拉斯金字塔Y_L_pyramid_detail_up[η][η]的各組中各選擇I段的階層圖像(亮度分量Y)，來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η](參照圖7)。此時,第2數(shù)據(jù)構成控制部206i取得亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像的復制，使用剪輯表Tl來進行變換亮度值的處理，由此生成使存在該階層圖像的規(guī)定以上(256級當中的127以上)的明度的區(qū)域的明度減少了的高亮剪輯圖像。然后，第2數(shù)據(jù)構成控制部206i將所生成的高亮剪輯圖像合并至最上位段，來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]。[0151]高亮剪輯圖像是對于亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像使亮度值為規(guī)定以上的區(qū)域的亮度值下降后的圖像。由此，第2數(shù)據(jù)構成控制部206i在重構η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]時,能抑制亮度分量Y_final(參照圖7)被整體性地朝明亮進行增強。[0152]〈攝像處理〉[0153]接下來，參照圖2來說明實施方式2的攝像裝置200所執(zhí)行的攝像處理。[0154]該攝像處理除了以下詳細說明的點以外與上述實施方式I的攝像裝置100所執(zhí)行的攝像處理大致相同，故省略詳細的說明。[0155]即，與上述實施方式I的攝像處理大致同樣地，若在步驟SI中判定為輸入了攝像指示(步驟SI;“是”)，則中央控制部9的CPU對攝像控制部2輸出攝像控制指令，攝像控制部2對攝像部I進行控制以便在改變曝光條件的同時使其連續(xù)拍攝多張圖像(步驟S2；參照圖4A~4C)。[0156]接下來，圖像處理部206的第2合成圖像生成部206a從存儲器4中取得連續(xù)拍攝到的各圖像的圖像數(shù)據(jù)，并對這些圖像數(shù)據(jù)的對應的像素的亮度分量彼此進行相加，從而生成使動態(tài)范圍擴大了的HDR合成圖像的圖像數(shù)據(jù)(YUV數(shù)據(jù))(步驟S3)。[0157]具體而言，第2合成圖像生成部206a的亮度色差分離部2061從存儲器4中取得曝光適度、曝光不足、以及曝光過度的各圖像數(shù)據(jù)，分離成亮度分量數(shù)據(jù)和色差分量數(shù)據(jù)，輸出至HDR合成部2066，而且生成曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)的復制，并輸出至LPF部2062以及ε濾波器部2063。[0158]然后，LPF部2062對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)進行施加低通濾波的平均處理，來生成與圖像整體的全局性的亮度梯度相關的灰度圖像，并輸出至鉗位/增益調整部2064以及合成用圖生成部2065。[0159]另外，ε濾波器部2063對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)進行施加ε濾波的處理，并將平滑化后的亮度分量數(shù)據(jù)輸出至合成用圖生成部2065。[0160]接下來，鉗位/增益調整部2064針對灰度圖像的規(guī)定亮度范圍進行提高亮度值的處理。[0161]然后，合成用圖生成部2065對灰度圖像的圖像數(shù)據(jù)、平滑化后的亮度分量數(shù)據(jù)、以及針對規(guī)定亮度范圍施加了提高亮度值的處理后得到的灰度圖像的圖像數(shù)據(jù)進行融合，來生成合成用圖。[0162]其后，HDR合成部2066遵照由合成用圖生成部2065生成的合成用圖，對曝光適度、曝光不足、以及曝光過度的各圖像數(shù)據(jù)進行合成，來生成使動態(tài)范圍擴大了的HDR合成圖像的圖像數(shù)據(jù)。[0163]接著，圖像處理部206進行對HDR合成圖像的細節(jié)以及對比度進行增強的圖像增強處理(參照圖3)(步驟S4)。[0164]圖像增強處理除了以下詳細說明的點以外與上述實施方式I的圖像增強處理大致相同，故省略詳細的說明。[0165]S卩，圖像處理部206與上述實施方式I的圖像增強處理大致同樣地，進行步驟Sll?S17的各處理。然后，在步驟S18中，在高亮區(qū)域信息取得部2061取得了對亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[n]的第η段的階層圖像的高亮區(qū)域進行確定的剪輯表Tl后，第2數(shù)據(jù)構成控制部206i取得亮度分量Y_hdr的η段的高斯金字塔Y_G_pyramid[η]的第η段的階層圖像的復制，使用剪輯表Tl來進行變換亮度值的處理，由此來生成使存在該階層圖像的規(guī)定以上(256級當中的127以上)的明度的區(qū)域的明度減少了的高亮剪輯圖像。然后，第2數(shù)據(jù)構成控制部206i從由高頻分量取得部6h取得的η段Xn組的拉普拉斯金字塔Y_L_pyramid_detail_up[n][η]的各組中各選擇I段的階層圖像(亮度分量Y)，而且將高亮剪輯圖像合并至最上位段，由此生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]。[0166]其后，圖像處理部206通過與上述實施方式I的圖像增強處理大致同樣地進行步驟S19?S21的各處理，來生成圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)。[0167]回到圖2，與上述實施方式I的攝像處理大致同樣地，記錄介質控制部5從存儲器4取得編碼處理后的圖像處理完畢圖像HDR_final的圖像數(shù)據(jù)，并使其記錄至記錄介質M的規(guī)定的保存區(qū)域(步驟S5)。[0168]由此，結束實施方式2的攝像裝置200所執(zhí)行的攝像處理。[0169]如上所述，根據(jù)實施方式2的攝像裝置200，由于使用與圖像整體的全局性的亮度梯度(明度的趨勢)相關的灰度圖像來對多個圖像數(shù)據(jù)的像素相加比率進行調整，因此能使圖像整體的全局性的灰度(gradation)僅對合成用圖的高亮部適用。另外，除了具有校正后的像素值的各級的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，還能對使用剪輯表Tl來使圖像數(shù)據(jù)中的規(guī)定以上的明度的區(qū)域的明度減少了的數(shù)據(jù)(高亮剪輯圖像)進行利用，來構成對所取得的圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)，從而能使圖像處理完畢圖像HDR_final中的高亮部(例如，空處等)的明度降低，使該高亮部的顏色的深度得到增強。[0170]因此,能在將因圖像處理完畢圖像HDR_final中的陰影部的暗部欠曝(blockedupshadows)所引起的動態(tài)范圍的下降這樣的影響抑制到最小限度的同時，對高亮部實施更動態(tài)的對比度增強表現(xiàn)，其結果，能使高亮部與陰影部的明暗的反轉易于產(chǎn)生，更適當?shù)乇憩F(xiàn)圖像處理完畢圖像HDR_final的非現(xiàn)實感。[0171]此外，盡管在上述實施方式2中，進行了使用灰度圖像來對多個圖像數(shù)據(jù)的像素相加比率進行調整的處理、以及將高亮剪輯圖像合并至最上位段來生成η段的最終的拉普拉斯金字塔Y_L_pyramid_final[η]的處理的兩者,但這只是一例，并不限于此，還可以僅進行任一者，能在將對圖像處理完畢圖像HDR_final中的陰影部的影響抑制到最小限度的同時，對高亮部實施更動態(tài)的對比度增強表現(xiàn)。[0172]另外，在上述實施方式2中，可以不使用灰度圖像，而使用曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)的灰度變換后的圖像數(shù)據(jù)來生成合成用圖。即，進行如下的灰度變換:使用圖12所示的灰度變換表T2，排除成為曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)的規(guī)定的閾值以下的低?中亮度區(qū)域，針對比規(guī)定的閾值更大的中?高亮度區(qū)域使其信息量變?yōu)橐话?。然后，合成用圖生成部2065對曝光適度的圖像數(shù)據(jù)的亮度分量數(shù)據(jù)、由ε濾波器部2063平滑化后的亮度分量數(shù)據(jù)、以及灰度變換處理后的亮度分量數(shù)據(jù)進行融合(以像素級別進行合成)，來生成合成用圖。[0173]由此，由于合成用圖的高亮部的邊緣被整形得清晰，因此對于如在明亮的天空處孤立存在的樹的細枝等那樣明暗的分離較為困難的被攝體，能實施更動態(tài)的對比度增強表現(xiàn)。[0174]另外，本發(fā)明不限于上述實施方式1、2，可以在不脫離本發(fā)明的主旨的范圍內進行各種改良以及設計的變更。[0175]例如，在上述實施方式1、2中，設為了HDR合成圖像的各像素的每一個像素的亮度分量Y_hdr與η段的尺寸重調平滑化高斯金字塔Y_G_pyramid_lpf_rsz[η]的各像素的每一個像素的亮度分量之間的差分越小，則使增強級別越大，但這只是一例，并不限于此，例如，可以設為差分越大，則使增強級別越大。在此情況下，例如能在亮度分量Y當中，對振幅越大的細節(jié)就越進行增強，另一方面，能夠對振幅小的細節(jié)不進行增強。[0176]進而，關于攝像裝置100、200的構成，上述實施方式1、2中例示的構成只是一例，并不限于此。例如，還可以取得由外部的攝像單元拍攝到的圖像來進行圖像增強處理。[0177]此外，盡管在上述實施方式1、2中，設為了在中央控制部9的控制下，通過由圖像取得部6b、第I生成部6d、像素值校正部6f、第I數(shù)據(jù)構成控制部6i進行驅動來實現(xiàn)作為第I取得單元、第I生成單元、校正單元、控制單元的功能的構成，但不限于此，還可以構成為通過由中央控制部9執(zhí)行規(guī)定的程序等來實現(xiàn)的構成。[0178]S卩，在存儲程序的程序存儲器(省略圖示)中存儲包含取得處理例程、生成處理例程、校正處理例程、控制處理例程在內的程序。[0179]而且，可以通過取得處理例程來使中央控制部9的CPU作為取得圖像數(shù)據(jù)的單元來發(fā)揮功能。另外，可以通過生成處理例程使中央控制部9的CPU作為對所取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理來生成以多級的各分辨率進行了平滑化后的多級的像素值的單元發(fā)揮功能。另外，可以通過校正處理例程使中央控制部9的(PU作為基于所取得的圖像數(shù)據(jù)的像素值與所生成的各級的每一級的像素值之間的差分來對按該各級的每一級所取得的圖像數(shù)據(jù)的像素值進行校正的單元發(fā)揮功能。[0180]另外，可以通過控制處理例程使中央控制部9的CPU作為利用具有校正后的像素值的各級的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量來構成對所取得的圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)的單元發(fā)揮功能。[0181]同樣，關于第2取得單元、調整單元、分離單元、第2生成單元、合成單元、攝像控制單元、像素相加單元、第3取得單元、信息取得單元、信息圖像生成單元、比率調整單元,也可以設為通過由中央控制部9的CPU執(zhí)行規(guī)定的程序等來予以實現(xiàn)的構成。[0182]進而，作為保存用于執(zhí)行上述的各處理的程序的計算機可讀取的介質，除了ROM或硬盤等之外，還能應用閃速存儲器等的非易失性存儲器、CD-ROM等的可移動型記錄介質。另外，作為經(jīng)由規(guī)定的通信線路來提供程序的數(shù)據(jù)的介質，還應用載波(輸送波)。[0183]盡管說明了本發(fā)明的幾個實施方式，但本發(fā)明的范圍不限于上述的實施方式，包含權利要求書中記載的發(fā)明的范圍和其均等的范圍?！緳嗬蟆?.一種圖像處理裝置，其特征在于，具備:第I取得單元，其取得圖像數(shù)據(jù)；第I生成單元，其對由該第I取得單元取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值；校正單元，其基于由所述第I取得單元取得的圖像數(shù)據(jù)的像素值與由所述第I生成單元生成的各級中的每一級的像素值之間的差分，按該各級中的每一級來校正所取得的所述圖像數(shù)據(jù)的像素值；以及控制單元，其進行控制，以便利用具有由該校正單元校正后的像素值的各級中的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，來構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備第2取得單元，該第2取得單元基于由所述第I取得單元取得的圖像數(shù)據(jù)的像素值與由所述第I生成單元生成的各級中的每一級的像素值之間的差分，來取得各級中的每一級的像素值的增強量，所述校正單元進行以由所述第2取得單元取得的增強量按該各級中的每一級來增強所取得的所述圖像數(shù)據(jù)的像素值的校正。3.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備調整單元，該調整單元對所述校正單元的校正量進行調整。4.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備信息取得單元，該信息取得單元取得根據(jù)由所述第I生成單元生成的各級中的每一級的像素值當中的一個來確定所述圖像數(shù)據(jù)的高亮區(qū)域的信息，所述控制單元進行控制，以便除了與所述各級的分辨率相應的高頻分量以外，還對使用由所述信息取得單元取得的信息來使所述圖像數(shù)據(jù)中的規(guī)定以上的明度的區(qū)域的明度減少了的數(shù)據(jù)進行利用，構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)。5.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述圖像數(shù)據(jù)的像素值包括亮度值。6.根據(jù)權利要求5所述的圖像處理裝置，其特征在于，還具備:分離單元，其預先將所述圖像數(shù)據(jù)分離成亮度分量和色差分量；第2生成單元，其基于由所述控制單元構成的圖像數(shù)據(jù)中的亮度值的增強程度，來生成對由所述分離單元分離出的色差分量進行了增強后的色差圖像數(shù)據(jù)；以及合成單元，其對由所述控制單元構成的亮度圖像數(shù)據(jù)與由所述第2生成單元生成的色差圖像數(shù)據(jù)進行合成。7.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述圖像數(shù)據(jù)包括以下數(shù)據(jù):對將大致相等的構圖的圖像的明度變更為多級后的圖像進行像素相加來使動態(tài)范圍得以擴大而成的圖像數(shù)據(jù)。8.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備:攝像單元；攝像控制單元，其進行控制，以便在對該攝像單元改變曝光條件的同時以大致相等的構圖來進行多次拍攝；以及像素相加單元，其進行控制，以便對由該攝像控制單元進行控制而得到的多個圖像數(shù)據(jù)進行像素相加，來生成使動態(tài)范圍得以擴大而成的圖像數(shù)據(jù)，所述第I取得單元取得由所述像素相加單元生成的圖像數(shù)據(jù)。9.根據(jù)權利要求8所述的圖像處理裝置，其特征在于，還具備:信息圖像生成單元，其生成表示由所述攝像控制單元進行控制而得到的多個圖像數(shù)據(jù)當中的任一個圖像數(shù)據(jù)的全局性的亮度分量的趨勢的信息圖像；以及比率調整單元，其使用由該信息圖像生成單元生成的信息圖像，來對所述像素相加單元的所述多個圖像數(shù)據(jù)的像素相加比率進行調整。10.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述第I生成單元使用高斯金字塔，對由所述第I取得單元取得的圖像數(shù)據(jù)的像素值反復實施所述平滑化處理以及所述分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值。11.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備第3取得單元，該第3取得單元針對由所述校正單元校正后的各級中的每一級的像素值，以多級的分辨率來取得高頻分量，所述控制單元進行控制，以便確定由所述第3取得單元取得的多級的高頻分量當中、與由所述校正單元校正后的像素值的分辨率相應的高頻分量，來構成對像素值進行了增強后的圖像數(shù)據(jù)。12.根據(jù)權利要求11所述的圖像處理裝置，其特征在于，所述第3取得單元使用拉普拉斯金字塔，針對由所述校正單元校正后的各級中的每一級的像素值，以多級的分辨率來取得高頻分量。13.一種利用了圖像處理裝置的圖像處理方法，其特征在于，包括:取得圖像數(shù)據(jù)的步驟；對所取得的圖像數(shù)據(jù)的像素值反復實施平滑化處理以及分辨率變換處理，來生成以多級的各分辨率進行了平滑化后的多級的像素值的步驟；基于所取得的圖像數(shù)據(jù)的像素值與所生成的各級中的每一級的像素值之間的差分，按該各級中的每一級來校正所取得的所述圖像數(shù)據(jù)的像素值的步驟；以及進行控制，以便利用具有校正后的像素值的各級中的每一級的圖像數(shù)據(jù)的、與各級的分辨率相應的高頻分量，來構成對所取得的所述圖像數(shù)據(jù)的像素值進行了增強后的圖像數(shù)據(jù)的步驟。【文檔編號】H04N5/235GK103685968SQ201310399810【公開日】2014年3月26日申請日期:2013年9月5日優(yōu)先權日:2012年9月5日【發(fā)明者】真鍋佳嗣申請人:卡西歐計算機株式會社