專利名稱：圖像信號處理裝置、圖像信號處理程序、圖像信號處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對來自攝像元件的數(shù)字化的圖像信號進(jìn)行圖像信號 處理的圖像信號處理裝置、圖像信號處理程序、圖像信號處理方法。
背景技術(shù)：
對圖像信號進(jìn)行各種圖像信號處理，其中之一 是灰度轉(zhuǎn)換處理。 該灰度轉(zhuǎn)換處理包含如下處理在圖像信號是數(shù)字化的信號的情況 下，在轉(zhuǎn)換前后比特數(shù)變化的處理和比特數(shù)不變化的處理。其中，例如 在比特數(shù)不變化的處理中，進(jìn)行灰度轉(zhuǎn)換時，產(chǎn)生灰度值被解壓的亮度 區(qū)域和灰度值被壓縮的亮度區(qū)域。而且，灰度值被壓縮的亮度區(qū)域的灰 度特性減弱，特別地，在高亮度區(qū)域中產(chǎn)生白斑，在低亮度區(qū)域中產(chǎn)生 黑斑，其成為畫質(zhì)方面的課題。
針對這種課題，例如在日本特開平5-64075號公報中記載了如下技
術(shù)針對同一攝影場景取得曝光量不同的多個圖像，通過曝光量少的圖 像中的對應(yīng)區(qū)域來置換曝光量多的圖像中的高亮度區(qū)域的技術(shù)，或者， 通過曝光量多的圖像中的對應(yīng)區(qū)域來置換曝光量少的圖像中的低亮度區(qū) 域的技術(shù)。而且，通過使用這種技術(shù)，能夠抑制白斑區(qū)域和黑斑區(qū)域的 產(chǎn)生，并改善畫質(zhì)。
并且，例如在日本專利第3465226號中記載了如下技術(shù)作為空間 變化的灰度轉(zhuǎn)換技術(shù)的一例，對圖像的紋理進(jìn)行解析，根據(jù)解析結(jié)果將 圖像分割為多個區(qū)域，針對每個區(qū)域使用獨立的灰度特性進(jìn)行灰度轉(zhuǎn)換。 由此，即使是明暗比大的場景，也能夠良好地抑制白斑和黑斑區(qū)域。
但是，在日本特開2005-303802號公報中記載了如下技術(shù)估計噪 聲量，根據(jù)估計出的噪聲量進(jìn)行噪聲降低處理。在該公報所記載的噪聲 量的估計技術(shù)中，不僅根據(jù)信號電平來估計噪聲量，而且進(jìn)一步根據(jù)針對攝影而動態(tài)變化的ISO靈敏度，針對每個顏色信號進(jìn)行估計。
但是，在上述日本特開平5-64075號公報所記載的技術(shù)中，由于是 強行合成曝光量不同的多個圖像的技術(shù)，所以，產(chǎn)生灰度的不連續(xù)性。 進(jìn)而，在使用單一攝像元件取得圖像的情況下，必須調(diào)整曝光量并進(jìn)行 多次攝像，所以，在動態(tài)被攝體等的攝影中難以使用。
并且，在上述日本專利第3465226號所記載的技術(shù)中，由于是對所 拍攝的圖像進(jìn)行解析并自動進(jìn)行灰度轉(zhuǎn)換的技術(shù)，所以，無法針對每個 圖像人為地調(diào)整灰度特性，難以像期望的那樣控制改善效果。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而完成的，其目的在于，提供如下的圖像信 號處理裝置、圖像信號處理程序、圖像信號處理方法能夠降低白斑和 黑斑等并改善畫質(zhì)，能夠控制畫質(zhì)改善的程度。
為了達(dá)成上述目的，本發(fā)明的圖像信號處理裝置對來自攝像元件的 數(shù)字化的圖像信號進(jìn)行圖像信號處理，該圖像信號處理裝置具有第1 灰度轉(zhuǎn)換處理單元，其對上述圖像信號進(jìn)行空間變化的灰度轉(zhuǎn)換處理， 由此生成第1圖像信號；第2灰度轉(zhuǎn)換處理單元，其對上述圖像信號進(jìn) 行空間不變的灰度校正處理，由此生成第2圖像信號；以及合成單元，
其對上述第1圖像信號和上述第2圖像信號進(jìn)行合成。
并且，本發(fā)明的圖像信號處理程序用于使計算機對來自攝像元件的 數(shù)字化的圖像信號進(jìn)行圖像信號處理，該圖像信號處理程序用于使計算
機執(zhí)行以下步驟第1灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信 號進(jìn)行空間變化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度轉(zhuǎn) 換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間不變的灰度校正處 理，由此生成第2圖像信號；以及合成步驟，在該步驟中，對上述第1
圖像信號和上述第2圖像信號進(jìn)行合成。
進(jìn)而，本發(fā)明的圖像信號處理方法用于對來自攝像元件的數(shù)字化的
圖像信號進(jìn)行圖像信號處理，該圖像信號處理方法具有以下步驟第1
灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間變化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度轉(zhuǎn)換處理步驟，在該步驟
中，對上述圖像信號進(jìn)行空間不變的灰度校正處理，由此生成第2圖像 信號；以及合成步驟，在該步驟中，對上述第1圖像信號和上述第2圖 像信號進(jìn)行合成。


圖1是示出本發(fā)明的實施方式1的圖像信號處理裝置的結(jié)構(gòu)的框圖。
圖2是示出上述實施方式1的圖像信號判斷部的結(jié)構(gòu)的一例的框圖。
圖3是示出上述實施方式1的Y特性數(shù)據(jù)的線圖。
圖4是示出在上述實施方式1中根據(jù)亮度值來線性改變合成比率 Rlij、 R2ij的例子的線圖。
圖5是示出上述實施方式1的特定亮度區(qū)域檢測部的結(jié)構(gòu)的一例的 框圖。
圖6是示出上述實施方式1的灰度轉(zhuǎn)換部的結(jié)構(gòu)的一例的框圖。
圖7是示出上述實施方式1的合成部的結(jié)構(gòu)的一例的框圖。
圖8是示出在上述實施方式1中根據(jù)亮度值來非線性改變合成比率
Rlij、 R2ij的例子的線圖。
圖9是示出在上述實施方式1中根據(jù)亮度值來線性改變合成比率
Rlij、 R2ij并降低暗部噪聲的例子的線圖。
圖IO是示出上述實施方式1的圖像信號處理程序的處理的流程圖。 圖11是示出上述實施方式1的圖10的步驟S2中的高亮度信號的檢
測處理的詳細(xì)情況的流程圖。
圖12是示出上述實施方式1的圖10的步驟S6中的合成處理的詳細(xì)
情況的流程圖。
圖13是示出本發(fā)明的實施方式2的圖像信號處理裝置的結(jié)構(gòu)的框圖。
圖14是示出上述實施方式2的特定亮度區(qū)域檢測部的結(jié)構(gòu)的一例的 框圖。
圖15是示出上述實施方式2的灰度轉(zhuǎn)換部的結(jié)構(gòu)的一例的框圖。圖16是示出上述實施方式2的第2灰度校正部的結(jié)構(gòu)的一例的框圖。
圖17是示出在上述實施方式2中通過對制圖Y特性數(shù)據(jù)和顯示裝置
用y特性數(shù)據(jù)進(jìn)行合成而得到的丫特性數(shù)據(jù)的線圖。
圖18是示出在上述實施方式2中存在高亮度圖像信號和低亮度圖像
信號雙方時的合成比率的設(shè)定例的線圖。
圖19是示出在上述實施方式2中僅存在低亮度圖像信號時的合成比 率的設(shè)定例的線圖。
圖20是示出在上述實施方式2中僅存在高亮度圖像信號時的合成比 率的設(shè)定例的線圖。
圖21是示出上述實施方式2的顏色偏差降低部的結(jié)構(gòu)的一例的框圖。
圖22是示出上述實施方式2的圖像信號處理程序的處理的流程圖。 圖23是示出上述實施方式2的圖22的步驟S22中的高、低亮度信 號的檢測處理的詳細(xì)情況的流程圖。
具體實施例方式
下面，參照

本發(fā)明的實施方式。 [實施方式1]
圖1 圖12示出本發(fā)明的實施方式1，圖1是示出圖像信號處理裝 置的結(jié)構(gòu)的框圖。
該圖像信號處理裝置構(gòu)成為具有鏡頭系統(tǒng)IOO、光圈IOI、作為攝 像元件的CCD102、放大部103、 A/D轉(zhuǎn)換部104、緩存部105、圖像信 號判斷部106、灰度轉(zhuǎn)換部107、作為畫質(zhì)劣化信息取得單元和畫質(zhì)校正 單元的噪聲降低部108、顯示部109、 ROM 110、控制部lll、以及作為 閾值設(shè)定單元的閾值輸入單元的外部I/F部112。即，本實施方式的圖像 信號處理裝置構(gòu)成為具有鏡頭系統(tǒng)100、光圈101、 CCD 102、放大部103、 A/D轉(zhuǎn)換部104等的攝像部的攝像裝置。
經(jīng)由鏡頭系統(tǒng)100、光圈101、 CCD 102拍攝并輸出的模擬圖像信號通過放大部103放大。由該放大部103放大的模擬圖像信號通過A/D轉(zhuǎn) 換部104轉(zhuǎn)換為數(shù)字信號，并轉(zhuǎn)送到緩存部105。
緩存部105經(jīng)由圖像信號判斷部106、灰度轉(zhuǎn)換部107、噪聲降低部 108與顯示部109連接。ROM 110與圖像信號判斷部106、灰度轉(zhuǎn)換部
107、 噪聲降低部108連接。
控制部111例如由微型計算機等構(gòu)成，與放大部103、 A/D轉(zhuǎn)換部 104、緩存部105、圖像信號判斷部106、灰度轉(zhuǎn)換部107、噪聲降低部
108、 顯示部109、 ROM 110、外部I/F部112雙向連接，并對它們進(jìn)行控 制。
這里，外部I/F部112是具有電源開關(guān)、快門按鈕等的接口。 接著，沿著圖像信號流，說明圖l所示的圖像信號處理裝置的作用。 當(dāng)經(jīng)由外部I/F部112按下快門按鈕后，攝像裝置即該圖像信號處理
裝置如以下說明的那樣進(jìn)行攝影所涉及的各種處理。
鏡頭系統(tǒng)100在CCD 102的攝像面上形成被攝體的光學(xué)像。 光圈101通過規(guī)定由鏡頭系統(tǒng)IOO成像的被攝體光束的通過范圍，
變更在CCD 102的攝像面上形成的光學(xué)像的明亮度。
CCD 102對所形成的光學(xué)像進(jìn)行光電轉(zhuǎn)換，作為模擬圖像信號輸出。
此時輸出的模擬圖像信號是進(jìn)行了公知的相關(guān)雙重取樣等的信號。
另外，在本實施方式中，作為CCD 102，假設(shè)在前面配置了拜耳 (Bayer)型的原色濾色器的單板CCD。因此，在該假設(shè)下，從CCD 102
輸出的圖像信號是由R (紅)、G (綠)、B (藍(lán))三種成分構(gòu)成的彩色圖
像信號。
放大部103根據(jù)控制部111的控制，放大來自CCD 102的模擬圖像 信號。
A/D轉(zhuǎn)換部104將由放大部103放大的模擬圖像信號轉(zhuǎn)換為數(shù)字圖
像信號，并轉(zhuǎn)送到緩存部105。
緩存部105存儲從A/D轉(zhuǎn)換部104轉(zhuǎn)送的圖像信號。 圖像信號判斷部106從ROM 110中讀出用于判定圖像信號是否是高
亮度圖像信號的閾值(高亮度閾值)。然后，圖像信號判斷部106根據(jù)所讀出的高亮度閾值，判定從緩存部105轉(zhuǎn)送的圖像信號中是否存在高亮 度圖像信號，生成高亮度判定結(jié)果。
然后，圖像信號判斷部106向灰度轉(zhuǎn)換部107轉(zhuǎn)送高亮度判定結(jié)果 和圖像信號(另外，在圖1和其他各框圖中，粗實線所示的信號至少包 含圖像信號，但是有時也包含圖像信號以外的信號。)。
灰度轉(zhuǎn)換部107根據(jù)轉(zhuǎn)送來的高亮度判定結(jié)果，對該圖像信號進(jìn)行 與圖像信號對應(yīng)的灰度轉(zhuǎn)換處理，向噪聲降低部108轉(zhuǎn)送處理后的圖像 信號。
噪聲降低部108對轉(zhuǎn)送來的圖像信號進(jìn)行噪聲降低處理，向顯示部
109轉(zhuǎn)送處理后的圖像信號。
顯示部109根據(jù)轉(zhuǎn)送來的圖像信號進(jìn)行顯示。
接著，圖2是示出圖像信號判斷部106的結(jié)構(gòu)的一例的框圖。
該圖像信號判斷部106構(gòu)成為具有亮度信號轉(zhuǎn)換部401以及作為
合成比率設(shè)定單元的特定亮度區(qū)域檢測部402。
緩存部105經(jīng)由亮度信號轉(zhuǎn)換部401、特定亮度區(qū)域檢測部402與
灰度轉(zhuǎn)換部107連接。ROM 110與特定亮度區(qū)域檢測部402連接?？刂?br> 部111與亮度信號轉(zhuǎn)換部401、特定亮度區(qū)域檢測部402雙向連接，并對
它們進(jìn)行控制。
在本實施方式中，亮度信號轉(zhuǎn)換部4(H根據(jù)從緩存部105以像素單 位轉(zhuǎn)送來的像素位置(i， j)(這里，i表示圖像信號的橫向的坐標(biāo)值，j 表示圖像信號的縱向的坐標(biāo)值。)的RGB圖像信號(Rij: R信號、Gij: G信號、Bij: B信號)，如以下式l所示，針對每個像素計算亮度值Kij。
Kij=Al XRij+A2XGij+A3XBij
這里，Al、 A2、 A3是在計算亮度值Kij時分別與R信號Rij、 G信 號Gij、 B信號Bij相乘的規(guī)定的常數(shù)。
接著，特定亮度區(qū)域檢測部402從ROM 110中讀出用于判斷高亮度 圖像信號的高亮度閾值，對所讀出的高亮度閾值和從緩存部105以像素 單位轉(zhuǎn)送來的亮度值Kij進(jìn)行比較。特定亮度區(qū)域檢測部402在亮度值Kij大于高亮度閾值的情況下，判斷為該像素的圖像信號是高亮度圖像信 號。特定亮度區(qū)域檢測部402針對圖像所包含的全部像素進(jìn)行這種比較， 對判斷為是高亮度圖像信號的像素的數(shù)量進(jìn)行計數(shù)。然后，特定亮度區(qū)
域檢測部402對針對全部像素進(jìn)行了處理后的計數(shù)器值和從rom 110中 讀出的規(guī)定閾值進(jìn)行比較，在計數(shù)器值大于規(guī)定閾值的情況下，將圖像 中存在高亮度圖像信號作為高亮度判定結(jié)果，在計數(shù)器值小于等于規(guī)定 閾值的情況下，將圖像中不存在髙亮度圖像信號作為高亮度判定結(jié)果。
然后，特定亮度區(qū)域檢測部402向灰度轉(zhuǎn)換部107轉(zhuǎn)送高亮度判定 結(jié)果和圖像信號。
另外，在上述中，預(yù)先在rom110中存儲用于判斷高亮度圖像信號 的高亮度閾值，特定亮度區(qū)域檢測部402從rom 110中讀出該高亮度閾 值并使用，但是不限于此，也可以指定高亮度閾值。這里，作為指定高 亮度閾值的單元的例子，可以列舉用戶經(jīng)由外部i/f部112手動設(shè)定的手 段、和根據(jù)顯示部109所包含的顯示裝置的y特性等自動設(shè)定的手段。
這里，作為手動設(shè)定的手段，用戶可以經(jīng)由外部i/f部112手動設(shè)定 期望的高亮度閾值，或者，也可以是如下手段在rom110中預(yù)先準(zhǔn)備 多個高亮度閾值，用戶經(jīng)由外部i/f部112指定這些高亮度閾值內(nèi)的任一 個。
并且，在采用自動設(shè)定高亮度閾值的手段的情況下，考慮如以下圖 5所示那樣構(gòu)成特定亮度區(qū)域檢測部402。
圖5是示出特定亮度區(qū)域檢測部402的結(jié)構(gòu)的一例的框圖。
該特定亮度區(qū)域檢測部402構(gòu)成為具有y (伽馬)特性數(shù)據(jù)提取部 4021、作為閾值設(shè)定單元的高亮度區(qū)域閾值檢測部4022、以及作為特定 亮度區(qū)域檢測單元的高亮度區(qū)域判斷部4023。
亮度信號轉(zhuǎn)換部401經(jīng)由y特性數(shù)據(jù)提取部4021、高亮度區(qū)域閾值 檢測部4022、高亮度區(qū)域判斷部4023與灰度轉(zhuǎn)換部107連接。rom 110 與y特性數(shù)據(jù)提取部4021、高亮度區(qū)域閾值檢測部4022、高亮度區(qū)域判 斷部4023連接?？刂撇?11與y特性數(shù)據(jù)提取部4021、高亮度區(qū)域閾值 檢測部4022、高亮度區(qū)域判斷部4023雙向連接，并對它們進(jìn)行控制。并且，設(shè)ROM110預(yù)先存儲多種Y特性數(shù)據(jù)。
當(dāng)進(jìn)行空間不變的灰度轉(zhuǎn)換時，有時產(chǎn)生轉(zhuǎn)換前不是白斑的圖像信
號在轉(zhuǎn)換后成為白斑的現(xiàn)象。其原因是，例如在使用后述圖3所示的灰 度轉(zhuǎn)換曲線(Y特性數(shù)據(jù))的情況下，髙亮度區(qū)域中的Y特性數(shù)據(jù)的梯度 大致水平，所以，當(dāng)對該高亮度區(qū)域的圖像信號進(jìn)行灰度轉(zhuǎn)換時，轉(zhuǎn)換 后幾乎沒有濃淡變化。因此，如果檢測到灰度轉(zhuǎn)換曲線的斜率小的部分， 則能夠自動指定高亮度閾值。
參照圖3說明圖5所示的特定亮度區(qū)域檢測部402的基于這種原理 的作用。這里，圖3是示出Y特性數(shù)據(jù)的線圖。
首先，y特性數(shù)據(jù)提取部4021根據(jù)控制部111的控制，從ROM 110 中提取與顯示部109所包含的規(guī)定的顯示裝置對應(yīng)的y特性數(shù)據(jù)。然后， Y特性數(shù)據(jù)提取部4021向高亮度區(qū)域閾值檢測部4022轉(zhuǎn)送所提取的y特 性數(shù)據(jù)和來自亮度信號轉(zhuǎn)換部401的亮度值Kij。
接著，高亮度區(qū)域閾值檢測部4022從ROM IIO中讀出判定為是白 斑的規(guī)定角度ATH。然后，髙亮度區(qū)域閾值檢測部4022根據(jù)來自y特性 數(shù)據(jù)提取部4021的y特性數(shù)據(jù)和從ROM IIO讀出的角度ATH，如以下 說明的那樣，計算關(guān)注點的傾斜角度A。
這里，例如在進(jìn)行從8比特(256灰度)的圖像信號到8比特的圖 像信號的灰度轉(zhuǎn)換的情況下，與顯示裝置對應(yīng)的Y特性數(shù)據(jù)成為與0 255 的輸入電平對應(yīng)的256點的數(shù)據(jù)。另外，輸出電平與輸入電平同樣，也 是0 255。
現(xiàn)在，按照從小到大的順序設(shè)第x個輸入電平為Nxi，與該輸入電 平Nxi對應(yīng)的輸出電平為Nxo，設(shè)(Nxi， Nxo)為關(guān)注點。進(jìn)而，設(shè)與 最大輸入電平255對應(yīng)的輸出電平為N2550，設(shè)(255， N255o)為最大 占。
"、、o
此時，如以下的式2所示， 一邊按照輸入電平從大到小的順序移動 關(guān)注點， 一邊計算通過關(guān)注點和最大點的直線的傾斜角度△。 [式2]
厶=arctan{ (N255o—Nxo)/(255—Nxi)}然后，將根據(jù)關(guān)注點的移動而依次計算出的傾斜角度A (式2)首次 小于從ROM 110讀出的規(guī)定角度ATH時的關(guān)注點的輸入電平，設(shè)為高 亮度閾值STh。
然后，高亮度區(qū)域閾值檢測部4022向高亮度區(qū)域判斷部4023轉(zhuǎn)送 檢測到的高亮度閾值STh和經(jīng)由y特性數(shù)據(jù)提取部4021轉(zhuǎn)送的亮度值 Kij。
高亮度區(qū)域判斷部4023將以像素單位轉(zhuǎn)送來的亮度值Kij與轉(zhuǎn)送來 的高亮度閾值STh進(jìn)行比較，在亮度值Kij大于高亮度閾值STh的情況 下，判斷為該像素的圖像信號是高亮度圖像信號。
高亮度區(qū)域判斷部4023針對圖像所包含的全部像素進(jìn)行這種比較， 對判斷為是高亮度圖像信號的像素的數(shù)量進(jìn)行計數(shù)。然后，特定亮度區(qū) 域檢測部402對針對全部像素進(jìn)行了處理后的計數(shù)器值和從ROM 110中 讀出的規(guī)定閾值進(jìn)行比較，在計數(shù)器值大于規(guī)定閾值的情況下，將圖像 中存在高亮度圖像信號作為高亮度判定結(jié)果，在計數(shù)器值小于等于規(guī)定 閾值的情況下，將圖像中不存在高亮度圖像信號作為高亮度判定結(jié)果。
然后，高亮度區(qū)域判斷部4023向灰度轉(zhuǎn)換部107轉(zhuǎn)送高亮度判定結(jié) 果和經(jīng)由亮度信號轉(zhuǎn)換部401、 y特性數(shù)據(jù)提取部4021、高亮度區(qū)域閾值 檢測部4022依次轉(zhuǎn)送來的圖像信號。進(jìn)而，高亮度區(qū)域判斷部4023還 根據(jù)需要向灰度轉(zhuǎn)換部107轉(zhuǎn)送高亮度閾值STh。
另外，將與y特性數(shù)據(jù)對應(yīng)的由上述各輸入電平和各輸出電平構(gòu)成 的斜率△的信息預(yù)先保存在ROM 110中，在自動指定閾值時，從ROM 110 中以升序讀出各斜率△信息，在小于認(rèn)定為是白斑的角度的斜率首次出 現(xiàn)的情況下，也可以將與該斜率A對應(yīng)的輸入值設(shè)定為閾值。
并且，也可以構(gòu)成為，將基于與不同顯示裝置對應(yīng)的y特性數(shù)據(jù)的 閾值預(yù)先保存在ROM110中，在對圖像信號進(jìn)行處理時，提取基于與規(guī) 定顯示裝置對應(yīng)的y特性數(shù)據(jù)的閾值。
接著，圖6是示出灰度轉(zhuǎn)換部107的結(jié)構(gòu)的一例的框圖。
該灰度轉(zhuǎn)換部107構(gòu)成為具有緩存部IOOI、作為第l灰度轉(zhuǎn)換處 理單元的第1灰度校正部1002、作為第2灰度轉(zhuǎn)換處理單元的第2灰度校正部1003、作為合成單元的合成部1004、以及RAM 1005。
圖像信號判斷部106與緩存部1001和RAM 1005連接。緩存部1001 與第1灰度校正部1002和第2灰度校正部1003連接。第1灰度校正部 1002和第2灰度校正部1003與合成部1004連接。第2灰度校正部1003 和合成部1004與噪聲降低部108連接。RAM 1005與第1灰度校正部
1002、 第2灰度校正部1003、合成部1004連接。ROM 110與第2灰度 校正部1003和合成部1004連接。
控制部111與緩存部1001、第1灰度校正部1002、第2灰度校正部
1003、 合成部1004以及RAM 1005雙向連接，并對它們進(jìn)行控制。 來自圖像信號判斷部106的圖像信號保存在緩存部1001中，來自圖
像信號判斷部106的高亮度判定結(jié)果保存在RAM 1005中。并且，在從 圖像信號判斷部106轉(zhuǎn)送高亮度閾值STh的情況下，該高亮度閾值STh 也保存在RAM 1005中。
灰度轉(zhuǎn)換部107根據(jù)控制部111的控制，從RAM 1005中提取高亮 度判定結(jié)果，判定是否存在高亮度圖像信號。然后，灰度轉(zhuǎn)換部107在 判定為存在高亮度圖像信號的情況下，根據(jù)控制部111的控制，向第1 灰度校正部1002和第2灰度校正部1003轉(zhuǎn)送緩存部1001內(nèi)的圖像信號。 另一方面，灰度轉(zhuǎn)換部107在判定為不存在高亮度圖像信號的情況下， 根據(jù)控制部111的控制，僅向第2灰度校正部1003轉(zhuǎn)送緩存部1001內(nèi) 的圖像信號。
作為具體的處理，第1灰度校正部1002進(jìn)行例如上述日本專利第 3465226號所記載的空間變化的灰度轉(zhuǎn)換處理。另外，空間變化的灰度轉(zhuǎn) 換處理是指如下的處理針對作為處理對象的圖像的每個像素或每個區(qū) 域(以下有時將它們統(tǒng)稱為"每個區(qū)域")確定灰度轉(zhuǎn)換的特性，使用針 對該每個區(qū)域確定的灰度轉(zhuǎn)換的特性，對各區(qū)域進(jìn)行灰度轉(zhuǎn)換。在本實 施方式中，第1灰度校正部1002通過以下具體說明的手法，進(jìn)行空間變 化的灰度轉(zhuǎn)換處理。
即，首先，第1灰度校正部1002最初針對每個區(qū)域生成亮度直方圖。 接著，第1灰度校正部1002決定用于確定亮度直方圖的平滑化程度的剪輯值，根據(jù)該剪輯值對上述亮度直方圖進(jìn)行剪輯，進(jìn)而，根據(jù)剪輯后的 亮度直方圖生成累計直方圖。最后，第1灰度校正部1002將累計直方圖 作為表現(xiàn)灰度轉(zhuǎn)換的特性的灰度轉(zhuǎn)換曲線，生成基于該灰度轉(zhuǎn)換曲線的 灰度轉(zhuǎn)換數(shù)據(jù)。然后，針對所輸入的圖像信號的每個區(qū)域，使用每個區(qū)
域的灰度轉(zhuǎn)換數(shù)據(jù)進(jìn)行灰度轉(zhuǎn)換處理。然后，第1灰度校正部1002向合 成部1004轉(zhuǎn)送灰度轉(zhuǎn)換處理后的圖像信號。
并且，第2灰度校正部1003從ROM 110中提取與顯示部109的顯 示裝置對應(yīng)的Y特性數(shù)據(jù)，針對從緩存部1001轉(zhuǎn)送來的圖像信號進(jìn)行空 間不變的灰度轉(zhuǎn)換處理。另外，空間不變的灰度轉(zhuǎn)換處理是指如下的處 理針對作為處理對象的圖像，不針對每個區(qū)域確定灰度轉(zhuǎn)換的特性， 而是使用與區(qū)域無關(guān)的固定的灰度轉(zhuǎn)換的特性，對圖像進(jìn)行灰度轉(zhuǎn)換。 第2灰度校正部1003根據(jù)控制部111的控制，在存在高亮度圖像信號的 情況下，向合成部1004轉(zhuǎn)送處理后的圖像信號，在不存在高亮度圖像信 號的情況下，向噪聲降低部108轉(zhuǎn)送處理后的圖像信號。
合成部1004使用從第1灰度校正部1002轉(zhuǎn)送來的空間變化的灰度 轉(zhuǎn)換圖像和從第2灰度校正部1003轉(zhuǎn)送來的空間不變的灰度轉(zhuǎn)換圖像， 進(jìn)行圖像合成處理，向噪聲降低部108轉(zhuǎn)送合成后的圖像信號。
圖7是示出合成部1004的結(jié)構(gòu)的一例的框圖。
該合成部1004構(gòu)成為具有緩存部901、緩存部卯2、作為合成比 率設(shè)定單元和合成比率計算單元的合成比率設(shè)定部903、以及混合部904。
第1灰度校正部1002經(jīng)由緩存部901與混合部904連接。第2灰度 校正部1003經(jīng)由緩存部卯2和合成比率設(shè)定部卯3與混合部904連接。 混合部卯4與噪聲降低部108連接。ROM 110與合成比率設(shè)定部903連 接。RAM 1005與合成比率設(shè)定部903和混合部904連接。
控制部111與緩存部901、緩存部902、合成比率設(shè)定部903、混合 部904雙向連接，并對它們進(jìn)行控制。
從第1灰度校正部1002轉(zhuǎn)送來的空間變化的灰度轉(zhuǎn)換處理后的圖像 信號(以下適當(dāng)?shù)胤Q為"第1圖像信號")被存儲在緩存部901中。
并且，從第2灰度校正部1003轉(zhuǎn)送來的空間不變的灰度轉(zhuǎn)換處理后的圖像信號(以下適當(dāng)?shù)胤Q為"第2圖像信號")被存儲在緩存部902中。 合成比率設(shè)定部903設(shè)定對第1圖像信號和第2圖像信號進(jìn)行合成 時的比率、即第1圖像信號的合成比率Rl和第2圖像信號的合成比率 R2。這里，能夠通過各種方法進(jìn)行合成比率R1和合成比率R2的設(shè)定。 首先，作為設(shè)定這些合成比率R1和合成比率R2的第1方法，列舉 變動地設(shè)定合成比率R1、 R2的方法。該方法是如下的方法合成比率設(shè) 定部903根據(jù)控制部111的控制，從RAM 1005中提取上述這種高亮度 閾值STh (參照圖3)，根據(jù)該高亮度閾值STh來設(shè)定合成比率Rl和合 成比率R2。
具體而言，列舉如下手段在通過高亮度區(qū)域判斷部4023判斷為存 在高亮度圖像信號時，根據(jù)圖像中的高亮度區(qū)域的面積和整個圖像的面 積之間的比率，來設(shè)定合成比率R1、 R2。這里，面積不需要是實際的面 積，也可以代用高亮度區(qū)域所包含的像素的像素數(shù)和整個圖像所包含的 像素的像素數(shù)。B卩，在本實施方式中，只要將整個圖像信號中輸入亮度 值大于高亮度閾值STh的像素的計數(shù)數(shù)看作高亮度區(qū)域的面積，將整個 圖像信號所包含的全部像素的計數(shù)數(shù)看作整個圖像的面積即可。這樣， 在根據(jù)高亮度區(qū)域的面積和整個圖像的面積之間的比率來設(shè)定合成比率 Rl、 R2的情況下，例如可以根據(jù)式3、式4所表現(xiàn)的關(guān)系來設(shè)定合成比 率R1、 R2。
R1=TX (Sh/Sa)
R2=1—R1
這里，Sh表示高亮度區(qū)域的面積，Sa表示整個圖像的面積，T表示 常數(shù)(0STS1),設(shè)Rl滿足條件"0SR1S1"， Rl和R2滿足條件 "R1+R2-1"(因此，R2滿足條件"0SR2S1")。
另外，在上述中，根據(jù)式3和式4求出合成比率，但是，當(dāng)然不限 于此，只要是能夠根據(jù)高亮度區(qū)域的面積和整個圖像的面積之間的比率 來設(shè)定合成比率的關(guān)系式，則也可以根據(jù)其他關(guān)系式來設(shè)定合成比率。并且，作為變動地設(shè)定合成比率R1和合成比率R2的其他方法，可
以列舉使用根據(jù)處理對象的圖像信號的特性而確定的變動的合成比率的 方法。
接著，作為設(shè)定合成比率R1和合成比率R2的第2方法，列舉固定 地設(shè)定合成比率R1、 R2的方法。
作為該方法，例如可以列舉如下方法在ROM110中存儲預(yù)先確定 的固定的合成比率R1、 R2，從ROM 110中讀出該合成比率R1、 R2進(jìn) 行使用。
或者，用戶例如也可以經(jīng)由外部I/F部112來設(shè)定合成比率。此時， 用戶能夠經(jīng)由外部I/F部112自由地設(shè)定合成比率，也可以在ROM 110 中預(yù)先存儲多組合成比率，用戶經(jīng)由外部I/F部112指定這些多組合成比 率中的一組來進(jìn)行設(shè)定。該情況下，存在如下優(yōu)點易于人為地控制使 用空間變化的灰度轉(zhuǎn)換處理的灰度的改善效果。
接著，混合部904使用由合成比率設(shè)定部903 (如上所述變動地或 固定地)設(shè)定的合成比率R1、 R2，例如如式5所示，對第l圖像信號和 第2圖像信號進(jìn)行合成。
Fij=Rl XMij+R2XNij
這里，Mij是第1圖像信號的像素位置(i， j)的亮度值，Nij是第2 圖像信號的像素位置(i， j)的亮度值，F(xiàn)ij是合成后的圖像信號的像素 位置(i， j)的亮度值。
這樣，使用合成比率Rl、 R2對第1圖像信號和第2圖像信號進(jìn)行 合成，由此，能夠確保高亮度區(qū)域的灰度。
另外，在上述中，根據(jù)式5進(jìn)行合成，但是不限于此，只要使用由 合成比率設(shè)定部903設(shè)定的合成比率R1、 R2，則也可以根據(jù)其他關(guān)系式 進(jìn)行合成。
而且，在上述中，示出針對圖像信號的全部像素設(shè)定統(tǒng)一的(空間 不變的)合成比率的例子，但是不需要限定于此。例如，也可以針對構(gòu) 成圖像信號的各個像素設(shè)定不同的(空間變化的)合成比率。作為針對每個像素設(shè)定不同的合成比率的具體例子，可以列舉根據(jù)
亮度值來改變合成比率R1、 R2的例子。參照圖4對其進(jìn)行說明。這里， 圖4是示出根據(jù)亮度值來線性改變合成比率Rlij、 R2ij的例子的線圖。
另外，這里說明的合成比率是針對每個像素位置(i， j)而不同的合 成比率，所以，通過合成比率Rlij來表記像素位置(i， j)的合成比率 Rl，通過合成比率R2ij來表記像素位置(i， j)的合成比率R2。并且， 在圖7所示的結(jié)構(gòu)中，輸入到合成比率設(shè)定部903的亮度值是進(jìn)行了空 間不變的灰度轉(zhuǎn)換處理的亮度值，通過Pij來表記該亮度值。
圖4所示的合成比率Rlij、 R2ij的設(shè)定例如下所述。
首先，在亮度值Pij大于高亮度閾值STh的情況下，將空間變化的 灰度轉(zhuǎn)換圖像的合成比率Rlij設(shè)定為T，將空間不變的灰度轉(zhuǎn)換圖像的 合成比率R2ij設(shè)定為(l-T)(這里，T是大于等于0且小于等于1的常 數(shù))。即，針對由亮度值大于高亮度閾值STh的像素構(gòu)成的圖像信號區(qū)域， 使用合成比率T對第1圖像信號和第2圖像信號進(jìn)行合成。
與此相對，在亮度值Pij小于等于高亮度閾值STh的情況下，合成 比率Rlij設(shè)定為隨著圖像信號的亮度值增大而遞增(參照圖4和式6)， 合成比率R2ij設(shè)定為隨著圖像信號的亮度值增大而遞減(參照圖4和式 7)。但是，此時，合成比率Rlij的最小值(對應(yīng)于亮度值0)設(shè)定為(1-T)， 合成比率R2ij的最大值(對應(yīng)于亮度值0)設(shè)定為T。
Rlij- (1-T) + {(2T—l)/STh}XPij [式 7]
另外，在式6和式7中，設(shè)定為合成比率Rlij、 R2ij根據(jù)亮度值線 性遞增或遞減，但是不一定必須這樣設(shè)定。即，只要設(shè)定為隨著亮度值 增大，第l圖像信號(對應(yīng)于空間變化)的合成比率Rlij增大、第2圖 像信號(對應(yīng)于空間不變)的合成比率R2ij減小，則能夠使用適當(dāng)?shù)那?線等。
例如，也可以是合成比率Rlij相對于亮度值的增加而非線性遞增，合成比率R2ij相對于亮度值的增加而非線性遞減。圖8示出這種設(shè)定的 具體例子。這里，圖8是示出根據(jù)亮度值來非線性改變合成比率Rlij、 R2ij的例子的線圖。在該圖8所示的例子中，合成比率Rlij在遞增區(qū)域 中為上凸的函數(shù)形狀，合成比率R2ij在遞減區(qū)域中為下凸的函數(shù)形狀。 進(jìn)而，在該圖8所示的例子中，與亮度值O對應(yīng)的合成比率RHj的最小 值為0，與亮度值0對應(yīng)的合成比率R2ij的最大值為1。并且，當(dāng)亮度值 Pij大于高亮度閾值STh時，與圖4所示的例子相同。
這樣，在根據(jù)亮度值針對每個像素來設(shè)定合成比率Rlij和合成比率 R2ij的情況下，存在如下優(yōu)點能夠根據(jù)亮度值靈活地確保各亮度區(qū)域 的灰度。
另外，在上述中，根據(jù)進(jìn)行了空間不變的灰度轉(zhuǎn)換處理的亮度值Pij， 來計算每個像素的合成比率Rlij、 R2ij，但是不限于此，例如，也可以根 據(jù)由上述亮度信號轉(zhuǎn)換部401如式1所示那樣計算出的灰度轉(zhuǎn)換處理前 的亮度值Kij，來計算每個像素的合成比率Rlij、 R2ij。
并且，上述空間變化的灰度轉(zhuǎn)換處理無法人為地調(diào)整每個區(qū)域的灰 度特性，所以，當(dāng)例如應(yīng)用于圖像的低亮度區(qū)域時，可能強調(diào)暗部的噪 聲電平。參照圖9說明用于對其進(jìn)行改善的合成比率的設(shè)定例。這里， 圖9是示出根據(jù)亮度值來線性改變合成比率Rlij、 R2ij并降低暗部噪聲 的例子的線圖。
在該圖9所示的例子中，設(shè)定低亮度閾值ST1，在亮度值Pij小于該 低亮度閾值ST1的情況下，將合成比率Rlij設(shè)定為0并將合成比率R2ij 設(shè)定為l。即，針對由亮度值小于低亮度閾值ST1的像素構(gòu)成的圖像信號 區(qū)域，不使用空間變化的灰度轉(zhuǎn)換處理后的圖像信號，而僅將空間不變 的灰度轉(zhuǎn)換處理后的圖像信號作為灰度轉(zhuǎn)換的結(jié)果輸出。另外，關(guān)于低 亮度閾值ST1，可以在ROM IIO中保存預(yù)先設(shè)定的值并根據(jù)需要讀出， 也可以由用戶設(shè)定期望的值，或由用戶從幾個候選中選擇值。
并且，當(dāng)亮度值Pij大于高亮度閾值STh時，與圖4所示的例子相同。
然后，在亮度值Pij大于等于低亮度閾值ST1且小于等于高亮度閾值STh的情況下，使用式8、式9來計算合成比率Rlij、 R2ij。 [式8]
Rlij=TX {(Pi卜STl)/(STli—STl)}
R2ij=l—Rlij
另外，與上述同樣，式8、式9所示的合成比率Rlij的遞增和合成 比率R2ij的遞減不一定必須是線性的。
進(jìn)而，在上述中，說明了以圖像整體或像素單位設(shè)定合成比率R1、 R2的例子，但是不限于此。例如，將圖像信號分割為多個區(qū)域，針對分 割后的每個區(qū)域計算亮度平均值或亮度中間值。然后，考慮通過規(guī)定值 去除亮度平均值或亮度中間值，將其結(jié)果設(shè)定為合成比率Rl，將1-R1 設(shè)定為合成比率R2。然后，針對每個區(qū)域，對空間變化的灰度轉(zhuǎn)換處理 后的圖像信號使用合成比率R1，并且對空間不變的灰度轉(zhuǎn)換處理后的圖 像信號使用合成比率R2，對圖像信號進(jìn)行合成即可。這樣，也可以以區(qū) 域單位進(jìn)行圖像信號的合成。
混合部904使用由合成比率設(shè)定部903設(shè)定的合成比率Rlij、 R2ij， 例如如式10所示，對第1圖像信號Mij和第2圖像信號Nij進(jìn)行合成。
Fij=Rlij X M計R2ijX Nij
然后，混合部904根據(jù)控制部111的控制，向噪聲降低部108轉(zhuǎn)送 合成后的圖像信號。
然后，噪聲降低部108通過噪聲檢測單元來計算估計為從合成部 1004或第2灰度校正部1003轉(zhuǎn)送來的圖像信號所包含的噪聲量(噪聲電 平)，根據(jù)計算出的噪聲量，通過噪聲降低單元對該圖像信號進(jìn)行噪聲降 低處理。這里，噪聲降低部108例如使用上述日本特開2005-303802號公 報所記載的公知技術(shù)，針對每個像素估計噪聲量，來進(jìn)行噪聲降低處理。
另外，在上述中，說明了使包含鏡頭系統(tǒng)100、光圈101、 CCD 102、 放大部103、 A/D轉(zhuǎn)換部104在內(nèi)的攝像部一體化的結(jié)構(gòu)的圖像信號處理 裝置，但是，作為圖像信號處理裝置，不需要限定為這種結(jié)構(gòu)，攝像部也可以分開設(shè)置。即，也可以是如下的圖像信號處理裝置從記錄介質(zhì) 中讀出由分開設(shè)置的攝像部拍攝并以未處理的RAW數(shù)據(jù)的形式記錄在 存儲卡等記錄介質(zhì)中的圖像信號，并對其進(jìn)行處理。但是，此時，攝影 時的信息(ISO靈敏度、白平衡系數(shù)等)記錄在標(biāo)題部等中。另外，不限 于經(jīng)由記錄介質(zhì)從分開設(shè)置的攝像部向圖像信號處理裝置傳送各種信 息，也可以經(jīng)由通信線路等進(jìn)行。
進(jìn)而，在上述中，將基于硬件的處理作為前提，但是，不需要限定
于這種結(jié)構(gòu)。例如，能夠?qū)碜訡CD 102的信號作為保持未處理狀態(tài)的 RAW數(shù)據(jù)記錄在存儲卡等記錄介質(zhì)中，并且，將來自控制部lll的攝影 時的信息(ISO靈敏度、白平衡系數(shù)等)作為標(biāo)題信息記錄在記錄介質(zhì)中。 然后，使計算機執(zhí)行另外的軟件即圖像信號處理程序，使計算機讀取記 錄介質(zhì)的信息，并進(jìn)行處理。與上述同樣，不限于經(jīng)由記錄介質(zhì)從攝像 部向計算機傳送各種信息，也可以經(jīng)由通信線路等進(jìn)行。 圖IO是示出圖像信號處理程序的處理的流程圖。
開始該處理后，首先，讀入圖像信號和上述標(biāo)題信息等，并且，還 讀入該圖像信號處理程序預(yù)先具有的y特性數(shù)據(jù)等信息(步驟S1)。該處 理在攝像裝置即圖像信號處理裝置中，相當(dāng)于拍攝被攝體并取得圖像信 號的處理。
接著，檢測所讀入的圖像信號中是否存在高亮度圖像信號(步驟S2)。 該處理相當(dāng)于上述特定亮度區(qū)域檢測部402進(jìn)行的處理。
接著，根據(jù)步驟S2的檢測結(jié)果，判定圖像信號中是否存在高亮度圖 像信號(步驟S3)。該處理相當(dāng)于灰度轉(zhuǎn)換部107和控制部111進(jìn)行的處 理。
這里，在判定為存在高亮度圖像信號的情況下，對圖像信號進(jìn)行空 間變化的第1灰度校正處理(步驟S4)。該處理相當(dāng)于第1灰度校正部 1002進(jìn)行的處理。
接著，使用在步驟S1中讀入的Y特性數(shù)據(jù)，對圖像信號進(jìn)行空間不 變的第2灰度校正處理(步驟S5)。該處理相當(dāng)于第2灰度校正部1003 進(jìn)行的處理。另外，這里先進(jìn)行第1灰度校正處理，后進(jìn)行第2灰度校正處理， 但是，也可以是相反順序，也可以同時并列進(jìn)行第1灰度校正處理和第2 灰度校正處理。
然后，對通過步驟S4得到的第1圖像信號和通過步驟S5得到的第 2圖像信號進(jìn)行合成(步驟S6)。該處理相當(dāng)于合成部1004進(jìn)行的處理。
并且，在步驟S3中判定為不存在高亮度圖像信號的情況下，使用在 步驟S1中讀入的Y特性數(shù)據(jù)，對圖像信號進(jìn)行空間不變的第2灰度校正 處理(步驟S7)。該處理與步驟S5的處理相同，也相當(dāng)于第2灰度校正 部1003進(jìn)行的處理。
在步驟S6的處理或步驟S7的處理結(jié)束后，進(jìn)行公知的噪聲降低處 理(步驟S8)。該處理相當(dāng)于噪聲降低部108進(jìn)行的處理。
然后，輸出噪聲降低后的圖像信號，顯示在顯示裝置上，或保存在 存儲卡等中(步驟S9)，結(jié)束該處理。
接著，圖11是示出圖10的步驟S2中的高亮度信號的檢測處理的詳 細(xì)情況的流程圖。
開始該處理后，首先，提取與規(guī)定的顯示裝置對應(yīng)的Y特性數(shù)據(jù)(步 驟S101 )。該處理相當(dāng)于y特性數(shù)據(jù)提取部4021進(jìn)行的處理。
接著，如圖3所示，將與Y特性數(shù)據(jù)對應(yīng)的傾斜角度A (式2)首次 小于認(rèn)定為是白斑的規(guī)定的角度ATH時的輸入電平，作為高亮度閾值(圖 3所示的STh)(步驟S102)。該處理相當(dāng)于高亮度區(qū)域閾值檢測部4022 進(jìn)行的處理。
接著，對圖像所包含的全部像素的亮度值和高亮度閾值進(jìn)行比較， 對亮度值大于高亮度閾值的像素(判定為高亮度圖像信號的像素)的數(shù) 量進(jìn)行計數(shù)(步驟S103)。
然后，將高亮度圖像信號的計數(shù)數(shù)與規(guī)定閾值進(jìn)行比較，在大于規(guī) 定閾值的情況下，判斷為圖像中存在高亮度圖像信號。與此相對，在高 亮度圖像信號的計數(shù)數(shù)小于規(guī)定閾值的情況下，判斷為圖像中不存在高 亮度圖像信號(步驟S104)。這些步驟S103和步驟S104的處理相當(dāng)于 高亮度區(qū)域判斷部4023進(jìn)行的處理。該步驟S104的處理結(jié)束后，然后返回圖IO所示的處理。
另外，這里說明了自動設(shè)定高亮度閾值的例子，但是，也可以通過
用戶輸入來手動設(shè)定。此時，代替圖11的步驟S101和步驟S102的處理， 進(jìn)行高亮度閾值的手動輸入處理即可。
接著，圖12是示出圖10的步驟S6中的合成處理的詳細(xì)情況的流程圖。
開始該處理后，首先，提取通過步驟S2檢測到的高亮度圖像信號的 閾值、高亮度區(qū)域的面積(高亮度區(qū)域的像素數(shù))、整個圖像區(qū)域的面積 (整個圖像區(qū)域的像素數(shù))、通過步驟S4的處理得到的空間變化的灰度 轉(zhuǎn)換處理后的圖像、通過步驟S5的處理得到的空間不變的灰度轉(zhuǎn)換處理 后的圖像等的信息(步驟Slll)。
接著，根據(jù)通過步驟S111提取出的信息，例如使用上述式6和式7 來計算合成比率Rlij和合成比率R2ij (步驟S112)。該處理相當(dāng)于合成 比率設(shè)定部903進(jìn)行的處理。
進(jìn)而，使用通過步驟S112計算出的合成比率Rlij、 R2ij，例如使用 上述式10，對空間變化的灰度轉(zhuǎn)換處理后的圖像和空間不變的灰度轉(zhuǎn)換 處理后的圖像進(jìn)行合成(步驟S113)。該處理相當(dāng)于混合部904進(jìn)行的處 理。
然后，向后級的噪聲降低處理輸出合成后的圖像(步驟S114),該 處理后返回圖IO所示的處理。
另外，上述這種技術(shù)能夠應(yīng)用于圖像信號是靜態(tài)圖像信號的情況和 圖像信號是動態(tài)圖像信號的情況的任意情況。
并且，在上述中，說明了圖像信號處理裝置、圖像信號處理程序， 但是不限于此，也可以是用于進(jìn)行上述這種處理的圖像信號處理方法。
根據(jù)這種實施方式1，在存在高亮度信號的情況下，針對原圖像信 號，針對每個區(qū)域(每個像素或每個像素區(qū)域)進(jìn)行空間變化的灰度轉(zhuǎn) 換處理，所以，能夠以不壓縮的方式保持屬于高亮度區(qū)域的像素或像素 區(qū)域的灰度特性。并且，在不存在高亮度信號的情況下，僅進(jìn)行空間不 變的灰度轉(zhuǎn)換處理，所以，能夠降低消耗功率，并使處理高速化。進(jìn)而，實質(zhì)上針對圖像信號的高亮度區(qū)域使用與該高亮度區(qū)域?qū)?yīng) 的空間變化的灰度轉(zhuǎn)換處理的結(jié)果，但是，針對高亮度區(qū)域以外的區(qū)域 使用對空間變化的灰度轉(zhuǎn)換圖像和空間不變的灰度轉(zhuǎn)換圖像進(jìn)行合成后 的結(jié)果，所以，在保持高亮度區(qū)域的灰度的同時，從低亮度區(qū)域伸長到 中亮度區(qū)域的灰度，能夠得到反映了灰度再現(xiàn)特性的圖像。
然后，在根據(jù)圖像中的高亮度區(qū)域的面積和整個圖像的面積之間的 比率來設(shè)定對空間變化的灰度轉(zhuǎn)換圖像和空間不變的灰度轉(zhuǎn)換圖像進(jìn)行 合成時的合成比率的情況下，能夠進(jìn)行基于圖像中包含高亮度部分的程 度的適當(dāng)?shù)暮铣伞?br> 而且，在針對每個像素或每個區(qū)域來設(shè)定合成比率的情況下，能夠 進(jìn)行基于各個圖像部分的適當(dāng)?shù)暮铣伞?br> 圖13 圖23示出本發(fā)明的實施方式2，圖13是示出圖像信號處理 裝置的結(jié)構(gòu)的框圖。在該實施方式2中，對與上述實施方式1相同的部 分標(biāo)注同一標(biāo)號并省略說明，主要僅說明不同點。
該實施方式2構(gòu)成為，在實施方式1的圖1所示的圖像信號處理裝 置中，將噪聲降低部108置換為作為畫質(zhì)劣化信息取得單元和畫質(zhì)校正 單元的顏色偏差降低部208。其他基本結(jié)構(gòu)與上述實施方式1相同。
圖像信號判斷部106經(jīng)由灰度轉(zhuǎn)換部107和顏色偏差降低部208與 顯示部109連接。ROM 110與圖像信號判斷部106、灰度轉(zhuǎn)換部107、顏 色偏差降低部208連接。
控制部111與放大部103、 A/D轉(zhuǎn)換部104、緩存部105、圖像信號 判斷部106、灰度轉(zhuǎn)換部107、顏色偏差降低部208、顯示部109、 ROM 110 以及外部I/F部112雙向連接，并對它們進(jìn)行控制。
接著，沿著圖像信號流，說明圖13所示的圖像信號處理裝置的作用。
當(dāng)經(jīng)由外部I/F部112按下快門按鈕后，通過鏡頭系統(tǒng)100、光圈101、 CCD102進(jìn)行攝像，輸出圖像信號并通過放大部103放大，通過A/D轉(zhuǎn) 換部104轉(zhuǎn)換為數(shù)字信號。另外，在本實施方式中，也假設(shè)上述影像信 號是由R、 G、 B三種成分構(gòu)成的彩色圖像信號。來自a/d轉(zhuǎn)換部104的圖像信號被轉(zhuǎn)送到緩存部105并存儲。 圖像信號判斷部106針對從緩存部105轉(zhuǎn)送來的圖像信號，根據(jù)規(guī) 定的高亮度閾值判定是否存在高亮度圖像信號，并且，根據(jù)規(guī)定的低亮 度閾值判定是否存在低亮度圖像信號，求出高低亮度判定結(jié)果。即，本 實施方式的圖像信號判斷部106不僅判定有無高亮度圖像信號，還判定 有無低亮度圖像信號。另外，根據(jù)y特性數(shù)據(jù)，通過與上述實施方式1 大致相同的技術(shù)自動指定高亮度閾值和低亮度閾值。但是，用戶也可以 通過外部i/f部112自由設(shè)定高亮度閾值和低亮度閾值，用戶也可以通過 外部i/f部112從在rom 110中預(yù)先準(zhǔn)備的多個高亮度閾值和多個低亮 度閾值中各指定一個，這與上述實施方式1相同。然后，圖像信號判斷 部106向灰度轉(zhuǎn)換部107轉(zhuǎn)送圖像信號和高低亮度判定結(jié)果。
灰度轉(zhuǎn)換部107根據(jù)轉(zhuǎn)送來的高低亮度判定結(jié)果，對該圖像信號進(jìn) 行與圖像信號對應(yīng)的灰度轉(zhuǎn)換處理，向顏色偏差降低部208轉(zhuǎn)送處理后 的圖像信號。
顏色偏差降低部208對轉(zhuǎn)送來的圖像信號進(jìn)行顏色偏差降低處理， 向顯示部109轉(zhuǎn)送處理后的圖像信號。
顯示部109根據(jù)轉(zhuǎn)送來的圖像信號進(jìn)行顯示。
接著，圖像信號判斷部106的結(jié)構(gòu)基本上與上述實施方式1的圖2 所示的圖像信號判斷部106的結(jié)構(gòu)相同。但是，在圖像信號判斷部106 內(nèi)設(shè)置的特定亮度區(qū)域檢測部402的結(jié)構(gòu)與上述實施方式1不同，所以 參照圖14進(jìn)行說明。
圖14是示出特定亮度區(qū)域檢測部402的結(jié)構(gòu)的一例的框圖。
該特定亮度區(qū)域檢測部402構(gòu)成為具有Y特性數(shù)據(jù)提取合成部 4121、作為閾值設(shè)定單元的高低亮度區(qū)域閾值檢測部4122、作為特定亮 度區(qū)域檢測單元的高低亮度區(qū)域判斷部4123。
亮度信號轉(zhuǎn)換部401經(jīng)由y特性數(shù)據(jù)提取合成部4121、高低亮度區(qū) 域閾值檢測部4122、高低亮度區(qū)域判斷部4123與灰度轉(zhuǎn)換部107連接。 rom 110與y特性數(shù)據(jù)提取合成部4121 、高低亮度區(qū)域閾值檢測部4122、 高低亮度區(qū)域判斷部4123連接?？刂撇?11與y特性數(shù)據(jù)提取合成部4121、高低亮度區(qū)域閾值檢測
部4122、高低亮度區(qū)域判斷部4123雙向連接，并對它們進(jìn)行控制。
如上所述，當(dāng)進(jìn)行空間不變的灰度轉(zhuǎn)換時，有時產(chǎn)生轉(zhuǎn)換前不是白 斑的圖像信號在轉(zhuǎn)換后成為白斑的現(xiàn)象，在實施方式1中，改善了這種 現(xiàn)象。與此相對，在該實施方式2中，其目的在于，進(jìn)一步改善在空間 不變的灰度轉(zhuǎn)換前不是黑斑的圖像信號在轉(zhuǎn)換后成為黑斑的現(xiàn)象。
這里，產(chǎn)生白斑或黑斑的原因是，例如在使用后述圖17所示的灰度 轉(zhuǎn)換曲線(y特性數(shù)據(jù))的情況下，與高亮度部的灰度特性區(qū)域和低亮度 部的灰度特性區(qū)域?qū)?yīng)的y特性數(shù)據(jù)的梯度大致水平，所以，在進(jìn)行灰 度轉(zhuǎn)換后，幾乎沒有與這些部分對應(yīng)的圖像信號的濃淡變化。這里，圖 17是示出通過對制圖y特性數(shù)據(jù)和顯示裝置用y特性數(shù)據(jù)進(jìn)行合成而得 到的y特性數(shù)據(jù)的線圖。而且，在該圖17所示的y特性數(shù)據(jù)的情況下， 高亮度部圖像信號成為白斑、低亮度部圖像信號成為黑斑。為了改善這 種高亮度部和低亮度部的圖像信號的灰度特性，首先，需要檢測用于識 別高亮度區(qū)域和低亮度區(qū)域的高亮度閾值和低亮度閾值。 沿著圖14說明這種特定亮度區(qū)域檢測部402的作用。 y特性數(shù)據(jù)提取合成部4121從rom 110中提取適于圖像處理的y 特性數(shù)據(jù)(制圖y特性數(shù)據(jù))、以及適于通過顯示部109所包含的顯示裝 置顯示圖像的y特性數(shù)據(jù)，對這些y特性數(shù)據(jù)進(jìn)行合成，生成圖17所示 的y特性數(shù)據(jù)，向高低亮度區(qū)域閾值檢測部4122轉(zhuǎn)送所生成的y特性數(shù) 據(jù)。這里，制圖y特性數(shù)據(jù)是用于調(diào)整圖像的明亮度和對比度的變化的 灰度轉(zhuǎn)換數(shù)據(jù)。
高低亮度區(qū)域閾值檢測部4122從rom 110中提取認(rèn)定為是白斑的 角度ahth和認(rèn)定為是黑斑的角度alth。然后，高低亮度區(qū)域閾值檢 測部4122根據(jù)所提取的認(rèn)定為是白斑的角度ahth和從y特性數(shù)據(jù)提取 合成部4121轉(zhuǎn)送的圖17所示的y特性數(shù)據(jù)，首先，如以下的式ll所示， 計算與高亮度閾值STh對應(yīng)的斜率AH。
厶H-arctan{ (H255o—Hxo) / (255—Hxi)}這里，按照從小到大的順序設(shè)第x個輸入電平為Hxi，與該輸入電 平Hxi對應(yīng)的輸出電平為Hxo，設(shè)(Hxi， Hxo)為關(guān)注點。進(jìn)而，設(shè)與 最大輸入電平255對應(yīng)的輸出電平為H255o，設(shè)(255， H255o)為最大 點。然后，如式11所示， 一邊按照輸入電平從大到小的順序移動關(guān)注點， 一邊計算通過關(guān)注點和最大點的直線的傾斜角度AH，將根據(jù)關(guān)注點的移 動而依次計算出的傾斜角度AH首次小于從ROM 110讀出的規(guī)定角度 AHTH時的關(guān)注點的輸入電平，設(shè)為髙亮度閾值STh。
接著，高低亮度區(qū)域閾值檢測部4122根據(jù)所提取的認(rèn)定為是黑斑的 角度ALTH和從y特性數(shù)據(jù)提取合成部4121轉(zhuǎn)送的圖17所示的y特性數(shù) 據(jù)，如以下的式12所示，計算與低亮度閾值STI對應(yīng)的斜率AL。
厶L=arctan (Lxo/Lxi)
這里，按照從小到大的順序設(shè)第x個輸入電平為Lxi，與該輸入電平 Lxi對應(yīng)的輸出電平為Lxo，設(shè)(Lxi， Lxo)為關(guān)注點。進(jìn)而，最小點為 (0， 0)。然后，如式12所示， 一邊從最大點向輸入電平減小的方向依 次(即按照輸入電平從大到小的順序)移動關(guān)注點， 一邊計算通過最小 點和關(guān)注點的直線的傾斜角度AL，將根據(jù)關(guān)注點的移動而依次計算出的 傾斜角度AL首次小于從ROM 110讀出的規(guī)定角度ALTH時的關(guān)注點的 輸入電平，設(shè)為低亮度閾值ST1。
然后，高低亮度區(qū)域閾值檢測部4122向高低亮度區(qū)域判斷部4123 轉(zhuǎn)送這樣估計出的高亮度閾值STh和低亮度閾值ST1、以及圖像信號。
另外，這里，高低亮度區(qū)域閾值檢測部4122根據(jù)合成后的y特性數(shù) 據(jù)來計算高亮度閾值STh和低亮度閾值STl，但是不限于此。例如，當(dāng)然 可以構(gòu)成為，在ROM 110中預(yù)先保存與合成后的Y特性數(shù)據(jù)對應(yīng)的高亮 度閾值STh和低亮度閾值STl，對圖像信號進(jìn)行處理時，從ROM 110中 提取髙亮度閾值STh和低亮度閾值ST1。
高低亮度區(qū)域判斷部4123根據(jù)轉(zhuǎn)送來的高亮度閾值STh，通過高亮 度計數(shù)器對全部圖像信號中的高亮度圖像信號的數(shù)量進(jìn)行計數(shù)，并且， 根據(jù)轉(zhuǎn)送來的低亮度閾值ST1，通過低亮度計數(shù)器對全部圖像信號中的低亮度圖像信號的數(shù)量進(jìn)行計數(shù)。這里，在亮度值大于高亮度閾值STh的
情況下，進(jìn)行作為高亮度圖像信號的計數(shù)，在亮度值小于低亮度閾值ST1
的情況下，進(jìn)行作為低亮度圖像信號的計數(shù)。
然后，高低亮度區(qū)域判斷部4123對針對全部像素進(jìn)行了處理后的高 亮度計數(shù)器值和從ROM 110中讀出的規(guī)定閾值(高亮度圖像信號閾值) 進(jìn)行比較，在高亮度計數(shù)器值大于規(guī)定的高亮度圖像信號閾值的情況下， 判定為圖像中存在高亮度圖像信號，在高亮度計數(shù)器值小于等于規(guī)定的 高亮度圖像信號閾值的情況下，判定為圖像中不存在高亮度圖像信號。
進(jìn)而，高低亮度區(qū)域判斷部4123對針對全部像素進(jìn)行了處理后的低 亮度計數(shù)器值和從ROM 110中讀出的規(guī)定閾值(低亮度圖像信號閾值) 進(jìn)行比較，在低亮度計數(shù)器值大于規(guī)定的低亮度圖像信號閾值的情況下， 判定為圖像中存在低亮度圖像信號，在低亮度計數(shù)器值小于等于規(guī)定的 低亮度圖像信號閾值的情況下，判定為圖像中不存在低亮度圖像信號。
高低亮度區(qū)域判斷部4123將這些有無存在高亮度圖像信號和有無 存在低亮度圖像信號作為高低亮度判定結(jié)果。
然后，高低亮度區(qū)域判斷部4123向灰度轉(zhuǎn)換部107轉(zhuǎn)送該高低亮度 判定結(jié)果、高亮度閾值STh和低亮度閾值STl、以及圖像信號。
圖15是示出灰度轉(zhuǎn)換部107的結(jié)構(gòu)的一例的框圖。
該灰度轉(zhuǎn)換部107的結(jié)構(gòu)與上述實施方式1的圖6所示的灰度轉(zhuǎn)換 部107大致相同，但是不同點在于，將作為第2灰度轉(zhuǎn)換處理單元的第2 灰度校正部1003置換為作為第2灰度轉(zhuǎn)換處理單元的第2灰度校正部 簡。
緩存部1001與第1灰度校正部1002和第2灰度校正部1103連接。 第1灰度校正部1002和第2灰度校正部1103與合成部1004連接。第2 灰度校正部1103和合成部1004與顏色偏差降低部208連接。RAM 1005 與第1灰度校正部1002、第2灰度校正部1103、合成部1004連接。ROM 110與第2灰度校正部1103和合成部1004連接。
控制部111與第2灰度校正部1103雙向連接，并對其進(jìn)行控制。 來自圖像信號判斷部106的圖像信號保存在緩存部1001中，來自圖像信號判斷部106的高亮度閾值、低亮度閾值、高低亮度判定結(jié)果保存
在RAM 1005中。
灰度轉(zhuǎn)換部107根據(jù)控制部111的控制，從RAM 1005中提取高低 亮度判定結(jié)果，判定是否存在高亮度圖像信號或低亮度圖像信號。然后， 灰度轉(zhuǎn)換部107在判定為存在高亮度圖像信號和低亮度圖像信號的至少 一方的情況下，根據(jù)控制部111的控制，向第1灰度校正部1002和第2 灰度校正部1103轉(zhuǎn)送緩存部1001內(nèi)的圖像信號。另一方面，灰度轉(zhuǎn)換 部107在判定為不存在高亮度圖像信號和低亮度圖像信號雙方的情況下， 根據(jù)控制部111的控制，僅向第2灰度校正部1103轉(zhuǎn)送緩存部1001內(nèi) 的圖像信號。
第1灰度校正部1002根據(jù)控制部111的控制，與上述實施方式1同 樣，針對從緩存部1001轉(zhuǎn)送來的圖像信號進(jìn)行空間變化的灰度轉(zhuǎn)換處理。 然后，第1灰度校正部1002向合成部1004轉(zhuǎn)送灰度轉(zhuǎn)換處理后的圖像 信號。另外，在判定為不存在高亮度圖像信號和低亮度圖像信號雙方的 情況下，控制為不從緩存部1001向該第1灰度校正部1002轉(zhuǎn)送圖像信 號，所以，該第1灰度校正部1002不進(jìn)行處理。
并且，第2灰度校正部1103從ROM 1005中提取規(guī)定的制圖y特性 數(shù)據(jù)、以及適于通過顯示部109的顯示裝置顯示圖像的y特性數(shù)據(jù)，進(jìn)
而，對這些y特性數(shù)據(jù)進(jìn)行合成，生成合成后的y特性數(shù)據(jù)。然后，第2 灰度校正部1103使用合成后的Y特性數(shù)據(jù)，針對從緩存部1001轉(zhuǎn)送來 的圖像信號進(jìn)行空間不變的灰度轉(zhuǎn)換處理。
第2灰度校正部1103在判定為存在高亮度圖像信號和低亮度圖像信 號的至少一方的情況下，根據(jù)控制部lll的控制，向合成部1004轉(zhuǎn)送處 理后的圖像信號。并且，第2灰度校正部1103在判定為不存在高亮度圖 像信號和低亮度圖像信號雙方的情況下，根據(jù)控制部111的控制，向顏 色偏差降低部208轉(zhuǎn)送處理后的圖像信號。
這里，參照圖16說明第2灰度校正部1103的更詳細(xì)的結(jié)構(gòu)和作用。 圖16是示出第2灰度校正部1103的結(jié)構(gòu)的一例的框圖。
該第2灰度校正部1103構(gòu)成為具有Y特性數(shù)據(jù)合成部2001和Y校正部2002。
緩存部1001經(jīng)由y特性數(shù)據(jù)合成部2001和y校正部2002與合成部 1004連接。y校正部2002還與顏色偏差降低部208連接。ROM 110與y 特性數(shù)據(jù)合成部2001和y校正部2002連接。RAM 1005與y校正部2002 連接?？刂撇?11與y特性數(shù)據(jù)合成部2001和y校正部2002雙向連接， 并對它們進(jìn)行控制。
y特性數(shù)據(jù)合成部2001從ROM 110中提取規(guī)定的制圖y特性數(shù)據(jù)、 以及與規(guī)定的顯示裝置對應(yīng)的y校正數(shù)據(jù)，對他們進(jìn)行合成，生成例如 圖17所示的合成后的y特性數(shù)據(jù)。y特性數(shù)據(jù)合成部2001向y校正部2002
轉(zhuǎn)送合成后的y特性數(shù)據(jù)。
y校正部2002使用從y特性數(shù)據(jù)合成部2001轉(zhuǎn)送來的y特性數(shù)據(jù)， 針對從y特性數(shù)據(jù)合成部2001轉(zhuǎn)送來的圖像信號進(jìn)行y校正處理。
y校正部2002進(jìn)一步根據(jù)控制部111的控制，從RAM 1005中提取 高低亮度判定結(jié)果，判定是否存在高亮度圖像信號和低亮度圖像信號的 至少一方。然后，y校正部2002在判定為存在高亮度圖像信號和低亮度 圖像信號的至少一方的情況下，向合成部1004轉(zhuǎn)送處理后的圖像信號。 另一方面，y校正部2002在判定為不存在高亮度圖像信號和低亮度圖像 信號的雙方的情況下，向顏色偏差降低部208轉(zhuǎn)送處理后的圖像信號。
合成部1004使用從第1灰度校正部1002轉(zhuǎn)送來的空間變化的灰度 轉(zhuǎn)換處理后的圖像(第1圖像信號)和從第2灰度校正部1103轉(zhuǎn)送來的 空間不變的灰度轉(zhuǎn)換處理后的圖像(第2圖像信號)，進(jìn)行圖像合成處理， 向顏色偏差降低部208轉(zhuǎn)送合成后的圖像信號。
這里，合成部1004的更詳細(xì)的結(jié)構(gòu)與上述實施方式1的圖7相同， 所以，參照該圖7說明本實施方式的合成部1004。
在本實施方式中，不僅檢測高亮度區(qū)域，還檢測低亮度區(qū)域，所以， 合成部1004根據(jù)高亮度閾值STh和低亮度閼值ST1，如圖18 圖20所 示，設(shè)定基于對第1圖像信號和第2圖像信號進(jìn)行合成時的每個像素的 亮度值的變動的合成比率。低亮度判定結(jié)果表示存在高亮度圖像信號和低亮度圖像信號的雙方的情況下，合成比率設(shè)定部903進(jìn)一步從RAM 1005中提取高亮度閾值STh和低亮度閾值STl，如圖18所示，變動地設(shè) 定合成比率。這里，圖18是示出存在高亮度圖像信號和低亮度圖像信號雙方時的 合成比率的設(shè)定例的線圖。在該圖18中，實線表示空間變化的灰度處理 圖像(第1圖像信號)的合成率，虛線表示空間不變的灰度處理圖像(第 2圖像信號)的合成率。在該圖18所示的例子中，在圖像信號小于低亮度閾值ST1和圖像信 號大于髙亮度閾值STh這兩種情況下，將第1圖像信號的合成比率設(shè)定 為l，并且，將第2圖像信號的合成比率設(shè)定為0。另一方面，在圖像信號值大于等于低亮度閾值ST1且小于等于高亮 度閾值STh的情況下，基本上，將第1圖像信號的合成比率設(shè)定為0， 并且，將第2圖像信號的合成比率設(shè)定為1。但是，在低亮度閾值ST1 和高亮度閾值STh中，為了避免灰度轉(zhuǎn)換的方式急劇變化的情況，在低 亮度側(cè)設(shè)置緩和寬度IntvL的緩和區(qū)域，在高亮度側(cè)設(shè)置緩和寬度IntvH 的緩和區(qū)域，空間變化的灰度處理圖像和空間不變的灰度處理圖像連續(xù) 變化，在畫質(zhì)上不會產(chǎn)生破綻。艮P，合成比率設(shè)定部903從ROM 110中提取預(yù)先保存在該ROM 110 中的規(guī)定的緩和寬度IntvL的數(shù)據(jù)，根據(jù)亮度值Pij,如式13所示，通過 線性插值來設(shè)定緩和寬度IntvL的緩和區(qū)域中的第1圖像信號的合成比率 R3ij，并且，如式14所示，通過線性插值來設(shè)定第2圖像信號的合成比 率R4ij。[式13]R3ij= {IntvL— (Pi卜ST1) }/IntvL [式14]R4ij= 1 —R3ij這里，式13所示的R3ij和式14所示的R4ij被定義在(STl+IntvL) 〉Pij^STl的范圍內(nèi)，在計算式14時，使用條件式R3ij+R4ij-l。進(jìn)而，合成比率設(shè)定部903從ROM 110中提取預(yù)先保存在該ROM 110中的規(guī)定的緩和寬度IiitvH的數(shù)據(jù)，根據(jù)亮度值Pij，如式15所示， 通過線性插值來設(shè)定緩和寬度IntvH的緩和區(qū)域中的第1圖像信號的合成 比率R5ij，并且，如式16所示，通過線性插值來設(shè)定第2圖像信號的合 成比率R6ij。[式15]R5ij= {(Pij—STh+IntvH) /IntvH} [式16]R6ij-l—R5ij這里，式15所示的R5ij和式16所示的R6ij被定義在STh^Pij〉 (STh-IntvH)的范圍內(nèi)，在計算式16時，使用條件式R5ij+R6ij-l。另外，作為計算這些式13 式16的前提，條件式(STh-IntvH) > (STl+IntvL)當(dāng)然成立。而且，在(STl+IntvL) ^PijS (STh畫IntvH)的區(qū)域中，將第1圖像 信號的合成比率設(shè)定為O,將第2圖像信號的合成比率設(shè)定為1。這里，緩和寬度IntvL、 IntvH的數(shù)據(jù)不限于使用固定值，用戶也可 以通過外部I/F部112自由設(shè)定，或者，用戶也可以經(jīng)由外部I/F部112 從在ROM110中預(yù)先準(zhǔn)備的多個緩和寬度數(shù)據(jù)中指定期望的緩和寬度數(shù) 據(jù)。并且，在從RAM 1005中提取的高低亮度判定結(jié)果表示僅存在低亮 度圖像信號而不存在高亮度圖像信號的情況下，合成比率設(shè)定部903從 RAM 1005中提取低亮度閾值ST1，如圖19所示，變動地構(gòu)成可變合成 比率。這里，圖19是示出僅存在低亮度圖像信號時的合成比率的設(shè)定例的 線圖。在該圖19中，實線表示空間變化的灰度處理圖像(第1圖像信號) 的合成率，虛線表示空間不變的灰度處理圖像(第2圖像信號)的合成 率。在該圖19所示的例子中，在亮度值Pij小于低亮度閾值ST1的情況 下，將第1圖像信號的合成比率設(shè)定為1，并且，將第2圖像信號的合成比率設(shè)定為0。并且，在(STl+IntvL) 〉Pij^STl的區(qū)域中，如式13所示，設(shè)定第 1圖像信號的合成比率R3ij，并且，如式14所示，設(shè)定第2圖像信號的 合成比率R4ij。進(jìn)而，在Pij^ (STl+IntvL)的區(qū)域中，將第1圖像信號的合成比率 設(shè)定為0，將第2圖像信號的合成比率設(shè)定為1。而且，在從RAM 1005中提取的高低亮度判定結(jié)果表示僅存在高亮 度圖像信號而不存在低亮度圖像信號的情況下，合成比率設(shè)定部903從 RAM 1005中提取高亮度閾值STh,如圖20所示，變動地構(gòu)成可變合成 比率。這里，圖20是示出僅存在高亮度圖像信號時的合成比率的設(shè)定例的 線圖。在該圖20中，實線表示空間變化的灰度處理圖像(第1圖像信號) 的合成率，虛線表示空間不變的灰度處理圖像(第2圖像信號)的合成 率。在該圖20所示的例子中，在亮度值Pij大于高亮度閾值STh的情況 下，將第1圖像信號的合成比率設(shè)定為1，并且，將第2圖像信號的合成 比率設(shè)定為0。并且，在STh^Pij〉 (STh-IntvH)的區(qū)域中，如式15所示，設(shè)定 第1圖像信號的合成比率R5ij，并且，如式16所示，設(shè)定第2圖像信號 的合成比率R6ij。進(jìn)而，在Pij^ (STh-IntvH)的區(qū)域中，將第1圖像信號的合成比率 設(shè)定為0，將第2圖像信號的合成比率設(shè)定為1。另外，在上述中，說明了合成比率設(shè)定部903變動地設(shè)定合成比率 的例子，但是，與上述實施方式1同樣，也可以使用固定的合成比率。 此時，既可以使用存儲在ROM110中的固定值，也可以由用戶指定合成 比率。后者的情況下，用戶能夠經(jīng)由外部I/F部112自由地設(shè)定合成比率， 也可以在ROM 110中預(yù)先存儲多組合成比率，用戶經(jīng)由外部I/F部112 指定這些多組合成比率中的一組來進(jìn)行設(shè)定。該情況下，存在如下優(yōu)點 易于人為地控制使用空間變化的灰度轉(zhuǎn)換處理的灰度的改善效果。合成比率設(shè)定部903向混合部904轉(zhuǎn)送如上所述設(shè)定的合成比率數(shù) 據(jù)和來自緩存部902的圖像信號。如上所述，混合部904例如根據(jù)式10,針對每個像素對第l圖像信 號和第2圖像信號進(jìn)行合成。然后，混合部904根據(jù)控制部111的控制， 向顏色偏差降低部208轉(zhuǎn)送合成后的圖像信號。顏色偏差降低部208針對從合成部1004或第2灰度校正部1103轉(zhuǎn) 送的圖像信號，進(jìn)行公知的顏色偏差降低處理(顏色偏差校正處理)。圖 21是示出顏色偏差降低部208的結(jié)構(gòu)的一例的框圖。該顏色偏差降低部208構(gòu)成為具有作為畫質(zhì)劣化信息取得單元和顏 色偏差檢測單元的顏色偏差檢測部701、以及作為畫質(zhì)校正單元和顏色偏 差校正單元的顏色偏差去除部702?；叶绒D(zhuǎn)換部107經(jīng)由顏色偏差檢測部701、顏色偏差去除部702與 顯示部109連接。ROM 110與顏色偏差檢測部701連接?？刂撇?11與顏色偏差檢測部701、顏色偏差去除部702雙向連接， 并對它們進(jìn)行控制。顏色偏差檢測部701將從灰度轉(zhuǎn)換部107的合成部1004或第2灰度 校正部1103轉(zhuǎn)送來的RGB圖像信號轉(zhuǎn)換為例如YCrCb信號，針對亮度 信號Y計算色度抑制增益。然后，顏色偏差檢測部701向顏色偏差去除部702轉(zhuǎn)送亮度信號Y 和色差信號CrCb、以及所計算的色度抑制增益。顏色偏差去除部702使用色度抑制增益，對色差信號CrCb進(jìn)行色度 抑制處理，將亮度信號Y和色度抑制處理后的色差信號CrCb再次轉(zhuǎn)換 為RGB信號。通過進(jìn)行這種顏色偏差降低處理，能夠降低由于灰度轉(zhuǎn)換 而產(chǎn)生的顏色偏差、或由于對空間變化的灰度轉(zhuǎn)換的結(jié)果和空間不變的 灰度轉(zhuǎn)換的結(jié)果進(jìn)行合成而產(chǎn)生的顏色偏差。然后，顏色偏差去除部702向顯示部109轉(zhuǎn)送顏色偏差降低后的圖 像信號。另外，在上述實施方式l中，作為改善圖像信號的畫質(zhì)劣化的手段， 列舉了噪聲降低的例子，在該實施方式2中，列舉了顏色偏差降低的例子，但是不限于此。例如，在圖像是動態(tài)圖像的情況下，在幀之間產(chǎn)生 不連續(xù)性，可能將其觀察為動態(tài)圖像的閃爍。為了應(yīng)對這種情況，例如 可以進(jìn)行以下式17所示的公知的閃爍降低處理。 [式17]
Q ， ij- Qij X vi + Qbij X v2+Qfij X v3
在該式17中，Qij是對象圖像信號中的像素位置(i， j)的亮度值， Qbij是前一幀圖像信號中的像素位置(i， j)的亮度值，Qfij是后一幀圖 像信號中的像素位置(i, j)的亮度值，Q'ij是合成后的圖像信號中的像 素位置(i， j)的亮度值，Vl是針對Qij的合成率，V2是針對Qbij的合 成率，V3是針對Qfij的合成率，是滿足歸一化的條件式V1+ V2+ V3=l 的合成率。
另外，在本實施方式中，與上述實施方式1同樣，也可以是分開設(shè) 置攝像部的圖像信號處理裝置，也可以是圖像信號處理方法，也可以使 計算機執(zhí)行圖像信號處理程序來進(jìn)行同樣的處理。
圖22是示出圖像信號處理程序的處理的流程圖。
開始該處理后，首先，讀入圖像信號和上述標(biāo)題信息等，并且，還 讀入該圖像信號處理程序預(yù)先具有的適于圖像處理的y特性數(shù)據(jù)(制圖Y
特性數(shù)據(jù))、以及適于通過規(guī)定的顯示裝置顯示圖像的y特性數(shù)據(jù)等信息 (步驟S21)。該處理在攝像裝置即圖像信號處理裝置中，相當(dāng)于拍攝被 攝體并取得圖像信號的處理。
接著，檢測所讀入的圖像信號中是否存在高亮度圖像信號和所讀入 的圖像信號中是否存在低亮度圖像信號(步驟S22)。該處理相當(dāng)于上述 特定亮度區(qū)域檢測部402進(jìn)行的處理。
接著，根據(jù)步驟S22的檢測結(jié)果，判定圖像信號中是否存在高亮度 圖像信號和低亮度圖像信號的至少一方(步驟S23)。該處理相當(dāng)于灰度 轉(zhuǎn)換部107和控制部111進(jìn)行的處理。
這里，在判定為存在高亮度圖像信號和低亮度圖像信號的至少一方 的情況下，對圖像信號迸行空間變化的第1灰度校正處理(步驟S24)。 該處理相當(dāng)于第1灰度校正部1002進(jìn)行的處理。接著，對在步驟S21中讀入的適于圖像處理的y特性數(shù)據(jù)(制圖7 特性數(shù)據(jù))和適于通過規(guī)定的顯示裝置顯示圖像的y特性數(shù)據(jù)進(jìn)行合成，
使用合成后的y特性數(shù)據(jù)，對圖像信號進(jìn)行空間不變的第2灰度校正處 理(步驟S25)。該處理相當(dāng)于第2灰度校正部1103進(jìn)行的處理。
另外，這里先進(jìn)行第1灰度校正處理，后進(jìn)行第2灰度校正處理， 但是，也可以是相反順序，也可以同時并列進(jìn)行第1灰度校正處理和第2 灰度校正處理。
然后，對通過步驟S24得到的第1圖像信號和通過步驟S25得到的 第2圖像信號進(jìn)行合成(步驟S26)。該處理相當(dāng)于合成部1004進(jìn)行的處 理。
并且，在步驟S23中判定為高亮度圖像信號和低亮度圖像信號都不 存在的情況下，對在步驟S21中讀入的適于圖像處理的y特性數(shù)據(jù)(制 圖y特性數(shù)據(jù))和適于通過規(guī)定的顯示裝置顯示圖像的y特性數(shù)據(jù)進(jìn)行 合成，使用合成后的y特性數(shù)據(jù)，對圖像信號進(jìn)行空間不變的第2灰度 校正處理(步驟S27)。該處理與步驟S25的處理相同，也相當(dāng)于第2灰 度校正部1103進(jìn)行的處理。
在步驟S26的處理或步驟S27的處理結(jié)束后，進(jìn)行公知的顏色偏差 降低處理(步驟S28)。該處理相當(dāng)于顏色偏差降低部208進(jìn)行的處理。
然后，輸出顏色偏差降低后的圖像信號，顯示在顯示裝置上，或保 存在存儲卡等中(步驟S29)，結(jié)束該處理。
接著，圖23是示出圖22的步驟S22中的高、低亮度信號的檢測處 理的詳細(xì)情況的流程圖。
開始該處理后，首先，適于圖像處理的y特性數(shù)據(jù)(制圖y特性數(shù) 據(jù))和適于通過規(guī)定的顯示裝置顯示圖像的y特性數(shù)據(jù)進(jìn)行合成(步驟 S201)。該處理相當(dāng)于y特性數(shù)據(jù)提取合成部4121進(jìn)行的處理。
接著，如圖17所示，將與合成后的y特性數(shù)據(jù)對應(yīng)的傾斜角度AH (式ll)首次小于認(rèn)定為是白斑的規(guī)定的角度AHTH時的輸入電平，設(shè) 定為高亮度閾值(圖8所示的STh)，并且，將與合成后的y特性數(shù)據(jù)對 應(yīng)的斜率AL (式12)首次小于認(rèn)定為是黑斑的規(guī)定的角度ALTH時的輸入電平，設(shè)定為低亮度閾值(圖8所示的ST1)(步驟S202)。該處理相 當(dāng)于髙低亮度區(qū)域閾值檢測部4122進(jìn)行的處理。
接著，對圖像所包含的全部像素的亮度值和高亮度閾值進(jìn)行比較， 對亮度值大于高亮度閾值的像素(判定為高亮度圖像信號的像素)的數(shù) 量進(jìn)行計數(shù)，并且，對圖像所包含的全部像素的亮度值和低亮度閾值進(jìn) 行比較，對亮度值小于低亮度閾值的像素(判定為低亮度圖像信號的像 素)的數(shù)量進(jìn)行計數(shù)(步驟S203)。
然后，將高亮度圖像信號的計數(shù)數(shù)與規(guī)定閾值(高亮度圖像信號閾 值)進(jìn)行比較，在大于規(guī)定閾值的情況下，判斷為圖像中存在高亮度圖 像信號，在小于規(guī)定閾值的情況下，判斷為圖像中不存在高亮度圖像信 號，并且，將低亮度圖像信號的計數(shù)數(shù)與規(guī)定閾值(低亮度圖像信號閾 值)進(jìn)行比較，在大于規(guī)定閾值的情況下，判斷為圖像中存在低亮度圖 像信號，在小于規(guī)定閾值的情況下，判斷為圖像中不存在低亮度圖像信 號(步驟S204)。這些步驟S203和步驟S204的處理相當(dāng)于高低亮度區(qū) 域判斷部4123進(jìn)行的處理。
該步驟S204的處理結(jié)束后，然后返回圖22所示的處理。
另外，這里說明了自動設(shè)定高亮度閾值和低亮度閾值的例子，但是， 也可以通過用戶輸入來手動設(shè)定。此時，代替圖23的步驟S201和步驟 S202的處理，進(jìn)行高亮度閾值和低亮度閾值的手動輸入處理即可。
根據(jù)這種實施方式2，發(fā)揮與上述實施方式1大致相同的效果，并 且，在存在高亮度信號和低亮度信號的至少一方的情況下，針對原圖像 信號，針對每個區(qū)域(每個像素或每個像素區(qū)域)進(jìn)行空間變化的灰度 轉(zhuǎn)換處理，所以，能夠以不壓縮的方式保持屬于高亮度區(qū)域或低亮度區(qū) 域的像素或像素區(qū)域的灰度特性。并且，在不存在高亮度信號和低亮度 信號的雙方的情況下，僅進(jìn)行空間不變的灰度轉(zhuǎn)換處理，所以，能夠降 低消耗功率，并使處理高速化。
進(jìn)而，實質(zhì)上針對圖像信號的高亮度區(qū)域使用與該高亮度區(qū)域?qū)?yīng) 的空間變化的灰度轉(zhuǎn)換處理的結(jié)果，實質(zhì)上針對圖像信號的低亮度區(qū)域 使用與該低亮度區(qū)域?qū)?yīng)的空間變化的灰度轉(zhuǎn)換處理的結(jié)果，但是，針區(qū)域使用對空間變化的灰度轉(zhuǎn)換圖像 和空間不變的灰度轉(zhuǎn)換圖像進(jìn)行合成后的結(jié)果，所以，在保持高亮度區(qū) 域和低亮度區(qū)域的灰度的同時，解壓中亮度區(qū)域的灰度，能夠得到反映 了灰度再現(xiàn)特性的圖像。
另外，本發(fā)明不限于上述實施方式，在實施階段，在不脫離其主旨 的范圍內(nèi)能夠變形結(jié)構(gòu)要素并具體化。并且，通過上述實施方式所公開 的多個結(jié)構(gòu)要素的適當(dāng)組合，可以形成各種發(fā)明。例如，可以從實施方 式所示的全部結(jié)構(gòu)要素中刪除幾個結(jié)構(gòu)要素。進(jìn)而，也可以適當(dāng)組合不 同實施方式中的結(jié)構(gòu)要素。這樣，在不脫離發(fā)明主旨的范圍內(nèi)，當(dāng)然能 夠進(jìn)行各種變形和應(yīng)用。
權(quán)利要求
1.一種圖像信號處理裝置，該圖像信號處理裝置對來自攝像元件的數(shù)字化的圖像信號進(jìn)行圖像信號處理，該圖像信號處理裝置的特征在于，該圖像信號處理裝置具有第1灰度轉(zhuǎn)換處理單元，其對上述圖像信號進(jìn)行空間變化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度轉(zhuǎn)換處理單元，其對上述圖像信號進(jìn)行空間不變的灰度校正處理，由此生成第2圖像信號；以及合成單元，其對上述第1圖像信號和上述第2圖像信號進(jìn)行合成。
2. 根據(jù)權(quán)利要求1所述的圖像信號處理裝置，其特征在于， 上述合成單元具有合成比率設(shè)定單元，該合成比率設(shè)定單元設(shè)定上述第1圖像信號和上述第2圖像信號的合成比率，上述合成單元使用上述合成比率對上述第1圖像信號和上述第2圖 像信號進(jìn)行合成。
3. 根據(jù)權(quán)利要求2所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元針對上述圖像信號的全部像素，將上述合成比率設(shè)定為一定的值。
4. 根據(jù)權(quán)利要求2所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元針對由上述圖像信號表現(xiàn)的圖像的每個區(qū)域，設(shè)定上述合成比率。
5. 根據(jù)權(quán)利要求4所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元還根據(jù)上述圖像信號的亮度值來設(shè)定上述合成比率，上述合成比率設(shè)定單元將上述第l圖像信號的合成比率設(shè)定為， 與高亮度區(qū)域?qū)?yīng)的合成比率大于與該高亮度區(qū)域以外的亮度區(qū)域?qū)?yīng) 的合成比率。
6. 根據(jù)權(quán)利要求4所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元還根據(jù)上述圖像信號的亮度值來設(shè)定上述合成比率，上述合成比率設(shè)定單元將上述第l圖像信號的合成比率設(shè)定為，與低亮度區(qū)域?qū)?yīng)的合成比率大于與該低亮度區(qū)域以外的亮度區(qū)域?qū)?yīng) 的合成比率。
7. 根據(jù)權(quán)利要求4所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元還根據(jù)上述圖像信號的亮度值來設(shè)定上述合成比率，上述合成比率設(shè)定單元將上述第1圖像信號的合成比率設(shè)定為， 與高亮度區(qū)域?qū)?yīng)的合成比率大于與該高亮度區(qū)域和低亮度區(qū)域以外的 亮度區(qū)域?qū)?yīng)的合成比率，并且將上述第1圖像信號的合成比率設(shè)定為， 與低亮度區(qū)域?qū)?yīng)的合成比率大于與高亮度區(qū)域和該低亮度區(qū)域以外的 亮度區(qū)域?qū)?yīng)的合成比率。
8. 根據(jù)權(quán)利要求3或4所述的圖像信號處理裝置，其特征在于， 上述合成比率設(shè)定單元具有-閾值設(shè)定單元，其設(shè)定用于判斷上述圖像信號的特定亮度區(qū)域的閾值；特定亮度區(qū)域檢測單元，其根據(jù)上述閾值來檢測上述特定亮度區(qū)域；以及合成比率計算單元，其根據(jù)上述特定亮度區(qū)域檢測單元的檢測結(jié)果 來計算上述合成比率。
9. 根據(jù)權(quán)利要求8所述的圖像信號處理裝置，其特征在于， 上述閾值設(shè)定單元具有用于輸入上述閾值的閾值輸入單元，上述閾值設(shè)定單元根據(jù)來自該閾值輸入單元的輸入來設(shè)定上述閾值。
10. 根據(jù)權(quán)利要求8所述的圖像信號處理裝置，其特征在于， 上述閾值設(shè)定單元根據(jù)在進(jìn)行上述空間不變的灰度轉(zhuǎn)換處理時使用的Y特性數(shù)據(jù)，來設(shè)定上述閾值。
11. 根據(jù)權(quán)利要求IO所述的圖像信號處理裝置，其特征在于，上述Y特性數(shù)據(jù)是適于通過顯示裝置顯示圖像的Y特性數(shù)據(jù)、適于 圖像處理的Y特性數(shù)據(jù)、以及通過對適于通過顯示裝置顯示圖像的y特 性數(shù)據(jù)和適于圖像處理的Y特性數(shù)據(jù)進(jìn)行合成而得到的Y特性數(shù)據(jù)中的任一個Y特性數(shù)據(jù)。
12. 根據(jù)權(quán)利要求8所述的圖像信號處理裝置，其特征在于，上述特定亮度區(qū)域是圖像信號的高亮度區(qū)域和低亮度區(qū)域， 上述閾值設(shè)定單元設(shè)定用于判斷上述高亮度區(qū)域的高亮度閾值(STh)、和用于判斷上述低亮度區(qū)域的小于該高亮度閾值(STh)的低亮 度閾值(ST1)。
13. 根據(jù)權(quán)利要求1所述的圖像信號處理裝置，其特征在于， 該圖像信號處理裝置還具有-畫質(zhì)劣化信息取得單元，其從由上述合成單元合成的圖像信號中取 得畫質(zhì)劣化信息；以及畫質(zhì)校正單元，其根據(jù)上述畫質(zhì)劣化信息，校正由上述合成單元合 成的圖像信號。
14. 根據(jù)權(quán)利要求13所述的圖像信號處理裝置，其特征在于， 上述畫質(zhì)劣化信息取得單元具有噪聲檢測單元，該噪聲檢測單元檢測由上述合成單元合成的圖像信號的噪聲電平，上述畫質(zhì)校正單元具有噪聲降低單元，該噪聲降低單元對由上述合 成單元合成的圖像信號進(jìn)行噪聲降低處理。
15. 根據(jù)權(quán)利要求13所述的圖像信號處理裝置，其特征在于， 上述畫質(zhì)劣化信息取得單元具有顏色偏差檢測單元，該顏色偏差檢測單元檢測由上述合成單元合成的圖像信號的顏色偏差，上述畫質(zhì)校正單元具有顏色偏差校正單元，該顏色偏差校正單元對 由上述合成單元合成的圖像信號進(jìn)行顏色偏差校正處理。
16. —種圖像信號處理程序，該圖像信號處理程序用于使計算機對來 自攝像元件的數(shù)字化的圖像信號進(jìn)行圖像信號處理，該圖像信號處理程 序的特征在于，該圖像信號處理程序用于使計算機執(zhí)行以下步驟第1灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間變 化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間不 變的灰度校正處理，由此生成第2圖像信號；以及合成步驟，在該步驟中，對上述第1圖像信號和上述第2圖像信號 進(jìn)行合成。
17. 根據(jù)權(quán)利要求16所述的圖像信號處理程序，其特征在于， 上述合成步驟包含合成比率設(shè)定步驟，在該合成比率設(shè)定步驟中，設(shè)定上述第1圖像信號和上述第2圖像信號的合成比率，上述合成步驟是使用上述合成比率對上述第1圖像信號和上述第2 圖像信號進(jìn)行合成的步驟。
18. —種圖像信號處理方法，該圖像信號處理方法用于對來自攝像元 件的數(shù)字化的圖像信號進(jìn)行圖像信號處理，該圖像信號處理方法的特征 在于，該圖像信號處理方法具有以下步驟-第1灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間變 化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度轉(zhuǎn)換處理步驟，在該步驟中，對上述圖像信號進(jìn)行空間不 變的灰度校正處理，由此生成第2圖像信號；以及合成步驟，在該步驟中，對上述第1圖像信號和上述第2圖像信號 進(jìn)行合成。
19. 根據(jù)權(quán)利要求18所述的圖像信號處理方法，其特征在于， 上述合成步驟包含合成比率設(shè)定步驟，在該合成比率設(shè)定步驟中，設(shè)定上述第1圖像信號和上述第2圖像信號的合成比率，上述合成步驟是使用上述合成比率對上述第1圖像信號和上述第2 圖像信號進(jìn)行合成的步驟。
全文摘要
本發(fā)明提供圖像信號處理裝置、圖像信號處理程序、圖像信號處理方法。圖像信號處理裝置具有第1灰度校正部(1002)，其對來自CCD(102)和A/D轉(zhuǎn)換部(104)的數(shù)字化的圖像信號進(jìn)行空間變化的灰度轉(zhuǎn)換處理，由此生成第1圖像信號；第2灰度校正部(1003)，其對來自CCD(102)和A/D轉(zhuǎn)換部(104)的數(shù)字化的圖像信號進(jìn)行空間不變的灰度校正處理，由此生成第2圖像信號；以及合成部(1004)，其設(shè)定第1圖像信號的合成比率(R1)和第2圖像信號的合成比率(R2)，根據(jù)所設(shè)定的合成比率(R1、R2)，對第1圖像信號和第2圖像信號進(jìn)行合成。
文檔編號G06T5/00GK101627408SQ20078005211
公開日2010年1月13日 申請日期2007年3月13日 優(yōu)先權(quán)日2007年3月13日
發(fā)明者溫成剛 申請人:奧林巴斯株式會社