專利名稱：信號處理裝置、信號處理方法、控制程序、可讀記錄介質(zhì)、固態(tài)圖像捕獲裝置以及電子信息設備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一種信號處理裝置，其用于檢測從CMOS (互補金 屬氧化物半導體)型圖像捕獲設備及其類似物獲得的圖像信號中的閃 爍，所述CMOS型圖像捕獲設備及其類似物對來自主體(subject)的 光執(zhí)行光電轉(zhuǎn)換并捕獲主體的圖像； 一種信號處理方法； 一種控制程 序，其包括用于允許計算機執(zhí)行信號處理方法的每一步驟的處理步 驟； 一種計算機可讀記錄介質(zhì)，其將控制程序作為數(shù)據(jù)存儲； 一種固 態(tài)(solid-state)圖像捕獲裝置，其具有在其內(nèi)使用的信號處理裝置； 以及一種電子信息設備，諸如數(shù)字照相機(例如，數(shù)字攝像機和數(shù)字 靜物照相機(still camera))、圖像輸入照相機、掃描儀、傳真機和 裝備有照相機的移動電話設備，所述電子信息設備具有帶信號處理裝 置的固態(tài)圖像捕獲裝置作為在其圖像捕獲部中被使用的圖像輸入設 備。
背景技術(shù)：
在使用除了反相類型(invertertype)的交流電源的熒光(燈)下， 當圖像是通過CMOS型圖像捕獲設備來拍攝時，橫向條紋狀亮部和暗 部(被稱為閃爍噪聲)通常出現(xiàn)在顯示屏的所拍攝圖像上。這是由于 根據(jù)電源電壓周期熒光量的變化而引起的。
關(guān)于該問題，參考文件l提出一種用于檢測來自圖像信號(其在 預處理部(pre-processing section )中被處理以獲得所拍攝圖像)的閃 爍頻率的方法。
圖14為示出參考文件1中所公開的傳統(tǒng)數(shù)字信號處理裝置的示 例性基本配置的框圖。在圖14中，傳統(tǒng)的數(shù)字信號處理裝置被用于圖像捕獲裝置，并 且包括預處理部50;閃爍檢測和降4氐部60;以及后處理部70。
預處理部50包括數(shù)字箝位(clamp)電路51;讀出間通道增益 才交正電路(inter-read-out channel gain correction circuit )52; 固定圖案 噪聲降低(fixed pattern noise reduction )電路53;缺P各(defective ) 像素數(shù)據(jù)校正電路54;噪聲降低電路55;鏡頭陰影(lens shading) 校正電路56;以及數(shù)字增益調(diào)節(jié)電路57。也就是，預處理部50對在 從圖像捕獲元件獲得后經(jīng)過A/D轉(zhuǎn)換的RGB原色信號進行箝位；對 于具有經(jīng)箝位黑電平(clamped black level)的RGB原色信號，校正 在讀出通道之間的增益；降低固定圖案噪聲；校正缺陷像素的數(shù)據(jù)； 降低噪聲；校正鏡頭陰影；以及調(diào)節(jié)用于曝光調(diào)節(jié)的增益。
當從模擬信號處理部輸入的信號為RGB原色信號時，數(shù)字箝位 電路51將輸入的RGB原色信號的黑電平箝位在預定電平。
當圖像捕獲信號是通過多個讀出通道從CMOS圖像捕獲設備讀 出的時，讀出間通道增益校正電路52利用每個讀出通道的經(jīng)箝位黑 電平以消除每個讀出通道的信號增益的變化的方式來校正RGB原色 信號的信號增益。
固定圖案噪聲降低電路53在讀出間通道增益校正之后為RGB原 色信號降低垂直條紋狀(striped)固定圖案噪聲。
缺陷像素數(shù)據(jù)校正電路54對由后處理部70中的缺陷像素檢測電 路74檢測到的、經(jīng)固定噪聲圖案降低之后的RGB原色中的缺陷像素 的數(shù)據(jù)(像素值)進行校正。具體地，通過根據(jù)缺陷像素周圍的像素 數(shù)據(jù)進行插值操作來計算和生成缺陷像素的數(shù)據(jù)，從而用所計算和生 成的數(shù)椐來代替原始數(shù)據(jù)。
在缺陷像素數(shù)據(jù)校正之后，噪聲降低電路55為RGB原色降低噪 聲。在這種情況下的噪聲是與上述固定圖案噪聲不同的普通高頻噪 聲。具體地，執(zhí)行濾波過程(filtering process)以僅從RGB原色信號 中提取低頻分量來降低噪聲。
在噪聲降低之后，鏡頭陰影校正電路56為RGB原色信號校正鏡 頭陰影(鏡頭陰影是這樣的現(xiàn)象信號量依賴于圖像聚焦位置(例如 在中間部分或周邊部分)而彼此不同，并且通常隨著所述位置移動得 更遠離鏡頭光軸的中心，圖像將變得更黑并且信號量減少)。在用于曝光調(diào)節(jié)的鏡頭陰影校正之后，數(shù)字增益調(diào)節(jié)電路57通 過系統(tǒng)控制器(未示出)的增益設定通過調(diào)節(jié)RGB原色信號的增益 從而執(zhí)行亮度調(diào)節(jié)。在圖像捕獲裝置中，可以通過光圏(iris)設定、 電子快門速度設定以及數(shù)字增益調(diào)節(jié)電路57的增益調(diào)節(jié)來調(diào)節(jié)曝光 量。通過經(jīng)由數(shù)字增益調(diào)節(jié)電路57調(diào)節(jié)增益以及與光圍設定和電子 快門速度設定一起操作，能夠獲得期望的曝光量并且還能夠?qū)崿F(xiàn)自動 曝光調(diào)節(jié)功能。
閃爍檢測和降低部60檢測熒光的閃爍并且降低閃爍分量。
后處理部70包括白平衡調(diào)節(jié)電路71;伽馬(gamma)校正電 路72;矩陣合成(matrix synthesizing)電路73;以及缺陷像素檢測 電路74。在閃爍降低之后為RGB原色信號調(diào)節(jié)白平衡，在白平衡調(diào) 節(jié)之后從RGB原色信號檢測圖像捕獲設備的缺陷像素，以及執(zhí)行伽 馬校正，并且生成亮度信號Y和色差信號R-Y和B-Y。
白平衡調(diào)節(jié)電路71為對每個RGB原色信號的信號電平的平衡進 行歸一化(normalize)的白平衡而調(diào)節(jié)每個增益。
在白平衡調(diào)節(jié)之后，伽馬校正電路72依照顯示裝置的灰度特性 (gradation characteristic )改變RGB原色4言號的灰度。
在伽馬校正之后，矩陣合成電路73從RGB原色信號生成亮度信 號Y、色差信號R-Y和B-Y，作為數(shù)字信號處理裝置的輸出。
缺陷像素(defective pixel)檢測電路74根椐來自白平衡調(diào)節(jié)電 路71的輸出信號檢測CMOS圖像捕獲設備的缺陷像素，并且將缺陷 像素檢測結(jié)果輸出到缺陷像素數(shù)據(jù)校正電路54。
參考文件1:日本特許公開第2005 - 347939號。

發(fā)明內(nèi)容
在如上所述的參考文件1的主題中，當執(zhí)行預處理以改善閃爍檢 測準確度時，可能會對所拍攝圖像造成不適當?shù)男Ｕ＠?，在閃爍 檢測中，期望通過鏡頭陰影校正電路56執(zhí)行校正，以使得信號的亮 度水平(brightness level)從中間部分到周邊部分恒定。然而，在所拍 攝圖像中，當如圖15所示增益在顯示屏的周邊部分中增加得多于中 間部分時，噪聲分量N在周邊部分中也凈皮增加和加強(emphasize), 結(jié)果，在周邊部分中造成不適當?shù)男Ｕ瑥亩鴮е麓蟮脑肼暦至縉。總之，當閃爍檢測的準確度增加時，所拍攝圖像中的噪聲分量N增加， 這意味著閃爍檢測準確度和圖像質(zhì)量出于折衷(tradeoff)關(guān)系。
因此，通常不以使得從顯示屏的中間部分到周邊部分亮度平化 (對應于恒定信號電平(signal level))的方式(100%校正)來為圖 像質(zhì)量而執(zhí)行陰影校正。然而，在這種情況下，由于鏡頭陰影低頻分 量保留在空間頻率中。尤其，當幀速快并且閃爍噪聲的明暗橫向條紋 的數(shù)量低時，在閃爍檢測中可能出現(xiàn)誤差。
本發(fā)明意圖解決上述傳統(tǒng)的問題。本發(fā)明的目的是提供 一種信 號處理裝置和使用該信號處理裝置的信號處理方法，所述信號處理裝 置和方法能夠以高準確度檢測閃爍頻率，而對待拍攝的圖像沒有由于 閃爍檢測而導致的不良影響； 一種用于使計算機執(zhí)行所述信號處理方 法中的每一步的控制程序； 一種計算機可讀記錄介質(zhì)，其將所述控制 程序作為數(shù)據(jù)存儲； 一種具有在其內(nèi)被使用的信號處理裝置的固態(tài)圖 像捕獲裝置；以及電子信息設備，諸如裝備有照相機的移動電話設備， 其具有帶信號處理裝置的固態(tài)圖像捕獲裝置作為在其圖像捕獲部中 被使用的圖像輸入設備。
根據(jù)本發(fā)明的信號處理裝置，包括共用(common)預處理部， 用于對輸入圖像信號執(zhí)行被所拍才聶圖像處理(photographed image process)和閃爍檢測處理所共用的信號處理；所拍攝圖像處理部，用 于對來自共用預處理部的圖像信號執(zhí)行圖像信號處理以生成顯示圖 像；閃爍檢測預處理部，用于對來自共用預處理部的圖像信號執(zhí)行用 于閃爍檢測的圖像信號處理；以及閃爍檢測電路，用于基于來自閃爍 檢測預處理部的圖像信號執(zhí)行閃爍檢測。由此達到上述的目的。
優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測部通過利用 來自閃爍檢測預處理部的圖像信號的亮度信號信息來執(zhí)行閃爍檢測。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測部通 過利用來自閃爍檢測預處理部的圖像信號的亮度信號信息和色差信 號信息來執(zhí)行閃爍檢測。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，在亮度頻率檢 測部和色差頻率檢測部之間，閃爍檢測部包括至少亮度頻率檢測部， 所述亮度頻率檢測部用于在圖像的垂直方向上檢測亮度信號的空間 頻率，而所述色差頻率檢測部用于在圖像的垂直方向上檢測色差信號u和v的空間頻率。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測部包
括第 一水平方向積分電路(integration circuit),用于針對水平方向 上顯示屏的每一行對來自閃爍檢測預處理部的圖像信號中的亮度信 號進行連續(xù)積分；第一頻率轉(zhuǎn)換電路，用于對在第一水平方向積分電 路中積分得到的積分值執(zhí)行離散傅立葉變換處理(Fourier transform process);以及第一頻率檢測電路，用于基于離散傅立葉變換處理的 結(jié)果檢測亮度信號的功率為最大所處在的空間頻率。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測部包 括第一水平方向積分電路，用于針對水平方向上顯示屏的每一行對 來自閃爍檢測預處理部的亮度信號進行連續(xù)積分；第一頻率轉(zhuǎn)換電 路，用于對在第 一水平方向積分電路中積分得到的積分值執(zhí)行離散傅 立葉變換處理；第一頻率檢測電路，用于基于第一頻率轉(zhuǎn)換電路中的 離散傅立葉變換處理的結(jié)果檢測亮度信號的功率為最大所處在的空 間頻率；第二水平方向積分電路，用于針對水平方向上顯示屏的每一 行對來自閃爍檢測預處理部的色差信號U進行連續(xù)積分；第二頻率轉(zhuǎn) 換電路，用于對在第二水平方向積分電路中積分得到的積分值執(zhí)行離 散傅立葉變換處理；第二頻率檢測電路，用于基于第二頻率轉(zhuǎn)換電路 中的離散傅立葉變換處理的結(jié)果檢測亮度信號的功率為最大所處在 的空間頻率；第三水平方向積分電路，用于針對水平方向上顯示屏的 每一行對來自閃爍檢測預處理部的色差信號V進行連續(xù)積分；第三頻 率轉(zhuǎn)換電路，用于對在第三水平方向積分電路中積分得到的積分值執(zhí) 行離散傅立葉變換處理；以及第三頻率檢測電路，用于基于第三頻率 轉(zhuǎn)換電路中的離散傅立葉變換處理的結(jié)果檢測亮度信號的功率為最 大所處在的空間頻率。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，通過來自第一、 第二和第三頻率檢測電路的各閃爍頻率的多數(shù)來確定閃爍頻率。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括陰影校正部，該陰影校正部用于在圖像的水平和垂直方向上 校正圖像。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括陰影校正部，該陰影校正部用于在圖像的垂直方向上校正圖像。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，陰影校正部執(zhí)
行90 %至100 %的陰影校正。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，所拍攝圖像處 理部包括陰影校正部，該陰影校正部用于在圖像的水平和垂直方向上 校正圖像。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，所拍攝圖像處 理部包括陰影校正部，該陰影校正部用于在圖像的水平方向上校正圖 像，并且在閃爍檢測預處理部的圖像的垂直方向上從陰影校正部所輸 入的數(shù)據(jù)通過與來自用于在圖像的水平方向上校正圖像的陰影校正 部的數(shù)椐相乘而被處理，從而在所拍攝圖像處理部中在圖像的水平和 垂直方向上執(zhí)行陰影校正處理。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，共用預處理部 包括用于在圖像的垂直方向上校正圖像的陰影校正部，所拍攝圖像處 理部包括用于在圖像的水平方向上校正圖像的陰影校正部，其中，數(shù) 據(jù)通過與從用于在圖像的垂直方向上校正圖像的陰影校正部所輸入 的數(shù)據(jù)相乘而被處理，并且閃爍檢測預處理部輸入這樣的數(shù)據(jù)，該數(shù) 據(jù)來自用于在圖像的垂直方向上校正圖像的陰影校正部。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括數(shù)字增益校正部，其用于對由于光源的色溫而變化的三種顏 色的信號電平進行校正。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括插值部，其用于從輸入的原RGB色信號生成亮度信號Y和 色差信號U和V。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括光和陰影校正部，其用于校正顯示圖像的光和陰影。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括陰影校正部，該陰影校正部用于對由于鏡頭陰影而導致的周 邊光量的減小進行校正；數(shù)字增益校正部，用于對由于光源的色溫而 變化的三種顏色的信號電平進行校正；插值部，用于從輸入的原RGB 色信號生成亮度信號Y和色差信號U和V;以及光和陰影校正部，用 于校正顯示圖像的光和陰影。進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，光和陰影校正
部加強對比度(contrast)以對顯示圖像的光和陰影執(zhí)行加強處理。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部包括陰影校正部，該陰影校正部用于對由于鏡頭陰影而導致的周 邊光量的減小進行校正；數(shù)字增益校正部，用于對由于光源的色溫而 變化的三種顏色的信號電平進行校正；以及插值部，用于從輸入的原 RGB色信號生成亮度信號Y和色差信號U和V。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理裝置中，閃爍檢測預處 理部進一步包括亮度變化確定部，用于確定亮度是否變化了等于或多 于預定值的量，以決定開始閃爍檢測預處理。
根椐本發(fā)明的固態(tài)圖像捕獲裝置，包括圖像捕獲設備，在其中 具有多個用于對來自主體的光執(zhí)行光電轉(zhuǎn)換并捕荻主體的圖像的光 接收部；模擬/數(shù)字轉(zhuǎn)換部，用于將從圖像捕獲設備獲得的模擬圖像信 號轉(zhuǎn)換成數(shù)字圖像信號；以及根據(jù)本發(fā)明的信號處理裝置，來自模擬 /數(shù)字轉(zhuǎn)換部的數(shù)字圖像信號作為輸入圖像信號被輸入到該信號處理 裝置。由此實現(xiàn)上述目的。
根椐本發(fā)明的電子信息設備具有固態(tài)圖像捕獲裝置作為在圖像 捕獲部中的圖像輸入設備，所述固態(tài)圖像捕獲裝置包括根據(jù)本發(fā)明的 信號處理裝置。由此實現(xiàn)上述目的。
根椐本發(fā)明的信號處理方法，包括共用預處理步驟，用于對數(shù) 字圖像信號執(zhí)行被所拍攝圖像處理和閃爍檢測處理所共用的信號處 理，通過對來自圖像捕獲設備的圖像信號進行數(shù)字轉(zhuǎn)換而獲得該數(shù)字 圖像信號；所拍攝圖像處理步驟，用于對通過共用預處理步驟獲得的 圖像信號執(zhí)行圖像信號處理以生成顯示圖像；閃爍檢測預處理步驟， 用于對通過共用預處理步驟獲得的圖像信號執(zhí)行圖像信號處理用于 閃爍檢測；以及閃爍檢測步驟，用于對通過閃爍檢測預處理步驟獲得 的圖像信號執(zhí)行閃爍檢測。由此實現(xiàn)上述的目的。
優(yōu)選地，在根據(jù)本發(fā)明的信號處理方法中，在亮度頻率檢測步驟 和色差頻率檢測步驟之間，閃爍檢測步驟包括至少亮度頻率檢測步 驟，所述亮度頻率檢測步驟用于在顯示圖像的垂直方向上檢測亮度信 號的空間頻率，而所述色差頻率檢測步驟用于在顯示圖像的垂直方向 上檢測色差信號的空間頻率。進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理方法中，閃爍檢測預處 理步驟包括至少陰影校正步驟，該陰影校正步驟用于在圖像的水平和 垂直方向之間在垂直方向上校正圖像。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理方法中，其中閃爍檢測 預處理步驟包括光和陰影校正步驟，用于校正顯示圖像的光和陰影。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理方法中，閃爍檢測預處 理步驟包括陰影校正步驟，該陰影校正步驟用于對由于鏡頭陰影而導
致的周邊光量的減小進行校正；數(shù)字增益校正步驟，用于對由于光源 的色溫而變化的三種顏色的信號電平進行校正；插值步驟，用于從輸 入的原RGB色信號生成亮度信號Y和色差信號U和V;以及光和陰 影校正步驟，用于校正顯示圖像的光和陰影。
進一步優(yōu)選地，在根據(jù)本發(fā)明的信號處理方法中，閃爍檢測預處 理步驟包括陰影校正步驟，該陰影校正步驟用于對由于鏡頭陰影而導 致的周邊光量的減小進行校正；數(shù)字增益校正步驟，用于對由于光源 的色溫而變化的三種顏色的信號電平進行校正；以及插值步驟，用于 從輸入的原RGB色信號生成亮度信號Y和色差信號U和V。
根據(jù)本發(fā)明的控制程序，其記錄了用于允許計算機至少執(zhí)行根據(jù) 本發(fā)明的信號處理方法的步驟中的閃爍檢測預處理步驟和閃爍檢測 步驟的處理步驟，由此實現(xiàn)上述目的。
根據(jù)本發(fā)明的可讀記錄介質(zhì)，其是計算機可讀的并且存儲有根據(jù) 本發(fā)明的控制程序，由此實現(xiàn)上述目的。
在下文中將描迷具有上迷配置的本發(fā)明的功能。
根據(jù)本發(fā)明，包括共用預處理部，用于對輸入圖像信號執(zhí)行被用 于生成所拍攝圖像的處理和用于檢測閃爍的處理所共用的信號處理； 所拍攝圖像處理部，用于對來自共用預處理部的圖像信號執(zhí)行圖像信 號處理以生成所拍攝圖像；閃爍檢測預處理部，用于對來自共用預處 理部的圖像信號執(zhí)行圖像信號處理以準備閃爍檢測；以及閃爍檢測 部，用于基于來自閃爍檢測預處理部的圖像信號執(zhí)行閃爍檢測。
因此，閃爍檢測預處理部設置在與所拍攝圖像處理部不同的系統(tǒng) 中，并且執(zhí)行與所拍攝圖像處理部中的處理不同的處理，以便通過閃 爍檢測部執(zhí)行閃爍檢測處理。結(jié)果，能夠以高準確度檢測閃爍頻率， 而不會對待拍攝的顯示圖像產(chǎn)生不良影響。的處理。 根據(jù)具有上述配置的本發(fā)明，閃爍檢測預處理部設置在與所拍攝 圖像處理部不同的系統(tǒng)中，并且執(zhí)行與所拍攝圖像處理部中的處理不 同的處理，以便通過閃爍檢測部執(zhí)行閃爍檢測處理。結(jié)果，能夠以高 準確度檢測閃爍頻率，而不會對待拍攝的顯示圖像產(chǎn)生不良影響。
通過結(jié)合附圖閱讀和理解后面詳細的描述，本發(fā)明的這些和其它 優(yōu)點對于本領(lǐng)域的技術(shù)人員而言是清楚的。


圖1是示出根據(jù)本發(fā)明的實施例1的信號處理裝置的示例性基本 配置的框圖。
圖2是示出圖1的閃爍檢測電路的示例性基本配置的框圖。 圖3 (a)是示出顯示屏的圖，該顯示屏示出這樣的狀態(tài)由于閃 爍噪聲，亮度的橫向條紋出現(xiàn)在顯示圖像上。圖3(b)是顯示圖像的 投影的圖，是對水平方向上每行的亮度信號電平的投影。
圖4是示出根據(jù)本發(fā)明的實施例2的信號處理裝置的示例性基本 配置的框圖。
圖5是示出圖4的閃爍檢測電路的示例性基本配置的框圖。 圖6 (a)是示出顯示屏的圖，該顯示屏示出這樣的狀態(tài)由于閃 爍噪聲，色差的橫向條紋出現(xiàn)在顯示圖像上。圖6(b)是顯示圖像的 投影的圖，是水平方向上每行的RGB信號的電平的投影。
圖7是示出根據(jù)本發(fā)明的實施例3的信號處理裝置的示例性基本 配置的框圖。
圖8 (a)至8 (e)中的每個均是對降低鏡頭陰影的影響進行說明 的圖。
圖9是示出根據(jù)本發(fā)明的實施例4的信號處理裝置的示例性基本 配置的框圖。
圖10 (a)至10 (d)中的每個均是對通過光、陰影和飽和度 (saturation)校正來改善閃爍校正的準確度進行說明的圖。
圖11是示出根據(jù)本發(fā)明的實施例5的信號處理裝置的示例性基 本計算機硬件配置的框圖。
圖12是對圖11的信號處理裝置的操作進行說明的流程圖。圖13是示意性地示出作為本發(fā)明的實施例6的電子信息設備的 示例性配置的框圖，在圖像捕獲部中利用了包括根據(jù)本發(fā)明的實施例 1至5中的任何一個的信號處理裝置的固態(tài)圖像捕獲裝置。
圖14是示出在參考文件1中所公開的傳統(tǒng)數(shù)字信號處理裝置的 示例性基本配置的框圖。
圖15是示出噪聲由于鏡頭陰影校正而增加的情況的圖。
1、 1A、 1B、 1C、 1D 信號處理裝置
10 共用預處理部
11 數(shù)字箝位電路
12 缺陷像素校正電路
13 矩陣校正電路
20 所拍攝圖像處理部
21 陰影校正電路
22 白平衡電路
23 伽馬才交正電路
24 插值電路
30、 30B、 30C 閃爍檢測預處理部
31、 31B 陰影校正電路
32 數(shù)字增益電路
33 插值電路
34 光和陰影以及飽和度校正電路 40、 40A 閃爍檢測電路
41Y 水平方向積分電路(亮度Y分量) 41U 水平方向積分電路(色差U分量) 41V 水平方向積分電路(色差V分量) 42Y 頻率轉(zhuǎn)換電路(亮度Y分量) 42U 頻率轉(zhuǎn)換電路(色差U分量) 42V 頻率轉(zhuǎn)換電路(色差V分量) 43、 43A 頻率檢測電路 50A 信號處理裝置 51CPU (控制部) 511 閃爍檢測預處理部512閃爍檢測部
511a亮度變化確定部
511b陰影校正部
511c數(shù)字增益校正部
511d插值部
511e光和陰影以及飽和度校正部
52操作部
53顯示部
54ROM (存儲部)
55RAM (存儲部)
90電子信息設備
91固態(tài)圖像捕獲裝置
92存儲器部
93顯示部
94通信部
95圖像輸出部
具體實施例方式
以下將結(jié)合附圖來描述本發(fā)明的實施例，其中具有本發(fā)明的硬 件配置的信號處理裝置和信號處理方法為實施例1至4;具有本發(fā)明 的部分或全部軟件配置的信號處理裝置和信號處理方法作為實施例 5;具有固態(tài)圖像捕獲裝置的電子信息設備(諸如裝備有照相機的移 動電話設備)作為實施例6,其中所述固態(tài)圖像捕獲裝置具有根據(jù)實 施例1至5的任一配置且在其圖像捕獲部中作為圖像輸入設備被使 用。
(實施例1 )
圖1是示出根據(jù)本發(fā)明的實施例1的信號處理裝置的示例性基本 配置的框圖。
在圖1中，根據(jù)實施例1的信號處理裝置1包括共用預處理部 10，用于執(zhí)行為所拍攝圖像和閃爍檢測所共用的圖像信號處理；所拍 攝圖像處理部20，用于為所拍攝圖像執(zhí)行圖像信號處理；閃爍檢測預 處理部30，用于為閃爍檢測執(zhí)行圖像信號處理；以及閃爍檢測電路40，用于基于來自閃爍檢測預處理部30的圖像信號執(zhí)行閃爍檢測處 理。
作為例子，共用預處理部10包括數(shù)字箝位電路ll,用于執(zhí)行 箝位處理以將輸入信號的黑電平設定在預定值；缺陷像素校正電路 12，用于校正白缺陷(white defect)、黑缺陷和固定噪聲；以及矩陣 校正電路13,用于改善光語特性。共用預處理部IO被輸入以數(shù)字圖 像信號作為輸入圖像信號，該數(shù)字圖像信號是通過對來自圖像捕獲設 備的圖像信號執(zhí)行模擬/數(shù)字轉(zhuǎn)換而獲得的，并且共用預處理部10對 輸入圖像信號執(zhí)行被所拍攝圖像和閃爍檢測所共用的信號處理。
作為例子，針對所拍攝圖像處理，所拍攝圖像處理部20包括 陰影校正電路21 ，用于對由于鏡頭陰影引起的周邊光量的降低進行校 正；白平衡電路22，用于對由于光源的色溫而變化的三種顏色的增益 進行校正；伽馬校正電路23,用于根據(jù)圖像顯示裝置的顯示特性和傳 感器的灰度特性來調(diào)節(jié)圖像信號；以及插值電路24,用于從輸入的原 RGB色信號生成亮度信號和色差信號。
作為例子，閃爍檢測預處理部30包括作為陰影校正部的陰影 校正電路31,用于針對閃爍檢測對由于鏡頭陰影引起的周邊光量的減 小進行校正；數(shù)字增益電路32，用于對由于光源的色溫而變化的三種 顏色的信號電平進行校正；以及插值電路33,用于從輸入的原RGB 色信號生成亮度信號Y和色差信號U和V。
在生成所拍攝圖像的處理中，陰影校正電路21可以在圖像的水 平和垂直方向上執(zhí)行陰影校正處理；并且在用于閃爍檢測的處理中， 陰影校正電路31可以在圖像的水平和垂直方向上執(zhí)行陰影校正處理。 然而，這里僅在圖像的垂直方向上執(zhí)行了陰影校正處理。陰影校正僅 在圖像的垂直方向上是必要的(即，信號電平僅在所顯示屏的縱向上 被平化(planarize)),這是因為在閃爍檢測期間對每行在顯示圖像 的橫向(水平方向)上執(zhí)行了積分。這將使得可以防止電路的尺寸增 加，并可以在兩個方向上都獲得與陰影校正類似的效果。
此外，當在圖像的垂直方向上通過陰影校正電路31執(zhí)行陰影校 正處理、在圖像的水平方向上通過陰影校正電路21執(zhí)行陰影校正處 理、并利用陰影校正電路31執(zhí)行乘法時，可進一步減小陰影校正電 路21的尺寸。另外，僅用于圖像的垂直方向的陰影校正電路可被包括在共用預處理部10中，且其數(shù)據(jù)可以輸入到所拍攝圖像處理部20 和閃爍檢測預處理部30，并且可以僅在圖像的水平方向上進一步通過 所拍攝圖像處理部20執(zhí)行陰影校正處理，并可以為這兩者執(zhí)行乘法。
如圖2所示，閃爍檢測電路40包括水平方向積分電路41Y， 用于針對水平方向的每行對來自插值電路33的圖像信號中的亮度信 號進行積分；頻率轉(zhuǎn)換電路42Y,用于對通過水平方向積分電路41Y 所積分得到的積分值執(zhí)行諸如離散傅立葉變換的處理；以及頻率檢測 電路43，用于基于離散傅立葉變換處理的結(jié)果檢測信號功率為最大所 處在的空間頻率。閃爍檢測電路40根據(jù)存在于閃爍檢測預處理部30 的輸出信號中的閃爍噪聲檢測熒光燈的交流電源頻率(50Hz或 60Hz)。
將結(jié)合圖3來描述用于檢測閃爍的示例性方法。
圖3 (a)示出了顯示圖像，該顯示圖像示出由于閃爍噪聲而出現(xiàn) 的亮度的橫向條紋的狀態(tài)。圖3 (b)示出了顯示圖像(顯示屏)的水 平投影，示出了光的變化，其具有由于熒光燈的交流電源電壓而導致 的變化的絕對值。該頻率對應于交流電源頻率的兩倍(100Hz或 120Hz)的值。作為顯示圖像在水平方向上的投影，水平方向積分電 路41Y針對水平方向上的每行對圖像信號進行積分，并且頻率轉(zhuǎn)換電 路42Y對積分值執(zhí)行諸如離散傅立葉變換的過程，并且頻率檢測電路 43基于離散傅立葉變換處理的結(jié)果檢測信號功率為最大所處在的空 間頻率。結(jié)果，可為對應于橫向條紋的顯示圖像確定垂直方向上的空 間頻率，并且可以檢測可能引起閃爍噪聲的熒光燈的交流電源頻率。
另外，當快門速度和閃爍的一個周期的整數(shù)倍彼此對應時，不發(fā) 生閃爍。因此，可以通過這樣的方法來降低閃爍噪聲，該方法即基于 由閃爍檢測電路40所確定的交流電源頻率信息，通過用快門速度控 制電路(未示出)將快門速度設定為交流電源頻率的整數(shù)倍；或者通 過這樣的方法，該方法即通過數(shù)字增益電路增加具有低信號電平的行 的增益。
(實施例2)
在上述實施例1中，描述了在閃爍檢測電路40中利用亮度信號 信息執(zhí)行閃爍檢測的情況。不限于此，在稍后描述的實施例2中，將 描述除了亮度信號信息之外還利用色差信號信息來執(zhí)行閃爍檢測的圖4是示出根據(jù)本發(fā)明的實施例2的信號處理裝置的示例性基本 配置的框圖。在圖4中，具有與圖1中相應部件相同功能和效果的部 件將加以相同的附圖標記，但將省略對其的解釋。
在圖4中，根據(jù)實施例2的信號處理裝置1A包括共用預處理部 10,用于執(zhí)行為所拍攝圖像和閃爍檢測所共用的圖像信號處理；所拍 攝圖像處理部20,用于為所拍攝圖像執(zhí)行圖像信號處理；閃爍檢測預 處理部30，用于在閃爍檢測前執(zhí)行圖像信號處理；以及作為閃爍檢測 部的閃爍檢測電路40A，用于基于來自閃爍檢測預處理部30的圖像 信號執(zhí)行閃爍檢測處理。
閃爍檢測電路40A利用來自閃爍檢測預處理部30的圖像信號的 亮度信號信息和色差信號信息二者來執(zhí)行閃爍檢測。
如圖5所示，閃爍檢測電路40A包括水平方向積分電路41Y，用
于針對水平方向的每行對來自插值電路33的圖像信號中的亮度信號 進行積分；頻率轉(zhuǎn)換電路42Y，用于對在水平方向積分電路41Y處積 分得到的積分值執(zhí)行諸如離散傅立葉變換的處理；水平方向積分電路 41U,用于針對水平方向上的每行對來自插值電路33的圖像信號中的 色差信號U進行積分；頻率轉(zhuǎn)換電路42U,用于對在水平方向積分電 路41U處積分得到的積分值執(zhí)行諸如離散傅立葉變換的處理；水平方 向積分電路41V,用于針對水平方向的每行對來自插值電路33的圖 像信號中的色差信號V進行積分；頻率轉(zhuǎn)換電路42V,用于對在于水 平方向積分電路41V處積分得到的積分值執(zhí)行諸如離散傅立葉變換 的處理；以及頻率檢測電路43A,用于基于離散傅立葉變換處理的每 個結(jié)果檢測信號功率為最大所處在的空間頻率。閃爍檢測電路4 0 A根 據(jù)存在于閃爍檢測預處理部30的輸出信號中的閃爍噪聲檢測熒光燈 的交流電源頻率。應當注意的是，水平地執(zhí)行所述積分，而垂直地執(zhí) 行所述離散傅立葉變換。
圖6 (a)示出了顯示圖像，該顯示圖像示出由于閃爍噪聲而出現(xiàn) 的色差的橫向條紋的狀態(tài)。圖6 (b)示出了顯示圖像的投影，是在水 平方向上RGB信號的電平的投影。圖6(c)示出了顯示圖像的投影， 是在水平方向上每行的色差信號的投影，并且類似于亮度閃爍噪聲， 包括為交流電源頻率的兩倍(100Hz或120Hz)的空間頻率。作為針對水平方向上的每行的顯示圖像的投影，除了水平方向積分電路41Y 之外，水平方向積分電路41U和41V也分別針對所顯示圖像的水平 方向上的每行對圖像信號進行積分。除了頻率轉(zhuǎn)換電路42Y之外，頻 率轉(zhuǎn)換電路42U和42V也執(zhí)行諸如離散傅立葉變換的處理。頻率檢 測電路43檢測亮度信號Y以及色差信號U和V中的每個的功率為其 最大時所處在的空間頻率。結(jié)果，可確定對應于橫向條紋的圖像的垂 直方向上的空間頻率，并且可以檢測可能引起閃爍噪聲的熒光燈的交 流電源頻率(100Hz或120Hz)。在這種情況下，基于來自頻率轉(zhuǎn)換 電路42Y、 42U和42V的信息來指定閃爍頻率，并且最終由多數(shù)決定 原則(majority rule)來確定該閃爍頻率?？傊?，即使其中一個電路的 檢測結(jié)果未出來，也可采用其它兩個電路的檢測結(jié)果。另外，即使其 中兩個電路的結(jié)果未出來，也可采用剩下的一個電路的檢測結(jié)果。
當期望減少閃爍檢測電路的尺寸時，類似于根據(jù)實施例1的閃爍 檢測電路40,可以通過僅使用亮度信號信息來執(zhí)行閃爍檢測。另外， 當期望通過進一步防止檢測中的誤差而增大閃爍檢測準確度時，類似 于根據(jù)實施例2的閃爍檢測電路40A，可以通過除了使用亮度信號信 息之外還使用色差信號信息以增加信息量來執(zhí)行高可靠性的閃爍檢 測。
(實施例3 )
關(guān)于在實施例1中描述的閃爍檢測預處理部30的陰影校正電路 31,實施例3將描述這樣的情況，其中執(zhí)行100%的陰影校正預處理 從而使得不管噪聲的幅度如何周邊部分都將被平化。
圖7為示出了根據(jù)本發(fā)明的實施例3的信號處理裝置的示例性基 本配置的框圖。在圖7中，具有與圖1中相應部件相同功能和效果的 部件將加以相同的附圖標記，而且將省略對其的解釋。
在圖7中，根據(jù)實施例3的信號處理裝置1B包括共用預處理 部IO,用于執(zhí)行被所拍攝圖像和閃爍檢測所共用的圖像信號處理；所 拍攝圖像處理部20，用于為所拍攝圖像執(zhí)行圖像信號處理；閃爍檢測 預處理部30B，用于為閃爍檢測執(zhí)行圖像信號處理；以及作為閃爍檢 測部的閃爍檢測電路40，用于基于來自閃爍;險測預處理部30B的圖 像信號執(zhí)行閃爍檢測處理。
作為例子，閃爍檢測預處理部30B包括用于閃爍檢測處理的陰影校正電路3IB，用于對由于鏡頭陰影而導致的周邊光量的減少進行 校正；數(shù)字增益電路32，用于對由于光源的色溫而變化的三種顏色的 信號電平進行校正；以及插值電路33，用于從輸入的原RGB色信號 生成亮度信號和色差信號。
化(即，信號電平相等)的方式來執(zhí)行90%至100% (這里是100%) 的陰影校正預處理。
陰影校正電路21在圖像的水平和垂直方向上對所拍攝圖像執(zhí)行 70%到80%的陰影校正處理。用于閃爍檢測處理的陰影校正電路31 僅在圖像的垂直方向上執(zhí)行100%的陰影校正處理。這是因為已經(jīng)在 閃爍檢測時針對顯示屏的水平方向上的每行連續(xù)地執(zhí)行了積分，從而 陰影校正僅在圖像的垂直方向上是必要的(即，僅需要縱向平化)， 由此防止電路的尺寸增加并且獲得類似的效果。
總之，雖然出于圖像質(zhì)量的原因(因為與顯示圖像的中間部分相 比周邊部分中的噪聲分量N增大)，未以使得從顯示屏的中間部分到 周邊部分平化(即，信號電平為恒定的)的方式(100%校正)來執(zhí) 行陰影校正(針對顯示圖像，其被減小到70%到80%的陰影校正)， 但執(zhí)行100%的陰影校正來檢測閃爍。當在圖像的水平方向和垂直方 向上執(zhí)行100%的陰影校正時，電路的尺寸增加。這里，由于在閃爍 檢測時針對水平方向上的每行執(zhí)行積分，所以僅需要在圖像的垂直方 向上的100%陰影校正(即，僅有必要縱向平化)。結(jié)果，可以防止 電路尺寸的增加，并且可獲得與在兩個方向上都執(zhí)行陰影校正的情況 類似的效果。
圖8(a)示出了由于鏡頭陰影而導致的周邊光量的降低出現(xiàn)在顯 示圖像中的狀態(tài)。圖8 (b)示出了顯示圖像的水平方向上的亮度值的 投影。當如圖3 (b)所示顯示圖像疊加有閃爍噪聲時，投影變得如圖 8(c)所示。在這種情況下，由鏡頭陰影而導致的空間頻率和由于閃 爍噪聲而導致的空間頻率將共存，且當幀速增大時，尤其地因為明暗 行即閃爍噪聲的橫向條紋的數(shù)量減少了 ，變得難以將這兩個主要原因 分離。這可能引起檢測中的誤差。
因此，作為閃爍檢測的預處理，執(zhí)行陰影校正來使得從顯示屏的 中間部分到周邊部分平化，從而使得易于將主要原因分離并且能增大閃爍頻率檢測的準確度。
如前所述，通過僅在顯示圖像的垂直方向(縱向)上執(zhí)行陰影校 正能夠達到所述效果，因此這能有效地減小電路尺寸。在這種情況下，
陰影校正之后的顯示圖像如圖8 (d)所示，并且投影被平化為如圖8 (e)所示。
雖然在實施例3中未具體說明，但是可以使用根據(jù)實施例2的閃 爍檢測電路40A來代替閃爍檢測電路40 (實施例4)
為了增大在如上所示的實施例1中示出的閃爍檢測預處理部30 中的閃爍檢測準確度，在實施例4中將新增加光和陰影以及飽和度校 正電路，并且將描述這樣的情況，其中執(zhí)行光和陰影以及飽和度校正
像的影響。
", 、"、 ， '
圖9是示出根據(jù)本發(fā)明的實施例4的信號處理裝置的示例性基本 配置的框圖。在圖9中，具有與圖1中相應部件相同功能和效果的部 件將加以相同的附圖標記，而且將省略對其的解釋。
在圖9中，根據(jù)實施例4的信號處理裝置1C包括共用預處理 部10，用于執(zhí)行被所拍攝圖像和閃爍檢測所共用的圖像信號處理；所 拍攝圖像處理部20，用于為所拍攝圖像執(zhí)行圖像信號處理；閃爍檢測 預處理部30C,用于為閃爍檢測執(zhí)行圖像信號處理；以及作為閃爍檢 測部的閃爍檢測電路40或40A，用于基于來自閃爍檢測預處理部30C 的圖像信號執(zhí)行閃爍檢測處理。
作為例子，閃爍檢測預處理部30C包括陰影校正電路31，用于 為了閃爍檢測對由于鏡頭陰影而導致的周邊光量的減少進行校正；數(shù) 字增益電路32，用于對由于光源的色溫而變化的三種顏色的信號電平 進行校正；插值電路33,用于從輸入的原RGB色信號生成亮度信號 和色差信號；以及作為光和陰影校正部的光和陰影以及飽和度校正電 路34，用于調(diào)節(jié)圖像的光和陰影以及飽和度的灰度特性。
如圖10(c)中的S形曲線所示，光和陰影以及飽和度校正電路 34隨著輸入信號變得越亮而輸出越亮的輸出信號，隨著輸入信號變得 越暗而輸出越暗的輸出信號。在另一方面，如圖10 (d)的曲線所示， 所拍攝圖像處理部20的伽馬校正電路23隨著輸入信號變得越暗而輸出越亮的輸出信號，以及針對亮的輸入信號而輸出亮度幾乎不改變的 輸出信號。
如上所述，光和陰影以及飽和度校正電路34設置在閃爍檢測預 處理部30中，從而加強對比度，并且對于閃爍檢測來說其中顯示圖 像被處理以加強由于閃爍而導致的光和陰影的圖像數(shù)據(jù)是理想的。然 而就圖像質(zhì)量而言，對于生成所拍攝圖像來說，這種在所拍攝圖像處 理部20的圖像信號處理期間加強光和陰影的存在的處理顯然是不適 當?shù)?。因此，?yōu)選的是為閃爍檢測電路40或40A在閃爍檢測預處理 部30C中提供光和陰影以及飽和度校正電路34。
為了通過亮度和色差校正來改善檢測準確度，將結(jié)合圖10(a) 和10 (b)來描述預處理的一個例子。當如圖10(a)所示出現(xiàn)非常 弱的閃爍噪聲時，在水平方向上的亮度和色差的投影將如圖10(b) 所示是具有低幅度的投影。
因此，作為閃爍檢測的預處理，通過光和陰影以及飽和度校正電 路34對顯示圖像執(zhí)行光和陰影以及飽和度校正處理(其具有如圖10 (c)所示的S形特性)。結(jié)果，將產(chǎn)生具有如圖3和6所示的閃爍 噪聲幅度的顯示圖像，并且能夠增加閃爍頻率檢測的準確度。 (實施例5 )
可以以軟件處理來實現(xiàn)才艮據(jù)如上所述的實施例1至4的每個處理 的部分或全部。在實施例5中，將描述根據(jù)本發(fā)明的部分或全部信號 處理裝置為軟件配置的情況。
圖11是示出根據(jù)本發(fā)明的實施例5的信號處理裝置的示例性基 本計算機硬件配置的框圖。
在圖11中，根據(jù)實施例5的信號處理裝置50A包括CPU (中 央處理單元)51,作為用于全部控制的控制部；諸如輸入裝置的操作 部52，用于經(jīng)由鍵盤、鼠標、觸摸板和筆輸入裝置接收輸入以便執(zhí)行 對CPU 51的輸入指令，以及進一步經(jīng)由通信網(wǎng)絡(諸如因特網(wǎng)和內(nèi) 部網(wǎng))接收輸入；顯示部53,用于通過CPU51在顯示屏上顯示初始 畫面、選擇畫面、控制結(jié)果畫面和操作輸入畫面等；ROM 54，作為 計算機可讀的可讀記錄介質(zhì)并且其中存儲有控制程序及其數(shù)據(jù)；以及 作為記錄部的RAM 55,其用作工作存儲器，用于為CPU 51處理的每 個控制步驟讀出和存儲數(shù)據(jù)。除了硬盤之外，作為可讀記錄介質(zhì)的ROM54可被配置為光盤、 磁光盤、磁盤、IC存儲器等，其可以是任何形式?？刂瞥绦蚣捌鋽?shù)據(jù) 記錄在ROM54中；然而，控制程序及其數(shù)據(jù)可以從其它可讀記錄介 質(zhì)，或經(jīng)由無線、有線或因特網(wǎng)下栽到ROM54。
基于控制程序及其數(shù)椐，作為控制部的CPU 51運行用于執(zhí)行圖 像信號處理以檢測閃爍的閃爍檢測預處理部511;以及運行用于基于 來自閃爍檢測預處理部5U的圖像信號執(zhí)行閃爍檢測處理的閃爍檢測 部512。
閃爍預處理部511包括亮度變化確定部511a，用于在開始閃爍 檢測預處理之前確定亮度是否改變了等于或多于預定值的量；用于閃 爍檢測處理的陰影校正部511b,用于對由于鏡頭陰影而引起的周邊光 量的降低進行校正；數(shù)字增益校正部511c，用于對由于光源的色溫而 變化的三種顏色的信號電平進行校正；插值部511d，用于從輸入的原 RGB色信號生成亮度信號Y和色差信號U和V;以及光和陰影以及 飽和度校正部511e，用于調(diào)節(jié)圖像的光和陰影以及飽和度的灰度特 性。應當注意的是，可以存在不包括光和陰影以及飽和度校正部511e 的情況。
這里，可以在相對經(jīng)過一段時間之后(慢速處理)處理閃爍檢測 處理，|欠件處理#皮用作通過閃爍4企測預處理部511和閃爍;險測部512 (其對應于如前所述的閃爍4企測預處理部30、 30B或30C，以及如前 所述的閃爍檢測電路40或40A)的閃爍檢測處理。然而，相對于圖1 中的共用預處理部10和所拍攝圖像處理部20，這里使用類似于圖1 的情況的硬件處理。如果不考慮高速處理，則還可將軟件處理用于圖 1中的共用預處理部10和所拍攝圖像處理部20。
這里，根據(jù)實施例5的信號處理裝置1D包括圖1中的共用預 處理部10和所拍4聶圖像處理部20的硬件處理部；以及閃爍檢測預處 理部511和閃爍4全測部512的軟件處理部。
現(xiàn)在將結(jié)合上述的配置來描述操作。
圖12是描述圖ll的信號處理裝置50A的操作的流程圖。
如圖12所示，首先，在步驟Sl中，亮度變化確定部5Ua確定 亮度是否變化了等于或大于預定值的量。當亮度變化了等于或多于預 定值的量時，閃爍檢測預處理開始，并且處理移動到后面的步驟S2。通過用預定數(shù)量的幀來檢測顯示屏的預定的中間部分區(qū)域的亮度來 執(zhí)行對亮度的檢測。
接下來，在步驟S2中，為了閃爍檢測，陰影校正部5Ub對由于 鏡頭陰影而導致的周邊光量的減少進行校正。
隨后，在步驟S3中，數(shù)字增益校正部511c對由于光源的色溫而 變化的三種顏色的信號電平進行校正。
進一步，在步驟S4中，插值部511d從輸入的原RGB色信號生 成亮度信號Y以及色差信號U和V。
隨后，在步驟S5中，光和陰影以及飽和度校正部511e調(diào)節(jié)圖像 的光和陰影以及飽和度的灰度特性以加強對比度。
進一步，在步驟S6中，閃爍檢測部512基于來自閃爍檢測預處 理部511的圖像倌號執(zhí)行閃爍檢測處理。
在上述實施例1至5中，描述了 CMOS型圖像捕獲設備的例子。 然而，并不局限于此，這些例子可應用于執(zhí)行以行為單位的膝光的圖 像捕獲設備。另外，在上述的實施例1至5中，描述了具有原色濾色 器的例子。然而，并不局限于此，這些例子可應用于使用補色濾色器 (complementary color filter)的圖像捕獲設備。 (實施例6)
圖13是示意性地示出作為本發(fā)明的實施例6的電子信息設備的 示例性配置的框圖，該電子信息設備在圖像捕獲部中使用包括根據(jù)本 發(fā)明的實施例1至5中任一個的信號處理裝置的固態(tài)圖像捕獲裝置。
在圖13中，根據(jù)實施例6的固態(tài)圖像捕獲裝置91包括圖像捕 獲設備(未示出)，在其中具有多個用于執(zhí)行光電轉(zhuǎn)換并捕獲來自主 體的光的圖像的光接收部；模擬/數(shù)字轉(zhuǎn)換部(未示出)，用于將從圖 像捕獲設備獲得的模擬圖像信號轉(zhuǎn)換成數(shù)字圖像信號；以及信號處理 裝置l、 1A、 1B、 1C或1D，來自模擬/數(shù)字轉(zhuǎn)換部的數(shù)字圖像信號作 為輸入圖像信號被輸入到其。
根據(jù)本發(fā)明的實施例6的電子信息設備90包括固態(tài)圖像捕獲 裝置91，用于對來自根據(jù)實施例1至5中的任一個的信號處理裝置(其 處理來自圖像捕獲設備(未示出)的圖像捕獲信號)1、 1A、 1B、 1C 或1D的圖像信號執(zhí)行各種信號處理，以便獲得彩色圖像信號；存儲 部92(例如，記錄介質(zhì))，用于在對用于記錄的圖像數(shù)據(jù)執(zhí)行預定信號處理之后對來自固態(tài)圖像捕獲裝置91的彩色圖像數(shù)椐進行數(shù)據(jù)記 錄；顯示部93(例如，液晶顯示裝置)，用于在對用于顯示的彩色圖 像數(shù)據(jù)執(zhí)行預定的信號處理之后基于來自固態(tài)圖像捕獲裝置91的彩 色圖像數(shù)據(jù)在顯示屏(例如，液晶顯示屏)上顯示圖像；通信部94 (例如，發(fā)送和接收設備)，用于在對用于通信的圖像信號執(zhí)行預定 信號處理之后傳遞來自固態(tài)圖像捕獲裝置91的彩色圖像信號；以及 圖像輸出部95，用于在為打印執(zhí)行預定信號處理之后，基于來自固態(tài) 圖像捕獲裝置91的彩色圖像信號而打印圖像。從而，并不局限于此， 除了固態(tài)圖像捕獲裝置91外，電子信息設備90可以包括存儲部92、 顯示部93、通信部94和圖像輸出部95中的任何。
作為電子信息設備90，可以想到包括圖像輸入設備的電子設備， 諸如數(shù)字照相機(例如，數(shù)字攝像機和數(shù)字靜物照相機)、圖像輸入 照相機(例如監(jiān)控攝像機、門口對講機照相機、裝備在交通工具中的 照相機以及電視電話照相機)、掃描儀、傳真機、電視電話設備、裝 備有照相機的移動電話設備以及個人數(shù)字助理(PDA)。
因此，根據(jù)本發(fā)明的實施例6，基于來自固態(tài)圖像捕獲裝置91的 彩色圖像信號的信息可以很好地顯示在顯示屏上，使用圖像輸出部 95打印在紙張上，作為通信數(shù)據(jù)經(jīng)由有線或無線電很好地被傳遞，通 過執(zhí)行預定的數(shù)據(jù)壓縮處理而被很好地存儲在存儲部92處，以及能 被很好地執(zhí)行各種數(shù)據(jù)處理。
如上所述，根據(jù)實施例1至5，包括共用預處理部IO，用于執(zhí) 行被所拍攝圖像和閃爍檢測共用的圖像信號處理；所拍攝圖像處理部 20，用于為所拍攝圖像對來自共用預處理部10的圖像信號執(zhí)行圖像 信號處理；閃爍檢測預處理部30，用于為閃爍檢測對來自共用預處理 部10的圖像信號執(zhí)行圖像信號處理；以及閃爍檢測電路40，用于基 于來自閃爍檢測預處理部30的圖像信號執(zhí)行閃爍檢測。隨后，當在 閃爍檢測電路40中執(zhí)行閃爍檢測處理時，閃爍檢測預處理部30 (作 為除所拍攝圖像處理部20之外還被提供的處理系統(tǒng))執(zhí)行與所拍攝 圖像處理部20分開的處理，從而使得能以高準確度檢測閃爍頻率， 而不影響用于圖像拍攝的顯示圖像。
雖然在實施例1至6中未明確說明，^旦可以適當?shù)亟M合實施例1 至5的特征。也就是，可以通過如下那樣來配置本發(fā)明包括閃爍檢測電路40 (實施例1)或閃爍檢測電路40A (實施例2)、陰影校正 電路31或陰影校正電路31B (實施例3)、以及光和陰影以及飽和度 才交正電路34 (實施例4)中的任4可項。
雖然在實施例1至6中未明確說明，但熒光物質(zhì)的發(fā)射特性和余 輝特性依賴于熒光物質(zhì)的色彩而不同，并且當快門速度為快速時色彩 與亮度的程度(degree) —起變化。因此，類似于隨著亮度的改變而 出現(xiàn)的橫向條紋，可能出現(xiàn)色彩的橫向條紋。傳統(tǒng)地，該信息并不被 用于閃爍檢測，因此，有必要利用該信息來改善閃爍檢測的準確度。
如上所述，本發(fā)明通過使用其優(yōu)選實施例1至6而被舉例說明。 然而，不應僅基于上述的實施例1至6而解釋本發(fā)明。應當理解的是， 本發(fā)明的范圍僅應基于權(quán)利要求來解釋。還應當理解的是，本領(lǐng)域的 技術(shù)人員能根據(jù)對本發(fā)明的優(yōu)選實施例1至6的詳細描述基于本發(fā)明 的說明書和公知常識而實施該技術(shù)的等價范圍。此外，應當理解的是， 在本說明書中引用的任何專利、任何專利申請和任何參考文件都應以 其內(nèi)容被明確描述于此的相同方式并入到本說明書中作為參考。
工業(yè)應用
本發(fā)明可以應用于信號處理裝置的領(lǐng)域，用于根據(jù)從CMOS(互 補金屬氧化物半導體)型圖像捕獲設備等獲得的圖像信號檢測閃爍， 所述圖像捕獲設備在其上執(zhí)行光電轉(zhuǎn)換并捕獲來自主體的光的圖像； 信號處理方法；控制程序，其包括用于使計算機執(zhí)行信號處理方法中 的每個步驟的處理步驟；計算機可讀記錄介質(zhì)，其將控制程序作為數(shù) 據(jù)存儲；固態(tài)圖像捕獲裝置，具有在其內(nèi)被使用的信號處理裝置；以 及電子信息設備，諸如數(shù)字照相機(例如，數(shù)字攝像機和數(shù)字靜物照 相機)、圖像輸入照相機、掃描儀、傳真機和裝備有照相機的移動電 話設備，該電子信息設備具有帶信號處理裝置的固態(tài)圖像捕獲裝置作 為在其圖像捕獲部中被使用的圖像輸入設備。根據(jù)本發(fā)明，閃爍檢測 預處理部設置在與所拍攝圖像處理部不同的系統(tǒng)中，并且執(zhí)行與所拍 攝圖像處理部的處理不同的處理，以便通過閃爍檢測部執(zhí)行閃爍檢測 處理。結(jié)果，能夠以高準確度檢測閃爍頻率，而不會對待拍攝的顯示 圖像產(chǎn)生不良影響。
對于本領(lǐng)域的技術(shù)人員而言，在不背離本發(fā)明的范圍和精神的情 況下各種其它修改將是清楚的且是容易做出的。因此，并不意在使得所附的權(quán)利要求的范圍被這里所闡述的說明書所限定，而是應當從廣 義上來解釋權(quán)利要求。
權(quán)利要求
1.一種信號處理裝置，包括共用預處理部，用于對輸入圖像信號執(zhí)行被所拍攝圖像處理和閃爍檢測處理所共用的信號處理；所拍攝圖像處理部，用于對來自共用預處理部的圖像信號執(zhí)行圖像信號處理以生成顯示圖像；閃爍檢測預處理部，用于為閃爍檢測對來自共用預處理部的圖像信號執(zhí)行圖像信號處理；以及閃爍檢測部，用于基于來自閃爍檢測預處理部的圖像信號來執(zhí)行閃爍檢測。
2. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測部通過利 用來自閃爍檢測預處理部的圖像信號的亮度信號信息來執(zhí)行閃爍檢測。
3. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測部通過利用 來自閃爍檢測預處理部的圖像信號的亮度信號信息和色差信號信息 來執(zhí)行閃爍4企測。
4. 如權(quán)利要求2或3所述的信號處理裝置，其中，在亮度頻率檢 測部和色差頻率檢測部之間，閃爍^r測部包括至少亮度頻率^r測部， 所述亮度頻率檢測部用于在圖像的垂直方向上檢測亮度信號的空間 頻率，而所述色差頻率檢測部用于在圖像的垂直方向上檢測色差信號 U和V的空間頻率。
5. 如權(quán)利要求2或3所述的信號處理裝置，其中閃爍檢測部包括 第一水平方向積分電路，用于針對水平方向上顯示屏的每一行對來自 閃爍檢測預處理部的圖像信號中的亮度信號進行連續(xù)積分；第一頻率 轉(zhuǎn)換電路，用于對在第 一水平方向積分電路中積分得到的積分值執(zhí)行 離散傅立葉變換處理；以及第一頻率檢測電路，用于基于所述離散傅 立葉變換處理的結(jié)果檢測亮度信號的功率為最大所處在的空間頻率。
6. 如權(quán)利要求3所述的信號處理裝置，其中閃爍檢測部包括 第一水平方向積分電路，用于針對在水平方向上顯示屏的每一行對來自閃爍檢測預處理部的亮度信號進行連續(xù)積分；第一頻率轉(zhuǎn)換電路，用于對在第一水平方向積分電路中積分得到 的積分值執(zhí)行離散傅立葉變換處理；第一頻率檢測電路，用于基于第一頻率轉(zhuǎn)換電路中的離散傅立葉變換處理的結(jié)果檢測亮度信號的功率為最大所處在的空間頻率；第二水平方向積分電路，用于針對在水平方向上顯示屏的每一行對來自閃爍檢測預處理部的色差信號U進行連續(xù)積分；第二頻率轉(zhuǎn)換電路，用于對在第二水平方向積分電路中積分得到的積分值執(zhí)行離散傅立葉變換處理；第二頻率檢測電路，用于基于第二頻率轉(zhuǎn)換電路中的離散傅立葉 變換處理的結(jié)果檢測亮度信號的功率為最大所處在的空間頻率；第三水平方向積分電路，用于針對水平方向上顯示屏的每一行對 來自閃爍檢測預處理部的色差信號V進行連續(xù)積分；第三頻率轉(zhuǎn)換電路，用于對在第三水平方向積分電路中積分得到 的積分值執(zhí)行離散傅立葉變換處理；以及第三頻率檢測電路，用于基于第三頻率轉(zhuǎn)換電路中的離散傅立葉 變換處理的結(jié)果檢測亮度信號的功率為最大所處在的空間頻率。
7. 如權(quán)利要求6所述的信號處理裝置，其中通過來自第一、第 二和第三頻率檢測電路的各閃爍頻率中的多數(shù)來確定閃爍頻率。
8. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括陰影校正部，所述陰影校正部用于在圖像的水平和垂直方向上校 正圖像。
9. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括陰影校正部，所述陰影校正部用于在圖像的垂直方向上校正圖 像。
10. 如權(quán)利要求8或9所述的信號處理裝置，其中陰影校正部執(zhí) 行90%至100%的陰影校正。
11. 如權(quán)利要求1所述的信號處理裝置，其中所拍攝圖像處理部 包括陰影校正部，所述陰影校正部用于在圖像的水平和垂直方向上校 正圖像。
12. 如權(quán)利要求9所述的信號處理裝置，其中所拍攝圖像處理部 包括陰影校正部，所述陰影校正部用于在圖像的水平方向上校正圖 像，并且在閃爍檢測預處理部的圖像的垂直方向上從陰影校正部所輸 入的數(shù)據(jù)通過與來自用于在圖像的水平方向上校正圖像的陰影校正 部的數(shù)據(jù)相乘而被處理，從而在所拍攝圖像處理部中在圖像的水平和垂直方向上執(zhí)行陰影校正處理。
13. 如權(quán)利要求1所述的信號處理裝置，其中共用預處理部包括 用于在圖像的垂直方向上校正圖像的陰影校正部，所拍攝圖像處理部 包括用于在圖像的水平方向上校正圖像的陰影校正部，其中，數(shù)據(jù)通 過與從用于在圖像的垂直方向上校正圖像的陰影校正部所輸入的數(shù) 據(jù)相乘而被處理，并且閃爍^r測預處理部輸入來自用于在圖像的垂直 方向上校正圖像的陰影校正部的數(shù)據(jù)。
14. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括數(shù)字增益校正部，用于對由于光源的色溫而變化的三種顏色的信 號電平進行校正。
15. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括插值部，用于從輸入的原RGB色信號生成亮度信號Y和色差信 號U和V。
16. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括光和陰影校正部，用于校正顯示圖像的光和陰影。
17. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括陰影校正部，用于對由于鏡頭陰影而導致的周邊光量的減小進行 校正；數(shù)字增益校正部，用于對由于光源的色溫而變化的三種顏色的 信號電平進行校正；插值部，用于從輸入的原RGB色信號生成亮度 信號Y和色差信號U和V;以及光和陰影校正部，用于校正顯示圖像 的光和陰影。
18. 如權(quán)利要求16或17所述的信號處理裝置，其中光和陰影校 正部加強對比度以對顯示圖像的光和陰影執(zhí)行加強處理。
19. 如權(quán)利要求1所述的信號處理裝置，其中閃爍檢測預處理部 包括陰影校正部，用于對由于鏡頭陰影而導致的周邊光量的減小進行 校正；數(shù)字增益校正部，用于對由于光源的色溫而變化的三種顏色的 信號電平進行校正；以及插值部，用于從輸入的原RGB色信號生成 亮度信號Y和色差信號U和V。
20. 如權(quán)利要求17或19所述的信號處理裝置，其中閃爍檢測預 處理部還包括亮度變化確定部，所述亮度變化確定部用于確定亮度是 否變化了等于或多于預定值的量，以決定開始閃爍檢測預處理。
21. —種固態(tài)圖像捕獲裝置，包括圖像捕獲設備，在其中具有多個用于對來自主體的光執(zhí)行光電轉(zhuǎn)換并捕獲主體的圖像的光接收部；模擬/數(shù)字轉(zhuǎn)換部，用于將從圖像捕獲設備獲得的模擬圖像信號轉(zhuǎn) 換成數(shù)字圖像信號；以及根據(jù)權(quán)利要求l-3、 6-9、 11 - 17以及19中任一項的信號處理 裝置，來自模擬/數(shù)字轉(zhuǎn)換部的數(shù)字圖像信號作為輸入圖像信號被輸入 到所述信號處理裝置。
22. —種電子信息設備，該電子信息設備具有固態(tài)圖像捕獲裝置 作為圖像捕獲部中的圖像輸入設備，所述固態(tài)圖像捕獲裝置包括根據(jù) 4又利要求l-3、 6-9、 11 - 17以及19中任一項的信號處理裝置。
23. —種信號處理方法，包括共用預處理步驟，用于對數(shù)字圖像信號執(zhí)行被所拍攝圖像處理和 閃爍檢測處理所共用的信號處理，該數(shù)字圖像信號是通過對來自圖像 捕獲設備的圖像信號進行數(shù)字轉(zhuǎn)換而獲得的；所拍攝圖像處理步驟，用于對通過共用預處理步驟獲得的圖像信 號執(zhí)行圖像信號處理以生成顯示圖像；閃爍檢測預處理步驟，用于為閃爍檢測對通過共用預處理步驟獲 得的圖像信號執(zhí)行圖像信號處理；以及閃爍檢測步驟，用于對通過閃爍檢測預處理步驟獲得的圖像信號 執(zhí)行閃爍檢測。
24. 如權(quán)利要求23所述的信號處理方法，其中在亮度頻率檢測 步驟和色差頻率檢測步驟之間，閃爍檢測步驟包括至少亮度頻率檢測 步驟，所述亮度頻率檢測步驟用于在顯示圖像的垂直方向上檢測亮度 信號的空間頻率，而所述色差頻率檢測步驟用于在顯示圖像的垂直方 向上檢測色差信號的空間頻率。
25. 如權(quán)利要求23所述的信號處理方法，其中閃爍檢測預處理 步驟包括至少陰影校正步驟，用于在圖像的水平和垂直方向之間在垂 直方向上校正圖像。
26. 如權(quán)利要求23所述的信號處理方法，其中閃爍檢測預處理 步驟包括光和陰影校正步驟，用于校正顯示圖像的光和陰影。
27. 如權(quán)利要求23所述的信號處理方法，其中閃爍檢測預處理 步驟包括陰影校正步驟，用于對由于鏡頭陰影而導致的周邊光量的減小進行校正；數(shù)字增益校正步驟，用于對由于光源的色溫而變化的三 種顏色的信號電平進行校正；插值步驟，用于從輸入的原RGB色信 號生成亮度信號Y和色差信號U和V;以及光和陰影校正步驟，用于 校正顯示圖像的光和陰影。
28. 如權(quán)利要求23所述的信號處理方法，其中閃爍檢測預處理 步驟包括陰影校正步驟，用于對由于鏡頭陰影而導致的周邊光量的減 小進行校正；數(shù)字增益校正步驟，用于對由于光源的色溫而變化的三 種顏色的信號電平進行校正；以及插值步驟，用于從輸入的原RGB 色信號生成亮度信號Y和色差信號U和V。
29. —種控制程序，其中記錄了處理步驟，該處理步驟用于允許 計算機至少執(zhí)行根據(jù)權(quán)利要求23 - 28中任一項的信號處理方法的步 驟中的閃爍檢測預處理步驟和閃爍檢測步驟。
30. —種可讀記錄介質(zhì)，其是計算機可讀的并且其中存儲有根據(jù) 權(quán)利要求29的控制程序。
全文摘要
本發(fā)明涉及一種信號處理裝置、信號處理方法、控制程序、可讀記錄介質(zhì)、固態(tài)圖像捕獲裝置以及電子信息設備。根據(jù)本發(fā)明的信號處理裝置包括共用預處理部，用于對輸入圖像信號執(zhí)行被所拍攝圖像處理和閃爍檢測處理所共用的信號處理；所拍攝圖像處理部，用于對來自共用預處理部的圖像信號執(zhí)行用于顯示圖像的圖像信號處理；閃爍檢測預處理部，用于對來自共用預處理部的圖像信號執(zhí)行用于閃爍檢測的圖像信號處理；以及閃爍檢測部，用于基于來自閃爍檢測預處理部的圖像信號執(zhí)行閃爍檢測。
文檔編號H04N5/243GK101610350SQ20091015080
公開日2009年12月23日 申請日期2009年6月19日 優(yōu)先權(quán)日2008年6月19日
發(fā)明者品川正行, 江澤正幸, 赤松年浩 申請人:夏普株式會社