圖像處理裝置和圖像處理方法
【專利摘要】以高效地抑制閃爍為目的，圖像處理裝置(1)具有：閃爍檢測部(2)，其按照每幀從輸入圖像信號中檢測閃爍成分，生成第1閃爍校正信號；閃爍校正信號保持部(10)，其保持最近的連續(xù)多幀的所生成的第1閃爍校正信號；相位偏移檢測部(11)，其從所保持的過去的第1閃爍校正信號中選擇具有大致相同的相位的第1閃爍校正信號，檢測與最新的第1閃爍校正信號之間的相位偏移量；相位偏移校正部(12)，其根據(jù)檢測到的相位偏移量，對選擇出的過去的第1閃爍校正信號進(jìn)行校正；循環(huán)型的校正信號合成部(13)，其以規(guī)定比率對校正后的過去的第1閃爍校正信號和最新的第1閃爍校正信號進(jìn)行合成，生成第2閃爍校正信號；以及閃爍校正部(4)，其根據(jù)所生成的第2閃爍校正信號對輸入圖像信號進(jìn)行校正。
【專利說明】
圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002] 例如，在使用CMOS圖像傳感器等XY地址方式的攝像元件的攝像裝置中，當(dāng)在明亮 度對應(yīng)于巧光燈等的電源頻率而變動的照明下進(jìn)行動態(tài)圖像拍攝時，產(chǎn)生在帖圖像的垂直 方向上出現(xiàn)周期性明暗的橫向條紋圖案的閃爍。而且，公知有通過圖像處理來減輕運樣在 圖像中產(chǎn)生的閃爍成分的各種方法(例如參照專利文獻(xiàn)1~3。）。
[0003] 在專利文獻(xiàn)1所公開的圖像處理方法中，在攝像元件中的光電荷的蓄積時間按照 各行而不同的攝像裝置中，連續(xù)的化(η為正整數(shù))帖內(nèi)的各像素的輸出信號電平除W該連 續(xù)的化帖內(nèi)的各像素的輸出信號電平的平均值。然后，控制對該連續(xù)的化帖內(nèi)的各像素的 輸出信號電平進(jìn)行放大的增益，W使得與相除后的值的倒數(shù)成比例。由此，減輕了使用基于 放電的照明光時產(chǎn)生的閃爍成分。
[0004] 或者，連續(xù)的化帖內(nèi)的分別由多個像素構(gòu)成的各像素組的輸出總信號電平除W該 連續(xù)的化帖內(nèi)的多個像素組的輸出總信號電平的平均值，控制對該連續(xù)的化帖內(nèi)的各像素 的輸出信號電平進(jìn)行放大的增益，W使得與該相除后的值的倒數(shù)成比例。
[0005] 并且，在專利文獻(xiàn)2所公開的圖像處理方法中，除了專利文獻(xiàn)1所公開的基本結(jié)構(gòu) W外，還公開了利用循環(huán)型的低通濾波器使計算出的閃爍成分在時間上穩(wěn)定的方法、根據(jù) 帖間的運動信息對所述循環(huán)型的低通濾波器的循環(huán)系數(shù)進(jìn)行控制的方法。在專利文獻(xiàn)1的 方法中，在連續(xù)的化帖內(nèi)存在較大運動的情況下，計算出的閃爍成分有時大幅素亂，但是， 在專利文獻(xiàn)2的方法中，通過使用與運動信息聯(lián)動的循環(huán)型的低通濾波器，能夠抑制閃爍成 分的誤檢測和過校正。
[0006] 進(jìn)而，在專利文獻(xiàn)3中，除了專利文獻(xiàn)1所公開的基本結(jié)構(gòu)W外，在攝像圖像中的運 動在連續(xù)的3η帖之間極大的情況下或閃爍成分的相位由于電源頻率或攝像帖率的變動而 變化的情況下，也能通過對過去帖中計算出的閃爍成分的相位進(jìn)行適當(dāng)調(diào)整而應(yīng)用于當(dāng)前 帖，來良好地抑制閃爍。
[0007] 現(xiàn)有技術(shù)文獻(xiàn) [000引專利文獻(xiàn)
[0009] 專利文獻(xiàn)1:日本特開平10-93866號公報
[0010] 專利文獻(xiàn)2:日本特開2012-222739號公報
[0011] 專利文獻(xiàn)3:日本特開2014-27496號公報

【發(fā)明內(nèi)容】

[0012] 發(fā)明要解決的課題
[0013] 近年來的數(shù)字靜止照相機大多能夠進(jìn)行動態(tài)圖像拍攝，動態(tài)圖像畫質(zhì)在數(shù)字靜止 照相機的性能中也逐漸占據(jù)重要位置。但是，與最初設(shè)計成動態(tài)圖像拍攝專用的數(shù)字?jǐn)z像 機等相比，數(shù)字靜止照相機的動態(tài)圖像功能存在各種問題。作為其中之一，有使驅(qū)動攝像元 件的時鐘頻率與基于若干個影像標(biāo)準(zhǔn)的規(guī)定帖率一致而沒有高精度地完全一致運點。例 如，在目標(biāo)帖率為60巧S的情況下，實際上驅(qū)動攝像元件的信號有時成為60.05fps。
[0014] 運種攝像帖率的誤差在通常拍攝中不會特別成為問題，但是，在同時進(jìn)行所述閃 爍校正的情況下，存在W下問題。
[0015] 例如，當(dāng)在該狀況下如專利文獻(xiàn)2所公開的那樣對閃爍成分施加循環(huán)型的低通濾 波時，閃爍成分的相位也由于攝像帖率的變動而微小變動，所W，相對于本來的閃爍成分產(chǎn) 生峰值的降低和相位的偏移，其結(jié)果，降低閃爍校正效果。
[0016] 并且，在專利文獻(xiàn)3所公開的方法中，針對計算出的閃爍成分，使用DFT直接計算相 位變動量，在變動較大的情況下，對過去計算出的閃爍成分的相位進(jìn)行調(diào)整并應(yīng)用于當(dāng)前 帖，由此減少由于攝像帖率的誤差而引起的影響，但是，為了利用DFT高精度地測定上述微 小的相位變動，需要較多的取樣點，并且，還存在DFT運算部自身的實現(xiàn)成本較大運樣的課 題。
[0017] 本發(fā)明是鑒于上述情況而完成的，其目的在于，提供在電源頻率或攝像帖率包含 誤差的情況下也能夠高精度且穩(wěn)定地從圖像中提取閃爍成分、能夠高效地進(jìn)行閃爍的抑制 的圖像處理裝置。
[0018] 用于解決課題的手段
[0019] 本發(fā)明的一個方式是一種圖像處理裝置，其具有：閃爍檢測部，其按照每帖從輸入 圖像信號中檢測閃爍成分，生成第1閃爍校正信號；閃爍校正信號保持部，其保持最近的連 續(xù)多帖的由該閃爍檢測部生成的所述第1閃爍校正信號;相位偏移檢測部，其在由所述閃爍 檢測部檢測到最新的所述第1閃爍校正信號時，從該閃爍校正信號保持部中保持的過去的 所述第1閃爍校正信號中選擇具有大致相同的相位的過去的所述第1閃爍校正信號，檢測與 最新的第1閃爍校正信號之間的相位偏移量;相位偏移校正部，其根據(jù)由該相位偏移檢測部 檢測到的所述相位偏移量，對選擇出的過去的所述第1閃爍校正信號的相位偏移進(jìn)行校正； 循環(huán)型的校正信號合成部，其W規(guī)定比率對由該相位偏移校正部校正了相位偏移后的過去 的所述第1閃爍校正信號和最新的所述第1閃爍校正信號進(jìn)行合成，生成第2閃爍校正信號； W及閃爍校正部，其根據(jù)由該校正信號合成部生成的所述第2閃爍校正信號，對輸入圖像信 號進(jìn)行校正。
[0020] 根據(jù)本方式，在閃爍校正信號保持部中保持多帖的根據(jù)由閃爍檢測部檢測到的閃 爍成分生成的第1閃爍校正信號，在相位偏移檢測部中選擇具有與最新的第1閃爍校正信號 大致相同的相位的過去的第1閃爍校正信號，檢測2個第1閃爍校正信號之間的相位偏移量。 在相位偏移校正部中，根據(jù)檢測到的相位偏移量對相位偏移檢測部中選擇出的過去的第1 閃爍校正信號的相位偏移進(jìn)行校正后，在循環(huán)型的校正信號合成部中W規(guī)定比率對2個第1 閃爍校正信號進(jìn)行合成，由此生成第2閃爍校正信號。然后，在閃爍校正部中，使用所生成的 第2閃爍校正信號對輸入圖像信號進(jìn)行校正，去除閃爍。
[0021] 目P，在攝像帖率存在誤差的情況下，在進(jìn)行閃爍校正時，通過預(yù)先對過去計算出的 第1閃爍校正信號的相位偏移進(jìn)行校正，能夠防止循環(huán)型的校正信號合成部中生成的第2閃 爍校正信號的精度降低，能夠高精度地去除輸入圖像信號的閃爍。
[0022] 在上述方式中，也可W是，所述相位偏移檢測部選擇與閃爍的產(chǎn)生周期一致的帖 數(shù)的過去的所述第1閃爍校正信號，所述閃爍的產(chǎn)生周期是根據(jù)取得所述輸入圖像信號時 的周圍環(huán)境中的電源頻率和取得該輸入圖像信號時的攝像帖率決定的。
[0023] 由此，能夠簡易地選擇相位最近的過去帖的第1閃爍校正信號。例如，在電源頻率 為50化、攝像帖率為60fps的情況下，3帖前的第1閃爍校正信號的相位與最新的第1閃爍校 正信號的相位大致相同，所W，在相位偏移檢測部中選擇3帖前的第1閃爍校正信號，檢測相 位偏移量。
[0024] 并且，在上述方式中，也可W是，所述圖像處理裝置具有:縮小圖像生成部，其W規(guī) 定的比率將所述輸入圖像信號縮小而輸入到所述閃爍檢測部；W及校正信號放大部，其W 所述比率將所述第2閃爍校正信號放大而輸入到所述閃爍校正部。
[0025] 由此，能夠大幅削減第1閃爍校正信號和第2閃爍校正信號的計算過程中的運算 量，能夠?qū)崟r地進(jìn)行閃爍校正。
[00%]并且，在上述方式中，也可W是，所述相位偏移檢測部通過對2個所述第1閃爍校正 信號進(jìn)行模式匹配來檢測相位偏移。
[0027] 由此，不用進(jìn)行DFT(離散傅里葉變換)等成本比較高的處理，就能夠簡易地檢測與 過去帖中檢測到的第1閃爍校正信號之間的相位偏移量。
[0028] 并且，本發(fā)明的另一個方式是一種圖像處理方法，包括W下步驟：閃爍檢測步驟， 按照每帖從輸入圖像信號中檢測閃爍成分，生成第1閃爍校正信號；閃爍校正信號保持步 驟，保持最近的連續(xù)多帖的通過該閃爍檢測步驟生成的所述第1閃爍校正信號;相位偏移檢 測步驟，在通過所述閃爍檢測步驟檢測到最新的所述第1閃爍校正信號時，從該閃爍校正信 號保持步驟中保持的過去的所述第1閃爍校正信號中選擇具有大致相同的相位的過去的所 述第1閃爍校正信號，檢測與最新的第1閃爍校正信號之間的相位偏移量;相位偏移校正步 驟，根據(jù)通過該相位偏移檢測步驟檢測到的所述相位偏移量，對選擇出的過去的所述第1校 正信號的相位偏移進(jìn)行校正;校正信號合成步驟，W規(guī)定比率對通過該相位偏移校正步驟 校正了相位偏移后的過去的所述第1閃爍校正信號和最新的所述第1閃爍校正信號進(jìn)行合 成，生成第2閃爍校正信號；W及閃爍校正步驟，根據(jù)通過該校正信號合成步驟生成的所述 第2閃爍校正信號，對輸入圖像信號的閃爍進(jìn)行校正。
[0029] 在上述方式中，也可W是，所述圖像處理方法包括W下步驟:縮小圖像生成步驟， W規(guī)定的比率縮小所述輸入圖像信號；W及校正信號放大步驟，W所述比率放大所述第2閃 爍校正信號，所述閃爍檢測步驟中，根據(jù)所述縮小圖像生成步驟中縮小的輸入圖像信號生 成第1閃爍校正信號，所述閃爍校正步驟中，根據(jù)所述校正信號放大步驟中放大的第2校正 信號對閃爍進(jìn)行校正。
[0030] 發(fā)明效果
[0031] 根據(jù)本發(fā)明，發(fā)揮在電源頻率或攝像帖率包含誤差的情況下也能夠高精度且穩(wěn)定 地從圖像中提取閃爍成分、能夠高效地進(jìn)行閃爍的抑制的效果。
【附圖說明】
[0032] 圖1是示出本發(fā)明的一個實施方式的圖像處理裝置的框圖。
[0033] 圖2A是示出用于說明圖1的圖像處理裝置的閃爍檢測部的動作的連續(xù)的3帖的圖 像例和它們的相加圖像例的圖。
[0034] 圖2B是示出圖2A的最新的輸入圖像和相加圖像中的行累積數(shù)據(jù)的圖。
[0035] 圖2C是示出從圖2B的2個圖像中提取出的閃爍校正信號例的圖。
[0036] 圖3是示出由圖1的圖像處理裝置的閃爍校正信號保持部檢測到的多帖的閃爍校 正信號的相位關(guān)系的圖。
[0037] 圖4是說明使用圖1的圖像處理裝置的圖像處理方法的流程圖。
[0038] 圖5是示出圖1的圖像處理裝置的變形例的框圖。
[0039] 圖6是示出圖5的圖像處理裝置中的閃爍校正信號整形部的框圖。
[0040] 圖7是說明圖6的閃爍校正信號整形部進(jìn)行的插值的圖。
【具體實施方式】
[0041] 下面，參照附圖對本發(fā)明的一個實施方式的圖像處理裝置1和圖像處理方法進(jìn)行 說明。
[0042] 如圖1所示，本實施方式的圖像處理裝置1具有根據(jù)由照相機取得的輸入圖像信號 計算第1閃爍校正信號的閃爍檢測部2、對由該閃爍檢測部2檢測到的第1閃爍校正信號進(jìn)行 整形而生成第2閃爍校正信號的閃爍校正信號整形部3、使用由該閃爍校正信號整形部3生 成的第2閃爍校正信號對輸入圖像信號進(jìn)行校正的閃爍校正部4。
[0043] 在本實施方式的說明中，對通過照相機進(jìn)行拍攝時的照明的電源頻率為50化、照 相機的攝像帖率為60巧S(帖/秒)的情況進(jìn)行說明。
[0044] 閃爍檢測部2具有保持從照相機送來的輸入圖像信號的帖存儲器5。帖存儲器5保 持最新的帖下稱為當(dāng)前帖。）的輸入圖像信號I(n)和與當(dāng)前帖最近的過去2帖下稱為 過去帖。）的輸入圖像信號I(n-l)、I(n-2)運3帖的輸入圖像信號。
[0045] 并且，閃爍檢測部2具有對帖存儲器5中存儲的3帖的輸入圖像信號I(n-2)、I(n- l)、I(n)進(jìn)行相加平均的帖相加部6。在帖相加部6中進(jìn)行W下運算，輸出相加平均后的平均 圖像信號S(n)。
[0046] S(n) = (I(n)+I(n-l)+I(n-2))/3
[0047] 運里，輸入圖像信號I(n-2)、I(n-l)、I(n)和相加平均后的圖像信號S(n)分別成為 圖2A中例示的關(guān)系。即，在輸入圖像信號I(n-2)、I(n-l)、I(n)中分別產(chǎn)生相位各偏移如/3 的閃爍條紋。并且，平均圖像信號S(n)成為通過相加平均抵消了閃爍條紋的、沒有條紋的圖 像信號。一般情況下，人的視覺不具有超過lOOHz的時間分辨率，所W，在肉眼觀察的情況 下，識別到接近平均圖像信號S(n)的像。
[0048] 并且，閃爍檢測部2具有:行方向累積部7,其將當(dāng)前帖的輸入圖像信號I(n)的左上 角作為原點，在輸入圖像信號I(n)的縱向（行的排列方向）的各位置y，在橫向（沿著行的方 向）x上對輸入圖像信號I(n)進(jìn)行累積；W及行方向累積部8,其將平均圖像信號S(n)的左上 角作為原點，在平均圖像信號S(n)的縱方向的各位置y，在橫向X上對平均圖像信號S(n)進(jìn) 行累積。
[0049] 在各行方向累積部7、8中進(jìn)行W下運算。
[0050] 【數(shù)學(xué)式1】
[0053] 其中，wi化h表示圖像信號的水平尺寸。
[0054] 各行方向累積部7、8中計算出的累積值Ix(n)、Sx(n)成為圖2B所示的關(guān)系。例示的 輸入圖像信號1(11-2)、1(11-1)、1(11)和平均圖像信號5(11)在畫面中央下部存在有與周圍相 比成為高亮度的矩形的區(qū)域A，所W，兩個累積值的值均從該坐標(biāo)yl起升高。圖中，用虛線示 出不存在矩形區(qū)域的情況下的累積值。
[0055] 并且，閃爍檢測部2具有根據(jù)當(dāng)前帖的輸入圖像信號I(n)的累積值Ix(n)和平均圖 像信號S(n)的累積值Sx(n)提取第1閃爍校正信號C(n)的閃爍校正信號提取部9。
[0056] 在閃爍校正信號提取部9中，通過數(shù)學(xué)式2所示的運算來計算第1閃爍校正信號C (η)。
[0057] 【數(shù)學(xué)式2】
[0化引
[0059] 其中，e是用于防止除W零的常數(shù)。
[0060] 第1閃爍校正信號C(n)也成為與縱向（y方向）對應(yīng)的一維數(shù)據(jù)，如圖2C所示，成為 具有抵消當(dāng)前帖的輸入圖像信號I(n)的閃爍條紋的特性的波形。
[0061 ]接著，對閃爍校正信號整形部3進(jìn)行說明。
[0062] 閃爍校正信號整形部3具有閃爍校正信號保持部10,關(guān)于閃爍檢測部2中檢測到的 第1閃爍校正信號，該閃爍校正信號保持部10除了保持針對當(dāng)前帖檢測到的第1閃爍校正信 號C(n)w外，還保持針對最近的連續(xù)的過去3帖檢測到的第1閃爍校正信號C(n-3)、C(n-2)、 C(n-l)。
[0063] 閃爍校正信號整形部3在被輸入了當(dāng)前帖的第1閃爍校正信號C(n)時，丟棄作為3 帖前的第1閃爍校正信號C(n-3)進(jìn)行保持的信號，使第1閃爍校正信號C(n)、C(n-l)、C(n-2) 一個一個往后錯，作為過去帖的第1閃爍校正信號C(n-l)、C(n-2)、C(n-3)進(jìn)行保持。
[0064] 如圖3所示，通常，原來的輸入圖像信號I(n-2)、I(n-l)、I(n)中包含的閃爍條紋的 相位分別各偏移如/3,所W，第1閃爍校正信號(：(11-3)、(：(11-2)、(：(11-1)、"11)的相位也分別 各偏移如/3。而且，由于相位W3帖為1周，所W，理想情況下，當(dāng)前帖的第1閃爍校正信號C (η)和3帖前的第1閃爍校正信號C(n-3)的相位一致。但是，當(dāng)攝像帖率存在誤差時，產(chǎn)生相 位偏移As。
[0065] 閃爍校正信號整形部3具有相位偏移檢測部11，該相位偏移檢測部11被輸入從閃 爍檢測部2輸出的當(dāng)前帖的第1閃爍校正信號C(n)和閃爍校正信號保持部10中存儲的3帖前 的過去帖的第1閃爍校正信號C(n-3)，檢測運2個第1閃爍校正信號C(n)、C(n-3)之間的相位 偏移量Δ S。
[0066] 相位偏移檢測部11通過一維的模式匹配來檢測當(dāng)前帖的第1閃爍校正信號C(n)與 3帖前檢測到的第1閃爍校正信號C(n-3)之間的相位差A(yù)s。作為匹配評價值，使用數(shù)學(xué)式3 所示的一維的差分絕對值和(SAD:Sum of Absoluted Difference)。
[0067]【數(shù)學(xué)式3】
[006引
[0069] 其中，hei曲t表示輸入圖像信號的垂直尺寸，smax是根據(jù)假設(shè)的攝像帖率的誤差 的大小進(jìn)行適當(dāng)變更的相位偏移量。例如，在發(fā)現(xiàn)由于攝像帖率的誤差而在C(n)與C(n-3) 之間產(chǎn)生最大smax的相位偏移的情況下，在-smax蘭Δ S蘭smax的范圍內(nèi)計算SAD (S)。
[0070] SAD(s)表示使3帖前的第1閃爍校正信號C(n-3)W相位偏移量As移位時的與當(dāng)前 帖的第1閃爍校正信號C(n)之間的差分絕對值和，W2個第1閃爍校正信號C(n)、C(n-3)之差 最小的A S為最小值。即，根據(jù)下式求出相位偏移量Δ S。
[0071] Δ s = a;r卵inSAD(s)
[0072] 并且，閃爍校正信號整形部3具有相位偏移校正部12,該相位偏移校正部12使用相 位偏移檢測部11中檢測到的相位偏移量As,生成使3帖前的第1閃爍校正信號C(n-3)的相 位W相位偏移量A S移位后的移位第1閃爍校正信號C/ (n-3)。
[0073] 并且，閃爍校正信號整形部3具有校正信號合成部，該校正信號合成部被輸入相位 偏移校正部12中生成的移位第1閃爍校正信號(n-3)和當(dāng)前帖的第1閃爍校正信號C(n)， 根據(jù)下式，W規(guī)定合成比率進(jìn)行合成，生成第2閃爍校正信號C/(η)。校正信號合成部由循環(huán) 型的低通濾波器(循環(huán)型LP巧13構(gòu)成。
[0074] C'(n)=aC (n-3) + (l-a)C(n)
[0075] 運里，α是反饋系數(shù)，在0^α<1的范圍內(nèi)進(jìn)行定義，通過設(shè)定為適當(dāng)值，能夠提高第 2閃爍校正信號C/ (η)的時間穩(wěn)定性。例如，優(yōu)選設(shè)定為α = 0.8。
[0076] 由此，從閃爍校正信號整形部3輸出第2閃爍校正信號C/ (η)。
[0077] 閃爍校正部4通過對當(dāng)前帖的輸入圖像信號Ι(η)乘W從閃爍校正信號整形部3輸 出的第2閃爍校正信號C/(n)，對輸入圖像信號Ι(η)進(jìn)行校正。并且，圖中的1/(η)是通過閃 爍校正部4進(jìn)行校正后的圖像信號。
[0078] 下面，對使用運樣構(gòu)成的本實施方式的圖像處理裝置1的圖像處理方法進(jìn)行說明。
[0079] 在本實施方式的圖像處理方法中，如圖4所示，首先，在閃爍檢測部2中，按照每帖 從輸入圖像信號Ι(η)中檢測閃爍成分，生成第1閃爍校正信號（閃爍檢測步驟S1)。
[0080] 接著，在閃爍校正信號保持部10中保持包含當(dāng)前帖在內(nèi)的最近連續(xù)4帖的閃爍檢 測步驟S1中生成的第1閃爍校正信號（閃爍校正信號保持步驟S2)。
[0081] 在該狀態(tài)下，在相位偏移檢測部11中，從閃爍校正信號保持部10中保持的過去帖 的第1閃爍校正信號(：(11-1)、(：(11-2)、(：(11-3)中選擇3帖前的第1閃爍校正信號(：(11-3)，檢測 與當(dāng)前帖的第1閃爍校正信號C(n)之間的相位偏移量(相位偏移檢測步驟S3)。例如通過模 式匹配來進(jìn)行相位偏移量的檢測。
[0082] 然后，根據(jù)相位偏移檢測步驟S3中檢測到的相位偏移量，在相位偏移校正部12中， 對選擇出的3帖前的第1閃爍校正信號C(n-3)的相位偏移進(jìn)行校正(相位偏移校正步驟S4)。
[0083] W規(guī)定比率對運樣校正了相位偏移后的3帖前的第1閃爍校正信號C(n-3)和當(dāng)前 帖的第1閃爍校正信號c(n)進(jìn)行合成，生成第2閃爍校正信號C/(η)(校正信號合成步驟S5)。
[0084] 最后，根據(jù)校正信號合成步驟S5中生成的第2閃爍校正信號(η)，對輸入圖像信 號I (η)進(jìn)行校正（閃爍校正步驟S6)。
[0085] 運樣，根據(jù)本實施方式的圖像處理裝置1和圖像處理方法，即使由于攝像帖率的誤 差等而在每帖的第1閃爍校正信號C(n)、C(n-l)、C(n-2)、C(n-3)中產(chǎn)生微細(xì)的相位偏移，也 在對其進(jìn)行校正后的狀態(tài)下將其輸入到循環(huán)型的低通濾波器13。然后，通過循環(huán)型的低通 濾波器13,生成W規(guī)定比率對當(dāng)前帖的第1閃爍校正信號C(n)和3帖前的第1閃爍校正信號C (n-3)進(jìn)行合成后的第2閃爍校正信號(η)，所W，具有如下優(yōu)點：能夠生成時間上穩(wěn)定的 第2閃爍校正信號C/ (η)，使用該第2閃爍校正信號(η)，能夠有效地去除當(dāng)前帖的輸入圖 像信號Ι(η)中包含的閃爍。
[0086] 并且，在相位偏移檢測步驟S3中，通過模式匹配來檢測2個第1閃爍校正信號C(n)、 C(n-3)的相位偏移量，所W，具有如下優(yōu)點：不需要進(jìn)行DFT等成本比較高的處理，能夠簡易 地檢測過去帖的第1閃爍校正信號C(n-1)、C(n-2)、C(n-3)的相位偏移量。
[0087] 另外，在本實施方式中，例示了電源頻率50化、攝像帖率60fps的情況，所W，檢測 當(dāng)前帖的第1閃爍校正信號C(n)與3帖前的第1閃爍校正信號C(n-3)的相位偏移量，但是，在 電源頻率和/或攝像帖率不同的情況下，根據(jù)由它們決定的周期來設(shè)定閃爍校正信號保持 部10中保持的第1閃爍校正信號的數(shù)量，選擇要檢測相位偏移量的過去帖即可。
[0088] 并且，在本實施方式中，在相位偏移校正部12中，使用相位偏移檢測部11中檢測到 的相位偏移量As,使3帖前的第1閃爍校正信號C(n-3)的相位W相位偏移量As移位，但是， 由于只是單純的移位，所W也可W取而代之，而通過循環(huán)型的低通濾波器13的尋址時的移 位來實施相位偏移校正部12的功能。
[0089] 并且，在本實施方式中，在保持其尺寸的狀態(tài)下將由照相機取得的輸入圖像信號I (η)輸入到閃爍檢測部2,但是，也可W取而代之，如圖5所示，具有縮小由照相機取得的輸入 圖像信號Ι(η)的縮小圖像生成部14、放大從閃爍校正信號整形部3輸出的第2閃爍校正信號 c(n)的閃爍校正信號放大插值部(校正信號放大部）15。并且，在圖5中，i(n)是縮小圖像信 號I(n)而得到的信號，C/(η)是放大第2閃爍校正信號c(n)而得到的信號。
[0090] 縮小圖像生成部14中的縮小率是任意的。由于一般的閃爍成分不包含高頻成分， 所W，垂直方向的像素數(shù)、即閃爍校正信號的取樣點數(shù)為30~50個左右就能夠得到充分的 閃爍校正效果。因此，例如，如果是全部皿標(biāo)準(zhǔn)的輸入圖像信號，則優(yōu)選縱橫1/20~1/30左 右的縮小率。
[0091] 通過進(jìn)行運種圖像縮小，具有如下優(yōu)點：能夠大幅削減閃爍檢測部2內(nèi)的帖存儲器 5和閃爍校正信號整形部3內(nèi)的閃爍校正信號保持部10所需要的存儲器容量，并且，還能夠 大幅削減各塊中的運算量。
[0092] 該情況下的閃爍檢測部2中的第1閃爍校正信號的生成處理與上述實施方式相同。
[0093] 在閃爍校正信號整形部3中，如圖6所示，在相位偏移檢測部11中，不僅計算整數(shù)單 位的相位偏移量As,還計算小數(shù)單位的相位偏移量Assub。由此，即使是由于圖像縮小而 大幅減少的垂直方向的取樣數(shù)，也能夠確保充分精度的相位偏移量的檢測。
[0094] 可W使用上述說明的SAD(s)和相位偏移量As,根據(jù)數(shù)學(xué)式4計算小數(shù)單位的相位 偏移量Δ ssub。
[0096] \
[OOM]【數(shù)學(xué)式4】
[0097] 在相位偏移校正部12中，使用由相位偏移檢測部11計算出的相位偏移量As、Δ ssub，計算使3帖前的第1閃爍校正信號C(n-3)的相位W Δ s+Δ ssub移位后的移位第1閃爍 校正信號C/(n-3)。如圖7所示，可W通過鄰近兩點插值來實施該運算。
[0098] 使用運樣計算出的移位第1閃爍校正信號C/(n-3)和當(dāng)前帖的第1閃爍校正信號C (η)，在循環(huán)型的低通濾波器13中，在縮小坐標(biāo)系中計算當(dāng)前帖的第2閃爍校正信號C/(η)。
[0099] 然后，計算出的第2閃爍校正信號C/(η) W在閃爍校正信號放大插值部15中放大而 返回原來的坐標(biāo)系的狀態(tài)輸入到閃爍校正部4,通過W行單位與原來的坐標(biāo)系的當(dāng)前帖的 輸入圖像信號進(jìn)行相乘，能夠抑制閃爍成分。
[0100] 標(biāo)號說明
[0101] 1:圖像處理裝置;2:閃爍檢測部;4:閃爍校正部；10:閃爍校正信號保持部；11:相 位偏移檢測部；12:相位偏移校正部；13:低通濾波器(校正信號合成部）；14:縮小圖像生成 部；15:閃爍校正信號放大插值部(校正信號放大部）；S1:閃爍檢測步驟;S2:閃爍校正信號 保持步驟;S3:相位偏移檢測步驟;S4:相位偏移校正步驟;S5:校正信號合成步驟;S6:閃爍 校正步驟。
【主權(quán)項】
1. 一種圖像處理裝置，其具有： 閃爍檢測部，其按照每幀從輸入圖像信號中檢測閃爍成分，生成第1閃爍校正信號； 閃爍校正信號保持部，其保持最近的連續(xù)多幀的由該閃爍檢測部生成的所述第1閃爍 校正信號； 相位偏移檢測部，其在由所述閃爍檢測部檢測到最新的所述第1閃爍校正信號時，從該 閃爍校正信號保持部中保持的過去的所述第1閃爍校正信號中選擇具有大致相同的相位的 過去的所述第1閃爍校正信號，檢測與最新的第1閃爍校正信號之間的相位偏移量； 相位偏移校正部，其根據(jù)由該相位偏移檢測部檢測到的所述相位偏移量，對選擇出的 過去的所述第1閃爍校正信號的相位偏移進(jìn)行校正； 循環(huán)型的校正信號合成部，其以規(guī)定比率對由該相位偏移校正部校正了相位偏移后的 過去的所述第1閃爍校正信號和最新的所述第1閃爍校正信號進(jìn)行合成，生成第2閃爍校正 信號；以及 閃爍校正部，其根據(jù)由該校正信號合成部生成的所述第2閃爍校正信號，對輸入圖像信 號進(jìn)行校正。2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述相位偏移檢測部選擇與閃爍的產(chǎn)生周期一致的幀數(shù)的過去的所述第1閃爍校正信 號，所述閃爍的產(chǎn)生周期是根據(jù)取得所述輸入圖像信號時的周圍環(huán)境中的電源頻率和取得 該輸入圖像信號時的攝像幀率決定的。3. 根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述圖像處理裝置具有： 縮小圖像生成部，其以規(guī)定的比率將所述輸入圖像信號縮小而輸入到所述閃爍檢測 部；以及 校正信號放大部，其以所述比率將所述第2閃爍校正信號放大而輸入到所述閃爍校正 部。4. 根據(jù)權(quán)利要求1~3中的任意一項所述的圖像處理裝置，其中， 所述相位偏移檢測部通過對2個所述第1閃爍校正信號進(jìn)行模式匹配來檢測相位偏移。5. -種圖像處理方法，包括以下步驟： 閃爍檢測步驟，按照每幀從輸入圖像信號中檢測閃爍成分，生成第1閃爍校正信號； 閃爍校正信號保持步驟，保持最近的連續(xù)多幀的通過該閃爍檢測步驟生成的所述第1 閃爍校正信號； 相位偏移檢測步驟，在通過所述閃爍檢測步驟檢測到最新的所述第1閃爍校正信號時， 從該閃爍校正信號保持步驟中保持的過去的所述第1閃爍校正信號中選擇具有大致相同的 相位的過去的所述第1閃爍校正信號，檢測與最新的第1閃爍校正信號之間的相位偏移量； 相位偏移校正步驟，根據(jù)通過該相位偏移檢測步驟檢測到的所述相位偏移量，對選擇 出的過去的所述第1校正信號的相位偏移進(jìn)行校正； 校正信號合成步驟，以規(guī)定比率對通過該相位偏移校正步驟校正了相位偏移后的過去 的所述第1閃爍校正信號和最新的所述第1閃爍校正信號進(jìn)行合成，生成第2閃爍校正信號； 以及 閃爍校正步驟，根據(jù)通過該校正信號合成步驟生成的所述第2閃爍校正信號，對輸入圖 像信號的閃爍進(jìn)行校正。6.根據(jù)權(quán)利要求5所述的圖像處理方法，其中， 所述圖像處理方法包括以下步驟： 縮小圖像生成步驟，以規(guī)定的比率縮小所述輸入圖像信號；以及 校正信號放大步驟，以所述比率放大所述第2閃爍校正信號， 所述閃爍檢測步驟中，根據(jù)所述縮小圖像成性步驟中縮小的輸入圖像信號生成第1閃 爍校正信號， 所述閃爍校正步驟中，根據(jù)所述校正信號放大步驟中放大的第2校正信號對閃爍進(jìn)行 校正。
【文檔編號】H04N5/243GK106063251SQ201480076542
【公開日】2016年10月26日
【申請日】2014年12月15日
【發(fā)明人】鈴木大介
【申請人】奧林巴斯株式會社