專利名稱：圖像合成裝置和圖像記錄方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像合成裝置和圖像記錄方法。
背景技術(shù)：
現(xiàn)有技術(shù)中，已知通過對連拍的圖像進(jìn)行像素加法運(yùn)算并合成，即使在夜景等的光量較少的攝影環(huán)境中也能生成對記錄而言具有足夠的明亮度的圖像的技術(shù)。在特開2006-148550號公報中，記載了通過連拍并合成來補(bǔ)正攝像視場角的抖動的圖像合成技術(shù)。但是，若由于在曝光中出現(xiàn)未曾想到的頻閃閃光而導(dǎo)致在明亮度中出現(xiàn)變化，則會取得明亮度上存在不均勻的圖像。若在加法運(yùn)算合成中使用這樣的圖像，由于會保留明亮度的變化地進(jìn)行合成，結(jié)果，會生成明亮度上出現(xiàn)不均勻的合成圖像。

發(fā)明內(nèi)容
本發(fā)明鑒于這樣的問題點(diǎn)而提出，目的在于即使取得明亮度上存在不均勻的圖像也不會將其影響帶給合成結(jié)果。為了達(dá)成上述目的，本發(fā)明的一個形態(tài)的特征在于，具備:圖像取得部，其取得在時間上連續(xù)的多個圖像；選擇部，其從由所述圖像取得部取得的所述多個圖像中選擇成為明亮度的基準(zhǔn)的一圖像；檢測部，其比較由所述選擇部選擇的所述一圖像和由所述圖像取得部取得的其它的圖像，檢測出其比較結(jié)果為差分的值超過規(guī)定的閾值的圖像；設(shè)定部，其基于由該檢測部檢測出的圖像來設(shè)定合成比率；和圖像生成部，其使用由該設(shè)定部設(shè)定的所述合成比率，來合成包含由所述檢測部檢測出的圖像在內(nèi)的由所述圖像取得部取得的多個圖像，從而生成I個圖像。另外，為了達(dá)成上述目的，本發(fā)明的其它形態(tài)的特征在于，包括:圖像取得步驟，取得在時間上連續(xù)的多個圖像；選擇步驟，從在所述圖像取得步驟取得的所述多個圖像中選擇成為明亮度的基準(zhǔn)的一圖像；檢測步驟，比較所述選擇步驟中選擇的所述一圖像和所述圖像取得步驟中取得的其它的圖像，檢測出其比較結(jié)果為差分的值超過規(guī)定的閾值的圖像；設(shè)定步驟，基于該檢測步驟中檢測出的圖像來設(shè)定合成比率；和圖像生成部，使用該設(shè)定步驟中設(shè)定的所述合成比率，來合成包含所述檢測步驟中檢測出的圖像在內(nèi)的所述圖像取得步驟中取得的多個圖像，從而生成I個圖像。


圖1是應(yīng)用本發(fā)明的一個實(shí)施方式的攝像裝置的電路框圖。
圖2是表示圖1的攝像裝置中的處理順序的流程圖。圖3A是表示圖2的處理順序中的圖像例的圖。圖3B是表示圖2的處理順序中的圖像例的圖。圖3C是表示圖2的處理順序中的圖像例的圖。圖3D是表示圖2的處理順序中的圖像例的圖。圖3E是表示圖2的處理順序中的圖像例的圖。
具體實(shí)施例方式下面，按照附圖來說明本發(fā)明的一個實(shí)施方式。圖1是具備本發(fā)明的一個實(shí)施方式所涉及的圖像處理裝置的攝像裝置的電路構(gòu)成圖。該攝像裝置具有以卷簾快門(roIlingshutter)方式來讀取圖像信號的功能，具有:驅(qū)動控制部2、⑶S/ADC3、鍵輸入部4、顯示部
5、圖像記錄部6、程序存儲器7、RAM8、控制部9、和圖像處理部10。它們介由總線而連接。鍵輸入部4具備用于檢測攝影者的記錄指示的快門鍵41，圖像處理部10具備合成部11。在圖1中，攝像部I內(nèi)置有CMOS等的圖像傳感器、設(shè)于該圖像傳感器上的RGB的濾色器以及驅(qū)動器，其中該驅(qū)動器通過來自驅(qū)動控制部2的控制，將光的強(qiáng)度作為電荷的積蓄而保持一定時間，并將它們作為模擬的攝像信號而輸出給⑶S/ADC3。并且，通過檢測攝影者的經(jīng)由快門鍵41、控制部9、驅(qū)動控制部2的攝影指示，來取得多個圖像(彩色圖像)。⑶S/ADC3是被輸入與從攝像部I輸出的被攝體的光學(xué)像相應(yīng)的模擬的攝像信號的電路，由用于保持所輸入的攝像信號的⑶S、放大該攝像信號的增益調(diào)整放大器(AGC)、和將放大后的攝像信號變換為數(shù)字的攝像信號的A/D變換器(ADC)等構(gòu)成。另外，與增益調(diào)整放大器的調(diào)整相關(guān)的控制也是基于來自驅(qū)動控制部2的指示來進(jìn)行。由此，即使使曝光條件(快門速度或光圈值等)相同來取得多張圖像，也能生成因依次改變了增益調(diào)整放大器的RGB或圖像的色調(diào)而條件不同的多個圖像。另外，在本實(shí)施方式中，驅(qū)動控制部2進(jìn)行與增益調(diào)整放大器相關(guān)的控制，但并不限于此，例如也可以由控制部9來進(jìn)行上述的控制。鍵輸入部4除了上述的快門鍵41以外，還具備以本發(fā)明所涉及的圖像的取得、記錄為目的的用于檢測向攝影模式的切換、顯示的切換等的各種按鍵。顯示部5具有顯示所合成的圖像的功能。圖像記錄部6在執(zhí)行本發(fā)明所涉及的合成處理之后，記錄、容納以JPEG格式而編碼的圖像數(shù)據(jù)(圖像文件)。程序存儲器7存儲控制部9、圖像處理部10所執(zhí)行的程序，控制部9根據(jù)需要讀取該程序。RAM8具有暫時保存由于各處理而產(chǎn)生的處理中的數(shù)據(jù)的功能?？刂撇?控制該攝像裝置整體的處理動作。除了圖像數(shù)據(jù)的編碼/解碼處理之外，圖像處理部10還具備與本發(fā)明的特征性構(gòu)成對應(yīng)的合成部11。S卩，合成部11執(zhí)行從連拍圖像中選擇的I張基準(zhǔn)圖像、和對連拍圖像進(jìn)行加法運(yùn)算合成而得到的合成圖像的合成，并且，通過對該合成圖像使用與后述的差分區(qū)域?qū)?yīng)的透過強(qiáng)度映射(α映射:a map)，來按照每個像素區(qū)域改變合成比率進(jìn)行合成，減輕明亮度的不均勻的影響。接下來，說明本實(shí)施方式的動作。用戶操作設(shè)于鍵輸入部4的模式按鈕來設(shè)定本實(shí)施方式所涉及的攝影模式時，控制部9從程序存儲器7中讀取程序，并如圖2的流程圖所示那樣開始處理。即，控制部9判斷是否檢測到快門鍵41的按下(步驟S101)。若檢測到快門鍵41的按下，則指示驅(qū)動控制部2來執(zhí)行N張連拍(步驟S102)。接下來，基于通過連拍而得到的圖像數(shù)據(jù)來生成以亮度色差的色空間信息而表現(xiàn)的YUV形式的連拍圖像的圖像數(shù)據(jù)群，并保存在RAM8中(步驟S103)。因此，若將連拍張數(shù)N設(shè)為例如6張，則連拍圖像Pl P6被保存在RAM8中。另夕卜，這些連拍圖像Pl P6能通過公知的技術(shù)(CCD移位或基于鏡頭移位的視場角補(bǔ)正技術(shù))來補(bǔ)正圖像的抖動。接下來，從這些連拍圖像中選擇I張基準(zhǔn)圖像(步驟S104)。在該基準(zhǔn)圖像的選擇時，基于用戶進(jìn)行的外部操作來選擇。例如，在顯示部5—覽顯示連拍圖像Pl P6，將通過用戶操作而從這些一覽顯示的連拍圖像Pl P6中選擇的I張圖像設(shè)為基準(zhǔn)圖像。在本實(shí)施方式中，假設(shè)將連拍圖像P3選擇為基準(zhǔn)圖像。然后，用LPF(低通濾波)對該選擇的基準(zhǔn)圖像的圖像數(shù)據(jù)進(jìn)行降噪處理(步驟S105)。然后，將該降噪處理后的基準(zhǔn)圖像的圖像數(shù)據(jù)保存在RAM8中(步驟S106)。因此，通過在該步驟S105以及步驟S106的處理，在本例中，連拍圖像P3 (基準(zhǔn)圖像)的圖像數(shù)據(jù)在降噪處理后被保存到RAM8中。另外，關(guān)于連拍的多張圖像進(jìn)行降噪并合成(步驟S107)。即，若按照每個像素對多張連拍圖像的圖像數(shù)據(jù)進(jìn)行加法運(yùn)算平均，就能在降噪的同時進(jìn)行合成。N張連拍圖像的圖像數(shù)據(jù)加法運(yùn)算平均的數(shù)學(xué)式表示為下述的式[I] [3]。另外，Y_reSult、U_reSult以及V_result表示各個像素的亮度色差參數(shù)的合成后的信息。Y_result = (Y [O]+Y [I]+…Y [N])/N …式[I]U_result = (U [O]+U [I]+…U [N])/N …式[2]V_result=(V
+V[l]+—V[N])/N …式[3]只要使用了多張連拍圖像的具有降噪效果的合成方法，則并不限于加法運(yùn)算平均，也可以是其它的處理方法。并且，將該降噪后的全部連拍圖像的合成圖像的圖像數(shù)據(jù)保存到RAM8(步驟S108)。因此，在結(jié)束該步驟S108的處理的時間點(diǎn)，在RAM8中保存下述的圖像數(shù)據(jù)。(1)各連拍圖像的圖像數(shù)據(jù)(2)降噪處理后的基準(zhǔn)圖像的圖像數(shù)據(jù)(3)降噪處理后的合成圖像的圖像數(shù)據(jù)接下來，根據(jù)在所述步驟S104選擇的基準(zhǔn)圖像來生成評價基準(zhǔn)圖像(步驟S109)。在此，評價基準(zhǔn)圖像，是指將所述基準(zhǔn)圖像例如縮小為32X32像素后的縮小圖像。接下來，根據(jù)在所述步驟S104選擇的基準(zhǔn)圖像以外的其它的連拍圖像來生成評價對象圖像(步驟S110)。在此，評價基準(zhǔn)圖像是指將所述基準(zhǔn)圖像例如縮小為32X32像素后的縮小圖像。然后，在下面的步驟Slll到步驟S115的處理中，進(jìn)行所述評價基準(zhǔn)圖像和各連拍圖像的每個像素的差分的比較、評價。此時，首先判斷是否還有未進(jìn)行評價的評價對象圖像(連拍圖像)(步驟S111)。若還有未進(jìn)行比較、評價的評價對象圖像(連拍圖像)，則比較評價基準(zhǔn)圖像和還未進(jìn)行比較、評價的評價對象圖像(步驟S112)。在比較后，判斷評價對象圖像和評價基準(zhǔn)圖像的差分是否為閾值以上(步驟S113)。即，如下面數(shù)學(xué)式[4] [6]所示那樣，控制部9按照各連拍圖像的圖像數(shù)據(jù)(I)的每個像素，求取降噪處理后的評價基準(zhǔn)圖像的圖像數(shù)據(jù)(2)和評價對象圖像(由縮小圖像構(gòu)成的各連拍圖像)的圖像數(shù)據(jù)(1)之間的差分絕對值。即在下式中，若設(shè)Y_Base_Nr、U_Base_Nr、V_Base_Nr:上述(2)的降噪后基準(zhǔn)圖像數(shù)據(jù)的YUV各參數(shù)Y [n]、U [n]、V [n]:第n張圖像數(shù)據(jù)的YUV各參數(shù)N:合成張數(shù)fMax ():最大值算出函數(shù)fLpf ():平滑化函數(shù)fEmphasis ():映射強(qiáng)調(diào)函數(shù)則按各連拍圖像的每個像素來求取Diff_Y[n] = |Y_base_Nr_Y[n] | …式[4]//Y 的差分絕對值Diff_U[n] = |U_base_Nr_U[n] | …式[5]//U 的差分絕對值Diff_V[n] = |V_base_Nr-V[n] | …式[6]//V 的差分絕對值然后，判斷所述差分絕對值是否為規(guī)定的閾值以上。在該步驟S113的判斷的結(jié)果是差分不為閾值以上的情況下，判斷為該評價對象圖像是在明亮度上沒有不均勻的圖像數(shù)據(jù)，執(zhí)行遞增處理(步驟S115)，接下來對下一評價對象圖像反復(fù)進(jìn)行步驟S112起的處理。另外，在步驟S113的判斷的結(jié)果是差分為閾值以上的情況下，則判斷為在明亮度上存在不均勻，存在局部變亮的圖像區(qū)域，對該評價對象圖像設(shè)置標(biāo)記(步驟S114)。即，如前述那樣，本實(shí)施方式所涉及的攝像裝置具有以卷簾快門方式來讀取圖像信號的功能。因此，若正在連拍中出現(xiàn)了暫時性的攝影環(huán)境上的明亮度變化，則不僅會取得圖3A所示的在明亮度上沒有不均勻的圖像，還會取得圖3B所示的在明亮度上有不均勻的圖像。圖3B的圖像是僅區(qū)域B2(陰影區(qū)域)的明亮度局部地比區(qū)域B1、B3明亮、在明亮度上有不均勻的圖像。因此，若將圖3A的圖像設(shè)為比較基準(zhǔn)圖像PA，將圖3B的圖像設(shè)為比較對象圖像PB，則僅區(qū)域2B的差分絕對值為規(guī)定的閾值以上，因此，在步驟S113的判斷成為“是”，并對比較對象圖像PB設(shè)置標(biāo)記。如此，若反復(fù)進(jìn)行連拍張數(shù)份的步驟Slll到步驟S115的處理，則不再有比較對象的評價對象圖像，步驟Slll的判斷成為“否”。因此，控制部9使處理從步驟Slll前進(jìn)到S116，來判斷是否有執(zhí)行了前述步驟S114的處理而被設(shè)置了標(biāo)記的評價對象圖像(連拍圖像)。在沒有被設(shè)置標(biāo)記的評價對象圖像的情況下，不執(zhí)行步驟S117的處理，前進(jìn)到步驟S118的處理，使用α映射來進(jìn)行合成。即，在前述的式[4] [6]中，由于可以說是差分越大，則越是明亮度上有不均勻的圖像區(qū)域，因此，如下述式[7]所示，選擇差分最大的圖像區(qū)域(連拍圖像的對應(yīng)的每個像素中差分最大的圖像區(qū)域)。Diff [n] = fMax(Diff_Y[n]，Diff_U[n]，Diff_V[n])…式[7]接下來，如下述式[8]所示，執(zhí)行將除基準(zhǔn)圖像外的各連拍圖像的最大差分進(jìn)行平均化的處理。Ave_Diff = (Diff [O]+Diff [I]+...+Diff [N])/N-1 …式[8]
進(jìn)而，如下述式[9]所示，執(zhí)行平滑化處理。Ave_Diff_Lpf = fLpf (Ave_Diff)…式[9]通過該平滑化處理，生成映射M。該映射M由α = O而全透過的區(qū)域、和α = 255而不透過的區(qū)域來構(gòu)成。接著，如下述式[10]所示，進(jìn)行強(qiáng)調(diào)處理從而來提升所述映射M的對比度。Map_Move = fEmphasis (Ave_Diff_LPf)…式[10]通過該強(qiáng)調(diào)處理，提升了在映射M中，重疊了運(yùn)動體的像的區(qū)域的對比度。并且，最終將該映射M(Map_Move
:0 =沒有運(yùn)動體)作為α映射，合成前述的(2)降噪處理后的基準(zhǔn)圖像的圖像數(shù)據(jù)(3)降噪處理后的合成圖像的圖像數(shù)據(jù)(步驟S118)。所合成的各像素的YUV的各參數(shù)(Y_result、U_result、V_result)用下述式 [13]來表現(xiàn)。Y_result = (Y_Nr_MixX (255_Map_Move)+Y_Base_Nr XMap_Move)/255...式U_result = (U_Nr_MixX (255_Map_Move)+U_Base_Nr XMap_Move)/255...式V_result = (V_Nr_MixX (255_Map_Move)+V_Base_Nr XMap_Move)/255...式由此來生成合成圖像的圖像數(shù)據(jù)。但是，在步驟S116的判斷的結(jié)果是有被設(shè)置標(biāo)記的評價對象圖像的情況下，修正與被設(shè)置標(biāo)記的評價對象圖像對應(yīng)的圖像的α混合率進(jìn)行修正(步驟S117)，然后再執(zhí)行前述的步驟SI 18的處理。即，圖3Β所示的比較對象圖像PB是僅區(qū)域Β2的明亮度比區(qū)域Β1、Β3局部地明亮的圖像，在前述步驟S114的處理中被設(shè)置標(biāo)記。因此，成為有被設(shè)置標(biāo)記的比較對象圖像PB的情況，從步驟S116前進(jìn)到步驟S117，來修正與評價對象圖像PB對應(yīng)的圖像的α混合率(步驟SI 17)。即，若使用圖3C所示的圖像PC來說明，則該圖像PC僅與所述評價對象圖像PB的區(qū)域Β2對應(yīng)的區(qū)域C2局部地比與區(qū)域BI以及Β3對應(yīng)的Cl以及C3明亮。因此，在該進(jìn)行了降噪處理的全部連拍圖像的合成圖像((3)降噪處理后的合成圖像的YUV圖像數(shù)據(jù))上合成僅區(qū)域C2受到閃光的影響而更明亮的連拍圖像PC。因此，若直接使用該合成圖像，將映射M作為α映射來合成(2)降噪處理后的基準(zhǔn)圖像的圖像數(shù)據(jù)、(3)降噪處理后的合成圖像的圖像數(shù)據(jù)，則在“(3)降噪處理后的合成圖像的圖像數(shù)據(jù)”中會包含區(qū)域C2的明亮度分量，因此，如圖3D所示，會生成僅與連拍圖像PC的區(qū)域C2對應(yīng)的區(qū)域D2局部地比與區(qū)域Cl以及C3對應(yīng)的Dl以及D3明亮的合成圖像H)。因此，在本實(shí)施方式中，在步驟S117中，對與被設(shè)置標(biāo)記的評價對象圖像對應(yīng)的圖像的α混合率進(jìn)行修正。更具體地，不采用圖像PC的區(qū)域C2，采用區(qū)域C1、C3，執(zhí)行與步驟S107相同的處理，對連拍的多張圖像進(jìn)行降噪并合成。由此，能生成在連拍的多張的圖像中未采用圖像PC的區(qū)域C2的“(3)降噪后的合成圖像的圖像數(shù)據(jù)”。然后，使用在步驟S117的處理中新生成的“(3)降噪處理后的合成圖像的圖像數(shù)據(jù)”，在步驟S118中將映射M作為α映射，來合成(2)降噪處理后的基準(zhǔn)圖像的圖像數(shù)據(jù)，(3)降噪處理后的合成圖像的圖像數(shù)據(jù)。此時，在步驟S118的合成中使用的“(3)降噪處理后的合成圖像的圖像數(shù)據(jù)”中不包含與連拍圖像PC的區(qū)域C2對應(yīng)的分量。由此，如圖3Ε所示，區(qū)域Ε1、Ε2、Ε3為相同明亮度，能得到在明亮度中沒有不均勻的合成圖像PE。并且，如前述那樣，由于在本實(shí)施方式中進(jìn)行平滑化處理，因此能合成出運(yùn)動體和背景的邊界線更自然的圖像。另外，由于執(zhí)行提升映射M的對比度的處理，因此還能減少合成處理中的被攝體抖動的殘像(ghost)。以上，說明了本發(fā)明的實(shí)施方式，但本發(fā)明并不限于這些實(shí)施方式，還包含記載于權(quán)利要求的范圍內(nèi)的發(fā)明以及等同的范圍。
權(quán)利要求
1.一種圖像合成裝置，其特征在于，具備: 圖像取得部，其取得在時間上連續(xù)的多個圖像； 選擇部，其從由所述圖像取得部取得的所述多個圖像中選擇成為明亮度的基準(zhǔn)的一圖像； 檢測部，其比較由所述選擇部選擇的所述一圖像和由所述圖像取得部取得的其它的圖像，檢測出其比較結(jié)果為差分的值超過規(guī)定的閾值的圖像； 設(shè)定部，其基于由該檢測部檢測出的圖像來設(shè)定合成比率；和圖像生成部，其使用由該設(shè)定部設(shè)定的所述合成比率，來合成包含由所述檢測部檢測出的圖像在內(nèi)的由所述圖像取得部取得的多個圖像，從而生成I個圖像。
2.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于， 所述圖像合成裝置還具備: 合成圖像取得部，其對由所述圖像取得部取得的圖像進(jìn)行像素加法運(yùn)算來取得合成圖像， 所述圖像生成部合成由所述合成圖像取得部取得的圖像和所述一圖像，來生成I個圖像。
3.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于， 所述設(shè)定部按每個像素區(qū)域來設(shè)定合成比率。
4.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于， 所述圖像取得部包括攝像部。
5.根據(jù)權(quán)利要求4所述的圖像合成裝置，其特征在于， 所述設(shè)定部根據(jù)所述攝像部拍到圖像信號的瞬間的攝影環(huán)境中的外部光的照射狀況、和基于所述攝像部拍到圖像信號的定時而產(chǎn)生的明暗差，來設(shè)定所述合成比率。
6.一種圖像合成方法，其特征在于，包括: 圖像取得步驟，取得在時間上連續(xù)的多個圖像； 選擇步驟，從在所述圖像取得步驟取得的所述多個圖像中選擇成為明亮度的基準(zhǔn)的一圖像； 檢測步驟，比較所述選擇步驟中選擇的所述一圖像和所述圖像取得步驟中取得的其它的圖像，檢測出其比較結(jié)果為差分的值超過規(guī)定的閾值的圖像； 設(shè)定步驟，基于所述檢測步驟中檢測出的圖像來設(shè)定合成比率；和圖像生成步驟，使用該設(shè)定步驟中設(shè)定的所述合成比率，來合成包含所述檢測步驟中檢測出的圖像在內(nèi)的所述圖像取得步驟中取得的多個圖像，從而生成I個圖像。
全文摘要
本發(fā)明提供圖像合成裝置以及圖像合成方法。攝像部(1)取得在時間上連續(xù)的多個圖像，控制部(9)基于來自鍵輸入部(4)的外部操作，從由攝像部(1)取得的多個圖像中選擇成為合成基準(zhǔn)的圖像。圖像處理部(10)比較通過鍵輸入部(4)選擇的基準(zhǔn)圖像和通過攝像部(1)取得的其它的圖像，檢測該比較的結(jié)果為差分的值超過規(guī)定的閾值的圖像。另外，圖像處理部(10)基于檢測出的圖像來設(shè)定合成比率。合成部(11)使用由圖像處理部(10)設(shè)定的合成比率，合成包含成為基準(zhǔn)的圖像在內(nèi)的所取得的多個圖像，來生成1個圖像。
文檔編號H04N1/21GK103108122SQ20121044115
公開日2013年5月15日 申請日期2012年11月7日 優(yōu)先權(quán)日2011年11月14日
發(fā)明者八幡尚 申請人:卡西歐計算機(jī)株式會社