專(zhuān)利名稱(chēng)：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用改變曝光條件來(lái)進(jìn)行連續(xù)拍攝的多個(gè)圖像，從而生成放大了動(dòng)態(tài)范圍的合成圖像的技術(shù)。
背景技術(shù)：
近幾年，以提高鑒賞時(shí)的播放效果為目的，對(duì)拍攝到的圖像進(jìn)行了各種圖像處理。并且，作為這樣的圖像處理，公知有在特開(kāi)2006-345509號(hào)公報(bào)中介紹的適當(dāng)合成曝光條件不同的圖像來(lái)生成無(wú)白斑和黑塊的圖像(以下將這樣的圖像稱(chēng)作HDR(High Dynamic Range)圖像)的處理。但是，上述的合成技術(shù)并沒(méi)有調(diào)整到適當(dāng)?shù)牟识?saturation)。

發(fā)明內(nèi)容
本發(fā)明鑒于上述情況而完成，目的在于提供一種白斑和黑塊少且彩度也被適當(dāng)調(diào)整的HDR圖像。為了達(dá)到上述目的，本發(fā)明的第1觀點(diǎn)的圖像合成裝置的特征在于，具備分離單元，其將使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)，分別分離成由在預(yù)定的色空間內(nèi)規(guī)定的亮度分量構(gòu)成的多個(gè)第一圖像的數(shù)據(jù)、和由其他分量構(gòu)成的多個(gè)第二圖像的數(shù)據(jù)；第一合成單元，其利用預(yù)定的合成比率，對(duì)通過(guò)該分離單元進(jìn)行分離之后的曝光條件分別不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行合成；和第二合成單元，其利用由所述第一合成單元進(jìn)行合成時(shí)的預(yù)定的合成比率，對(duì)曝光條件分別不同的多個(gè)第二圖像的數(shù)據(jù)進(jìn)行合成。此外，為了達(dá)到上述目的，本發(fā)明的第2觀點(diǎn)的圖像合成方法的特征在于，包括 分離步驟，將使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)，分別分離成由在預(yù)定的色空間內(nèi)規(guī)定的亮度分量構(gòu)成的多個(gè)第一圖像的數(shù)據(jù)、和由其他分量構(gòu)成的多個(gè)第二圖像的數(shù)據(jù)；第一合成步驟，利用預(yù)定的合成比率，對(duì)通過(guò)該分離步驟分離之后的曝光條件分別不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行合成；和第二合成步驟，利用在所述第一合成步驟中進(jìn)行合成時(shí)的預(yù)定的合成比率，對(duì)曝光條件分別不同的多個(gè)第二圖像的數(shù)據(jù)進(jìn)行合成。此外，為了達(dá)到上述目的，本發(fā)明的第3觀點(diǎn)的程序產(chǎn)品的特征在于，使計(jì)算機(jī)作為下述單元發(fā)揮作用分離單元，其將使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)，分別分離成由在預(yù)定的色空間內(nèi)規(guī)定的亮度分量構(gòu)成的多個(gè)第一圖像的數(shù)據(jù)、 和由其他分量構(gòu)成的多個(gè)第二圖像的數(shù)據(jù)；第一合成單元，其利用預(yù)定的合成比率，對(duì)通過(guò)該分離單元進(jìn)行分離之后的曝光條件分別不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行合成；和第二合成單元，其利用由所述第一合成單元進(jìn)行合成時(shí)的預(yù)定的合成比率，對(duì)曝光條件分別不同的多個(gè)第二圖像的數(shù)據(jù)進(jìn)行合成。


圖1是本發(fā)明的一實(shí)施方式所涉及的攝像裝置的電路結(jié)構(gòu)圖。圖2是表示執(zhí)行本發(fā)明的合成處理的功能的功能結(jié)構(gòu)的功能模塊圖。圖3是表示了設(shè)定合成比率的表格的一例的圖。圖4A表示曝光不足的亮度圖像的一例。圖4B表示通過(guò)連續(xù)拍攝以與圖4A的圖像的視場(chǎng)角(field angle)相同的視場(chǎng)角拍攝到的適當(dāng)曝光的亮度圖像。圖4C表示通過(guò)連續(xù)拍攝以與圖4A、4B的圖像的視場(chǎng)角相同的視場(chǎng)角拍攝到的過(guò)度曝光的亮度圖像。圖4D表示平均亮度圖像。圖4E表示平滑化之后的平均亮度圖像。圖4F表示合成亮度圖像。圖5是表示反映了調(diào)整增益的狀態(tài)下的合成比率的表格的一例的圖。圖6A、6B是表示基于調(diào)整增益的明亮度調(diào)整效果的圖。圖7A 7C是表示對(duì)比度強(qiáng)調(diào)的效果的圖。圖8是表示圖2的色差分量合成部所執(zhí)行的UV分量合成處理的流程的一例的流程圖。圖9是表示本發(fā)明的圖像處理裝置的一實(shí)施方式所涉及的圖像處理裝置的硬件結(jié)構(gòu)的框圖。
具體實(shí)施例方式以下，基于

本發(fā)明的一實(shí)施方式。圖1是本發(fā)明的一實(shí)施方式所涉及的具備圖像處理裝置的攝像裝置的電路結(jié)構(gòu)圖。該攝像裝置具備攝像部1、驅(qū)動(dòng)控制部2、⑶S/ADC3、鍵輸入部4、顯示部5、圖像記錄部6、程序存儲(chǔ)器7、RAM8、控制部9、圖像處理部10。鍵輸入部4具備用于檢測(cè)拍攝者的記錄指示的快門(mén)鍵41。圖像處理部10具備與本發(fā)明的特征結(jié)構(gòu)相對(duì)應(yīng)的合成部11。這些部件經(jīng)由總線連接。在圖1中，攝像部1內(nèi)置有CM0S等圖像傳感器；設(shè)置在該圖像傳感器上的RGB的濾色器；驅(qū)動(dòng)器，其通過(guò)來(lái)自驅(qū)動(dòng)控制部2的控制，將光強(qiáng)度作為電荷的蓄積而保持一定時(shí)間，并向⑶S/ADC3輸出這些信號(hào)作為模擬攝像信號(hào)。并且，攝像部1通過(guò)檢測(cè)經(jīng)過(guò)了快門(mén)鍵41、控制部9、驅(qū)動(dòng)控制部2的拍攝者的拍攝指示，在改變曝光條件(快門(mén)速度或者光圈值)的同時(shí)，獲取包含曝光不足 (underexposure image data) > B^jfe (correct exposure image data) > B^jfe (overexposure image data)的多個(gè)圖像(彩色圖像)。⑶S/ADC3是輸入與從攝像部1輸出的被攝體的光學(xué)像對(duì)應(yīng)的模擬攝像信號(hào)的電路。⑶S/ADC3構(gòu)成為包括保持所輸入的攝像信號(hào)的⑶S、放大該攝像信號(hào)的增益調(diào)整放大器(AGC)、將放大的攝像信號(hào)轉(zhuǎn)換成數(shù)字?jǐn)z像信號(hào)的A/D轉(zhuǎn)換器(ADC)。另外，對(duì)與增益調(diào)整放大器的調(diào)整相關(guān)的控制也是基于來(lái)自驅(qū)動(dòng)控制部2的指示
5執(zhí)行的。因此，即使在曝光條件相同的情況下獲取多張圖像，也能夠生成依次改變RGB的增益調(diào)整放大器或圖像的顏色而得到的多個(gè)條件不同的圖像。鍵輸入部4除了上述的快門(mén)鍵41之外，還具備用于檢測(cè)向以本發(fā)明的圖像的獲取或記錄為目的拍攝模式的切換、顯示的切換等的各種按鍵。顯示部5具有顯示合成處理后的圖像的功能。圖像記錄部6執(zhí)行本發(fā)明所涉及的合成處理之后，存儲(chǔ)以JPEG方式進(jìn)行編碼的圖像數(shù)據(jù)(圖像文件)。程序存儲(chǔ)器7存儲(chǔ)由控制部9、圖像處理部10執(zhí)行的程序，并根據(jù)需要由控制部9 讀出。RAM8具有暫時(shí)保持通過(guò)各種處理產(chǎn)生的處理中的數(shù)據(jù)的功能?？刂撇?控制攝像裝置整體的處理動(dòng)作。圖像處理部10除了執(zhí)行圖像數(shù)據(jù)的編碼/譯碼處理之外，還具備執(zhí)行本發(fā)明的合成處理的合成部11。接著，利用圖2的功能框圖說(shuō)明執(zhí)行合成處理的功能。在本實(shí)施方式中所說(shuō)的合成處理是指如下的處理對(duì)曝光條件各不相同的多個(gè)圖像的數(shù)據(jù)(曝光不足、適當(dāng)曝光、過(guò)度曝光)適當(dāng)?shù)馗淖兒铣杀嚷实耐瑫r(shí)，通過(guò)進(jìn)行像素加法運(yùn)算合成，生成HDR圖像的數(shù)據(jù)。特別是在本實(shí)施方式的HDR合成處理中，針對(duì)改變曝光條件的同時(shí)進(jìn)行連續(xù)拍攝而得到的多個(gè)圖像，在表示由YUV色空間規(guī)定的亮度分量的亮度信號(hào)(Y)、和除此之外的分量具體為藍(lán)色分量的色差差分信號(hào)(U)以及紅色分量的色差差分信號(hào)(V)這三要素分量中，將這些圖像的數(shù)據(jù)分別分離成亮度分量和色差分量，從而，不僅以像素單位合成該分離后的多個(gè)亮度分量，還以像素單位合成多個(gè)色差分量。這樣合成的結(jié)果，得到的HDR圖像的數(shù)據(jù)具有幅度寬的動(dòng)態(tài)范圍，并且成為彩度也被適當(dāng)調(diào)整的數(shù)據(jù)。合成部11對(duì)適當(dāng)曝光的圖像的數(shù)據(jù)、過(guò)度曝光的圖像的數(shù)據(jù)和曝光不足的圖像的數(shù)據(jù)進(jìn)行合成。這里，適當(dāng)曝光不是指僅包括攝像條件中的適當(dāng)曝光，而是指拍攝過(guò)度曝光圖像的數(shù)據(jù)時(shí)的曝光條件和拍攝曝光不足的圖像的數(shù)據(jù)時(shí)的曝光條件的中間的曝光。此外，將上述適當(dāng)曝光圖像的數(shù)據(jù)中的僅亮度分量的圖像數(shù)據(jù)定義為適當(dāng)曝光的亮度圖像的數(shù)據(jù)(correct exposure luminance component image data),將上述過(guò)度曝光圖像的數(shù)據(jù)中的僅亮度分量的圖像數(shù)據(jù)定義為過(guò)度曝光的亮度圖像的數(shù)據(jù)(overexposure luminance component image data)，將上述曝光不足的圖像的數(shù)據(jù)中的僅亮度分量的圖像數(shù)據(jù)定義為曝光不足的亮度圖像的數(shù)據(jù)(underexposure luminance component image data)0此外，將上述適當(dāng)曝光圖像的數(shù)據(jù)中的僅色差分量的圖像數(shù)據(jù)定義為適當(dāng)曝光的色差圖像的數(shù)據(jù)(correct exposure color-difference component image data)，將上述過(guò)度曝光圖像的數(shù)據(jù)中的僅色差分量的圖像數(shù)據(jù)定義為過(guò)度曝光的色差圖像的數(shù)據(jù)(overexposure color-difference component image data)，將上述曝光不足的圖像的數(shù)據(jù)中的僅色差分量的圖像數(shù)據(jù)定義為曝光不足的色差圖像的數(shù)據(jù)(underexposurecolor-difference component image data)。在圖2中，適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)、曝光不足的亮度圖像的數(shù)據(jù)、適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)、以及曝光不足的色差圖像的數(shù)據(jù)是通過(guò)分別處理連續(xù)拍攝后的攝像圖像的數(shù)據(jù)而輸入的。如圖2所示，合成部11具備亮度分量合成部21和色差分量合成部22。亮度分量合成部21通過(guò)對(duì)適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)的每一個(gè)進(jìn)行合成，從而生成合成亮度圖像的數(shù)據(jù)。 另外，以下，將生成合成亮度圖像的數(shù)據(jù)的一系列處理稱(chēng)作亮度分量合成處理。另一方面，色差分量合成部22通過(guò)對(duì)適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)的每一個(gè)進(jìn)行合成，從而生成合成色差圖像的數(shù)據(jù)。另外，以下，將生成合成色差圖像的數(shù)據(jù)的一系列處理稱(chēng)作色差分量合成處理。從合成部11輸出通過(guò)亮度分量合成處理生成的合成亮度圖像的數(shù)據(jù)，并且輸出通過(guò)色差分量合成處理生成的合成色差圖像的數(shù)據(jù)。另外，在亮度分量合成處理中，根據(jù)預(yù)定的合成比率，對(duì)適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)的每一個(gè)進(jìn)行合成。例如，在適當(dāng)曝光亮度圖像、過(guò)度曝光亮度圖像、以及曝光不足亮度圖像的各自的數(shù)據(jù)的合成比率分別為70%、30%、0%的情況下，對(duì)適當(dāng)曝光亮度圖像的數(shù)據(jù)的70%和過(guò)度曝光亮度圖像的數(shù)據(jù)的30%進(jìn)行混合而得到的數(shù)據(jù)成為合成亮度圖像的數(shù)據(jù)。另一方面，在色差分量合成處理中，也根據(jù)預(yù)定的合成比率，對(duì)適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)、以及曝光不足的色差圖像的數(shù)據(jù)的每一個(gè)進(jìn)行合成，由此調(diào)整彩度。在本實(shí)施方式中，將在上述的亮度分量合成處理中使用的合成比率直接作為色差分量合成處理的合成比率來(lái)使用。另外，也可以與亮度分量合成處理中使用的合成比率獨(dú)立地設(shè)定色差分量合成處理中使用的合成比率。接著，詳細(xì)說(shuō)明構(gòu)成合成部11的亮度分量合成部21和色差分量合成部22。首先，詳細(xì)說(shuō)明亮度分量合成部21。亮度分量合成部21具備平均化部31、ε濾波部32、合成部33、增益設(shè)定部34、減法運(yùn)算部35、對(duì)比度強(qiáng)調(diào)部36、邊緣強(qiáng)調(diào)部37。平均化部31對(duì)適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)的每一個(gè)進(jìn)行平均化，其結(jié)果，將得到的圖像的數(shù)據(jù)(以下稱(chēng)作 “平均亮度圖像的數(shù)據(jù)”)提供給ε濾波部32。ε濾波部32對(duì)從平均化部31提供的平均亮度圖像的數(shù)據(jù)進(jìn)行ε濾波(非線性濾波)，從而生成被平滑化后的圖像的數(shù)據(jù)，并提供給合成部33和減法運(yùn)算部35。從ε濾波部32輸出的被平滑化后的平均亮度圖像的數(shù)據(jù)被用作決定合成部33 中的合成比率的材料。合成部33以預(yù)定的合成比率對(duì)適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)的每一個(gè)進(jìn)行合成。具體而言，例如，在分別構(gòu)成適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)、以及曝光不足的亮度圖像的數(shù)據(jù)的各像素中，合成部33將存在于同一位置(坐標(biāo)) 的像素分別設(shè)定為關(guān)注像素，并對(duì)各個(gè)關(guān)注像素分別設(shè)定合成比率，以設(shè)定的各個(gè)合成比率，并以像素值電平對(duì)各個(gè)關(guān)注像素進(jìn)行合成。圖3表示在程序存儲(chǔ)器7中保存的設(shè)定合成比率的表格的一例。在圖3中，橫軸表示平均亮度圖像的亮度值(0 255范圍內(nèi)的值)，縱軸表示合成比率(％ )。用實(shí)線描繪的線表示應(yīng)用于適當(dāng)曝光亮度圖像的適當(dāng)曝光亮度圖像用合成比率 “Rate (correct)，，。用虛線描繪的線表示應(yīng)用于過(guò)度曝光亮度圖像的過(guò)度曝光亮度圖像用合成比率 "Rate (over)，，。用單點(diǎn)劃線描繪的線表示應(yīng)用于曝光不足亮度圖像的曝光不足亮度圖像用合成比率 “Rate (under) ”。合成部33基于平均亮度圖像的數(shù)據(jù)的亮度值，分別設(shè)定“ Rate (correct) ”、 "Rate (over) ” 以及 “Rate (under) ”。例如，在平均亮度圖像的數(shù)據(jù)的亮度值低的情況下，按照以過(guò)度曝光的曝光條件拍攝到的圖像的數(shù)據(jù)的合成比率變高的方式，設(shè)定“Rate(OVer)”、“Rate(COrreCt)”以及 "Rate (under)，，。此外，在平均亮度圖像的數(shù)據(jù)的亮度值高的情況下，按照以曝光不足的曝光條件拍攝到的圖像的數(shù)據(jù)的合成比率變高的方式，設(shè)定“Rate(OVer)”、“Rate(COrreCt)”以及 "Rate (under)，，。此外，合成的關(guān)注像素的亮度的合成值“Y(mix) ”是通過(guò)以下的式(1)運(yùn)算后決定的。Y(mix) = Rate(under)水Y(under)+Rate(correct)水Y(correct)+Rate (over)水Y (ο ver) …(1)Y (under)曝光不足的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值Y(correct)適當(dāng)曝光的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值Y (over)過(guò)度曝光的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值并且，合成部33在適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)之間，將存在于同一坐標(biāo)的像素依次設(shè)定為關(guān)注像素，每當(dāng)進(jìn)行該設(shè)定時(shí)反復(fù)進(jìn)行上述的一系列處理，從而生成合成亮度圖像的數(shù)據(jù)。圖4A 4F表示通過(guò)合成部33的處理得到的圖像。圖4A表示曝光不足的亮度圖像的一例。圖4B表示通過(guò)連續(xù)拍攝以與圖4A的圖像的視場(chǎng)角相同的視場(chǎng)角拍攝到的適當(dāng)曝光的亮度圖像。圖4C表示通過(guò)連續(xù)拍攝以與圖4A、4B的圖像的視場(chǎng)角相同的視場(chǎng)角拍攝到的過(guò)度曝光的亮度圖像。圖4D表示平均亮度圖像。圖4E表示被平滑化后的平均亮度圖像。圖4F表示合成亮度圖像。
合成部33調(diào)整這樣生成的合成亮度圖像的數(shù)據(jù)的明亮度。具體而言，作為對(duì)合成亮度圖像的數(shù)據(jù)的明亮度進(jìn)行調(diào)整的增益，增益設(shè)定部34 設(shè)定應(yīng)用于適當(dāng)曝光的亮度圖像的數(shù)據(jù)的調(diào)整增益“Gain (correct)”、應(yīng)用于過(guò)度曝光的亮度圖像的數(shù)據(jù)的調(diào)整增益“Gain (over)”、以及應(yīng)用于曝光不足的亮度圖像的數(shù)據(jù)的調(diào)整增益 “Gain (under) ”。分別在Rate (correct)、Rate (over)、以及 Rate (under)上，乘以由增益設(shè)定部 34 設(shè)定的各調(diào)整增益“Gain (correct) ”、“Gain (over) ”以及“Gain (under) ”。由此，調(diào)整合成亮度圖像的數(shù)據(jù)的明亮度。圖5 表示乘以了各調(diào)整增益“Gain(correct) ”、“Gain(over) ”以及“Gain(under)，， 后的 Rate (correct)、Rate (over)以及 Rate (under)的表格的一例。圖5 的表格是在圖 3 的表格中設(shè)定了 “Gain(over) ” = 2. 0、“Gain(correct) ” = 1. 5、以及 “Gain (under) "=1.0 的結(jié)果。圖6A表示沒(méi)有乘以各調(diào)整增M "Gain (correct) ”、“Gain (over) ”、以及 “Gain (under)”時(shí)的合成圖像的數(shù)據(jù)，即基于圖3的表格合成的合成圖像。圖6B 表示乘以了各調(diào)整增益“Gain(correct)”、“Gain(over)”、以及 "Gain(under)，，時(shí)的合成圖像的數(shù)據(jù)，即基于圖5的表格合成的合成圖像。圖6B的合成圖像的數(shù)據(jù)與圖6A的合成圖像的數(shù)據(jù)相比，被以暗部為中心變亮的方式進(jìn)行了調(diào)整。在圖2中，向減法運(yùn)算部35提供從平均化部31輸出的平均亮度圖像的數(shù)據(jù)。減法運(yùn)算部35運(yùn)算平均亮度圖像的數(shù)據(jù)與被平滑化后的平均亮度圖像的數(shù)據(jù)的差分，并將得到的結(jié)果即差分?jǐn)?shù)據(jù)作為對(duì)比度分量而輸出到對(duì)比度強(qiáng)調(diào)部36。對(duì)比度強(qiáng)調(diào)部36對(duì)從合成部33輸出的合成亮度圖像的數(shù)據(jù)的各關(guān)注像素，加上從減法運(yùn)算部35輸出的對(duì)比度分量。此外，對(duì)比度強(qiáng)調(diào)部36為了防止如上述那樣相加對(duì)比度分量而產(chǎn)生白斑或黑塊， 根據(jù)合成亮度圖像的數(shù)據(jù)的亮度值，調(diào)整對(duì)比度分量的相加量。另外，用下述的式(2)表示被相加且被調(diào)整的對(duì)比度分量“Y(c) ”。Y(c) = Y (ave)-Y (ave) ε +C...(2)Y(ave)平均亮度圖像的數(shù)據(jù)的對(duì)比度分量Y(ave) ε 被平滑化后的平均亮度圖像的數(shù)據(jù)的對(duì)比度分量C:常數(shù)(=127)此外，用下述的式(3)表示由此從對(duì)比度強(qiáng)調(diào)部36輸出的合成亮度圖像的數(shù)據(jù)的關(guān)注像素的像素值Y (r)。Y(r) = Y(mix) + (Y(c)-C)*add_lev ...(3)add_lev 對(duì)處理對(duì)象的關(guān)注像素的相加量由此，對(duì)比度強(qiáng)調(diào)部36根據(jù)式(3)運(yùn)算對(duì)比度強(qiáng)調(diào)后的合成圖像的關(guān)注像素的像素值Y(r)。此時(shí)的相加量add_leV是根據(jù)從合成部33輸出的合成亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值、和預(yù)先在程序存儲(chǔ)器7中準(zhǔn)備的用于設(shè)定相加量的表格設(shè)定的。圖7A示出用對(duì)比度分量表現(xiàn)的圖像的一例。
圖7B表示在對(duì)比度強(qiáng)調(diào)部36進(jìn)行對(duì)比度強(qiáng)調(diào)處理前的合成亮度圖像。圖7C表示在對(duì)比度強(qiáng)調(diào)部36進(jìn)行對(duì)比度強(qiáng)調(diào)后的合成亮度圖像。進(jìn)一步將這樣由對(duì)比度強(qiáng)調(diào)部36生成的對(duì)比度強(qiáng)調(diào)后的合成亮度圖像的數(shù)據(jù)提供給邊緣強(qiáng)調(diào)部37。邊緣強(qiáng)調(diào)部37對(duì)于因平均化部31的處理而邊緣分量不足的合成亮度圖像的數(shù)據(jù)，根據(jù)各合成比率彼此之比，以關(guān)注像素為單位實(shí)施邊緣強(qiáng)調(diào)的處理。具體而言，邊緣強(qiáng)調(diào)部37進(jìn)行如下設(shè)定適當(dāng)曝光用合成比率“Ratekorrect) ” 和過(guò)度曝光用合成比率“Rate (over)”的比率、或者適當(dāng)曝光用合成比率“Rate (correct)” 和曝光不足用合成比率“Rate (under) ”的比率越接近相同的比，則將強(qiáng)調(diào)等級(jí)設(shè)定得越大， 由此對(duì)合成亮度圖像的數(shù)據(jù)的各關(guān)注像素進(jìn)行邊緣強(qiáng)調(diào)處理。另外，在事先對(duì)適當(dāng)曝光的亮度圖像的數(shù)據(jù)、過(guò)度曝光的亮度圖像的數(shù)據(jù)以及曝光不足的亮度圖像的數(shù)據(jù)的每一個(gè)實(shí)施邊緣強(qiáng)調(diào)的情況下，省略邊緣強(qiáng)調(diào)部37的處理。由邊緣強(qiáng)調(diào)部37實(shí)施了邊緣強(qiáng)調(diào)處理的合成亮度圖像的數(shù)據(jù)被作為亮度分量合成部21的輸出數(shù)據(jù)而輸出。下面，詳細(xì)說(shuō)明色差分量合成部22。如圖2所示，色差分量合成部22具備合成比率獲取部41、合成部42、彩度強(qiáng)調(diào)部 43。合成比率獲取部41獲取在亮度分量合成部21的合成部33中用于關(guān)注像素的合成的合成比率"Rate (over)，，、“Rate (correct)，，以及 “Rate (under) ”。此外，合成比率獲取部41獲取乘以了由增益設(shè)定部34設(shè)定的各調(diào)整增益 "Gain (correct)，，、"Gain (over) ”以及"Gain (under) ”后的各合成比率"Rate (over)，，、 "Rate (correct) ” 以及 “Rate (under) ” (參照?qǐng)D 5)。另外，合成比率獲取部41也可以根據(jù)需要設(shè)定基于圖3的表格設(shè)定的合成比率， 即，使用了由增益設(shè)定部34設(shè)定的調(diào)整增益的明亮度調(diào)整前的合成比率。合成部42直接利用由合成比率獲取部41獲取到的合成比率，即在亮度分量合成部21的合成部33中用于關(guān)注像素的合成的合成比率，以關(guān)注像素為單位對(duì)適當(dāng)曝光的UV 圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)、以及曝光不足的色差圖像的圖像數(shù)據(jù)各自的像素值進(jìn)行合成。合成部42通過(guò)運(yùn)算下述式(4)，從而運(yùn)算被合成的關(guān)注像素的色差分量的合成值 UV(mix)。UV(mix) = Rate(under)*UV(under)+Rate(correct)*UV(correct)+Rate (over)* UV(over) …(4)UV (under)曝光不足的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值UV(correct)適當(dāng)曝光的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值UV (over)過(guò)度曝光的亮度圖像的數(shù)據(jù)的關(guān)注像素的亮度值以下，將這樣通過(guò)色差分量合成部22的合成部42生成的合成圖像的數(shù)據(jù)稱(chēng)作“合成色差圖像的數(shù)據(jù)”。另外，UV合成部22可以與亮度分量合成部21同步地工作，但是也可以不同步地工作。
10
在不同步地工作的情況下，例如在緩沖器(未圖示)中暫時(shí)蓄積亮度分量合成部 21中所使用的各合成比率Rate (correct)、Rate (over)、以及Rate (under)，合成比率獲取部41獲取在該緩沖器中蓄積的合成比率。此時(shí)，從蓄積在緩沖器中的1以上的每個(gè)像素的合成比率中，將合成部42能夠識(shí)別的對(duì)與色差圖像側(cè)的關(guān)注像素相同坐標(biāo)的亮度圖像內(nèi)的像素應(yīng)用的合成比率的組合，進(jìn)一步設(shè)置在合成部11中。將由合成部42生成的合成色差圖像的數(shù)據(jù)提供給彩度強(qiáng)調(diào)部43。彩度強(qiáng)調(diào)部43通過(guò)在合成色差圖像的關(guān)注像素的像素值上乘以預(yù)定的增益，從而強(qiáng)調(diào)關(guān)注像素的彩度。這樣，彩度強(qiáng)調(diào)部43的處理單位也是關(guān)注像素，對(duì)作為關(guān)注像素而設(shè)定的每個(gè)像素設(shè)定增益。詳細(xì)而言，在彩度等級(jí)低時(shí)和彩度等級(jí)高時(shí)抑制強(qiáng)調(diào)的增益。另外，希望彩度強(qiáng)調(diào)部43進(jìn)行的強(qiáng)調(diào)等級(jí)是采用在從YUV空間轉(zhuǎn)換的HSV空間內(nèi)計(jì)算出的S值來(lái)進(jìn)行強(qiáng)調(diào)的。其中，若考慮處理的負(fù)擔(dān)，則按照如式(5)的函數(shù)所示那樣，采用U值和V值的絕對(duì)值中大的一方。S_lev = max (| U_mix |, | V_mix |)...(5)S_lev:彩度等級(jí)U_mix 合成色差圖像的關(guān)注像素的U值V_mix 合成色差圖像的關(guān)注像素的V值因此，在合成色差圖像的數(shù)據(jù)中將低彩度和高彩度的區(qū)域的像素設(shè)定為關(guān)注像素的情況下，增益被抑制。由此，能夠防止因增益引起的色飽和、針對(duì)灰色區(qū)域的不需要的彩度強(qiáng)調(diào)。由彩度強(qiáng)調(diào)部43強(qiáng)調(diào)了彩度后的合成色差圖像的數(shù)據(jù)被作為色差分量合成部22 的輸出數(shù)據(jù)而輸出。參照?qǐng)D8的流程圖，說(shuō)明具有這樣的結(jié)構(gòu)的圖2的色差分量合成部22所執(zhí)行的色差分量合成處理。在步驟Sl中，色差分量合成部22在分別構(gòu)成適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)的像素之中，將位于預(yù)定的坐標(biāo)的像素設(shè)定為關(guān)注像素。(將位于與色差圖像的關(guān)注像素的坐標(biāo)相同坐標(biāo)的亮度圖像內(nèi)的像素也設(shè)定為亮度圖像的關(guān)注像素。)在步驟S2中，色差分量合成部22判定是否執(zhí)行了對(duì)亮度圖像的關(guān)注像素的亮度分量合成處理。在正在對(duì)亮度圖像的關(guān)注像素執(zhí)行亮度分量合成處理的情況下，在步驟S2中判定為否，處理返回步驟S2。S卩，在正在對(duì)亮度圖像的關(guān)注像素執(zhí)行亮度分量合成處理的情況下，反復(fù)執(zhí)行步驟S2的判定處理，色差分量合成處理成為待機(jī)狀態(tài)。之后，在對(duì)亮度圖像的關(guān)注像素的亮度分量合成處理結(jié)束的情況下，在步驟S2中判定為是，處理進(jìn)入步驟S3。
11
在步驟S3中，色差分量合成部22的合成比率獲取部41獲取在對(duì)亮度圖像的關(guān)注像素的亮度分量合成處理中所使用的合成比率。S卩，在對(duì)關(guān)注像素運(yùn)算了上述的式⑴時(shí)，由合成比率獲取部41獲取 Rate (correct)、Rate (over)、Rate (under)的每一個(gè)。在步驟S4中，合成比率獲取部41在曝光分別不同的多個(gè)色差圖像的數(shù)據(jù)中獲取各關(guān)注像素的數(shù)據(jù)。S卩，在本實(shí)施方式中，獲取適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)中的各關(guān)注像素的數(shù)據(jù)。在步驟S5中，合成比率獲取部41通過(guò)利用在步驟S3的處理中獲取到的合成比率 Rate (correct), Rate (over)以及Rate (under)，合成適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)，從而生成合成色差圖像的數(shù)據(jù)。在步驟S6中，彩度強(qiáng)調(diào)部43對(duì)合成色差圖像的數(shù)據(jù)實(shí)施彩度強(qiáng)調(diào)處理。在步驟S7中，色差分量合成部22判定是否作為關(guān)注像素而設(shè)定了所有的像素并進(jìn)行了處理。在構(gòu)成適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)的每一個(gè)的像素?cái)?shù)據(jù)中，若還存在未被設(shè)定為關(guān)注像素并處理的像素的數(shù)據(jù)，則在步驟S7中判定為否，處理返回步驟S2，反復(fù)進(jìn)行之后的處理。S卩，每當(dāng)分別將構(gòu)成適當(dāng)曝光的色差圖像的數(shù)據(jù)、過(guò)度曝光的色差圖像的數(shù)據(jù)以及曝光不足的色差圖像的數(shù)據(jù)的像素依次設(shè)定為關(guān)注像素時(shí)，反復(fù)執(zhí)行步驟Sl至S7的循環(huán)處理，逐漸生成合成色差圖像的數(shù)據(jù)。并且，若在步驟Sl的處理中將最后的像素設(shè)定為關(guān)注像素，并執(zhí)行步驟S2至S6 的處理，則合成色差圖像的數(shù)據(jù)完成，因此在接下來(lái)的步驟S7中判定為是，色差分量合成處理結(jié)束。之后，被合成處理后的圖像與上述合成亮度圖像的數(shù)據(jù)一起組成文件，被記錄在圖像記錄部6中。如以上說(shuō)明，在將曝光分別不同的多個(gè)圖像的數(shù)據(jù)分離成由亮度分量構(gòu)成的多個(gè)亮度圖像的數(shù)據(jù)、和由色差分量構(gòu)成的多個(gè)色差圖像的數(shù)據(jù)的情況下，圖2的亮度分量合成部21利用預(yù)定的合成比率對(duì)分離后的多個(gè)亮度圖像的數(shù)據(jù)進(jìn)行合成。另一方面，色差分量合成部22利用與亮度分量合成部21相同(或大致相等)的合成比率對(duì)分離后的多個(gè)色差圖像的數(shù)據(jù)進(jìn)行合成。由此，不僅獲得了亮度被調(diào)整后的合成亮度圖像的數(shù)據(jù)，還能獲得彩度被調(diào)整后的合成色差圖像的數(shù)據(jù)，因此，將這些進(jìn)行組合而得到的HDR合成圖像的數(shù)據(jù)與現(xiàn)有技術(shù)相比，具有白斑和黑塊少的幅度寬的動(dòng)態(tài)范圍，并且成為彩度也被適當(dāng)調(diào)整的圖像的數(shù)據(jù)。特別是，亮度分量合成部21利用按坐標(biāo)不同的合成比率來(lái)對(duì)多個(gè)亮度圖像內(nèi)的同一坐標(biāo)的各像素的數(shù)據(jù)進(jìn)行合成，色差分量合成部22對(duì)于多個(gè)色差圖像內(nèi)的同一坐標(biāo)的各像素的數(shù)據(jù)，利用與該坐標(biāo)相同的色差圖像內(nèi)的坐標(biāo)用的合成比率來(lái)進(jìn)行合成，從而可進(jìn)行每個(gè)像素的適當(dāng)調(diào)整，因此效果也是顯著的。另外，本發(fā)明并不限于上述實(shí)施方式，能夠達(dá)成本發(fā)明的目的的范圍內(nèi)的變形、改良等包含在本發(fā)明內(nèi)。例如，在上述的實(shí)施方式中，作為進(jìn)行亮度分量合成處理時(shí)所使用的平均亮度圖像的數(shù)據(jù)，對(duì)曝光不同的多個(gè)亮度圖像的數(shù)據(jù)被平均化后的平均亮度圖像的數(shù)據(jù)使用了由 ε濾波器平滑化之后的數(shù)據(jù)。但是，平均亮度圖像的數(shù)據(jù)并不特別限于此，也可以對(duì)平均亮度圖像的數(shù)據(jù)使用實(shí)施了通常的LPF(L0W Pass Filter)的數(shù)據(jù)，從而代替ε濾波器。但是，比起通常的LPF，優(yōu)選如本實(shí)施方式那樣采用ε濾波器。以下，說(shuō)明優(yōu)選的理由。即，在亮度分量合成部21進(jìn)行的Y分量合成處理中，在對(duì)比度強(qiáng)調(diào)部36進(jìn)行對(duì)比度強(qiáng)調(diào)或者其前一級(jí)的合成部33生成合成亮度圖像的數(shù)據(jù)時(shí)，會(huì)產(chǎn)生過(guò)沖(overshoot)或下沖(undershoot)的情形。起到減輕這樣的過(guò)沖或下沖的產(chǎn)生的效果的就是ε濾波器。即，ε濾波器通過(guò)將關(guān)注像素與其周邊的像素之間的像素值的差分用作局部信息，從而與通常的LPF相比， 能夠在維持了亮度差大的區(qū)域的情況下，僅使亮度差小的區(qū)域有效淡化。由此，能夠起到減輕過(guò)沖或下沖的產(chǎn)生的效果。另外，由于亮度分量合成部21執(zhí)行Y分量合成處理來(lái)生成適當(dāng)?shù)暮铣闪炼葓D像的數(shù)據(jù)，因此需要模糊量(blurring)大的平均亮度圖像的數(shù)據(jù)。由于作為用于生成這樣的數(shù)據(jù)的ε濾波器要求大的尺寸，因此有時(shí)處理量和處理時(shí)間的增加會(huì)成為問(wèn)題。在需要不產(chǎn)生這樣的問(wèn)題或者需要減輕這樣的問(wèn)題的情況下，雖然未圖示，但是也可以在合成部11中設(shè)置使從平均化部31輸出的平均亮度圖像的數(shù)據(jù)的尺寸，例如縮小至QVGA(Quarter VGA)的縮小部。此時(shí)，由于ε濾波部32對(duì)縮小后的圖像的數(shù)據(jù)進(jìn)行ε 濾波，因此能夠減小該ε濾波器的尺寸，其結(jié)果，可減少處理量和處理時(shí)間。另外，由于ε 濾波部32的輸出數(shù)據(jù)的尺寸也是QVGA，因此還需要在合成部11中設(shè)置將該輸出數(shù)據(jù)的尺寸放大到原來(lái)的尺寸的放大部。另外，此時(shí)，由于隨著縮小部的縮小率和放大部的放大率變大，判定用亮度圖像的邊緣會(huì)變得緩慢，因此需要注意這會(huì)使上述的ε濾波器的效果即過(guò)沖和下沖的減輕效果稍微降低。此外，例如，在上述的實(shí)施方式中，作為曝光分別不同的多個(gè)圖像的數(shù)據(jù)合成了三張圖像的數(shù)據(jù)，但是作為合成對(duì)象的圖像的數(shù)據(jù)的數(shù)量并不特別限于此。即，本發(fā)明能夠更廣泛應(yīng)用于合成兩張以上的任意數(shù)量的圖像的數(shù)據(jù)。此外，在上述的實(shí)施方式中，在合成處理時(shí)沒(méi)有考慮臉部圖像區(qū)域的存在，但是可以利用公知的臉部圖像區(qū)域檢測(cè)技術(shù)，至少在攝像時(shí)和合成處理時(shí)的一種情況下檢測(cè)臉部圖像區(qū)域，從而進(jìn)行考慮到該檢測(cè)出的臉部圖像的明亮度的攝像控制、或者合成處理控制。在拍攝時(shí)檢測(cè)臉部圖像區(qū)域的例子中，按照以適當(dāng)設(shè)定臉部的明亮度的曝光設(shè)定為中心，通過(guò)攝像來(lái)獲取適當(dāng)曝光、曝光不足以及過(guò)度曝光圖像數(shù)據(jù)的方式進(jìn)行控制。并且，在合成時(shí)，能夠按照針對(duì)臉部部分采用以適當(dāng)曝光獲取到的亮度圖像數(shù)據(jù)的方式設(shè)定合成比率。此外，在進(jìn)行合成處理時(shí)，也可以對(duì)獲取到的所有圖像數(shù)據(jù)嘗試臉部圖像區(qū)域的檢測(cè)。只要能夠從至少一張中檢測(cè)出臉部圖像區(qū)域即可，但是在從多張中檢測(cè)出的情況下，從其中包含臉部圖像區(qū)域的圖像數(shù)據(jù)之中，選擇最接近成為適當(dāng)曝光的圖像數(shù)據(jù)的圖像數(shù)據(jù)。另外，為了減輕上述選擇處理，也可以選擇曝光值接近以適當(dāng)曝光值拍攝到的圖像的數(shù)據(jù)且明亮的圖像。并且，測(cè)量選擇出的圖像數(shù)據(jù)中的臉部圖像區(qū)域的明亮度平均值，與該測(cè)量出的曝光相應(yīng)地應(yīng)用非線性伽馬變換等，從而在多張圖像數(shù)據(jù)中選擇在合成處理中采用的過(guò)度曝光以及曝光不足的各亮度圖像的數(shù)據(jù)。此外，將合成比率設(shè)定為以臉部圖像區(qū)域的明亮度為中心的合成比率。并且，這樣對(duì)亮度圖像的數(shù)據(jù)設(shè)定了合成比率之后，與該合成比率相應(yīng)地對(duì)色差圖像進(jìn)行合成處理，施加彩度強(qiáng)調(diào)。另外，成為合成對(duì)象的曝光分別不同的多個(gè)圖像的數(shù)據(jù)并非限于上述的各圖所示的具體例。例如，在對(duì)成為合成對(duì)象的多個(gè)圖像的數(shù)據(jù)進(jìn)行攝像時(shí)的曝光的設(shè)定并非限于上述的各圖所示的具體例，若曝光分別不相同，則可以是任意的設(shè)定。此外，在上述的實(shí)施方式中并沒(méi)有特別涉及，但是對(duì)于曝光分別不同的多個(gè)圖像的數(shù)據(jù)而言，在考慮合成時(shí)，優(yōu)選預(yù)先修正位置偏移。此外，例如，在上述的實(shí)施方式中，以數(shù)碼相機(jī)為例說(shuō)明了應(yīng)用了本發(fā)明的圖像處
理裝置。但是，本發(fā)明并非特別限于此，一般可普遍應(yīng)用于具有圖像處理功能的電子設(shè)備， 例如，本發(fā)明可廣泛應(yīng)用于數(shù)字相框、個(gè)人計(jì)算機(jī)、便攜型導(dǎo)航裝置、便攜式游戲機(jī)等。換言之，上述的一系列處理可通過(guò)硬件來(lái)執(zhí)行，也可通過(guò)軟件來(lái)執(zhí)行。圖9是表示通過(guò)軟件執(zhí)行上述的一系列處理時(shí)應(yīng)用了本發(fā)明的圖像處理裝置的硬件結(jié)構(gòu)的框圖。在圖9的例子中，圖像處理裝置具備CPU(Central Processing Unit) 201, ROM (Read Only Memory) 202、RAM (Random Access Memory) 203、總線 204、輸入輸出接口 205、輸入部206、輸出部207、存儲(chǔ)部208、通信部209、驅(qū)動(dòng)器210。CPU201根據(jù)在R0M202中記錄的程序執(zhí)行各種處理?；蛘撸珻PU201根據(jù)從存儲(chǔ)部 208加載到RAM203中的程序執(zhí)行各種處理。在RAM203中還適當(dāng)存儲(chǔ)CPU201執(zhí)行各種處理時(shí)所需的數(shù)據(jù)等。例如，在本實(shí)施方式中，將實(shí)現(xiàn)合成部11的功能的程序存儲(chǔ)在R0M202或存儲(chǔ)部 208中。因此，CPU201通過(guò)執(zhí)行基于這些程序的處理，能夠?qū)崿F(xiàn)合成部11的功能。CPU201、R0M202以及RAM203是經(jīng)由總線204互相連接的。該總線204上還連接有輸入輸出接口 205。輸入輸出接口 205上連接有輸入部206、輸出部207、存儲(chǔ)部208以及通信部209。輸入部206由各種按鈕等操作部構(gòu)成，除了受理用戶的指示操作外，還輸入各種
fn息ο輸出部207輸出各種信息。例如，在輸出部207中設(shè)有未圖示的顯示部，顯示由合成部11的輸出數(shù)據(jù)所表示的合成圖像。存儲(chǔ)部208由硬盤(pán)或DRAM (Dynamic Random Access Memory)等構(gòu)成,存儲(chǔ)各種數(shù)據(jù)。通信部209控制經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)在與其它裝置(未圖示)之間進(jìn)行的通
在輸入輸出接口 205上還根據(jù)需要連接驅(qū)動(dòng)器210，適當(dāng)搭載由磁盤(pán)、光盤(pán)、光磁盤(pán)或半導(dǎo)體存儲(chǔ)器等構(gòu)成的可移動(dòng)介質(zhì)(removable media) 211。由驅(qū)動(dòng)器210從可移動(dòng)介質(zhì)211讀出的程序根據(jù)需要被安裝在存儲(chǔ)部208中。此外，可移動(dòng)介質(zhì)211可以與存儲(chǔ)部 208同樣地還存儲(chǔ)在存儲(chǔ)部208中存儲(chǔ)的圖像數(shù)據(jù)等各種數(shù)據(jù)。在通過(guò)軟件執(zhí)行一系列處理的情況下，在計(jì)算機(jī)等中，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成該軟件的程序。計(jì)算機(jī)也可以是組裝到專(zhuān)用硬件中的計(jì)算機(jī)。此外，計(jì)算機(jī)也可以是通過(guò)安裝各種程序從而能夠執(zhí)行各種功能的計(jì)算機(jī)，例如通用的個(gè)人計(jì)算機(jī)。為了向用戶提供程序，包含這種程序的記錄介質(zhì)不僅由與裝置主體分開(kāi)配置的可移動(dòng)介質(zhì)211構(gòu)成，而且由可在預(yù)先組裝到裝置主體中的狀態(tài)下提供給用戶的記錄介質(zhì)等構(gòu)成?？梢苿?dòng)介質(zhì)211例如由磁盤(pán)(包括軟盤(pán))、光盤(pán)或光磁盤(pán)等構(gòu)成。光盤(pán)例如由 CD-ROM (Compact Disk-Read Only Memory)、DVD (Digital Versatile Disk)等構(gòu)成。光磁盤(pán)由MD(Mini-Disk)等構(gòu)成。此外，可在預(yù)先組裝到裝置主體中的狀態(tài)下提供給用戶的記錄介質(zhì)例如由記錄有程序的R0M202或包含在存儲(chǔ)部208中的硬件等構(gòu)成。另外，在本說(shuō)明書(shū)中，記述在記錄介質(zhì)中記錄的程序的步驟當(dāng)然包括沿著它的順序按時(shí)間序列進(jìn)行的處理，但不一定是按時(shí)間序列進(jìn)行的處理，也包括并行或獨(dú)立執(zhí)行的處理。
權(quán)利要求
1.一種圖像合成裝置，其特征在于，具備分離單元，其將使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)，分別分離成由在預(yù)定的色空間內(nèi)規(guī)定的亮度分量構(gòu)成的多個(gè)第一圖像的數(shù)據(jù)、和由其他分量構(gòu)成的多個(gè)第二圖像的數(shù)據(jù)；第一合成單元，其利用預(yù)定的合成比率，對(duì)通過(guò)該分離單元進(jìn)行分離之后的曝光條件分別不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行合成；和第二合成單元，其利用由所述第一合成單元進(jìn)行合成時(shí)的預(yù)定的合成比率，對(duì)曝光條件分別不同的多個(gè)第二圖像的數(shù)據(jù)進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，還具備平均化單元，其對(duì)曝光條件不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行平均化；平滑化單元，其對(duì)該平均化后的圖像的數(shù)據(jù)進(jìn)行平滑化；和合成比率設(shè)定單元，其利用由該平滑化單元平滑化后的圖像的數(shù)據(jù)，設(shè)定所述預(yù)定的合成比率。
3.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，還具備增益設(shè)定單元，其按所述多個(gè)第一圖像的數(shù)據(jù)的每一個(gè)，設(shè)定對(duì)由所述第一合成單元進(jìn)行合成后的第一圖像的數(shù)據(jù)的明亮度進(jìn)行調(diào)整的增益；和合成比率調(diào)整單元，其通過(guò)在所述合成比率上乘以由該增益設(shè)定單元設(shè)定的增益來(lái)調(diào)整所述合成比率。
4.根據(jù)權(quán)利要求3所述的圖像合成裝置，其特征在于，所述第二合成單元利用由所述合成比率調(diào)整單元調(diào)整后的所述合成比率，合成所述第二圖像的數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，還具備處理單元，其將用于對(duì)由所述第二合成單元進(jìn)行合成后的第二圖像的數(shù)據(jù)的彩度進(jìn)行強(qiáng)調(diào)的增益，乘到所述合成后的第二圖像的數(shù)據(jù)上。
6.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，所述圖像合成裝置還具備第一圖像區(qū)域檢測(cè)單元，該第一圖像區(qū)域檢測(cè)單元從使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)中的至少一個(gè)圖像的數(shù)據(jù)中，檢測(cè)臉部圖像區(qū)域，所述第一合成單元在由所述第一圖像區(qū)域檢測(cè)單元檢測(cè)出臉部圖像區(qū)域時(shí)，基于針對(duì)該臉部圖像區(qū)域而言成為適當(dāng)明亮度的曝光條件的圖像數(shù)據(jù)的明亮度，調(diào)整所述合成比率。
7.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，還具備第二圖像區(qū)域檢測(cè)單元，其從拍攝到的圖像數(shù)據(jù)中檢測(cè)臉部圖像區(qū)域；和攝像控制單元，其按照以下方式進(jìn)行控制，即在由該第二圖像區(qū)域檢測(cè)單元檢測(cè)出臉部圖像區(qū)域時(shí)，按照針對(duì)該臉部圖像區(qū)域而言成為適當(dāng)明亮度的方式調(diào)整曝光值，并且以該調(diào)整后的曝光值為中心拍攝曝光條件分別不同的多個(gè)圖像的數(shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于，所述第一合成單元對(duì)所述多個(gè)第一圖像中存在于相同位置的各像素的數(shù)據(jù)，利用按坐標(biāo)不同的合成比率進(jìn)行合成，所述第二合成單元對(duì)所述多個(gè)第二圖像中存在于相同位置的各像素的數(shù)據(jù)，利用與該位置相同的所述第一圖像內(nèi)的位置用的所述合成比率進(jìn)行合成。
9. 一種圖像合成方法，其特征在于，包括分離步驟，將使曝光條件不同且以相同的視場(chǎng)角拍攝到的多個(gè)圖像的數(shù)據(jù)，分別分離成由在預(yù)定的色空間內(nèi)規(guī)定的亮度分量構(gòu)成的多個(gè)第一圖像的數(shù)據(jù)、和由其他分量構(gòu)成的多個(gè)第二圖像的數(shù)據(jù)；第一合成步驟，利用預(yù)定的合成比率，對(duì)通過(guò)該分離步驟分離之后的曝光條件分別不同的多個(gè)第一圖像的數(shù)據(jù)進(jìn)行合成；和第二合成步驟，利用在所述第一合成步驟中進(jìn)行合成時(shí)的預(yù)定的合成比率，對(duì)曝光條件分別不同的多個(gè)第二圖像的數(shù)據(jù)進(jìn)行合成。
全文摘要
本發(fā)明提供一種圖像處理裝置以及圖像處理方法。曝光條件分別不同的多個(gè)圖像的數(shù)據(jù)被分離成多個(gè)亮度圖像的數(shù)據(jù)和多個(gè)色差圖像的數(shù)據(jù)之后輸入到合成部(11)。亮度分量合成部(21)對(duì)曝光條件分別不同的多個(gè)圖像的數(shù)據(jù)進(jìn)行平均化/平滑化，利用該平滑化后的平均亮度數(shù)據(jù)，設(shè)定曝光條件分別不同的多個(gè)圖像的數(shù)據(jù)的合成比率。并且，利用該設(shè)定的合成比率，以關(guān)注像素為單位對(duì)分離后的多個(gè)亮度圖像的數(shù)據(jù)進(jìn)行合成。另一方面，色差分量合成部(22)以在亮度分量合成部(21)中使用的合成比率對(duì)分離后的多個(gè)色差圖像的數(shù)據(jù)進(jìn)行合成。
文檔編號(hào)H04N9/77GK102316331SQ201110187890
公開(kāi)日2012年1月11日 申請(qǐng)日期2011年7月6日 優(yōu)先權(quán)日2010年7月9日
發(fā)明者真鍋佳嗣 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社