本發(fā)明涉及將使焦點(diǎn)位置改變而拍攝到的多個(gè)圖像合成的圖像合成處理裝置、照相機(jī)以及圖像合成處理方法。

背景技術(shù)：

數(shù)字照相機(jī)等攝像裝置具有以下功能：取得多個(gè)圖像數(shù)據(jù)，實(shí)現(xiàn)利用一張圖像無(wú)法表現(xiàn)的畫(huà)質(zhì)。在專利文獻(xiàn)1中公開(kāi)了以下技術(shù)：移動(dòng)焦點(diǎn)位置來(lái)取得多張圖像數(shù)據(jù)，通過(guò)將這些圖像數(shù)據(jù)合成來(lái)獲得景深較深的圖像。這樣的攝影也被稱作對(duì)焦包圍攝影。

另一方面，已知有在焦點(diǎn)位置不同的圖像數(shù)據(jù)之間，由攝像光學(xué)系統(tǒng)引起的圖像的倍率變化或光學(xué)像差的產(chǎn)生量不同。例如，在專利文獻(xiàn)2中公開(kāi)了以下技術(shù)：根據(jù)預(yù)先將這些像差定量化后的數(shù)據(jù)來(lái)分別校正所收錄的多張圖像數(shù)據(jù)。而且，根據(jù)鏡頭特性，在攝影圖像中產(chǎn)生依賴于像高的畸變像差或倍率色差。并且，在專利文獻(xiàn)3中公開(kāi)了由于該像差校正導(dǎo)致倍率發(fā)生變化，所以為了校正由像差校正帶來(lái)的倍率變化，進(jìn)行變倍處理。

專利文獻(xiàn)1：日本特開(kāi)2008―271240號(hào)公報(bào)

專利文獻(xiàn)2：日本特開(kāi)2001-257932號(hào)公報(bào)

專利文獻(xiàn)3：日本特開(kāi)2009-105621號(hào)公報(bào)

不同的焦點(diǎn)位置拍攝出的多個(gè)圖像產(chǎn)生由焦點(diǎn)位置引起的倍率變化和由失真校正引起的倍率變化這兩個(gè)倍率變化。因此，需要進(jìn)行在進(jìn)行合成處理以前校正兩個(gè)倍率變化的倍率校正，使各個(gè)圖像的被攝體的尺寸一致。另一方面，在以使各個(gè)圖像的被攝體的尺寸一致的方式進(jìn)行倍率校正后，由于各個(gè)圖像的倍率校正值不同，所以各個(gè)圖像的尺寸(視場(chǎng)角)不同。在將不同的視場(chǎng)角的圖像直接合成后，畫(huà)質(zhì)有可能在圖像的周邊部發(fā)生劣化。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明鑒于上述課題，其目的在于提供一種在合成在不同的焦點(diǎn)位置拍攝到的多個(gè)圖像的情況下，調(diào)整各個(gè)圖像的由于倍率校正引起的圖像尺寸的變化，并生成適當(dāng)?shù)暮铣蓤D像的圖像合成處理裝置、照相機(jī)以及圖像合成處理方法。

為了達(dá)成上述目的，一種圖像合成處理裝置，其用于將使焦點(diǎn)位置改變而拍攝到的多個(gè)圖像合成而生成合成圖像，其具有：焦點(diǎn)差倍率計(jì)算部，其對(duì)于所述多個(gè)圖像，計(jì)算根據(jù)所拍攝的焦點(diǎn)位置的差而發(fā)生變化的倍率即焦點(diǎn)差倍率；失真校正倍率計(jì)算部，其對(duì)于所述多個(gè)圖像，計(jì)算在校正與所拍攝的焦點(diǎn)位置相應(yīng)的圖像失真的情況下發(fā)生變化的倍率即失真校正倍率；倍率校正值計(jì)算部，其對(duì)于該多個(gè)圖像，計(jì)算倍率校正值，該倍率校正值用于校正使得根據(jù)所述焦點(diǎn)差倍率和所述失真校正倍率而發(fā)生變化的所述多個(gè)圖像的像高變?yōu)楣潭ǖ脑摱鄠€(gè)圖像的倍率；倍率校正部，其根據(jù)所述倍率校正值，校正所述多個(gè)圖像的倍率；區(qū)域確定部，其從由所述倍率校正部對(duì)倍率進(jìn)行校正后的所述多個(gè)圖像，確定用作圖像合成用的圖像的區(qū)域；以及圖像合成部，其根據(jù)由所述區(qū)域確定部確定的所述區(qū)域，剪切出規(guī)定區(qū)域的圖像，將所述剪切出的多個(gè)圖像合成，生成所述合成圖像。

根據(jù)本發(fā)明，能夠提供一種在將在不同的焦點(diǎn)位置拍攝到的多個(gè)圖像合成的情況下，調(diào)整各個(gè)圖像的由倍率校正引起的圖像尺寸的變化，并生成適當(dāng)?shù)暮铣蓤D像的圖像合成處理裝置。

附圖說(shuō)明

圖1是示出照相機(jī)的結(jié)構(gòu)例的硬件框圖。

圖2是關(guān)于圖像合成處理的功能框圖。

圖3是說(shuō)明圖像合成處理的步驟的流程圖。

圖4是用于說(shuō)明倍率校正值計(jì)算的步驟的子例程。

圖5a是焦點(diǎn)差倍率δf的圖表。

圖5b是失真校正倍率δd的圖表。

圖5c是焦點(diǎn)差倍率δf、失真校正倍率δd和合計(jì)倍率δt的圖表。

圖6是示出由圖5a～圖5c的倍率引起的被攝體像的具體變化的圖。

圖7是用于說(shuō)明剪切區(qū)域確定處理的步驟的子例程。

圖8是將構(gòu)成圖像與倍率校正圖像和被剪切的圖像進(jìn)行對(duì)比而示出的圖。

圖9是示意性排列被合成的l(-3)～l(3)位置的構(gòu)成圖像的圖。

圖10是說(shuō)明實(shí)時(shí)取景中的合成圖像顯示和合成圖像的動(dòng)態(tài)圖像記錄的步驟的流程圖。

標(biāo)號(hào)說(shuō)明

1：照相機(jī)；2：照相機(jī)本體部；5：鏡頭裝置；10：快門；12：攝像元件；20：攝像電路；22：模擬處理部；23：ad轉(zhuǎn)換部；24：ae處理部；25：af處理部；30：圖像處理電路；32：yc顯影部；40：微型計(jì)算機(jī)；45：操作部；50：閃存；60：dram；70：存儲(chǔ)器if；75：記錄介質(zhì)；80：顯示驅(qū)動(dòng)器；85：顯示部；90：總線；100：照相機(jī)控制部；110：倍率計(jì)算部；112：焦點(diǎn)差倍率計(jì)算部；114；失真校正倍率計(jì)算部；116；倍率校正值計(jì)算部；120；剪切區(qū)域確定部；122；高頻檢測(cè)部；150：失真校正部；160：倍率校正部；170：圖像數(shù)據(jù)合成部；200：攝影鏡頭；205：光圈；210：鏡頭驅(qū)動(dòng)器；220：微型計(jì)算機(jī)；230：閃存；240：if。

具體實(shí)施方式

以下，根據(jù)附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。圖1是示出照相機(jī)1的結(jié)構(gòu)例的硬件框圖。本實(shí)施方式的圖像合成處理裝置被搭載于照相機(jī)1。

照相機(jī)1由照相機(jī)本體部2和能夠在照相機(jī)本體部2上裝卸的更換式的鏡頭裝置5構(gòu)成。另外，雖然在本實(shí)施方式中將鏡頭裝置5作為更換鏡頭式進(jìn)行說(shuō)明，但是不限于此，當(dāng)然也可以是將鏡頭裝置5固定在照相機(jī)主體2上的類型。

鏡頭裝置5具有：攝影鏡頭200、光圈205、鏡頭驅(qū)動(dòng)器210、微型計(jì)算機(jī)220、閃存230和接口(下面稱作i/f)240。

攝影鏡頭200由用于形成被攝體像的多個(gè)光學(xué)鏡頭(包含焦點(diǎn)調(diào)節(jié)用的對(duì)焦鏡頭、焦距調(diào)整用的變焦鏡頭)構(gòu)成。另外，攝影鏡頭200也可以是單焦點(diǎn)鏡頭。在攝影鏡頭200的光軸的后方配置有光圈205。光圈205調(diào)整開(kāi)口直徑，控制通過(guò)攝影鏡頭200的被攝體光束的光量。

鏡頭驅(qū)動(dòng)器210使攝影鏡頭200所包含的對(duì)焦鏡頭移動(dòng)而改變對(duì)焦位置，并使攝影鏡頭200所包含的變焦鏡頭移動(dòng)而改變焦距。此外，鏡頭驅(qū)動(dòng)器210還進(jìn)行光圈205的開(kāi)口直徑的控制。鏡頭驅(qū)動(dòng)器210根據(jù)來(lái)自微型計(jì)算機(jī)220的控制信號(hào)，驅(qū)動(dòng)對(duì)焦鏡頭等。

微型計(jì)算機(jī)220讀入程序，按照所讀入的程序，控制鏡頭裝置5。閃存230是非易失的存儲(chǔ)器，除了上述程序以外，還存儲(chǔ)攝影鏡頭200的光學(xué)數(shù)據(jù)或調(diào)整值等各種信息。作為攝影鏡頭200的光學(xué)數(shù)據(jù)，具有焦距、各個(gè)焦點(diǎn)位置的焦點(diǎn)差倍率、各個(gè)焦點(diǎn)位置的畸變像差特性。

i/f240是在鏡頭裝置5和照相機(jī)本體部2之間進(jìn)行數(shù)據(jù)的收發(fā)的接口。鏡頭驅(qū)動(dòng)器210和i/f240與微型計(jì)算機(jī)220連接。

微型計(jì)算機(jī)220利用從照相機(jī)本體部2經(jīng)由i/f240的控制信號(hào)，控制鏡頭驅(qū)動(dòng)器210，來(lái)進(jìn)行對(duì)焦位置調(diào)整或變焦調(diào)整等。微型計(jì)算機(jī)220將對(duì)焦鏡頭位置或變焦鏡頭位置等信息發(fā)送到照相機(jī)本體部2。此外，微型計(jì)算機(jī)220將在閃存230中存儲(chǔ)的攝影鏡頭200的光學(xué)數(shù)據(jù)發(fā)送到照相機(jī)本體部2。

照相機(jī)本體部2具有：快門10、攝像元件12、攝像電路20、圖像處理電路30、微型計(jì)算機(jī)40、操作部45、閃存50、dram60、存儲(chǔ)器if70、記錄介質(zhì)75、顯示驅(qū)動(dòng)器80、顯示部85和總線90等。

快門10配置在照相機(jī)本體部2的入射側(cè)，通過(guò)開(kāi)閉來(lái)控制曝光時(shí)間。攝像元件12由ccd或cmos構(gòu)成，對(duì)入射光進(jìn)行光電轉(zhuǎn)換而輸出圖像信號(hào)。

攝像電路20將圖像信號(hào)轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)，還根據(jù)圖像數(shù)據(jù)來(lái)進(jìn)行ae(automaticexposure：自動(dòng)曝光)處理或af(automaticfocus：自動(dòng)對(duì)焦)處理。攝像電路20具有：模擬處理部22、ad轉(zhuǎn)換部23、ae處理部24和af處理部25等。

模擬處理部22對(duì)圖像信號(hào)進(jìn)行放大或降噪處理。ad轉(zhuǎn)換部23將模擬處理后的圖像信號(hào)轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)。ae處理部24根據(jù)圖像數(shù)據(jù)，設(shè)定成為適當(dāng)曝光的曝光條件。af處理部25根據(jù)圖像數(shù)據(jù)，檢測(cè)對(duì)焦位置。

圖像處理電路30對(duì)圖像數(shù)據(jù)實(shí)施各種圖像處理。圖像處理電路30具有：yc顯影部32、壓縮部37和解壓縮部38等。yc顯影部32將raw數(shù)據(jù)轉(zhuǎn)換為yc數(shù)據(jù)。并且，yc顯影部32進(jìn)行去馬賽克、白平衡校正、顏色矩陣、伽馬校正、邊緣強(qiáng)調(diào)、降噪等圖像處理。

壓縮部37在將圖像數(shù)據(jù)記錄到記錄介質(zhì)75時(shí)，以規(guī)定的格式(例如，jpeg)壓縮圖像數(shù)據(jù)。解壓縮部38在從記錄介質(zhì)75讀出被壓縮記錄后的圖像數(shù)據(jù)時(shí)，以規(guī)定的格式對(duì)圖像數(shù)據(jù)進(jìn)行解壓縮。

微型計(jì)算機(jī)40讀入程序，并按照所讀入的程序，統(tǒng)一控制照相機(jī)本體部2和照相機(jī)1。操作部45由按鈕或觸摸面板構(gòu)成，用于輸入操作指示。操作部45包含電源按鈕、釋放按鈕、動(dòng)態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕、ok按鈕等各種輸入按鈕或各種輸入鍵等操作部材。操作部45與微型計(jì)算機(jī)40連接，將操作指示內(nèi)容通知給微型計(jì)算機(jī)40。

閃存50是非易失的存儲(chǔ)器，除了上述程序以外，還存儲(chǔ)各種數(shù)據(jù)或表。dram(dynamicrandomaccessmemory：動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)60是臨時(shí)存儲(chǔ)器，在通過(guò)圖像處理電路30對(duì)圖像數(shù)據(jù)進(jìn)行各種處理的情況下，是展開(kāi)圖像數(shù)據(jù)的工作區(qū)。

存儲(chǔ)器i/f70進(jìn)行對(duì)記錄介質(zhì)75寫(xiě)入和讀出圖像數(shù)據(jù)或圖像數(shù)據(jù)的標(biāo)簽數(shù)據(jù)的控制。記錄介質(zhì)75例如是閃存，且是圖像數(shù)據(jù)保存用的存儲(chǔ)器。記錄介質(zhì)75可以是在照相機(jī)主體2上拆裝自如的存儲(chǔ)卡，也可以是內(nèi)置在照相機(jī)主體2中的硬盤等。

顯示驅(qū)動(dòng)器80根據(jù)攝影時(shí)的實(shí)時(shí)取景圖像數(shù)據(jù)或從記錄介質(zhì)75讀出并由解壓縮部38解壓縮后的圖像數(shù)據(jù)，使圖像顯示在顯示部85上。顯示部85例如由lcd或el構(gòu)成。顯示部85是設(shè)置于照相機(jī)本體部2的背面的背面顯示部或設(shè)置于照相機(jī)本體部2的上表面的evf(electronicviewfinder：電子取景器)。在照相機(jī)本體部2上可以設(shè)有背面顯示部和evf雙方。

總線90是用于將在照相機(jī)主體部2的內(nèi)部讀出或生成的各種數(shù)據(jù)傳送到照相機(jī)主體部2的內(nèi)部的數(shù)據(jù)傳送路徑。

圖2是說(shuō)明在對(duì)焦包圍攝影時(shí)進(jìn)行的圖像合成處理的功能框圖。對(duì)焦包圍攝影是指使焦點(diǎn)位置移動(dòng)來(lái)取得多張圖像數(shù)據(jù)，將所取得的圖像數(shù)據(jù)合成，取得合成圖像的攝影。在所取得的圖像數(shù)據(jù)中，通過(guò)將空間頻率高的像素合成，能夠獲得景深深的圖像。以下將使焦點(diǎn)位置移動(dòng)而拍攝出并構(gòu)成合成圖像的多張圖像稱作構(gòu)成圖像。

通過(guò)照相機(jī)控制部100來(lái)控制圖像合成處理裝置的整體。照相機(jī)控制部100是通過(guò)由讀入程序后的微型計(jì)算機(jī)40進(jìn)行的軟件處理實(shí)現(xiàn)的功能。此外，倍率計(jì)算部110、剪切區(qū)域確定部120、高頻檢測(cè)部122、失真校正部150、倍率校正部160、圖像數(shù)據(jù)合成部170也同樣是通過(guò)由微型計(jì)算機(jī)40進(jìn)行的軟件處理實(shí)現(xiàn)的功能。

倍率計(jì)算部110用于計(jì)算倍率校正值，該倍率校正值校正構(gòu)成圖像之間的相對(duì)不同的倍率。倍率計(jì)算部110具有：焦點(diǎn)差倍率計(jì)算部112、失真校正倍率計(jì)算部114和倍率校正值計(jì)算部116。

焦點(diǎn)差倍率計(jì)算部112計(jì)算與構(gòu)成圖像的各個(gè)焦點(diǎn)位置相應(yīng)地發(fā)生變化的倍率即焦點(diǎn)差倍率δf。這是因?yàn)樵诠鈱W(xué)特性上，被攝體的尺寸根據(jù)焦點(diǎn)位置而發(fā)生變化。焦點(diǎn)差倍率δf根據(jù)鏡頭特性、焦距或焦點(diǎn)位置而發(fā)生變化。

焦點(diǎn)差倍率計(jì)算部112根據(jù)拍攝條件和在閃存50中存儲(chǔ)的光學(xué)數(shù)據(jù)，求出基準(zhǔn)焦點(diǎn)位置的倍率與其前后的焦點(diǎn)位置的倍率的差，來(lái)計(jì)算焦點(diǎn)差倍率δf?；鶞?zhǔn)焦點(diǎn)位置是例如af對(duì)焦位置或手動(dòng)對(duì)焦位置。

失真校正倍率計(jì)算部114對(duì)于各個(gè)構(gòu)成圖像，計(jì)算由于校正畸變像差(以下，也簡(jiǎn)單稱作失真)而產(chǎn)生的倍率變化即失真校正倍率δd。在校正了由鏡頭引起的失真后，有可能產(chǎn)生由于失真校正引起的像素缺陷，為了防止該像素缺陷，需要進(jìn)行與失真校正量對(duì)應(yīng)的放大縮小處理。失真的量根據(jù)鏡頭特性、焦距或焦點(diǎn)位置而發(fā)生變化。失真校正倍率計(jì)算部114根據(jù)拍攝條件和在閃存50中存儲(chǔ)的光學(xué)數(shù)據(jù)，計(jì)算失真校正倍率δd。

倍率校正值計(jì)算部116將焦點(diǎn)差倍率δf乘以失真校正倍率δd來(lái)計(jì)算合計(jì)倍率δt，并計(jì)算1/δt＝倍率校正值α。焦點(diǎn)差倍率δf、失真校正倍率δd、合計(jì)倍率δt的詳細(xì)內(nèi)容在圖5的各個(gè)圖中將后述。另外，焦點(diǎn)差倍率δf或失真校正倍率δd不特別地存在畫(huà)面的垂直方向和水平方向上的差。

剪切區(qū)域確定部120用于確定在圖像合成用中使用的范圍(剪切區(qū)域)。在由倍率校正部160根據(jù)倍率校正值α校正了倍率后，各個(gè)構(gòu)成圖像的尺寸(視場(chǎng)角)發(fā)生變化。并且，在合成尺寸不同的圖像后，合成圖像的周邊部的畫(huà)質(zhì)有可能發(fā)生劣化。因此，如果利用倍率校正后的構(gòu)成圖像來(lái)合成在相同的區(qū)域中剪切出的圖像，則由于圖像尺寸相同，所以不用擔(dān)心合成圖像的周邊部發(fā)生劣化。另外，剪切區(qū)域與合成圖像的圖像尺寸相當(dāng)，還可以稱作合成圖像的攝影范圍。此外，也可以將“圖像尺寸”換稱作“視場(chǎng)角”。此外，還可以將剪切區(qū)域確定部120稱作區(qū)域確定部。

具體而言，剪切區(qū)域確定部120比較在構(gòu)成圖像中分別計(jì)算出的倍率校正值α，判定由最小的倍率校正值α構(gòu)成的構(gòu)成圖像，根據(jù)判定出的構(gòu)成圖像，確定剪切區(qū)域。另外，倍率校正值α是被設(shè)定為在所述倍率校正值α較小的情況下校正后的圖像相對(duì)變小的值。即，在倍率校正值α<1的情況下，在校正后，圖像尺寸相對(duì)變小。具體例子在圖6中進(jìn)行說(shuō)明。

此外，剪切區(qū)域確定部120可以將判定為最小的倍率校正值α的構(gòu)成圖像的尺寸確定為剪切區(qū)域?；蛘撸羟袇^(qū)域確定部120可以將在判定出的構(gòu)成圖像的尺寸中增減規(guī)定像素?cái)?shù)來(lái)進(jìn)行修正后的尺寸確定為剪切區(qū)域。

高頻檢測(cè)部122為了進(jìn)行剪切區(qū)域確定，檢測(cè)構(gòu)成圖像的高頻成分量。剪切區(qū)域確定部120可以將構(gòu)成圖像中的檢測(cè)出的高頻成分量為規(guī)定值以下的圖像從判定中排除。能夠?qū)⒏哳l成分量低、即未對(duì)焦的構(gòu)成圖像估計(jì)為重要度低的圖像。這是因?yàn)橐灾匾鹊偷臉?gòu)成圖像作為合成圖像的尺寸的基準(zhǔn)是不合適的。

失真校正部150參照存儲(chǔ)在閃存50中并記載了各個(gè)焦點(diǎn)位置的畸變像差特性的表，校正構(gòu)成圖像的圖像失真。倍率校正部160根據(jù)由倍率校正值計(jì)算部116計(jì)算出的各個(gè)倍率校正值α，對(duì)校正了失真后的各個(gè)構(gòu)成圖像的倍率進(jìn)行校正。

圖像數(shù)據(jù)合成部170根據(jù)由剪切區(qū)域確定部120確定出的剪切區(qū)域，從被進(jìn)行了失真校正和倍率校正后的構(gòu)成圖像中剪切圖像，將剪切出的圖像合成，生成1張合成圖像。

此外，在生成合成圖像的情況下，圖像數(shù)據(jù)合成部170可以從各個(gè)構(gòu)成圖像中提取高頻成分高的像素，對(duì)高頻成分高的像素進(jìn)行貼合，進(jìn)行所謂的深度合成。與僅1張的圖像相比，被進(jìn)行了深度合成的圖像成為焦點(diǎn)深度深的圖像。

此外，在生成合成圖像的情況下，圖像數(shù)據(jù)合成部170可以進(jìn)行對(duì)背景施加暈映效果(模糊放大效果)的處理。具體而言，圖像數(shù)據(jù)合成部170根據(jù)由高頻檢測(cè)部122檢測(cè)出的各個(gè)構(gòu)成圖像的高頻成分信息，計(jì)算各個(gè)像素(或者圖像的各個(gè)目標(biāo))的被攝體距離，判別主被攝體和背景。

并且，圖像數(shù)據(jù)合成部170進(jìn)行通過(guò)濾波處理對(duì)被判別為是背景的部位施加暈映效果(模糊放大效果)的處理。根據(jù)這樣的圖像，與僅1張的圖像相比，通過(guò)使背景更模糊，能夠獲得更強(qiáng)調(diào)主被攝體的效果。

簡(jiǎn)單說(shuō)明處理的流程。在從操作部45接收到對(duì)焦包圍攝影的指示后，照相機(jī)控制部100執(zhí)行對(duì)焦包圍攝影處理。

照相機(jī)控制部100根據(jù)設(shè)定，計(jì)算進(jìn)行拍攝的焦點(diǎn)位置。照相機(jī)控制部100經(jīng)由if240對(duì)微型計(jì)算機(jī)220指示計(jì)算出的焦點(diǎn)位置，在各個(gè)焦點(diǎn)位置執(zhí)行拍攝。各個(gè)焦點(diǎn)位置是以例如af對(duì)焦位置或手動(dòng)對(duì)焦位置為中心的前后各3處的合計(jì)7處。對(duì)應(yīng)地拍攝了7張。

此外，照相機(jī)控制部100從微型計(jì)算機(jī)220取得攝影鏡頭200的光學(xué)數(shù)據(jù)，存儲(chǔ)在閃存50中。

一邊使焦點(diǎn)位置移動(dòng)一邊執(zhí)行拍攝，通過(guò)模擬處理部22對(duì)從攝像元件12輸出的圖像信號(hào)進(jìn)行放大等，并作為圖像數(shù)據(jù)從ad轉(zhuǎn)換部23輸出。yc顯影部32對(duì)各個(gè)構(gòu)成圖像的圖像數(shù)據(jù)實(shí)施規(guī)定處理。失真校正部150對(duì)各個(gè)構(gòu)成圖像的圖像數(shù)據(jù)進(jìn)行失真校正。

焦點(diǎn)差倍率計(jì)算部112根據(jù)各個(gè)構(gòu)成圖像的焦點(diǎn)位置，計(jì)算焦點(diǎn)差倍率δf。失真校正倍率計(jì)算部114根據(jù)各個(gè)構(gòu)成圖像的焦點(diǎn)位置，計(jì)算失真校正倍率δd。倍率校正值計(jì)算部116求出焦點(diǎn)差倍率δf×失真校正倍率δd＝合計(jì)倍率δt，計(jì)算1/δt＝倍率校正值α。

剪切區(qū)域確定部120比較在構(gòu)成圖像中分別計(jì)算出的倍率校正值α，判定由最小的倍率校正值α構(gòu)成的構(gòu)成圖像，根據(jù)判定出的構(gòu)成圖像，確定剪切區(qū)域。

倍率校正部160利用倍率校正值α，對(duì)各個(gè)構(gòu)成圖像的圖像進(jìn)行倍率校正。圖像數(shù)據(jù)合成部170根據(jù)確定出的剪切區(qū)域，從構(gòu)成圖像中剪切圖像，將剪切出的圖像合成，生成1張合成圖像。

〈圖像合成處理〉

圖3是說(shuō)明對(duì)焦包圍攝影的圖像合成處理的步驟的流程圖。照相機(jī)控制部100確定攝影焦點(diǎn)位置(步驟s10)。照相機(jī)控制部100可以通過(guò)設(shè)定，將af對(duì)焦位置作為焦點(diǎn)位置的中心。此外，攝影時(shí)的多個(gè)焦點(diǎn)位置可以由照相機(jī)控制部100按照規(guī)定條件自動(dòng)設(shè)定，也可以由攝影者任意指示。

簡(jiǎn)單說(shuō)明自動(dòng)設(shè)定的例子。照相機(jī)控制部100預(yù)先存儲(chǔ)由攝影者設(shè)定的中心位置的前后的攝影張數(shù)和焦點(diǎn)位置間隔，在攝影時(shí)的每個(gè)af對(duì)焦時(shí)計(jì)算各個(gè)焦點(diǎn)位置。例如，如果設(shè)定為攝影張數(shù)＝5、焦點(diǎn)位置間隔＝1m，則在焦點(diǎn)位置的中心為4m的情況下，照相機(jī)控制部100在2m、3m、4m、5m、6m的各個(gè)焦點(diǎn)位置進(jìn)行拍攝。

此外，照相機(jī)控制部100可以檢測(cè)通過(guò)設(shè)置于背面顯示部的觸摸面板在圖像內(nèi)選擇出的2個(gè)點(diǎn)的焦點(diǎn)位置，按照預(yù)先設(shè)定的圖像張數(shù)對(duì)該2個(gè)點(diǎn)的焦點(diǎn)位置之間進(jìn)行等間隔地分割而作為焦點(diǎn)位置。此外，照相機(jī)控制部100可以以預(yù)先設(shè)定了2個(gè)點(diǎn)的焦點(diǎn)位置之間的焦點(diǎn)間隔來(lái)進(jìn)行拍攝的方式，計(jì)算攝影張數(shù)。此外，該2個(gè)點(diǎn)的焦點(diǎn)位置可以通過(guò)mf(manualfocus：自動(dòng)對(duì)焦)和操作部45的按鈕來(lái)設(shè)定。

照相機(jī)控制部100在所設(shè)定的多個(gè)焦點(diǎn)位置進(jìn)行拍攝(步驟s12)。照相機(jī)控制部100將拍攝出的圖像數(shù)據(jù)記錄在dram60中。

照相機(jī)控制部100進(jìn)行倍率校正值α的計(jì)算(步驟s14)。圖4是用于說(shuō)明倍率校正值α計(jì)算的步驟的子例程。倍率計(jì)算部110確定基準(zhǔn)焦點(diǎn)位置(步驟s50)。基準(zhǔn)焦點(diǎn)位置是在計(jì)算焦點(diǎn)差倍率δf時(shí)，作為基準(zhǔn)的焦點(diǎn)位置。設(shè)在基準(zhǔn)焦點(diǎn)位置拍攝出的圖像的倍率為“1”，計(jì)算其他圖像的焦點(diǎn)差倍率δf。基準(zhǔn)焦點(diǎn)位置可以是af對(duì)焦位置，除此以外，還可以是例如極近端或無(wú)限遠(yuǎn)端的焦點(diǎn)位置。此外，也可以將在基準(zhǔn)焦點(diǎn)位置拍攝出的圖像作為在后級(jí)的圖像合成的對(duì)位處理中作為對(duì)位的基準(zhǔn)的圖像。

接著，照相機(jī)控制部100對(duì)于全部構(gòu)成圖像，反復(fù)進(jìn)行以下步驟s52～步驟s60的處理。照相機(jī)控制部100取得1個(gè)構(gòu)成圖像的拍攝條件(步驟s52)。照相機(jī)控制部100取得鏡頭種類、變焦倍率和焦點(diǎn)位置。

照相機(jī)控制部100取得光學(xué)數(shù)據(jù)(步驟s54)。光學(xué)數(shù)據(jù)是關(guān)于失真校正量和焦點(diǎn)差倍率δf進(jìn)行定量化后的數(shù)據(jù)，可以是算式/表的任意一個(gè)的形式。

照相機(jī)控制部100從閃存50或閃存230讀出光學(xué)數(shù)據(jù)。由于失真校正量和焦點(diǎn)差倍率δf是依賴于攝影時(shí)的鏡頭的值，所以需要與鏡頭種類對(duì)應(yīng)的值。光學(xué)數(shù)據(jù)以分別與變焦倍率和焦點(diǎn)位置對(duì)應(yīng)的值進(jìn)行存儲(chǔ)。

失真校正倍率計(jì)算部114計(jì)算失真校正倍率δd(步驟s56)。失真校正倍率計(jì)算部114根據(jù)取得的拍攝條件和光學(xué)數(shù)據(jù)，計(jì)算失真校正倍率δd。

焦點(diǎn)差倍率計(jì)算部112計(jì)算焦點(diǎn)差倍率δf(步驟s58)。焦點(diǎn)差倍率計(jì)算部112根據(jù)取得的拍攝條件與光學(xué)數(shù)據(jù)、和基準(zhǔn)焦點(diǎn)位置與攝影對(duì)象圖像的焦點(diǎn)位置的差，計(jì)算焦點(diǎn)差倍率δf。

倍率校正值計(jì)算部116計(jì)算倍率校正值α(步驟s60)。如上所述，倍率校正值α＝1/(合計(jì)倍率δt)，合計(jì)倍率δt＝焦點(diǎn)差倍率δf×失真校正倍率δd。

圖5a～圖5c是示出基于焦點(diǎn)位置的倍率變動(dòng)的例子的圖表。在圖5各個(gè)圖中，縱軸為倍率δ，橫軸為焦點(diǎn)位置。在倍率δ>1的焦點(diǎn)位置，對(duì)被攝體進(jìn)行放大拍攝，在倍率δ<1的焦點(diǎn)位置，對(duì)被攝體進(jìn)行縮小拍攝。換言之，在倍率δ>1的焦點(diǎn)位置，由于視場(chǎng)角變窄，所以成為大的倍率。相反，在倍率δ<1的焦點(diǎn)位置，由于視場(chǎng)角變寬，所以成為小的倍率。

此外，設(shè)橫軸的右端為極近、左端為無(wú)限遠(yuǎn)。圖5的各個(gè)圖是設(shè)l(0)為基準(zhǔn)焦點(diǎn)位置，以l(0)為中心，使焦點(diǎn)位置移動(dòng)，拍攝前后各3張的合計(jì)7張圖像的例子。

圖5a是焦點(diǎn)差倍率δf的圖表，并示出與焦點(diǎn)的位置對(duì)應(yīng)的倍率變化。在該例子中，相對(duì)于l(0)的圖像，在極近側(cè)的l(-3)的圖像中被攝體被最大拍攝，在無(wú)限遠(yuǎn)側(cè)的焦點(diǎn)位置l(3)的圖像中被攝體被最小拍攝。

圖5b是失真校正倍率δd的圖表，并示出與焦點(diǎn)的位置對(duì)應(yīng)的由失真校正引起的倍率變化。在該例子中，相對(duì)于l(0)的圖像，在極近側(cè)的l(-3)的圖像中被攝體被最小拍攝。此外，相對(duì)于l(0)的圖像，在l(3)的圖像中也較小地拍攝被攝體。

圖5c是重疊示出焦點(diǎn)差倍率δf、失真校正倍率δd和合計(jì)倍率δt的圖表。如上所述，焦點(diǎn)差倍率δf×失真校正倍率δd＝合計(jì)倍率δt。合計(jì)倍率δt在l(-2)為最大，在l(3)為最小。

圖6是示出由圖5a～圖5c的倍率引起的被攝體像的具體大小的圖。代表性地示出l(-2)、l(0)、l(3)的3個(gè)焦點(diǎn)位置上的被攝體像的具體大小。圖像po是設(shè)倍率為1的臨時(shí)的圖像。利用向上箭頭表示被攝體像。

在l(-2)，利用焦點(diǎn)差，按照焦點(diǎn)差倍率δf＝1.1，將被攝體像放大到1.1倍(圖像pf)。此外，在失真校正以后，按照失真校正倍率δd＝1.1，將被攝體像放大到1.1倍(圖像pd)。并且，按照合計(jì)倍率δt＝1.21，將被攝體像放大到1.21倍(圖像p(-2))。

在l(0)，由于焦點(diǎn)差倍率δf＝1，被攝體像中不存在變化(圖像pf)。此外，按照失真校正倍率δd＝1.1，將被攝體像放大到1.1倍(圖像pd)。并且，按照合計(jì)倍率δt＝1.1，將被攝體像放大到1.1倍(圖像p(0))。

在l(3)，按照焦點(diǎn)差倍率δf＝0.8，將被攝體像縮小到0.8倍(圖像pf)。此外，按照失真校正倍率δd＝1.1，將被攝體像放大到1.1倍(圖像pd)。并且，按照合計(jì)倍率δt＝0.88，將被攝體像縮小到0.88倍(圖像p(3))。

進(jìn)入到圖4的步驟s62。照相機(jī)控制部100判斷是否結(jié)束了全部構(gòu)成圖像的倍率校正值的計(jì)算(步驟s62)。

在判斷為全部構(gòu)成圖像的倍率校正值計(jì)算未結(jié)束后(步驟s62的“否”)，照相機(jī)控制部100返回到步驟s52。在判斷為全部構(gòu)成圖像的倍率校正值計(jì)算已結(jié)束后(步驟s62的“是”)，照相機(jī)控制部100進(jìn)入到圖3的步驟s16。

返回到圖3。照相機(jī)控制部100進(jìn)行剪切區(qū)域確定處理(步驟s16)。圖7是用于說(shuō)明剪切區(qū)域確定處理的步驟的子例程。

剪切區(qū)域確定部120對(duì)最小倍率校正值min進(jìn)行初始化，設(shè)為min＝1(步驟s70)。最小倍率校正值min是倍率校正值α的最小值。剪切區(qū)域確定部120在以下步驟s72～步驟s84中，依次比較各個(gè)構(gòu)成圖像的倍率校正值α，確定最小倍率校正值min。以下，適當(dāng)以圖5的各圖為例進(jìn)行說(shuō)明。

剪切區(qū)域確定部120從倍率計(jì)算部110取得倍率校正值α(步驟s72)。剪切區(qū)域確定部120例如首先取得l(-3)的倍率校正值α。

剪切區(qū)域確定部120判斷所取得的倍率校正值α<最小倍率校正值min是否成立(步驟s74)。在判斷為倍率校正值α<最小倍率校正值min不成立后(步驟s74的“否”)，剪切區(qū)域確定部120進(jìn)入到步驟s86。

在判斷為倍率校正值α<最小倍率校正值min成立后(步驟s74的“是”)，剪切區(qū)域確定部120判斷倍率校正值α<閾值y是否成立(步驟s76)。閾值y是預(yù)先設(shè)定的最小倍率校正值min的下限值。這是因?yàn)?，?dāng)最小倍率校正值min成為規(guī)定值以下時(shí)，有可能合成圖像的尺寸(視場(chǎng)角)變得過(guò)窄，而違背攝影者的意圖。例如，閾值y＝0.7。

在判斷倍率校正值α<閾值y是否成立后(步驟s76的“是”)，剪切區(qū)域確定部120設(shè)定為α＝下限值(步驟s78)。下限值可以與閾值y相同，也可以是不同的值。通過(guò)設(shè)定這樣的鉗制處理，能夠管理合成圖像的尺寸(視場(chǎng)角)的下限。在判斷為倍率校正值α<閾值y不成立后(步驟s76的“否”)，剪切區(qū)域確定部120進(jìn)入到步驟s80。

高頻檢測(cè)部122檢測(cè)該構(gòu)成圖像的高頻成分(步驟s80)。高頻檢測(cè)部122例如根據(jù)圖像數(shù)據(jù)來(lái)提取圖像內(nèi)的邊緣，將被檢測(cè)為邊緣的像素?cái)?shù)的總數(shù)設(shè)為高頻成分量。

剪切區(qū)域確定部120對(duì)檢測(cè)出的高頻成分量和閾值x進(jìn)行比較，判斷高頻成分量>閾值x是否成立(步驟s82)。閾值x是被預(yù)先設(shè)定的值。高頻成分量少的構(gòu)成圖像在合成時(shí)不作為主要的構(gòu)成圖像，所以從剪切區(qū)域確定中排除。在判斷為高頻成分量>閾值x不成立后(步驟s82的“否”)，剪切區(qū)域確定部120從判定中排除該構(gòu)成圖像，進(jìn)入到步驟s86。

在判斷為高頻成分量>閾值x成立后(步驟s82的“是”)，剪切區(qū)域確定部120將最小倍率校正值min更新為該倍率校正值α的值(步驟s84)。

剪切區(qū)域確定部120判斷對(duì)于全部構(gòu)成圖像的比較判定是否結(jié)束(步驟s86)。在判斷為對(duì)于全部構(gòu)成圖像的比較判定未結(jié)束后(步驟s86的“否”)，剪切區(qū)域確定部120進(jìn)入到步驟s72，進(jìn)行接下來(lái)的構(gòu)成圖像的倍率校正值α的比較判定。

在判斷為對(duì)于全部構(gòu)成圖像的比較判定已結(jié)束后(步驟s86的“是”)，剪切區(qū)域確定部120根據(jù)確定出的最小倍率校正值min，確定剪切區(qū)域(步驟s88)。剪切區(qū)域確定部120根據(jù)以最小倍率校正值min進(jìn)行了校正的圖像的尺寸，確定剪切區(qū)域。具體而言，剪切區(qū)域確定部120可以將以最小倍率校正值min進(jìn)行了校正的圖像的尺寸確定為剪切區(qū)域，也可以將在以最小倍率校正值min進(jìn)行校正的圖像的尺寸中增減規(guī)定像素?cái)?shù)后的尺寸確定為剪切區(qū)域。

返回到圖3。yc顯影部32進(jìn)行yc顯影處理(步驟s18)。如上所述，yc顯影部32將raw數(shù)據(jù)轉(zhuǎn)換為yc數(shù)據(jù)，還進(jìn)行去馬賽克、白平衡校正等圖像處理。

失真校正部150參照存儲(chǔ)在閃存50中并記載了各個(gè)焦點(diǎn)位置的畸變像差特性的表，校正構(gòu)成圖像的圖像失真(畸變像差)(步驟s20)。倍率校正部160利用由倍率校正值計(jì)算部116計(jì)算出的各個(gè)對(duì)應(yīng)的倍率校正值α，對(duì)被進(jìn)行了失真校正后的構(gòu)成圖像進(jìn)行倍率校正(步驟s22)。

圖像數(shù)據(jù)合成部170根據(jù)確定出的剪切區(qū)域，進(jìn)行被倍率校正后的各個(gè)構(gòu)成圖像的剪切處理(步驟s24)，將被剪切處理后的各個(gè)構(gòu)成圖像合成，生成圖像合成(步驟s26)。

通過(guò)圖8和圖9，具體說(shuō)明剪切區(qū)域和合成圖像的關(guān)系。圖8是將構(gòu)成圖像與倍率校正圖像和剪切出的圖像進(jìn)行對(duì)比而示出的圖。與圖6的例子同樣，以l(-2)、l(0)、l(3)這3個(gè)構(gòu)成圖像為例進(jìn)行示出。設(shè)l(-2)的倍率校正值α(1/1.21)為最小倍率校正值min。

在l(-2)，圖像p(-2)被倍率校正，被攝體像被縮小而成為倍率校正圖像q(-2)。倍率校正圖像q的縱橫的像素?cái)?shù)相對(duì)于圖像p，分別成為α倍。由于l(-2)的倍率校正值α(1/1.21)為最小倍率校正值min，所以將倍率校正圖像q(-2)的尺寸確定為剪切區(qū)域。即，倍率校正圖像q(-2)的尺寸成為剪切圖像r(-2)的尺寸。當(dāng)設(shè)圖像p(-2)的水平像素?cái)?shù)為ax、垂直像素?cái)?shù)為ay時(shí)，倍率校正圖像q(-2)的水平像素?cái)?shù)成為ax×α，垂直像素?cái)?shù)成為ay×α。關(guān)于剪切圖像r(-2)，也是水平像素?cái)?shù)成為ax×α，垂直像素?cái)?shù)成為ay×α。

在l(0)，圖像p(0)被倍率校正，被攝體像被縮小而成為倍率校正圖像q(0)。倍率校正圖像q(0)的像高h(yuǎn)與倍率校正圖像q(-2)的像高相同。從倍率校正圖像q(0)剪切處理出與倍率校正圖像q(-2)相同的尺寸量，成為剪切圖像r(0)。剪切圖像r(0)成為與剪切圖像r(-2)相同的尺寸。

在l(3)，圖像p(3)被倍率校正，被攝體像被放大而成為倍率校正圖像q(3)。倍率校正圖像q(3)的像高h(yuǎn)與倍率校正圖像q(-2)和倍率校正圖像q(0)的像高相同。從倍率校正圖像q(3)剪切處理出與倍率校正圖像q(-2)相同的尺寸量，成為剪切圖像r(3)。剪切圖像r(3)成為與剪切圖像r(-2)相同的尺寸。

圖9是示意性地排列l(wèi)(-3)～l(3)位置的各個(gè)構(gòu)成圖像的圖。虛線示出倍率校正圖像q的外形，陰影區(qū)域示出剪切圖像r的尺寸。各個(gè)構(gòu)成圖像的剪切圖像r與剪切圖像r(-2)的尺寸(視場(chǎng)角)相同。剪切圖像r(-3)～剪切圖像r(3)的像高h(yuǎn)一致，尺寸(視場(chǎng)角)也相同。

〈實(shí)時(shí)取景和動(dòng)態(tài)圖像拍攝模式下的圖像合成〉

在上述實(shí)施方式中說(shuō)明了靜態(tài)圖像拍攝模式下的利用對(duì)焦包圍攝影的圖像合成處理，但是對(duì)焦包圍攝影還能夠在實(shí)時(shí)取景中或動(dòng)態(tài)圖像拍攝模式下實(shí)施。

圖10是說(shuō)明實(shí)時(shí)取景中的合成圖像顯示和合成圖像的動(dòng)態(tài)圖像記錄的步驟的流程圖。照相機(jī)控制部100判斷背面顯示部/evf是否打開(kāi)(步驟s100)。除了背面顯示部或evf等顯示部85以外，在設(shè)有光學(xué)取景器的照相機(jī)1的情況下，判斷背面顯示部或evf等顯示部85的動(dòng)作。在沒(méi)有光學(xué)取景器的照相機(jī)1的情況下，省略步驟s100。在判斷為背面顯示部/evf未打開(kāi)后(步驟s100的“否”)，照相機(jī)控制部100結(jié)束該處理。

在判斷為背面顯示部/evf的任意一個(gè)已打開(kāi)后(步驟s100的“是”)，照相機(jī)控制部100進(jìn)行如在步驟s10和步驟s12中進(jìn)行說(shuō)明的攝影焦點(diǎn)位置確定或多張攝影(步驟s102)。

照相機(jī)控制部100進(jìn)行倍率校正值計(jì)算(步驟s104)、剪切區(qū)域確定(步驟s106)、yc顯影(步驟s108)、失真校正(步驟s110)、倍率校正(步驟s112)、剪切處理(步驟s114)、圖像合成(步驟s116)。由于步驟s104～步驟s116與上述的步驟s14～步驟s26相同，所以省略說(shuō)明。

照相機(jī)控制部100將所生成的合成圖像實(shí)時(shí)取景顯示在顯示部85上(步驟s118)。照相機(jī)控制部100判斷是否打開(kāi)了動(dòng)態(tài)圖像拍攝(步驟s120)。在按下操作部45所包含的動(dòng)態(tài)圖像按鈕后，照相機(jī)控制部100打開(kāi)動(dòng)態(tài)圖像拍攝。

在判斷為打開(kāi)了動(dòng)態(tài)圖像拍攝后(步驟s120的“是”)，照相機(jī)控制部100將合成圖像作為動(dòng)態(tài)圖像，記錄在記錄介質(zhì)75中(步驟s122)。照相機(jī)控制部100判斷是否通過(guò)動(dòng)態(tài)圖像按鈕的操作結(jié)束了動(dòng)態(tài)圖像拍攝(步驟s124)，在判定為結(jié)束了動(dòng)態(tài)圖像拍攝后(步驟s124的“是”)，結(jié)束拍攝。

在判斷為未打開(kāi)動(dòng)態(tài)圖像拍攝后(步驟s120的“否”)，照相機(jī)控制部100判斷是否進(jìn)行了設(shè)定變更(步驟s126)。設(shè)定變更是對(duì)焦包圍攝影的條件的變更，且是變焦倍率(焦距)或被對(duì)焦的被攝體的變更等。

在判斷為未進(jìn)行設(shè)定變更后(步驟s126的“否”)，照相機(jī)控制部100返回到步驟s104。在判斷為進(jìn)行了設(shè)定變更后(步驟s126的“是”)，照相機(jī)控制部100返回到步驟s102。此外，在判斷為動(dòng)態(tài)圖像拍攝未結(jié)束后(步驟s124的“否”)，照相機(jī)控制部100進(jìn)入到步驟s126。

〈實(shí)施方式的效果〉

在以往的對(duì)焦包圍攝影中，校正由于焦點(diǎn)位置的差而產(chǎn)生的各個(gè)構(gòu)成圖像的倍率變動(dòng)(δf、δd)，將使被攝體尺寸(像高)一致的圖像合成，生成了合成圖像。但是，通過(guò)倍率變動(dòng)的校正，由于圖像尺寸(視場(chǎng)角)分別發(fā)生偏差，合成尺寸不同的圖像，合成圖像的周邊部的畫(huà)質(zhì)有可能發(fā)生劣化。

因此，在本實(shí)施方式中，以相同的尺寸(視場(chǎng)角)從進(jìn)行了倍率變動(dòng)校正的圖像中剪切圖像，對(duì)剪切出的尺寸相同的圖像進(jìn)行合成。由此，能夠取得不存在周邊部的畫(huà)質(zhì)劣化的合成圖像。

此外，在本實(shí)施方式中，以倍率校正值α成為最小的構(gòu)成圖像、即最小尺寸(視場(chǎng)角)的構(gòu)成圖像為基準(zhǔn)來(lái)確定為剪切區(qū)域，所以能夠防止生成在周邊部不存在像素?cái)?shù)據(jù)的圖像。

此外，在剪切區(qū)域確定時(shí)，從選擇中排除了高頻成分低的構(gòu)成圖像，所以能夠防止重要度低的圖像成為合成圖像尺寸的基準(zhǔn)的狀況。這是因?yàn)槟軌驅(qū)⒏哳l成分低的構(gòu)成圖像估計(jì)為重要度低的圖像。

此外，如果設(shè)為在剪切區(qū)域確定時(shí)，從選擇中排除倍率校正值為規(guī)定值以下的構(gòu)成圖像，則能夠防止合成圖像的尺寸變得過(guò)小。

此外，在本實(shí)施方式中，由于各個(gè)構(gòu)成圖像的失真(畸變像差)也被校正，所以能夠獲得畸變像差少的合成圖像。

綜上所述，根據(jù)本實(shí)施方式的圖像合成處理裝置，能夠取得清晰地表現(xiàn)了各個(gè)被攝體且畫(huà)面的周邊部也自然地完成的、景深較深的合成圖像。

〈實(shí)施方式的變形例〉

在本實(shí)施方式中說(shuō)明了在拍攝時(shí)對(duì)拍攝出的構(gòu)成圖像進(jìn)行倍率校正或剪切處理等并生成合成圖像的例子，但是也可以將拍攝出的構(gòu)成圖像臨時(shí)存儲(chǔ)在記錄介質(zhì)75中，在攝影后進(jìn)行倍率校正或剪切處理等并生成合成圖像。即，圖像合成處理裝置不僅是如照相機(jī)那樣的攝影裝置，還可以搭載于圖像再現(xiàn)裝置或具有圖像處理功能的信息處理裝置等上。并且，如果是攝影后的圖像合成，則與攝影時(shí)的圖像合成相比，允許減慢處理時(shí)間。

此外，在本實(shí)施方式中說(shuō)明了依次對(duì)倍率校正值計(jì)算(步驟s14)、yc顯影(步驟s18)、失真校正(步驟s20)、倍率校正(步驟s20)進(jìn)行處理，但是這些處理的順序是任意的。例如，可以在yc顯影以前的raw數(shù)據(jù)的階段進(jìn)行失真校正或倍率校正。

此外，yc顯影部32、失真校正部150和倍率校正部160的各個(gè)處理部中的各個(gè)構(gòu)成圖像的處理可以通過(guò)上述處理部對(duì)構(gòu)成圖像逐張依次進(jìn)行處理，也可以是按照每個(gè)上述處理部集中處理全部構(gòu)成圖像的方法。

照相機(jī)控制部100可以不是由微型計(jì)算機(jī)40實(shí)現(xiàn)的軟件處理，而是一部分或全部是硬件結(jié)構(gòu)。同樣，倍率計(jì)算部110、剪切區(qū)域確定部120、高頻檢測(cè)部122、失真校正部150、倍率校正部160和圖像數(shù)據(jù)合成部170的各個(gè)部也可以是一部或全部由硬件構(gòu)成。

另外，能夠通過(guò)上述實(shí)施方式公開(kāi)的多個(gè)結(jié)構(gòu)要素的適當(dāng)組合形成各種發(fā)明。此外，能夠通過(guò)上述實(shí)施方式公開(kāi)的多個(gè)結(jié)構(gòu)要素的適當(dāng)組合形成各種發(fā)明。例如，可以適當(dāng)組合實(shí)施方式示出的所有結(jié)構(gòu)要素。并且，可以適當(dāng)組合不同實(shí)施方式的結(jié)構(gòu)要素。當(dāng)然能夠在不脫離這樣的發(fā)明主旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。