圖像處理裝置以及圖像處理方法
【專(zhuān)利摘要】本發(fā)明的課題在于提供整體上成為鮮明的圖像的全焦點(diǎn)圖像。攝像裝置(1)具備：攝像圖像獲取部(52)、合成順序決定部(53)、以及圖像合成部(54)。攝像圖像獲取部(52)在多個(gè)對(duì)焦位置上拍攝而獲取多個(gè)攝像圖像的數(shù)據(jù)。合成順序決定部(53)針對(duì)由攝像圖像獲取部(52)獲取的多個(gè)攝像圖像的數(shù)據(jù)，將與對(duì)焦距離的遠(yuǎn)近的順序以及拍攝的順序均不同的、由攝像部(16)拍攝的圖像的順序決定為合成的順序。圖像合成部(54)以由合成順序決定部(53)決定的順序來(lái)對(duì)由攝像部(16)拍攝到的多個(gè)攝像圖像進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
【專(zhuān)利說(shuō)明】圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及能提供整體上鮮明的全焦點(diǎn)圖像(an omnifocal image)的圖像處理裝置以及圖像處理方法。
【背景技術(shù)】
[0002]從以往，攝像裝置在對(duì)合焦于從后方起至前方為止的各被攝體的全體的圖像(以下，稱(chēng)為“全焦點(diǎn)圖像”。)進(jìn)行攝像的情況下，使用了超深度鏡頭(通稱(chēng)“蟲(chóng)眼鏡頭”(thebug' s-eye lens))這樣的特殊的鏡頭。
[0003]然而，蟲(chóng)眼鏡頭因全長(zhǎng)非常長(zhǎng)，因此攜帶不便。
[0004]故在日本特開(kāi)2007-282152號(hào)公報(bào)中公開(kāi)了如下技術(shù):搭載了通常的鏡頭的攝像裝置通過(guò)一次的快門(mén)操作，來(lái)在多個(gè)對(duì)焦位置上幾乎同時(shí)拍攝同一構(gòu)圖的被攝體，并對(duì)作為結(jié)果所得到的多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0005]然而，在上述先行技術(shù)中，因?qū)刮恢枚嬖谟谖春辖沟那熬盎虮尘爸械奈矬w的光學(xué)像成為模糊了的狀態(tài)，從而光學(xué)像擴(kuò)散，擴(kuò)散了的光學(xué)像的輪廓部分中有時(shí)會(huì)產(chǎn)生本來(lái)不存在的假的邊緣。故而，作為整體的邊緣強(qiáng)度將因合成的順序而不同，從而變得難以得到鮮明的全焦點(diǎn)圖像。

【發(fā)明內(nèi)容】

[0006]本發(fā)明鑒于這樣的狀況而提出，其目的在于，提供整體上鮮明的全焦點(diǎn)圖像。
[0007]本發(fā)明的第I觀(guān)點(diǎn)所涉及的圖像處理裝置是一種圖像處理裝置，其特征在于，具備:圖像獲取部，其獲取在多個(gè)對(duì)焦位置上所拍攝的多個(gè)攝像圖像的數(shù)據(jù)；順序決定部，其針對(duì)多個(gè)攝像圖像的數(shù)據(jù)，將與對(duì)焦距離的遠(yuǎn)近的順序不同的順序決定為合成的順序；以及合成部，其以由所述順序決定部決定的順序來(lái)對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0008]本發(fā)明的第2觀(guān)點(diǎn)所涉及的圖像處理方法是一種攝像處理方法，其特征在于，包括:圖像獲取步驟，獲取在多個(gè)對(duì)焦位置上所拍攝的多個(gè)攝像圖像的數(shù)據(jù)；順序決定步驟，針對(duì)多個(gè)攝像圖像的數(shù)據(jù)，將與對(duì)焦距離的遠(yuǎn)近的順序不同的順序決定為合成的順序；以及合成步驟，以由所述順序決定步驟的處理所決定的順序來(lái)對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0009]根據(jù)本發(fā)明，能提供整體上鮮明的全焦點(diǎn)圖像。
[0010]上述以及進(jìn)一步的本發(fā)明的對(duì)象和新特征將通過(guò)以下結(jié)合了附圖的具體的描述而全面呈現(xiàn)。但應(yīng)該明確的是，附圖只是用來(lái)闡述，并不是為了對(duì)本發(fā)明進(jìn)行限定。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1是用于說(shuō)明全焦點(diǎn)圖像的示意圖。
[0012]圖2是示意性地表示本發(fā)明的全焦點(diǎn)圖像的數(shù)據(jù)的生成手法的概念的圖。[0013]圖3是示意性地說(shuō)明合成順序變更手法的概要的圖。
[0014]圖4是表示本發(fā)明的一實(shí)施方式所涉及的攝像裝置的硬件的構(gòu)成的框圖。
[0015]圖5是表示圖4的攝像裝置的功能性的構(gòu)成當(dāng)中用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性的構(gòu)成的功能框圖。
[0016]圖6是表示圖5的攝像裝置的功能性的構(gòu)成當(dāng)中合成順序決定部以及圖像合成部的功能性的構(gòu)成的細(xì)節(jié)的功能框圖。
[0017]圖7是表示合成順序變更手法的一例的示意圖。
[0018]圖8是說(shuō)明具有圖5的功能性的構(gòu)成的圖1的攝像裝置所執(zhí)行的全焦點(diǎn)圖像生成處理的流程的流程圖。
[0019]圖9是說(shuō)明圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S2的合成順序決定處理的詳細(xì)的流程的流程圖。
[0020]圖10是針對(duì)圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S4的圖像合成處理的詳細(xì)的流程進(jìn)行說(shuō)明的流程圖。
[0021]圖11是針對(duì)圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S5的合成圖像判別處理的詳細(xì)的流程進(jìn)行說(shuō)明的流程圖。
【具體實(shí)施方式】
[0022]首先，在說(shuō)明本發(fā)明的實(shí)施方式前，針對(duì)由本發(fā)明提供的全焦點(diǎn)圖像進(jìn)行說(shuō)明。
[0023]此外，全焦點(diǎn)圖像不一定是指完全在全焦點(diǎn)區(qū)域中合焦的圖像，還包含通過(guò)人類(lèi)的眼睛進(jìn)行觀(guān)察而判斷為在全焦點(diǎn)區(qū)域中充分合焦的圖像。
[0024]圖1是用于說(shuō)明全焦點(diǎn)圖像的示意圖。
[0025]圖像ga是從背后接近位于“石頭”之上的“甲殼蟲(chóng)”，以該“甲殼蟲(chóng)”以及“石頭”作為主要被攝體，還包含縱深的背景在內(nèi)進(jìn)行拍攝而得到的結(jié)果。即，圖1示出了圖像ga來(lái)作為包含接近了的主要被攝體以及背景在內(nèi)的圖像的例子。
[0026]圖像ga是通常的微距拍攝而在近前的主要被攝體即“甲殼蟲(chóng)”和“石頭”處合焦的圖像。即，在圖像ga中，近前的主要被攝體合焦而鮮明，但縱深背景例如“建筑物”未合焦從而成為模糊不鮮明的狀態(tài)。
[0027]與此相對(duì)，圖像gb是通過(guò)對(duì)以與圖像ga相同的構(gòu)圖所拍攝到的多個(gè)攝像圖像進(jìn)行合成而得到的全焦點(diǎn)圖像。即，圖1中示出了圖像gb來(lái)作為包含接近了的主要被攝體以及背景在內(nèi)的全焦點(diǎn)圖像的例子。圖像gb是在主要被攝體即“甲殼蟲(chóng)”以及“石頭”、以及它們的縱深的背景的兩者合焦了的圖像。圖像gb成為被攝景深較深、在能使近前的主要被攝體非常鮮明地被拍攝的同時(shí)采用還在背景處合焦的“蟲(chóng)眼鏡頭”進(jìn)行拍攝的情況那樣的圖像。
[0028]圖像gc是從與地面上的主要被攝體即“花瓣”和“石頭”為同一視點(diǎn)的地面附近拍攝而得到的。即，圖1示出了圖像gc，在近前有主要被攝體即“石頭”、從近前起到縱深的寬范圍中鋪滿(mǎn)了主要被攝體即“花瓣”，是作為這樣的構(gòu)圖所拍攝到的圖像的例子。
[0029]圖像gc是進(jìn)行了通常的拍攝，成為在遠(yuǎn)處的主要被攝體即“花瓣”或“建筑物”處合焦、而在近前的主要被攝體即“花瓣”和“石頭”處未合焦的圖像。
[0030]與此相對(duì)，圖像gd是通過(guò)對(duì)按照與圖像gc相同的構(gòu)圖所拍攝到的多個(gè)攝像圖像進(jìn)行合成而得到的全焦點(diǎn)圖像。即，圖1示出了圖像gd，作為近前的主要被攝體即“石頭”、以及從近前起到縱深的寬范圍中鋪滿(mǎn)了主要被攝體即“花瓣”的構(gòu)圖的全焦點(diǎn)圖像的例子。
[0031]圖像gd是在從近前的主要被攝體即“石頭”或“花瓣”起至縱深所鋪滿(mǎn)的主要被攝體即“花瓣”或“建筑物”處全部合焦了的圖像。圖像gd通過(guò)在拍攝中使被攝景深較深，從而成為即使是從近距離起至遠(yuǎn)距離為止合焦的、所謂的“泛焦”也不能得到的被攝景深以上的圖像。
[0032]另外，作為其他的全焦點(diǎn)圖像的例子，例如，在利用遠(yuǎn)近效應(yīng)按照成為與遠(yuǎn)處的尺寸較大的主要被攝體大致相同的比例尺那樣的構(gòu)圖來(lái)對(duì)近前側(cè)的尺寸較小的主要被攝體進(jìn)行了拍攝的情況下，創(chuàng)造出與通常的圖像不同的效果。
[0033]具體而言，列舉按照遠(yuǎn)處的主要被攝體即“建筑物”小于近前的主要被攝體即“模型”那樣的構(gòu)圖來(lái)進(jìn)行了拍攝的情況。
[0034]以這樣的構(gòu)圖攝像的圖像在通常的圖像的情況下成為在近前的主要被攝體即“模型”處合焦、而在主要被攝體即“模型”的遠(yuǎn)處的主要被攝體即“建筑物”處未合焦的圖像。這樣的圖像會(huì)成為由于僅近前的“模型”鮮明可見(jiàn)因此可知是近前的主要被攝體即“模型”的圖像。[0035]與此相對(duì)，相同的構(gòu)圖的全焦點(diǎn)圖像是在近前的主要被攝體即“模型”以及遠(yuǎn)處的主要被攝體的“建筑物”處合焦的、幻視藝術(shù)(trick art)那樣的與實(shí)際的尺寸不同的視覺(jué)效果的圖像。即，這樣的全合焦圖像成為使近前的尺寸較小的主要被攝體即“模型”看起來(lái)比遠(yuǎn)處的尺寸較大的主要被攝體即“建筑物”要大那樣的錯(cuò)覺(jué)產(chǎn)生的圖像。
[0036]如以上說(shuō)明那樣的，對(duì)于例如能創(chuàng)造出以蟲(chóng)眼鏡頭所拍攝出的一類(lèi)圖像、成為作為超深度的泛焦以上的被攝景深的圖像、以及幻視藝術(shù)那樣的圖像等的圖像的效果的全焦點(diǎn)圖像，通過(guò)應(yīng)用后述的本發(fā)明的實(shí)施方式，不使用特殊的鏡頭等就能容易地提供。
[0037]接下來(lái)，參照?qǐng)D2以及圖3來(lái)說(shuō)明本發(fā)明的概要。
[0038]在此，為了與全焦點(diǎn)圖像相區(qū)別，將由攝像裝置I攝像的圖像本身稱(chēng)為“攝像圖像”。
[0039]圖2是示意性地表示本發(fā)明的全焦點(diǎn)圖像的數(shù)據(jù)的生成手法的概念的圖。
[0040]如后所述，作為本發(fā)明的一實(shí)施方式，存在攝像裝置I。該攝像裝置I在按照相同的構(gòu)圖使焦點(diǎn)偏移的同時(shí)進(jìn)行n次(n為2以上的整數(shù)值)攝像。由此，將得到多張攝像圖像P1，? ? ^Pn的各數(shù)據(jù)。于是，攝像裝置I通過(guò)對(duì)這多張攝像圖像P1，? ? ^Pn的各數(shù)據(jù)進(jìn)行合成，來(lái)生成全焦點(diǎn)圖像Pg的數(shù)據(jù)。
[0041]在此，即使應(yīng)用將多張攝像圖像P1，? ? ?，Pn以攝像順序進(jìn)行合成來(lái)生成的現(xiàn)有的手法，也能得到全焦點(diǎn)圖像Pg的數(shù)據(jù)。
[0042]然而，若應(yīng)用這樣的現(xiàn)有的手法，則存在會(huì)對(duì)有假邊緣的圖像的區(qū)域進(jìn)行合成的可能性，從而存在如下風(fēng)險(xiǎn):即，作為全焦點(diǎn)圖像Pg，將得到整體上邊緣未起效的不鮮明的圖像，即，在整個(gè)被攝體未合焦的圖像的數(shù)據(jù)。
[0043]為此，在應(yīng)用了本發(fā)明的攝像裝置I中合成多張攝像圖像P1，? ? ?，Pn之際，應(yīng)用了將其合成順序不設(shè)為拍攝順序而變更為在整個(gè)被攝體合焦那樣的順序的手法(以下，稱(chēng)為“合成順序變更手法”。)。
[0044]圖3是示意地說(shuō)明合成順序變更手法的概要的圖。[0045]在圖3中，正方形示出了由攝像裝置I攝像的I張圖像。在此，圖像內(nèi)的字母不指被攝體，而指的是表示拍攝的順序(攝像順序)的符號(hào)。而且，設(shè)在圖3中從上方朝著下方執(zhí)行了處理。
[0046]即，圖3的最上部示出了，攝像裝置I將攝像圖像A，B，0 ? ?以該順序攝像完畢了的階段的狀態(tài)。[0047]攝像裝置I如圖3所示，通過(guò)在將多張攝像圖像A，B，C ? ? ?的各數(shù)據(jù)重排成與攝像順序不同的順序的同時(shí)逐次合成，來(lái)生成全焦點(diǎn)圖像(圖3中最下部，描畫(huà)為了“A⑶B”的圖像)的數(shù)據(jù)。
[0048]如此得到的全焦點(diǎn)圖像與對(duì)存在假邊緣的區(qū)域進(jìn)行了合成后得到的邊緣失效的現(xiàn)有的全焦點(diǎn)圖像不同，成為在全部的被攝體處合焦了的全焦點(diǎn)圖像。
[0049]多張攝像圖像的數(shù)據(jù)重排的決定手法通過(guò)與各拍攝像素的對(duì)焦距離的遠(yuǎn)近的順序以及攝像順序的任一者均不同的條件來(lái)決定，以此為特征，在本實(shí)施方式中應(yīng)用了如下手法。即，首先，從多個(gè)攝像圖像的數(shù)據(jù)之中決定成為合成的基準(zhǔn)的圖像(以下，稱(chēng)為“基準(zhǔn)圖像”。)的數(shù)據(jù)。然后，基于除此以外的攝像圖像的數(shù)據(jù)的各數(shù)據(jù)、與基準(zhǔn)圖像的對(duì)焦位置的差異，來(lái)決定合成順序。
[0050]通過(guò)以這樣的順序進(jìn)行合成，能防止在基準(zhǔn)圖像中合焦了的主要被攝體的邊緣強(qiáng)度的下降。
[0051]本手法的進(jìn)一步的細(xì)節(jié)，特別是合成順序的決定與對(duì)焦位置的關(guān)系將后述。
[0052]具體地，例如以圖3的例子而言，以攝像順序所排列的、攝像圖像A、B、C、D的圖像組遵照本手法而重排成攝像圖像A、C、D、B這樣順序的圖像組。
[0053]然后，對(duì)重排后的攝像圖像的數(shù)據(jù)進(jìn)行逐次合成。在此，“逐次合成”不是指將圖像組中全部的攝像圖像的數(shù)據(jù)同時(shí)進(jìn)行合成，而是指將圖像組中的一部分的攝像圖像的數(shù)據(jù)彼此進(jìn)行了合成后，將合成圖像的數(shù)據(jù)、與剩余的一部分的攝像圖像的數(shù)據(jù)彼此進(jìn)行合成，反復(fù)這樣的處理，從而依次一個(gè)個(gè)地合成多個(gè)攝像圖像的數(shù)據(jù)。
[0054]具體地，例如以圖3的例子而言，執(zhí)行如下一系列的處理來(lái)作為逐次合成。即，重排成攝像圖像A、C、D、B的順序的圖像組當(dāng)中，首先，對(duì)攝像圖像A與攝像圖像C的各數(shù)據(jù)進(jìn)行合成，來(lái)生成合成圖像AC的數(shù)據(jù)。接下來(lái)，對(duì)該合成圖像AC與合成圖像D的各數(shù)據(jù)進(jìn)行合成，來(lái)生成圖像ACD的數(shù)據(jù)。最后，對(duì)該合成圖像ACD與攝像圖像B進(jìn)行合成，來(lái)生成作為全焦點(diǎn)圖像的合成圖像A⑶B的數(shù)據(jù)。
[0055]通過(guò)應(yīng)用以上說(shuō)明那樣的本手法，不需要將成為合成對(duì)象的攝像圖像的全部的數(shù)據(jù)一下子展開(kāi)在存儲(chǔ)器中，從而能削減存儲(chǔ)器的存儲(chǔ)容量。另外，通過(guò)應(yīng)用本手法，來(lái)進(jìn)行攝像圖像的各數(shù)據(jù)的逐次合成，其結(jié)果，邊緣部分逐漸擴(kuò)張地生成合成圖像。由此，較之于現(xiàn)有那樣同時(shí)合成了全圖像的數(shù)據(jù)的情況，能提高合成圖像的位置校準(zhǔn)的精度和沒(méi)有假邊緣的區(qū)域的合成的頻率。
[0056]以下，參照?qǐng)D4以后的附圖來(lái)說(shuō)明應(yīng)用了這樣的本手法的攝像裝置1，即，本發(fā)明的一實(shí)施方式所涉及的攝像裝置I。
[0057]圖4是表示本發(fā)明的一實(shí)施方式所涉及的攝像裝置I的硬件的構(gòu)成的框圖。
[0058]攝像裝置I例如構(gòu)成為數(shù)碼相機(jī)。
[0059]攝像裝置I 具備:CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12>RAM (Random Access Memory) 13、總線(xiàn)14、輸入輸出接口 15、攝像部16、輸入部17、輸出部
18、存儲(chǔ)部19、通信部20、以及驅(qū)動(dòng)器21。
[0060]CPUll遵照R0M12中所記錄的程序、或從存儲(chǔ)部19加載至RAM13中的程序來(lái)執(zhí)行各種處理。
[0061]RAM13之中適當(dāng)存儲(chǔ)有CPUll執(zhí)行各種處理所需的數(shù)據(jù)等。
[0062]CPU1UR0M12以及RAM13經(jīng)由總線(xiàn)14而相互連接。與該總線(xiàn)14另外還連接有輸入輸出接口 15。對(duì)輸入輸出接口 15連接有:攝像部16、輸入部17、輸出部18、存儲(chǔ)部19、通信部20、以及驅(qū)動(dòng)器21。
[0063]攝像部16具備:光學(xué)透鏡部41、圖像傳感器42、以及透鏡驅(qū)動(dòng)部43。
[0064]光學(xué)透鏡部41為了拍攝被攝體，由對(duì)焦透鏡或變焦透鏡等各種透鏡構(gòu)成。
[0065]對(duì)焦透鏡由后述的透鏡驅(qū)動(dòng)部43進(jìn)行驅(qū)動(dòng)，是使被攝體的像成像于后述的圖像傳感器42的受光面的透鏡。變焦透鏡是使焦距在一定的范圍內(nèi)自由變化的透鏡。
[0066]圖像傳感器42由光電變換元件、或AFE (Analog Front End)等構(gòu)成。
[0067]光電變換兀件例如由CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件等構(gòu)成。被攝體像從光學(xué)透鏡部41入射至光電變換元件。于是，光電變換元件對(duì)被攝體像進(jìn)行光電變換(攝像)并將圖像信號(hào)蓄積一定時(shí)間，且將蓄積的圖像信號(hào)作為模擬信號(hào)依次提供給AFE。
[0068]AFE對(duì)于該模擬的圖像信號(hào)執(zhí)行A/D (模擬/數(shù)字)變換處理等各種信號(hào)處理。AFE通過(guò)各種信號(hào)處理而生成數(shù)字信號(hào)，且作為攝像部16的輸出信號(hào)進(jìn)行輸出。這樣的攝像部16的輸出信號(hào)成為攝像圖像的數(shù)據(jù)。攝像圖像的數(shù)據(jù)被適當(dāng)提供給CPUll等。另外，對(duì)于攝像圖像的數(shù)據(jù)，作為元數(shù)據(jù)，附加進(jìn)行了攝像的順序的信息、以及在進(jìn)行了攝像的時(shí)間點(diǎn)上的對(duì)焦位置的信息。此外，以下，只要無(wú)特殊需要，將附加了元數(shù)據(jù)后的攝像圖像的數(shù)據(jù)僅稱(chēng)為“攝像圖像的數(shù)據(jù)”。
[0069]透鏡驅(qū)動(dòng)部43基于CPUll所執(zhí)行的AF(Aut0 Focus)處理的結(jié)果，使光學(xué)透鏡部41的對(duì)焦透鏡進(jìn)行驅(qū)動(dòng)，且使對(duì)焦位置變化，從而使合焦于給定的被攝體。
[0070]在具有這樣的對(duì)焦的機(jī)構(gòu)的攝像裝置I中，能實(shí)現(xiàn)拍攝最短距離側(cè)方向即合焦于近前側(cè)的被攝體的拍攝、以及無(wú)限遠(yuǎn)方向即將不需要焦距調(diào)節(jié)那么遠(yuǎn)的距離的對(duì)象作為被攝體的拍攝。
[0071]另外，透鏡驅(qū)動(dòng)部43進(jìn)行驅(qū)動(dòng)，能夠在使得對(duì)焦位置從通過(guò)AF處理而決定的位置起變化的同時(shí)，依次進(jìn)行對(duì)焦位置不同的攝像即后述的“對(duì)焦包圍(focus bracketing)拍攝”。具體而言，透鏡驅(qū)動(dòng)部43例如能驅(qū)動(dòng)對(duì)焦透鏡，使得對(duì)焦位置在從通過(guò)AF處理而決定的位置起移動(dòng)至了最短距離側(cè)后，移動(dòng)至無(wú)限遠(yuǎn)側(cè)。另外，透鏡驅(qū)動(dòng)部43能驅(qū)動(dòng)對(duì)焦透鏡，使得對(duì)焦位置在從所決定的位置起移動(dòng)至了無(wú)限遠(yuǎn)側(cè)后，移動(dòng)至最短距離側(cè)。另外，透鏡驅(qū)動(dòng)部43能進(jìn)行驅(qū)動(dòng)，以便按照使從所決定的對(duì)焦位置起最短距離側(cè)或無(wú)限遠(yuǎn)側(cè)當(dāng)中對(duì)焦透鏡的移動(dòng)量(透鏡驅(qū)動(dòng)部43的驅(qū)動(dòng)量)較少的一者優(yōu)先的順序來(lái)進(jìn)行攝像。另外，透鏡驅(qū)動(dòng)部43能夠從所決定的對(duì)焦位置起按照無(wú)限遠(yuǎn)、其他的位置的順序來(lái)進(jìn)行拍攝。也就是，透鏡驅(qū)動(dòng)部43能依次進(jìn)行驅(qū)動(dòng)以便成為已設(shè)定的對(duì)焦位置。
[0072]輸入部17由各種按鈕等構(gòu)成，并按照用戶(hù)的指示操作來(lái)輸入各種信息。
[0073]輸出部18由顯示器或揚(yáng)聲器等構(gòu)成，對(duì)圖像或聲音進(jìn)行輸出。[0074]存儲(chǔ)部19由硬盤(pán)或DRAM (Dynamic Random Access Memory)等構(gòu)成，存儲(chǔ)各種圖像的數(shù)據(jù)。
[0075]通信部20對(duì)經(jīng)由包含互聯(lián)網(wǎng)在內(nèi)的網(wǎng)絡(luò)與其他的裝置(未圖示)之間的通信進(jìn)行控制。
[0076]在驅(qū)動(dòng)器21中適當(dāng)安裝有由磁盤(pán)、光盤(pán)、光磁盤(pán)、或半導(dǎo)體存儲(chǔ)器等構(gòu)成的可移動(dòng)介質(zhì)31。由驅(qū)動(dòng)器21從可移動(dòng)介質(zhì)31讀出的程序根據(jù)需要被安裝至存儲(chǔ)部19。另外，可移動(dòng)介質(zhì)31能將存儲(chǔ)部19中所存儲(chǔ)的圖像的數(shù)據(jù)等的各種數(shù)據(jù)也與存儲(chǔ)部19同樣地進(jìn)行存儲(chǔ)。
[0077]接下來(lái)，針對(duì)攝像裝置I的功能性的構(gòu)成當(dāng)中用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性的構(gòu)成進(jìn)行說(shuō)明。
[0078]“全焦點(diǎn)圖像生成處理”是指，至對(duì)焦點(diǎn)不同的多張攝像圖像的數(shù)據(jù)進(jìn)行合成來(lái)生成全焦點(diǎn)圖像的數(shù)據(jù)并進(jìn)行輸出為止的一系列的處理。
[0079]圖5是表示攝像裝置I的功能性的構(gòu)成當(dāng)中用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性的構(gòu)成的功能框圖。
[0080]在攝像裝置I執(zhí)行全焦點(diǎn)圖像生成處理的情況下，在CPUll中，攝像控制部51、攝像圖像獲取部52、合成順序決定部53、圖像合成部54、以及輸出控制部55發(fā)揮功能。
[0081]另外，作為存儲(chǔ)部19的一區(qū)域，設(shè)有攝像圖像存儲(chǔ)部71、以及合成圖像存儲(chǔ)部72。
[0082]攝像圖像存儲(chǔ)部71對(duì)從攝像部16輸出的攝像圖像的數(shù)據(jù)進(jìn)行存儲(chǔ)。
[0083]合成圖像存儲(chǔ)部72對(duì)由圖像合成部54合成后的全焦點(diǎn)圖像的數(shù)據(jù)進(jìn)行存儲(chǔ)。
[0084]攝像控制部51基于來(lái)自輸入部17的攝像所涉及的指示，對(duì)包含透鏡驅(qū)動(dòng)部43等在內(nèi)的攝像部16中的攝像進(jìn)行控制。具體而言，攝像控制部51對(duì)包含透鏡驅(qū)動(dòng)部43等在內(nèi)的攝像部16進(jìn)行控制，以便進(jìn)行對(duì)焦包圍拍攝。
[0085]“對(duì)焦包圍拍攝”是指，僅按壓一次輸入部17的釋放按鈕，就在合焦于任意的被攝體處的位置(給定的對(duì)焦位置)、以及對(duì)透鏡驅(qū)動(dòng)部43進(jìn)行驅(qū)動(dòng)調(diào)整使焦點(diǎn)偏移至了其前后的位置(從給定的對(duì)焦位置偏移后的對(duì)焦位置)的各個(gè)位置上對(duì)多張攝像圖像進(jìn)行連拍的手法。
[0086]攝像圖像獲取部52獲取從攝像部16輸出的攝像圖像的數(shù)據(jù)。
[0087]具體而言，攝像圖像獲取部52獲取以下數(shù)據(jù):即，通過(guò)對(duì)焦包圍拍攝而從攝像部16依次輸出的多個(gè)攝像圖像的數(shù)據(jù)即在合焦于用戶(hù)任意決定的主要被攝體處的位置上所攝像的攝像圖像(以下，稱(chēng)為“主要被攝體合焦圖像”。)的數(shù)據(jù)、以及將焦點(diǎn)從該位置偏移至了前后的位置所攝像的多張攝像圖像的數(shù)據(jù)。
[0088]在本實(shí)施方式中，攝像圖像獲取部52獲取I張主要被攝體合焦圖像、以及將焦點(diǎn)位置從該位置分別偏移至了前后的4個(gè)位置所攝像的4張攝像圖像的總共5張攝像圖像的數(shù)據(jù)。
[0089]在此情況下，攝像圖像獲取部52將多個(gè)攝像圖像的數(shù)據(jù)按照以攝像順序進(jìn)行存儲(chǔ)的方式輸出至攝像圖像存儲(chǔ)部71。
[0090]合成順序決定部53基于由攝像圖像獲取部52獲取到的多個(gè)攝像圖像的數(shù)據(jù)，來(lái)執(zhí)行合成順序決定處理。
[0091]“合成順序決定處理”是指，為了生成精度高的全焦點(diǎn)圖像的數(shù)據(jù)，基于針對(duì)所獲取的多個(gè)攝像圖像的數(shù)據(jù)的攝像順序以及對(duì)焦位置來(lái)決定合成的順序的一系列的處理。
[0092]另外，合成順序決定部53將合成的順序中最早的順序的攝像圖像的數(shù)據(jù)決定為基準(zhǔn)圖像的數(shù)據(jù)。
[0093]圖像合成部54遵照由合成順序決定部53決定的合成的順序，來(lái)逐次合成由攝像圖像獲取部52獲取的多個(gè)攝像圖像的數(shù)據(jù)。具體而言，圖像合成部54對(duì)合成I張攝像圖像的數(shù)據(jù)與I張攝像圖像的數(shù)據(jù)、并對(duì)作為其結(jié)果而生成的合成圖像的數(shù)據(jù)進(jìn)一步合成另外I張攝像圖像的數(shù)據(jù)的處理進(jìn)行反復(fù)，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。圖像合成部54使全焦點(diǎn)圖像的數(shù)據(jù)存儲(chǔ)至合成圖像存儲(chǔ)部72。
[0094]圖像合成部54在逐次合成的過(guò)程中，判別攝像圖像的數(shù)據(jù)是否為適于合成的數(shù)據(jù)，即，是否適合于生成全焦點(diǎn)圖像的數(shù)據(jù)，并從逐次合成的對(duì)象之中排除不恰當(dāng)?shù)臄z像圖像的數(shù)據(jù)。
[0095]另外，圖像合成部54在生成了全焦點(diǎn)圖像的數(shù)據(jù)后，判別該全焦點(diǎn)圖像是否恰當(dāng)，若不恰當(dāng)，則禁止作為全焦點(diǎn)圖像的數(shù)據(jù)而存儲(chǔ)至合成圖像存儲(chǔ)部72。
[0096]關(guān)于圖像合成部54中的具體的數(shù)據(jù)的適合與否的判別將后述。
[0097]輸出控制部55進(jìn)行控制，使得從輸出部18顯示輸出由圖像合成部54生成的全焦點(diǎn)圖像的數(shù)據(jù)。
[0098]具體而言，輸出控制部55在由圖像合成部54判別為作為全焦點(diǎn)圖像的數(shù)據(jù)是適合的情況下，進(jìn)行控制，使得讀出合成圖像存儲(chǔ)部72中所存儲(chǔ)的全焦點(diǎn)圖像的數(shù)據(jù)，并使該全焦點(diǎn)圖像顯示于輸出部18的顯示部中。
[0099]此外，在因?yàn)橛蓤D像合成部54生成的全焦點(diǎn)圖像的數(shù)據(jù)不恰當(dāng)從而禁止了向合成圖像存儲(chǔ)部72的存儲(chǔ)的情況下，輸出控制部55進(jìn)行控制，使得從輸出部18顯示輸出攝像圖像存儲(chǔ)部71中所存儲(chǔ)的多個(gè)攝像圖像的數(shù)據(jù)當(dāng)中的給定的I個(gè)，例如基準(zhǔn)圖像的數(shù)據(jù)。
[0100]進(jìn)而，以下說(shuō)明合成順序決定部53以及圖像合成部54的功能性的構(gòu)成的細(xì)節(jié)。
[0101]圖6是表示圖5的攝像裝置I的功能性的構(gòu)成當(dāng)中合成順序決定部53以及圖像合成部54的功能性的構(gòu)成的細(xì)節(jié)的功能框圖。
[0102]在執(zhí)行合成順序決定處理的情況下，在CPUll的合成順序決定部53中，第I順序決定部91、第2順序決定部92、第3順序決定部93、以及第4順序決定部94發(fā)揮功能。
[0103]第I順序決定部91在已獲取的多個(gè)攝像圖像的數(shù)據(jù)中決定第I順序。
[0104]“第I順序”是指，對(duì)于在用戶(hù)任意決定的對(duì)焦位置上攝像的攝像圖像的數(shù)據(jù)即主要被攝體合焦圖像的數(shù)據(jù)來(lái)決定的順序。在此，第K順序(K是I以上的整數(shù)值，在此I至4當(dāng)中的任一整數(shù)值)是指，對(duì)于第K個(gè)合成的攝像圖像的組，包含該組內(nèi)的多個(gè)圖像的合成順序在內(nèi)的順序。
[0105]在本實(shí)施方式中，攝像裝置I為了以自動(dòng)對(duì)焦的方式來(lái)進(jìn)行攝像，第I順序決定部91對(duì)于最初所攝像的攝像圖像(主要被攝體合焦圖像)的數(shù)據(jù)決定圖像合成的第I順序。此外，在用戶(hù)操作輸入部17(圖4)來(lái)手動(dòng)對(duì)焦的情況下，主要被攝體合焦圖像的數(shù)據(jù)是用戶(hù)任意決定的，該數(shù)據(jù)變?yōu)榈贗順序。
[0106]第2順序決定部92在已獲取的多個(gè)攝像圖像的數(shù)據(jù)中決定第2順序。
[0107]“第2順序”是指，對(duì)于在比以第I順序所決定的主要被攝體合焦圖像的數(shù)據(jù)更靠近前處合焦了的多個(gè)或單個(gè)攝像圖像的數(shù)據(jù)所決定的順序。即，“第2順序”是對(duì)于對(duì)焦位置的值比以第I順序所決定的主要被攝體合焦圖像的數(shù)據(jù)更高(近)的攝像圖像的數(shù)據(jù)來(lái)決定的順序。
[0108]第2順序決定部92對(duì)于被決定為第2順序的圖像的數(shù)據(jù)，按照距離第I順序的主要被攝體合焦圖像的焦點(diǎn)由近及遠(yuǎn)的順序，來(lái)決定第2個(gè)以后的順序。
[0109]第3順序決定部93在已獲取的多個(gè)攝像圖像的數(shù)據(jù)中決定第3順序。
[0110]“第3順序”是指，對(duì)于在比以第I順序所決定的主要被攝體合焦圖像的數(shù)據(jù)更深處合焦了的多個(gè)或單個(gè)攝像圖像的數(shù)據(jù)來(lái)決定的順序。即，“第3順序”是對(duì)焦位置的值比以第I順序所決定的攝像圖像的數(shù)據(jù)更低(遠(yuǎn))的攝像圖像的數(shù)據(jù)來(lái)決定的順序。
[0111]第3順序決定部93對(duì)于被決定為第3順序的攝像圖像的數(shù)據(jù)，按照距離第I順序的圖像的焦點(diǎn)由近及遠(yuǎn)的順序，來(lái)決定以第2順序所決定的順序以后的順序。第3順序決定部93例如在以第2順序所決定的順序是第3個(gè)的情況下，決定第3個(gè)以后的順序。
[0112]第4順序決定部94在已獲取的多個(gè)攝像圖像的數(shù)據(jù)中決定第4順序。
[0113]“第4順序”是指，被決定為在已獲取的多個(gè)攝像圖像的數(shù)據(jù)當(dāng)中以無(wú)限遠(yuǎn)所攝像的攝像圖像的順序。即，“第4順序”是被決定為對(duì)焦位置的值最低的(最遠(yuǎn)的)攝像圖像的數(shù)據(jù)的順序。第4順序決定部94例如在以第3順序所決定的順序是第6個(gè)的情況下，決定最后合成的第7個(gè)的順序。
[0114]接下來(lái)，說(shuō)明合成順序變更手法的具體例。
[0115]圖7是表示合成順序變更手法的一例的示意圖。
[0116]在圖7的例子中，攝像裝置I首先以自動(dòng)對(duì)焦來(lái)對(duì)I張攝像圖像進(jìn)行攝像，其后，在不同對(duì)焦位置上進(jìn)行6張攝像圖像的攝像，由此對(duì)總共7張攝像圖像進(jìn)行攝像。
[0117]在此情況下，對(duì)于攝像圖像的數(shù)據(jù)，與攝像順序一致地，賦予攝像圖像Img_capt[0]至Img_capt[6]的名稱(chēng)的各名稱(chēng)。
[0118]在此，各攝像圖像的數(shù)據(jù)的對(duì)焦位置分別如下。即，在攝像圖像lmg_capt[0]的情況下對(duì)焦位置成為“40”。在攝像圖像Img_capt[l]的情況下對(duì)焦位置成為“20”，在攝像圖像Img_capt[2]的情況下對(duì)焦位置成為“30”,在攝像圖像Img_capt[3]的情況下對(duì)焦位置成為“0”,在攝像圖像Img_capt[4]的情況下對(duì)焦位置成為“50”,在攝像圖像Img_capt[5]的情況下對(duì)焦位置成為“70”，在攝像圖像Img_capt[6]的情況下對(duì)焦位置成為“90”。
[0119]關(guān)于對(duì)焦位置的值，在合焦于最近前的情況下，對(duì)焦位置為“100”，隨著逐漸向深處合焦，值下降，最終在無(wú)限遠(yuǎn)處，對(duì)焦位置成為“O”。
[0120]對(duì)于這樣的攝像圖像lmg_capt[0]至Img_capt[6]的數(shù)據(jù),合成順序決定部53進(jìn)行合成順序的決定。
[0121]第I順序決定部91將攝像順序最早的攝像圖像lmg_capt[0]的數(shù)據(jù)決定為第I順序(第I個(gè))。
[0122]第2順序決定部92將對(duì)焦位置的值比第I順序的攝像圖像lmg_capt[0]的對(duì)焦位置“40”更高(近)的攝像圖像的數(shù)據(jù)決定為第2順序。即，在圖7的例子中，第2順序決定部92將攝像圖像Img_capt [4](對(duì)焦位置“50”)、攝像圖像Img_capt[5](對(duì)焦位置“70”)、攝像圖像1!1^_(^^6](對(duì)焦位置“90”)的各數(shù)據(jù)分別設(shè)為第2順序。然后，第2順序決定部92，作為第2順序的多個(gè)攝像圖像的數(shù)據(jù)的個(gè)別順序，按照相對(duì)于第I順序的攝像圖像lmg_capt[0]的對(duì)焦位置“40”，對(duì)焦位置的值由近及遠(yuǎn)的順序，來(lái)決定順序。S卩，第2順序決定部92將攝像圖像Img_capt[4](對(duì)焦位置“50”)的數(shù)據(jù)設(shè)為第2個(gè)，將攝像圖像Img_capt[5](對(duì)焦位置“70”)的數(shù)據(jù)設(shè)為第3個(gè)，將攝像圖像Img_capt [6](對(duì)焦位置“90”)的數(shù)據(jù)設(shè)為第4個(gè)，以此方式來(lái)分別決定順序。
[0123]第3順序決定部93將對(duì)焦位置的值比第I順序的攝像圖像Img_capt [0](對(duì)焦位置“40”)的數(shù)據(jù)更低(遠(yuǎn))的攝像圖像的數(shù)據(jù)決定為第3順序。即，在圖7的例子中，第3順序決定部93將攝像圖像Img_capt[l](對(duì)焦位置“20”)、攝像圖像Img_capt[2](對(duì)焦位置“30”)的各數(shù)據(jù)分別設(shè)為第3順序。然后，第3順序決定部93，作為第3順序的多個(gè)攝像圖像的數(shù)據(jù)的個(gè)別順序，按照相對(duì)于第I順序的攝像圖像Img_capt [0]的對(duì)焦位置“40”，對(duì)焦位置的值由近及遠(yuǎn)的順序，來(lái)決定順序。即，第3順序決定部93將攝像圖像Img_capt[2](對(duì)焦位置“30”)的數(shù)據(jù)設(shè)為第5個(gè)，將攝像圖像Img_capt[l](對(duì)焦位置“20”)的數(shù)據(jù)設(shè)為第6個(gè)，以此方式來(lái)分別決定順序。
[0124]第4順序決定部94將成為最遠(yuǎn)的無(wú)限遠(yuǎn)的攝像圖像Img_capt[l](對(duì)焦位置“0”)的數(shù)據(jù)決定為第4順序。第4順序決定部94將攝像圖像Img_capt[l]的數(shù)據(jù)設(shè)為第7個(gè)。
[0125]返回至圖6，在攝像裝置I執(zhí)行圖像合成處理的情況下，在CPUll的圖像合成部54中，位置校準(zhǔn)部111、合成圖(MAP)創(chuàng)建部112、a混合部113、合成圖像判別部114、以及判別結(jié)果輸出部115發(fā)揮功能。
[0126]位置校準(zhǔn)部111與由合成順序決定部53決定的合成順序建立對(duì)應(yīng)地，進(jìn)行合成對(duì)象的攝像圖像的各數(shù)據(jù)的位置校準(zhǔn)。
[0127]具體而言，首先，位置校準(zhǔn)部111進(jìn)行由合成順序決定部53決定為第I個(gè)的主要被攝體合焦圖像即攝像圖像、與第2個(gè)的攝像圖像的各數(shù)據(jù)的位置校準(zhǔn)。此時(shí)，位置校準(zhǔn)部111通過(guò)判別合成時(shí)的位置偏移是否超過(guò)了預(yù)先設(shè)定的閾值來(lái)判別合成是否已成功。另外，位置校準(zhǔn)部111在不能進(jìn)行位置校準(zhǔn)的情況下，使用以下順序的攝像圖像的數(shù)據(jù)來(lái)進(jìn)行位置校準(zhǔn)。
[0128]合成圖創(chuàng)建部112根據(jù)進(jìn)行了位置校準(zhǔn)后的攝像圖像或合成圖像的各數(shù)據(jù)的邊緣強(qiáng)度的分布來(lái)創(chuàng)建合成圖。在本實(shí)施方式中，作為合成圖，采用使攝像圖像的被攝景深分布化了的所謂的深度圖(depth map)。
[0129]具體而言，合成圖創(chuàng)建部112根據(jù)由合成順序決定部53決定為第I個(gè)的主要被攝體合焦圖像即攝像圖像、以及進(jìn)行了位置校準(zhǔn)后的攝像圖像的各數(shù)據(jù)的邊緣強(qiáng)度的分布，來(lái)創(chuàng)建合成圖。此時(shí)，合成圖創(chuàng)建部112根據(jù)合成圖來(lái)判別對(duì)運(yùn)動(dòng)體的有無(wú)進(jìn)行合成的面積等，從而判別合成的適合與否。具體而言，合成圖創(chuàng)建部112在有運(yùn)動(dòng)體的情況下或合成的面積極少等情況下，不將成為了合成圖的生成對(duì)象的攝像圖像或合成圖像采用為下一合成對(duì)象，并通知給位置校準(zhǔn)部111。如此，位置校準(zhǔn)部111再次進(jìn)行下一順序的攝像圖像的位置校準(zhǔn)，因此合成圖創(chuàng)建部112再次制作合成圖。
[0130]a混合部113進(jìn)行所謂的a混合，即遵照基于這些合成圖所求取的系數(shù)(阿爾法值)來(lái)對(duì)作為合成的基礎(chǔ)的攝像圖像或合成圖像、以及經(jīng)位置校準(zhǔn)后的攝像圖像的各數(shù)據(jù)進(jìn)行半透明合成。
[0131]具體而言，a混合部113通過(guò)針對(duì)由合成順序決定部53決定為第I個(gè)的主要被攝體合焦圖像即攝像圖像、以及進(jìn)行了位置校準(zhǔn)后的攝像圖像的各數(shù)據(jù)進(jìn)行a混合，來(lái)生成合成圖像的數(shù)據(jù)。
[0132]其后，前次生成的合成圖像的數(shù)據(jù)、以及下一順序的攝像圖像的數(shù)據(jù)成為合成對(duì)象，以該順序執(zhí)行位置校準(zhǔn)部111、合成圖創(chuàng)建部112、以及a混合部113各自的上述的處理，來(lái)生成新的合成圖像的數(shù)據(jù)。
[0133]S卩，將位置校準(zhǔn)部111、合成圖創(chuàng)建部112、以及a混合部113各自的上述的處理作為一系列的處理，通過(guò)反復(fù)執(zhí)行該一系列的處理來(lái)進(jìn)行逐次合成。
[0134]合成圖像判別部114判別作為逐次合成的結(jié)果而最終生成的全焦點(diǎn)圖像的數(shù)據(jù)是否恰當(dāng)。在本實(shí)施方式中，合成圖像判別部114基于是否合成了無(wú)限遠(yuǎn)的攝像圖像、以及是否以給定的張數(shù)以上的張數(shù)來(lái)構(gòu)成了合成圖像，來(lái)進(jìn)行該判別。
[0135]判別結(jié)果輸出部115對(duì)合成圖像判別部114所執(zhí)行的圖像合成的適合與否的判別結(jié)果進(jìn)行輸出。
[0136]接下來(lái)，針對(duì)具有這樣的功能性的構(gòu)成的攝像裝置I所執(zhí)行的全焦點(diǎn)圖像生成處理的流程進(jìn)行說(shuō)明。
[0137]圖8是說(shuō)明具有圖5的功能性的構(gòu)成的圖4的攝像裝置I所執(zhí)行的全焦點(diǎn)圖像生成處理的流程的流程圖。
[0138]全焦點(diǎn)圖像生成處理是指，至從對(duì)焦位置不同的多張攝像圖像的數(shù)據(jù)生成全焦點(diǎn)圖像的數(shù)據(jù)為止的一系列的處理。
[0139]全焦點(diǎn)圖像生成處理，在用戶(hù)使用輸入部17進(jìn)行了執(zhí)行全焦點(diǎn)圖像生成處理的給定的操作的情況下，以該操作為契機(jī)開(kāi)始。
[0140]在步驟SI中，攝像控制部51控制攝像部16來(lái)進(jìn)行攝像處理(對(duì)焦包圍拍攝)。即，攝像控制部51進(jìn)行控制，使得攝像部16分別在不同的對(duì)焦位置上對(duì)多張攝像圖像進(jìn)行攝像。攝像圖像獲取部52依次獲取從攝像部16逐次輸出的多張攝像圖像的數(shù)據(jù)并存儲(chǔ)至攝像圖像存儲(chǔ)部71。在本實(shí)施方式中，攝像圖像獲取部52將依次獲取在用戶(hù)任意決定的被攝體處合焦了的位置上所攝像的I張攝像圖像、以及將焦點(diǎn)位置從合焦位置偏移至了前后的位置而攝像的多張攝像圖像的6張總共7張攝像圖像的數(shù)據(jù)。
[0141]在步驟S2中，合成順序決定部53進(jìn)行合成順序決定處理。
[0142]“合成順序決定處理”是指，對(duì)于步驟SI中所攝像的攝像圖像的數(shù)據(jù)組來(lái)決定攝像圖像進(jìn)行合成的順序的一系列的處理。
[0143]在步驟S3中，合成順序決定部53作為基準(zhǔn)圖像而拷貝至輸出圖像保存存儲(chǔ)器即Img_0ut。具體而言，合成順序決定部53將在用戶(hù)任意決定的被攝體處合焦了的位置上所攝像的攝像圖像(主要被攝體合焦圖像)決定為基準(zhǔn)圖像，而且將復(fù)制了該基準(zhǔn)圖像的數(shù)據(jù)后的圖像保存至給定的輸出圖像保存存儲(chǔ)器(在本實(shí)施方式中為Img_0ut)。
[0144]在步驟S4中，圖像合成部54進(jìn)行圖像合成處理。
[0145]“圖像合成處理”是指，基于步驟S2的合成順序決定處理中所決定的合成順序，進(jìn)行攝像圖像的各數(shù)據(jù)的逐次合成，直至生成合成圖像的數(shù)據(jù)為止的一系列的處理。
[0146]在步驟S5中，合成圖像判別部114進(jìn)行合成圖像判別處理。
[0147]“合成圖像判別處理”是指，判別步驟S4的圖像合成處理中所生成的全焦點(diǎn)圖像的數(shù)據(jù)是否恰當(dāng)?shù)囊幌盗械奶幚怼?br> [0148]在步驟S6中，輸出控制部55判斷合成是否已成功。具體而言，輸出控制部55判斷在步驟S5的合成圖像判別處理中攝像圖像的各數(shù)據(jù)的合成是否已成功。
[0149]在判斷為攝像圖像的各數(shù)據(jù)的合成失敗了的情況下，在步驟S6中判斷為“否”，處理前進(jìn)至步驟S7。
[0150]在步驟S7中，輸出控制部55進(jìn)行輸出圖像的設(shè)定。具體而言，由于判斷為在步驟S5中攝像圖像的各數(shù)據(jù)的合成失敗了，因此全焦點(diǎn)圖像的數(shù)據(jù)不恰當(dāng)，因此輸出控制部55取而代之地將基準(zhǔn)圖像設(shè)定為顯示對(duì)象。由此，處理前進(jìn)至步驟S8。
[0151]與此相對(duì)，在判斷為攝像圖像的合成已成功的情況下，在步驟S6中判斷為“是”，處理前進(jìn)至步驟S8。
[0152]在步驟S8中，輸出控制部55使輸出圖像的數(shù)據(jù)從輸出部18顯示輸出。
[0153]接下來(lái)，說(shuō)明圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S2的合成順序決定處理的詳細(xì)的流程。
[0154]圖9是說(shuō)明圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S2的合成順序決定處理的詳細(xì)的流程的流程圖。
[0155]在步驟S21中，第I順序決定部91基于拍攝順序以及對(duì)焦位置的信息來(lái)決定圖像合成中的第I順序。
[0156]如圖7的例子所示，第I順序決定部91將攝像順序?yàn)榈贗個(gè)的Img_capt [0]決定為第I順序的圖像。
[0157]在步驟S22中，第2順序決定部92基于拍攝順序以及對(duì)焦位置的信息來(lái)決定圖像合成中的第2順序。
[0158]如圖7的例子所示，第2順序決定部92將Img_capt[4](對(duì)焦位置“50”)設(shè)為第2個(gè)，將Img_capt[5](對(duì)焦位置“70”)設(shè)為第3個(gè)，并將Img_capt[6](對(duì)焦位置“90”)設(shè)為第4個(gè)。
[0159]在步驟S23中，第3順序決定部93基于拍攝順序以及對(duì)焦位置的信息來(lái)決定圖像合成中的第3順序。
[0160]如圖7的例子所示，第3順序決定部93將Img_capt[2](對(duì)焦位置“30”)設(shè)為第5個(gè)，并將Img_capt[l](對(duì)焦位置“20”)設(shè)為第6個(gè)。
[0161]在步驟S24中，第4順序決定部94基于拍攝順序以及對(duì)焦位置的信息來(lái)決定圖像合成中的第4順序。
[0162]如圖7的例子所示，第4順序決定部94將Img_capt[3]設(shè)為第7個(gè)。
[0163]其后，合成順序決定處理結(jié)束。
[0164]接下來(lái)，針對(duì)圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S4的圖像合成處理的詳細(xì)的流程進(jìn)行說(shuō)明。
[0165]圖10是針對(duì)圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S4的圖像合成處理的詳細(xì)的流程進(jìn)行說(shuō)明的流程圖。
[0166]在步驟S51中，圖像合成部54使合成的順序的圖像(Img[i])在給定的存儲(chǔ)器區(qū)域中顯影。
[0167]在步驟S52中，位置校準(zhǔn)部111在輸出圖像保存存儲(chǔ)器(Img_out)中所展開(kāi)的基準(zhǔn)圖像(或合成圖像)、與合成的順序的圖像(Img[i])之間進(jìn)行位置校準(zhǔn)。
[0168]也就是，計(jì)算各圖像的每個(gè)像素的特征點(diǎn)，利用該特征點(diǎn)來(lái)進(jìn)行位置校準(zhǔn)。此外，計(jì)算來(lái)自像素的特征點(diǎn)的具體的方法是周知的，故省略。
[0169]在步驟S53中，位置校準(zhǔn)部111判別在基準(zhǔn)圖像(或合成后的圖像)與合成的順序的圖像(Img[i])之間位置校準(zhǔn)是否已成功。具體而言，位置校準(zhǔn)部111通過(guò)判別合成時(shí)的位置偏移是否超過(guò)了預(yù)先設(shè)定的閾值來(lái)判別合成是否已成功。
[0170]在判別為位置校準(zhǔn)失敗了的情況下，在步驟S53中判斷為“否”，處理返回至步驟S51，并反復(fù)從此起以后的處理。
[0171]在判別為位置校準(zhǔn)已成功的情況下，在步驟S53中判斷為“是”，處理前進(jìn)至步驟S54。
[0172]在步驟S54中，位置校準(zhǔn)部111將合成的順序的圖像的位置變更為步驟S53中位置校準(zhǔn)后的位置，來(lái)生成圖像(Img[i]’)。
[0173]在步驟S55中，合成圖創(chuàng)建部112在進(jìn)行了位置校準(zhǔn)后，根據(jù)Img_out和Img[I] ’的2個(gè)圖像的邊緣強(qiáng)度的分布來(lái)創(chuàng)建合成圖(在本實(shí)施方式中為深度圖)。
[0174]合成圖是將被攝體區(qū)域設(shè)為了 255、且將非被攝體區(qū)域設(shè)為了 0的多值的MAP。通過(guò)在合焦于被攝體區(qū)域的圖像和合焦于非被攝體區(qū)域的圖像中，按每個(gè)像素來(lái)比較邊緣強(qiáng)度，并根據(jù)該邊緣比較結(jié)果的空間密度分布來(lái)計(jì)算似然度(在此為被攝體區(qū)域可能性)，從而能生成該合成圖。
[0175]在步驟S56中，合成圖創(chuàng)建部112判別合成圖的創(chuàng)建是否已成功。即，合成圖創(chuàng)建部112根據(jù)已創(chuàng)建的合成圖來(lái)判別運(yùn)動(dòng)體的有無(wú)或合成的面積等，從而判別合成的適合與否。具體而言，合成圖創(chuàng)建部112在有運(yùn)動(dòng)體的情況下或合成的面積極少等情況下不作為合成的圖像進(jìn)行采用，從下一順序的圖像的位置校準(zhǔn)起執(zhí)行。
[0176]在判別為合成圖的創(chuàng)建失敗了的情況下，在步驟S56中判斷為“否”，處理返回至步驟S51，并反復(fù)從此起以后的處理。
[0177]在判別為合成圖的創(chuàng)建已成功的情況下，在步驟S56中判斷為“是”，處理前進(jìn)至步驟S57。
[0178]在步驟S57中，合成圖創(chuàng)建部112通過(guò)對(duì)焦位置來(lái)調(diào)整合成圖。
[0179]調(diào)整方法是通過(guò)根據(jù)AF位置與拍攝對(duì)焦位置的關(guān)系求取要合成的圖像的重要度并對(duì)合成圖加權(quán)(例如,增益)來(lái)進(jìn)行的。
[0180]合成圖’=合成圖X [與重要度相應(yīng)的增益]
[0181]在步驟S58中，a混合部113使用合成圖，按每個(gè)像素通過(guò)a混合對(duì)輸出圖像保存存儲(chǔ)器的Img_out中展開(kāi)的圖像、以及Img[i]’的圖像進(jìn)行合成。
[0182]也就是，在各圖像合成中，盡量進(jìn)行使主要被攝體的邊緣強(qiáng)度不下降那樣的合成，因此越是主要被攝體可能性高的像素，越進(jìn)行使Img_0ut的合成比率變高那樣的合成。
[0183]在步驟S59中，圖像合成部54以混合后的值對(duì)輸出圖像保存存儲(chǔ)器的Img_0ut進(jìn)行更新。其結(jié)果，將對(duì)全焦點(diǎn)圖像的數(shù)據(jù)進(jìn)行合成。
[0184]在步驟S60中，圖像合成部54判別處理是否在全部的圖像中已結(jié)束。
[0185]在判別為處理在全部的圖像中還未結(jié)束的情況下，在步驟S60中判斷為“否”，處理返回至步驟S51，并反復(fù)從此起以后的處理。
[0186]在判別為處理在全部的圖像中已結(jié)束的情況下，在步驟S60中判斷為“是”，圖像合成處理結(jié)束。[0187]接下來(lái)，針對(duì)圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S5的合成圖像判別處理的詳細(xì)的流程進(jìn)行說(shuō)明。
[0188]圖11是說(shuō)明圖8的全焦點(diǎn)圖像生成處理當(dāng)中步驟S5的合成圖像判別處理的詳細(xì)的流程的流程圖。
[0189]在步驟S81中，合成圖像判別部114判別是否能合成一定張數(shù)以上的圖像。合成圖像判別部114例如判別是否以已獲取的圖像的張數(shù)的半數(shù)以上的張數(shù)進(jìn)行了合成。用于判別的張數(shù)是按照使用的透鏡的被攝景深來(lái)設(shè)定的。在被攝景深較深的情況下，可以將張數(shù)設(shè)定得少，而在被攝景深較淺的情況下，將張數(shù)設(shè)定得多。
[0190]在判別為不能合成一定張數(shù)以上的圖像的情況下，在步驟S81中判斷為“否”，處理前進(jìn)至步驟S83。關(guān)于步驟S83將后述。
[0191]在判別為能合成一定張數(shù)以上的圖像的情況下，步驟S81中判斷為“是”，處理前進(jìn)至步驟S82。
[0192]在步驟S82中，合成圖像判別部114判別為全焦點(diǎn)圖像中的合成已成功。S卩，全焦點(diǎn)圖像中的合成的成功表示生成了I張合成圖像。
[0193]在步驟S83中，合成圖像判別部114判別為全焦點(diǎn)圖像中的合成失敗了。
[0194]在步驟S84中，判別結(jié)果輸出部115輸出步驟S82或步驟S83的合成結(jié)果的判別。其后，合成圖像判別處理結(jié)束。
[0195]根據(jù)以上那樣的攝像裝置1，具備:透鏡驅(qū)動(dòng)部43、攝像部16、攝像圖像獲取部52、合成順序決定部53、以及圖像合成部54。該攝像裝置I對(duì)使對(duì)焦位置移動(dòng)而拍攝的多張圖像進(jìn)行合成。
[0196]透鏡驅(qū)動(dòng)部43變更對(duì)焦位置。
[0197]攝像部16在多個(gè)對(duì)焦位置上進(jìn)行拍攝。
[0198]攝像圖像獲取部52獲取在多個(gè)對(duì)焦位置上拍攝而得到的多個(gè)攝像圖像的數(shù)據(jù)。
[0199]合成順序決定部53針對(duì)由攝像圖像獲取部52獲取的多個(gè)攝像圖像的數(shù)據(jù)，來(lái)決定與對(duì)焦距離的遠(yuǎn)近的順序以及拍攝的順序均不同的、由攝像部16拍攝的圖像的合成的順序。
[0200]圖像合成部54以由合成順序決定部53決定的順序來(lái)對(duì)由攝像部16拍攝的多個(gè)攝像圖像進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0201]因此，在攝像裝置I中，以由合成順序決定部53決定的順序來(lái)對(duì)由攝像部16拍攝的多個(gè)攝像圖像進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0202]由此，在攝像裝置I中，能生成成為整體上鮮明的圖像的全焦點(diǎn)圖像。
[0203]合成順序決定部53確定成為圖像合成部54的合成的基準(zhǔn)的基準(zhǔn)圖像。
[0204]因此，在攝像裝置I中，例如，通過(guò)將反映了用戶(hù)的意思的圖像確定為基準(zhǔn)圖像，能實(shí)現(xiàn)以用戶(hù)有意圖攝像的被攝體為基準(zhǔn)的合成，能生成以基準(zhǔn)圖像為中心而整體上更鮮明的全焦點(diǎn)圖像。
[0205]合成順序決定部53基于由攝像圖像獲取部52獲取的各拍攝像素的對(duì)焦位置與基準(zhǔn)圖像的對(duì)焦位置的關(guān)系，使合成的順序變化。
[0206]由此，在攝像裝置I中，通過(guò)決定對(duì)假的邊緣少的邊緣強(qiáng)度不同的攝像圖像進(jìn)行合成的順序，能生成整體上更鮮明的全焦點(diǎn)圖像。[0207]合成順序決定部53決定為以下順序，即，對(duì)離無(wú)限遠(yuǎn)最近的對(duì)焦位置上所拍攝的攝像圖像最后進(jìn)行合成。
[0208]由此，在攝像裝置I中，通過(guò)將假的邊緣少的邊緣強(qiáng)度最強(qiáng)的離無(wú)限遠(yuǎn)最近的對(duì)焦位置上所拍攝的攝像圖像最后合成，能生成整體上更鮮明的全焦點(diǎn)圖像。
[0209]合成順序決定部53以各拍攝像素的對(duì)焦位置為對(duì)象從基準(zhǔn)圖像的對(duì)焦位置起朝著攝像裝置I所具備的透鏡的拍攝最短距離側(cè)方向，接著從基準(zhǔn)圖像的對(duì)焦位置起朝著無(wú)限遠(yuǎn)方向，依次地決定攝像圖像的合成順序。
[0210]由此，在攝像裝置I中，通過(guò)從更后起合成假的邊緣少的邊緣強(qiáng)度強(qiáng)的攝像圖像，能生成整體上更鮮明的全焦點(diǎn)圖像。
[0211]圖像合成部54在對(duì)多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行位置校準(zhǔn)的同時(shí)進(jìn)行合成來(lái)生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0212]由此，即使在被攝體多少有些運(yùn)動(dòng)或抖動(dòng)等，也能生成整體上更鮮明的全焦點(diǎn)圖像。
[0213]另外，攝像裝置I具備:合成圖像判別部114、以及判別結(jié)果輸出部115。
[0214]合成圖像判別部114判別在離無(wú)限遠(yuǎn)最近的對(duì)焦位置上所拍攝的攝像圖像以外的合成是否已成功。
[0215]判別結(jié)果輸出部115按照由合成圖像判別部114判別的合成成功次數(shù)，來(lái)輸出合成是否已成功。
[0216]由此，在攝像裝置I中，即使是在離無(wú)限遠(yuǎn)最近的對(duì)焦位置上所拍攝的攝像圖像以外的合成，合成的次數(shù)也對(duì)合成結(jié)果影響大，因此能恰當(dāng)?shù)剡M(jìn)行有關(guān)合成是否已成功的判別。
[0217]位置校準(zhǔn)部111通過(guò)判別圖像合成部54所執(zhí)行的合成時(shí)的位置偏移是否超過(guò)了預(yù)先設(shè)定的閾值，來(lái)判別合成是否已成功。
[0218]由此，在攝像裝置I中，能以簡(jiǎn)單的方法來(lái)判別合成是否已成功。
[0219]位置校準(zhǔn)部111基于從進(jìn)行合成的攝像圖像所創(chuàng)建的深度圖，來(lái)判別合成是否已成功。
[0220]由此，在攝像裝置I中，能以簡(jiǎn)單的方法來(lái)判別合成是否已成功。
[0221]此外，本發(fā)明不限于上述的實(shí)施方式，能達(dá)成本發(fā)明的目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。
[0222]在上述的實(shí)施方式中，基于對(duì)焦位置將攝像順序變更為恰當(dāng)?shù)暮铣身樞騺?lái)生成了全焦點(diǎn)圖像，但不限于此。例如，在合成時(shí)可以不變更圖像的順序，而進(jìn)行攝像的控制，按照在拍攝時(shí)考慮了合成的對(duì)焦位置上執(zhí)行的方式來(lái)拍攝。
[0223]另外，在上述的實(shí)施方式中，在合成圖像判別處理中，進(jìn)行是否使用了無(wú)限遠(yuǎn)的圖像的判別、以及是否由給定張數(shù)的圖像構(gòu)成的判別，從而來(lái)進(jìn)行了合成圖像的適合與否的判別，但不限于此。例如，還可以從合成圖像的邊緣的強(qiáng)度等根據(jù)圖像中的被攝體的焦點(diǎn)的程度來(lái)判斷假邊緣的區(qū)域等，由此進(jìn)行合成圖像的適合與否的判別。
[0224]另外，在上述的實(shí)施方式中，通過(guò)a混合來(lái)進(jìn)行了圖像的合成，但不限于此。例如，關(guān)于圖像的合成，能合成2個(gè)圖像當(dāng)中合焦區(qū)域即可，能使用加法合成等各種手法。
[0225]另外，在上述的實(shí)施方式中，在拍攝多個(gè)對(duì)焦位置不同的攝像圖像后變更恰當(dāng)?shù)暮铣身樞騺?lái)進(jìn)行了合成，但也可以確定恰當(dāng)?shù)暮铣身樞蚝蠡谠摵铣身樞騺?lái)進(jìn)行拍攝。
[0226]關(guān)于在此情況下的拍攝順序，首先基于CPUll所執(zhí)行的AF處理的結(jié)果，在由透鏡驅(qū)動(dòng)部43對(duì)光學(xué)透鏡部41的對(duì)焦透鏡進(jìn)行了驅(qū)動(dòng)的、作為基準(zhǔn)的主要被攝體的對(duì)焦位置上進(jìn)行拍攝。接下來(lái)，從作為基準(zhǔn)的主要被攝體的對(duì)焦位置由透鏡驅(qū)動(dòng)部43使光學(xué)透鏡部41的對(duì)焦透鏡進(jìn)行驅(qū)動(dòng)，在拍攝最短距離側(cè)方向上使對(duì)焦位置移動(dòng)來(lái)依次地拍攝。接著，從作為基準(zhǔn)的對(duì)焦位置起朝著無(wú)限遠(yuǎn)方向依次地拍攝，最后在離無(wú)限遠(yuǎn)最近的對(duì)焦位置上進(jìn)行拍攝。在拍攝了多張圖像后的圖像合成處理或圖像合成判別處理這樣的相當(dāng)于圖8的步驟S4起以后的處理方法不作特別限定，但可以以上述的實(shí)施方式為標(biāo)準(zhǔn)。
[0227]另外，在上述的實(shí)施方式中，關(guān)于應(yīng)用本發(fā)明的攝像裝置1，以數(shù)碼相機(jī)為例進(jìn)行了說(shuō)明，但不對(duì)此作特別限定。另外，本發(fā)明還能應(yīng)用于不具有攝像的功能而基于在外部攝像出的圖像來(lái)進(jìn)行全焦點(diǎn)圖像生成處理的圖像處理裝置。
[0228]例如，本發(fā)明能廣泛應(yīng)用于具有全焦點(diǎn)圖像生成處理功能的電子設(shè)備。具體而言，例如，本發(fā)明能應(yīng)用于筆記本型的個(gè)人計(jì)算機(jī)、打印機(jī)、電視接收機(jī)、數(shù)碼攝像機(jī)、便攜式導(dǎo)航裝置、便攜式電話(huà)機(jī)、便攜游戲機(jī)等。
[0229]上述的一系列的處理既能通過(guò)硬件來(lái)執(zhí)行，也能通過(guò)軟件來(lái)執(zhí)行。
[0230]換言之，圖5的功能性的構(gòu)成只不過(guò)是例示，不作特別限定。即，在攝像裝置I中具備能將上述的一系列的處理作為整體執(zhí)行的功能即可，為了實(shí)現(xiàn)該功能而使用哪種功能塊不特別限定于圖5的例子。
[0231]另外，I個(gè)功能塊既可以以硬件單體來(lái)構(gòu)成，也可以以軟件單體來(lái)構(gòu)成，還可以以它們的組合來(lái)構(gòu)成。
[0232]在使軟件執(zhí)行一系列的處理的情況下，構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)安裝至計(jì)算機(jī)等。
[0233]計(jì)算機(jī)可以是嵌入至專(zhuān)用的硬件的計(jì)算機(jī)。另外，計(jì)算機(jī)可以是通過(guò)安裝各種程序而能執(zhí)行各種功能的計(jì)算機(jī)，例如通用的個(gè)人計(jì)算機(jī)。
[0234]包含這樣的程序的記錄介質(zhì)不僅可以由為了對(duì)用戶(hù)提供程序而與裝置本體單獨(dú)發(fā)行的圖4的可移動(dòng)介質(zhì)31構(gòu)成，還可以由以預(yù)先嵌入至裝置本體的狀態(tài)而提供給用戶(hù)的記錄介質(zhì)等構(gòu)成。可移動(dòng)介質(zhì)31例如由磁盤(pán)(包含軟盤(pán))、光盤(pán)或光磁盤(pán)等構(gòu)成。光盤(pán)例如由 CD-ROM (Compact Disk-Read Only Memory) > DVD (Digital Versatile Disk)等構(gòu)成。光磁盤(pán)由MD(Min1-Disk)等構(gòu)成。另外，以預(yù)先嵌入至裝置本體的狀態(tài)提供給用戶(hù)的記錄介質(zhì)例如由記錄有程序的圖4的R0M12、或圖4的存儲(chǔ)部19中所含的硬盤(pán)等構(gòu)成。
[0235]此外，在本說(shuō)明書(shū)中，關(guān)于對(duì)記錄介質(zhì)上所記錄的程序進(jìn)行表述的步驟，當(dāng)然包含沿該順序以時(shí)間序列所進(jìn)行的處理，但也不必一定是以時(shí)間序列進(jìn)行處理，還包含并行或單獨(dú)執(zhí)行的處理。
[0236]以上說(shuō)明了本發(fā)明的幾個(gè)實(shí)施方式，但這些實(shí)施方式只不過(guò)是例示，不是用來(lái)限定本發(fā)明的技術(shù)的范圍。本發(fā)明還能采取其他各種實(shí)施方式，進(jìn)而還能在不脫離本發(fā)明的主旨的范圍內(nèi)進(jìn)行省略或置換等各種變更。這些實(shí)施方式或其變形包含在本說(shuō)明書(shū)等中所記載的發(fā)明的范圍或主旨中，而且包含在與權(quán)利要求書(shū)中記載的發(fā)明同等的范圍內(nèi)。
[0237]雖然參照優(yōu)選的實(shí)施方式描述了本發(fā)明，但本發(fā)明不受這些描述的細(xì)節(jié)任何限定，本發(fā)明包含落在權(quán)利要求保護(hù)范圍內(nèi)的所有等價(jià)形式。
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，具備: 圖像獲取部，其獲取在多個(gè)對(duì)焦位置上拍攝的多個(gè)攝像圖像的數(shù)據(jù)； 順序決定部，其針對(duì)多個(gè)攝像圖像的數(shù)據(jù)，將與對(duì)焦距離的遠(yuǎn)近的順序不同的順序決定為合成的順序；以及 合成部，其以由所述順序決定部決定的順序來(lái)對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備: 基準(zhǔn)圖像確定部，其確定成為所述合成部進(jìn)行的合成的基準(zhǔn)的基準(zhǔn)圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述順序決定部基于由所述圖像獲取部獲取的各拍攝像素的對(duì)焦位置與所述基準(zhǔn)圖像的對(duì)焦位置的關(guān)系，來(lái)使所述合成的順序變化。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述順序決定部決定為以下順序，即，對(duì)在離無(wú)限遠(yuǎn)最近的對(duì)焦位置上拍攝到的攝像圖像最后進(jìn)行合成。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述順序決定部以各拍`攝像素的對(duì)焦位置為對(duì)象，從所述基準(zhǔn)圖像的對(duì)焦位置起朝著圖像處理裝置所具備的透鏡的拍攝最短距離側(cè)方向，接著從所述基準(zhǔn)圖像的對(duì)焦位置起朝著無(wú)限遠(yuǎn)方向，依次地決定所述攝像圖像的合成順序。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備: 控制部，其以由所述順序決定部決定的順序來(lái)進(jìn)行所述圖像獲取部所執(zhí)行的多個(gè)對(duì)焦位置上的圖像獲取的控制， 所述順序決定部還將所述合成部所執(zhí)行的合成的順序決定為由所述圖像獲取部獲取圖像的順序， 所述合成部以由所述順序決定部決定的順序來(lái)對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 還具備: 基準(zhǔn)對(duì)焦位置確定部，其確定在主要被攝體處合焦的對(duì)焦位置，來(lái)作為所述順序決定部所執(zhí)行的對(duì)拍攝的順序進(jìn)行決定的基準(zhǔn)。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述順序決定部決定為以下順序，即，對(duì)離無(wú)限遠(yuǎn)最近的對(duì)焦位置最后進(jìn)行拍攝。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述順序決定部從由所述基準(zhǔn)對(duì)焦位置確定部確定的基準(zhǔn)對(duì)焦位置起朝著攝像裝置所具備的透鏡的拍攝最短距離側(cè)方向，接著從所述基準(zhǔn)對(duì)焦位置起朝著無(wú)限遠(yuǎn)方向，依次地決定拍攝的順序。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述合成部在對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行位置校準(zhǔn)的同時(shí)進(jìn)行合成來(lái)生成全焦點(diǎn)圖像的數(shù)據(jù)。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備: 判別部，其還判別在離無(wú)限遠(yuǎn)最近的對(duì)焦位置上拍攝到的攝像圖像以外的合成是否已成功；以及 合成可否輸出部，其按照由所述判別部判別出的合成的成功次數(shù)，還輸出合成是否已成功。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于， 所述判別部通過(guò)判別所述合成部所執(zhí)行的合成時(shí)的位置偏移是否超過(guò)了預(yù)先設(shè)定的閾值，來(lái)判別合成是否已成功。
13.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于， 所述判別部基于根據(jù)進(jìn)行合成的攝像圖像所創(chuàng)建的深度圖，來(lái)判別合成是否已成功。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備: 對(duì)焦部，其變更所述對(duì)焦位置；以及 拍攝部，其在多個(gè)對(duì)焦位置上進(jìn)行拍攝。
15.一種圖像處理方法，其特征在于，包括: 圖像獲取步驟，獲取在多個(gè)對(duì)焦位置上拍攝的多個(gè)攝像圖像的數(shù)據(jù)； 順序決定步驟，針對(duì)多個(gè)攝像圖像的數(shù)據(jù)，將與對(duì)焦距離的遠(yuǎn)近的順序不同的順序決定為合成的順序；以及 合成步驟，以由所述順序決定步驟的處理決定的順序來(lái)對(duì)所述多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
【文檔編號(hào)】G03B13/36GK103533232SQ201310276324
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2013年7月3日 優(yōu)先權(quán)日:2012年7月5日
【發(fā)明者】松本康佑, 清水博 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社