所謂“校正判斷處理”，是指根據(jù)臉部的有無、連拍模式的設(shè)定有無、其它特殊情況的有無，來判斷是否進(jìn)行與被攝體的臉部的變形程度(以下稱為“臉部變形等級(jí)”)相應(yīng)的校正強(qiáng)度的設(shè)定的一系列的處理。
[0047]所謂“臉部變形解析處理”，是指基于獲取到的像高差，計(jì)算臉部變形等級(jí)，對(duì)多個(gè)臉部中最大的臉部的變形等級(jí)進(jìn)行解析并決定的一系列的處理?！澳槻孔冃谓馕鎏幚怼卑跋窀卟瞰@取處理”。
[0048]所謂“像高差獲取處理”，是指基于檢測(cè)到的多個(gè)眼睛的位置信息，來確定像高差的一系列的處理。所謂眼睛的位置信息，是包含眼睛在圖像中的坐標(biāo)值的信息和表示是眼睛的可能性的可靠度的信息(以下稱為“可靠性信息”)在內(nèi)的信息。
[0049]對(duì)于畸變校正處理而言，如圖3所示，在CPU11中，圖像獲取部51、變焦位置獲取部52、校正判斷處理部53、校正值設(shè)定部54、臉部變形解析處理部55、像高差獲取處理部56、校正前處理部57和圖像校正部58發(fā)揮作用。
[0050]此外，在存儲(chǔ)部19的一個(gè)區(qū)域，設(shè)定圖像存儲(chǔ)部71和校正信息存儲(chǔ)部72。
[0051]在圖像存儲(chǔ)部71中存儲(chǔ)從攝像部16、外部獲取到的圖像的數(shù)據(jù)和進(jìn)行了畸變校正的圖像(以下稱為“校正圖像”)。
[0052]在校正信息存儲(chǔ)部72中存儲(chǔ)用于校正所涉及的處理的信息(以下稱為“校正信息”)。在校正信息中包含例如表示與變焦位置的各級(jí)對(duì)應(yīng)的畸變校正的校正強(qiáng)度的校正值、與變焦位置(基于變焦位置而設(shè)定的校正值)對(duì)應(yīng)的校正的種類、與校正的種類相應(yīng)的臉部變形等級(jí)的校正強(qiáng)度的信息。
[0053]圖像獲取部51在畸變校正處理的執(zhí)行中，從圖像存儲(chǔ)部71獲取成為校正對(duì)象的圖像(以下也稱為“對(duì)象圖像”)。
[0054]變焦位置獲取部52在使用攝像圖像的情況下，獲取拍攝時(shí)的變焦的指示值，在使用從外部獲取的圖像的情況下，例如獲取存儲(chǔ)在圖像的頭部(header)等的變焦值。基于獲取到的變焦值，設(shè)定被存儲(chǔ)于校正信息存儲(chǔ)部72的校正值。此外，獲取到的變焦值也被用作是否是通過校正而容易出現(xiàn)瘦臉效果的狀態(tài)(透鏡特性)的判斷基準(zhǔn)。
[0055]校正判斷處理部53執(zhí)行校正判斷處理。
[0056]具體來講，由于在像高差獲取處理中需要眼睛的位置信息，因此校正判斷處理部53對(duì)是否在圖像中檢測(cè)到臉部進(jìn)行判斷。然后，在檢測(cè)到臉部的情況下，校正判斷處理部53成為進(jìn)行適應(yīng)性校正的判斷結(jié)果。
[0057]此外，校正判斷處理部53由于針對(duì)連拍得到的多個(gè)圖像的每個(gè)圖像使校正強(qiáng)度變化來應(yīng)用本發(fā)明的畸變校正處理，因而會(huì)導(dǎo)致各圖像的背景的變形情況不同，各圖像的一系列外觀的自然性破壞。為了避免這樣的狀況，校正判斷處理部53對(duì)多個(gè)圖像是否是以連拍模式所拍攝到的圖像進(jìn)行判斷，在是以連拍模式所拍攝到的圖像的情況下，設(shè)為不進(jìn)行適應(yīng)性校正的判斷結(jié)果，另一方面，在判斷為不是以連拍模式所拍攝到的圖像的情況下，成為進(jìn)行適應(yīng)性校正的判斷結(jié)果。
[0058]此外，校正判斷處理部53例如對(duì)是否是設(shè)定了用于特定的拍攝場(chǎng)景的拍攝模式等其它特殊的情況進(jìn)行判斷。校正判斷處理部53在沒有其它特殊的情況的情況下，成為進(jìn)行適應(yīng)性校正的判斷結(jié)果。
[0059]另外，校正判斷處理部53在校正判斷處理中，進(jìn)行圖像解析來檢測(cè)臉部，在檢測(cè)到該臉部的情況下獲取位置信息。
[0060]校正值設(shè)定部54參照校正信息存儲(chǔ)部72，讀出與由變焦位置獲取部52所獲取到的變焦位置對(duì)應(yīng)的畸變校正的校正值并進(jìn)行設(shè)定。
[0061]此外，校正值設(shè)定部54設(shè)定與由校正判斷處理部53所判斷出的結(jié)果相應(yīng)的校正值。此外，在由校正判斷處理部53判斷為進(jìn)行適應(yīng)性校正的情況下，校正值設(shè)定部54在進(jìn)行適應(yīng)性校正(詳細(xì)來講，減弱桶形(barrel)校正)時(shí)，作為桶形校正的結(jié)果，為了防止4角以外的視場(chǎng)角變窄，設(shè)定為預(yù)先將視場(chǎng)角擴(kuò)展到4角的照度等的不發(fā)生漸暈的界限。在通常的畸變校正中，為了防止由于畸變校正而包含漸暈部分，設(shè)為取較多空白部分的視場(chǎng)角，但在進(jìn)行適應(yīng)性校正(詳細(xì)來講，減弱桶形校正)時(shí)，與通常的畸變校正的情況相比會(huì)取較少的空白部分。
[0062]另外，所謂“桶形校正”是用于桶形的畸變像差的校正的方法，是對(duì)圖像的側(cè)邊鼓起的狀態(tài)的圖像按照校正該鼓起的方式進(jìn)行的校正。
[0063]臉部變形解析處理部55執(zhí)行臉部變形解析處理。
[0064]具體來講，臉部變形解析處理部55基于獲取到的雙眼的位置的像高差，計(jì)算臉部變形等級(jí)，將臉部變形等級(jí)的最大值設(shè)為解析結(jié)果。
[0065]將臉部變形等級(jí)的最大值設(shè)為解析結(jié)果是為了在有多個(gè)臉部的情況下，優(yōu)先適當(dāng)?shù)靥幚碜冃巫畲蟮哪槻俊?br>[0066]這里，對(duì)臉部變形等級(jí)的計(jì)算方法進(jìn)行說明。
[0067]“臉部變形等級(jí)”通過下式⑴來計(jì)算。
[0068]臉部變形等級(jí)=雙眼的像高差X系數(shù)IX距離圖像的中心坐標(biāo)較遠(yuǎn)的眼睛的像高X系數(shù)2...(1)
[0069]另外，“系數(shù)1”、“系數(shù)2”是與透鏡特性相應(yīng)地對(duì)臉部變形等級(jí)進(jìn)行調(diào)整的調(diào)整值，是基于與眼睛距離圖像中心的遠(yuǎn)近、眼睛的傾斜等相應(yīng)的透鏡特性而設(shè)定的調(diào)整值。
[0070]此外，“雙眼的像高差”基于通過下式(2)來求出的左右眼的像高，利用式(3)來計(jì)笪弁ο
[0071]眼睛的像高=(眼睛的位置-中心坐標(biāo))/(圖像對(duì)角長(zhǎng)/2) ---(2)
[0072]雙眼的像高差=|右眼像高-左眼像高|...(3)
[0073]像高差獲取處理部56執(zhí)行像高差獲取處理。
[0074]具體來講，像高差獲取處理部56獲取所檢測(cè)到的臉部的信息(臉部的位置信息以及可靠性信息)。在本實(shí)施方式中，在所檢測(cè)到的一個(gè)臉部中，檢測(cè)3個(gè)模式的眼睛的位置的候補(bǔ)。對(duì)所檢測(cè)到的眼睛的位置的候補(bǔ)分別賦予將可靠程度表示為值的可靠性信息。
[0075]此外，像高差獲取處理部56對(duì)可靠性最高的第1候補(bǔ)和可靠性次高的第2候補(bǔ)的可靠性的差進(jìn)行確認(rèn)(第1可靠性的確認(rèn))。此外，像高差獲取處理部56進(jìn)行眼睛的位置的可靠性的確認(rèn)(第2可靠性的確認(rèn))。
[0076]此外，像高差獲取處理部56基于獲取到的眼睛的位置信息，分別針對(duì)左右眼的位置，利用式(2)來獲取像高，利用式(3)來計(jì)算眼睛的像高差的值。
[0077]此外，像高差獲取處理部56將所計(jì)算出的像高差的值之中的最小值設(shè)為像高差。
[0078]校正前處理部57基于通過變焦位置獲取部52獲取到的變焦位置，來判斷要應(yīng)用的畸變校正的種類。
[0079]詳細(xì)來講，校正前處理部57參照校正信息存儲(chǔ)部72，來判斷與通過變焦位置獲取部52獲取到的變焦位置(在本實(shí)施方式中，是與變焦位置對(duì)應(yīng)設(shè)定的校正強(qiáng)度)對(duì)應(yīng)的要應(yīng)用的畸變校正的種類。
[0080]具體來講，在變焦位置是廣角側(cè)的情況下，成為小臉效果容易出現(xiàn)的透鏡特性，校正前處理部57判斷為要應(yīng)用桶形校正的畸變校正的種類。
[0081]與此相對(duì)，在變焦位置是變焦側(cè)的情況下，成為小臉效果不易出現(xiàn)的透鏡特性，校正前處理部57判斷為要應(yīng)用桶形以外的枕形校正等的畸變校正的種類。
[0082]另外，所謂“枕形(pincush1n)校正”是指用于枕形的畸變像差的校正的方法，是對(duì)圖像的側(cè)邊凹陷的狀態(tài)的圖像按照校正該凹陷的方式進(jìn)行的校正。
[0083]并且，校正前處理部57在將校正的種類判斷為桶形校正的情況下，根據(jù)臉部變形等級(jí)，執(zhí)行畸變校正強(qiáng)度抑制處理。
[0084]在畸變校正強(qiáng)度抑制處理中，在臉部變形等級(jí)是應(yīng)抑制變形的等級(jí)(臉部變形等級(jí)接近最大等級(jí)“255”，即，臉部變形等級(jí)是某個(gè)規(guī)定閾值以上)的情況下，進(jìn)行減弱畸變校正的處理。與此相對(duì)，在臉部變形等級(jí)是應(yīng)積極地進(jìn)行小臉效果的等級(jí)(臉部變形等級(jí)接近最小等級(jí)“0”，即，臉部變形等級(jí)小于某個(gè)規(guī)定閾值)的情況下，不進(jìn)行減弱畸變校正的處理或者進(jìn)行加強(qiáng)畸變校正的處理。另外，在臉部變形等級(jí)是變形抑制方向的情況下的臉部變形等級(jí)是最小等級(jí)“0”的情況下進(jìn)行的畸變校正的校正強(qiáng)度，與判斷為不進(jìn)行適應(yīng)性校正的校正值相等或者近似。
[0085]與此相對(duì)，校正前處理部57在將校正的種類判斷為桶形以外的枕形校正等的情況下，根據(jù)臉部變形等級(jí)，來執(zhí)行追加瘦臉效果的畸變校正強(qiáng)度追加處理。
[0086]在畸變校正強(qiáng)度追加處理中，在臉部變形等級(jí)是應(yīng)抑制變形的等級(jí)的情況下，不進(jìn)行抑制處理并且不進(jìn)行校正強(qiáng)度的變更。與此相對(duì)，在臉部變形等級(jí)是應(yīng)積極地進(jìn)行小臉處理的等級(jí)的情況下，通過畸變校正來進(jìn)行枕形的畸變像