圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及使圖像的一部分變形的圖像處理裝置。
【背景技術(shù)】
[0002]近年，搭載了用于更美麗地對(duì)被攝體進(jìn)行拍照的功能的數(shù)字照相機(jī)、具有對(duì)所拍攝的圖像更美麗地進(jìn)行加工的功能的軟件正在普及。這樣的功能之一存在使圖像的一部分變形的功能。若使用該功能，則能夠例如將照片拍到的人物的面部或嘴校正為較小，或?qū)⒀劬πＵ秊檩^大。
[0003]關(guān)于以不對(duì)觀賞該圖像的人帶來不協(xié)調(diào)感的方式使圖像的一部分變形的方法，開發(fā)了各種方法。例如，在專利文獻(xiàn)I所述的圖像變形裝置中，將圖像中的想要校正的區(qū)域(例如人的面部等)以柵格進(jìn)行分割，按每個(gè)柵格算出像素的移動(dòng)量和移動(dòng)方向，從而進(jìn)行圖像的變形。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本專利第5240795號(hào)公報(bào)
[0007]在專利文獻(xiàn)I所述的裝置中，在存儲(chǔ)器空間中暫時(shí)展開圖像數(shù)據(jù)，利用三維樣條插值(spline interpolat1n)，按每個(gè)柵格算出校正的程度，從而進(jìn)行圖像的變形處理。另一方面，在將使圖像變形的功能搭載于便攜電話等便攜式設(shè)備的情況下，由于存儲(chǔ)器容量或處理速度的限制，難以展開大量的數(shù)據(jù)而進(jìn)行復(fù)雜的運(yùn)算的情況較多。

【發(fā)明內(nèi)容】

[0008]本發(fā)明是考慮上述的課題而完成的，其目的在于，提供能夠以少的處理量以及存儲(chǔ)器消耗量來進(jìn)行圖像的變形的圖像處理裝置。
[0009]本發(fā)明所涉及的圖像處理裝置是通過使圖像的至少一部分變形，從而使該圖像中包含的對(duì)象物(以下，目的對(duì)象(object))變形為期望的形狀的裝置。
[0010]具體而言，本發(fā)明的第一方式所涉及的圖像處理裝置是對(duì)所輸入的圖像的至少一部分進(jìn)行變形的圖像處理裝置，其特征在于，具有:圖像取得部件，取得輸入圖像；目的對(duì)象確定部件，確定所述輸入圖像中包含的變形對(duì)象的目的對(duì)象；圖存儲(chǔ)部件，存儲(chǔ)定義了二維平面中的像素的移動(dòng)量的圖即移動(dòng)量圖；圖變形部件，使所述移動(dòng)量圖對(duì)準(zhǔn)所述變形對(duì)象的目的對(duì)象的形狀而變形；以及圖像變形部件，基于所述變形后的移動(dòng)量圖，決定與所述目的對(duì)象對(duì)應(yīng)的像素的移動(dòng)量，使該像素移動(dòng)，從而進(jìn)行圖像的變形。
[0011]目的對(duì)象確定部件是確定圖像中包含的變形對(duì)象的目的對(duì)象的部件。變形對(duì)象的目的對(duì)象，例如在被攝體為人的面部的情況下，也可以是面部整體，也可以是眼睛或嘴等。此外，變形對(duì)象的目的對(duì)象也可以是人的面部以外。此外，變形對(duì)象的目的對(duì)象也可以自動(dòng)地被檢測，也可以由用戶指定。
[0012]移動(dòng)量圖是定義了像素的移動(dòng)量的二維的圖。本發(fā)明所涉及的圖像處理裝置中，圖變形部件使移動(dòng)量圖對(duì)準(zhǔn)目的對(duì)象的形狀而變形，基于變形后的移動(dòng)量圖來決定像素的移動(dòng)量。根據(jù)該結(jié)構(gòu)，即使不進(jìn)行復(fù)雜的運(yùn)算，也能夠僅通過決定圖與像素之間的對(duì)應(yīng)關(guān)系而求得使目的對(duì)象變形所需的像素的移動(dòng)量。即，能夠較低地抑制用于進(jìn)行圖像的變形的處理成本。
[0013]此外，也可以是本發(fā)明所涉及的圖像處理裝置的特征在于，還具有:移動(dòng)方向設(shè)定部件，針對(duì)所述變形對(duì)象的目的對(duì)象，設(shè)定使像素移動(dòng)的方向，所述圖像變形部件使對(duì)象的像素向所述設(shè)定的方向移動(dòng)。
[0014]通過移動(dòng)方向設(shè)定部件設(shè)定使像素移動(dòng)的方向，能夠指定目的對(duì)象的變形方法。例如，在設(shè)為“使與人物的面部對(duì)應(yīng)的像素向面部的中心移動(dòng)”的情況下，能夠?qū)⒆鳛楸粩z體而拍到的人物的面部校正為較小。使像素移動(dòng)的方向也可以從用戶取得，也可以自動(dòng)地決定。例如，也可以估計(jì)目的對(duì)象的中心點(diǎn)，使像素向該中心點(diǎn)移動(dòng)。
[0015]此外，也可以是其特征在于，所述目的對(duì)象確定部件提取與變形對(duì)象的目的對(duì)象對(duì)應(yīng)的控制點(diǎn)，所述圖變形部件基于所述控制點(diǎn)的位置，使所述移動(dòng)量圖變形。
[0016]控制點(diǎn)是對(duì)進(jìn)行變形的目的對(duì)象的形狀附加特征的點(diǎn)，典型地說，是表示目的對(duì)象的邊緣或角的點(diǎn)，但不限于此。通過使用控制點(diǎn)，能夠使移動(dòng)量圖變形為與變形對(duì)象的目的對(duì)象的形狀更貼合的形狀。
[0017]此外，也可以是其特征在于，所述圖像變形部件進(jìn)行所述變形后的移動(dòng)量圖與所述變形對(duì)象的目的對(duì)象之間的位置對(duì)準(zhǔn)，決定與像素對(duì)應(yīng)的移動(dòng)量。
[0018]通過對(duì)準(zhǔn)變形后的移動(dòng)量圖與變形對(duì)象的目的對(duì)象之間的位置，從而能夠?qū)?yīng)該移動(dòng)的像素與其移動(dòng)量建立對(duì)應(yīng)。另外，在圖像具有的像素間距與圖的間距不一致的情況下，也可以通過對(duì)其中一個(gè)進(jìn)行放大或者縮小，從而使間距一致。
[0019]此外，也可以是其特征在于，所述移動(dòng)方向設(shè)定部件通過在所述圖像上設(shè)定目標(biāo)點(diǎn)來設(shè)定使像素移動(dòng)的方向，所述移動(dòng)量圖具有與所述目標(biāo)點(diǎn)對(duì)應(yīng)的點(diǎn)的坐標(biāo)，所述圖像變形部件使用所述目標(biāo)點(diǎn)，進(jìn)行變形后的移動(dòng)量圖與所述變形對(duì)象的目的對(duì)象之間的位置對(duì)準(zhǔn)。
[0020]移動(dòng)量圖的形狀與變形對(duì)象的目的對(duì)象的形狀不一定一致。因此，作為用于對(duì)準(zhǔn)移動(dòng)量圖與目的對(duì)象之間的位置的公共的坐標(biāo)，能夠利用目標(biāo)點(diǎn)。
[0021]此外，也可以是其特征在于，所述圖存儲(chǔ)部件存儲(chǔ)與多個(gè)變形對(duì)象的目的對(duì)象的種類和/或多個(gè)變形方法對(duì)應(yīng)的多個(gè)移動(dòng)量圖，所述圖變形部件以及圖像變形部件選擇多個(gè)移動(dòng)量圖之中的、與變形對(duì)象的目的對(duì)象的種類和/或變形方法對(duì)應(yīng)的移動(dòng)量圖來進(jìn)行處理。
[0022]像這樣，也可以使圖存儲(chǔ)部件按每個(gè)目的對(duì)象的種類或者形狀、變形的方法分別存儲(chǔ)對(duì)應(yīng)的多個(gè)移動(dòng)量圖，使用適合的移動(dòng)量圖來進(jìn)行處理。通過這樣，能夠得到更自然的變形結(jié)果。
[0023]另外，本發(fā)明能夠特定為包含上述部件的至少一部分的圖像處理裝置。此外，本發(fā)明還能夠特定為圖像處理方法。此外，本發(fā)明能夠特定為使計(jì)算機(jī)執(zhí)行上述圖像處理方法的程序。只要不產(chǎn)生技術(shù)的矛盾，則能夠?qū)⑸鲜鎏幚砘虿考杂山M合而實(shí)施。
[0024]根據(jù)本發(fā)明，能夠提供能夠以少的處理量以及存儲(chǔ)器消耗量來進(jìn)行圖像的變形的圖像處理裝置。
【附圖說明】
[0025]圖1是實(shí)施方式所涉及的攝像裝置的系統(tǒng)結(jié)構(gòu)圖。
[0026]圖2是第一實(shí)施方式中使用的移動(dòng)量圖的例子。
[0027]圖3是進(jìn)行變形的對(duì)象圖像的例子。
[0028]圖4是表示控制點(diǎn)和目標(biāo)點(diǎn)的配置位置的圖。
[0029]圖5是說明移動(dòng)量圖的變形方法的第一圖。
[0030]圖6是說明移動(dòng)量圖的變形方法的第二圖。
[0031]圖7是說明移動(dòng)量圖的變形方法的第三圖。
[0032]圖8是說明像素的移動(dòng)方法的圖。
[0033]圖9是第一實(shí)施方式所涉及的攝像裝置的處理流程圖。
[0034]圖10是第二實(shí)施方式中使用的移動(dòng)量圖的例子。
[0035]標(biāo)號(hào)說明
[0036]10攝像裝置
[0037]11攝像部
[0038]12提取部
[0039]13移動(dòng)量圖存儲(chǔ)部
[0040]14圖像變形部
[0041]15輸入輸出部
[0042]16存儲(chǔ)器
【具體實(shí)施方式】
[0043](第一實(shí)施方式)
[0044]以下，參照【附圖說明】本發(fā)明的優(yōu)選實(shí)施方式。
[0045]第一實(shí)施方式所涉及的攝像裝置是具有從所拍攝到的圖像檢測人的面部，對(duì)該面部和面部中包含的器官的大小進(jìn)行校正的功能的攝像裝置。例如，能夠?qū)⒆鳛楸粩z體的人物的面部或嘴的大小校正為較小。圖1是第一實(shí)施方式所涉及的攝像裝置10的系統(tǒng)結(jié)構(gòu)圖。
[0046]攝像裝置10由攝像部11、提取部12、移動(dòng)量圖存儲(chǔ)部13、圖像變形部14、輸入輸出部15、存儲(chǔ)器16構(gòu)成。
[0047]攝像部11是拍攝圖像的部件，典型地說，由光學(xué)系統(tǒng)、攝像元件、以及其接口構(gòu)成。只要能夠拍攝圖像，則攝像部11可以由任意設(shè)備構(gòu)成。
[0048]提取部12是從由攝像部11拍攝到的圖像提取進(jìn)行變形的對(duì)象(以下，目的對(duì)象)的部件。具體而言，在從圖像中確定了包含人物的面部的區(qū)域之后，提取該區(qū)域中包含的、與眼睛或嘴等的器官對(duì)應(yīng)的特征點(diǎn)。所提取到的特征點(diǎn)與器官建立對(duì)應(yīng)地存儲(chǔ)。
[0049]移動(dòng)量圖存儲(chǔ)部13是存儲(chǔ)定義了像素的移動(dòng)量的二維的圖(移動(dòng)量圖)的部件。
[0050]圖2是移動(dòng)量圖存儲(chǔ)部13中存儲(chǔ)的移動(dòng)量圖的例子。圖201的各格子中寫入的數(shù)值是表示像素的移動(dòng)量的值。在本實(shí)施方式中，使用像素?cái)?shù)作為表示像素的移動(dòng)量的值，但移動(dòng)量不限定于特定的單位。例如，也可以是與移動(dòng)量成比例的系數(shù)。
[0051]位于圖201的中央的黑圓是成為使像素移動(dòng)的目標(biāo)的點(diǎn)(以下，目標(biāo)點(diǎn))。目標(biāo)點(diǎn)是為了決定各像素的移動(dòng)方向而使用的點(diǎn)。具體而言，在本實(shí)施方式中，各像素的移動(dòng)方向被決定為從該像素的位置朝向目標(biāo)點(diǎn)的方向。此外，圖201中的虛線202是將移動(dòng)量的峰以圖形描繪的線(以下，移動(dòng)量峰)。即，圖201是與“使處于圓周的附近的像素向圓的中心移動(dòng)”這樣的變形對(duì)應(yīng)的圖。圖201由以二維排列表示的移動(dòng)量和目標(biāo)點(diǎn)的坐標(biāo)構(gòu)成。
[0052]另外，移動(dòng)量峰在對(duì)移動(dòng)量圖進(jìn)行變形時(shí)使用。關(guān)于移動(dòng)量峰的信息，也可以由移動(dòng)量圖本身持有，也可以根據(jù)移動(dòng)量的排列而每次求出。