本公開涉及一種圖像處理裝置、觸筆以及圖像處理方法，特別涉及一種對(duì)臉部的拍攝影像重疊妝容圖像的圖像處理裝置、觸筆以及圖像處理方法。

背景技術(shù)：

存在如下一種虛擬化妝的技術(shù)：在拍攝臉部而得到的圖像上重疊口紅、腮紅(cheek)等妝容圖像來虛擬地進(jìn)行化妝(例如參照專利文獻(xiàn)1)。在專利文獻(xiàn)1所記載的技術(shù)中，將臉部的拍攝圖像以及用于受理妝容內(nèi)容的指定的操作區(qū)域顯示在觸摸面板畫面上。而且，在專利文獻(xiàn)1所記載的技術(shù)中，基于對(duì)畫面的觸摸筆操作來將妝容圖像重疊于臉部的拍攝圖像。根據(jù)這種專利文獻(xiàn)1所記載的技術(shù)，能夠模擬地顯示進(jìn)行了化妝時(shí)的臉部的狀態(tài)。即，通過所述技術(shù)，無需實(shí)際對(duì)臉部實(shí)施化妝就能夠生成實(shí)施了化妝時(shí)的臉部的圖像并顯示該圖像。

另外，近年來，流行如下一種行為(自拍)：用戶使用智能電話等來以自己為被攝體進(jìn)行拍攝。自拍圖像很多是以在社交媒體上供朋友等瀏覽為目的而拍攝的。對(duì)所拍攝的自拍圖像實(shí)施使自己的臉部看起來漂亮的美顏處理的用戶也很多。作為該美顏處理之一，存在虛擬化妝，能夠帶來化妝效果。

另外，兒童模仿大人來進(jìn)行化妝游戲的情況很常見。有的兒童不僅在獲得實(shí)施了化妝的臉部的事上感到很大的喜悅，還在使口紅在唇上滑動(dòng)之類的模仿大人的化妝動(dòng)作的事上感到很大的喜悅。因此，期望的是，能夠如在模仿涂口紅時(shí)口紅的妝容圖像重疊于臉部圖像那樣，通過化妝動(dòng)作(手勢(shì))來實(shí)現(xiàn)虛擬化妝。

從圖像中簡(jiǎn)單地決定作為圖像處理的對(duì)象的臉部區(qū)域的技術(shù)例如在專利文獻(xiàn)2中有所記載。在專利文獻(xiàn)2所記載的技術(shù)中，將圖像顯示在畫面上，并且對(duì)圖像進(jìn)行臉部識(shí)別處理，來獲取畫面上的臉部區(qū)域。而且，在專利文獻(xiàn)2所記載的技術(shù)中，受理對(duì)畫面的觸摸操作，在進(jìn)行觸摸操作的位置包含于所獲取到的臉部區(qū)域時(shí)，將該臉部區(qū)域作為圖像處理的對(duì)象。

通過采用這種專利文獻(xiàn)1所記載的技術(shù)，用戶能夠簡(jiǎn)單地選擇要實(shí)施虛擬化妝的對(duì)象。

然而，在拍攝后從拍攝到的大量的自拍圖像中找出作為虛擬化妝的對(duì)象的圖像來選擇該圖像這樣的作業(yè)耗費(fèi)時(shí)間和勞力。因此，想到了在拍攝過程中對(duì)拍攝影像中呈現(xiàn)的臉部實(shí)施虛擬化妝。

然而，自拍通常是一邊利用畫面的影像來確認(rèn)臉部的美觀一邊進(jìn)行的，因此在想要選擇臉部的情況下，手指會(huì)礙事。因而，期望一種能夠一邊自拍一邊進(jìn)行虛擬化妝操作的技術(shù)。

本公開的目的在于使得能夠一邊自拍一邊進(jìn)行虛擬化妝操作。

專利文獻(xiàn)1：日本特開2005-92588號(hào)公報(bào)

專利文獻(xiàn)2：日本特開2006-350967號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

本公開的圖像處理裝置具備：拍攝部，其拍攝影像；顯示部，其將所拍攝到的所述影像顯示于畫面；臉部位置獲取部，其獲取所述影像所包含的臉部在所述畫面上的位置；操作受理部，其受理對(duì)所述畫面的操作；以及妝容圖像重疊部，其對(duì)所述影像的所述臉部的部分重疊妝容圖像。

另外，本公開的圖像處理裝置還具備對(duì)所述影像的所述臉部的部分重疊妝容圖像的妝容圖像重疊部，所述妝容圖像重疊部以沿去向所述臉部的位置的方向進(jìn)行了滑動(dòng)操作為條件，來變更所述妝容圖像的重疊狀態(tài)。

另外，本公開的圖像處理裝置還具備：觸筆檢測(cè)部，其在所述影像包含規(guī)定的標(biāo)記顏色的部分時(shí)，從所述影像檢測(cè)該部分，將該部分檢測(cè)為觸筆；以及妝容圖像重疊部，其以檢測(cè)出所述觸筆為條件，來對(duì)所述影像的所述臉部的部分重疊與所述規(guī)定的標(biāo)記顏色預(yù)先對(duì)應(yīng)的妝容圖像。

本公開的圖像處理裝置中使用的觸筆是棒狀構(gòu)件，所述棒狀構(gòu)件的包括頂端部的區(qū)域被施加了所述規(guī)定的標(biāo)記顏色。

本公開的圖像處理方法包括以下步驟：拍攝影像；將拍攝到的所述影像顯示于畫面；獲取所述影像所包含的臉部在所述畫面上的位置；以及受理對(duì)所述畫面的操作。

另外，在本公開的圖像處理方法中，對(duì)所述畫面的操作是觸摸操作，該圖像處理方法包括以下步驟：以沿去向所述臉部的位置的方向進(jìn)行了滑動(dòng)操作為條件，來對(duì)所述影像的所述臉部的部分重疊妝容圖像。

另外，本公開的圖像處理方法還包括以下步驟：在所述影像包含規(guī)定的標(biāo)記顏色的部分時(shí)，從所述影像檢測(cè)該部分，將該部分檢測(cè)為觸筆；以及以檢測(cè)出所述觸筆為條件，來對(duì)所述影像的所述臉部的部分重疊與所述規(guī)定的標(biāo)記顏色預(yù)先對(duì)應(yīng)的妝容圖像。

根據(jù)本公開，能夠一邊自拍一邊進(jìn)行虛擬化妝操作。

附圖說明

圖1是表示本實(shí)施方式1所涉及的圖像處理裝置的使用的情形的一例的圖。

圖2是表示本實(shí)施方式1所涉及的圖像處理裝置的結(jié)構(gòu)的一例的框圖。

圖3是表示本實(shí)施方式1中的妝容圖像信息的內(nèi)容的一例的圖。

圖4是表示本實(shí)施方式1中的狀態(tài)記錄表的內(nèi)容的一例的圖。

圖5是用于說明本實(shí)施方式1中的妝容圖像的重疊狀態(tài)的變更的情形的一例的圖。

圖6是用于說明本實(shí)施方式1中的決定作為觸摸操作的對(duì)象的臉部的情形的一例的圖。

圖7是用于說明本實(shí)施方式1中的決定作為觸摸操作的對(duì)象的臉部器官的情形的一例的圖。

圖8是用于說明本實(shí)施方式1中的妝容設(shè)定的維持的判斷的情形的一例的圖。

圖9是表示本實(shí)施方式1所涉及的圖像處理裝置的動(dòng)作的一例的流程圖。

圖10是表示本實(shí)施方式1中的相對(duì)位置分析處理的一例的流程圖。

圖11是表示本實(shí)施方式2所涉及的圖像處理裝置的概要的一例的圖。

圖12a是表示本實(shí)施方式2中的圖像的變化的一例的圖。

圖12b是表示本實(shí)施方式2中的圖像的變化的一例的圖。

圖12c是表示本實(shí)施方式2中的圖像的變化的一例的圖。

圖13是表示本實(shí)施方式2所涉及的觸筆的外觀的第一例的圖。

圖14是表示本實(shí)施方式2所涉及的圖像處理裝置的結(jié)構(gòu)的一例的框圖。

圖15是表示本實(shí)施方式2中的妝容圖像表的內(nèi)容的一例的圖。

圖16是表示本實(shí)施方式2所涉及的圖像處理裝置的動(dòng)作的一例的流程圖。

圖17a是表示本實(shí)施方式2中的各種虛擬化妝的例子的圖。

圖17b是表示本實(shí)施方式2中的各種虛擬化妝的例子的圖。

圖17c是表示本實(shí)施方式2中的各種虛擬化妝的例子的圖。

圖18是表示本實(shí)施方式2的變形例1所涉及的觸筆的外觀的一例的圖。

圖19是表示本實(shí)施方式2的變形例1中的妝容圖像表的內(nèi)容的一例的圖。

圖20是表示本實(shí)施方式2的變形例2所涉及的觸筆的外觀的一例的圖。

圖21是表示本實(shí)施方式2的變形例2所涉及的圖像處理裝置的動(dòng)作的一例的流程圖。

圖22a是表示本實(shí)施方式2的變形例2中的各種虛擬化妝的例子的圖。

圖22b是表示本實(shí)施方式2的變形例2中的各種虛擬化妝的例子的圖。

圖22c是表示本實(shí)施方式2的變形例2中的各種虛擬化妝的例子的圖。

圖23是表示本實(shí)施方式2中的觸筆登記畫面的一例的圖。

圖24是用于說明本實(shí)施方式2中的手勢(shì)的定義的圖。

具體實(shí)施方式

(實(shí)施方式1)

下面，參照附圖來詳細(xì)說明本公開的實(shí)施方式1。

<裝置的使用的情形>

首先，說明本實(shí)施方式1所涉及的圖像處理裝置的使用的情形。

圖1是表示本實(shí)施方式1所涉及的圖像處理裝置的使用的情形的一例的圖。

如圖1所示，圖像處理裝置100例如是智能電話。圖像處理裝置100具備帶觸摸面板的液晶顯示器以及配置于與該顯示器相同一側(cè)的面的內(nèi)側(cè)照相機(jī)和拍攝按鈕(均未圖示)。此外，拍攝按鈕也可以是顯示于顯示器的按鈕圖像。

圖像處理裝置100將由內(nèi)側(cè)照相機(jī)拍攝到的影像在左右方向上翻轉(zhuǎn)后大致實(shí)時(shí)地顯示在顯示器上。而且，圖像處理裝置100在拍攝按鈕被按下的時(shí)刻，從顯示中的影像截取靜止圖像來記錄該靜止圖像，或者開始記錄影像。

用戶200例如將內(nèi)側(cè)照相機(jī)朝向自己的臉部，一邊利用顯示器所呈現(xiàn)的影像來確認(rèn)自己的臉部的美觀，一邊在期望的時(shí)刻按下拍攝按鈕。這就是所謂的被稱為自拍的行為。

圖像處理裝置100還根據(jù)用戶對(duì)觸摸面板的觸摸操作來通過圖像處理對(duì)影像的臉部的部分重疊妝容圖像。此時(shí)，如上所述，顯示器所呈現(xiàn)的用戶200的臉部的可視性被手指所妨礙的方式是不理想的。

因此，圖像處理裝置100獲取顯示器所呈現(xiàn)的影像的臉部在畫面上的位置。然后，圖像處理裝置100以沿去向臉部的位置的方向進(jìn)行了滑動(dòng)(swipe)操作為條件，來變更妝容圖像的重疊狀態(tài)，如進(jìn)行妝容圖像的重疊或者變更所重疊的妝容圖像的內(nèi)容等。

在此，滑動(dòng)操作是指使手指、觸筆等的頂部的部分在保持與畫面接觸的狀態(tài)下滑動(dòng)的操作。另外，去向臉部的位置的方向例如是指以下方向：在該方向的延長(zhǎng)上存在臉部的區(qū)域，或者是使從指尖的接觸區(qū)域的代表位置(例如重心位置)到臉部的代表位置(例如重心位置)的距離變小那樣的滑動(dòng)操作的方向。

即，圖像處理裝置100使得用戶200能夠不被手指遮擋呈現(xiàn)臉部的區(qū)域地進(jìn)行對(duì)妝容圖像的重疊狀態(tài)進(jìn)行變更的操作。

<裝置的結(jié)構(gòu)>

接著，說明圖像處理裝置100的結(jié)構(gòu)。

圖2是表示圖像處理裝置100的結(jié)構(gòu)的一例的框圖。

在圖2中，圖像處理裝置100具有拍攝部110、操作受理部120、信息保存部130、臉部位置獲取部140、妝容圖像重疊部150以及顯示部160。

拍攝部110例如具有上述的內(nèi)側(cè)照相機(jī)(數(shù)字照相機(jī))，來拍攝影像。此外，在進(jìn)行自拍的情況下，拍攝部110拍攝用戶或者包括用戶在內(nèi)的多個(gè)人的臉部的影像。而且，拍攝部110將拍攝到的影像在左右方向上翻轉(zhuǎn)后輸出到臉部位置獲取部140和妝容圖像重疊部150。

操作受理部120例如具有上述的觸摸面板，來受理對(duì)后述的顯示部160所具有的液晶顯示器的畫面進(jìn)行的觸摸操作。而且，操作受理部120以規(guī)定的周期檢測(cè)手指接觸著畫面的哪個(gè)部分，將表示檢測(cè)結(jié)果的坐標(biāo)信息輸出到妝容圖像重疊部150。坐標(biāo)信息的時(shí)間序列數(shù)據(jù)也就是表示進(jìn)行了什么樣的內(nèi)容的觸摸操作的操作信息。

信息保存部130預(yù)先保存有用于從圖像中檢測(cè)圖像所包含的人的臉部、臉部器官的臉部特征信息以及用于生成妝容圖像來重疊于影像的臉部的部分的妝容圖像信息。另外，信息保存部130保存用于管理從影像檢測(cè)出的各臉部的狀態(tài)的狀態(tài)記錄表。

臉部特征信息例如是通過基于大量的臉部圖像樣本進(jìn)行學(xué)習(xí)而生成的表示眼、唇之類的臉部器官的形狀等的圖像特征、或者臉部器官的配置、臉部的顏色直方圖之類的臉部整體的圖像特征的信息。各臉部器官分別包括眼梢、嘴角之類的臉部特征點(diǎn)。

妝容圖像信息是按多個(gè)妝容的圖案與妝容的濃淡的組合來記述要重疊于臉部的妝容圖像的內(nèi)容(下面稱為“妝容圖像數(shù)據(jù)”)的信息。

圖3是表示妝容圖像信息的內(nèi)容的一例的圖。

如圖3所示，妝容圖像信息310針對(duì)多個(gè)妝容圖案311和多個(gè)妝容濃淡312，按妝容圖案311與妝容濃淡312的組合來記述妝容圖像數(shù)據(jù)313。

妝容圖像數(shù)據(jù)313例如以嘴角等臉部特征點(diǎn)的位置為基準(zhǔn)來規(guī)定妝容圖像所呈現(xiàn)的妝容的涂布區(qū)域、妝容的顏色以及妝容的顏色的濃度(妝容圖像的透明度)。妝容的涂布區(qū)域例如是通過以臉部特征點(diǎn)的位置為基準(zhǔn)的空間中的坐標(biāo)值、函數(shù)來定義的。妝容的顏色例如是通過rgb(red，green，blue)、hsv(hue，saturation，value)之類的規(guī)定的顏色空間中的坐標(biāo)值來定義的。妝容的濃淡例如是通過將妝容圖像通過α混合來重疊于拍攝圖像時(shí)的對(duì)像素值的系數(shù)來定義的。

此外，在此，將不重疊妝容圖像的狀態(tài)設(shè)為第零妝容圖案。另外，第一～第三妝容圖案在妝容的涂布區(qū)域、妝容的顏色以及妝容的顏色的濃度中的至少一個(gè)方面不同。妝容圖案例如包括給人以可愛的印象的妝容圖案、給人以華麗的印象的妝容圖案。按第一～第三妝容濃淡312的順序，妝容圖像的顏色的濃度逐漸變濃(妝容圖像的透明度變高)。

此外，妝容的涂布區(qū)域的不同既可以是腮紅的涂布區(qū)域大或小之類的不同，也可以是對(duì)口紅、腮紅之類的多個(gè)部分中的哪個(gè)部分的妝容涂布這樣的不同。另外，妝容的顏色的濃度的變化也可以按每個(gè)部分而不同。

狀態(tài)記錄表是由后述的臉部位置獲取部140和妝容圖像重疊部150適當(dāng)?shù)厣珊透碌谋恚菍?duì)臉部位置獲取部140所追蹤的臉部的狀態(tài)進(jìn)行記錄的表。

圖4是表示狀態(tài)記錄表的內(nèi)容的一例的圖。

如圖4所示，狀態(tài)記錄表320按追蹤標(biāo)識(shí)符321來記述妝容設(shè)定322、當(dāng)前位置323、滑動(dòng)開始時(shí)位置324、相對(duì)位置325以及追蹤狀態(tài)326。

追蹤標(biāo)識(shí)符321是被后述的臉部位置獲取部140作為同一臉部來追蹤的對(duì)象標(biāo)識(shí)符。妝容設(shè)定322是當(dāng)前對(duì)追蹤標(biāo)識(shí)符321所表示的臉部設(shè)定的妝容圖像數(shù)據(jù)。當(dāng)前位置323是追蹤標(biāo)識(shí)符321所表示的臉部在當(dāng)前的畫面上的位置。例如利用在畫面上預(yù)先設(shè)定的xy坐標(biāo)系的坐標(biāo)值來表示畫面上的位置。

滑動(dòng)開始時(shí)位置324是最近開始滑動(dòng)操作時(shí)的追蹤標(biāo)識(shí)符321所表示的臉部在畫面上的位置。相對(duì)位置325是相對(duì)于其它臉部的相對(duì)位置。追蹤狀態(tài)326是表示臉部的位置的追蹤是持續(xù)中還是已結(jié)束或是剛開始后的信息。

此外，期望的是，相對(duì)位置325是將至少包括鉛垂方向的實(shí)際世界中的規(guī)定的方向作為基準(zhǔn)的相對(duì)位置關(guān)系。在該情況下，圖像處理裝置100需要具備加速度傳感器。此外，相對(duì)位置325也可以未必獲取實(shí)際世界中的方向，也可以將所持續(xù)追蹤的臉部的多個(gè)臉部器官在畫面上的配置作為基準(zhǔn)，來判定其它臉部相對(duì)于該臉部的相對(duì)位置。

圖2的臉部位置獲取部140從所輸入的影像逐次獲取影像所包含的畫面上的臉部的位置以及臉部?jī)?nèi)的臉部器官的位置(臉部特征點(diǎn)的位置)的信息。

更具體地說，臉部位置獲取部140首先對(duì)輸入影像實(shí)施臉部檢測(cè)，來得到圖像幀中的臉部的位置信息。接著，臉部位置獲取部140基于得到的臉部的位置信息實(shí)施臉部器官位置的檢測(cè)，來得到臉部器官的位置信息。關(guān)于臉部檢測(cè)和臉部器官的檢測(cè)，能夠采用公知的技術(shù)。然后，臉部位置獲取部140基于預(yù)先決定的影像與呈現(xiàn)影像的畫面之間的位置關(guān)系，來將提取出的臉部在影像中的位置變換為在畫面上的位置。

另外，臉部位置獲取部140在影像中按每個(gè)臉部來追蹤其位置。例如，在構(gòu)成影像的時(shí)間序列的多個(gè)圖像幀中的在時(shí)間上連續(xù)的多個(gè)圖像幀的各圖像幀中檢測(cè)出的臉部的位置的差異處于規(guī)定的范圍內(nèi)的情況下，臉部位置獲取部140將該臉部判定為同一臉部。臉部位置獲取部140沿著影像的時(shí)間軸連續(xù)地進(jìn)行所述判定，由此追蹤臉部的位置。

然后，臉部位置獲取部140在每次臉部的追蹤開始時(shí)在狀態(tài)記錄表320中追加追蹤標(biāo)識(shí)符321，當(dāng)開始臉部的追蹤時(shí)，對(duì)追蹤狀態(tài)326進(jìn)行更新，在進(jìn)行臉部的追蹤的期間，對(duì)當(dāng)前位置323進(jìn)行更新。此外，臉部的追蹤是指在最新的圖像幀的在緊接著該最新的圖像幀之前的圖像幀中檢測(cè)出臉部的位置的周邊也檢測(cè)出在緊接著該最新的圖像幀之前的圖像幀中檢測(cè)出的臉部。并且，臉部位置獲取部140在每次臉部的追蹤結(jié)束時(shí)在狀態(tài)記錄表320中對(duì)追蹤狀態(tài)326進(jìn)行更新(參照?qǐng)D4)。

另外，在各畫面包含多個(gè)臉部時(shí)，臉部位置獲取部140獲取畫面上的各臉部相對(duì)于其它臉部的相對(duì)位置，在每次獲取到相對(duì)位置時(shí)，利用獲取到的相對(duì)位置來更新狀態(tài)記錄表320的相對(duì)位置325。此外，使已結(jié)束追蹤的臉部的相對(duì)位置325保持原樣。

另外，臉部位置獲取部140將表示獲取到的畫面上的臉部的位置和臉部器官的位置(下面適當(dāng)稱為“臉部位置”)的臉部位置信息輸出到妝容圖像重疊部150。

妝容圖像重疊部150基于所輸入的操作信息(進(jìn)行了觸摸操作的區(qū)域的坐標(biāo)信息的時(shí)間序列數(shù)據(jù))和臉部位置信息，來對(duì)所輸入的影像的臉部的部分重疊妝容圖像。更具體地說，妝容圖像重疊部150基于操作信息來判定是否沿去向臉部的位置的方向進(jìn)行了滑動(dòng)操作，以進(jìn)行了該滑動(dòng)操作為條件，來變更妝容圖像的重疊狀態(tài)。另外，此時(shí)，妝容圖像重疊部150在狀態(tài)記錄表320中對(duì)滑動(dòng)開始時(shí)位置324進(jìn)行更新。此外，妝容圖像重疊部150使用α混合等公知的圖像合成技術(shù)來進(jìn)行圖像的重疊。然后，妝容圖像重疊部150將適當(dāng)重疊了妝容圖像后的影像輸出到顯示部160。

此外，妝容圖像重疊部150在初始狀態(tài)下不對(duì)臉部的部分重疊妝容圖像。妝容圖像重疊部150以進(jìn)行了沿去向未重疊妝容圖像的臉部的位置的方向的滑動(dòng)操作(下面稱為“臉部方向滑動(dòng)操作”)為條件，來開始妝容圖像的重疊。此外，妝容圖像重疊部150也可以將開始位置包含在臉部的區(qū)域內(nèi)或者比臉部的區(qū)域大一圈的區(qū)域內(nèi)的滑動(dòng)操作判定為不是臉部方向滑動(dòng)操作。

另外，妝容圖像重疊部150以沿除上下方向以外的方向(第一方向)對(duì)重疊了妝容圖像的臉部進(jìn)行了臉部方向滑動(dòng)操作為條件，來變更所重疊的妝容圖像所表示的妝容的濃淡。另外，妝容圖像重疊部150以沿上下方向(第二方向)對(duì)重疊了妝容圖像的臉部進(jìn)行了滑動(dòng)操作為條件，來變更所重疊的妝容圖像所表示的妝容的圖案。

另外，妝容圖像重疊部150以開始觸摸操作時(shí)的臉部的位置為基準(zhǔn)，來決定觸摸操作的對(duì)象。

另外，在畫面包含多個(gè)臉部時(shí)，妝容圖像重疊部150獲取該多個(gè)臉部的相對(duì)位置關(guān)系，基于位置的追蹤是否正在持續(xù)以及相對(duì)位置關(guān)系是否還維持著，來針對(duì)每個(gè)臉部判斷是否維持妝容設(shè)定。

在后面敘述這些妝容圖像的重疊狀態(tài)的變更、觸摸操作的對(duì)象的決定以及妝容設(shè)定的維持的判斷的詳情。

顯示部160例如具有上述液晶顯示器，將所輸入的適當(dāng)重疊了妝容圖像后的影像(下面稱為“虛擬化妝影像”)顯示在該液晶顯示器的畫面上。

此外，雖未進(jìn)行圖示，但是圖像處理裝置100還具有上述的拍攝按鈕和信息記錄部。信息記錄部在拍攝按鈕被按下的時(shí)刻，從虛擬化妝影像截取靜止圖像來記錄該靜止圖像，或者開始記錄虛擬化妝影像。

雖未進(jìn)行圖示，但是圖像處理裝置100例如具有cpu(centralprocessingunit：中央處理單元)、保存有控制程序的rom(readonlymemory：只讀存儲(chǔ)器)等存儲(chǔ)介質(zhì)以及ram(randomaccessmemory：隨機(jī)存取存儲(chǔ)器)等作業(yè)用存儲(chǔ)器。在該情況下，能夠通過由cpu執(zhí)行控制程序來實(shí)現(xiàn)上述的各部的功能。

具有這種結(jié)構(gòu)的圖像處理裝置100能夠以在畫面上進(jìn)行了臉部方向滑動(dòng)操作為條件，來變更對(duì)影像所包含的臉部的妝容圖像的重疊狀態(tài)。

<妝容圖像的重疊狀態(tài)的變更>

在此，說明妝容圖像重疊部150所進(jìn)行的妝容圖像的重疊狀態(tài)的變更的情形。

圖5是用于說明妝容圖像的重疊狀態(tài)的變更的情形的一例的圖。

如圖5的第一畫面狀態(tài)411所示，由用戶的手指402對(duì)處于未在臉部401重疊妝容圖像的狀態(tài)(初始狀態(tài))的畫面進(jìn)行臉部方向滑動(dòng)操作。

于是，妝容圖像重疊部150如圖5的第二畫面狀態(tài)412所示那樣在臉部401重疊妝容圖像403。這相當(dāng)于將要應(yīng)用的妝容圖像數(shù)據(jù)313從第零妝容圖案的妝容圖像數(shù)據(jù)313(無妝容圖像)變更為第一妝容圖案與第一妝容濃淡312相組合的妝容圖像數(shù)據(jù)313(參照?qǐng)D3)。

然后，如圖5的第三畫面狀態(tài)413所示那樣，再沿除上下方向以外的方向?qū)χ丿B了妝容圖像403的臉部401進(jìn)行臉部方向滑動(dòng)操作。

于是，妝容圖像重疊部150如圖5的第四畫面狀態(tài)414所示那樣將所重疊的妝容圖像403切換為比該妝容圖像403濃的妝容圖像404。這相當(dāng)于使用狀態(tài)記錄表320的妝容設(shè)定322來在第一～第三妝容濃淡312之間依次切換要應(yīng)用的妝容圖像數(shù)據(jù)313(參照?qǐng)D3)。

或者，如圖5的第五畫面狀態(tài)415所示那樣，再沿上方向和下方向中的至少一個(gè)方向?qū)χ丿B了妝容圖像403的臉部401進(jìn)行滑動(dòng)操作。

于是，妝容圖像重疊部150將所重疊的妝容圖像403切換為與該妝容圖像403不同的妝容圖案的妝容圖像405。這相當(dāng)于使用狀態(tài)記錄表320的妝容設(shè)定322來在第零～第三妝容圖案311之間依次切換要應(yīng)用的妝容圖像數(shù)據(jù)313(參照?qǐng)D3)。

這樣，妝容圖像重疊部150根據(jù)對(duì)畫面的觸摸操作來變更妝容圖像的重疊狀態(tài)。

<觸摸操作的對(duì)象的決定>

接著，說明妝容圖像重疊部150所進(jìn)行的觸摸操作的對(duì)象的決定的情形。

圖6是用于說明決定作為觸摸操作的對(duì)象的臉部的情形的一例的圖。

如圖6的第一畫面狀態(tài)421所示，在包含第一臉部4011和第二臉部4012的畫面上，由用戶的手指402沿去向第一臉部4011的方向開始滑動(dòng)操作。

但是，如圖6的第二畫面狀態(tài)422所示，在滑動(dòng)操作過程中圖像處理裝置100的朝向發(fā)生抖動(dòng)等，從而第一臉部4011和第二臉部4012在畫面上的位置發(fā)生變化。而且，其結(jié)果是，如圖6的第三畫面狀態(tài)423所示，位于滑動(dòng)操作的滑動(dòng)方向上的不是第一臉部4011，而是變?yōu)榈诙槻?012。

在畫面的變化快的情況下，難以配合所述變化來在中途準(zhǔn)確地變更滑動(dòng)方向。因此，妝容圖像重疊部150以開始滑動(dòng)操作時(shí)的臉部401的位置為基準(zhǔn)，來判定沿去向哪個(gè)臉部401的位置的方向進(jìn)行了滑動(dòng)操作。開始滑動(dòng)操作時(shí)的臉部401的位置也就是第一畫面狀態(tài)421下的第一臉部4011和第二臉部4012的位置。在該例中，妝容圖像重疊部150將第一臉部4011判定為滑動(dòng)操作的對(duì)象。

圖7是用于說明決定作為觸摸操作的對(duì)象的臉部器官的情形的一例的圖。

在此，例示以下的情況來進(jìn)行說明：妝容圖像重疊部150以對(duì)臉部器官進(jìn)行了輕拂(flick)操作為條件，來與輕拂方向相應(yīng)地變更針對(duì)該臉部器官的妝容圖像的顏色、形狀、濃淡等。輕拂操作是指以下操作：使手指、觸筆等的頂部在與畫面的一處進(jìn)行較長(zhǎng)時(shí)間的接觸之后緊接著在保持與畫面接觸的狀態(tài)下迅速滑動(dòng)。

如圖7的第一畫面狀態(tài)431所示，用戶的手指402對(duì)臉部401的右眼406開始輕拂操作。但是，如圖7的第二畫面狀態(tài)432所示，在輕拂操作過程中圖像處理裝置100的朝向發(fā)生抖動(dòng)等，從而臉部401在畫面上的位置發(fā)生變化。而且，其結(jié)果是，如圖7的第三畫面狀態(tài)433所示，位于進(jìn)行了輕拂操作的位置上的不是右眼406，而是變?yōu)樽笱?07。

在畫面的變化快的情況下，難以配合所述變化來在中途準(zhǔn)確地變更輕拂位置。因此，妝容圖像重疊部150以開始輕拂操作時(shí)的臉部401的位置、也就是說第一畫面狀態(tài)431下的臉部401為基準(zhǔn)，來決定輕拂操作的對(duì)象。在該例中，妝容圖像重疊部150將右眼406判定為輕拂操作的對(duì)象，而不是左眼407。

這樣，妝容圖像重疊部150以開始對(duì)畫面進(jìn)行觸摸操作時(shí)的臉部(臉部器官)的位置為基準(zhǔn)，來決定滑動(dòng)操作、輕拂操作等觸摸操作的對(duì)象。

<妝容設(shè)定的維持的判斷>

接著，說明妝容圖像重疊部150所進(jìn)行的妝容設(shè)定的維持的判斷的情形。

圖8是用于說明妝容設(shè)定的維持的判斷的情形的一例的圖。

如圖8的第一畫面狀態(tài)441所示，第一臉部4011和第二臉部4012包含于畫面。

但是，如圖8的第二畫面狀態(tài)442所示，在觸摸操作過程中圖像處理裝置100的朝向發(fā)生抖動(dòng)等，從而第二臉部4012從畫面脫離。然后，如圖8的第三畫面狀態(tài)443和第四畫面狀態(tài)444所示，由用戶修正圖像處理裝置100的朝向等，第三臉部4013返回到畫面內(nèi)。

第三臉部4013與第二臉部4012是同一人物的臉部，因此應(yīng)該將第二臉部4012的妝容設(shè)定原樣應(yīng)用于第三臉部4013。但是，若進(jìn)行臉部的識(shí)別處理來判定第三臉部4013是否與第二臉部4012相同，則處理負(fù)荷變高。

因此，妝容圖像重疊部150首先確認(rèn)第一臉部4011的位置的追蹤正在持續(xù)。然后，妝容圖像重疊部150以位置的追蹤正在持續(xù)的第一臉部4011為基準(zhǔn)，來判定第二臉部4012相對(duì)于第一臉部4011的相對(duì)位置4081與第三臉部4013相對(duì)于第一臉部4011的相對(duì)位置4082是否相同。然后，妝容圖像重疊部150在相對(duì)位置4081、4082相同的情況下，將第二臉部4012的妝容設(shè)定應(yīng)用于第三臉部4013。

此外，在此所說的相對(duì)位置的相同包括以下情況：雖然相對(duì)位置不同，但是其差異處于規(guī)定的范圍內(nèi)。

這樣，在畫面所包含的臉部的數(shù)量發(fā)生了變化時(shí)，妝容圖像重疊部150基于以位置的追蹤正在持續(xù)的臉部為基準(zhǔn)的臉部的相對(duì)位置關(guān)系是否還維持著，來判斷是否將從畫面消失的臉部的妝容設(shè)定應(yīng)用于出現(xiàn)在畫面上的臉部。

<裝置的動(dòng)作>

接著，說明圖像處理裝置100的動(dòng)作。

圖9是表示圖像處理裝置100的動(dòng)作的一例的流程圖。此外，在此著眼于與滑動(dòng)操作有關(guān)的動(dòng)作來進(jìn)行說明。

在步驟s1100中，拍攝部110開始拍攝影像。所述影像特別是在進(jìn)行自拍的情況下會(huì)包含一個(gè)或多個(gè)臉部的圖像。

在步驟s1200中，臉部位置獲取部140檢測(cè)臉部，獲取畫面上的臉部位置，并且將各臉部的當(dāng)前位置323記錄到狀態(tài)記錄表320(參照?qǐng)D4)。另外，在同一臉部持續(xù)包含于畫面的期間，臉部位置獲取部140追蹤該臉部的位置，并且每當(dāng)位置的追蹤開始、繼續(xù)或者結(jié)束時(shí)，將該意思記錄到狀態(tài)記錄表320的追蹤狀態(tài)326(參照?qǐng)D4)。

在步驟s1300中，妝容圖像重疊部150判定畫面所包含的臉部是否為多個(gè)。在臉部為多個(gè)的情況下(s1300：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1400。另外，在臉部不為多個(gè)的情況下(s1300：“否”)，妝容圖像重疊部150使處理進(jìn)入后述的步驟s1500。

在步驟s1400中，妝容圖像重疊部150進(jìn)行相對(duì)位置分析處理。相對(duì)位置分析處理是以下的處理：對(duì)多個(gè)臉部的相對(duì)位置進(jìn)行分析，適當(dāng)進(jìn)行妝容設(shè)定的重新應(yīng)用。在后面敘述相對(duì)位置分析處理的詳情。

在步驟s1500中，妝容圖像重疊部150判斷是否為滑動(dòng)操作。例如基于是否滿足接觸位置為一個(gè)、且從開始接觸起接觸位置連續(xù)移動(dòng)這樣的條件，來判定是否開始了滑動(dòng)操作。

在開始了滑動(dòng)操作的情況下(s1500：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1600。另外，在未開始滑動(dòng)操作的情況下(s1500：“否”)，妝容圖像重疊部150使處理進(jìn)入后述的步驟s1700。

在步驟s1600中，妝容圖像重疊部150獲取開始滑動(dòng)操作的位置(下面稱為“滑動(dòng)開始位置”)。另外，妝容圖像重疊部150將各臉部的臉部位置作為滑動(dòng)開始時(shí)位置324記錄到狀態(tài)記錄表320(參照?qǐng)D4)。

在步驟s1700中，妝容圖像重疊部150判定是否在某一個(gè)臉部的位置的附近進(jìn)行了上下方向的滑動(dòng)操作(下面稱為“上下滑動(dòng)”)。所述操作相當(dāng)于利用圖5的第五畫面狀態(tài)415說明過的操作。

在臉部位置附近進(jìn)行了上下滑動(dòng)的情況下(s1700：“是”)，妝容圖像重疊部150使處理進(jìn)入后述的步驟s2000。在未在臉部位置附近進(jìn)行上下滑動(dòng)的情況下(s1700：“否”)，妝容圖像重疊部150使處理進(jìn)入步驟s1800。

在步驟s1800中，妝容圖像重疊部150基于滑動(dòng)開始位置、滑動(dòng)方向以及各臉部的滑動(dòng)開始時(shí)位置324(參照?qǐng)D4)，來判定滑動(dòng)方向是否朝向某一個(gè)臉部的位置。即，妝容圖像重疊部150判定所進(jìn)行的滑動(dòng)操作是否為臉部方向滑動(dòng)操作。所述操作相當(dāng)于利用圖5的第一畫面狀態(tài)411說明過的操作、利用圖5的第三畫面狀態(tài)413說明過的操作、或者利用圖6的第一畫面狀態(tài)421說明過的操作。

在滑動(dòng)方向朝向臉部位置的情況下(s1800：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1900。另外，在滑動(dòng)方向未朝向臉部位置的情況下(s1800：“否”)，妝容圖像重疊部150使處理進(jìn)入后續(xù)的步驟s2100。

在步驟s1900中，妝容圖像重疊部150針對(duì)滑動(dòng)方向所朝向的臉部進(jìn)行妝容有無或者妝容濃淡的變更，將變更后的妝容設(shè)定322記錄到狀態(tài)記錄表320(參照?qǐng)D4)。所述妝容有無或者妝容濃淡的變更相當(dāng)于利用圖5的第二畫面狀態(tài)412或圖5的第四畫面狀態(tài)414說明過的重疊圖像的變更。

另一方面，在步驟s2000中，妝容圖像重疊部150針對(duì)最接近滑動(dòng)開始位置的臉部進(jìn)行妝容的圖案的變更，將變更后的妝容設(shè)定322記錄到狀態(tài)記錄表320(參照?qǐng)D4)。所述妝容的圖案的變更相當(dāng)于利用圖5的第六畫面狀態(tài)416說明過的重疊圖像的變更。

在步驟s2100中，妝容圖像重疊部150判定滑動(dòng)操作是否已結(jié)束。例如基于是否不再檢測(cè)到接觸來判定滑動(dòng)操作是否已結(jié)束。

在滑動(dòng)操作已結(jié)束的情況下(s2100：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s2200。另外，在滑動(dòng)操作未結(jié)束的情況下(s2100：“否”)，妝容圖像重疊部150使處理進(jìn)入后述的步驟s2300。

在步驟s2200中，妝容圖像重疊部150廢棄所獲取到的滑動(dòng)開始位置，從狀態(tài)記錄表320刪除各臉部的滑動(dòng)開始時(shí)位置324的記錄(參照?qǐng)D4)。此外，也可以是，妝容圖像重疊部150無論滑動(dòng)操作是否已結(jié)束，都在開始滑動(dòng)操作后經(jīng)過了規(guī)定的時(shí)間時(shí)廢棄對(duì)應(yīng)的滑動(dòng)開始位置，并刪除滑動(dòng)開始時(shí)位置324的記錄。

在步驟s2300中，妝容圖像重疊部150適當(dāng)生成妝容圖像并將妝容圖像重疊于影像，來生成虛擬化妝影像。顯示部160顯示所生成的虛擬化妝影像。此外，虛擬化妝影像不僅包括重疊了妝容圖像的影像，也包括未重疊妝容圖像的影像。

在步驟s2400中，妝容圖像重疊部150判定是否通過用戶操作等指示了結(jié)束生成并顯示虛擬化妝影像的處理。在未指示結(jié)束處理的情況下(s2400：“否”)，妝容圖像重疊部150使處理返回到步驟s1200。另外，在指示了結(jié)束處理的情況下(s2400：“是”)，妝容圖像重疊部150結(jié)束一系列處理。

圖10是表示相對(duì)位置分析處理(圖9的步驟s1400)的一例的流程圖。

在步驟s1410中，妝容圖像重疊部150獲取畫面所包含的多個(gè)臉部的相對(duì)位置關(guān)系，并將相對(duì)位置關(guān)系記錄到狀態(tài)記錄表320的相對(duì)位置325。所述相對(duì)位置關(guān)系的獲取相當(dāng)于在圖8中說明過的相對(duì)位置4081、4082的獲取。

在步驟s1420中，妝容圖像重疊部150參照狀態(tài)記錄表320的追蹤狀態(tài)326，來判定是否存在新開始追蹤的臉部。在存在開始追蹤的臉部的情況下(s1420：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1430。另外，在不存在開始追蹤的臉部的情況下(s1420：“否”)，妝容圖像重疊部150使處理進(jìn)入上述的圖9的步驟s1500。

在步驟s1430中，妝容圖像重疊部150參照狀態(tài)記錄表320的追蹤狀態(tài)326(參照?qǐng)D4)，來判定是否存在過去已結(jié)束追蹤的臉部。在存在已結(jié)束追蹤的臉部的情況下(s1430：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1440。另外，在不存在已結(jié)束追蹤的臉部的情況下(s1430：“否”)，妝容圖像重疊部150使處理進(jìn)入上述的圖9的步驟s1500。

在步驟s1440中，妝容圖像重疊部150參照狀態(tài)記錄表320的相對(duì)位置325(參照?qǐng)D4)，來獲取過去已結(jié)束追蹤的臉部相對(duì)于追蹤正在持續(xù)的臉部的相對(duì)位置。然后，妝容圖像重疊部150判定開始追蹤的臉部相對(duì)于追蹤正在持續(xù)的臉部的相對(duì)位置是否與所獲取到的相對(duì)位置相同。所述相對(duì)位置的判定相當(dāng)于在圖8中說明過的相對(duì)位置4081與相對(duì)位置4082的比較。

在與相對(duì)位置相同的情況下(s1440：“是”)，妝容圖像重疊部150使處理進(jìn)入步驟s1450。另外，在與相對(duì)位置不同的情況下(s1440：“否”)，妝容圖像重疊部150使處理進(jìn)入上述的圖9的步驟s1500。

在步驟s1450中，妝容圖像重疊部150對(duì)開始追蹤的臉部應(yīng)用過去已結(jié)束追蹤的臉部的妝容設(shè)定并記錄該妝容設(shè)定。即，妝容圖像重疊部150在狀態(tài)記錄表320中將過去已結(jié)束追蹤的臉部的妝容設(shè)定322記述到開始追蹤的臉部的妝容設(shè)定322。然后，妝容圖像重疊部150使處理進(jìn)入上述的圖9的步驟s1500。

通過這種動(dòng)作，圖像處理裝置100能夠?qū)崿F(xiàn)如下的虛擬化妝操作：不會(huì)被手指遮擋臉部區(qū)域，不受畫面上的臉部位置的抖動(dòng)所影響，且即使多個(gè)臉部中的一個(gè)臉部暫時(shí)從畫面脫離也能夠維持妝容設(shè)定。

<本實(shí)施方式1的效果>

如以上所說明的那樣，本實(shí)施方式1所涉及的圖像處理裝置100能夠以在畫面上進(jìn)行了臉部方向滑動(dòng)操作為條件，來變更對(duì)影像所包含的臉部的妝容圖像的重疊狀態(tài)。即，通過使用圖像處理裝置100，用戶能夠不被手指遮擋呈現(xiàn)臉部的區(qū)域地進(jìn)行對(duì)妝容圖像的重疊狀態(tài)進(jìn)行變更的操作，從而能夠一邊利用畫面的影像來確認(rèn)臉部的美觀一邊進(jìn)行自拍。因而，圖像處理裝置100使得能夠一邊自拍一邊進(jìn)行虛擬化妝操作。

另外，本實(shí)施方式1所涉及的圖像處理裝置100以開始包括滑動(dòng)操作在內(nèi)的觸摸操作時(shí)的臉部的位置為基準(zhǔn)，來決定觸摸操作的對(duì)象。由此，圖像處理裝置100能夠不受因被攝體或者圖像處理裝置100的移動(dòng)而引起的畫面上的臉部的位置的抖動(dòng)所影響地實(shí)現(xiàn)用戶所期望的操作。

另外，本實(shí)施方式1所涉及的圖像處理裝置100在畫面包含多個(gè)臉部時(shí)獲取其相對(duì)位置關(guān)系，基于位置的追蹤是否正在持續(xù)以及相對(duì)位置關(guān)系是否還維持著，來針對(duì)每個(gè)臉部判斷是否維持妝容設(shè)定。由此，即使在因圖像處理裝置100的移動(dòng)而導(dǎo)致多個(gè)臉部中的某個(gè)臉部暫時(shí)從畫面脫離的情況下，圖像處理裝置100也能夠?qū)⒂脩羲O(shè)定的妝容圖像繼續(xù)重疊于該臉部。

即，根據(jù)本實(shí)施方式1所涉及的圖像處理裝置100，與以往技術(shù)相比，能夠?qū)崿F(xiàn)更簡(jiǎn)單且直觀的虛擬化妝操作界面。

<本實(shí)施方式1的變形例>

此外，作為滑動(dòng)操作的對(duì)象的臉部的決定方法不限定于上述的例子。例如也可以是，妝容圖像重疊部150以進(jìn)行了去向臉部的位置的方向的滑動(dòng)操作的位置與臉部的位置之間在畫面上的距離為規(guī)定的閾值以下為條件，來變更妝容圖像的重疊狀態(tài)。

另外，例如也可以是，在沿去向畫面所包含的多個(gè)臉部的位置的方向進(jìn)行了滑動(dòng)操作時(shí)，妝容圖像重疊部150將該多個(gè)臉部中的、在畫面上與進(jìn)行了該滑動(dòng)操作的位置之間的距離最短的臉部作為變更妝容圖像的重疊狀態(tài)的對(duì)象。

另外，例如也可以是，妝容圖像重疊部150基于滑動(dòng)操作與臉部位置的方向差以及滑動(dòng)操作與臉部位置之間的距離來決定是否將臉部作為變更妝容圖像的重疊狀態(tài)的對(duì)象。更具體地說，妝容圖像重疊部150例如將方向差乘以第一系數(shù)而得到的值與距離乘以第二系數(shù)而得到的值相加后得到的值為規(guī)定的閾值以下作為成為變更妝容圖像的重疊狀態(tài)的對(duì)象的臉部的條件。在此，方向差是指畫面上的、滑動(dòng)操作的滑動(dòng)方向與臉部相對(duì)于進(jìn)行了滑動(dòng)操作的位置的方向之間的方向差。另外，距離是指進(jìn)行了滑動(dòng)操作的位置與臉部的位置之間的距離。此外，進(jìn)行了滑動(dòng)操作的位置是指滑動(dòng)操作的開始位置、結(jié)束位置或者滑動(dòng)操作整體的接觸區(qū)域的重心位置等。

另外，妝容圖像的重疊狀態(tài)的變更方法不限定于上述的例子。例如也可以是，在沿去向重疊了妝容圖像的臉部的位置的方向進(jìn)行了滑動(dòng)操作時(shí)，妝容圖像重疊部150變更妝容圖案。

另外，妝容圖像數(shù)據(jù)的數(shù)量和內(nèi)容不限定于上述的例子。例如也可以是，妝容圖像信息310記述關(guān)于四個(gè)以上的妝容圖案與四個(gè)以上的妝容濃淡的組合的妝容圖像數(shù)據(jù)。另外，例如也可以是，妝容圖像信息310關(guān)于妝容圖案和妝容濃淡中的至少一個(gè)僅記述一種妝容圖像數(shù)據(jù)。并且，妝容圖像信息310也可以記述如男性用妝容和女性用妝容那樣的根據(jù)化妝的對(duì)象而不同的妝容圖像數(shù)據(jù)。在該情況下，妝容圖像重疊部150需要識(shí)別切換化妝的對(duì)象的操作。

另外，除滑動(dòng)操作以外的所受理的觸摸操作不限定于上述的例子。例如也可以是，在對(duì)重疊了妝容圖像的臉部進(jìn)行了對(duì)臉部標(biāo)注圓形記號(hào)的觸摸操作時(shí)，妝容圖像重疊部150變更妝容圖案、妝容濃淡。

另外，以開始觸摸操作時(shí)的臉部的位置為基準(zhǔn)來決定觸摸操作的對(duì)象的方法也可以應(yīng)用于除滑動(dòng)操作以外的各種觸摸操作。

另外，用于以開始觸摸操作時(shí)的臉部的位置為基準(zhǔn)來決定觸摸操作的對(duì)象的方法不限定于上述的例子。例如也可以是，在從開始觸摸操作起直到觸摸操作完成為止的期間，妝容圖像重疊部150停止影像以及表示臉部位置和臉部器官位置的信息的輸入(更新)。另外，也可以由拍攝部110和臉部位置獲取部140獲取操作信息來進(jìn)行所述信息的輸入的停止。

另外，對(duì)從畫面脫離的臉部維持妝容設(shè)定的方法不限定于上述的例子。例如也可以是，在某個(gè)臉部從畫面脫離的情況下，妝容圖像重疊部150以追蹤正在持續(xù)的臉部的位置為基準(zhǔn)，將最后在畫面上呈現(xiàn)時(shí)的該臉部的相對(duì)位置保持到經(jīng)過規(guī)定的超時(shí)時(shí)間為止。在該情況下，當(dāng)從畫面脫離的臉部在經(jīng)過超時(shí)時(shí)間之前返回到畫面內(nèi)時(shí)，能夠繼續(xù)該臉部的追蹤。

或者也可以是，妝容圖像重疊部150無論多個(gè)臉部之間的相對(duì)位置關(guān)系如何，都對(duì)開始位置的追蹤的臉部應(yīng)用在過去的規(guī)定的時(shí)間內(nèi)(例如3秒以內(nèi))結(jié)束了位置的追蹤的臉部的妝容設(shè)定。例如，在暫時(shí)從影像脫離的臉部?jī)H有一個(gè)、例如映入影像的臉部只有一個(gè)等的情況下，能夠適當(dāng)?shù)乇３謯y容設(shè)定。

另外，妝容圖像重疊部150也可以在進(jìn)行了妝容圖案、妝容濃淡的變更時(shí)，向用戶通知進(jìn)行了該變更。期望的是，該通知是用戶易于識(shí)別的通知，例如能夠通過妝容圖像的閃爍、顏色變化、閃爍的星星圖像等效果圖像的顯示、或者如星星閃耀那樣的聲音等效果音的輸出之類的各種效果處理來進(jìn)行該通知。

另外，應(yīng)用圖像處理裝置100的裝置不限定于上述的例子。圖像處理裝置100例如也可以應(yīng)用于平板型終端、個(gè)人計(jì)算機(jī)或者數(shù)字照相機(jī)等。

另外，圖像處理裝置100的結(jié)構(gòu)的一部分也可以配置于網(wǎng)絡(luò)上的服務(wù)器等，以這種方式等與圖像處理裝置100的結(jié)構(gòu)的其它部分相分離。在該情況下，這些部分分別需要具備用于相互進(jìn)行通信的通信部。

(實(shí)施方式2)

下面，參照附圖來詳細(xì)說明本公開的實(shí)施方式2。

<裝置的概要>

首先，說明本實(shí)施方式2所涉及的圖像處理裝置的概要。

圖11是表示本實(shí)施方式2所涉及的圖像處理裝置的概要的一例的圖。

如圖11所示，圖像處理裝置500例如具有模仿折疊型化妝鏡的外形。圖像處理裝置500在相當(dāng)于化妝鏡的鏡子的部分具備液晶顯示器501，并且在該液晶顯示器501的附近具備小型的數(shù)字照相機(jī)502。此外，液晶顯示器501也可以帶觸摸面板。另外，數(shù)字照相機(jī)502也可以是能夠進(jìn)行立體拍攝的立體照相機(jī)。

圖像處理裝置500與觸筆600配套使用。使用圖像處理裝置500和觸筆600的用戶700例如是小學(xué)生的女孩子。圖像處理裝置500使利用數(shù)字照相機(jī)502拍攝到的影像左右翻轉(zhuǎn)后顯示在液晶顯示器501上。用戶700一邊觀看呈現(xiàn)在液晶顯示器501的自己的臉部，一邊將觸筆600當(dāng)作口紅、眼影棒等化妝用具，來進(jìn)行模仿大人的化妝的動(dòng)作。

圖像處理裝置500在用戶700進(jìn)行化妝動(dòng)作時(shí)，對(duì)所顯示的影像中的成為化妝動(dòng)作的對(duì)象的區(qū)域重疊妝容圖像。

圖12a～圖12c是表示液晶顯示器501所呈現(xiàn)的圖像的變化的一例的圖。

如圖12a所示，在液晶顯示器501所呈現(xiàn)的圖像810中包含用戶的臉部811。設(shè)如圖12b所示那樣，用戶700進(jìn)行了用觸筆600的頂部描唇的動(dòng)作。于是，如圖12c所示，圖像處理裝置500生成將妝容圖像812重疊于唇的圖像810并顯示該圖像810。由此，圖像處理裝置500能夠給用戶700帶來如進(jìn)行了真正的化妝那樣的感覺。

但是，為了實(shí)現(xiàn)這種動(dòng)作，圖像處理裝置500需要在用戶700進(jìn)行化妝動(dòng)作時(shí)檢測(cè)出該化妝動(dòng)作。

因此，圖像處理裝置500從由數(shù)字照相機(jī)502拍攝到的影像獲取臉部的位置，并且在所述影像包含規(guī)定的標(biāo)記顏色的部分時(shí)從影像檢測(cè)出該部分，將該部分檢測(cè)為觸筆600。由此，只要對(duì)觸筆600施加規(guī)定的標(biāo)記顏色，圖像處理裝置500就能夠在用戶700使觸筆600接近臉部時(shí)、也就是說進(jìn)行化妝動(dòng)作時(shí)檢測(cè)出該化妝動(dòng)作。

圖13是表示觸筆600的外觀的一例的圖。

如圖13所示，觸筆600例如是具有筆狀外形的棒狀構(gòu)件。在觸筆600中的包含其頂端部的區(qū)域610施加有紅色等規(guī)定的標(biāo)記顏色。此外，期望的是，以觸筆600的軸為中心在360度的方向的表面施加標(biāo)記顏色，使得更易于從拍攝影像檢測(cè)出該標(biāo)記顏色。例如能夠?qū)?biāo)記顏色的區(qū)域610設(shè)成涂布在棒狀構(gòu)件上的涂料、粘貼在棒狀構(gòu)件上的貼紙、或者構(gòu)成棒狀構(gòu)件的帶顏色的構(gòu)件。

圖像處理裝置500既可以將規(guī)定的單色檢測(cè)為標(biāo)記顏色，也可以將規(guī)定的多個(gè)顏色的各顏色檢測(cè)為不同的標(biāo)記顏色。在本實(shí)施方式2中，設(shè)圖像處理裝置500將規(guī)定的多個(gè)顏色的各顏色檢測(cè)為不同的標(biāo)記顏色。

<裝置的結(jié)構(gòu)>

接著，說明圖像處理裝置500的結(jié)構(gòu)。

圖14是表示圖像處理裝置500的結(jié)構(gòu)的一例的框圖。

在圖14中，圖像處理裝置500具有信息保存部510、拍攝部520、臉部位置獲取部530、觸筆檢測(cè)部540、妝容圖像重疊部550以及顯示部560。

信息保存部510預(yù)先保存有用于從圖像中檢測(cè)圖像所包含的人的臉部、臉部器官的臉部特征信息以及用于生成妝容圖像來重疊于影像的臉部的部分的妝容圖像表。

臉部特征信息例如是通過基于大量的臉部圖像樣本進(jìn)行學(xué)習(xí)而生成的表示眼、唇之類的臉部器官的形狀等的圖像特征、或者臉部器官的配置、臉部的顏色直方圖之類的臉部整體的圖像特征的信息。各臉部器官分別包括眼梢、嘴角之類的臉部特征點(diǎn)。

妝容圖像表是針對(duì)多個(gè)規(guī)定的標(biāo)記顏色來按每個(gè)規(guī)定的標(biāo)記顏色預(yù)先記述妝容圖像的內(nèi)容(下面稱為“妝容圖像數(shù)據(jù)”)的表。此外，在本實(shí)施方式2中，設(shè)以唇區(qū)域、眼瞼區(qū)域以及顴骨區(qū)域等作為妝容的涂布對(duì)象的連續(xù)的區(qū)域(下面稱為“對(duì)象區(qū)域”)為單位，來生成妝容圖像。

圖15是表示妝容圖像表的內(nèi)容的一例的圖。

如圖15所示，妝容圖像表510與標(biāo)記顏色511對(duì)應(yīng)地記述有妝容區(qū)域512、妝容顏色513以及妝容濃淡514。妝容區(qū)域512、妝容顏色513以及妝容濃淡514構(gòu)成每個(gè)對(duì)象區(qū)域的妝容圖像數(shù)據(jù)。

按識(shí)別為同一類別的觸筆的顏色，來記述作為表示觸筆的顏色而被圖像處理裝置500作為檢測(cè)的對(duì)象的顏色，該記述的顏色即為標(biāo)記顏色511。此外，在此用顏色的名稱來表示標(biāo)記顏色511，但是實(shí)際上標(biāo)記顏色511是rgb(red，green，blue)之類的規(guī)定的顏色空間中的坐標(biāo)值的范圍等。即，標(biāo)記顏色511是具有某種程度的寬度的顏色范圍。

妝容區(qū)域512例如是以嘴角等臉部特征點(diǎn)的位置為基準(zhǔn)來定義的妝容圖像的區(qū)域(也就是說，妝容的涂布區(qū)域)。此外，在此用臉部的區(qū)域的名稱來表示妝容區(qū)域512，但是實(shí)際上妝容區(qū)域512是以臉部特征點(diǎn)的位置為基準(zhǔn)的空間中的坐標(biāo)值、函數(shù)等。

妝容顏色513是妝容圖像的顏色。此外，在此用顏色的名稱來表示妝容顏色513，但是實(shí)際上妝容顏色513是rgb(red，green，blue)、hsv(hue，saturation，value)之類的規(guī)定的顏色空間中的坐標(biāo)值等。妝容顏色513也可以未必與標(biāo)記顏色511相同，但是期望妝容顏色513是與標(biāo)記顏色511近似的顏色。由此，用戶700能夠直觀地利用與期望的顏色相近的顏色來進(jìn)行虛擬化妝。

妝容濃淡514是重疊于拍攝圖像時(shí)的妝容圖像的顏色的濃度(透明度)。此外，在此用透明度來表示妝容濃淡514，但是實(shí)際上妝容濃淡514是通過α混合等將妝容圖像重疊于拍攝圖像時(shí)的對(duì)像素值的合成率等系數(shù)。

即，妝容圖像表510中記述的妝容圖像數(shù)據(jù)所表示的妝容圖像是表示對(duì)以臉部特征點(diǎn)為基準(zhǔn)預(yù)先決定的區(qū)域(對(duì)象區(qū)域)涂布妝容時(shí)的妝容的狀態(tài)的圖像。另外，妝容區(qū)域512是作為妝容的涂布對(duì)象的對(duì)象區(qū)域。

圖14的拍攝部520例如具有上述的數(shù)字照相機(jī)502，來拍攝用戶700的臉部的影像(參照?qǐng)D11)。而且，拍攝部520將拍攝到的影像在左右方向上翻轉(zhuǎn)后輸出到臉部位置獲取部530、觸筆檢測(cè)部540以及妝容圖像重疊部550。

臉部位置獲取部530從所輸入的影像逐次獲取影像所包含的臉部的位置。更具體地說，臉部位置獲取部530基于臉部特征信息，對(duì)構(gòu)成影像的圖像幀的各部分進(jìn)行臉部或者臉部器官的圖像特征的圖案匹配。由此，臉部位置獲取部530從各圖像幀提取圖像幀所包含的各臉部特征點(diǎn)的位置。然后，臉部位置獲取部530將表示所提取出的臉部特征點(diǎn)的位置的信息輸出到觸筆檢測(cè)部540和妝容圖像重疊部550。

觸筆檢測(cè)部540在所輸入的影像包含妝容圖像表510中記述的標(biāo)記顏色511(參照?qǐng)D15)中的某個(gè)標(biāo)記顏色時(shí)，從影像檢測(cè)出該部分，將該部分檢測(cè)為觸筆。作為標(biāo)記顏色的部分的檢測(cè)方法，例如能夠采用專利文獻(xiàn)2所記載的基于顏色直方圖信息的檢測(cè)方法。

觸筆檢測(cè)部540參照妝容圖像表510的妝容區(qū)域512(參照?qǐng)D15)，來判定是否進(jìn)行了使觸筆接近某個(gè)對(duì)象區(qū)域的化妝動(dòng)作(參照?qǐng)D12a～圖12c)?；谳斎氲男畔⑺硎镜哪槻刻卣鼽c(diǎn)的位置以及檢測(cè)出的觸筆的位置來進(jìn)行所述判定。然后，觸筆檢測(cè)部540以進(jìn)行了所述化妝動(dòng)作為條件，來將表示檢測(cè)出的標(biāo)記顏色的信息輸出到妝容圖像重疊部550。

此外，臉部器官的位置和觸筆的位置分別可以是以下位置中的任一個(gè)：影像的二維空間中的位置；實(shí)際世界的三維空間中的位置；以及將與臉部表面的距離方向上的空間軸同影像的二維空間進(jìn)行組合而得到的三維空間中的位置。

例如，在數(shù)字照相機(jī)502是立體照相機(jī)的情況下，臉部位置獲取部530和觸筆檢測(cè)部540能夠通過計(jì)算立體圖像之間的視差來獲取臉部器官或觸筆的三維位置。另外，設(shè)預(yù)先獲取了影像中的臉部的大小的平均值和觸筆的大小的平均值。在該情況下，臉部位置獲取部530和觸筆檢測(cè)部540能夠通過檢測(cè)影像中的實(shí)際的臉部的大小和觸筆的大小來獲取臉部器官或觸筆的三維位置。

妝容圖像重疊部550以檢測(cè)出觸筆為條件，來對(duì)所輸入的影像的臉部的部分重疊與所檢測(cè)出的標(biāo)記顏色預(yù)先對(duì)應(yīng)的妝容圖像。更具體地說，妝容圖像重疊部550在被輸入了表示標(biāo)記顏色的信息時(shí)，參照妝容圖像表510(參照?qǐng)D15)來獲取與該標(biāo)記顏色對(duì)應(yīng)的妝容圖像數(shù)據(jù)。妝容圖像重疊部550基于獲取到的妝容圖像數(shù)據(jù)來生成妝容圖像，將生成的妝容圖像重疊于所輸入的影像。然后，妝容圖像重疊部550將適當(dāng)重疊了妝容圖像后的影像輸出到顯示部560。

顯示部560例如具有上述液晶顯示器501(參照?qǐng)D11)，將所輸入的適當(dāng)重疊了妝容圖像后的影像(下面稱為“虛擬化妝影像”)顯示在該液晶顯示器的畫面上。

雖未進(jìn)行圖示，但是圖像處理裝置500例如具有cpu(centralprocessingunit：中央處理單元)、保存有控制程序的rom(readonlymemory：只讀存儲(chǔ)器)等存儲(chǔ)介質(zhì)以及ram(randomaccessmemory：隨機(jī)存取存儲(chǔ)器)等作業(yè)用存儲(chǔ)器。在該情況下，能夠通過由cpu執(zhí)行控制程序來實(shí)現(xiàn)上述的各部的功能。

具有這種結(jié)構(gòu)的圖像處理裝置500能夠在用戶700使觸筆600接近臉部時(shí)、也就是說進(jìn)行了化妝動(dòng)作時(shí)檢測(cè)出該化妝動(dòng)作，并顯示重疊了對(duì)應(yīng)的妝容圖像后的用戶700的臉部的影像。

<裝置的動(dòng)作>

接著，說明圖像處理裝置500的動(dòng)作。

圖16是表示圖像處理裝置500的動(dòng)作的一例的流程圖。

在步驟s3100中，拍攝部520開始拍攝影像。所述影像可能包含用戶700的臉部、觸筆600。此外，圖像處理裝置500針對(duì)構(gòu)成影像的每個(gè)圖像幀來依次進(jìn)行以后的各處理。

在步驟s3200中，在圖像包含臉部的情況下，臉部位置獲取部530從該圖像檢測(cè)臉部特征點(diǎn)的位置。

在步驟s3300中，觸筆檢測(cè)部540從圖像中進(jìn)行標(biāo)記顏色的檢測(cè)，判定圖像中是否存在標(biāo)記顏色的部分。在圖像中存在標(biāo)記顏色的部分的情況下(s3300：“是”)，觸筆檢測(cè)部540使處理進(jìn)入步驟s3400。另外，在圖像中不存在標(biāo)記顏色的部分的情況下(s3300：“否”)，觸筆檢測(cè)部540使處理進(jìn)入后述的步驟s3700。

在步驟s3400中，觸筆檢測(cè)部540判定是否對(duì)與所檢測(cè)出的標(biāo)記顏色對(duì)應(yīng)的對(duì)象區(qū)域(妝容區(qū)域512，參照?qǐng)D15)進(jìn)行了化妝動(dòng)作。即，觸筆檢測(cè)部540判定所檢測(cè)出的標(biāo)記顏色的部分(觸筆600)是否接近了對(duì)應(yīng)的對(duì)象區(qū)域。此外，接近例如是指觸筆600的位置與根據(jù)臉部特征點(diǎn)的位置決定的對(duì)象區(qū)域之間的距離為規(guī)定的值以下。

在進(jìn)行了化妝動(dòng)作的情況下(s3400：“是”)，觸筆檢測(cè)部540使處理進(jìn)入步驟s3500。另外，在未進(jìn)行化妝動(dòng)作的情況下(s3400：“否”)，觸筆檢測(cè)部540使處理進(jìn)入后述的步驟s3700。

此外，觸筆檢測(cè)部540也可以基于妝容圖像表510(參照?qǐng)D15)，按對(duì)象區(qū)域來限定作為檢測(cè)的對(duì)象的標(biāo)記顏色。在該情況下，能夠使步驟s3300、s3400為一個(gè)處理。另外，也可以是，在臉部位置獲取部530檢測(cè)出臉部區(qū)域的情況下，觸筆檢測(cè)部540限定在所檢測(cè)出的臉部區(qū)域中進(jìn)行各標(biāo)記顏色的檢測(cè)。

另外，也存在以下情況：盡管用戶700未打算進(jìn)行化妝動(dòng)作，但是誤使觸筆600接近對(duì)象區(qū)域。因而，也可以是，觸筆檢測(cè)部540以觸筆600接近對(duì)象區(qū)域的狀態(tài)持續(xù)1秒等規(guī)定的時(shí)間以上為條件，來判定為進(jìn)行了化妝動(dòng)作。

在步驟s3500中，妝容圖像重疊部550判定與所檢測(cè)出的標(biāo)記顏色對(duì)應(yīng)的妝容圖像是否已重疊完成。此外，該妝容圖像是利用與所檢測(cè)出的標(biāo)記顏色對(duì)應(yīng)的妝容圖像數(shù)據(jù)(512～514，參照?qǐng)D15)生成的圖像。在妝容圖像未重疊完成的情況下(s3500：“否”)，妝容圖像重疊部550使處理進(jìn)入步驟s3600。另外，在妝容圖像已重疊完成的情況下(s3500：“是”)，妝容圖像重疊部550使處理進(jìn)入后述的步驟s3700。

在步驟s3600中，妝容圖像重疊部550生成與所檢測(cè)出的標(biāo)記顏色對(duì)應(yīng)的妝容圖像，開始將該妝容圖像重疊于拍攝圖像。即，妝容圖像重疊部550在以后的影像中持續(xù)進(jìn)行妝容圖像的重疊。例如，基于臉部特征點(diǎn)的最新的位置來重新生成妝容圖像，或者將所生成的妝容圖像變形為與臉部特征點(diǎn)的最新的位置相符的形式，由此持續(xù)進(jìn)行所述妝容圖像的重疊。

此外，從用戶700開始使用觸筆600到完成期望的化妝動(dòng)作要花費(fèi)數(shù)秒左右的時(shí)間。因而，期望的是，妝容圖像重疊部550在檢測(cè)出規(guī)定的標(biāo)記顏色后到開始重疊對(duì)應(yīng)的妝容圖像之前設(shè)置數(shù)秒左右的時(shí)間差。

在步驟s3700中，顯示部560顯示所生成的虛擬化妝影像。此外，虛擬化妝影像不僅包括重疊了妝容圖像的影像，也包括未重疊妝容圖像的影像。

在步驟s3800中，妝容圖像重疊部550判定是否通過用戶操作等指示了結(jié)束生成并顯示虛擬化妝影像的處理。在未指示結(jié)束處理的情況下(s3800：“否”)，妝容圖像重疊部550使處理返回到步驟s3200，轉(zhuǎn)移到針對(duì)下一個(gè)圖像幀或者最新的圖像幀的處理。另外，在指示了結(jié)束處理的情況下(s3800：“是”)，妝容圖像重疊部550結(jié)束一系列處理。

通過這種動(dòng)作，圖像處理裝置500能夠在用戶700進(jìn)行了使觸筆600接近唇等對(duì)象區(qū)域的化妝動(dòng)作時(shí)生成并顯示對(duì)該區(qū)域重疊妝容圖像而得到的虛擬化妝影像。

此外，標(biāo)記顏色的不同(也就是說觸筆600的不同)在虛擬化妝影像中表現(xiàn)為妝容圖像的區(qū)域、顏色的不同。

圖17a～圖17c是表示由觸筆600引起的虛擬化妝影像的不同的例子的圖，與圖12c對(duì)應(yīng)。對(duì)與圖12c對(duì)應(yīng)的部分標(biāo)注相同標(biāo)記，省略對(duì)其的說明。

圖17a是使用標(biāo)記顏色為紅色的觸筆的情況的例子。圖17b是使用標(biāo)記顏色為粉色的觸筆的情況的例子。圖17c是使用標(biāo)記顏色為淺藍(lán)色的觸筆的情況的例子。圖17a～圖17c所示的觸筆6001～6003的標(biāo)記顏色依次為紅色、粉色、淺藍(lán)色。

如圖17a所示，在使用紅色的觸筆6001的情況下，圖像處理裝置500基于妝容圖像表510(參照?qǐng)D15)來使紅色的妝容圖像8121重疊于唇部分。同樣地，如圖17b所示，在使用粉色的觸筆6002的情況下，圖像處理裝置500使珊瑚粉的妝容圖像8122重疊于唇部分。另外，如圖17c所示，在使用淺藍(lán)色的觸筆6003的情況下，圖像處理裝置500使藍(lán)灰色的妝容圖像8123重疊于唇部分。

這樣，圖像處理裝置500根據(jù)觸筆600的標(biāo)記顏色來使不同的妝容圖像重疊于用戶的臉部的影像。

<本實(shí)施方式2的效果>

如以上那樣，本實(shí)施方式2所涉及的圖像處理裝置500從所拍攝到的影像獲取影像所包含的臉部的位置，在影像包含規(guī)定的標(biāo)記顏色的部分時(shí)，還檢測(cè)該部分并將該部分檢測(cè)為觸筆。而且，本實(shí)施方式2所涉及的圖像處理裝置500顯示拍攝到的影像，而此時(shí)以檢測(cè)出觸筆為條件，來對(duì)影像的臉部的部分重疊與規(guī)定的標(biāo)記顏色預(yù)先對(duì)應(yīng)的妝容圖像。由此，圖像處理裝置500使得能夠通過化妝動(dòng)作進(jìn)行虛擬化妝。

另外，圖像處理裝置500如圖15的妝容圖像表510所示那樣，按標(biāo)記顏色來限定化妝的對(duì)象區(qū)域。由此，即使觸筆600接近了除按觸筆600決定的對(duì)象區(qū)域以外的部分，圖像處理裝置500也不對(duì)所述部分重疊妝容圖像。由此，圖像處理裝置500能夠避免例如在虛擬化妝影像中誤將口紅涂布在眼瞼上之類的事態(tài)。

<變形例1：觸筆識(shí)別方法的其它例子>

此外，觸筆600的識(shí)別方法不限定于上述的例子。例如，圖像處理裝置500也可以在包含由規(guī)定的多個(gè)顏色構(gòu)成的規(guī)定的顏色配置圖案的部分時(shí)從影像檢測(cè)出該部分來作為上述的標(biāo)記顏色。在該情況下，能夠?qū)㈩伾渲脠D案用作觸筆600的識(shí)別碼，從而能夠提高觸筆600的檢測(cè)精度，并且能夠增加可識(shí)別的觸筆600的數(shù)量。

圖18是表示施加了顏色配置圖案的觸筆的外觀的一例的圖，與圖13對(duì)應(yīng)。

如圖18所示，對(duì)觸筆600a中的從頂端起連續(xù)的第一區(qū)域6101～第四區(qū)域6104的各區(qū)域施加顏色。在第一區(qū)域6101～第四區(qū)域6104之間，所施加的顏色既可以相同也可以不同。但是，期望的是，在第一區(qū)域6101～第四區(qū)域6104中的至少相鄰的區(qū)域610之間顏色不同。另外，期望的是，第一區(qū)域6101～第四區(qū)域6104中的至少一個(gè)區(qū)域被涂布與這些顏色配置圖案所對(duì)應(yīng)的妝容顏色近似的顏色。

對(duì)第一區(qū)域6101～第四區(qū)域6104施加的顏色的組合和順序構(gòu)成對(duì)觸筆600a施加的顏色配置圖案。此外，構(gòu)成顏色配置圖案的區(qū)域的數(shù)量不限定于四個(gè)。

圖19是表示將顏色配置圖案用作標(biāo)記顏色的情況下的妝容圖像表的內(nèi)容的一例的圖，與圖15對(duì)應(yīng)。對(duì)與圖15對(duì)應(yīng)的部分標(biāo)注相同標(biāo)記，省略對(duì)其的說明。

如圖19所示，妝容圖像表510a與為顏色配置圖案的標(biāo)記顏色511a對(duì)應(yīng)地記述有妝容區(qū)域512、妝容顏色513以及妝容濃淡514。此外，在此用顏色配置圖案的畫像來表示標(biāo)記顏色511a，但是實(shí)際上標(biāo)記顏色511a是沿配置順序記述了規(guī)定的顏色空間中的坐標(biāo)值的范圍的信息。

例如，觸筆檢測(cè)部540首先從圖像中搜索與第一區(qū)域6101(參照?qǐng)D18)對(duì)應(yīng)的顏色的區(qū)域，在檢測(cè)出該區(qū)域的情況下，在該區(qū)域的周邊搜索與第二區(qū)域6102對(duì)應(yīng)的顏色的區(qū)域。在檢測(cè)出與第二區(qū)域6102對(duì)應(yīng)的顏色的區(qū)域的情況下，觸筆檢測(cè)部540進(jìn)一步在所檢測(cè)出的該方向的周邊區(qū)域按順序搜索第三區(qū)域6103、第四區(qū)域6104。

在觸筆檢測(cè)部540能夠區(qū)別檢測(cè)n種顏色的情況下，若是圖13所示的由單色構(gòu)成的標(biāo)記顏色的觸筆600，則能夠識(shí)別n根觸筆600，能夠使用n種妝容圖像。

與此相對(duì)，若是如圖18所示的以四個(gè)區(qū)域的顏色配置圖案作為標(biāo)記顏色的觸筆600a，則例如能夠識(shí)別n4根觸筆600，能夠使用n4種妝容圖像。即，通過采用多個(gè)顏色的顏色配置圖案來作為標(biāo)記顏色，圖像處理裝置500能夠重疊種類豐富的妝容圖像，從而擴(kuò)展虛擬化妝的變化。

并且，與標(biāo)記顏色為單色的情況相比，在標(biāo)記顏色為多個(gè)顏色的顏色配置圖案的情況下，能夠降低誤將觸筆600以外的部分檢測(cè)為觸筆600的可能性。另一方面，在標(biāo)記顏色為多個(gè)顏色的顏色配置圖案的情況下，由于其一部分被手指所遮掩等而導(dǎo)致漏檢測(cè)的可能性變高。

因此，期望的是，觸筆檢測(cè)部540對(duì)在某個(gè)圖像幀中檢測(cè)出的觸筆600a在后續(xù)的影像中進(jìn)行追蹤。例如采用針對(duì)影像的公知的目標(biāo)追蹤技術(shù)來追蹤觸筆600a的頂端的顏色、形狀等圖像特征部分，由此進(jìn)行所述追蹤。在該情況下，期望的是，觸筆600a的頂端的區(qū)域(第一區(qū)域6101，參照?qǐng)D18)的顏色為規(guī)定的一個(gè)顏色。

<變形例2：顏色決定方法的其它例子>

另外，妝容圖像的顏色(妝容顏色)的決定方法不限定于上述的例子。圖像處理裝置500例如也可以基于涂布于觸筆的與標(biāo)記顏色相分別的顏色來決定妝容圖像的顏色。

圖20是表示施加了標(biāo)記顏色以外的顏色的觸筆的外觀的一例的圖，與圖13及圖18對(duì)應(yīng)。

如圖20所示，對(duì)觸筆600b的從頂端起連續(xù)的第五區(qū)域6105和第六區(qū)域6106的各區(qū)域施加了顏色。第六區(qū)域6106的顏色是從一個(gè)或多個(gè)規(guī)定的標(biāo)記顏色中選擇的顏色。

期望的是，對(duì)第五區(qū)域6105施加的顏色是除上述規(guī)定的標(biāo)記顏色以外的顏色。此外，第五區(qū)域6105例如能夠設(shè)成涂布在棒狀構(gòu)件上的涂料、粘貼在棒狀構(gòu)件上的貼紙、或者構(gòu)成棒狀構(gòu)件的帶顏色的構(gòu)件。另外，期望的是，標(biāo)記顏色為綠色等在妝容中不怎么使用的且與臉部的顏色不同的顏色。

在使用這種觸筆600b的情況下，觸筆檢測(cè)部540從影像中的檢測(cè)出的規(guī)定的標(biāo)記顏色的部分的周邊區(qū)域檢測(cè)該周邊區(qū)域所包含的除臉部的顏色以外的顏色來作為涂布指定顏色。即，觸筆檢測(cè)部540將第五區(qū)域6105的顏色檢測(cè)為涂布指定顏色。然后，妝容圖像重疊部550利用與所檢測(cè)出的涂布指定顏色近似的顏色來生成妝容圖像。

此外，妝容圖像表510(參照?qǐng)D15)無需記述妝容顏色513。并且，在將標(biāo)記顏色設(shè)為一個(gè)顏色、且不按觸筆600b限定對(duì)象區(qū)域的情況下，未必需要按標(biāo)記顏色預(yù)先記述有妝容圖像的內(nèi)容的妝容圖像表。另外，圖像處理裝置500也可以使用記述了標(biāo)記顏色以及按對(duì)象區(qū)域記述了除妝容顏色以外的妝容圖像數(shù)據(jù)的妝容圖像表，來代替所述表。

圖21是表示使用涂布了標(biāo)記顏色和涂布指定顏色的觸筆600b的情況下的圖像處理裝置500的動(dòng)作的一例的流程圖，與圖16對(duì)應(yīng)。對(duì)與圖16相同的部分標(biāo)注相同的標(biāo)記，省略對(duì)其的說明。

觸筆檢測(cè)部540當(dāng)判定為在圖像中存在標(biāo)記顏色的部分時(shí)(s3300：“是”)，使處理進(jìn)入步驟s3310b。

在步驟s3310b中，觸筆檢測(cè)部540在標(biāo)記顏色的部分的周邊區(qū)域進(jìn)行除臉部的顏色以外的顏色的檢測(cè)，判定是否存在除臉部的顏色以外的顏色的部分。更具體地說，例如在臉部位置獲取部530檢測(cè)出臉部區(qū)域的情況下，觸筆檢測(cè)部540基于所檢測(cè)出的臉部區(qū)域的顏色直方圖信息來估計(jì)包括皮膚、唇、眼睛、睫毛以及眉毛部分在內(nèi)的臉部的各部的顏色。然后，觸筆檢測(cè)部540檢測(cè)與估計(jì)出的顏色不同且具有規(guī)定的面積的部分的顏色來作為除臉部的顏色以外的顏色。

例如，在圖像包含圖20所示的觸筆600b的第五區(qū)域6105和第六區(qū)域6106的情況下，第六區(qū)域6106是標(biāo)記顏色，因此觸筆檢測(cè)部540檢測(cè)第五區(qū)域6105的顏色。

在標(biāo)記顏色的部分的周邊區(qū)域存在除臉部的顏色以外的顏色的部分的情況下(s3310b：“是”)，觸筆檢測(cè)部540使處理進(jìn)入步驟s3320b。另外，在標(biāo)記顏色的部分的周邊區(qū)域不存在除臉部的顏色以外的顏色的部分的情況下(s3310b：“否”)，觸筆檢測(cè)部540使處理進(jìn)入后述的步驟s3410b。

在步驟s3320b中，觸筆檢測(cè)部540獲取通過步驟s3310b檢測(cè)出的顏色來作為涂布指定顏色。

此外，觸筆檢測(cè)部540也可以在影像中追蹤標(biāo)記顏色的部分，將與標(biāo)記顏色進(jìn)行相同移動(dòng)的顏色判定為是上述的除臉部的顏色以外的顏色。

在步驟s3410b中，觸筆檢測(cè)部540判定是否已獲取涂布指定顏色、且對(duì)某個(gè)對(duì)象區(qū)域進(jìn)行了化妝動(dòng)作。即，觸筆檢測(cè)部540判定所檢測(cè)出的標(biāo)記顏色的部分(觸筆600b)是否接近了預(yù)先決定的對(duì)象區(qū)域中的某一個(gè)。

在已獲取涂布指定顏色、且對(duì)對(duì)象區(qū)域進(jìn)行了化妝動(dòng)作的情況下(s3410b：“是”)，觸筆檢測(cè)部540使處理進(jìn)入步驟s3510b。此時(shí)，觸筆檢測(cè)部540將表示涂布指定顏色以及成為化妝動(dòng)作的對(duì)象的對(duì)象區(qū)域的信息代替上述的表示標(biāo)記顏色的信息來輸出到妝容圖像重疊部550。另外，在沒能獲取到涂布指定顏色的情況下或者在未對(duì)對(duì)象區(qū)域進(jìn)行化妝動(dòng)作的情況下(s3410b：“否”)，觸筆檢測(cè)部540使處理進(jìn)入步驟s3700。

在步驟s3510b中，妝容圖像重疊部550基于所輸入的信息來判定是否已經(jīng)對(duì)對(duì)象區(qū)域重疊了與涂布指定顏色近似的顏色的妝容圖像。在對(duì)對(duì)象區(qū)域重疊了與涂布指定顏色近似的顏色的妝容圖像的情況下(s3510b：“是”)，妝容圖像重疊部550使處理進(jìn)入步驟s3700。另外，在未對(duì)對(duì)象區(qū)域重疊與涂布指定顏色近似的顏色的妝容圖像的情況下(s3510b：“否”)，妝容圖像重疊部550使處理進(jìn)入步驟s3610b。

在步驟s3610b中，妝容圖像重疊部550生成與涂布指定顏色近似的顏色的妝容圖像并開始將該妝容圖像重疊于拍攝圖像，使處理進(jìn)入步驟s3700。

更具體地說，妝容圖像重疊部550例如參照預(yù)先保存在信息保存部510中的、表示將顏色空間進(jìn)行分割而得到的多個(gè)分割顏色空間以及各分割顏色空間中的平均顏色等代表顏色的信息。然后，妝容圖像重疊部550確定涂布指定顏色所屬的分割顏色空間，將確定出的分割顏色空間的代表顏色決定為妝容圖像的妝容顏色。

此外，妝容圖像重疊部550也可以將所獲取到的涂布指定顏色直接用作妝容顏色，還可以將對(duì)所獲取到的涂布指定顏色進(jìn)行規(guī)定的顏色變換而得到的顏色用作妝容顏色。并且，妝容圖像重疊部550也可以獲取照明狀態(tài)等周圍的環(huán)境信息，基于獲取到的信息來決定顏色變換的內(nèi)容。

圖22a～圖22c是表示由觸筆600b的涂布指定顏色引起的虛擬化妝影像的不同的例子的圖，與圖12c及圖17a～圖17c對(duì)應(yīng)。對(duì)與圖12c及圖17a～圖17c對(duì)應(yīng)的部分標(biāo)注相同標(biāo)記，省略對(duì)其的說明。

設(shè)如圖22a～圖22c所示那樣，分別使用施加了各不相同的涂布指定顏色的觸筆600b1～600b3來對(duì)唇進(jìn)行化妝動(dòng)作。在該情況下，圖像處理裝置500使與各觸筆600b的涂布指定顏色近似的顏色的妝容圖像812b1～812b3重疊于成為化妝動(dòng)作的對(duì)象的唇區(qū)域。

在基于標(biāo)記顏色來決定妝容顏色的情況下，需要根據(jù)能夠識(shí)別的標(biāo)記顏色(顏色配置圖案)的數(shù)量來限制妝容圖像的種類，并且需要預(yù)先登記標(biāo)記顏色與妝容顏色的對(duì)應(yīng)關(guān)系。

與此相對(duì)，在基于標(biāo)記顏色來檢測(cè)如圖20所示的觸筆600b、從檢測(cè)出的觸筆600b獲取涂布指定顏色的情況下，不存在上述的限制，也無需預(yù)先設(shè)定標(biāo)記顏色與妝容顏色的對(duì)應(yīng)關(guān)系。即，通過采用標(biāo)記顏色與涂布指定顏色的組合，圖像處理裝置500能夠生成顏色富有靈活性的妝容圖像，從而能夠擴(kuò)展虛擬化妝的變化。

<其它變形例>

另外，圖像處理裝置500所進(jìn)行的標(biāo)記顏色(顏色配置圖案)與妝容圖像的對(duì)應(yīng)不限定于上述的例子。例如，也可以未必按標(biāo)記顏色來限定妝容區(qū)域512和妝容濃淡514。由此，用戶700能夠利用一個(gè)觸筆600來對(duì)多個(gè)或者所有對(duì)象區(qū)域進(jìn)行虛擬化妝。

另外，圖像處理裝置500中使用的觸筆600的形狀、觸筆600中的標(biāo)記顏色和涂布指定顏色的配置以及顏色配置圖案的結(jié)構(gòu)不限定于上述的例子。例如，觸筆600也可以是更接近各種化妝品的形狀、材料，例如也可以是平刷毛狀的形狀和材料。

另外，圖像處理裝置500也可以從用戶700受理標(biāo)記顏色的輸入。在該情況下，觸筆檢測(cè)部540例如在實(shí)施虛擬化妝之前在液晶顯示器501上顯示用于從拍攝影像獲取觸筆600的部分的觸筆登記畫面。然后，觸筆檢測(cè)部540獲取借助觸筆登記畫面獲取到的觸筆600的部分的顏色，將該顏色作為對(duì)觸筆600標(biāo)注的標(biāo)記顏色。

圖23是表示觸筆登記畫面的一例的圖。

如圖23所示，觸筆登記畫面610例如包括用于指定觸筆600在數(shù)字照相機(jī)502的拍攝影像611中的位置的位置指定圖像612。另外，觸筆登記畫面610包括消息613，該消息613指示用戶700以使觸筆600在拍攝影像611中的位置對(duì)準(zhǔn)位置指定圖像612的方式持拿觸筆600。

觸筆檢測(cè)部540從拍攝影像611檢測(cè)預(yù)先登記的觸筆600的外形、對(duì)觸筆600標(biāo)注的碼圖案，由此判定觸筆600是否對(duì)準(zhǔn)了位置指定圖像612。然后，在觸筆600對(duì)準(zhǔn)了位置指定圖像612時(shí)，觸筆檢測(cè)部540從拍攝影像611獲取標(biāo)注了標(biāo)記顏色的部分(例如觸筆600的頂端部分)的顏色，將獲取到的顏色獲取為標(biāo)記顏色。

此外，妝容圖像重疊部550既可以將所獲取到的顏色直接作為妝容顏色，也可以將與所獲取到的顏色預(yù)先對(duì)應(yīng)的顏色作為妝容顏色。

另外，也可以是，在圖像處理裝置500的觸筆600的識(shí)別中同時(shí)使用除顏色信息以外的信息。例如也可以是，在觸筆600搭載有rfid(radiofrequencyidentification：射頻識(shí)別)標(biāo)簽的情況下，觸筆檢測(cè)部540基于來自rfid標(biāo)簽的無線信號(hào)所表示的信息與觸筆600的顏色信息的組合來識(shí)別觸筆600。

另外，圖像處理裝置500所進(jìn)行的妝容圖像的重疊也可以不限制于上述的對(duì)象區(qū)域。即，圖像處理裝置500也可以將整個(gè)臉部的各部識(shí)別為化妝動(dòng)作的對(duì)象。

在該情況下，在想要給用戶700帶來更接近實(shí)際的妝容的感覺的情況下，期望的是，觸筆檢測(cè)部540檢測(cè)用戶700是否使觸筆600與臉部的表面接觸，將觸筆600所接觸的部分決定為妝容區(qū)域。例如，能夠通過分別高精度地檢測(cè)臉部的表面的各部的三維位置和觸筆600的頂端的三維位置，或者通過以無線方式接收搭載于觸筆600的頂端的按壓傳感器的傳感器信息，來進(jìn)行所述檢測(cè)。

或者，觸筆檢測(cè)部540也可以還對(duì)觸筆600(標(biāo)記顏色的區(qū)域)在對(duì)象區(qū)域附近的移動(dòng)、對(duì)象區(qū)域與觸筆600的更細(xì)微的位置關(guān)系進(jìn)行分析，來判定是否對(duì)所述對(duì)象區(qū)域進(jìn)行了化妝動(dòng)作。具體地說，例如，觸筆檢測(cè)部540預(yù)先按對(duì)象區(qū)域?qū)⒁?guī)定的觸筆600的移動(dòng)的圖案(手勢(shì))登記為化妝動(dòng)作，通過檢測(cè)所述手勢(shì)來進(jìn)行化妝動(dòng)作的判定。

例如能夠使用設(shè)定于臉部的多個(gè)基準(zhǔn)點(diǎn)來定義手勢(shì)。

圖24是用于說明手勢(shì)的定義的圖。

如圖24所示，在臉部620定義了多個(gè)基準(zhǔn)點(diǎn)(621)a～f、x～z。以臉部特征點(diǎn)為基準(zhǔn)來決定基準(zhǔn)點(diǎn)的位置。另外，對(duì)化妝的對(duì)象區(qū)域分別定義有一個(gè)或多個(gè)基準(zhǔn)點(diǎn)。

例如，在信息保存部510中預(yù)先保存有手勢(shì)表，該手勢(shì)表按對(duì)象區(qū)域?qū)⒁粋€(gè)或多個(gè)基準(zhǔn)點(diǎn)與觸筆600的相對(duì)位置關(guān)系的時(shí)間變化記述為對(duì)該對(duì)象區(qū)域的化妝動(dòng)作。

例如，上唇的化妝動(dòng)作是如下的觸筆600的移動(dòng)(用戶700的手勢(shì))：觸筆600按照基準(zhǔn)點(diǎn)a、基準(zhǔn)點(diǎn)b(或基準(zhǔn)點(diǎn)b與基準(zhǔn)點(diǎn)d的中點(diǎn))、基準(zhǔn)點(diǎn)c的順序或者與其相反的順序接近這些基準(zhǔn)點(diǎn)。另外，下唇的化妝動(dòng)作是如下的觸筆600的移動(dòng)：觸筆600按照基準(zhǔn)點(diǎn)a、基準(zhǔn)點(diǎn)f(或基準(zhǔn)點(diǎn)f與基準(zhǔn)點(diǎn)e的中點(diǎn))、基準(zhǔn)點(diǎn)c的順序或者與其相反的順序接近這些基準(zhǔn)點(diǎn)。

另外，右頰的化妝動(dòng)作是如下的觸筆600的移動(dòng)：觸筆600在基準(zhǔn)點(diǎn)z的周邊旋轉(zhuǎn)數(shù)圈。另外，對(duì)整個(gè)臉部的粉底的化妝動(dòng)作是如下的觸筆600的移動(dòng)：觸筆600按照基準(zhǔn)點(diǎn)x、基準(zhǔn)點(diǎn)y、基準(zhǔn)點(diǎn)z的順序或者與其相反的順序接近這些基準(zhǔn)點(diǎn)。

妝容圖像重疊部550將從影像檢測(cè)出的觸筆600的位置的時(shí)間變化與手勢(shì)表中記述的各化妝動(dòng)作的內(nèi)容進(jìn)行比較，由此判定是否對(duì)各對(duì)象區(qū)域進(jìn)行了化妝動(dòng)作。

反之，圖像處理裝置500也可以單純以觸筆600接近臉部為條件、或者單純以從影像檢測(cè)出觸筆600為條件，來開始對(duì)拍攝影像重疊與觸筆600的類別預(yù)先對(duì)應(yīng)的妝容圖像。

另外，圖像處理裝置500根據(jù)觸筆600的區(qū)分而改變的妝容圖像的內(nèi)容不限定于上述的例子。即，妝容圖像表510(參照?qǐng)D15)所記述的妝容圖像的內(nèi)容也可以是按標(biāo)記顏色(顏色配置圖案)而妝容的光澤等圖像效果、與化妝劑的持久性相當(dāng)?shù)膴y容圖像的持續(xù)時(shí)間等不同的內(nèi)容。

另外，信息保存部510也可以訪問因特網(wǎng)上的規(guī)定的服務(wù)器等來獲取或更新妝容圖像表510(參照?qǐng)D15)的內(nèi)容。信息保存部510定期地或者在接收到來自用戶或服務(wù)器的指示的時(shí)刻進(jìn)行所述表的獲取或更新。由此，圖像處理裝置500能夠靈活地應(yīng)對(duì)觸筆600的增加、變更，并且能夠向用戶700提供反映了妝容的流行的虛擬化妝。

另外，也可以是，在影像包含作為用于擦掉妝容的顏色而預(yù)先決定的顏色時(shí)，觸筆檢測(cè)部540檢測(cè)出所述顏色的部分，將該部分作為橡皮擦觸筆。而且，也可以是，觸筆檢測(cè)部540以進(jìn)行了使橡皮擦觸筆接近重疊有妝容圖像的部分的動(dòng)作為條件，來結(jié)束該妝容圖像的重疊。

另外，被圖像處理裝置500當(dāng)作對(duì)象的妝容的概念也可以包括對(duì)整個(gè)臉部的粉底的涂布、對(duì)臉部的描畫、眼鏡的佩戴、彩色隱形眼鏡的佩戴、對(duì)眉毛和頭發(fā)的染色等。無論在哪個(gè)情況下，都期望觸筆是眼鏡型的板、刷子型的用具等模仿對(duì)應(yīng)的動(dòng)作中使用的用具。

另外，應(yīng)用圖像處理裝置500的裝置不限定于上述的例子。圖像處理裝置500例如也可以應(yīng)用于智能電話(實(shí)施方式1所示的圖像處理裝置100)、平板型終端、個(gè)人計(jì)算機(jī)或者數(shù)字照相機(jī)等。

另外，圖像處理裝置500的結(jié)構(gòu)的一部分也可以配置于網(wǎng)絡(luò)上的服務(wù)器等，以這種方式等與圖像處理裝置500的結(jié)構(gòu)的其它部分相分離。在該情況下，這些部分分別需要具備用于相互進(jìn)行通信的通信部。

以上參照附圖說明了各種實(shí)施方式，但是本發(fā)明并不限定于所述例子，這是不言而喻的。本領(lǐng)域技術(shù)人員明白，在權(quán)利要求書所記載的范圍內(nèi)能夠想到各種變更例或修改例，也能夠理解它們當(dāng)然也屬于本發(fā)明的技術(shù)范圍。

產(chǎn)業(yè)上的可利用性

本公開作為使得能夠一邊自拍一邊進(jìn)行虛擬化妝操作的圖像處理裝置、觸筆以及圖像處理方法是有用的。

附圖標(biāo)記說明

100：圖像處理裝置；110：拍攝部；120：操作受理部；130：信息保存部；140：臉部位置獲取部；150：妝容圖像重疊部；160：顯示部；500：圖像處理裝置；501：液晶顯示器；502：數(shù)字照相機(jī)；510：信息保存部；520：拍攝部；530：臉部位置獲取部；540：觸筆檢測(cè)部；550：妝容圖像重疊部；560：顯示部；600、600a、600b：觸筆。