圖像處理裝置以及圖像顯示裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理裝置以及具備該圖像處理裝置的圖像顯示裝置，在攝像部的攝像方向與顯示部的顯示方向一致的所謂的自拍攝影的情況下，生成適當(dāng)?shù)淖耘膱D像。
【背景技術(shù)】
[0002]在便攜式電話、平板電腦、筆記本電腦、電視機(jī)等的各種顯示器中，存在將攝像部的攝像方向與顯示部的顯示方向朝向同一方向配置并且以自己的臉部為被攝體來(lái)進(jìn)行攝像的所謂的自拍攝影。
[0003]自拍攝影的代表性的應(yīng)用有以下2個(gè)。一個(gè)是通過(guò)在遠(yuǎn)程地點(diǎn)的對(duì)象所保有的顯示器中顯示攝像圖像從而能夠進(jìn)行與遠(yuǎn)程地點(diǎn)的對(duì)象的對(duì)話的視頻聊天或者TV會(huì)議功能。另一個(gè)是通過(guò)使所攝像的圖像左右反轉(zhuǎn)來(lái)進(jìn)行鏡像顯示從而能夠進(jìn)行需要確認(rèn)自己的臉部的化妝等操作的鏡子功能。
[0004]由于在視頻聊天中對(duì)象的臉部顯示于顯示部，在鏡子功能中自己的臉部顯示于顯示部，因此使用者會(huì)注視顯示部而并非攝像部。由于所攝像的被攝體的視線方向與攝像部的攝像方向并不一致，因此所攝像的被攝體并不朝向正面，位于遠(yuǎn)程地點(diǎn)的對(duì)象、或者被攝體本人即使觀察攝像圖像，也成為視線與被攝體不一致的狀態(tài)。作為校正該被攝體的臉部方向的方法，例如在下述專利文獻(xiàn)I中公開(kāi)了一種方法，在圖像顯示部的顯示畫面的外側(cè)部，分散配置多個(gè)攝像單元，根據(jù)由各攝像單元得到的多個(gè)攝像數(shù)據(jù)對(duì)被攝體的圖像進(jìn)行處理來(lái)得到三維圖像，由此生成與攝像部正對(duì)的被攝體的圖像。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:JP特開(kāi)2004-159061號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]但是，在上述方法中，會(huì)修正為所攝像到的被攝體總是與顯示畫面正對(duì)的圖像。例如，即使在想要拍攝被攝體的側(cè)臉時(shí)也被修正為正對(duì)的圖像，難以生成適當(dāng)?shù)淖耘膱D像。
[0010]本發(fā)明鑒于上述課題而發(fā)明，其目的在于提供一種圖像處理裝置，在攝像部的攝像方向與顯示部的顯示方向一致的所謂自拍攝影的情況下，生成適當(dāng)?shù)淖耘膱D像。
[0011]用于解決課題的手段
[0012]根據(jù)本發(fā)明的一觀點(diǎn)，本發(fā)明的圖像處理裝置具備:臉部信息檢測(cè)部，其從圖像數(shù)據(jù)檢測(cè)被攝體的臉部位置信息、臉部大小信息和臉部成分信息；臉部方向計(jì)算部，其根據(jù)所述臉部位置信息、所述臉部大小信息和所述臉部成分信息，來(lái)計(jì)算出所述被攝體的臉部方向信息；圖像平行移動(dòng)部，其使所述圖像數(shù)據(jù)進(jìn)行平行移動(dòng)以使所述臉部位置信息成為所述圖像數(shù)據(jù)的中心；臉部模型生成部，其基于所述臉部位置信息、所述臉部大小信息、所述臉部成分信息和所述臉部方向信息，使表示臉部的立體形狀的臉部立體形狀模板信息進(jìn)行變形來(lái)生成所述被攝體的臉部模型；和圖像生成部，其基于所述臉部方向信息和所述臉部模型，來(lái)生成按照所述被攝體的臉部成為正面臉部的方式進(jìn)行了變換的圖像，所述圖像處理裝置根據(jù)所述臉部方向信息，對(duì)輸出由所述圖像平行移動(dòng)部進(jìn)行了平行移動(dòng)的圖像數(shù)據(jù)的處理、和輸出由所述圖像生成部生成的圖像數(shù)據(jù)的處理進(jìn)行切換。
[0013]此外，根據(jù)本發(fā)明的其他觀點(diǎn)，提供一種圖像顯示裝置，其具備:攝像部，其對(duì)被攝體進(jìn)行攝像；所述圖像處理裝置，其對(duì)由所述攝像部攝像到的所述被攝體的圖像數(shù)據(jù)進(jìn)行處理；和發(fā)送部，其發(fā)送在所述圖像處理裝置中生成的圖像。
[0014]此外，根據(jù)本發(fā)明的其他觀點(diǎn)，提供一種圖像顯示裝置，其具備:攝像部，其對(duì)被攝體進(jìn)行攝像；所述圖像處理裝置，其對(duì)由所述攝像部攝像到的所述被攝體的圖像數(shù)據(jù)進(jìn)行處理；和接收部，其接收由其他帶攝像部的圖像顯示裝置生成的圖像數(shù)據(jù)。
[0015]發(fā)明效果
[0016]根據(jù)本發(fā)明，在攝像部的攝像方向與顯示部的顯示方向一致的所謂自拍攝影的情況下，能夠根據(jù)被攝體的臉部方向進(jìn)行適當(dāng)?shù)膱D像處理，并能夠生成適當(dāng)?shù)淖耘臄z像圖像。
【附圖說(shuō)明】
[0017]圖1是表示具備本發(fā)明的圖像處理裝置的圖像顯示裝置的第I實(shí)施例的系統(tǒng)構(gòu)成的圖。
[0018]圖2是說(shuō)明由臉部信息檢測(cè)部檢測(cè)出的臉部成分信息、臉部的大小信息和臉部的位置信息的圖。
[0019]圖3是說(shuō)明被攝體的臉部方向信息與眼睛的配置的關(guān)系的圖。
[0020]圖4是說(shuō)明被攝體的臉部的朝向與攝像部的攝像方向所成的角度的圖。
[0021]圖5是說(shuō)明圖像平行移動(dòng)部的動(dòng)作的圖。
[0022]圖6是說(shuō)明圖像平行移動(dòng)部的動(dòng)作的圖。
[0023]圖7是說(shuō)明在臉部模型生成中使用的臉部立體形狀模板信息的圖。
[0024]圖8是說(shuō)明所生成的臉部模型的圖。
[0025]圖9是說(shuō)明圖像生成部的動(dòng)作的圖。
[0026]圖10是本發(fā)明的第I實(shí)施例中的動(dòng)作的流程圖。
[0027]圖11是表示具備本發(fā)明的圖像處理裝置的圖像顯示裝置的第2實(shí)施例的系統(tǒng)構(gòu)成的圖。
【具體實(shí)施方式】
[0028]以下，參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施例。另外，附圖示出了依據(jù)本發(fā)明的原理的具體的實(shí)施例和實(shí)現(xiàn)例，但它們是用于理解本發(fā)明，決不是用于限制性地解釋本發(fā)明。此外，各圖中的構(gòu)成，為了容易理解而夸張地進(jìn)行了記載，與實(shí)際的間隔、大小不同。
[0029]<第I實(shí)施例>
[0030]圖1是表示具備本發(fā)明的圖像處理裝置101的圖像顯示裝置100的實(shí)施例的圖，表示由圖像顯示裝置100對(duì)被攝體進(jìn)行自拍，根據(jù)所攝像到的自己的圖像來(lái)生成適當(dāng)?shù)淖耘膱D像，將生成圖像顯示于顯示部104的情況下的示例。
[0031]以下，使用圖1來(lái)詳細(xì)說(shuō)明本發(fā)明的第I實(shí)施例的系統(tǒng)構(gòu)成以及動(dòng)作的詳細(xì)情況。本實(shí)施例所涉及的圖像顯示裝置100例如是帶照相機(jī)的便攜式電話、平板電腦等的通信終端，能夠進(jìn)行圖像的攝像、攝像到的圖像的保存和傳輸?shù)取?br>[0032]圖像顯示裝置100具備攝像部103、顯示部104、存儲(chǔ)部105、圖像處理裝置101、收發(fā)部106和輸入輸出部107。此外，圖像顯示裝置100通過(guò)收發(fā)部106與外部網(wǎng)絡(luò)113連接，與其他的通信設(shè)備等連接。
[0033]攝像部103具備攝像透鏡以及CCD (Charge Coupled Device:電荷親合器件)、CMOS (Complementary Metal Oxide Semiconductor:互補(bǔ)金屬氧化物半導(dǎo)體)等攝像元件，能夠?qū)Ρ粩z體的靜止圖像、動(dòng)態(tài)圖像進(jìn)行攝像。
[0034]顯不部104 是 LCD (Liquid Crystal Display:液晶顯不器)、有機(jī) EL (ElectroLuminescence:電致發(fā)光)顯示器等的顯示畫面，對(duì)圖像、文字等的信息、被攝體的圖像等進(jìn)行顯示。
[0035]圖像處理裝置101例如能夠由CPU (Central Processing Unit:中央處理裝置)、GPU (Graphic Processing Unit:圖像處理用處理裝置)等構(gòu)成，從攝像部103、存儲(chǔ)部105、輸入輸出部107、收發(fā)部106等取得圖像、文本、聲音等信息進(jìn)行處理，向顯示部104、存儲(chǔ)部105等輸出處理后的信息。
[0036]此外，圖像處理裝置101具備臉部信息檢測(cè)部108、臉部方向計(jì)算部109、圖像平行移動(dòng)部110、臉部模型生成部111和圖像生成部112。臉部信息檢測(cè)部108從輸入到圖像處理裝置101的圖像數(shù)據(jù)中，提取臉部信息(被攝體的臉部的位置信息、臉部的大小信息、以及臉部成分信息即眼睛、鼻、口等臉部的特征)。
[0037]臉部方向計(jì)算部109基于由臉部信息檢測(cè)部108檢測(cè)出的臉部信息，來(lái)計(jì)算出被攝體的臉部方向信息。此外，圖像平行移動(dòng)部110對(duì)圖像數(shù)據(jù)的臉部區(qū)域進(jìn)行平行移動(dòng)以使所檢測(cè)出的被攝體的臉部位置信息成為圖像中心。
[0038]臉部模型生成部111基于由臉部信息檢測(cè)部108檢測(cè)出的臉部信息、由臉部方向計(jì)算部109計(jì)算出的臉部方向信息和臉部立體形狀模板信息，來(lái)生成與被攝體相應(yīng)的臉部模型。關(guān)于臉部立