專利名稱：用于處理圖像的方法、裝置和計算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和計算機(jī)程序，尤其涉及用于容易地創(chuàng)建逼真的動畫的圖像處理裝置、圖像處理方法和計算機(jī)程序。
背景技術(shù)：
為了在計算機(jī)圖形中生成逼真的人的面部，翔實的三維面部模型，即三維構(gòu)造和紋理是必需的?？梢缘玫接糜谏上鑼嵉娜S面部模型的方法。在Cyberware所執(zhí)行的一種方法中，對實際的人的面部進(jìn)行3D掃描。在另一種方法中，基于實際面部模式來產(chǎn)生面部模型，并使用3D指針(在2004年12月6日搜索到的Cyberware在線文檔(URLhttp//www.cyberware.com/)中公開)來輸入面部模型的數(shù)據(jù)。
這些方法產(chǎn)生逼真的高精度三維(3D)模型，這些方法在需要計算機(jī)圖形(CG)的電影制作以及通常需要逼真性的游戲軟件制作中經(jīng)常使用。3D掃描儀通常很昂貴，并且掃描整個面部需要很長時間。3D指針也很昂貴。使用3D指針進(jìn)行的數(shù)據(jù)輸入需要手動執(zhí)行，因而需要成本和時間。
由于現(xiàn)在可以得到高速低成本的中央處理單元和存儲器，因此可以較容易地執(zhí)行通常是很大量的數(shù)字圖像數(shù)據(jù)處理。在一種數(shù)據(jù)處理中，從多個在不同角度捕獲的二維圖像中生成3D模型。例如，在以下文獻(xiàn)中公開了另一種從在不同角度拍攝的5幅面部圖像中生成逼真3D模型的方法“Synthesizing Realistic Facial Expressions from Photographs”，Proceedingsof SIGGRAPH 98，in Computer Graphics Proceedings，Annual ConferenceSeries，1998，其作者是Frederic Pighin、Jamie Hecker、Dani Lischinski、Richard Szeliski和David Salesin。該方法比Cyberware的方法更容易地生成3D模型。
然而，由于3D面部模型是基于從多個面部圖像捕獲的面部的特征點(diǎn)來修改的，因此以原始面部圖像顯示的實際面部中，3D模型中出現(xiàn)微小的差異。更具體而言，由于從多個面部圖像中捕獲的特征點(diǎn)的準(zhǔn)確度不高，因此難以從在一個角度捕獲的特征點(diǎn)當(dāng)中指定準(zhǔn)確與在另一角度捕獲的面部圖像的特征點(diǎn)相對應(yīng)的特征點(diǎn)。而且，由于照明的關(guān)系，即使從正面看上去的面部3D模型也給人以該面部模型不同于實際面部的印象。
在以下文獻(xiàn)中公開了另一種技術(shù)“A morphable model for thesynthesis of 3D faces”，Proceedings of ACM SIGGRAPH 99，in ComputerGraphics Proceedings，Annual Conference Series，1999，其作者是Blanz，V和Vetter，T.。根據(jù)該技術(shù)，通過反復(fù)地修改用Cyberware方法獲得的3D模型面部來重新組織準(zhǔn)確的3D模型，以使單個面部圖像的面部部分與Cyberware 3D模型樣本的渲染結(jié)果之間的誤差最小化。
該技術(shù)使用了如下算法，其中用大量3D模型樣本來反復(fù)地修改3D模型。結(jié)果，在最終獲得3D模型之前需要很長時間。
日本未實審專利申請公布No.2002-32783公開了一種用于生成3D面部模型的技術(shù)。根據(jù)該公開技術(shù)，將適當(dāng)?shù)娜S構(gòu)造添加(適應(yīng))到正面拍攝的單個面部圖像。較為容易地生成了與面部圖像中實際拍攝的個人的面部具有高相似度的3D面部模型。
由于正面拍攝的單個面部圖像不包括面部的側(cè)面部分(從面頰延伸到耳朵的側(cè)面部分、頭頂部分，以及下頦的下側(cè))，因此從面部圖像生成的3D模型限于正面拍攝的面部(面部圖像中拍攝的面部區(qū)域)。如果旋轉(zhuǎn)這種3D模型以生成在傾斜角度觀察的CG(在二維圖像中)，則3D模型中不存在的面部的側(cè)面部分出現(xiàn)在前面，因而破壞了傾斜觀察的CG(看起來不自然)。
設(shè)想了通過如下方式向從正面拍攝的單個面部圖像生成的3D模型添加面部側(cè)面部分將以不同方法生成的面部的側(cè)面部分的3D模型與從正面拍攝的單個面部圖像生成的3D模型組合起來。
如果將生成面部側(cè)面部分的3D模型的處理與從正面拍攝的單個面部圖像進(jìn)行的3D模型的生成組合起來，則失去了整個處理的簡單性。如果將這兩個模型合成起來，則在從正面拍攝的單個面部圖像生成的3D模型與包括面部側(cè)面部分的3D模型的耦合部分可能出現(xiàn)不匹配。
由于頭發(fā)是纖細(xì)的，因此即使使用3D方式掃描頭發(fā)，也難以進(jìn)行準(zhǔn)確的捕獲。在已知的生成3D面部模型的技術(shù)中，在3D面部模型中常常不考慮頭發(fā)。
在3D面部模型中，頭發(fā)的問題是通過在生成了3D面部模型以后，將面部圖像的頭發(fā)的紋理與3D模型合成來解決的。根據(jù)此方法，難以再現(xiàn)發(fā)型和頭發(fā)的紋理。由于面部的3D模型是以如下方式生成的，即頭發(fā)的輪廓與面部的輪廓匹配，因此在3D模型的面部的輪廓之外不存在3D模型形狀。然而，在面部輪廓之外的區(qū)域也有頭發(fā)。如果面部圖像的頭發(fā)僅僅與面部3D模型合成，則未考慮面部輪廓之外的區(qū)域中的頭發(fā)。結(jié)果，無法獲得面部圖像中的發(fā)型和頭發(fā)紋理。
例如，在CG中非常需要面部的逼真的動畫，例如眨眼、開合嘴唇、傾斜頭部等。
為了創(chuàng)建面部的逼真的動畫，例如需要眨眼、開合嘴唇、傾斜頭部時的移動區(qū)域的大量準(zhǔn)確定位的特征點(diǎn)。為了創(chuàng)建逼真的眨眼動作，需要檢測沿著通過眼瞼露出的眼球的輪廓的大量準(zhǔn)確的特征點(diǎn)，以及沿著眼眶與眼瞼間邊界的大量準(zhǔn)確的特征點(diǎn)。
特征點(diǎn)傳統(tǒng)上被用在面部識別和面部3D模型的生成中，準(zhǔn)確度要求和特征點(diǎn)的數(shù)量都不那么高。
在以下研究論文中公開了稱為活動外貌模型(Active AppearanceModels，AAM)的特征點(diǎn)檢測技術(shù)該論文題為“Active AppearanceModels”，作者是T.F.Cootes、G.J.Edwards和C.J.Taylor，其出處是Proc.Fifth European Conf.Computer Vision，H.Burkhardt and B.Neumann，eds，vol.2.pp.484-498，1998。根據(jù)該技術(shù)，將面部圖像扭曲，通過主元分析來減少維數(shù)，將面部圖像的信息量減少到某種程度。這樣檢測特征點(diǎn)。根據(jù)AAM技術(shù)，通過對顯示在圖像中的每個特征點(diǎn)和面部紋理應(yīng)用主元分析，來抽取信息。單個面部由主元參數(shù)表示。通過改變主元參數(shù)，關(guān)于特征點(diǎn)和紋理的信息被大致恢復(fù)成甚至一個新面部。
AAM將面部圖像的信息量減少到某種程度，以將原始面部圖像變成模糊圖像。由于特征點(diǎn)是從模糊圖像中檢測的，因此獲得的是一般的特征點(diǎn)而非被定位的特征?；贏AM的特征點(diǎn)檢測方法可以用在3D模型的生成中，但不適用于要求高度準(zhǔn)確的特征點(diǎn)的逼真的動畫。
根據(jù)論文“Synthesizing Realistic Facial Expressions from Photographs”中公開的技術(shù)，在3D模型的生成中使用了從多個面部圖像中獲得的特征點(diǎn)。在該技術(shù)中，通過對多幅面部圖像中的每一幅指定大量高度準(zhǔn)確的特征點(diǎn)，來減小3D模型與原始面部圖像中所顯示的實際面部之間的微小差異。
然而，對于在不同角度拍攝的多幅面部圖像中的每一幅，難以指定大量高度準(zhǔn)確的特征點(diǎn)。即使指定了這種特征點(diǎn)，所產(chǎn)生的CG也不會帶來3D模型的可見的精確性。3D模型不一定與面部圖像中正面觀察的人的圖像相匹配。因此產(chǎn)生了已知的看起來不自然的CG。

發(fā)明內(nèi)容
還沒有提供用于容易地創(chuàng)建逼真的動畫的基本技術(shù)。
因此希望容易地創(chuàng)建逼真的動畫。
根據(jù)本發(fā)明第一實施例，一種用于從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理裝置包括用于從圖像生成顯示在圖像中的物體的三維模型的三維模型生成單元，以及用于在作為深度方向的Z方向上擴(kuò)展三維模型生成單元所生成的三維模型的側(cè)面區(qū)域的擴(kuò)展單元。
根據(jù)本發(fā)明另一實施例，一種圖像處理方法包括以下步驟從圖像生成顯示在圖像中的物體的三維模型；以及在作為深度方向的Z方向上擴(kuò)展在三維模型生成步驟中生成的三維模型的側(cè)面區(qū)域。
根據(jù)本發(fā)明另一實施例，一種計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼從圖像生成顯示在圖像中的物體的三維模型；以及在作為深度方向的Z方向上擴(kuò)展在三維模型生成步驟中生成的三維模型的側(cè)面區(qū)域。
根據(jù)另一實施例，一種圖像處理裝置包括三維模型生成單元，用于從圖像生成作為顯示在圖像中的面部的三維模型的面部模型；適配單元，用于使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像；非頭發(fā)部分檢測單元，用于從該圖像中檢測不具有頭發(fā)的非頭發(fā)部分；Z值修改單元，用于修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值；以及合成單元，用于將經(jīng)Z值修改單元修改了Z值的頭發(fā)模型與面部模型合成起來。
根據(jù)本發(fā)明另一實施例，一種圖像處理方法包括以下步驟從圖像生成作為顯示在圖像中的面部的三維模型的面部模型；使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像；從該圖像中檢測不具有頭發(fā)的非頭發(fā)部分；修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值；以及將在Z值修改步驟中修改了Z值的頭發(fā)模型與面部模型合成起來。
根據(jù)本發(fā)明另一實施例，一種計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼從圖像生成作為顯示在圖像中的面部的三維模型的面部模型；使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像；從該圖像中檢測不具有頭發(fā)的非頭發(fā)部分；修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值；以及將在Z值修改步驟中修改了Z值的頭發(fā)模型與面部模型合成起來。
根據(jù)本發(fā)明另一實施例，一種圖像處理裝置包括第一適應(yīng)單元，用于使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在圖像中的面部；以及第二適應(yīng)單元，用于通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目。
根據(jù)本發(fā)明另一實施例，一種圖像處理方法包括使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在圖像中的面部的第一適應(yīng)步驟，以及第二適應(yīng)步驟，該第二適應(yīng)步驟通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定所述模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目。
根據(jù)本發(fā)明另一實施例，一種計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼第一適應(yīng)步驟，使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在圖像中的面部；以及第二適應(yīng)步驟，通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定所述模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目。
根據(jù)本發(fā)明的實施例，顯示在圖像中的物體的3D模型被生成，并且該3D模型的側(cè)面部分在作為深度方向的Z方向上被擴(kuò)展。
根據(jù)本發(fā)明的實施例，從顯示面部的圖像生成面部的面部模型。另一方面，使預(yù)先準(zhǔn)備的頭發(fā)模型適配于圖像，并從圖像中檢測非頭發(fā)部分。Z值被修改，所述Z值表示適配于圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域在作為深度方向的Z方向上的位置。修改了Z值的頭發(fā)模型被與面部模型合成。
根據(jù)本發(fā)明的實施例，面部預(yù)定區(qū)域中模板的位置和尺寸被適應(yīng)于顯示在圖像中的面部。通過基于數(shù)目少于定義模板形狀的多個參數(shù)數(shù)目的至少一個參數(shù)來修改所述多個參數(shù)，適應(yīng)于面部并且其位置和尺寸適應(yīng)于顯示在圖像中的面部的模板的形狀被在預(yù)定區(qū)域形狀范圍內(nèi)改變，并適應(yīng)于顯示在圖像中的面部。從其位置、尺寸和形狀適應(yīng)于顯示在圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)。
根據(jù)本發(fā)明的實施例，容易獲得3D模型。容易從圖像中獲得高度準(zhǔn)確的特征點(diǎn)。從而容易地創(chuàng)建逼真的動畫。


圖1是示出了計算機(jī)的硬件結(jié)構(gòu)的框圖；圖2是示出了根據(jù)本發(fā)明一個實施例的圖像處理裝置的框圖；圖3是示出了圖像處理裝置的操作的流程圖；圖4是示出了預(yù)處理的流程圖；圖5示出了一個面部圖像；圖6示出了估計面部范圍和衣物邊緣的方法；圖7示出了一個二值圖像；圖8示出了一個規(guī)范化面部圖像；圖9示出了一個規(guī)范化面部圖像；圖10示出了一個規(guī)范化面部圖像；圖11是示出了詳細(xì)特征點(diǎn)抽取器的框圖；圖12示出了一個眼睛模板；圖13是示出了眼睛特征點(diǎn)檢測器的處理的流程圖；圖14A和14B示出了一個眼睛模板；圖15A和15B示出了一個眼睛模板；圖16A～16E示出了眼睛模板控制點(diǎn)的移動；圖17A～17C示出了眼睛模板控制點(diǎn)的移動；圖18是示出了嘴特征點(diǎn)檢測器的處理的流程圖；圖19A和19B示出了一個嘴模板；圖20是示出了下頦特征點(diǎn)檢測器的處理的流程圖；圖21示出了標(biāo)準(zhǔn)特征點(diǎn)；圖22示出了標(biāo)準(zhǔn)特征點(diǎn)；圖23示出了詳細(xì)特征點(diǎn)；圖24示出了詳細(xì)特征點(diǎn)；圖25是示出了面部模型生成器的框圖；圖26示出了一個標(biāo)準(zhǔn)面部模型；圖27示出了規(guī)范化面部圖像；圖28示出了一個面部模型；
圖29示出了頸部模型適應(yīng)器的處理；圖30示出了耳朵模型適應(yīng)器的處理；圖31示出了一個面部模型；圖32示出了Z值變換函數(shù)；圖33示出了一個面部模型；圖34A～34C示出了擴(kuò)展器的處理；圖35A～35D示出了擴(kuò)展器的處理；圖36示出了從未沿Z方向擴(kuò)展側(cè)面部分的面部模型生成的CG動畫；圖37示出了從沿Z方向擴(kuò)展了側(cè)面部分的面部模型生成的CG動畫；圖38示出了一個合成器；圖39示出了從未合成頸部模型和耳朵模型的面部模型生成的CG；圖40示出了從合成了頸部模型和耳朵模型的面部模型生成的CG；圖41A和41B示出了作為使標(biāo)準(zhǔn)頭發(fā)模型適配于規(guī)范化面部圖像的結(jié)果而獲得的頭發(fā)模型；圖42A和42B示出了修改了Z值的頭發(fā)模型；圖43示出了從未合成頭發(fā)模型的面部模型生成的CG；圖44示出了從合成了頭發(fā)模型的面部模型生成的CG；圖45示出了從未合成頭發(fā)模型的面部模型生成的CG；圖46示出了從合成了頭發(fā)模型的面部模型生成的CG；圖47是用于生成面部模型的面部模型生成器的處理的流程圖；圖48是生成頭發(fā)模型并將所生成的頭發(fā)模型與面部模型合成的面部模型生成器的處理的流程圖；圖49示出了一個CG；圖50示出了一個CG；圖51示出了一個CG；并且圖52示出了一個CG。
具體實施例方式
在對本發(fā)明的實施例進(jìn)行描述之前，以下討論權(quán)利要求的特征與本發(fā)明實施例中公開的特定元素之間的對應(yīng)關(guān)系。此描述是用來確保在本說明書中描述了支持所請求保護(hù)的發(fā)明的實施例。因此，即使在以下實施例中的一個元素未被描述為與本發(fā)明的某一特征有關(guān)，這也不一定意味著該元素與權(quán)利要求中的該特征無關(guān)。相反，即使一個元素在此被描述為與權(quán)利要求的某一特征有關(guān)，這也不一定意味著該元素與權(quán)利要求的其他特征無關(guān)。
而且，此描述不應(yīng)被理解為進(jìn)行如下限制實施例中公開的本發(fā)明的所有方面都在權(quán)利要求書中進(jìn)行了描述。即，該描述并不否認(rèn)本發(fā)明的如下方面的存在，所述方面在實施例中進(jìn)行了描述，但未在本申請中作為要求保護(hù)的發(fā)明，即并不否認(rèn)本發(fā)明的如下方面的存在，所述方面將來可能由分案申請要求保護(hù)，或者通過修改來另外要求保護(hù)。
本發(fā)明一個實施例的用于從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理裝置(例如圖2的圖像處理裝置)包括用于從圖像生成顯示在該圖像中的物體的三維模型的三維模型生成單元(例如圖5的面部模型適應(yīng)器(fitter)261)，以及用于在作為深度方向的Z方向上擴(kuò)展三維模型生成單元所生成的三維模型的側(cè)面區(qū)域的擴(kuò)展單元(例如圖25的擴(kuò)展器(extender)264)。
圖像處理裝置還包括用于使預(yù)先準(zhǔn)備的頭發(fā)模型適配于圖像的適配單元(mapping unit)(例如圖25的適配單元271)，用于從圖像中檢測沒有頭發(fā)的非頭發(fā)部分的非頭發(fā)部分檢測單元(例如圖25的非頭發(fā)部分檢測器272)，用于修改在Z方向上表示適配于圖像的頭發(fā)模型中與非頭發(fā)部分適配的區(qū)域的位置的Z值的Z值修改單元(例如圖25的Z值修改器273)，以及用于將經(jīng)Z值修改單元修改了Z值的頭發(fā)模型與面部模型合成起來的合成單元(例如圖25的合成器254)。
圖像處理裝置還包括濾波器(例如圖25的濾波器274)，用于對被Z值修改單元修改了Z值的頭發(fā)模型的Z值進(jìn)行低通濾波。
圖像處理裝置包括第一適應(yīng)單元(fitting unit)(例如執(zhí)行圖13的步驟S202的圖11的眼睛特征點(diǎn)檢測器202)，用于使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在圖像中的面部；以及第二適應(yīng)單元(例如執(zhí)行圖13的步驟S203的圖11的眼睛特征點(diǎn)檢測器202)，用于通過在預(yù)定區(qū)域的形狀范圍內(nèi)，改變位置和尺寸被適應(yīng)于顯示在圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在圖像中的面部，其中基于至少一個參數(shù)來修改限定模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目，并且所述三維模型生成單元基于從其位置、尺寸和形狀被適應(yīng)于顯示在圖像中的面部的模板中獲得的面部特征點(diǎn)，生成顯示在圖像中的面部的面部模型。
本發(fā)明一個實施例的從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理方法包括以下步驟從圖像生成顯示在該圖像中的物體的三維模型(例如在圖47的步驟S251中)；以及在作為深度方向的Z方向上擴(kuò)展在三維模型生成步驟中生成的三維模型的側(cè)面區(qū)域(例如在圖47的步驟S252中)。
本發(fā)明一個實施例的用于使計算機(jī)從顯示三維物體的二維圖像生成該物體的三維模型的計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼從圖像生成顯示在該圖像中的物體的三維模型(例如在圖47的步驟S251中)；以及在作為深度方向的Z方向上擴(kuò)展在三維模型生成步驟中生成的三維模型的側(cè)面區(qū)域(例如在圖47的步驟S252中)。
本發(fā)明一個實施例的用于從顯示面部的二維圖像生成作為三維模型的面部模型的圖像處理裝置(例如圖2的圖像處理裝置)包括用于從圖像生成作為顯示在該圖像中的面部的三維模型的面部模型的三維模型生成單元(例如圖25的面部模型適應(yīng)器261)；用于使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像的適配單元(例如圖25的適配單元271)；用于從圖像中檢測不具有頭發(fā)的非頭發(fā)部分的非頭發(fā)部分檢測單元(例如圖25的非頭發(fā)部分檢測器272)；用于修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值的Z值修改單元(例如圖25的Z值修改器273)；以及用于將經(jīng)Z值修改裝置修改了Z值的頭發(fā)模型與面部模型合成起來的合成單元(例如圖25的合成器254)。
圖像處理裝置包括濾波器(例如圖25的濾波器274)，用于對經(jīng)Z值修改單元修改了Z值的頭發(fā)模型的Z值進(jìn)行低通濾波。
本發(fā)明的從顯示面部的二維圖像生成作為三維模型的面部模型的圖像處理方法包括以下步驟從圖像生成作為顯示在該圖像中的面部的三維模型的面部模型(例如在圖47的步驟S251中)；使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像(例如在圖48的步驟S272中)；從圖像中檢測不具有頭發(fā)的非頭發(fā)部分(例如在圖48的步驟S273中)；修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值(例如在圖48的步驟S274中)；以及將在Z值修改步驟中修改了Z值的頭發(fā)模型與面部模型合成起來(例如在圖48的步驟S276中)。
本發(fā)明一個實施例的使計算機(jī)從顯示面部的二維圖像生成作為三維模型的面部模型的計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼從圖像生成作為顯示在該圖像中的面部的三維模型的面部模型(例如在圖47的步驟S251中)；使預(yù)先準(zhǔn)備的頭發(fā)模型適配于該圖像(例如在圖48的步驟S272中)；從圖像中檢測不具有頭發(fā)的非頭發(fā)部分(例如在圖48的步驟S273中)；修改在作為深度方向的Z方向上表示適配于該圖像的頭發(fā)模型中適配于非頭發(fā)部分的區(qū)域的位置的Z值(例如在圖48的步驟S274中)；以及將在Z值修改步驟中修改了Z值的頭發(fā)模型與面部模型合成起來(例如在圖48的步驟S276中)。
本發(fā)明一個實施例的用于從顯示面部的二維圖像中確定三維面部的特征點(diǎn)的圖像處理裝置(例如圖2的圖像處理裝置)包括用于使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在圖像中的面部的第一適應(yīng)單元(例如執(zhí)行圖13的步驟S202的圖11的眼睛特征點(diǎn)檢測器202)，以及第二適應(yīng)單元(例如執(zhí)行圖13的步驟S203的圖11的眼睛特征點(diǎn)檢測器202)，其用于通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在該圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目。
本發(fā)明一個實施例的從顯示面部的二維圖像確定三維面部的特征點(diǎn)的圖像處理方法包括使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在該圖像中的面部的第一適應(yīng)步驟(例如在圖13的步驟S202中)，以及第二適應(yīng)步驟，通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在該圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目(例如在圖13的步驟S203中)。
本發(fā)明一個實施例的用于使計算機(jī)從顯示面部的二維圖像確定三維面部的特征點(diǎn)的計算機(jī)程序包括用于執(zhí)行以下步驟的程序代碼使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在該圖像中的面部的第一適應(yīng)步驟(例如在圖13的步驟S202中)，以及第二適應(yīng)步驟，通過在預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸已適應(yīng)于顯示在該圖像中的面部的模板的形狀，使模板形狀適應(yīng)于顯示在該圖像中的面部，并從位置、尺寸和形狀已適應(yīng)于顯示在該圖像中的面部的模板中確定面部預(yù)定區(qū)域的特征點(diǎn)，其中基于至少一個參數(shù)來修改限定模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目(例如在圖13的步驟S203中)。
下面參照附圖描述本發(fā)明的實施例。
圖1示出了體現(xiàn)本發(fā)明一個實施例的圖像處理裝置的計算機(jī)的硬件結(jié)構(gòu)。
計算機(jī)包括中央處理單元(CPU)102。輸入和輸出接口110經(jīng)由總線101連接到CPU 102。當(dāng)用戶操作輸入單元107時，CPU 102經(jīng)由輸入和輸出接口110接收指令，所述輸入單元107包括鍵盤、鼠標(biāo)、麥克風(fēng)等。作為響應(yīng)，CPU 102執(zhí)行存儲在只讀存儲器(ROM)中的程序。而且，CPU 102向隨機(jī)訪問存儲器(RAM)104加載以下幾種程序之一以執(zhí)行該程序存儲在硬盤105中的程序，從衛(wèi)星或經(jīng)由網(wǎng)絡(luò)發(fā)送來、通過通信單元108接收并安裝在硬盤105中的程序，以及從裝載在驅(qū)動器109中的可移動記錄介質(zhì)111讀取并安裝在硬盤105上的程序。CPU 102根據(jù)后面將要討論的流程圖和后面將要討論的框圖結(jié)構(gòu)執(zhí)行處理。然后，CPU 102將其處理結(jié)果經(jīng)由輸入和輸出接口110從輸出單元106輸出，將處理結(jié)果從通信單元108發(fā)送出去，或者將處理結(jié)果存儲到硬盤105上，所述輸出單元106包括液晶顯示器(LCD)和揚(yáng)聲器。
要由CPU 102執(zhí)行的程序被預(yù)先記錄在作為計算機(jī)中的內(nèi)建記錄介質(zhì)的硬盤105和ROM 103之一上。
或者，程序可以臨時或永久地存儲在可移動記錄介質(zhì)111中，所述可移動記錄介質(zhì)111例如是軟盤、光盤只讀存儲器(CD-ROM)、磁光(MO)盤、數(shù)字多功能盤(DVD)、磁盤和半導(dǎo)體存儲器中的一種?？梢苿佑涗浗橘|(zhì)111被作為所謂的打包軟件而提供。
如上所述，程序從可移動記錄介質(zhì)111安裝到計算機(jī)上?；蛘撸绦蚩梢砸詿o線方式，從下載站點(diǎn)經(jīng)由用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星發(fā)送到計算機(jī)，或者以有線方式，從下載站點(diǎn)經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)發(fā)送到計算機(jī)。計算機(jī)利用通信單元108接收這種傳入程序，然后將該程序安裝在內(nèi)建硬盤105上，所述通信單元108包括網(wǎng)絡(luò)接口卡(NIC)，以及符合IEEE(電氣電子工程師學(xué)會)1394或USB(通用串行總線)的接口中的一種。
根據(jù)圖1的實施例，計算機(jī)(CPU 102)執(zhí)行安裝在硬盤105上的應(yīng)用程序，從而執(zhí)行建模處理和動畫處理。在建模處理中，從顯示人的面部的二維(2D)圖像生成面部的三維(3D)模型，作為3D模型對象。在動畫處理中，從3D模型生成其面部區(qū)域移動的計算機(jī)圖形(CG)圖像。
圖2示出了根據(jù)本發(fā)明一個實施例的圖像處理裝置。該圖像處理裝置是通過執(zhí)行程序的圖1的計算機(jī)實現(xiàn)的。
存儲單元131被提供了具有被拍攝者的面部圖像的2D圖像(圖像數(shù)據(jù))。與圖1的RAM 104相對應(yīng)的存儲單元131臨時存儲單幀帶有人的面部的圖像(在下文中也稱為面部圖像)。
以下圖像之一經(jīng)由通信單元108存儲到硬盤105上通過數(shù)字(靜態(tài))照相機(jī)拍攝的圖像，以及通過對照片進(jìn)行掃描的掃描儀提供的圖像，然后該圖像被提供到存儲單元131。
預(yù)處理器132讀取存儲在存儲單元131中的單幀面部圖像，并對所讀取的面部圖像執(zhí)行預(yù)處理。然后，預(yù)處理器132將作為預(yù)處理的結(jié)果而獲得的單幀圖像(在下文中在適當(dāng)時也稱為規(guī)范化(normalized)面部圖像)提供到規(guī)范化面部圖像存儲器133。
與圖1的RAM 104相對應(yīng)的規(guī)范化面部圖像存儲器133臨時存儲從預(yù)處理器132提供的單幀規(guī)范化面部圖像的數(shù)據(jù)。
標(biāo)準(zhǔn)特征點(diǎn)抽取器134從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中抽取(檢測)特征點(diǎn)，并確定規(guī)范化面部圖像中所拍攝的眼睛區(qū)域和嘴部區(qū)域。標(biāo)準(zhǔn)特征點(diǎn)抽取器134將特征點(diǎn)、眼睛區(qū)域和嘴部區(qū)域的信息提供到詳細(xì)特征點(diǎn)抽取器135。
基于從標(biāo)準(zhǔn)特征點(diǎn)抽取器134提供的特征點(diǎn)、眼睛區(qū)域和嘴部區(qū)域的信息，詳細(xì)特征點(diǎn)抽取器135從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中抽取(檢測)特征點(diǎn)，并將抽取出的特征點(diǎn)提供到面部模型生成器136。
標(biāo)準(zhǔn)特征點(diǎn)抽取器134從規(guī)范化面部圖像中抽取的特征點(diǎn)是通過前面描述過的AAM抽取的一般的特征點(diǎn)，并且如果規(guī)范化面部圖像中所拍攝的眼睛、嘴和面部外形的近似位置被一般地識別出就足夠了。不要求特征點(diǎn)具有嚴(yán)格的高準(zhǔn)確度和大量的單元。相反，詳細(xì)特征點(diǎn)抽取器135從規(guī)范化面部圖像中抽取的特征點(diǎn)被用來生成后面將要描述的面部的計算機(jī)圖形(CG)動畫，其所具有的準(zhǔn)確度和數(shù)量高于標(biāo)準(zhǔn)特征點(diǎn)抽取器134所抽取的特征點(diǎn)。
為了在由標(biāo)準(zhǔn)特征點(diǎn)抽取器134抽取的特征點(diǎn)和由詳細(xì)特征點(diǎn)抽取器135抽取的特征點(diǎn)之間進(jìn)行區(qū)分，將標(biāo)準(zhǔn)特征點(diǎn)抽取器134抽取的特征點(diǎn)稱為標(biāo)準(zhǔn)特征點(diǎn)，而將詳細(xì)特征點(diǎn)抽取器135抽取的特征點(diǎn)稱為詳細(xì)特征點(diǎn)。
基于存儲在規(guī)范化面部圖像存儲器133中的單幀規(guī)范化面部圖像和從詳細(xì)特征點(diǎn)抽取器135提供的特征點(diǎn)，面部模型生成器136生成面部模型，作為規(guī)范化面部圖像中所拍攝的面部的3D模型，并將所生成的面部模型提供到面部模型存儲器137。
與圖1的RAM 104相對應(yīng)的面部模型存儲器137臨時存儲從面部模型生成器136提供的面部模型的數(shù)據(jù)。
基于存儲在面部模型存儲器137中的面部模型，動畫處理器138生成其面部區(qū)域響應(yīng)于操作單元139的操作而移動的CG動畫的數(shù)據(jù)，并將該CG動畫提供到顯示器140。
與圖1的輸入單元107相對應(yīng)的操作單元139是由用戶控制的，其將響應(yīng)于用戶操作的操作信號提供到動畫處理器138。
與圖1的輸出單元106相對應(yīng)的顯示器140顯示動畫處理器138所提供的CG動畫。
下面參照圖3的流程圖來描述圖2的圖像處理裝置的操作。
存儲單元131預(yù)先存儲被正面拍攝的人的單幀面部圖像。在步驟S101中，預(yù)處理器132讀取存儲在存儲單元131中的單幀面部圖像，并對其進(jìn)行預(yù)處理。預(yù)處理器132將作為預(yù)處理的結(jié)果而獲得的單幀規(guī)范化面部圖像提供給規(guī)范化面部圖像存儲器133以進(jìn)行存儲，并且處理從步驟S102進(jìn)行到步驟S103。
在步驟S103中，標(biāo)準(zhǔn)特征點(diǎn)抽取器134使用AAM技術(shù)，從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中抽取標(biāo)準(zhǔn)特征點(diǎn)，然后確定眼睛區(qū)域和嘴部區(qū)域。標(biāo)準(zhǔn)特征點(diǎn)抽取器134將特征點(diǎn)、眼睛區(qū)域和嘴部區(qū)域的信息提供到詳細(xì)特征點(diǎn)抽取器135。處理進(jìn)行到步驟S104。
在步驟S104中，詳細(xì)特征點(diǎn)抽取器135參照從標(biāo)準(zhǔn)特征點(diǎn)抽取器134提供的特征點(diǎn)、眼睛區(qū)域和嘴部區(qū)域的信息，以及存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像，并抽取規(guī)范化面部圖像的特定區(qū)域的特征點(diǎn)，即規(guī)范化面部圖像中所拍攝的面部的眼睛、嘴和下頦的特征點(diǎn)。然后，抽取出的特征點(diǎn)被提供到面部模型生成器136。
處理從步驟S104進(jìn)行到步驟S105。面部模型生成器136基于存儲在規(guī)范化面部圖像存儲器133中的單幀規(guī)范化面部圖像和從詳細(xì)特征點(diǎn)抽取器135提供的特征點(diǎn)，生成規(guī)范化面部圖像中所拍攝的面部的面部模型。處理進(jìn)行到步驟S106。在步驟S106中，面部模型生成器136生成作為規(guī)范化面部圖像中所拍攝的人的頭發(fā)的3D模型的頭發(fā)模型，并合成在步驟S105中所生成的面部模型。處理進(jìn)行到步驟S107。
在步驟S107中，面部模型生成器136基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，在已在步驟S106中合成了頭發(fā)模型的面部模型中，嵌入(合成)作為眼睛(眼球)的3D模型的眼睛模型和作為(嘴里的)牙齒的3D模型的牙齒模型。所產(chǎn)生的面部模型被提供給面部模型存儲器137以進(jìn)行存儲，并且處理進(jìn)行到步驟S108。
在步驟S108中，動畫處理器138基于存儲在面部模型存儲器137中的面部模型，生成其面部區(qū)域響應(yīng)于操作單元139的操作而移動的CG動畫的數(shù)據(jù)，并將所生成的數(shù)據(jù)提供到顯示器140。從而，顯示器140顯示在存儲單元131中存儲的面部圖像中所顯示的、并且響應(yīng)于操作單元139的操作而移動的面部的CG動畫。
存儲在面部模型存儲器137中的面部模型可被上載到因特網(wǎng)上的服務(wù)器中，或被發(fā)送到另一裝置。存儲在面部模型存儲器137中的面部模型還可經(jīng)由驅(qū)動器109被存儲到可移動記錄介質(zhì)111上，以分發(fā)到第三方。
下面參照圖4的流程圖描述圖3的步驟S102中預(yù)處理器132所執(zhí)行的預(yù)處理。
在步驟S121中，預(yù)處理器132在必要時將存儲在存儲單元131中的一幀面部圖像的尺寸縮小，并進(jìn)行到步驟S122。如果存儲在存儲單元131中的面部圖像是由商業(yè)上可得到的數(shù)碼相機(jī)拍攝的圖像，則后續(xù)處理的工作量變大。為了減少工作量，通過低通濾波將面部圖像減小到預(yù)定尺寸。在低通濾波中，縮減了像素。
如果存儲在存儲單元131中的面部圖像等于或小于預(yù)定尺寸，則跳過步驟S121中的處理。
現(xiàn)在，存儲在存儲單元131中的面部圖像具有諸如灰色背景之類的單色背景，以有利于將被拍攝者(面部)的部分與其余部分區(qū)分開。
圖5示出了存儲在存儲單元131中并要被預(yù)處理器132預(yù)處理的面部圖像的示例。
在步驟S122中，預(yù)處理器132估計在步驟S121中被縮小到預(yù)定尺寸的面部圖像中的包含被拍攝者的面部部分的矩形區(qū)域的面部范圍，然后估計面部圖像中的覆蓋被拍攝者的頸部和肩部的衣物與未被衣物覆蓋的頸部和面部的露出部分之間的邊界。在下文中，將該邊界簡稱為衣物邊緣。
下面參照圖6描述估計面部范圍和衣物邊緣的方法。
圖6示出了圖5的面部圖像在步驟S121中被縮小到的面部圖像。
如果面部圖像具有作為像素值的紅綠藍(lán)(RGB)三個值，則預(yù)處理器132基于RGB值，從面部圖像中檢測人與背景之間的邊界(在下文中適當(dāng)時稱為人物邊緣)。預(yù)處理器132在從面部圖像左側(cè)向內(nèi)的方向，以及從圖像右側(cè)向內(nèi)的方向上，檢測面部圖像每一行的邊緣像素。更具體而言，預(yù)處理器132從面部圖像中確定感興趣的行中的感興趣的像素，并計算該感興趣像素的RGB值和位于與該感興趣像素相鄰且比該感興趣像素更靠內(nèi)的位置的像素的RGB值之間的差的平方和。在下文中將該差的平方和也稱為RGB平方誤差。通過在從面部圖像左邊緣向內(nèi)的方向，以及從面部圖像右邊緣向內(nèi)的方向上，將RGB平方誤差與固定閾值(小閾值)相比較，檢測邊緣像素?，F(xiàn)在，該邊緣像素是候選的人物邊緣像素。
預(yù)處理器132將在向面部圖像內(nèi)部方向上檢測到的所具有的RGB平方誤差大于固定閾值的像素檢測為邊緣像素，并將邊緣像素設(shè)定為候選人物邊緣。邊緣像素可能是人物邊緣，但也可能是存在于背景中的某個其他物體的邊緣。
在檢測到第一個候選人物邊緣之后，預(yù)處理器132估計面部圖像的候選人物邊緣之外的區(qū)域(水平排列的像素)是背景，并確定表示該背景的RGB值(在下文中適當(dāng)時稱為背景RGB值)。背景RGB可以是以下值之一背景的像素的RGB值的平均值，以及背景中任意像素的RGB值。
然后，預(yù)處理器132在從候選人物邊緣向內(nèi)的方向上進(jìn)一步連續(xù)檢測邊緣像素。在首次檢測到的候選人物邊緣內(nèi)側(cè)的像素中，要與RGB平方誤差比較的閾值是可變值。例如，越進(jìn)入面部圖像內(nèi)側(cè)，該閾值就變得越大。
當(dāng)檢測到新的邊緣像素時，換言之，當(dāng)給定像素的RGB平方誤差大于可變閾值時，預(yù)處理器132確定表示存在于當(dāng)前候選人物邊緣與新的邊緣像素之間的像素的像素值的RGB值。在下文中將所確定的RGB值稱為外典型RGB值(outer representative RGB value)。外典型RGB值可以是存在于當(dāng)前候選人物邊緣與新邊緣像素之間的像素的RGB值的平均值，或者是存在于當(dāng)前候選人物邊緣與新邊緣像素之間的像素中任意一個(例如位于面部圖像之外的新邊緣像素中的一個)的RGB值。
預(yù)處理器132還確定面部圖像在新邊緣像素內(nèi)側(cè)的像素的RGB值(在下文中稱為內(nèi)典型RGB值(inner representative RGB value))。內(nèi)典型RGB值可以是面部圖像中新邊緣像素的最內(nèi)側(cè)像素的RGB值。
預(yù)處理器132確定內(nèi)典型RGB值的背景相似度和外典型RGB值的背景相似度。背景相似度在這里指與背景之間的相似程度。內(nèi)典型RGB值的背景相似度可以是內(nèi)典型RGB值與背景像素RGB值的RGB值之間的差的平方和。類似地，外典型RGB值的背景相似度可以是外典型RGB值與背景像素RGB值的RGB值之間的差的平方和。在此情況下，背景相似度越小，與背景之間的相似度越高。
在確定了內(nèi)典型RGB值的背景相似度和外典型RGB值的背景相似度之后，預(yù)處理器132確定內(nèi)典型RGB值和外典型RGB值哪一個與背景RGB值的相似度更高。
如果外典型RGB值與背景RGB值的相似度比內(nèi)典型RGB值的高，則預(yù)處理器132確定出從當(dāng)前候選人物邊緣延伸到新邊緣像素的區(qū)域是背景，并基于這一確定，將候選人物邊緣更新為新邊緣像素。預(yù)處理器132繼續(xù)檢測邊緣像素。
如果內(nèi)典型RGB值與背景RGB值的相似度比外典型RGB值的高，則預(yù)處理器132繼續(xù)檢測邊緣像素。當(dāng)邊緣像素檢測已從面部圖像的左側(cè)和右側(cè)之一開始執(zhí)行到了另一側(cè)時，預(yù)處理器132將當(dāng)前作為候選人物邊緣的像素設(shè)定為人物邊緣。
如圖6所示，圖5的面部圖像的人物邊緣被確定。
在確定了人物邊緣之后，預(yù)處理器132從上到下掃描面部圖像，以觀測人物邊緣。從而，預(yù)處理器132估計面部范圍和衣物邊緣。
當(dāng)如圖6所示，從頭頂向下觀察面部圖像時，人物邊緣所包圍的區(qū)域的寬度變寬，并在帶箭頭的虛線A所示的接近鬢角的水平線處達(dá)到峰值。然后，人物邊緣所包圍的區(qū)域朝著頸部變窄，從頸部向肩部再次變寬。
當(dāng)從上到下掃描面部圖像以觀察人物邊緣時，顯示在面部圖像中的人物面部存在于從作為首個檢測到的人物邊緣的像素行到人物邊緣第二次開始變寬的像素行的垂直范圍(由圖6的帶箭頭的實線B表示)，以及首個檢測到的具有從面部圖像的左側(cè)到右側(cè)的峰值寬度的人物邊緣處的水平范圍(由圖6的帶箭頭的虛線A表示)當(dāng)中。人的肩部顯示在人物邊緣所包圍的區(qū)域第二次開始變寬的像素行處。
預(yù)處理器132從上到下掃描面部圖像以觀測人物邊緣。預(yù)處理器132測量從人物邊緣的首個檢測到的像素到人物邊緣所包圍的區(qū)域第二次開始變寬的像素行的垂直長度(由圖6的帶箭頭的實線B表示)。預(yù)處理器132還測量首個檢測到的具有從人物邊緣的左側(cè)到右側(cè)的最大寬度的行的水平長度(由圖6的帶箭頭的虛線A表示)。從而，預(yù)處理器132確定測得的垂直長度和水平長度所限定的矩形區(qū)域。預(yù)處理器132估計矩形區(qū)域作為包含面部圖像中被拍攝者面部部分的矩形區(qū)域的面部范圍，所述矩形區(qū)域是通過用所產(chǎn)生的矩形的區(qū)域乘以預(yù)定倍數(shù)，或者將所產(chǎn)生的矩形的垂直側(cè)和水平側(cè)之一加寬預(yù)定的尺寸而獲得的。
預(yù)處理器132將人物邊緣所包圍的區(qū)域的寬度第二次開始變寬處的像素行估計為衣物邊緣。
后續(xù)步驟是基于面部位于衣物邊緣上方的前提來執(zhí)行的。
返回圖4，在如上所述的步驟S122中估計了面部范圍和衣物邊緣之后，處理進(jìn)行到步驟S123。預(yù)處理器132將面部范圍中的面部圖像二值化，并在所產(chǎn)生的二值圖像上執(zhí)行顯示在面部范圍中的面部的眼睛和嘴的模板匹配。
基于面部范圍內(nèi)的面部圖像的色調(diào)和色度，預(yù)處理器132通過將面部范圍中的肉色區(qū)域中的像素值例如設(shè)定為1，并將其他顏色區(qū)域中的像素值例如設(shè)定為0，來生成二值圖像。
圖7示出了從圖6的面部圖像得到的二值圖像。在圖7的二值圖像中，白色部分表示具有像素值1的肉色像素，而黑色部分表示具有像素值0的其他顏色部分。面部的大部分區(qū)域具有表示肉色像素的像素值1，但黑眼睛和紅嘴唇具有像素值0。
在生成二值圖像之后，預(yù)處理器132在二值圖像上執(zhí)行顯示在面部范圍中的面部的眼睛和嘴的模板匹配。
預(yù)處理器132保存有方形眼睛和嘴模板，其包含眼睛矩形區(qū)域和嘴矩形區(qū)域。如圖7所示，眼睛和嘴模板包含排成方形的像素。眼睛區(qū)域和嘴區(qū)域中的像素值是0，而其余區(qū)域的像素值是1。如圖7所示，預(yù)處理器132執(zhí)行模板匹配處理。在模板匹配處理中，預(yù)處理器132將眼睛和嘴模板置于面部范圍上，并計算眼睛和嘴模板的像素與面部范圍的相應(yīng)像素之間的像素值差的平方和。此計算是利用眼睛和嘴模板相對于面部范圍的位置和尺寸來執(zhí)行的。
預(yù)處理器132檢測眼睛和嘴模板最緊密地匹配面部范圍的位置和尺寸，換言之，產(chǎn)生最小平方和的眼睛和嘴模板的位置和尺寸。在使用眼睛和嘴模板進(jìn)行的模板匹配處理中，眼睛和嘴模板的尺寸可以在水平方向和垂直方向上改變長度，其中一個方向獨(dú)立于另一個方向，或者可以在保持與原始方形的相似性的情況下改變。為了簡化處理，這里在保持與原始方形的相似性的情況下改變眼睛和嘴模板的尺寸。
其位置和尺寸最緊密地適應(yīng)面部范圍的眼睛和嘴模板被稱為匹配的眼睛和嘴模板。
眼睛和嘴模板包含需要被考慮為面部中心的信息(在下文中稱為中心信息)。需要被考慮為面部中心的信息可以是眼睛和嘴模板的方形的重心。
返回圖4，在步驟S123中獲取了眼睛和嘴模板之后，預(yù)處理器132進(jìn)行到步驟S124。預(yù)處理器132基于匹配的眼睛和嘴模板來縮小(或擴(kuò)大)(在步驟S122中減小了的)面部圖像。處理進(jìn)行到步驟S125。
預(yù)處理器132基于匹配的眼睛和嘴模板的尺寸，估計顯示在面部圖像中的面部的尺寸。預(yù)處理器132減小面部圖像，以使得面部尺寸落在針對適于生成3D模型和CG動畫的尺寸的預(yù)定范圍內(nèi)。
在步驟S125中，預(yù)處理器132從在步驟S124中減小了的面部圖像中抽取以面部的中心(重心)為中心的方形區(qū)域，例如512像素(水平方向)和512像素(垂直方向)的方形區(qū)域。面部的中心位置從包含在匹配的眼睛和嘴模板中的中心信息中被識別出。
為了預(yù)處理器132在步驟S125中從在步驟124中被減小之后的面部圖像中抽取512像素(水平方向)和512像素(垂直方向)的方形區(qū)域，需要在步驟S124中減小面部圖像，以使得適應(yīng)到該方形中的合適尺寸是512像素×512像素。
在步驟S125中從面部圖像抽取出的圖像(也稱為面部圖像)中所拍攝的面部具有合適的尺寸。在獲得這種面部圖像之后，處理從步驟S125進(jìn)行到步驟S126。預(yù)處理器132對在步驟S125中獲得的面部圖像執(zhí)行色彩校正處理，并且處理進(jìn)行到步驟S127。
如果面部圖像的背景是單色的灰色，則預(yù)處理器132從面部圖像中對在步驟S122中獲得的人物邊緣之外的區(qū)域進(jìn)行采樣，換言之，對作為形成背景的每個像素的像素值的RGB值進(jìn)行采樣。預(yù)處理器132為紅、綠和藍(lán)中的每一個確定線性函數(shù)，其對采樣RGB值相對于預(yù)先準(zhǔn)備的灰色RGB值的偏差與面部圖像背景的像素的RGB值之間的關(guān)系進(jìn)行近似。基于所得到的線性函數(shù)，預(yù)處理器132對在步驟S125中獲得的整個圖像執(zhí)行色彩校正處理。
在步驟S127中，預(yù)處理器132校正色彩被校正的圖像的亮度值(亮度水平)。
更具體而言，預(yù)處理器132從整個色彩校正圖像中檢測最小亮度值和最大亮度值。例如，如果亮度值用8比特表示，則預(yù)處理器132對色彩被校正圖像的所有像素值執(zhí)行線性變換處理，以使得色彩被校正圖像的最小亮度值是0，而最大亮度值是255(＝28-1)。從而，預(yù)處理器132校正色彩被校正圖像的亮度值。
處理從步驟S127進(jìn)行到步驟S128。預(yù)處理器132向規(guī)范化面部圖像存儲器133(見圖2)提供亮度值被校正的圖像作為規(guī)范化面部圖像來存儲，并結(jié)束預(yù)處理。預(yù)處理器132將從眼睛和嘴模板中獲得的關(guān)于人物邊緣、衣物邊緣和面部中心的信息適當(dāng)?shù)匕ǖ揭?guī)范化面部圖像當(dāng)中，然后將該信息提供到規(guī)范化面部圖像存儲器133來存儲。
圖8示出了通過對圖5的面部圖像進(jìn)行預(yù)處理而獲得的規(guī)范化面部圖像。
如果如上所述地在步驟S125中抽取了水平512像素和垂直512像素的方形區(qū)域，則規(guī)范化面部圖像成為512像素乘512像素的圖像。
當(dāng)規(guī)范化面部圖像存儲器133存儲規(guī)范化面部圖像時，如前面參照圖3的步驟S103所述，標(biāo)準(zhǔn)特征點(diǎn)抽取器134使用AAM技術(shù)從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中抽取標(biāo)準(zhǔn)特征點(diǎn)。標(biāo)準(zhǔn)特征點(diǎn)抽取器134還從標(biāo)準(zhǔn)特征點(diǎn)中確定顯示在規(guī)范化面部圖像中的眼睛和嘴的眼睛區(qū)域和嘴區(qū)域。標(biāo)準(zhǔn)特征點(diǎn)抽取器134向詳細(xì)特征點(diǎn)抽取器135提供標(biāo)準(zhǔn)特征點(diǎn)以及眼睛區(qū)域和嘴區(qū)域的信息。
圖9示出了由標(biāo)準(zhǔn)特征點(diǎn)抽取器134從圖8的規(guī)范化面部圖像中獲得的標(biāo)準(zhǔn)特征點(diǎn)、眼睛區(qū)域和嘴區(qū)域。圖10示出了從另一幅規(guī)范化面部圖像中獲得的標(biāo)準(zhǔn)特征點(diǎn)、眼睛區(qū)域和嘴區(qū)域。
根據(jù)AAM技術(shù)，獲得了表示顯示在規(guī)范化面部圖像中的眼睛、嘴和面部輪廓的標(biāo)準(zhǔn)特征點(diǎn)，其被表示為如圖9和圖10所示的小方形標(biāo)記。標(biāo)準(zhǔn)特征點(diǎn)抽取器134基于從規(guī)范化面部圖像中獲得的特征點(diǎn)來確定眼睛區(qū)域和嘴區(qū)域，并將眼睛區(qū)域和嘴區(qū)域的信息與標(biāo)準(zhǔn)特征點(diǎn)一起提供給詳細(xì)特征點(diǎn)抽取器135，其中每個眼睛區(qū)域是包含眼睛的方形，每個嘴區(qū)域是包含嘴的方形。
標(biāo)準(zhǔn)特征點(diǎn)是關(guān)于顯示在規(guī)范化面部圖像中的眼睛、嘴和面部輪廓的近似特征點(diǎn)，從標(biāo)準(zhǔn)特征點(diǎn)獲得的眼睛區(qū)域和嘴區(qū)域指示出眼睛和嘴的近似位置。
圖11的框圖示出了圖2的詳細(xì)特征點(diǎn)抽取器135的結(jié)構(gòu)。
模板存儲器201存儲眼睛、嘴和下頦(面部輪廓)的模板，并將眼睛的模板(眼睛模板)提供到眼睛特征點(diǎn)檢測器202，將嘴的模板(嘴模板)提供到嘴特征點(diǎn)檢測器203，將下頦的模板(下頦模板)提供到下頦特征點(diǎn)檢測器204。
眼睛特征點(diǎn)檢測器202接收來自模板存儲器201的眼睛模板，同時還接收來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像(見圖2)。眼睛特征點(diǎn)檢測器202還接收來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的標(biāo)準(zhǔn)特征點(diǎn)、眼睛區(qū)域和嘴區(qū)域的信息(在下文中統(tǒng)稱為區(qū)域信息)。
眼睛特征點(diǎn)檢測器202基于來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息和來自模板存儲器201的眼睛模板，檢測(抽取)規(guī)范化面部圖像的眼睛的詳細(xì)特征點(diǎn)。眼睛特征點(diǎn)檢測器202將檢測到的詳細(xì)特征點(diǎn)提供到下頦特征點(diǎn)檢測器204和面部模型生成器136(見圖2)。
嘴特征點(diǎn)檢測器203接收來自模板存儲器201的嘴模板，來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像(見圖2)，以及來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息。
嘴特征點(diǎn)檢測器203基于來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息和來自模板存儲器201的嘴模板，檢測(抽取)規(guī)范化面部圖像的嘴的詳細(xì)特征點(diǎn)。嘴特征點(diǎn)檢測器203將檢測到的詳細(xì)特征點(diǎn)提供到下頦特征點(diǎn)檢測器204和面部模型生成器136(見圖2)。
下頦特征點(diǎn)檢測器204接收來自模板存儲器201的下頦模板、來自眼睛特征點(diǎn)檢測器202的眼睛的詳細(xì)特征點(diǎn)、來自嘴特征點(diǎn)檢測器203的嘴的詳細(xì)特征點(diǎn)，以及來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像(見圖2)。
下頦特征點(diǎn)檢測器204基于來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自模板存儲器201的下頦模板、來自眼睛特征點(diǎn)檢測器202的眼睛的詳細(xì)特征點(diǎn)和來自嘴特征點(diǎn)檢測器203的嘴的詳細(xì)特征點(diǎn)，檢測(抽取)面部輪廓的詳細(xì)特征點(diǎn)，具體而言是規(guī)范化面部圖像的下頦。下頦特征點(diǎn)檢測器204將檢測到的詳細(xì)特征點(diǎn)提供給面部模型生成器136(見圖2)。
圖12示出了存儲在圖11的模板存儲器201中的眼睛模板的示例。
眼睛模板按從外到內(nèi)的順序包括沿著眼眶與眼瞼之間的邊界的點(diǎn)(在下文中也稱為眼睛的外輪廓)、沿著眼球通過眼瞼的開口露出的部分的輪廓的點(diǎn)(在下文中也稱為眼睛的內(nèi)輪廓)，以及瞳孔的中心點(diǎn)。
在下文中，在適當(dāng)時將形成眼睛模板的點(diǎn)稱為控制點(diǎn)。圖12將控制點(diǎn)表示為方形標(biāo)記。
在眼睛模板中，眼睛外輪廓上控制點(diǎn)的數(shù)目高到足以高度準(zhǔn)確地再現(xiàn)眼眶與眼瞼之間的邊界。如圖12所示，采用了30個控制點(diǎn)。
在眼睛模板中，沿眼睛內(nèi)輪廓的控制點(diǎn)的數(shù)目高到足以高度準(zhǔn)確地再現(xiàn)從眼瞼露出的眼球的輪廓。如圖12所示，采用了20個控制點(diǎn)。
在眼睛模板中，眼睛中心的控制點(diǎn)被設(shè)置在瞳孔的中心。
眼睛模板中控制點(diǎn)的數(shù)目不局限于以上數(shù)字。如果以可接受的準(zhǔn)確度再現(xiàn)了眼瞼之間露出的眼球部分的輪廓，則沿眼睛內(nèi)輪廓的控制點(diǎn)的數(shù)目就足夠了。類似地，如果以可接受的準(zhǔn)確度再現(xiàn)了眼眶與眼瞼之間的邊界，則沿眼睛外輪廓的控制點(diǎn)的數(shù)目就足夠了。
圖12的眼睛模板是(顯示在規(guī)范化面部圖像中的人的)右眼的模板。和右眼的模板一樣，左眼的模板也存儲在模板存儲器201中。
與圖12的眼睛模板一樣，模板存儲器201存儲嘴模板和下頦模板。
嘴模板包括沿嘴的上唇與下唇之間的標(biāo)準(zhǔn)邊界設(shè)置的控制點(diǎn)。嘴模板控制點(diǎn)的數(shù)目高到足夠以可接受的準(zhǔn)確度再現(xiàn)上唇與下唇之間的邊界。下頦模板包括排成作為面部標(biāo)準(zhǔn)輪廓的部分橢圓形的控制點(diǎn)。沿橢圓下頦設(shè)置的控制點(diǎn)的數(shù)目高到足夠以可接受的準(zhǔn)確度再現(xiàn)下頦的輪廓。
下面參照圖13的流程圖來描述圖11的眼睛特征點(diǎn)檢測器202的處理。
在步驟S201中，眼睛特征點(diǎn)檢測器202基于來自圖2的規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像，和來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息的眼睛區(qū)域，確定來自模板存儲器201的眼睛模板的尺寸和位置的缺省值。
更具體而言，眼睛特征點(diǎn)檢測器202在保持與原始形狀相似性的情況下，擴(kuò)大或縮小眼睛模板，以使得眼睛模板內(nèi)接在規(guī)范化面部圖像中眼睛區(qū)域的信息所表示的矩形區(qū)域中。在步驟S201中，置于規(guī)范化面部圖像中的眼睛模板的尺寸和位置分別是其缺省值。眼睛模板尺寸和位置的缺省值分別稱為缺省尺寸和缺省位置。
處理從步驟S201進(jìn)行到步驟S202。眼睛特征點(diǎn)檢測器202從眼睛模板的缺省尺寸和缺省位置開始逐漸改變其尺寸和位置，以使得眼睛模板適應(yīng)顯示在規(guī)范化面部圖像中的面部。該處理稱為位置/尺寸適應(yīng)處理。
在步驟S202的位置/尺寸適應(yīng)處理中，眼睛特征點(diǎn)檢測器202在保持眼睛模板對原始形狀相似性的情況下改變其尺寸和位置，并計算評估函數(shù)。評估函數(shù)評估其尺寸和位置被改變的眼睛模板有多么緊密地適應(yīng)顯示在規(guī)范化面部圖像中的面部的眼睛的適應(yīng)程度。
眼睛特征點(diǎn)檢測器202可以在保持對原始形狀相似性的情況下擴(kuò)大或縮小眼睛模板，從而改變眼睛模板的尺寸。眼睛特征點(diǎn)檢測器202可以在保持其形狀不變的情況下平移整個眼睛模板的控制點(diǎn)，從而移動眼睛模板的位置。除了眼睛模板的平移以外，眼睛特征點(diǎn)檢測器202還可以繞瞳孔中心處的控制點(diǎn)轉(zhuǎn)動眼睛模板，從而改變眼睛模板的位置。
眼睛特征點(diǎn)檢測器202確定當(dāng)評估函數(shù)產(chǎn)生最緊密地適應(yīng)的值時，換言之，當(dāng)評估函數(shù)變?yōu)槠渥畲笾岛妥钚≈抵粫r，眼睛模板的尺寸和位置。
例如，給定位置p和給定尺寸s的評估函數(shù)f(p，s)描述如下f(p，s)＝(-A1+A2)+(B1-B2)...(1)在等式(1)中，A1表示規(guī)范化面部圖像中，從以瞳孔中心處的控制點(diǎn)為圓心，并具有半徑R0的圓形區(qū)域中，采樣得到的N0個像素的像素值的和。該圓形區(qū)域?qū)?yīng)于黑眼睛部分的一部分。A2表示規(guī)范化面部圖像中，從以與瞳孔中心處的控制點(diǎn)向左和向右間隔距離為L1的點(diǎn)為圓心，并具有半徑R1的圓形區(qū)域中，采樣得到的N1個像素的像素值的和。該圓形區(qū)域?qū)?yīng)于眼白的一部分。此外，B1表示規(guī)范化面部圖像中，從以沿著眼睛外輪廓的上半部分的每個控制點(diǎn)為圓心，并具有半徑R2的圓形區(qū)域中，采樣得到的N2個像素的像素值的和。該圓形區(qū)域?qū)?yīng)于眼瞼的一部分。B2表示規(guī)范化面部圖像中，從以沿著眼睛內(nèi)輪廓的上半部分的每個控制點(diǎn)為圓心，并具有半徑R3的圓形區(qū)域中，采樣得到的N3個像素的像素值的和。該圓形區(qū)域?qū)?yīng)于在眼瞼之間露出的眼球的一部分。
在等式(1)中，f(p，s)＝(-A1+A2)+(B1-B2)，與負(fù)號相關(guān)聯(lián)的A1和B2是預(yù)期較暗(像素值較小)的像素值的和，與正號相關(guān)聯(lián)的A2和B1被預(yù)期較亮(像素值較大)。如果評估函數(shù)取最大值，則眼睛模板的位置p和尺寸s最緊密地適應(yīng)于顯示在規(guī)范化面部圖像中的面部的眼睛。
當(dāng)計算評估函數(shù)f(p，s)所需的A1和A2被確定時，像素數(shù)N0可以等于也可以不等于像素數(shù)N1，其中N0是規(guī)范化面部圖像中從以瞳孔中心處的控制點(diǎn)為圓心并具有半徑R0的圓形區(qū)域中采樣的像素數(shù)，N1是規(guī)范化面部圖像中從以與瞳孔中心處的控制點(diǎn)向左和向右間隔距離為L1的每個點(diǎn)為圓心并具有半徑R1的圓形區(qū)域中采樣的像素數(shù)。存在于規(guī)范化面部圖像中以瞳孔中心處的控制點(diǎn)為圓心并具有半徑R0的圓形區(qū)域中的所有像素都可以被采樣，存在于規(guī)范化面部圖像中以與瞳孔中心處的控制點(diǎn)向左和向右間隔距離為L1的點(diǎn)為圓心并具有半徑R1的圓形區(qū)域中的所有像素都可以被采樣。
類似地，當(dāng)計算評估函數(shù)f(p，s)所需的B1和B2被確定時，像素數(shù)N2可以等于也可以不等于像素數(shù)N3，其中N2是規(guī)范化面部圖像中從以沿著眼睛外輪廓的上半部分的每個控制點(diǎn)為圓心并具有半徑R2的圓形區(qū)域中采樣的像素數(shù)，N3是規(guī)范化面部圖像中從以沿著眼睛內(nèi)輪廓的上半部分的每個控制點(diǎn)為圓心并具有半徑R2的圓形區(qū)域中采樣的像素數(shù)。存在于規(guī)范化面部圖像中以沿著眼睛外輪廓的上半部分的每個控制點(diǎn)為圓心并具有半徑R2的圓形區(qū)域中的所有像素都可以被采樣，存在于規(guī)范化面部圖像中以沿著眼睛內(nèi)輪廓的上半部分的每個控制點(diǎn)為圓心并具有半徑R2的圓形區(qū)域中的所有像素都可以被采樣。
當(dāng)計算評估函數(shù)f(p，s)時，從規(guī)范化面部圖像中的像素采樣可以按照規(guī)則來執(zhí)行，也可以不按照規(guī)則執(zhí)行。例如，在一種規(guī)則中，每兩個像素執(zhí)行一次采樣。
為了降低不同規(guī)范化面部圖像之間的亮度值和對比度的差異的影響，在評估函數(shù)f(p，s)＝(-A1+A2)+(B1-B2)中，預(yù)期較暗的像素的像素值加到帶負(fù)號的A1和B2中，預(yù)期較亮的像素的像素值加到帶正號的A2和B1中。
在上述情況下，帶正號的B1是從以沿著眼睛外輪廓的上半部分的每個控制點(diǎn)為圓心并具有半徑R2的圓形區(qū)域中采樣得到的N2個像素的像素值的和。從沿著眼睛外輪廓的上半部分的控制點(diǎn)當(dāng)中，從以眼角附近的控制點(diǎn)為圓心的圓形R2區(qū)域中采樣的、并且預(yù)期較暗的像素的像素值可以被加到帶負(fù)號的B2而非帶正號的B1中。
在以上情況下，被評估函數(shù)提供了最大值和最小值之一的眼睛模板的尺寸和位置被確定為最緊密地適應(yīng)于規(guī)范化面部圖像的尺寸和位置。在另一實施例中，其評估函數(shù)變?yōu)楦哂诨虻陀陬A(yù)定值的眼睛模板的尺寸和位置被確定為最緊密地適應(yīng)于規(guī)范化面部圖像的尺寸和位置。在另一實施例中，前一評估函數(shù)與當(dāng)前評估函數(shù)之間的差上升到高于或下降到低于預(yù)定閾值的眼睛模板的尺寸和位置被確定為最緊密地適應(yīng)于規(guī)范化面部圖像的尺寸和位置。
處理從步驟S202進(jìn)行到步驟S203。眼睛特征點(diǎn)檢測器202相對于在步驟S202中確定的眼睛模板的尺寸和位置，改變眼睛模板的形狀。從而，眼睛特征點(diǎn)檢測器202執(zhí)行形狀適應(yīng)處理，以使眼睛模板的形狀適應(yīng)于顯示在規(guī)范化面部圖像中的面部的眼睛。
在步驟S202中，眼睛特征點(diǎn)檢測器202改變眼睛模板的尺寸和位置，從而使眼睛模板適應(yīng)于顯示在規(guī)范化面部圖像中的面部的眼睛。在步驟S203中，眼睛特征點(diǎn)檢測器202執(zhí)行形狀適應(yīng)處理。在形狀適應(yīng)處理中，眼睛特征點(diǎn)檢測器202改變眼睛模板的形狀以使之適應(yīng)于顯示在規(guī)范化面部圖像中的面部的眼睛。
更具體而言，在第一形狀適應(yīng)操作中，眼睛特征點(diǎn)檢測器202從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，將對應(yīng)于眼角的多個控制點(diǎn)向上、向下、向右或向左移動，以使得連接所述多個控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中眼角的輪廓相匹配。
在第二形狀適應(yīng)操作中，眼睛特征點(diǎn)檢測器202從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，將多個上控制點(diǎn)向上或向下移動，以使連接所述多個上控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中眼眶的上輪廓相匹配。眼睛特征點(diǎn)檢測器202從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，將多個下控制點(diǎn)向上或向下移動，以使連接所述多個下控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中眼眶的下輪廓相匹配。
在第三形狀適應(yīng)操作中，眼睛特征點(diǎn)檢測器202從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，將較靠近鼻子的多個控制點(diǎn)的位置向上、向下、向右或向左移動，以使連接所述多個控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中較靠近鼻子的眼眶輪廓相匹配。
在第四形狀適應(yīng)操作中，眼睛特征點(diǎn)檢測器202從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，將較靠近眼角的多個控制點(diǎn)的位置向上、向下、向右或向左移動，以使得連接所述多個控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中露出的眼球上的眼角側(cè)的眼白輪廓相匹配。眼睛特征點(diǎn)檢測器202從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，將較靠近鼻子的多個控制點(diǎn)的位置向上、向下、向右或向左移動，以使連接所述多個控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中露出的眼球上的較靠近鼻子的眼白輪廓相匹配。
在第五適應(yīng)操作中，眼睛特征點(diǎn)檢測器202從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，將多個上控制點(diǎn)的位置向上或向下移動，以使連接所述多個上控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中從眼瞼中露出的眼球的上輪廓相匹配。眼睛特征點(diǎn)檢測器202從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，將多個下控制點(diǎn)的位置向上或向下移動，以使連接所述多個下控制點(diǎn)的線盡可能緊密地與規(guī)范化面部圖像中從眼瞼中露出的眼球的下輪廓相匹配。
在第一至第五適應(yīng)操作中，與步驟S202中的位置/尺寸適應(yīng)處理一樣，對眼睛模板有多么緊密地適應(yīng)顯示在規(guī)范化面部圖像中的面部的眼睛的適應(yīng)程度進(jìn)行評估的評估函數(shù)在控制點(diǎn)被移動的情況下被計算。從而檢測指示出最高適應(yīng)程度的評估函數(shù)。
對于第一至第五形狀適應(yīng)操作，可以使用同一評估函數(shù)，也可以使用不同的評估函數(shù)。例如，在第二適應(yīng)操作中，從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，移動了多個上控制點(diǎn)，并且從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，移動了多個下控制點(diǎn)。在此情況下，從移動多個上控制點(diǎn)時到移動多個下控制點(diǎn)時，評估函數(shù)可以改變。對各組控制點(diǎn)采用適當(dāng)?shù)脑u估函數(shù)，從而眼睛模板的形狀可以以更高的準(zhǔn)確度適應(yīng)到規(guī)范化面部圖像當(dāng)中。
要被移動的多個控制點(diǎn)中的一些或全部可以用來計算評估函數(shù)?？刂泣c(diǎn)即使不被看作要移動的候選者，也可用來計算評估函數(shù)。例如，在第一形狀適應(yīng)操作中，從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，移動了對應(yīng)于眼角的多個控制點(diǎn)。規(guī)范化面部圖像中，對應(yīng)于眼角的多個要被移動的控制點(diǎn)中的一些或全部被采樣，并用來計算評估函數(shù)。此外，規(guī)范化面部圖像中位于除了與于眼角對應(yīng)的多個控制點(diǎn)以外的控制點(diǎn)處的像素也可被采樣，并用來計算評估函數(shù)。
當(dāng)步驟S203中的形狀適應(yīng)操作完成時，獲得了如下眼睛模板，該眼睛模板所具有的位置、尺寸和形狀適應(yīng)于規(guī)范化面部圖像的眼睛。在下文中，在適當(dāng)時將該模板稱為適應(yīng)的模板。眼睛特征點(diǎn)檢測器202從適應(yīng)模板中確定規(guī)范化面部圖像的特征點(diǎn)，并將該特征點(diǎn)作為詳細(xì)特征點(diǎn)提供給圖11的下頦特征點(diǎn)檢測器204和圖2的面部模型生成器136。從而處理結(jié)束。
眼睛特征點(diǎn)檢測器202確定適應(yīng)的眼睛模板的控制點(diǎn)中的一些或全部，作為規(guī)范化面部圖像中眼睛的詳細(xì)特征點(diǎn)?；蛘?，眼睛特征點(diǎn)檢測器202可以對連接適應(yīng)的眼睛模板的控制點(diǎn)的線中的點(diǎn)進(jìn)行采樣，并將采樣點(diǎn)確定為規(guī)范化面部圖像中眼睛的詳細(xì)特征點(diǎn)。
如上所述，眼睛特征點(diǎn)檢測器202使眼睛模板的尺寸和位置適應(yīng)于顯示在規(guī)范化面部圖像中的面部中的眼睛，并針對尺寸和位置被適應(yīng)了的眼睛模板，使眼睛模板的形狀適應(yīng)于規(guī)范化面部圖像的面部中的眼睛。對規(guī)范化面部圖像的限定區(qū)域的處理容易產(chǎn)生大量準(zhǔn)確的特征點(diǎn)。
在步驟S203中使眼睛模板的形狀適應(yīng)于規(guī)范化面部圖像之后，如圖13的帶箭頭的虛線所示，眼睛特征點(diǎn)檢測器202返回到步驟S202。對于形狀被適應(yīng)了的眼睛模板，眼睛特征點(diǎn)檢測器202使眼睛模板的尺寸和位置適應(yīng)于規(guī)范化面部圖像。類似地，眼睛特征點(diǎn)檢測器202將步驟S202和S203重復(fù)至少一個循環(huán)。從而獲得更準(zhǔn)確的特征點(diǎn)。
圖14A和14B示出了在圖13的步驟S202中所執(zhí)行的位置/尺寸適應(yīng)處理中獲得的位置和尺寸適應(yīng)于規(guī)范化面部圖像的眼睛模板。
圖14A示出了在對規(guī)范化面部圖像執(zhí)行的位置/尺寸適應(yīng)處理中獲得的其位置和尺寸適應(yīng)于一幅規(guī)范化面部圖像的眼睛模板。圖14B示出了在對規(guī)范化面部圖像執(zhí)行的位置/尺寸適應(yīng)處理中獲得的其位置和尺寸適應(yīng)于另一幅規(guī)范化面部圖像的眼睛模板。
在圖14A和圖14B的每一張圖中，眼睛模板的尺寸和位置與規(guī)范化面部圖像的眼睛相適應(yīng)(匹配)。換言之，眼睛模板的尺寸和位置近似與規(guī)范化面部圖像中眼睛的尺寸和位置相匹配。
如圖14A所示，眼睛模板的形狀與規(guī)范化面部圖像中的眼睛匹配得較好，而如圖14B所示，眼睛模板的形狀與規(guī)范化面部圖像中的眼睛匹配得不好。
圖15A和15B示出了位置、尺寸和形狀被適應(yīng)于規(guī)范化面部圖像的眼睛模板。這些眼睛模板是通過對其位置和形狀適應(yīng)于規(guī)范化面部圖像的眼睛模板執(zhí)行圖13的步驟S203中的形狀適應(yīng)處理而獲得的。
圖15A示出了通過對圖14A的眼睛模板執(zhí)行形狀適應(yīng)處理而獲得的眼睛模板。圖15B示出了通過對圖14B的眼睛模板執(zhí)行形狀適應(yīng)處理而獲得的眼睛模板。
在所產(chǎn)生的圖15A和15B的眼睛模板中，眼睛模板的位置、尺寸和形狀適應(yīng)于規(guī)范化面部圖像的眼睛。更具體而言，眼睛模板的位置、尺寸和形狀近似與規(guī)范化面部圖像的位置、尺寸和形狀相匹配。
在圖13的步驟S203中，圖11的眼睛特征點(diǎn)檢測器202執(zhí)行形狀適應(yīng)處理。在形狀適應(yīng)處理中，改變眼睛模板的形狀以適應(yīng)規(guī)范化面部圖像中的面部的眼睛。在改變眼睛模板形狀的一種可用方法中，形成眼睛模板的多個控制點(diǎn)被彼此獨(dú)立地移動。
例如，在規(guī)范化面部圖像中假設(shè)從左向右延伸的x軸和從下到上延伸的y軸?？刂泣c(diǎn)的位移由表示為xy坐標(biāo)系中的坐標(biāo)(x，y)的移動后的控制點(diǎn)的位置來表示。眼睛模板的形狀由形成眼睛模板的多個控制點(diǎn)的所有坐標(biāo)(x，y)來限定。限定眼睛模板形狀的參數(shù)是形成眼睛模板的多個控制點(diǎn)的所有坐標(biāo)(x，y)。參數(shù)的數(shù)目是形成眼睛模板的控制點(diǎn)的數(shù)目的兩倍(這是因為有x坐標(biāo)和y坐標(biāo))。
如果形成眼睛模板的多個控制點(diǎn)被獨(dú)立地移動，則所述多個控制點(diǎn)的坐標(biāo)(x，y)需要獨(dú)立提供。
如前所述，眼睛模板包括預(yù)定數(shù)量的控制點(diǎn)。嘴模板和下頦模板也是如此。獨(dú)立提供所有控制點(diǎn)的坐標(biāo)(x，y)是不方便的。如果獨(dú)立提供多個控制點(diǎn)的坐標(biāo)(x，y)，則坐標(biāo)(x，y)的組合的數(shù)目變得巨大，并且需要大量的時間來計算形狀被適應(yīng)于規(guī)范化面部圖像中面部的眼睛的眼睛模板。而且，如果形成眼睛模板的多個控制點(diǎn)被獨(dú)立地移動，則眼睛模板的形狀超過眼睛可以占據(jù)的范圍。眼睛的形狀無法適應(yīng)規(guī)范化面部圖像中的眼睛。對無法適應(yīng)規(guī)范化面部圖像中眼睛的形狀計算評估函數(shù)，這是無用的工作。
在圖13的步驟S203中所執(zhí)行的形狀適應(yīng)處理中，圖11的眼睛特征點(diǎn)檢測器202通過如下方式在眼睛可以占據(jù)的范圍內(nèi)改變眼睛模板的形狀基于比所述多個參數(shù)的數(shù)目(形成眼睛模板的控制點(diǎn)數(shù)目的兩倍)少1的數(shù)目的參數(shù)，修改作為限定眼睛模板的多個參數(shù)的形成眼睛模板的多個控制點(diǎn)的坐標(biāo)(x，y)。
下面描述基于較小數(shù)目的參數(shù)來修改形成眼睛模板的多個控制點(diǎn)的坐標(biāo)(x，y)的方法。
在圖13的步驟S203中，眼睛特征點(diǎn)檢測器202在第二形狀適應(yīng)操作中，從沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中，將多個上或下控制點(diǎn)的位置向上或向下移動，或者在第五形狀適應(yīng)操作中，從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，將多個上或下控制點(diǎn)的位置向上或向下移動。在此情況下，眼睛特征點(diǎn)檢測器202根據(jù)以下等式(2)，從形成眼睛模板的控制點(diǎn)中確定出要移動的控制點(diǎn)的坐標(biāo)(xn，yn)xn＝xn′，yn＝(1-t)yn′+tymax(n)其中t≥0，且yn＝(1-(-t))yn′+(-t)ymin(n)其中t＜0...(2)在等式(2)中，n是表示多個控制點(diǎn)當(dāng)中要移動位置的第n個控制點(diǎn)的序號，xn和yn分別是第n個控制點(diǎn)被移動位置后的x坐標(biāo)和y坐標(biāo)，xn′和yn′分別是第n個控制點(diǎn)恰在移動位置之前的x坐標(biāo)和y坐標(biāo)。此外，ymax(n)表示第n個控制點(diǎn)y坐標(biāo)的最大值，ymin(n)是n個控制點(diǎn)y坐標(biāo)的最小值，t表示被給定用來修改要移動位置的多個控制點(diǎn)中每一個控制點(diǎn)的坐標(biāo)(x，y)的單個參數(shù)，并且是落在從-1到+1范圍內(nèi)的實數(shù)。
在等式(2)中，ymax(n)和ymin(n)是預(yù)定值，其使得只要參數(shù)t落在從-1到+1的范圍內(nèi)，眼睛模板就落在眼睛可以占據(jù)的形狀范圍內(nèi)。眼睛模板的形狀由等式(2)所提供的坐標(biāo)(x，y)處的控制點(diǎn)表示。
根據(jù)等式(2)，如圖16A～16E所示，要被移動的多個控制點(diǎn)，即沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中的多個上或下控制點(diǎn)和沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中的多個上或下控制點(diǎn)，響應(yīng)于對單個參數(shù)t的修改而移動其坐標(biāo)(x，y)。多個控制點(diǎn)以如下方式移動，即眼睛模板的形狀在眼睛可以占據(jù)的形狀范圍內(nèi)變化。
圖16A示出了在形狀改變之前的眼睛模板，即其位置和形狀適應(yīng)規(guī)范化面部圖像的眼睛模板的控制點(diǎn)。因此，該眼睛模板的形狀類似于存儲在圖11的模板存儲器201中的眼睛模板的形狀。
圖16B示出了恰在控制點(diǎn)移動之前的眼睛模板，其是從圖16A的眼睛模板得到的，并且其所具有的控制點(diǎn)被移動到在等式(2)中利用參數(shù)t＝0確定的坐標(biāo)(xn，yn)。圖16B的眼睛模板與圖16A中的眼睛模板形狀相同。
圖16C示出了恰在控制點(diǎn)移動之前的眼睛模板，其是從圖16A的眼睛模板得到的，并且其所具有的控制點(diǎn)移動到由等式(2)中利用參數(shù)t＝1確定的坐標(biāo)(xn，yn)。圖16C的眼睛模板與圖16A的眼睛模板相比，眼角升高了。
圖16D示出了恰在控制點(diǎn)移動之前的眼睛模板，其是從圖16A的眼睛模板得到的，并且其所具有的控制點(diǎn)移動到由等式(2)中利用參數(shù)t＝-1確定的坐標(biāo)(xn，yn)。圖16D的眼睛模板與圖16A的眼睛模板相比，眼角降低了。
圖16E示出了恰在控制點(diǎn)移動之前的眼睛模板，其是從圖16A的眼睛模板得到的，并且其所具有的控制點(diǎn)移動到由等式(2)中在參數(shù)t為0.45時確定的坐標(biāo)(xn，yn)。圖16E的眼睛模板與圖16A的眼睛模板相比，眼角稍微降低了。
如圖16A～16E所示，圖16E所示的參數(shù)t為0.45的眼睛模板的形狀最緊密地適應(yīng)規(guī)范化面部圖像的眼睛。
如圖16A～16E所示，在第n個控制點(diǎn)中，ymax(n)是+1，ymin(n)是-1。
確定控制點(diǎn)坐標(biāo)(xn，yn)的等式不局限于等式(2)?？刂泣c(diǎn)的集合不局限于沿著眼睛模板外輪廓的控制點(diǎn)當(dāng)中的多個上或下控制點(diǎn)，以及沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中的多個上或下控制點(diǎn)。
在參照圖13的步驟S203討論的第四形狀適應(yīng)操作中，如果在沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，移動了較靠近鼻子的多個控制點(diǎn)，則眼睛特征點(diǎn)檢測器202根據(jù)以下等式(3)來確定較靠近鼻子的多個控制點(diǎn)的坐標(biāo)(xn，yn)xn＝(xn′-xmin(n))tx+xmin(n)，yn＝(1-t)yn′+tyymax(n)其中ty≥0，且yn＝(1-(-t))yn′+(-t)ymin(n)其中ty＜0...(3)其中n、xn、yn、xn′、yn′、ymax(n)和ymin(n)分別與等式(2)中的相應(yīng)部分相同。而且，xmin(n)表示第n個控制點(diǎn)可以取到的x坐標(biāo)的最小值，tx和ty是用來修改形成眼睛模板的多個控制點(diǎn)中每一個控制點(diǎn)的坐標(biāo)(x，y)的兩個參數(shù)。參數(shù)tx例如是落在從0到+1范圍內(nèi)的實數(shù)，參數(shù)ty例如是落在從-1到+1范圍內(nèi)的實數(shù)。
在等式(3)中，xmin(n)、ymax(n)和ymin(n)是預(yù)定值，其使得只要參數(shù)tx在從0到+1的范圍內(nèi)變化，并且參數(shù)ty在從-1到+1的范圍內(nèi)變化，眼睛模板就落在眼睛可以占據(jù)的形狀范圍內(nèi)。眼睛模板的形狀由等式(3)所提供的坐標(biāo)(x，y)處的控制點(diǎn)表示。
根據(jù)等式(3)，基于兩個參數(shù)tx和ty來修改要被移動的多個控制點(diǎn)的坐標(biāo)(x，y)，即沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中的多個控制點(diǎn)的坐標(biāo)(x，y)。如圖16A～16E所示，多個控制點(diǎn)以如下方式移動，即眼睛模板的形狀在眼睛可以占據(jù)的形狀范圍內(nèi)變化。
如圖17A所示，在沿著眼睛模板內(nèi)輪廓的控制點(diǎn)當(dāng)中，由實心方形標(biāo)記表示的多個控制點(diǎn)較靠近鼻子?；趦蓚€參數(shù)tx和ty來移動較靠近鼻子的多個控制點(diǎn)的位置，以使得眼睛模板的形狀在眼睛可以占據(jù)的形狀范圍內(nèi)變化。
如圖17B所示，基于參數(shù)tx，沿x方向移動較靠近鼻子的多個控制點(diǎn)當(dāng)中的第n個控制點(diǎn)的位置，以使得x坐標(biāo)變?yōu)閤min(n)或更大。如圖17B所示，xmin(n)為0。
如圖17C所示，基于參數(shù)ty，沿y方向移動較靠近鼻子的多個控制點(diǎn)當(dāng)中的第n個控制點(diǎn)的位置，以使得y坐標(biāo)落在從ymin(n)或更大到y(tǒng)max(n)或更小的范圍之內(nèi)。如圖17C所示，ymax(n)為+1，而ymin(n)為-1。
基于參數(shù)t、tx和ty來修改作為限定眼睛模板形狀的多個參數(shù)的多個控制點(diǎn)的x坐標(biāo)和y坐標(biāo)，所述參數(shù)的數(shù)目比所述多個參數(shù)的數(shù)目至少小1。位置和尺寸適應(yīng)了規(guī)范化面部圖像的眼睛模板的形狀在眼睛形狀的范圍之內(nèi)改變。更具體而言，形成眼睛模板的多個控制點(diǎn)成組(集合)地移動位置。較少數(shù)目的參數(shù)的操作使眼睛模板的形狀適應(yīng)規(guī)范化面部圖像。從而，眼睛模板的形狀容易適應(yīng)于規(guī)范化面部圖像。
在形狀適應(yīng)處理中，連接形成眼睛模板的控制點(diǎn)當(dāng)中的外輪廓控制點(diǎn)的線被移動，以與規(guī)范化面部圖像中眼眶的輪廓對準(zhǔn)，然后，連接內(nèi)輪廓控制點(diǎn)的線被移動，以與規(guī)范化面部圖像中眼球的露出部分對準(zhǔn)。
這樣，連接外輪廓控制點(diǎn)的線被移動以與規(guī)范化面部圖像中眼眶的輪廓對準(zhǔn)，然后移動連接內(nèi)輪廓的線。從而約束了內(nèi)輪廓控制點(diǎn)的移動范圍，從而進(jìn)一步有利于形狀適應(yīng)處理。
如果內(nèi)輪廓控制點(diǎn)被置于由連接外輪廓控制點(diǎn)的線所限定的區(qū)域之外，則眼睛模板的形狀落在眼睛形狀的區(qū)域之外。內(nèi)輪廓控制點(diǎn)所移動到的位置限于由連接外輪廓控制點(diǎn)的線所包圍的區(qū)域。這樣，減少了形狀適應(yīng)處理所涉及的工作量。
下面參照圖18的流程圖，描述圖11的嘴特征點(diǎn)檢測器203的處理。
嘴特征點(diǎn)檢測器203所執(zhí)行的處理流程大體上與眼睛特征點(diǎn)檢測器202所執(zhí)行的圖13的處理相同，只是要處理的面部區(qū)域是嘴而非眼睛。
在步驟S211中，嘴特征點(diǎn)檢測器203基于來自圖2的規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像和來自標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息中的嘴區(qū)域的信息，確定來自模板存儲器201的嘴模板的尺寸和位置的缺省值。
嘴模板包括排成水平線的許多控制點(diǎn)。嘴特征點(diǎn)檢測器203擴(kuò)大或縮小嘴模板的尺寸，以使得規(guī)范化面部圖像中由嘴區(qū)域的信息所表示的矩形區(qū)域的水平長度與嘴模板的水平長度相匹配。嘴特征點(diǎn)檢測器203將擴(kuò)大的嘴模板和縮小的嘴模板中之一置于規(guī)范化面部圖像中，以使得所述擴(kuò)大的嘴模板和縮小的嘴模板中之一以嘴區(qū)域信息所表示的矩形區(qū)域的垂直中心點(diǎn)為中心，并且內(nèi)接在該矩形區(qū)域中。在步驟S211中被設(shè)置在規(guī)范化面部圖像中的嘴模板的尺寸和位置分別是其缺省值。嘴模板尺寸和位置的缺省值分別稱為缺省尺寸和缺省位置。
處理從步驟S211進(jìn)行到步驟S212。嘴特征點(diǎn)檢測器203從嘴模板的缺省尺寸和缺省位置開始，逐漸改變其尺寸和位置，以使得嘴模板適應(yīng)顯示在規(guī)范化面部圖像中的面部。該處理稱為位置/尺寸適應(yīng)處理。
在步驟S212的位置/尺寸適應(yīng)處理中，嘴特征點(diǎn)檢測器203在保持嘴模板對原始形狀相似性的情況下改變其尺寸和位置，并計算評估函數(shù)。評估函數(shù)評估其尺寸和位置被改變的嘴模板有多么緊密地適應(yīng)顯示在規(guī)范化面部圖像中的面部的嘴(上唇與下唇間的邊界)的適應(yīng)程度。
嘴特征點(diǎn)檢測器203在保持對原始形狀相似性的情況下擴(kuò)大或縮小嘴模板，從而改變嘴模板的尺寸。嘴特征點(diǎn)檢測器203在保持其形狀不變的情況下平移整個嘴模板的控制點(diǎn)，從而移動嘴模板的位置。除了嘴模板的平移以外，嘴特征點(diǎn)檢測器203還可以繞任意控制點(diǎn)轉(zhuǎn)動嘴模板，從而改變嘴模板的位置。
嘴特征點(diǎn)檢測器203確定當(dāng)評估函數(shù)產(chǎn)生最緊密地適應(yīng)的值時，換言之，當(dāng)評估函數(shù)變?yōu)槠渥畲笾岛妥钚≈抵粫r，嘴模板的尺寸和位置。
處理從步驟S212進(jìn)行到步驟S213。嘴特征點(diǎn)檢測器203相對于在步驟S212中確定的嘴模板的尺寸和位置，改變嘴模板的形狀。從而，嘴特征點(diǎn)檢測器203執(zhí)行形狀適應(yīng)處理，以使嘴模板的形狀適應(yīng)于顯示在規(guī)范化面部圖像中的面部中的嘴。
在步驟S212中，嘴特征點(diǎn)檢測器203改變嘴模板的尺寸和位置，從而使嘴模板適應(yīng)于顯示在規(guī)范化面部圖像中的面部的嘴。在步驟S213中，嘴特征點(diǎn)檢測器203執(zhí)行形狀適應(yīng)處理。在形狀適應(yīng)處理中，嘴特征點(diǎn)檢測器203使嘴模板的形狀適應(yīng)于顯示在規(guī)范化面部圖像中的面部的嘴。
更具體而言，嘴特征點(diǎn)檢測器203移動形成嘴模板的控制點(diǎn)中的至少一個，并且此后逐漸減少要移動的控制點(diǎn)的數(shù)目。
在形狀適應(yīng)處理中，與眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203將形成嘴模板的所有控制點(diǎn)選擇為要移動的候選控制點(diǎn)，并一致地移動所有選定的控制點(diǎn)。更具體而言，嘴特征點(diǎn)檢測器203基于數(shù)目比限定嘴模板的多個參數(shù)的數(shù)目小至少1的參數(shù)，來修改作為限定嘴模板的多個參數(shù)的多個控制點(diǎn)中每一個的x坐標(biāo)和y坐標(biāo)。嘴特征點(diǎn)檢測器203在嘴的形狀范圍內(nèi)改變嘴模板(其位置和尺寸適應(yīng)規(guī)范化面部圖像)的形狀。從而，較少數(shù)目的參數(shù)的操作使嘴模板的形狀盡可能緊密地與規(guī)范化面部圖像中的嘴相匹配。
與眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203例如將多個控制點(diǎn)中的左邊一半選擇為要移動的候選控制點(diǎn)，并一致地移動所有候選控制點(diǎn)。從而，嘴特征點(diǎn)檢測器203使嘴模板的形狀適應(yīng)規(guī)范化面部圖像中的嘴。
與眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203例如將多個控制點(diǎn)中的右邊一半選擇為要移動的候選控制點(diǎn)，并一致地移動所有候選控制點(diǎn)。從而，嘴特征點(diǎn)檢測器203使嘴模板的形狀適應(yīng)規(guī)范化面部圖像中的嘴。
嘴特征點(diǎn)檢測器203從形成嘴模板的控制點(diǎn)當(dāng)中，相繼選擇靠近嘴中心的多個控制點(diǎn)、靠近嘴的左端和嘴中心之間中點(diǎn)的多個控制點(diǎn)，以及靠近嘴的右端和嘴中心之間中點(diǎn)的多個控制點(diǎn)，作為候選控制點(diǎn)。與眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203一致地移動所有候選控制點(diǎn)，以使嘴模板的形狀適應(yīng)規(guī)范化面部圖像中的嘴。
嘴特征點(diǎn)檢測器203逐個選擇形成嘴模板的控制點(diǎn)作為候選控制點(diǎn)并使其移動，以使嘴模板的形狀適應(yīng)規(guī)范化面部圖像中的嘴。在此情況下，執(zhí)行控制點(diǎn)的移動，以使得嘴模板的形狀落入規(guī)范化面部圖像中嘴的區(qū)域之內(nèi)。由于控制點(diǎn)是逐個移動的，因此通過直接提供要移動的控制點(diǎn)的坐標(biāo)(x，y)來執(zhí)行移動操作。
使嘴模板的形狀適應(yīng)于規(guī)范化面部圖像中的嘴的處理是如在前面圖13的步驟S202中的位置/尺寸適應(yīng)處理中討論的那樣執(zhí)行的。對于每個被移動的控制點(diǎn)，計算評估函數(shù)，所述評估函數(shù)評估嘴模板有多么緊密地適應(yīng)顯示在規(guī)范化面部圖像中的面部的嘴的適應(yīng)程度。
當(dāng)步驟S213中的形狀適應(yīng)處理完成時，獲得了位置、尺寸和形狀適應(yīng)規(guī)范化面部圖像中的嘴的嘴模板(在下文中稱為適應(yīng)的嘴模板)。嘴特征點(diǎn)檢測器203從適應(yīng)的嘴模板中確定規(guī)范化面部圖像中的嘴的特征點(diǎn)，并將該特征點(diǎn)作為詳細(xì)特征點(diǎn)提供給圖11的下頦特征點(diǎn)檢測器204和圖2的面部模型生成器136。然后處理結(jié)束。
嘴特征點(diǎn)檢測器203確定形成適應(yīng)嘴模板的控制點(diǎn)中的一些或全部，作為規(guī)范化面部圖像中嘴的詳細(xì)特征點(diǎn)?；蛘撸焯卣鼽c(diǎn)檢測器203可以對連接適應(yīng)的嘴模板的控制點(diǎn)的線中的點(diǎn)進(jìn)行采樣，并將采樣點(diǎn)確定為規(guī)范化面部圖像中嘴的詳細(xì)特征點(diǎn)。
與圖11的眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203使嘴模板的尺寸和位置適應(yīng)于顯示在規(guī)范化面部圖像中的面部中的嘴，并針對尺寸和位置適應(yīng)了的嘴模板，使嘴模板的形狀適應(yīng)于規(guī)范化面部圖像的面部中的嘴。從而容易獲取大量詳細(xì)特征點(diǎn)。
當(dāng)嘴模板的多個控制點(diǎn)被移動位置時，與眼睛特征點(diǎn)檢測器202一樣，嘴特征點(diǎn)檢測器203基于數(shù)目比限定嘴模板形狀的多個參數(shù)的數(shù)目小至少1的參數(shù)，來修改作為限定嘴模板形狀的多個參數(shù)的多個控制點(diǎn)中每一個的x坐標(biāo)和y坐標(biāo)。從而，在嘴的形狀范圍內(nèi)改變了嘴模板(其位置和尺寸適應(yīng)規(guī)范化面部圖像)的形狀。從而容易使嘴模板的形狀適應(yīng)于規(guī)范化面部圖像。
由于嘴特征點(diǎn)檢測器203逐漸減少要移動的控制點(diǎn)，因此改善了評估函數(shù)的收斂性。嘴特征點(diǎn)檢測器203防止一個控制點(diǎn)移動到距另一控制點(diǎn)極遠(yuǎn)的位置。
當(dāng)嘴特征點(diǎn)檢測器203逐漸減少嘴模板中要移動的控制點(diǎn)的數(shù)目時，在其中控制點(diǎn)可以移動的區(qū)域也逐漸變窄。
與圖11的眼睛特征點(diǎn)檢測器202一樣，在步驟S213中使嘴模板的形狀適應(yīng)于規(guī)范化面部圖像之后，如帶箭頭的虛線所示，嘴特征點(diǎn)檢測器203返回到步驟S212。嘴特征點(diǎn)檢測器203參照其形狀適應(yīng)了的嘴模板，使嘴模板的尺寸和位置適應(yīng)于規(guī)范化面部圖像。類似地，將步驟S212和S213重復(fù)至少一個循環(huán)。從而獲得高度準(zhǔn)確的特征點(diǎn)。
如圖18所示，嘴特征點(diǎn)檢測器203基于來自圖2的標(biāo)準(zhǔn)特征點(diǎn)抽取器134的區(qū)域信息中的嘴區(qū)域信息，確定來自模板存儲器201的嘴模板的缺省尺寸和缺省位置。嘴模板的缺省尺寸和缺省位置是基于由眼睛特征點(diǎn)檢測器202獲得的眼睛的詳細(xì)特征點(diǎn)而確定的。
例如，右眼瞳孔中心處的特征點(diǎn)與左眼瞳孔中心處的特征點(diǎn)之間的中點(diǎn)被看作是顯示在規(guī)范化面部圖像中的眼睛的中心。嘴模板的水平中心位置，即將嘴模板分成兩個相等的水平區(qū)段的點(diǎn)，在垂直觀察時與眼睛的中心對準(zhǔn)。嘴模板的垂直延伸的中心線與嘴區(qū)域信息所表示的矩形區(qū)域的垂直延伸中心線對準(zhǔn)。此外，不延伸超過嘴區(qū)域信息所表示的矩形區(qū)域的嘴模板的尺寸和位置被作為缺省尺寸和缺省位置處理。
眼睛特征點(diǎn)檢測器202的處理可以在嘴特征點(diǎn)檢測器203的處理之前執(zhí)行，反之亦可。眼睛特征點(diǎn)檢測器202的處理和嘴特征點(diǎn)檢測器203的處理可以同時執(zhí)行。然而，如果嘴特征點(diǎn)檢測器203基于眼睛特征點(diǎn)檢測器202所獲得的眼睛的詳細(xì)特征點(diǎn)來確定嘴模板的缺省尺寸和缺省位置，則首先執(zhí)行眼睛特征點(diǎn)檢測器202的處理，在獲得眼睛的詳細(xì)特征點(diǎn)之后，嘴特征點(diǎn)檢測器203執(zhí)行其處理。
圖19A示出了其位置和尺寸適應(yīng)規(guī)范化面部圖像，并且是在圖18的步驟S212中的位置/尺寸適應(yīng)處理中獲得的嘴模板。圖19B示出了其位置、尺寸和形狀適應(yīng)規(guī)范化面部圖像、在圖18的步驟S213中的形狀適應(yīng)處理中基于圖19A的嘴模板而獲得的嘴模板。
更具體而言，圖19A的上部示出了在對規(guī)范化面部圖像執(zhí)行的位置/尺寸適應(yīng)處理中獲得的其位置和尺寸適應(yīng)一幅規(guī)范化面部圖像的嘴模板。圖19B的上部示出了在對規(guī)范化面部圖像執(zhí)行的位置/尺寸適應(yīng)處理中獲得的其位置和尺寸適應(yīng)另一幅規(guī)范化面部圖像的嘴模板。
在圖19A和19B中每一幅的上部中，嘴模板的尺寸和位置適應(yīng)規(guī)范化面部圖像的上唇與下唇之間的邊界(嘴)。更具體而言，嘴模板的尺寸和位置分別近似地與規(guī)范化面部圖像的尺寸和位置相匹配。
然而，嘴模板的形狀與規(guī)范化面部圖像中的嘴不匹配。
圖19A的下部示出了通過對圖19A上部所示的嘴模板執(zhí)行形狀適應(yīng)處理而獲得的嘴模板。圖19B的下部示出了通過對圖19B上部所示的嘴模板執(zhí)行形狀適應(yīng)處理而獲得的嘴模板。
在圖19A和19B中每一幅的下部的嘴模板中，嘴模板的位置、尺寸和形狀適應(yīng)規(guī)范化面部圖像中的嘴。更具體而言，嘴模板的位置、尺寸和形狀分別近似地與規(guī)范化面部圖像的上唇與下唇之間的邊界(嘴)的位置、尺寸和形狀相匹配。
下面參照圖20的流程圖，描述圖11的下頦特征點(diǎn)檢測器204的處理。
下頦特征點(diǎn)檢測器204的處理是對面部中的下頦而非眼睛執(zhí)行的，大體上與參照圖13討論的眼睛特征點(diǎn)檢測器202的處理類似。
在步驟S221中，下頦特征點(diǎn)檢測器204基于來自圖2的規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自圖11的眼睛特征點(diǎn)檢測器202的眼睛的詳細(xì)特征點(diǎn)，以及來自嘴特征點(diǎn)檢測器203的嘴的詳細(xì)特征點(diǎn)，確定來自模板存儲器201的下頦模板的尺寸和位置的缺省值。
下頦特征點(diǎn)檢測器204將右眼瞳孔中心處的特征點(diǎn)與左眼瞳孔中心處的特征點(diǎn)之間的中點(diǎn)看作顯示在規(guī)范化面部圖像中的眼睛的中心。下頦特征點(diǎn)檢測器204將嘴的詳細(xì)特征點(diǎn)當(dāng)中作為中心控制點(diǎn)的詳細(xì)特征點(diǎn)(例如，在被適應(yīng)到規(guī)范化面部圖像之前位于嘴模板中心處的控制點(diǎn))看作顯示在規(guī)范化面部圖像中的人的嘴的中心。連接眼睛中心和嘴中心的線(在下文中稱為中心線)被確定。
下頦特征點(diǎn)檢測器204確定眼睛中心和嘴中心之間的長度，并響應(yīng)于所確定的長度擴(kuò)大或縮小下頦模板。
下頦特征點(diǎn)檢測器204在從嘴中心沿中心線延伸的線中確定一個點(diǎn)。該點(diǎn)到嘴中心的距離是所確定的眼睛中心和嘴中心之間的長度的預(yù)定倍數(shù)。在下文中將該點(diǎn)稱為下頦標(biāo)準(zhǔn)位置。將下頦模板置于規(guī)范化面部圖像中，以使得下頦模板中下頦中心處的控制點(diǎn)與下頦標(biāo)準(zhǔn)位置對準(zhǔn)。
如上所述，下頦模板包括排成作為面部典型輪廓的半橢圓形狀的控制點(diǎn)?？刂泣c(diǎn)的數(shù)目需要足夠再現(xiàn)下頦的輪廓。被稱為下頦中心的控制點(diǎn)設(shè)置在半橢圓形下頦的最低點(diǎn)處。下頦特征點(diǎn)檢測器204將下頦模板置于規(guī)范化面部圖像中，以使得該控制點(diǎn)與下頦標(biāo)準(zhǔn)位置對準(zhǔn)，并且中心線垂直于在該控制點(diǎn)處與下頦輪廓相切的直線。在步驟S221中設(shè)置在規(guī)范化面部圖像中的下頦模板的尺寸和位置分別是其各自的缺省值。下頦模板的尺寸和位置的缺省值分別稱為缺省尺寸和缺省位置。
處理從步驟S221進(jìn)行到步驟S222。下頦特征點(diǎn)檢測器204從下頦模板的缺省尺寸和缺省位置開始逐漸改變其尺寸和位置，以使得下頦模板適應(yīng)顯示在規(guī)范化面部圖像中的面部。該處理稱為位置/尺寸適應(yīng)處理。
在步驟S222的位置/尺寸適應(yīng)處理中，下頦特征點(diǎn)檢測器204在保持下頦模板對原始形狀相似性的情況下改變其尺寸和位置，并計算評估函數(shù)。評估函數(shù)評估其尺寸和位置被改變的下頦模板有多么緊密地適應(yīng)顯示在規(guī)范化面部圖像中的面部輪廓(具體地說是面部的下頦)的適應(yīng)程度。
下頦特征點(diǎn)檢測器204在保持對原始形狀相似性的情況下擴(kuò)大或縮小下頦模板，從而改變下頦模板的尺寸。下頦特征點(diǎn)檢測器204在保持其形狀不變的情況下平移整個下頦模板的控制點(diǎn)，從而移動下頦模板的位置。除了下頦模板的平移以外，下頦特征點(diǎn)檢測器204還可以繞任意控制點(diǎn)轉(zhuǎn)動下頦模板，從而改變下頦模板的位置。
下頦特征點(diǎn)檢測器204確定當(dāng)評估函數(shù)產(chǎn)生最緊密地適應(yīng)的值時，下頦模板的尺寸和位置。
處理從步驟S222進(jìn)行到步驟S223。下頦特征點(diǎn)檢測器204相對于在步驟S222中確定的下頦模板的尺寸和位置，改變下頦模板的形狀。從而，下頦特征點(diǎn)檢測器204執(zhí)行形狀適應(yīng)處理，以使下頦模板的形狀適應(yīng)于規(guī)范化面部圖像中的面部輪廓(具體地說是面部的下頦)。
在步驟S222中，下頦特征點(diǎn)檢測器204改變下頦模板的尺寸和位置，從而使下頦模板適應(yīng)于顯示在規(guī)范化面部圖像中的面部的下頦。在步驟S223中，下頦特征點(diǎn)檢測器204執(zhí)行形狀適應(yīng)處理。在形狀適應(yīng)處理中，下頦特征點(diǎn)檢測器204使下頦模板適應(yīng)于顯示在規(guī)范化面部圖像中的面部的下頦。
在形狀適應(yīng)處理中，與嘴特征點(diǎn)檢測器203一樣，下頦特征點(diǎn)檢測器204移動下頦模板的多個控制點(diǎn)。更具體而言，下頦特征點(diǎn)檢測器204基于數(shù)目比限定下頦模板的多個參數(shù)的數(shù)目小至少1的參數(shù)，來修改作為限定下頦模板的多個參數(shù)的多個控制點(diǎn)中每一個的x坐標(biāo)和y坐標(biāo)。從而，較少數(shù)目的參數(shù)的操作使下頦模板的形狀盡可能緊密地與規(guī)范化面部圖像中的下頦相匹配。該處理被重復(fù)，其中每次減少要移動的控制點(diǎn)的數(shù)目。
當(dāng)下頦特征點(diǎn)檢測器204以及完成了步驟S223中的形狀適應(yīng)處理時，就獲得了位置、尺寸和形狀適應(yīng)規(guī)范化面部圖像中下頦的下頦模板(在下文中稱為適應(yīng)的下頦模板)。下頦特征點(diǎn)檢測器204從適應(yīng)的下頦模板中確定規(guī)范化面部圖像中的面部輪廓(具體而言是面部的下頦)的特征點(diǎn)，并將該特征點(diǎn)作為詳細(xì)特征點(diǎn)提供給圖2的面部模型生成器136。然后處理結(jié)束。
下頦特征點(diǎn)檢測器204確定形成適應(yīng)的下頦模板的控制點(diǎn)中的一些或全部，作為規(guī)范化面部圖像中下頦的詳細(xì)特征點(diǎn)?；蛘撸骂W特征點(diǎn)檢測器204可以對連接適應(yīng)的下頦模板的控制點(diǎn)的線中的點(diǎn)進(jìn)行采樣，并將采樣點(diǎn)確定為規(guī)范化面部圖像中下頦的詳細(xì)特征點(diǎn)。
與眼睛特征點(diǎn)檢測器202和嘴特征點(diǎn)檢測器203一樣，下頦特征點(diǎn)檢測器204容易地使下頦模板適應(yīng)于規(guī)范化面部圖像。容易獲得許多高度準(zhǔn)確的特征點(diǎn)。
與圖11的眼睛特征點(diǎn)檢測器202一樣，在步驟S223中使下頦模板的形狀適應(yīng)于規(guī)范化面部圖像之后，如帶箭頭的虛線所示，下頦特征點(diǎn)檢測器204返回到步驟S222。下頦特征點(diǎn)檢測器204參照其形狀已經(jīng)適應(yīng)了的下頦模板，使下頦模板的尺寸和位置適應(yīng)于規(guī)范化面部圖像。同樣，將步驟S222和S223重復(fù)至少一個循環(huán)。從而獲得高度準(zhǔn)確的特征點(diǎn)。
參照圖21至圖24，進(jìn)一步討論由圖2的標(biāo)準(zhǔn)特征點(diǎn)抽取器134獲得的標(biāo)準(zhǔn)特征點(diǎn)，以及由圖2的詳細(xì)特征點(diǎn)抽取器135獲得的詳細(xì)特征點(diǎn)。
圖21和圖22示出了標(biāo)準(zhǔn)特征點(diǎn)抽取器134例如使用AAM技術(shù)確定的標(biāo)準(zhǔn)特征點(diǎn)。
圖21示出了整個面部的標(biāo)準(zhǔn)特征點(diǎn)，圖22示出了作為面部一個區(qū)域的眼睛區(qū)域的標(biāo)準(zhǔn)特征點(diǎn)。
如圖21和22所示，標(biāo)準(zhǔn)特征點(diǎn)的數(shù)目不太多，準(zhǔn)確度也不太高。如圖21所示，標(biāo)準(zhǔn)特征點(diǎn)散布在眼睛、嘴、下頦和鼻子上。對于眼睛，如圖22所示，標(biāo)準(zhǔn)特征點(diǎn)設(shè)置在眼睛附近。并未準(zhǔn)確示出從眼瞼中露出的眼球部分的輪廓和眼眶輪廓的位置。
圖23和圖24示出了由詳細(xì)特征點(diǎn)抽取器135獲得的詳細(xì)特征點(diǎn)。
圖23示出了從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)，圖24示出了從沿著眼睛模板外輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)。
如圖23所示，從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)準(zhǔn)確地示出了眼球露出部分的輪廓的位置。從沿著眼睛模板內(nèi)輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)的數(shù)目足以利用連接這些詳細(xì)特征點(diǎn)的線來再現(xiàn)眼球露出部分的輪廓。
如圖24所示，從沿著眼睛模板外輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)準(zhǔn)確地指示出眼眶與眼瞼間邊界的位置。而且，通過將從沿著眼睛模板外輪廓的控制點(diǎn)中獲得的詳細(xì)特征點(diǎn)連接起來，準(zhǔn)確地再現(xiàn)了眼眶與眼瞼間的邊界。
圖25的框圖示出了圖2的面部模型生成器136的結(jié)構(gòu)。
面部模型生成器136包括標(biāo)準(zhǔn)3D模型存儲器251、面部模型處理器252、頭發(fā)模型處理器253和合成器254。
標(biāo)準(zhǔn)3D模型存儲器251存儲具有標(biāo)準(zhǔn)面部的3D形狀的面部模型、具有標(biāo)準(zhǔn)頸部的3D形狀的頸部模型、具有標(biāo)準(zhǔn)左右耳的3D形狀的耳朵模型，以及具有標(biāo)準(zhǔn)頭發(fā)形狀的頭發(fā)模型。面部模型、頸部模型、耳朵模型和頭發(fā)模型是預(yù)先準(zhǔn)備的，并存儲在標(biāo)準(zhǔn)3D模型存儲器251中。面部模型、頸部模型和耳朵模型可以是對真人建模的模型，但在這里是虛擬模型。例如，這里所使用的面部模型是完美地兩邊對稱的。
存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型、頸部模型和耳朵模型被提供給面部模型處理器252，頭發(fā)模型被提供給頭發(fā)模型處理器253。
面部模型處理器252包括面部模型適應(yīng)器261、頸部模型適應(yīng)器262、耳朵模型適應(yīng)器263、擴(kuò)展器264和合成器265。
面部模型適應(yīng)器261接收來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，以及來自標(biāo)準(zhǔn)3D模型存儲器251的面部模型。面部模型適應(yīng)器261基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，使來自標(biāo)準(zhǔn)3D模型存儲器251的面部模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的面部。這樣，作為顯示在規(guī)范化面部圖像中的面部的3D模型的面部模型被生成并提供給擴(kuò)展器264。
頸部模型適應(yīng)器262接收來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，以及來自標(biāo)準(zhǔn)3D模型存儲器251的頸部模型。頸部模型適應(yīng)器262基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，使來自標(biāo)準(zhǔn)3D模型存儲器251的頸部模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的頸部。這樣，作為顯示在規(guī)范化面部圖像中的頸部的3D模型的頸部模型被生成，并隨后提供給合成器265。
耳朵模型適應(yīng)器263接收來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，以及來自標(biāo)準(zhǔn)3D模型存儲器251的耳朵模型。耳朵模型適應(yīng)器263基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，使來自標(biāo)準(zhǔn)3D模型存儲器251的耳朵模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的耳朵。這樣，作為顯示在規(guī)范化面部圖像中的耳朵的3D模型的耳朵模型被生成，并隨后提供給合成器265。
擴(kuò)展器264在作為深度方向的z方向上擴(kuò)展從面部模型適應(yīng)器261提供的面部模型的側(cè)面部分，并將所產(chǎn)生的面部模型提供給合成器265。
合成器265將從頸部模型適應(yīng)器262提供的頸部模型和從耳朵模型適應(yīng)器263提供的耳朵模型兩者與從擴(kuò)展器264提供的面部模型合成起來，并將合成了頸部模型和耳朵模型的面部模型提供給合成器254。
頭發(fā)模型處理器253包括適配單元271，非頭發(fā)部分檢測器272、Z值修改器273和濾波器274。
適配單元271接收來自圖2的規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像、來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，以及來自標(biāo)準(zhǔn)3D模型存儲器251的頭發(fā)模型?；趤碜栽敿?xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，適配單元271將來自標(biāo)準(zhǔn)3D模型存儲器251的頭發(fā)模型適配到顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的頭部上，然后將所產(chǎn)生的頭發(fā)模型提供給Z值修改器273。
非頭發(fā)部分檢測器272接收規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像。非頭發(fā)部分檢測器272從提供自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中檢測非頭發(fā)部分，并將非頭發(fā)部分的信息提供給Z值修改器273。
Z值修改器273根據(jù)來自非頭發(fā)部分檢測器272的關(guān)于非頭發(fā)部分的信息，檢測被適配到從適配單元271提供的頭發(fā)模型(即被適配到規(guī)范化面部圖像中的頭部上的頭發(fā)模型)的非頭發(fā)部分，修改被適配到該非頭發(fā)部分上的部分的Z值，并將該Z值提供給濾波器274。
濾波器274利用低通濾波器對被Z值修改器273修改的頭發(fā)模型的Z值進(jìn)行濾波，并將濾波后的頭發(fā)模型提供給合成器254。
合成器254將從面部模型處理器252中的合成器265提供來的面部模型與從頭發(fā)模型處理器253中的濾波器274提供來的頭發(fā)模型合成起來，并向圖2的面部模型存儲器137提供合成了頭發(fā)模型的面部模型，以存儲為最終面部模型。
下面參照圖26至圖28來描述圖25的面部模型適應(yīng)器261的處理。
圖26示出了存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型。
存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型是正面看去的標(biāo)準(zhǔn)面部的3D模型，并具有其每個點(diǎn)處的xyz坐標(biāo)(x，y，z)。坐標(biāo)(x，y，z)的x軸對準(zhǔn)水平方向，y軸對準(zhǔn)垂直方向，z軸對準(zhǔn)深度方向。將z坐標(biāo)值稱為Z值。如圖26所示，在x軸對準(zhǔn)水平方向且y軸對準(zhǔn)垂直方向時的坐標(biāo)(x，y)中，Z值表示從前面觀察的面部模型每個點(diǎn)處的明暗度。
例如，z軸從前向后延伸開去，面部模型最前面的點(diǎn)的Z值是0，較小Z值的點(diǎn)(較靠前的點(diǎn))表示較亮的點(diǎn)，較大Z值的點(diǎn)(靠后較深)表示較暗的點(diǎn)。
如圖26所示，設(shè)定5個參考點(diǎn)Dp1、Dp2、Dp3、Dp4和Dp5來將存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型(從前面觀察)分成4個垂直方向上的垂直區(qū)段Dv1、Dv2、Dv3和Dv4，以及兩個水平區(qū)段Dh1和Dh2。
參考點(diǎn)Dp1是沿頭發(fā)和面部之間邊界的最頂端的點(diǎn)，參考點(diǎn)Dp2是眼睛的中心點(diǎn)(左眼瞳孔中心與右眼瞳孔中心之間的中點(diǎn))。參考點(diǎn)Dp3是鼻子朝向上唇側(cè)的點(diǎn)，參考點(diǎn)Dp4是上唇與下唇之間的嘴上的點(diǎn)。參考點(diǎn)Dp5是面部的最底端的點(diǎn)，即沿著下頦與頸部之間的邊界的最低點(diǎn)。
區(qū)段Dv1是介于通過參考點(diǎn)Dp1的水平線(平行于x軸)與通過參考點(diǎn)Dp2的水平線之間的區(qū)域，區(qū)段Dv2是在介于通過參考點(diǎn)Dp2的水平線與通過參考點(diǎn)Dp3的水平線之間的區(qū)域。區(qū)段Dv3是介于通過參考點(diǎn)Dp3的水平線與通過參考點(diǎn)Dp4的水平線之間的區(qū)域，區(qū)段Dv4是介于通過參考點(diǎn)Dp4的水平線與通過參考點(diǎn)Dp5的水平線之間的區(qū)域。
如前所述，存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型是兩邊對稱的，5個參考點(diǎn)Dp1、Dp2、Dp3、Dp4和Dp5都位于對稱軸上。
依次連接5個參考點(diǎn)Dp1、Dp2、Dp3、Dp4和Dp5的直線將面部模型分成兩個水平區(qū)段Dh1和Dh2。
依次連接5個參考點(diǎn)Dp1、Dp2、Dp3、Dp4和Dp5的直線與對稱軸重合。面部模型的兩個區(qū)段Dh1和Dh2相對于該對稱線對稱。
存儲在標(biāo)準(zhǔn)3D模型存儲器251中的面部模型被5個參考點(diǎn)Dp1、Dp2、Dp3、Dp4和Dp5分成4個垂直區(qū)段Dv1、Dv2、Dv3和Dv4，以及兩個水平區(qū)段Dh1和Dh2。結(jié)果，面部模型被分成8個區(qū)段R1、R2、R3、R4、R5、R6、R7和R8。
圖25的面部模型適應(yīng)器261使來自標(biāo)準(zhǔn)3D模型存儲器251的面部模型(在下文中稱為標(biāo)準(zhǔn)面部模型)適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的面部。為此，面部模型適應(yīng)器261基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，將顯示在規(guī)范化面部圖像中的面部分成與8個區(qū)段R1至R8相對應(yīng)的8個匹配區(qū)域。
圖27示出了被分成與8個區(qū)段R1至R8相對應(yīng)的8個匹配區(qū)域的顯示在規(guī)范化面部圖像中的面部。
面部模型適應(yīng)器261在規(guī)范化面部圖像中檢測對應(yīng)于圖26的5個參考點(diǎn)Dp1至Dp5的匹配點(diǎn)。
面部模型適應(yīng)器261將來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的下頦的詳細(xì)特征點(diǎn)連接起來，從而識別顯示在規(guī)范化面部圖像中的面部的輪廓。從面部輪廓中，面部模型適應(yīng)器261檢測顯示在規(guī)范化面部圖像中的面部的最頂端的點(diǎn)，其對應(yīng)于參考點(diǎn)Dp1(沿著前額與頭發(fā)之間邊界的最頂端點(diǎn))。
面部模型適應(yīng)器261基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的眼睛的詳細(xì)特征點(diǎn)，確定作為左右眼瞳孔中心間中點(diǎn)的眼睛的中心點(diǎn)，并將該中心點(diǎn)檢測為參考點(diǎn)Dp2的匹配點(diǎn)，即顯示在規(guī)范化面部圖像中的面部的眼睛的中心。
面部模型適應(yīng)器261對規(guī)范化面部圖像執(zhí)行圖像處理，以檢測顯示在規(guī)范化面部圖像中的面部的鼻子的鼻孔，即位于眼睛的水平與嘴的水平之間的兩個基本呈橢圓形的暗孔。然后，面部模型適應(yīng)器261檢測兩個鼻孔重心之間的中點(diǎn)作為對應(yīng)于參考點(diǎn)Dp3的匹配點(diǎn)，即作為顯示在規(guī)范化面部圖像中的面部的接近于上唇的鼻子的點(diǎn)。
面部模型適應(yīng)器261從來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中，檢測作為嘴的詳細(xì)特征點(diǎn)的中心控制點(diǎn)的詳細(xì)特征點(diǎn)(例如在被適應(yīng)到規(guī)范化面部圖像之前位于嘴模板中心的控制點(diǎn))。然后，面部模型適應(yīng)器261將檢測到的詳細(xì)特征點(diǎn)設(shè)定為對應(yīng)于參考點(diǎn)Dp4的匹配點(diǎn)，即顯示在規(guī)范化面部圖像中的面部的嘴(上唇與下唇之間)中的點(diǎn)。
面部模型適應(yīng)器261從來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中，檢測作為下頦中心處的控制點(diǎn)的詳細(xì)特征點(diǎn)。面部模型適應(yīng)器261將檢測到的詳細(xì)特征點(diǎn)設(shè)定為對應(yīng)于參考點(diǎn)Dp5的匹配點(diǎn)，即顯示在規(guī)范化面部圖像中的面部的最低點(diǎn)(沿著面部與頸部之間邊界的最低點(diǎn))。
如圖27所示，面部模型適應(yīng)器261利用分別通過5個參考點(diǎn)Dp1至Dp5的5條水平線，將規(guī)范化面部圖像分成對應(yīng)于4個垂直區(qū)段Dv1至Dv4(見圖26)的區(qū)域。
如圖27所示，面部模型適應(yīng)器261通過將分別對應(yīng)于5個參考點(diǎn)Dp1至Dp5的匹配點(diǎn)連接起來，將規(guī)范化面部圖像分成對應(yīng)于兩個水平區(qū)段Dh1和Dh2(見圖26)的兩個區(qū)域。
這樣，面部模型適應(yīng)器261將規(guī)范化面部圖像分成4個垂直區(qū)段和2個水平區(qū)段。顯示在規(guī)范化面部圖像中的面部被分成與8個區(qū)段R1至R8(見圖26)相對應(yīng)的總共8個匹配區(qū)域。
面部模型適應(yīng)器261在區(qū)段R1至R8的每一個當(dāng)中，逐個區(qū)段地使圖26的面部模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的面部。
面部模型適應(yīng)器261修改區(qū)段R1中每個點(diǎn)(x，y，z)的x坐標(biāo)和y坐標(biāo)，以使得參考點(diǎn)Dp1至Dp5當(dāng)中在標(biāo)準(zhǔn)面部模型的區(qū)域R1的邊界上的參考點(diǎn)Dp1和Dp2(見圖26)與規(guī)范化面部圖像中的匹配點(diǎn)重合，以使得區(qū)段R1與規(guī)范化面部圖像中的匹配區(qū)域相匹配。從而，面部模型適應(yīng)器261對標(biāo)準(zhǔn)面部模板中的區(qū)段R1進(jìn)行了適配(改變形狀)。
面部模型適應(yīng)器261對其他區(qū)段R2至R8進(jìn)行適配，從而產(chǎn)生整個標(biāo)準(zhǔn)面部模型適應(yīng)于顯示在規(guī)范化面部圖像中的整個面部的面部模型。所產(chǎn)生的面部模型然后被提供給擴(kuò)展器264。
圖28示出了通過使圖26的標(biāo)準(zhǔn)面部模型適應(yīng)于圖27的顯示在規(guī)范化面部圖像中的面部而獲得的面部模型。在圖28中，和圖26中一樣，在x軸對準(zhǔn)水平方向且y軸對準(zhǔn)垂直方向的xy坐標(biāo)中，由坐標(biāo)(x，y)表示的面部模型上每個點(diǎn)處的Z值表示面部模型的明暗度。
在被適應(yīng)于顯示在規(guī)范化面部圖像中的面部的面部模型中，存在與顯示在規(guī)范化面部圖像中面部的每個點(diǎn)(像素)相對應(yīng)的點(diǎn)。面部模型適應(yīng)器261向面部模型中的每個點(diǎn)提供了顯示在規(guī)范化面部圖像中面部的相應(yīng)點(diǎn)處的像素值。被適應(yīng)于顯示在規(guī)范化面部圖像中的面部的面部模型除了包含xyz坐標(biāo)系中的坐標(biāo)(x，y，z)以外，還包含像素值(色彩)。
下面參照圖29來描述圖25的頸部模型適應(yīng)器262的處理。
頸部模型適應(yīng)器262基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的眼睛的詳細(xì)特征點(diǎn)，確定顯示在規(guī)范化面部圖像中的面部的左眼和右眼中每一個的瞳孔的中心。頸部模型適應(yīng)器262基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的嘴的詳細(xì)特征點(diǎn)，確定顯示在規(guī)范化面部圖像中的面部的嘴的中心。
頸部模型適應(yīng)器262將圖29所示的陰影區(qū)域確定為規(guī)范化面部圖像中頸部所在的區(qū)域。該陰影區(qū)域是由通過左眼和右眼瞳孔中心的兩條垂直線之間，以及通過嘴中心的平行線下方的區(qū)域來限定的。頸部模型適應(yīng)器262使來自標(biāo)準(zhǔn)3D模型存儲器251的頸部模型適應(yīng)于頸部區(qū)域。更具體而言，頸部模型適應(yīng)器262以如下方式將頸部模型適配到頸部區(qū)域使頸部模型中的每個點(diǎn)對應(yīng)于頸部區(qū)域中各自的點(diǎn)。
頸部模型適應(yīng)器262將被適應(yīng)于頸部區(qū)域的頸部模型提供給圖25的合成器265，作為適應(yīng)于顯示在規(guī)范化面部圖像中的頸部的模型。
下面參照圖30來討論圖25的耳朵模型適應(yīng)器263的處理。
耳朵模型適應(yīng)器263基于來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的眼睛的詳細(xì)特征點(diǎn)，確定顯示在規(guī)范化面部圖像中的面部的眼睛的中心。耳朵模型適應(yīng)器263確定顯示在規(guī)范化面部圖像中的面部中的鼻子的鼻孔。耳朵模型適應(yīng)器263從顯示在規(guī)范化面部圖像中的面部的輪廓中確定面部的最大寬度。面部的輪廓是通過將來自詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)當(dāng)中的下頦詳細(xì)特征點(diǎn)連接起來而獲得的。
如圖30所示，耳朵模型適應(yīng)器263確定耳朵可以存在的含耳區(qū)域(在下文中稱為候選含耳區(qū)域)。候選含耳區(qū)域是由眼睛中心與鼻孔之間的垂直長度，以及與面部水平寬度整數(shù)倍相等的水平長度限定的矩形。
耳朵模型適應(yīng)器263從面部外側(cè)開始向左或向右水平掃描候選含耳區(qū)域，直到面部輪廓，以讀取規(guī)范化面部圖像的像素值。從而，耳朵模型適應(yīng)器263檢測肉色的像素值。
耳朵模型適應(yīng)器263確定從首個檢測到的肉色像素值開始到顯示在規(guī)范化面部圖像中的面部的輪廓的水平距離。如果該距離高于預(yù)定距離，則耳朵模型適應(yīng)器263確定向著面部輪廓存在耳朵，然后掃描規(guī)范化面部圖像的像素直到面部輪廓。耳朵模型適應(yīng)器263檢測具有肉色像素值的像素作為表示耳朵的像素。耳朵模型適應(yīng)器263對矩形候選含耳區(qū)域的每一行執(zhí)行以上處理。從而檢測出包含顯示耳朵的像素的耳朵區(qū)域。
在檢測耳朵區(qū)域之后，耳朵模型適應(yīng)器263使來自標(biāo)準(zhǔn)3D模型存儲器251的耳朵模型適應(yīng)于耳朵區(qū)域。更具體而言，耳朵模型適應(yīng)器263對耳朵模型進(jìn)行適配，以使得耳朵模型中的每個點(diǎn)適配于耳朵區(qū)域中各自的點(diǎn)。
耳朵模型適應(yīng)器263將適應(yīng)于耳朵區(qū)域的耳朵模型提供給圖25的合成器265，作為適應(yīng)于顯示在規(guī)范化面部圖像中的耳朵的耳朵模型。
下面參照圖31至圖37來描述圖25的擴(kuò)展器264的處理。
擴(kuò)展器264沿作為深度方向的Z方向擴(kuò)展從圖25的面部模型適應(yīng)器261提供的面部模型的側(cè)面部分。
圖31示意性地圖示了面部模型適應(yīng)器261所獲得的面部模型。在圖31中，z軸對準(zhǔn)水平方向。
由于面部圖像是正面拍攝的圖像，因此人的面部僅在從前面觀察的覆蓋范圍內(nèi)被拍攝。面部圖像和規(guī)范化面部圖像中都不包含任何未出現(xiàn)在前視圖中的部分。換言之，不包含面部的側(cè)面部分以及面部的頭頂部分。
如圖31所示，面部的側(cè)面部分和頭頂部分，即面部的深度部分，在適應(yīng)于規(guī)范化面部圖像的面部模型中看起來位于邊緣。
如圖31所示，在面部模型最前端的點(diǎn)處的Z值(z坐標(biāo))是0，并且Z值z1、z2和z3具有0＜z1＜z2＜z3的關(guān)系。該面部模型所具有的深度部分到達(dá)z2。Z值越大，面部圖像的深度部分就越多。
為了給面部模型以適度的深度，擴(kuò)展器264根據(jù)非線性函數(shù)來變換面部模型的Z值(z坐標(biāo))，以便以非線性方式沿Z方向擴(kuò)展面部模型。面部模型的側(cè)面部分沿Z方向擴(kuò)展。
圖32示出了擴(kuò)展器264用來變換面部模型的Z值的函數(shù)。在下文中將該函數(shù)稱為Z值變換函數(shù)。
如圖32所示，橫坐標(biāo)表示作為面部模型原始Z值的zin，其作為Z值變換函數(shù)的參數(shù)，而縱坐標(biāo)表示作為Z值變換函數(shù)變換之后的Z值的zout。
根據(jù)圖32的Z值變換函數(shù)，所具有的值大于等于0且小于等于z1的zin被變換成具有相同值的zout，并且所具有的值大于z1的zin被變換成大于zin的zout。例如，例如，大于z1且小于等于z2的zin被變換成大于z1且小于等于z3但仍大于zin的zout。
根據(jù)圖32的Z值變換函數(shù)，如圖33所示，沿Z方向(向后更深)擴(kuò)展了圖31的面部模型。
以與圖31中類似的方式，圖33示出了通過根據(jù)圖32的Z值變換函數(shù)沿Z方向擴(kuò)展圖31的面部模型而獲得的面部模型。
根據(jù)圖32的Z值變換函數(shù)，變換了圖31的面部模型的Z值。例如，大于等于0但小于等于z1的Z值被變換成相同的Z值，并且高于z1的Z值被變換成大于所輸入的Z值的Z值。
在圖31的面部模型中，大于z1且小于等于z2的Z值被變換成大于z1且小于等于z3但仍大于所輸入的Z值的Z值。結(jié)果，圖31的Z值原始取值范圍從0到z2的面部模型的Z值被變換成了圖33的其Z值取值范圍從0到z3的面部模型。
圖34A～34C和圖35A～35D示意性地圖示了從上方觀察的在面部圖像中拍攝的人(物體)，以及從面部圖像生成的面部模型。
如圖34A和35A中所示，面部是正面拍攝的，面部圖像僅覆蓋從前面觀察的面部部分。面部圖像和從面部圖像得到的規(guī)范化面部圖像都未示出任何無法從前面觀察到的部分，例如面部的側(cè)面部分和頭頂部分。
如圖34B和圖35B所示，適應(yīng)于規(guī)范化面部圖像的面部模型具有邊緣的面部側(cè)面部分，或者邊緣的面部深度部分。
現(xiàn)在基于這種面部模型來生成面部的CG動畫。如果如圖34C所示順時針或逆時針稍微轉(zhuǎn)動面部，則側(cè)面部分，即面部的不存在的部分，看起來朝前，從而破壞了CG動畫。
如圖35C所示，最初不具有大的深度區(qū)域的面部側(cè)面部分被沿Z方向擴(kuò)展，以形成具有深度部分的面部模型。基于這種面部模型來生成面部的CG動畫。即使如圖35D所示順時針或逆時針稍微轉(zhuǎn)動面部，擴(kuò)展了的側(cè)面部分也防止了CG動畫被破壞。
圖36示出了基于側(cè)面部分未沿Z方向擴(kuò)展的面部模型而生成，并被向左順時針稍微轉(zhuǎn)動了的面部CG動畫。
圖37示出了基于側(cè)面部分沿Z方向擴(kuò)展的面部模型而生成，并被向左順時針稍微轉(zhuǎn)動了的面部CG動畫。
如圖36所示，順時針轉(zhuǎn)動不自然地破壞了面部，這是因為不存在面部模型的側(cè)面部分。相反，如圖37所示，顯示了自然而真實的向左看的面部的CG動畫，這是因為存在面部的側(cè)面部分。
用來變換面部模型Z值的Z值變換函數(shù)不局限于圖32所示的函數(shù)。根據(jù)本實施例，Z值變換函數(shù)是非線性函數(shù)?；蛘?，Z值變換函數(shù)可以是線性函數(shù)。如圖32所示，Z值變換函數(shù)優(yōu)選地在Z值小時將其變換成與輸入的Z值等值的Z值，在Z值大時將其變換成大于輸入的Z值的Z值。更具體而言，面部模型中朝前的點(diǎn)保持位置不變，并且面部模型中深的點(diǎn)被移動到更深的位置。
下面參照圖38至圖40來描述圖25的合成器265的處理。
合成器265將從頸部模型適應(yīng)器262提供的頸部模型和從耳朵模型適應(yīng)器263提供的耳朵模型的比面部模型更靠前的一部分與從擴(kuò)展器264提供的面部模型合成起來。
圖38示意性地圖示了比面部模型更靠前的頸部模型部分與面部模型的合成。
如圖38所示，Z方向水平對準(zhǔn)，即與圖38的紙面平行，其中左手側(cè)是面部的前面，右手側(cè)是面部的深度一側(cè)。
合成器265將頸部模型每個點(diǎn)處的Z值與面部模型中與頸部模型中該點(diǎn)具有相同坐標(biāo)(x，y)的相應(yīng)點(diǎn)處的Z值相比較。如果頸部模型中該點(diǎn)的Z值小于面部模型中相應(yīng)點(diǎn)處的Z值，換言之，如果頸部模型中的該點(diǎn)的位置比面部模型中的相應(yīng)點(diǎn)更靠前，如圖38中帶箭頭的線a1所示(面部模型不比頸部模型更靠前)，則將頸部模型的該點(diǎn)與面部模型合成。
如果頸部模型中該點(diǎn)的Z值大于面部模型中相應(yīng)點(diǎn)處的Z值，換言之如果頸部模型中的該點(diǎn)的位置比面部模型中的相應(yīng)點(diǎn)靠后更深(相應(yīng)點(diǎn)位于Z方向上的相同位置)，如帶箭頭的線a2所示，則頸部模型不與面部模型合成。
類似地，合成器265將耳朵模型中位置比面部模型更靠前的一部分與面部模型合成起來。
當(dāng)利用數(shù)碼相機(jī)等拍攝作為物體的人時，所產(chǎn)生的照片中的頸部、耳朵等的圖像根據(jù)個人特點(diǎn)(包括發(fā)型、體格、姿勢)，甚至相機(jī)角度的微小變化，而有較大不同。僅僅使標(biāo)準(zhǔn)面部模型適應(yīng)于顯示在規(guī)范化面部圖像中的面部可能會得到具有不自然的頸部和耳朵的面部模型，并可能從而產(chǎn)生大體上不自然的面部模型。
圖25的面部模型處理器252通過與面部的面部模型(沒有3D耳朵和頸部的面部模型)獨(dú)立地將頸部模型和耳朵模型與面部模型合成起來，產(chǎn)生自然的面部模型。
圖39是通過使標(biāo)準(zhǔn)面部模型適應(yīng)于顯示在規(guī)范化面部圖像中的面部而獲得的面部模型的左側(cè)視圖。圖40是通過將頸部模型和耳朵模型與圖39的面部模型合成而獲得的面部模型的左側(cè)視圖。
如圖39所示，左耳不自然地變形了，并且頸部幾乎不存在。圖40示出了大體上自然的面部模型，其具有看起來自然的耳朵和頸部。
下面參照圖41A至圖46來描述圖25的頭發(fā)模型處理器253的處理。
頭發(fā)通常位于面部輪廓外部和內(nèi)部的區(qū)域中。發(fā)型在每個人之間有很大不同。頭發(fā)模型處理器253獨(dú)立于面部模型地生成具有3D形狀的頭發(fā)模型。從而，頭發(fā)模型處理器253產(chǎn)生如下的面部模型，其頭發(fā)具有與顯示在規(guī)范化面部圖像中的人的頭發(fā)相同的發(fā)型和紋理。
頭發(fā)模型處理器253中的圖25的適配單元271基于來自圖2的詳細(xì)特征點(diǎn)抽取器135的詳細(xì)特征點(diǎn)，識別出顯示在規(guī)范化面部圖像中的面部輪廓。響應(yīng)于該面部輪廓，適配單元271在來自圖2的規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中，設(shè)定包圍在頭發(fā)區(qū)域輪廓中的含發(fā)區(qū)域。
頭發(fā)區(qū)域輪廓包圍著預(yù)期存在頭發(fā)的區(qū)域。
適配單元271使存儲在標(biāo)準(zhǔn)3D模型存儲器251中的頭發(fā)模型(在下文中稱為標(biāo)準(zhǔn)頭發(fā)模型)適配于規(guī)范化面部圖像中的含發(fā)區(qū)域。
在含發(fā)區(qū)域中建立至少一個用于適配的適配點(diǎn)，在標(biāo)準(zhǔn)頭發(fā)模型中建立與該適配點(diǎn)相對應(yīng)的匹配點(diǎn)。適配單元271對標(biāo)準(zhǔn)頭發(fā)模型執(zhí)行適配處理，以使得規(guī)范化面部圖像的含發(fā)區(qū)域中的適配點(diǎn)與標(biāo)準(zhǔn)頭發(fā)模型中的匹配點(diǎn)一致。
圖41A和圖41B示出了通過使標(biāo)準(zhǔn)頭發(fā)模型適配于規(guī)范化面部圖像中的含發(fā)區(qū)域而獲得的頭發(fā)模型。
圖41A是該頭發(fā)模型的前視圖，圖41B是該頭發(fā)模型的左側(cè)視圖。
如圖41A和圖41B所示，具有3D形狀的頭發(fā)模型覆蓋了面部的前上方部分，從頭頂向下到前額，以及到面部的側(cè)面部分。
如圖41A和圖41B所示，適配單元271使頭發(fā)模型適配于規(guī)范化面部圖像，并將適配的頭發(fā)模型提供給圖25的Z值修改器273。
圖25的頭發(fā)模型處理器253中的非頭發(fā)部分檢測器272從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中檢測非暗區(qū)域和肉色區(qū)域，作為非頭發(fā)部分，并將非頭發(fā)部分的信息提供給Z值修改器273。
Z值修改器273從提供自非頭發(fā)部分檢測器272的信息中識別出規(guī)范化面部圖像中的非頭發(fā)部分，并修改來自適配單元271中的頭發(fā)模型中與非頭發(fā)部分適配的Z值。換言之，Z值修改器273修改頭發(fā)模型的Z值，以使得當(dāng)頭發(fā)模型與通過圖25的面部模型處理器252獲得的面部模型合成時，頭發(fā)模型的與非頭發(fā)部分適配的部分的位置比面部模型靠前。更具體而言，Z值修改器273將頭發(fā)模型中與非頭發(fā)部分適配的部分的Z值修改成極大的數(shù)，例如修改成無窮大。
圖41A和圖41B的頭發(fā)模型變?yōu)槿鐖D42A和圖42B所示的頭發(fā)模型。
圖42A和圖42B示出了通過修改圖41A和圖41B的頭發(fā)模型的與非頭發(fā)部分適配的部分的Z值而獲得的頭發(fā)模型。
與圖41A和圖41B所示的一樣，圖42A是該頭發(fā)模型的前視圖，圖42B是該頭發(fā)模型的左側(cè)視圖。
如圖42A和圖42B所示，所產(chǎn)生的頭發(fā)模型所具有的發(fā)型和紋理與顯示在規(guī)范化面部圖像中的人的發(fā)型和紋理相同。
圖43示出了利用來自規(guī)范化面部圖像的未與頭發(fā)模型合成的面部模型來生成的CG。圖44示出了利用與面部模型合成的頭發(fā)模型來生成的CG。圖45示出了從另一幅規(guī)范化面部圖像產(chǎn)生的利用未與頭發(fā)模型合成的面部模型來生成的CG。圖46示出了利用與圖45的面部模型合成了的頭發(fā)模型來生成的CG。
如圖43和圖45所示，在未利用頭發(fā)模型生成的CG中，頭發(fā)不自然地粘在面部的表面上。相反，如圖44和圖46所示，在利用頭發(fā)模型生成的CG中，頭發(fā)具有自然的紋理。
下面參照圖47的流程圖來描述在圖3的步驟S105中，由圖2的面部模型生成器136執(zhí)行的面部模型生成處理。
在步驟S251中，面部模型生成器136中的圖25的面部模型處理器252中的面部模型適應(yīng)器261基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，使存儲在標(biāo)準(zhǔn)3D模型存儲器251中的標(biāo)準(zhǔn)面部模型適應(yīng)于存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中所顯示的面部。從而，面部模型適應(yīng)器261生成面部模型作為顯示在規(guī)范化面部圖像中的面部的3D模型，并將該面部模型提供給擴(kuò)展器264。處理進(jìn)行到步驟S252。
在步驟S252中，擴(kuò)展器264擴(kuò)展從面部模型適應(yīng)器261提供的面部模型的側(cè)面部分，并將所產(chǎn)生的面部模型提供給合成器265。處理進(jìn)行到步驟S253。
在步驟S253中，頸部模型適應(yīng)器262基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，使存儲在標(biāo)準(zhǔn)3D模型存儲器251中的頸部模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的頸部。從而，面部模型處理器252生成頸部模型作為顯示在規(guī)范化面部圖像中的頸部的3D模型，并將所產(chǎn)生的頸部模型提供給合成器265。處理進(jìn)行到步驟S254。
在步驟S254中，耳朵模型適應(yīng)器263基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，使存儲在標(biāo)準(zhǔn)3D模型存儲器251中的耳朵模型適應(yīng)于顯示在來自規(guī)范化面部圖像存儲器133的規(guī)范化面部圖像中的左耳和右耳。耳朵模型適應(yīng)器263生成耳朵模型作為顯示在規(guī)范化面部圖像中的耳朵的3D模型，并將所產(chǎn)生的耳朵模型提供給合成器265。處理進(jìn)行到步驟S255。
在步驟S255中，合成器265將從頸部模型適應(yīng)器262提供的頸部模型和從耳朵模型適應(yīng)器263提供的耳朵模型中位置比面部模型更靠前的部分與從擴(kuò)展器264提供的面部模型合成起來。然后，合成器265將合成的面部模型提供給合成器254。處理返回。
下面參照圖48的流程圖來描述在步驟S106中由圖2的面部模型生成器136執(zhí)行的生成頭發(fā)模型的面部模型合成處理。
在步驟S271中，面部模型生成器136中的圖25的頭發(fā)模型處理器253中的適配單元271基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，在存儲于圖2的規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中設(shè)定含發(fā)區(qū)域。從而，適配單元271識別出頭發(fā)區(qū)域輪廓所包圍的含發(fā)區(qū)域。處理進(jìn)行到步驟S272。
在步驟S272中，適配單元271使存儲在標(biāo)準(zhǔn)3D模型存儲器251中的標(biāo)準(zhǔn)頭發(fā)模型適配于規(guī)范化面部圖像中的含發(fā)區(qū)域，并將適配的頭發(fā)模型提供給Z值修改器273。處理進(jìn)行到步驟S273。
在步驟S273中，非頭發(fā)部分檢測器272從存儲在規(guī)范化面部圖像存儲器133中的規(guī)范化面部圖像中檢測非頭發(fā)部分，并將關(guān)于非頭發(fā)部分的信息提供給Z值修改器273。處理進(jìn)行到步驟S274。
在步驟S274中，Z值修改器273從提供自非頭發(fā)部分檢測器272的信息中識別出規(guī)范化面部圖像中的非頭發(fā)部分。Z值修改器273檢測從適配單元271提供的頭發(fā)模型的與非頭發(fā)部分適配的部分，并修改與非頭發(fā)部分適配的部分的Z值。Z值修改器273將修改了Z值的頭發(fā)模型提供給濾波器274。處理從步驟S274進(jìn)行到步驟S275。
在步驟S275中，濾波器274對來自Z值修改器273的頭發(fā)模型的Z值進(jìn)行低通濾波。經(jīng)過Z值低通濾波，頭發(fā)模型在Z方向上的急劇變化變得較平滑，并且頭發(fā)模型具有了更自然的頭發(fā)。濾波器274將對Z值進(jìn)行了低通濾波的頭發(fā)模型提供給合成器254。處理進(jìn)行到步驟S276。
在步驟S276中，面部模型生成器136中的圖25的合成器254將從頭發(fā)模型處理器253中的濾波器274提供的、比面部模型位置更靠前的頭發(fā)模型的部分，與從面部模型處理器252中的合成器265提供的面部模型合成起來。然后處理返回。
如前面參照圖3的步驟S107所述，面部模型生成器136中的合成器254基于從詳細(xì)特征點(diǎn)抽取器135提供的詳細(xì)特征點(diǎn)，將眼睛模型和牙齒模型嵌入到已合成了頭發(fā)模型的面部模型當(dāng)中。合成器254將所產(chǎn)生的面部模型作為最終面部模型提供給圖2的面部模型存儲器137來存儲。
嵌入面部模型中的眼睛模型的眼白中的像素值被校正到與顯示在規(guī)范化面部圖像中的面部中的眼睛的眼白的像素值相同，以使得其中嵌入了眼睛模型的面部模型不會看起來不自然。
如前面參照圖3的步驟S108所述，當(dāng)面部模型被存儲在面部模型存儲器137中時，圖2的動畫處理器138基于存儲在面部模型存儲器137中的面部模型，生成CG動畫的數(shù)據(jù)，在所述CG動畫中，面部的區(qū)域響應(yīng)于操作單元139的操作而移動。然后，面部模型存儲器137將CG動畫數(shù)據(jù)提供給顯示器140。顯示器140顯示存儲單元131中所存儲的面部圖像中所顯示的面部的CG動畫，其響應(yīng)于操作單元139的操作而移動。
圖49～圖53示出了顯示在顯示器140中的CG動畫。
圖49示出了處于與原始面部圖像(即用來生成CG動畫的面部模型和面部圖像)相同狀態(tài)的CG動畫。
圖50示出了眼瞼合上的CG動畫，圖51示出了嘴張開的CG動畫。圖52示出了面部(頸部)轉(zhuǎn)向左側(cè)且瞳孔向左看的CG動畫。
圖49至圖52顯示出實現(xiàn)了逼真的CG動畫。
眼睛的眨動是基于眼睛的詳細(xì)特征點(diǎn)來執(zhí)行的。嘴的張開和閉合是基于嘴的詳細(xì)特征點(diǎn)來執(zhí)行的。面部的轉(zhuǎn)向是基于面部和頸部分開的詳細(xì)特征點(diǎn)來執(zhí)行的。
圖2的圖像處理裝置容易地生成非常逼真的CG動畫。
CG動畫可以從單幀面部圖像產(chǎn)生。CG動畫可以從人的照片生成，所述的人可以是當(dāng)前難以拍攝的人，例如演員或歷史人物?？梢援a(chǎn)生這個人的視頻。
用戶可以操作鼠標(biāo)以在面部CG動畫的屏幕中點(diǎn)擊任意點(diǎn)，以使面部CG動畫中的視線和頸部向點(diǎn)擊點(diǎn)的方向看。
響應(yīng)于用戶對多個按鈕中任意按鈕的操作，面部表情(例如眼睛和嘴的張開程度，以及視線方向)可以變化，或者面部CG動畫中的頸部(面部)可以轉(zhuǎn)向。
面部的CG動畫可以響應(yīng)于檢測用戶手勢的傳感器的信號而移動。
照相機(jī)對用戶面部進(jìn)行拍攝以檢測面部特征點(diǎn)的移動，并且面部的CG動畫可以以與用戶特征點(diǎn)的移動類似的方式移動。
可以向面部的CG動畫添加多種裝飾和處理。例如，面部的CG動畫具有任意背景。可以在CG動畫上放置帽子、冠冕或頭飾?？梢栽贑G動畫上放置項鏈、耳環(huán)和穿孔飾品之一。CG動畫可以戴眼鏡，例如一般的眼鏡和彩色隱形眼鏡。CG動畫可以在面部涂上油彩?？梢栽贑G動畫上詼諧地設(shè)置汗、血管和表示面容蒼白狀態(tài)的符號。預(yù)先準(zhǔn)備多種發(fā)型，并使用這些發(fā)型中的任一種來產(chǎn)生CG動畫。諸如蝴蝶和蜜蜂之類的昆蟲的CG動畫可以與面部的CG動畫一起顯示。面部可以跟蹤昆蟲的移動，甚至可以吃掉昆蟲。
根據(jù)上述本發(fā)明的實施例，圖1的通用計算機(jī)執(zhí)行建模處理，以生成面部模型，然后執(zhí)行動畫處理以生成逼真的CG動畫。建模處理和動畫處理可以由除計算機(jī)外的任意裝置來執(zhí)行。
攝制圖像的攝像設(shè)備和顯示該圖像的顯示器，例如蜂窩電話、數(shù)碼相機(jī)、可視電話，捕獲面部圖像，對面部圖像執(zhí)行建模處理，對建模處理中所獲得的面部模型執(zhí)行動畫處理，然后顯示動畫處理中所獲得的CG動畫。
如果諸如可視電話之類的具有通信功能的裝置執(zhí)行建模處理和動畫處理，則該裝置顯示在動畫處理中獲得的CG動畫，而非通信對方的實際圖像，以執(zhí)行所謂的角色通信(character communication)。
可以低成本地傳送大量信息。更具體而言，當(dāng)在可視電話中顯示實際用戶的圖像時，用戶的圖像需要以較短的間隔傳送到對方裝置。在CG動畫的情況下，一旦傳送了CG動畫的數(shù)據(jù)，則僅傳送移動CG動畫所需的數(shù)據(jù)就足夠了。無須傳送用戶的當(dāng)前圖像，電話的對方就可以得知用戶的存在。無須傳送用戶當(dāng)前圖像的用戶保持了私密性，尤其是在用戶不想讓通信對方看見當(dāng)前用戶自身圖像的時候。CG動畫逼真到足以在其中反映用戶自身的表情。人們通常迅速地得知面部表情所表達(dá)的東西。用戶可以將具有某一面部表情的CG動畫傳送到通信對方，從而將用戶所希望的信息有效且高效地傳達(dá)到通信對方。利用添加到CG動畫上的面部表情，執(zhí)行引人注意的通信。
上述的逼真面部動畫可以應(yīng)用于蜂窩電話中帶動畫的呼叫信號和帶動畫的待機(jī)屏幕。蜂窩電話在接收到呼叫時顯示CG動畫，觸發(fā)歌曲，并使CG動畫看起來像是在唱歌。蜂窩電話將持有者面部的面部模型傳送到通信對方的蜂窩電話，并在對方的蜂窩電話上基于該面部模型生成CG動畫和顯示CG動畫。
面部的CG動畫還可用在游戲中。例如，在角色扮演游戲中，具有用戶面部的CG動畫可被用作主人公的CG。在動作游戲、競賽游戲和格斗游戲中，具有用戶面部的CG動畫用于用戶所操作的人物的CG。
在這種情況下，用戶可以對游戲中的角色有更多的感受，并更享受游戲。
建模處理中抽取詳細(xì)特征點(diǎn)的處理被用來基于詳細(xì)特征點(diǎn)控制游戲的進(jìn)度和人物的移動。例如，可以從照相機(jī)所拍攝的面部圖像中抽取用戶面部的詳細(xì)特征點(diǎn)，并響應(yīng)于特征點(diǎn)來控制游戲進(jìn)度和面部CG動畫的移動。
響應(yīng)于從通過利用照相機(jī)拍攝用戶面部而獲得的面部圖像中抽取的詳細(xì)特征點(diǎn)來控制游戲過程。在該游戲過程中，用戶試著進(jìn)行面部表情的改變，并運(yùn)動面部的肌肉，從而獲得豐富的面部表情，并導(dǎo)致面部肌肉的復(fù)原。
建模處理和動畫處理(包括用于響應(yīng)于來自按鈕或其他輸入設(shè)備的操作輸入而移動CG動畫的互動處理)可以被提供在用于開發(fā)程序的開發(fā)中間件以及其他應(yīng)用軟件程序中。更具體而言，用于執(zhí)行建模處理和動畫處理的程序可以被提供作為用在應(yīng)用程序開發(fā)中的應(yīng)用程序接口(API)。例如，利用API，容易執(zhí)行以下處理，包括從用相機(jī)拍攝的面部圖像生成面部模型、從面部模型生成CG動畫、將面部表情附加到CG動畫上，以及控制CG動畫的移動。
面部的CG動畫可以用作TV新聞節(jié)目中的虛擬新聞播音員。例如，可以使用文本語音合成來編輯新聞節(jié)目，而無需實際播出新聞的廣播員。
面部的CG動畫可以用作網(wǎng)站、裝置和應(yīng)用程序中提供多種服務(wù)的代理(agent)。更具體而言，面部CG動畫用作在公司網(wǎng)站中作為接待員而工作的代理。面部CG動畫可以用作對網(wǎng)站內(nèi)容進(jìn)行導(dǎo)游的代理、在線購物網(wǎng)站中介紹商業(yè)產(chǎn)品的代理，以及在個人網(wǎng)頁中介紹個人的代理。面部CG動畫可以用作顯示和呈現(xiàn)具有顯示功能的裝置的功能的代理。安裝在計算機(jī)中的面部CG動畫用作在該計算機(jī)中運(yùn)行的應(yīng)用程序中提供幫助響應(yīng)的代理。
用戶所熟悉的人(包括祖父、祖母、孫子、名人等等)的CG動畫可被建立成代理。從而建立了使生活更愉快的熟悉的界面。
面部CG動畫可以用作在虛擬空間中表示用戶個性的化身。如果在虛擬空間中可以使用聊天功能，則作為化身的CG動畫可以顯示在聊天對方的裝置上以用于談話。
預(yù)先準(zhǔn)備多種發(fā)型。使用這些發(fā)型中的任一種來生成并顯示CG動畫。例如，在美容院中實際理發(fā)之前，可以檢查理發(fā)后期望的發(fā)型。
通過從預(yù)先準(zhǔn)備的多種CG眼鏡中選擇CG眼鏡，并將所選擇的CG添加到面部CG動畫上，用戶可以在實際戴上眼鏡之前檢查用戶自己戴著眼鏡的面部。
當(dāng)通用計算機(jī)捕獲數(shù)碼相機(jī)所拍攝的面部圖像，并從該面部圖像生成CG動畫時，可以產(chǎn)生CG動畫的相冊。例如，在計算機(jī)中存儲了多種故事的模板(故事模板)。用戶自身的面部圖像或朋友的圖像被粘到故事模板上。從而立即產(chǎn)生了短的CG動畫文件。一家人的面部圖像可以被粘到故事模板上，以制作CG動畫家庭劇。
CG動畫可以與動物、昆蟲、非生物等的另一圖像合成起來，以產(chǎn)生視頻。
根據(jù)本發(fā)明的實施例，從人的面部生成3D模型，并進(jìn)一步從3D模型生成CG動畫。3D模型的生成和CG動畫的生成可以對動物面部和具他物體執(zhí)行。
根據(jù)本發(fā)明的實施例，從一幀面部圖像生成面部模型。面部模型可以從多幀圖像生成。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在所附權(quán)利要求及其等同物的范圍內(nèi)，根據(jù)設(shè)計需求和其他因素，可以進(jìn)行多種修改、組合、子組合和變更。
本發(fā)明包含與2004年12月8日遞交日本專利局的日本專利申請JP2004-354946有關(guān)的主題，該申請的全部內(nèi)容通過引用合并于此。
權(quán)利要求
1.一種用于從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理裝置，所述圖像處理裝置包括三維模型生成裝置，用于從所述圖像生成顯示在所述圖像中的所述物體的三維模型；以及擴(kuò)展裝置，用于在作為深度方向的Z方向上擴(kuò)展由所述三維模型生成裝置生成的所述三維模型的側(cè)面區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述擴(kuò)展裝置通過在所述Z方向上非線性地擴(kuò)展所述三維模型，來在所述Z方向上擴(kuò)展所述三維模型的側(cè)面區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述三維模型生成裝置從單幀圖像生成所述三維模型。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像表示面部，并且其中，所述三維模型生成裝置生成面部模型，作為由所述圖像表示的面部的三維模型。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括適配裝置，用于使預(yù)先準(zhǔn)備的頭發(fā)模型適配于所述圖像；非頭發(fā)部分檢測裝置，用于從所述圖像中檢測不具有頭發(fā)的非頭發(fā)部分；Z值修改裝置，用于修改在所述Z方向上表示被適配于所述圖像的頭發(fā)模型中被適配于所述非頭發(fā)部分的區(qū)域的位置的Z值；以及合成裝置，用于將被所述Z值修改裝置修改了Z值的頭發(fā)模型與面部模型合成。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，還包括濾波裝置，用于對被所述Z值修改裝置修改了Z值的頭發(fā)模型的Z值進(jìn)行低通濾波。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述Z值修改裝置修改所述Z值，使得如果所述頭發(fā)模型和所述面部模型被彼此合成，則所述頭發(fā)模型的被適配于所述非頭發(fā)部分的區(qū)域位于所述面部模型之后。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括第一適應(yīng)裝置，用于使面部預(yù)定區(qū)域的模板的位置和尺寸適應(yīng)于顯示在所述圖像中的面部；以及第二適應(yīng)裝置，用于通過在所述預(yù)定區(qū)域的形狀范圍內(nèi)改變位置和尺寸被適應(yīng)于顯示在所述圖像中的面部的模板的形狀，使所述模板的形狀適應(yīng)于顯示在所述圖像中的面部，其中基于至少一個參數(shù)來修改限定所述模板形狀的多個參數(shù)，所述至少一個參數(shù)的數(shù)目小于所述多個參數(shù)的數(shù)目，并且其中，所述三維模型生成裝置基于從其位置、尺寸和形狀被適應(yīng)于顯示在所述圖像中的面部的模板獲得的面部的特征點(diǎn)，生成顯示在所述圖像中的面部的面部模型。
9.一種從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理方法，所述圖像處理方法包括以下步驟從所述圖像生成顯示在所述圖像中的所述物體的三維模型；以及在作為深度方向的Z方向上擴(kuò)展在所述三維模型生成步驟中生成的所述三維模型的側(cè)面區(qū)域。
10.一種從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理裝置，所述圖像處理裝置包括三維模型生成器，所述三維模型生成器從所述圖像生成顯示在所述圖像中的所述物體的三維模型；以及擴(kuò)展器，所述擴(kuò)展器在作為深度方向的Z方向上擴(kuò)展由所述三維模型生成器生成的所述三維模型的側(cè)面部分。
全文摘要
本發(fā)明提供一種用于處理圖像的方法、裝置和計算機(jī)程序。用于從顯示三維物體的二維圖像生成該物體的三維模型的圖像處理裝置包括三維模型生成器，用于從圖像生成顯示在圖像中的物體的三維模型；以及擴(kuò)展器，用于在作為深度方向的Z方向上擴(kuò)展由三維模型生成器生成的三維模型的側(cè)面區(qū)域。
文檔編號G06T17/00GK101055646SQ20071009772
公開日2007年10月17日 申請日期2005年12月8日 優(yōu)先權(quán)日2004年12月8日
發(fā)明者佐佐木大地, 渡邊修, 中橋英通, 川村亮 申請人:索尼株式會社