專利名稱：具有制作三維模型的功能的圖像處理裝置及方法
技術(shù)領(lǐng)域：
關(guān)于本申請(qǐng)，主張以在2011年2月I日提出申請(qǐng)的日本國(guó)專利特愿2011-019709為基礎(chǔ)的優(yōu)先權(quán)，將該基礎(chǔ)申請(qǐng)的內(nèi)容全部引用于本申請(qǐng)。本發(fā)明涉及制作被攝體的三維模型的技術(shù)。
背景技術(shù)：
已知根據(jù)從不同的方向?qū)Ρ粩z體進(jìn)行拍攝而得到的多個(gè)圖像來(lái)制作三維模型的技術(shù)。例如，在日本國(guó)專利特開2002-290964號(hào)公報(bào)中，對(duì)于如下 數(shù)字鏡像裝置進(jìn)行了記載通過(guò)設(shè)置在監(jiān)視器畫面的兩側(cè)的照相機(jī)來(lái)對(duì)利用者進(jìn)行拍攝，根據(jù)拍攝到的圖像來(lái)制作利用者的三維模型，然后，基于利用者的三維模型，來(lái)將利用者的三維圖像顯示在監(jiān)視器畫面上。為了制作三維模型，需要⑴從各圖像內(nèi)檢測(cè)多個(gè)特征點(diǎn)，⑵針對(duì)各特征點(diǎn)執(zhí)行立體匹配(stereo matching), (3)將匹配后的各特征點(diǎn)進(jìn)行多邊形化等處理。因?yàn)橹谱魅S模型需要大量時(shí)間，所以在將利用者的三維圖像顯示在監(jiān)視器畫面中的情況下，在三維圖像的顯示中產(chǎn)生了延遲。

發(fā)明內(nèi)容
本發(fā)明的第I觀點(diǎn)所涉及的圖像處理裝置，具備圖像取得單元，其連續(xù)地取得從不同的位置對(duì)被攝體進(jìn)行拍攝而得到的圖像的組；三維模型制作單元，其根據(jù)從所述圖像取得單元所連續(xù)地取得的圖像的組中選擇的一組圖像來(lái)制作所述被攝體的三維模型；特征點(diǎn)檢測(cè)單元,其從所述一組圖像中檢測(cè)特征點(diǎn)；位置變化取得單元，其取得所述圖像取得單元所取得的最新圖像中的、所述特征點(diǎn)檢測(cè)單元所檢測(cè)出的特征點(diǎn)的位置的變化；變換參數(shù)計(jì)算單元，其基于所述位置變化取得單元所取得的特征點(diǎn)的位置的變化，來(lái)計(jì)算用于將所述三維模型制作單元所制作的三維模型變換為與所述最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)；重建單元，其基于所述變換參數(shù)計(jì)算單元所算出的變換參數(shù)，對(duì)所述三維模型制作單元所制作的三維模型進(jìn)行重建；渲染單元，其制作對(duì)所述重建單元所重建后的三維模型粘貼了所述最新圖像中的所述被攝體的圖像作為紋理的三維模型；和顯示單元，其將所述渲染單元所制作的三維模型顯示在顯示裝置中。本發(fā)明的第2觀點(diǎn)所涉及的圖像處理方法，是使三維模型顯示于顯示裝置中的圖像處理裝置的圖像處理方法，
所述圖像處理方法包含如下步驟圖像取得步驟，連續(xù)地取得從不同的位置對(duì)被攝體進(jìn)行拍攝而得到的圖像的組；三維模型制作步驟，根據(jù)從所連續(xù)地取得的所述圖像的組中選擇的一組圖像來(lái)制作所述被攝體的三維模型；特征點(diǎn)檢測(cè)步驟，從所述一組圖像中檢測(cè)特征點(diǎn)；位置變化取得步驟，取得所連續(xù)地取得的圖像的組中的最新圖像中的、所檢測(cè)出的所述特征點(diǎn)的位置的變化；變換參數(shù)計(jì)算步驟，基于所取得的所述特征點(diǎn)的位置的變化，來(lái)計(jì)算用于將所制作的所述三維模型變換為與所述最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)；重建步驟，基于所算出的所述變換參數(shù)來(lái)對(duì)所制作的所述三維模型進(jìn)行重建； 渲染步驟，制作對(duì)所重建后的所述三維模型粘貼了所述最新圖像中的所述被攝體的圖像作為紋理的三維模型；顯示步驟，使所制作的所述三維模型顯示于所述顯示裝置。


以下的詳細(xì)記述若與以下的附圖結(jié)合起來(lái)考慮，則能夠得到本申請(qǐng)的更深的理解。圖I是表示顯示系統(tǒng)的構(gòu)成的圖。圖2是表示圖像處理裝置的構(gòu)成的框圖。圖3是用于說(shuō)明建模處理的流程圖。圖4是用于說(shuō)明特征點(diǎn)檢測(cè)處理的流程圖。圖5是用于說(shuō)明方向變更處理的流程圖。圖6是用于說(shuō)明顯示控制處理的流程圖。圖7A 圖71是表示用圖像處理裝置實(shí)施的處理內(nèi)容和數(shù)據(jù)的時(shí)間變化的圖。圖8A、圖8B是表示在I個(gè)畫面中顯示多個(gè)狀態(tài)的被攝體的畫面例的圖。
具體實(shí)施例方式以下，針對(duì)本發(fā)明的實(shí)施方式，參照附圖進(jìn)行詳細(xì)說(shuō)明。另外，本發(fā)明并不限定于下述的實(shí)施方式以及附圖。還可以在不變更本發(fā)明的要旨的范圍內(nèi)對(duì)下述的實(shí)施方式以及附圖加以變更。此外，對(duì)圖中相同或相當(dāng)?shù)牟糠仲x予相同符號(hào)。對(duì)本發(fā)明的實(shí)施方式所涉及的顯示系統(tǒng)I進(jìn)行說(shuō)明。顯示系統(tǒng)1，如圖I所示，具備顯示裝置10 ;配置于該顯示裝置10的左右的照相機(jī)20L、20R ;和圖像處理裝置30。圖像處理裝置30經(jīng)由LAN (Local Area Network,局域網(wǎng))等，與照相機(jī)20L、20R以及顯示裝置10連接。顯示裝置10例如是IXD (Liquid Crystal Display,液晶顯示器)等。顯示裝置10按照顯示面與作為被攝體的用戶相對(duì)的方式來(lái)配置。顯示裝置10實(shí)時(shí)地顯示(I)由左右的照相機(jī)20L、20R拍攝的(2)并由圖像處理裝置30處理后的、用戶的圖像。由于在顯示裝置10中實(shí)時(shí)地顯示用戶自身的圖像，因此用戶可以將顯示裝置10作為鏡子來(lái)使用。另夕卜，顯示裝置10也可以是具有三維顯示功能的顯示器等。
照相機(jī)20L、20R具備透鏡、光圈機(jī)構(gòu)、快門機(jī)構(gòu)、CO) (Charge Coupled Device,電荷耦合元件)等，分別配置于顯示裝置10的左右。各照相機(jī)20L、20R按照每個(gè)規(guī)定的幀周期(例如1/30秒)分別從不同的方向?qū)ξ挥陲@示裝置10前面的用戶連續(xù)地進(jìn)行拍攝，并將拍攝到的圖像數(shù)據(jù)隨時(shí)發(fā)送到圖像處理裝置30。另外，照相機(jī)20L和照相機(jī)20R相互取得同步，在相同的定時(shí)對(duì)作為被攝體的用戶進(jìn)行拍攝。另外，在無(wú)需區(qū)分照相機(jī)20L、20R的每一個(gè)的情況下，以下，僅稱作照相機(jī)20。此夕卜，根據(jù)需要，將照相機(jī)20L、20R所拍攝到的圖像分別作為圖像L、圖像R來(lái)進(jìn)行說(shuō)明。圖像處理裝置30是PC (Personal Computer,個(gè)人計(jì)算機(jī))或服務(wù)器等普通的計(jì)算機(jī)。圖像處理裝置30，(I)根據(jù)照相機(jī)20所拍攝到的圖像來(lái)制作用戶的三維模型，(2)根據(jù)制作的三維模型來(lái)制作從任意的方向?qū)τ脩暨M(jìn)行觀察而得到的圖像，(3)將得到的圖像輸出到顯示裝置10。圖像處理裝置30在物理上具備如下部件而構(gòu)成CPU(CentralProcessing Unit,中央處理器)；保存動(dòng)作程序的ROM (Read Only Memory,只讀存儲(chǔ)器)；作為工作區(qū)域的RAM (Random Access Memory，隨機(jī)存取存儲(chǔ)器)；作為存儲(chǔ)區(qū)域的硬盤 驅(qū)動(dòng)器、以及外部接口等。圖像處理裝置30，如圖2所示，在功能上具備圖像取得部301 ;幀圖像存儲(chǔ)部302 ;關(guān)鍵幀存儲(chǔ)部303 ;三維建模部304 ;三維模型存儲(chǔ)部305 ;特征點(diǎn)檢測(cè)部306 ;特征點(diǎn)存儲(chǔ)部307 ;位置變化推定部308 ;方向變更部309 ;變更量存儲(chǔ)部310 ;重建部311 ;渲染部312 ;圖像反轉(zhuǎn)部313 ;和圖像輸出部314。圖像取得部301接收由各照相機(jī)20按照每個(gè)幀周期連續(xù)拍攝到的圖像的對(duì)(圖像對(duì))，并將接收到的圖像對(duì)依次保存在幀圖像存儲(chǔ)部302中。另外，對(duì)保存在幀圖像存儲(chǔ)部302中的圖像對(duì)分別按照拍攝順序賦予幀編號(hào)。此外，圖像取得部301按照每數(shù)幀周期(例如，每8幀周期)，將從照相機(jī)20接收到的圖像對(duì)保存在關(guān)鍵幀存儲(chǔ)部303中，并對(duì)三維建模部304和特征點(diǎn)檢測(cè)部306發(fā)送更
新信號(hào)。三維建模部304根據(jù)來(lái)自圖像取得部301的更新信號(hào)的接收來(lái)開始動(dòng)作，根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)來(lái)制作用戶的三維模型，并將用戶的三維模型保存在三維模型存儲(chǔ)部305中。另外，三維建模部304保持有各照相機(jī)20的屬性信息(視角、基線長(zhǎng)度等)。特征點(diǎn)檢測(cè)部306根據(jù)來(lái)自圖像取得部301的更新信號(hào)的接收來(lái)開始動(dòng)作，從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)的一個(gè)圖像(例如圖像L)中檢測(cè)多個(gè)特征點(diǎn)。然后，特征點(diǎn)檢測(cè)部306在下一個(gè)更新信號(hào)接收時(shí)將與檢測(cè)出的各特征點(diǎn)相關(guān)的信息(特征點(diǎn)在圖像內(nèi)的位置、特征點(diǎn)的周圍的相關(guān)值等)保存在特征點(diǎn)存儲(chǔ)部307中。位置變化推定部308按照每個(gè)幀周期來(lái)求取特征點(diǎn)檢測(cè)部306所檢測(cè)出的各特征點(diǎn)的位置在存儲(chǔ)于幀圖像存儲(chǔ)部302的最新的圖像(即、最近從照相機(jī)20接收到的圖像)內(nèi)變化到了哪個(gè)位置。然后，位置變化推定部308基于求出的變化來(lái)求取用于將存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型變換為與最新的圖像相對(duì)應(yīng)的三維模型的變換參數(shù)。方向變更部309每隔規(guī)定時(shí)間執(zhí)行方向變更處理，該方向變更處理取得作為用戶所指示的量的、對(duì)三維模型的方向進(jìn)行變更的量，并存儲(chǔ)在變更量存儲(chǔ)部310中。關(guān)于方向變更處理的詳細(xì)內(nèi)容見(jiàn)后述。
重建部311基于位置變化推定部308所求出的變換參數(shù)、以及存儲(chǔ)在變更量存儲(chǔ)部310中的旋轉(zhuǎn)校正量，來(lái)對(duì)存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型進(jìn)行重建。具體來(lái)說(shuō)，重建部311進(jìn)行存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型的旋轉(zhuǎn)和平行移動(dòng)。渲染部312進(jìn)行3D渲染來(lái)制作最終的用戶的三維模型，其中該3D渲染將存儲(chǔ)在幀圖像存儲(chǔ)部302中的圖像對(duì)之中最新圖像的圖像數(shù)據(jù)作為紋理(texture)來(lái)使用，將其粘貼在重建部311所重建后的三維模型中。圖像反轉(zhuǎn)部313對(duì)渲染部312所制作的三維模型進(jìn)行鏡像反轉(zhuǎn)。圖像輸出部314將圖像反轉(zhuǎn)部313進(jìn)行了鏡像反轉(zhuǎn)后的三維模型輸出到顯示裝置10并進(jìn)行顯示。
接下來(lái)，對(duì)圖像處理裝置30的動(dòng)作進(jìn)行說(shuō)明。首先，對(duì)每當(dāng)接收到來(lái)自圖像取得部301的更新信號(hào)時(shí)實(shí)施的處理進(jìn)行說(shuō)明。按照每個(gè)幀周期(例如，每8幀周期)，圖像取得部301將從各照相機(jī)20L、20R接收到的圖像對(duì)保存在關(guān)鍵幀存儲(chǔ)部303中，并將更新信號(hào)發(fā)送到三維建模部304和特征點(diǎn)檢測(cè)部306。三維建模部304和特征點(diǎn)檢測(cè)部306對(duì)更新信號(hào)的接收進(jìn)行響應(yīng)，分別實(shí)施建模處理和特征點(diǎn)檢測(cè)處理。在此，關(guān)于建模處理，參照?qǐng)D3的流程圖來(lái)詳細(xì)說(shuō)明。建模處理是根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)(圖像L和圖像R)來(lái)制作用戶(被攝體)的三維模型的處理。即、建模處理可以認(rèn)為是制作從一個(gè)視線觀察到的三維模型的處理。三維建模部304若從圖像取得部301接收了更新信號(hào)(步驟SlOl ;“是”)，則將在上次更新信號(hào)接收時(shí)制作的三維模型覆蓋保存在三維模型存儲(chǔ)部305中(步驟S102)。接下來(lái)，三維建模部304從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)的一個(gè)圖像(假設(shè)為圖像L)中提取特征點(diǎn)的候補(bǔ)(步驟S103)。例如，三維建模部304對(duì)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像L進(jìn)行拐角檢測(cè)。在拐角檢測(cè)中，將哈里斯(Harris)等拐角特征量為規(guī)定閾值以上且在規(guī)定半徑內(nèi)為最大的點(diǎn)選擇為拐點(diǎn)。因此，提取被攝體的前端等相對(duì)于其他點(diǎn)存在特征的點(diǎn)作為特征點(diǎn)。接下來(lái)，三維建模部304執(zhí)行立體匹配，從圖像R中搜索與圖像L的特征點(diǎn)相對(duì)應(yīng)的點(diǎn)(對(duì)應(yīng)點(diǎn))(步驟S104)。具體來(lái)說(shuō)，三維建模部304將通過(guò)模板匹配而類似度為規(guī)定閾值以上且最大的點(diǎn)(差異度為規(guī)定閾值以下且最小的點(diǎn))作為對(duì)應(yīng)點(diǎn)。在模板匹配中，可以利用例如殘差絕對(duì)值和(SAD)、殘差平方和(SSD)、標(biāo)準(zhǔn)化相關(guān)(NCC或ZNCC)、方向碼相關(guān)等、各種各樣已知的技術(shù)。接下來(lái)，三維建模部304基于在步驟S104中檢測(cè)出的對(duì)應(yīng)點(diǎn)的視差信息、和表示各照相機(jī)20L、20R的視角、基線長(zhǎng)度等的信息，來(lái)計(jì)算與各特征點(diǎn)相對(duì)應(yīng)的攝影距離，并取得各特征點(diǎn)的位置信息U，1，z)(步驟S105)。然后，三維建模部304基于取得的各特征點(diǎn)的位置信息來(lái)執(zhí)行德勞內(nèi)(Delaunay)三角形分割，并執(zhí)行多邊形化處理，來(lái)制作三維模型(多邊形信息)(步驟S106)。另外，在此制作的三維模型只是還未粘貼紋理的多邊形的模型。此外，在此制作的三維模型在下一個(gè)更新信號(hào)接收時(shí)的定時(shí)(步驟SlOl ;“是”)被保存在三維模型存儲(chǔ)部305中(步驟S102)。像這樣，通過(guò)建模處理，在關(guān)鍵幀存儲(chǔ)部303中保存圖像對(duì)，每當(dāng)接收到更新信號(hào)時(shí)，根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)來(lái)制作用戶的三維模型。另外，通常，上述的建模處理(步驟SlOl 步驟S106)花費(fèi)數(shù)幀周期的時(shí)間，因此按照照相機(jī)20進(jìn)行拍攝的每個(gè)幀周期來(lái)實(shí)施建模處理是很困難的。接下來(lái)，參照?qǐng)D4所示的流程圖，對(duì)特征點(diǎn)檢測(cè)處理進(jìn)行詳細(xì)說(shuō)明。特征點(diǎn)檢測(cè)處理在與前述的建模處理相同的定時(shí)被實(shí)施，從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)之中的一個(gè)圖像(在此，假設(shè)為圖像L)中，檢測(cè)出容易追蹤的特征點(diǎn)并進(jìn)行存儲(chǔ)。特征點(diǎn)檢測(cè)部306若從圖像取得部301接收到更新信號(hào)(步驟S201 ;“是”)，則將與在上次更新信號(hào)接收時(shí)所檢測(cè)出的各特征點(diǎn)相關(guān)的信息(特征點(diǎn)在圖像內(nèi)的位置、特征點(diǎn)的周圍的相關(guān)值等)保存在特征點(diǎn)存儲(chǔ)部307中(步驟S202)。接下來(lái)，特征點(diǎn)檢測(cè)部306從保存在關(guān)鍵幀存儲(chǔ)部303中的圖像L中檢測(cè)多個(gè)特征點(diǎn)(步驟S203)。另外，特征點(diǎn)檢測(cè)部306優(yōu)選將在連續(xù)拍攝到的各圖像間容易進(jìn)行追蹤的邊緣或拐角等點(diǎn)檢測(cè)為特征點(diǎn)。另外，在此檢測(cè)出的特征點(diǎn)，在下一個(gè)更新信號(hào)接收的定時(shí)(步驟S201 ;“是”)，與該特征點(diǎn)相關(guān)的信息被保存在特征點(diǎn)存儲(chǔ)部307中。 像這樣，通過(guò)特征點(diǎn)檢測(cè)處理，在關(guān)鍵幀存儲(chǔ)部303中保存圖像對(duì)，每當(dāng)接收到更新信號(hào)時(shí)，從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像中檢測(cè)特征點(diǎn)并進(jìn)行存儲(chǔ)。另外，通常，上述的特征點(diǎn)檢測(cè)處理(步驟S201 步驟S203)花費(fèi)數(shù)幀周期的時(shí)間，因此按照照相機(jī)20進(jìn)行拍攝的每個(gè)幀周期來(lái)實(shí)施特征點(diǎn)檢測(cè)處理是很困難的。接下來(lái)，參照?qǐng)D5對(duì)方向變更處理進(jìn)行詳細(xì)說(shuō)明。方向變更處理是每隔規(guī)定時(shí)間(例如，每I秒)，根據(jù)來(lái)自用戶的指示，來(lái)設(shè)定對(duì)顯示在顯示裝置10中的用戶的朝向進(jìn)行變更(旋轉(zhuǎn))的量(以下，稱作旋轉(zhuǎn)校正量)的處理。方向變更處理開始后，首先，方向變更部309對(duì)存儲(chǔ)在幀圖像存儲(chǔ)部302中的圖像之中最近拍攝到的圖像L進(jìn)行解析，從該圖像L內(nèi)檢測(cè)出用戶的臉部區(qū)域(步驟S301)。例如，方向變更部309對(duì)圖像L施加索貝爾(sobel)濾波器來(lái)提取邊緣，并將與臉部輪廓的模板之間的相關(guān)為規(guī)定值以上的邊緣區(qū)域檢測(cè)為臉部區(qū)域即可。在沒(méi)能檢測(cè)出臉部區(qū)域的情況下(步驟S302 ;“否”)，不進(jìn)行更新旋轉(zhuǎn)校正量的處理地,結(jié)束方向變更處理。在檢測(cè)出了臉部區(qū)域的情況下(步驟S302 ;“是”)，方向變更部309從該臉部區(qū)域中檢測(cè)出眼睛的圖像(步驟S303)。例如，方向變更部309，⑴基于表示人類的平均眼睛位置的信息來(lái)從檢測(cè)出的臉部區(qū)域中確定眼睛周邊的區(qū)域，(2)從確定的區(qū)域的圖像中，檢測(cè)出適合眼睛的規(guī)定長(zhǎng)度以及曲率的邊緣線，(3)將該邊緣線檢測(cè)為眼睛即可。此外，也可以從左右眼中只檢測(cè)出一只眼睛。接下來(lái)，方向變更部309從檢測(cè)出的眼睛的圖像中，檢測(cè)眼睛的狀態(tài)(眼睛的開閉狀態(tài)、以及眼球的位置)，將表示該狀態(tài)的信息與當(dāng)前日期時(shí)間信息對(duì)應(yīng)起來(lái)，累積存儲(chǔ)在RAM 中(步驟 S304)。例如，方向變更部309將檢測(cè)出的眼睛的圖像二值化，來(lái)判別是否檢測(cè)出了與眼球相當(dāng)?shù)囊?guī)定尺寸的黑點(diǎn)。然后，方向變更部309在檢測(cè)出黑點(diǎn)的情況下判別為眼睛處于睜開狀態(tài)，在沒(méi)有檢測(cè)出黑點(diǎn)的情況下判別為眼睛處于閉合狀態(tài)。此外，方向變更部309在判別為眼睛處于睜開狀態(tài)的情況下，通過(guò)比較檢測(cè)出的黑點(diǎn)和與眼睛(眼瞼)相當(dāng)?shù)倪吘壘€的中心的位置，來(lái)檢測(cè)眼球的位置(視線的方向)即可。
接下來(lái)，在步驟S304中檢測(cè)出的眼睛的開閉狀態(tài)為睜開狀態(tài)的情況下(步驟S305 ;睜開狀態(tài))，不進(jìn)行更新旋轉(zhuǎn)校正量的處理地，結(jié)束方向變更處理。此外，在步驟S304中檢測(cè)出的眼睛的開閉狀態(tài)為閉合狀態(tài)的情況下(步驟S305 ；閉合狀態(tài))，方向變更部309基于存儲(chǔ)在RAM中的眼睛的狀態(tài)的歷史記錄來(lái)判別該閉合狀態(tài)是否持續(xù)了規(guī)定時(shí)間(例如5秒)以上(步驟S306)。在閉合狀態(tài)持續(xù)了規(guī)定時(shí)間以上的情況下(步驟S306 ;“是”)，方向變更部309將存儲(chǔ)在變更量存儲(chǔ)部310中的旋轉(zhuǎn)校正量更新為表示將用戶的朝向還原(不改變顯示在顯示裝置10中的用戶的朝向地直接進(jìn)行顯示)的初始值(零)(步驟S307)，方向變更處理結(jié)束。在閉合狀態(tài)沒(méi)有持續(xù)規(guī)定時(shí)間以上的情況下(步驟S306 ;“否”)，方向變更部309基于存儲(chǔ)在RAM中的眼睛的狀態(tài)的歷史記錄來(lái)判別在最近的規(guī)定時(shí)間內(nèi)眼球進(jìn)行了怎樣的運(yùn)動(dòng)(步驟S308)。 在判別為在最近的規(guī)定時(shí)間內(nèi)眼球在眼睛內(nèi)向左方向進(jìn)行了移動(dòng)的情況下(步驟S308 ;左移動(dòng))，方向變更部309將存儲(chǔ)在變更量存儲(chǔ)部310中的旋轉(zhuǎn)校正量更新為表示將用戶的臉部的朝向向左旋轉(zhuǎn)規(guī)定角度(例如，30度)的量(步驟S309)，方向變更處理結(jié)束。此外，在判別為在最近的規(guī)定時(shí)間內(nèi)眼球在眼睛內(nèi)向右方向進(jìn)行了移動(dòng)的情況下(步驟S308 ;右移動(dòng))，方向變更部309將存儲(chǔ)在變更量存儲(chǔ)部310中的旋轉(zhuǎn)校正量更新為表示將用戶的臉部的朝向向右旋轉(zhuǎn)規(guī)定角度(例如，30度)的量(步驟S310)，方向變更處
理結(jié)束。此外，在判別為在最近的規(guī)定時(shí)間內(nèi)眼球的位置沒(méi)有發(fā)生變化的情況下(步驟S308 ;無(wú)變化)，不進(jìn)行更新旋轉(zhuǎn)校正量的處理，結(jié)束方向變更處理。像這樣，通過(guò)方向變更處理，用戶僅通過(guò)改變自身的眼睛的狀態(tài)(開閉、眼球位置)，就能夠容易地設(shè)定對(duì)三維模型的朝向進(jìn)行變更(旋轉(zhuǎn))的量。另外，在上述例子中，總而言之，在以下的條件下設(shè)定旋轉(zhuǎn)校正量。(I)在眼睛閉合了規(guī)定時(shí)間以上的情況下將旋轉(zhuǎn)校正量初始化；(2)在眼睛閉合、且在即將閉合之前視線向左移動(dòng)了的情況下將旋轉(zhuǎn)校正量更新為進(jìn)行左旋轉(zhuǎn)的量；(3)在眼睛閉合、且在即將閉合之前視線向右移動(dòng)了的情況下將旋轉(zhuǎn)校正量更新為進(jìn)行右旋轉(zhuǎn)的量。另外，設(shè)定旋轉(zhuǎn)校正量的條件是任意的。例如，也可以檢測(cè)眼睛處于閉合狀態(tài)的時(shí)間，根據(jù)眼睛處于閉合狀態(tài)的時(shí)間來(lái)決定使用戶的朝向向右(或左)旋轉(zhuǎn)的角度，并將旋轉(zhuǎn)校正量設(shè)定為表示該角度的量。接下來(lái)，參照?qǐng)D6對(duì)顯示控制處理進(jìn)行詳細(xì)說(shuō)明。顯示控制處理是按照每個(gè)幀周期被實(shí)施，并在顯示裝置10中顯示用戶的圖像的處理。按照每個(gè)幀周期開始了顯示處理后，首先，位置變化推定部308求取存儲(chǔ)在特征點(diǎn)存儲(chǔ)部307中的各特征點(diǎn)在存儲(chǔ)于幀圖像存儲(chǔ)部302中的最新圖像內(nèi)變化(移動(dòng))到了怎樣的位置(步驟S401)。例如，位置變化推定部308讀出存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新的圖像L，并通過(guò)模板匹配的手法來(lái)從該圖像L中提取與存儲(chǔ)在特征點(diǎn)存儲(chǔ)部307中的各特征點(diǎn)相對(duì)應(yīng)的點(diǎn)。然后，根據(jù)特征點(diǎn)和對(duì)應(yīng)點(diǎn)之間的位置關(guān)系來(lái)求取特征點(diǎn)的變化即可。接下來(lái)，位置變化推定部308基于求出的各特征點(diǎn)的變化，來(lái)求取用于將存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型變換為與存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)(步驟S402)。具體來(lái)說(shuō)，該處理是求取滿足式(I)的旋轉(zhuǎn)矩陣R和移動(dòng)向量t的處理。另外，X’表示存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型的坐標(biāo)，X表示與存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新圖像相對(duì)應(yīng)的三維模型的坐標(biāo)。X = RX’ +t(I)
在此，變換參數(shù)例如利用對(duì)極幾何的手法來(lái)計(jì)算即可。例如，首先，根據(jù)在步驟S401中求出的各特征點(diǎn)的位置關(guān)系(特征點(diǎn)和與特征點(diǎn)相對(duì)應(yīng)的最新圖像的對(duì)應(yīng)點(diǎn)之間的位置關(guān)系)來(lái)求取基礎(chǔ)矩陣F。接下來(lái)，根據(jù)基礎(chǔ)矩陣F和照相機(jī)20L的內(nèi)部參數(shù)來(lái)求取基本矩陣E。然后，通過(guò)將基本矩陣E分解為斜對(duì)稱矩陣和正交矩陣之積，來(lái)求取式(I)的旋轉(zhuǎn)矩陣和R以及移動(dòng)向量t即可。接下來(lái)，重建部311使用求出的變換參數(shù)來(lái)進(jìn)行坐標(biāo)變換，由此來(lái)對(duì)存儲(chǔ)在三維模型存儲(chǔ)部中的三維模型進(jìn)行重建(步驟S403)。通過(guò)該處理來(lái)制作與最新圖像相對(duì)應(yīng)的三維模型。接下來(lái)，重建部311判別在變更量存儲(chǔ)部310中是否存儲(chǔ)有旋轉(zhuǎn)校正量(步驟S404)。在沒(méi)有存儲(chǔ)旋轉(zhuǎn)校正量的情況下(步驟S404 ;“否”)，重建部311將處理轉(zhuǎn)移到步驟 S406。在存儲(chǔ)有旋轉(zhuǎn)校正量的情況下(步驟S404 ; “是”)，重建部311基于該旋轉(zhuǎn)校正量來(lái)對(duì)重建后的三維模型的朝向進(jìn)行旋轉(zhuǎn)(步驟S405)。即、制作與用戶所指示的朝向相對(duì)應(yīng)的三維模型。之后，重建部311消去存儲(chǔ)在變更量存儲(chǔ)部310中的表示旋轉(zhuǎn)校正量的信息。接下來(lái)，在步驟S406中，渲染部312制作對(duì)(I)重建或⑵重建并進(jìn)行了旋轉(zhuǎn)的三維模型粘貼了存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新的圖像L作為紋理的三維模型(步驟S406)。然后，圖像反轉(zhuǎn)部313通過(guò)公知的手法來(lái)使制作出的三維模型鏡像反轉(zhuǎn)(左右反轉(zhuǎn))(步驟S407)。該處理是為了使顯示裝置10像鏡子那樣顯示用戶的圖像所需的處理。此外，并不一定需要進(jìn)行該處理。然后，圖像輸出部314將對(duì)制作出的三維模型進(jìn)行了二維投影后的圖像數(shù)據(jù)輸出到顯示裝置10，使顯示裝置10顯示該圖像(步驟S408)。通過(guò)以上步驟，顯示控制處理結(jié)束。像這樣，通過(guò)顯示控制處理，按照每個(gè)幀周期，與最新圖像相對(duì)應(yīng)的用戶的三維模型被重建并顯示。接下來(lái)，參照?qǐng)D7A 圖71來(lái)對(duì)在圖像處理裝置30中實(shí)施的處理進(jìn)行說(shuō)明。圖7A 圖71是表示在圖像處理裝置30中實(shí)施的處理內(nèi)容和數(shù)據(jù)的時(shí)間變化的圖。圖7A表示存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新的圖像對(duì)的時(shí)間變化。圖7A中的各框的橫幅的長(zhǎng)度相當(dāng)于幀周期。此外，各框內(nèi)的數(shù)字表示存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新圖像的幀編號(hào)。圖7B表示存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)的時(shí)間變化。圖7B中的數(shù)字表示存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)的幀編號(hào)。圖7C表示產(chǎn)生更新信號(hào)的定時(shí)。圖7D表示三維建模部304所執(zhí)行的處理內(nèi)容的時(shí)間變化。圖7E表示存儲(chǔ)在三維模型存儲(chǔ)部305中的三維模型的時(shí)間變化。圖7F表示特征點(diǎn)檢測(cè)部306所執(zhí)行的處理內(nèi)容的時(shí)間變化。圖7G表示存儲(chǔ)在特征點(diǎn)存儲(chǔ)部307中的特征點(diǎn)的時(shí)間變化。圖7H是表示作為位置變化推定部308所執(zhí)行的對(duì)特征點(diǎn)的變化進(jìn)行檢測(cè)來(lái)計(jì)算 變換參數(shù)的處理的對(duì)象的幀圖像的變化的圖。圖71是表示被重建的三維模型是與哪個(gè)幀圖像相對(duì)應(yīng)的三維模型，和表示其變化的圖。圖像取得部301將從照相機(jī)20L、20R在相同的定時(shí)按照每個(gè)幀周期拍攝到的圖像對(duì)依次保存在幀圖像存儲(chǔ)部302中。因此，存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新的圖像對(duì)如圖7A所示那樣按照每個(gè)幀周期被進(jìn)行更新。進(jìn)而，與上述的處理不同地，圖像取得部301按照每規(guī)定數(shù)量的幀周期，將拍攝到的圖像對(duì)覆蓋保存在關(guān)鍵幀存儲(chǔ)部303中。在此，假設(shè)按照每8幀周期，將圖像對(duì)覆蓋保存在關(guān)鍵幀存儲(chǔ)部303中。即、存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)在圖7B所示那樣的定時(shí)被定期更新。此外，如圖7C所示，圖像取得部301，在保存在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)被更新的定時(shí)，將更新信號(hào)發(fā)送到特征點(diǎn)檢測(cè)部306和三維建模部304。響應(yīng)該更新信號(hào)的接收，如圖7D、圖7E所示，三維建模部304執(zhí)行前述的建模處理，并根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)，來(lái)制作三維模型。另外，一般來(lái)說(shuō)，三維模型的制作花費(fèi)數(shù)幀周期的時(shí)間。然后，三維建模部304在下一個(gè)更新信號(hào)接收時(shí)將制作出的三維模型保存在三維模型存儲(chǔ)部305中。具體來(lái)說(shuō)，三維建模部304在接收到了更新信號(hào)的時(shí)刻TA，根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的第21幀的圖像對(duì)來(lái)制作三維模型。然后，三維建模部304在接收下一個(gè)更新信號(hào)的時(shí)刻Tb將制作出的三維模型覆蓋保存在三維模型存儲(chǔ)部305中。以下同樣地，三維建模部304在接收更新信號(hào)的時(shí)刻TB，根據(jù)存儲(chǔ)在關(guān)鍵幀圖像存儲(chǔ)部302中的第29幀的圖像對(duì)來(lái)制作三維模型，并在接收下一個(gè)更新信號(hào)的時(shí)刻T。將制作出的三維模型保存在三維模型存儲(chǔ)部305中。因此，在三維模型存儲(chǔ)部305中，根據(jù)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像對(duì)而制作的三維模型按照每8幀周期被覆蓋保存。此外，三維建模部304與建模處理不同地執(zhí)行如下處理。即、三維建模部304響應(yīng)更新信號(hào)的接收，如圖7F、圖7G所示，執(zhí)行前述的特征點(diǎn)檢測(cè)處理，從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像L中檢測(cè)特征點(diǎn)。另外，一般來(lái)說(shuō)，特征點(diǎn)的檢測(cè)花費(fèi)數(shù)幀周期的時(shí)間。然后，三維建模部304在下一個(gè)更新信號(hào)接收時(shí)，將與檢測(cè)出的特征點(diǎn)相關(guān)的信息保存在特征點(diǎn)存儲(chǔ)部307中。具體來(lái)說(shuō)，在接收到了更新信號(hào)的時(shí)刻TA，特征點(diǎn)檢測(cè)部306從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的第21幀的圖像L中檢測(cè)特征點(diǎn)。然后，特征點(diǎn)檢測(cè)部306在接收下一個(gè)更新信號(hào)的時(shí)刻TB，將與檢測(cè)出的特征點(diǎn)相關(guān)的信息覆蓋保存在特征點(diǎn)存儲(chǔ)部307中。以下同樣地，在接收更新信號(hào)的時(shí)刻TB，特征點(diǎn)檢測(cè)部306從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的第29幀的圖像L中檢測(cè)特征點(diǎn)，并在接收下一個(gè)更新信號(hào)的時(shí)刻T。，將與檢測(cè)出的特征點(diǎn)相關(guān)的信息覆蓋保存在特征點(diǎn)存儲(chǔ)部307中。因此，從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像中檢測(cè)出的特征點(diǎn)，按照每8幀周期被覆蓋保存在特征點(diǎn)存儲(chǔ)部307中。此外，與這些處理并行地，按照每個(gè)幀周期，執(zhí)行上述的顯示控制處理。如圖7H所示，通過(guò)顯示控制處理，按照每個(gè)幀周期，計(jì)算出從存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部303中的圖像中檢測(cè)出的特征點(diǎn)相對(duì)于存儲(chǔ)在幀圖像存儲(chǔ)部302中的最新的圖像變化到了哪個(gè)位置。然后，根據(jù)算出的特征點(diǎn)的位置的變化來(lái)求取用于對(duì)三維模型進(jìn)行重建的變換參數(shù)。然后，如圖71所示，按照每個(gè)幀周期，基于變換參數(shù)來(lái)重建與最新圖像相對(duì)應(yīng)的三維模型。像這樣，根據(jù)本發(fā)明的實(shí)施方式所涉及的圖像處理裝置30，通過(guò)對(duì)按照比幀周期長(zhǎng)的每個(gè)周期而制作出的三維模型進(jìn)行重建，來(lái)制作與最新圖像相對(duì)應(yīng)的三維模型。因此，能夠用短時(shí)間來(lái)制作三維模型。
此外，雖然該制作出的三維模型是根據(jù)比最新圖像稍舊的圖像對(duì)而制作出的三維模型，但最新圖像作為紋理而被粘貼。因此，由于沒(méi)有不協(xié)調(diào)感地實(shí)時(shí)地追蹤被攝體的動(dòng)作來(lái)進(jìn)行顯示，因此能夠進(jìn)行鏡子那樣的顯示。此外，根據(jù)本發(fā)明的實(shí)施方式所涉及的圖像處理裝置30，由于還能夠讀取用戶的臉部的變化(眼睛的開閉、視線)，并變更顯示方向，因此能夠有效地用作為用于進(jìn)行化妝等的鏡子。另外，在上述實(shí)施方式中，在方向變更處理中，基于檢測(cè)出的眼睛的狀態(tài)而更新了旋轉(zhuǎn)校正量。但是，例如，也可以對(duì)圖像進(jìn)行解析來(lái)檢測(cè)圖像內(nèi)的用戶的規(guī)定動(dòng)作(手勢(shì))，并基于檢測(cè)結(jié)果來(lái)更新旋轉(zhuǎn)校正量。具體來(lái)說(shuō)，對(duì)存儲(chǔ)在幀圖像存儲(chǔ)部302中的圖像進(jìn)行解析，來(lái)檢測(cè)用戶的手的動(dòng)作，根據(jù)檢測(cè)出的手的動(dòng)作來(lái)設(shè)定旋轉(zhuǎn)校正量。此外，也可以從對(duì)圖像處理裝置30發(fā)出指示的未圖示的遠(yuǎn)程控制裝置(遙控器)、與圖像處理裝置30連接的未圖示的鍵盤等輸入裝置來(lái)進(jìn)行規(guī)定的操作，并響應(yīng)該操作來(lái)決定并更新旋轉(zhuǎn)校正量。此外，也可以通過(guò)使顯示裝置10的畫面為觸摸面板式的畫面，在該畫面的規(guī)定區(qū)域中顯示旋轉(zhuǎn)校正量設(shè)定用的圖標(biāo)(例如，右旋轉(zhuǎn)圖標(biāo)、左旋轉(zhuǎn)圖標(biāo)等)，并由用戶觸摸該圖標(biāo)，來(lái)設(shè)定旋轉(zhuǎn)校正量。此外，在顯示控制處理中，根據(jù)三維模型來(lái)制作從不同的方向?qū)τ脩舻膱D像進(jìn)行觀察而得到的圖像或?qū)⒁徊糠址糯蠛蟮膱D像，并發(fā)送將它們合成在I個(gè)畫面中的圖像到顯示裝置10來(lái)進(jìn)行顯示。這樣一來(lái)，因?yàn)樽陨淼哪槻恳愿鞣N各樣的角度和縮尺被顯示，因此在進(jìn)行化妝等時(shí)能夠進(jìn)行方便的顯示。具體來(lái)說(shuō)，在顯示控制處理中，也可以通過(guò)對(duì)三維模型進(jìn)行重建，來(lái)分別制作用戶的正面圖像、從右方對(duì)用戶進(jìn)行觀察而得到的右向圖像、以及從左方對(duì)用戶進(jìn)行觀察而得到的左向圖像，并將這些圖像如圖8A所示那樣合成在I個(gè)畫面中來(lái)顯示于顯示裝置10。此外，也可以如圖SB所示那樣，將用戶的正面圖像、和將用戶的眼睛周邊的圖像放大后的圖像合成在I個(gè)畫面中來(lái)進(jìn)行顯示。此外，照相機(jī)20的個(gè)數(shù)不限定于2個(gè)，在根據(jù)2個(gè)以上的任意數(shù)量的照相機(jī)20的拍攝圖像來(lái)制作三維模型的系統(tǒng)中也能夠應(yīng)用本發(fā)明。此外，例如，通過(guò)將用于規(guī)定本發(fā)明所涉及的圖像處理裝置30的動(dòng)作的動(dòng)作程序應(yīng)用在現(xiàn)有的個(gè)人計(jì)算機(jī)或信息終端設(shè)備等中，還能夠使該個(gè)人計(jì)算機(jī)等發(fā)揮本發(fā)明所涉及的圖像處理裝置30的功能。此外，這種程序的配發(fā)方法是任意的。例如，可以將程序保存在⑶-ROM (CompactDisk Read-Only Memory,光盤只讀存儲(chǔ)器)、DVD (Digital Versatile Disk,數(shù)字多功能光盤)、MO (Magneto Optical Disk,磁光盤)、存儲(chǔ)卡等計(jì)算機(jī)可讀取的記錄介質(zhì)中來(lái)進(jìn)行配發(fā)。此外，也可以經(jīng)由因特網(wǎng)等通信網(wǎng)絡(luò)來(lái)對(duì)程序進(jìn)行配發(fā)。以上對(duì)本發(fā)明的優(yōu)選的實(shí)施例進(jìn)行了詳述，但本發(fā)明不限定于這些特定的實(shí)施例，在權(quán)利要求書所記載的本發(fā)明的要旨的范圍內(nèi)，能夠進(jìn)行各 種各樣的變形、變更。
權(quán)利要求
1.ー種圖像處理裝置，其具備 圖像取得単元，其連續(xù)地取得從不同的位置對(duì)被攝體進(jìn)行拍攝而得到的圖像的組；三維模型制作単元，其根據(jù)從所述圖像取得単元所連續(xù)地取得的圖像的組中選擇的ー組圖像來(lái)制作所述被攝體的三維模型； 特征點(diǎn)檢測(cè)單元，其從所述一組圖像中檢測(cè)特征點(diǎn)； 位置變化取得単元，其取得所述特征點(diǎn)檢測(cè)單元所檢測(cè)出的特征點(diǎn)在所述圖像取得單元所取得的最新圖像中的位置的變化； 變換參數(shù)計(jì)算單元，其基于所述位置變化取得単元所取得的特征點(diǎn)的位置的變化，來(lái)計(jì)算用于將所述三維模型制作単元所制作的三維模型變換為與所述最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)； 重建単元，其基于所述變換參數(shù)計(jì)算單元所算出的變換參數(shù)，對(duì)所述三維模型制作單元所制作的三維模型進(jìn)行重建； 渲染單元，其制作對(duì)所述重建単元所重建后的三維模型粘貼了所述最新圖像中的所述被攝體的圖像作為紋理的三維模型；和 顯示單元，其將所述渲染單元所制作的三維模型顯示在顯示裝置中。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像取得単元以規(guī)定的周期連續(xù)地取得從不同的位置對(duì)被攝體進(jìn)行拍攝而得到的圖像的組， 所述三維模型制作単元根據(jù)從所述圖像取得単元所連續(xù)地取得的圖像的組中所間歇性地選擇的ー組圖像，來(lái)制作所述被攝體的三維模型。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 還具備顯示方向取得單元，該顯示方向取得單元取得表示對(duì)所述三維模型的顯示方向進(jìn)行變更的量的旋轉(zhuǎn)校正量， 所述重建單元基于所述變換參數(shù)計(jì)算單元所算出的變換參數(shù)、和所述顯示方向取得單元所取得的旋轉(zhuǎn)校正量，對(duì)所述三維模型制作単元所制作的三維模型進(jìn)行重建。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 所述顯示方向取得単元檢測(cè)在所述圖像取得単元所取得的圖像中顯示的被攝體的狀態(tài)的變化，并基于檢測(cè)出的被攝體的狀態(tài)的變化來(lái)取得所述旋轉(zhuǎn)校正量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述顯示方向取得単元檢測(cè)表示在所述圖像取得単元所取得的圖像中顯示的被攝體的眼睛的開閉狀態(tài)以及眼球的動(dòng)作的信息，并基于檢測(cè)出的信息來(lái)取得所述旋轉(zhuǎn)校正量。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述顯示單元將使所述渲染単元所制作的三維模型的左右進(jìn)行了反轉(zhuǎn)后的三維模型顯示于所述顯示裝置。
7.ー種圖像處理方法，是使三維模型顯示于顯示裝置中的圖像處理裝置的圖像處理方法， 所述圖像處理方法包含如下步驟 圖像取得步驟，連續(xù)地取得從不同的位置對(duì)被攝體進(jìn)行拍攝而得到的圖像的組； 三維模型制作步驟，根據(jù)從所連續(xù)地取得的所述圖像的組中選擇的ー組圖像來(lái)制作所述被攝體的三維模型； 特征點(diǎn)檢測(cè)步驟，從所述一組圖像中檢測(cè)特征點(diǎn)； 位置變化取得步驟，取得所檢測(cè)出的所述特征點(diǎn)在連續(xù)地取得的圖像的組中的最新圖像中的位置的變化； 變換參數(shù)計(jì)算步驟，基于所取得的所述特征點(diǎn)的位置的變化，來(lái)計(jì)算用于將所制作的所述三維模型變換為與所述最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)； 重建步驟，基于所算出的所述變換參數(shù)，對(duì)所制作的所述三維模型進(jìn)行重建； 渲染步驟，制作對(duì)所重建后的所述三維模型粘貼了所述最新圖像中的所述被攝體的圖像作為紋理的三維模型；和 顯示步驟，使所制作的所述三維模型顯示于所述顯示裝置中。
全文摘要
三維建模部(304)根據(jù)按照每數(shù)幀周期存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部(303)中的圖像對(duì)來(lái)制作三維模型。此外，特征點(diǎn)檢測(cè)部(306)檢測(cè)存儲(chǔ)在關(guān)鍵幀存儲(chǔ)部(303)中的圖像的特征點(diǎn)。然后，位置變化推定部(308)推定檢測(cè)出的特征點(diǎn)在最新圖像內(nèi)變化到了哪個(gè)位置，并基于推定的結(jié)果來(lái)計(jì)算用于將制作出的三維模型變換為與最新圖像相對(duì)應(yīng)的三維模型的變換參數(shù)。然后，重建部(311)按照每個(gè)幀周期對(duì)使用所算出的變換參數(shù)而制作的三維模型進(jìn)行重建，圖像輸出部(314)使顯示裝置(10)進(jìn)行顯示。
文檔編號(hào)G06T19/00GK102682469SQ20121002083
公開日2012年9月19日 申請(qǐng)日期2012年1月30日 優(yōu)先權(quán)日2011年2月1日
發(fā)明者中島光康, 吉濱由紀(jì), 山谷崇史, 櫻井敬一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社