專利名稱：遙控操作裝置及遙控操作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對裝置進(jìn)行遙控操作的遙控操作裝置及遙控操作方法，該被遙控
操作的裝置生成用戶的三維人體形狀模型(以下簡稱為"三維模型")，并顯示在從任意位
置的視點(diǎn)對所生成的三維模型進(jìn)行三維繪制(rendering)時的用戶像。
背景技術(shù)：
已經(jīng)存在如圖1所示的生成用戶的三維模型并從任意視點(diǎn)進(jìn)行顯示的電子鏡裝 置。 一般，電子鏡裝置使用由三維人體形狀計測裝置102 (在圖1中為攝像機(jī))計測到的計 測數(shù)據(jù)，生成用戶101的三維模型。并且，電子鏡裝置通過繪制三維模型來生成用戶的投影 像104，并在顯示畫面103上顯示所生成的用戶的投影像104。 在電子鏡裝置中還可以考慮下述方法，位于遠(yuǎn)離顯示畫面103的位置的用戶101 選擇并確定被顯示在顯示畫面103上的菜單圖像，由此遙控操作電子鏡裝置。在這種電子 鏡裝置的遙控操作方法中，利用顯示在顯示畫面上的用戶的投影像來遙控操作電子鏡裝置。 具體地講，如圖2所示，電子鏡裝置將與映在顯示畫面202上的用戶201的投影像 203重合的菜單圖像204，判定為由用戶201 "選擇"的菜單圖像(步驟S1)。然后，電子鏡 裝置將由用戶201 "選擇"的菜單圖像中、包含與顯示畫面202垂直的方向上的用戶的移動 量為最大的位置的菜單圖像，判定為由用戶201 "決定"的菜單圖像(步驟S2)。
專利文獻(xiàn)1公開了將這種遙控操作方法適用于投影儀的示例。在專利文獻(xiàn)1的遙 控操作方法中，公開了使用投影儀的投影像以及投影儀與投影面之間的距離(=進(jìn)深方向 的信息)來進(jìn)行菜單操作的遙控操作方法。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)1日本特開2005-322055號公報 但是，在上述現(xiàn)有技術(shù)中，為了獲取進(jìn)深方向的信息，還另外需要距離傳感器。即， 在上述現(xiàn)有技術(shù)中，存在除了用于顯示投影像的裝置之外，還需要用于計測進(jìn)深方向的信 息的裝置的問題。

發(fā)明內(nèi)容
本發(fā)明就是鑒于上述問題而提出的，其目的在于，提供一種遙控操作裝置，能夠利 用比較簡單的結(jié)構(gòu)實(shí)現(xiàn)電子鏡裝置等的遙控操作。 為了達(dá)到上述目的，本發(fā)明的遙控操作裝置的一種方式是，一種遙控操作裝置，用 于輸出與顯示在顯示畫面上的菜單圖像相對應(yīng)的操作信息，該菜單圖像由位于與所述顯示 畫面分離的位置的用戶所指定，該遙控操作裝置具有三維模型生成部，生成第1和第2三 維模型，該第1和第2三維模型是表示在第1時刻及在所述第1時刻之后的第2時刻的所 述用戶的形狀的外觀的三維模型；三維繪制部，對由所述三維模型生成部生成的第1和第2 三維模型進(jìn)行三維繪制，由此生成第1和第2用戶像；第1操作判定部，在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像 是否重合；第2操作判定部，計算在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶 像的情況下、所述第2用戶像向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算 出的移動量，確定表示所述用戶所指定的位置的、所述顯示畫面上的坐標(biāo)；和操作信息輸出 部，在由所述第1操作判定部判定為所述菜單圖像與所述第2用戶像重合的情況下，且在由 所述第2操作判定部確定的坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域中的情況下，輸出與所 述菜單圖像相對應(yīng)的操作信息，所述第2操作判定部參照存儲有在對所述第1和第2三維 模型進(jìn)行三維繪制時生成的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度 緩沖器，來計算所述第1用戶像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所 述移動量。 由此，通過參照深度緩沖器，能夠計算與投影面垂直的方向上的用戶像的移動量， 所以能夠輸出操作信息，而不需要使用距離傳感器等裝置來檢測用戶與顯示畫面之間的距 離。即，能夠利用比較簡單的結(jié)構(gòu)實(shí)現(xiàn)電子鏡裝置等的遙控操作。 并且，優(yōu)選地，所述三維繪制部使用第1投影矩陣對所述第1和第2三維模型進(jìn)行 三維繪制，由此生成所述第1和第2用戶像，并使用與第1投影矩陣不同的第2投影矩陣對 所述第2三維模型進(jìn)行三維繪制，由此生成第3用戶像，在所述顯示畫面上顯示由所述三維 繪制部生成的第3用戶像。 由此，能夠使用與顯示用的用戶像不同的操作用的用戶像來判定用戶指定的菜單 圖像，所以用戶能夠憑借固定的操作感覺來指示菜單圖像，而與用戶的位置或大小等無關(guān)。
并且，優(yōu)選地，所述第1投影矩陣是正交投影矩陣，所述第2投影矩陣是透視投影 矩陣。 由此，能夠使用正交投影矩陣來生成顯示用的用戶像，所以用戶能夠憑借固定的 操作感覺來指示菜單圖像，而與用戶和顯示畫面之間的位置關(guān)系無關(guān)。 并且，優(yōu)選地，所述第1投影矩陣是按照所述用戶的大小和所述顯示畫面的大小 來使用戶像的大小改變的投影矩陣。 由此，用戶能夠憑借固定的操作感覺來指示菜單圖像，而與用戶的大小無關(guān)。
并且，本發(fā)明的集成電路的一種方式是，一種集成電路，用于輸出與顯示在顯示畫 面上的菜單圖像相對應(yīng)的操作信息，該菜單圖像由位于與所述顯示畫面分離的位置的用戶 所指定，該集成電路具有三維模型生成部，生成第1和第2三維模型，該第1和第2三維模 型是表示在第1時刻及在所述第1時刻之后的第2時刻的所述用戶的形狀的外觀的三維模 型；三維繪制部，對由所述三維模型生成部生成的第1和第2三維模型進(jìn)行三維繪制，由此 生成第1和第2用戶像；第l操作判定部，在所述顯示畫面上顯示由所述三維繪制部生成的 第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像是否重合；第2操作判定部，計 算在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的情況下、所述第2用戶像 向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算出的移動量，確定表示所述用 戶所指定的位置的、所述顯示畫面上的坐標(biāo)；和操作信息輸出部，在由所述第1操作判定部 判定為所述菜單圖像與所述第2用戶像重合的情況下，且在由所述第2操作判定部確定的 坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域中的情況下，輸出與所述菜單圖像相對應(yīng)的操作信 息，所述第2操作判定部參照存儲有在對所述第1和第2三維模型進(jìn)行三維繪制時生成的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器，來計算所述第1用戶
像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所述移動量。 另外，本發(fā)明不僅能夠?qū)崿F(xiàn)為這種遙控操作裝置，也能夠?qū)崿F(xiàn)為以這種遙控操作
裝置具有的特征構(gòu)成部分的動作為步驟的遙控操作方法，還能夠?qū)崿F(xiàn)為使計算機(jī)執(zhí)行這些
步驟的程序。 發(fā)明效果 根據(jù)本發(fā)明，通過參照深度緩沖器，能夠計算與投影面垂直的方向上的用戶像的 移動量，所以能夠輸出操作信息，而不需要使用距離傳感器等裝置來檢測用戶與顯示畫面 之間的距離。即，能夠利用比較簡單的結(jié)構(gòu)實(shí)現(xiàn)電子鏡裝置等的遙控操作。
(與本申請的技術(shù)背景相關(guān)的信息) 2008年6月2日提出申請的申請?zhí)枮?008-144458號的日本專利申請的說明書、 附圖及權(quán)利要求書公開的全部內(nèi)容，作為參考被引入本申請。


圖1是表示以往的電子鏡裝置的概況的圖。 圖2是說明以往的電子鏡裝置的優(yōu)選的遙控操作方法的圖。 圖3是表示具有本發(fā)明的實(shí)施方式1的遙控操作裝置的電子鏡裝置的功能結(jié)構(gòu)的 方框圖。 圖4A是表示本發(fā)明的實(shí)施方式1的遙控操作裝置進(jìn)行的處理流程的流程圖。 圖4B是表示本發(fā)明的實(shí)施方式1的遙控操作裝置進(jìn)行的處理流程的流程圖。 圖5是說明本發(fā)明的實(shí)施方式1的遙控操作裝置進(jìn)行的處理流程的圖。 圖6是表示具有本發(fā)明的實(shí)施方式2的遙控操作裝置的電子鏡裝置的功能結(jié)構(gòu)的
方框圖。 圖7是表示本發(fā)明的實(shí)施方式2的遙控操作裝置進(jìn)行的處理流程的流程圖。 圖8是說明本發(fā)明的實(shí)施方式2的遙控操作裝置進(jìn)行的處理流程的圖。 圖9是表示基于用戶與顯示畫面之間的位置關(guān)系的投影像的差異的圖。 圖10是說明透視投影的圖。 圖11是說明正交投影的圖。 圖12是說明本發(fā)明的實(shí)施方式2的變形例的圖。 圖13是說明本發(fā)明的變形例的圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式。
(實(shí)施方式1) 圖3是表示具有本發(fā)明的實(shí)施方式1的遙控操作裝置的電子鏡裝置的功能結(jié)構(gòu)的 方框圖。如圖3所示，電子鏡裝置10具有三維人體形狀計測部11、顯示部12、電子鏡控制 部13和遙控操作裝置20。 三維人體形狀計測部11計測用戶的三維人體形狀，將計測數(shù)據(jù)輸出給遙控操作 裝置20的三維模型生成部21。三維人體形狀計測部11可以使用立體計測法或光切斷法等一般用于計測三維人體形狀時使用的方法，來計測用戶的三維人體形狀。 顯示部12具有液晶顯示器等的顯示畫面，顯示由顯示圖像合成部26輸出的顯示
用圖像。 電子鏡控制部13控制構(gòu)成電子鏡裝置10的各個構(gòu)成要素的動作。并且，電子鏡 控制部13根據(jù)由操作信息輸出部25輸出的操作信息，控制各個構(gòu)成要素的動作。例如，在 操作信息表示提高亮度(亮度UP)的情況下，電子鏡控制部13使要顯示的圖像的亮度增大 預(yù)定的值。 遙控操作裝置20是根據(jù)位于遠(yuǎn)離顯示畫面的位置的用戶的動作，輸出與被顯示 在顯示畫面上的菜單圖像相對應(yīng)的操作信息的裝置。遙控操作裝置20具有三維模型生成 部21、數(shù)據(jù)存儲部22、三維繪制部23、操作判定部24、操作信息輸出部25、顯示圖像合成部 26和控制部27。 三維模型生成部21根據(jù)由三維人體形狀計測部11計測到的計測數(shù)據(jù)，依次生成 用戶的三維模型。具體地講，三維模型生成部21例如使用所謂德勞內(nèi)(Dela皿ay)三角形 分割法或移動立方體(marching cubes)法等、一般生成三維模型時使用的方法，來生成三 維模型。 數(shù)據(jù)存儲部22是存儲器等存儲介質(zhì)，存儲包括投影矩陣在內(nèi)的繪制參數(shù)。
三維繪制部23使用存儲在數(shù)據(jù)存儲部22中的繪制參數(shù)，對由三維模型生成部21 生成的三維模型進(jìn)行三維繪制，由此生成二維的投影像(以下簡稱為"用戶像")。具體地 講，三維繪制部23執(zhí)行模型(modeling)變換、光源計算、投影變換、視口 (viewport)變換、 紋理映射等一系列的繪制處理，由此生成用戶像。在該繪制處理中，三維繪制部23在未圖 示的作為緩沖存儲器的顏色緩沖器和深度(d印th)緩沖器中存儲顏色信息和進(jìn)深信息。
其中，所說存儲在顏色緩沖器中的顏色信息，是表示三維模型被投影在投影面上 時的投影面上的位置與顏色之間的關(guān)系的信息。并且，所說存儲在深度緩沖器中的進(jìn)深信 息，是表示三維模型被投影在投影面上時的位置與進(jìn)深值之間的關(guān)系的信息。
操作判定部24是第1和第2操作判定部的一例，通過參照由三維繪制部23存儲 在顏色緩沖器和深度緩沖器中的顏色信息和進(jìn)深信息，執(zhí)行第1操作判定和第2操作判定。
具體地講，在由三維繪制部23生成的用戶像被顯示在顯示畫面上的情況下，操作 判定部24使用存儲在顏色緩沖器中的顏色信息來判定菜單圖像與用戶像是否重合(第1 操作判定)。 并且，在由三維繪制部23生成的用戶像被顯示在顯示畫面上的情況下，操作判定 部24計算用戶像向與顯示畫面垂直的方向的移動量。并且，操作判定部24根據(jù)所算出的 移動量來確定由用戶指定的顯示畫面上的坐標(biāo)(第2操作判定)。具體地講，操作判定部 24例如把與成為最大移動量的投影面上的位置相對應(yīng)的顯示畫面上的坐標(biāo)，確定為由用戶 指示的坐標(biāo)。另外，操作判定部24參照深度緩沖器計算當(dāng)前的用戶像與過去的用戶像之間 的進(jìn)深值的差分值，作為移動量。 在由操作判定部24判定為菜單圖像與第2用戶像重合的情況下，且由操作判定部 24確定的坐標(biāo)包含于顯示有菜單圖像的區(qū)域中的情況下，操作信息輸出部25向顯示圖像 合成部26和電子鏡控制部13等輸出與菜單圖像相對應(yīng)的操作信息。關(guān)于對應(yīng)于菜單圖像 的操作信息，例如可以從將菜單圖像和操作信息相對應(yīng)地存儲的操作信息表等中獲取。
顯示圖像合成部26根據(jù)由操作信息輸出部25輸出的操作信息，生成顯示用菜單 圖像。并且，顯示圖像合成部26將所生成的顯示用菜單圖像和由三維繪制部23生成的用 戶像合成，由此生成顯示用圖像。并且，顯示圖像合成部26將所生成的顯示用圖像輸出給 顯示部12。 控制部27控制遙控操作裝置20的各個構(gòu)成要素的動作。 另外，由三維模型生成部21生成的三維模型或由三維繪制部23生成的用戶像等， 也可以存儲在未圖示的存儲部中。該情況時，各個構(gòu)成要素讀出存儲在存儲部中的三維模 型或用戶像，使用所讀出的三維模型或用戶像來執(zhí)行處理。
下面，說明如上所述構(gòu)成的遙控操作裝置20的各種動作。 圖4A和圖4B是表示本發(fā)明的實(shí)施方式1的遙控操作裝置進(jìn)行的處理流程的流程 圖。并且，圖5是說明本發(fā)明的實(shí)施方式1的遙控操作裝置進(jìn)行的處理流程的圖。
首先，使用圖4A說明遙控操作裝置20的整體處理流程。 首先，三維模型生成部21根據(jù)用戶的三維人體計測數(shù)據(jù)生成三維模型(S101)。
然后，三維繪制部23對三維模型進(jìn)行三維繪制，由此生成用于顯示在顯示畫面上 的用戶像。在此，三維繪制部23在生成用戶像時生成顏色信息和進(jìn)深信息，并將所生成的 顏色信息和進(jìn)深信息存儲在繪制緩沖器401中(S102)。如圖5所示，繪制緩沖器401由顏 色緩沖器402和深度緩沖器403構(gòu)成，顏色緩沖器402存儲作為用戶在顯示畫面上的投影 像的顏色信息，深度緩沖器403存儲表示用戶距顯示畫面的距離的進(jìn)深信息。
然后，操作判定部24選擇成為操作判定的對象的、且還沒有被選擇的菜單圖像 (S103)。 然后，操作判定部24使用存儲在顏色緩沖器402中的顏色信息和存儲在深度緩沖 器403中的進(jìn)深信息，執(zhí)行操作判定處理(S104)。另外，關(guān)于操作判定處理的具體情況，將 在后面使用圖4B進(jìn)行說明。 并且，操作判定部24判定在步驟S103是否已選擇被顯示在顯示畫面上的全部菜 單圖像(S105)。其中，在沒有選擇全部菜單圖像的情況下(S105:否)，操作判定部24反復(fù) 進(jìn)行步驟S103 S104的處理。另一方面，在已選擇全部菜單圖像的情況下(S105:是)， 操作信息輸出部25輸出決定信息表示的、與由用戶"決定"的菜單圖像相對應(yīng)的操作信息 (S106)。 然后，顯示圖像合成部26根據(jù)所輸出的操作信息，生成顯示用菜單圖像404。具 體地講，顯示圖像合成部26例如生成將操作信息表示的菜單圖像的顏色變更后的顯示用 菜單圖像404。并且，顯示圖像合成部26向顯示部12輸出將所生成的顯示用菜單圖像404 和用戶像合成后的顯示用圖像405(S107)。最后，顯示部12將顯示用圖像405顯示在顯示 畫面上(S108)。 下面，使用圖4B說明遙控操作裝置20的操作判定處理的流程。在用于確定用戶 選擇及決定的菜單圖像的操作判定處理中，參照繪制緩沖器401。并且，操作判定處理可以 劃分為確定用戶"選擇"的菜單圖像的第1操作判定、和確定用戶"決定"的菜單圖像的第2 操作判定。 首先，說明第1操作判定(S111和S112)。操作判定部24從顏色緩沖器402獲取 在步驟S103被選擇的菜單圖像的顯示區(qū)域的顏色信息(Slll)。然后，操作判定部24判定菜單圖像的顯示區(qū)域中是否包含用戶像(S112)。具體地講，例如在與菜單圖像的顯示區(qū)域 對應(yīng)的位置的顏色信息是與初始值不同的值的情況下，操作判定部24判定為在該菜單圖 像的顯示區(qū)域中包含用戶像。 其中，在菜單圖像的顯示區(qū)域中包含用戶像的情況下(S112 :是)，操作判定部24 判定為該菜單圖像已被用戶選擇，并執(zhí)行第2操作判定。另一方面，在菜單圖像的顯示區(qū)域 中不包含用戶像的情況下(S112 :否)，操作判定部24判定為該菜單圖像沒有被用戶選擇， 不執(zhí)行第2操作判定。 下面，說明第2操作判定(S121 S124)。操作判定部24從深度緩沖器403獲取 在步驟S103被選擇的菜單圖像的顯示區(qū)域的進(jìn)深信息(S121)。其中，操作判定部24從深 度緩沖器403獲取當(dāng)前及過去的進(jìn)深信息。具體地講，操作判定部24例如從深度緩沖器 403獲取根據(jù)在步驟S101生成的三維模型而生成的進(jìn)深信息、和根據(jù)在該三維模型之前生 成的前一個三維模型而生成的進(jìn)深信息。 然后，操作判定部24按投影面上的每個位置計算所獲取的進(jìn)深信息表示的進(jìn)深 值的差分值(S122)。然后，操作判定部24判定所算出的差分值的最大值是否大于在其他菜 單圖像中已經(jīng)算出的差分值的最大值(S123)。 其中，在所算出的差分值的最大值大于在其他菜單圖像中已經(jīng)算出的差分值的最 大值的情況下(S123)，操作判定部24將表示由用戶"決定"的菜單圖像的確定信息更新為 表示該菜單圖像的信息(S124)。 如上所述，本實(shí)施方式的遙控操作裝置20能夠使用存儲在顏色緩沖器和深度緩 沖器中的顏色信息和進(jìn)深信息，確定由用戶"選擇"及"決定"的菜單圖像。即，遙控操作裝 置20能夠通過用于生成要顯示的用戶像的三維繪制處理，獲得相對在第1操作判定中使用 的顯示畫面為水平方向的信息、和相對在第2操作判定中使用的顯示畫面為垂直方向的信 息，并分別作為存儲在顏色存儲器和深度存儲器中的顏色信息和進(jìn)深信息，所以不需要其 他的計測處理或識別處理。即，遙控操作裝置20能夠利用比較簡單的結(jié)構(gòu)實(shí)現(xiàn)電子鏡裝置 10的遙控操作。 另外，操作判定部24參照的顏色信息中不僅包含可視顏色值(RGB或HSV等)，也 可以包含表示透明度的a值(A)等相應(yīng)位置的像素的控制信息。該情況時，例如在與菜單 圖像的顯示區(qū)域?qū)?yīng)的位置的顏色信息中上述的控制信息是與初始值不同的值的情況下， 操作判定部24可以判定為在該菜單圖像的顯示區(qū)域中包含用戶像。 另外，在進(jìn)深值的差分值的最大值未達(dá)到預(yù)定的閾值的情況下、或者不是顯示畫 面方向的移動的情況下，操作判定部24也可以不更新決定信息。由此，遙控操作裝置能夠 避免因用戶的非計劃動作而造成的誤操作。 并且，顯示圖像合成部26也可以根據(jù)由操作判定部24算出的進(jìn)深值的差分值，變 更菜單圖像或用戶像的顏色。由此，用戶能夠識別自己決定的菜單圖像。
(實(shí)施方式2) 下面，說明本發(fā)明的實(shí)施方式2的遙控操作裝置。 本實(shí)施方式的遙控操作裝置40與實(shí)施方式1的遙控操作裝置20的不同之處是，
生成用于執(zhí)行操作判定處理的用戶像和用于顯示在顯示畫面上的用戶像這一點(diǎn)。 圖6是表示具有本發(fā)明的實(shí)施方式2的遙控操作裝置的電子鏡裝置30的功能結(jié)構(gòu)的方框圖。本實(shí)施方式的遙控操作裝置40與實(shí)施方式1的遙控操作裝置20的不同之處是，三維繪制部和顯示圖像合成部的處理的一部分、以及存儲在數(shù)據(jù)存儲部中的數(shù)據(jù)的一部分，但其他部分相同。另外，在圖6中對與圖3相同的構(gòu)成要素標(biāo)注相同的標(biāo)號，并省略說明。 數(shù)據(jù)存儲部42存儲包括正交投影矩陣在內(nèi)的第1繪制參數(shù)(以下稱為"操作用繪
制參數(shù)")、和包括透視投影矩陣在內(nèi)的第2繪制參數(shù)(以下稱為"顯示用繪制參數(shù)")。 三維繪制部43使用存儲在數(shù)據(jù)存儲部42中的操作用繪制參數(shù)，對由三維模型生
成部21生成的三維模型進(jìn)行三維繪制，由此生成顏色信息和進(jìn)深信息。并且，三維繪制部
43將顏色信息存儲在顏色緩沖器中，將進(jìn)深信息存儲在深度緩沖器中。 另外，三維繪制部43使用存儲在數(shù)據(jù)存儲部42中的顯示用繪制參數(shù)，對由三維模
型生成部21生成的三維模型進(jìn)行三維繪制，由此生成顯示用的用戶像。 另外，三維繪制部43也可以由生成顯示用的用戶像的第1三維繪制部、和生成操
作用的用戶像的第2三維繪制部這兩個三維繪制部構(gòu)成。并且，控制部27也可以按照生成
顯示用的用戶像的處理和生成操作用的用戶像的處理，進(jìn)行時分控制。 顯示圖像合成部46根據(jù)由操作信息輸出部25輸出的操作信息，生成顯示用菜單
圖像。并且，顯示圖像合成部46將所生成的顯示用菜單圖像和由三維繪制部43生成的顯
示用的用戶像合成，由此生成顯示用圖像。并且，顯示圖像合成部46將所生成的顯示用圖
像輸出給顯示部12。 下面，說明如上所述構(gòu)成的遙控操作裝置40的各種動作。 圖7是表示本發(fā)明的實(shí)施方式2的遙控操作裝置進(jìn)行的處理流程的流程圖。并且，圖8是說明本發(fā)明的實(shí)施方式2的遙控操作裝置進(jìn)行的處理流程的圖。另外，在圖7中對與圖4A相同的處理標(biāo)注相同的標(biāo)號，并省略說明。 在執(zhí)行步驟S101的處理后，三維繪制部43使用操作用繪制參數(shù)對三維模型進(jìn)行三維繪制，由此生成操作用的用戶像(顏色信息及進(jìn)深信息)(S201)。并且，三維繪制部43將所生成的顏色信息及進(jìn)深信息存儲在操作用繪制緩沖器601中。另外，三維繪制部43使用與在步驟S202生成顯示用的用戶像時不同的投影矩陣，生成操作用的用戶像。
然后，操作判定部24和操作信息輸出部25執(zhí)行與實(shí)施方式1相同的步驟S103 S106的處理。其中，在步驟S104的操作判定處理中，操作判定部24使用存儲在操作用繪制緩沖器601中的顏色信息和進(jìn)深信息，執(zhí)行操作判定處理。具體地講，操作判定部24使用存儲在操作用顏色緩沖器602中的顏色信息進(jìn)行第1操作判定。并且，操作判定部24使用存儲在操作用深度緩沖器603中的進(jìn)深信息進(jìn)行第2操作判定。 然后，三維繪制部43使用顯示用繪制參數(shù)，對與在步驟S201生成操作用的用戶像時相同的三維模型進(jìn)行三維繪制，由此生成顯示用的用戶像(S202)。并且，三維繪制部43將所生成的顏色信息及進(jìn)深信息存儲在顯示用繪制緩沖器604中。另外，三維繪制部43使用與在步驟S201生成操作用的用戶像時不同的投影矩陣，生成顯示用的用戶像。
并且，顯示圖像合成部46根據(jù)所輸出的操作信息，生成顯示用菜單圖像605。并且，顯示圖像合成部46向顯示部12輸出將所生產(chǎn)的顯示用菜單圖像404和顯示用的用戶像合成后的顯示用圖像606(S203)。最后，顯示部12將顯示用圖像606顯示在顯示畫面上(S106)。
如上所述，本實(shí)施方式的遙控操作裝置40根據(jù)相同的三維模型來生成操作用的用戶像和顯示用的用戶像，下面使用圖9和圖10說明其優(yōu)選示例。 如圖9中的上部所示，在用戶701與顯示畫面702之間的距離較近的情況下，用戶像703被顯示得比較大。因此，由于用戶像703達(dá)到各個菜單圖像704，所以用戶701能夠指示各個菜單圖像704。 另一方面，如圖9中的下部所示，在用戶705與顯示畫面706之間的距離較遠(yuǎn)的情況下，用戶像707被顯示得比較小。因此，用戶705的用戶像707有時達(dá)不到菜單圖像708。該情況時，用戶705為了指示菜單圖像708需要移動。 這樣，用戶像的大小根據(jù)用戶與顯示畫面之間的距離而變化，這是因?yàn)轱@示在顯示畫面上的用戶像一般是通過考慮了遠(yuǎn)近感的透視投影而生成的。如圖IO所示，在透視投影中，在將視點(diǎn)801和對象802連接得到的投影線804與投影面803相交的位置生成有投影像805。因此，投影像805的大小根據(jù)對象802與投影面803之間的距離而變化?；谕敢曂队熬仃嚨耐队笆嚼孟率?1)表示。
式(1)
少1
'式(1) 在式(1)中，x、y、z表示投影前的三維坐標(biāo)，x'、y'、z'、w'表示投影后的三維坐標(biāo)，1、r、b、t、n、f分別示出表示三維空間的邊界的常數(shù)。根據(jù)式(1)可知，相對畫面為水平方向(XY方向)的坐標(biāo)根據(jù)垂直方向(Z方向)而變化。 與此相對，在通過正交投影來生成操作用的用戶像的情況下，用戶像的大小不根據(jù)用戶與顯示畫面之間的距離而變化。如圖11所示，在正交投影中，在投影線809與投影面808相交的位置生成有投影像810，該投影線809是從視點(diǎn)806側(cè)朝向?qū)ο?07延伸的、與投影面808垂直的互相平行的投影線。因此，投影像810的大小是固定的，與對象807和投影面808之間的距離無關(guān)?；谡煌队熬仃嚨耐队笆嚼孟率?2)表示。
式(2)<formula>formula see original document page 12</formula>'式(2) 根據(jù)式(2)可知，相對畫面為水平方向(XY方向)的坐標(biāo)不依賴于垂直方向(Z方向)。因此，水平方向的信息和垂直方向的信息被準(zhǔn)確分離地存儲在操作用顏色緩沖器602和操作用深度緩沖器603中。 三維繪制部43根據(jù)正交投影矩陣來生成存儲在操作用繪制緩沖器中的顏色信息和進(jìn)深信息，由此用戶能夠憑借固定的操作感覺來指示菜單圖像，而和在與顯示畫面垂直的方向上的用戶的位置關(guān)系無關(guān)。 另外，在實(shí)施方式2中，三維繪制部43使用正交投影矩陣來生成操作用的用戶像，但也可以使用其他的投影矩陣來生成操作用的用戶像。圖12是說明本發(fā)明的實(shí)施方式2的變形例的圖。如圖12所示，由于用戶901與顯示畫面902的大小關(guān)系，即使三維繪制部43根據(jù)上述的正交投影矩陣來生成操作用的用戶像，用戶像也達(dá)不到菜單或不能馬上觸及到菜單，所以用戶有時不容易指示菜單圖像。因此，三維繪制部43也可以使用根據(jù)用戶901與顯示畫面902的大小(例如已計測的高度或橫寬等)來改變用戶像903的大小的投影矩陣，生成操作用的用戶像。具體地講，三維繪制部43可以使用例如以點(diǎn)(Cx、Cy)為中心將用戶像903放大或縮小至s倍的投影矩陣，生成操作用的用戶像?；趯⒂脩粝穹糯蠡蚩s小至s倍的投影矩陣的投影式利用下式(3)表示。
式(3)<formula>formula see original document page 13</formula> 這樣，變形例的遙控操作裝置使用將用戶像放大或縮小至s倍的投影矩陣來生成操作用的用戶像，由此始終能夠生成用戶901容易指示菜單圖像的用戶像904，而與用戶901和顯示畫面902的大小無關(guān)。 另外，本實(shí)施方式示出的用于生成操作用的用戶像的投影矩陣只是一例，本發(fā)明的遙控操作裝置也可以使用其他的投影矩陣來生成操作用的用戶像。例如，在遙控操作裝置生成從任意位置的視點(diǎn)對用戶的三維模型進(jìn)行三維繪制得到的用戶像、或者生成左右翻轉(zhuǎn)后的用戶像等情況下，用于生成顯示用的用戶像的投影矩陣變化。但是，在這種情況下，也可以將在生成操作用的用戶像時使用的投影矩陣固定。由此，用戶能夠憑借相同的操作感覺來指示菜單圖像。 并且，在生成操作用的用戶像的情況下生成的顏色信息不一定是表示實(shí)際的用戶顏色的信息，只要是表示有無用戶像的信息(例如1比特的數(shù)據(jù))即可。這是因?yàn)椴僮饔玫挠脩粝癫恍枰@示在顯示部12上。由此，遙控操作裝置能夠削減使用存儲器區(qū)域。
另外，在本實(shí)施方式中，顯示在顯示畫面上的顯示用的用戶像和在操作判定處理中使用的操作用的用戶像不同，所以也可以顯示操作用的用戶像的輪廓，還可以將操作用的用戶像的顏色顯示為半透明狀。由此，用戶容易理解操作。 以上，根據(jù)實(shí)施方式說明了本發(fā)明的遙控操作裝置，但本發(fā)明不限于這些實(shí)施方式。只要不脫離本發(fā)明的宗旨，對實(shí)施方式進(jìn)行本領(lǐng)域技術(shù)人員能夠想到的各種變形后的方式、或者將不同的實(shí)施方式中的構(gòu)成要素組合起來構(gòu)成的方式，也包含于本發(fā)明的范圍之內(nèi)。 例如，上述實(shí)施方式中的遙控操作裝置在執(zhí)行第1操作判定之后執(zhí)行第2操作判 定，但也可以在執(zhí)行第2操作判定之后執(zhí)行第1操作判定。具體地講，遙控操作裝置確定向 與顯示畫面垂直的方向的移動量為預(yù)定的閾值以上的坐標(biāo)，并判定該坐標(biāo)是否包含于菜單 圖像的顯示區(qū)域中。預(yù)定的閾值例如可以是預(yù)先設(shè)定的值，也可以是算出的移動量的最大 值。 并且，上述實(shí)施方式中的遙控操作裝置通過三維繪制處理來生成與顯示畫面是實(shí) 際的鏡子時相同的用戶的像，但也可以生成與映到實(shí)際的鏡子上的鏡像不同的用戶像，并 輸出給顯示部。具體地講，遙控操作裝置也可以通過使與顯示畫面平行的方向成為視線的 三維繪制，輸出例如映出用戶的側(cè)面的用戶像。 并且，上述實(shí)施方式的遙控操作裝置具有的各個功能單元典型地可以實(shí)現(xiàn)為作為 集成電路的LSI (Large Scale Integration :大規(guī)模集成電路)。即，如圖3或圖6所示，遙 控操作裝置典型地可以由LSI51或LSI52構(gòu)成。另外，這些功能單元可以獨(dú)立地單芯片化， 也可以包含一部分或全部地單芯片化。并且，數(shù)據(jù)存儲部可以設(shè)于集成電路的內(nèi)部或外部， 也可以利用單體或多個存儲器構(gòu)成。此處是形成為LSI，但根據(jù)集成程度的不同，有時也稱 為IC(Integration Circuit :集成電路)、系統(tǒng)LSI、超級(super)LSI或特級(ultra)LSI。 并且，集成電路化的方法不限于LSI，也可以利用專用電路或通用處理器實(shí)現(xiàn)。并且，也可 以采用在制作LSI后能夠編程的FPGA(FieldProgrammable Gate Array :現(xiàn)場可編程門陣 列)、或者能夠再構(gòu)成LSI內(nèi)部的電路單元的連接或設(shè)定的可重構(gòu)處理器。另外，如果伴隨 半導(dǎo)體技術(shù)的發(fā)展或利用派生的其他技術(shù)替換LSI的集成電路化的技術(shù)問世，當(dāng)然也可以 使用該技術(shù)進(jìn)行功能單元的集成化。還存在適用生物技術(shù)等的可能性。
并且，在上述實(shí)施方式中示出了電子鏡裝置具有遙控操作裝置的示例，但具有生 成用戶的三維模型并從任意視點(diǎn)進(jìn)行顯示的功能的其他裝置也可以具有遙控操作裝置。具 體地講，如圖13所示，除了電子鏡裝置1103之外，例如電視機(jī)1104、記錄器/播放器1105 或游戲機(jī)1106等各種設(shè)備，也可以具有遙控操作裝置。該情況時，只要具有系統(tǒng)LSI1101 的模塊基板1102即可，該系統(tǒng)LSI1101實(shí)現(xiàn)了遙控操作裝置具有的各個功能單元。
并且，本發(fā)明也可以實(shí)現(xiàn)為以遙控操作裝置具有的特征構(gòu)成要素的動作為步驟 的遙控操作方法。并且，還可以實(shí)現(xiàn)為使具有CPU(CentralProcessing Unit :中央處理單 元)、存儲器等的計算機(jī)執(zhí)行這種遙控操作方法中包含的步驟的程序。并且，這種程序也可 以通過CD-ROM等記錄介質(zhì)或因特網(wǎng)等傳輸介質(zhì)來發(fā)布。
產(chǎn)業(yè)上的可利用性 本發(fā)明的遙控操作裝置能夠用作生成用戶的三維模型并根據(jù)所生成的三維模型
來顯示任意視點(diǎn)的用戶像的電子鏡裝置、電視機(jī)、記錄器/播放器、或游戲機(jī)等各種設(shè)備的
用戶接口。 標(biāo)號說明 10、30、1103電子鏡裝置；11三維人體形狀計測部；12顯示部；13電子鏡控制部；
20、40遙控操作裝置；21三維模型生成部；22、42數(shù)據(jù)存儲部；23、43三維繪制部；24操作 判定部；25操作信息輸出部；26、46顯示圖像合成部；27控制部;51、52 LSI ;101、201、701、 705、901用戶;102三維人體形狀計測裝置;103、202、702、706、9Q2顯示畫面；104、2Q3用戶的投影像；207、704、708菜單圖像；401繪制緩沖器；402顏色緩沖器；403深度緩沖器；404、 605顯示用菜單圖像；405、606顯示用圖像；601操作用繪制緩沖器；602操作用顏色緩沖 器；603操作用深度緩沖器；604顯示用繪制緩沖器；703、707、903、904用戶像；801、806視 點(diǎn);802、807對象;803、808投影面;804、809投影線;805、810投影像;1101系統(tǒng)LSI ;1102 模塊基板；1104電視機(jī)；1105記錄器/播放器；1106游戲機(jī)。
權(quán)利要求
一種遙控操作裝置，用于輸出與顯示在顯示畫面上的菜單圖像相對應(yīng)的操作信息，該菜單圖像由位于與所述顯示畫面分離的位置的用戶所指定，該遙控操作裝置具有三維模型生成部，生成第1和第2三維模型，該第1和第2三維模型是表示在第1時刻及在所述第1時刻之后的第2時刻的所述用戶的形狀的外觀的三維模型；三維繪制部，對由所述三維模型生成部生成的第1和第2三維模型進(jìn)行三維繪制，由此生成第1和第2用戶像；第1操作判定部，在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像是否重合；第2操作判定部，計算在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的情況下、所述第2用戶像向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算出的移動量，確定表示所述用戶所指定的位置的、所述顯示畫面上的坐標(biāo)；和操作信息輸出部，在由所述第1操作判定部判定為所述菜單圖像與所述第2用戶像重合的情況下，且在由所述第2操作判定部確定的坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域中的情況下，輸出與所述菜單圖像相對應(yīng)的操作信息，所述第2操作判定部參照存儲有在對所述第1和第2三維模型進(jìn)行三維繪制時生成的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器，來計算所述第1用戶像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所述移動量。
2. 根據(jù)權(quán)利要求1所述的遙控操作裝置，所述三維繪制部使用第1投影矩陣對所述第1和第2三維模型進(jìn)行三維繪制，由此生 成所述第1和第2用戶像，并使用與第1投影矩陣不同的第2投影矩陣對所述第2三維模 型進(jìn)行三維繪制，由此生成第3用戶像，在所述顯示畫面上顯示由所述三維繪制部生成的第3用戶像。
3. 根據(jù)權(quán)利要求2所述的遙控操作裝置， 所述第1投影矩陣是正交投影矩陣， 所述第2投影矩陣是透視投影矩陣。
4. 根據(jù)權(quán)利要求2所述的遙控操作裝置，所述第1投影矩陣是按照所述用戶的大小和所述顯示畫面的大小來使用戶像的大小 改變的投影矩陣。
5. —種遙控操作方法，用于輸出與顯示在顯示畫面上的菜單圖像相對應(yīng)的操作信息， 該菜單圖像由位于與所述顯示畫面分離的位置的用戶所指定，該遙控操作方法包括三維模型生成步驟，生成第1和第2三維模型，該第1和第2三維模型是表示在第1時 刻及在所述第1時刻之后的第2時刻的所述用戶的形狀的外觀的三維模型；三維繪制步驟，對在所述三維模型生成步驟中生成的第1和第2三維模型進(jìn)行三維繪 制，由此生成第1和第2用戶像；第1操作判定步驟，在所述顯示畫面上顯示所述三維繪制步驟中生成的第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像是否重合；第2操作判定步驟，計算在所述顯示畫面上顯示所述三維繪制步驟中生成的第2用戶 像的情況下、所述第2用戶像向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算 出的移動量，確定表示所述用戶所指定的位置的、所述顯示畫面上的坐標(biāo)；禾口操作信息輸出步驟，在所述第1操作判定步驟判定為所述菜單圖像與所述第2用戶像 重合的情況下，且在所述第2操作判定步驟確定的坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域 中的情況下，輸出與所述菜單圖像相對應(yīng)的操作信息，所述第2操作判定步驟中，參照存儲有在對所述第1和第2三維模型進(jìn)行三維繪制時 生成的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器，來計算所述 第1用戶像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所述移動量。
6. —種集成電路，用于輸出與顯示在顯示畫面上的菜單圖像相對應(yīng)的操作信息，該菜 單圖像由位于與所述顯示畫面分離的位置的用戶所指定，該集成電路具有三維模型生成部，生成第1和第2三維模型，該第1和第2三維模型是表示在第1時刻 及在所述第1時刻之后的第2時刻的所述用戶的形狀的外觀的三維模型；三維繪制部，對由所述三維模型生成部生成的第l和第2三維模型進(jìn)行三維繪制，由此 生成第1和第2用戶像；第1操作判定部，在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像是否重合；第2操作判定部，計算在所述顯示畫面上顯示由所述三維繪制部生成的第2用戶像的 情況下、所述第2用戶像向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算出的 移動量，確定表示所述用戶所指定的位置的、所述顯示畫面上的坐標(biāo)；禾口操作信息輸出部，在由所述第1操作判定部判定為所述菜單圖像與所述第2用戶像重 合的情況下，且在由所述第2操作判定部確定的坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域中 的情況下，輸出與所述菜單圖像相對應(yīng)的操作信息，所述第2操作判定部參照存儲有在對所述第1和第2三維模型進(jìn)行三維繪制時生成 的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器，來計算所述第1 用戶像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所述移動量。
7. —種程序，用于輸出與顯示在顯示畫面上的菜單圖像相對應(yīng)的操作信息，該菜單圖 像由位于與所述顯示畫面分離的位置的用戶所指定，該程序使計算機(jī)執(zhí)行下列步驟三維模型生成步驟，生成第1和第2三維模型，該第1和第2三維模型是表示在第1時 刻及在所述第1時刻之后的第2時刻的所述用戶的形狀的外觀的三維模型；三維繪制步驟，對在所述三維模型生成步驟中生成的第1和第2三維模型進(jìn)行三維繪 制，由此生成第1和第2用戶像；第1操作判定步驟，在所述顯示畫面上顯示所述三維繪制步驟中生成的第2用戶像的情況下，判定所述菜單圖像與所述第2用戶像是否重合；第2操作判定步驟，計算在所述顯示畫面上顯示所述三維繪制步驟中生成的第2用戶 像的情況下、所述第2用戶像向與所述顯示畫面垂直的方向移動的移動量，并根據(jù)所計算 出的移動量，確定表示所述用戶所指定的位置的、所述顯示畫面上的坐標(biāo)；禾口操作信息輸出步驟，在所述第1操作判定步驟判定為所述菜單圖像與所述第2用戶像 重合的情況下，且在所述第2操作判定步驟確定的坐標(biāo)包含于顯示有所述菜單圖像的區(qū)域 中的情況下，輸出與所述菜單圖像相對應(yīng)的操作信息，所述第2操作判定步驟中，參照存儲有在對所述第1和第2三維模型進(jìn)行三維繪制時 生成的、表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器，來計算所述第1用戶像的進(jìn)深值與所述第2用戶像的進(jìn)深值之間的差分值，作為所述移動j
全文摘要
提供一種遙控操作裝置及遙控操作方法，能夠利用較簡單的結(jié)構(gòu)實(shí)現(xiàn)電子鏡裝置等的遙控操作。該遙控操作裝置具有三維繪制部(23)，根據(jù)第1和第2三維模型生成第1和第2用戶像；第1操作判定部(24)，判定菜單圖像與第2用戶像是否重合；第2操作判定部(24)，根據(jù)第2用戶像向與顯示畫面垂直的方向的移動量，確定表示用戶指定的位置的顯示畫面上的坐標(biāo)；操作信息輸出部(25)，在菜單圖像與第2用戶像重合的情況下，且所確定的坐標(biāo)包含于顯示有菜單圖像的區(qū)域中的情況下，輸出對應(yīng)于菜單圖像的操作信息，第2操作判定部(24)參照存儲有表示投影面上的坐標(biāo)與進(jìn)深值之間的關(guān)系的進(jìn)深信息的深度緩沖器來計算第1用戶像的進(jìn)深值與第2用戶像的進(jìn)深值之間的差分值，作為移動量。
文檔編號G06T15/00GK101784980SQ20098010007
公開日2010年7月21日 申請日期2009年5月29日 優(yōu)先權(quán)日2008年6月2日
發(fā)明者石橋裕大 申請人:松下電器產(chǎn)業(yè)株式會社