專利名稱：圖像處理設(shè)備和方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法及程序。更具體地，本發(fā)明涉及以最小處理量允 許指示設(shè)備的高識別魯棒性和高準(zhǔn)確位置檢測的圖像處理設(shè)備和方法，并且涉及其程序。
背景技術(shù)：
近來，已經(jīng)提出在照相機中使用多個界面來識別被用作指示設(shè)備的用戶的手的姿 勢，并且基于識別結(jié)果提供設(shè)備控制。例如，日本待審專利申請公開說明書No. 8-44490公開了被配置成從電荷耦合器 件(CCD)照相機輸入的所捕獲的圖像中提取對應(yīng)于用戶的手的部分并且基于手的形狀或 位置執(zhí)行控制的界面。

發(fā)明內(nèi)容
在從所捕獲的圖像中提取對應(yīng)于用戶的手的部分的情況下，提取例如所捕獲的圖 像中所有對象的輪廓，并且使用例如匹配的技術(shù)，根據(jù)輪廓形狀選擇對應(yīng)于手的部分，導(dǎo)致 大量處理和相對較長的處理時間。此外，由于存在各種手的形狀，在基于輪廓形狀的手的識 別情況下，手的識別的魯棒性較低，并且手的位置檢測的準(zhǔn)確性也較低。因此，期望以最小處理量提供指示設(shè)備的高識別魯棒性和高準(zhǔn)確位置檢測。根據(jù)本發(fā)明的實施例，圖像處理設(shè)備包含以下單元。提取裝置從所捕獲的圖像提 取特征點。識別裝置識別特征點的位置。顯示控制裝置基于特征點的位置執(zhí)行控制以顯示 指示該特征點的特征點指針。提交裝置基于特征點的位置提交對應(yīng)于該特征點的位置或該 特征點的運動的命令。在根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中，顯示控制裝置可以基于特征點的位置 執(zhí)行控制以顯示特征點指針和預(yù)定用戶界面，并且提交裝置可以基于特征點的位置提交對 應(yīng)于用戶界面中在該特征點的位置處顯示的用戶界面的命令。在根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中，提取裝置可以從所捕獲的圖像中提取 多個特征點，并且提交裝置可以針對每個特征點，基于特征點的位置提交對應(yīng)于該特征點 的位置或該特征點的運動的命令。 在根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中，顯示控制裝置可以針對每個特征點， 基于特征點的位置執(zhí)行控制以顯示指示該特征點的特征點指針和預(yù)定用戶界面，并且提交 裝置可以針對每個特征點，基于特征點的位置提交對應(yīng)于用戶界面中在該特征點的位置處 顯示的用戶界面的命令。 在根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中，顯示控制裝置可以針對每個特征點，基于特征點的位置執(zhí)行控制以顯示指示該特征點的特征點指針并且顯示預(yù)定用戶界面，預(yù) 定用戶界面由多個特征點共享，并且提交裝置可以針對每個特征點，基于特征點的位置提 交對應(yīng)于用戶界面中在該特征點的位置處顯示的用戶界面的命令。在根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中，提取裝置可以從所捕獲的圖像中提取 多個特征點，并且提交裝置可以提交對應(yīng)于多個特征點的位置或運動的命令。根據(jù)本發(fā)明的另一個實施例，被配置成從所捕獲的圖像中提取特征點的圖像處理 設(shè)備的圖像處理方法包含步驟從所捕獲的圖像中提取特征點；識別特征點的位置；基于 特征點的位置，顯示指示該特征點的特征點指針；和基于特征點的位置，提交對應(yīng)于該特征 點的位置或該特征點的運動的命令。根據(jù)本發(fā)明的另一個實施例，一個程序使計算機執(zhí)行從所捕獲的圖像中提取特征 點的圖像處理，該圖像處理包含步驟從所捕獲的圖像中提取特征點；識別特征點的位置； 基于特征點的位置，顯示指示該特征點的特征點指針；和基于特征點的位置，提交對應(yīng)于該 特征點的位置或該特征點的運動的命令。根據(jù)本發(fā)明的實施例，從所捕獲的圖像中提取特征點，識別特征點的位置，基于特 征點的位置顯示指示該特征點的特征點指針，和基于特征點的位置提交對應(yīng)于該特征點的 位置或該特征點的運動的命令。因此，根據(jù)本發(fā)明的實施例，通過最小處理量實現(xiàn)了指示設(shè)備的高識別魯棒性和 高準(zhǔn)確位置檢測。


圖1是示出根據(jù)本發(fā)明的第一實施例的圖像處理設(shè)備的概況的圖例；圖2是示出圖1所示的圖像處理設(shè)備的示例結(jié)構(gòu)的方框圖；圖3是示出抓住特征點指針的運動的圖例；圖4是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖5是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖6是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖7是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖8是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖9是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖10是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖11是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖12是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖13是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖14是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖15是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖16是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖17是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖18是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖19是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；
圖20是示出在圖2所示的圖像處理設(shè)備中使用指示設(shè)備的第二個例子的圖例；圖21是示出由圖2所示的圖像處理設(shè)備執(zhí)行的圖像處理的流程圖；圖22是示出根據(jù)本發(fā)明的第二實施例的圖像處理設(shè)備的示例結(jié)構(gòu)的方框圖；圖23是示出在圖22所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖M是示出由圖22所示的圖像處理設(shè)備執(zhí)行圖像處理的流程圖；圖25是示出由兩個用戶執(zhí)行操作的例子的圖例；圖沈是示出由兩個用戶執(zhí)行操作的另一個例子的圖例；圖27是示出根據(jù)本發(fā)明的第三實施例的圖像處理設(shè)備的示例結(jié)構(gòu)的方框圖；圖觀是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖四是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖30是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖31是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖32是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖33是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖34是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖35是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖36是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖37是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；圖38是示出在圖27所示的圖像處理設(shè)備中使用指示設(shè)備的例子的圖例；和圖39是示出由圖27所示的圖像處理設(shè)備執(zhí)行的圖像處理的流程圖。
具體實施例方式在描述本發(fā)明的實施例之前，討論權(quán)利要求的特征和本發(fā)明的實施例所公開的具 體元素之間的對應(yīng)關(guān)系。這個描述旨在保證本說明書中描述了支持要求保護的發(fā)明的實施 例。于是，即使以下實施例中的元素未被描述為與本發(fā)明的某個特征相關(guān)，這也不必定表明 該元素與權(quán)利要求的該特征無關(guān)。反之，即使實施例中的元素被描述為與本發(fā)明的某個特 征相關(guān)，這也不必定表明該元素與權(quán)利要求的其它特征無關(guān)。根據(jù)本發(fā)明的實施例，圖像處理設(shè)備(圖2所示的圖像處理設(shè)備11)包含從所捕 獲的圖像中提取特征點的提取裝置(例如，圖2所示的特征點提取單元34)；識別特征點的 位置的識別裝置(例如，圖2所示的計算單元35)；基于特征點的位置執(zhí)行控制，以顯示指 示特征點的特征點指針的顯示控制裝置(例如，圖2所示的合成裝置39)；和基于特征點的 位置，提交對應(yīng)于特征點的位置或特征點的運動的命令的提交裝置(例如，圖2所示的命令 提交單元38)。根據(jù)本發(fā)明的另一個實施例，被配置成從所捕獲的圖像中提取特征點的圖像處理 設(shè)備(例如，圖2所示的圖像處理設(shè)備11)的圖像處理方法包含步驟從所捕獲的圖像中提 取特征點(例如，圖21所示的步驟S13)；識別特征點的位置(例如，圖21所示的步驟S17)； 基于特征點的位置，顯示指示特征點的特征點指針(例如，圖21所示的步驟S15)；和基于 特征點的位置，提交對應(yīng)于特征點的位置或特征點的運動的命令(例如，圖21所示的步驟 S19)。
參考附圖詳細(xì)描述本發(fā)明的具體實施例。圖1示出根據(jù)本發(fā)明的第一實施例的圖像處理設(shè)備的概況。參照圖1，圖像處理設(shè)備11包含被配置成捕獲用戶的圖像的照相機12。圖像處理 設(shè)備11分析用戶的所捕獲的圖像，并且在例如顯示監(jiān)視器的、在圖像處理設(shè)備11上提供的 顯示單元13上顯示通過分析得到的圖像。在圖1所示的例子中，用戶觀看頻道I(Ich)上的電視節(jié)目。在這個例子中，用戶 首先向照相機12揮手以改變要觀看的電視節(jié)目的頻道。接著，如圖1所示，在圖像處理設(shè)備11中，在顯示單元13的頻道1的電視節(jié)目圖 像上顯示指示所捕獲的圖像的特征點的特征點指針14，和要進行操作以選擇每個頻道的用 戶界面(UI) 15-1到15-7。在顯示單元13上，也半透明的方式顯示所捕獲的圖像的鏡像或 水平翻轉(zhuǎn)的圖像。將UI15-1到15-7沿環(huán)繞原始特征點指針14的預(yù)定圓圈的圓周布置。為 UI 15-1到15-7分配可選頻道的編號。接著，當(dāng)觀看當(dāng)前顯示單元13上以半透明的方式顯示的所捕獲的圖像時，用戶執(zhí) 行動作用其手指從左邊和右邊包圍現(xiàn)實世界的對應(yīng)于特征點指針14的空間體積，使得用 戶的手可以圍繞空間體積閉合。在以下說明中，這個運動被稱為"抓住"。用戶移動抓住 特征點指針14的手，使得特征點指針14可以被疊加在UI 15-1到15-7中分配有期望觀看 的電視節(jié)目的頻道號的UI上。圖像處理設(shè)備11檢測由用戶從使用照相機12捕獲的圖像中抓住的特征點指針14 指示的特征點的位置，并且提交UI 15-1到15-7中對應(yīng)于位于特征點的位置的UI的命令。例如，在圖1中，用戶移動其用手指抓住特征點指針14的手，使得特征點指針14 能夠被放在顯示單元13顯示的UI 15-4上，UI 15-4分配有頻道〃 6〃。接著，提交顯示頻 道6的電視節(jié)目圖像的命令。結(jié)果，用戶可以觀看頻道6的電視節(jié)目。在下面的描述中，UI 15-1到15-7被共同稱作〃 UI 15〃，除非另外單獨標(biāo)識。圖2是示出圖1所示的圖像處理設(shè)備11的示例結(jié)構(gòu)的方框圖。圖2所示的圖像處理設(shè)備11包含照相機12、顯示單元13、圖像獲得單元31、幀緩 沖器32、觸發(fā)檢測單元33、特征點提取單元34、計算單元35、UI繪制單元36、命令確定單元 37、命令提交單元38和合成單元39。 照相機12可以是攝像機，其包含被配置成將光學(xué)圖像轉(zhuǎn)換成電信號的光電轉(zhuǎn)換 單元，例如CCD傳感器或互補金屬氧化物半導(dǎo)體(CM0Q傳感器，并且照相機12被配置成捕 獲用戶的圖像。照相機12向圖像獲得單元31逐幀提供所捕獲的圖像。圖像獲得單元31向幀緩沖器32和合成單元39提供從照相機12提供的所捕獲的 圖像。幀緩沖器32存儲在對應(yīng)于預(yù)定數(shù)量的幀的時間段逐幀從圖像獲得單元31提供的所 捕獲的圖像。觸發(fā)檢測單元33從幀緩沖器32中讀取所捕獲的圖像。觸發(fā)檢測單元33基于所 捕獲的圖像檢測指示用戶向照相機12揮手的觸發(fā)?？梢允褂美绶治鰰r域中的頻率分量 的方法，或使用幀間差值分析運動區(qū)域的運動的方法來檢測觸發(fā)。觸發(fā)檢測單元33向特征 點提取單元34提供指示在所捕獲的圖像內(nèi)檢測到用戶揮手的區(qū)域的區(qū)域信息。特征點提取單元34從幀緩沖器32中讀取所捕獲的圖像。特征點提取單元34在 由觸發(fā)檢測單元33提供的區(qū)域信息指定的所捕獲的圖像的區(qū)域內(nèi)使用亮度分量提取一個角點作為特征點。術(shù)語"角點"表示在X方向(水平方向)和Y方向(垂直方向)上都具 有較大亮度梯度的點。角點的例子包含Harr i s角點和使用SUSAN操作符提取的角點。例如，在可 以從 http://www. oita-ri. go. jp/r印ort/2002/2002_12. pdf 的主頁得到的、標(biāo)題 為"Detection of an Image Feature Point using the SUSAN Operator"的文章中描述 了使用SUSAN操作符提取角點的技術(shù)。因此，由于特征點提取單元34使用所捕獲的圖像的亮度分量提取特征點，所以在 照明環(huán)境條件下的特征點提取的魯棒性較高。特征點提取單元34向計算單元35和UI繪制單元36提供指示所提取的特征點的 位置的提取位置信息。計算單元35從幀緩沖器32中讀取所捕獲的圖像的兩個相鄰幀。計算單元35根 據(jù)所捕獲圖像的已讀取的兩個幀和特征點提取單元；34提供的提取位置信息或指示特征點 的當(dāng)前位置的特征點信息，針對每個幀計算特征點的光流。例如，可以使用塊匹配方法或梯度法計算光流。如上所述，由于角點是在X方向和 Y方向上具有較大亮度梯度的點，所以光流的計算準(zhǔn)確度較高。計算單元35還基于光流識別特征點的當(dāng)前位置，并且更新特征點信息。計算單元 35向UI繪制單元36和命令確定單元37提供特征點信息。UI繪制單元36事先存儲特征點指針圖像和UI圖像。UI繪制單元36基于從特征 點提取單元34提供的提取位置信息確定UI的布置，使得可以將UI圍繞特征點排列。UI繪 制單元36向合成單元39提供事先存儲在其中的指示UI的布置的UI信息和UI圖像。UI 繪制單元36還向合成單元39提供事先存儲在其中的特征點指針圖像和從計算單元35提 供的提取位置信息或特征點信息。UI繪制單元36還向命令確定單元37提供UI信息。命令確定單元37基于從計算單元35提供的特征點信息和從UI繪制單元36提供 的UI信息，檢測當(dāng)前在特征點的位置處顯示的UI。命令確定單元37向命令提交單元38提 供指示已經(jīng)操作UI的事件和標(biāo)識該UI的標(biāo)識信息。命令確定單元37事先存儲表，表中特征點的運動和事件或命令彼此相關(guān)。命令確 定單元37基于從計算單元35提供的特征點信息，識別特征點的位置的軌跡，并且從事先存 儲在其中的表中讀取與由軌跡指示的運動相關(guān)的事件或命令。命令確定單元37向命令提 交單元38提供所讀取的事件或命令。命令提交單元38事先存儲表，表中標(biāo)識信息和對應(yīng)于由標(biāo)識信息標(biāo)識的UI的命 令彼此相關(guān)。命令提交單元38基于從命令確定單元37提供的事件和標(biāo)識信息，從事先存 儲在其中的表中讀取與標(biāo)識信息標(biāo)識的UI相關(guān)的命令，并且提交該命令。命令提交單元38 還提交從命令確定單元37提供的事件或命令作為命令。合成單元39從例如通過調(diào)諧器或通過網(wǎng)絡(luò)連接的設(shè)備的外部設(shè)備(未示出)獲 得期望觀看的內(nèi)容的圖像。合成單元39向顯示單元13提供所期望的圖像，使得所期望的 圖像被直接顯示為顯示期望圖像的屏幕的圖像(以下簡稱"圖像觀看屏幕")。合成單元39還基于從UI繪制單元36提供的UI信息、UI圖像、提取位置信息或特 征點信息、和特征點指針圖像，將UI圖像和特征點指針圖像與圖像觀看屏幕的圖像合并， 并且向顯示單元13提供合成圖像以用于顯示。
8
此外，合成單元39產(chǎn)生從圖像獲得單元31提供的所捕獲的圖像的鏡象。合成單元 39還將所捕獲的圖像的鏡象與圖像觀看屏幕的合成圖像合并，使得所捕獲圖像的鏡象可以 以半透明方式在合成UI圖像和特征點指針圖像的圖像觀看屏幕上顯示。合成單元39向顯 示單元13提供結(jié)果合成圖像以用于顯示?，F(xiàn)在參照圖3描述抓住特征點指針14的動作。在圖3中，空間體積51是其位置對應(yīng)于圖1所示顯示單元13上顯示的特征點指 針14的位置的空間體積。如圖3所示，當(dāng)用戶通過手指從左邊和右邊包圍空間體積51來 用其手的抓住特征點指針14，使得手可以圍繞空間體積51閉合時，特征點位于抓住特征點 指針14的手的圖像中。當(dāng)用戶移動抓住特征點指針14的手時，指示手的運動的光流被作為特征點的光 流來計算。結(jié)果，用戶可以使用抓住特征點指針14的手作為指示設(shè)備。因此，圖像處理設(shè)備11被配置成識別由通過用戶的手抓住的特征點指針14指示 而且和用戶的手一起移動的特征點，而不是基于用戶的手的形狀等等識別用戶的手以檢測 手的運動，并且檢測特征點的運動為用戶的手的運動。因此，與基于用戶的手的形狀等等識 別用戶的手以檢測手的運動的情況相比，可以用最小量的處理來提高指示設(shè)備的位置檢測 的識別魯棒性和精度。此外，在圖像處理設(shè)備11中，一旦用戶用其手的抓住了特征點指針14，則可以檢 測到手的運動。假定一旦用戶移動其手則檢測手的運動的檢測方法被稱為全自動手姿勢檢 測方法，圖像處理設(shè)備11使用的檢測方法可以被稱作半自動手姿勢檢測方法。現(xiàn)在參考圖4到11描述圖像處理設(shè)備11中指示設(shè)備的使用。如圖4所示，首先，用戶在觀看例如頻道1上的電視節(jié)目期間向照相機12揮動其 手。在圖像處理設(shè)備11中，用戶的手的揮動被檢測為區(qū)域61內(nèi)的觸發(fā)，并且在區(qū)域61中 提取特征點。接著，如圖5所示，在顯示單元13上，將所捕獲的圖像的鏡象以半透明方式顯示在 圖像觀看屏幕上，在圖像觀看屏幕上當(dāng)前正顯示頻道1的電視節(jié)目的圖像，并且根據(jù)特征 點顯示特征點指針14和UI 15。因而，用戶可以同時觀看作為要觀看的目標(biāo)的頻道1的電 視節(jié)目的圖像，面對照相機12的用戶的圖像、特征點指針14和UI 15。接著，如圖6所示，在觀看當(dāng)前在顯示單元13上顯示的特征點指針14的同時，用 戶用其右手的手指從左邊和右邊包圍對應(yīng)于特征點指針14的空間體積，使得用戶的右手 可以以圖7所示的方式圍繞空間體積閉合。即，用戶抓住特征點指針14。接著，例如，在觀看在顯示單元13上當(dāng)前顯示的特征點指針14和UI 15的同時， 用戶以圖8所示的方式將其抓住特征點指針14的右手移動到相對照相機12的左邊，使得 特征點指針14可以被疊加在顯示單元13的圖像觀看屏幕上的UI 15-2上。因而，設(shè)置頻道3的電視節(jié)目作為要觀看的目標(biāo)的命令被作為與UI15-2相關(guān)的命 令提交。結(jié)果，如圖8所示，要在顯示單元13上顯示的目標(biāo)圖像被從頻道1的電視節(jié)目圖 像轉(zhuǎn)變到頻道3的電視節(jié)目圖像。接著，如圖9所示，用戶將其抓住特征點指針14的右手移動到相對照相機12的右 邊。接著，如圖10所示，用戶將其抓住特征點指針14的右手相對照相機12向下移動以便 將特征點指針14移動到UI 15定義的圓圈外部。因而，提交終止界面顯示過程的命令。
結(jié)果，如圖11所示，從顯示單元13刪除所捕獲的圖像、特征點指針14和UI 15。 即，在顯示單元13的圖像觀看屏幕上只顯示目標(biāo)圖像，即頻道3的電視節(jié)目。如圖9所示，當(dāng)用戶還期望轉(zhuǎn)變要觀看的電視節(jié)目頻道而不是終止界面顯示過程 時，用戶將其抓住特征點指針14的右手相對照相機12向右移動以返回特征點指針14到UI 15定義的圓圈內(nèi)，并且接著移動其抓住特征點指針14的右手，使得特征點指針14可以被疊 加在UI 15中分配有期望頻道號的UI 15上。結(jié)果，用戶期望的頻道的電視節(jié)目圖像被顯 示在顯示單元13上，并且在這個圖像上顯示所捕獲的圖像、特征點指針14和UI 15。在圖4到11中，要觀看的目標(biāo)是例如電視節(jié)目，并且已經(jīng)描述了轉(zhuǎn)變要觀看的電 視節(jié)目頻道的指示設(shè)備的使用。然而，要觀看的目標(biāo)不局限于電視節(jié)目。例如，如圖12到20所示，要觀看的目標(biāo)可以是網(wǎng)頁。在這種情況下，如圖12所示， 首先，用戶在例如觀看具有鏈接82的網(wǎng)頁(網(wǎng)頁1)期間向照相機12揮動其手。在圖像處 理設(shè)備11中，用戶手的揮動被檢測為區(qū)域81內(nèi)的觸發(fā)，并且在區(qū)域81中提取特征點。接著，如圖13所示，在顯示單元13上，將所捕獲的圖像的鏡象以半透明方式顯示 在具有鏈接82的網(wǎng)頁上，并且根據(jù)特征點顯示特征點指針83和UI 91到93。UI 91用于 觀看前一個網(wǎng)頁，并且UI 92用于觀看下一個網(wǎng)頁。UI 93用于終止界面顯示過程。接著，如圖14所示，在觀看當(dāng)前在顯示單元13上顯示的特征點指針83的同時，用 戶用其右手的手指從左邊和右邊包圍對應(yīng)于特征點指針83的空間體積，使得用戶的右手 可以以圖15所示的方式圍繞空間體積閉合。即，用戶抓住特征點指針83。接著，如圖16所示，用戶沿相對照相機12的順時針方向?qū)⑵渥プ√卣鼽c指針83 的右手以圓圈方式移動兩次，并且接著停止兩秒或更長時間。這個動作(以下簡稱"兩圓 圈運動和停止動作〃)對應(yīng)于鼠標(biāo)的點擊。根據(jù)兩圓圈運動和停止動作，圖像處理設(shè)備11 提交改變特征點指針83的顏色的命令。接著，例如，如圖17所示，在觀看當(dāng)前在顯示單元13上顯示的鏈接82、顏色已經(jīng)改 變的特征點指針83和UI 91到93的同時，用戶將其抓住特征點指針83的右手相對照相機 12向右移動，使得顏色已經(jīng)改變的特征點指針83可以被疊加在顯示單元13的圖像觀看屏 幕上的鏈接82上，并且接著停止若干秒。因而，在圖像處理設(shè)備11中，將對應(yīng)于在鏈接82上點擊鼠標(biāo)的事件作為命令提 交，并且還提交將特征點指針83的顏色恢復(fù)到原始顏色的命令。結(jié)果，如圖18所示，要在 顯示單元13上顯示的目標(biāo)圖像被從具有鏈接82的網(wǎng)頁(網(wǎng)頁1)轉(zhuǎn)變到對應(yīng)于鏈接82的 網(wǎng)頁(網(wǎng)頁2)，并且將特征點指針83的顏色恢復(fù)到原始顏色。接著，如圖19所示，用戶將其抓住特征點指針83的右手相對照相機12向下移動， 使得特征點指針83可以被疊加在顯示單元13的圖像觀看屏幕上的UI 93上。因而，提交 終止界面顯示過程的命令。結(jié)果，如圖20所示，從顯示單元13刪除所捕獲的圖像、特征點指針83和UI 91到 93。即，在顯示單元13的圖像觀看屏幕上只顯示要觀看的目標(biāo)圖像，即網(wǎng)頁(網(wǎng)頁2)。因此，圖像處理設(shè)備11允許基于特征點指針83的無手光標(biāo)指示，和對應(yīng)于點擊鼠 標(biāo)的事件的提交。因而，圖像處理設(shè)備11識別特征點的位置作為鼠標(biāo)的位置，從而控制現(xiàn) 有瀏覽器以顯示網(wǎng)頁，而無需針對Web瀏覽器來顯示UI 91到93。接著，參考圖21描述由圖2所示的圖像處理設(shè)備11執(zhí)行的圖像處理。例如，這個圖像處理在用戶操作例如遙控器的操作單元(未示出)以提供觀看要觀看的目標(biāo)圖像的指 令時開始。在步驟S10，合成單元39開始在顯示單元13上顯示目標(biāo)圖像。具體地，合成單元 39開始從外部設(shè)備(未示出)獲得目標(biāo)圖像并且向顯示單元13提供目標(biāo)圖像的操作。在步驟S11，照相機12開始逐幀獲得所捕獲的圖像的操作。所捕獲的圖像被提供 給和存儲在幀緩沖器32。所捕獲的圖像還被提供給合成單元39。在步驟S12，基于幀緩沖器32中存儲的所捕獲的圖像，確定觸發(fā)檢測單元33是否 已經(jīng)檢測到指示用戶向照相機12揮動其手的觸發(fā)。如果在步驟S12確定未檢測到觸發(fā)，則 處理前進到步驟S22。如果在步驟S12確定檢測到觸發(fā)，則觸發(fā)檢測單元33向特征點提取單元34提供 區(qū)域信息。接著在步驟S13，特征點提取單元34在幀緩沖器32中存儲的所捕獲的圖像的區(qū) 域中使用亮度分量提取一個角點作為特征點，該區(qū)域通過觸發(fā)檢測單元33提供的區(qū)域信
息指定。例如，在圖4所示區(qū)域61上的區(qū)域信息被從觸發(fā)檢測單元33提供給特征點提取 單元34的情況下，特征點提取單元34在區(qū)域61中使用亮度分量提取單個特征點。特征點 提取單元34向計算單元35和UI繪制單元36提供指示所提取的特征點的位置的提取位置
fn息ο在步驟S14，UI繪制單元36基于從特征點提取單元34提供的提取位置信息，確定 UI的布置，使得可以將UI圍繞該特征點排列。UI繪制單元36向合成單元39提供事先存 儲在其中的有關(guān)UI的UI信息和UI圖像。UI繪制單元36還向合成單元39提供從計算單 元35提供的提取位置信息或特征點信息，和事先存儲在其中的特征點指針圖像。UI繪制單 元36還向命令確定單元37提供UI信息。在步驟S15，合成單元39基于從UI繪制單元36提供的信息和圖像，即UI信息、 UI圖像、提取位置信息或特征點信息，和特征點指針圖像，開始顯示單個特征點指針和UI。具體地，合成單元39終止向提供單元13提供目標(biāo)圖像。接著，合成單元39根據(jù) UI信息、UI圖像、提取位置信息或特征點信息和特征點指針圖像，開始將單個特征點指針 的圖像和UI圖像與圖像觀看屏幕的圖像合并，并且向顯示單元13提供該合成圖像的操作。 因而，例如，在顯示單元13的圖像觀看屏幕上顯示圖5所示的特征點指針14和UI 15。在步驟S16，合成單元39使用從圖像獲得單元31提供的所捕獲的圖像，開始半透 明顯示所捕獲的圖像。具體地，合成單元39開始產(chǎn)生所捕獲的圖像的鏡象的操作，并且終止向顯示單元 13提供單個特征點指針的圖像和UI圖像與圖像觀看屏幕的圖像合并的合成圖像。合成單 元39還開始下述操作進一步將作為在步驟S15開始的合并的結(jié)果而獲得的合成圖像與所 捕獲的圖像的鏡象合并，使得所捕獲的圖像的鏡象可以以半透明方式在合并單個特征點指 針的圖像和UI圖像的圖像觀看屏幕上顯示，并且向顯示單元13提供該結(jié)果合成圖像。因 而，例如，如圖5所示，將所捕獲的圖像的水平翻轉(zhuǎn)圖像以半透明方式在顯示單元13的圖像 觀看屏幕上顯示。在步驟S17，計算單元35根據(jù)幀緩沖器32中存儲的所捕獲的圖像的連續(xù)兩個幀和 從特征點提取單元34提供的提取位置信息或特征點信息，計算單個特征點的光流。接著，計算單元35基于該光流，識別特征點的當(dāng)前位置，并且更新特征點信息。計算單元35向UI 繪制單元36和命令確定單元37提供特征點信息。在步驟S18，命令確定單元37基于從計算單元35提供的特征點信息和從UI繪制 單元36提供的UI信息，確定是否從命令提交單元38提交命令。具體地，例如，命令確定單元37基于特征點信息和UI信息，確定當(dāng)前在特征點的 位置處顯示的UI是否被找到。如果確定當(dāng)前在特征點的位置處顯示的UI被找到，則命令 確定單元37確定要提交命令。如果確定這種UI未被找到，則命令確定單元37確定沒有要 提交的命令。此外，例如，命令確定單元37基于特征點信息，確定抓住特征點指針83的用戶的 右手是否如圖16所示執(zhí)行兩圓圈運動和停止動作。如果確定已經(jīng)執(zhí)行兩圓圈運動和停止 動作，則命令確定單元37確定要提交命令。如果確定沒有執(zhí)行兩圓圈運動和停止動作，則 命令確定單元37確定沒有要提交的命令。如果在步驟S18確定要提交命令，則命令確定單元37向命令提交單元38提供對 應(yīng)于要提交的命令的事件和標(biāo)識信息，或要作為命令提交的事件或命令。接著，在步驟S19， 命令提交單元38提交基于從命令確定單元37提供的事件和標(biāo)識信息的命令，或?qū)?yīng)于從 命令確定單元37提供的事件或命令的命令。例如，在如圖8所示從命令確定單元37提供指示使用特征點指針14對UI 15的 操作的事件和標(biāo)識已經(jīng)操作的UI 15-2的標(biāo)識信息的情況下，命令提交單元38基于該事件 和標(biāo)識信息，提交將頻道3的電視節(jié)目設(shè)置為要觀看的目標(biāo)的命令。此外，在以圖16所示的方式執(zhí)行兩圓圈運動和停止動作之后，特征點指針83被以 圖17所示的方式疊加在鏈接82上，并且對應(yīng)于鏈接82上的鼠標(biāo)點擊的事件和將特征點指 針83的顏色恢復(fù)到原始顏色的命令被提供給命令確定單元37的情況下，命令提交單元38 提交所提供的事件和命令作為命令。在步驟S19的處理之后，處理前進到步驟S20。如果在步驟S18確定沒有要提交的命令，則過程跳過步驟S19并且進入步驟S20。 在步驟S20，合成單元39確定是否終止界面相關(guān)圖像的顯示。具體地，合成單元39確定終 止顯示界面相關(guān)圖像的命令是否已經(jīng)從命令提交單元38提供。如果在步驟S20確定界面相關(guān)圖像的顯示未被終止，則過程返回到步驟S17，并且 基于幀緩沖器32中存儲的所捕獲的圖像的隨后兩個相繼幀和在過程的前一迭代更新的特 征點信息，計算特征點的光流。接著，執(zhí)行后續(xù)處理。如果在步驟S20確定界面相關(guān)圖像的顯示要被終止，則在步驟S21，合成單元39終 止特征點指針、UI和所捕獲的圖像的顯示。具體地，合成單元39終止從步驟S16開始的向 顯示單元13提供合成圖像，并且開始向顯示單元13提供目標(biāo)圖像。結(jié)果，例如，如圖11所 示，在顯示單元13上只顯示要觀看的目標(biāo)圖像，即頻道3的電視節(jié)目的圖像。接著，過程前 進到步驟S22。在步驟S22，合成單元39根據(jù)用戶對操作單元(未示出)的操作確定是否終止觀 看。如果在步驟S22確定不終止觀看，則過程返回到步驟S12并且重復(fù)步驟S12到S22的 處理直到確定觀看要被終止。如果在步驟S22確定要終止觀看，則在步驟S23，圖像獲得單元31終止獲得所捕獲 的圖像的操作。在步驟S24，合成單元39終止目標(biāo)圖像的顯示。具體地，合成單元39終止從外部設(shè)備(未示出)獲得目標(biāo)圖像的操作。接著，過程結(jié)束。在前面的描述中，圖像處理設(shè)備11由單個用戶操作。圖像處理設(shè)備11可以由多 個用戶操作。圖22示出由兩個用戶操作的圖像處理設(shè)備的示例結(jié)構(gòu)。參照圖22，圖像處理設(shè)備111包含照相機12、顯示單元13、圖像獲得單元31、幀緩 沖器32、觸發(fā)檢測單元121、特征點提取單元122、計算單元123、UI繪制單元124、命令確定 單元125、命令提交單元1 和合成單元127。在圖22中，與圖2所示的那些相同或類似的 組件被表示成相同附圖標(biāo)記，并且不重復(fù)描述。像圖2所示的觸發(fā)檢測單元33那樣，圖像處理設(shè)備111的觸發(fā)檢測單元121從幀 緩沖器32讀取所捕獲的圖像。觸發(fā)檢測單元121基于所捕獲的圖像，檢測指示第一用戶向 照相機12揮手的第一觸發(fā)。觸發(fā)檢測單元121向特征點提取單元122提供對應(yīng)于第一觸 發(fā)的區(qū)域信息。觸發(fā)檢測單元121還在檢測第一觸發(fā)之后的預(yù)定時間周期內(nèi)檢測指示第二用戶 向照相機12揮動其手的第二觸發(fā)。觸發(fā)檢測單元121向特征點提取單元122提供對應(yīng)于 第二觸發(fā)的區(qū)域信息。像圖2所示的特征點提取單元34那樣，特征點提取單元122從幀緩沖器32讀取 所捕獲的圖像。特征點提取單元122使用由對應(yīng)于從觸發(fā)檢測單元121提供的第一觸發(fā) 的區(qū)域信息指定的所捕獲的圖像的區(qū)域中的亮度分量，提取一個角點作為第一用戶的特征 點，并且向計算單元123和UI繪制單元IM提供所提取特征點的提取位置信息。特征點提取單元122還以類似于第一用戶的方式，使用由對應(yīng)于第二觸發(fā)的區(qū)域 信息指定的所捕獲的圖像的區(qū)域中的亮度分量，提取第二用戶的特征點，并且向計算單元 123和UI繪制單元IM提供所提取特征點的提取位置信息。像圖2所示的計算單元35那樣，計算單元123從幀緩沖器32讀取所捕獲的圖像的 兩個相繼幀。計算單元123根據(jù)所捕獲的圖像的所讀取的兩個幀和從特征點提取單元122 提供的第一用戶的特征點的提取位置信息或第一用戶的特征點信息，針對每個幀計算第一 用戶的特征點的光流。計算單元123基于該光流，識別第一用戶的特征點的當(dāng)前位置，并且 更新第一用戶的特征點的特征點信息。計算單元123還以類似于第一用戶的方式，根據(jù)所捕獲的圖像的兩個幀和第二用 戶的特征點的提取位置信息或特征點信息，計算第二用戶的光流。計算單元123向UI繪制 單元IM和命令確定單元125提供第一用戶的特征點的特征點信息和第二用戶的特征點的 特征點信息。UI繪制單元IM事先存儲第一和第二用戶的特征點指針和UI圖像。UI繪制單元 IM基于從特征點提取單元122提供的第一用戶的特征點的提取位置信息，確定第一用戶 的UI的布置，使得第一用戶的UI可以圍繞第一用戶的特征點排列。UI繪制單元124向合 成單元127提供事先存儲在其中的第一用戶的UI的UI信息和第一用戶的UI圖像。UI繪制單元IM還向合成單元127提供從計算單元123提供的第一用戶的特征 點的提取位置信息或第一用戶的特征點的特征點信息，和事先存儲在其中的第一用戶的特 征點的特征點指針圖像。UI繪制單元IM還向命令確定單元125提供第一用戶的UI的UI fn息ο
UI繪制單元IM還以類似于第一用戶的方式，向合成單元127提供第二用戶的信 息和圖像，即UI的UI信息、UI圖像、特征點的提取位置信息或特征點信息和特征點指針圖 像。UI繪制單元IM還以類似于第一用戶的方式，向命令確定單元125提供第二用戶的UI 的UI信息。命令確定單元125基于從計算單元123提供的第一用戶的特征點的特征點信息， 和從UI繪制單元IM提供的第一用戶的UI的UI信息，檢測第一用戶的UI中當(dāng)前在第一 用戶的特征點的位置處顯示的UI。命令確定單元125向命令提交單元1 提供指示已經(jīng)操 作第一用戶的一個UI的事件和標(biāo)識第一用戶的一個UI的標(biāo)識信息。像圖2所示的命令確定單元37那樣，命令確定單元125事先存儲表，表中特征點 的運動和事件或命令彼此相關(guān)。命令確定單元125基于從計算單元123提供的特征點信息， 識別第一用戶的特征點的位置的軌跡，并且從事先存儲在其中的表中讀取與由軌跡指示的 運動相關(guān)的事件或命令。命令確定單元125向命令提交單元1 提供所讀取的事件或命令， 以作為第一用戶的事件或命令。命令確定單元125還以類似于第一用戶的方式，向命令提交單元1 提供第二用 戶的事件和標(biāo)識信息，或第二用戶的事件或命令。像圖2所示的命令提交單元38那樣，命令提交單元1 事先存儲表，表中標(biāo)識信 息和對應(yīng)于由標(biāo)識信息標(biāo)識的UI的命令彼此相關(guān)。命令提交單元1 基于從命令確定單 元125提供的第一用戶的事件和標(biāo)識信息，讀取與由標(biāo)識信息標(biāo)識的第一用戶的UI相關(guān)的 命令，并且提交所讀取的命令作為第一用戶的命令。命令提交單元1 還提交從命令確定單元125提供的第一用戶的事件或命令作為 第一用戶的命令。命令提交單元126還以類似于第一用戶的方式提交第二用戶的命令。合成單元127從外部設(shè)備(未示出)獲得第一用戶要觀看的第一目標(biāo)圖像和第二 用戶要觀看的第二目標(biāo)圖像。然后，合成單元127將第一和第二目標(biāo)圖像合并，使得第一和 第二目標(biāo)圖像在圖像觀看屏幕的半個部分上顯示，并且將合成圖像設(shè)置為圖像觀看屏幕的 圖像。合成單元127向顯示單元13提供圖像觀看屏幕的圖像以用于顯示。結(jié)果，第一用 戶要觀看的第一目標(biāo)圖像在顯示單元13的圖像觀看屏幕的半個部分上顯示，并且第二用 戶要觀看的第二目標(biāo)圖像在圖像觀看屏幕的另一半個部分上顯示。合成單元127還根據(jù)從UI繪制單元IM提供的第一和第二用戶的信息和圖像，即 UI信息、UI圖像、提取位置信息或特征點信息和特征點指針圖像，將第一和第二用戶的UI 圖像和特征點指針圖像與圖像觀看屏幕的圖像合并。像圖2所示的合成單元39那樣，合成單元127產(chǎn)生從圖像獲得單元31提供的所 捕獲的圖像的鏡象。合成單元127還將所捕獲的圖像的鏡象與圖像觀看屏幕的合成圖像合 并，使得所捕獲的圖像的鏡象可以以半透明方式在合并第一和第二用戶的UI圖像和特征 點指針的圖像觀看屏幕上顯示。合成單元127向顯示單元13提供結(jié)果合成圖像以用于顯
7J\ ο現(xiàn)在參考圖23描述圖22所示的圖像處理設(shè)備111中指示設(shè)備的使用。在圖23所示的例子中，第一用戶期望觀看頻道3上的電視節(jié)目，并且第二用戶期 望觀看頻道8上的電視節(jié)目。在圖23中，在顯示單元13的圖像觀看屏幕的左半部分上顯示頻道3的電視節(jié)目圖像，并且在圖像觀看屏幕的右半部分上顯示頻道8的電視節(jié)目圖像。當(dāng)?shù)谝挥脩魪南鄬φ障鄼C12的左邊向照相機12揮動其手并且第二用戶從相對照 相機12的右邊向照相機12揮動其手時，在已經(jīng)檢測到用戶手的揮動的區(qū)域中提取第一和 第二用戶的特征點。因而，如圖23所示，在顯示單元13的圖像觀看屏幕的左半部分上顯示 指示第一用戶的特征點的第一特征點指針141，和在圖像觀看屏幕的右半部分上顯示指示 第二用戶的特征點的第二特征點指針142。此外，如圖23所示，根據(jù)第一用戶的特征點的提取位置信息，在顯示單元13的圖 像觀看屏幕的左半部分顯示第一用戶的UI 151，并且根據(jù)第二用戶的特征點的提取位置信 息，在圖像觀看屏幕的右半部分顯示第二用戶的UI 152。如圖23所示，還以半透明方式在 顯示單元13上顯示第一和第二用戶的所捕獲的圖像。在圖23所示的例子中，UI 151由類 似于圖1所示的UI 15-1到15-7的UI形成，并且UI 152由類似于圖1所示的UI 15_1到 15-7的UI形成。UI 151和152被用于選擇每個頻道。因此，在顯示單元13上顯示第一和第二特征點指針141和142和兩個用戶的UI 151和152。這允許兩個用戶中的一個抓住第一特征點指針141以選擇期望觀看的電視節(jié) 目的頻道，并且允許另一個用戶抓住第二特征點指針142以選擇期望觀看的電視節(jié)目的頻道。接著，參考圖M描述由圖22所示的圖像處理設(shè)備111執(zhí)行的圖像處理。例如，這 個圖像處理在用戶操作例如遙控器的操作單元(未示出)以提供觀看要觀看的目標(biāo)圖像的 指令時開始。在步驟S40，合成單元127開始顯示兩個用戶要觀看的目標(biāo)圖像。具體地，合成單 元127開始從外部設(shè)備(未示出)獲得第一用戶要觀看的目標(biāo)圖像和第二用戶要觀看的目 標(biāo)圖像，合并所獲得的目標(biāo)圖像以產(chǎn)生圖像觀看屏幕的圖像和向顯示單元13提供圖像觀 看屏幕的圖像的操作。因而，例如，如圖23所示，在顯示單元13的圖像觀看屏幕的左半部 分顯示第一用戶要觀看的目標(biāo)圖像，并且在圖像觀看屏幕的右半部分顯示第二用戶要觀看 的目標(biāo)圖像。在步驟S41，像圖21所示的步驟Sll那樣，照相機12開始逐幀獲得所捕獲的圖像 的操作。所捕獲的圖像被提供給和存儲在幀緩沖器32。所捕獲的圖像還被提供給合成單元 127。在步驟S42，基于幀緩沖器32中存儲的所捕獲的圖像，確定觸發(fā)檢測單元121是否 已經(jīng)檢測到指示第一用戶向照相機12揮動其手的第一觸發(fā)。如果在步驟S42確定未檢測 到第一觸發(fā)，則過程前進到步驟S53。如果在步驟S42確定已經(jīng)檢測到第一觸發(fā)，則觸發(fā)檢測單元121向特征點提取單 元122提供對應(yīng)于第一觸發(fā)的區(qū)域信息。接著在步驟S43，確定觸發(fā)檢測單元121是否在檢 測第一觸發(fā)之后的預(yù)定時間周期內(nèi)檢測到第二用戶的第二觸發(fā)。如果在步驟S43確定未檢 測到第二觸發(fā)，則過程前進到步驟S53。如果在步驟S43確定已經(jīng)檢測到第二觸發(fā)，則觸發(fā)檢測單元121向特征點提取單 元122提供對應(yīng)于第二觸發(fā)的區(qū)域信息。接著在步驟S44，特征點提取單元122使用幀緩沖器32中存儲的、由對應(yīng)于從觸發(fā) 檢測單元121提供的第一觸發(fā)的區(qū)域信息指定的所捕獲的圖像的區(qū)域中的亮度分量，提取第一用戶的特征點，并且使用由對應(yīng)于從觸發(fā)檢測單元121提供的第二觸發(fā)的區(qū)域信息指 定的所捕獲的圖像的區(qū)域中的亮度分量，提取第二用戶的特征點。特征點提取單元122向 計算單元123和UI繪制單元IM提供指示第一用戶的特征點的位置的提取位置信息和指 示第二用戶的特征點的位置的提取位置信息。在步驟S45，UI繪制單元IM基于從特征點提取單元122提供的兩個用戶的提取 位置信息，確定兩個用戶的UI的布置，使得第一用戶的UI可以圍繞第一用戶的特征點排列 并且第二用戶的UI可以圍繞第二用戶的特征點排列。UI繪制單元124向合成單元127提 供事先存儲在其中的兩個用戶的UI上的UI信息和兩個用戶的UI圖像。UI繪制單元124 還向合成單元127提供從計算單元123提供的兩個用戶的提取位置信息或兩個用戶的特征 點的特征點信息，和事先存儲在其中的兩個用戶的特征點指針圖像。UI繪制單元IM還向 命令確定單元125提供兩個用戶的UI信息。在步驟S46，合成單元127基于從UI繪制單元IM提供的兩個用戶的信息和圖像， 即UI信息、UI圖像、提取位置信息或特征點信息，和特征點指針圖像，開始顯示兩個用戶的 特征點指針和兩個用戶的UI。步驟S47到S55的處理分別類似于圖21所示的步驟S16到S24的處理，并且這里 不再描述。針對每個特征點執(zhí)行步驟S48到S50的處理。在上述例子中，兩個用戶抓住特征點指針141和142以選擇要在顯示單元13的圖 像觀看屏幕的單獨屏幕部分上顯示的期望頻道?？蛇x地，如圖25所示，兩個用戶可以選擇 要在顯示單元13的整個圖像觀看屏幕上顯示的頻道。在圖25所示的例子中，在顯示單元13的整個圖像觀看屏幕上顯示頻道3的電視 節(jié)目圖像以作為要觀看的目標(biāo)圖像。用戶抓住和操作特征點指針141和142以選擇要在顯 示單元13的整個圖像觀看屏幕上顯示的電視節(jié)目的頻道?？蛇x地，如圖沈所示，UI可以被兩個用戶共享。在圖沈所示的例子中，兩個特征 點指針171和172和三個UI 181到183被兩個用戶共享，并且在具有三個鏈接161到163、 作為要觀看的圖像的網(wǎng)頁(網(wǎng)頁3)上顯示。用戶的所捕獲的圖像還以半透明方式在網(wǎng)頁 (網(wǎng)頁3)上顯示。因而，用戶可以使用特征點指針171或172操作UI 181到183。當(dāng)兩個用戶使用兩個特征點指針操作圖22所示的圖像處理設(shè)備111時，可以由單 個用戶使用多個特征點指針操作圖像處理設(shè)備。圖27示出由單個用戶使用兩個特征點指針操作的圖像處理設(shè)備的示例結(jié)構(gòu)。參照圖27，圖像處理設(shè)備211包含照相機12、顯示單元13、圖像獲得單元31、幀緩 沖器32、觸發(fā)檢測單元33、特征點提取單元221、計算單元222、命令確定單元223、命令提交 單元2M和合成單元225。在圖27中，與圖2所示的那些相同或類似的組件被表示成相同 附圖標(biāo)記，并且不重復(fù)描述。像圖2所示的特征點提取單元34那樣，圖像處理設(shè)備211的特征點提取單元221 從幀緩沖器32讀取所捕獲的圖像。特征點提取單元221使用由從觸發(fā)檢測單元33提供的 區(qū)域信息指定的所捕獲的圖像的區(qū)域中的亮度分量，提取兩個角點作為特征點，并且向計 算單元222和合成單元225提供兩個特征點的提取位置信息。像圖2所示的計算單元35那樣，計算單元222從幀緩沖器32讀取所捕獲的圖像 的兩個相繼幀。計算單元222根據(jù)所捕獲的圖像的所讀取兩個幀和從特征點提取單元221提供的兩個特征點的提取位置信息或兩個特征點的特征點信息，針對每個幀計算兩個特征 點的光流。計算單元222根據(jù)兩個光流更新兩個特征點的特征點信息，并且向命令確定單 元223和合成單元225提供更新的特征點信息。命令確定單元223事先存儲表，表中兩個特征點的運動和命令彼此相關(guān)。命令確 定單元223基于兩個特征點的特征點信息，識別兩個特征點的位置軌跡，并且從事先存儲 在其中的表中讀取對應(yīng)于由軌跡指示的運動的命令。命令確定單元223向命令提交單元 224提供兩個特征點的所讀取的命令和特征點信息。命令提交單元2M根據(jù)從命令確定單元223提供的命令，提交使用特征點信息的 命令或不使用特征點信息的命令。像圖2所示的合成單元39那樣，合成單元225從外部設(shè)備(未示出)獲得期望觀 看的內(nèi)容圖像。接著，如合成單元39，合成單元225向顯示單元13提供包含期望圖像的圖 像，使得該圖像被作為圖像觀看屏幕的圖像直接顯示。合成單元225還基于從特征點提取單元221提供的提取位置信息，或從計算單元 222提供的特征點信息，和事先存儲在其中的特征點指針圖像，將特征點指針圖像與圖像觀 看屏幕的圖像合并。此外，像圖2所示的合成單元39那樣，合成單元225產(chǎn)生從圖像獲得單元31提供 的所捕獲的圖像的鏡象。合成單元225還將所捕獲的圖像的鏡象與圖像觀看屏幕的合成圖 像合并，使得所捕獲的圖像的鏡象可以以半透明方式在合并特征點指針的圖像觀看屏幕上 顯示。合成單元225向顯示單元13提供結(jié)果合成圖像以用于顯示。現(xiàn)在參考圖觀到38描述圖像處理設(shè)備211中指示設(shè)備的使用。如圖觀所示，用戶在顯示要觀看的照片251期間向照相機12揮動其手。在圖像 處理設(shè)備211中，在區(qū)域252內(nèi)檢測作為觸發(fā)的用戶手的揮動，并且在區(qū)域252中提取兩個 特征點。接著，如圖四所示，在顯示單元13上，將所捕獲的圖像的鏡象以半透明方式在當(dāng) 前正在顯示照片251的圖像觀看屏幕上顯示，并且根據(jù)兩個特征點顯示特征點指針261和 262。接著，如圖30所示，用戶在觀看當(dāng)前在顯示單元13上顯示的特征點指針261和 262時，通過其左手的手指從左邊和右邊包圍對應(yīng)于特征點指針的空間體積，并且通過 其右手的手指從左邊和右邊包圍對應(yīng)于特征點指針沈2的空間體積。接著，如圖31所示，用戶的左手圍繞對應(yīng)于特征點指針261的空間體積閉合，并且 用戶的右手圍繞對應(yīng)于特征點指針262的空間體積閉合。即，用戶分別通過其左和右手抓 住特征點指針261和沈2。接著，用戶移動其手，使得當(dāng)前在顯示單元13上顯示的特征點指針261和262可 以沿水平方向，即左右方向并排排列，使得例如如圖2所示，抓住特征點指針261和沈2的 手執(zhí)行兩圓圈運動和停止動作。因而，圖像處理設(shè)備211提交轉(zhuǎn)變特征點指針261和262 的顏色的命令和固定照片251和特征點指針261和262之間的位置關(guān)系的命令，以作為對 應(yīng)于手的兩圓圈運動和停止動作的命令。結(jié)果，如圖32所示，特征點指針261和262的顏色首先轉(zhuǎn)變成例如紅色。接著，轉(zhuǎn) 換到下述狀態(tài)如圖33所示，特征點指針261和262捕獲照片251，并且特征點指針261和262的顏色被轉(zhuǎn)變成例如藍色。接著，如圖34所示，用戶將其抓住特征點指針261的左手和其抓住特征點指針沈2 的右手分別向相對照相機12的左和右移動，以增加水平方向上右手和左手之間的距離。因 而，提交放大照片251而不改變照片251和特征點指針261和262之間的位置關(guān)系的命令。結(jié)果，對于在如圖34所示的移動之后特征點指針261和262之間的距離相對于在 圖33所示的移動之前特征點指針261和262之間的原始距離的增量，如圖34所示，在水平 方向上與該增量成比例地放大照片251。盡管未在附圖中示出，但用戶可以將其抓住特征點指針的左手和其抓住特征 點指針262的右手分別向相對照相機12的右和左移動，從而減小水平方向上右手和左手之 間的距離，以在水平方向上縮小照片251。在這種情況下，對于在移動之后特征點指針261 和沈2之間的距離相對于在移動之前特征點指針261和沈2之間的距離的減小量，在水平 方向上與該減小量成比例地縮小照片251。此外，盡管未在附圖中示出，但用戶可以在將其抓住特征點指針沈1的左手和其 抓住特征點指針沈2的右手并排沿垂直方向，即上下方向放置之后執(zhí)行兩圓圈運動和停止 動作，并且可以增加或降低垂直方向上手之間的距離，從而在垂直方向上放大或縮小照片 251。接著，如圖35所示，用戶將其抓住特征點指針261的左手及其抓住特征點指針沈2 的右手沿順時針方向移動預(yù)定角度。因而，提交旋轉(zhuǎn)照片251而不改變照片251和特征點 指針261和262之間的位置關(guān)系的命令。結(jié)果，如圖35所示，將照片251順時針旋轉(zhuǎn)角度θ，該角度θ被定義在圖34所示 的轉(zhuǎn)動之前連接特征點指針261和沈2的特征線263和圖35所示轉(zhuǎn)動之后的特征線264 之間?？梢栽陲@示單元13上顯示特征線263和沈4，也可以不顯示。接著，如圖36所示，用戶在圖35所示的狀態(tài)下停止兩秒。響應(yīng)于這個動作，提交 將特征點指針261和沈2的顏色改變?yōu)樵碱伾拿詈徒獬掌?51和特征點指針
和262之間的固定位置關(guān)系的命令。結(jié)果，如圖36所示，將特征點指針261和沈2的顏色恢復(fù)到原始顏色。接著，完成 由特征點指針261和262對照片251的捕獲。接著，如圖37所示，用戶將其抓住特征點指針261的左手及其抓住特征點指針沈2 的右手相對照相機12向下移動，使得特征點指針261和262可以被放置在顯示單元13的 圖像觀看屏幕的外部。因而，提交終止接口顯示過程的命令。結(jié)果，如圖38所示，從顯示單元13刪除所捕獲的圖像和特征點指針261和沈2。 即，在顯示單元13的圖像觀看屏幕上只顯示要觀看的目標(biāo)，即照片251。已經(jīng)參考圖觀到38描述了用戶放大、縮小或旋轉(zhuǎn)照片251的情況。用戶可以通 過移動其抓住特征點指針261的左手及其抓住特征點指針262的右手而不改變其間距離來 移動照片251。用戶的手除了兩圓圈運動和停止動作之外的任何操作可以被用作觸發(fā)，以切換到 特征點指針261和262捕獲照片251的狀態(tài)。例如，用戶可以移動其抓住特征點指針261 和沈2中的至少一個的手，使得特征點指針261和沈2中的至少一個可以被疊加在當(dāng)前正 在顯示單元13上顯示的預(yù)定UI，并且這個操作可以被檢測為觸發(fā)。
接著，參考圖39描述由圖27所示的圖像處理設(shè)備211執(zhí)行的圖像處理。例如，這 個圖像處理在用戶操作例如遙控器的操作單元(未示出)以提供觀看要觀看的目標(biāo)圖像的 指令時開始。步驟S60到S62的處理分別類似于圖21所示的步驟SlO到S12的處理，并且這里 不再描述。在步驟S63，特征點提取單元221使用在幀緩沖器32中存儲的所捕獲的圖像的區(qū) 域中的亮度分量，提取兩個角點作為特征點，該亮度分量由從觸發(fā)檢測單元33提供的區(qū)域 信息指定。特征點提取單元221向計算單元222和合成單元225提供指示所提取的特征點 的位置的提取位置信息。在步驟S64，合成單元225基于從特征點提取單元221提供的兩個特征點的提取位 置信息，或從計算單元222提供的兩個特征點的特征點信息，和特征點指針圖像，開始顯示 兩個特征點指針。結(jié)果，例如，如圖四所示，在顯示單元13的圖像觀看屏幕上顯示兩個特 征點指針261和262。在步驟S65，像圖21所示的步驟S16的處理那樣，合成單元225使用從圖像獲得單 元31提供的所捕獲的圖像開始半透明顯示所捕獲的圖像。結(jié)果，例如，如圖四所示，將所 捕獲的圖像的水平翻轉(zhuǎn)圖像以半透明方式在顯示單元13的圖像觀看屏幕上顯示。在步驟S66，計算單元222根據(jù)幀緩沖器32中存儲的所捕獲的圖像的兩個幀和從 特征點提取單元221提供的兩個特征點的提取位置信息或兩個特征點的特征點信息，計算 兩個特征點的光流。接著，計算單元222根據(jù)每個特征點的光流，更新每個特征點的特征點 信息。計算單元222向命令確定單元223和合成單元225提供兩個特征點的特征點信息。在步驟S67，命令確定單元223基于從計算單元222提供的兩個特征點的特征點信 息，確定是否從命令提交單元2M提交命令。具體地，命令確定單元223基于兩個特征點的特征點信息，識別兩個特征點的位 置軌跡，并且確定命令是否與事先存儲在其中的表中包含的軌跡指示的運動相關(guān)。如果確 定命令被包含在事先存儲的表中，則命令確定單元223確定要提交命令。如果確定命令未 包含在表中，則命令確定單元223確定不提交命令。如果在步驟S67確定要提交命令，則命令確定單元223向命令提交單元2 提供 對應(yīng)于兩個特征點的運動和特征點信息的命令。接著在步驟S68，命令提交單元2M根據(jù)從 命令確定單元223提供的命令，提交使用特征點信息的命令或不使用特征點信息的命令。具體地，例如，如圖32所示，在用戶在其手抓住特征點指針261和262執(zhí)行其手的 兩圓圈運動和停止動作的情況下，命令提交單元2M提交對應(yīng)于特征點指針261和沈2的 運動的命令以作為不使用特征點信息的命令，上述命令是從命令確定單元223提供的，是 改變特征點指針261和沈2的顏色的命令和固定照片251和特征點指針261和262之間的 位置關(guān)系的命令。此外，例如，如圖34所示，在用戶增加其抓住特征點指針261的左手及其抓住特征 點指針沈2的右手之間的水平方向上的距離的情況下，命令提交單元2M提交從命令確定 單元223提供的、對應(yīng)于特征點指針261和沈2的運動的命令以作為使用特征點信息的命 令，即根據(jù)放大照片251但不改變照片251和特征點指針261和262之間的位置關(guān)系的命 令，在水平方向上與基于特征點信息的增量成比例地放大照片251的命令。
如果在步驟S67確定沒有要提交的命令，則過程跳過步驟S68并且進入步驟S69。 在步驟S69，像如圖21所示的步驟S21的處理那樣，合成單元225確定是否終止界面相關(guān)圖 像的顯示。具體地，合成單元225確定是否從命令提交單元2M提供了終止顯示界面相關(guān) 圖像的命令。如果在步驟S69確定不終止顯示界面相關(guān)圖像，則過程返回到步驟S66。接著，基 于幀緩沖器32中存儲的所捕獲的圖像的后續(xù)兩個相繼幀和有關(guān)兩個特征點的、在過程的 前一迭代更新的特征點信息，計算兩個特征點的光流。接著，執(zhí)行后續(xù)處理。如果在步驟S69確定終止顯示界面相關(guān)圖像，則在步驟S70，合成單元225終止特 征點指針和所捕獲的圖像的顯示。步驟S71到S73的處理分別類似于圖21所示的步驟S22到S24的處理，并且這里 不再描述。在上述說明中，用戶的手向照相機12的揮動被檢測為觸發(fā)。然而，任何其他操作 可以被檢測為觸發(fā)。例如，在圖像處理設(shè)備11(或111或211)配有遙控器的情況下，遙控 器上提供的預(yù)定按鈕的操作可以被檢測為觸發(fā)。在這種情況下，指示預(yù)定區(qū)域的區(qū)域信息 被輸出為區(qū)域信息。在上述說明中，角點被提取為特征點。可選地，位于輪廓線上的點可以被提取為特 征點。在這種情況下，位于輪廓線上的任何點可以被提取為特征點，導(dǎo)致比提取角點作為特 征點穩(wěn)定性低的特征點指針定位。然而，一旦用戶通過其手抓住特征點，則特征點被定位在 手內(nèi)。因而，像角點被提取為特征點的情況那樣，圖像處理設(shè)備11(或111或211)以最低 量處理允許高識別魯棒性和高精度位置檢測。此外，在上述說明中，計算特征點的光流的方法被用于檢測特征點的運動。特征點 的運動可以使用例如模板匹配的任何其他方法來檢測。在說明書中，描述程序記錄介質(zhì)中存儲的程序的步驟可以以時間序列方式執(zhí)行。 這些步驟不必以時間序列方式執(zhí)行，并且可以并行或單獨執(zhí)行。本發(fā)明的實施例不局限于上述實施例，并且可以在不偏離本發(fā)明的范圍的前提下 進行各種修改。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計需求和其它因素，可以進行各種修改，組 合，子組合和變化，只要它們在所附權(quán)利要求書或其等同表述的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括提取裝置，用于從所捕獲的圖像中提取特征點；識別裝置，用于識別特征點的位置；顯示控制裝置，用于基于特征點的位置執(zhí)行控制以顯示指示特征點的特征點指針；和提交裝置，用于基于特征點的位置提交對應(yīng)于特征點的位置或特征點的運動的命令。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中顯示控制裝置基于特征點的位置執(zhí)行控制 以顯示特征點指針和預(yù)定用戶界面，并且其中，提交裝置基于特征點的位置提交對應(yīng)于用戶界面中正在特征點的位置處顯示的 用戶界面的命令。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中提取裝置從所捕獲的圖像中提取多個特征 點，并且其中，針對每個所述特征點，提交裝置基于所述特征點的位置，提交對應(yīng)于所述特征點 的位置或所述特征點的運動的命令。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中針對每個所述特征點，顯示控制裝置基于 所述特征點的位置執(zhí)行控制，以顯示指示所述特征點的特征點指針和預(yù)定用戶界面，并且其中，針對每個所述特征點，提交裝置基于所述特征點的位置提交對應(yīng)于用戶界面中 在所述特征點的位置處顯示的用戶界面的命令。
5.如權(quán)利要求3所述的圖像處理設(shè)備，其中針對每個所述特征點，顯示控制裝置基于 所述特征點的位置執(zhí)行控制，以顯示指示所述特征點的特征點指針并且顯示預(yù)定用戶界 面，該預(yù)定用戶界面由所述多個特征點共享，并且其中，針對每個所述特征點，提交裝置基于所述特征點的位置提交對應(yīng)于用戶界面中 在所述特征點的位置處顯示的用戶界面的命令。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中提取裝置從所捕獲的圖像中提取多個特征 點，并且其中，提交裝置提交對應(yīng)于所述多個特征點的位置或運動的命令。
7.一種用于配置成從所捕獲的圖像中提取特征點的圖像處理設(shè)備的圖像處理方法，該 圖像處理方法包括步驟從所捕獲的圖像中提取特征點；識別特征點的位置；基于特征點的位置，顯示指示特征點的特征點指針；和基于特征點的位置，提交對應(yīng)于特征點的位置或特征點的運動的命令。
8.一種使計算機執(zhí)行從所捕獲的圖像中提取特征點的圖像處理的程序，該圖像處理包 括步驟從所捕獲的圖像中提取特征點；識別特征點的位置；基于特征點的位置，顯示指示特征點的特征點指針；和基于特征點的位置，提交對應(yīng)于特征點的位置或特征點的運動的命令。
9.一種圖像處理設(shè)備，包括提取單元，被配置成從所捕獲的圖像中提取特征點；識別單元，被配置成識別特征點的位置；顯示控制單元，被配置成基于特征點的位置執(zhí)行控制，以顯示指示特征點的特征點指 針；和提交單元，被配置成基于特征點的位置，提交對應(yīng)于特征點的位置或特征點的運動的 命令。
全文摘要
圖像處理設(shè)備和方法及其程序。圖像處理設(shè)備包含被配置成從所捕獲的圖像中提取特征點的提取單元；被配置成識別特征點的位置的識別單元；被配置成基于特征點的位置執(zhí)行控制，以顯示指示特征點的特征點指針的顯示控制單元；和被配置成基于特征點的位置，提交對應(yīng)于特征點的位置或特征點運動的命令的提交單元。
文檔編號G06K9/00GK102141839SQ20111004913
公開日2011年8月3日 申請日期2008年9月17日 優(yōu)先權(quán)日2007年9月19日
發(fā)明者土居正一, 鶴見辰吾 申請人:索尼公司