專利名稱：影像顯示裝置及其顯示控制方法
影像顯示裝置及其顯示控制方法技術領域
本發(fā)明與影像顯示裝置及其顯示控制方法相關，涉及對用戶的手勢進行圖像識 別、對電子設備發(fā)出指示的用戶界面(user interface)的易用性得到提高的影像顯示裝置 及其顯示控制方法。
背景技術：
一直以來，對于TV、錄像機等影像裝置，或者PC等信息處理設備而言，用戶一般使 用鍵盤和鼠標等定位設備來輸入數(shù)據(jù)或輸入指令，或者通過遙控器進行頻道操作、顯示操 作。
近年來，由于圖像識別技術的提高，特別是，在游戲機和操作向導設備的領域上， 提出了對用戶的手勢進行圖像識別，根據(jù)其結果判斷用戶的想法，從而使設備動作的方法。
例如，在專利文獻1中，公開了識別手指的形狀、動作，對操作進行判定的圖像識 別裝置。
在專利文獻1的圖像識別裝置中，在與身體的位置相應的標識上，生成操作面，根 據(jù)該操作面上的手或者手指的位置的移動來識別指示。操作面是虛擬的操作面，“操作者 102從標識101設想虛擬的操作面701并伸出手601，或者與監(jiān)視器111聯(lián)動，將畫面上的 一部分和操作面701視為觸摸面板，以進行觸摸的方式移動手601，由此能夠容易地進行輸 入操作。(段落編號0033)”。
在該專利文獻1中，因為根據(jù)身體的位置確定操作面，所以存在以下問題。
(1)因為在伸出手之前確定操作面位置，所以校準的時機較難把握。特別是有多個 人時，不能決定對于畫面前的哪個人設置操作區(qū)域。
(2)為了識別身體的位置處理負荷增大。
(3)躺著等姿勢下難以進行定位。
此外，還可以考慮對用戶的手進行識別，根據(jù)手的位置來確定操作面的區(qū)域的方 法。這是因為，只對手進行識別時處理的負荷較輕，通過捕捉手的特征能夠較為簡單地進行 識別。
在該方法中，存在確定操作區(qū)域的位置時難以確定校準時機的問題。
圖8中表示了從下方伸出手時，在腰部附近生成操作區(qū)域的情況。
例如，在從下方伸出手時，如圖8所示，會在伸手途中的腰部附近生成操作區(qū)域 80。其遠離用戶設想要操作的操作區(qū)域81，對用戶而言難以進行操作。
專利文獻1 專利第4318056號公報發(fā)明內容
本發(fā)明為了解決上述問題而完成，其目的在于，提供具有通過對用戶的手進行識 別來確定操作區(qū)域的功能的影像顯示裝置，其不怎么施加處理負荷、易于操作，并按照用戶 的想法確定操作區(qū)域。
本發(fā)明的影像顯示裝置，利用相機等進行拍攝的圖像拍攝單元來拍攝用戶的圖 像，對該圖像數(shù)據(jù)通過圖像識別單元來進行圖像識別，基于圖像識別的結果對用戶的操作 發(fā)出指示，圖像識別單元對用戶的手的位置進行識別，利用操作區(qū)域單元，在圖像拍攝單元 的拍攝區(qū)域面上用戶的手所投影的位置的周圍，設定用于使用戶對影像顯示裝置發(fā)出指示 的操作區(qū)域。而后，操作區(qū)域單元基于用戶的手所投影的位置與操作區(qū)域的相對位置關系， 在拍攝區(qū)域面內使操作區(qū)域移動。即，當用戶的手所投影的位置發(fā)生移動，接近操作區(qū)域的 周圍時，操作區(qū)域跟隨用戶的手所投影的位置的移動方向，設定為移動后的位置。此外，圖 像識別單元對用戶的手的揮動進行識別，操作區(qū)域設定單元基于用戶的手的揮動的幅度來 設定操作區(qū)域的大小。
根據(jù)本發(fā)明，能夠提供具有通過對用戶的手進行識別來確定操作區(qū)域的功能的影 像顯示裝置，其不怎么施加處理負荷、易于操作，并按照用戶的想法確定操作區(qū)域。


圖1是本發(fā)明的第一實施方式的影像顯示裝置的結構圖。
圖2是說明本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的圖。
圖3是說明本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 流程的圖。
圖4是表示本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 步驟的流程圖。
圖5是本發(fā)明的第二實施方式的影像顯示裝置的結構圖。
圖6是說明本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 流程的圖。
圖7是說明本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 步驟的流程圖。
圖8是從下方伸出手時在腰部附近生成操作區(qū)域的情況的圖。
附圖標記說明
100……影像顯示裝置，110……輸入部，130……影像信號處理部，140……顯示部。
121……手位置檢測部，122……位置判定處理部，123……操作區(qū)域設定部， 124……揮手動作檢測部。
10……顯示器，12……紅外線相機，14……LED, 16……透鏡，18……操作畫面， 20……操作區(qū)域，22……拍攝區(qū)域面，26……指針，30……用戶，32……手。
具體實施方式
以下，對于本發(fā)明的各實施方式使用圖1至圖7進行說明。
[實施方式1]
以下，使用圖1至圖4說明本發(fā)明的第一實施方式。
首先，使用圖1說明本發(fā)明的第一實施方式的影像顯示裝置的結構。
圖1是本發(fā)明的第一實施方式的影像顯示裝置的結構圖。
本實施方式的影像顯示裝置100，如圖1所示，包括輸入部110、系統(tǒng)控制部120、影 像信號處理部130和顯示部140。
輸入部110是用于對用戶進行拍攝的裝置，例如是具有T0F(Time of flight，飛行 時間)傳感功能的紅外線相機、立體相機、RGB相機等。輸入部110所使用的相機并沒有特 別限定，為了對用戶進行圖像識別，最終只要具有下述功能即可，即，用于將獲得的圖像變 換為數(shù)字數(shù)據(jù)的拍攝圖像的功能。
系統(tǒng)控制部120是檢測出用戶的手的位置，進行用于將操作區(qū)域設定在適當?shù)奈?置的數(shù)據(jù)處理的部分。系統(tǒng)控制部120可以通過CPU執(zhí)行存儲在存儲器上的軟件模塊來實 現(xiàn)，還可以通過專用的硬件電路實現(xiàn)。
系統(tǒng)控制部120具有實現(xiàn)手位置檢測部122、位置判定處理部123和操作區(qū)域設定 部124的功能的部分。
手位置檢測部122是根據(jù)圖像的數(shù)字數(shù)據(jù)檢測出手的位置的部分。位置判定處理 部123是判定手的位置與操作區(qū)域的位置關系的部分。操作區(qū)域設定部IM是設定操作區(qū) 域的部分。
影像信號處理部130是從系統(tǒng)控制部120接收指示和數(shù)據(jù)，生成用于在顯示部140 上顯示的影像信號的部分。
顯示部140是基于影像信號對用戶顯示影像的部分，例如是具有IXD(Liquid Crystal Display液晶顯示器)、PDP (Plasma Display Panel等離子體顯示面板)等顯示 器的顯示裝置。
接著，使用圖2和圖3對本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域 的設定處理進行說明。
圖2是對本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域進行說明的圖。
圖3是對本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的設定處理的流 程進行說明的圖。
本發(fā)明的第一實施方式的影像顯示裝置100的操作形象如圖2(a)所示，用戶30 在觀看顯示器10的同時通過手勢進行操作，影像顯示裝置100對其進行圖像識別，基于該 識別結果確定操作區(qū)域，用戶30在該操作區(qū)域中輸入必要的指令等。如圖2(b)所示，在顯 示器10的下方設置有紅外線相機12，利用該紅外線相機12的LED14發(fā)射近紅外線，其反射 線由透鏡16受光，對用戶30進行拍攝。本實施方式中，特別的要點在于對手進行識別。手 32是伸出的，可以認為是用戶30的身體中易于識別的部分。紅外線相機12是3D相機，能 夠測定從畫面到手的距離。
影像顯示裝置100進行圖像識別，當檢測到手32時，接著，根據(jù)識別到手的位置確 定與顯示器10的操作畫面18對應的操作區(qū)域20。操作區(qū)域20是用于使用戶30進行操 作的虛擬的區(qū)域，在用戶30站立的位置上的紅外線相機12的拍攝區(qū)域面22中生成。如圖 2 (b)所示，操作區(qū)域20是將顯示器10的操作畫面18在用戶面前的拍攝區(qū)域面22上放大、 縮小而成的區(qū)域，在最初確定操作區(qū)域20時，以用戶30的手32為中心。而后，如圖2(b) 所示，在操作畫面18中，在與操作區(qū)域20中的用戶30的手32的位置對應的位置上顯示指 針26。另外，指針沈在圖2(b)中表示為手的圖標，但也可以用箭頭的圖標、圓形、四邊形等 基本圖形的圖標、或者動畫人物的圖標等表示。
根據(jù)手32的位置和從操作畫面18到手的距離確定操作區(qū)域20，以使手的延長線 指示畫面，用戶30能夠宛如以使用免持的激光筆的形象對影像顯示裝置100發(fā)出指示。用 戶30看不到該操作區(qū)域20，用戶30不會特地去意識操作區(qū)域的位置和大小，操作區(qū)域在自 然的操作中動態(tài)地修正。
例如，如圖3(a)所示，用戶30使自己的手32在操作區(qū)域20中向右側移動。此時， 操作畫面18上的指針沈也向右側移動。而后，當手32要越過操作區(qū)域20的右邊時，如圖 3(b)所示，操作區(qū)域20也向右側移動。該操作區(qū)域20能夠在不超過拍攝區(qū)域面22的范圍 內移動。即，當檢測出用戶30的手的位置發(fā)生移動，接近操作區(qū)域20的周圍時，操作區(qū)域 20跟隨檢測出用戶30的手32的位置的移動方向發(fā)生移動。
而后，用戶30能夠以設定在新的位置上的操作區(qū)域20為對象，進行影像顯示裝置 100的操作。在圖3(c)中，用戶30將自己的手32再次放到操作區(qū)域20的正中央，操作畫 面18上的指針沈也在操作畫面18上的中心顯示。
接著，使用圖4對于本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的設 定處理的流程進行說明。
圖4是表示本發(fā)明的第一實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 步驟的流程圖。
操作區(qū)域20的設定處理是圖1所述的系統(tǒng)控制部120所進行的處理。
首先，系統(tǒng)控制部120對來自輸入部110的數(shù)據(jù)進行分析，進行用戶30的手32的 識別處理。
而后，當識別到手32時(S400)，按照手32的位置來設定操作區(qū)域20(S401)。此 時，也顯示操作畫面18上的指針26。
接著，對手32的位置的變化進行識別，根據(jù)手32的位置移動操作畫面18上的指 針 26(S402)。
而后，再次判定是否能夠識別手32 (S403)，當不能識別手32時(用戶32將手放下 時，或者將手32放在拍攝區(qū)域面22的外側時等)，刪除操作區(qū)域20 (S407)。此時，也消除 操作畫面18上的指針沈。而后，返回S400。
當能夠識別手32時，判定是否手32的位置位于操作區(qū)域20的一端并且手32還向 著操作區(qū)域20的外側移動(S405)，此時，根據(jù)手32的移動來使操作區(qū)域20移動(S408)。 即，使操作區(qū)域20跟隨手32的動作。而后，返回S402。
當用戶32按下操作區(qū)域20中的操作結束的指示按鍵等，有表示操作結束的想法 時(S406)，結束處理，否則，返回S402。
[實施方式2]
以下，使用圖5至圖7說明本發(fā)明的第二實施方式。
第一實施方式的影像顯示裝置100的顯示控制方法提供了使操作區(qū)域根據(jù)手的 動作來進行跟隨的界面(interface)。本實施方式中，在第一實施方式的顯示控制方法之 外，還提供了根據(jù)手的動作來確定操作區(qū)域大小的界面。
首先，使用圖5說明本發(fā)明的第二實施方式的影像顯示裝置的結構。
圖5是本發(fā)明的第二實施方式的影像顯示裝置的結構圖。
本實施方式的影像顯示裝置100中，如圖5所示，在由輸入部110、系統(tǒng)控制部120、影像信號處理部130和顯示部140組成這一點上，與第一實施方式相同，不同之處在 于，在系統(tǒng)控制部120中具有揮手動作檢測部124。
揮手動作檢測部IM是當用戶30揮動手32時對其進行檢測的部分。
接著，使用圖6對本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定 處理進行說明。
圖6是說明本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 流程的圖。
本發(fā)明的第二實施方式的操作區(qū)域20中，在操作開始時揮動手，根據(jù)揮手的位置 和幅度，進行操作區(qū)域20的位置和大小的校準。
像這樣，若根據(jù)揮手的幅度(揮動的幅度)來確定操作區(qū)域20的大小，則用戶30 能夠有意識地調整操作區(qū)域20的大小。例如，如圖6(a)所示，當用戶30較小幅度地揮手 時，操作區(qū)域20a較小，如圖6(b)所示，當用戶30較大幅度地揮手時，操作區(qū)域20b較大。
此外，因為該揮手動作是有代表性的動作，易于與其他的動作(操作)區(qū)別。
另外，在多個人伸出手的情況下，也具有操作者易于確定的優(yōu)點。圖6(c)中，表示 用戶30揮動手32，生成操作區(qū)域20并確定其大小，其他人的手33、34并不參與。
另外，當具有通過該揮手操作來進行操作區(qū)域設定的功能時，使操作區(qū)域跟隨用 戶30的手32的移動的機制，能夠通過對校準過一次的區(qū)域進一步設置動態(tài)地實施修正的 機制來加以實現(xiàn)。
接著，使用圖7對本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定 處理的流程進行說明。
圖7是表示本發(fā)明的第二實施方式的影像顯示裝置100的操作區(qū)域的設定處理的 步驟的流程圖。
操作區(qū)域20的設定處理是圖5所示的系統(tǒng)控制部120所進行的處理。
首先，系統(tǒng)控制部120對來自輸入部110的數(shù)據(jù)進行分析，進行用戶30的手32的 識別處理。
而后，當識別出手32時(S500)，判定是否識別出揮手動作(S501)，當識別出揮手 動作時，根據(jù)揮手動作的位置和幅度來設定操作區(qū)域20(S502)。此時，也顯示操作畫面18 上的指針26。
接著，對手32的位置的變化進行識別，根據(jù)手32的位置移動操作畫面18上的指 針 26(S503)。
而后，再次判定是否能夠識別手32 (S504)，當不能識別手32時，刪除操作區(qū)域 20(S507)。此時，也消除操作畫面18上的指針沈。而后，返回S500。
當能夠識別手32時，判定是否手32的位置位于操作區(qū)域20 —端并且手32還向著 操作區(qū)域20的外側移動(S505)，此時，根據(jù)手32的移動使操作區(qū)域20移動(S508)。艮口， 使操作區(qū)域20跟隨手32的移動。而后，返回S503。
當用戶32按下操作區(qū)域20中的操作結束的指示按鍵等，有表示操作結束的想法 時(S506)，結束處理，否則，返回S503。
以上，如第一實施方式和第二實施方式所述，本發(fā)明的影像顯示裝置的顯示控制 方法與專利文獻1的現(xiàn)有技術不同，能夠與身體的位置和姿勢無關，在伸出手時確定操作區(qū)域的位置。即，即使存在多個人，也能夠將伸出手的人確定為操作者。
此外，根據(jù)本發(fā)明的影像顯示裝置的顯示控制方法，因為設定過一次的操作區(qū)域會根據(jù)用戶的手的動作動態(tài)地變更，不需要在途中確定校準的時機，能夠提高操作性。
權利要求
1.一種影像顯示裝置，其拍攝用戶的圖像，對所述圖像的圖像數(shù)據(jù)進行圖像識別，基于 圖像識別的結果對所述用戶的操作進行操作顯示，該影像顯示裝置的特征在于具有操作區(qū)域設定單元，其基于所述圖像識別的結果，在所述拍攝的區(qū)域內，在所述用 戶的手的位置的周圍設定所述用戶能夠操作的操作區(qū)域，所述操作區(qū)域設定單元，跟隨所述用戶的手的位置的移動來移動所述操作區(qū)域的設定 位置。
2.如權利要求1所述的影像顯示裝置，其特征在于在用戶的手的位置越過所述操作區(qū)域的周圍時，移動所述操作區(qū)域的設定位置。
3.如權利要求1所述的影像顯示裝置，其特征在于所述圖像識別中，對所述用戶的手的揮動進行識別，所述操作區(qū)域設定單元基于所述用戶的手的揮動的幅度來設定所述操作區(qū)域的大小。
4.一種影像顯示裝置的顯示控制方法，該影像顯示裝置拍攝用戶的圖像，對于所述圖 像的圖像數(shù)據(jù)進行圖像識別，基于圖像識別的結果對所述用戶的操作進行操作顯示，該影 像顯示裝置的顯示控制方法的特征在于具有操作區(qū)域設定步驟，基于所述圖像識別的結果，在所述拍攝的區(qū)域內，在所述用戶 的手的位置的周圍設定所述用戶能夠操作的操作區(qū)域；在所述操作區(qū)域設定步驟中，跟隨所述用戶的手的位置的移動來移動所述操作區(qū)域的 設定位置。
5.如權利要求4所述的影像顯示裝置的顯示控制方法，其特征在于在用戶的手的位置越過所述操作區(qū)域的周圍時，移動所述操作區(qū)域的設定位置。
6.如權利要求4所述的影像顯示裝置的顯示控制方法，其特征在于所述圖像識別中，包含對所述用戶的手的揮動進行識別的處理，所述操作區(qū)域設定步驟包含基于所述用戶的手的揮動的幅度來設定所述操作區(qū)域的 大小的處理。
全文摘要
本發(fā)明提供具有通過對用戶的手進行識別來確定操作區(qū)域的功能的影像顯示裝置及其顯示控制方法，其不怎么施加處理負荷、易于操作，并按照用戶的想法確定操作區(qū)域。圖像識別單元對用戶的手的位置進行識別，利用操作區(qū)域單元，在圖像拍攝單元的拍攝區(qū)域面上用戶的手所投影的位置的周圍，設定用于使用戶對影像顯示裝置發(fā)出指示的操作區(qū)域。而后，操作區(qū)域單元在用戶的手所投影的位置發(fā)生移動，接近操作區(qū)域的周圍時，跟隨用戶的手所投影的位置的移動方向，使操作區(qū)域移動。此外，圖像識別單元對用戶的手的揮動進行識別，操作區(qū)域設定單元基于用戶的手的揮動的幅度，設定操作區(qū)域的大小。
文檔編號G06F3/01GK102033702SQ20101050013
公開日2011年4月27日 申請日期2010年9月30日 優(yōu)先權日2009年10月5日
發(fā)明者松原孝志, 森谷真壽美 申請人:日立民用電子株式會社