專利名稱：操作輸入裝置與方法及程序的制作方法
技術領域：
本發(fā)明涉及操作輸入裝置及操作判斷方法，更詳細地說，涉及從由攝像機等拍攝到的圖像對測量對象的動作進行判斷的操作輸入裝置及操作判斷方法。
背景技術：
近年來，在計算機、游戲機等中采用了各種輸入方法。如，通過照相機拍攝操作者預先定義的手勢之類的動作等進行識別，判斷其手勢是哪一操作內(nèi)容的系統(tǒng)。例如，在專利文獻I中提案了一種技術，具備:主計算機，其對由CCD照相機拍攝到的圖像中的物體的形狀、動作進行識別；顯示器，其顯示由主計算機識別到的物體的形狀、動作，當用戶朝向CCD照相機通過手勢等給與指示時，給與的手勢被顯示在顯示器的顯示畫面上，能夠通過手勢使用箭頭光標的圖標來選擇顯示在顯示畫面上的虛擬開關等，不需要鼠標等輸入裝置就能非常簡便地進行設備的操作。另一方面，在計算機的操作中，操作者通過移動鼠標，在顯示器顯示的按鈕、輸入?yún)^(qū)域等指定位置上對準指針進行點擊等，由此確定“按下按鈕”或“開始輸入?yún)^(qū)域的輸入”這些操作內(nèi)容。這樣，以往通過使用鼠標進行指示或聚焦(選擇)，在規(guī)定的位置上按一次點擊鍵，由此能夠選擇其位置等。另外，通過連續(xù)按兩次點擊鍵，能夠執(zhí)行關聯(lián)于所指示位置的各種應用程序(所謂雙擊)。或還可進行將所指示位置和移動地點相關聯(lián)的拖拽等操作。輸入鍵盤通常用于數(shù)值、文字等的具體信息輸入，因此，操作者為了輸出期望的信息，或輸入所需信息，要重復進行通過鼠標的移動和鍵盤的輸入。另一公開的技術有:操作者不需要裝載特別的設備，以更加提高有關操作者操作的便利性為目的，相對操作者，通過將相當于鍵盤、鼠標等的操作手段在適當?shù)目臻g部分上定義如虛擬平面G、虛擬鍵盤H，從而操作者能夠對顯示圖像進行所謂鼠標操作的點擊操作、拖拽操作、雙擊操作等，還能夠描繪、輸入期望的線、圖形或文字等(如參照專利文獻2)。現(xiàn)有技術文獻專利文獻專利文獻1:特開2004 - 78977號公報專利文獻2:特開2004 — 258714號公報

發(fā)明內(nèi)容
然而，不使用鼠標、鍵盤、觸摸面板等設備的手勢操作等會產(chǎn)生如下問題，S卩，需要非直觀的復雜動作，且大幅度動作會增加身體負擔，如專利文獻2的發(fā)明因為操作的手難以親身觀察操作對象畫面，手勢操作的動作間“關聯(lián)”模糊引起錯誤辨識的問題等，現(xiàn)有技術無法解決上述問題。特別是專利文獻2的發(fā)明中未裝載特殊設備等就能夠進行操作輸入，初看被認為是有效的技術。但是，存在操作的手自身遮蓋了對象畫面而引起的可視性問題和從“選擇”到“決定”的兩個操作步驟未被明確區(qū)分的問題，因此非常難以實施。本發(fā)明鑒于上述問題而完成，其目的在于提供一種操作者對顯示裝置操作時直觀又簡單，同時誤認發(fā)生率低，即使長時間操作帶給操作者的負擔也較少、能夠正確判斷出動作輸入的操作輸入裝置和操作判斷方法及程序。
為完成上述目的，權利要求1所述的發(fā)明，具備:顯示單元，其顯示操作者閱覽的圖像；攝像單元，其朝向操作者配置在顯示單元的旁邊，生成操作者圖像數(shù)據(jù)；區(qū)域設定單元，其預先設定操作者的一部分能夠控制在顯示單元上被顯示的既定標識的控制區(qū)域；控制單元，其從操作者的圖像中提取操作者的一部分，當操作者的一部分處于設定的控制區(qū)域內(nèi)時，根據(jù)操作者的一部分和顯示單元的位置關系移動標識；操作判斷單元，其從操作者的圖像中提取操作者的一部分，根據(jù)設定的判斷區(qū)域內(nèi)的操作者的一部分動作，判斷與標識的顯示單元的顯示面上的位置關聯(lián)的操作是否被進行。
權利要求2所述的發(fā)明，其特征在于，在權利要求1所述的操作輸入裝置中，區(qū)域設定機構進一步預先設定判定與標識的顯示機構的顯示面上的位置關聯(lián)的操作是否被進行的判斷區(qū)域，控制區(qū)域根據(jù)由攝像單元讀取的操作者的圖像所確定。
權利要求3所述的發(fā)明，其特征在于，在權利要求2所述的操作輸入裝置中，控制區(qū)域和判斷區(qū)域分別位于以操作者為中心的左右任一方，通過控制范圍設定單元提取的操作者的一部分和通過操作判斷單元提取的操作者的一部分不同。
根據(jù)權利要求4所述的發(fā)明，其特征在于，在權利要求3所述的操作輸入裝置中，區(qū)域設定單元根據(jù)從讀取的圖像上提取操作者的面部決定操作者的中心。
根據(jù)權利要求5所述的發(fā)明，其特征在于，在權利要求2或4中任一項所述的操作輸入裝置中，操作判斷單元通過由攝像單元讀取的操作者預先定義的一連串動作，確定控制區(qū)域和判斷區(qū)域各配置在左右哪一方。
根據(jù)權利要求6所述的發(fā)明，其特征在于，在權利要求2 5任一項所述的操作輸入裝置中，區(qū)域設定單元根據(jù)攝像單元讀取的操作者預先定義的一連串動作，預先設定控制區(qū)域及判斷區(qū)域。
根據(jù)權利要求7所述的發(fā)明，其特征在于，在權利要求2 6任一項所述的操作輸入裝置中，區(qū)域設定單元預先設定判斷區(qū)域和控制區(qū)域不重疊。
根據(jù)權利要求8所述的發(fā)明，其特征在于，在權利要求2 7任一項所述的操作輸入裝置中，控制區(qū)域及判斷區(qū)域為，與連接操作者的視點和顯示單元的顯示面的各頂點而決定的區(qū)域不相關的區(qū)域。
根據(jù)權利要求9所述的發(fā)明，一種操作輸入方法其通過操作輸入裝置進行操作輸入，所述操作輸入裝置具備，顯示操作者閱覽的圖像的顯示單元；生成觀看顯示單元的操作者的圖像數(shù)據(jù)的朝向顯示單元的操作者配置在顯示單元旁邊的攝像單元，其特征在于，所述操作輸入方法具備:預先設定操作者的一部分能夠控制在顯示單元上被顯示的既定標識的控制區(qū)域的區(qū)域設定步驟，從操作者的圖像中提取操作者的一部分，當操作者的一部分處于設定的控制區(qū)域內(nèi)時，根據(jù)操作者的一部分和所述顯示單元的位置關系，控制移動標識的控制步驟，從操作者的圖像中提取操作者的一部分，根據(jù)設定的判斷區(qū)域內(nèi)的操作者的一部分動作，判斷與標識的所述顯示單元的顯示面上的位置關聯(lián)的操作是否被進行的操作判斷步驟。
根據(jù)權利要求10所述的發(fā)明，一種程序，其在操作輸入裝置上執(zhí)行操作輸入方法的程序，所述操作輸入裝置具備，顯示操作者閱覽的圖像的顯示單元；，生成觀看顯示單元的操作者的圖像數(shù)據(jù)的朝向顯示單元的操作者配置在顯示單元旁邊的攝像單元，該操作輸入方法具備:預先設定操作者的一部分能夠控制在顯示單元上被顯示的既定標識的控制區(qū)域的區(qū)域設定步驟，從操作者的圖像中提取操作者的一部分，當操作者的一部分處于設定的控制區(qū)域內(nèi)時，根據(jù)操作者的一部分和顯示單元的位置關系，移動所述標識的控制步驟，從操作者的圖像中提取操作者的一部分，根據(jù)被設定的判斷區(qū)域內(nèi)的操作者的一部分動作，判斷與標識的所述顯示單元的顯示面上的位置關聯(lián)的操作是否被進行的操作判斷步驟。根據(jù)權利要求11所述的發(fā)明，其特征在于，在權利要求1所述的操作輸入裝置中，區(qū)域設定單元包含由攝像單元讀取的操作者預先定義的一連串動作表示的范圍，預先設定與連接操作者視點和顯示單元的顯示面的各頂點來確定的區(qū)域不相關的區(qū)域的控制區(qū)域。根據(jù)權利要求12所述的發(fā)明，其特征在于，在權利要求11所述的操作輸入裝置中，攝像單元為生成操作者的立體圖像數(shù)據(jù)的三維攝像單元，控制范圍設定單元根據(jù)由攝像單元讀取的操作者預先設定的一連串動作，作為控制范圍，以不重疊連接操作者的視點和顯示單元的顯示面的各頂點來決定的區(qū)域的方式，預先設定對應顯示單元的顯示面的位置決定面，控制單元在與操作者的一部分的設定的位置決定面上的位置對應的顯示面上的位置上移動標識。根據(jù)權利要求13所述的發(fā)明，其特征在于，在權利要求12所述的操作輸入裝置中，位置決定面形成在顯示單元和操作者之間。根據(jù)權利要求14所述的發(fā)明，其特征在于，在權利要求11 13任一項所述的操作輸入裝置中，操作判斷單元從操作者的圖像中提取與操作者的一部分不同的一部分，根據(jù)與操作者的一部分不同的一部分的一連串動作，判斷與該一連串動作關聯(lián)的、預先確定的操作被進行。根據(jù)權利要求15所述的發(fā)明，其特征在于，在權利要求14所述的操作輸入裝置中，還具備判斷區(qū)域設定單元，其根據(jù)由攝像單元讀取的操作者預先設定的一連串動作，預先設定由與操作者的一部分不同的一部分能夠進行判斷的作為區(qū)域的判斷區(qū)域，當與操作者的一部分不同的一部分處于被設定的判斷區(qū)域內(nèi)時，操作判斷單元根據(jù)與操作者的一部分不同的一部分的一連串動作，判斷進行與該一連串動作關聯(lián)的、預先確定的操作被進行。根據(jù)權利要求16所述的發(fā)明，其特征在于，在權利要求15所述的操作輸入裝置中，攝像單元為生成操作者的立體圖像數(shù)據(jù)的三維攝像單元，判斷區(qū)域設定單元根據(jù)由攝像單元讀取的操作者預先設定的一連串動作，作為判斷區(qū)域，以不經(jīng)過連接操作者的視點和顯示單元的顯示面的各頂點確定的排除區(qū)域，且不與控制范圍重疊的方式，預先設定對應顯示單元的顯示面的操作判斷面，操作判斷單元從操作者的圖像中提取與操作者的一部分不同的一部分，當與操作者的一部分不同的一部分處于被設定的操作判斷面和顯示單元之間時，判斷一連串動作關聯(lián)的操作被進行。根據(jù)權利要求17所述的發(fā)明，其特征在于，在權利要求16所述的操作輸入裝置中，操作判斷面形成在顯示單元和操作者之間。根據(jù)權利要求18所述的發(fā)明，其特征在于，在權利要求12或13所述的操作輸入裝置中，還具備判斷范圍設定單元，其預先設定作為由攝像單元讀取的操作者預先確定的一連串動作標識的區(qū)域，且該區(qū)域與連接操作者的視點和顯示單元的顯示面的各頂點決定的區(qū)域不重疊，且能夠根據(jù)與操作者的一部分不同的一部分判斷不重疊于位置決定面的區(qū)域的判斷區(qū)域，操作判斷單元從操作者的圖像中提取與操作者的一部分不同的一部分，當與操作者的一部分不同的一部分處于被設定的判斷區(qū)域內(nèi)時，根據(jù)與操作者的一部分不同的一部分的一連串動作，判斷一連串的動作關聯(lián)的、預先確定的操作被進行。
根據(jù)權利要求19所述的發(fā)明，其特征在于，在權利要求18所述的操作輸入裝置中，判斷區(qū)域設定單元根據(jù)由攝像單元讀取的操作者預先設定的一連串動作，作為判斷區(qū)域，以不重疊連接操作者的視點和顯示單元的顯示面的各頂點來確定的排除區(qū)域、且與控制范圍不重疊的方式，預先設定對應顯示單元的顯示面的操作判斷面，操作判斷單元從操作者的圖像上提取與操作者的一部分不同的一部分，當與操作者的一部分不同的一部分處于設定的操作判斷面和顯示單元之間時，判斷一連串動作關聯(lián)的操作被進行。
根據(jù)權利要求20所述的發(fā)明，其特征在于，在權利要求19所述的操作輸入裝置中，操作判斷面形成在顯示單元和操作者之間。
根據(jù)權利要求21所述的發(fā)明，其特征在于，在權利要求12或13所述的操作輸入裝置中，從位置決定面的操作者側的操作者的一部分和位置決定面的位置關系算出距離，根據(jù)距離使所述標識發(fā)生變化，來表示移動該標識的位置。
根據(jù)權利要求22所述的發(fā)明，其特征在于，在權利要求16、17、19或20任一項所述的操作輸入裝置中，判斷區(qū)域設定單元設定根據(jù)與操作判斷面的位置關系確定的作為判定區(qū)域的兩個以上的虛擬操作層，操作判斷單元當在兩個以上的虛擬操作層的任一區(qū)域內(nèi)、讀取到與操作者的一部分不同的一部分時，基于該虛擬操作層預先被分配的操作類別及根據(jù)與虛擬操作層內(nèi)的操作者的一部分不同的一部分的一連串動作，判斷操作內(nèi)容。
根據(jù)權利要求23所述的發(fā)明，其特征在于，在權利要求11 13任一項所述的操作輸入裝置中，還具備識別操作者聲音的聲音識別單元，操作判斷單元當通過聲音單元識別的聲音為預先確定的聲音時，判斷對應該預先確定的聲音的操作被執(zhí)行。
根據(jù)權利要求24所述的發(fā)明，其特征在于，在權利要求11 23任一項所述的操作輸入裝置中，攝像單元由顯示單元之一的攝像單元構成。
根據(jù)權利要求25所述的發(fā)明，其特征在于，在權利要求11 23任一項所述的操作輸入裝置中，攝像單元由分別配置在顯示單元左右的攝像單元構成，分別拍攝與操作者的一部分不同的一部分及操作者的一部分圖像。
根據(jù)權利要求26所述的發(fā)明，其特征在于，在權利要求11 25任一項所述的操作輸入裝置中，操作者的一部分是操作者的手。
根據(jù)權利要求27所述的發(fā)明，其特征在于，在權利要求14 20任一項所述的操作輸入裝置中，操作者的一部分是操作者的手，與操作者的一部分不同的一部分為操作者的另外一只手。


圖1是用于說明本實施例的操作輸入系統(tǒng)的一例的圖。
圖2是表示與本實施例的操作輸入系統(tǒng)的計算機關系的示意模塊圖。
圖3是用于說明本實施例的原理的圖。圖4是本實施例處理的流程圖。圖5是用于說明本發(fā)明一實施例所涉及的左右操作區(qū)域的圖。圖6是用于說明本發(fā)明一實施例所涉及的左右操作區(qū)域的作用的圖。圖7是表示本發(fā)明一實施例所涉及的畫面及對應操作面的功能的示意圖。圖8是表示本發(fā)明一實施例所涉及的畫面及對應操作面的功能的示意圖。圖9是本發(fā)明一實施例的虛擬操作面的側面圖。圖10是本發(fā)明一實施例的虛擬操作面的俯視圖。圖11是用于說明本發(fā)明一實施例所涉及的左右兩個操作區(qū)域的功能的實例圖。圖12是用于說明本發(fā)明一實施例所涉及的左右兩個操作區(qū)域的功能其他實例圖。圖13是表示通過本發(fā)明的一實施例所涉及的操作輸入系統(tǒng)輸入操作一例的圖。圖14是表示本發(fā)明的一實施例所涉及的操作者的動作和顯示在畫面上的圖標的關系的圖。圖15是表示本發(fā)明的一實施例所涉及的操作輸入畫面的具體顯示一例的圖。圖16是表示本發(fā)明的一實施例所涉及的操作輸入畫面上可能使用的各種圖標的例子的圖。圖17是表示本發(fā)明的一實施例所涉及的操作者的動作和顯示在畫面上的圖標的關系的圖。圖18是表示本實施例的操作輸入系統(tǒng)的操作姿勢的一例的圖。圖19是表示本實施例的操作輸入系統(tǒng)的一例的圖。圖20是表示本實施例的操作輸入系統(tǒng)的一例的圖。圖21是表示本實施例的計算機CPU內(nèi)所處理的程序的功能模塊的一例的模塊圖。圖22是本實施例的處理的流程圖。圖23是表示本發(fā)明的一實施方式所涉及的指定的操作面位置的提取處理的流程圖。圖24是表不本實施例的操作輸入系統(tǒng)的另外一例的圖。
具體實施例方式以下參照附圖對本發(fā)明的實施例進行詳細地說明。(第I實施例)圖1是表示本實施例的操作輸入系統(tǒng)的一例的圖。在本實施例中，如后所述，以操作者102的頭部為基準，將右側區(qū)域124及左側區(qū)域125分別確定為右手114及左手115的操作區(qū)域，判斷各自的操作內(nèi)容，作為操作輸入被處理。參照圖1可以理解到:通過隔開一定距離配置右側區(qū)域124及左側區(qū)域125，能夠回避操作者右手114及左手115的動作交錯導致的到底是哪一個手的動作的誤識別問題。通過確定這樣的兩個區(qū)域，如圖20所示，能夠相對于顯示器111用右手114及左手115進行不同種類的操作，更有效地進行操作判斷。如本實施例中可構成為，用右手114使鼠標光標移動，用左手115確定操作內(nèi)容(相當于鼠標的點擊按下)，但并不限定于此，也可以組合各種操作。
本實施例的顯示器111放置在操作者102的前面，操作者102能夠在與顯示器111間的左右一定位置上所設定的區(qū)域內(nèi)識別手指等的形狀作為操作判斷對象進行操作。在此，在顯示器111上被顯示通常個人計算機上所使用的各種應用程序用的各種圖像，但是，再加上輔助操作輸入，即能夠將作為對象的操作者102的部位等顯示在畫面的一角，對操作者102顯示當前時刻系統(tǒng)識別到哪種操作正在進行。在本實施例中，操作者能夠使用通常的個人計算機用顯示器作為視聽顯示器。另外，在本實施例中，對采用右手進行位置決定、左手進行操作判斷的系統(tǒng)進行了說明，但并不限定于此，也可以通過好使的手或操作者的嗜好等進行左右對調(diào)。
在本實施例中，如圖5所示，為獲取圖像使用攝像機511 514任一位置上的照相機。在此，圖5中顯示了 4個照相機，也可以設置任一個或任兩個以上。使用多個照相機時，可以用左右的照相機分別拍攝左右手的動作，從而提高圖像的精度。另外，照相機可以使用紅外照相機等本技術領域公知的任意攝像單元，除了圖5所示的4個位置以外也可以選擇顯示器附近的任意位置作為設置位置。因此，照相機511等可以選擇能夠拍攝對象圖像的任意類型的照相機，不局限于其方式，但優(yōu)選在設置布局上能獲取廣角范圍的照相機。
另外，還能夠使用近年來個人計算機等上所使用的廉價的網(wǎng)絡攝像頭等。利用廉價的網(wǎng)絡攝像頭代替高價照相機，如照相機512及514那樣，將各照相機設置在對象畫面的兩端，如上所述，通過使左右照相機分別獨立承擔左操作、右操作的讀出方法，能夠提高讀出精度。此時，在從獲取的二維圖像信息上，用靈活的手移動鼠標光標(指尖的圖像識別)、用另一只手的手勢的輪廓圖像識別決定意志的這一本技術領域公知的方法中，能夠進行操作成為兩步驟的PC操作。
其次，參照圖19具體地說明本實施例的操作輸入方法。圖19是表示本實施例的操作輸入系統(tǒng)的一例的圖。參照圖19，本實施例的操作是隔開連接圖19例中的相當大的緩沖區(qū)域即連接上述視點501和操作對象畫面502的四角的四角錐，僅以在左右被劃分的區(qū)域124、125內(nèi)手動作時為操作對象，因此在操作輸入動作上操作者即使活動手也不遮擋顯示器111上被顯示的畫面，能夠確保通常的個人計算機操作時的可視性。在此，只要不引起左右手的交錯，緩沖區(qū)域能夠設成任意大小。另外，同樣地左右動作的區(qū)域124、125通過上述緩沖區(qū)域被分開配置，能夠使各自區(qū)域內(nèi)的動作正確地分別判斷為操作者的左手、右手。在以往通常的手勢識別中，由于操作者兩臂的交叉、身體和手臂的重疊等，產(chǎn)生誤識別的情況居多，但，通過如上構成，能夠分別限制區(qū)分根據(jù)操作者的操作區(qū)域設定和中央非讀出區(qū)域所分割的左右手的操作區(qū)域，從而能夠實現(xiàn)穩(wěn)定操作。
在本實施例中，使用左右任意一只手僅用于XY坐標的指示或焦點(相當于以往鼠標的光標移動)功能(虛擬觸控板功能)，使用另一只手僅用于接受對焦點的決定動作如點擊、雙擊、拖拽的觸發(fā)的功能。這樣，左右手分別分擔完整功能，能夠絕對地降低在兩步驟判斷操作過程中手勢操作上常見的輸入錯誤及誤識別。另外，作為具體的手勢，能夠以打開手掌(猜拳的布形狀)進行單擊、雙擊操作，立起食指點擊、立起兩根手指進行雙擊等。另外，以下為了方便起見使用右手作為虛擬觸控板功能，使用左手作為操作決定功能，但并不限定于此，還能夠左右互換，進一步分割功能或使其綜合。
(本實施例的系統(tǒng)構成)
圖2是表示本實施例的操作輸入裝置的計算機110的構造的示意模塊圖。在計算機110上安裝有顯示器111，且連接拍攝操作者102等的攝像機511等，拍攝的圖像存入計算機110。通過拍攝得到的圖像在CPU210上提取出作為本實施例特征的操作者的一部分的左右手圖像。計算機110 —般具備CPU210，在RAM212上執(zhí)行被存儲在R0M211等上的程序，將基于由操作輸入裝置輸入的圖像的處理結果輸出在顯示器111等。在本實施例中，顯示器111通過上述操作者的手活動被顯示的圖標等，除此之外，還能輸出操作者要體驗的各種應用程序提供的各種映像，另外如后所述還顯示操作輸入輔助那樣的信息。圖21是表示在本實施例的計算機110的CPU210內(nèi)處理的程序的功能模塊一例的模塊圖。如圖21所示，本系統(tǒng)的處理是通過圖像讀取部301、圖像提取部302、圖像位置算術部303、操作判斷部304及標識控制部305執(zhí)行。另外，在本實施例中，接收來自攝像機511的圖像后到進行數(shù)據(jù)輸出的處理是通過這5個模塊執(zhí)行，但并不限定于此，也可以采用其他模塊或使用更少的模塊進行處理。另外，在本實施例中，作為顯示器111，也可以使用能立體顯示的3D顯示器，從操作者的角度來看，操作面存在于設定或被調(diào)整的位置上以可見的方式顯示圖標。由此，操作者102以如同圖標等存在于那里的方式作為立體圖像進行識別，對識別到的立體圖像使用手或手指執(zhí)行操作。操作者102通過其右眼和左眼看見顯示器111上被顯示的圖像及圖標等，但由于圖標等立體顯示，例如由包含視差的2張的圖像構成，通過右眼及左眼分別觀察，形成如同從顯示器111到位于操作者前面的立體顯示的面。另外，被立體顯示的面的位置和作為操作者的操作感實際被形成圖標等的位置存在若干不同位置上進行顯示的情況，但未必要求一致。(操作區(qū)域的設定)圖3是用于說明設定本實施例的操作區(qū)域的處理的圖。在本實施例中，為了更簡單地設定左右操作區(qū)域，從上述攝像機111拍攝的操作者的圖像中提取面部131作為左右區(qū)域設定時的基準。參照圖3，用本技術領域公知的方法提取操作者102的面部131后，判斷臉的中心部，將通過中心部的垂線判斷作為操作者102的中心線132。在此中心線的左右設置不成為任一操作區(qū)域的一定的緩沖區(qū)域，并設定左右操作的區(qū)域125及124。這樣，能夠根據(jù)中心線132更簡單地定義圖6所示那樣的右側區(qū)域124及左側區(qū)域125，但是，根據(jù)系統(tǒng)、操作者的體系等適當設定各操作區(qū)域的大小、位置的值。同樣，根據(jù)左右手的動作的交錯程度，適當設定緩沖區(qū)域的大小。另外，在本實施例中，提取了面部，但是，還能夠以頭部自身或其他位于頭部旁邊的操作者的一部分作為基準。在本實施例中，這樣有效的動作范圍的設定處理是通過系統(tǒng)電源接通后或特定的操作如通過用遙控器指示等開始，但并不限定于此，也可以采用本技術領域公知的方法，由時刻(timing)開始。另外，在本實施例中，在通常的PC操作中如圖18所示支著兩肘的手勢輸入為一般方式，因此對于動作范圍的設定來說，考慮這樣的操作姿勢在適合操作者身體的位置上進行范圍設定是有益的。而且，通過支著兩肘的操作姿勢，與以往PC操作時的鼠標、鍵盤相t匕，由兩臂重量引起的對兩肩的肌肉負擔被大大減輕，只需用最小限的小幅度手勢就能完成操作，因此身體負擔被大幅減輕，同時能夠用照相機臺置換鼠標、鍵盤，具有很大價值。再加上通過兩肘支撐在桌面上，由右手114操作的鼠標光標移動(焦點)、由左手115進行操作判斷時也能總是確保穩(wěn)定的手勢位置。在本實施例中，作為進行以上操作范圍設定處理的前提，當假想本技術領域公知的初始設定如本實施例的操作輸入裝置被重新設置時，需要將事前準備利用的攝像機511的使用鏡頭的歪斜、顯示器111和鏡頭的距離等的信息輸入到裝置中。另外，預先調(diào)整閾值設定等。再者，如圖24所示，還可以使桌上成為有效的動作范圍。即可以用右手114在桌上移動來使圖標移動，左手115通常伏在桌上，一旦接觸桌面就可以進行操作和判斷。(本實施例的操作判斷處理)在本實施例中，參照圖4及圖19，確定使用攝像機511等拍攝的操作者102—部分的手或手指114、115的位置的同時，根據(jù)這些位置與顯示器上對應點的相對位置、形狀，移動顯示器上的圖標，或判斷為一定的操作。首先，在圖像讀取部301上讀取使用攝像機511等拍攝到的數(shù)據(jù)，從該數(shù)據(jù)上通過圖像提取部302提取操作者的手的圖像(S401及402)。這樣準備的結果，以上述操作區(qū)域的設定進行預先設定(S403)，讀出存儲單元等上存儲的有效的動作區(qū)域124、125的位置、大小。在此，將右手的操作開始位置定在適當位置上，采用本技術領域公知的任意方法，在對應右手114位置的顯示器111上的位置上圖標等通過標識控制部305被顯示，與手的動作一起移動從而被控制。因此，操作者能夠對照被顯示的圖標的活動，在有效動作區(qū)域124內(nèi)確實地活動手指、手，因而能夠進行移動顯示面上被顯示的圖標等的操作(S404、405及408)。操作判斷部304根據(jù)操作者102的動作區(qū)域125內(nèi)的左手115的形狀、動作，判斷預先確定的操作已進行，根據(jù)右手114的位置，將與左手形狀或動作關聯(lián)的預先被確定的操作內(nèi)容一起，向系統(tǒng)通知操作被執(zhí)行(S406及407)。在此，什么樣的形狀、動作對應什么樣的操作也可以由系統(tǒng)單獨決定，也可以采取本技術領域公知的任意方法決定，或者僅僅通過操作者觸碰其位置如選擇圖標或按下按鈕進行判斷。當有上述那樣的操作輸入時，判斷的結果由計算機110執(zhí)行。操作內(nèi)容的判斷不限定于在此說明的方法，也可以采用本實施例公知的任意方法。另外，具體的判斷方法也省略了，但一般的話，預先確定的手勢等的操作者的身體形狀、動作及其所代表的操作內(nèi)容保存在數(shù)據(jù)庫等中，圖像提取后，訪問此數(shù)據(jù)庫并判斷操作內(nèi)容。此時當然也可以通過本技術領域公知的方法利用圖像識別技術、人工智能等提高判斷精度。在此，手不在有效的動作區(qū)域124、125時操作不被判斷。例如，當右手脫離有效區(qū)域124時，在其位置上圖標停止或返回到初始位置。另外，當左手脫離有效區(qū)域125時，即使是預先確定的形狀、動作，操作也不被判斷。以上，根據(jù)本實施例，以操作者的頭部等為基準，確定左右的動作區(qū)域124、125，通過用左右手分別執(zhí)行不同功能如圖標的移動或選擇、點擊、拖拽等操作內(nèi)容，盡管單是手勢輸入，但也不會給操作者帶來負擔，能夠在個人計算機上不使用鍵盤而進行正確的操作輸入。(第2實施例)在上述第I實施例中，在操作者和顯示器間通過左右分擔功能、活動手的操作輸入方法中，對根據(jù)操作者的中心線決定左右操作區(qū)域的方法進行了說明，但是，在本實施例中基本上采用相同的系統(tǒng)構成，通過操作者的手勢等、手等的位置、動作等，不考慮中心線確定操作區(qū)域。另外，在本實施例中，基本上從顯示器分別來觀察左右手、使左右手在左側及右側的一定范圍內(nèi)活動來進行操作判斷，但并不限定于此，也可以通過在手自然所及的范圍位置上活動手，用來操作判斷。例如，圖19所示將視點501和顯示面502形成的四角錐的下側作為空格鍵使用等設定各種功能。
本實施例的操作輸入方法如圖19所示，本實施例的操作僅在隔開連接上述視點501和操作對象畫面520的四角的四角錐而左右劃分的區(qū)域124、125內(nèi)手動作時為操作對象，因此在操作輸入動作中即使操作者活動手也不遮擋顯示器111上被顯示的畫面，能夠確保通常的個人計算機操作時的可視性。在第I實施例中，利用了包含這樣的四角錐的緩沖區(qū)域的概念隔開了左右區(qū)域，而在本實施例中作為原則左右動作的區(qū)域124、125通過上述四角錐分開配置，從而能夠正確地區(qū)分執(zhí)行處理的左手和右手而進行判斷。在以往通常的手勢識別中，由于操作者兩臂的交叉或身體與手臂的重疊等，發(fā)生誤識別的情況居多，但是通過如上構成，能夠分別限制區(qū)分操作者的操作區(qū)域設定、通過中央非讀出區(qū)域被分開的左右手的操作區(qū)域，從而能夠實現(xiàn)穩(wěn)定地操作。
(第2實施例的操作范圍的設定)
在本實施例中，作為進行操作范圍設定處理的前提，當假想本技術領域公知的初始設定如本實施例的操作輸入裝置被重新設置時，需要將事前準備利用的攝像機511的使用鏡頭的歪斜、顯示器111和鏡頭的距離等信息輸入到裝置中。另外，預先調(diào)整閾值設定等。當系統(tǒng)的初始設定結束時，進行本實施例的處理，參照圖20，通過本實施例所涉及的操作者的手勢說明設定左右動作范圍的處理。如圖20所示，使用照相機拍攝到的操作者的圖像的手114、115,決定動作范圍的位置、大小。具體而言,如圖20所示,操作者將包含手114、115所示位置的一定范圍設定為有效的動作范圍。作為動作范圍的例子，如圖19中所示的范圍124、125。在此，由于通過上述四角錐將左右的有效范圍分開配置，因而設定的范圍所涉及的上述四角錐的部分不被視為有效的動作，因此從有效的動作范圍中被排除。
在本實施例中，這樣有效的動作范圍的設定處理是通過系統(tǒng)電源接通后、特定的操作如用遙控器指示等開始，但并不限定于此，也可以采用本技術領域公知的任意方法、時刻開始。
另外，在本實施例中，在通常的PC操作中如圖18所示支著兩肘的手勢輸入為一般方式，因此對于動作范圍的設定來說，考慮這樣的操作姿勢在適合操作者身體的位置上進行范圍設定是有益的。而且，通過這樣支撐兩肘的操作姿勢，與以往的PC操作中的鼠標、鍵盤相比，由兩臂的重量引起的對兩肩的肌肉負擔被大大減輕，只需最小限的小幅度手勢就能完成操作，身體的負擔被大幅減輕，在此基礎上，能夠用照相機臺置換鼠標、鍵盤等，價值巨大。再加上通過使兩肘支撐在桌面上，由右手114操作引起的光標移動(聚焦)、由左手115進行操作判斷時也能總是確保穩(wěn)定的手勢位置。
另外，如圖24所示，還可以使桌上成為有效的動作范圍。即可以使右手114在桌上移動使圖標移動，左手115通常伏在桌上，一旦接觸桌面就可以進行操作和判斷。
以上，根據(jù)本實施例，能夠確定顯示畫面的視野即被上述四角錐明確分離的左右動作范圍124、125，通過用左右手分別執(zhí)行不同的功能如圖標的移動或選擇和點擊、拖拽等的操作內(nèi)容，盡管只是手勢的輸入，但也不會給操作者帶來負擔，從而能夠實現(xiàn)在個人計算機等上不使用鍵盤的正確操作輸入。
(第3實施例)在上述第I及第2實施例中，對在操作者和顯示器間通過左右分擔功能、活動手的操作輸入進行了說明，但是，在本實施例中基本上采用相同的系統(tǒng)構成，能夠進一步提高操作輸入的精度。也就是說，在本實施例中，導入虛擬的操作面的概念，利用相對于操作面的手的動作、操作面形成的區(qū)域，判斷操作的觸發(fā)、操作內(nèi)容。因此，在本實施例中，通過使用三維照相機代替第I實施例的照相機，還獲取到操作者自身、手或手指的z方向位置，從而可以正確地獲取虛擬操作面上的手的位置，判斷是否橫穿操作面。因此，除了使用三維照相機這一點，系統(tǒng)構成與第I實施例相同，以下省略重復的點。另外，使用了本實施例的虛擬操作面的處理可適用于左右操作的雙方，但還可以在右或左的任一操作中適用上述的第I實施例的處理，在另一方中適用本實施例的處理，可對照系統(tǒng)構成、使用狀況進行適當?shù)剡x擇。圖5是用于說明本發(fā)明一實施例所涉及的左右虛擬操作面的圖。在圖5所示的攝像機511 514中，在實際系統(tǒng)使用時，基本上只需一臺三維照相機即可。在本實施例中，通過攝像機511使用三維(或3D)照相機，能夠生成包含操作者的立體圖像。當然，也可以在左右配置通常的二維照相機進行使用，例如，攝像機512及514兩個都具備，此時照相機也可以使用二維照相機，通過攝像機512及514兩個來生成立體圖像。圖9及圖10是從側面看操作面及上面觀察到的圖。參照圖9及圖10可以理解到操作面104、105以避開連接操作者視點501和操作對象畫面520的四角的四角錐的方式而左右配置。在此，位置決定面104及操作判斷面105的位置在后述PC設置階段的初始設定步驟中，配合操作者的利用環(huán)境，在最適合輸入操作的位置上撐開兩手進行設定。此時，例如也可以在照相機側補足操作者的頭部兩肩等上半身的位置信息、兩眼的位置等，在朝向桌子的操作者支著肘部在兩手易于操作的左右對照位置上進行配置設定，但并不限定于此，可以針對操作者的操作環(huán)境進行最佳設定。另外，圖9及圖10所示的位置決定面104及操作判斷面105以避開上述四角錐的方式被配置在左右，這是為了如上述那樣操作者的手114、115不遮擋操作者的視野，因此，只要能達到此目的，位置決定面104及操作判斷面105可以大致被配置在左右，即使稍微與四角錐重疊也沒有問題。圖11及12是用于說明本發(fā)明一實施例所涉及的左右兩個操作面的典型功能的例子圖。圖11及12均是位置決定面104承擔指示或焦點功能,如圖7所示,對應位置決定面104的區(qū)域1202顯示在顯示器111的適當位置，當前手114聚焦對應的地點的顏色改變了，還能夠顯示未圖示的圖標等。這樣，通過與位置決定面104上的手114的動作聯(lián)動，使顯示器111上的圖像變化，操作者能夠直觀的邊觀察顯示器111邊用手114進行聚焦。另外，如圖11所示，操作判斷面105具有一定的區(qū)域901，當手115超越過操作判斷面105時，判斷為操作已被開始，可根據(jù)區(qū)域901內(nèi)的手115的形狀、手勢，判斷操作內(nèi)容。也就是說，本實施例的操作面是根據(jù)操作者102的身高、手臂長度或身高、肩寬等的身體尺寸信息進行設定，操作者102捕捉虛擬存在的預先設定的操作判斷面105，當要進行各種操作時，可以操作判斷面105為基準，手115伸出到前面的操作區(qū)域901來表示手勢?；蛘呷鐖D12所示，可將操作判斷面設為兩層902、1001，手115只貫通到第一層1001時判斷為點擊，到達第二層902時判斷為雙擊。在本實施例中，表示了操作判斷面具有兩層的例子，但并不限定于此，也可以設定為三層或更多層，從而使其對應各種各樣的功倉泛。
另外，在上述圖7所示的例子中，本實施例的操作輸入系統(tǒng)具有簡單的鍵盤功能，如圖8所示，也可以具有通常的鍵盤功能。即通過右操作面104分擔通常的鍵盤的右半部分，左操作面分擔通常的鍵盤的左半部分，操作者能夠邊看顯示器111上的鍵盤配置1202、1301邊使其聚焦來決定操作。另外，在此時的操作決定中，通常在不利用的操作畫面下設定另一個操作面等作為操作判斷面。另外，在這樣的操作畫面下設置操作面時，也可僅分配空格鍵等。
(操作面的設定)
在本實施例中，當系統(tǒng)的初始設定結束時，進行有關本實施例所涉及的操作面的設定處理。如圖20所示例子那樣，通過用三維照相機拍攝的操作者的圖像的手114、115，決定操作面的形狀(包含大小、相對顯示器的角度)，例如根據(jù)從z方向的顯示器到手114、115的距離來決定操作面104、105的位置。具體而言，如圖1所示，我們理解為可以在操作者用手114、115表示的位置上形成操作面104、105。
其次，參照圖23說明操作面提取處理。圖23是表示提取本實施例指定的操作面的位置的處理的流程圖。首先，一旦進行數(shù)據(jù)即操作者的立體圖像數(shù)據(jù)的輸入(S601)，就會識別手的形狀及頭部(S602、S603)，來判斷是否形成操作面(S605)。具體而言，當手支撐在桌上、伸手姿勢維持一定時間時，判斷為操作面的設定處理，在操作者通過手指示的位置上將操作面從取得的立體圖像中提取而形成操作面(S605)，必要時根據(jù)操作者的身體的測量值如手臂長度、軀干或頭部的位置設定操作區(qū)域(S606)，輸出數(shù)據(jù)從而結束(S609)。在此，本實施例中通過使肘支撐在桌上、伸手的動作靜止一定時間，由此判斷為操作面的設定指示，但并不限定于此，還可以通過本技術領域公知的任意方法使其判斷指示諸如通過各種手勢、遙控器操作等進行指示。另外，本實施例基本上在利用手造形的形狀、位置上形成操作面，但也可以配合操作者的身體的特征、或顯示器的位置、使用狀況等進行調(diào)整。
當從頭部的識別、手的姿勢判斷為不是操作面的設定處理時，則判斷是否已處于操作面被設定的狀態(tài)(S607)，當操作面已被設定時，則判斷為通常的操作，獲取操作區(qū)域內(nèi)的手的位置(S608)。通過以上，進行基于操作者指示的操作面的設定處理。
在此，操作面的形狀參照圖1等為垂直豎立的長方形，但并不限定于此，能夠根據(jù)操作者的操作方式形成各種各樣的形狀(包含大小、相對顯示器的角度)的操作面。如圖18所示，也可以在桌上配置位置決定面1801及操作判斷面1802，還可以以使用鍵盤、鼠標的感覺進行操作輸入。當然為了配置這樣的操作面，操作面設定時需要將手置于桌上，做預先確定的手勢來設定操作面。
(本實施例的操作判斷處理)
在本實施例中，確定使用攝像機511等拍攝到的操作者102的一部分的手、手指114、115的位置的同時,進行算出操作面104、105和操作者102的手指114、115的位置關系的處理。對此處理參照圖22進行以下說明。
圖22是本實施例的操作判斷處理的流程圖。首先，在圖像讀取部301中讀取由攝像機511等拍攝到的數(shù)據(jù)(S401)，通過圖像提取部302從該數(shù)據(jù)中提取操作者的像(S402)。
這樣準備的結果，以上述操作面的設定預先設定，讀出存儲單元等中存儲的操作面的位置、形狀(S403)。這樣，當操作面的形狀、位置被讀出時，則采用本技術領域公知的任意方法，在對應操作面104上的手114位置的顯示器111上的位置上圖標等通過標識控制部305被顯示，與手的動作一起移動的方式被控制。因此，操作者能夠在對應被顯示的圖標的操作面上的位置上確實地使手指、手感觸到，從而進行觸摸顯示面上被顯示的圖標等的操作。操作判斷部304當利用操作輸入系統(tǒng)形成的操作面和與操作者102之間的相對位置關系(S404)，從操作面的攝像機511等觀察，當操作者102的一部分出現(xiàn)在近前時，判斷為操作已開始(S405),確定位置決定面104上的手114的位置,在顯示部的對應位置上移動圖標的同時，另一方面以操作判斷面105為基準，根據(jù)手的形狀(打開手或立起兩根手指等)、動作判斷其形狀、動作是預先設定的哪一個操作(S406)。判斷的結果是，作為存在這種操作輸入時，通過計算機110來執(zhí)行(S407)，在本來沒有從操作面向近前側伸出手的情況下，判斷為操作未被執(zhí)行而結束(S408)。操作內(nèi)容的判斷并不限定于在此說明的方法，也可以采用本實施例公知的任意方法。(操作面近前側的操作輔助)在本實施例中，操作者在空間上虛擬設定的操作面為基準，以如同在此存在代替鼠標那樣的輸入設備的方式進行操作，由此來可靠地判斷其操作內(nèi)容，但是在作為操作者一部分的手或手指等到達操作面前，即在從操作者想要執(zhí)行任意操作而開始活動手或手指后，直到按下操作面為止的期間也進行操作輔助，由此能夠更容易、更高精度地進行操作輸入。本功能特別在指示或聚焦的功能中有效，但即使在使用了操作判斷面的操作判斷中有效的場合也不少，因此作為一般虛擬設定的操作面以位置決定面為例進行了說明?；旧?，這樣的操作輔助原理在于，配合相對操作面的操作者的部位、如手或手指的位置動作，通過在顯示器111上形象化顯示操作者想要進行哪種操作，能夠引導操作者進行正確的操作輸入。關于這一點參照圖14進行說明，本實施例中預先由操作者在適于對操作面進行操作的位置上設定了操作面104。如圖14所示，在操作者想要對系統(tǒng)進行某種操作的情況下，在本例中將手臂2401相對顯示器111進行前后活動，由于手或手指114的位置發(fā)生變化，因此當其情況顯示在顯示器111上時，當伸出的手指114到達固定的位置時，此時執(zhí)行在顯示器111的畫面上指示的項目等，從而作為系統(tǒng)進行了固定處理。在圖14例子中，由于相對于操作面104的手指114的位置(深度)不同，從而圖標的大小發(fā)生變化，手指114越接近操作面圖標變得越小，能夠使操作者識別到通過自己的操作聚焦到固定的位置上。而且，在圖標變得最小的位置上，確定操作，執(zhí)行與其對應的處理。以上操作的結果，圖15是表示圖標在顯示器111的畫面2501上如何發(fā)生變化的圖。參照圖15，假設在顯示器111的畫面2501上例如顯示電視劇節(jié)目列表，正要進行某一節(jié)目的有關操作。在這樣的情況下，例如在操作者要選擇“設定變更”的菜單按鈕的情況下，操作者如上述那樣要朝向顯示器111伸出手指114進行選擇。在本實施例中，當手指114相對操作面的電視節(jié)目列表接近到固定距離時，在畫面2501中顯示圖標2503。由于手指的位置尚遠，因此顯示成該圖標顯示圖14所示的圖標中位于右側的較大圖標。當操作者進一步伸出手臂2401時，該圖標在靠近作為目標的選擇項目“設定變更”的同時變小，變小到一定大小的圖標2502時變?yōu)樘貏e的圖標。在此，通過本實施例的操作判斷面105被判斷為任一操作時，使圖標變?yōu)椴煌男螤?、顏色等，表示操作已被判斷?br> 這樣，在圖15的例子中，通過根據(jù)手指114的位置使顯示在畫面2501上的圖標的大小發(fā)生變化，由此操作者能夠掌握自己的動作在系統(tǒng)中是如何被識別的，更易于識別操作面的位置，從而能夠進行菜單的選擇等操作。在此，包含手指114、手臂2401的操作者整體及各部位的位置、大小，與操作者的整體圖像同樣地能夠通過使用三維照相機進行提取，因此能夠掌握畫面內(nèi)的物體的進深等，從而能夠根據(jù)這些信息算出與操作面的距離、位置關系。但是，本實施例中使用的三維照相機、位置的提取、距離的計算等也可以采用本技術領域公知的任意方法，因此，在此省略其說明。
在此顯示在畫面上的圖標為圓形，且大小配合操作者的動作發(fā)生變化，但并不限定于此，如圖16所示，也可以采用各種各樣的圖標并使其發(fā)生各種變化。即參照圖16，(1)是手指形態(tài)的圖標，與上述例子相同地，越接近操作面圖標變得越小。(2)是圓形且逐漸變小，但是當通過操作判斷面確定輸入或選擇時，變化為特定的形狀來表示已被確定。在此圖標或其他圖標的情況下，也可以替換為形狀(包含大小、相對于顯示器的角度)的變化，或者配合地使其圖標的顏色變化。如從藍、綠、黃、紅等冷色系變換為暖色系，由此操作者能夠直觀的識別操作被聚焦而被確定。(3)是X那樣的形狀，當處于遠處時不僅大而且模糊，隨著靠近而圖標的大小變小，同時模糊消失變?yōu)槊黠@可見的形狀。(4)是圖標整體大小不變化，識別描繪在其中的圖形發(fā)生形狀變化而被聚焦的樣式。此時，還可以使圖形的顏色發(fā)生變化。圖16所示的(5)也是使形狀發(fā)生變化的情況。在圖23中，可以根據(jù)手指動作而相應地使圖標的形狀、顏色等發(fā)生變化，越過操作面時，其瞬間如欄2601所示那樣，各種形狀、顏色變化，閃爍，也能使操作者識別到操作已被判斷。另外，雖未圖示，作為其他圖標的變化，最初透明，越接近操作面越變得不透明的變化效果。另外雖未圖示，如后面所述另外設置顯示器的立體顯示功能，從而聚焦圖標看起來如從畫面飛出那樣生成圖像，還能夠通知操作者聚焦的狀態(tài)。
在此，在圖標的變化中不過于使形狀特別地發(fā)生變化，而使顏色、濃度發(fā)生變化時如圖16所示，當不過于使圖標移動而使手指114靠近時，顏色變?yōu)榕祷蜃儩?，從而能夠確定輸入。
另外，在以上例子中，為了確認操作的判斷狀況，在操作面的位置上顯示圖標，根據(jù)操作者的動作使顏色、形狀發(fā)生變化，但是，例如在原本如菜單那樣預先將指示的位置固定時，即使不特意顯示圖標也能通過在手指指示的位置最接近哪個被顯示的菜單的項目按鈕來確定，根據(jù)手指的動作、特別是距操作面的距離，使被指示的項目按鈕上填充的顏色或填充的濃度發(fā)生變化，由此能夠更易理解操作面的位置，更易進行操作輸入。
以上針對操作面在操作者的水平方向前面幾乎垂直地形成的情況進行了本實施方式的原理說明，但此原理并不受這種操作者和顯示器的位置關系、形狀影響，各種配置、構成均可以。
權利要求
1.一種操作輸入裝置，其特征在于，具備: 顯示單元，其顯示操作者閱覽的圖像； 攝像單元，其朝向所述操作者配置在所述顯示單元的旁邊而生成所述操作者圖像數(shù)據(jù)； 區(qū)域設定單元，其預先設定所述操作者的一部分能夠控制在所述顯示單元上被顯示的既定標識的控制區(qū)域； 控制單元，其從所述操作者的圖像中提取操作者的一部分，當所述操作者的一部分處于所述設定的控制區(qū)域內(nèi)時，根據(jù)該操作者的一部分和所述顯示單元的位置關系，移動所述標識； 操作判斷單元，其從所述操作者的圖像中提取操作者的一部分，根據(jù)所述設定的判斷區(qū)域內(nèi)的所述操作者的一部分動作，判斷與所述標識的所述顯示單元的顯示面上的位置關聯(lián)的操作是否被進行。
2.根據(jù)權利要求1所述的操作輸入裝置，其特征在于， 所述區(qū)域設定機構進一步預先設定判定與所述標識的所述顯示機構的顯示面的位置關聯(lián)的操作是否被進行的判斷區(qū)域， 所述控制區(qū)域根據(jù)由攝像單元上讀取的操作者的圖像所確定。
3.根據(jù)權利要求2所述的操作輸入裝置，其特征在于， 所述控制區(qū)域和所 述判斷區(qū)域分別位于以所述操作者為中心的左右任一方， 通過所述控制范圍設定單元提取的操作者的一部分和通過所述操作判斷單元提取的操作者的一部分不同。
4.根據(jù)權利要求3所述的操作輸入裝置，其特征在于， 所述區(qū)域設定單元根據(jù)從所述讀取的圖像上提取操作者的面部決定操作者的中心。
5.根據(jù)權利要求2或4中任一項所述的操作輸入裝置，其特征在于， 所述操作判斷單元通過由所述攝像單元讀取的操作者預先定義的一連串動作，確定所述控制區(qū)域和所述判斷區(qū)域各配置在左右哪一方。
6.根據(jù)權利要求2 5中任一項所述的操作輸入裝置，其特征在于， 所述區(qū)域設定單元根據(jù)所述攝像單元讀取的操作者預先定義的一連串動作，預先設定所述控制區(qū)域及所述判斷區(qū)域。
7.根據(jù)權利要求2 6中任一項所述的操作輸入裝置，其特征在于， 所述區(qū)域設定單元預先設定所述判斷區(qū)域和所述控制區(qū)域不重疊。
8.根據(jù)權利要求2 7中任一項所述的操作輸入裝置，其特征在于， 所述控制區(qū)域及所述判斷區(qū)域為，與連接所述操作者的視點和所述顯示單元的顯示面的各頂點而確定的區(qū)域不相關的區(qū)域。
9.一種操作輸入方法，其特征在于，其通過操作輸入裝置進行操作輸入，所述操作輸入裝置具備，顯示操作者閱覽的圖像的顯示單元；生成觀看所述顯示單元的操作者的圖像數(shù)據(jù)的朝向所述顯示單元的操作者配置在所述顯示單元旁邊的攝像單元，所述操作輸入方法具備: 預先設定所述操作者的一部分能夠控制在所述顯示單元上被顯示的既定標識的控制區(qū)域的區(qū)域設定步驟，從所述操作者的圖像中提取操作者的一部分，當所述操作者的一部分處于所述設定的控制區(qū)域內(nèi)時，根據(jù)該操作者的一部分和所述顯示單元的位置關系，控制移動所述標識的控制步驟， 從所述操作者的圖像中提取操作者的一部分，根據(jù)所述設定的判斷區(qū)域內(nèi)的所述操作者的一部分動作，判斷與所述標識的所述顯示單元的顯示面上的位置關聯(lián)的操作是否被進行的操作判斷步驟。
10.一種程序，其在操作輸入裝置上執(zhí)行操作輸入方法，所述操作輸入裝置具備，顯示操作者閱覽的圖像的顯示單元；生成觀看所述顯示單元的操作者的圖像數(shù)據(jù)的朝向所述顯示單元的操作者配置在所述顯示單元旁邊的攝像單元，該操作輸入方法具備: 預先設定所述操作者的一部分能夠控制在所述顯示單元上被顯示的既定標識的控制區(qū)域的區(qū)域設定步驟， 從所述操作者的圖像中提取操作者的一部分，當所述操作者的一部分處于所述設定的控制區(qū)域內(nèi)時，根據(jù)該操作者的一部分和所述顯示單元的位置關系，移動所述標識的控制步驟， 從所述操作者的圖像中提取操作者的一部分，根據(jù)所述被設定的判斷區(qū)域內(nèi)的所述操作者的一部分動作，判斷與所述標識的所述顯示單元的顯示面上的位置關聯(lián)的操作是否被進行的操作判斷步驟。
11.根據(jù)權利要求1所述的操作輸入裝置，其特征在于， 所述區(qū)域設定單元預先設定，包含由所述攝像單元讀取的操作者預先定義的一連串動作表示的范圍、與連接所述操作者視點和所述顯示單元的顯示面的各頂點來確定的區(qū)域不相關的區(qū)域的控制區(qū)域。
12.根據(jù)權利要求11所述的操作輸入裝置，其特征在于， 所述攝像單元為生成所述操作者的立體圖像數(shù)據(jù)的三維攝像單元， 所述區(qū)域設定單元根據(jù)由所述攝像單元讀取的操作者預先設定的一連串動作，作為所述控制范圍，以不重疊連接所述操作者的視點和所述顯示單元的顯示面的各頂點來決定的區(qū)域的方式，預先設定對應所述顯示單元的顯示面的位置決定面， 所述控制單元在與所述操作者的一部分的所述設定的位置決定面上的位置對應的所述顯示面上的位置上 移動所述標識。
13.根據(jù)權利要求12所述的操作輸入裝置，其特征在于， 所述位置決定面形成在所述顯示單元和所述操作者之間。
14.根據(jù)權利要求11 13中任一項所述的操作輸入裝置，其特征在于，所述操作判斷單元從所述操作者的圖像中提取與所述操作者的一部分不同的一部分，根據(jù)與該操作者的一部分不同的一部分所做的一連串動作，判斷與該一連串動作關聯(lián)的、預先確定的操作被進行。
15.根據(jù)權利要求14所述的操作輸入裝置，其特征在于， 還具備判斷區(qū)域設定單元，其根據(jù)由所述攝像單元讀取的操作者預先設定的一連串動作，預先設定作為由與所述操作者的一部分不同的一部分能夠進行判斷的區(qū)域的判斷區(qū)域， 當與所述操作者的一部分不同的一部分處于所述被設定的判斷區(qū)域內(nèi)時，所述操作判斷單元根據(jù)與所述操作者的一部分不同的一部分的一連串動作，判斷進行與該一連串動作關聯(lián)的、預先確定的操作被進行。
16.根據(jù)權利要求15所述的操作輸入裝置，其特征在于， 所述攝像單元為生成所述操作者的立體圖像數(shù)據(jù)的三維攝像單元， 所述判斷區(qū)域設定單元根據(jù)由所述攝像單元讀取的操作者預先設定的一連串動作，作為所述判斷區(qū)域，以不重疊連接所述操作者的視點和所述顯示單元的顯示面的各頂點確定的排除區(qū)域，且不與所述控制范圍重疊的方式，預先設定對應所述顯示單元的顯示面的操作判斷面， 所述操作判斷單元從所述操作者的圖像中提取與所述操作者的一部分不同的一部分，當與所述操作者的一部分不同的一部分處于所述被設定的操作判斷面和所述顯示單元之間時，判斷所述一連串動作關聯(lián)的操作被進行。
17.根據(jù)權利要求16所述的操作輸入裝置，其特征在于， 所述操作判斷面形成在所述顯示單元和所述操作者之間。
18.根據(jù)權利要求12或13所述的操作輸入裝置，其特征在于， 還具備判斷范圍設定單元，其預先設定作為由所述攝像單元讀取的操作者預先確定的一連串動作標識的區(qū)域，且該區(qū)域與連接所述操作者的視點和所述顯示單元的顯示面的各頂點決定的區(qū)域不重疊，且能夠根據(jù)與所述操作者的一部分不同的一部分判斷不重疊于所述位置決定面的區(qū)域的判斷區(qū)域， 所述操作判斷單元從所述操作者的圖像中提取與所述操作者的一部分不同的一部分，當與所述操作者的一部分不同的一部分處于所述被設定的判斷區(qū)域內(nèi)時，根據(jù)與該操作者的一部分不同的一部分所做的一連串動作，判斷該一連串的動作關聯(lián)的、預先確定的操作被進行。
19.根據(jù)權利要求18所述的操作輸入裝置，其特征在于， 所述判斷區(qū)域設定單元根據(jù)由所述攝像單元讀取的操作者預先設定的一連串動作，作為所述判斷區(qū)域，以不重疊連接所述操作者的視點和所述顯示單元的顯示面的各頂點來確定的排除區(qū)域、且與所述控制范圍不重疊的方式，預先設定對應所述顯示單元的顯示面的操作判斷面， 所述操作判斷單元從所述操作者的圖像上提取與所述操作者的一部分不同的一部分，當與所述操作者的一部分不同的一 部分處于所述設定的操作判斷面和所述顯示單元之間時，判斷所述一連串動作關聯(lián)的操作被進行。
20.根據(jù)權利要求19所述的操作輸入裝置，其特征在于， 所述操作判斷面形成在所述顯示單元和所述操作者之間。
21.根據(jù)權利要求12或13所述的操作輸入裝置，其特征在于， 從所述位置決定面的所述操作者側的所述操作者的一部分和所述位置決定面的位置關系算出距離，根據(jù)距離使所述標識發(fā)生變化，來表示移動該標識的位置。
22.根據(jù)權利要求16、17、19或20中任一項所述的操作輸入裝置，其特征在于， 所述判斷區(qū)域設定單元設定根據(jù)與所述操作判斷面的位置關系、確定的作為所述判定區(qū)域的兩個以上的虛擬操作層， 所述操作判斷單元當在所述兩個以上的虛擬操作層的任一區(qū)域內(nèi)、讀取到與所述操作者的一部分不同的一部分時，基于該虛擬操作層預先被分配的操作類別及與根據(jù)所述虛擬操作層內(nèi)的所述操作者的一部分不同的一部分的一連串動作，判斷所述操作內(nèi)容。
23.根據(jù)權利要求11 13中任一項所述的操作輸入裝置，其特征在于， 還具備識別所述操作者聲音的聲音識別單元， 所述操作判斷單元當通過所述聲音單元識別的聲音為預先確定的聲音時，判斷對應該預先確定的聲音的操作被執(zhí)行。
24.根據(jù)權利要求11 23中任一項所述的操作輸入裝置，其特征在于， 所述攝像單元由所述顯示單元之一的攝像單元構成。
25.根據(jù)權利要求11 23中任一項所述的操作輸入裝置，其特征在于， 所述攝像單元由分別配置在所述顯示單元左右的攝像單元構成，分別拍攝與所述操作者的一部分不同的一部分及所述操作者的一部分圖像。
26.根據(jù)權利要求11 25中任一項所述的操作輸入裝置，其特征在于， 所述操作者的一部分是所述操作者的手。
27.根據(jù)權利要求14 20中任一項所述的操作輸入裝置，其特征在于， 所述操作者的一部分是所述操作者的手，與所述操作者的一部分不同的一部分是所述操作者的另 外一只手。
全文摘要
本發(fā)明能夠直觀又簡單，且能夠降低誤認發(fā)生率，即使長時間操作帶給操作者的負擔也較少、能夠正確判斷出動作輸入。其中，顯示器(111)配置在操作者(102)的前面，操作者(102)能夠在與顯示器(111)之間的左右一定位置上設定的范圍內(nèi)，意識到手指等的形狀為操作判斷對象而進行操作。如本發(fā)明后述，對于操作者(102)來說，能夠在顯示器(111)左右分別活動右手(114)及左手(115)將位置決定和操作判斷輸入給系統(tǒng)，通過分開進行選擇和決定這兩個動作而識別，減少誤識別，并降低伴隨輸入引起的身體負擔。
文檔編號G06F3/01GK103154858SQ20118004556
公開日2013年6月12日 申請日期2011年9月22日 優(yōu)先權日2010年9月22日
發(fā)明者泉賢二 申請人:島根縣