本發(fā)明涉及信息處理系統(tǒng)以及信息處理方法。
背景技術(shù):
近年來,爭先恐后地開發(fā)通過由用戶佩戴來使用的可穿戴終端。作為可穿戴終端中的一種類型,存在通過被佩戴在用戶的頭部上來使用的頭戴式終端。頭戴式終端被配置成使得顯示器被放置在佩戴該頭戴式終端的用戶的眼睛的前方。因此,佩戴頭戴式終端,用戶可以在不執(zhí)行動作例如從包或袋中取出顯示終端的情況下確認或操作信息。
這樣的頭戴式終端可以通過輸入至被提供給該終端的觸摸傳感器或通過音頻來進行操作。然而,因為顯示器被設置在用戶的眼睛的前方,所以還做出了與使用視線的操作有關(guān)的許多嘗試。例如,專利文獻1公開了一種使用佩戴頭戴式終端的用戶的視線滾動圖標的技術(shù)。此外,例如,專利文獻2公開了一種使用視線解鎖密碼的技術(shù)。
引用列表
專利文獻
專利文獻1:US 2013/0106674A
專利文獻2:US 8235529B
技術(shù)實現(xiàn)要素:
技術(shù)問題
然而,關(guān)于使用視線的操作,在選擇或確定被顯示在顯示器上的圖標時,移動視線以靠近屏幕的端部并且選擇或確定圖標對于眼睛而言存在負擔。由于該原因,用戶可以通過使他/她的視線移動來執(zhí)行操作的范圍被限制。此外,雖然個體之間存在差異,但是圖像內(nèi)的像素移動相對于用戶的視線的移動很小,使得不便于使用視線的細微移動從相鄰的圖標中選擇圖標。
因此,本公開內(nèi)容提出了新穎且改進的信息處理系統(tǒng)以及信息處理方法,該信息處理系統(tǒng)以及信息處理方法能夠在頭戴式終端中使用視線來增強可操作性。
問題的解決方案
根據(jù)本公開內(nèi)容,提供了一種信息處理系統(tǒng),該信息處理系統(tǒng)包括:視線檢測單元,該視線檢測單元被配置成檢測用戶的視線;移動檢測單元,該移動檢測單元被配置成檢測用戶佩戴的裝置的移動;以及顯示控制單元,該顯示控制單元被配置成根據(jù)裝置的移動來移動至少一個對象,所述至少一個對象被顯示在顯示區(qū)域中并且能夠使用視線來選擇。
根據(jù)本公開內(nèi)容,提供了一種信息處理方法,該信息處理方法包括:檢測用戶佩戴的裝置的移動;以及根據(jù)裝置的移動來移動至少一個對象移動,所述至少一個對象被顯示在顯示區(qū)域中并且能夠使用視線來選擇。
根據(jù)本公開內(nèi)容,由移動檢測單元檢測佩戴裝置的用戶的移動,并且根據(jù)用戶的移動來改變對象的顯示位置,該對象能夠使用視線來選擇。以這種方式,對象被顯示在用戶可以容易地將他/她的視線移動到的位置處,使得可以容易地使用視線來選擇對象。
本發(fā)明的有益效果
如上所述,根據(jù)本公開內(nèi)容,可以增強在頭戴式終端中使用視線的可操作性。注意,上述效果不一定是限制性的。連同上述效果或替代上述效果,可以實現(xiàn)在本說明書中所描述的效果中的任一效果或可以根據(jù)本說明書理解的其他效果。
附圖說明
圖1是示出頭戴式終端的示例的說明圖。
圖2是示出根據(jù)本公開內(nèi)容的第一實施方式的由信息處理設備執(zhí)行的改變對象的顯示位置的處理的示例的說明圖。
圖3是示出根據(jù)實施方式的信息處理設備的功能配置的框圖。
圖4是示出根據(jù)實施方式的根據(jù)用戶的頸部的移動來改變顯示的處理的流程圖。
圖5是示出顯示器變成關(guān)閉狀態(tài)的情況的說明圖。
圖6是示出用于呈現(xiàn)不能使用用戶的頸部的移動來改變顯示的操作輸入的示例的說明圖。
圖7是示出用于呈現(xiàn)不能使用用戶的頸部的移動來改變顯示的操作輸入的另一示例的說明圖。
圖8是示出用于根據(jù)用戶的頸部的移動來改變對象的顯示位置并且選擇對象的操作的示例的說明圖。
圖9是示出用于取消所選對象的操作輸入的示例的說明圖。
圖10是示出顯示取消圖標的示例的說明圖,取消圖標用于取消所選對象。
圖11是示出在被顯示在顯示區(qū)域中的對象的數(shù)量多的情況下改變對象的顯示位置的處理的說明圖。
圖12是示出在被顯示在顯示區(qū)域中的對象的數(shù)量少的情況下改變對象的顯示位置的處理的說明圖。
圖13是示出根據(jù)本公開內(nèi)容的第二實施方式的改變顯示的處理的說明圖,其示出了將隱藏對象顯示在顯示區(qū)域中的操作。
圖14是示出根據(jù)實施方式的改變顯示的處理的說明圖,其示出了在滾動之后被顯示的對象的顯示狀態(tài)維持持續(xù)預定時間的狀態(tài)。
圖15是示出根據(jù)實施方式的改變顯示的處理的說明圖,其示出了對象的顯示狀態(tài)在經(jīng)過預定時間之后返回至正常狀態(tài)的狀態(tài)。
圖16是示出加寬對象之間的間隔的方式的示例的說明圖。
圖17是示出加寬對象之間的間隔的方式的另一示例的說明圖。
圖18是示出頭戴式終端的硬件配置的示例的硬件配置圖。
具體實施方式
在下文中,將參照附圖詳細地描述本公開內(nèi)容的一個或更多個優(yōu)選實施方式。在本說明書和附圖中,使用相同的附圖標記來表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件,并且省略對這些結(jié)構(gòu)元件的重復說明。
注意,將按下面的順序來進行描述。
1.第一實施方式(根據(jù)頸部的移動加寬對象之間的間隔)
1.1.概述
1.2.功能配置
1.3.根據(jù)用戶的頸部的移動來改變顯示的處理
2.第二實施方式(根據(jù)頸部的移動來顯示隱藏對象)
3.修改示例
4.硬件配置示例
<1.第一實施方式>
[1.1.概述]
首先,參照圖1和圖2,將描述根據(jù)本公開內(nèi)容的第一實施方式的由信息處理設備執(zhí)行的處理的概述。注意,圖1是示出頭戴式終端10的示例的說明圖。圖2是示出根據(jù)本實施方式的由信息處理設備執(zhí)行的改變對象的顯示位置的處理的示例的說明圖。
本實施方式中所使用的頭戴式終端10是通過被佩戴在用戶的頭部上來使用的裝置。頭戴式終端10的示例包括如圖1所示的眼鏡型終端。圖1所示的頭戴式終端10包括前端部以及支承部14R和支承部14L,該前端部包括在佩戴時被放置在用戶的眼睛的前方的顯示器12,以及支承部14R和支承部14L被分別設置在前端部的右側(cè)和左側(cè)上。支承部14R和支承部14L被放置在頭部的兩側(cè)處,并且前端部被固定至鼻子。以這種方式,可以佩戴頭戴式終端10。
顯示器12包括針對右眼的顯示器12R和針對左眼的顯示器12L。在顯示器12上,由投影視頻的顯示單元(未示出)來顯示各種類型的信息。例如,根據(jù)本實施方式的顯示器12是光學透射型顯示面板并且不阻擋外部世界的視場。因此,用戶可以自然地看到外部世界和被顯示在顯示器12上的視圖。
例如,根據(jù)本實施方式的頭戴式終端10包括被配置成對角速度進行檢測的陀螺儀傳感器16作為用于檢測佩戴該終端的用戶的頸部的移動的傳感器。陀螺儀傳感器16例如可以被設置在支承部14L中或者可以被設置在終端的另一部中。當佩戴頭戴式終端10的用戶轉(zhuǎn)動他/她的頸部時,由陀螺儀傳感器16來檢測隨同頸部的轉(zhuǎn)動一起轉(zhuǎn)動的頭戴式終端10的角速度。由陀螺儀傳感器16所檢測的角速度用作表示轉(zhuǎn)動用戶的頸部的移動的值。
此外,頭戴式終端10包括視線傳感器(圖3中所示的附圖標記18),該視線傳感器被配置成檢測佩戴該終端的用戶的視線。視線傳感器的示例包括對用戶的眼睛進行成像的可見光相機和紅外相機。通過分析由視線傳感器獲取的圖像,可以識別用戶的視線。采用這樣的功能,在根據(jù)本實施方式的頭戴式終端10中,用戶可以通過移動視線來對被顯示在顯示器12的顯示區(qū)域中的信息進行操作。
注意,頭戴式終端10的形式不限于圖1所示的形式。例如,頭戴式終端10的形狀可以是護目鏡型終端,以及顯示器可以如圖1所示的那樣被提供給雙眼或可以相應地被提供給雙眼中的一只眼睛。此外,顯示器類型不限于光學透射型并且可以是阻擋外部世界的視場的非透射型以及捕獲外部世界的場景并將場景顯示在顯示器上的視頻傳輸型。除了顯示器12、顯示單元和陀螺儀傳感器16以外,頭戴式終端10例如還可以包括觸摸傳感器、麥克風、揚聲器和GPS。
這樣的頭戴式終端10包括用于控制各種功能的信息處理設備(圖3中所示的附圖標記100)。例如,信息處理設備執(zhí)行對顯示單元進行控制并且基于用戶的操作使應用運行的處理,該顯示單元被配置成將信息顯示在顯示器12上。
文中,根據(jù)本實施方式的頭戴式終端10可以使用視線來執(zhí)行終端的操作。例如,如圖2的左側(cè)所示,假設佩戴頭戴式終端10的用戶正在觀看顯示器12的顯示區(qū)域200。例如,被顯示在顯示區(qū)域200中的是對象例如用于啟動郵件的郵件圖標212、用于啟動應用的應用圖標214以及麥克風圖標216。用戶移動視線、將視線引向?qū)ο蟛⑶覐亩梢赃x擇任何對象。
在使用視線的這樣的操作中,可以在顯示區(qū)域200內(nèi)的用戶可以移動視線的范圍中執(zhí)行所述操作。然而,將視線引導至顯示區(qū)域200的端部附近處的對象例如郵件圖標212對于眼睛而言存在負擔。通常,人可以在不移動他/她的面部的情況下自然地移動他/她的視線的范圍在水平方向為約30°。因此,如果顯示區(qū)域200的視角增大至超過30°,則視角超出用戶可以自然地引導他/她的視線的范圍。因此,變得難以選擇在顯示區(qū)域200的兩端處的對象。
此外,顯示區(qū)域200中的視線的移動距離相對于人的視線的移動很小,并且因此,即使用戶移動他/她的視線,但是顯示區(qū)域200中的視線移動不能如用戶期望的那樣多。例如,當視線沿水平方向移動10°時,顯示區(qū)域200中的移動距離僅為約30像素至40像素。因此,不便于采用視線的細微移動來從相鄰的圖標例如郵件圖標212和應用圖標214中選擇圖標。
因此,在根據(jù)本實施方式的頭戴式終端10中,根據(jù)用戶的頸部的移動來改變被顯示在顯示區(qū)域200中的對象的顯示位置,以使得可以容易地執(zhí)行使用視線的操作。例如,如圖2的右側(cè)所示,當用戶向左轉(zhuǎn)動他/她的面部時,如下方式改變顯示位置。彼此相鄰地顯示在顯示區(qū)域200的左側(cè)上的郵件圖標212和應用圖標214各自向右側(cè)移動,并且郵件圖標212與應用214之間的間隔L加寬。以這種方式,對象被顯示在用戶可以自然地移動他/她的視線的范圍內(nèi),并且在加寬相鄰對象之間的間隔L的情況下,可以容易地選擇每個對象。
如上所述,當用戶沿用戶想要操作的對象被呈現(xiàn)的方向移動他/她的頸部時,信息處理設備根據(jù)上述移動使對象移動,以使得可以容易地使用視線來選擇對象。在下文中,將詳細地描述由信息處理設備執(zhí)行的根據(jù)頸部的移動來改變對象的顯示位置的處理。
[1.2.功能配置]
圖3示出了根據(jù)本實施方式的頭戴式終端10的信息處理設備100的功能配置。注意,雖然圖3示出了在根據(jù)頸部的移動來改變對象的顯示位置的處理中涉及的功能單元,但信息處理設備100可以包括除了這些功能單元以外的功能單元。用于根據(jù)用戶的頸部的移動來改變對象的顯示位置的信息處理系統(tǒng)包括根據(jù)本實施方式的信息處理設備100、陀螺儀傳感器16和視線傳感器18。
如圖3所示,根據(jù)本實施方式的信息處理設備100包括顯示器狀態(tài)確認單元110、輸入信息處理單元120、顯示控制單元130、顯示處理單元140和執(zhí)行處理單元150。
顯示器狀態(tài)確認單元110是被配置成確認顯示器12的開啟/關(guān)閉狀態(tài)的功能單元。顯示器狀態(tài)確認單元110將顯示器12的開啟/關(guān)閉狀態(tài)輸出至輸入信息處理單元120。
輸入信息處理單元120基于由頭戴式終端10的陀螺儀傳感器16和視線傳感器18檢測的結(jié)果和從頭戴式終端10的各輸入單元輸入的信息來獲取來自用戶的輸入信息。例如,輸入信息處理單元120基于由陀螺儀傳感器16檢測的結(jié)果來分析用戶的頸部的移動并且識別由用戶執(zhí)行的輸入。此外,例如,輸入信息處理單元12基于由視線傳感器18檢測的結(jié)果對被顯示在顯示器12的顯示區(qū)域200中的對象中的用戶正在觀看的對象進行識別。此外,輸入信息處理單元120基于由顯示器狀態(tài)確認單元110輸入的顯示器12的開啟/關(guān)閉狀態(tài)和通過使用各輸入單元執(zhí)行的用戶的操作,對用于切換顯示器12的開啟/關(guān)閉狀態(tài)的輸入信息進行識別。
以這種方式,輸入信息處理單元120基于由陀螺儀傳感器16和視線傳感器18檢測的結(jié)果和從頭戴式終端10的各輸入單元輸入的信息,獲取由用戶輸入的操作或動作的內(nèi)容作為輸入信息。輸入信息被輸出至顯示控制單元130和執(zhí)行處理單元150。
顯示控制單元130基于由輸入信息處理單元120獲取的輸入信息來改變被顯示在顯示器12上的對象的顯示位置。顯示控制單元130基于輸入信息、根據(jù)用戶的頸部的移動來改變被顯示在顯示器12上的對象的顯示位置,以使得用戶可以容易地操作對象。此外,顯示控制單元130可以以視覺上辨認出所選對象的方式來顯示根據(jù)視線的移動所選擇的對象。注意,稍后將描述由顯示控制單元130執(zhí)行的處理的細節(jié)。顯示控制單元130將用于改變顯示器12的顯示的顯示控制信息輸出至顯示處理單元140。
顯示處理單元140基于顯示控制信息來執(zhí)行要被顯示在顯示器12上的各種顯示處理。顯示信息例如要被顯示在顯示區(qū)域200中的對象經(jīng)受由顯示處理單元140進行的顯示處理并且然后被顯示在顯示器12上。
執(zhí)行處理單元150基于由輸入信息處理單元120獲取的輸入信息來執(zhí)行各種處理。當顯示在顯示器12上的對象被選擇或確定時,例如,執(zhí)行處理單元150執(zhí)行與對象相關(guān)聯(lián)的應用。
注意,雖然在本實施方式中示出了頭戴式終端10包括構(gòu)成信息處理系統(tǒng)的陀螺儀傳感器16、視線傳感器18和信息處理設備100中的所有裝置的配置,但本公開內(nèi)容不限于這樣的示例。例如,僅陀螺儀傳感器16和視線傳感器18可以被設置在頭戴式終端10中,而信息處理設備100可以被設置在單獨的信息處理終端中。信息處理終端的示例包括智能電話和服務器。在這種情況下,由相應的傳感器檢測的結(jié)果被傳輸至信息處理終端并且經(jīng)受由信息處理終端的信息處理設備100進行的顯示控制處理。信息處理終端根據(jù)通過處理獲得的結(jié)果向頭戴式終端10傳輸要被顯示在頭戴式終端10的顯示器12上的顯示信息。
[1.3.根據(jù)用戶的頸部的移動來改變顯示的處理]
接下來,參照圖4至圖10,將描述根據(jù)本實施方式的根據(jù)用戶的頸部的移動來改變顯示的處理。注意,圖4是示出根據(jù)本實施方式的根據(jù)用戶的頸部的移動來改變顯示的處理的流程圖。圖5是示出顯示器12變成關(guān)閉狀態(tài)的情況的說明圖。圖6是示出用于呈現(xiàn)不能使用用戶的頸部的移動來改變顯示的操作輸入的示例的說明圖。圖7是示出用于呈現(xiàn)不能使用用戶的頸部的移動來改變顯示的操作輸入的另一示例的說明圖。圖8是示出用于根據(jù)用戶的頸部的移動來改變對象的顯示位置并且選擇對象的操作的示例的說明圖。圖9是示出用于取消所選對象的操作輸入的示例的說明圖。圖10是示出顯示取消圖標的示例的說明圖,該取消圖標用于取消所選對象。
如上所述,當在頭戴式終端10中使用視線輸入來選擇被顯示在顯示器12上的對象時,選擇被顯示在顯示區(qū)域200的端部處的對象對于眼睛而言存在負擔。因此,在本實施方式中,通過根據(jù)用戶的頸部的移動來改變被顯示在顯示器12上的對象的顯示位置以減小在使用視線輸入選擇對象的情況下的負擔。
首先,關(guān)于輸入,在不存在從用戶到頭戴式終端10的輸入持續(xù)預定時間或更長時間的情況下,顯示器12通常自動關(guān)閉以降低功耗。例如,如圖5的左側(cè)所示,假設兩個對象即對象4A和對象4B被顯示在顯示區(qū)域200中。在這種情況下,當不存在來自用戶的輸入持續(xù)預定時間或更長時間時,如圖5的右側(cè)所示顯示器12關(guān)閉,并且對象4A和對象4B被隱藏。在顯示器12處于關(guān)閉狀態(tài)的情況下,當用戶向右以及向左轉(zhuǎn)動他/她的頸部時什么都不會發(fā)生。例如,這是為了避免在用戶與他人交談時、通過由用戶的頸部的移動引起的錯誤而執(zhí)行任何處理。
如圖4所示,在根據(jù)本實施方式的改變顯示的處理中,首先,確認顯示器12是否處于開啟狀態(tài)(S100)。由顯示器狀態(tài)確認單元110來確認顯示器12的開啟/關(guān)閉狀態(tài),并且將通過確認所獲得的結(jié)果輸出至輸入信息處理單元120。在基于確認結(jié)果顯示器12處于開啟狀態(tài)的情況下,輸入信息處理單元120進行至步驟S120。另一方面,在顯示器12處于關(guān)閉狀態(tài)的情況下,輸入信息處理單元120確定是否存在用戶的用于開啟顯示器12的操作輸入(S110)。
用于開啟顯示器12的操作輸入的示例包括通過被設置到頭戴式終端10的輸入單元來執(zhí)行預定操作以及通過上下移動頸部來執(zhí)行點頭的姿勢。在步驟S110中,輸入信息處理單元120確定存在/不存在用于開啟顯示器12的操作輸入并且從步驟100重復處理直至檢測到操作輸入為止。然后,當輸入信息處理單元120檢測到用于開啟顯示器12的操作輸入時,輸入信息處理單元120相繼地確認根據(jù)用戶的頸部的移動來改變對象的顯示位置的頸部輸入模式是否處于開啟狀態(tài)(S120)。
存在雖然顯示器12處于開啟狀態(tài)但用戶不希望使用他/她的頸部的移動來改變對象的顯示位置的情況。在這種情況下,用戶可以關(guān)閉頸部輸入模式。用于關(guān)閉頸部輸入模式的操作輸入的示例可以包括如圖6所示的頸部的簡單姿勢,例如用戶向兩側(cè)略微搖動他/她的頸部。可替選地,例如如圖7所示,操作輸入可以是將視線移動到保持按鈕220以選擇并且確定保持按鈕220的操作,保持按鈕220被顯示在顯示區(qū)域200上并且用于關(guān)閉頸部輸入模式。
在步驟S120中確定頸部輸入模式處于關(guān)閉狀態(tài)的情況下,處理返回至步驟S100并且被重復。另一方面,在頸部輸入模式處于開啟狀態(tài)的情況下,基于由被配置成檢測用戶的頸部的移動的陀螺儀傳感器16檢測的結(jié)果,顯示控制單元130根據(jù)用戶的頸部的移動來改變被顯示在顯示器12的顯示區(qū)域200中的對象的顯示位置(S130)。
例如,如圖8的左上側(cè)所示,假設包括兩個對象即對象4A和對象4B的對象組作為正常狀態(tài)被顯示在顯示區(qū)域200的端部附近處并且用戶選擇對象4A的情況。在正常狀態(tài)下,用戶面向正面并且正面的方向表示基準位置。此時,用戶向用戶想要選擇的對象被顯示的方向(圖8中的左側(cè))轉(zhuǎn)動他/她的面部。如圖8的右上側(cè)所示,在頸部的該轉(zhuǎn)動的情況下,對于僅被顯示在頸部轉(zhuǎn)動到的方向的對象組而言,對象4A和對象4B的顯示位置被改變成使得對象4A與對象4B之間的間隔L變得大于正常狀態(tài)下的間隔。
對象4A與對象4B之間的間隔L可以加寬至通過用戶的視線選擇的對象不被錯誤地識別的程度。例如,間隔L可以被設置成為約40像素。注意,因為間隔L根據(jù)各個用戶之間或與系統(tǒng)配置有關(guān)的差異而變化,所以可以通過例如在啟動頭戴式終端10時對掃視的眼睛移動的程度進行檢測以及通過根據(jù)用戶的視線的移動來設置間隔L,更可靠地避免對視線輸入的錯誤檢測。
在對象4A與對象4B之間的間隔L增大的情況下,將視線引導至對象4A和對象4B中的每個對象變得更容易,并且可以使用視線輸入來更魯棒地選擇對象。此外,在不管顯示區(qū)域200的大小的情況下,通過向兩側(cè)轉(zhuǎn)動頸部,可以將對象放置在用戶可以自然地移動他/她的視線的范圍內(nèi)。
此外,在使用用戶的頸部的移動加寬對象4A與對象4B之間的間隔L時,僅可以改變對象組中的被放置在頸部的轉(zhuǎn)動的方向的相反側(cè)處的對象4B的顯示位置,但還可以朝向顯示區(qū)域的中心移動對象4A。以這種方式,將對象從難以使用戶自然地引導他/她的視線的范圍移動且顯示至用戶可以自然地移動他/她的視線的范圍,從而可以更容易地選擇對象。
用戶向兩側(cè)轉(zhuǎn)動他/或她的頸部以改變被顯示在顯示區(qū)域200中的對象4A和對象4B的顯示位置并且使用視線來選擇所期望的對象。例如,如圖8的右下側(cè)所示,通過將視線引導至對象4A,對象4A處于被選擇狀態(tài)。在這種情況下,為了容易地識別由用戶選擇的對象,可以顯示示出對象處于被選擇的狀態(tài)的選擇對象230。
然后,輸入信息處理單元120確定在對象被選擇的狀態(tài)下是否執(zhí)行用于確定對象的操作輸入(S140)。用于確定對象的操作輸入的示例包括保持注視所選對象持續(xù)預定時間、通過頭戴式終端10的輸入單元來執(zhí)行預定操作以及通過上下移動頸部來執(zhí)行點頭的姿勢。
在步驟S140中未執(zhí)行用于確定對象的操作輸入時,處理返回至步驟S130并且被重復。也就是說,根據(jù)用戶的頸部的移動來改變被顯示在顯示區(qū)域200中的對象的顯示位置。在這種情況下,可以通過頸部的移動或用戶的視線來取消所選對象。例如,如圖9的左側(cè)所示,用戶向左轉(zhuǎn)動他/她的頸部,并且從對象4A被選擇的狀態(tài)起,如圖9的右側(cè)所示的那樣用戶面向正面。以這種方式,顯示區(qū)域200中的對象4A和對象4B的顯示位置可以返回至正常狀態(tài),并且可以取消對對象4A的選擇。
可替選地,如圖10所示,可以在用戶轉(zhuǎn)動他/她的頸部的方向的相反側(cè)處設置用于將對象的顯示返回至正常狀態(tài)的取消對象240。在使用用戶的視線來選擇并且確定取消對象240的情況下,對象的顯示返回至正常狀態(tài)。當顯示器12上的對象顯示處于正常狀態(tài)時,在檢測到用戶已經(jīng)面向正面之后執(zhí)行步驟S130的處理。
當在步驟S140中檢測到執(zhí)行了用于確定對象的操作輸入時,執(zhí)行處理單元150執(zhí)行與所確定的對象相關(guān)聯(lián)的處理(S150)。
此前,描述了根據(jù)本實施方式的根據(jù)用戶的頸部的移動來改變對象的顯示位置的處理。如在本實施方式中,當用戶轉(zhuǎn)動他/她的頸部時,對象的顯示位置被改變成使得對象之間的間隔加寬。因此,因為對象被移動至用戶可以容易地移動他/她的視線的位置,所以對于用戶而言使用他/她的視線來選擇對象變得更容易。
注意,在上面的描述中,雖然描述了對象4A和對象4B被顯示在如圖8所示的顯示區(qū)域200的左端附近的情況,但處于正常狀態(tài)下的對象的顯示位置不限于上述示例。例如,如圖11所示,可以存在沿顯示區(qū)域200的寬度方向彼此靠緊地布置的多個對象4A至對象4G的情況。另外在這樣的情況下,以如上所述的相同方式,加寬沿用戶轉(zhuǎn)動他/她的頸部的方向放置的對象之間的間隔,從而使得對于用戶而言選擇對象變得更容易。
具體而言,當被布置在顯示區(qū)域200中的對象4A至對象4G的數(shù)量大時,例如,加寬沿用戶轉(zhuǎn)動他/她的頸部的方向放置的對象之間的間隔,并且此外,可以根據(jù)頸部的轉(zhuǎn)動角度來改變要被顯示在顯示區(qū)域200中的對象。例如,在圖11的左上側(cè)所示的為用戶面向正面時的顯示狀態(tài)的正常狀態(tài)下,用戶向左略微轉(zhuǎn)動他/她的頸部(例如約15°),并且如圖11的右上側(cè)所示,僅顯示在正常狀態(tài)下從中心到左側(cè)被放置的對象4B至對象4D。在這種情況下,以有規(guī)律的間隔來顯示對象4B至對象4D,所述間隔比正常狀態(tài)下的間隔更寬。
然后,當用戶進一步向左轉(zhuǎn)動他/她的頸部時,如圖11的右下側(cè)所示,以有規(guī)律的間隔來顯示在正常狀態(tài)下被顯示在左端附近的對象4A至對象4C,所述間隔比正常狀態(tài)下的間隔更寬。以這種方式,在根據(jù)用戶的頸部的轉(zhuǎn)動以加寬的間隔顯示對象時,根據(jù)頸部的轉(zhuǎn)動角度來改變要被顯示的對象,從而可以維持使得用戶易于使用他/她的視線來選擇對象的對象的間隔。
通常,人可以自然地轉(zhuǎn)動他/或她的頸部的范圍為約向左70°以及向右70°。因此,例如,可以在頸部向右轉(zhuǎn)動70°時顯示右端處的對象,以及可以在頸部向左轉(zhuǎn)動70°時顯示左端處的對象,并且每當頸部轉(zhuǎn)動預定度數(shù)時,可以改變要被顯示在顯示區(qū)域200中的對象。以這種方式,用戶可以在采用頸部的舒適移動來容易地選擇對象的狀態(tài)下顯示所期望的對象。
另一方面,如圖12所示,存在被顯示在顯示區(qū)域200中的對象4A至對象4C的數(shù)量小的情況。在圖12所示的示例中,與圖8所示的示例不同的是,相鄰對象之間的間隔足夠?qū)?。在這種情況下,為了用戶可以甚至更容易地選擇對象,可以以與圖11的情況下的方式相同的方式將對象移動至頸部的轉(zhuǎn)動的相反側(cè)并且可以將對象顯示在中心附近以使得用戶可以容易地使用視線來執(zhí)行操作。
此外,可以隨著用戶轉(zhuǎn)動他/她的頸部的程度即隨著頸部的轉(zhuǎn)動角度的增大使相鄰對象之間的間隔加寬。隨著對象之間的間隔增大,相鄰對象被錯誤地選擇的可能性減小,并且因此可以防止錯誤的操作。在對象的數(shù)量小的情況下這樣的處理特別有效。
<2.第二實施方式>
接下來,參照圖13至圖15,將描述根據(jù)本公開內(nèi)容的第二實施方式的根據(jù)用戶的頸部的移動來改變對象的顯示位置的處理。在本實施方式中,將對能夠被顯示在顯示器12上的來自對象4A至對象4Z的一些對象被布置在顯示區(qū)域200中的情況的處理進行描述。另外在本實施方式中,對象的顯示位置被改變成使得對象之間的間隔根據(jù)用戶的頸部的移動而增大,然而,還存在用戶想要選擇的對象被隱藏的情況。因此,可以在使用用戶的頸部的移動來將所期望的對象顯示在顯示區(qū)域200中之后執(zhí)行使對象之間的間隔加寬的處理。
例如,如圖13的上側(cè)所示,假設在用戶面向正面的正常狀態(tài)下,對象4A至對象4E被顯示在顯示區(qū)域200中而對象4F至對象4Z被隱藏。在這種情況下,當用戶以預定角速度或更大的角速度向左轉(zhuǎn)動他/她的頸部時,顯示在顯示區(qū)域200中的對象4A至對象4E向右側(cè)移動。然后,如圖13的下側(cè)所示,在正常狀態(tài)下被顯示在顯示區(qū)域200的左端處的對象被顯示在顯示區(qū)域200的中心附近,并且已被隱藏的對象4Y和對象4Z被顯示,而對象4D和4E被隱藏。
以這種方式,用戶以預定角速度或更大的角速度來移動他/她的頸部并且從而能夠使對象滾動并且顯示隱藏對象。用戶執(zhí)行這樣的動作以將所期望的對象顯示在顯示區(qū)域200中。在這之后,用戶使用視線來選擇所期望的對象。然而,如第一實施方式中所描述的,難以將視線引導至被顯示在顯示區(qū)域200的端部附近的對象。因此,通過應用根據(jù)第一實施方式的處理并且使用用戶的頸部的移動來使對象之間的間隔變寬,用戶可以使用他/她的視線來容易地對被放置在端部處的對象進行操作。
文中,如果從用戶面向正面的狀態(tài)開始,則用于加寬對象之間的間隔的頸部的動作更容易執(zhí)行。在用戶通過以預定角速度或更大的角速度移動他/她的頸部來滾動對象之后,即使用戶以比預定角速度小的角速度轉(zhuǎn)向他/她的頸部,但仍可以保持顯示不改變持續(xù)預定時間。
例如,如圖14的上側(cè)所示,假設用戶以預定角速度或更大的角速度向左轉(zhuǎn)動他/她的頸部并且對象4Y至對象4C被顯示在顯示區(qū)域200中。在這之后,如果用戶在預定時間內(nèi)以比預定角速度小的角速度向正面轉(zhuǎn)動他/她的頸部,則如圖14的下側(cè)所示,對象4Y至對象4C被顯示在顯示區(qū)域200中的狀態(tài)被維持。以這種方式,在從對象4Y至對象4C中選擇所期望的對象時,對于用戶而言執(zhí)行用于加寬對象之間的間隔的他/她的頸部的動作變得更容易。
注意,在用戶以預定角速度或更大的角速度移動他/她的頸部以滾動對象并且然后在預定時間內(nèi)向正面轉(zhuǎn)動他/她的頸部之后,在轉(zhuǎn)動他/她的頸部的動作未執(zhí)行持續(xù)預定時間或更長時間的情況下,如圖15所示,顯示在顯示區(qū)域200中的對象可以被返回至滾動之前的狀態(tài)。
此前,描述了根據(jù)第二實施方式的根據(jù)用戶的頸部的移動來改變對象的顯示位置的處理。根據(jù)本實施方式,在存在未被顯示在顯示區(qū)域200中的對象的情況下,可以通過以預定角速度或更大的角速度轉(zhuǎn)動頸部來滾動對象。此外,通過在所期望的對象被顯示在顯示區(qū)域200中的狀態(tài)下以比預定角速度小的角速度轉(zhuǎn)動頸部,可以使沿轉(zhuǎn)動方向被顯示的對象之間的間隔加寬。以這種方式,可以在能夠容易地選擇對象的狀態(tài)下顯示對象。
<3.修改示例>
在上述實施方式中,在根據(jù)用戶的頸部的移動加寬對象之間的間隔時,對象的顯示位置被改變成使得加寬在顯示區(qū)域中沿寬度方向(水平方向)的間隔,然而,本技術(shù)不限于這樣的示例。例如,如圖16所示,假設在用戶面向正面的正常狀態(tài)下,彼此相鄰的對象4A和對象4B被顯示在顯示區(qū)域200的左端處。在這種狀態(tài)下,當用戶向左側(cè)轉(zhuǎn)動他/她的頸部時,可以沿水平方向以及豎直方向移動對象4A和對象4B以使得加寬對象4A與對象4B之間的間隔。
可替選地,如圖17所示,假設在用戶面向正面的正常狀態(tài)下,對象4A至對象4C以堆疊的方式顯示在顯示區(qū)域200的左端處。在這種狀態(tài)下,當用戶向左側(cè)轉(zhuǎn)動他/她的頸部時,對象4A至對象4C可以被移動成沿水平方向以及豎直方向展開以使得加寬對象4A至對象4C之間的間隔。
以這種方式,根據(jù)用戶的頸部的移動被改變的對象的顯示位置可以僅沿水平方向被改變或可以沿水平方向以及豎直方向被改變。此外,除了左右移動(即水平方向)以外,用戶的頸部的移動可以是上下移動。
<4.硬件配置示例>
例如,還可以如圖18所示的那樣來配置根據(jù)本實施方式的頭戴式終端10。在下文中,參照圖18,將描述根據(jù)本實施方式的頭戴式終端10的硬件配置示例。
如上面所描述的那樣,可以由處理裝置例如計算機來實現(xiàn)根據(jù)本實施方式的頭戴式終端10。如圖18所示,頭戴式終端10包括:中央處理單元(CPU)901、只讀存儲器(ROM)902、隨機存取存儲器(RAM)903和主機總線904a。此外,頭戴式終端10包括:橋接器904、外部總線904b、接口905、輸入裝置906、輸出裝置907、存儲裝置908、驅(qū)動器909、連接端口911和通信裝置913。
CPU 901用作運算處理單元和控制單元并且根據(jù)各種程序來控制頭戴式終端10的整體操作。此外,CPU 901可以是微處理器。ROM 902存儲由CPU 901使用的程序、計算參數(shù)等。RAM 903暫時地存儲在執(zhí)行CPU 901中使用的程序、在執(zhí)行期間適當?shù)馗淖兊膮?shù)等。CPU 901、ROM 902和RAM 903經(jīng)由通過CPU總線等構(gòu)成的主機總線904a彼此連接。
主機總線904a經(jīng)由橋接器904連接至外部總線904b例如外圍部件互連/接口(PCI)總線。注意,主機總線904a、橋接器904和外部總線904b不需要被分別地配置,并且主機總線904a、橋接器904和外部總線904b的功能可以在單條總線中被實現(xiàn)。
例如,輸入裝置906由下述構(gòu)成:用于由用戶輸入信息的輸入裝置例如鼠標、鍵盤、觸摸面板、按鈕、麥克風、開關(guān)和控制桿;以及輸入控制電路,該輸入控制電路基于由用戶進行的輸入來生成輸入信號并且將所生成的輸入信號輸出至CPU 901。輸出裝置907例如包括:顯示裝置例如液晶顯示(LCD)裝置、有機發(fā)光二極管(OLED)裝置和照射器;以及音頻輸出裝置例如揚聲器。
存儲裝置908是頭戴式終端10的存儲部的示例并且是用于存儲數(shù)據(jù)的裝置。存儲裝置908例如可以包括:存儲介質(zhì)、用于將數(shù)據(jù)記錄在存儲介質(zhì)中的記錄裝置、用于從存儲介質(zhì)中讀取數(shù)據(jù)的讀取裝置以及用于刪除被記錄在存儲介質(zhì)中的數(shù)據(jù)的刪除裝置。存儲裝置908驅(qū)動硬盤并且存儲各種數(shù)據(jù)和由CPU 901執(zhí)行的程序。
驅(qū)動器909是針對存儲介質(zhì)的讀取器/寫入器并且被內(nèi)置在頭戴式終端10中或外部地附接至頭戴式終端10。驅(qū)動器909讀取被記錄在安裝至驅(qū)動器909的可移除記錄介質(zhì)例如磁盤、光盤、磁光盤或半導體存儲器中的信息并且將信息輸出至RAM 903。
例如,連接端口911是連接至外部裝置的接口并且是能夠通過通用串行總線(USB)與外部裝置傳輸數(shù)據(jù)的連接端口。此外,通信裝置913是由用于建立與通信網(wǎng)絡5的連接的通信裝置構(gòu)成的通信接口。此外,通信裝置913可以是可實現(xiàn)無線局域網(wǎng)(LAN)的通信裝置、可實現(xiàn)無線USB的通信裝置或用于執(zhí)行有線通信的有線通信裝置。
上面參照附圖描述了本公開內(nèi)容的一個或更多個優(yōu)選實施方式,但本公開內(nèi)容不限于上述示例。本領域技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)找到各種改變和修改,并且應當理解的是,各種改變和修改將自然地屬于本公開內(nèi)容的技術(shù)范圍。
例如,雖然在上述實施方式中陀螺儀傳感器16用作用于檢測用戶的頸部的移動的傳感器,但本技術(shù)不限于這樣的示例。例如,頭戴式終端10可以包括用于捕獲外界的場景的攝像裝置,并且通過圖像處理來獲取被包括在由攝像裝置捕獲的圖像中的特征點的移動距離,可以確定用戶的頸部的移動和角速度。
此外,本說明書中所描述的效果僅是說明性的和示范性的效果,并且不是限制性的。也就是說,連同上述效果或替代上述效果,根據(jù)本公開內(nèi)容的技術(shù)可以基于本說明書的描述來實現(xiàn)對于本領域技術(shù)人員而言明顯的其他效果。
此外,還可以如下地配置本技術(shù)。
(1)一種信息處理系統(tǒng),包括:
視線檢測單元,所述視線檢測單元被配置成檢測用戶的視線;
移動檢測單元,所述移動檢測單元被配置成檢測用戶佩戴的裝置的移動;以及
顯示控制單元,所述顯示控制單元被配置成根據(jù)所述裝置的所述移動來移動至少一個對象,所述至少一個對象被顯示在顯示區(qū)域中并且能夠使用視線來選擇。
(2)根據(jù)(1)所述的信息處理系統(tǒng),
其中,所述顯示控制單元沿與所述裝置移動的方向不同的方向移動所述至少一個對象。
(3)根據(jù)(1)或(2)所述的信息處理系統(tǒng),
其中,所述顯示控制單元移動所述至少一個對象以加寬相鄰對象之間的間隔。
(4)根據(jù)(1)至(3)中任一項所述的信息處理系統(tǒng),
其中,當所述至少一個對象根據(jù)所述裝置的移動而被移動時,所述顯示控制單元在所述顯示區(qū)域中的位置處顯示用于將所述至少一個對象返回至被移動之前的顯示狀態(tài)的取消對象,所述顯示區(qū)域中的所述位置位于與所述裝置移動的方向相反的側(cè)上。
(5)根據(jù)(1)至(4)中任一項所述的信息處理系統(tǒng),
其中,當所述裝置被返回至使所述至少一個對象被移動之前的位置時,所述顯示控制單元將所述至少一個對象返回至被移動之前的顯示狀態(tài)。
(6)根據(jù)(1)至(5)中任一項所述的信息處理系統(tǒng),
其中,所述移動檢測單元檢測所述裝置的相對于基準位置測量的轉(zhuǎn)動角度。
(7)根據(jù)(1)至(6)中任一項所述的信息處理系統(tǒng),
其中,所述移動檢測單元檢測所述裝置的角速度。
(8)根據(jù)(7)所述的信息處理系統(tǒng),
其中,當所述裝置的角速度大于或等于預定速度時,所述顯示控制單元沿與所述裝置被移動的方向不同的方向滾動所述至少一個對象。
(9)根據(jù)(8)所述的信息處理系統(tǒng),
其中,在所述至少一個對象被滾動之后,所述顯示控制單元維持在滾動之后所述至少一個對象的顯示狀態(tài),直至經(jīng)過預定時間為止。
(10)根據(jù)(1)至(9)中任一項所述的信息處理系統(tǒng),
其中,所述裝置是頭戴式顯示裝置,以及
所述移動檢測單元檢測由佩戴所述頭戴式顯示裝置的用戶的頸部的移動引起的裝置的移動。
(11)一種信息處理方法,包括:
檢測用戶佩戴的裝置的移動;以及
根據(jù)所述裝置的所述移動來移動至少一個對象,所述至少一個對象被顯示在顯示區(qū)域中并且能夠使用視線來選擇。
附圖標記列表
10 頭戴式終端
12 顯示器
16 陀螺儀傳感器
18 視線傳感器
100 信息處理設備
110 顯示器狀態(tài)確認單元
120 輸入信息處理單元
130 顯示處理單元
140 顯示處理單元
150 執(zhí)行處理單元
200 顯示區(qū)域