欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

利用運(yùn)動傳感裝置的遠(yuǎn)程控制的制作方法

文檔序號:6371977閱讀:272來源:國知局
專利名稱:利用運(yùn)動傳感裝置的遠(yuǎn)程控制的制作方法
利用運(yùn)動傳感裝置的遠(yuǎn)程控制
技術(shù)領(lǐng)域
本發(fā)明涉及電子裝置的人機(jī)接口領(lǐng)域,尤其在以下方面I)涉及源于運(yùn)動傳感器、音頻、操作桿、按鈕和/或攝像頭的信號的轉(zhuǎn)換來替代或增加來自觸屏裝置的信號以允許所述電子裝置上的應(yīng)用的遠(yuǎn)程控制;2)涉及提供一種用戶輸入到一個裝置的替代技術(shù),所述裝置最初被提供或設(shè)計(jì)成接收來自另一裝置的輸入;以及3)涉及基于上下文標(biāo)示符為存在裝置以及運(yùn)行于所述裝置上的應(yīng)用或模塊進(jìn)行的替代輸入信號到一組傳統(tǒng)信號和指令的轉(zhuǎn)換的配置、重新配置和動態(tài)選擇。
背景技術(shù)
在人機(jī)交互的工業(yè)設(shè)計(jì)里,用戶界面是人類與機(jī)器互動的一個場所。人機(jī)交互的目標(biāo)是制造出一種用戶界面,它可以簡單、高效以及舒適的操作機(jī)器來實(shí)現(xiàn)理想結(jié)果。這通常意味著一個操作員需要進(jìn)行最少量的操作就可以獲得理想輸出,并且機(jī)器為人類最小化非理想輸出。在創(chuàng)建實(shí)用性用戶界面時適用的設(shè)計(jì)思路涉及或者包含如工程學(xué)和心理學(xué)等的學(xué)科。觸摸屏是至今設(shè)計(jì)的最成功的人機(jī)界面之一,在電子產(chǎn)品上最常見。它們廣泛應(yīng)用于電腦、平板電腦和智能手機(jī)。觸摸屏是一種電子視覺顯示器,它可以在顯示區(qū)域內(nèi)檢測接觸點(diǎn)的存在和位置。這個術(shù)語通常是指用手指或手臂在一個裝置的顯示器上觸摸。觸摸屏裝置同樣也能感應(yīng)其他無源物體,比如觸針。在一些應(yīng)用里,希望通過手持式運(yùn)動傳感控制器的使用來遠(yuǎn)程控制觸摸屏裝置,所述手持式運(yùn)動傳感控制器可能包括傳感器的組合和發(fā)射器,所述傳感器包括加速器、陀螺儀、電子羅盤或者磁力、按鈕、操作桿和麥克風(fēng),所述發(fā)射器包括發(fā)光二極管和無線通信
>J-U ρ α裝直。同樣地,用于遠(yuǎn)程控制觸摸屏裝置的輸入裝置也可能包括來自2D (2維)攝像頭或者3D (3維)攝像頭的控制信號,所述3D攝像頭例如可以為提供立體畫面的兩個攝像頭或范圍成像照相機(jī)系統(tǒng)(a single time of flight-based camera)。希望將觸摸屏受控裝置連接到大屏幕電視機(jī)上,當(dāng)該觸摸屏受控裝置的圖形輸出顯示在所述電視機(jī)的大屏幕上時,從舒適的沙發(fā)上就可以控制該受控裝置的部分或全部功能。類似的,也可能希望遠(yuǎn)程控制智能電視(支持更廣泛的內(nèi)容,包括視頻、游戲、最初配置給觸摸屏裝置的應(yīng)用、網(wǎng)頁瀏覽等等)的部分或者全部功能。這樣的話,與所述受控裝置的理想交互方式不是所述受控裝置的觸摸屏,而是替代裝置(非觸摸屏)。然而,運(yùn)行于所述受控裝置上的模塊(例如,軟件組件)通常需要接收類表面觸摸信號(或通常從類表面觸摸信號獲取而來的信號)來控制其功能。這樣,無論有或沒有將觸屏裝置連接至所述受控裝置或其上運(yùn)行的模塊,均希望可以利用這樣的替代裝置非常容易地控制受控裝置或者在其上運(yùn)行的模塊。
發(fā)明內(nèi)容本章節(jié)總結(jié)了現(xiàn)有公開的一些方面,并簡單的介紹一些優(yōu)選實(shí)施例。本章節(jié)的簡化或者省略和在摘要或者標(biāo)題中的說明一樣可能會避開隱藏本章節(jié)、摘要和標(biāo)題的目的。這些簡化或者省略并非想要限定現(xiàn)有公開的范圍??傮w而言,本發(fā)明描述了使用多個運(yùn)動傳感輸入來遠(yuǎn)程控制現(xiàn)有電子裝置或系統(tǒng)(也稱為受控裝置或受控系統(tǒng))的技術(shù),該現(xiàn)有電子裝置上運(yùn)行有應(yīng)用,該應(yīng)用事先配置成從一預(yù)定控制裝置(比如特定觸屏裝置)來獲得輸入。輸入裝置的輸出信號可能與來自所述預(yù)定控制裝置的信號具有不同的格式。所述輸出信號可能是由運(yùn)動傳感控制器、2D或3D攝像頭,或它們的組合產(chǎn)生。根據(jù)本發(fā)明的一個方面,所述受控裝置被設(shè)計(jì)成響應(yīng)來自觸摸屏的信號或類觸摸屏的信號。所述運(yùn)動控制器的示例包括但不限于包括大顯示器的電子消費(fèi)裝置(比如電視和娛樂裝置),所述電子消費(fèi)裝置可能連接至也可能不連接至智能手機(jī)和平板電腦。所述輸入裝置的輸出信號是給受控裝置的運(yùn)動傳感輸入,并被轉(zhuǎn)換成類觸屏信號,該類觸屏信號 而后被發(fā)送至所述受控裝置或者運(yùn)行于所述受控裝置上的應(yīng)用或程序,隨后引起所述受控裝置的行為的改變或者響應(yīng),而不需要重新設(shè)置所述受控裝置上運(yùn)行的應(yīng)用或程序。根據(jù)本發(fā)明的另一方面,所述運(yùn)動控制器內(nèi)包括有多個慣性傳感器,來自所述運(yùn)動控制器的信號包括傳感信號,所述傳感信號中的部分或全部由所述運(yùn)動控制器中的慣性傳感器產(chǎn)生。這些信號被轉(zhuǎn)換成一組控制信號以對所述受控裝置進(jìn)行控制,所述控制信號包括與來自觸摸屏裝置的信號實(shí)質(zhì)類似的一些信號?;诰唧w實(shí)現(xiàn),所述控制信號可以包括所述運(yùn)動控制器相對于所述受控裝置的平移或角位置,以及一系列用戶與所述運(yùn)動控制器的交互。在一種情況下,所述控制信號還可能包括來自其它運(yùn)動控制器的輸出信號(其它運(yùn)動控制器被同一個用戶或者另一個不同的用戶使用)。根據(jù)本發(fā)明的另一方面,來自輸入裝置的信號包括傳感信號,所述傳感信號中的部分或者全部由位于受控裝置上或者附近的一個或多個攝像頭產(chǎn)生。攝像頭得到的圖像信號被轉(zhuǎn)換成一組控制信號以控制所述受控裝置,所述控制信號包括與來自觸摸屏裝置的信號實(shí)質(zhì)相似的一些信號?;诰唧w實(shí)現(xiàn),通過轉(zhuǎn)換或投影2D或者3D圖像平面到虛擬觸摸板(virtual touchpad),并發(fā)送這個虛擬觸摸板的“已觸摸”位置來計(jì)算所述控制信號。本發(fā)明可以被實(shí)現(xiàn)為一種方法、一種裝置中的部分或預(yù)定裝置上運(yùn)行的軟件模組。根據(jù)一個實(shí)施例,本發(fā)明實(shí)現(xiàn)為一種用于基于運(yùn)動的控制的系統(tǒng),所述系統(tǒng)包括包括至少一個應(yīng)用的受控裝置,該至少一個應(yīng)用預(yù)先設(shè)置成響應(yīng)于來自觸屏裝置的輸入信號;包括多個傳感器的輸入裝置,所述傳感器用來產(chǎn)生響應(yīng)于人體運(yùn)動的傳感信號;以及一個處理單元,其配置成通過將來自所述輸入裝置的傳感信號轉(zhuǎn)換為一組信號來幫助所述輸入裝置控制在所述受控裝置上的所述至少一個應(yīng)用,此組信號包括與來自所述觸屏裝置的觸屏輸入信號實(shí)質(zhì)類似的一些信號。根據(jù)另一個實(shí)施例,本發(fā)明實(shí)現(xiàn)為一種用于受控裝置的基于運(yùn)動的控制的方法,其包括產(chǎn)生來自輸入裝置的控制信號,所述控制信號包括來自響應(yīng)于人體運(yùn)動的多個傳感器的傳感信號;使受控裝置接收所述控制信號,所述受控裝置包括至少一個應(yīng)用,該至少一個應(yīng)用預(yù)先設(shè)置成響應(yīng)于來自觸屏裝置的輸入信號;將來自所述輸入裝置的控制信號轉(zhuǎn)換成一組信號,此組信號包括與來自所述觸摸屏裝置的觸屏輸入信號實(shí)質(zhì)類似的一些信號;以及使得所述受控裝置響應(yīng)于所述控制信號。本發(fā)明的目標(biāo)、優(yōu)勢和好處之一是可以使能一個替代裝置(例如運(yùn)動控制器)或輸入機(jī)制去控制在一個受控裝置上的應(yīng)用,而該應(yīng)用最初被設(shè)計(jì)成和預(yù)定裝置(例如觸摸
屏裝置)一起工作。本公開的其他目標(biāo),優(yōu)點(diǎn)和優(yōu)勢通過接下來的優(yōu)選實(shí)施例結(jié)合附圖的具體說明將變得更加明顯。

結(jié)合接下來的說明、所附權(quán)利要求、參考附圖,本發(fā)明的這些和其他特征、方面和優(yōu)點(diǎn)將更容易理解。圖I示出根據(jù)本發(fā)明的一個實(shí)施例的一種配置的各種組件,在該配置中示出了一 個運(yùn)動控制器、一個顯示器和一個或多個表面觸摸裝置。圖2A和圖2B示出兩個表面觸摸輸入裝置的例子。圖3示出本發(fā)明的一種不同的組件連接方法的備選實(shí)施例。圖4示出本發(fā)明的另一種不同的組件連接方法的備選實(shí)施例。圖5仍然示出本發(fā)明的另一種組件子集的備選實(shí)施例。圖6示出了本發(fā)明中的輸入裝置的不同配置的另一個備選實(shí)施例;圖7示出了運(yùn)動傳感控制器的兩個例子,其中每個都可以用于控制受控裝置;圖8A示出了本發(fā)明的一個實(shí)施例,其中虛擬觸摸板用作額外的輸入裝置;圖8B示出了用戶通過動作配置所述虛擬觸摸板的尺寸和視角(perspective)的示范方法;圖9A示出了在本發(fā)明的一個實(shí)施例中證明如何控制流程以使能控制器的控制;圖9B是根據(jù)本發(fā)明的一個實(shí)施例的功能模塊圖;以及圖10為在本發(fā)明的一個實(shí)施例中的信號流程的流程圖。
具體實(shí)施方式本發(fā)明的具體說明陳述了很多在以下方面過程、步驟、邏輯模塊、流程以及其他直接或間接類似數(shù)據(jù)流程裝置運(yùn)算的符號表示。所屬領(lǐng)域的技術(shù)人員使用此處的這些進(jìn)程說明和表示向所屬領(lǐng)域的其他技術(shù)人員有效的介紹他們的工作實(shí)質(zhì)。大量具體細(xì)節(jié)被闡述以此來提供對本發(fā)明的透徹理解。然而,對于所屬領(lǐng)域的技術(shù)人員在沒有這些具體細(xì)節(jié)時也可以很容易地實(shí)施本發(fā)明。在其他情況下,熟知的方法,過程,組件以及電路圖沒有被具體描述,以避開本發(fā)明的不必要的非重點(diǎn)方面。此處所稱的“一個實(shí)施例”或“實(shí)施例”是指針對實(shí)施例所描述的可包含于本發(fā)明至少一個實(shí)現(xiàn)例中的特定特征、結(jié)構(gòu)或特性。在本說明書中不同地方出現(xiàn)的“在一個實(shí)施例中”并非均指同一個實(shí)施例,也不是單獨(dú)的或選擇性的與其他實(shí)施例互相排斥的實(shí)施例。此外,表示一個或多個實(shí)施例的方法、流程圖或功能框圖中的模塊順序并非固定的指代任何特定順序,也不構(gòu)成對本發(fā)明的限制。像這里使用的一樣,一個(用戶)輸入裝置作為控制裝置,它允許用戶交互式的控制另一個裝置的部分或全部功能??刂蒲b置的一些普通例子包括鼠標(biāo)、鍵盤、操作桿、觸摸感應(yīng)表面(touch sensitive surfaces)、運(yùn)動控制器(比如Wii Remote 運(yùn)動控制器,PlayStation控制器和空中鼠標(biāo))以及電視遙控器。無源傳感器,比如攝像機(jī)和麥克風(fēng),也是所述用戶輸入裝置的例子。本發(fā)明中的控制裝置主要涉及含有多個慣性傳感器的控制器,其中所述控制器產(chǎn)生控制信號,所述控制信號包括來自所述慣性傳感器的傳感信號和來自其他信號源(例如,操作桿、動作按鈕或者格柵(grid)中手指的檢測位置)的信號。作為與受控裝置或系統(tǒng)相對的一個名稱,控制器、控制裝置和輸入裝置在這里是可以互相替換的。這種輸入裝置的例子包括但不限于(視頻游戲)控制器,該控制器最初為視頻游戲、具有至少一個慣性傳感器的智能手機(jī)(例如iPhone)和產(chǎn)生傳感信號的便攜式計(jì)算裝置而產(chǎn)生。作為用戶活動的結(jié)果,信號從輸入裝置被發(fā)送到一個受控裝置從而引起所述受控裝置或系統(tǒng)行為的轉(zhuǎn)變。有許多受控裝置的例子,常見的例子包括視頻游戲系統(tǒng)、電視機(jī)、數(shù)碼錄像機(jī)(DVRs)、DVD播放器、磁帶式錄像機(jī)、個人電腦、手提電腦、平板電腦、家庭音響系統(tǒng)、蜂窩電話、智能手機(jī)、個人音樂播放器、圖形顯示器、圖形投影系統(tǒng)和上述裝置的各種組合。一般來說,這些受控裝置上運(yùn)行模塊(比如軟件組件),該運(yùn)行于所述受控裝置上的模塊接收來自指定輸入裝置的信號,或間接處理來自所述輸入裝置的信號。這些軟 件被配置成傾聽并響應(yīng)特定類型的信號。大體上,這些信號可能被歸類成以下幾種I) 一類輸入裝置的代表,例如a.源于類鼠標(biāo)裝置(例如電腦鼠標(biāo))的類鼠標(biāo)信號(mouse-like signals);b.源于“類鍵盤”裝置(例如遠(yuǎn)端鍵盤或者屏幕鍵盤)的“類鍵盤”信號(keyboard-like signals);c.源于“類表面觸摸”裝置(例如觸摸平板電腦)的“類表面觸摸”信號(touch-surface-1 ike signals);以及d.源于“類麥克風(fēng)”裝置的“類音頻”信號。更廣泛的,這些裝置以類型歸類并且被設(shè)計(jì)成傾聽并響應(yīng)特定類型的信號。這樣的話,一個裝置,例如軌跡球,通過執(zhí)行通信協(xié)議(例如USB I. I)被用來代替鼠標(biāo),通過該通信協(xié)議可以表示出這個裝置是“類鼠標(biāo)”并且隨后提供“類鼠標(biāo)”的按鍵按壓和位置信號的改變。2)高級信號,或表示特定類型的控制請求或者控制事件的信號的代表,例如a. “下一張幻燈片[請求]”;b. “往上滾動[請求]”;c. “放大[請求]”。作為用戶活動的結(jié)果,信號從所述用戶輸入裝置發(fā)送到一個受控裝置從而引起所述受控裝置行為的轉(zhuǎn)變。一般來說,這些抽象信號作為一種方便的工具提供給應(yīng)用程序員,這樣他們就不需要考慮過多的各種各樣的可能性的輸入裝置。這樣的話,通過執(zhí)行軟件組件(例如“驅(qū)動”),將提供新類別的(先驗(yàn)未知)輸入信號的新替代輸入裝置(alternativeinput devices)的信號映射至所述軟件組件期望的“傾聽”信號。以這種方式,操作系統(tǒng)制造商或者API開發(fā)商會制定規(guī)則來寫入和安裝軟件組件,這些軟件組件的輸出從可想到的源接收到的信號,并且隨后使用這些信號控制現(xiàn)有的應(yīng)用。然而,這些現(xiàn)有模式并沒有以一種令人滿意的方式滿足一些現(xiàn)實(shí)需求。應(yīng)用經(jīng)常被寫成傾聽一種特定類型(比如類表面觸摸)的信號。比如安卓操作系統(tǒng),有許多的應(yīng)用為它而開發(fā)?,F(xiàn)在,大多數(shù)安卓裝置使用觸摸屏作為用戶輸入的主要模式,并且安卓裝置上的應(yīng)用和其他軟件組件經(jīng)常被明確的寫成“傾聽”類表面觸摸信號。如果有人希望使用一種新的非類表面觸摸輸入裝置,例如運(yùn)動傳感裝置或控制器,控制所述受控裝置的所有表面觸摸功能,那么有一些實(shí)際問題必須解決。比如,許多軟件組件被寫成“傾聽”和響應(yīng)特定的類表面觸摸信號。類似的,軟件組件可能被寫成“傾聽”高級信號,例如“放大”或者“往下滾動”信號,這些信號間接的由另外的軟件組件產(chǎn)生(例如操作系統(tǒng)、驅(qū)動、APIs等等),這些另外的軟件組件期望或者傾聽類表面觸摸信號。可接受的和期望的輸入的類型可以通過各種手段進(jìn)入存在軟件組件中,所述手段包括a、自己的設(shè)計(jì);b、通過編譯器的使用;或,C、通過依靠一個或者多個另外的軟件組件(例如驅(qū)動、操作系統(tǒng)、APIs)。這些輸入裝置可能不是“類表面觸摸”裝置或者不能容易提供類“表面觸摸”信號。特別地,根據(jù)一個實(shí)施例,輸入裝置中沒有一個傳感器直接或者明顯地提供類表面觸摸信號。它們替代類表面觸摸輸入裝置的應(yīng)用和使用不是那么容易的被執(zhí)行或者想到。 本發(fā)明的一方面涉及來自輸入裝置的傳感信號到類表面觸摸信號的轉(zhuǎn)換。類表面觸摸信號包含表示在一個2D(2維)表面上的2D坐標(biāo)的信息。在一個實(shí)施例中,用戶利用輸入裝置直接指向展示在圖形顯示器上的項(xiàng)目或條目,該輸入裝置被配置去估計(jì)指向位置(比如所述輸入裝置的主軸和所述圖形顯示器的交叉點(diǎn))。這種指向位置的估算可以被稱為 “Drift-free”(無漂移)“down-the-barrel”(管貓準(zhǔn))指向。Drift-freedown-the-barrel指向信號是一種“類表面觸摸”信號的合適源,因?yàn)橛脩艨梢灾苯訉⑹殖盅b置的位置和方向與顯示器的方向和位置關(guān)聯(lián)起來,而不需要圖形反饋(例如圖形鼠標(biāo)指針、十字光標(biāo)或者光標(biāo))。本發(fā)明的一些目標(biāo)、優(yōu)勢和好處在接下來的示例應(yīng)用中會被體會。首先對于類鼠標(biāo)裝置,由于鼠標(biāo)裝置提供在2D平面上的線速度的測量但是不能提供在2D平面的絕對位置,因此鼠標(biāo)不能提供"down the barrel"指向信號。另外,鼠標(biāo)提供由傾聽“類鼠標(biāo)信號”的應(yīng)用所接收的“類鼠標(biāo)信號”。這種“類鼠標(biāo)信號”源可能不會被傾聽類表面觸摸信號的軟件直接使用。此外,用戶沒有辦法在不使用圖形反饋(例如鼠標(biāo)指針)的情況下將鼠標(biāo)的物理位置和在所述圖形顯示器上的位置可靠的關(guān)聯(lián)起來。其次對于圖形反饋的需求,類鼠標(biāo)裝置(提供鼠標(biāo)信號源的裝置)為2D值的單數(shù)據(jù)流源,而多點(diǎn)觸摸表面可以產(chǎn)生2D值的多個數(shù)據(jù)流。本發(fā)明的一方面,使用本發(fā)明所考慮的控制裝置來提供類多點(diǎn)觸摸信號。第三對于空中鼠標(biāo),其通過整合來自陀螺儀的一段時間后的角度方向信號來確定在一個平面上的一個點(diǎn)以獲得角位置的相對測量。此測量隨后轉(zhuǎn)換成在一個2D平面上的一個點(diǎn)。這種方法的弊端有i.僅相對于一些開始的方向測量被計(jì)算的方向信號通過被觀測的相對測量的整合得到絕對測量,這會隨著時間增加誤差(稱為推算誤差);iii.所述空中鼠標(biāo)的操作的2D平面是基于重力的,透視圖(perspective view)不能被比如斜靠在沙發(fā)上的用戶調(diào)節(jié)或者傾斜。在初始化校準(zhǔn)步驟后,當(dāng)所述輸入裝置指向圖形顯示器時,所述輸入裝置的方向的測量最初有可能提供down-the-barrel指向。然而經(jīng)過一段時間后,由于以上弊端,推算誤差(或者漂移)的累加或者裝置傳感器的其他限制(例如溢出、比例誤差、非線性或者偏移誤差)意味著此輸入裝置的計(jì)算后的方向最后會和實(shí)際的方向不匹配。這些弊端使得陀螺儀空中鼠標(biāo)裝置不適合作為不需要圖形反饋的希望進(jìn)行"driftfree〃〃down-the-barrel〃指向的應(yīng)用。在一個實(shí)施例中,輸入裝置通過相對固定參考系進(jìn)行不斷的校準(zhǔn)來克服所述限制。在一個實(shí)施例中,所述固定參考系是一個電子羅盤。在另一個實(shí)施例中,所述固定參考為外部攝像頭。此外,此運(yùn)動傳感裝置事先不被設(shè)想成可以提供在性質(zhì)上不同于類鼠標(biāo)信號(例如2D速度)的可用類表面觸摸信號(與其它屬性比較,其可以表示在2D平面上的絕對位置)。類表面觸摸信號擁有不同于類鼠標(biāo)信號的另外的特性。這些特性擁有區(qū)分沿一組點(diǎn)追蹤軌跡和按順序單獨(dú)觸摸這些點(diǎn)的能力,以及在一些裝置上同時觸摸多點(diǎn)的能力(也稱為多點(diǎn)觸摸)。對于Wii Remote運(yùn)動傳感控制器,其可以實(shí)現(xiàn)了 down the barrel指向的不穩(wěn)定形式。然而,為了做到這一點(diǎn),這種裝置包含探測在圖形顯示器附近的紅外線LED(LightEmitting diode)的位置的紅外線感應(yīng)攝像頭。像在這里描述的一樣,本發(fā)明的一個實(shí)施例不要求該手持裝置中使用攝像頭或者在顯示器上設(shè)置LEDs。
對于PlayStation Move (TM)運(yùn)動傳感控制器i.該裝置采用了外部固定的攝像頭和一個控制器尾部的大型內(nèi)部彩色燈球以對該裝置進(jìn)行定位;ii.該裝置提供類運(yùn)動控制器信號給軟件組件(例如電子游戲),該軟件組件對類運(yùn)動控制器信號而非類表面觸摸信號進(jìn)行傾聽和響應(yīng)。該裝置還沒有給主要傾聽“類表面觸摸”信號的軟件組件提供“類表面觸摸”信號的已知的使用。包含操作桿和按鈕的外置游戲控制器的例子,例如Zeemote (TM),已經(jīng)習(xí)慣于控制在觸摸屏裝置上運(yùn)行的軟件組件。然而,來自游戲控制器的信號并不用來代替觸摸屏信號,而是提供類操作桿、類游戲控制器或者類方向盤信號,并且僅對明確傾聽這些類型的信號的軟件組件的子集有效。相反,本發(fā)明的一方面可以提供一個表面觸摸信號的替代源,其被用來控制傾聽類表面觸摸信號的軟件組件的所有功能。本發(fā)明的另一方面涉及操作桿和按鈕信號的轉(zhuǎn)換來替換或增加觸摸表面信號。一個觸摸表面覆蓋整個圖形顯示器。觸摸位置作為已接觸位置相對于圖形顯示畫面的聯(lián)合是非常重要的。對于替代輸入裝置,可能缺少給用戶的圖像反饋,該圖像反饋可以表明在圖形顯示器上的什么地方一個動作將要發(fā)生或已經(jīng)發(fā)生,在所述裝置的操作系統(tǒng)或應(yīng)用中也沒有規(guī)定去接收來自替代輸入裝置的信號,并將它們圖形化展示。本發(fā)明的另一個方面是替代輸入裝置的指向位置在顯示器上的圖像顯示。這個方面有以下不同a,類鼠標(biāo)信號的光標(biāo)圖形顯示(類鼠標(biāo)信號源而非類表面觸摸信號的可視化)山,觸摸感應(yīng)表面的接觸位置的圖形顯示(來自實(shí)際的觸摸感應(yīng)表面而不是替代輸入裝置的類表面觸摸信號的可視化),其他運(yùn)動控制器、操作桿或者按鈕信號的圖形顯示(這些信號并非用來轉(zhuǎn)換以替代類表面觸摸信號)。在不知道哪個轉(zhuǎn)換應(yīng)該應(yīng)用在哪個環(huán)境或上下文(context)的情況下,也許沒有來自新輸入裝置的信號的單獨(dú)轉(zhuǎn)換,所述新輸入裝置適合作為多個環(huán)境或上下文(例如家庭屏幕、顯示屏的設(shè)置、游戲、操作系統(tǒng)功能等等)的輸入。對于一個軟件組件,可以使用一個操作桿產(chǎn)生一個類觸摸信號去模擬在特定位置的表面觸摸,從而模擬按下屏幕上的圖形按鈕。對于另一個軟件組件,所述操作桿信號可以被轉(zhuǎn)換以產(chǎn)生一系列的類表面觸摸信號以引起一個屏幕上的列表的滾動,該系列的類表面觸摸信號可以模擬觸摸表面上的向上滑動的信號。在這兩種情況下,一種情況下的信號根據(jù)另一種上下文進(jìn)行發(fā)送可能產(chǎn)生非預(yù)期的影響。更廣泛的說,本發(fā)明的這一方面不同于從一種類型到另一種類型的信號轉(zhuǎn)換的相關(guān)技術(shù),具體有1,被轉(zhuǎn)換的信號可能不是類表面觸摸信號并且特定的來自于替代輸入裝置,而不是類表面觸摸信號源;2,已轉(zhuǎn)換信號被用于替代或增加觸摸表面的信號,接著提供給配置成傾聽類表面觸摸信號的軟件組件;3,所述受控軟件組件不需要為可配置性具有現(xiàn)有規(guī)定;4,一些輸入信號可能來自遠(yuǎn)程位置的(比如在沙發(fā)上)、虛擬或真實(shí)的觸屏裝置,相較于為所述應(yīng)用預(yù)先配置的預(yù)定觸摸屏裝置,這樣可以給用戶更多的控制自由度。一般而言,本發(fā)明描述了對于現(xiàn)有電子裝置使用運(yùn)動控制器作為輸入裝置的技術(shù),運(yùn)行有應(yīng)用的受控裝置預(yù)配置成可以獲取不同格式的輸入。輸入裝置的信號的格式可能與控制裝置的信號的不同。根據(jù)本發(fā)明的一方面,受控裝置上運(yùn)行有響應(yīng)觸摸屏信號或者類觸摸屏信號的應(yīng)用。運(yùn)動控制器的輸入被轉(zhuǎn)成類觸摸屏信號,隨后發(fā)送給受控裝置或者正在受控裝置中運(yùn)行的程序從而引起受控裝置的行為變換或者響應(yīng)。 現(xiàn)在請參考附圖,圖I示出根據(jù)本發(fā)明一個實(shí)施例的范例配置100。在此實(shí)施例中,主要的組件包括一個控制裝置101和一個受控裝置102。所述控制裝置101提供信號,所述信號來自依附于所述控制裝置的運(yùn)動傳感器以及按鈕傳感器、操作桿傳感器,LED和麥克風(fēng)輸入的任意組合。這些信號被解釋以控制所述受控裝置102,該受控裝置102可以由多個元件構(gòu)成,所述元件包括一個大型顯示器103和一個表面觸摸輸入裝置104??刂蒲b置的一個示例可以是一個專用控制器、智能手機(jī)或者其他手持電腦裝置(例如,iPhone)。受控裝置的一個示例可以是一部電視機(jī)、游戲控制臺或用于控制應(yīng)用的電腦裝置(例如智能手機(jī)或者連接到電視機(jī)的平板電腦)。在一個實(shí)施例中,所述控制裝置101包含運(yùn)動傳感器(未示出)和零個、一個或多個的LED,它們裝在控制裝置101的被用戶109手持的本體上,這里顯示用戶109在他或者她的房間里舒服的坐在沙發(fā)110上。為了這個目的,在一個實(shí)施例中,所述控制裝置101還包含一個通信裝置和一個自帶電源。所述通信裝置在一個實(shí)施例中為藍(lán)牙無線電裝置,但是它在可選實(shí)施例中也可以用紅外線通信裝或者任何其它形式的無線通信裝置替代。在一個實(shí)施例中,可充電電池作為所述電源。在另一個實(shí)施例中,所述控制裝置101的運(yùn)動信號可以被由外部的不附屬于所述控制裝置101的攝像頭以及在控制裝置101上的一個或多個LED或者其它點(diǎn)光源一起提供的信號替代或者補(bǔ)充。當(dāng)在描述各種各樣的實(shí)施例時,所述控制裝置101也可以被稱為運(yùn)動控制器、控制器或運(yùn)動傳感裝置,名稱可以互換。在一個實(shí)施例中,所述受控裝置102為一個電子裝置,其被配置去執(zhí)行一些模塊(例如軟件組件),所述模塊與至少一個觸摸傳感輸入裝置(例如觸摸屏)或類表面觸摸輸入裝置信號(比如來自表面觸摸輸入裝置104)進(jìn)行通信或者被其控制。所述表面觸摸輸入裝置的例子包括覆蓋于圖像顯示器上的電阻式或電容式觸摸面板。如圖2A和2B示出了的兩個例子,分別為具有觸摸屏的智能手機(jī)201和平板電腦202。類表面觸摸信號為至少描述觸摸傳感輸入裝置上的2D平面的觸摸位置或觸摸點(diǎn)或者區(qū)域的信號。
受控裝置102可以被按鈕傳感器、鍵盤或者袖珍鍵盤輸入、操作桿傳感器、攝像頭或者視頻輸入、麥克風(fēng)輸入或者運(yùn)動傳感器的任意組合控制。在一個實(shí)施例中,所述受控裝置102包含一個大型顯示器(在不同的實(shí)施例中也可稱之為顯示裝置)103和至少一個通過一條線纜105直接附屬于所述顯示器103的表面觸摸輸入裝置104,所述大型顯示器103可以為電視機(jī)、電腦屏幕或者投影顯示裝置,所述電纜105可以為HDMI線。在如圖3所示的另一個實(shí)施例300中,所述受控裝置302包含一個表面觸摸裝置304,其放在一個對接站上,該對接站通過線路與顯示器303以及其內(nèi)的處理單元相連接。在如圖4所示的另一個可選實(shí)施例400中,所述受控裝置402包括一個表面觸摸裝置404,其通過物理上附屬于或者合并在顯示器里的一個接收/發(fā)射器405與顯示器403進(jìn)行無線通信。在圖2,3和4所示出的每一個實(shí)施例中,視頻信號都是由觸摸屏裝置發(fā)送到顯示裝置。在圖5所示的另一個實(shí)施例500中,所述受控裝置502只包括顯示裝置503,所述受控裝置502沒有觸摸屏但是仍然運(yùn)行由類表面觸摸信號控制的應(yīng)用。在這種情況下,所述控制裝置通過轉(zhuǎn)換它的非類觸摸屏信號為能夠控制這些應(yīng)用的觸摸屏信號以對這些應(yīng)用 進(jìn)行控制。圖6示出一個擁有多種不同配置的輸入裝置的受控系統(tǒng)600。此受控系統(tǒng)603包括兩個裝置601和602,它們含有處理單元并且有能力運(yùn)行程序或者軟件模塊。所述處理單元存在于顯示裝置和觸摸屏輸入裝置中。所述輸入裝置或者控制裝置可以任意配置的網(wǎng)絡(luò)攝像頭604、電視內(nèi)嵌的攝像頭605、立體視覺的第二個網(wǎng)絡(luò)攝像頭606和運(yùn)動感應(yīng)控制器607。如圖6所示,來自控制裝置604-607的信號用于控制運(yùn)行在受控系統(tǒng)603上的軟件組件。這些軟件組件被配置成傾聽特定類型或者可辨認(rèn)類別的信號,例如-類觸摸屏信號(touchscreen like signals);-類按鈕信號(button-likesignals);-類音頻信號(audio-likesignals);-類操作桿信號(joystick-likesignals);-類文本信號(例如用于填入在一塊圖形文本輸入?yún)^(qū)域的一串字節(jié);或者一系列控制信號,例如來自于鍵盤或其他類似的文本輸入裝置);-表示事件的信號,例如“Home鍵已按下”;-表示請求的信號,例如“往下滾動請求”。在每種情況下,信號源有可能是未知的,但是在所述受控裝置或系統(tǒng)里運(yùn)行的軟件組件被配置成傾聽特定類型或者可辨認(rèn)類型的信號,或者被特定類型或者可辨認(rèn)類型的信號控制。如在此使用的,“類X”信號被當(dāng)成所述軟件組件接收的信號,該信號引起正在運(yùn)行所述軟件組件的裝置的行為變化,就好像此裝置受控于所述輸入裝置X,但是不一定非得來自于所述輸入裝置X。本發(fā)明的一個方面允許一個或多個軟件組件被特定類型或者可辨認(rèn)類型的信號控制在指明類型的物理裝置缺失時;和/或,除了指明類別的物理裝置外;和/或,
作為指明類別的物理裝置的可替代機(jī)制。作為例子,在本發(fā)明的一個實(shí)施例中,本發(fā)明允許在受控裝置上運(yùn)行的多個軟件組件的遠(yuǎn)程控制,其中觸摸屏為受控裝置的主要輸入源,并且軟件組件由觸摸屏或者類表面觸摸信號控制。所述控制裝置通過轉(zhuǎn)換它的非類觸摸屏的信號為能夠控制這些軟件組件的類觸摸表面信號對這些軟件組件進(jìn)行控制?;诰唧w實(shí)現(xiàn),各種各樣的轉(zhuǎn)換對于從控制裝置獲得的各類型的輸入信號和被受控裝置的軟件組件響應(yīng)的各類型的信號是可能的和適當(dāng)?shù)?。轉(zhuǎn)換的示例包括有-將來自控制裝置的操作桿信號轉(zhuǎn)換成“上一頁(PageUp) ”信號;-將來自控制裝置的麥克風(fēng)信號轉(zhuǎn)換成文本輸入信號以進(jìn)行內(nèi)容搜索; -將來自控制裝置的慣性信號轉(zhuǎn)換成類慣性信號,此轉(zhuǎn)換發(fā)生在執(zhí)行一個可選的輪換以模擬輸入裝置和目標(biāo)裝置之間的慣性傳感器的軸線的重新映射之后(如果有目標(biāo)裝置的話,有可能替代受控裝置慣性的輸入);-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類表面觸摸信號;-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類按鈕信號;-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類操作桿信號;-將控制裝置的操作桿信號轉(zhuǎn)換成類操作桿信號;-將控制裝置的操作桿信號轉(zhuǎn)換成類表面觸摸信號;-轉(zhuǎn)換和擴(kuò)充來自一個裝置的觸摸板信號、類按鈕信號和音頻信號以取代所述受控系統(tǒng)中的類信號;-將控制裝置的操作桿信號轉(zhuǎn)換成圖形目標(biāo)或列表滾動請求的軟件信號;-將控制裝置的麥克風(fēng)輸入轉(zhuǎn)換成類表面信號(例如“向下”(說)轉(zhuǎn)換成模擬觸摸表面的向下滑);-將控制裝置的麥克風(fēng)輸入轉(zhuǎn)換成類按鈕信號(例如,“Home”(說)轉(zhuǎn)換成Home鍵已按下信號);-將控制裝置的操作桿和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號;-將控制裝置的運(yùn)動信號和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號;-將控制裝置的運(yùn)動信號和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號和類按鈕信號;-將圖像信號轉(zhuǎn)換成控制信號以修改虛擬觸摸板的尺寸和視角(perspective);-將圖像信號轉(zhuǎn)換成2D類觸摸板信號。以上這些例子,從控制裝置進(jìn)來的信號被轉(zhuǎn)換以替代來自用于控制所述受控裝置的指定觸屏裝置的信號。這些轉(zhuǎn)換并不妨礙其他物理裝置對所述軟件組件的控制,其他物理裝置也許存在,而是允許所述控制裝置對所述軟件組件的遠(yuǎn)程控制。通過探測表明用戶希望使用類似的替代控制器的事件來使能所述遠(yuǎn)程控制。可能的事件的示例包括-通過電纜、對接或者無線電連接發(fā)現(xiàn)從控制裝置到受控裝置的連接事件;-通過無線電或者其他無線通信信道發(fā)現(xiàn)受控裝置;或-通過連在受控裝置上的攝像頭發(fā)現(xiàn)用戶。圖7示出兩個示例的運(yùn)動感應(yīng)控制器,其有可能用于控制如圖I -6所示的受控裝置。在一個優(yōu)選實(shí)施例中,所述運(yùn)動傳感器安裝在控制器內(nèi)部而不顯現(xiàn)在外。每個控制器的外部配件包括在格柵(grill) 701后面的麥克風(fēng)、模擬操作桿(analog joystic) 702和多個按鈕703。在另一個實(shí)施例中,所述控制器在運(yùn)動控制器的頂部表面設(shè)有一個觸摸板704,允許用戶滑動、摩擦、輕拍或者提供其它基于觸摸的輸入。這種遠(yuǎn)程觸摸板裝置可以是任意尺寸以方便成為手持控制裝置的一部分。圖8A示出一個輸入裝置,此輸入裝置包括位于受控裝置頂部的網(wǎng)絡(luò)攝像頭801、用來展示攝像頭的2D投影視野范圍的網(wǎng)絡(luò)攝像頭的視野截錐(viewing frustrum) 802和一個位于視圖截錐802內(nèi)的虛擬窗口 803。在一個實(shí)施例中,所述虛擬窗口 803是一個用戶可配置的空間,在該虛擬窗口內(nèi)的活動被認(rèn)為就像發(fā)生在觸摸板上一樣。換句話說,此虛擬窗口 803被用作虛擬的觸摸板。在一個實(shí)施例中,一個或多個(用戶的)手指被跟蹤到。當(dāng)伸出一個手指時,在圖像平面上的跟蹤位置被投影在2D格柵(grid)上,由此導(dǎo)致的轉(zhuǎn)換信號作為類觸摸信號提供給所述受控裝置。這個類觸摸信號可以控制所述受控裝置上的應(yīng)用,所述應(yīng)用預(yù)先配置的可接受觸屏輸入。當(dāng)在虛擬窗口 803里伸出手指,就好像所述手指接觸到所述虛擬觸摸板一樣。當(dāng)手指縮回或離開所述虛擬窗口 803,就好像是所述手指脫離所述虛擬觸摸板。在一個實(shí)施例中,所述虛擬觸摸板輸入被合并入其它輸入以提供用于驅(qū)動所述受控裝置的擴(kuò)充控制信號。輸入類型的這種合并可以使得來自終端用戶的各種輸入 被靈活使用。有許多部分可以用來替代手指,例如,手、筆、或受控裝置末端上的LED,當(dāng)按下時該LED開啟,不按時該LED關(guān)閉。在這個實(shí)施例中,利用虛擬窗口 803的信息和基于攝像頭的目標(biāo)跟蹤的信息來創(chuàng)建一個虛擬觸摸板,該虛擬觸摸板用來擴(kuò)充或替代驅(qū)動所述受控裝置的控制信號。圖SB示出一種示例方法,用戶通過該方法可以配置用來創(chuàng)建虛擬觸摸板的虛擬窗口 803的尺寸和視角,其中將兩只手805的每一個形成“L”形從而創(chuàng)建所述虛擬板框架803。在一個實(shí)施例中,所述虛擬板框架803的尺寸可被簡單的確定為固定長寬比的矩形,所述虛擬窗口 803的寬度與由用戶雙手形成的“L”形的角之間的圖像平面的X像素的差成比例。所述虛擬窗口 803的視角與在圖像平面里的手的食指與拇指之間的相對長度成比例。在另一個實(shí)施例中,所述轉(zhuǎn)換發(fā)生在控制裝置里并且其輸出信號直接發(fā)射到所述受控裝置。在一個優(yōu)選實(shí)施例中,所述受控裝置為一個網(wǎng)絡(luò)電視機(jī),其可以從因特網(wǎng)源接收視頻并播放,運(yùn)行游戲,或者其它網(wǎng)絡(luò)應(yīng)用。在圖I所示的實(shí)施例中,觸摸傳感輸入裝置104的屏幕畫面由所述顯示器103顯示。用戶109將所述運(yùn)動控制器101瞄準(zhǔn)屏幕從而為觸摸屏裝置指定對應(yīng)的2D位置107。這些位置的選擇對應(yīng)于所述控制裝置的"Down theBarrel"指向 106。在如圖6所示的本發(fā)明的一個實(shí)施例中,所述受控裝置或系統(tǒng)包括兩個裝置601和602,它們可以運(yùn)行觸摸屏應(yīng)用。所述運(yùn)動控制器607最開始用于指向每個裝置601和602的位置并儲每個位置的角度坐標(biāo)。所述運(yùn)動控制器607可以指向一個裝置并將其標(biāo)注為主裝置,比如裝置602,該主裝置負(fù)責(zé)提供在另一個裝置601 (比如顯示器)上顯示的內(nèi)容。從那時起,來自指向顯示器的控制器的信號將被轉(zhuǎn)換并只發(fā)送給所述主裝置,即便主裝置并非正在被指向的那個。在這兩個裝置(比如601和602)之間很明顯有許多可能去來回分享信息,例如任何種類的數(shù)據(jù)的轉(zhuǎn)移,所述數(shù)據(jù)包括被實(shí)時的訪問和修正(像在游戲里一樣)的靜態(tài)的文件,比如圖形元素等。在所述受控系統(tǒng)603里的裝置數(shù)量可以超過兩個,顯然多個裝置可以控制所述顯示器601的一部分,此外也很顯然可以有多個運(yùn)動控制器被用來控制整個系統(tǒng)603。本發(fā)明的一個實(shí)施例是一種方法,其將在以上描述的情況下使用的運(yùn)動控制器的傳感信號轉(zhuǎn)換成類表面觸摸信號。所述圖形顯示器示出一個“指向位置”作為屏幕上的元素(例如光標(biāo))。通過將運(yùn)動裝置的運(yùn)動信號轉(zhuǎn)換成2D平面上的點(diǎn),所述指向位置跟隨所述運(yùn)動裝置的移動。有許多方法可以將所述運(yùn)動裝置的運(yùn)動信號轉(zhuǎn)換成屏幕上存在的位置。在一個實(shí)施例中,發(fā)明人可以使用如申請?zhí)枮?2/835,750的美國專利申請中所描述射線投射法(ray-casting method),該美國專利申請?jiān)谶@里被作為參考。為了正確地獲得"Down theBarrel"指向,兩種主要信息是必須的。首先,需要獲得所述運(yùn)動控制器在世界坐標(biāo)系里的一個精確的絕對方向,這個世界坐標(biāo)系的定義與地球重力場和磁北的方向有關(guān)。其次,定義從所述運(yùn)動控制器的參考系到所述顯示屏的映射。此映射包含所述顯示器相對于所述運(yùn)動 控制器的位置以及所述顯示器相對于世界坐標(biāo)系的相對旋轉(zhuǎn)。第二組信息可以在初始化安裝校準(zhǔn)階段獲取。這種做法的一種方法在申請?zhí)枮?2/835,750的美國專利申請中有所描述,在該美國專利申請中用戶通過所述運(yùn)動控制器指向顯示屏上的多點(diǎn)位置以建立映射。在一個實(shí)施例中,所述控制裝置產(chǎn)生傳感信號,這些傳感信號對應(yīng)于至少三個互相垂直的加速計(jì)讀數(shù),三個互相垂直的陀螺計(jì)讀數(shù)和一個擁有垂直于地球重力方向的至少一個測量值的羅盤讀數(shù)。當(dāng)所述運(yùn)動控制器在非工作狀態(tài)時,通過使用加速計(jì)來測量所述重力方向,所述運(yùn)動控制器的方向的三個分量(components)中的兩個可以被計(jì)算出來,如專利號為7,953. 246的美國專利所描述的一樣,該美國專利在此被作為參考。第三個分量是環(huán)繞重力方向的旋轉(zhuǎn),其可以直接被羅盤測量。我們?nèi)菀桌斫膺@些方向的直接測量值并不總是有效的,所以陀螺儀感應(yīng)器提供繞三軸中任意一個的隨時間的精確角速度測量值。這些速度值將被整合用來計(jì)算重力與所述羅盤的估算之間的隨時間變化的方位變化。陀螺儀讀數(shù)的累積整合將會隨著時間來累積誤差,這被稱為漂移。為了保持一個方向的精確的"Down the Barrel"估算,必須定期將所述方向朝向從重力和羅盤獲得的直接估算值調(diào)整。實(shí)際上,重力和羅盤讀數(shù)相比于陀螺儀讀數(shù)趨向更低的精確性和更多的噪聲,這導(dǎo)致他們的方向估算的精確性較差,但是他們不會受到隨著時間的誤差累積或者漂移的影響。為了得到最佳的方向估算,必須混合這兩種數(shù)據(jù)。一個簡單的混合方法就是將整合方向朝著重力和羅盤估算的方向稍微移動以平滑所述整合方向的校正。實(shí)踐者可用的復(fù)雜的方法包括卡爾曼濾波器和其他已知的用來濾波以及合并噪聲信號的方法??蛇x擇的,如果所述控制裝置設(shè)置有一個三軸羅盤,可以根據(jù)此羅盤計(jì)算出方向的所有三個分量。在另一個實(shí)施例中,一個帶有至少三個正交讀數(shù)的羅盤可代替所述陀螺儀。對于足夠精確的羅盤,其讀數(shù)可以用來作為世界坐標(biāo)系中運(yùn)動控制器的方向的直接估計(jì)。方向中的誤差可以通過平滑多個輸出讀數(shù)來降低,以此來防止當(dāng)用戶試圖指向時體驗(yàn)到晃動的光標(biāo)。在另一個實(shí)施例中,通過使用與所述顯示器具有明確相對關(guān)系的外置攝像頭和可被所述攝像頭看到的控制器上的光源,顯示器相對于控制器的方向和相對位置能被共同獲得并隨時間更新,如申請?zhí)枮?3/105,863的美國專利申請所描述的那樣,該美國專利申請?jiān)谶@里被作為參考??紤]到所述控制器的方向和相對位置,射線投射提供簡單操作以在所述控制器產(chǎn)生的光束線與顯示器尋找交叉點(diǎn)。在一個實(shí)施例中,當(dāng)只有更多限制的傳感器有效時,相對指向被用于替代“down-the-barrel”指向。在一個實(shí)施例中,所述運(yùn)動控制器的陀螺儀讀數(shù)被直接映射為屏幕上光標(biāo)位置的相對變化,以此來產(chǎn)生指向位置,這樣就不需要加速器、羅盤傳感器、LED或者外置攝像頭。圖9A通過本發(fā)明的一個實(shí)施例證明如何控制流程以使能使用控制裝置901的控制。所述受控裝置904具有運(yùn)行程序或者軟件模塊的能力?;诰唧w實(shí)現(xiàn),所述受控裝置904包括一個或多個處理單元,所述處理單元設(shè)置于所述受控裝置904內(nèi)或所述觸摸屏輸入裝置中,或者兩者皆有。在一個實(shí)施例中,所述處理單元位于觸摸屏輸入裝置中。在另一個實(shí)施例中,所述受控裝置904為包括所述處理單元和所述軟件組件的電視機(jī)。如圖9A所示,來自所述控制裝置901的信號用于控制運(yùn)行在受控裝置上的軟件組 件905。這些軟件組件905被配置成傾聽特定類型或者可辨認(rèn)類別的信號,例如-類觸摸屏信號(touchscreen like signals);-類按鈕信號(button-likesignals);-類操作桿信號(joystick-likesignals);-類文本信號(例如用于填入在一塊圖形文本輸入?yún)^(qū)域的一串字節(jié);或者一系列控制信號,例如來自于鍵盤或其他類似的文本輸入裝置);-表示事件的信號,例如“Home鍵已按下”;-表示請求的信號,例如“往下滾動請求”。在每種情況下,信號源有可能是未知的,但是在所述受控裝置里運(yùn)行的軟件組件被配置成傾聽特定類型或者可辨認(rèn)類型的信號,或者被特定類型或者可辨認(rèn)類型的信號控制。如在此使用的,“類X”信號被當(dāng)成所述軟件組件接收的信號,該信號引起正在運(yùn)行所述軟件組件的裝置的行為變化,就好像此裝置受控于所述輸入裝置X,但是不一定非得來自于所述輸入裝置X。本發(fā)明的一個方面允許一個或多個軟件組件被特定類型或者可辨認(rèn)類型的信號控制在指明類型的物理裝置缺失時;和/或,除了指明類別的物理裝置外;和/或,作為指明類別的物理裝置的可替代機(jī)制。作為例子,在本發(fā)明的一個實(shí)施例中,本發(fā)明允許在受控裝置904上運(yùn)行的多個軟件組件的遠(yuǎn)程控制,其中觸摸屏910為受控裝置的主要輸入源,并且軟件組件905由觸摸屏或者類表面觸摸信號控制。根據(jù)一個實(shí)施例,所述控制裝置901通過轉(zhuǎn)換它的非類觸摸屏的信號907為能夠控制這些軟件組件905的類觸摸表面信號908對這些軟件組件進(jìn)行控制。在一個實(shí)施例中,這種轉(zhuǎn)換由軟件模塊906執(zhí)行,其也可以被稱為輸入轉(zhuǎn)換器,其使得信號907能夠被受控裝置904使用。在另一個實(shí)施例中,所述轉(zhuǎn)換器906可以提供另外的信號轉(zhuǎn)換。一個特定轉(zhuǎn)換涉及將直接或者間接來自控制裝置901的輸入信號(在一些實(shí)施例中,包括部分來自于外部攝像頭的信號,但是仍然需要來自所述受控裝置的信號)轉(zhuǎn)換成能夠控制運(yùn)行在所述受控裝置904上的軟件組件和應(yīng)用的各種類型的輸出信號。基于具體實(shí)現(xiàn),各種各樣的轉(zhuǎn)換對于從控制裝置獲得的各類型的輸入信號和被受控裝置的軟件組件響應(yīng)的各類型的信號是可能的和適當(dāng)?shù)?。轉(zhuǎn)換的示例包括有-將來自控制裝置的操作桿信號轉(zhuǎn)換成“上一頁(PageUp) ”信號;-將來自控制裝置的麥克風(fēng)信號轉(zhuǎn)換成文本輸入信號;-將來自控制裝置的慣性信號轉(zhuǎn)換成類慣性信號,此轉(zhuǎn)換發(fā)生在執(zhí)行一個可選的輪換以模擬輸入裝置和目標(biāo)裝置之間的慣性傳感器的軸線的重新映射之后(如果有目標(biāo)裝置的話,有可能替代受控裝置慣性的輸入);-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類表面觸摸信號;
-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類按鈕信號;-將控制裝置的運(yùn)動信號轉(zhuǎn)換成類操作桿信號;-將控制裝置的操作桿信號轉(zhuǎn)換成類操作桿信號;-將控制裝置的操作桿信號轉(zhuǎn)換成類表面觸摸信號;-類表面觸摸信號模擬屏幕上的方向控制器的觸摸,例如圖7所不的704;-不同操作桿方向?qū)е虏煌砻嬗|摸位置的模擬;-類表面觸摸信號是一系列模擬觸摸表面滑動的觸摸信號;-將控制裝置的操作桿信號轉(zhuǎn)換成圖形目標(biāo)或列表滾動請求的軟件信號;-將控制裝置的麥克風(fēng)輸入轉(zhuǎn)換成類表面信號(例如“向下”(說)轉(zhuǎn)換成模擬觸摸表面的向下滑);-將控制裝置的麥克風(fēng)輸入轉(zhuǎn)換成類按鈕信號(例如,“Home”(說)轉(zhuǎn)換成Home鍵已按下信號);-將控制裝置的操作桿和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號;-將控制裝置的運(yùn)動信號和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號;-將控制裝置的運(yùn)動信號和按鈕信號一起轉(zhuǎn)換成類表面觸摸信號和類按鈕信號。以上這些例子,從控制裝置進(jìn)來的信號被轉(zhuǎn)換以替代或者修改受控裝置的信號。這些轉(zhuǎn)換并不妨礙其他物理裝置對所述軟件組件的控制,其他物理裝置也許存在(例如910),而允許所述控制裝置對所述軟件組件的遠(yuǎn)程控制。通過探測表明用戶希望使用類似的替代控制器的事件來使能所述遠(yuǎn)程控制??赡艿氖录氖纠?通過電纜、對接或者無線電連接發(fā)現(xiàn)從控制裝置到受控裝置的連接事件;-通過無線電或者其他無線通信信道發(fā)現(xiàn)受控裝置;或-通過連在受控裝置上的攝像頭發(fā)現(xiàn)用戶。在另一個實(shí)施例中,所述轉(zhuǎn)換發(fā)生在控制裝置里并且其輸出信號直接發(fā)射到所述受控裝置。在一個優(yōu)選實(shí)施例中,所述受控裝置為一個網(wǎng)絡(luò)電視機(jī),其可以從因特網(wǎng)源接收視頻并播放,運(yùn)行游戲,或者其它網(wǎng)絡(luò)應(yīng)用。在圖I所示的實(shí)施例中,觸摸傳感輸入裝置104的屏幕畫面由所述顯示器103顯示。用戶109將所述運(yùn)動控制器101瞄準(zhǔn)屏幕從而為觸摸屏裝置指定對應(yīng)的2D位置107。這些位置的選擇對應(yīng)于所述控制裝置的"Down theBarrel"指向 106。本發(fā)明的一個實(shí)施例是一種方法,其將在以上描述的情況下使用的運(yùn)動控制器的傳感信號轉(zhuǎn)換成類表面觸摸信號。所述圖形顯示器示出一個“指向位置”作為屏幕上的元素(例如光標(biāo))。通過將運(yùn)動裝置的運(yùn)動信號轉(zhuǎn)換成2D平面上的點(diǎn),所述指向位置跟隨所述運(yùn)動裝置的移動。有許多方法可以將所述運(yùn)動裝置的運(yùn)動信號轉(zhuǎn)換成屏幕上存在的位置。在一個實(shí)施例中,發(fā)明人可以使用如申請?zhí)枮?2/835,750的美國專利申請中所描述射線投射法(ray-casting method),該美國專利申請?jiān)谶@里被作為參考。為了正確地獲得"Down theBarrel"指向,兩種主要信息是必須的。首先,需要獲得所述運(yùn)動控制器在世界坐標(biāo)系里的一個精確的絕對方向,這個世界坐標(biāo)系的定義與地球重力場和磁北的方向有關(guān)。其次,定義從所述運(yùn)動控制器的參考系到所述顯示屏的映射。此映射包含所述顯示器相對于所述運(yùn)動控制器的位置以及所述顯示器相對于世界坐標(biāo)系的相對旋轉(zhuǎn)。第二組信息可以在初始化安裝校準(zhǔn)階段獲取。這種做法的一種方法在申請?zhí)枮?2/835,750的美國專利申請中有所描述,在該美國專利申請中用戶通過所述運(yùn)動控制器指向顯示屏上的多點(diǎn)位置以建立映射。在一個實(shí)施例中,所述控制裝置產(chǎn)生傳感信號,這些傳感信號對應(yīng)于至少三個互相垂直的加速計(jì)讀數(shù),三個互相垂直的陀螺計(jì)讀數(shù)和一個擁有垂直于地球重力方向的至少 一個測量值的羅盤讀數(shù)。當(dāng)所述運(yùn)動控制器在非工作狀態(tài)時,通過使用加速計(jì)來測量所述重力方向,所述運(yùn)動控制器的方向的三個分量(components)中的兩個可以被計(jì)算出來,如專利號為7,953. 246的美國專利所描述的一樣,該美國專利在此被作為參考。第三個分量是環(huán)繞重力方向的旋轉(zhuǎn),其可以直接被羅盤測量。我們?nèi)菀桌斫膺@些方向的直接測量值并不總是有效的,所以陀螺儀感應(yīng)器提供繞三軸中任意一個的隨時間的精確角速度測量值。這些速度值將被整合用來計(jì)算重力與所述羅盤的估算之間的隨時間變化的方位變化。陀螺儀讀數(shù)的累積整合將會隨著時間來累積誤差,這被稱為漂移。為了保持一個方向的精確的"Down the Barrel"估算,必須定期將所述方向朝向從重力和羅盤獲得的直接估算值調(diào)整。實(shí)際上,重力和羅盤讀數(shù)相比于陀螺儀讀數(shù)趨向更低的精確性和更多的噪聲,這導(dǎo)致他們的方向估算的精確性較差,但是他們不會受到隨著時間的誤差累積或者漂移的影響。為了得到最佳的方向估算,必須混合這兩種數(shù)據(jù)。一個簡單的混合方法就是將整合方向朝著重力和羅盤估算的方向稍微移動以平滑所述整合方向的校正。實(shí)踐者可用的復(fù)雜的方法包括卡爾曼濾波器和其他已知的用來濾波以及合并噪聲信號的方法。可選擇的,如果所述控制裝置設(shè)置有一個三軸羅盤,可以根據(jù)此羅盤計(jì)算出方向的所有三個分量。在另一個實(shí)施例中,一個帶有至少三個正交讀數(shù)的羅盤可代替所述陀螺儀。對于足夠精確的羅盤,其讀數(shù)可以用來作為世界坐標(biāo)系中運(yùn)動控制器的方向的直接估計(jì)。方向中的誤差可以通過平滑多個輸出讀數(shù)來降低,以此來防止當(dāng)用戶試圖指向時體驗(yàn)到晃動的光標(biāo)。在另一個實(shí)施例中,通過使用與所述顯示器具有明確相對關(guān)系的外置攝像頭和可被所述攝像頭看到的控制器上的光源,顯示器相對于控制器的方向和相對位置能被共同獲得并隨時間更新,如申請?zhí)枮?3/105,863的美國專利申請所描述的那樣,該美國專利申請?jiān)谶@里被作為參考。考慮到所述控制器的方向和相對位置,射線投射提供簡單操作以在所述控制器產(chǎn)生的光束線與顯示器尋找交叉點(diǎn)。在一個實(shí)施例中,當(dāng)只有更多限制的傳感器有效時,相對指向被用于替代“down-the-barrel”指向。在一個實(shí)施例中,所述運(yùn)動控制器的陀螺儀讀數(shù)被直接映射為屏幕上光標(biāo)位置的相對變化,以此來產(chǎn)生指向位置,這樣就不需要加速器、羅盤傳感器、LED或者外置攝像頭。下面我們描述如何將那些2D交叉點(diǎn)、指向位置與其它控制裝置的信號(例如運(yùn)動信號)合并,以此產(chǎn)生類表面觸摸信號。下面描述的操作模式的細(xì)節(jié)將傾向于說明性而不是限制在其應(yīng)用中。當(dāng)描述按住一個按鈕時,可能用類似的方法取而代之,例如壓下觸發(fā)器或者覆蓋觸屏、光、或者電容傳感器。當(dāng)描述圍繞軸線旋轉(zhuǎn)時,如果被給定的輸入裝置的用戶感覺到更舒服或者更自然,可以使用不同的軸線選擇或者旋轉(zhuǎn)方向。在一個實(shí)施例中,當(dāng)產(chǎn)生表面觸摸信號時,在顯示裝置上的指向位置被映射回到所述表面觸摸輸入裝置的相應(yīng)位置。對于沒有觸屏裝置的實(shí)施例來說,在顯示裝置上的2D指向位置直接被用來產(chǎn)生用于軟件組件的類觸摸信號。用戶與程序交互的額外的轉(zhuǎn)換和方法將被用于替代的實(shí)施例中,所述實(shí)施例包括
當(dāng)按鈕按住和釋放選擇時的圖像覆蓋層(Graphical Overlay):按下和按住按鈕以引起各種各樣的圖像元素(按鈕、列表、文本、盒子等等)的出現(xiàn),這些元素由顯示覆蓋層軟件組件909產(chǎn)生和顯示。在釋放按鈕時,任何展示在指向位置的圖像元素激活其自身功能,隨后其圖像覆蓋層消失。音量控制按下并按住控制裝置上的一個按鈕從而進(jìn)入音量調(diào)節(jié)模式。向右旋轉(zhuǎn)控制器的末端(當(dāng)從上往下看)使得音量增加。向左旋轉(zhuǎn)控制器的末端(當(dāng)從上往下看)使得音量增加。左右移動按下并按住控制裝置上的一個按鈕引起顯示圖形元素的位置的改變。運(yùn)動控制器的末端的水平運(yùn)動(例如,當(dāng)從上看時,控制器的末端的左/右運(yùn)動)引起圖形元素的水平運(yùn)動。上下移動按下并按住控制裝置上的一個按鈕促使顯示圖形元素的位置的改變。運(yùn)動控制器的末端的垂直運(yùn)動(例如,當(dāng)從側(cè)面看時,控制器的末端的上/下運(yùn)動)引起圖形元素的垂直運(yùn)動。姿勢控制如果用戶做出一個可識別類型的運(yùn)動,則其可能為軟件事件或者請求(例如“按住HOME按鈕”、“向上移動”、“保存改變”、“取消”的)產(chǎn)生一個相應(yīng)的模擬信號,或其產(chǎn)生為所述軟件組件預(yù)定義的類似可識別信號。姿勢控制到觸摸如果用戶做了一個可識別類型的運(yùn)動,則可能產(chǎn)生一系列表面觸摸信號,該表面觸摸信號對應(yīng)一系列預(yù)定義的指向位置。該系列指向位置可以通過應(yīng)用來定義,也可以通過一組先前由用戶產(chǎn)生的觸摸信號來定義。例如,用戶可以通過使用上述詳細(xì)描述過的單點(diǎn)觸摸或多點(diǎn)觸摸方法中的一個指定一序列的指向位置,然后指定該序列應(yīng)當(dāng)與示例運(yùn)動或者它們所提供的一組運(yùn)動相似的運(yùn)動相關(guān)聯(lián)。音頻控制如果用戶作出一個可識別的音頻信號以產(chǎn)生一個相應(yīng)的模擬軟件事件或者請求的信號,或者為所述軟件組件預(yù)定義的類似可識別信號。模擬軟件事件或者請求的信號例如可以為“按住HOME按鈕”,“向上移動”,“保存改變”,“取消”等。音頻音量控制使用用戶輸入的音頻輸入音量來控制所述受控裝置的輸出音量。例如,用戶可以決定去匹配輸入音量和輸出音量的分貝水平。音頻到文本輸入來自所述控制裝置的音頻信號的轉(zhuǎn)換可以提供或替代運(yùn)行在所述受控裝置上的軟件組件的文本輸入。在一個實(shí)施例中,該轉(zhuǎn)換使用現(xiàn)有文本到語音應(yīng)用程序接口(API),例如谷歌安卓文本到語音API。運(yùn)動到類鍵盤輸入來自控制裝置的運(yùn)動控制信號的轉(zhuǎn)換可以提供或替代運(yùn)行在受控裝置上的軟件組件的提供文本輸入的觸摸輸入。在一個實(shí)施例中,將按鈕和運(yùn)動信號轉(zhuǎn)換成類表面觸摸信號,該類表面觸摸信號模擬顯示在屏幕鍵盤上的按鍵的選擇。運(yùn)動到文本輸入在另一個實(shí)施例中,通過將指向位置穿過表示已選詞匯的元素的屏幕符號,將按鈕和運(yùn)動信號轉(zhuǎn)換成模擬詞語描繪的類表面觸摸信號。因此需要一種消歧方法。在一個優(yōu)選實(shí)施例中,我們依靠現(xiàn)有軟件組件,例如Swype。圖9B示出了本發(fā)明一個實(shí)施例的功能方框圖。在實(shí)施例中,是有關(guān)基于配置文件(profile)的來自控制裝置的信號到適合控制受控裝置上的軟件組件的信號的轉(zhuǎn)換的動態(tài)選擇,其中配置文件包括上下文和轉(zhuǎn)換;上下文是一種可識別情況,在該情況下可以應(yīng)用所述轉(zhuǎn)換;轉(zhuǎn)換已經(jīng)在上文有所描述。
配置文件進(jìn)一步展示了在特定的上下文中轉(zhuǎn)換的動態(tài)應(yīng)用。也就是說,如果所述上下文應(yīng)用,從所述控制裝置提取所述傳感信號,應(yīng)用所述轉(zhuǎn)換,然后給運(yùn)行于所述受控裝置的軟件組件提供結(jié)果信號。上下文的例子包括但不限于I、標(biāo)識圖像用戶接口元素的狀態(tài)(窗口、屏幕、盒子、按鈕、滑塊等等)。配置文件例子如果當(dāng)前滾動條元素被顯示,那么將來自所述控制裝置的操縱桿信號轉(zhuǎn)換成引起上滾動或下滾動的表面觸摸信號。2、激活的軟件程序。配置文件例子如果照片長廊照片觀賞者應(yīng)用正在運(yùn)行,那么將運(yùn)動傳感信號轉(zhuǎn)換成引起放大或縮小的表面觸摸信號?;?,如果照片長廊照片觀賞者應(yīng)用正在運(yùn)行,那么將運(yùn)動傳感信號轉(zhuǎn)換成明確表示弓I起放大或縮小的高級觸摸信號。如果某個游戲正在運(yùn)行,那么將來自所述控制裝置的運(yùn)動信號轉(zhuǎn)換成受控裝置的模擬運(yùn)動信號。3、對控制裝置的檢測。配置文件例子如果控制裝置被檢測且其它任何條件,那么控制裝置的將表示向前推送的操縱桿信號轉(zhuǎn)換成模擬向上滑動的表面觸摸信號。4、對控制裝置任何運(yùn)動的檢測;配置文件例子如果檢測到控制裝置的運(yùn)動,那么將A轉(zhuǎn)換成B ;如果檢測到控制裝置的運(yùn)動并且其它上下文也被檢測到,那么將A轉(zhuǎn)換成B;如果用于文本輸入的顯示圖像元素被選擇,那么將控制裝置的音頻信號轉(zhuǎn)換成文本輸入;如果控制裝置被置于垂直方向中,那么將控制裝置的音頻信號轉(zhuǎn)換成文本輸入。在一個實(shí)施例中,一個配置文件被實(shí)現(xiàn)為程序代碼,該程序代碼可以在受控裝置或者控制裝置上執(zhí)行(可能在編譯和鏈接步驟之后)。在一個優(yōu)選實(shí)施例中,配置文件被實(shí)現(xiàn)為計(jì)算機(jī)數(shù)據(jù)并且被容易地存儲、復(fù)制、編輯、修改、存進(jìn)數(shù)據(jù)庫或者傳輸。在這這種情況下,配置文件的功能通過另外的可以加載配置文件的軟件組件911執(zhí)行。根據(jù)本發(fā)明的一個實(shí)施例,圖10示出了一種控制裝置(比如,運(yùn)動傳感裝置)如何被用于與受控裝置相互作用的流程或者方法1000,在此控制裝置的信號被映射成能被受控裝置接受的信號。正如上述所描述的,根據(jù)一個配置文件執(zhí)行所述映射或者轉(zhuǎn)換?;诰唧w實(shí)現(xiàn),方法1000可以實(shí)現(xiàn)為軟件或者軟件與硬件的結(jié)合。在1002中,方法1000檢查控制裝置(例如iPhone)是否有能力與受控裝置(例如,智能電視)進(jìn)行通信。該通信可以通過多種途徑中的一種執(zhí)行,例如WiFi、藍(lán)牙或者紅外線。其目的在于保證控制裝置的信號可以被受控裝置接收到。方法1000可以在來自控制裝置的信號被受控裝置接收到的情況下進(jìn)行。在1004中,控制裝置的用戶四下移動所述控制裝置。正如上述所描述的,控制裝置包括一組傳感器,其中至少有一些是產(chǎn)生運(yùn)動信號的慣性 傳感器。在1006中,控制裝置被校準(zhǔn),例如當(dāng)所述控制裝置被指向受控裝置的顯示器時所述控制裝置的方向的測量。因此,提供down-the-barrel指向才可能。傳感信號根據(jù)一種轉(zhuǎn)換而被轉(zhuǎn)換?;诰唧w實(shí)現(xiàn),該轉(zhuǎn)換可能通過不同的方式被實(shí)現(xiàn),其中一些在上文已說明。轉(zhuǎn)換的一種功能就是將傳感信號(與動作信號一起)轉(zhuǎn)換的與為受控裝置設(shè)計(jì)的控制信號實(shí)質(zhì)上相似。例如,受控裝置設(shè)計(jì)成被觸屏裝置的控制信號控制或者接收觸摸屏裝置的輸入信號。在一個實(shí)施例中,轉(zhuǎn)換被設(shè)計(jì)成將一些或者所有傳感信號轉(zhuǎn)換成實(shí)質(zhì)上與來自觸屏裝置的控制信號相似的信號。因此,控制裝置可以用來控制所述受控裝置。為公平準(zhǔn)確地指向顯示器,控制裝置在顯示器的2D表面的絕對位置在1010中被計(jì)算,該位置與參考系有關(guān)(例如,與顯示器有關(guān))。另一方面,控制裝置可能也產(chǎn)生其它信號。典型地,在1012中,控制裝置能夠連接用戶以接收命令和輸入。該控制裝置可能也包含一個或多個按鍵或按鈕來激活一個動作。因此,在1014中,除控制裝置的傳感器的傳感信號之外,可能還有同樣來自控制裝置的動作信號。與1008相似,在1016中,所述動作信號被轉(zhuǎn)換的與受控裝置可接受的動作信號實(shí)質(zhì)上相似。在一個實(shí)施例中,視用戶需要如何控制受控裝置而定,傳感信號和動作信號被同時發(fā)送給受控裝置。與1010中的指向位置一起,在1018中,動作信號能夠引起受控裝置的一個行為的改變。舉例來說,用戶需要滾動包含一些項(xiàng)目的菜單,該菜單被顯示在受控裝置上。因此有必要確定控制裝置在顯示器上的指向位置,以便確定哪個項(xiàng)目被指向。在控制裝置上的一個動作(例如,一次點(diǎn)擊)引起控制裝置發(fā)出動作信號,該動作信號將被轉(zhuǎn)換成一個受控裝置可接受的動作。與確定位置一起,受控裝置被設(shè)置成確定菜單上哪個項(xiàng)目將被選擇以及被激活。本發(fā)明的以上說明針對于從控制裝置到在運(yùn)行于受控裝置上的軟件組件的信號轉(zhuǎn)換。在顯示給用戶之前,對軟件組件的輸出信號進(jìn)行額外的修正也可以的。對于一些受控裝置輸出數(shù)據(jù)的另外的轉(zhuǎn)換可用來提高用戶使用新控制器的體驗(yàn)。圖形數(shù)據(jù)的另外的轉(zhuǎn)換的例子有增加另外的顯示控制(例如按鈕、滑塊或菜單)到顯示器的非使用區(qū)域。對于來自一個裝置(例如肖像顯示模式下的智能手機(jī))的圖形數(shù)據(jù),有可能在顯示器(例如一個電視屏幕或者顯示器)上有大量的非使用區(qū)域,所述顯示器可以用來提供留給用戶的另外區(qū)域以生成表面觸摸輸出信號的指向點(diǎn)。另外,圖形元素可以從觸摸傳感裝置的輸出移除,然后被放置于新的配置上(例如主顯示器的邊上),或者完全移除。對于具有在屏幕底部的虛擬游戲板的游戲應(yīng)用,如果所述輸入控制器有一個操作桿,那么可以不需要為用戶顯示虛擬操作板,這樣可以給用戶一個清晰的畫面,同時仍然允許所述控制裝置的操作桿輸入信號被映射為相對于原始觸摸表面裝置控制位置的表面觸摸信號。本發(fā)明優(yōu)先由軟件實(shí)現(xiàn),但是也可以由硬件或者硬件和軟件的組合實(shí)現(xiàn)。本發(fā)明也可實(shí)現(xiàn)為在計(jì)算機(jī)可讀媒介上的計(jì)算機(jī)可讀編碼。計(jì)算機(jī)可讀媒介可以是任何數(shù)據(jù)存儲裝置,其可存儲由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)。例如計(jì)算機(jī)可讀媒介包含只讀存儲器、隨機(jī)存取儲存器、CD-ROMs、DVDs、磁帶、光盤和載波。計(jì)算機(jī)可讀媒介可通過聯(lián)網(wǎng)計(jì)算機(jī)系統(tǒng)發(fā)布,這樣計(jì)算機(jī)可讀編碼可以分布式方式存儲和執(zhí)行。本發(fā)明已經(jīng)在一定程度上被充分詳細(xì)的描述。本領(lǐng)域技術(shù)人員可以理解,目前實(shí)施例所揭露的只是示例而已,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的范圍定義為其保護(hù)范圍而不是以上 實(shí)施例的說明。
權(quán)利要求
1.一種用于基于運(yùn)動的控制的系統(tǒng),該系統(tǒng)包括 包括至少一個應(yīng)用的受控裝置,該至少一個應(yīng)用預(yù)先設(shè)置成響應(yīng)于來自觸屏裝置的輸入信號; 包括多個傳感器的輸入裝置,所述傳感器用來產(chǎn)生響應(yīng)于人體運(yùn)動的傳感信號;以及 一個處理單元,配置成通過將來自所述輸入裝置的傳感信號轉(zhuǎn)換為一組信號來幫助所述輸入裝置控制在所述受控裝置上的所述至少一個應(yīng)用,此組信號包括與來自所述觸屏裝置的輸入信號實(shí)質(zhì)類似的一些信號。
2.根據(jù)權(quán)利要求I所述的系統(tǒng),其中所述輸入裝置為用于與視頻游戲交互的手持運(yùn)動控制器,所述輸入裝置包括至少一個慣性傳感器、磁力計(jì)、觸摸板、一組按鈕、扳機(jī)、揚(yáng)聲器和/或操作桿。
3.根據(jù)權(quán)利要求I所述的系統(tǒng),其中所述處理單元配置成執(zhí)行轉(zhuǎn)換,所述轉(zhuǎn)換被提供來將非類表面觸摸信號的傳感信號轉(zhuǎn)換成類表面觸摸信號的那組信號。
4.根據(jù)權(quán)利要求3所述的系統(tǒng),其中所述處理單元設(shè)置于所述受控裝置中,并且所述傳感信號由所述受控裝置遠(yuǎn)程接收。
5.根據(jù)權(quán)利要求I所述的系統(tǒng),其中所述受控裝置包括至少分離的第一裝置和第二裝置,第一個裝置包括一個顯示器和第一個處理單元,第二個裝置包括至少一個第二個處理單元,響應(yīng)于用戶與所述輸入裝置的互動,圖形元素或者其他類型的數(shù)據(jù)以一種方式在第一個裝置和第二個裝置之間轉(zhuǎn)移。
6.根據(jù)權(quán)利要求5所述的系統(tǒng),其中所述輸入裝置為一個運(yùn)動傳感控制器,第一個裝置和第二個裝置的位置由指向它們并且記錄它們的角度坐標(biāo)的所述運(yùn)動傳感控制器登記。
7.根據(jù)權(quán)利要求I所述的系統(tǒng),其中所述觸屏裝置為平板電腦、智能手機(jī)和擁有一個觸摸屏輸入元件的電子裝置中的一種;所述受控裝置為電視機(jī)、顯示器、圖像投影系統(tǒng)和具有一個顯示器的計(jì)算機(jī)裝置中的一種;所述輸入裝置包括一個分離于所述受控裝置的觸屏裝置,所述傳感信號通過無線方式發(fā)射給所述受控裝置,所述傳感信號包括來自所述輸入裝置的觸屏輸入。
8.根據(jù)權(quán)利要求7所述的系統(tǒng),其中在將所述傳感信號轉(zhuǎn)換成一組信號用于控制所述受控裝置前,先將所述傳感信號轉(zhuǎn)換成基于運(yùn)動的姿勢,響應(yīng)于來自所述輸入裝置的輸入信號,允許運(yùn)行于所述受控裝置上的至少一個應(yīng)用的基于姿勢的控制。
9.根據(jù)權(quán)利要求I所述的系統(tǒng),其中所述輸入裝置用于在空中創(chuàng)建一個虛擬2D輸入?yún)^(qū)域,所述輸入?yún)^(qū)域與所述輸入裝置用于控制所述受控裝置的行為。
10.根據(jù)權(quán)利要求9所述的系統(tǒng),其中在所述虛擬2D輸入?yún)^(qū)域上的觸摸的跟蹤位置被投影到一個2D格柵上,從而得到一個包括所述傳感信號的組合信號,其中所述組合信號作為類觸屏信號轉(zhuǎn)換并呈現(xiàn)到所述受控裝置,其中所述類觸屏信號能控制在所述受控裝置上的至少一個應(yīng)用。
11.一種用于受控裝置的基于運(yùn)動的控制的方法,該方法包括 產(chǎn)生來自輸入裝置的控制信號,所述控制信號包括來自響應(yīng)于人體運(yùn)動的多個傳感器的傳感信號; 使受控裝置接收所述控制信號,所述受控裝置包括至少一個應(yīng)用,該至少一個應(yīng)用預(yù)先設(shè)置成響應(yīng)于來自觸屏裝置的輸入信號;將來自所述輸入裝置的控制信號轉(zhuǎn)換成一組信號,此組信號包括與來自所述觸摸屏裝置的輸入信號實(shí)質(zhì)類似的一些信號;以及 使得所述受控裝置響應(yīng)于所述控制信號。
12.根據(jù)權(quán)利要求11所述的方法,其中所述輸入裝置用于在空中創(chuàng)建一個虛擬2D輸入?yún)^(qū)域,所述輸入?yún)^(qū)域與所述輸入裝置用于控制所述受控裝置的行為。
13.根據(jù)權(quán)利要求12所述的方法,其中在所述虛擬2D輸入?yún)^(qū)域上的觸摸的跟蹤位置被投影到一個2D格柵上,從而得到一個包括所述傳感信號的組合信號,其中所述組合信號作為類觸屏信號轉(zhuǎn)換并呈現(xiàn)到所述受控裝置,其中所述類觸屏信號能控制在所述受控裝置上的至少一個應(yīng)用。
14.根據(jù)權(quán)利要求11所述的方法,其中所述輸入裝置為手持運(yùn)動控制器,所述手持運(yùn)動控制器包括至少一個慣性傳感器、磁力計(jì)、觸摸板、一組按鈕、扳機(jī)、揚(yáng)聲器和/或操作桿。
15.根據(jù)權(quán)利要求14所述的方法,其中所述將來自所述輸入裝置的控制信號轉(zhuǎn)換成一組信號是在一個處理單元中執(zhí)行的,其中所述處理單元配置成執(zhí)行轉(zhuǎn)換,所述轉(zhuǎn)換被提供來將非類表面觸摸信號的控制信號轉(zhuǎn)換成類表面觸摸信號的一組信號。
全文摘要
本發(fā)明公開了一種使用多種運(yùn)動感應(yīng)信號來遠(yuǎn)程控制現(xiàn)有電子裝置或者系統(tǒng)的技術(shù)。來自運(yùn)動感應(yīng)裝置的輸出信號可能與那些來自預(yù)定義控制裝置的輸出信號具有不同的格式。根據(jù)本發(fā)明的一個方面,受控裝置被設(shè)計(jì)為響應(yīng)于來自觸模屏的信號或類觸摸屏信號。來自運(yùn)動感應(yīng)裝置的輸出信號包括到受控裝置的運(yùn)動感應(yīng)輸入,其被轉(zhuǎn)換成類觸屏信號,所述類觸屏信號耦合至所述受控裝置或者所述受控裝置執(zhí)行的程序,隨后引起受控裝置的行為的改變或者響應(yīng),而不需要重新設(shè)置受控裝置上運(yùn)行的應(yīng)用。
文檔編號G06F3/01GK102830795SQ20121021066
公開日2012年12月19日 申請日期2012年6月25日 優(yōu)先權(quán)日2011年6月23日
發(fā)明者斯圖爾特·雷諾茲, 查爾斯·穆席克·吉爾, 達(dá)納·威爾金森, 顏維群, 竺幼定 申請人:艾利維公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
湘西| 塘沽区| 鄂州市| 潞西市| 渭源县| 南投县| 青田县| 武川县| 江孜县| 甘孜| 许昌市| 申扎县| 滕州市| 梨树县| 遂溪县| 新龙县| 班玛县| 宁晋县| 花莲县| 石河子市| 灵宝市| 化德县| 民县| 迁西县| 洛南县| 佛山市| 文成县| 白银市| 桐梓县| 如东县| 宁国市| 东方市| 南和县| 蒲江县| 绥中县| 宁夏| 丹巴县| 嘉荫县| 沾益县| 乌兰浩特市| 高要市|