用戶與設(shè)備的基于觸摸和非觸摸的交互作用的制作方法
【專利摘要】本發(fā)明公開一種用于提供輸入到設(shè)備的方法，其中，輸入基于與設(shè)備的至少一個(gè)觸摸基交互作用和至少一個(gè)非觸摸基交互作用的組合，其中一種類型的輸入響應(yīng)于其他類型的輸入影響到設(shè)備的動(dòng)作指令。本發(fā)明還涉及相應(yīng)的設(shè)備。為了進(jìn)一步改善用戶和設(shè)備之間的交互作用，設(shè)置反饋提供裝置。
【專利說明】用戶與設(shè)備的基于觸摸和非觸摸的交互作用
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于提供手勢(shì)基輸入到設(shè)備的方法以及相應(yīng)的設(shè)備。
【背景技術(shù)】
[0002]越來越多的電子設(shè)備允許與用戶的基于手勢(shì)的交互作用。例如單個(gè)或多點(diǎn)觸摸敏感觸摸屏的觸摸敏感界面能夠檢測(cè)用戶執(zhí)行的手勢(shì)的軌跡，該用戶使用他的手或手的一個(gè)或多個(gè)手指觸摸界面。根據(jù)軌跡的空間和/或時(shí)間性質(zhì)，相應(yīng)的指令被輸入到電子元件的處理單元，電子元件然后執(zhí)行相應(yīng)的動(dòng)作。例如，從右側(cè)到左側(cè)的線性軌跡被解釋為揮擊或輕擊(swipe or flick)手勢(shì)，用于在屏幕上移動(dòng)對(duì)象從右側(cè)到左側(cè)，或從圖示在屏幕上的一頁改變到下一頁。另一個(gè)流行的示例是在觸摸敏感界面檢測(cè)到存在兩個(gè)手指彼此分開移動(dòng)時(shí)放大在顯示屏上的對(duì)象的放大手勢(shì)。
[0003]近來，已經(jīng)提出具有手勢(shì)基輸入(基于手勢(shì)的輸入)能力的電子設(shè)備，其并不需要用戶直接觸摸設(shè)備的觸摸敏感交互作用表面，因?yàn)槭褂孟鄼C(jī)檢測(cè)用戶在設(shè)備前面簡(jiǎn)單實(shí)現(xiàn)的手勢(shì)，并且基于在設(shè)備內(nèi)執(zhí)行的圖像分析，對(duì)這樣的三維手勢(shì)的性質(zhì)進(jìn)行分析。
[0004]通過基于交互作用模式的手勢(shì)，在用戶和電子設(shè)備之間可以實(shí)現(xiàn)更自然的交互作用方式，改進(jìn)仍然是必要的，因?yàn)檫@樣的電子設(shè)備的交互作用裝置仍強(qiáng)制某種類型的交互作用模式，這種類型的交互作用模式可能不一定必然對(duì)應(yīng)于與該設(shè)備進(jìn)行交互作用的自然或直觀的方式。

【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的目的是提供一種方法，用于基于手勢(shì)與設(shè)備交互作用，該手勢(shì)更靈活并且允許交互作用模式適應(yīng)更自然的交互作用方案。
[0006]這個(gè)目的使用根據(jù)權(quán)利要求1的方法實(shí)現(xiàn)。一種與設(shè)備交互作用以便給該設(shè)備提供輸入的方法，其特征在于，所述交互作用基于與設(shè)備的至少一個(gè)觸摸基交互作用(基于觸摸的交互作用)和與設(shè)備的至少一個(gè)非觸摸基交互作用(非觸摸基交互作用)的組合，其中，一種類型的交互作用響應(yīng)于另一種類型的交互作用影響由與該設(shè)備的交互作用產(chǎn)生的輸入。因此，觸摸基交互作用對(duì)設(shè)備根據(jù)交互作用執(zhí)行的動(dòng)作的影響變得依賴于另一種類型的交互作用，例如，如果非觸摸基交互作用是不同的，那么相同類型的觸摸基交互作用將導(dǎo)致由設(shè)備執(zhí)行的兩種不同的動(dòng)作。從而，設(shè)備對(duì)具體交互作用的響應(yīng)可以適用于特定環(huán)境，因而實(shí)現(xiàn)與設(shè)備的更靈活和更直觀的交互作用。
[0007]在此上下文中，術(shù)語“觸摸基(touch based) ”涉及用戶與設(shè)備之間的用戶物理地觸摸該設(shè)備的任何一種交互作用。觸摸基交互作用可能涉及到觸摸設(shè)備的預(yù)定區(qū)域、在設(shè)備的表面上滑動(dòng)或通過簡(jiǎn)單地把持設(shè)備。觸摸可以是單個(gè)觸摸事件，例如，通過用戶的手指或觸筆，或多點(diǎn)觸摸事件，在多點(diǎn)觸摸事件中多于一個(gè)手指觸摸該設(shè)備。
[0008]在這個(gè)上下文中，術(shù)語“非觸摸基”涉及用戶和設(shè)備之間的不需要用戶和設(shè)備之間的物理觸摸的任何一種交互作用。[0009]在本發(fā)明的上下文中，術(shù)語“輸入”涉及用戶和設(shè)備之間的可以由設(shè)備識(shí)別以執(zhí)行預(yù)定任務(wù)或動(dòng)作的任何一種指令。
[0010]優(yōu)選地，方法可以提供一種與設(shè)備的手勢(shì)基交互作用，并且特征在于，交互作用基于沒有觸摸該設(shè)備的至少一個(gè)手勢(shì)基交互作用和用戶觸摸該設(shè)備的至少一個(gè)觸摸基交互作用的序列，其中一個(gè)交互作用的至少一個(gè)實(shí)現(xiàn)特征，特別是軌跡和/或速度和/或持續(xù)時(shí)間和/或壓力，影響由與該設(shè)備的交互作用產(chǎn)生的輸入。
[0011]在上下文中，術(shù)語“手勢(shì)”涉及與設(shè)備的任何形式的非言語交互作用，其中可視身體動(dòng)作傳達(dá)特定消息。
[0012]因此，設(shè)備觸摸交互作用，例如，實(shí)現(xiàn)在觸摸敏感交互作用表面上的一維或二維手勢(shì)，與非觸摸基手勢(shì)組合，非觸摸基手勢(shì)可以是由用戶的手指、手或手臂執(zhí)行的三維手勢(shì)，使得用戶在無需適應(yīng)設(shè)備的情況下，用戶可以在與設(shè)備交互作用時(shí)復(fù)制在現(xiàn)實(shí)世界中使用的動(dòng)作。通過使用基于其他交互作用的特征的參數(shù)影響一個(gè)交互作用，交互作用變得更加靈活和同時(shí)更加直觀。作為一個(gè)示例，對(duì)象拾起和置換動(dòng)作可以通過抓取在設(shè)備的表面上的對(duì)象執(zhí)行，因此觸摸該設(shè)備，并且移動(dòng)對(duì)象到在設(shè)備上的另一個(gè)位置，而不必為連續(xù)地觸摸設(shè)備本身。因此，可以提高與設(shè)備的靈活性相關(guān)交互作用。在沒有抓取動(dòng)作的情況下，移動(dòng)非觸摸手勢(shì)不會(huì)導(dǎo)致同樣的結(jié)果。
[0013]根據(jù)變化，非觸摸基交互作用，例如手勢(shì)，和觸摸基交互作用可以一個(gè)接著另一個(gè)地或交替地發(fā)生。這允許用戶實(shí)現(xiàn)真正的生活模式，諸如上述的拾起和移動(dòng)動(dòng)作。
[0014]優(yōu)選地，至少一個(gè)非觸摸基交互作用，特別是手勢(shì)，和至少一個(gè)觸摸基交互作用在時(shí)間上至少部分地重疊。因此，與現(xiàn)有技術(shù)相比，可以在一個(gè)組合觸摸基和非觸摸基交互作用方案的情況下實(shí)現(xiàn)更復(fù)雜的交互作用模式。例如，在用戶想要轉(zhuǎn)動(dòng)圖示在顯示屏上的對(duì)象的情況下，用戶可以通過觸摸該設(shè)備選擇轉(zhuǎn)動(dòng)軸線，并且使用另一只手，實(shí)現(xiàn)輕擊或輕拂的手勢(shì)，指令圍繞所需轉(zhuǎn)動(dòng)軸線的轉(zhuǎn)動(dòng)。
[0015]有利地，用戶觸摸該設(shè)備的交互作用能夠發(fā)生在該設(shè)備的正面?zhèn)取⒈趁鎮(zhèn)然騻?cè)壁中的至少一個(gè)上。通過不將設(shè)備的交互作用敏感區(qū)域限制于正面?zhèn)?被定義為通常面向用戶的側(cè)面)，因此用戶在履行用戶與設(shè)備的交互作用中，不是被迫通過這一側(cè)面進(jìn)行交互作用，而是可以自由地選擇用戶如何希望與設(shè)備交互作用。
[0016]有利的是，用戶觸摸該設(shè)備的交互作用可以激活基于按鍵的輸入、基于計(jì)算機(jī)鼠標(biāo)的輸入、基于跟蹤球或觸摸或多點(diǎn)觸摸的輸入中的至少一種。一種或更多種交互作用技術(shù)的設(shè)置進(jìn)一步增強(qiáng)交互作用模式的靈活性。
[0017]根據(jù)優(yōu)選實(shí)施例，非觸摸基手勢(shì)可以使用一個(gè)或多個(gè)攝像頭設(shè)備檢測(cè)，攝像頭設(shè)備合并在設(shè)備中和/或一個(gè)或多個(gè)遠(yuǎn)程控制單元中，遠(yuǎn)程控制單元包括加速度計(jì)、陀螺儀、超聲波檢測(cè)裝置等的至少一個(gè)。這些元件允許以穩(wěn)定和可靠的方式檢測(cè)非觸摸基手勢(shì)。
[0018]超聲波可以用來檢測(cè)觸摸基和非觸摸基交互作用兩者，但是，需要專用的檢測(cè)裝置和算法用于兩種類型的交互作用。
[0019]有利的是，交互作用的序列可以包括:a)記錄階段，用于啟動(dòng)輸入到設(shè)備，b)持續(xù)階段，用于提供輸入到設(shè)備，和c)終止階段，用于確認(rèn)到設(shè)備的輸入。在記錄階段過程中，設(shè)備將通知用戶，能夠接收用戶的輸入，從而增加系統(tǒng)的用戶友好性，而用戶使用終止階段，用于確認(rèn)他的輸入，從而可以防止到設(shè)備的虛假輸入。[0020]優(yōu)選地，在步驟c)中，觸摸基交互作用被用來確認(rèn)在步驟b)中通過非觸摸基交互作用提供的輸入，特別是在沒有觸摸該設(shè)備的情況下由用戶實(shí)現(xiàn)的手勢(shì)?；谟|摸確認(rèn)交互作用提高防止由于無意的非觸摸基交互作用的虛假輸入，例如圍繞設(shè)備的預(yù)定體積內(nèi)的手勢(shì)，在預(yù)定體積中非觸摸基交互作用可以由設(shè)備檢測(cè)。
[0021]有利的是，通過實(shí)現(xiàn)下面的一序列的步驟，該方法可以用于選擇對(duì)象和提供與所選擇的對(duì)象相關(guān)的指令到設(shè)備，前述一序列的步驟包括:d)使用觸摸基交互作用，例如手勢(shì)，選擇對(duì)象，和e)基于非觸摸基交互作用，例如手勢(shì)，提供與所選擇的對(duì)象相關(guān)的輸入。像在現(xiàn)實(shí)生活中的情況下，用戶因此應(yīng)當(dāng)觸摸對(duì)象，以在提供輸入之前選擇對(duì)象，其在現(xiàn)實(shí)生活中可能更自然地執(zhí)行。
[0022]上述方法特別有利于提供輸入以將對(duì)象從第一位置移動(dòng)到不同位置，包括一序列的手勢(shì):f)檢測(cè)由用戶在第一位置處觸摸該設(shè)備提供的擰捏或擠壓或轉(zhuǎn)動(dòng)手勢(shì)，g)檢測(cè)用戶沒有觸摸該設(shè)備的平移手勢(shì)，和h)檢測(cè)在第二位置處或在第二位置上方通過觸摸基手勢(shì)或非觸摸基手勢(shì)的釋放手勢(shì)。例如，圖標(biāo)可以在屏幕上從第一位置移動(dòng)到第二位置，或者甚至顯示在屏幕上的對(duì)象可以被在屏幕上拾起和移動(dòng)超出畫面，到達(dá)屏幕以外的功能區(qū)域上。在識(shí)別對(duì)象落下的第二位置時(shí)，可以執(zhí)行歸因于畫面外的功能區(qū)域的動(dòng)作，例如打印、刪除等。
[0023]在擰捏或擠壓手勢(shì)期間，設(shè)備的觸摸基用戶交互作用裝置配置為識(shí)別兩個(gè)或更多個(gè)對(duì)象，例如存在于交互作用表面上的彼此靠攏的指尖，而期間發(fā)生觸摸的釋放手勢(shì)，對(duì)應(yīng)相反運(yùn)動(dòng)。在轉(zhuǎn)動(dòng)手勢(shì)的情況下，一個(gè)對(duì)象圍繞第二不可移動(dòng)對(duì)象轉(zhuǎn)動(dòng)，或者兩個(gè)對(duì)象描述彎曲軌跡。對(duì)于由非觸摸基用戶交互作用裝置檢測(cè)的非觸摸基手勢(shì)，平移手勢(shì)對(duì)應(yīng)于期間坐標(biāo)及時(shí)變化的手勢(shì)。釋放非觸摸基手勢(shì)對(duì)應(yīng)于檢測(cè)和識(shí)別諸如在相反的方向上彼此分開移動(dòng)或轉(zhuǎn)動(dòng)的手指的至少兩個(gè)元件。使用用于輸入指令以在屏幕上移動(dòng)對(duì)象到不同位置的本發(fā)明的方法，能夠?qū)崿F(xiàn)與設(shè)備的自然方式的交互作用。
[0024]根據(jù)另一個(gè)有利的使用，如上述那樣的方法，可以包括以下步驟:i)檢測(cè)觸摸基交互作用，j)響應(yīng)于觸摸基交互作用，設(shè)置參數(shù)，k)同時(shí)檢測(cè)非觸摸基手勢(shì)，和i)響應(yīng)于非觸摸基手勢(shì)和參數(shù)設(shè)置，向該設(shè)備發(fā)出對(duì)應(yīng)動(dòng)作的指令。在該方法中，非觸摸基手勢(shì)和觸摸基手勢(shì)兩者同時(shí)發(fā)生，其中，由觸摸基手勢(shì)設(shè)置的參數(shù)增強(qiáng)了指令輸入模式的靈活性。例如，這種方法適合通過觸摸設(shè)備限定轉(zhuǎn)動(dòng)軸線，而使用用戶的另一只手的將揮擊或輕擊的手勢(shì)將開始對(duì)象圍繞所限定的軸線的轉(zhuǎn)動(dòng)。在上下文中，揮擊，例如手勢(shì)，涉及基本線性軌跡，其中，輕擊的手勢(shì)對(duì)應(yīng)執(zhí)行速度超過一定的閾值的揮擊手勢(shì)。到設(shè)備的指令輸入對(duì)于揮擊或輕擊的手勢(shì)可以是不同的。
[0025]通過根據(jù)權(quán)利要求11所述的用于提供手勢(shì)基輸入到設(shè)備的方法，本發(fā)明的目的也獨(dú)立于上面已經(jīng)描述過的方法獲得。
[0026]根據(jù)權(quán)利要求11所述的方法是一種用于提供手勢(shì)基輸入到設(shè)備的方法，其優(yōu)選地可以結(jié)合如上所述的任何一項(xiàng)方法，包括步驟:檢測(cè)手勢(shì)、分類手勢(shì)和根據(jù)分類輸入指令到設(shè)備，其中，指令依賴于手勢(shì)的實(shí)現(xiàn)特征，特別是手勢(shì)的軌跡和/或速度和/或持續(xù)時(shí)間，和獨(dú)立于手勢(shì)的具有至少一個(gè)參數(shù)的縮放尺寸。
[0027]優(yōu)選地，參數(shù)可以是設(shè)備的參數(shù)和/或在設(shè)備的顯示屏上存在的對(duì)象的參數(shù)和/或進(jìn)行或?qū)崿F(xiàn)手勢(shì)的對(duì)象和設(shè)備之間的距離中的至少一個(gè)。[0028]例如,手勢(shì)的范圍可以從較小到較大尺寸手勢(shì)和/或較短和較長(zhǎng)尺寸手勢(shì),依賴于在物理設(shè)備的大小和/或在設(shè)備的顯示屏上的對(duì)象的大小兩者。優(yōu)選地，至少一個(gè)參數(shù)可以因而是設(shè)備或?qū)ο蟮囊痪S、二維或三維尺寸。根據(jù)在設(shè)備的屏幕上示出的對(duì)象的大小，手勢(shì)的縮放可以因此相應(yīng)地調(diào)整。
[0029]優(yōu)選地，手勢(shì)的實(shí)現(xiàn)特性和至少一個(gè)參數(shù)之間的縮放可以是成正比的，以提供相同指令。因此，作為示例，為了從屏幕的一側(cè)移動(dòng)小的對(duì)象到另一側(cè)，僅僅需要短的非觸摸基手勢(shì)，而對(duì)于較大的對(duì)象，為了實(shí)現(xiàn)相同的結(jié)果，通過作為較長(zhǎng)的非觸摸基手勢(shì)，手勢(shì)可以較大。作為另一個(gè)示例，用戶使用他的靠近設(shè)備的手指實(shí)現(xiàn)小的手勢(shì)(例如揮擊)，可以提供較大手勢(shì)，例如，如果用戶想要在從距離設(shè)備更遠(yuǎn)的位置執(zhí)行手勢(shì)時(shí)提供相同的輸入，使用他的手揮擊。
[0030]本發(fā)明的通過參數(shù)的手勢(shì)縮放方法不局限于在設(shè)備的屏幕上示出的對(duì)象，而是可以被擴(kuò)展到設(shè)備本身。在將非觸摸基交互作用結(jié)合進(jìn)入電子設(shè)備時(shí)，根據(jù)本發(fā)明的具體實(shí)施例的交互作用裝置配置為考慮設(shè)備的物理尺寸以限定輸入手勢(shì)的縮放。因此，對(duì)于小的手持式設(shè)備，例如智能手機(jī)，或較大的設(shè)備，例如電子書，執(zhí)行相同動(dòng)作所需要的手勢(shì)可以在尺寸上與設(shè)備的大小相適應(yīng)。
[0031]根據(jù)優(yōu)選的實(shí)施例，至少一個(gè)非觸摸基交互作用可以基于環(huán)境參數(shù)，特別是與亮度、電場(chǎng)、磁場(chǎng)、電磁輻射、壓力、溫度、濕度、振動(dòng)和/或地理坐標(biāo)相關(guān)的環(huán)境參數(shù)。因此，不僅諸如3D手勢(shì)的非觸摸基手勢(shì)，而且由設(shè)備的相應(yīng)檢測(cè)裝置檢測(cè)的環(huán)境參數(shù)，可以響應(yīng)于觸摸基交互作用影響由與設(shè)備的交互作用產(chǎn)生的輸入。
[0032]例如，在檢測(cè)裝置識(shí)別到設(shè)備定位在黑暗中的情況下，與設(shè)備的任何非觸摸基交互作用將在允許進(jìn)一步輸入之前導(dǎo)致照亮設(shè)備的屏幕或者鍵盤的背光；而在檢測(cè)裝置識(shí)別到設(shè)備定位在明亮環(huán)境中的情況下，到設(shè)備的同樣輸入可以引起不同的動(dòng)作，例如，敲擊按鍵將立即在屏幕上顯示相應(yīng)字母。
[0033]本發(fā)明還涉及一種計(jì)算機(jī)程序產(chǎn)品，包括一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)，計(jì)算機(jī)可讀介質(zhì)具有計(jì)算機(jī)可執(zhí)行指令，用于執(zhí)行上述方法的步驟。
[0034]本發(fā)明的目的也可以使用包括配置用于執(zhí)行如上所述的方法中的一個(gè)或組合的至少一個(gè)觸摸基用戶交互作用裝置和至少一個(gè)非觸摸基用戶交互作用裝置實(shí)現(xiàn)。設(shè)備能夠?qū)崿F(xiàn)用戶和設(shè)備之間的更自然的交互作用，因此用戶可以施加對(duì)應(yīng)于現(xiàn)實(shí)生活動(dòng)作的手勢(shì)，諸如拾起和置換動(dòng)作。
[0035]優(yōu)選地，該設(shè)備可以包括:至少一個(gè)觸摸基用戶交互作用裝置和至少一個(gè)非觸摸基用戶交互作用裝置，其中，非觸摸基用戶交互作用裝置配置為檢測(cè)該設(shè)備周圍的預(yù)定體積內(nèi)的非觸摸基交互作用，特別是手勢(shì)；和至少一個(gè)反饋提供裝置，配置為在對(duì)象，特別是用戶的手部，進(jìn)入所述預(yù)定體積時(shí)，輸出第一視覺和/或聲學(xué)輸出。因此，用戶將立即識(shí)別設(shè)備是否準(zhǔn)備好接受輸入，甚至在缺少觸摸的情況下。
[0036]優(yōu)選地，設(shè)備可以被配置為使得只在用戶用另一只手觸摸設(shè)備的預(yù)定區(qū)域的情況下提供第一反饋。因此，可以防止到設(shè)備的意外輸入。
[0037]有利的是，所述反饋提供裝置可以配置為在對(duì)象位于所述預(yù)定體積內(nèi)和/或觸摸所述設(shè)備時(shí)，輸出第二視覺和/或聲學(xué)和/或觸覺輸出，特別地第二輸出不同于第一輸出。因此，在記錄階段以后，在用戶進(jìn)入預(yù)定體積時(shí)，第二反饋輸出通知用戶，設(shè)備正在接受手勢(shì)。這個(gè)階段也被稱為交互作用持續(xù)階段。因此，用戶友好性被進(jìn)一步提高。
[0038]有利地，反饋提供裝置可以進(jìn)一步配置為只要觸摸基用戶交互作用和/或非觸摸基用戶交互作用裝置檢測(cè)到交互作用，特別是手勢(shì)，就輸出第二輸出。因此，在任何時(shí)候，用戶將被告知設(shè)備仍然在記錄手勢(shì)的事實(shí)。
[0039]根據(jù)有利的實(shí)施例，所述反饋提供裝置可以配置為當(dāng)交互作用終止時(shí)和/或當(dāng)設(shè)備被關(guān)閉或置于空閑狀態(tài)時(shí)，輸出第三視覺和/或聲學(xué)和/或觸覺輸出，特別地第三輸出不同于第一和/或第二輸出。因此，在交互作用成功終止時(shí)，用戶從設(shè)備接收終止反饋信號(hào)。在對(duì)象離開設(shè)備周圍的預(yù)定體積的情況下，也可能輸出終止反饋。因此，用戶會(huì)知道設(shè)備不再接受輸入。
[0040]優(yōu)選地，設(shè)備可以包括在其正面?zhèn)壬系娘@示屏，并且在對(duì)象存在于設(shè)備的背面?zhèn)壬系念A(yù)定體積內(nèi)的情況下，反饋提供裝置配置成使得視覺指令提供在顯示屏上。在這方面，正面?zhèn)仁窃O(shè)備在正常使用中面對(duì)用戶的側(cè)面，而背面?zhèn)仁窃O(shè)備的背離用戶的相反側(cè)。
[0041]因此，例如在設(shè)置在背面?zhèn)壬系挠|敏交互作用裝置上提供非觸摸基手勢(shì)或觸摸基手勢(shì)期間，試圖通過交互作用通過設(shè)備的背面提供輸入的用戶，將知道在任何時(shí)間處，設(shè)備已經(jīng)準(zhǔn)備接受來自用戶的輸入。這進(jìn)一步提高設(shè)備的用戶友好性。
[0042]根據(jù)優(yōu)選實(shí)施例，設(shè)備可以是手持式或便攜式電子設(shè)備。示例是移動(dòng)電話、智能手機(jī)、導(dǎo)航儀、電子書、音頻和/或視頻播放器、便攜式電腦等。本發(fā)明特別有利于小型設(shè)備，其中交互作用區(qū)域是有限的，并且通常不大于200平方厘米。
【專利附圖】

【附圖說明】
[0043]在下文中，將參照附圖詳細(xì)解釋本發(fā)明的特定實(shí)施例的詳細(xì)說明。
[0044]圖1示出關(guān)于電子設(shè)備的本發(fā)明的第一實(shí)施例，包括觸摸基用戶交互作用裝置和非觸摸基用戶交互作用裝置。
[0045]圖2a示意性示出根據(jù)第二和第三實(shí)施例的用于提供手勢(shì)基輸入到設(shè)備的方法。
[0046]圖2b示出形成輸入的子交互作用的序列，其中第一類型的交互作用由第二類型的交互作用確認(rèn)，
[0047]圖3示出利用用于提供手勢(shì)基輸入的本發(fā)明方法的第一實(shí)施例，
[0048]圖4a_4c示出利用用于提供手勢(shì)基輸入到設(shè)備的本發(fā)明的方法的第二示例，
[0049]圖5a示出關(guān)于根據(jù)參數(shù)的縮放手勢(shì)的本發(fā)明的第四實(shí)施例，
[0050]圖5b示出第四實(shí)施例的變體，
[0051]圖6示出關(guān)于反饋機(jī)構(gòu)的本發(fā)明的第五實(shí)施例，和
[0052]圖7示出關(guān)于電子設(shè)備的本發(fā)明的第六實(shí)施例，該電子設(shè)備包括觸摸基用戶交互作用裝置和環(huán)境性質(zhì)檢測(cè)裝置。
具體實(shí)施例
[0053]圖1示出根據(jù)本發(fā)明的第一實(shí)施例的設(shè)備。電子設(shè)備包括:第一觸摸基用戶交互作用裝置3和第二非觸摸基用戶交互作用裝置5。
[0054]根據(jù)各種實(shí)施例，觸摸基用戶交互作用裝置3可以是基于鍵盤的交互作用裝置、鼠標(biāo)或基于拖動(dòng)墊/拖動(dòng)球的交互作用裝置或觸摸或基于觸摸或多點(diǎn)觸摸的觸摸檢測(cè)交互作用表面的任何一種。在具體實(shí)施例中，觸摸基用戶交互作用裝置3優(yōu)選地是多點(diǎn)觸摸檢測(cè)交互作用表面。在圖1中，只有一個(gè)觸摸敏感交互作用裝置圖3是可見的，但是，根據(jù)本發(fā)明的設(shè)備I的進(jìn)一步的變體，設(shè)備I的殼體7的背面?zhèn)群?或殼體7的側(cè)壁也可以包括另外的觸摸基交互作用裝置。觸摸敏感交互作用裝置3可以包括觸摸屏或觸摸板，利用例如電容、表面聲波、聲波脈沖識(shí)別或其它觸摸技術(shù)，或者可以包括設(shè)備的殼體的能夠?qū)崿F(xiàn)觸摸敏感的部分，諸如優(yōu)選地，使用聲音脈沖識(shí)別觸摸技術(shù)。
[0055]在這個(gè)實(shí)施例中的非觸摸基交互作用裝置5是用戶交互作用裝置3旁邊的攝像頭。對(duì)于觸摸基用戶交互作用裝置3，進(jìn)一步的非觸摸式交互作用裝置可以呈現(xiàn)在殼體7的背面?zhèn)群?或側(cè)壁上。
[0056]電子設(shè)備I可以是任何一種手持或便攜式設(shè)備，諸如電話、智能手機(jī)、電子書、導(dǎo)航設(shè)備、音頻和/或視頻播放設(shè)備、個(gè)人計(jì)算機(jī)、游戲控制臺(tái)等。然而，發(fā)明概念也可以結(jié)合到其它類型的電子設(shè)備。
[0057]諸如照相機(jī)的非觸摸基用戶交互作用裝置5被配置為可以檢測(cè)、分析和分類用戶的手勢(shì)，該手勢(shì)由用戶例如使用用戶的手或手指在預(yù)定體積9(在這里示出為設(shè)備周圍的球體I)內(nèi)做出或?qū)崿F(xiàn)。例如，圖像分析設(shè)備設(shè)置在電子設(shè)備I內(nèi)，分析由照相機(jī)5拍攝的圖像，以識(shí)別用戶的手或手指的運(yùn)動(dòng)，使得根據(jù)手勢(shì)的性質(zhì)，可以識(shí)別相應(yīng)的輸入模式，從而設(shè)備I內(nèi)的處理單元可以接收來自非觸摸基用戶交互作用裝置5的指令。手勢(shì)的性質(zhì)或手勢(shì)實(shí)現(xiàn)特征可以包括空間或軌跡范圍、持續(xù)時(shí)間、手指的相對(duì)運(yùn)動(dòng)等的任何一個(gè)或組合。
[0058]以類似方式，觸摸基用戶交互作用裝置3配置為使得輸入，例如在用戶交互作用裝置3上的手勢(shì)，被檢測(cè)、分析和分類以識(shí)別用戶希望提供的相應(yīng)的指令。
[0059]除了觸摸基用戶交互作用裝置3，設(shè)備I可以包括在本領(lǐng)域中已知的附加部件，例如麥克風(fēng)11、揚(yáng)聲器13、連接接口，例如用于充電和與其他設(shè)備15、17或按鍵甚至是完整的或有限制的鍵盤進(jìn)行通信。此外，設(shè)備I可以包括無線通信設(shè)備。
[0060]在圖1中，預(yù)定體積9已經(jīng)顯示為圍繞設(shè)備的球體，非觸摸基用戶交互作用裝置在預(yù)定體積9內(nèi)能夠識(shí)別用戶手勢(shì)。當(dāng)然，這個(gè)預(yù)定體積9可以具有圍繞設(shè)備I的任何形狀。
[0061]代替使用照相機(jī)或攝像頭作為交互作用裝置5，可以使用能夠識(shí)別的手勢(shì)的任何其它合適的非觸摸基用戶交互作用裝置，例如使用加速度計(jì)或陀螺儀或超聲波檢測(cè)裝置等的遙控器。
[0062]與現(xiàn)有技術(shù)設(shè)備相比，在觸摸基和非觸摸基交互作用模式的組合的基礎(chǔ)上，根據(jù)本發(fā)明的電子設(shè)備I允許用戶提供輸入到設(shè)備。這具有的優(yōu)點(diǎn)在于，在與電子設(shè)備交互作用時(shí)，在現(xiàn)實(shí)世界中實(shí)行的手勢(shì)在實(shí)現(xiàn)類似動(dòng)作時(shí)可以被復(fù)制。因此，能夠?qū)崿F(xiàn)與設(shè)備進(jìn)行交互作用的更加自然和直觀的方式。這將根據(jù)本發(fā)明的實(shí)施例詳細(xì)說明。
[0063]圖2a示出關(guān)于提供輸入到電子設(shè)備的方法的本發(fā)明的第二和第三實(shí)施例，諸如在圖1中示出的電子設(shè)備I。
[0064]圖2a的欄I和II涉及第二實(shí)施例，欄I至欄III涉及本發(fā)明的第三實(shí)施例。
[0065]欄I不出用戶的動(dòng)作,然而,欄II不出根據(jù)本發(fā)明的電子設(shè)備I的反應(yīng)。
[0066]當(dāng)用戶使用他的手和/或手指和/或在他的手中攜帶的對(duì)象進(jìn)入預(yù)定體積9(步驟21)時(shí)，非觸摸基交互作用裝置5將檢測(cè)進(jìn)入預(yù)定體積9的輸入，并且提供相應(yīng)的輸出到電子設(shè)備I的處理單元(步驟23)。[0067]在這個(gè)記錄階段以后，用戶繼續(xù)與設(shè)備I進(jìn)行交互作用，并且提供輸入25，該輸入可以包括多個(gè)子手勢(shì)27、29、31，其組合由非觸摸基用戶交互作用裝置5檢測(cè)到的非觸摸基手勢(shì)與由觸摸基用戶交互作用裝置3檢測(cè)到的例如手指在觸摸檢測(cè)界面上滑動(dòng)的基于觸摸的手勢(shì)，以啟動(dòng)在電子設(shè)備I中的某些動(dòng)作。在這個(gè)手勢(shì)輸入或持續(xù)階段過程中，用戶交互作用裝置5和3在關(guān)于觸摸基交互作用的步驟33中和關(guān)于非觸摸基交互作用的步驟35中檢測(cè)用戶的手勢(shì)或子-手勢(shì)，和分析檢測(cè)的數(shù)據(jù)以分類手勢(shì)和/或子手勢(shì)，以識(shí)別對(duì)應(yīng)用戶的交互作用模式的輸入(步驟37)。已經(jīng)識(shí)別相應(yīng)動(dòng)作，處理單元接收指令以執(zhí)行希望的動(dòng)作(步驟39)。
[0068]根據(jù)本發(fā)明，識(shí)別對(duì)應(yīng)于用戶的交互作用模式的動(dòng)作的步驟取決于檢測(cè)到的非觸摸基交互作用35和檢測(cè)到的觸摸基交互作用33之間的關(guān)系36。事實(shí)上，取決于一種類型交互作用如何實(shí)現(xiàn)，歸因于另一種類型的交互作用的輸入將是合適的。
[0069]觸摸基用戶交互作用也可以涉及擊打在設(shè)備I的殼體7上的按鍵。
[0070]當(dāng)用戶的手指或手或由用戶攜帶的對(duì)象在步驟41中退出該預(yù)定體積9時(shí)，交互作用被終止，其由非觸摸基用戶交互作用裝置5檢測(cè)(步驟43)。
[0071]應(yīng)當(dāng)指出，根據(jù)一些實(shí)施例，用于確定進(jìn)入的體積9的大小(步驟21，23)可以不同于用于確定退出的體積9的大小(步驟41，43)和/或根據(jù)一些實(shí)施例用戶可配置。
[0072]因此，電子設(shè)備I被配置為使得一個(gè)接著另一個(gè)地或并行地進(jìn)行的非觸摸基和觸摸基交互作用，可以被提供給設(shè)備1，使得兩種類型交互作用相互影響。這允許在用戶交互作用模式中更靈活，從而能夠?qū)崿F(xiàn)與設(shè)備的更自然、更直觀交互作用方式。
[0073]除了相對(duì)于第二實(shí)施例已經(jīng)描述的步驟以外，這些步驟也是第三實(shí)施例的部分，根據(jù)本發(fā)明的第三實(shí)施例，包括反饋機(jī)構(gòu)。反饋機(jī)構(gòu)示意性示出在欄III中，并且優(yōu)選地在任何時(shí)間處，被配置為通知用戶有關(guān)該設(shè)備I正在接受用戶輸入的事實(shí)。被配置為實(shí)現(xiàn)反饋機(jī)構(gòu)的反饋提供裝置可以并入如在圖1中所示的設(shè)備中。反饋提供裝置具有附圖標(biāo)記45并且表示在虛線中。
[0074]詳細(xì)地，當(dāng)對(duì)象進(jìn)入預(yù)定體積9 (步驟21和23)時(shí)，反饋提供裝置45 (參見在圖1中的虛線中的附圖標(biāo)記45)配置為使得視覺和/或聽覺反饋信號(hào)被輸出。例如，揚(yáng)聲器13可以輸出表示設(shè)備I已經(jīng)檢測(cè)到用戶已經(jīng)進(jìn)入預(yù)定球體9的事實(shí)的信號(hào)。同時(shí)或作為一種替代，可視圖標(biāo)或信號(hào)、閃爍LED或類似物可以指令這種狀態(tài)。因此，用戶將知道，設(shè)備I已經(jīng)識(shí)別到用戶進(jìn)入預(yù)定體積9，從而由用戶提供的手勢(shì)可以被設(shè)備檢測(cè)和識(shí)別(步驟47)。
[0075]根據(jù)一種變化，在預(yù)定條件被滿足的情況下，第一反饋輸出47僅由電子設(shè)備提供。例如，僅在如果用戶用另一只手把持設(shè)備并且按壓指令用戶輸入是故意的某個(gè)按鈕時(shí)提供反饋。代替地，觸摸檢測(cè)裝置3也可以識(shí)別用戶把持設(shè)備的事實(shí)。利用這個(gè)附加特征，可以防止意外的手勢(shì)基輸入到設(shè)備I。
[0076]接著，在持續(xù)階段，反饋提供裝置45被配置為使得由設(shè)備I輸出(步驟49)通常不同于第一輸出的第二視覺和/或聲學(xué)信號(hào)?？梢栽陬A(yù)定體積9內(nèi)執(zhí)行手勢(shì)的對(duì)象存在的過程中，或僅在識(shí)別手勢(shì)的過程中，提供第二反饋輸出49，使得用戶在任何時(shí)間知道手勢(shì)可以被輸入，或當(dāng)前設(shè)備已經(jīng)檢測(cè)到用戶在預(yù)定體積9內(nèi)實(shí)現(xiàn)或進(jìn)行的移動(dòng)。
[0077]在觸摸基手勢(shì)被輸入的情況下，由反饋提供裝置45提供的視覺和/或聽覺反饋信號(hào)可以伴隨有觸感或由觸感代替，諸如振動(dòng)反饋信號(hào)，并再次通知用戶設(shè)備當(dāng)前正在檢測(cè)輸入(步驟49)。
[0078]最后，在完成輸入時(shí)，并且在用戶離開預(yù)定體積9時(shí)，反饋提供裝置45被配置為輸出第三信號(hào)，視覺和/或聲學(xué)地，通知用戶，現(xiàn)在他已經(jīng)離開他可以提供輸入到設(shè)備I的預(yù)定體積9。第三輸出51優(yōu)選地不同于第一和/或第二輸出。
[0079]因此，在與該設(shè)備的交互作用的過程期間的任何時(shí)間處，用戶知道有關(guān)設(shè)備I正在接受手勢(shì)的事實(shí)、如手勢(shì)的交互作用被檢測(cè)以及他已經(jīng)有意或無意地離開預(yù)定體積9的事實(shí)。
[0080]這個(gè)反饋提供機(jī)構(gòu)45優(yōu)選地與結(jié)合如同在設(shè)備I中所示的非觸摸基交互作用裝置5和觸摸基交互作用裝置3的設(shè)備一起實(shí)現(xiàn)，但是也可以在僅存在一種類型交互作用裝置情況下發(fā)現(xiàn)其發(fā)明應(yīng)用。
[0081]圖2b示出輸入提供交互作用53，包括根據(jù)在第二和第三實(shí)施例中使用并且在圖2a中示出的輸入25的變化的子交互作用55和57的序列。在這個(gè)示例中，交互作用55涉及非觸摸基交互作用，如由用戶提供的手勢(shì)，并且交互作用57涉及在用戶交互作用裝置3上的觸摸基交互作用，其再次可能還涉及到在設(shè)備I的鍵盤上的按鍵敲擊。
[0082]為了防止意外輸入到設(shè)備I，在圖2a中圖示的在步驟35中的分析步驟首先檢查是否確認(rèn)或終止動(dòng)作59已經(jīng)由用戶提供，其中，終止動(dòng)作59優(yōu)選地對(duì)應(yīng)于觸摸基交互作用，觸摸基交互作用可以在步驟33中被檢測(cè)。終止動(dòng)作59可以為例如設(shè)備I的殼體上的某個(gè)鍵，或交互作用裝置3的簡(jiǎn)單觸摸。
[0083]非觸摸基手勢(shì)55和額外地觸摸基交互作用57被檢測(cè)，隨后，在已經(jīng)由用戶提供確認(rèn)交互作用59的情況下，在步驟39中指令輸入A，而在沒有確認(rèn)交互作用59時(shí)，在步驟39中指令輸入B。
[0084]圖3示出根據(jù)在圖2a中示出并且可以使用如在圖1中示出的電子設(shè)備I實(shí)現(xiàn)的第二或第三實(shí)施例的方法的第一發(fā)明性應(yīng)用。
[0085]在本發(fā)明的實(shí)施例中，觸摸基交互作用和非觸摸基交互作用(在這里是手勢(shì))同時(shí)執(zhí)行，以提供輸入到電子設(shè)備I。鑒于用戶在確定位置63處使用一只手61觸摸設(shè)備1，其可以被電子設(shè)備I的觸摸基用戶交互作用裝置檢測(cè)，同時(shí)，不觸摸設(shè)備I但是位于預(yù)定體積9內(nèi)的用戶的第二只手65執(zhí)行手勢(shì)(在這里是輕擊或揮擊動(dòng)作67)。
[0086]在本實(shí)施例中，在設(shè)備I的殼體7的頂部上的位置63處的觸摸基交互作用用于識(shí)別在設(shè)備I的屏幕71上示出的對(duì)象69的轉(zhuǎn)動(dòng)軸線73，其中，由第二只手65實(shí)現(xiàn)的輕擊或揮擊手勢(shì)啟動(dòng)對(duì)象69的圍繞軸線73的轉(zhuǎn)動(dòng)。通過將他的手定位在由圖3中的虛線所示的位置75處，新的轉(zhuǎn)動(dòng)圍繞軸線77可以被啟動(dòng)，因此，觸摸基交互作用響應(yīng)于非觸摸基交互作用影響由設(shè)備執(zhí)行的動(dòng)作。
[0087]這個(gè)實(shí)施例僅示出的有利使用，與電子設(shè)備I的觸摸基交互作用和非觸摸基交互作用的組合以實(shí)現(xiàn)復(fù)雜輸入模式的一個(gè)示例。但盡管如此，與設(shè)備的交互作用可以保持自然和直觀。
[0088]圖4a到4c示出根據(jù)第一實(shí)施例的設(shè)備和根據(jù)如在圖1和圖2中所示的本發(fā)明的第二或第三實(shí)施例的方法的第二發(fā)明性使用。圖4a到4c示出在用戶和設(shè)備I之間的交互作用，在交互作用期間，觸摸基用戶交互作用和非觸摸基用戶交互作用彼此跟隨。
[0089]在已經(jīng)進(jìn)入預(yù)定體積9以后，通過進(jìn)行擰捏或擠壓(在此期間，兩個(gè)或更多手指手勢(shì)彼此靠攏，由箭頭82表示)，同時(shí)觸摸該觸摸基用戶交互作用裝置3，用戶接近呈現(xiàn)在設(shè)備I的屏幕83上的對(duì)象81，已經(jīng)檢測(cè)到擰捏手勢(shì)的觸摸基用戶交互作用裝置3將指令電子設(shè)備I的處理單元選擇對(duì)象81，例如文件的圖標(biāo)，并且等待關(guān)于所選擇的對(duì)象81的進(jìn)一步指令。作為代替，用戶也可以執(zhí)行轉(zhuǎn)動(dòng)手勢(shì)以拾起對(duì)象81。
[0090]圖4b示出根據(jù)方法的這個(gè)發(fā)明性使用的交互作用序列的第二步驟。在選擇步驟以后，用戶拾起對(duì)象81，同時(shí)保持他的手指在一起，并且移動(dòng)遠(yuǎn)離交互作用表面，由箭頭84表示，就像人們進(jìn)行真正的提升對(duì)象。手勢(shì)將繼續(xù)，將拾起的對(duì)象81朝向在顯示屏83上的第二位置85移動(dòng)。在用戶的手在體積9內(nèi)移動(dòng)期間，如關(guān)于圖1示出和描述的非觸摸基用戶交互作用裝置5將檢測(cè)平移手勢(shì)，例如通過分析多個(gè)隨后圖像，其中用戶的手的位置從圖像到圖像變化，并且因而指令設(shè)備I的相應(yīng)處理單元。在非觸摸基平移手勢(shì)期間，設(shè)備I可以被配置為在顯示屏上一起顯示用戶的手的投影和對(duì)象。平移運(yùn)動(dòng)類似于在根據(jù)圖3中示出的發(fā)明的第一使用中的揮擊手勢(shì)。然而，在這里，揮擊手勢(shì)由在接觸階段過程中執(zhí)行的手勢(shì)影響，使得相應(yīng)動(dòng)作導(dǎo)致重新定位，而不是如在根據(jù)本發(fā)明的第一實(shí)施例中的對(duì)象的轉(zhuǎn)動(dòng)。
[0091]然后，最后，為了重新定位對(duì)象81在第二位置85處，用戶打開他的手指，由箭頭86所示，以釋放拾起的對(duì)象，如在圖4c中示出，或以與拾起步驟相比相反的方式，進(jìn)行轉(zhuǎn)動(dòng)手勢(shì)。相應(yīng)的手勢(shì)可以是遠(yuǎn)離交互作用表面3但在預(yù)定體積9內(nèi)的由非觸摸基交互作用裝置5檢測(cè)的非觸摸基手勢(shì)，或在觸摸基用戶交互作用裝置3上的基于觸摸的釋放手勢(shì)。
[0092]在發(fā)明的方法的實(shí)際使用的這個(gè)示例中，在他想要拾起和置換對(duì)象時(shí)，用戶在現(xiàn)實(shí)生活中通常進(jìn)行的動(dòng)作，可以相對(duì)于在圖4a_4c中圖示的對(duì)象81執(zhí)行。因此，相比于用戶被迫在屏幕上執(zhí)行全部手勢(shì)的交互作用方案，該交互作用更自然、更直觀，從而更加用戶友好。
[0093]代替從在顯示屏83上的第一位置移動(dòng)對(duì)象81到顯示屏上的另一位置85，對(duì)象可以被移動(dòng)超出顯示區(qū)域之外的其它處，到達(dá)在設(shè)備I的殼體7上的功能區(qū)域。非觸摸基用戶交互作用裝置5能夠識(shí)別用戶在哪里釋放對(duì)象81，并且如果識(shí)別第二位置對(duì)應(yīng)于功能區(qū)域，那么歸因于觸摸屏之外的這個(gè)功能區(qū)域的動(dòng)作(例如打印文件、刪除文件、通過網(wǎng)絡(luò)發(fā)送的文件等)可以由處理單元啟動(dòng)。
[0094]如圖4a_4C中圖示的使用觸摸基和非觸摸基交互作用的序列(在這里是手勢(shì))的拾起和置換動(dòng)作只是與電子設(shè)備交互作用的一個(gè)實(shí)際示例，在不背離本發(fā)明的范圍情況下，組合觸摸基和非觸摸基手勢(shì)的其他交互作用模式可以實(shí)現(xiàn)。
[0095]圖5a圖示本發(fā)明的第四實(shí)施例，其可以組合第一至第三實(shí)施例的任何一項(xiàng)。圖5a的左側(cè)圖示較小的電子元件101，例如具有非觸摸基交互作用裝置103和預(yù)定空間或體積105的移動(dòng)電話，在預(yù)定空間或體積105內(nèi)，非觸摸基交互作用裝置103能夠檢測(cè)由用戶提供的手勢(shì)。在這個(gè)方面，非觸摸基交互作用裝置103能夠與在設(shè)備5中使用和在圖1中示出的設(shè)備I相當(dāng)。
[0096]在圖5a的右手側(cè)上圖示較大的電子設(shè)備111，例如，膝上型計(jì)算機(jī)或電子書。較大的電子設(shè)備111還包括非觸摸基交互作用裝置103，其與在較小的設(shè)備101中的相同。非觸摸基交互作用裝置103，接受在圍繞較大的電子設(shè)備111的預(yù)定體積113內(nèi)的用戶手勢(shì)。這里，預(yù)定體積113大于較小的設(shè)備的體積105。[0097]根據(jù)本發(fā)明，取決于交互作用裝置103是否被并入較小或較大的電子設(shè)備105和113，類似于執(zhí)行預(yù)定任務(wù)(如從在屏幕107和115上的一個(gè)側(cè)面A移動(dòng)對(duì)象到另一個(gè)側(cè)面B)所需手勢(shì)的軌跡的大小和持續(xù)時(shí)間的參數(shù)，隨著尺寸縮放，例如，設(shè)備101或111的寬度、對(duì)角線、表面面積或體積，以允許更直觀的用戶交互作用設(shè)備。因此，設(shè)備的尺寸越大，提供輸入所需要的手勢(shì)越大。
[0098]由用戶在較大的設(shè)備中執(zhí)行的手勢(shì)117 (在這里圖示為到右側(cè)的箭頭)與在較小的設(shè)備的情況下執(zhí)行的手勢(shì)109相比較大。例如，為了在顯示屏上從A到B移動(dòng)對(duì)象，對(duì)于較小的設(shè)備101，手指揮擊是足夠的，而對(duì)于較大的設(shè)備111，為了將對(duì)象從位置A移動(dòng)到位置B，可能需要使用整個(gè)手的揮擊。
[0099]通過使用設(shè)備本身的物理參數(shù)縮放非觸摸基手勢(shì)的軌跡的尺寸和/或持續(xù)時(shí)間，可以實(shí)現(xiàn)基于縮放的自動(dòng)適應(yīng)。非觸摸基用戶交互作用裝置的手勢(shì)分析單元配置成適應(yīng)其手勢(shì)，分析為與例如設(shè)備的尺寸相關(guān)的預(yù)定參數(shù)的函數(shù)。
[0100]根據(jù)第四實(shí)施例的變化，手勢(shì)可以不僅如在圖5a中示出隨著設(shè)備的物理尺寸縮放，而且也隨著呈現(xiàn)在顯示屏上的對(duì)象的尺寸縮放。這里，較大的對(duì)象121和較小的對(duì)象123圖示在較大的電子設(shè)備111的屏幕115上。為移動(dòng)較大的對(duì)象121，用戶期望較大的手勢(shì)是必要的，而對(duì)于較小的對(duì)象123，用戶期望更小的手勢(shì)。例如，在較小的對(duì)象的情況下，手指揮擊就可能足夠，而在較大的對(duì)象121的情況下，可能使用手揮擊來實(shí)現(xiàn)相同結(jié)果。同樣，手勢(shì)分析單元還可以被配置為考慮在設(shè)備的顯示屏上呈現(xiàn)的對(duì)象的參數(shù)。
[0101]圖5b示出縮放(scaling)概念的變化。在此變化中，手勢(shì)隨著對(duì)象125 (在這里是用戶的手)距離設(shè)備I的距離縮放。在圖5b的上部中，手125接近設(shè)備I。圖的左側(cè)部分顯示手125在設(shè)備I的前面，右側(cè)部分顯示側(cè)視圖，圖示手和設(shè)備I之間的距離127。在圖5b的下部中，手125進(jìn)一步遠(yuǎn)離(距離129)設(shè)備1，如可以從顯示側(cè)視圖的圖的右側(cè)看出。
[0102]為了從位置133移動(dòng)對(duì)象131到位置135并且返回，在第一種情況下，其中手125靠近設(shè)備I的手勢(shì)可以通過如使用箭頭137顯示的只稍微地從右至左移動(dòng)手指和返回來實(shí)現(xiàn)。為了在第二種情況下實(shí)現(xiàn)相同的運(yùn)動(dòng)，用戶可以使用由箭頭139指令的較大的手勢(shì)軌跡來移動(dòng)整個(gè)手125。
[0103]圖6示出本發(fā)明的第五實(shí)施例，圖示電子設(shè)備151，包括如在圖1中圖示的第一實(shí)施例中的觸摸基交互作用裝置3和非觸摸基交互作用裝置5，使得用戶可以在觸摸設(shè)備151時(shí)提供觸摸基交互作用和/或在用戶進(jìn)入圍繞電子設(shè)備151的預(yù)定體積153時(shí)提供非觸摸基手勢(shì)。在這里，設(shè)備151還包括在正面?zhèn)?55上的顯示屏157，這是設(shè)備的用戶通常觀看的側(cè)面，其與觸摸基交互作用裝置3 —起形成觸摸檢測(cè)屏幕。
[0104]設(shè)備進(jìn)一步包括反饋提供裝置159，具有第一實(shí)施例的反饋提供裝置45的特征，其中另外地，根據(jù)本發(fā)明的第五實(shí)施例的反饋提供裝置159配置為使得，在用戶經(jīng)由設(shè)備151的背面?zhèn)?61提供觸摸基或非觸摸基交互作用的情況下(所述背面?zhèn)仁桥c正面?zhèn)?55相反的側(cè)面，并且通常背離用戶)，視覺反饋163設(shè)置在顯示屏157上。視覺反饋163用于指令從正面?zhèn)扔^看設(shè)備151的用戶，可以通過設(shè)備151的背面?zhèn)?61提供輸入。
[0105]例如，顯示在顯示屏157上的反饋信號(hào)，可以表示在定位在設(shè)備151的背面?zhèn)?61上時(shí)用戶的手的指尖的投影在設(shè)備151的背面?zhèn)然蛘鎮(zhèn)缺砻嫔稀Ｔ趫D6中，這由在顯示屏157上的五個(gè)圓圈160顯示。
[0106]這個(gè)實(shí)施例可以組合實(shí)施例1至4的任何一個(gè)。
[0107]圖7示出本發(fā)明的第六實(shí)施例。圖7圖示設(shè)備171，設(shè)備171包括根據(jù)第一實(shí)施例的設(shè)備的元件和特征。具有先前也已經(jīng)使用的相同附圖標(biāo)記的元件不再詳細(xì)描述，但是通過參考在此并入。
[0108]除了觸摸基用戶交互作用裝置3和非觸摸基用戶交互作用裝置5以外，電子設(shè)備171還包括檢測(cè)裝置173，用于檢測(cè)一個(gè)或多個(gè)環(huán)境參數(shù)作為第二類型非觸摸基交互作用。這樣的環(huán)境參數(shù)可能涉及到亮度、電場(chǎng)、磁場(chǎng)、電磁輻射、壓力、溫度、濕度、振動(dòng)或地理坐標(biāo)。
[0109]由檢測(cè)裝置173測(cè)量的參數(shù)(其因此未鏈接到設(shè)備的觸摸基交互作用)也能響應(yīng)于設(shè)置在交互作用裝置3上的觸摸基交互作用影響由設(shè)備171實(shí)現(xiàn)的動(dòng)作。
[0110]例如，在檢測(cè)裝置識(shí)別設(shè)備定位在黑暗中的情況下，與設(shè)備的基于觸摸和非觸摸的任何交互作用將導(dǎo)致在允許進(jìn)一步輸入之前照明設(shè)備的屏幕或鍵盤的背光；然而，在檢測(cè)裝置識(shí)別該設(shè)備定位在明亮環(huán)境中的情況下，與設(shè)備的相同交互作用可以引起不同的輸入，例如，擊打按鍵立即在屏幕上顯示相應(yīng)字母。
[0111]如關(guān)于圖1和圖7描述的設(shè)備和方法的各種元件和特征可以單獨(dú)地組合或彼此組合起來，以實(shí)現(xiàn)允許以自然或直觀方式與用戶交互作用的另外的發(fā)明設(shè)備或方法。
【權(quán)利要求】
1.一種與設(shè)備交互作用以便給該設(shè)備提供輸入的方法，其特征在于， 所述交互作用基于與設(shè)備的至少一個(gè)觸摸基交互作用和與設(shè)備的至少一個(gè)非觸摸基交互作用的組合， 其中，一種類型的交互作用響應(yīng)于另一種類型的交互作用影響由與該設(shè)備的交互作用產(chǎn)生的輸入。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述交互作用包括至少一個(gè)觸摸基交互作用和沒有觸摸所述設(shè)備的至少一個(gè)手勢(shì)基交互作用， 其中一個(gè)交互作用的至少一個(gè)實(shí)現(xiàn)特征，特別是軌跡和/或速度和/或持續(xù)時(shí)間和/或壓力，影響由與該設(shè)備的交互作用產(chǎn)生的輸入。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，觸摸基交互作用，特別是手勢(shì)，和非觸摸基交互作用一個(gè)接著另一個(gè)地或者交替地發(fā)生。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，至少一個(gè)非觸摸基交互作用，特別是手勢(shì)，和至少一個(gè)觸摸基交互作用在時(shí)間上至少部分地重疊。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中用戶觸摸該設(shè)備的交互作用能夠發(fā)生在該設(shè)備的正面?zhèn)?、背面?zhèn)然騻?cè)壁中的至少一個(gè)上。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中，交互作用的組合包括: a.記錄階段，用于啟動(dòng)給該設(shè)備的輸入， b.持續(xù)階段，用于提供輸入到該設(shè)備，和` c.終止階段，用于確認(rèn)到該設(shè)備的輸入。
7.根據(jù)權(quán)利要求6所述的方法，其中在步驟c)中，觸摸基交互作用被用來確認(rèn)在步驟b)中通過非觸摸基交互作用提供的輸入，特別是在沒有觸摸該設(shè)備的情況下由用戶實(shí)現(xiàn)的手勢(shì)。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，用于選擇對(duì)象和提供與所選擇的對(duì)象相關(guān)的指令到設(shè)備，包括以下序列的步驟: d)使用觸摸基交互作用，特別是觸摸基手勢(shì)，選擇所述對(duì)象， e)基于沒有觸摸該設(shè)備的手勢(shì)基交互作用，提供與所選擇的對(duì)象相關(guān)的指令。
9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，用于輸入指令以在設(shè)備的屏幕上移動(dòng)對(duì)象到不同位置，包括以下序列的手勢(shì)基交互作用: f)檢測(cè)由用戶在第一位置處觸摸該設(shè)備提供的擰捏或擠壓或轉(zhuǎn)動(dòng)類型手勢(shì)， g)檢測(cè)用戶沒有觸摸該設(shè)備的平移手勢(shì)， h)檢測(cè)在第二位置處或在第二位置上方通過觸摸基手勢(shì)或非觸摸基手勢(shì)的釋放手勢(shì)。
10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，包括以下步驟: i)檢測(cè)觸摸基交互作用， j)響應(yīng)于觸摸基交互作用，設(shè)置參數(shù) k)同時(shí)檢測(cè)非觸摸基手勢(shì)，和 i)響應(yīng)于非觸摸基手勢(shì)和參數(shù)設(shè)置，向該設(shè)備發(fā)出對(duì)應(yīng)動(dòng)作的指令。
11.一種用于提供手勢(shì)基輸入到設(shè)備的方法，特別是根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法，包括步驟:檢測(cè)手勢(shì)、分類手勢(shì)和根據(jù)分類輸入指令到設(shè)備， 其中，指令依賴于手勢(shì)的實(shí)現(xiàn)特征，特別是手勢(shì)的軌跡和/或速度和/或持續(xù)時(shí)間，和獨(dú)立于手勢(shì)的具有至少一個(gè)參數(shù)的縮放尺寸。
12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，其中，至少一個(gè)非觸摸基交互作用是基于環(huán)境參數(shù)，特別是與亮度、電場(chǎng)、磁場(chǎng)、電磁輻射、壓力、溫度、濕度、振動(dòng)和/或地理坐標(biāo)相關(guān)的環(huán)境參數(shù)。
13.一種計(jì)算機(jī)程序產(chǎn)品，包括一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)，具有計(jì)算機(jī)可執(zhí)行指令，用于執(zhí)行權(quán)利要求1至12中任一項(xiàng)所述的方法的步驟。
14.一種包括至少一個(gè)觸摸基用戶交互作用裝置和至少一個(gè)非觸摸基用戶交互作用裝置的設(shè)備，該設(shè)備配置成用于執(zhí)行根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的方法。
15.一種設(shè)備，特別是根據(jù)權(quán)利要求14所述的設(shè)備，包括: a.至少一個(gè)觸摸基用戶交互作用裝置和至少一個(gè)非觸摸基用戶交互作用裝置，其中，非觸摸基用戶交互作用裝置配置為檢測(cè)該設(shè)備周圍的預(yù)定體積內(nèi)的非觸摸基交互作用，特別是手勢(shì)；和 b.至少一個(gè)反饋提供裝置，配置為在對(duì)象，特別是用戶的手部，進(jìn)入所述預(yù)定體積時(shí)，輸出第一視覺和/或聲學(xué)輸出。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述反饋提供裝置配置為在對(duì)象位于所述預(yù)定體積內(nèi)和/或觸摸所述設(shè)備 時(shí)，輸出第二視覺和/或聲學(xué)和/或觸覺輸出，特別地第二輸出不同于第一輸出。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述反饋提供裝置配置為只要觸摸基用戶交互作用裝置檢測(cè)到交互作用和/或非觸摸基用戶交互作用裝置檢測(cè)到交互作用，特別是手勢(shì)，就輸出第二輸出，和/或 其中，所述反饋提供裝置配置為當(dāng)交互作用和/或手勢(shì)終止時(shí)和/或當(dāng)設(shè)備被關(guān)閉或置于空閑狀態(tài)時(shí)，輸出第三視覺和/或聲學(xué)和/或觸覺輸出，特別地第三視覺和/或聲學(xué)和/或觸覺輸出不同于第一和/或第二輸出。
18.根據(jù)權(quán)利要求15至17中任一項(xiàng)所述的設(shè)備，還包括在其正面?zhèn)壬系娘@示屏，并且 其中，在對(duì)象存在于設(shè)備的背面?zhèn)壬系念A(yù)定體積內(nèi)的情況下，所述反饋提供裝置配置為使得視覺指示被提供在顯示屏上。
【文檔編號(hào)】G06F1/16GK103502923SQ201280002569
【公開日】2014年1月8日 申請(qǐng)日期:2012年9月27日 優(yōu)先權(quán)日:2011年9月27日
【發(fā)明者】雷米·杜赫埃爾 申請(qǐng)人:電子觸控產(chǎn)品解決方案公司