終端和用于在終端中控制觸摸操作的方法
【專利摘要】本發(fā)明提供了一種終端，包括：眼睛跟蹤單元，用于跟蹤用戶的凝視以生成凝視信息；觸摸感測(cè)單元，用于感測(cè)用戶的觸摸以生成觸摸信息；和控制器，用于基于該凝視信息和該觸摸信息，來執(zhí)行觸摸操作。
【專利說明】終端和用于在終端中控制觸摸操作的方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年10月23日和2013年9月24日向韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)?zhí)?0-2012-0118125和10-2013-0113443的優(yōu)先權(quán)和權(quán)益，通過引用在這里合
并其全部?jī)?nèi)容。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及終端和用于在終端中控制觸摸操作的方法。具體地，本發(fā)明涉及使用凝視(gaze)的終端用戶接口(UI)和用于操縱其的方法。
【背景技術(shù)】
[0004]最近，使用采用多觸摸的智能終端的方法的專利正在增長(zhǎng)。例如，來自蘋果公司的iPhone具有使用多根手指的用于多觸摸的專利，而安卓電話具有使用多根手指的多觸摸方法的屏幕操縱技術(shù)。對(duì)于面向未來的智能終端用戶接口(UI)和使用其的方法的需求正在增長(zhǎng)。
[0005]通過眼睛跟蹤的使用信息和通信技術(shù)(ICT)裝置的方法完全集中于諸如凝視和眨眼的眼睛移動(dòng)。然而，僅使用眼睛移動(dòng)的技術(shù)可以不實(shí)現(xiàn)諸如多觸摸的各種手勢(shì)。另一方面，在諸如智能電話、智能平板電腦、和電子書的智能終端的情況下，由于用戶在大多數(shù)情況下用手持有終端，所以不需要將終端控制僅限于凝視。
[0006]眼睛跟蹤技術(shù)已研究了很長(zhǎng)時(shí)間。最近，通過向智能電視應(yīng)用眼睛跟蹤技術(shù)，而開發(fā)了通過凝視操縱智能電視的技術(shù)。
[0007]另一方面，在僅使用眼睛跟蹤的UI的情況下，由于眼睛移動(dòng)的連續(xù)化(需要一連串眼睛移動(dòng))，所以需要長(zhǎng)應(yīng)答時(shí)間。因此，僅使用眼睛跟蹤的Π不適于需要高應(yīng)答速度的智能終端，這與電視不同。另外，最近的智能終端應(yīng)用需要多觸摸UI。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的是提供一種基于使用智能終端的用戶的行為模式的面向未來的智能終端用戶接口(UI)。具體地，本發(fā)明的目的是提供一種作為應(yīng)用眼睛跟蹤技術(shù)的智能終端UI的能夠提供多觸摸方法的智能終端U1、以及用于操縱其的方法。
[0009]根據(jù)本發(fā)明的示范實(shí)施例，提供了一種終端。該終端包括:眼睛跟蹤單元，用于跟蹤用戶的凝視以生成凝視信息；觸摸感測(cè)單元，用于感測(cè)用戶的觸摸以生成觸摸信息；和控制器，用于基于該凝視信息和該觸摸信息，來執(zhí)行觸摸操作。
[0010]該觸摸感測(cè)單元包括用于感測(cè)用戶的觸摸的傳感器。該傳感器位于除了屏幕區(qū)域之外的區(qū)域中。
[0011]所述除了屏幕區(qū)域之外的區(qū)域可以是該終端的后表面、該終端的側(cè)表面、以及通過從該終端的前表面排除該屏幕區(qū)域而獲得的邊框區(qū)域。
[0012]該凝視信息可代表用戶凝視該屏幕區(qū)域的點(diǎn)。[0013]該凝視信息可代表該屏幕區(qū)域上的用戶的凝視的移動(dòng)。
[0014]該觸摸感測(cè)單元基于該用戶的觸摸次數(shù)和該用戶的觸摸持續(xù)時(shí)間，來生成該觸摸信息。
[0015]當(dāng)該觸摸信息代表兩次觸摸并且該凝視信息代表用戶的凝視的移動(dòng)時(shí)，該控制器執(zhí)行屏幕縮放操作。
[0016]該眼睛跟蹤單元包括:眼球測(cè)量單元，用于測(cè)量終端和用戶的眼球之間的眼球距離以及用戶的眼球位置；和凝視信息發(fā)生器，用于使用該眼球距離和該眼球位置來跟蹤用戶的凝視，并生成與該跟蹤結(jié)果對(duì)應(yīng)的凝視信息。
[0017]當(dāng)該眼球距離偏離第一參考范圍或者該眼球位置偏離第二參考范圍時(shí)，該眼球測(cè)量單元可輸出錯(cuò)誤消息。
[0018]當(dāng)該眼球距離偏離該第一參考范圍時(shí)，該眼球測(cè)量單元可重新配置該第一參考范圍。
[0019]另外，根據(jù)本發(fā)明的另一示范實(shí)施例，提供了一種用于在終端中控制觸摸操作的方法。該觸摸操作控制方法包括:感測(cè)用戶的觸摸以生成觸摸信息；跟蹤用戶的凝視以生成凝視信息；和基于該觸摸信息和該凝視信息來執(zhí)行觸摸操作。
【專利附圖】

【附圖說明】
[0020]圖1是圖不了根據(jù)本發(fā)明不范實(shí)施例的輸入用戶接口(UI)的概念的圖。
[0021]圖2是圖示了根據(jù)本發(fā)明示范實(shí)施例的終端的結(jié)構(gòu)的圖。
[0022]圖3是圖示了根據(jù)本發(fā)明示范實(shí)施例的終端的功能配置的圖。
[0023]圖4是圖示了圖3的眼睛跟蹤單元的配置的圖。
[0024]圖5是圖示了根據(jù)本發(fā)明示范實(shí)施例的觸摸操作控制處理的流程圖。
【具體實(shí)施方式】
[0025]在以下詳細(xì)描述中，簡(jiǎn)單通過圖示，已示出和描述了本發(fā)明的僅某些示范實(shí)施例。如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的，可按照各種不同方式修改所描述的實(shí)施例，而全部不脫離本發(fā)明的精神或范圍。因此，這些圖和描述應(yīng)被看作本質(zhì)上示意性的而非限制性的。相同的附圖標(biāo)記在說明書中始終指定相同的元素。
[0026]圖1是圖不了根據(jù)本發(fā)明不范實(shí)施例的輸入用戶接口(UI)的概念的圖。
[0027]本發(fā)明涉及用于通過用戶的凝視和觸摸的組合來控制智能終端(其后，“終端”)的輸入Π，其中不僅可進(jìn)行單一觸摸而且可進(jìn)行多次觸摸。用于通過語音控制終端的技術(shù)可受到周圍噪聲的影響，或者可生成噪聲而干擾周圍的人們。所以，為了在不在公共場(chǎng)所干擾周圍的人的情況下或者在沿著街道行走的同時(shí)操縱終端，根據(jù)本發(fā)明，使用用戶的凝視和手部操作。
[0028]終端100可根據(jù)用戶的凝視10和用戶的手部操作20來確定用戶的輸入意圖(intension)。
[0029]圖2是圖示了根據(jù)本發(fā)明示范實(shí)施例的終端100的結(jié)構(gòu)的圖。
[0030]終端100的前表面40包括屏幕區(qū)域41、前相機(jī)42、和邊框(bezel)區(qū)域43。這里，邊框區(qū)域43意味著通過從終端100的前表面40排除屏幕區(qū)域41而獲得的框架(frame)區(qū)域。
[0031]終端100包括內(nèi)部基板50。
[0032]終端100的后表面60包括后相機(jī)61和后表面區(qū)域62。后表面區(qū)域62包括能夠感測(cè)用戶的觸摸的傳感器。
[0033]圖3是圖示了根據(jù)本發(fā)明示范實(shí)施例的終端100的功能配置的圖。
[0034]終端100包括眼睛跟蹤單元110、觸摸感測(cè)單元120和控制器130。
[0035]眼睛跟蹤單元110跟蹤用戶的凝視以生成凝視信息。該凝視信息可代表用戶凝視的屏幕區(qū)域41上的點(diǎn)。另外，該凝視信息可代表用戶的凝視在屏幕區(qū)域41中的移動(dòng)(例如，從第一點(diǎn)到第二點(diǎn)的凝視的移動(dòng))。另一方面，由于眼睛跟蹤單元110使用的眼睛跟蹤算法是本領(lǐng)域技術(shù)人員公知的，所以將省略其詳細(xì)描述。
[0036]觸摸感測(cè)單元120感測(cè)用戶的觸摸以生成觸摸信息。觸摸感測(cè)單元120包括傳感器，用于感測(cè)用戶的觸摸。傳感器位于除了屏幕區(qū)域41之外的區(qū)域中。除了屏幕區(qū)域41之外的區(qū)域可以是終端100的邊框區(qū)域43、后表面區(qū)域62、和側(cè)表面(未示出)中的至少一個(gè)。觸摸信息可代表用戶的觸摸的次數(shù)(即，接觸傳感器的手指的數(shù)目)和觸摸持續(xù)時(shí)間(即，手指接觸傳感器的時(shí)間)。例如，觸摸持續(xù)時(shí)間可通知該用戶進(jìn)行觸摸達(dá)到短時(shí)間以及該用戶進(jìn)行觸摸達(dá)到長(zhǎng)時(shí)間。
[0037]控制器130基于凝視信息和觸摸信息執(zhí)行觸摸操作。觸摸操作意味著通過用戶的輸入執(zhí)行的終端100的操作。例如，觸摸操作可以是屏幕放大和縮小、點(diǎn)擊、拖拽、屏幕改變、和打開。
[0038]圖4是圖示了圖3的眼睛跟蹤單元110的配置的圖。
[0039]眼睛跟蹤單元110包括眼球測(cè)量單元111和凝視信息發(fā)生器112。
[0040]眼球測(cè)量單元111測(cè)量終端100和用戶的眼球之間的距離(其后，“眼球距離”)以及用戶的眼球位置。另一方面，當(dāng)用戶在行走的同時(shí)使用終端100、用戶在振動(dòng)空間中使用終端100、或者用戶在他或她的臉躺下的同時(shí)使用終端100時(shí)，必須根據(jù)用戶的眼球位置來執(zhí)行眼睛跟蹤。所以，當(dāng)當(dāng)前眼球距離偏離第一參考范圍或當(dāng)前眼球位置偏離第二參考范圍時(shí)，眼球測(cè)量單元111可輸出錯(cuò)誤消息。作為用于眼睛跟蹤單元110的眼睛跟蹤算法的眼球距離值的第一參考范圍由用戶在使用終端100時(shí)配置。例如，當(dāng)終端100解鎖或者當(dāng)運(yùn)行應(yīng)用以配置第一參考范圍時(shí)，用戶凝視終端100或應(yīng)用所建議的至少一個(gè)點(diǎn)。作為用于眼睛跟蹤單元110的眼睛跟蹤算法的眼球位置值的第二參考范圍由用戶在使用終端100時(shí)配置。當(dāng)當(dāng)前測(cè)量的眼球距離或當(dāng)前測(cè)量的眼球位置偏離第一參考范圍或第二參考范圍時(shí)，眼球測(cè)量單元111可輸出促使用戶移動(dòng)的錯(cuò)誤消息，使得用戶的眼球可具有正確眼球距離(即，第一參考范圍中)或者可處于正確眼球位置(即，第二參考范圍中)。另一方面，代替輸出錯(cuò)誤消息，眼球測(cè)量單元111可重新配置第一參考范圍或第二參考范圍。具體地，當(dāng)當(dāng)前測(cè)量的眼球距離或當(dāng)前測(cè)量的眼球位置偏離第一參考范圍或第二參考范圍時(shí)，眼球測(cè)量單元111可重新配置第一參考范圍或第二參考范圍。例如，當(dāng)?shù)谝粎⒖挤秶鸀?0cm而當(dāng)前測(cè)量的眼球距離為20cm時(shí),眼球測(cè)量單元111可促使用戶將第一參考范圍重新配置為20cm。
[0041]凝視信息發(fā)生器112使用眼球測(cè)量單元111所測(cè)量的眼球距離和眼球位置來跟蹤用戶的凝視，以生成與跟蹤結(jié)果對(duì)應(yīng)的凝視信息。具體地，當(dāng)當(dāng)前測(cè)量的眼球距離和當(dāng)前測(cè)量的眼球位置分別滿足第一參考范圍和第二參考范圍時(shí)，凝視信息發(fā)生器112可使用當(dāng)前測(cè)量的眼球距離和當(dāng)前測(cè)量的眼球位置，來跟蹤用戶的凝視。
[0042]圖5是圖示了根據(jù)本發(fā)明示范實(shí)施例的終端100的觸摸操作控制處理的流程圖。
[0043]配置第一參考范圍和第二參考范圍(S110)。例如，當(dāng)用戶解鎖終端100時(shí)，用戶凝視終端100所建議的至少一個(gè)點(diǎn)，以配置第一參考范圍和第二參考范圍分別用于眼球距離和眼球位置。
[0044]測(cè)量使用終端100的用戶的當(dāng)前眼球距離和當(dāng)前眼球位置(S120)。
[0045]確定測(cè)量的眼球距離或測(cè)量的眼球位置是否偏離第一參考范圍或第二參考范圍(S130)。當(dāng)確定測(cè)量的眼球距離偏離第一參考范圍時(shí)，重新配置第一參考范圍，而當(dāng)確定測(cè)量的眼球位置偏離第二參考范圍時(shí)，重新配置第二參考范圍(S140)。然后，再次執(zhí)行測(cè)量當(dāng)前眼球距離和當(dāng)前眼球位置的處理S120。
[0046]當(dāng)測(cè)量的眼球距離在第一參考范圍中并且測(cè)量的眼球位置在第二參考范圍中時(shí)，通過眼睛跟蹤算法來跟著用戶的凝視(S150)。終端100通過眼睛跟蹤生成凝視信息。
[0047]另一方面，通過位于除了屏幕區(qū)域41之外的區(qū)域(例如，后表面區(qū)域62)中的傳感器來感測(cè)用戶的觸摸。用戶可以不連續(xù)凝視終端100的屏幕區(qū)域41 (用戶可以正沿著街道行走)。所以，用戶的凝視必須與用戶的操作意圖組合。在終端100中，存在各種輸入操作圖案用于影片、游戲和因特網(wǎng)的使用。終端100必須能夠根據(jù)各種輸入操作圖案的使用來捕捉用戶的操作意圖。用戶的操作意圖可以由感測(cè)用戶的手部操作的終端100的傳感器捕捉。通過在終端100接觸傳感器的同時(shí)的接觸手指的數(shù)目以及手指的接觸時(shí)間，終端100確定用戶的操作意圖是否是一根手指、兩根手指、三根手指、點(diǎn)擊、和拖拽。另一方面，終端100感測(cè)用戶的觸摸以生成觸摸信息。
[0048]基于凝視信息和觸摸信息來執(zhí)行觸摸操作(S170)。例如，當(dāng)觸摸信息代表通過一根手指短時(shí)間進(jìn)行觸摸、并且凝視信息代表用戶凝視屏幕區(qū)域41中的第一點(diǎn)時(shí)，終端100執(zhí)行與當(dāng)直接觸摸第一點(diǎn)時(shí)執(zhí)行的操作(例如，應(yīng)用的運(yùn)行)相同的操作。作為另一示例，當(dāng)觸摸信息代表通過一根手指維持觸摸狀態(tài)、并且凝視信息代表在屏幕區(qū)域41中從一點(diǎn)到另一點(diǎn)的凝視的移動(dòng)時(shí)，終端100執(zhí)彳丁與當(dāng)將觸摸屏.區(qū)域41中的一點(diǎn)的手指拖拽并移動(dòng)到另一點(diǎn)時(shí)執(zhí)行的操作(例如，滾動(dòng))相同的操作。作為另一示例，當(dāng)觸摸信息代表通過兩根手指進(jìn)行觸摸、并且凝視信息代表在屏幕區(qū)域41中從一點(diǎn)到另一點(diǎn)的凝視的移動(dòng)時(shí)，終端100執(zhí)行與當(dāng)觸摸屏幕區(qū)域41中兩個(gè)點(diǎn)的兩根手指之間的距離減小或增大時(shí)執(zhí)行的操作(例如，屏幕放大和縮小)相同的操作。作為另一示例，當(dāng)觸摸信息代表通過兩根手指進(jìn)行觸摸、并且凝視信息代表在屏幕區(qū)域41中從一點(diǎn)到另一點(diǎn)的凝視的移動(dòng)時(shí)，終端100將當(dāng)前屏幕(例如，背景屏幕)改變?yōu)榱硪黄聊弧?br> [0049]另一方面，在圖5中，圖示了其中當(dāng)測(cè)量的當(dāng)前眼球距離或位置偏離第一參考范圍或第二參考范圍時(shí)重新配置第一參考范圍或第二參考范圍的情況。然而,代替重新配置處理可執(zhí)行輸出錯(cuò)誤消息的處理(S140)。該錯(cuò)誤消息促使用戶移動(dòng)，使得用戶的眼球可具有正確眼球距離(即，第一參考范圍中)或者可處于正確眼球位置(即，第二參考范圍中)。
[0050]根據(jù)本發(fā)明的示范實(shí)施例，可通過組合在他們的手中持有智能終端的用戶的觸摸和用戶的凝視，來控制該智能終端。所以，根據(jù)本發(fā)明的示范實(shí)施例，由于可實(shí)現(xiàn)各種輸入手勢(shì)，所以可能克服當(dāng)僅通過凝視來控制裝置時(shí)生成的智能終端的操縱的限制。
[0051]另外，根據(jù)本發(fā)明的示范實(shí)施例，與其中使用語音的輸入Π不同，由于終端不干擾周圍的人，所以可以在公共場(chǎng)所方便地使用該終端。
[0052]此外，根據(jù)本發(fā)明的示范實(shí)施例，可能提供面向未來的智能終端Π和用于操縱其的方法。
[0053]盡管已結(jié)合當(dāng)前被看作實(shí)踐示范實(shí)施例的內(nèi)容而描述了該發(fā)明，但是應(yīng)理解的是，本發(fā)明不限于所公開的實(shí)施例，而是，相反，意欲覆蓋所附權(quán)利要求的精神和范圍內(nèi)包括的各種修改和等效安排。
【權(quán)利要求】
1.一種終端，包括: 眼睛跟蹤單元，用于跟蹤用戶的凝視以生成凝視信息； 觸摸感測(cè)單元，用于感測(cè)用戶的觸摸以生成觸摸信息；和 控制器，用于基于該凝視信息和該觸摸信息，來執(zhí)行觸摸操作。
2.根據(jù)權(quán)利要求1的終端， 其中該觸摸感測(cè)單元包括用于感測(cè)用戶的觸摸的傳感器， 其中該傳感器位于除了屏幕區(qū)域之外的區(qū)域中。
3.根據(jù)權(quán)利要求2的終端，其中所述除了屏幕區(qū)域之外的區(qū)域是該終端的后表面。
4.根據(jù)權(quán)利要求2的終端，其中所述除了屏幕區(qū)域之外的區(qū)域是該終端的側(cè)表面。
5.根據(jù)權(quán)利要求2的終端，其中所述除了屏幕區(qū)域之外的區(qū)域是通過從該終端的前表面排除該屏幕區(qū)域而獲得的框架區(qū)域。
6.根據(jù)權(quán)利要求2的終端，其中該凝視信息代表用戶凝視該屏幕區(qū)域的點(diǎn)。
7.根據(jù)權(quán)利要求2的終端，其中該凝視信息代表該屏幕區(qū)域處的用戶的凝視的移動(dòng)。
8.根據(jù)權(quán)利要求2的終端，其中該觸摸感測(cè)單元基于該用戶的觸摸次數(shù)來生成該觸摸信息。
9.根據(jù)權(quán)利要求8的終端，其中該觸摸感測(cè)單元基于該用戶的觸摸次數(shù)和該用戶的觸摸持續(xù)時(shí)間來生成該觸摸信息。
10.根據(jù)權(quán)利要求1的終端，其中當(dāng)該觸摸信息代表兩次觸摸并且該凝視信息代表用戶的凝視的移動(dòng)時(shí)，該控制器執(zhí)行屏幕縮放操作。
11.根據(jù)權(quán)利要求1的終端，其中該眼睛跟蹤單元包括: 眼球測(cè)量單元，用于測(cè)量終端和用戶的眼球之間的眼球距離以及用戶的眼球位置；和凝視信息發(fā)生器，用于使用該眼球距離和該眼球位置來跟蹤用戶的凝視，并生成與該跟蹤結(jié)果對(duì)應(yīng)的凝視信息。
12.根據(jù)權(quán)利要求11的終端，其中當(dāng)該眼球距離偏離第一參考范圍或者該眼球位置偏離第二參考范圍時(shí)，該眼球測(cè)量單元輸出錯(cuò)誤消息。
13.根據(jù)權(quán)利要求11的終端，其中當(dāng)該眼球距離偏離第一參考范圍時(shí)，該眼球測(cè)量單元重新配置該第一參考范圍。
14.一種用于在終端中控制觸摸操作的方法，該方法包括: 感測(cè)用戶的觸摸以生成觸摸信息； 跟蹤用戶的凝視以生成凝視信息；和 基于該觸摸信息和該凝視信息來執(zhí)行觸摸操作。
15.根據(jù)權(quán)利要求14的方法，其中所述跟蹤用戶的凝視以生成凝視信息的步驟包括: 測(cè)量終端和用戶的眼球之間的眼球距離以及用戶的眼球位置； 使用該眼球距離和該眼球位置來跟蹤用戶的凝視；和 生成與該跟蹤結(jié)果對(duì)應(yīng)的凝視信息。
16.根據(jù)權(quán)利要求15的方法，進(jìn)一步包括:當(dāng)該眼球距離偏離參考范圍時(shí)，重新配置該參考范圍。
17.根據(jù)權(quán)利要求14的方法，其中所述感測(cè)用戶的觸摸以生成觸摸信息的步驟進(jìn)一步包括:通過位于除了該終端的屏幕區(qū)域之外的區(qū)域中的傳感器來感測(cè)用戶的觸摸。
18.根據(jù)權(quán)利要求17的方法，其中所述除了屏幕區(qū)域之外的區(qū)域是該終端的后表面。
19.根據(jù)權(quán)利要求17的方法，其中所述感測(cè)用戶的觸摸以生成觸摸信息的步驟進(jìn)一步包括:基于該用戶的觸摸次數(shù)和該用戶的觸摸持續(xù)時(shí)間，來生成該觸摸信息。
20.根據(jù)權(quán)利要求17的方法，其中所述基于該凝視信息和該觸摸信息來執(zhí)行觸摸操作的步驟進(jìn)一步包括:當(dāng)該觸摸信息代表觸摸并且該凝視信息代表該屏幕區(qū)域的第一點(diǎn)時(shí)，執(zhí)行與當(dāng)觸摸該屏幕區(qū)域的第一點(diǎn)時(shí)`執(zhí)行的操作相同的操作。
【文檔編號(hào)】G06F3/0488GK103777861SQ201310502988
【公開日】2014年5月7日 申請(qǐng)日期:2013年10月23日 優(yōu)先權(quán)日:2012年10月23日
【發(fā)明者】樸珠永, 金度泳 申請(qǐng)人:韓國(guó)電子通信研究院