專(zhuān)利名稱(chēng)：帶語(yǔ)音控制系統(tǒng)的ui的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用戶(hù)界面(UI)，具體來(lái)講，涉及一種用于具有小屏幕尺寸的設(shè)備的多模式UI，所述小屏幕設(shè)備諸如手持信息設(shè)備(掌上型電腦、電子手表、管理器、移動(dòng)電話、Web板(Web pads)、遙控裝置、PDA的或者筆記本計(jì)算機(jī)等等)。
背景技術(shù)：
以及發(fā)明概要目前趨勢(shì)表明，到2002年為止，全世界會(huì)有10億的移動(dòng)電話訂購(gòu)者。到2004年為止，使用中的移動(dòng)電話將會(huì)多于PC。
移動(dòng)電話已經(jīng)成為私人、可信賴(lài)設(shè)備。諸如由Philips Electronics生產(chǎn)的Genie的移動(dòng)電話，通常具有作為用戶(hù)界面部分的LCD，并且存在提供甚至更多插件級(jí)的軟件服務(wù)的趨勢(shì)。所述電話還具有語(yǔ)音控制能力。
諸如個(gè)人數(shù)字助理(PDA)的手提計(jì)算裝置，例如由3COM生產(chǎn)的Palm或者基于Windows CE的iPAQ手持設(shè)備，可以經(jīng)由無(wú)線調(diào)制解調(diào)器、或者2.5G(例如GPRS)或者3G(例如DoCoMo)服務(wù)連接到網(wǎng)絡(luò)中。因此，經(jīng)由互聯(lián)網(wǎng)的普遍存在的信息訪問(wèn)已經(jīng)成為現(xiàn)實(shí)。近來(lái)的服務(wù)使設(shè)備能夠始終保持連接，并且能夠訪問(wèn)諸如電子郵件、瞬時(shí)消息、IP電話、音頻/視頻以及個(gè)人日程表或者日歷之類(lèi)的信息。諸如802.11b和藍(lán)牙之類(lèi)的無(wú)線LAN及PAN連通性標(biāo)準(zhǔn)，使PDA和移動(dòng)電話能夠與位于各個(gè)網(wǎng)絡(luò)的各種信息內(nèi)容進(jìn)行交互。為不同網(wǎng)絡(luò)之間的無(wú)縫漫游提供了GPRS和802.11b連通性的組合，所述不同網(wǎng)絡(luò)為廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)以及個(gè)人局域網(wǎng)(PAN)。研究還表明PDA以及移動(dòng)電話的功能已經(jīng)開(kāi)始集中，并且移動(dòng)信息社會(huì)正在不斷發(fā)展。將會(huì)出現(xiàn)專(zhuān)用設(shè)備。PDA正是目前所涉及到的工作。在不久的將來(lái)，PDA將成為始終和用戶(hù)在一起的個(gè)性化計(jì)算機(jī)。PDA將會(huì)變得能量更多、尺寸更小，并且能夠容納更多且更通用的功能。大多數(shù)的連接裝置可以經(jīng)由UI、通過(guò)利用觸摸屏選擇圖標(biāo)、菜單項(xiàng)或者列表項(xiàng)來(lái)得以控制，或者通過(guò)語(yǔ)音、使用語(yǔ)音識(shí)別軟件和硬件選擇項(xiàng)目來(lái)控制，又或者通過(guò)使用諸如按鈕、滾輪等等的專(zhuān)用硬件接口來(lái)控制。
便利和用戶(hù)友好被認(rèn)為是限制移動(dòng)電話、掌上型電腦、PDA或者電子表的可用性和實(shí)用性的因素。具體來(lái)講，用于連接個(gè)人設(shè)備的UI和服務(wù)可接入性已經(jīng)成為能否被市場(chǎng)接受的關(guān)鍵性因素。具體來(lái)講，如果用戶(hù)界面技術(shù)使用戶(hù)能夠采用最佳選項(xiàng)來(lái)與各式各樣的數(shù)字內(nèi)容和通信選項(xiàng)進(jìn)行交互，那么電子商業(yè)或者電子售貨可以受益于個(gè)人通信裝置的普遍存在。
本發(fā)明特此致力于通過(guò)向用戶(hù)提供多個(gè)接口模式來(lái)提供一種簡(jiǎn)化用戶(hù)訪問(wèn)信息、控制和通信選項(xiàng)的方法和設(shè)備，其中每個(gè)接口模式是最適用于特定的多級(jí)任務(wù)的。本發(fā)明的另一方面涉及一種能夠根據(jù)信息分辨率為特定的信息訪問(wèn)、控制或者通信任務(wù)進(jìn)行模式選擇的方法和設(shè)備。本發(fā)明的又一方面能夠使UI模式選擇定制。
在此文本中使用的術(shù)語(yǔ)“信息分辨率”具體指的是、但是不是專(zhuān)指當(dāng)通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)或者其他感官手段進(jìn)行感知時(shí)、確定用戶(hù)在不同項(xiàng)目之間進(jìn)行區(qū)分的能力的信息項(xiàng)集合的屬性。例如，所述分辨率與所選項(xiàng)目或所起作用項(xiàng)目之間的相對(duì)距離相關(guān)聯(lián)，例如當(dāng)在顯示監(jiān)視器上顯示(空間距離)時(shí)、由麥克風(fēng)捕獲或者經(jīng)由擴(kuò)音器播出(時(shí)間距離)時(shí)。適當(dāng)?shù)姆直媛驶蛘叻直媛书g隔可以取決于單個(gè)用戶(hù)、UI模式、設(shè)備能力、環(huán)境條件以及其他因素。例如，SungChoi以及Janvan Ee發(fā)表的美國(guó)專(zhuān)利6,211,856(代理人編號(hào)PHA 23,387)涉及一種用于顯示電子設(shè)備可控功能的圖形用戶(hù)界面觸摸屏，將該篇專(zhuān)利引用于此，以供參考。將所述功能以圖標(biāo)方式并且以縮放尺寸顯示出來(lái)，其中用戶(hù)可識(shí)別所述功能，但是其太小以至于無(wú)法輕易地訪問(wèn)功能特征。當(dāng)用戶(hù)觸摸圖標(biāo)區(qū)域時(shí)，可以提供該圖標(biāo)至少一個(gè)區(qū)域的放大版本。在上述例子中，第一信息分辨率對(duì)于用戶(hù)來(lái)說(shuō)太低，以至于無(wú)法影響對(duì)其結(jié)果有高度的信心的所要求的任務(wù)，例如按鍵。放大的版本通過(guò)提高表示相應(yīng)動(dòng)作的每個(gè)圖標(biāo)的尺寸來(lái)提高信息分辨率，尤其在其控制方面。在那種情況下，通過(guò)將最初不足的尺寸提高到可接受的程度、來(lái)直接在相同的邏輯維數(shù)(圖解表示法)中提高信息分辨率。
發(fā)明者知道通過(guò)使用特定的UI模式顯示用戶(hù)感知的信息可影響信息分辨率。作為選擇的UI模式可用于提供不同的信息分辨率范圍。術(shù)語(yǔ)“模式”指的是一個(gè)或多個(gè)特定的感覺(jué)方式，或者指涉及用戶(hù)與UI進(jìn)行交互的一個(gè)或多個(gè)特定的感官知覺(jué)(例如，聽(tīng)覺(jué)、視覺(jué)、運(yùn)動(dòng)覺(jué))和/或相應(yīng)的生理學(xué)過(guò)程(例如，語(yǔ)音輸入輸出、聽(tīng)覺(jué)反饋、圖形輸入/反饋、觸覺(jué)輸入/反饋)。在UI中可以明確地(例如，用圖表表示，聽(tīng)覺(jué))或者內(nèi)隱地(例如，直觀地清晰的出現(xiàn)，或者憑經(jīng)驗(yàn)，或者通過(guò)助記符號(hào)表明)表現(xiàn)信息項(xiàng)。
據(jù)此，本發(fā)明涉及具有UI的電子設(shè)備。所述UI提供第一用戶(hù)可選選項(xiàng)。當(dāng)選擇第一選項(xiàng)的特定選項(xiàng)時(shí)，可得到第二用戶(hù)可選選項(xiàng)。顯示第一選項(xiàng)時(shí)的信息分辨率不同于顯示第二選項(xiàng)時(shí)的信息分辨率。從第一選項(xiàng)中選出的與UI的用戶(hù)交互的第一模式，不同于從第二選項(xiàng)中選出的與UI的用戶(hù)交互的第二模式。優(yōu)選的是，至少第一模式或者第二模式可以依照UI的結(jié)構(gòu)模式進(jìn)行編程。以這樣的方式，用戶(hù)可以配置這樣一種方式，其中例如根據(jù)他/她的偏好或者菜單中處于不同級(jí)的信息分辨率來(lái)與UI進(jìn)行交互。例如，在多層的菜單中，一層包括大量的第一選項(xiàng)，而其它層包括少量的第二個(gè)選項(xiàng)。例如使用觸摸屏從第一選項(xiàng)當(dāng)中進(jìn)行選擇，并且使用語(yǔ)音輸入從第二選項(xiàng)中進(jìn)行選擇可能會(huì)更加便利。
優(yōu)選的是，與UI的用戶(hù)交互的其他模式也適用于從至少第一或者第二選項(xiàng)中進(jìn)行選擇。在本發(fā)明的實(shí)施例中，所述設(shè)備包括通信功能，例如電話、瞬時(shí)消息器或者電子郵件處理器等。
在其他的實(shí)施例中，所述設(shè)備具有觸摸屏以及用于語(yǔ)音輸入的麥克風(fēng)。第一和第二模式之一涉及觸摸所述觸摸屏，而第一和第二模式的另一種涉及語(yǔ)音輸入。
在本發(fā)明其它實(shí)施例中，所述設(shè)備包括用于顯示至少一些第一選項(xiàng)的顯示監(jiān)視器；能夠使用戶(hù)將所顯示的第一選項(xiàng)的每個(gè)相應(yīng)選項(xiàng)與多個(gè)預(yù)定屬性的相應(yīng)屬性進(jìn)行關(guān)聯(lián)的第一裝置；以及用于通過(guò)相關(guān)聯(lián)的屬性選擇所顯示的第一選項(xiàng)的特定選項(xiàng)的第二裝置。
本發(fā)明還涉及用于提供UI能夠選擇設(shè)置在第一和第二層中的選項(xiàng)的方法。當(dāng)在UI中進(jìn)行顯示時(shí)的第一層中的選項(xiàng)，具有不同于在UI中顯示時(shí)的第二層中選項(xiàng)的信息分辨率。所述方法包括提供第一模式以便在第一層的選項(xiàng)中選擇第一選項(xiàng)，并且第一模式不同于在第二層的選項(xiàng)中選擇第二選項(xiàng)的第二模式。本發(fā)明例如還可以利用網(wǎng)站來(lái)提供用戶(hù)友好的或者定制的界面。
本發(fā)明還涉及在電子設(shè)備上使用的軟件，用于生成提供第一用戶(hù)可選選項(xiàng)以及第二用戶(hù)可選選項(xiàng)的UI，其中所述第二用戶(hù)可選選項(xiàng)當(dāng)選擇第一選項(xiàng)的特定選項(xiàng)時(shí)獲得，其中，當(dāng)顯示第一選項(xiàng)時(shí)的信息分辨率不同于顯示第二選項(xiàng)時(shí)的信息分辨率，并且其中用于從第一選項(xiàng)中選擇的與UI的用戶(hù)交互的第一模式、不同于用于從第二選項(xiàng)中選擇的與UI的用戶(hù)交互的第二模式。諸如膝上型電腦、PDA或者移動(dòng)通信設(shè)備的電子設(shè)備由此可以被更新以便適合用戶(hù)的需要以及偏好。
附圖簡(jiǎn)述下面將通過(guò)舉例并且參照附圖來(lái)更加詳細(xì)地解釋本發(fā)明，其中

圖1-3是具有示出了菜單中的連續(xù)層的UI的設(shè)備圖；圖4是用于電子地址薄的圖形輔助語(yǔ)音控制系統(tǒng)的框圖；以及圖5是用于標(biāo)識(shí)內(nèi)容(HTML、XML)表示接口的圖形輔助語(yǔ)音控制系統(tǒng)的框圖。
貫穿整個(gè)附圖，相同的參考標(biāo)記表明相應(yīng)或者相似的特征。
詳細(xì)的實(shí)施例其中，設(shè)備UI的用戶(hù)友好性取決于與UI的用戶(hù)交互的模式、在UI中顯示時(shí)與其交互的項(xiàng)目的信息分辨率以及環(huán)境影響?？梢哉J(rèn)為分辨率取決于以下因素的一些或全部用戶(hù)交互的模式、顯示的特定項(xiàng)目集、環(huán)境影響以及設(shè)備應(yīng)該執(zhí)行的任務(wù)。例如，可以在觸摸屏上用圖形顯示電話號(hào)碼薄中的名稱(chēng)集，并且用戶(hù)可以通過(guò)在已經(jīng)顯示出的特定名稱(chēng)的位置觸摸屏幕來(lái)從所述集合中選擇特定名稱(chēng)。特定名稱(chēng)的選擇還可以使用語(yǔ)音識(shí)別來(lái)執(zhí)行。然而，通常將名稱(chēng)按字母順序來(lái)設(shè)置，并且所顯示的集合可能包括以相同文本字符開(kāi)始的名稱(chēng)，并因此具有相同的音素。這樣使得語(yǔ)音模式的分辨率十分低。此外，如果存在環(huán)境噪聲，那么會(huì)妨礙語(yǔ)音或者語(yǔ)音識(shí)別，由此對(duì)語(yǔ)音模式的分辨率產(chǎn)生了不利影響。
更具體地說(shuō)，考慮依照本發(fā)明的設(shè)備的以下例子基于電話的電子地址薄，其中可以通過(guò)觸摸屏幕GUI上的其圖像來(lái)選擇特定地址集，或者作為選擇，使用語(yǔ)音識(shí)別系統(tǒng)通過(guò)說(shuō)出人名來(lái)選擇。地址簿提供用于向個(gè)人進(jìn)行呼叫或者發(fā)電子郵件或者發(fā)送瞬時(shí)消息的選項(xiàng)。然后，為了向所選的那個(gè)人發(fā)電子郵件，用戶(hù)要么觸摸相應(yīng)的電子郵件圖標(biāo)，要么說(shuō)出選項(xiàng)名稱(chēng)(“電子郵件”)。用于在第一步中選擇特定名稱(chēng)的語(yǔ)音接口的信息分辨率、因所列名稱(chēng)之間語(yǔ)音的相似性而可以相當(dāng)?shù)汀４送?，一般的語(yǔ)音識(shí)別系統(tǒng)需要進(jìn)行訓(xùn)練，從而適用于單個(gè)用戶(hù)。另一方面，由于相關(guān)選項(xiàng)的有限數(shù)目以及預(yù)定字符，說(shuō)出“電子郵件”將會(huì)是訪問(wèn)第二功能的更快且更精確的選項(xiàng)。即使沒(méi)有打開(kāi)第二GUI也可以實(shí)現(xiàn)。為了能夠使用戶(hù)在每一步都利用最佳UI選項(xiàng)，系統(tǒng)可以確定最佳模式并且提供模式提示，例如圖標(biāo)或者推薦的模式的其它表示。在上述電話簿的例子中，系統(tǒng)可以在第一步上示出“指示筆”圖標(biāo)，并且在第二步上示出“語(yǔ)音”圖標(biāo)。作為選擇，所推薦的模式還能夠在訪問(wèn)下一個(gè)UI模塊以前、加速特定功能的訪問(wèn)。例如，例如通過(guò)使用滾輪在屏幕上高亮顯示收件人之后，用戶(hù)能夠使用例如“callhome”的語(yǔ)音命令來(lái)激活與所述項(xiàng)目相關(guān)聯(lián)的特定功能，而不是明確地表現(xiàn)出來(lái)。這種交互在單手操作中尤其有用。在此環(huán)境中，例如參見(jiàn)由Willem Bulthuis及其他人、于12/16/99申請(qǐng)的序列號(hào)為09/464,855(代理人編號(hào)為PHA 23,875)的名為“HAND-EAR USERINTERFACE FOR HAND-HELD DEVICE”的美國(guó)專(zhuān)利，將該篇申請(qǐng)引用于此，以供參考。此專(zhuān)利文獻(xiàn)涉及一種手持設(shè)備，該設(shè)備能夠使用戶(hù)僅僅利用單手并且在無(wú)需看著該設(shè)備的情況下、從菜單中選擇選項(xiàng)。所述設(shè)備包括用于與設(shè)備進(jìn)行用戶(hù)交互的用戶(hù)接口。所述用戶(hù)接口具有能夠?yàn)橛脩?hù)在選項(xiàng)集中導(dǎo)航的導(dǎo)航輸入端；當(dāng)用戶(hù)被導(dǎo)航時(shí)、向用戶(hù)提供關(guān)于選項(xiàng)的相應(yīng)可選選項(xiàng)的相應(yīng)聽(tīng)覺(jué)反饋的反饋輸出端；以及能夠使用戶(hù)根據(jù)所述反饋選擇當(dāng)前選項(xiàng)的確認(rèn)輸入端。優(yōu)選的是，諸如移動(dòng)電話的設(shè)備的手持版本具有拇指輪或者其它單步調(diào)試部件，用于讓用戶(hù)掃視選項(xiàng)的線性或者環(huán)形陣列。每個(gè)相應(yīng)的選項(xiàng)由相應(yīng)的音頻輸出表示，所述音頻輸出當(dāng)將滾輪的凹口卷起或放下時(shí)進(jìn)行播出。這樣能夠使用戶(hù)利用單手并且在無(wú)需看著設(shè)備的情況下來(lái)選擇選項(xiàng)。由于不需要小鍵盤(pán)通過(guò)個(gè)性化目錄輸入數(shù)字以進(jìn)行呼叫，所以這樣還可以允許形狀音素小于傳統(tǒng)的移動(dòng)電話。
對(duì)于本發(fā)明來(lái)說(shuō)，可以增加高分辨率的信息維數(shù)，以便進(jìn)一步簡(jiǎn)化選擇過(guò)程。在上述地址薄的例子中，將屬性列添加到當(dāng)前地址列表頁(yè)中。地址簿包含例如與正在顯示的記錄相關(guān)的視覺(jué)上的不同形狀。所述形狀還可以是不同顏色的，以便進(jìn)一步提高可得到的組合的信息分辨率和數(shù)目。所述形狀和/或顏色不與數(shù)據(jù)庫(kù)中的特定項(xiàng)相關(guān)聯(lián)，例如收件人名稱(chēng)，而是與屏幕上特定項(xiàng)的位置相關(guān)聯(lián)，例如線。當(dāng)用戶(hù)上卷或者下卷所述列表時(shí)，屬性列中的項(xiàng)基本上保持相同。用戶(hù)通過(guò)說(shuō)出形狀和/或其顏色的名稱(chēng)來(lái)訪問(wèn)個(gè)體記錄，其中所述形狀和/或顏色當(dāng)前與所顯示的記錄相關(guān)聯(lián)。例如，短語(yǔ)“藍(lán)色圓圈”將選擇在屬性列中以相應(yīng)形狀/顏色組合標(biāo)記的記錄。選擇語(yǔ)音上基本不同的形狀和顏色的名稱(chēng)，以便降低翻譯概率。這對(duì)于解決發(fā)音彼此非常相似或者發(fā)音不是很清楚的項(xiàng)、例如人名稱(chēng)，是尤其有用的。用戶(hù)能夠以他/她的判斷來(lái)啟用上述例子中的圖形輔助語(yǔ)音接口，例如通過(guò)按電鈕來(lái)實(shí)現(xiàn)。作為選擇，能夠以地址簿外殼上的固定按鈕的方式來(lái)實(shí)現(xiàn)形狀和顏色。用戶(hù)能夠通過(guò)按下按鈕的確定組合來(lái)訪問(wèn)記錄。
在另外的例子中，將信息分辨率漸近(information resolutionapproach)用于帶有互聯(lián)網(wǎng)訪問(wèn)(瀏覽器)和顯示器顯示的手持信息處理設(shè)備，諸如PDA、掌上型電腦、web pads、使用WAP(無(wú)線應(yīng)用協(xié)議)、藍(lán)牙，802.11等技術(shù)的移動(dòng)電話。這種設(shè)備可以使用瀏覽器通過(guò)互聯(lián)網(wǎng)進(jìn)行檢索和導(dǎo)航網(wǎng)頁(yè)，但是它們無(wú)法在不丟失信息的情況下顯示整體頁(yè)面。然而，頁(yè)面圖像的布局和一般外貌表明例如包含超鏈接的部分表明是否為用戶(hù)感興趣的。為了簡(jiǎn)化訪問(wèn)頁(yè)面的特定部分，諸如“圖像”、“文本”、“段”的高級(jí)HTML標(biāo)識(shí)可用于表現(xiàn)頁(yè)面的概觀。也可以使用最高層X(jué)ML標(biāo)識(shí)。所述系統(tǒng)能夠響應(yīng)表明頁(yè)面特定部分的語(yǔ)音命令，例如“圖像”。如果在頁(yè)面上顯示出多個(gè)圖像，那么可以按照數(shù)目、顏色、特殊符號(hào)等來(lái)表示。所述系統(tǒng)能夠響應(yīng)表明信息項(xiàng)屬性的命令。例如，在彩色熒光屏上，藍(lán)色條表示第一圖像，而綠色條表示其它圖像，以便命令“藍(lán)色圖像”能夠使用戶(hù)放大第一圖像。在黑白屏幕上，可以由具有明顯區(qū)別形狀的符號(hào)來(lái)表示信息項(xiàng)，例如星形、圓圈、矩形等。因此，所述系統(tǒng)能夠響應(yīng)諸如“星圖像”、“圓圈文本”以及其他等等的命令。
本發(fā)明的系統(tǒng)優(yōu)選的是，為多層菜單中的各級(jí)向用戶(hù)提供定制選項(xiàng)，諸如其它的訪問(wèn)模式偏好，例如語(yǔ)音、指示/觸摸、按鈕等?；赑C或互聯(lián)網(wǎng)服務(wù)器的軟件可以指導(dǎo)用戶(hù)按結(jié)構(gòu)級(jí)來(lái)選擇信息單位、模式、選項(xiàng)表示，例如形狀、顏色、語(yǔ)言、發(fā)音等。例如，用戶(hù)能夠選擇形狀的任取其一的分類(lèi)，諸如幾何圖形、水果、動(dòng)物、數(shù)字等。用戶(hù)還能夠通過(guò)計(jì)算機(jī)下載圖形集和/或繪圖軟件，例如通過(guò)網(wǎng)絡(luò)服務(wù)器、PC、PDA。
圖1、2和3是具有電子地址薄的通信裝置100的UI中的連續(xù)層的圖。在此例子中，設(shè)備100是無(wú)線設(shè)備，并且例如包括手機(jī)功能、電子郵件功能和SMS功能。地址簿具有設(shè)備100的操作模式中的菜單，以便使用戶(hù)選擇收件人的名稱(chēng)，以及對(duì)此收件人待執(zhí)行的通信動(dòng)作，例如開(kāi)始呼叫、發(fā)送瞬時(shí)消息、發(fā)送電子郵件、發(fā)送SMS消息等。在此作為特定入口的姓“Shteyn”通過(guò)選擇適當(dāng)?shù)拿Q(chēng)集而選出，例如經(jīng)由滾動(dòng)按鈕(未示出)或者表明字母“S”的軟TAB鍵，或者通過(guò)發(fā)音“S”、經(jīng)由語(yǔ)音輸入來(lái)實(shí)現(xiàn)，其中所述發(fā)音“S”由麥克風(fēng)106采集并且由語(yǔ)音識(shí)別系統(tǒng)108等來(lái)處理。然后，用戶(hù)觸摸顯示在設(shè)備觸摸屏104上的第一層菜單的名稱(chēng)圖形表示102(例如字母數(shù)字表示、圖標(biāo)或者圖像等)。作為選擇，通過(guò)向與語(yǔ)音識(shí)別系統(tǒng)108相耦合的麥克風(fēng)106說(shuō)出相關(guān)人的名稱(chēng)，可以選擇特定入口。為了在第一步中選擇特定名稱(chēng)的語(yǔ)音接口的信息分辨率，由于所列名稱(chēng)之間語(yǔ)音的相似性而可以相對(duì)低。另一個(gè)缺點(diǎn)在于語(yǔ)音識(shí)別系統(tǒng)108通常必須為每一單個(gè)用戶(hù)的地址簿的每個(gè)個(gè)人名稱(chēng)入口進(jìn)行訓(xùn)練。因此，更為方便的是進(jìn)行語(yǔ)音控制，以便使當(dāng)前顯示在顯示器104上的每一個(gè)名稱(chēng)臨時(shí)映射到預(yù)定屬性的特定屬性上，其中已經(jīng)為所述屬性進(jìn)行了語(yǔ)音控制的預(yù)編程。這里將所述屬性顯示在列110中。向上或者向下滾動(dòng)名稱(chēng)，以便將另一個(gè)名稱(chēng)子集顯示出來(lái)。顯示在顯示器104上的每個(gè)子集能因此與同一預(yù)定義的屬性相關(guān)聯(lián)，以用于在操作使用期間選擇。也就是說(shuō)，當(dāng)用戶(hù)上卷或者下卷名稱(chēng)列表時(shí)，列110保持不變。在所示出的例子中，所述屬性是幾何形狀。作為選擇，其例如還可以是不同的顏色、數(shù)字等。在以當(dāng)前名稱(chēng)子集所示的例子中，屬性“圓圈”與名稱(chēng)“Shteyn”相關(guān)聯(lián)；屬性“三角形”與名稱(chēng)“Steen”相關(guān)聯(lián)；屬性“月形”與名稱(chēng)“Stein”相關(guān)聯(lián)；屬性“正方形”與名稱(chēng)“Steyn”相關(guān)聯(lián)；名稱(chēng)“Stijn”與屬性“三角形”相關(guān)聯(lián)。例如在顯示器104的獨(dú)立窗口中顯示顯示板110中的屬性，或者作為設(shè)備100上的硬按鈕等等。顯示推薦的模式提示110，以表明語(yǔ)音識(shí)別系統(tǒng)被激活。通過(guò)視覺(jué)上將所顯示的信息項(xiàng)“Shteyn”與圖形符號(hào)“圓圈”相關(guān)聯(lián)，并且說(shuō)出詞“圓圈”，或者通過(guò)觸摸觸摸屏104上的圓圈，經(jīng)由語(yǔ)音輸入來(lái)實(shí)現(xiàn)收件人“Shteyn”的選擇。據(jù)此，選擇機(jī)制利用名稱(chēng)“Shteyn”的語(yǔ)義內(nèi)容到(摘要)屬性上的視覺(jué)映射，這里所述屬性是“圓圈”，并且說(shuō)出后者名稱(chēng)。選擇由此涉及視覺(jué)方面和語(yǔ)音方面的混合組合。當(dāng)選擇收件人的名稱(chēng)“Shteyn”時(shí)，菜單進(jìn)入到圖2中所示的下一個(gè)狀態(tài)。
圖2示出了一經(jīng)選擇入口、這里是收件人的姓“Shteyn”的顯示器104。地址簿的菜單示出了此選擇存在四個(gè)可能的選項(xiàng)“Eugene”、“Svetlana”、“Vladimir”和“Alice”。用戶(hù)想要給Alice Shteyn打電話。為了選擇入口“Alice”，可以使用圖1的屬性映射。然而，由于信息分辨率足以高到可以使用語(yǔ)音輸入的級(jí)別可獲得的選項(xiàng)的數(shù)目有限，所以經(jīng)由系統(tǒng)108進(jìn)行語(yǔ)音輸入更為方便。用戶(hù)說(shuō)單詞“Alice”以選擇此收件人。當(dāng)選擇“Alice”時(shí)，菜單可以圖形地進(jìn)入下一級(jí)，并列出與Alice有聯(lián)系的選項(xiàng)她的電話號(hào)碼、她的電子郵件地址、她的尋呼機(jī)號(hào)、或者表示這些相關(guān)信息項(xiàng)的圖標(biāo)等等，參見(jiàn)圖3的圖表。應(yīng)該注意的是，在操作模式中，因?yàn)橛脩?hù)只對(duì)以確定通信方式經(jīng)由設(shè)備100開(kāi)始聯(lián)絡(luò)感興趣，而不需要對(duì)用于其的確切聯(lián)系信息感興趣，所以無(wú)須顯示號(hào)碼或者電子郵件地址。當(dāng)用戶(hù)說(shuō)出“呼叫”或者“電話”時(shí)，甚至可以完全省略因Alice而列出的通信選項(xiàng)的顯示。由于代表遍及地址簿的所有收件人的通信方式是有限的，所以用戶(hù)在此例子中說(shuō)“呼叫”或者“電話”。應(yīng)該注意的是，當(dāng)用戶(hù)說(shuō)出“Alice”之后立即說(shuō)出“呼叫”或者“電話”時(shí)，甚至可以完全省略因Alice列出的通信選項(xiàng)的顯示，從而圖2的菜單級(jí)成為選擇過(guò)程的結(jié)束。于是，設(shè)備撥打所列出的Alice Shteyn私人手機(jī)的號(hào)碼，并且開(kāi)始呼叫。
圖4是舉例說(shuō)明利用依照本發(fā)明的設(shè)備或者系統(tǒng)進(jìn)行用戶(hù)交互的過(guò)程的流程圖，其中所述設(shè)備或者系統(tǒng)允許語(yǔ)音輸入以及用于用戶(hù)交互的其他模式。在步驟402中，確定環(huán)境噪聲級(jí)并且在步驟404中與閾級(jí)相比。如果所述環(huán)境噪聲級(jí)不低于確定閾值，那么在步驟406中激活觸摸屏訪問(wèn)模式。所述設(shè)備在步驟408中還選擇適當(dāng)?shù)脑L問(wèn)模式提示，以通知用戶(hù)所選擇的訪問(wèn)模式，例如圖形模式，并且在步驟410中向用戶(hù)呈現(xiàn)該模式。然后，用戶(hù)經(jīng)由觸摸屏提供輸入。如果所述環(huán)境噪聲級(jí)低于閾值，那么在步驟414中系統(tǒng)設(shè)備初始化圖形輔助語(yǔ)音控制系統(tǒng)。在步驟416中，例如通過(guò)系統(tǒng)自動(dòng)地或者人工地或者由用戶(hù)經(jīng)由語(yǔ)音輸入來(lái)選擇圖形集。圖形集包括圖標(biāo)或者符號(hào)集合，例如顯示在顯示監(jiān)視器上的由參考標(biāo)記110表明的集合。在步驟418中建立捆綁機(jī)制，以便一方面在圖標(biāo)或符號(hào)與圖形地表示的信息項(xiàng)之間創(chuàng)建關(guān)聯(lián)，例如圖1中的名稱(chēng)。在步驟420中，產(chǎn)生合并的GUI，例如以所顯示的名稱(chēng)和圖標(biāo)在圖1所示出的那樣。在步驟422中，激活語(yǔ)音控制訪問(wèn)模式，并且如在上述步驟408下解釋的那樣來(lái)選擇訪問(wèn)模式提示。
圖5是舉例說(shuō)明依照本發(fā)明的圖形輔助語(yǔ)音控制系統(tǒng)的標(biāo)識(shí)內(nèi)容(例如HTML、XML)顯示接口的流程圖。在步驟502中，用戶(hù)設(shè)備或者享有其利益的代理設(shè)備、從服務(wù)器接收用戶(hù)所請(qǐng)求的HTML文件。所述HTML文件可以表示網(wǎng)頁(yè)、用戶(hù)接口表示，例如UPnP設(shè)備接口等。在步驟504中，例如以像素為單位來(lái)估算頁(yè)面顯示大小。HTML頁(yè)面大小的確定在現(xiàn)有技術(shù)中是被人們所熟知的。例如，可以在互聯(lián)網(wǎng)上，例如從www.mozilla.org中獲得Netscape web browser的源代碼。在步驟506中，將所要求的顯示大小與實(shí)際設(shè)備顯示大小或者用于顯示的有效區(qū)域相比較，以便確定分辨率閾值是否低于所要求的閾值。所述閾值例如可以由所要求的頁(yè)面大小和實(shí)際有效的屏幕大小之間的比率來(lái)表示。設(shè)備的圖像縮放能力也可以被考慮。如果顯示要求超過(guò)閾值，那么在步驟508中，激活全觸摸屏訪問(wèn)模式。否則，在步驟516中，初始化圖形輔助語(yǔ)音控制系統(tǒng)。所述初始化步驟可以涉及載入存儲(chǔ)器程序指令和/或涉及下一步過(guò)程的過(guò)程數(shù)據(jù)段。所述數(shù)據(jù)段可以駐留在設(shè)備自身或者其他設(shè)備上，例如個(gè)人計(jì)算機(jī)或者互聯(lián)網(wǎng)服務(wù)器。在后者的情況下，將設(shè)備經(jīng)由有線或者無(wú)線網(wǎng)絡(luò)連接。在步驟518中，選擇顯示標(biāo)記集。在所給出的實(shí)現(xiàn)方式中，所述標(biāo)記集包括HTML標(biāo)識(shí)名列表，例如IMG、FORM、TABLE等等，以及選擇性地包括它們表示的元件的閾值像素尺寸。所述標(biāo)識(shí)可以表示HTML文檔的標(biāo)準(zhǔn)屬性，和/或與特定文件類(lèi)型相關(guān)的專(zhuān)有擴(kuò)展名。在此處所述的實(shí)現(xiàn)方式中，所述HTML文檔表示在互聯(lián)網(wǎng)上利用以及被稱(chēng)為“標(biāo)記語(yǔ)言”的方式來(lái)寫(xiě)的超媒體內(nèi)容的實(shí)例。SGML就是這種語(yǔ)言之一，用于描述文檔結(jié)構(gòu)并且用于描述標(biāo)記方案，以便描繪文本中的結(jié)構(gòu)。HTML、XML、XHTML是SGML的子集，其被廣泛用于文檔表示以及文檔通信。在步驟520中，分析HTML文件以提取由所述標(biāo)識(shí)表示的信息，其中所述標(biāo)識(shí)在步驟518中所選的標(biāo)記集合中列出。當(dāng)準(zhǔn)備顯示所提取的信息時(shí)，例如通過(guò)除去不適合所選擇的標(biāo)記集合的標(biāo)記數(shù)據(jù)、可以存儲(chǔ)原始文件以便備查或者將其清除。在步驟522中選擇圖形集來(lái)表示在顯示器上所識(shí)別的、標(biāo)記的信息。所述圖形集可以包括圖標(biāo)、幾何圖形、標(biāo)識(shí)名稱(chēng)等集合。在步驟524中，將所標(biāo)記的信息段映射到所述圖形集，以便在兩者之間建立視覺(jué)和音頻通信。在步驟526中，產(chǎn)生合并的GUI以允許原始HTML文件的顯示表示。所述組合可以作為HTML文件來(lái)實(shí)現(xiàn)，所述HTML文件具有標(biāo)記的信息段以及在步驟522中選擇的圖形集元件。在那種情況下，根據(jù)系統(tǒng)配置由諸如IMG、FONT的HTML標(biāo)識(shí)來(lái)表示圖形集元件。在步驟528中，激活語(yǔ)音控制訪問(wèn)模式以允許“收聽(tīng)”并且提取與所述圖形集相關(guān)聯(lián)的語(yǔ)音命令。在步驟510中，選擇訪問(wèn)模式提示以便向用戶(hù)提供優(yōu)選的訪問(wèn)模式的指示。在步驟512中，將提示呈現(xiàn)給用戶(hù)，并且在步驟514中，將系統(tǒng)設(shè)置為等待用戶(hù)輸入。如上所述的過(guò)程可以在顯示設(shè)備本身上實(shí)現(xiàn)，或者在分布式或客戶(hù)-服務(wù)器環(huán)境內(nèi)、以及它們的組合中實(shí)現(xiàn)。例如，對(duì)于具有不足的計(jì)算資源的設(shè)備、例如移動(dòng)電話來(lái)說(shuō)，代理服務(wù)器可以執(zhí)行從步驟504到步驟526的操作。在后者的情況下，將結(jié)果產(chǎn)生的HTML文件或者具有更喜歡的交互模式的指示的其壓縮圖像發(fā)送到所述設(shè)備。在另外的實(shí)現(xiàn)方式中，將顯示的標(biāo)識(shí)集和圖形集作為用戶(hù)偏好數(shù)據(jù)庫(kù)的一部分存儲(chǔ)在服務(wù)器上。
權(quán)利要求
1.一種具有UI的電子設(shè)備，其中所述UI提供第一用戶(hù)可選選項(xiàng)以及第二用戶(hù)可選選項(xiàng)，所述第二用戶(hù)可選選項(xiàng)當(dāng)選擇第一選項(xiàng)的特定一個(gè)選項(xiàng)時(shí)獲得；顯示第一選項(xiàng)時(shí)的信息分辨率不同于顯示第二選項(xiàng)時(shí)的信息分辨率；以及從第一選項(xiàng)中進(jìn)行選擇的與UI的用戶(hù)交互的第一模式，不同于從第二選項(xiàng)中選出的與UI的用戶(hù)交互的第二模式。
2.如權(quán)利要求1所述的設(shè)備，其中至少第一模式或者第二模式可以依照UI的配置模式進(jìn)行編程。
3.如權(quán)利要求1所述的設(shè)備，其中與UI的用戶(hù)交互的附加模式可用于從至少第一或者第二選項(xiàng)中進(jìn)行選擇。
4.如權(quán)利要求1所述的設(shè)備，包括通信功能。
5.如權(quán)利要求1所述的設(shè)備，其中所述設(shè)備具有觸摸屏；所述設(shè)備具有用于語(yǔ)音輸入的麥克風(fēng)；第一和第二模式之一涉及觸摸所述觸摸屏；第一和第二模式的另一個(gè)涉及語(yǔ)音輸入。
6.如權(quán)利要求1所述的設(shè)備，包括顯示監(jiān)視器，用于顯示至少一些第一選項(xiàng)；第一裝置，用于使用戶(hù)能夠?qū)⑺@示的第一選項(xiàng)的每個(gè)相應(yīng)選項(xiàng)與多個(gè)預(yù)定屬性的相應(yīng)屬性進(jìn)行關(guān)聯(lián)；以及第二裝置，用于經(jīng)由相關(guān)聯(lián)的屬性選擇所顯示的第一選項(xiàng)的特定一個(gè)選項(xiàng)。
7.用于提供UI以便能夠選擇布置在第一和第二層中的選項(xiàng)的方法，其中當(dāng)在UI中顯示時(shí)、第一層中的選項(xiàng)具有不同于在UI中顯示時(shí)的第二層中選項(xiàng)的信息分辨率；并且所述方法包括提供在第一層中選擇第一選項(xiàng)之一的第一模式，它不同于在第二層中選擇第二選項(xiàng)之一的第二模式。
8.如權(quán)利要求7所述的方法，其中第一和第二模式之一涉及觸摸屏，并且其中其它的第一和第二選項(xiàng)涉及語(yǔ)音輸入。
9.在電子設(shè)備上使用的軟件，用于生成提供第一用戶(hù)可選選項(xiàng)以及第二用戶(hù)可選選項(xiàng)的UI，其中所述第二用戶(hù)可選選項(xiàng)當(dāng)選擇第一選項(xiàng)的特定選項(xiàng)時(shí)獲得，其中，當(dāng)顯示第一選項(xiàng)時(shí)的信息分辨率不同于顯示第二選項(xiàng)時(shí)的信息分辨率，并且其中用于從第一選項(xiàng)中選擇的與UI的用戶(hù)交互的第一模式、不同于用于從第二選項(xiàng)中選擇的與UI的用戶(hù)交互的第二模式。
10.如權(quán)利要求9所述的軟件，其中第一和第二模式之一涉及觸摸屏，并且其中其它的第一和第二選項(xiàng)涉及語(yǔ)音輸入。
全文摘要
一種具有用于提供第一用戶(hù)可選選項(xiàng)的UI的電子設(shè)備。當(dāng)選擇第一選項(xiàng)的特定選項(xiàng)時(shí)可獲得第二用戶(hù)可選選項(xiàng)。當(dāng)顯示第一選項(xiàng)時(shí)的信息分辨率不同于顯示第二選項(xiàng)時(shí)的信息分辨率。此外，用于從第一選項(xiàng)進(jìn)行選擇的與UI的用戶(hù)交互的第一模式、不同于從第二選項(xiàng)進(jìn)行選擇的與UI的用戶(hù)交互的第二模式。
文檔編號(hào)G06F3/048GK1602461SQ02824744
公開(kāi)日2005年3月30日 申請(qǐng)日期2002年11月20日 優(yōu)先權(quán)日2001年12月13日
發(fā)明者Y·E·斯特伊恩 申請(qǐng)人:皇家飛利浦電子股份有限公司