專利名稱：控制應(yīng)用的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)話管理系統(tǒng)以及用于驅(qū)動(dòng)對(duì)話管理系統(tǒng)以遠(yuǎn)程控制應(yīng)用的方法。而且，本發(fā)明涉及本地交互設(shè)備以及用于這種語(yǔ)音對(duì)話系統(tǒng)的指示設(shè)備。
背景技術(shù)：
當(dāng)今遙控器幾乎用于任何消費(fèi)電子設(shè)備，例如電視、DVD播放器、調(diào)諧器等。在一般家庭中需要多個(gè)遙控器-經(jīng)常每個(gè)消費(fèi)電子設(shè)備一個(gè)。即使對(duì)于很了解所擁有的消費(fèi)電子設(shè)備的人員而言，記住每個(gè)遙控器上的每個(gè)按鈕實(shí)際是做什么的都是一個(gè)難題。此外，尤其對(duì)于那些對(duì)設(shè)備的可利用選項(xiàng)沒(méi)有深入認(rèn)識(shí)的用戶來(lái)說(shuō)，某些消費(fèi)電子設(shè)備上可利用的屏幕上菜單驅(qū)動(dòng)的導(dǎo)航不是很直觀。結(jié)果是用戶必須連續(xù)地檢查屏幕上出現(xiàn)的菜單來(lái)定位他正在尋找的選項(xiàng)，然后向下看遙控器來(lái)尋找相應(yīng)的按鈕。通常按鈕被給出并不直觀的名稱或縮寫(xiě)。另外，遙控器上的按鈕還可以執(zhí)行其他功能，其可通過(guò)首先按壓模式按鈕來(lái)獲得。令人遺憾地是，現(xiàn)代消費(fèi)電子設(shè)備的多個(gè)可用選項(xiàng)意味著對(duì)于許多用戶而言編程這種設(shè)備會(huì)成為挫折練習(xí)。大量按鈕以及比非直觀的菜單選項(xiàng)會(huì)使得對(duì)設(shè)備的編程更為困難，并且經(jīng)常導(dǎo)致用戶不能充分利用他所購(gòu)買的設(shè)備。
由于當(dāng)今幾乎每個(gè)消費(fèi)電子設(shè)備都帶有它自己的遙控設(shè)備的事實(shí)，所以充分利用所有消費(fèi)電子設(shè)備變得越發(fā)困難。迄今為止對(duì)多數(shù)遙控裝置按鈕縮寫(xiě)和符號(hào)進(jìn)行了標(biāo)準(zhǔn)化以使得在不同語(yǔ)言國(guó)家銷售相同的遙控設(shè)備，即使如此，也可能是不同的縮寫(xiě)或符號(hào)用于不同的遙控裝置上執(zhí)行相同的功能，例如縮寫(xiě)“CH”和“PR”可用來(lái)表明“頻道”“節(jié)目”，實(shí)質(zhì)上意思相同。遙控裝置在形狀、大小、整體外觀和甚至電池規(guī)格方面都有所不同。
為了減少由這樣多個(gè)遙控裝置所引起的混淆，已經(jīng)開(kāi)發(fā)了一種新產(chǎn)品種類的“通用遙控裝置”。然而，即使通用遙控裝置也無(wú)法被期望獲得當(dāng)今市場(chǎng)上銷售的每個(gè)消費(fèi)電子設(shè)備所提供的所有功能，尤其因?yàn)樾碌募夹g(shù)和特性在不斷地發(fā)展。此外，現(xiàn)代消費(fèi)電子設(shè)備所提供的多種功能需要相應(yīng)的多個(gè)按鈕來(lái)啟動(dòng)這些功能，需要不便利的較大遙控裝置來(lái)容納所有按鈕。
此外，通常的遙控裝置僅限于控制一個(gè)或至多少數(shù)類似設(shè)備，所有設(shè)備都必須安裝有兼容式接口，例如，一個(gè)遙控裝置充其量只能用于電視、CD播放器和VCR，并且只有它在被控制的設(shè)備附近時(shí)能用。如果用戶將遙控裝置脫離設(shè)備的范圍之外，那么他就不再能控制它們的功能。
已知控制設(shè)備或應(yīng)用的其它方法，例如借助于用戶和對(duì)話管理系統(tǒng)之間的口頭對(duì)話。有時(shí)，這種對(duì)話管理系統(tǒng)能以某些方式與應(yīng)用通信，這樣用戶能通過(guò)向?qū)υ捁芾硐到y(tǒng)說(shuō)適當(dāng)?shù)拿顏?lái)間接地控制應(yīng)用，對(duì)話管理系統(tǒng)翻譯口頭命令并將命令傳遞到相應(yīng)的應(yīng)用。然而，這種對(duì)話管理系統(tǒng)僅限于全部基于語(yǔ)音的通信；也就是，用戶必須發(fā)出清楚的命令，這些命令對(duì)于被控制的應(yīng)用具有唯一的解釋。用戶必須學(xué)會(huì)所有這些命令，并且必須使得對(duì)話管理系統(tǒng)也能識(shí)別它們。此外，使用這種方法通常限于這種情況用戶處于對(duì)話管理系統(tǒng)的鄰近區(qū)域。對(duì)應(yīng)用的控制從而受到用戶所在之處的限制。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種由用戶便利和直觀地遠(yuǎn)程控制應(yīng)用的方法和系統(tǒng)。
為此，本發(fā)明提供了一種用于控制應(yīng)用的對(duì)話管理系統(tǒng)，包括移動(dòng)指示設(shè)備和本地交互設(shè)備。移動(dòng)指示設(shè)備包括照相機(jī)并能夠在移動(dòng)指示設(shè)備所對(duì)準(zhǔn)的方向生成目標(biāo)區(qū)域的圖像，并且能借助于傳輸接口以無(wú)線方式將目標(biāo)區(qū)域圖像傳輸?shù)奖镜亟换ピO(shè)備，例如利用藍(lán)牙或802.11b標(biāo)準(zhǔn)。本地交互設(shè)備又包括音頻接口設(shè)備，用于檢測(cè)并處理語(yǔ)音輸入并生成與輸出可聽(tīng)提示，以及核心對(duì)話引擎，用于通過(guò)翻譯用戶輸入并生成輸出提示協(xié)調(diào)對(duì)話流。此外，本地交互設(shè)備包括用于在對(duì)話管理系統(tǒng)和應(yīng)用之間進(jìn)行通信的應(yīng)用接口，其優(yōu)選地能夠以并行方式處理多個(gè)應(yīng)用，以及用于從移動(dòng)指示設(shè)備接收目標(biāo)區(qū)域圖像的接收接口，和用于處理目標(biāo)區(qū)域圖像的圖像處理設(shè)備。對(duì)話管理系統(tǒng)優(yōu)選地可以控制在家庭和/或辦公室環(huán)境中運(yùn)行的多個(gè)應(yīng)用，并可以通知用戶它們的狀態(tài)。
所述“目標(biāo)區(qū)域”理解為表示在移動(dòng)指示設(shè)備的前面，能通過(guò)設(shè)備的照相機(jī)記錄在圖像中的區(qū)域。目標(biāo)區(qū)域的大小可以很大程度上由合并到移動(dòng)指示設(shè)備中的照相機(jī)的性能來(lái)確定。為生成圖像，用戶可以將設(shè)備前面的移動(dòng)指示設(shè)備指向報(bào)紙或雜志的頁(yè)，或者指向他希望拍攝的任何對(duì)象。為了簡(jiǎn)單起見(jiàn)，在下文中將移動(dòng)指示設(shè)備正對(duì)準(zhǔn)的目標(biāo)稱作“可視顯示”。所述術(shù)語(yǔ)“目標(biāo)區(qū)域圖像”將會(huì)被較為廣義的理解，例如目標(biāo)區(qū)域圖像可以只包括涉及整個(gè)圖像的顯著點(diǎn)的圖像數(shù)據(jù)，例如，強(qiáng)化的輪廓、拐角、邊緣等等。
根據(jù)本發(fā)明的本地交互設(shè)備可以并入已有的設(shè)備中，諸如PC、電視、錄像機(jī)等等。在優(yōu)選的實(shí)施例中，本地交互設(shè)備實(shí)施為獨(dú)立裝置，具有物理形態(tài)諸如機(jī)器人或者優(yōu)選為人的物理形態(tài)。本地交互設(shè)備可以實(shí)現(xiàn)為如上所述的專用設(shè)備，例如，在DE10249060 A1中，構(gòu)造為這種方式具有示意性面部特征的可移動(dòng)部分能夠轉(zhuǎn)向面對(duì)用戶，給出設(shè)備在聆聽(tīng)用戶的效果。這種本地交互設(shè)備甚至可以構(gòu)造為這種方式它能伴隨著用戶從一個(gè)房間移動(dòng)到另一個(gè)房間。本地交互設(shè)備和各個(gè)應(yīng)用之間的接口可以借助于電纜實(shí)現(xiàn)。優(yōu)選地，所述接口以無(wú)線方式實(shí)現(xiàn)，諸如紅外線、藍(lán)牙、等等。這樣，本地交互設(shè)備實(shí)質(zhì)上在它的調(diào)配環(huán)境之內(nèi)保持移動(dòng)，并且不局限于定位在用于驅(qū)動(dòng)的應(yīng)用的直接鄰近區(qū)域。如果無(wú)線接口具有足夠的射程，那么對(duì)話管理系統(tǒng)的本地交互設(shè)備就能容易地用于控制位于建筑(諸如辦公大樓或者私房)的不同房間中的多個(gè)設(shè)備的應(yīng)用。本地交互設(shè)備和各個(gè)應(yīng)用之間的接口優(yōu)選為在專用應(yīng)用接口部件中進(jìn)行管理。本文中，通過(guò)將根據(jù)口頭的用戶輸入解釋的任何命令或者指令轉(zhuǎn)送到每個(gè)應(yīng)用、通過(guò)從應(yīng)用接收打算發(fā)給用戶的任何反饋來(lái)管理應(yīng)用和本地交互設(shè)備之間的通信。應(yīng)用接口單元能以并行方式處理多個(gè)應(yīng)用。在本發(fā)明的特定優(yōu)選實(shí)施例中，本地交互設(shè)備包括自動(dòng)定向前面部分，其用于在顯示對(duì)話提示期間、在顯示受控制的應(yīng)用的用戶選項(xiàng)期間、或者在將圖像或者音頻消息呈現(xiàn)給用戶期間面對(duì)用戶。
根據(jù)本發(fā)明用于驅(qū)動(dòng)這種對(duì)話管理系統(tǒng)的方法，用于通過(guò)口頭對(duì)話控制應(yīng)用或者設(shè)備，在適當(dāng)時(shí)包括以下附加步驟，將移動(dòng)指示設(shè)備對(duì)準(zhǔn)特定對(duì)象并借助于以某種方式并入移動(dòng)指示設(shè)備中的照相機(jī)生成目標(biāo)區(qū)域圖像。目標(biāo)區(qū)域圖像隨后被傳輸給對(duì)話管理系統(tǒng)的本地交互設(shè)備，在本地交互設(shè)備中處理所述目標(biāo)區(qū)域圖像以得到用于控制設(shè)備或者應(yīng)用的控制信息。
因此本方法和系統(tǒng)為用戶提供了便利的方式僅僅通過(guò)將小型手持移動(dòng)指示設(shè)備對(duì)準(zhǔn)可視顯示而生成至少部分可視顯示的圖像，并將該圖像傳輸?shù)奖镜亟换ピO(shè)備來(lái)與應(yīng)用進(jìn)行交互，本地交互設(shè)備能解釋圖像并視情況與相應(yīng)應(yīng)用或設(shè)備進(jìn)行通信。因此用戶不再局限于語(yǔ)音對(duì)話或者預(yù)定命令組，而是能通過(guò)指示對(duì)象或者指向可視顯示而以更自然的方式通信，例如擴(kuò)充口頭命令。
從屬權(quán)利要求和隨后的描述公開(kāi)了本發(fā)明的特定優(yōu)選實(shí)施例和特征。
如上所述，本地交互設(shè)備能用于與單個(gè)應(yīng)用通信，但是同樣地也可以用于控制多個(gè)不同應(yīng)用。應(yīng)用可以是簡(jiǎn)單功能，諸如翻譯程序、存儲(chǔ)箱(store cupboard)管理器或者任何其它數(shù)據(jù)庫(kù)、或者可以是實(shí)際設(shè)備，諸如TV、DVD播放器或者冰箱。因此移動(dòng)指示設(shè)備可以用作一個(gè)應(yīng)用程序或者多個(gè)應(yīng)用程序的遙控裝置。此外，可以將多個(gè)移動(dòng)指示設(shè)備分配給本地交互設(shè)備，這樣，例如，家庭的每個(gè)成員都具有他自己的移動(dòng)指示設(shè)備。另一方面，可以將一個(gè)移動(dòng)指示設(shè)備分配給不同環(huán)境中的多個(gè)本地交互設(shè)備，例如使得用戶可以使用他的移動(dòng)指示設(shè)備在家和在不同位置諸如辦公室來(lái)控制應(yīng)用。
用于控制應(yīng)用的用戶選項(xiàng)可以以多種方式提供給用戶，靜態(tài)的和動(dòng)態(tài)的都可以。可以借助于語(yǔ)音對(duì)話將選項(xiàng)有聲地呈現(xiàn)給用戶，使得用戶可以聽(tīng)到選項(xiàng)并口頭地指定期望的選項(xiàng)。另一方面，選項(xiàng)同樣可以在視覺(jué)上呈現(xiàn)。靜態(tài)形式的設(shè)備的用戶選項(xiàng)的最簡(jiǎn)單可視顯示就是設(shè)備本身的前部，其中各種選項(xiàng)可以是按鈕或者旋鈕的形式，例如VCR上的停止、快速進(jìn)帶、記錄和播放按鈕。靜態(tài)的可視顯示的另一實(shí)例可以是以印刷的形式示出用戶選項(xiàng)，例如作為計(jì)算機(jī)打印輸出、或者TV雜志中的節(jié)目指南。特別是對(duì)于諸如TV、或者能與電視相連的DVD播放器等設(shè)備，選項(xiàng)可以作為設(shè)備前部上的按鈕以靜態(tài)形式提供給用戶，并且還可以容易地、動(dòng)態(tài)地顯示在電視屏幕上。本文中，選項(xiàng)可以以菜單項(xiàng)的形式或者作為圖標(biāo)示出。在本發(fā)明的特定優(yōu)選實(shí)施例中，一個(gè)以上設(shè)備的用戶選項(xiàng)能在一個(gè)可視顯示中同時(shí)示出。例如，調(diào)諧器選項(xiàng)和DVD選項(xiàng)可以一起顯示，特別是與兩個(gè)設(shè)備都有關(guān)的選項(xiàng)。這種選項(xiàng)組合的一個(gè)實(shí)例可以是顯示一組調(diào)諧器音頻選項(xiàng)，諸如環(huán)繞聲，杜比等等，以及DVD選項(xiàng)，諸如寬屏幕、副標(biāo)題等等。因此用戶能容易地并迅速地定制兩個(gè)設(shè)備的選項(xiàng)。
在本發(fā)明的優(yōu)選實(shí)施例中，本地交互設(shè)備可以連接至投影儀，投影儀能將多個(gè)應(yīng)用的用戶選項(xiàng)的可視顯示以圖像背景幕的形式投影到適當(dāng)?shù)谋砻嫔?，例如墻壁上。本地交互設(shè)備還可以利用獨(dú)立的屏幕，或者可以使用受控的其中一個(gè)應(yīng)用的屏幕。因此，對(duì)于一個(gè)應(yīng)用，用戶選項(xiàng)能以適合的方式呈現(xiàn)而無(wú)需具有顯示器，例如存儲(chǔ)箱管理應(yīng)用。同樣地，設(shè)備前部上的按鈕所表示的設(shè)備的任何選項(xiàng)例如可以呈現(xiàn)為較大圖像背景幕上的菜單選項(xiàng)以便于選擇。在本發(fā)明的其他優(yōu)選實(shí)施例中，本地交互設(shè)備可以產(chǎn)生可視顯示的硬拷貝，例如它可以印出具有相關(guān)評(píng)論家的評(píng)述的即將播出的節(jié)目列表，或者它可以印出食物烹飪方法，用戶可以利用用戶的存儲(chǔ)箱中可獲得的物品進(jìn)行準(zhǔn)備。
另外，本發(fā)明可以容易地向用戶提供使設(shè)備的選項(xiàng)私人化的裝置，例如，例如通過(guò)在屏幕上一次只顯示少量選項(xiàng)來(lái)幫助視力不好的用戶。此外，用戶可以具體地選擇省略那些他未曾需要的功能，例如，他的DVD播放器，他可能不希望觀看附有外語(yǔ)字幕的電影。在此情況下，他可以私人化他的用戶接口以從可視顯示省略這些選項(xiàng)。諸如電視之類的設(shè)備可以配置為使得對(duì)于某些用戶，只可訪問(wèn)可獲得的選項(xiàng)子集。這樣，某些頻道只能由授權(quán)的用戶訪問(wèn)，例如為了防止孩子看到對(duì)他們的年齡段而言不適合的節(jié)目。
可視顯示可用于擴(kuò)充語(yǔ)音對(duì)話，例如通過(guò)允許用戶口頭地從視覺(jué)上呈現(xiàn)出的多個(gè)選項(xiàng)中指定或者選擇選項(xiàng)。借助于根據(jù)本發(fā)明的移動(dòng)指示設(shè)備，有利地是用戶還可以選擇通過(guò)將包含照相機(jī)的移動(dòng)指示設(shè)備對(duì)準(zhǔn)用戶選項(xiàng)的可視顯示而得到的選項(xiàng)。
照相機(jī)優(yōu)選為并入到移動(dòng)指示設(shè)備中，但同樣也可以安裝在移動(dòng)指示設(shè)備上，并且優(yōu)選為將其定向以使它在用戶標(biāo)定的移動(dòng)指示設(shè)備前面生成區(qū)域圖像。目標(biāo)區(qū)域圖像可以只是整個(gè)可視顯示的一個(gè)小子集，也可以包括整個(gè)可視顯示，或者還可以包括可視顯示周圍的區(qū)域。目標(biāo)區(qū)域圖像相對(duì)于整個(gè)可視顯示的大小可以取決于可視顯示的大小、移動(dòng)指示設(shè)備和顯示之間的距離和照相機(jī)本身的性能。用戶可以這樣定位使得移動(dòng)指示設(shè)備與可視顯示有一些距離。同樣地，用戶可以使移動(dòng)指示設(shè)備十分靠近可視顯示，這可以發(fā)生在用戶將移動(dòng)指示設(shè)備對(duì)準(zhǔn)雜志形式的電視節(jié)目指南時(shí)出現(xiàn)。
在本發(fā)明的優(yōu)選實(shí)施例中，光源可以裝在移動(dòng)指示設(shè)備中或者裝在移動(dòng)指示設(shè)備上。光源可以用來(lái)以手電筒的方式照明移動(dòng)指示設(shè)備所對(duì)準(zhǔn)的區(qū)域，這樣用戶就可以容易地目測(cè)可視顯示，即使周圍是黑暗的。同樣地，光源可以是在所指向的方向發(fā)射的集中光束源，這樣光點(diǎn)就出現(xiàn)在用戶所對(duì)準(zhǔn)的可視顯示上的目標(biāo)點(diǎn)處或者目標(biāo)點(diǎn)附近，提供可視的定位反饋以幫助用戶瞄準(zhǔn)期望的選項(xiàng)。簡(jiǎn)單的實(shí)現(xiàn)方法可以是以適當(dāng)方式并入或者安裝在移動(dòng)指示設(shè)備上的激光源。因此在下文中，可以認(rèn)為-沒(méi)有以任何方式限制本發(fā)明-集中光源是激光束。
用戶可以把指示設(shè)備對(duì)準(zhǔn)可視顯示中的特定選項(xiàng)，例如對(duì)準(zhǔn)在VCR設(shè)備前部上的播放按鈕，對(duì)準(zhǔn)電視屏幕上顯示的DVD選項(xiàng)，或者對(duì)準(zhǔn)電視雜志中的特定節(jié)目。為表明正在作出選擇，用戶可以以預(yù)定方式在可視顯示上方移動(dòng)指示設(shè)備，例如通過(guò)在期望的選項(xiàng)周圍劃圈或者環(huán)形。用戶可以以距可視顯示一定距離在空中移動(dòng)指示設(shè)備，或者可以直接在可視顯示上方或者非?？拷梢曪@示移動(dòng)指示設(shè)備。另一種表明特定選項(xiàng)選擇的方式可以是將指示設(shè)備持續(xù)地對(duì)準(zhǔn)選項(xiàng)預(yù)定時(shí)間段。同樣地，用戶可以在可視顯示上輕彈指示設(shè)備來(lái)例如指示在從動(dòng)態(tài)可視顯示的本地交互設(shè)備所正在使用的電視設(shè)備的屏幕去除可視顯示之后恢復(fù)正常節(jié)目瀏覽，或者返回上級(jí)菜單級(jí)別。指示設(shè)備相對(duì)于可視顯示的移動(dòng)可以優(yōu)選地通過(guò)本地交互設(shè)備的圖像處理單元進(jìn)行檢測(cè)，或者可以通過(guò)指示設(shè)備中的運(yùn)動(dòng)傳感器進(jìn)行檢測(cè)。其他可能性可以是按下指示設(shè)備上的按鈕以表明選擇指示設(shè)備所對(duì)準(zhǔn)的選項(xiàng)。在優(yōu)選的實(shí)施例中，例如如果在以預(yù)定方式按下按鈕或者移動(dòng)指示設(shè)備的時(shí)用戶已經(jīng)對(duì)準(zhǔn)了明顯從選項(xiàng)的光學(xué)中心去除的一點(diǎn)，核心對(duì)話引擎可以啟動(dòng)口頭確認(rèn)對(duì)話以確定已經(jīng)正確地解釋了用戶的動(dòng)作。在此情況下核心對(duì)話引擎可以在繼續(xù)啟動(dòng)所選擇的選項(xiàng)或功能以前請(qǐng)求確認(rèn)。
如果可視顯示是動(dòng)態(tài)特性，那么對(duì)話管理系統(tǒng)優(yōu)選為可以使本地交互設(shè)備改變可視顯示來(lái)以某種方式高亮所選擇的選項(xiàng)，例如通過(guò)使得選項(xiàng)看起來(lái)閃光或者通過(guò)高亮顯示用戶對(duì)準(zhǔn)的可視顯示中的區(qū)域，并且或許可用聽(tīng)得到的“點(diǎn)擊”聲音伴隨于此。移動(dòng)指示設(shè)備還可以利用“拖放”技術(shù)在可視顯示中選擇功能，特別是當(dāng)用戶必須通過(guò)較大內(nèi)容空間導(dǎo)航時(shí)，例如通過(guò)將表示緩沖的DVD電影數(shù)據(jù)的圖標(biāo)拖動(dòng)到表示垃圾桶的另一圖標(biāo)，從而表明緩沖數(shù)據(jù)從存儲(chǔ)器上刪掉。各種功能可以由用戶啟動(dòng)，其中用戶以類似于“雙擊”的方式選擇選項(xiàng)，例如，通過(guò)以預(yù)定方式重復(fù)移動(dòng)指示設(shè)備的動(dòng)作或者兩次按下移動(dòng)指示設(shè)備上的按鈕。
為了確定哪個(gè)選項(xiàng)已經(jīng)被用戶選擇，圖像處理設(shè)備可以將接收的目標(biāo)區(qū)域圖像與例如可視顯示的多個(gè)預(yù)定模板相比較。一個(gè)預(yù)定模板就足夠用于比較，或者必需采用一個(gè)以上模板以作出成功的比較。
預(yù)定模板可以存儲(chǔ)在內(nèi)部存儲(chǔ)器中，或者同樣可以從外部源獲得。優(yōu)選地，控制單元包括具有適當(dāng)接口的存取單元，用于從例如內(nèi)部或者外存儲(chǔ)器、記憶棒、內(nèi)聯(lián)網(wǎng)或者因特網(wǎng)獲得受控設(shè)備的可視顯示的預(yù)定模板。模板可以是受控設(shè)備前部的圖形表示，例如特征化可用用戶選項(xiàng)的VCR設(shè)備前部的簡(jiǎn)化表示，例如表示播放、快進(jìn)、倒帶、停止和記錄功能的按鈕。模板還可以是如同電視屏幕上顯示的選項(xiàng)菜單的圖形表示并且可以表明與可視顯示的特定區(qū)域相關(guān)聯(lián)的可用設(shè)備選項(xiàng)的位置。例如，DVD播放器的用戶選項(xiàng)，諸如播放、快進(jìn)、字幕、語(yǔ)言等等，還可以在視覺(jué)上呈現(xiàn)在電視屏幕上。模板還可以描述可視顯示周圍的區(qū)域，例如它可能包括設(shè)備的殼體，并且甚至可以包括設(shè)備的某些緊鄰的環(huán)境。
可將用戶選項(xiàng)顯示在屏幕上的設(shè)備的用戶選項(xiàng)往往可以以菜單的形式呈現(xiàn)，其中用戶可以遍歷菜單以找到期望的選項(xiàng)或功能。在本發(fā)明的優(yōu)選實(shí)施例中，受控設(shè)備的每個(gè)可能的菜單級(jí)別都存在模板，這樣用戶就可以將移動(dòng)指示設(shè)備對(duì)準(zhǔn)在設(shè)備的任何控制級(jí)別的任一項(xiàng)可周選項(xiàng)。另一類型的模板可以具有雜志中電視節(jié)目向?qū)У耐庥^。這里，用于電視節(jié)目向?qū)е许?yè)面布局的模板可以通過(guò)存取單元獲得和/或更新，例如每天或者每周。優(yōu)選地，圖象翻譯軟件與電視節(jié)目向?qū)ы?yè)面的格式相兼容。模板優(yōu)選為特征化可提供給用戶的各種節(jié)目選項(xiàng)的頁(yè)面上的位置。用戶可以在為實(shí)際電視節(jié)目向?qū)е许?yè)面形式的可視顯示上對(duì)準(zhǔn)移動(dòng)指示設(shè)備來(lái)選擇特定選項(xiàng)，或者向?qū)Э梢砸曈X(jué)上呈現(xiàn)在電視屏幕上，用戶可以在電濕屏幕上對(duì)準(zhǔn)移動(dòng)指示設(shè)備以在可用選項(xiàng)之間作出選擇。
其它模板可以是已知產(chǎn)品的描述，例如對(duì)于諸如存儲(chǔ)箱管理器的應(yīng)用。本文中，模板可以表示用戶喜歡購(gòu)買和消費(fèi)的產(chǎn)品。用戶可以獲得所管理的所有產(chǎn)品的模板，例如通過(guò)從因特網(wǎng)下載圖象，或者通過(guò)利用他的移動(dòng)指示設(shè)備拍攝目標(biāo)并將圖像轉(zhuǎn)送到本地交互設(shè)備，其中圖像被處理并補(bǔ)充到存儲(chǔ)箱管理應(yīng)用，其中它們可以作為模板與稍候用戶可能將其傳輸?shù)奖镜亟换ピO(shè)備的圖像進(jìn)行比較。
為處理目標(biāo)區(qū)域圖像以確定所選定的選項(xiàng)，有利的是采用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)發(fā)現(xiàn)用戶已經(jīng)對(duì)準(zhǔn)的可視顯示中的點(diǎn)，也就是目標(biāo)點(diǎn)。
在本發(fā)明的優(yōu)選實(shí)施例中，通過(guò)沿著移動(dòng)指示設(shè)備的縱軸方向?qū)⑻摼€延長(zhǎng)到可視顯示而獲得目標(biāo)區(qū)域圖像中的固定點(diǎn)，優(yōu)選為目標(biāo)區(qū)域圖像的中心，可以用作目標(biāo)點(diǎn)。
利用計(jì)算機(jī)視覺(jué)算法處理可視顯示的目標(biāo)區(qū)域圖像的方法可以包括檢測(cè)目標(biāo)圖象中的特殊點(diǎn)并確定可視顯示的模板中的對(duì)應(yīng)點(diǎn)，并且進(jìn)行將目標(biāo)圖象中的點(diǎn)映射為模板中的對(duì)應(yīng)點(diǎn)的變換。目標(biāo)區(qū)域圖像的特殊點(diǎn)可以是可視顯示的點(diǎn)，或者同樣可以是可視顯示周圍區(qū)域中的點(diǎn)，例如電視屏幕的拐角，或者屬于受控設(shè)備附近的對(duì)象的點(diǎn)并且它們也被記錄在預(yù)定模板之中。然后該變換可以用于確定移動(dòng)指示設(shè)備相對(duì)于可視顯示的位置和方向，這樣移動(dòng)指示設(shè)備與可視顯示的軸的交點(diǎn)可以在模板中定位。模板中該交點(diǎn)的位置對(duì)應(yīng)于可視顯示上的目標(biāo)點(diǎn)，并且可用于容易地確定哪個(gè)選項(xiàng)已經(jīng)被用戶標(biāo)定。預(yù)定模板中目標(biāo)點(diǎn)的位置表明用戶所選擇的選項(xiàng)。這樣，將目標(biāo)區(qū)域圖像與預(yù)定模板進(jìn)行比較只限于標(biāo)識(shí)和比較特征點(diǎn)(salient point)，諸如特殊角點(diǎn)。本發(fā)明中采用的術(shù)語(yǔ)“比較”將被廣義地理解，也就是，僅僅通過(guò)比較足夠的特征來(lái)迅速地標(biāo)識(shí)用戶正對(duì)準(zhǔn)的點(diǎn)。
確定用戶所選擇的選項(xiàng)的另一可能方式就是直接將接收到的、集中在目標(biāo)點(diǎn)周圍的目標(biāo)區(qū)域圖像與預(yù)定模板相比較以利用諸如圖案匹配之類的方法定位可視顯示中標(biāo)定的點(diǎn)。將目標(biāo)區(qū)域圖像與預(yù)定模板進(jìn)行比較的另一方式將其本身限制為只標(biāo)識(shí)和比較特征點(diǎn)諸如特殊角點(diǎn)。
在本發(fā)明的其他實(shí)施例中，被傳輸?shù)娇刂茊卧械慕邮掌髯鳛槟繕?biāo)區(qū)域圖像一部分的激光點(diǎn)的位置可以用作目標(biāo)點(diǎn)來(lái)定位用戶所選擇的選項(xiàng)。激光點(diǎn)可以疊加在目標(biāo)區(qū)域圖像的中心上，但是同樣也可以偏離目標(biāo)區(qū)域圖像的中心。
在本發(fā)明的優(yōu)選實(shí)施例中，移動(dòng)指示設(shè)備可以是細(xì)長(zhǎng)形式的棒狀或者筆狀，可以由用戶舒適地抓握。因此，用戶可以在位于離可視顯示合適的觀察距離時(shí)將移動(dòng)指示設(shè)備對(duì)準(zhǔn)可視顯示中的目標(biāo)點(diǎn)。同樣地，移動(dòng)指示設(shè)備可以構(gòu)造為手槍形式。
在本發(fā)明的特定優(yōu)選實(shí)施例中，移動(dòng)指示設(shè)備和本地交互設(shè)備包括交互接口用于經(jīng)由通信網(wǎng)絡(luò)長(zhǎng)途傳送和/或接收語(yǔ)音和媒體數(shù)據(jù)以允許用戶與應(yīng)用進(jìn)行通信并控制應(yīng)用，而用戶不必到達(dá)應(yīng)用鄰近的任何地方。然而在本發(fā)明特別經(jīng)濟(jì)的實(shí)施例中，移動(dòng)指示設(shè)備被并入或者連接到便攜式設(shè)備，諸如移動(dòng)電話。利用這種現(xiàn)有類型的設(shè)備提供了一種經(jīng)濟(jì)的和直觀的方式來(lái)提供經(jīng)由任何類型的通信網(wǎng)絡(luò)傳輸語(yǔ)音以及其它媒體數(shù)據(jù)的手段?？陬^命令或者敘述性的注釋可以輸入到移動(dòng)指示設(shè)備中以在傳輸給本地交互設(shè)備時(shí)伴隨目標(biāo)區(qū)域圖像，或者被獨(dú)立地傳輸?shù)奖镜亟换ピO(shè)備。例如，如果用戶在超級(jí)市場(chǎng)中購(gòu)物，他可以將特定產(chǎn)品的圖像發(fā)送到本地交互設(shè)備，并伴隨有詢問(wèn)“我家已經(jīng)有這個(gè)了嗎？”。在檢查了存儲(chǔ)箱管理應(yīng)用以后，本地交互設(shè)備可以將答復(fù)傳輸?shù)揭苿?dòng)指示設(shè)備，然后通知用戶他家里是否有所詢問(wèn)的任何產(chǎn)品，或者他是否需要購(gòu)買更多。
移動(dòng)指示設(shè)備可以被用戶對(duì)準(zhǔn)用戶感興趣的任何特定對(duì)象或者適用于控制應(yīng)用程序。例如，如果用戶已經(jīng)點(diǎn)了他稍后想看的一些感興趣的內(nèi)容，那么用戶可以將其對(duì)準(zhǔn)雜志中的文章。該特征對(duì)于用戶離開(kāi)家并且無(wú)法立刻處理信息的情況特別有效。例如，他可能已經(jīng)看到近期安排的特定節(jié)目，但是由于他回家太晚而不能編程他的VCR來(lái)記錄節(jié)目。在此情況下，他可以將移動(dòng)指示設(shè)備對(duì)準(zhǔn)包含關(guān)于節(jié)目的相關(guān)信息的頁(yè)面上的區(qū)域并且生成圖像。然后用戶開(kāi)始將目標(biāo)區(qū)域圖像傳輸?shù)奖镜亟换ピO(shè)備。他可以選擇使圖像附有寫(xiě)入文本，諸如SMS，或者他可以發(fā)送口頭消息諸如“記錄這些節(jié)目”。本地交互設(shè)備處理圖像以提取關(guān)于節(jié)目的相關(guān)信息，并解釋所附消息以將適當(dāng)命令發(fā)送到相關(guān)設(shè)備。
盡管如此，在某些情況下，用戶未必希望將圖像立刻傳輸?shù)奖镜亟换ピO(shè)備，例如如果目標(biāo)區(qū)域圖像可以在在稍候的時(shí)間處理，或者如果用戶想要避免經(jīng)由移動(dòng)電信網(wǎng)絡(luò)傳輸?shù)某杀?。為此，移?dòng)指示設(shè)備可以包括暫時(shí)存儲(chǔ)目標(biāo)區(qū)域圖像的存儲(chǔ)器。存儲(chǔ)器可以是智能卡的形式，可以根據(jù)需要插入或者取出，或者可以是嵌入式存儲(chǔ)器的形式。在本發(fā)明的優(yōu)選實(shí)施例中，移動(dòng)指示設(shè)備包括適當(dāng)?shù)慕涌谟糜趯D像加載到移動(dòng)指示設(shè)備的存儲(chǔ)器中。這種接口的實(shí)例可以是USB。這允許用戶將感興趣的圖像從另一源加載到他的移動(dòng)指示設(shè)備上。然后他可以立刻或者在稍候的時(shí)間將它們傳輸?shù)奖镜亟换ピO(shè)備。
因此，本發(fā)明總計(jì)提供了一種容易的和靈活的方式來(lái)管理較大的項(xiàng)目集合，諸如存儲(chǔ)箱產(chǎn)品或者書(shū)。常常，書(shū)的集合被分散在家中多個(gè)房間和書(shū)架上。借助于移動(dòng)指示設(shè)備，用戶可以指向特定書(shū)并將某些單詞發(fā)送到本地交互設(shè)備來(lái)標(biāo)識(shí)書(shū)。移動(dòng)指示設(shè)備生成書(shū)的圖像，多數(shù)情況下是書(shū)脊，因?yàn)樵跁?shū)被收在架子上時(shí)可以看見(jiàn)的全部就是書(shū)脊。用戶可以指向多本書(shū)并生成每本書(shū)的圖像。用戶可以將圖像存儲(chǔ)在移動(dòng)指示設(shè)備中，或者可以經(jīng)由最適合的接口將每個(gè)圖像傳送到本地交互設(shè)備。當(dāng)用戶已經(jīng)收集完所有需要的書(shū)的圖像時(shí)，對(duì)應(yīng)于圖像他將適當(dāng)?shù)膯卧~輸入本地交互設(shè)備。例如，對(duì)于“Huckleberry Finn”的書(shū)脊的圖像，他說(shuō)“‘Huckleberry Finn’一書(shū)在孩子們的房間中的書(shū)架上”。同樣，他可以說(shuō)“‘Physics for Dummies’一書(shū)在書(shū)房里最下層架子上”或者“‘War and Peace’一書(shū)在客廳中緊挨著窗戶的書(shū)架上”來(lái)標(biāo)識(shí)對(duì)應(yīng)的書(shū)。本地交互設(shè)備將口語(yǔ)單詞與圖像相關(guān)聯(lián)并以適當(dāng)?shù)姆绞綄⑺鼈兇鎯?chǔ)到存儲(chǔ)器中。日后，如果用戶或者他人希望找出書(shū)，那么所有人必須進(jìn)行詢問(wèn)“‘War and Peace’這本書(shū)在哪？”，并且本地交互設(shè)備將應(yīng)答“你會(huì)在客廳中緊挨著窗戶的架子上找到它”。為進(jìn)一步幫助對(duì)象的定位，本地交互設(shè)備還可以將用戶最初利用移動(dòng)指示設(shè)備作出的圖像顯示在屏幕上，這樣對(duì)象可以容易地并且迅速地被發(fā)現(xiàn)。
不僅書(shū)可以這樣管理，因?yàn)楸痉椒▽?shí)際上適用于任何項(xiàng)目。特別是諸如護(hù)照、出生證等等之類的不經(jīng)常需要因此其所在之處很容易被忘記的項(xiàng)目可以這種方式定位。因此，可以管理各種各類的項(xiàng)目的集合以允許用戶容易地找出任何項(xiàng)目。利用移動(dòng)指示設(shè)備和本地交互設(shè)備，用戶可以容易地將應(yīng)用訓(xùn)練為記錄任何項(xiàng)目的所在之處。對(duì)話管理系統(tǒng)還可以用于將應(yīng)用訓(xùn)練為基于項(xiàng)目或者對(duì)象的外觀識(shí)別它們以簡(jiǎn)化判定過(guò)程，例如一起放入購(gòu)貨單。例如，用戶還可以將移動(dòng)指示設(shè)備依次對(duì)準(zhǔn)他的存儲(chǔ)箱中的各種產(chǎn)品，生成每個(gè)對(duì)象的圖像，并將圖像附有適當(dāng)?shù)拿枋鲂宰⑨?，諸如“這是我喜歡的早餐谷類食品”，或者“不再將這種咖啡列在購(gòu)物單上”等等。
根據(jù)以下結(jié)合附圖的詳細(xì)說(shuō)明，本發(fā)明的其他目的以及特征將而變得顯而易見(jiàn)。然而應(yīng)該理解的是，附圖只是為了例證說(shuō)明的目的而設(shè)計(jì)的，并非定義本發(fā)明的限制。


圖1是示出了根據(jù)本發(fā)明實(shí)施例的本地交互設(shè)備、移動(dòng)指示設(shè)備、和它們之間的接口的方框圖；圖2是示出了生成可視顯示的目標(biāo)區(qū)域圖像的移動(dòng)指示設(shè)備。
圖3是示出了生成集合中項(xiàng)目的目標(biāo)區(qū)域圖像的移動(dòng)指示設(shè)備的示意圖。
圖4是示出了根據(jù)本發(fā)明實(shí)施例的可視顯示和對(duì)應(yīng)目標(biāo)區(qū)域圖像的示意圖。
具體實(shí)施例方式
圖1示出了本地交互設(shè)備7，具有多個(gè)無(wú)線接口13a、13b用于與帶有相應(yīng)接口4a、4b的移動(dòng)指示設(shè)備2通信。一對(duì)接口4b、13b用于利用紅外連接進(jìn)行局域通信，或者更多地優(yōu)選為以無(wú)線方式，通常執(zhí)行諸如藍(lán)牙之類的標(biāo)準(zhǔn)。當(dāng)移動(dòng)指示設(shè)備2在距離本地交互設(shè)備7某一范圍之內(nèi)時(shí)這對(duì)接口4b、13b被自動(dòng)使用。超出該距離，接口5允許利用諸如GSM或者UMTS之類的標(biāo)準(zhǔn)的無(wú)線通信、或者任何其它電信網(wǎng)絡(luò)或者因特網(wǎng)。這些接口4a、4b、13a13b還可以用于傳輸多媒體、語(yǔ)音等等。這些接口4a、4b、13a、13b和第三接口4c、13c允許在移動(dòng)指示設(shè)備2和本地交互設(shè)備7之間的信息同步。為了利用第三接口4c在兩個(gè)設(shè)備2，7之間同步數(shù)據(jù)，用戶可以將移動(dòng)指示設(shè)備2放置在以某種方式連接到本地交互設(shè)備7的支架(cradle)中(在圖中未示出)。同步處理可以自動(dòng)開(kāi)始或者在首先確認(rèn)用戶以后開(kāi)始。
其中，移動(dòng)指示設(shè)備2用于創(chuàng)建圖像并將這些圖像傳輸?shù)奖镜亟换ピO(shè)備7。為此，移動(dòng)指示設(shè)備2包括照相機(jī)3，其位于移動(dòng)指示設(shè)備2的前部并沿著指向D的方向生成移動(dòng)指示設(shè)備前面區(qū)域的圖像。移動(dòng)指示設(shè)備2特征為細(xì)長(zhǎng)形，這樣指向D的方向位于沿著移動(dòng)指示設(shè)備2的縱軸上。借助于裝入移動(dòng)指示設(shè)備2的殼體中的發(fā)射器經(jīng)由其中一個(gè)接口4a、4b將圖像發(fā)送到本地交互設(shè)備7。
安裝在移動(dòng)指示設(shè)備2上的激光源8主要沿著指向D的方向發(fā)射激光束。在優(yōu)選的實(shí)施例中，移動(dòng)指示設(shè)備2帶有一個(gè)或多個(gè)按鈕(在圖中未示出)。例如用戶可以按下一個(gè)按鈕來(lái)確認(rèn)他已經(jīng)作出選擇并傳輸目標(biāo)區(qū)域的圖像。作為選擇，按鈕的功能可以是激活或者去激活安裝在移動(dòng)指示設(shè)備2上的光源8，和/或激活或者去激活移動(dòng)指示設(shè)備2本身。同樣地，移動(dòng)指示設(shè)備2可以借助于并入移動(dòng)指示設(shè)備2中的運(yùn)動(dòng)傳感器激活。在所示出的例子中，指示設(shè)備2具有用戶接口6，具有小鍵盤、麥克風(fēng)、擴(kuò)音器等等，這樣用戶就可以借助于接口4a、13a為對(duì)話管理系統(tǒng)1提供語(yǔ)音或者多媒體數(shù)據(jù)，即使他不在對(duì)話管理系統(tǒng)1的附近。在此情況下，小鍵盤可以實(shí)現(xiàn)按鈕的功能。作為選擇，指示設(shè)備可以并入適當(dāng)?shù)脑O(shè)備(在圖中未示出)、諸如PDA、移動(dòng)電話等等。
移動(dòng)指示設(shè)備2從一個(gè)或多個(gè)電池(在圖中未示出)中提取它的動(dòng)力。取決于移動(dòng)指示設(shè)備2的功耗，有必要提供支架(也未在圖中示出)，當(dāng)不用時(shí)可以將移動(dòng)指示設(shè)備2放置于其中以對(duì)電池再充電。理論上，該支架與用于同步目的的支架相同。
為解釋講出的用戶輸入并發(fā)出可聽(tīng)輸出提示，本地交互設(shè)備7可以帶有音頻接口設(shè)備5，其包括麥克風(fēng)17、擴(kuò)音器16和音頻處理塊9。音頻處理塊9可以通過(guò)核心對(duì)話引擎11將輸入語(yǔ)音轉(zhuǎn)換為適于處理的數(shù)字形式，并可以將數(shù)字聲輸出提示合成為聲音信號(hào)以經(jīng)由擴(kuò)音器16輸出。作為選擇，本地交互設(shè)備7可以利用其控制的設(shè)備的麥克風(fēng)或者擴(kuò)音器，并使用它們來(lái)與用戶進(jìn)行語(yǔ)言通信。
本地交互設(shè)備7也帶有應(yīng)用接口10，用于處理在本地交互設(shè)備7和多個(gè)應(yīng)用A1、A2...An之間傳遞的輸入和輸出信息。在圖中示為一個(gè)方塊的應(yīng)用程序A1、A2...An實(shí)際上可以是任何類型的設(shè)備或者應(yīng)用，用戶想要以某種方式與其進(jìn)行交互。在此例子中，其中應(yīng)用程序A1、A2...An可以包括電視A1、因特網(wǎng)應(yīng)用諸如具有互聯(lián)網(wǎng)連接A2的個(gè)人計(jì)算機(jī)以及存儲(chǔ)箱管理應(yīng)用An。
在此例子中的對(duì)話流包含用戶(圖中未示出)與由本地交互設(shè)備7驅(qū)動(dòng)的各種應(yīng)用A1、A2...An之間的通信。用戶將口頭命令或者請(qǐng)求經(jīng)由麥克風(fēng)17發(fā)布到本地交互設(shè)備7。在音頻接口塊9中記錄和數(shù)字化口頭命令或者請(qǐng)求，音頻接口塊9將記錄的語(yǔ)音輸入傳送到核心對(duì)話引擎11。該引擎11包括多個(gè)模塊(未詳細(xì)地示出)，用于執(zhí)行語(yǔ)音識(shí)別和語(yǔ)言理解所涉及的常見(jiàn)步驟以識(shí)別口頭命令或者用戶請(qǐng)求，還包括對(duì)話控制器，用于控制對(duì)話流并將用戶輸入轉(zhuǎn)換為適當(dāng)應(yīng)用A1、A2...An可理解的適當(dāng)形式。
如果需要從用戶獲得某些進(jìn)一步的信息，例如如果口頭命令無(wú)法被核心對(duì)話引擎11解析或者理解，或者如果口頭命令無(wú)法應(yīng)用于任何激活的應(yīng)用A1、A2...An，那么核心對(duì)話引擎11生成適當(dāng)?shù)恼?qǐng)求并將它們轉(zhuǎn)送到音頻接口塊9，在此它們被合成為語(yǔ)音然后由聲音輸出設(shè)備16諸如擴(kuò)音器轉(zhuǎn)換為可聽(tīng)聲音。
圖2這里示出了用戶不在家因而離開(kāi)本地交互設(shè)備7一定距離的情況下對(duì)話管理系統(tǒng)1的有用性，用戶(圖中未示出)可能坐在醫(yī)生的候診室中，并且可能已經(jīng)點(diǎn)了其中一本展開(kāi)的雜志中感興趣的文章來(lái)讀。文章可能包括關(guān)于用戶想要記錄的電視節(jié)目的信息，或者它可能關(guān)系到感興趣的網(wǎng)站，或者可能僅僅是用戶想要給其他人看的某些文本或者圖像。
為了將文章中的信息發(fā)送到其本地交互設(shè)備7，用戶將他的移動(dòng)指示設(shè)備2對(duì)準(zhǔn)目標(biāo)區(qū)域21，即覆蓋雜志的頁(yè)面20上感興趣的文章的區(qū)域。利用移動(dòng)指示設(shè)備2上激光源8生成的激光點(diǎn)PL，他可以定位他希望拍攝的頁(yè)面20上的區(qū)域。移動(dòng)指示設(shè)備2中的照相機(jī)3生成目標(biāo)區(qū)域的圖像22，并且在按下按鈕時(shí)，圖像22自動(dòng)經(jīng)由電信網(wǎng)絡(luò)N傳輸?shù)奖镜亟换ピO(shè)備7接收器13a。因?yàn)楸镜亟换ピO(shè)備7在用戶的家中并且在局部通信接口4b、13b的范圍之外，所以長(zhǎng)距離接口4a、13a用于將圖像22傳輸?shù)奖镜亟换ピO(shè)備7，本地交互設(shè)備7自動(dòng)確認(rèn)到達(dá)新的信息，在圖像處理設(shè)備14(本文中是圖像處理單元)中根據(jù)需要執(zhí)行處理步驟，并且將圖像22存儲(chǔ)在它的內(nèi)部存儲(chǔ)器12中。
此外在家中，用戶可能想再看看文章并以某種方式使用信息。為此，他將適當(dāng)?shù)目陬^命令發(fā)布到本地交互設(shè)備7，諸如“給我示出我更早些時(shí)候發(fā)送的圖像”。本地交互設(shè)備7從它的本地存儲(chǔ)器12檢索圖像并酌情顯示。如果目標(biāo)區(qū)域圖像較大那么可以使用電視屏幕，或者如果目標(biāo)區(qū)域圖像較小那么可以使用另一適當(dāng)設(shè)備的較小顯示器。用戶可以命令本地交互設(shè)備7以某種方法處理圖像。例如，如果圖像包括與電視節(jié)目有關(guān)的信息，那么用戶可以說(shuō)“記錄該今晚的節(jié)目”，這樣本地交互設(shè)備7就將適當(dāng)?shù)拿畎l(fā)送到電視A1。如果是網(wǎng)站的URL，那么用戶可以說(shuō)“連接該因特網(wǎng)網(wǎng)站”，在這種情況下本地交互設(shè)備7將適當(dāng)?shù)拿畎l(fā)布到因特網(wǎng)應(yīng)用程序A2。圖像可以包含用戶想要添加他的集合的處方(recipe)。在此情況下他可以說(shuō)“將此添加到存儲(chǔ)箱應(yīng)用并確定我有我需要的所有東西”。這里，本地交互設(shè)備7將處方以適當(dāng)?shù)姆绞桨l(fā)送到存儲(chǔ)箱應(yīng)用An并發(fā)布適當(dāng)?shù)脑儐?wèn)。如果存儲(chǔ)箱應(yīng)用A報(bào)告組分沒(méi)有了或者沒(méi)有以需要的數(shù)量存在，那么該組分被自動(dòng)設(shè)置在購(gòu)物單上。
借助于用戶接口6和遠(yuǎn)距離通信接口4a、13a，用戶可以與本地交互設(shè)備進(jìn)行對(duì)話以指定將會(huì)如何處理目標(biāo)區(qū)域圖像22的方式，即使在離本地交互設(shè)備7很遠(yuǎn)的時(shí)候。這樣，用戶可以指定目標(biāo)區(qū)域圖像22中的信息將會(huì)用于使VCR編程為記錄圖像22中描述的節(jié)目。
圖3示出了對(duì)話管理系統(tǒng)的其它用途。這里，移動(dòng)指示設(shè)備2正用于記錄項(xiàng)目相關(guān)的空間和可視信息，所述項(xiàng)目可以是，例如，超級(jí)市場(chǎng)貨架上的產(chǎn)品、收集的書(shū)、或者倉(cāng)庫(kù)中的物品。通過(guò)將移動(dòng)指示設(shè)備2對(duì)準(zhǔn)特定項(xiàng)目24，可以生成每個(gè)項(xiàng)目24的圖像23并將其傳輸給本地交互設(shè)備7，同時(shí)附有關(guān)于項(xiàng)目24位置的空間信息?？臻g信息可以通過(guò)移動(dòng)指示設(shè)備2借助于位置傳感器(圖中未示出)而提供空間信息，或者可以通過(guò)用戶提供，例如通過(guò)口頭描述項(xiàng)目的位置提供空間信息。由于配有適當(dāng)?shù)膱D像處理性能，圖像處理設(shè)備14自身可以通過(guò)分析對(duì)象24的圖像及其環(huán)境得到關(guān)于對(duì)象24位置的空間信息。
本地交互設(shè)備7可以位于鄰近或者可以在完全分開(kāi)的位置，使得移動(dòng)指示設(shè)備2使用它的長(zhǎng)距離接口4a來(lái)將圖像23和所附的空間信息發(fā)送到本地交互設(shè)備的適當(dāng)?shù)慕涌?3a。作為選擇，用戶可以選擇將圖像23存儲(chǔ)在移動(dòng)指示設(shè)備2的本地存儲(chǔ)器25中以用于以后的檢索。
因而發(fā)送到本地交互設(shè)備7的信息也可以用于訓(xùn)練應(yīng)用A1、A2...An以識(shí)別項(xiàng)目的圖像或者按要求定位它們。
在對(duì)話管理系統(tǒng)1的另一個(gè)應(yīng)用中，移動(dòng)指示設(shè)備2可用于在視覺(jué)上呈現(xiàn)在本地交互設(shè)備7或者應(yīng)用A1的顯示器30上的多個(gè)用戶選項(xiàng)M1、M2、M3之間進(jìn)行選擇。圖4示出了由指向可視顯示4a的移動(dòng)指示設(shè)備2生成的目標(biāo)區(qū)域圖像31的示意圖。移動(dòng)指示設(shè)備2從遠(yuǎn)方以及以斜角對(duì)準(zhǔn)可視顯示VP，使得可視顯示VP中的選項(xiàng)M1、M2、M3的比例和投影變形地出現(xiàn)在目標(biāo)區(qū)域圖像31中。不管移動(dòng)指示設(shè)備2相對(duì)于可視顯示VP的角度如何，目標(biāo)區(qū)域圖像31始終集中在圖像中心點(diǎn)PT。激光點(diǎn)PL也出現(xiàn)在目標(biāo)區(qū)域圖像31中，并且遠(yuǎn)離圖像中心點(diǎn)PT，或者可能與圖像中心點(diǎn)PT重合。圖像處理單元14將目標(biāo)區(qū)域圖像31與預(yù)定模板相比較以確定選定的選項(xiàng)。
預(yù)定模板可以由存取單元15例如從內(nèi)部存儲(chǔ)器12、外存儲(chǔ)器19、或者另一源諸如因特網(wǎng)獲得。理想地，存取單元15具有多個(gè)接口允許訪問(wèn)外部數(shù)據(jù)19，例如用戶可以提供存儲(chǔ)在諸如軟盤、CD或者DVD之類的存儲(chǔ)媒體19上的預(yù)定模板。模板還可以由用戶配置，例如在訓(xùn)練期間用戶指定具有特定功能的模板上特定區(qū)域之間的相關(guān)性。
為了確定用戶選擇的選項(xiàng)，定位移動(dòng)指示設(shè)備2的縱軸與可視顯示VP的交點(diǎn)PT。然后定位對(duì)應(yīng)于交點(diǎn)PT的模板中的點(diǎn)來(lái)確定所選定的選項(xiàng)。為此，應(yīng)用利用邊緣以及拐角檢測(cè)方法的計(jì)算機(jī)視覺(jué)算法來(lái)定位目標(biāo)區(qū)域圖像[(xa，ya)，(xb，yb)，(xc，yc)]中的點(diǎn)，這些點(diǎn)對(duì)應(yīng)于可視顯示VP的模板[(xa′，ya′)，(Xb′，Yb′)，(xc′，yc′)]中的點(diǎn)。
每個(gè)點(diǎn)可以表示為向量，例如點(diǎn)(xa，ya)可以表示為 作為下一步，利用變換函數(shù)Tλ將目標(biāo)區(qū)域圖像映射到模板f(λ)=Σi|Tλ(v→i)-v→i′|2]]>其中向量 表示目標(biāo)區(qū)域圖像中的坐標(biāo)對(duì)(xi，yi)，以及向量 表示模板中的對(duì)應(yīng)坐標(biāo)對(duì)(xi′，yi′)。參數(shù)設(shè)置λ，包括用于旋轉(zhuǎn)以及平移圖像以產(chǎn)生最經(jīng)濟(jì)的實(shí)現(xiàn)功能的解決方案的參數(shù)，可以用于確定移動(dòng)指示設(shè)備2相對(duì)于可視顯示VP的位置和方向。計(jì)算機(jī)視覺(jué)算法利用這樣的事實(shí)移動(dòng)指示設(shè)備2中的照相機(jī)3是固定的并且“看著”對(duì)準(zhǔn)動(dòng)作的方向。下一步是計(jì)算移動(dòng)指示設(shè)備2沿著點(diǎn)D方向的縱軸與可視顯示VP平面的交點(diǎn)。該點(diǎn)可以被認(rèn)為是目標(biāo)區(qū)域圖像PT的中心，或者，如果設(shè)備具有激光點(diǎn)，那么可以使用激光點(diǎn)PL替代。一旦計(jì)算出了交點(diǎn)的坐標(biāo)，那么在可視顯示VP的模板中找出該點(diǎn)就是一件簡(jiǎn)單的事情了，從而確定用戶所選擇的選項(xiàng)。
盡管以上已經(jīng)以優(yōu)選實(shí)施例和變體的方式公開(kāi)了本發(fā)明，但是應(yīng)該理解的是，在不脫離本發(fā)明范圍的情況下可以對(duì)此作出很多其它的修改和變化。連同家用對(duì)話系統(tǒng)一起使用的移動(dòng)指示設(shè)備可以用作通用用戶接口，在家中或者離開(kāi)的時(shí)候用于控制應(yīng)用。簡(jiǎn)而言之，無(wú)論何時(shí)只要通過(guò)指示就可以表示用戶的意圖，那么它就是有利的，這表示它可以用于基本上任何類型的用戶接口。移動(dòng)指示設(shè)備的小型因素及其便利和直觀的用途可以將該簡(jiǎn)單設(shè)備提升為有效的通用遠(yuǎn)程控制裝置。它能用于控制多個(gè)設(shè)備，提供對(duì)設(shè)備內(nèi)容項(xiàng)的訪問(wèn)，以及允許設(shè)備的用戶接口的私人化，使之成為有力的工具。作為筆形的可替換形式，移動(dòng)指示設(shè)備也可以是例如具有嵌入式照相機(jī)的個(gè)人數(shù)字助理(PDA)，或者具有嵌入式照相機(jī)的移動(dòng)電話。移動(dòng)指示設(shè)備可以結(jié)合其它傳統(tǒng)的遠(yuǎn)程控制部件或者結(jié)合其它輸入形式諸如音頻控制以直接存取受控設(shè)備的內(nèi)容項(xiàng)。
對(duì)話管理系統(tǒng)的用途不必只限于此處所述的應(yīng)用，例如它同樣可以在醫(yī)療環(huán)境、或者工業(yè)之內(nèi)獲得應(yīng)用。連同本地交互設(shè)備一起使用的移動(dòng)指示設(shè)備可以使得有殘疾的或者因此在他們的移動(dòng)性方面受到限制而不能達(dá)到設(shè)備或者以平常方式操作它們的用戶的生活更加便利。
清楚起見(jiàn)，貫穿本申請(qǐng)“一”或者“一個(gè)”的使用也理解為不排除多個(gè)，并且“包括”的這種表達(dá)不排除其它步驟或元件?！皢卧翱梢园ǘ鄠€(gè)塊或設(shè)備，除非明確地描述為單個(gè)機(jī)構(gòu)。
權(quán)利要求
1.一種用于控制應(yīng)用(A1，A2，...，An)的對(duì)話管理系統(tǒng)(1)，包括-移動(dòng)指示設(shè)備(2)包括-照相機(jī)(3)，用于生成移動(dòng)指示設(shè)備(2)對(duì)準(zhǔn)的方向(D)上的目標(biāo)區(qū)域的圖像(22，23，31)；以及-傳輸接口(4a，4b)，用于將目標(biāo)區(qū)域圖像(22，23，31)傳輸?shù)奖镜亟换ピO(shè)備(7)；并且本地交互設(shè)備(7)包括-音頻接口設(shè)備(5)，用于檢測(cè)和處理語(yǔ)音輸入并生成與輸出可聽(tīng)提示；-核心對(duì)話引擎(11)，用于通過(guò)解釋用戶輸入并生成輸出提示協(xié)調(diào)對(duì)話流；-應(yīng)用接口(12)，用于在對(duì)話管理系統(tǒng)(1)和應(yīng)用(A1，A2，...，An)之間通信；-接收接口(13a，13b)，用于從移動(dòng)指示設(shè)備(2)接收目標(biāo)區(qū)域圖像(22，23，31)，以及-用于處理目標(biāo)區(qū)域圖像(22，23，31)的圖像處理設(shè)備(14)。
2.如權(quán)利要求1所述的對(duì)話管理系統(tǒng)，其中本地交互設(shè)備(7)包括存取單元(15)用于訪問(wèn)與受控的應(yīng)用(A1，A2，...，An)的用戶選項(xiàng)(M1，M2，M3)的可視顯示(VP)相關(guān)聯(lián)的預(yù)定模板，并且其中圖像處理設(shè)備(14)包括用于定位預(yù)定模板中的目標(biāo)區(qū)域或者目標(biāo)區(qū)域的點(diǎn)(PT)以確定可視顯示(VP)中所選定的選項(xiàng)(M1，M2，M3)的裝置，當(dāng)生成圖像時(shí)移動(dòng)指示設(shè)備(2)對(duì)準(zhǔn)所述可視顯示(VP)。
3.如權(quán)利要求1或2所述的對(duì)話管理系統(tǒng)，其中本地交互設(shè)備(7)包括顯示器單元(30)用于動(dòng)態(tài)地顯示用戶選項(xiàng)(M1，M2，M3)的可視顯示(VP)和/或受控應(yīng)用(A1，A2，...，An)的可視對(duì)話提示和/或用于將圖像輸出至用戶。
4.如權(quán)利要求1至3任一所述的對(duì)話管理系統(tǒng)，其中圖像處理設(shè)備(14)包括利用計(jì)算機(jī)視覺(jué)算法確定目標(biāo)區(qū)域圖像(22，23，31)中的目標(biāo)點(diǎn)(PT)的裝置。
5.如權(quán)利要求1至4任一所述的對(duì)話管理系統(tǒng)，其中移動(dòng)指示設(shè)備(2)包括附屬于移動(dòng)指示設(shè)備(2)的集中光束源(8)以為用戶示出移動(dòng)指示設(shè)備(2)對(duì)準(zhǔn)的可視顯示(22，23，31)中的光點(diǎn)(PL)。
6.如權(quán)利要求1至5任一所述的對(duì)話管理系統(tǒng)，其中移動(dòng)指示設(shè)備(2)包括用于存儲(chǔ)目標(biāo)區(qū)域圖像的存儲(chǔ)介質(zhì)(25)。
7.如權(quán)利要求1至6任一所述的對(duì)話管理系統(tǒng)，其中移動(dòng)指示設(shè)備(2)包括接口(4a)用于傳輸和/或接收語(yǔ)音和媒體數(shù)據(jù)，并且其中本地交互設(shè)備(7)包括接口(13a)用于經(jīng)由通信網(wǎng)絡(luò)接收和/或傳輸語(yǔ)音和媒體數(shù)據(jù)。
8.用于如權(quán)利要求1至7任一所述的語(yǔ)音對(duì)話管理系統(tǒng)(1)的移動(dòng)指示設(shè)備(2)，包括-照相機(jī)(3)，用于生成移動(dòng)指示設(shè)備(2)對(duì)準(zhǔn)的方向(D)上的目標(biāo)區(qū)域的圖像(22，23，31)；以及-傳輸接口(4a，4b)，用于將目標(biāo)區(qū)域圖像(22，23，31)傳輸?shù)奖镜亟换ピO(shè)備(7)。
9.用于如權(quán)利要求1至7任一所述的語(yǔ)音對(duì)話管理系統(tǒng)(1)的本地交互設(shè)備(7)，包括-音頻接口設(shè)備(5)，用于檢測(cè)和處理語(yǔ)音輸入并生成與輸出可聽(tīng)提示；-聲音輸出設(shè)備(16)，用于輸出可聽(tīng)提示；-核心對(duì)話引擎(11)，用于通過(guò)解釋用戶輸入并生成輸出提示協(xié)調(diào)對(duì)話流；-應(yīng)用接口(12)，用于在對(duì)話管理系統(tǒng)(7)和應(yīng)用(A1，A2，...，An)之間通信；-接收接口(13a，13b)，用于從移動(dòng)指示設(shè)備(2)接收目標(biāo)區(qū)域圖像(22，23，31)，以及-用于處理目標(biāo)區(qū)域圖像(22，23，31)的圖像處理設(shè)備(14)。
10.一種用于驅(qū)動(dòng)對(duì)話管理系統(tǒng)(1)以通過(guò)口頭對(duì)話控制應(yīng)用的方法，該方法包括以下附加步驟將包括照相機(jī)(3)的移動(dòng)指示設(shè)備(2)對(duì)準(zhǔn)特定對(duì)象(20，24，30)，生成移動(dòng)指示設(shè)備(2)所對(duì)準(zhǔn)的目標(biāo)區(qū)域的圖像(22，23，31)，將目標(biāo)區(qū)域圖像(22，23，31)傳輸?shù)綄?duì)話管理系統(tǒng)(1)的本地交互設(shè)備(7)，并處理目標(biāo)區(qū)域圖像(22，23，31)以得到用于控制應(yīng)用(A1，A2，...，An)的控制信息。
11.如權(quán)利要求10所述的方法，其中移動(dòng)指示設(shè)備(2)所對(duì)準(zhǔn)的對(duì)象(30)包括受控的應(yīng)用(A1，A2，...，An)的用戶選項(xiàng)(M1，M2，M3)，并且分析目標(biāo)區(qū)域圖像(31)以確定所選定的選項(xiàng)。
12.如權(quán)利要求10或11所述的方法，其中目標(biāo)區(qū)域圖像(23)用于訓(xùn)練對(duì)話管理系統(tǒng)(1)。
13.如權(quán)利要求12所述的方法，其中目標(biāo)區(qū)域圖像(23)用于為對(duì)話管理系統(tǒng)(1)獲得關(guān)于特定對(duì)象(24)的位置的信息。
全文摘要
本發(fā)明描述了一種對(duì)話管理系統(tǒng)以及控制應(yīng)用(A
文檔編號(hào)G06F3/038GK1950790SQ200580013704
公開(kāi)日2007年4月18日 申請(qǐng)日期2005年4月20日 優(yōu)先權(quán)日2004年4月29日
發(fā)明者E·特倫, H·R·肖爾 申請(qǐng)人:皇家飛利浦電子股份有限公司