專利名稱：多模態(tài)智能筆計(jì)算系統(tǒng)的制作方法
多模態(tài)智能筆計(jì)算系統(tǒng)
相關(guān)申請的交叉參者
本申請要求2007年5月29日遞交的美國臨時(shí)申請No. 60/940， 665的權(quán)益，通過參考而將其整體并入。
背景技術(shù)：
本申請總體上涉及基于筆的計(jì)算系統(tǒng)，而且更具體地，涉及基 于筆的多模態(tài)計(jì)算系統(tǒng)。
多模態(tài)系統(tǒng)采用和增強(qiáng)人類輸入與輸出的基本方式，例如讀、 寫、說和聽。廣闊范圍的多模態(tài)系統(tǒng)對人類通信、學(xué)習(xí)、思考、解 決問題、回憶、個(gè)人生產(chǎn)率、娛樂、商業(yè)等進(jìn)行增強(qiáng)。人類輸入與 輸出方式的組合、定序和轉(zhuǎn)換能夠極大地促進(jìn)和改進(jìn)通信、學(xué)習(xí)、 思考、解決問題、回憶、個(gè)人生產(chǎn)率、娛樂、商業(yè)等中的任務(wù)和活 動(dòng)。
然而，支持混合模態(tài)的現(xiàn)有系統(tǒng)通常是基于屏幕的、昂貴的、 較大的、可攜帶性有限的而且經(jīng)常是不直觀的。這些系統(tǒng)的示例包 括個(gè)人計(jì)算機(jī)(PC)、個(gè)人數(shù)字助理(PDA)以及其他專用的基于 屏幕的設(shè)備。傳統(tǒng)的多模態(tài)系統(tǒng)通常局限于視覺反饋的單一顯示。 在基于PC的系統(tǒng)中，例如，顯示器通常較大，而且耗費(fèi)大量功率。 在蜂窩電話和PDA系統(tǒng)中，屏幕相對較小，但是提供有限的視覺信 息。將輸入寫到多模態(tài)顯示器的方法也相當(dāng)有限。例如，標(biāo)準(zhǔn)PC需 要單獨(dú)的書寫輸入設(shè)備，平板PC需要在一塊玻璃上書寫并且昂貴， 而蜂窩電話和PDA還不夠敏感和/或提供的書寫空間有限。適用于與 基于屏幕的設(shè)備一起使用的另外一些書寫器具通常局限于只能在基 于屏幕的設(shè)備上指點(diǎn)和書寫。在這種指點(diǎn)設(shè)備出于相反目的而在顯 示器和紙張二者上書寫的較少情況下，當(dāng)其用于在紙張上書寫時(shí)，該設(shè)備并不是智能的，只是簡單地在紙張上留下墨跡而已。
多模態(tài)系統(tǒng)通常構(gòu)建在被設(shè)計(jì)用于主要適用于模態(tài)的子集(例 如，讀、寫、說和聽的一些但不是全部)的通信工具或通用計(jì)算機(jī)
上。接收書寫輸入并未被設(shè)計(jì)為PC的主要用途。最常見的是用鍵入
來代替書寫。在小型的蜂窩電話或PDA屏幕上書寫非常受限制，而 且音頻捕獲硬件和軟件通常并不是無縫地集成到系統(tǒng)設(shè)計(jì)中的。支 持人類通信的四個(gè)基本方式(讀、寫、說和聽)并對其進(jìn)行增強(qiáng)的 設(shè)備通常還需要用于當(dāng)觸筆在屏幕表面上移動(dòng)時(shí)創(chuàng)建數(shù)字墨水的屏 幕。它們既不與預(yù)先打印的紙文件交互，也不允許它們創(chuàng)建新的手 寫紙文件以及與其進(jìn)行交互。
因此，需要這樣的計(jì)算平臺(tái)，其以直觀和更有效率的方式來使 用人類通信的多個(gè)輸入和輸出方式(讀、寫、說和聽)并對其進(jìn)行 增強(qiáng)，而且從明確期望增強(qiáng)這些模態(tài)的設(shè)計(jì)受益。從該平臺(tái)的角度 來看，該平臺(tái)應(yīng)該1 )顯示來自自給式顯示器的信息和/或與其他處 (紙張、塑料、主動(dòng)式顯示器、電子紙張)顯示的信息交互；2)支 持在各種表面進(jìn)行書寫，例如在紙張上用墨水書寫、在白板上用墨 水書寫，和/或經(jīng)由在顯示器上的移動(dòng)來與主動(dòng)式顯示器交互；3)從 自給式的或連接的揚(yáng)聲器的向外播放音頻；4)用自給式的或連接的 麥克風(fēng)捕獲和/或記錄音頻；5)支持讀、寫、說和聽并對其進(jìn)行增強(qiáng)， 以作為獨(dú)立的或并發(fā)的模態(tài)；以及6)在獨(dú)立的或并發(fā)的模態(tài)之間提 供無縫轉(zhuǎn)換。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施方式提供了支持用戶在若干不同模態(tài)中與系統(tǒng)進(jìn) 行交互的多模態(tài)智能筆計(jì)算系統(tǒng)。這些模態(tài)總體上可以分類為輸入 (或稱命令和捕獲)模態(tài)和輸出(或稱反饋和訪問)模態(tài)。用于智 能筆計(jì)算系統(tǒng)的輸入模態(tài)可以包括利用筆形工具進(jìn)行書寫，以提 供書寫輸入和/或說話，或者利用智能筆以其他方式提供向系統(tǒng)輸入 音頻的聲音和/或姿勢輸入。用于智能筆計(jì)算系統(tǒng)的輸出模態(tài)可以包括讀取由系統(tǒng)顯示的視覺信息和/或通過指點(diǎn)或與智能筆交互而選 擇在紙張上或其他顯示器上在外部顯示的信息來讀取信息，和/或收 聽由系統(tǒng)播放的聲音。
該系統(tǒng)應(yīng)該還支持并發(fā)輸入，其形式是同時(shí)的書寫的信息和說 出的信息，其中這兩種形式輸入的時(shí)序可以向智能筆提供有意義的 信息。它應(yīng)該支持以同時(shí)顯示的信息和音頻信息為形式的并發(fā)輸出， 其中這兩種形式輸出的時(shí)序可以向用戶提供有意義的信息。
智能筆上的顯示器應(yīng)該與智能筆的書寫端足夠接近，以便允許
的視覺轉(zhuǎn)換，從而以最小的眼睛移動(dòng)和焦點(diǎn)位移在小區(qū)域之內(nèi)維持 視覺焦點(diǎn)。這支持用戶不費(fèi)力地觀看智能筆上的屏幕，然后利用在 屏幕上書寫而做出響應(yīng)，不費(fèi)力地將他們的眼睛從屏幕移動(dòng)到表面 以及返回，而不會(huì)損失上下文。
可以獨(dú)立地或并發(fā)地激活任何輸入或輸出方式的、能夠在獨(dú)立 的或者并發(fā)的輸入/輸出方式之間進(jìn)行無縫切換的、由軟件、存儲(chǔ)器 和電池管理的且以具有物理書寫端的筆形狀因數(shù)形式存在的揚(yáng)聲 器、麥克風(fēng)和顯示器，在尺寸、重量、能力、便攜性和易用性方面 代表了需要支持完全多模態(tài)的自給式計(jì)算平臺(tái)的組件的全面集合的 新篇章。


圖1為根據(jù)本發(fā)明一個(gè)實(shí)施方式的基于筆的計(jì)算系統(tǒng)的示意圖。
圖2為根據(jù)本發(fā)明一個(gè)實(shí)施方式的在該基于筆的計(jì)算系統(tǒng)中使 用的智能筆的示意圖。
圖3為根據(jù)本發(fā)明一個(gè)實(shí)施方式的在基于筆的計(jì)算系統(tǒng)中提供 多個(gè)模態(tài)的流程圖。
描述本發(fā)明各種實(shí)施方式的附圖僅用于說明目的。本領(lǐng)域技術(shù) 人員根據(jù)下列討論容易理解，可以在不脫離這里描述的本發(fā)明的精 神的前提下，使用這里說明的方法和結(jié)構(gòu)的備選實(shí)施方式。
具體實(shí)施例方式
本發(fā)明的實(shí)施方式可以實(shí)施在基于筆的計(jì)算系統(tǒng)的各種實(shí)施方 式中，在圖1中示出了這種計(jì)算系統(tǒng)的一個(gè)示例。在這個(gè)實(shí)施方式
中，基于筆的計(jì)算系統(tǒng)包括書寫表面50 、智能筆100 、插接站(docking station) 110、客戶端系統(tǒng)120、網(wǎng)絡(luò)130以及web服務(wù)系統(tǒng)140。智 能筆100包括板上處理能力以及輸入/輸出功能，從而允許基于筆的 計(jì)算系統(tǒng)將傳統(tǒng)計(jì)算系統(tǒng)中基于屏幕的交互擴(kuò)展到用戶能夠書寫的 其他表面。例如，智能筆IOO可以用于捕獲書寫的電子表征以及在 書寫期間記錄音頻，而且智能筆IOO還可以能夠向用戶輸出視覺信 息和音頻信息。利用智能筆IOO上用于各種應(yīng)用的適當(dāng)軟件，基于
筆的計(jì)算系統(tǒng)由此向用戶提供了用于與電子領(lǐng)域和紙張領(lǐng)域(包括 電子紙張)二者中的軟件程序和計(jì)算服務(wù)進(jìn)行交互的新平臺(tái)。
在基于筆的計(jì)算系統(tǒng)中，智能筆100為計(jì)算系統(tǒng)提供輸入和輸
出能力，而且執(zhí)行該系統(tǒng)的部分或全部計(jì)算功能。因此，智能筆ioo
支持用戶使用多個(gè)模態(tài)來與基于筆的計(jì)算系統(tǒng)進(jìn)行交互。在一個(gè)實(shí)
施方式中，智能筆ioo利用多個(gè)模態(tài)(例如，捕獲用戶的書寫或其
他手，勢或者記錄音頻)從用戶接收輸入，并使用各種模態(tài)(例如 顯示視覺信息、播放音頻，或在物理交互的上下文中做出響應(yīng)，諸 如輕拍、追蹤，或選擇其他預(yù)先存在的視覺信息)向用戶提供輸出。
在其他實(shí)施方式中，智能筆100包括諸如運(yùn)動(dòng)感測或姿勢捕獲的附
加輸入模態(tài)，和/或諸如振動(dòng)反饋的附加輸出模態(tài)。
在圖2中示出了智能筆100的一個(gè)特定實(shí)施方式的組件，在下 文中對其進(jìn)行更詳細(xì)描述。雖然智能筆100的整體形狀可以存在某
些變化以適應(yīng)該筆的其他功能，或者甚至可以是交互多模態(tài)非書寫
工具，但是智能筆IOO優(yōu)選地具有充分類似于筆或其他書寫工具的 形狀因數(shù)。例如，智能筆IOO可以比標(biāo)準(zhǔn)筆略厚，從而使其可以容 納附加組件，或者智能筆100除了具有形成筆形形狀因數(shù)的結(jié)構(gòu)特
征之外，還可以具有附加結(jié)構(gòu)特征(例如，平板顯示屏)。另外，智能筆100還可以包括用戶能夠借助其向智能筆計(jì)算系統(tǒng)提供輸入 或命令的任何機(jī)構(gòu)，或者可以包括用戶能夠借由其從智能筆計(jì)算系 統(tǒng)接收或者以其他方式觀察信息的任何機(jī)構(gòu)。例如，可以添加包括
按鈕、蹺板(rocker panel)、電容傳感器、熱傳感器、壓力傳感器、 生物傳感器或其他傳感設(shè)備的各種類型的開關(guān)。
智能筆100被設(shè)計(jì)用于與書寫表面50—起工作，從而使智能筆 100能夠捕獲在書寫表面50上產(chǎn)生的書寫。在一個(gè)實(shí)施方式中，書 寫表面50包括紙張(或能夠在其上書寫的任何其他合適材料)，而 且利用能夠被智能筆100閱讀的模式進(jìn)行編碼。這種書寫表面50的 一個(gè)例子是所謂的"點(diǎn)使能紙"，其可從瑞典的Anoto集團(tuán)AB (馬 薩諸塞州沃爾瑟姆的Anoto本地子公司)獲得，在美國專利No. 7，175, 095中進(jìn)行了描述，這里通過參考將其并入。這種點(diǎn)使能紙具有編碼 在紙張上的點(diǎn)模式。設(shè)計(jì)用于與這種點(diǎn)使能紙一起工作的智能筆100 包括成像系統(tǒng)以及能夠確定智能筆的書寫端相對于已編碼點(diǎn)模式的 位置的處理器。智能筆100的位置可以使用預(yù)定"點(diǎn)空間"中的坐 標(biāo)來參考，而且該坐標(biāo)既可以是相對的(例如，在書寫表面50的頁 內(nèi)部的位置)也可以是絕對的(例如，在書寫表面50的多頁中的唯 一位置)。
在其他實(shí)施方式中，可以使用除已編碼紙張以外的機(jī)構(gòu)來實(shí)現(xiàn) 書寫表面50,以允許智能筆100捕獲姿勢和其他書寫輸入。例如， 書寫表面可以包括對智能筆100所做出的書寫進(jìn)行檢測的輸入板或 其他電子介質(zhì)。在另一實(shí)施方式中，書寫表面50包括電子紙張，或 稱e紙張?？梢酝耆蓵鴮懕砻?0、完全由智能筆IOO,或者由書 寫表面50結(jié)合智能筆IOO來執(zhí)行該檢測。即使書寫表面50的角色 僅僅是被動(dòng)的(如已編碼紙張的情形)，但可以意識(shí)到，智能筆100 的設(shè)計(jì)通常也將取決于基于筆的計(jì)算系統(tǒng)針對其進(jìn)行設(shè)計(jì)的書寫表 面50的類型。而且，書寫的內(nèi)容可以機(jī)械地(例如，使用智能筆100 在紙張上著墨)、電子地(例如，在書寫表面50上顯示)顯示在書 寫表面50上，或者根本不顯示(例如，僅僅保存在存儲(chǔ)器中)。在
9另一實(shí)施方式中，智能筆ioo裝備有用于對智能筆ioo端的移動(dòng)進(jìn)
行檢測的傳感器，從而在不需要書寫表面50的情況下便能夠檢測書 寫姿勢。這些技術(shù)中的任何一個(gè)都可以用于并入到智能筆100中的 姿勢捕獲系統(tǒng)。
在各種實(shí)施方式中，為了基于筆的計(jì)算系統(tǒng)的各種有用應(yīng)用， 智能筆IOO可以與諸如個(gè)人計(jì)算機(jī)之類的通用計(jì)算系統(tǒng)120通信。 例如，由智能筆IOO捕獲的內(nèi)容可以傳輸?shù)接?jì)算系統(tǒng)120,以供該系 統(tǒng)120進(jìn)一步使用。例如，計(jì)算系統(tǒng)120可以包括允許用戶存儲(chǔ)、 訪問、查看、刪除或者以其他方式來管理由智能筆100獲取的信息 的管理軟件。將智能筆IOO獲取的數(shù)據(jù)下載到計(jì)算系統(tǒng)120還釋放 了智能筆100的資源，從而使其能夠獲取更多數(shù)據(jù)。反過來，也可 以將內(nèi)容從計(jì)算系統(tǒng)120傳送回智能筆100。除了數(shù)據(jù)之外，計(jì)算系 統(tǒng)120提供到智能筆IOO的內(nèi)容還可以包括可由智能筆IOO執(zhí)行的 壽欠件應(yīng)用。
智能筆IOO可以經(jīng)由包括有線通信和諸如藍(lán)牙、WiFi、 RF、紅 外線和超音波之類的無線通信的許多已知通信機(jī)制中的任何機(jī)制來 與計(jì)算系統(tǒng)120通信。在一個(gè)實(shí)施方式中，基于筆的計(jì)算系統(tǒng)包括 耦合到計(jì)算系統(tǒng)的插接站110。插接站110在^L械上和電子上配置用 于容納智能筆IOO,而且當(dāng)智能筆IOO被插接時(shí)，插接站110可以支 持計(jì)算系統(tǒng)120和智能筆IOO之間的電子通信。插接站IIO還可以 提供電功率，以向智能筆100中的電池充電。
圖2示出了在例如上述實(shí)施方式的基于筆的計(jì)算系統(tǒng)中使用的 智能筆100的一個(gè)實(shí)施方式。在圖2示出的實(shí)施方式中，智能筆100 包括標(biāo)記器205、成像系統(tǒng)210、落筆傳感器215、 一個(gè)或多個(gè)麥克 風(fēng)220、揚(yáng)聲器225、音頻插頭230、顯示器235、 I/O端口 240、處 理器245、板上存儲(chǔ)器250和電池255。然而，應(yīng)當(dāng)理解，并非上述 組件的全部都是智能筆IOO所必需的，而且這也不是智能筆100的 所有實(shí)施方式的組件或上述組件的所有可能變體的窮舉一覽表。例 如，智能筆100還可以采用諸如功率按鈕或音頻記錄按鈕的按鈕和/且，正如這里在說明書和權(quán)利要求中 所使用的，除了明確記載的那些特征之外，術(shù)語"智能筆"并不表 示筆設(shè)備具有這里針對特定實(shí)施方式而描述的任何特定特征或功 能，因此智能筆可以具有少于這里描述的所有能力和子系統(tǒng)的任何 組合。
標(biāo)記器205支持將智能筆用作在任何適當(dāng)表面上進(jìn)行書寫的傳 統(tǒng)書寫裝置。標(biāo)記器205因此可以包括任何合適的標(biāo)記機(jī)構(gòu)，包括 基于墨水或基于石墨的任何標(biāo)記設(shè)備或可以用于書寫的任何其他設(shè) 備。在一個(gè)實(shí)施方式中，標(biāo)記器205包括可更換的圓珠筆元件。標(biāo) 記器205耦合到落筆傳感器215，例如壓力傳感元件。因此，當(dāng)標(biāo)記 器205按壓表面時(shí)，落筆傳感器215產(chǎn)生輸出，從而指示智能筆100 在何時(shí)被用于在表面上進(jìn)行書寫。
成像系統(tǒng)210包括足夠的光學(xué)器件和傳感器，用于對標(biāo)記器205 附近的表面區(qū)域進(jìn)行成像。成像系統(tǒng)210可以用于捕獲用智能筆100 做出的手寫和/或姿勢。例如，成像系統(tǒng)210可以包括紅外線光源， 其照亮標(biāo)記器205附近的書寫表面50,其中書寫表面50包括已編碼 的模式。通過處理已編碼模式的圖像，智能筆IOO可以確定標(biāo)記器 205在何處與書寫表面50相關(guān)。成像系統(tǒng)210的成像陣列接著對標(biāo) 記器205附近的表面進(jìn)行成像，而且捕獲已編碼模式在其視場中的 部分。由此，成像系統(tǒng)210允許智能筆IOO使用至少一個(gè)輸入模態(tài) 來接收數(shù)據(jù)，例如接收書寫輸入。包含用于查看書寫表面50—部分 的光學(xué)器件和電子器件的成像系統(tǒng)210僅僅是可以包含智能筆100 中的、用于電子地捕獲利用該筆做出的任何書寫姿勢的 一 種類型的 姿勢捕獲系統(tǒng)，而智能筆100的其他實(shí)施方式可以使用實(shí)現(xiàn)相同功 能的其他恰當(dāng)裝置。在一個(gè)實(shí)施方式中，成像系統(tǒng)210捕獲的數(shù)據(jù) 隨后被處理，從而允許將諸如字符識(shí)別的 一個(gè)或多個(gè)內(nèi)容識(shí)別算法 應(yīng)用于接收的數(shù)據(jù)。
在一個(gè)實(shí)施方式中，成像系統(tǒng)210捕獲的數(shù)據(jù)隨后被處理，從 而允許將諸如字符識(shí)別的 一 個(gè)或多個(gè)內(nèi)容識(shí)別算法應(yīng)用于接收的數(shù)
ii，可以使用成像系統(tǒng)210來掃描和捕獲已經(jīng) 存在于書寫表面50上的書寫內(nèi)容(例如，不是使用智能筆100書寫 的)?？梢赃M(jìn)一步結(jié)合落筆傳感器215來使用成像系統(tǒng)210，以確定 標(biāo)記器205何時(shí)4妄觸書寫表面50。隨著標(biāo)記器205在表面上移動(dòng)， 成像陣列捕獲的模式發(fā)生變化，用戶的手寫因此可被智能筆100中 的姿勢捕獲系統(tǒng)(例如，圖2中的成像系統(tǒng)210)所確定和捕獲。這 種技術(shù)還可以用于捕獲姿勢，諸如當(dāng)用戶在書寫表面50的特定位置 上輕拍標(biāo)記器205時(shí)，從而允許利用運(yùn)動(dòng)檢測的其他輸入模態(tài)的數(shù) 據(jù)捕獲或姿勢捕獲。
可以進(jìn)一步結(jié)合落筆傳感器215來使用成像系統(tǒng)210,以確定標(biāo) 記器205何時(shí)接觸書寫表面50。隨著標(biāo)記器205在表面上移動(dòng)，成 像陣列捕獲的模式發(fā)生變化，用戶的手寫因此可以被智能筆100所 確定和捕獲。這種技術(shù)還可以用于捕荻姿勢，例如當(dāng)用戶在書寫表 面50的特定位置上輕拍標(biāo)記器205時(shí)，從而允許利用運(yùn)動(dòng)檢測的其 他輸入模態(tài)的數(shù)據(jù)捕獲或姿勢捕獲。
智能筆100上的另一數(shù)據(jù)捕獲設(shè)備是一個(gè)或多個(gè)麥克風(fēng)220,其 允許智能筆IOO使用其他輸入模態(tài)(音頻捕獲)來接收數(shù)據(jù)。麥克 風(fēng)220可以用于記錄音頻，這可以與上述手寫捕獲進(jìn)行同步。在一 個(gè)實(shí)施方式中， 一個(gè)或多個(gè)麥克風(fēng)220耦合到由處理器245或信號 處理器(沒有示出)執(zhí)行的信號處理軟件，該信號處理軟件消除標(biāo) 記器205在書寫表面上移動(dòng)所產(chǎn)生的噪聲和/或當(dāng)智能筆100向下接 觸書寫表面或從書寫表面上移開時(shí)所產(chǎn)生的噪聲。在一個(gè)實(shí)施方式 中，處理器245對捕荻的書寫數(shù)據(jù)與捕獲的音頻數(shù)據(jù)進(jìn)行同步。例 如，在利用麥克風(fēng)220記錄會(huì)議的對話同時(shí)，用戶做著還可以由智 能筆IOO捕獲的筆記。對記錄的音頻和捕獲的手寫進(jìn)行同步允許智 能筆100向用戶對之前捕獲數(shù)據(jù)的請求提供協(xié)調(diào)的響應(yīng)。例如，響 應(yīng)于用戶請求，例如書寫的命令、命令參數(shù)、用智能筆100做出的 姿勢、說出的命令或書寫命令和說出命令的結(jié)合，智能筆100向用 戶提供音頻輸出以及視覺輸出二者。智能筆IOO還可以向用戶提供
12觸覺反饋。
揚(yáng)聲器225、音頻插頭230和顯示器235向智能筆100的用戶提 供輸出，從而允許經(jīng)由 一個(gè)或多個(gè)輸出模態(tài)來向該用戶呈現(xiàn)數(shù)據(jù)。 音頻插頭230可以耦合到耳機(jī)，與使用揚(yáng)聲器225不同，用戶在不 打擾周圍人的情況下便能收聽該音頻輸出。耳機(jī)還可以允許用戶在 立體聲或利用空間特性進(jìn)行了增強(qiáng)的全三維音頻中收聽該音頻輸 出。因此，通過收聽由揚(yáng)聲器225或音頻插頭230播放的音頻，揚(yáng) 聲器225和音頻插頭230允許用戶使用輸出模態(tài)的第一類型從智能 筆接收數(shù)據(jù)。
顯示器235可以包括用于提供視覺反饋的任何適當(dāng)顯示器系統(tǒng)， 例如有機(jī)發(fā)光二極管(OLED)顯示器，從而允許智能筆100通過在 視覺上顯示信息而使用第二輸出模態(tài)來提供輸出。在使用中，智能 筆100可以使用這些輸出組件中的任何一個(gè)來傳達(dá)音頻或視覺反饋， 從而允許使用多個(gè)輸出模態(tài)來提供數(shù)據(jù)。例如，揚(yáng)聲器225和音頻 插頭230可以根據(jù)運(yùn)行在智能筆100上的應(yīng)用來傳達(dá)音頻反饋(例 如，提示、命令和系統(tǒng)狀態(tài))，而顯示器235可以顯示單詞短語、 靜態(tài)或動(dòng)態(tài)圖像，或由這個(gè)應(yīng)用所指導(dǎo)的提示。另外，揚(yáng)聲器225 和音頻插頭230還可以用于播放已經(jīng)使用麥克風(fēng)220記錄的音頻數(shù) 據(jù)。
如上所述，輸入/輸出(I/O)端口 240允許在智能筆IOO和計(jì)算 系統(tǒng)120之間的通信。在一個(gè)實(shí)施方式中，1/0端口 240包括與插接 站110上的電觸點(diǎn)相對應(yīng)的電觸點(diǎn)，從而當(dāng)智能筆IOO放置在插接 站110中時(shí)，會(huì)產(chǎn)生用于數(shù)據(jù)傳送的電連接。在另一實(shí)施方式中，I/O 端口 240簡單地包括用于容納^:據(jù)線纜的插頭(例如，Mini-USB或 微USB)。備選地，可以用智能筆100中的無線通信電路來代替1/0 端口 240， 乂人而允許與計(jì)算系統(tǒng)120進(jìn)4亍無線通信(例如，經(jīng)由藍(lán)牙、 WiFi、紅外或超聲波)。
處理器245、板上存儲(chǔ)器250和電池255 (或任何其他合適的功 率源)支持在智能筆IOO上執(zhí)行至少部分的計(jì)算功能。處理器245耦合到輸入和輸出設(shè)備以及上述其他組件，從而使得在智能筆100
上運(yùn)行的應(yīng)用能夠使用這些組件。在一個(gè)實(shí)施方式中，處理器245 包括ARM9處理器，而且板上存儲(chǔ)器250包括少量的隨機(jī)訪問存儲(chǔ) 器(RAM)和較大量的閃存或其他永久性存儲(chǔ)器。結(jié)果，可以在智 能筆100上存儲(chǔ)和執(zhí)行可執(zhí)行應(yīng)用，而且可以在智能筆100上存儲(chǔ) 記錄的音頻和手寫，該存儲(chǔ)可以是無限期的，也可以到從智能筆IOO 上卸載到計(jì)算系統(tǒng)120中為止。例如，智能筆100可以本地存儲(chǔ)一 個(gè)或多個(gè)內(nèi)容識(shí)別算法，例如字符識(shí)別或語音識(shí)別，從而允許智能 筆100本地識(shí)別來自智能筆IOO所接收的一個(gè)或多個(gè)輸入模態(tài)的輸 入。
在一個(gè)實(shí)施方式中，智能筆IOO還包括操作系統(tǒng)或者支持一個(gè)
或多個(gè)輸入模態(tài)(諸如手寫捕獲、音頻捕獲或姿勢捕獲)或輸出模 態(tài)(諸如音頻回放或視覺數(shù)據(jù)的顯示)的其他軟件。操作系統(tǒng)或其 他軟件可以支持輸入模態(tài)和輸出模態(tài)的組合并對輸入模態(tài)(例如， 捕獲書寫的和/或說出的數(shù)據(jù)作為輸入)和輸出模態(tài)(例如，呈現(xiàn)音 頻或視覺數(shù)據(jù)作為對用戶的輸出)之間的組合、定序和轉(zhuǎn)換進(jìn)行管 理。例如，輸入模態(tài)和輸出模態(tài)之間的這個(gè)轉(zhuǎn)換允許用戶在收聽智
能筆IOO播放的音頻的同時(shí)，同步地在紙張或其他表面上書寫，或 者當(dāng)用戶在用智能筆100書寫的同時(shí)，智能筆IOO還可以捕獲用戶
說出的音頻。
在 一 個(gè)實(shí)施方式中，操作系統(tǒng)和應(yīng)用支持獨(dú)立的和/或并發(fā)的輸 入模態(tài)和輸出模態(tài)的序列以及這些模態(tài)之間的無縫轉(zhuǎn)換，以用于語 言學(xué)習(xí)。例如，在操作系統(tǒng)上運(yùn)行的、支持模態(tài)獨(dú)立、并發(fā)和定序
的語言學(xué)習(xí)(LL)應(yīng)用可以開始這樣的課程，其宣布今天的課程要 學(xué)習(xí)中文的寫、讀、說和聽。智能筆IOO接著可以利用動(dòng)畫顯示普 通話字符的創(chuàng)建、以恰當(dāng)?shù)拇涡蛟陲@示器235上寫出該字符的筆畫， 同時(shí)經(jīng)由揚(yáng)聲器225讀出該字符的發(fā)音。該操作系統(tǒng)將支持音頻的 同時(shí)顯示和同步遞送。LL應(yīng)用繼而可以提示用戶書寫字符的每一筆 畫，并隨后在顯示器225上利用動(dòng)畫顯示每一筆畫，由此以同步的方式，對用戶輸入筆畫數(shù)據(jù)與顯示在智能筆100上的信息的視覺輸 出的模態(tài)之間的轉(zhuǎn)換進(jìn)行定序。隨著用戶創(chuàng)建字符更加流利，開始 寫得更快，也許在筆畫顯示之前就開始寫，該OS將支持筆畫的實(shí)時(shí) 捕獲和翻譯，而且以恰當(dāng)?shù)娘@示和適當(dāng)?shù)囊纛l進(jìn)行響應(yīng)，使用戶參 與到多模態(tài)對話中。隨著用戶書寫得更加熟練，用戶開始領(lǐng)先于智
能筆100,以顯示筆畫作為響應(yīng)，而不是筆畫領(lǐng)先，則智能筆ioo 可以言語上稱贊用戶，而且要求用戶在書寫筆畫的過程中或?qū)懲曛?br> 后念出該字符的發(fā)音。隨著用戶念出該字符發(fā)音，智能筆100可以 記錄該聲音而且將其與范例進(jìn)行比較。智能筆IOO然后可以通過播
放范例發(fā)音和用戶發(fā)音來提示該用戶，從而提供關(guān)于矯正發(fā)音的評
論和/或視覺引導(dǎo)。智能筆IOO可以隨后提示該用戶聽、寫和說，一
個(gè)接一個(gè)地發(fā)音出一系列單詞，等待用戶書寫和讀出這些單詞，將 輸入語音和書寫與范例進(jìn)行比較，并且在必要時(shí)將用戶重定向到重 復(fù)寫或說。
在這個(gè)例子的擴(kuò)展中，智能筆IOO可以提示用戶與預(yù)先印刷的 語言學(xué)習(xí)文本或練習(xí)簿交互。智能筆IOO可以在多個(gè)顯示之間轉(zhuǎn)移
用戶的注意力，從文本到練習(xí)簿，到用戶的筆記本，而且繼續(xù)涉及
智能筆IOO獨(dú)立或并發(fā)地說出和顯示的對話，指引用戶獨(dú)立或并發(fā)
地說、寫和看信息。輸入模態(tài)和輸出模態(tài)的許多其他結(jié)合以及定序 也是可能的。
在一個(gè)實(shí)施方式中，處理器245和板上存儲(chǔ)器250包括一個(gè)或 多個(gè)可執(zhí)行應(yīng)用，其支持和啟用菜單結(jié)構(gòu)和在文件系統(tǒng)或應(yīng)用菜單 中的導(dǎo)航，從而允許啟動(dòng)應(yīng)用或應(yīng)用的功能。例如，菜單項(xiàng)目之間 的導(dǎo)航包括在用戶和智能筆100之間的對話，其涉及該用戶說出的 和/或書寫的命令和/或姿勢，以及來自智能筆計(jì)算系統(tǒng)的音頻和/或 視覺反饋。因此，智能筆100可以接收輸入，以瀏覽來自多種模態(tài) 的菜單結(jié)構(gòu)。
例如，書寫姿勢、說出的關(guān)鍵字或物理運(yùn)動(dòng)可以指示隨后的 輸入與 一個(gè)或多個(gè)應(yīng)用命令相關(guān)聯(lián)。也可以利用空間和/或時(shí)間組件的輸入指示該隨后數(shù)據(jù)。利用空間組件的輸入示例包括并排的兩個(gè) 點(diǎn)。利用時(shí)間組件的輸入示例包括一個(gè)緊接著另 一個(gè)被書寫的兩個(gè) 點(diǎn)。例如，用戶可以連續(xù)兩次快速按壓智能筆100的表面，接著寫 單詞或詞組，例如"解決"、"發(fā)送"、"翻譯"、"電子郵件"、 "語音電子郵件"或其他預(yù)定單詞或詞組，以觸發(fā)與書寫的單詞或 詞組相關(guān)聯(lián)的命令，或者接收同與預(yù)定單詞或詞組相關(guān)聯(lián)的命令相 關(guān)聯(lián)的附加參數(shù)。因?yàn)榭梢酝ㄟ^不同的格式來提供這些"快速啟動(dòng)" 命令，因此菜單的導(dǎo)航或應(yīng)用的啟動(dòng)得以簡化。在傳統(tǒng)的寫和/或讀 中，"快速啟動(dòng)"命令優(yōu)選地易于區(qū)分。
備選地，智能筆100還包括物理控制器，例如小型控制桿、滑 塊控件、蹺板、電容性(或其他非機(jī)械)表面或接收用于瀏覽由智
能筆100執(zhí)行的應(yīng)用或應(yīng)用命令的菜單的輸入的其他輸入機(jī)制。
示例系統(tǒng)搡作
圖3為根據(jù)本發(fā)明一個(gè)實(shí)施方式的、在基于筆的計(jì)算系統(tǒng)中提 供多個(gè)模態(tài)的流程圖。本領(lǐng)域技術(shù)人員將會(huì)理解，其他實(shí)施方式可 以按照不同的次序執(zhí)行圖3的步驟。而且，其他實(shí)施方式相比這里 所描述的那些實(shí)施方式，還可以包括不同的和/或附加的步驟。
最初，智能筆IOO識(shí)別310與用戶交互相關(guān)聯(lián)的模態(tài)。在一個(gè) 實(shí)施方式中，用戶例如通過用智能筆100書寫、移動(dòng)該智能筆IOO 或向智能筆IOO說話來與智能筆100交互。智能筆100隨后識(shí)別310 與一個(gè)或多個(gè)用戶交互相關(guān)聯(lián)的模態(tài)。例如，當(dāng)用戶用智能筆IOO 書寫時(shí)，成像系統(tǒng)210捕獲隨后由處理器245進(jìn)行處理的書寫數(shù)據(jù)， 以確定該書寫數(shù)據(jù)的子集是否與輸入模態(tài)或輸出模態(tài)相關(guān)聯(lián)。類似 地，對一個(gè)或多個(gè)麥克風(fēng)220捕獲的音頻數(shù)據(jù)進(jìn)行處理，以確定捕 獲的音頻數(shù)據(jù)的子集是否與輸入模態(tài)或輸出模態(tài)相關(guān)聯(lián)。智能筆100 可以開始說話，而且允許用戶打斷，以重新引導(dǎo)該智能筆100的行 為，即，提示智能筆100重放音頻，加速或減慢回放，顯示與音頻 同步的信息以增強(qiáng)智能筆IOO傳達(dá)的音頻信息、書簽或音頻標(biāo)簽信
16息的價(jià)值，或者以其他方式對用戶輸入做出響應(yīng)。這允許智能筆100 為通過各種模態(tài)所提供的輸入或輸出識(shí)別命令或請求，使得用戶與
智能筆100的交互更加直觀和高效。
響應(yīng)于確定了用戶交互與輸入模態(tài)相關(guān)聯(lián)，輸入類型被識(shí)別
315。通過識(shí)別315該輸入類型，智能筆100確定如何捕獲輸入數(shù)據(jù)。 書寫數(shù)據(jù)經(jīng)由成像系統(tǒng)210被捕獲325，而且作為圖像或文本數(shù)據(jù)被 存儲(chǔ)在板上存儲(chǔ)器250中。類似地，使用一個(gè)或多個(gè)麥克風(fēng)220來 記錄327音頻數(shù)據(jù)，而且隨后將其存儲(chǔ)在板上存儲(chǔ)器250中。因此， 在識(shí)別了與用戶交互相關(guān)聯(lián)的輸入模態(tài)之后，智能筆100從與智能 筆100的交互(例如書寫的或說出的通信)中捕獲附加數(shù)據(jù)。
所識(shí)別的輸入類型可能不同于另外識(shí)別310模態(tài)的用戶交互。 例如，用戶可以向智能筆IOO提供說出的命令以識(shí)別310輸入模態(tài) 而接著開始用智能筆100書寫，這導(dǎo)致捕獲325該書寫數(shù)據(jù)。類似 地，用戶可以提供書寫命令，例如書寫"記錄"，以識(shí)別導(dǎo)致智能 筆100記錄后續(xù)音頻數(shù)據(jù)的輸入模態(tài)。
響應(yīng)于確定用戶交互與輸出模態(tài)相關(guān)聯(lián)，輸出類型被識(shí)別317。 通過識(shí)別317該輸出類型，智能筆IOO確定如何將信息傳達(dá)給用戶。 文本數(shù)據(jù)經(jīng)由顯示器235或計(jì)算系統(tǒng)120被顯示335。類似地，使用 揚(yáng)聲器225、音頻插頭230或計(jì)算系統(tǒng)120播放337音頻數(shù)據(jù)。因此， 在識(shí)別與用戶交互相關(guān)聯(lián)的輸出模態(tài)之后，智能筆IOO向用戶呈現(xiàn) 信息或數(shù)據(jù)，例如通過顯示視覺數(shù)據(jù)或者播放音頻數(shù)據(jù)。
所識(shí)別的輸出類型可以不同于最初識(shí)別310模態(tài)的用戶交互類 型。例如，用戶可以向智能筆IOO提供說出的命令，其識(shí)別310引 起智能筆IOO顯示335視覺數(shù)據(jù)的輸出模態(tài)。類似地，用戶可以提 供書寫命令，諸如書寫"回放"，其識(shí)別310智能筆IOO播放之前
捕獲的音頻數(shù)據(jù)的輸出模態(tài)。
所識(shí)別的輸出類型也可以是在與備選輸入源的交互中被文字化 的音頻或視覺反饋的形式。例如，用戶可以說或?qū)?翻譯成西班牙 語，，或輕拍印有"翻譯成西班牙語，，的可打印表面。用戶接著可以
17輕拍打印在文本中的英語單詞或輕拍之前寫在紙張上的單詞，以聽
它們從智能筆100的揚(yáng)聲器中以西班牙語念出，或在顯示器235中看它們以西班牙語顯示。用戶接著可以說、寫或輕拍(具有預(yù)先打印的按鈕)"翻譯成普通話"而且輕拍相同的單詞以普通話聽和/或看它們。智能筆100還可以捕獲被輕拍的單詞，以存儲(chǔ)和后續(xù)通過測試用戶對單詞的知識(shí)或?qū)⑺鼈儼l(fā)送到遠(yuǎn)程登錄源來使用它們。
纟吉
為了闡述目的，已經(jīng)提供了本發(fā)明實(shí)施方式的上述描述；并不意指它是窮舉的或?qū)⒈景l(fā)明限制到所公開的精確形式。相關(guān)領(lǐng)域的技術(shù)人員可以理解，根據(jù)上述公開的許多修改和變化是可能的。
本描述的一些部分就信息操作的符號化表征和算法方面描述了本發(fā)明的實(shí)施方式。這些算法描述和表征通常被數(shù)據(jù)處理領(lǐng)域的技術(shù)人員所使用，以將他們工作的實(shí)質(zhì)有效地傳遞給該領(lǐng)域其他技術(shù)人員。雖然在功能上、計(jì)算上或邏輯上描述了這些操作，不過能夠理解可以由計(jì)算機(jī)程序或等同的電子電路、微代碼等來實(shí)施這些操作。此外，已經(jīng)證明的是，在不失一般性的前提下，將這些操作的布置作為模塊進(jìn)行參考有時(shí)是方便的。所描述的操作及其相關(guān)聯(lián)的模塊可以在軟件、固件、硬件或其任意組合中被具體化。
可以利用 一個(gè)或多個(gè)硬件或軟件模塊，單獨(dú)或與其他設(shè)備相結(jié)合地執(zhí)行或?qū)嵤┻@里描述的任意步驟、操作或處理。在一個(gè)實(shí)施方式中，用包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品實(shí)施軟件模塊，該
全部步驟、操作或過程的計(jì)算機(jī)程序代碼。
本發(fā)明還涉及用于執(zhí)行這里的操作的裝置。該裝置可以針對所需的目的而專門構(gòu)建，和/或可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序有選擇地激活或重配置的通用計(jì)算機(jī)。這種計(jì)算機(jī)程序可以存儲(chǔ)在有形的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，其可以包括用于存儲(chǔ)電子指令的任何類型的有形介質(zhì)，并且每個(gè)存儲(chǔ)介質(zhì)都與計(jì)算機(jī)系統(tǒng)總線耦合。此外，說明書中所稱的計(jì)算系統(tǒng)可以包括單個(gè)處理器或者可以是使用了用于提高計(jì)算能力的多處理器設(shè)計(jì)的架構(gòu)。
本發(fā)明的實(shí)施方式還可以涉及包含在載波中的計(jì)算機(jī)數(shù)據(jù)信號，這些計(jì)算機(jī)數(shù)據(jù)信號包括計(jì)算機(jī)程序產(chǎn)品的任何實(shí)施方式或這里描述的其他數(shù)據(jù)結(jié)合。計(jì)算機(jī)數(shù)據(jù)信號是有形介質(zhì)或載波中呈現(xiàn)的產(chǎn)品，而且被調(diào)制或者以其他方式編碼在載波中，它是有形的而且根據(jù)任何的恰當(dāng)傳播方法被傳播。
最后，說明書中使用的語言原則上是出于可讀性和指導(dǎo)目的而選擇的，而不是用來約束和限制本發(fā)明的主題。因此，期望本發(fā)明的范圍不局限于這里的詳細(xì)描述，而是基于在此申請所提出的任何權(quán)利要求。因此，本發(fā)明實(shí)施方式的公開意在說明，而非限定由所附權(quán)利要求記載的發(fā)明范圍。
權(quán)利要求
1.一種用于使用多個(gè)模態(tài)與用戶進(jìn)行交互的智能筆設(shè)備，所述系統(tǒng)包括處理器；姿勢捕獲系統(tǒng)，其被耦合到所述處理器，并被配置用于捕獲手寫數(shù)據(jù)；一個(gè)或多個(gè)麥克風(fēng)，其被耦合到所述處理器，并被配置用于捕獲音頻數(shù)據(jù)；板上存儲(chǔ)器，其被耦合到所述處理器并被配置用于響應(yīng)于所述處理器識(shí)別輸入來存儲(chǔ)所述捕獲的手寫數(shù)據(jù)或捕獲的音頻數(shù)據(jù)；顯示器系統(tǒng)，其被耦合到所述處理器，并被配置用于響應(yīng)于所述處理器識(shí)別與所述捕獲的手寫數(shù)據(jù)或捕獲的音頻數(shù)據(jù)相關(guān)聯(lián)的輸出而輸出存儲(chǔ)在所述板上存儲(chǔ)器中的顯示數(shù)據(jù)；音頻輸出系統(tǒng)，其被耦合到所述處理器，并被配置用于響應(yīng)于所述處理器識(shí)別與所述捕獲的手寫數(shù)據(jù)或捕獲的音頻數(shù)據(jù)相關(guān)聯(lián)的輸出而播放存儲(chǔ)的音頻數(shù)據(jù)；以及計(jì)算機(jī)程序代碼，其被存儲(chǔ)在存儲(chǔ)器上，并被配置為由所述處理器執(zhí)行，所述計(jì)算機(jī)程序代碼包括用于識(shí)別與所述捕獲的手寫數(shù)據(jù)或捕獲的音頻數(shù)據(jù)相關(guān)聯(lián)的輸入的指令、用于向所述顯示器系統(tǒng)提供顯示數(shù)據(jù)或向所述音頻輸出系統(tǒng)提供音頻數(shù)據(jù)以作為輸出的指令。
2. 如權(quán)利要求1的智能筆設(shè)備，其中所述板上存儲(chǔ)器包括耦合 到永久性存儲(chǔ)器的隨機(jī)訪問存儲(chǔ)器。
3. 如權(quán)利要求1的智能筆設(shè)備，其中所述永久性存儲(chǔ)器包括快 閃存儲(chǔ)器。
4. 如權(quán)利要求1的智能筆設(shè)備，其中所述計(jì)算機(jī)程序代碼進(jìn)一 步包括用于將顯示數(shù)據(jù)提供到所述顯示器系統(tǒng)以及將音頻數(shù)據(jù)提 供到所述音頻輸出系統(tǒng)的指令，其中所述顯示數(shù)據(jù)和音頻數(shù)據(jù)是相關(guān)的。
5. 如權(quán)利要求1的智能筆設(shè)備，其中所述計(jì)算機(jī)程序代碼進(jìn)一 步包括用于同時(shí)將顯示數(shù)據(jù)提供到所述顯示器系統(tǒng)和將音頻數(shù)據(jù) 提供到所述音頻輸出系統(tǒng)的指令。
6. 如權(quán)利要求1的智能筆設(shè)備，其中所述顯示器包括有機(jī)發(fā)光 二極管(OLED)顯示器。
7. 如權(quán)利要求1的智能筆設(shè)備，其中所述顯示器包括計(jì)算系統(tǒng)。
8. 如權(quán)利要求1的智能筆設(shè)備，進(jìn)一步包括落筆傳感器，其被耦合到所述處理器和所述板上存儲(chǔ)器，所述落 筆傳感器確定所述智能筆的位置，其中所述處理器進(jìn)一步識(shí)別與所 述智能筆的位置變化相關(guān)聯(lián)的輸出或輸入。
9. 如權(quán)利要求8的智能筆設(shè)備，其中所述落筆傳感器進(jìn)一步響 應(yīng)于所述處理器識(shí)別與所述捕獲的手寫子集或捕獲的音頻子集相關(guān) 聯(lián)的輸出來提供觸覺反饋。
10. —種用于基于筆的計(jì)算系統(tǒng)使用多個(gè)模態(tài)來與用戶進(jìn)行交互 的方法，所述方法包4舌從所述用戶接收交互； 將命令與所述交互相關(guān)聯(lián)；響應(yīng)于將聲音捕獲命令與所述交互相關(guān)聯(lián)，記錄音頻數(shù)據(jù)，并將 記錄的音頻數(shù)據(jù)存儲(chǔ)在智能筆中；響應(yīng)于將文本捕獲命令與所述交互相關(guān)聯(lián)，捕獲所述智能筆附近 的手寫數(shù)據(jù)或文本數(shù)據(jù)，并將所述捕獲的手寫數(shù)據(jù)或文本數(shù)據(jù)存儲(chǔ) 在所述智能筆中；響應(yīng)于將音頻回》文命令與所述交互相關(guān)聯(lián)，在聽覺上向所述用戶 呈現(xiàn)數(shù)據(jù)；以及響應(yīng)于將視覺回放命令與所述交互相關(guān)聯(lián)，在視覺上向所述用戶 呈現(xiàn)數(shù)據(jù)。
11. 如權(quán)利要求10的方法，其中所述交互包括音頻數(shù)據(jù)、手寫 數(shù)據(jù)、文本數(shù)據(jù)或所述智能筆的位置變化。
12. 如權(quán)利要求10的方法，其中在聽覺上呈現(xiàn)的數(shù)據(jù)和在視覺上呈現(xiàn)的數(shù)據(jù)是相關(guān)的。
13. 如權(quán)利要求10的方法，其中在聽覺上向所述用戶呈現(xiàn)數(shù)據(jù) 包括使用所述智能筆播放音頻數(shù)據(jù)。
14. 如權(quán)利要求10的方法，其中在視覺上向所述用戶呈現(xiàn)數(shù)據(jù) 包括在視覺上、在輸出模塊上顯示數(shù)據(jù)。
15. 如權(quán)利要求10的方法，進(jìn)一步包括響應(yīng)于將觸覺命令與所述交互相關(guān)聯(lián)，向所述用戶提供觸覺反饋。
16. —種用于使用多個(gè)模態(tài)與用戶進(jìn)行交互的基于筆的計(jì)算系 統(tǒng)，所述系統(tǒng)包4舌智能筆設(shè)備，其被配置用于接收一個(gè)或多個(gè)用戶交互；計(jì)算機(jī)程序代碼，其被存儲(chǔ)在存儲(chǔ)器上，并被配置為由耦合到所 述智能筆設(shè)備的處理器執(zhí)行，所述計(jì)算機(jī)程序代碼包括用于識(shí)別 與捕獲的手寫子集或捕獲的音頻數(shù)據(jù)子集相關(guān)聯(lián)的輸入的指令；存儲(chǔ)設(shè)備，其被耦合到所述處理器和所述智能筆，所述存儲(chǔ)設(shè)備 板上存儲(chǔ)器響應(yīng)于所述處理器識(shí)別同與所述智能筆設(shè)備的用戶交互 相關(guān)聯(lián)的輸入，來存儲(chǔ)與所述智能筆設(shè)備相關(guān)聯(lián)的數(shù)據(jù)；以及輸出模塊，其被耦合到所述處理器和所述存儲(chǔ)設(shè)備，所述輸出模 塊響應(yīng)于所述處理器將輸出同與所述智能筆設(shè)備的一個(gè)或多個(gè)用戶 交互的子集相關(guān)聯(lián)，來向所述用戶呈現(xiàn)存儲(chǔ)的數(shù)據(jù)。
17. 如權(quán)利要求16的基于筆的計(jì)算系統(tǒng)，其中所述輸出模塊包 括揚(yáng)聲器，所述揚(yáng)聲器播放與所述存儲(chǔ)的數(shù)據(jù)相關(guān)聯(lián)的音頻。
18. 如權(quán)利要求16的基于筆的計(jì)算系統(tǒng)，其中所述輸出模塊包 括顯示器，所述顯示器在視覺上向所述用戶呈現(xiàn)存儲(chǔ)的數(shù)據(jù)。
19. 如權(quán)利要求16的基于筆的計(jì)算系統(tǒng)，其中所述一個(gè)或多個(gè) 用戶交互包括音頻數(shù)據(jù)、手寫數(shù)據(jù)、文本數(shù)據(jù)或所述智能筆位置變 化中的至少一個(gè)。
全文摘要
在基于筆的計(jì)算系統(tǒng)中，智能筆允許用戶使用多個(gè)模態(tài)來與基于筆的計(jì)算系統(tǒng)進(jìn)行交互。通常，模態(tài)分類為輸入(或稱命令)模態(tài)和輸出(或稱反饋)模態(tài)。智能筆的輸入模態(tài)示例包括用智能筆書寫以提供書寫輸入和/或說話，或者以其他方式提供聲音以向智能筆給出音頻輸入。智能筆的輸出模態(tài)示例包括讀取由系統(tǒng)顯示的視覺信息，接收觸覺反饋和/或收聽由系統(tǒng)播放的聲音。
文檔編號G06F3/038GK101689187SQ200880023794
公開日2010年3月31日 申請日期2008年5月29日 優(yōu)先權(quán)日2007年5月29日
發(fā)明者J·瑪爾格拉夫, S·A·范 申請人:智思博公司