用于文檔的語音激活導(dǎo)航和瀏覽的設(shè)備、方法和用戶界面的制作方法
【專利摘要】本發(fā)明公開了具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備，該電子設(shè)備接收包括多個(gè)鏈接的第一文檔。該電子設(shè)備輸出對(duì)第一文檔的至少一部分的語音閱讀并且輸出識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息。響應(yīng)于輸出識(shí)別所述鏈接的可聽信息，該電子設(shè)備從用戶接收關(guān)于鏈接的語音命令，并且響應(yīng)于從用戶接收到語音命令，輸出對(duì)第二文檔的與鏈接相關(guān)聯(lián)的至少一部分的語音閱讀。
【專利說明】用于文檔的語音激活導(dǎo)航和瀏覽的設(shè)備、方法和用戶界面

【技術(shù)領(lǐng)域】
[0001]所公開的實(shí)施例整體涉及數(shù)字助理系統(tǒng)，且更具體地涉及執(zhí)行文檔的語音激活導(dǎo)航和瀏覽的數(shù)字助理系統(tǒng)。

【背景技術(shù)】
[0002]正如人類個(gè)人助理一樣，數(shù)字助理系統(tǒng)可執(zhí)行所請(qǐng)求的任務(wù)并提供所請(qǐng)求的建議、信息或服務(wù)。數(shù)字助理系統(tǒng)滿足用戶請(qǐng)求的能力取決于數(shù)字助理系統(tǒng)對(duì)請(qǐng)求或指令的正確理解。在自然語言處理方面的最新進(jìn)展已使得用戶能夠使用口頭或文本形式的自然語言來與數(shù)字助理系統(tǒng)進(jìn)行交互。此類數(shù)字助理系統(tǒng)可解釋用戶的輸入以推斷用戶的意圖、將所推斷出的意圖轉(zhuǎn)換成可執(zhí)行的任務(wù)和參數(shù)、執(zhí)行操作或部署服務(wù)以執(zhí)行任務(wù)，以及產(chǎn)生可被用戶理解的輸出。
[0003]此類數(shù)字助理系統(tǒng)可被配置為協(xié)助在與電子設(shè)備進(jìn)行交互方面具有有限訪問性的用戶。例如，視力下降的人群諸如低視力用戶和盲人用戶、存在閱讀障礙的用戶或具有學(xué)習(xí)障礙的其他用戶，或者甚至是僅僅希望或需要在操作期間不必注視設(shè)備便能夠使用設(shè)備的有視力的用戶均可受益于向用戶閱讀信息的數(shù)字助理系統(tǒng)。在另一個(gè)實(shí)例中，對(duì)于具有觸摸屏的電子設(shè)備而言，動(dòng)作技能有限的人群，諸如某根手指或某只手受損的那些人，如果在觸摸屏上執(zhí)行觸摸手勢(shì)不是不可能的話，也可能發(fā)現(xiàn)執(zhí)行該觸摸手勢(shì)很困難。然而，數(shù)字助理系統(tǒng)可接收語音命令，從而消除對(duì)觸摸手勢(shì)的需求。
[0004]然而，對(duì)文檔的導(dǎo)航和瀏覽仍然是麻煩且效率低下的，從而對(duì)視力受損和/或動(dòng)作技能有限的用戶帶來明顯的認(rèn)知負(fù)擔(dān)。


【發(fā)明內(nèi)容】

[0005]如上所述，需要用于向視力受損和/或動(dòng)作技能有限的用戶提供用于文檔的導(dǎo)航和瀏覽的改進(jìn)的用戶界面的數(shù)字助理系統(tǒng)。這使用戶能夠有效地導(dǎo)航通過并瀏覽文檔。
[0006]本文所公開的實(shí)施例提供了提供文檔的語音激活導(dǎo)航和瀏覽的方法、系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0007]—些實(shí)施例提供了一種用于導(dǎo)航通過在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處執(zhí)行的文檔的方法。該方法包括接收含有多個(gè)鏈接的第一文檔、輸出對(duì)第一文檔的至少一部分的語音閱讀、輸出識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息，以及響應(yīng)于輸出識(shí)別該鏈接的可聽信息，從用戶接收關(guān)于該鏈接的第一類型的語音命令。該方法還包括，響應(yīng)于從用戶接收到語音命令，輸出對(duì)第二文檔的與該鏈接相關(guān)聯(lián)的至少一部分的語音閱讀。
[0008]根據(jù)一些實(shí)施例，一種用于瀏覽在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處執(zhí)行的文檔的方法包括接收具有多個(gè)部分的文檔，其中所述部分中的至少一些部分與相應(yīng)的元數(shù)據(jù)相關(guān)聯(lián)。該方法還包括輸出對(duì)文檔的相應(yīng)部分的語音閱讀，包括基于相應(yīng)的元數(shù)據(jù)可聽地區(qū)分所述相應(yīng)部分。該方法還包括從用戶接收請(qǐng)求導(dǎo)航至與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音命令；以及，響應(yīng)于接收到該語音命令，輸出對(duì)與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音閱讀。
[0009]根據(jù)一些實(shí)施例，一種用于識(shí)別在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處執(zhí)行的一組文檔的方法包括輸出對(duì)多個(gè)文檔中的一個(gè)文檔的至少一部分的語音閱讀。該方法還包括，在輸出語音閱讀的同時(shí)，從用戶接收請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令。該方法還包括，響應(yīng)于從用戶接收到語音命令，識(shí)別所述多個(gè)文檔中的對(duì)應(yīng)于特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔，并且輸出對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔的相應(yīng)文檔的至少一部分的語音閱讀。
[0010]根據(jù)一些實(shí)施例，電子設(shè)備包括存儲(chǔ)用于被所述一個(gè)或多個(gè)處理器執(zhí)行的一個(gè)或多個(gè)程序的存儲(chǔ)器和一個(gè)或多個(gè)處理器。所述一個(gè)或多個(gè)程序包括用于執(zhí)行上述方法中的任一中方法的操作的指令。根據(jù)一些實(shí)施例，在具有顯示器、存儲(chǔ)器、和執(zhí)行存儲(chǔ)在存儲(chǔ)器中的一個(gè)或多個(gè)程序的一個(gè)或多個(gè)處理器的電子設(shè)備上的圖形用戶界面包括在上述方法的任一種方法中顯示的元件中的一個(gè)或多個(gè)元件，這些元件響應(yīng)于輸入而被更新，如上述方法中的任一種方法中所述。根據(jù)一些實(shí)施例，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)已在其中存儲(chǔ)了指令，當(dāng)該指令由具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備執(zhí)行時(shí)，使得該設(shè)備執(zhí)行上述方法中的任一種方法的操作。根據(jù)一些實(shí)施例，電子設(shè)備包括用于執(zhí)行上述方法中的任一種方法的操作的裝置。根據(jù)一些實(shí)施例，用于電子設(shè)備中的信息處理裝置包括用于執(zhí)行上述方法中的任一種方法的操作的裝置。根據(jù)一些實(shí)施例，電子設(shè)備包括被配置為執(zhí)行上述方法中的任一種方法的操作的處理單元。
[0011]根據(jù)一些實(shí)施例，電子設(shè)備包括被配置為接收音頻輸入的音頻輸入單元。電子設(shè)備還包括被配置為輸出可聽信息的音頻輸出單元。電子設(shè)備包括耦接至音頻輸入單元和音頻輸出單元的處理單元。處理單元被配置為接收包括多個(gè)鏈接的第一文檔。處理單元被配置為輸出對(duì)第一文檔的至少一部分的語音閱讀。處理單元被配置為輸出識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息。處理單元被配置為，響應(yīng)于輸出識(shí)別該鏈接的可聽信息，從用戶接收關(guān)于該鏈接的語音命令。處理單元被配置為，響應(yīng)于從用戶接收到語音命令，輸出對(duì)第二文檔的與該鏈接相關(guān)聯(lián)的至少一部分的語音閱讀。
[0012]根據(jù)一些實(shí)施例，電子設(shè)備包括被配置為接收音頻輸入的音頻輸入單元。電子設(shè)備還包括被配置為輸出可聽信息的音頻輸出單元。電子設(shè)備包括耦接至音頻輸入單元和音頻輸出單元的處理單元。處理單元被配置為接收具有多個(gè)部分的文檔，其中所述部分中的至少一些部分與相應(yīng)的元數(shù)據(jù)相關(guān)聯(lián)。處理單元被配置為輸出對(duì)文檔的相應(yīng)部分的語音閱讀，包括基于相應(yīng)的元數(shù)據(jù)可聽地區(qū)分所述相應(yīng)部分。處理單元被配置為從用戶接收請(qǐng)求導(dǎo)航至與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音命令。處理單元被配置為，響應(yīng)于接收到語音命令，輸出對(duì)與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音閱讀。
[0013]根據(jù)一些實(shí)施例，電子設(shè)備包括被配置為接收音頻輸入的音頻輸入單元。電子設(shè)備還包括被配置為輸出可聽信息的音頻輸出單元。電子設(shè)備包括耦接至音頻輸入單元和音頻輸出單元的處理單元。處理單元被配置為輸出對(duì)多個(gè)文檔中的一個(gè)文檔的至少一部分的語音閱讀。處理單元被配置為，在輸出語音閱讀的同時(shí)，從用戶接收請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令。處理單元被配置為，響應(yīng)于從用戶接收到語音命令，識(shí)別所述多個(gè)文檔中的對(duì)應(yīng)于特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔；并且輸出對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔的相應(yīng)文檔的至少一部分的語音閱讀。
[0014]因此，用啟用文檔的導(dǎo)航和瀏覽的新型且改進(jìn)的方法來提供數(shù)字助理系統(tǒng)，從而改進(jìn)針對(duì)具有有限訪問性的用戶的用戶界面。此類方法和系統(tǒng)可補(bǔ)充或替換現(xiàn)有的方法和系統(tǒng)。

【專利附圖】

【附圖說明】
[0015]圖1為示出根據(jù)一些實(shí)施例的數(shù)字助理在其中操作的環(huán)境的框圖。
[0016]圖2為示出根據(jù)一些實(shí)施例的數(shù)字助理客戶端系統(tǒng)的框圖。
[0017]圖3為示出根據(jù)一些實(shí)施例的獨(dú)立式數(shù)字助理系統(tǒng)或數(shù)字助理服務(wù)器系統(tǒng)的框圖。
[0018]圖4A-4N示出根據(jù)一些實(shí)施例的在電子設(shè)備上顯示的示例性用戶界面。
[0019]圖5為示出根據(jù)一些實(shí)施例的用于導(dǎo)航通過由電子設(shè)備執(zhí)行的文檔的操作的流程圖。
[0020]圖6為示出根據(jù)一些實(shí)施例的用于瀏覽由電子設(shè)備執(zhí)行的文檔的操作的流程圖。
[0021]圖7為示出根據(jù)一些實(shí)施例的用于識(shí)別由電子設(shè)備執(zhí)行的一組文檔的操作的流程圖。
[0022]圖8為根據(jù)一些實(shí)施例的電子設(shè)備的功能框圖。
[0023]圖9為根據(jù)一些實(shí)施例的電子設(shè)備的功能框圖。
[0024]圖10為根據(jù)一些實(shí)施例的電子設(shè)備的功能框圖。
[0025]相似的附圖標(biāo)號(hào)是指整個(gè)附圖中的對(duì)應(yīng)部件。

【具體實(shí)施方式】
[0026]圖1為根據(jù)一些實(shí)施例的數(shù)字助理的操作環(huán)境100的框圖。術(shù)語“數(shù)字助理”、“虛擬助理”、“智能自動(dòng)化助理”或“自動(dòng)數(shù)字助理”是指解釋口頭和/或文本形式的自然語言輸入以推斷用戶意圖(例如，識(shí)別對(duì)應(yīng)于自然語言輸入的任務(wù)類型)并基于推斷出的用戶意圖來執(zhí)行動(dòng)作(例如，執(zhí)行對(duì)應(yīng)于所識(shí)別的任務(wù)類型的任務(wù))的任何信息處理系統(tǒng)。例如，為遵照推斷出的用戶意圖來執(zhí)行動(dòng)作，系統(tǒng)可執(zhí)行以下操作中的一者或多者:識(shí)別具有被設(shè)計(jì)來實(shí)現(xiàn)推斷出的用戶意圖的步驟和參數(shù)的任務(wù)流(例如，識(shí)別任務(wù)類型)，將來自推斷出的用戶意圖的特定要求輸入到任務(wù)流中，通過調(diào)用程序、方法、服務(wù)、API等來執(zhí)行任務(wù)流(例如，向服務(wù)提供方發(fā)送請(qǐng)求)；以及以可聽(例如，語音)和/或可視形式來生成對(duì)用戶的輸出響應(yīng)。
[0027]具體地，數(shù)字助理系統(tǒng)能夠接受至少部分地以自然語言命令、請(qǐng)求、聲明、講述和/或詢問的形式的用戶請(qǐng)求。通常，用戶請(qǐng)求尋求數(shù)字助理系統(tǒng)的任務(wù)的信息性回答和執(zhí)行。對(duì)用戶請(qǐng)求的令人滿意的響應(yīng)通常是提供所請(qǐng)求的信息性回答、執(zhí)行所請(qǐng)求的任務(wù)、或這兩者的組合。例如，用戶可向數(shù)字助理系統(tǒng)提出一個(gè)問題，諸如“我現(xiàn)在在哪兒？ ”基于用戶的當(dāng)前位置，數(shù)字助理可回答:“您在西大門附近的中央公園”。用戶還可請(qǐng)求執(zhí)行一項(xiàng)任務(wù)，例如通過聲明“請(qǐng)邀請(qǐng)我的好友們下周參加我女朋友的生日派對(duì)”。作為響應(yīng)，數(shù)字助理可通過生成語音輸出“好的，馬上”來確認(rèn)該請(qǐng)求，并隨后將適當(dāng)?shù)娜粘萄?qǐng)從用戶的電子郵件地址發(fā)送至列于用戶的電子通訊錄中的用戶好友中的每一位。存在與數(shù)字助理進(jìn)行交互以請(qǐng)求信息或執(zhí)行各種任務(wù)的許多其他方法。除提供言語響應(yīng)并采取經(jīng)編程的動(dòng)作之夕卜，數(shù)字助理還可提供其他視頻或音頻形式(例如，作為文本、警報(bào)、音樂、視頻、動(dòng)畫等)的響應(yīng)。
[0028]如圖1中所示，在一些實(shí)施例中，數(shù)字助理系統(tǒng)根據(jù)客戶端-服務(wù)器模型來實(shí)施。數(shù)字助理系統(tǒng)包括在用戶設(shè)備(例如，104a和104b)上執(zhí)行的客戶端側(cè)部分(例如，102a和102b)(后文稱作“數(shù)字助理(DA)客戶端102”)，以及在服務(wù)器系統(tǒng)108上執(zhí)行的服務(wù)器偵_分106 (后文稱作“數(shù)字助理(DA)服務(wù)器106”)。DA客戶端102通過一個(gè)或多個(gè)網(wǎng)絡(luò)110與DA服務(wù)器106進(jìn)行通信。DA客戶端102提供客戶端側(cè)功能諸如面向用戶的輸入和輸出處理，并且與DA服務(wù)器106進(jìn)行通信。DA服務(wù)器106為任意數(shù)量的DA客戶端102提供服務(wù)器側(cè)功能，所述任意數(shù)量的DA客戶端各自駐留在相應(yīng)的用戶設(shè)備104 (也稱作客戶端設(shè)備)上。
[0029]在一些實(shí)施例中，DA服務(wù)器106包括面向客戶端的I/O接口 112、一個(gè)或多個(gè)處理模塊114、數(shù)據(jù)與模型116，以及至外部服務(wù)的I/O接口 118。面向客戶端的I/O接口有助于數(shù)字助理服務(wù)器106的面向客戶端的輸入和輸出處理。所述一個(gè)或多個(gè)處理模塊114利用數(shù)據(jù)與模型116基于自然語言輸入來確定用戶的意圖，并基于推斷出的用戶意圖來執(zhí)行任務(wù)執(zhí)行。
[0030]在一些實(shí)施例中，DA服務(wù)器106通過一個(gè)或多個(gè)網(wǎng)絡(luò)110與外部服務(wù)(例如，一種或多種導(dǎo)航服務(wù)、一種或多種消息傳送服務(wù)、一種或多種信息服務(wù)、日歷服務(wù)、電話服務(wù)等)通信以用于完成任務(wù)或獲取信息。至外部服務(wù)的I/o接口 118有助于此類通信。
[0031]用戶設(shè)備104的實(shí)例包括但不限于手持式計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、平板電腦、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、蜂窩電話、智能電話、增強(qiáng)型通用分組無線電服務(wù)(EGPRS)移動(dòng)電話、媒體播放器、導(dǎo)航設(shè)備、游戲機(jī)、電視機(jī)、遙控器、或者這些數(shù)據(jù)處理設(shè)備中的任意兩種或更多種的組合或任何其他合適的數(shù)據(jù)處理設(shè)備。有關(guān)用戶設(shè)備104的更多細(xì)節(jié)參照?qǐng)D2中示出的示例性用戶設(shè)備104提供。
[0032]一個(gè)或多個(gè)通信網(wǎng)絡(luò)110的實(shí)例包括局域網(wǎng)(“LAN”)和廣域網(wǎng)(“WAN”)，例如互聯(lián)網(wǎng)。一個(gè)或多個(gè)通信網(wǎng)絡(luò)110可使用任何已知的網(wǎng)絡(luò)協(xié)議，包括各種有線或無線協(xié)議諸如以太網(wǎng)、通用串行總線(USB)、火線(FIREWIRE)、全球移動(dòng)通信系統(tǒng)(GSM)、增強(qiáng)型數(shù)據(jù)GSM環(huán)境(EDGE)、碼分多址(CDMA)、時(shí)分多址(TDMA)、藍(lán)牙、W1-F1、互聯(lián)網(wǎng)協(xié)議語音技術(shù)(VoIP)、W1-MAX、或任何其他合適的通信協(xié)議來實(shí)施。
[0033]服務(wù)器系統(tǒng)108可在計(jì)算機(jī)的至少一個(gè)數(shù)據(jù)處理裝置和/或分布式網(wǎng)絡(luò)上實(shí)施。
[0034]盡管圖1中示出的數(shù)字助理系統(tǒng)包括客戶端側(cè)部分(例如，DA客戶端102)和服務(wù)器側(cè)部分(例如，DA服務(wù)器106)兩者，但在一些實(shí)施例中，數(shù)字助理系統(tǒng)僅指服務(wù)器側(cè)部分(例如，DA服務(wù)器106)。作為另外一種選擇，在一些實(shí)施例中，可將數(shù)字助理的功能實(shí)施為安裝在用戶設(shè)備上的獨(dú)立式應(yīng)用程序。此外，數(shù)字助理的客戶端部分與服務(wù)器部分之間的功能劃分在不同的實(shí)施例中可以是變化的。例如，在一些實(shí)施例中，DA客戶端102為僅提供面向用戶的輸入和輸出處理功能且將數(shù)字助理的所有其他功能委托給DA服務(wù)器106的瘦客戶端。在一些其他實(shí)施例中，DA客戶端102被配置為執(zhí)行或協(xié)助DA服務(wù)器106的一個(gè)或多個(gè)功能。
[0035]圖1還示出7 web服務(wù)器120 (例如，web服務(wù)器I (122-1)、web服務(wù)器2 (122-2)、web服務(wù)器3 (122-3)等)。盡管所述一個(gè)或多個(gè)web服務(wù)器120不是數(shù)字助理系統(tǒng)的一部分，但服務(wù)器系統(tǒng)108和/或一個(gè)或多個(gè)用戶設(shè)備104可與web服務(wù)器120中的一者或多者進(jìn)行通信以檢索一個(gè)或多個(gè)文檔和/或與所述一個(gè)或多個(gè)文檔相關(guān)聯(lián)的信息。
[0036]圖2為根據(jù)一些實(shí)施例的用戶設(shè)備104的框圖。用戶設(shè)備104包括存儲(chǔ)器接口202、一個(gè)或多個(gè)處理器204以及外圍設(shè)備接口 206。用戶設(shè)備104中的各種部件通過一條或多條通信總線或信號(hào)線來耦接。用戶設(shè)備104包括各種傳感器、子系統(tǒng)、以及耦接至外圍設(shè)備接口 206的外圍設(shè)備。傳感器、子系統(tǒng)、以及外圍設(shè)備采集信息和/或有助于用戶設(shè)備104的各種功能。
[0037]例如，在一些實(shí)施例中，運(yùn)動(dòng)傳感器210、光傳感器212、以及接近傳感器214耦接至外圍設(shè)備接口 206以有助于取向、照明和接近感測(cè)功能。在一些實(shí)施例中，其他傳感器216諸如定位系統(tǒng)(例如，GPS接收器)、溫度傳感器、生物計(jì)量傳感器等，連接至外圍設(shè)備接口 206，以有助于相關(guān)功能。
[0038]在一些實(shí)施例中，用戶設(shè)備104包括耦接至外圍設(shè)備接口 206的照相機(jī)子系統(tǒng)220。在一些實(shí)施例中，照相機(jī)子系統(tǒng)220的光學(xué)傳感器222有助于照相機(jī)功能，諸如拍攝照片和記錄視頻剪輯。在一些實(shí)施例中，用戶設(shè)備104包括提供通信功能的一個(gè)或多個(gè)有線和/或無線通信子系統(tǒng)224。通信子系統(tǒng)224通常包括各種通信端口、射頻接收器和發(fā)射器、和/或光(例如，紅外)接收器和發(fā)射器。在一些實(shí)施例中，用戶設(shè)備104包括音頻子系統(tǒng)226，該音頻子系統(tǒng)耦接至一個(gè)或多個(gè)揚(yáng)聲器228及一個(gè)或多個(gè)麥克風(fēng)230以有助于支持語音的功能，諸如語音識(shí)別、語音復(fù)制、數(shù)字記錄和電話功能。
[0039]在一些實(shí)施例中，I/O子系統(tǒng)240還耦接至外圍設(shè)備接口 206。在一些實(shí)施例中，用戶設(shè)備104包括觸摸屏246，并且I/O子系統(tǒng)240包括耦接至觸摸屏246的觸摸屏控制器242。當(dāng)用戶設(shè)備104包括觸摸屏246和觸摸屏控制器242時(shí)，觸摸屏246和觸摸屏控制器242通常被配置為例如使用多種觸摸靈敏度技術(shù)中的任一種技術(shù)來檢測(cè)接觸和移動(dòng)或它們的間斷，所述多種觸摸靈敏度技術(shù)諸如電容性技術(shù)、電阻性技術(shù)、紅外技術(shù)、表面聲波技術(shù)、接近傳感器陣列等。在一些實(shí)施例中，用戶設(shè)備104包括不具有觸敏表面的顯示器。在一些實(shí)施例中，用戶設(shè)備104包括獨(dú)立的觸敏表面。在一些實(shí)施例中，用戶設(shè)備104包括一個(gè)或多個(gè)其他輸入控制器244。當(dāng)用戶設(shè)備104包括一個(gè)或多個(gè)其他輸入控制器244時(shí)，所述一個(gè)或多個(gè)其他輸入控制器244通常耦接至其他輸入/控制設(shè)備248，諸如一個(gè)或多個(gè)按鈕、搖臂開關(guān)、拇指滾輪、紅外線端口、USB端口、和/或指針設(shè)備諸如觸筆。
[0040]存儲(chǔ)器接口 202耦接至存儲(chǔ)器250。在一些實(shí)施例中，存儲(chǔ)器250包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，諸如高速隨機(jī)存取存儲(chǔ)器和/或非易失性存儲(chǔ)器(例如，一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、一個(gè)或多個(gè)閃存存儲(chǔ)器設(shè)備、一個(gè)或多個(gè)光學(xué)存儲(chǔ)設(shè)備、和/或其他非易失性固態(tài)存儲(chǔ)器設(shè)備)。
[0041]在一些實(shí)施例中，存儲(chǔ)器250存儲(chǔ)操作系統(tǒng)252、通信模塊254、圖形用戶界面模塊256、傳感器處理模塊258、電話模塊260和應(yīng)用程序262，以及它們的子集或超集。操作系統(tǒng)252包括用于處理基礎(chǔ)系統(tǒng)服務(wù)并用于執(zhí)行硬件相關(guān)任務(wù)的指令。通信模塊254有助于與一個(gè)或多個(gè)附加設(shè)備、一個(gè)或多個(gè)計(jì)算機(jī)和/或一個(gè)或多個(gè)服務(wù)器進(jìn)行通信。圖形用戶界面模塊256有助于圖形用戶界面處理。傳感器處理模塊258有助于與傳感器相關(guān)的處理和功能(例如，處理用一個(gè)或多個(gè)麥克風(fēng)228所接收的語音輸入)。電話模塊260有助于與電話相關(guān)的過程和功能。應(yīng)用程序模塊262有助于用戶應(yīng)用程序的各種功能，諸如電子消息傳送、網(wǎng)頁瀏覽、媒體處理、導(dǎo)航、成像和/或其他過程和功能。在一些實(shí)施例中，應(yīng)用程序模塊262包括web瀏覽器應(yīng)用程序270或與web瀏覽器應(yīng)用程序270交互。在一些實(shí)施例中，應(yīng)用程序模塊262包括電子消息傳送應(yīng)用程序或與電子消息傳送應(yīng)用程序交互。
[0042]如上所述，在一些實(shí)施例中，存儲(chǔ)器250還存儲(chǔ)客戶端側(cè)數(shù)字助理指令(例如，在數(shù)字助理客戶端模塊264中)以及各種用戶數(shù)據(jù)266(例如，用戶專用的詞匯數(shù)據(jù)、偏好數(shù)據(jù)，和/或其他數(shù)據(jù)諸如用戶的電子通訊錄、待辦事項(xiàng)列表、購物清單等)以提供數(shù)字助理的客戶端側(cè)功能。
[0043]在各種實(shí)施例中，數(shù)字助理客戶端模塊264能夠通過用戶設(shè)備104的各種用戶界面(例如，I/o子系統(tǒng)244)接受語音輸入、文本輸入、觸摸輸入和/或手勢(shì)輸入。數(shù)字助理客戶端模塊264還能夠提供音頻、視覺和/或觸覺形式的輸出。例如，可將輸出提供為語音、聲音、警報(bào)、文本消息、菜單、圖形、視頻、動(dòng)畫、振動(dòng)、和/或以上兩者或更多者的組合。在操作期間，數(shù)字助理客戶端模塊264使用通信子系統(tǒng)224來與數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1)進(jìn)行通信。
[0044]在一些實(shí)施例中，數(shù)字助理客戶端模塊264利用各種傳感器、子系統(tǒng)和外圍設(shè)備來從用戶設(shè)備104的周圍環(huán)境采集附加信息以建立與用戶輸入相關(guān)聯(lián)的上下文。在一些實(shí)施例中，數(shù)字助理客戶端模塊264將上下文信息或其子集與用戶輸入一起提供至數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1)以幫助推斷用戶的意圖。
[0045]在一些實(shí)施例中，可伴隨用戶輸入的上下文信息包括傳感器信息，例如照明、環(huán)境噪聲、環(huán)境溫度、周圍環(huán)境的圖像或視頻等。在一些實(shí)施例中，上下文信息還包括設(shè)備的物理狀態(tài)，例如，設(shè)備取向、設(shè)備位置、設(shè)備溫度、功率電平、速度、加速度、運(yùn)動(dòng)模式、蜂窩信號(hào)強(qiáng)度等。在一些實(shí)施例中，還將與用戶設(shè)備106的軟件狀態(tài)相關(guān)的信息，例如，用戶設(shè)備104的運(yùn)行過程、已安裝程序、過去和當(dāng)前的網(wǎng)絡(luò)活動(dòng)、后臺(tái)服務(wù)、錯(cuò)誤日志、資源使用等，作為與用戶輸入相關(guān)聯(lián)的上下文信息而提供至數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1)。
[0046]在一些實(shí)施例中，DA客戶端模塊264響應(yīng)于來自數(shù)字助理服務(wù)器的請(qǐng)求而選擇性地提供存儲(chǔ)在用戶設(shè)備104上的信息(例如，用戶數(shù)據(jù)266的至少一部分)。在一些實(shí)施例中，數(shù)字助理客戶端模塊264還當(dāng)數(shù)字助理服務(wù)器106(圖1)進(jìn)行請(qǐng)求時(shí)經(jīng)由自然語言對(duì)話或其他用戶界面來引出來自用戶的附加輸入。數(shù)字助理客戶端模塊264將附加輸入傳送至數(shù)字助理服務(wù)器106以幫助數(shù)字助理服務(wù)器106進(jìn)行意圖推斷和/或滿足在用戶請(qǐng)求中所表達(dá)的用戶的意圖。
[0047]在一些實(shí)施例中，存儲(chǔ)器250可包括附加指令或更少的指令。此外，用戶設(shè)備104的各種功能可在硬件和/或在軟件中實(shí)施，該硬件和/或軟件包括在一個(gè)或多個(gè)信號(hào)處理集成電路和/或?qū)Ｓ眉呻娐分?，因此用戶設(shè)備104不需要包括圖2中示出的所有模塊和應(yīng)用程序。例如，在一些實(shí)施例中，用戶設(shè)備104不包括觸摸屏246。
[0048]圖3為根據(jù)一些實(shí)施例的示例性數(shù)字助理系統(tǒng)300的框圖。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300在獨(dú)立式計(jì)算機(jī)系統(tǒng)上實(shí)施。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300跨多個(gè)計(jì)算機(jī)而分布。在一些實(shí)施例中，數(shù)字助理的模塊和功能中的一些被劃分成服務(wù)器部分和客戶端部分，其中客戶端部分駐留在用戶設(shè)備(例如，用戶設(shè)備104)上并通過一個(gè)或多個(gè)網(wǎng)絡(luò)與服務(wù)器部分(例如，服務(wù)器系統(tǒng)108)進(jìn)行通信，例如如圖1中所示。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300為圖1中所示的服務(wù)器系統(tǒng)108 (和/或數(shù)字助理服務(wù)器106)的實(shí)施例。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300在用戶設(shè)備(例如，用戶設(shè)備104，圖1)中實(shí)施，從而消除了對(duì)客戶端-服務(wù)器系統(tǒng)的需求。應(yīng)當(dāng)指出的是，數(shù)字助理系統(tǒng)300僅為數(shù)字助理系統(tǒng)的一個(gè)實(shí)例，且該數(shù)字助理系統(tǒng)300可具有比示出更多或更少的部件、可組合兩個(gè)或更多個(gè)部件、或可具有部件的不同配置或布置。圖3中所示的各種部件可在硬件、軟件、固件(包括一個(gè)或多個(gè)信號(hào)處理集成電路和/或?qū)Ｓ眉呻娐?，或它們的組合中實(shí)施。
[0049]數(shù)字助理系統(tǒng)300包括存儲(chǔ)器302、一個(gè)或多個(gè)處理器304、輸入/輸出(I/O)接口306，以及網(wǎng)絡(luò)通信接口 308。這些部件通過一條或多條通信總線或信號(hào)線310彼此通信。
[0050]在一些實(shí)施例中，存儲(chǔ)器302包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，諸如高速隨機(jī)存取存儲(chǔ)器和/或非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、一個(gè)或多個(gè)閃存存儲(chǔ)器設(shè)備、一個(gè)或多個(gè)光學(xué)存儲(chǔ)設(shè)備、和/或其他非易失性固態(tài)存儲(chǔ)器設(shè)備)。
[0051]I/O接口 306將數(shù)字助理系統(tǒng)300的輸入/輸出設(shè)備316諸如顯示器、鍵盤、觸摸屏和麥克風(fēng)耦接至用戶界面模塊322。I/O接口 306與用戶界面模塊322結(jié)合，接收用戶輸入(例如，語音輸入、鍵盤輸入、觸摸輸入等)并相應(yīng)地對(duì)這些輸入進(jìn)行處理。在一些實(shí)施例中，當(dāng)數(shù)字助理在獨(dú)立式用戶設(shè)備上實(shí)施時(shí)，數(shù)字助理系統(tǒng)300包括相對(duì)于圖2中的用戶設(shè)備104所描述的部件和I/O接口及通信接口中的任一者(例如，一個(gè)或多個(gè)麥克風(fēng)228)。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300代表數(shù)字助理具體實(shí)施的服務(wù)器部分，并且通過駐留在用戶設(shè)備(例如，圖2中所示的用戶設(shè)備104)上的客戶端側(cè)部分與用戶進(jìn)行交互。
[0052]在一些實(shí)施例中，網(wǎng)絡(luò)通信接口 308包括一個(gè)或多個(gè)有線通信端口 312和/或無線傳輸和接收電路314。一個(gè)或多個(gè)有線通信端口經(jīng)由一個(gè)或多個(gè)有線接口，例如以太網(wǎng)、通用串行總線(USB)、火線等來接收和發(fā)送通信信號(hào)。無線電路314通常從通信網(wǎng)絡(luò)及其他通信設(shè)備接收RF信號(hào)和/或光學(xué)信號(hào)以及將RF信號(hào)和/或光學(xué)信號(hào)發(fā)送至通信網(wǎng)絡(luò)及其他通信設(shè)備。無線通信可使用多種通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中的任一種，這些通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)諸如GSM、EDGE、CDMA、TDMA、藍(lán)牙、W1-F1、VoIP、W1-MAX、或任何其他合適的通信協(xié)議。網(wǎng)絡(luò)通信接口 308實(shí)現(xiàn)數(shù)字助理系統(tǒng)300與網(wǎng)絡(luò)以及其他設(shè)備之間的通信，該網(wǎng)絡(luò)諸如互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)和/或無線網(wǎng)絡(luò)諸如蜂窩電話網(wǎng)絡(luò)、無線局域網(wǎng)(LAN)和/或城域網(wǎng)(MAN)。
[0053]在一些實(shí)施例中，存儲(chǔ)器302的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)程序、模塊、指令和數(shù)據(jù)結(jié)構(gòu)，這些程序、模塊、指令和數(shù)據(jù)結(jié)構(gòu)包括以下中的全部或子集:操作系統(tǒng)318、通信模塊320、用戶界面模塊322、一個(gè)或多個(gè)應(yīng)用程序324、以及數(shù)字助理模塊326。一個(gè)或多個(gè)處理器304執(zhí)行這些程序、模塊和指令，并從數(shù)據(jù)結(jié)構(gòu)讀取數(shù)據(jù)或?qū)?shù)據(jù)寫到數(shù)據(jù)結(jié)構(gòu)。
[0054]操作系統(tǒng)318 (例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(wù)(例如，存儲(chǔ)器管理、存儲(chǔ)設(shè)備控制、電力管理等)的各種軟件部件和/或驅(qū)動(dòng)器，并有助于各種硬件、固件與軟件部件之間的通?目。
[0055]通信模塊320有助于通過通信網(wǎng)絡(luò)接口 308來進(jìn)行數(shù)字助理系統(tǒng)300與其他設(shè)備之間的通信。例如，通信模塊320可與圖2中所示的設(shè)備104的通信模塊254進(jìn)行通信。通信模塊320還包括用于處理被無線電路314和/或有線通信端口 312所接收的數(shù)據(jù)的各種軟件部件。
[0056]在一些實(shí)施例中，用戶界面模塊322經(jīng)由I/O接口 306來從用戶(例如，來自鍵盤、觸摸屏、和/或麥克風(fēng))接收命令和/或輸入，并將用戶界面對(duì)象提供在顯示器上。
[0057]應(yīng)用程序324包括被配置為由所述一個(gè)或多個(gè)處理器304執(zhí)行的程序和/或模塊。例如，如果數(shù)字助理系統(tǒng)在獨(dú)立式用戶設(shè)備上實(shí)施，則應(yīng)用程序324可包括用戶應(yīng)用程序，諸如游戲、日歷應(yīng)用程序、導(dǎo)航應(yīng)用程序、web瀏覽器應(yīng)用程序、或郵件應(yīng)用程序。如果數(shù)字助理系統(tǒng)300在服務(wù)器場(chǎng)上實(shí)施，則應(yīng)用程序324可包括例如資源管理應(yīng)用程序、診斷應(yīng)用程序、或調(diào)度應(yīng)用程序。
[0058]存儲(chǔ)器302還存儲(chǔ)數(shù)字助理模塊(或數(shù)字助理的服務(wù)器部分)326。在一些實(shí)施例中，數(shù)字助理模塊326包括以下子模塊、或者它們的子集或超集:輸入/輸出處理模塊328、語音文本轉(zhuǎn)換(STT)處理模塊330、自然語言處理模塊332、對(duì)話流處理模塊334、任務(wù)流處理模塊336、以及服務(wù)處理模塊338。這些處理模塊中的每一個(gè)處理模塊均具有對(duì)數(shù)字助理326的以下數(shù)據(jù)與模型中的一者或多者，或者它們的子集或超集的訪問權(quán)限:知識(shí)本體360、詞匯索引344、用戶數(shù)據(jù)348、任務(wù)流模型354、以及服務(wù)模型356。
[0059]在一些實(shí)施例中，使用處理模塊(例如，輸入/輸出處理模塊328、STT處理模塊330、自然語言處理模塊332、對(duì)話流處理模塊334、任務(wù)流處理模塊336、和/或服務(wù)處理模塊338)、數(shù)據(jù)以及在數(shù)字助理模塊326中實(shí)施的模型，數(shù)字助理系統(tǒng)300執(zhí)行以下操作中的至少一些操作:識(shí)別在從用戶接收的自然語言輸入中表達(dá)的用戶意圖；主動(dòng)引出并獲得推斷用戶意圖所需的信息(例如，通過消除詞、姓名、意圖的歧義等)；確定用于滿足推斷出的意圖的任務(wù)流；以及執(zhí)行該任務(wù)流以滿足推斷出的意圖。在一些實(shí)施例中，當(dāng)出于各種原因而未向或不能向用戶提供令人滿意的響應(yīng)時(shí)，數(shù)字助理還采取適當(dāng)?shù)男袆?dòng)。
[0060]在一些實(shí)施例中，I/O處理模塊328通過I/O設(shè)備316與用戶進(jìn)行交互，或通過網(wǎng)絡(luò)通信接口 308與用戶設(shè)備(例如，圖1中的用戶設(shè)備104)進(jìn)行交互以獲得用戶輸入(例如，語音輸入)并提供對(duì)用戶輸入的響應(yīng)。I/O處理模塊328隨同接收到用戶輸入一起或在接收到用戶輸入之后不久任選地獲得與來自用戶設(shè)備的用戶輸入相關(guān)聯(lián)的上下文信息。上下文信息包括用戶專用的數(shù)據(jù)、詞匯、和/或與用戶輸入有關(guān)的偏好。在一些實(shí)施例中，上下文信息還包括當(dāng)接收到用戶請(qǐng)求時(shí)所述設(shè)備(例如，圖1中的用戶設(shè)備104)的軟件和硬件狀態(tài)，和/或與當(dāng)接收到用戶請(qǐng)求時(shí)用戶的周圍環(huán)境相關(guān)的信息。在一些實(shí)施例中，I/O處理模塊328還向用戶發(fā)送有關(guān)用戶請(qǐng)求的跟進(jìn)問題，并從用戶接收回答。在一些實(shí)施例中，當(dāng)用戶請(qǐng)求被I/O處理模塊328接收到且用戶請(qǐng)求包含語音輸入時(shí)，I/O處理模塊328將語音輸入轉(zhuǎn)發(fā)至語音文本轉(zhuǎn)換(STT)處理模塊330以用于語音文本轉(zhuǎn)換。
[0061]在一些實(shí)施例中，語音文本轉(zhuǎn)換處理模塊330通過I/O處理模塊328來接收語音輸入(例如，在語音記錄中捕捉的用戶話語)。在一些實(shí)施例中，語音文本轉(zhuǎn)換處理模塊330使用各種聲音和語言模型來將語音輸入識(shí)別為音素的序列，并最終將其識(shí)別為以一種或多種語言書寫的詞或符號(hào)的序列。語音文本轉(zhuǎn)換處理模塊330使用任何合適的語音識(shí)別技術(shù)、聲音模型以及語言模型，諸如隱馬爾可夫(Hidden Markov)模型、基于動(dòng)態(tài)時(shí)間規(guī)整(DTff)的語音識(shí)別以及其他統(tǒng)計(jì)和/或分析技術(shù)來加以實(shí)施。在一些實(shí)施例中，語音文本轉(zhuǎn)換處理可至少部分地由第三方服務(wù)執(zhí)行或在用戶的設(shè)備上執(zhí)行。一旦語音文本轉(zhuǎn)換處理模塊330獲得語音文本轉(zhuǎn)換處理的結(jié)果(例如，詞或符號(hào)的序列)，其便將結(jié)果傳送至自然語言處理模塊332以用于意圖推斷。
[0062]數(shù)字助理326的自然語言處理模塊332( “自然語言處理器”)取得由語音文本轉(zhuǎn)換處理模塊330生成的詞或符號(hào)的序列(“符號(hào)序列”)，并嘗試將該符號(hào)序列與由數(shù)字助理所識(shí)別的一個(gè)或多個(gè)“可執(zhí)行意圖”相關(guān)聯(lián)。如本文所用，“可執(zhí)行意圖”表示可由數(shù)字助理326和/或數(shù)字助理系統(tǒng)300執(zhí)行并且具有在任務(wù)流模型354中實(shí)施的相關(guān)聯(lián)的任務(wù)流的任務(wù)。相關(guān)聯(lián)的任務(wù)流是數(shù)字助理系統(tǒng)300為了執(zhí)行任務(wù)而采取的一系列經(jīng)編程的動(dòng)作和步驟。數(shù)字助理系統(tǒng)的能力范圍取決于已在任務(wù)流模型354中實(shí)施并存儲(chǔ)的任務(wù)流的數(shù)量和種類，或換言之，取決于數(shù)字助理系統(tǒng)300所識(shí)別的“可執(zhí)行意圖”的數(shù)量和種類。然而，數(shù)字助理系統(tǒng)300的有效性還取決于數(shù)字助理系統(tǒng)從以自然語言表達(dá)的用戶請(qǐng)求中推斷出正確的“一種或多種可執(zhí)行意圖”的能力。
[0063]在一些實(shí)施例中，除從語音文本轉(zhuǎn)換處理模塊330獲得的詞或符號(hào)的序列之外，自然語言處理器332還接收與用戶請(qǐng)求相關(guān)聯(lián)的上下文信息(例如，來自I/O處理模塊328)。自然語言處理器332任選地使用上下文信息來明確、補(bǔ)充和/或進(jìn)一步定義包含在從語音文本轉(zhuǎn)換處理模塊330接收的符號(hào)序列中的信息。上下文信息包括例如用戶偏好、用戶設(shè)備的硬件和/或軟件狀態(tài)，在用戶請(qǐng)求之前、期間或之后不久收集的傳感器信息，數(shù)字助理與用戶之間的先前交互(例如，對(duì)話)，等等。
[0064]在一些實(shí)施例中，自然語言處理基于知識(shí)本體360。知識(shí)本體360是一種包含多個(gè)節(jié)點(diǎn)的層級(jí)結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)要么代表“可執(zhí)行意圖”、要么代表與“可執(zhí)行意圖”中的一者或多者有關(guān)的一種“屬性”或其他“屬性”。如上所指出的，“可執(zhí)行意圖”代表數(shù)字助理系統(tǒng)300能夠執(zhí)行的任務(wù)(例如，“可執(zhí)行”或者可對(duì)其采取行動(dòng)的任務(wù))。“屬性”代表與可執(zhí)行意圖或另一屬性的子方面相關(guān)聯(lián)的參數(shù)。知識(shí)本體360中可執(zhí)行意圖節(jié)點(diǎn)與屬性節(jié)點(diǎn)之間的連接定義由屬性節(jié)點(diǎn)所代表的參數(shù)如何從屬于由可執(zhí)行意圖節(jié)點(diǎn)所代表的任務(wù)。
[0065]在一些實(shí)施例中，知識(shí)本體360由可執(zhí)行意圖節(jié)點(diǎn)和屬性節(jié)點(diǎn)組成。在知識(shí)本體360內(nèi)，每個(gè)可執(zhí)行意圖節(jié)點(diǎn)直接連接至或通過一個(gè)或多個(gè)中間屬性節(jié)點(diǎn)連接至一個(gè)或多個(gè)屬性節(jié)點(diǎn)。類似地，每個(gè)屬性節(jié)點(diǎn)直接連接至或通過一個(gè)或多個(gè)中間屬性節(jié)點(diǎn)連接至一個(gè)或多個(gè)可執(zhí)行意圖節(jié)點(diǎn)。
[0066]可執(zhí)行的意圖節(jié)點(diǎn)連同其所鏈接的概念節(jié)點(diǎn)一起可被描述為“域”。在本討論中，每個(gè)域與相應(yīng)的可執(zhí)行的意圖相關(guān)聯(lián)，并涉及與特定可執(zhí)行的意圖相關(guān)聯(lián)的一組節(jié)點(diǎn)(以及其間的關(guān)系)。在一些實(shí)施例中，知識(shí)本體360由多個(gè)域組成。每個(gè)域可與一個(gè)或多個(gè)其他域共享一個(gè)或多個(gè)屬性節(jié)點(diǎn)。
[0067]在一些實(shí)施例中，知識(shí)本體360包括數(shù)字助理能夠理解并對(duì)其起作用的所有域(因此可執(zhí)行的意圖)。在一些實(shí)施例中，知識(shí)本體360可諸如通過添加或移除域或節(jié)點(diǎn)，或者通過修改知識(shí)本體360內(nèi)的節(jié)點(diǎn)之間的關(guān)系來進(jìn)行修改。
[0068]在一些實(shí)施例中，可將與多個(gè)相關(guān)的可執(zhí)行意圖相關(guān)聯(lián)的節(jié)點(diǎn)群集在知識(shí)本體360中的“超級(jí)域”下。例如，“旅行”超級(jí)域可包括與旅行相關(guān)的屬性節(jié)點(diǎn)和可執(zhí)行的意圖節(jié)點(diǎn)的群集。與旅行相關(guān)的可執(zhí)行的意圖節(jié)點(diǎn)可包括“機(jī)票預(yù)訂”、“酒店預(yù)訂”、“汽車租賃”、“獲取路線”、“尋找興趣點(diǎn)”，等等。同一超級(jí)域(例如，“旅行”超級(jí)域)下的可執(zhí)行的意圖節(jié)點(diǎn)可具有多個(gè)共用的屬性節(jié)點(diǎn)。例如，針對(duì)“機(jī)票預(yù)訂”、“酒店預(yù)訂”、“汽車租賃”、“獲取路線”、“尋找興趣點(diǎn)”的可執(zhí)行的意圖節(jié)點(diǎn)可共享屬性節(jié)點(diǎn)“起始位置”、“目的地”、“出發(fā)日期/時(shí)間”、“到達(dá)日期/時(shí)間”及“同行人數(shù)”中的一個(gè)或多個(gè)。
[0069]在一些實(shí)施例中，知識(shí)本體360中的每個(gè)節(jié)點(diǎn)和與由節(jié)點(diǎn)所代表的屬性或可執(zhí)行意圖有關(guān)的一組詞和/或短語相關(guān)聯(lián)。與每個(gè)節(jié)點(diǎn)相關(guān)聯(lián)的相應(yīng)組的詞和/或短語是與節(jié)點(diǎn)相關(guān)聯(lián)的所謂的“詞匯”?？蓪⑴c每個(gè)節(jié)點(diǎn)相關(guān)聯(lián)的相應(yīng)組的詞和/或短語存儲(chǔ)在與由節(jié)點(diǎn)所代表的屬性或可執(zhí)行意圖相關(guān)聯(lián)的詞匯索引344中。例如，與“餐廳”的屬性的節(jié)點(diǎn)相關(guān)聯(lián)的詞匯可包括詞諸如“食物”、“飲品”、“菜系”、“饑餓”、“吃”、“比薩”、“快餐”、“一餐”等。又如，與“發(fā)起電話呼叫”的可執(zhí)行意圖的節(jié)點(diǎn)相關(guān)聯(lián)的詞匯可包括詞和短語諸如“呼口Li”、“打電話”、“撥打”、“與......通電話”、“呼叫該號(hào)碼”、“打電話給”等。詞匯索引344
任選地包括不同語言的詞和短語。
[0070]在一些實(shí)施例中，自然語言處理器332從語音文本轉(zhuǎn)換處理模塊330接收符號(hào)序列(例如，文本串)，并確定符號(hào)序列中的詞牽涉哪些節(jié)點(diǎn)。在一些實(shí)施例中，如果發(fā)現(xiàn)符號(hào)序列中的詞或短語與知識(shí)本體360中的一個(gè)或多個(gè)節(jié)點(diǎn)相關(guān)聯(lián)(經(jīng)由詞匯索引344)，則所述詞或短語將“觸發(fā)”或“激活”這些節(jié)點(diǎn)。當(dāng)多個(gè)節(jié)點(diǎn)被“觸發(fā)”時(shí)，基于已激活節(jié)點(diǎn)的數(shù)量和/或相對(duì)重要性，自然語言處理器332將選擇可執(zhí)行意圖中的一個(gè)作為用戶意圖讓數(shù)字助理執(zhí)行的任務(wù)(或任務(wù)類型)。在一些實(shí)施例中，選擇具有最多“已觸發(fā)”節(jié)點(diǎn)的域。在一些實(shí)施例中，選擇具有最高置信度(例如，基于其各個(gè)已觸發(fā)節(jié)點(diǎn)的相對(duì)重要性)的域。在一些實(shí)施例中，基于已觸發(fā)節(jié)點(diǎn)的數(shù)量和重要性的組合來選擇域。在一些實(shí)施例中，在選擇節(jié)點(diǎn)的過程中還考慮附加因素，諸如數(shù)字助理系統(tǒng)300先前是否已正確解釋來自用戶的類似請(qǐng)求。
[0071]在一些實(shí)施例中，數(shù)字助理系統(tǒng)300還將特定實(shí)體的名稱存儲(chǔ)在詞匯索引344中，使得當(dāng)在用戶請(qǐng)求中檢測(cè)到這些名稱中的一個(gè)名稱時(shí)，自然語言處理器332將能夠識(shí)別該名稱涉及知識(shí)主體中的屬性或子屬性的特定實(shí)例。在一些實(shí)施例中，特定實(shí)體的名稱是企業(yè)、餐廳、人、電影等的名稱。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300可從其他數(shù)據(jù)源中搜索并識(shí)別特定實(shí)體名稱，所述其他數(shù)據(jù)源諸如用戶的通訊錄、電影數(shù)據(jù)庫、音樂家數(shù)據(jù)庫和/或餐廳數(shù)據(jù)庫。在一些實(shí)施例中，當(dāng)自然語言處理器332識(shí)別出符號(hào)序列中的詞是特定實(shí)體的名稱(諸如用戶通訊錄中的名稱)時(shí)，在于用戶請(qǐng)求的知識(shí)主體內(nèi)選擇可執(zhí)行意圖的過程中，為該詞賦予附加的重要性。
[0072]例如，當(dāng)從用戶請(qǐng)求中識(shí)別出詞“Santo先生”且當(dāng)詞匯索引344中發(fā)現(xiàn)姓“Santo”是用戶聯(lián)系人列表中的聯(lián)系人之一時(shí)，則用戶請(qǐng)求可能對(duì)應(yīng)于“發(fā)送消息”或“發(fā)起電話呼叫”域。又如，當(dāng)在用戶請(qǐng)求中發(fā)現(xiàn)的詞“ABC咖啡館”且當(dāng)在詞匯索引344中發(fā)現(xiàn)的詞語“ABC咖啡館”是用戶所在城市中的特定餐廳的名稱時(shí)，則用戶請(qǐng)求可能對(duì)應(yīng)于“餐廳預(yù)訂”域。
[0073]用戶數(shù)據(jù)348包括用戶專用的信息，諸如用戶專用的詞匯、用戶偏好、用戶地址、用戶的默認(rèn)語言和第二語言、用戶的聯(lián)系人列表，以及每位用戶的其他短期或長(zhǎng)期信息。自然語言處理器332可使用用戶專用的信息來補(bǔ)充包含在用戶輸入中的信息以進(jìn)一步限定用戶意圖。例如，針對(duì)用戶請(qǐng)求“邀請(qǐng)我的朋友參加我的生日派對(duì)”，自然語言處理器332能夠訪問用戶數(shù)據(jù)348以確定“朋友”是哪些人以及“生日派對(duì)”將于何時(shí)何地舉行，而不需要用戶在其請(qǐng)求中明確地提供此類信息。
[0074]一旦自然語言處理器332基于用戶請(qǐng)求識(shí)別出可執(zhí)行意圖(或域)，自然語言處理器332便生成結(jié)構(gòu)化查詢以表示所識(shí)別的可執(zhí)行意圖。在一些實(shí)施例中，結(jié)構(gòu)化查詢包括針對(duì)可執(zhí)行意圖的域內(nèi)的一個(gè)或多個(gè)節(jié)點(diǎn)的參數(shù)，并且所述參數(shù)中的至少一些參數(shù)填充有在用戶請(qǐng)求中指定的特定信息和要求。例如，用戶可以說:“通知壽司店預(yù)定晚上7點(diǎn)的座位?！痹谠撉闆r下，自然語言處理器332能夠基于用戶輸入將可執(zhí)行意圖正確地識(shí)別為“餐廳預(yù)訂”。根據(jù)知識(shí)主體，“餐廳預(yù)訂”域的結(jié)構(gòu)化查詢可包括參數(shù)諸如{菜系}、{時(shí)間}、{日期}、{同行人數(shù)}等?；诎谟脩粼捳Z中的信息，自然語言處理器332可針對(duì)餐廳預(yù)訂域生成部分結(jié)構(gòu)化的查詢，其中部分結(jié)構(gòu)化的查詢包括參數(shù){菜系=“壽司類”}和{時(shí)間=“下午7點(diǎn)”}。然而，在該實(shí)例中，用戶話語包含不足以完成與域相關(guān)聯(lián)的結(jié)構(gòu)化查詢的信息。因此，其他必要參數(shù)諸如{同行人數(shù)}和{日期}未基于當(dāng)前可用的信息在結(jié)構(gòu)化查詢中指定。在一些實(shí)施例中，自然語言處理器332利用所接收的上下文信息來填充結(jié)構(gòu)化查詢中的一些參數(shù)。例如，如果用戶請(qǐng)求“我附近”的壽司餐廳，則自然語言處理器332可利用來自用戶設(shè)備104的GPS坐標(biāo)來填充結(jié)構(gòu)化查詢中的{位置參數(shù)}。
[0075]在一些實(shí)施例中，自然語言處理器332將結(jié)構(gòu)化查詢(包括任何已完成的參數(shù))傳送至任務(wù)流處理模塊336 ( “任務(wù)流處理器”)。任務(wù)流處理器336被配置為執(zhí)行以下中的一者或多者:從自然語言處理器332接收結(jié)構(gòu)化查詢，完成結(jié)構(gòu)化查詢，以及執(zhí)行“完成”用戶的最終請(qǐng)求所需的動(dòng)作。在一些實(shí)施例中，完成這些任務(wù)所必需的各種過程在任務(wù)流模型354中提供。在一些實(shí)施例中，任務(wù)流模型354包括用于獲取來自用戶的附加信息的過程，以及用于執(zhí)行與可執(zhí)行意圖相關(guān)聯(lián)的動(dòng)作的任務(wù)流。
[0076]如上所述，為了完成結(jié)構(gòu)化查詢，任務(wù)流處理器336可能需要發(fā)起與用戶的附加對(duì)話以便獲得附加信息和/或弄清可能有模糊的話語。當(dāng)此類交互有必要時(shí)，任務(wù)流處理器336調(diào)用對(duì)話處理模塊334以進(jìn)行與用戶的對(duì)話。在一些實(shí)施例中，對(duì)話處理模塊334確定如何(和/或何時(shí))向用戶詢問附加信息，并接收和處理用戶響應(yīng)。在一些實(shí)施例中，通過I/O處理模塊328將問題提供給用戶并從用戶接收回答。例如，對(duì)話處理模塊334經(jīng)由音頻和/或視頻輸出向用戶呈現(xiàn)對(duì)話輸出，并接收經(jīng)由口頭或物理(例如，觸摸手勢(shì))響應(yīng)的來自用戶的輸入。繼續(xù)上文的實(shí)例，當(dāng)任務(wù)流處理器336調(diào)用對(duì)話處理模塊334以針對(duì)與域“餐廳預(yù)訂”相關(guān)聯(lián)的結(jié)構(gòu)化查詢來確定“同行人數(shù)”和“日期”信息時(shí)，對(duì)話流處理器334生成問題諸如“共有多少人用餐？ ”和“具體哪天用餐？ ”以傳送至用戶。一旦從用戶接收到回答，對(duì)話處理模塊334便用缺失是信息填充結(jié)構(gòu)化查詢，或?qū)⑿畔魉椭寥蝿?wù)流處理器336以完成結(jié)構(gòu)化查詢中的缺失信息。
[0077]在一些情況下，任務(wù)流處理器336可能接收到具有一個(gè)或多個(gè)模糊屬性的結(jié)構(gòu)化查詢。例如，針對(duì)“發(fā)送消息”域的結(jié)構(gòu)化查詢可能指示預(yù)期接收人為“Bob”，并且用戶可具有多個(gè)名為“Bob”的聯(lián)系人。任務(wù)流處理器336將請(qǐng)求對(duì)話處理器334弄清結(jié)構(gòu)化查詢的這個(gè)屬性。繼而，對(duì)話處理器334可詢問用戶“哪個(gè)Bob ? ”，并顯示(或讀出)名為“Bob”的聯(lián)系人的列表，用戶可從該列表中進(jìn)行選擇。
[0078]一旦任務(wù)流處理器336已針對(duì)可執(zhí)行意圖完成結(jié)構(gòu)化查詢，任務(wù)流處理器336就繼續(xù)執(zhí)行與可執(zhí)行意圖相關(guān)聯(lián)的最終任務(wù)。因此，任務(wù)流處理器336根據(jù)包含在結(jié)構(gòu)化查詢中的特定參數(shù)來執(zhí)行任務(wù)流模型中的步驟和指令。例如，針對(duì)可執(zhí)行意圖“餐廳預(yù)訂”的任務(wù)流模型可包括用于聯(lián)系餐廳并實(shí)際上請(qǐng)求在特定時(shí)間針對(duì)特定同行人數(shù)的預(yù)訂的步驟和指令。例如，通過使用結(jié)構(gòu)化查詢諸如:{餐廳預(yù)訂，餐廳=ABC咖啡館，日期=2012/3/12，時(shí)間=下午7點(diǎn)，同行人數(shù)=5人}，任務(wù)流處理器336可執(zhí)行以下步驟:⑴登錄ABC咖啡館的服務(wù)器，或者被配置為接受針對(duì)多個(gè)餐廳諸如ABC咖啡館的預(yù)訂的餐廳預(yù)訂系統(tǒng)，⑵在網(wǎng)站上的表格中輸入日期、時(shí)間和同行人數(shù)信息，⑶提交表格，以及⑷在用戶日歷中針對(duì)該預(yù)訂制作日歷條目。
[0079]在一些實(shí)施例中，任務(wù)流處理器336在服務(wù)處理模塊338( “服務(wù)處理器”)的輔助下完成用戶輸入中所請(qǐng)求的任務(wù)或者提供用戶輸入中所請(qǐng)求的信息性回答。例如，服務(wù)處理器338可代替任務(wù)流處理器336發(fā)起電話呼叫、設(shè)置日歷條目、調(diào)用地圖搜索、調(diào)用用戶設(shè)備上安裝的其他應(yīng)用程序或與所述其他應(yīng)用程序進(jìn)行交互，以及調(diào)用第三方服務(wù)(例如，餐廳預(yù)訂門戶網(wǎng)站、社交網(wǎng)站、銀行門戶網(wǎng)站等)或與第三方服務(wù)進(jìn)行交互。在一些實(shí)施例中，每項(xiàng)服務(wù)所需的協(xié)議和應(yīng)用編程接口(API)可通過服務(wù)模型356間的相應(yīng)服務(wù)模型來指定。服務(wù)處理器338針對(duì)服務(wù)訪問適當(dāng)?shù)姆?wù)模型并依據(jù)該服務(wù)模型根據(jù)該服務(wù)所需的協(xié)議和API來生成針對(duì)該服務(wù)的請(qǐng)求。
[0080]例如，如果餐廳已啟用在線預(yù)訂服務(wù)，則餐廳可提交一服務(wù)模型，該服務(wù)模型指定進(jìn)行預(yù)訂的必要參數(shù)以及用于將必要參數(shù)的值傳送至在線預(yù)訂服務(wù)的API。當(dāng)被任務(wù)流處理器336請(qǐng)求時(shí)，服務(wù)處理器338可使用存儲(chǔ)在服務(wù)模型356中的web地址來建立與在線預(yù)訂服務(wù)的網(wǎng)絡(luò)連接，并將預(yù)訂的必要參數(shù)(例如，時(shí)間、日期、同行人數(shù))以根據(jù)在線預(yù)訂服務(wù)的API的格式發(fā)送至在線預(yù)訂接口。
[0081]在一些實(shí)施例中，自然語言處理器332、對(duì)話處理器334以及任務(wù)流處理器336共同且反復(fù)地使用以推斷并限定用戶的意圖、獲得信息以進(jìn)一步明確并提煉用戶意圖、并最終生成響應(yīng)(例如，將輸出提供至用戶，或完成任務(wù))以滿足用戶的意圖。
[0082]在一些實(shí)施例中，在已執(zhí)行滿足用戶請(qǐng)求所需的所有任務(wù)之后，數(shù)字助理326制定確認(rèn)響應(yīng)，并通過I/O處理模塊328將該響應(yīng)發(fā)送回用戶。如果用戶請(qǐng)求尋求信息性回答，則確認(rèn)響應(yīng)向用戶呈現(xiàn)所請(qǐng)求的信息。在一些實(shí)施例中，數(shù)字助理還請(qǐng)求用戶來指示用戶是否對(duì)由數(shù)字助理326所產(chǎn)生的響應(yīng)滿意。
[0083]圖4A-4N不出根據(jù)一些實(shí)施例的在電子設(shè)備(例如，相對(duì)于圖2所描述的用戶設(shè)備104，或相對(duì)于圖3所描述的獨(dú)立式設(shè)備300)上所顯示的示例性用戶界面。
[0084]圖4A-4J示出根據(jù)一些實(shí)施例的與導(dǎo)航通過和瀏覽一個(gè)或多個(gè)文檔相關(guān)聯(lián)的示例性用戶界面。
[0085]圖4A示出包含第一文檔的一部分的示例性用戶界面。在一些實(shí)施例中，第一文檔包括例如用下劃線指示的多個(gè)鏈接(例如，“新國(guó)家”、“內(nèi)戰(zhàn)”、“一個(gè)大戰(zhàn)場(chǎng)”和“戰(zhàn)場(chǎng)的一角”)。
[0086]圖4A還示出，在一些實(shí)施例中，在輸出對(duì)第一文檔的語音閱讀之前，電子設(shè)備輸出指示第一文檔上的當(dāng)前位置的可聽信息和/或包括有關(guān)第一文檔的信息的可聽信息。例如，電子設(shè)備可輸出音頻信號(hào)(例如，“嗶嗶聲”)或語音指示，該語音指示指示第一文檔的將要閱讀的部分為第一文檔的開頭或者電子設(shè)備即將輸出語音閱讀。此外，或代替之，電子設(shè)備可輸出有關(guān)第一文檔的信息，諸如第一文檔的標(biāo)題、作者、日期和來源。
[0087]圖4B示出了電子設(shè)備輸出對(duì)第一文檔的一部分的語音閱讀，該語音閱讀對(duì)應(yīng)于文本“八十七年前，我們的先輩在這個(gè)大陸上建立了”。
[0088]圖4C示出了電子設(shè)備輸出識(shí)別與文本“新國(guó)家”相關(guān)聯(lián)的鏈接的可聽信息。例如，電子設(shè)備輸出詞“鏈接”的語音信號(hào)和/或類似于“嗶嗶聲”的音頻信號(hào)。在一些實(shí)施例中，術(shù)語“鏈接”是指包含所鏈接的文檔的位置的元數(shù)據(jù)。在一些實(shí)施例中，術(shù)語“鏈接”包括超文本錨點(diǎn)。語音信號(hào)和音頻信號(hào)可在輸出對(duì)與鏈接相關(guān)聯(lián)的文本的語音閱讀之前或之后輸出。在一些實(shí)施例中，電子設(shè)備還輸出有關(guān)鏈接的信息，諸如所鏈接的文檔的標(biāo)題、作者、日期和來源。
[0089]在一些實(shí)施例中，電子設(shè)備在輸出語音信號(hào)、音頻信號(hào)、有關(guān)鏈接的信息和/或?qū)εc鏈接相關(guān)聯(lián)的文本的語音閱讀之后暫停預(yù)定義的時(shí)段(例如，一秒、兩秒、三秒、四秒或五秒等)。
[0090]圖4D示出了電子設(shè)備輸出對(duì)第一文檔的繼與所述鏈接相關(guān)聯(lián)的文本之后的一部分的語音閱讀。
[0091]在一些實(shí)施例中，電子設(shè)備從用戶接收語音命令。在一些實(shí)施例中，在電子設(shè)備輸出語音信號(hào)、音頻信號(hào)、有關(guān)鏈接的信息和/或?qū)εc鏈接相關(guān)聯(lián)的文本的語音閱讀的同時(shí)；在暫停期間；或者在電子設(shè)備輸出對(duì)所述文檔的繼與所述鏈接相關(guān)聯(lián)的文本之后的一部分的語音閱讀的同時(shí)，該電子設(shè)備從用戶接收語音命令。在一些實(shí)施例中，電子設(shè)備在輸出有關(guān)不同于所述鏈接的第二鏈接的語音信號(hào)和/或音頻信號(hào)之前從用戶接收語音命令。
[0092]在一些實(shí)施例中，語音命令是對(duì)導(dǎo)航至所鏈接的文檔的請(qǐng)求(例如，“跟隨鏈接”)。在一些實(shí)施例中，電子設(shè)備存儲(chǔ)文檔的最后一個(gè)語音輸出部分。在一些實(shí)施例中，電子設(shè)備存儲(chǔ)有關(guān)鏈接的信息(例如，鏈接的位置和/或標(biāo)識(shí))作為文檔的最后一個(gè)語音輸出部分的替代。
[0093]圖4E示出了電子設(shè)備顯示所鏈接的文檔的一部分并輸出對(duì)所鏈接的文檔的一部分的語音閱讀。在一些實(shí)施例中，在輸出對(duì)鏈接的文檔的語音閱讀之前，電子設(shè)備輸出指示文檔上的當(dāng)前位置的可聽信息和/或包括有關(guān)文檔的信息的可聽信息。例如，電子設(shè)備可輸出音頻信號(hào)(例如，“嗶嗶聲”)或語音指示，該音頻信號(hào)或語音指示指示文檔的將要閱讀的部分為文檔的開頭或者電子設(shè)備即將輸出語音閱讀。此外，或代替之，電子設(shè)備可輸出有關(guān)文檔的信息，諸如文檔的標(biāo)題、作者、日期和來源。此外，電子設(shè)備可輸出音頻信號(hào)或語音指示，該音頻信號(hào)或語音指示指示文檔的將要閱讀的部分為標(biāo)題、新行、新句子和/或新段落。
[0094]圖4F示出電子設(shè)備進(jìn)一步輸出對(duì)所鏈接的文檔的后續(xù)部分的語音閱讀。類似地，電子設(shè)備可繼續(xù)輸出對(duì)所鏈接的文檔的剩余部分的語音閱讀。
[0095]圖4G示出電子設(shè)備輸出對(duì)所鏈接的文檔的最后一個(gè)句子的語音閱讀。
[0096]在一些實(shí)施例中，在電子設(shè)備輸出對(duì)所鏈接的文檔的一個(gè)或多個(gè)部分的語音閱讀的同時(shí)，電子設(shè)備從用戶接收請(qǐng)求導(dǎo)航回到第一文檔的語音命令。圖4H示出了，作為響應(yīng)，電子設(shè)備顯示第一文檔的一個(gè)或多個(gè)部分并輸出對(duì)第一文檔的一部分的語音閱讀。
[0097]在一些實(shí)施例中，電子設(shè)備輸出有關(guān)導(dǎo)航回到第一文檔的語音詢問。在一些實(shí)施例中，在輸出對(duì)所鏈接的文檔的最后一個(gè)句子的語音閱讀之后，電子設(shè)備輸出有關(guān)導(dǎo)航回到第一文檔的語音詢問。當(dāng)用戶提供請(qǐng)求導(dǎo)航回到第一文檔的語音命令時(shí)，電子設(shè)備輸出對(duì)第一文檔的一部分的語音閱讀，如上所述(即，導(dǎo)航回到第一文檔)。作為另外一種選擇，在一些實(shí)施例中，例如當(dāng)電子設(shè)備完成輸出對(duì)所鏈接的文檔的語音閱讀時(shí)，電子設(shè)備在不從用戶接收語音命令的情況下自動(dòng)導(dǎo)航回到第一文檔。
[0098]在一些實(shí)施例中，當(dāng)電子設(shè)備恢復(fù)輸出對(duì)第一文檔的語音閱讀時(shí)，電子設(shè)備開始輸出對(duì)第一文檔的對(duì)應(yīng)于該第一文檔的最后一個(gè)語音輸出部分的一部分的語音閱讀。在一些實(shí)施例中，電子設(shè)備通過輸出對(duì)與鏈接相關(guān)聯(lián)的文本的語音閱讀來恢復(fù)。在一些實(shí)施例中，電子設(shè)備通過輸出對(duì)第一文檔的繼與所述鏈接相關(guān)聯(lián)的文本之后的一部分的語音閱讀來恢復(fù)。在一些實(shí)施例中，電子設(shè)備通過輸出對(duì)包括與所述鏈接相關(guān)聯(lián)的文本的句子的語音閱讀來恢復(fù)。在一些實(shí)施例中，電子設(shè)備通過輸出對(duì)包括與所述鏈接相關(guān)聯(lián)的文本的段落的語音閱讀來恢復(fù)。
[0099]圖41示出電子設(shè)備輸出對(duì)第一文檔中的下一個(gè)段落的一部分的語音閱讀。在一些實(shí)施例中，在輸出對(duì)下一個(gè)段落的一部分的語音閱讀之前，電子設(shè)備輸出指示文檔上的當(dāng)前位置的可聽信息。例如，電子設(shè)備可輸出音頻信號(hào)(例如，“嗶嗶聲”)或語音指示，該音頻信號(hào)或語音指示指示文檔的將要閱讀的部分為新行、新句子和/或新段落。
[0100]圖4J示出了，在一些實(shí)施例中，文檔包括具有相應(yīng)樣式的多個(gè)部分。換句話講，文檔的第一部分可包括第一樣式并且文檔的第二部分包括第二樣式。例如，圖4J中所示的文檔的第一段落具有第一樣式(例如，該段落為非斜體字體)并且文檔的后續(xù)段落具有不同于第一樣式的第二樣式(例如，該段落為斜體字體)。電子設(shè)備使用第一組語音特征(例如，成年女性嗓音)來輸出對(duì)文檔的第一部分的語音閱讀并且使用第二組語音特征(例如，成年男性嗓音)來輸出對(duì)文檔的第二部分的語音閱讀。語音特征可包括音高、語速和音量中的一者或多者，和/或?qū)诶缧詣e(例如，男性或女性)和年齡(例如，成年人或兒童)分類的特定組的說話人而言為典型的特征。
[0101]圖4K-4N示出了根據(jù)一些實(shí)施例的與識(shí)別一個(gè)或多個(gè)文檔相關(guān)聯(lián)的示例性用戶界面。盡管圖4K-4N中所示的示例性用戶界面包括電子郵件消息，但類似方法可與其他類型的文檔諸如書刊章節(jié)、百科全書條目等一起使用。
[0102]圖4K示出了電子消息的示例性用戶界面。電子設(shè)備輸出對(duì)消息的至少一部分的語音閱讀(例如，“有一封從David發(fā)送給您、John、Karen和Paul的電子郵件。主題為新功能。該消息說到‘這看起來真好。大伙兒覺得呢？’”)。
[0103]在一些實(shí)施例中，電子設(shè)備從用戶接收請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔的語音命令。例如，在一些實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔由一位或多位作者創(chuàng)作(例如，“找到來自David的電子郵件消息”、“找到來自David、JohruKaren和Paul的電子郵件消息”、“找到來自該電子郵件的地址的電子郵件消息”，等等)。在其他實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔與特定文檔相關(guān)聯(lián)(例如，“在該話題中找到電子郵件消息”、“找到對(duì)該電子郵件的回復(fù)”，等等)。在另外的實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔是對(duì)特定文檔的回復(fù)。在另外的實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔包括來自相應(yīng)作者的最新消息(例如，“找到來自David的最新電子郵件”)。在一些實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔包括來自相應(yīng)作者的第一條消息。
[0104]在一些實(shí)施例中，特定標(biāo)準(zhǔn)是一個(gè)或多個(gè)文檔對(duì)應(yīng)于特定日期范圍(例如，“找到上周接所收的電子郵件”、“找到在I月I日至3月31日期間所接收的電子郵件消息”，等等)。在一些實(shí)施例中，特定日期范圍對(duì)應(yīng)于單個(gè)日期。
[0105]在一些實(shí)施例中，特定標(biāo)準(zhǔn)包括上述提到的標(biāo)準(zhǔn)中的一個(gè)或多個(gè)(例如，“找到上周從David和Karen接收的電子郵件”)。
[0106]圖4L示出了響應(yīng)于用戶請(qǐng)求由特定作者例如David創(chuàng)作的電子郵件消息而顯示的示例性用戶界面。電子設(shè)備輸出對(duì)電子郵件消息列表的語音閱讀。在一些實(shí)施例中，電子設(shè)備輸出指不列表中電子郵件消息的數(shù)量的可聽信息。
[0107]圖4M示出了響應(yīng)于用戶請(qǐng)求對(duì)先前所顯示的電子郵件消息的回復(fù)而顯示的另選的用戶界面。電子設(shè)備輸出對(duì)回復(fù)的列表的語音閱讀。在一些實(shí)施例中，電子設(shè)備輸出指示列表中的電子郵件消息的數(shù)量的可聽信息。
[0108]在一些實(shí)施例中，電子設(shè)備輸出對(duì)列表(例如，圖4L或圖4M中所示的列表)中的電子郵件消息的語音閱讀。在一些實(shí)施例中，當(dāng)電子設(shè)備輸出對(duì)列表中的最后一封電子郵件的語音閱讀時(shí)，電子設(shè)備輸出指示被讀出的電子郵件是列表中的最后一封電子郵件的可聽信息。
[0109]盡管圖4A-4N示出了在電子設(shè)備上顯示的示例性用戶界面，但在一些實(shí)施例中，電子設(shè)備可在不于電子設(shè)備上顯示示例性用戶界面的情況下輸出可聽信息(例如，語音閱讀和/或可聽信號(hào))。在一些實(shí)施例中，電子設(shè)備完全不包括顯示器。
[0110]圖5為示出了根據(jù)一些實(shí)施例的用于導(dǎo)航通過由電子設(shè)備(例如，相對(duì)于圖2所述的用戶設(shè)備104，或相對(duì)于圖3所述的獨(dú)立式設(shè)備300)所執(zhí)行的文檔的操作的流程圖。在一些實(shí)施例中，電子設(shè)備包括便攜式電子設(shè)備。在一些實(shí)施例中，電子設(shè)備包括計(jì)算機(jī)系統(tǒng)。
[0111]這些操作僅僅是示例性的并且在各種實(shí)施例中可由電子設(shè)備執(zhí)行較少或更少的操作。
[0112]在一些實(shí)施例中，電子設(shè)備接收(502)第一文檔。
[0113]電子設(shè)備輸出(504)對(duì)文檔的一部分的語音閱讀(例如，圖4B)。
[0114]在一些實(shí)施例中，電子設(shè)備確定(506)文檔的該部分是否包括鏈接。如果文檔的該部分包括鏈接，則電子設(shè)備輸出(508)識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息(例如，詞“鏈接”的語音輸出或音頻信號(hào)“嗶嗶聲”，和/或有關(guān)鏈接的信息諸如所鏈接的文檔的標(biāo)題、作者、日期和來源，如相對(duì)于圖4C所述的)。
[0115]在一些實(shí)施例中，電子設(shè)備從用戶接收語音命令。在一些實(shí)施例中，電子設(shè)備確定(510)電子設(shè)備是否已接收到語音命令。
[0116]在一些實(shí)施例中，當(dāng)電子設(shè)備接收到語音命令時(shí)，電子設(shè)備確定所接收的語音命令是否為導(dǎo)航命令(512)(例如，所接收的語音命令是否包括對(duì)導(dǎo)航至與鏈接相關(guān)聯(lián)的第二文檔(即，所鏈接的文檔)的請(qǐng)求)。如果所接收的語音命令包括對(duì)導(dǎo)航至所鏈接的文檔的請(qǐng)求，則電子設(shè)備檢索(514)所鏈接的文檔。電子設(shè)備然后輸出(504)對(duì)所鏈接的文檔的一個(gè)或多個(gè)部分的語音閱讀(例如，圖4E)。
[0117]在一些實(shí)施例中，當(dāng)電子設(shè)備接收到語音命令時(shí)，電子設(shè)備確定所接收的語音命令是否為信息命令(516)(例如，所接收的語音命令是否包括對(duì)有關(guān)所鏈接的文檔的信息的請(qǐng)求)。如果所接收的語音命令包括對(duì)有關(guān)所鏈接的文檔的信息(例如，標(biāo)題、作者、日期、來源、摘要、概要、第一個(gè)句子、第一個(gè)段落，等等)諸如“作者是誰”的請(qǐng)求，則電子設(shè)備檢索(518)所請(qǐng)求的信息。在一些實(shí)施例中，從所鏈接的文檔獲得所請(qǐng)求的信息的至少一部分(例如，標(biāo)題、作者、日期和摘要)。在一些實(shí)施例中，通過處理所鏈接的文檔(例如，對(duì)所鏈接的文檔進(jìn)行概述)來獲得所請(qǐng)求的信息的至少一部分。在一些實(shí)施例中，由第三方服務(wù)器來提供所請(qǐng)求的信息的至少一部分(例如，查看所鏈接的文檔)。電子設(shè)備輸出(520)對(duì)所請(qǐng)求的信息的語音閱讀。在其他實(shí)施例中，電子設(shè)備從所鏈接的文檔的元數(shù)據(jù)接收所請(qǐng)求的信息的至少一部分，或者從與所鏈接的文檔相關(guān)聯(lián)的其他來源檢索信息以獲得細(xì)節(jié)。
[0118]在一些實(shí)施例中，當(dāng)用戶在兩個(gè)相鄰鏈接之間或緊接在兩個(gè)相鄰鏈接之后提供語音命令時(shí)，電子設(shè)備將這兩個(gè)鏈接識(shí)別為對(duì)應(yīng)于語音命令的候選鏈接。由于用戶的語音命令可能指向兩個(gè)相鄰鏈接的第一鏈接或第二鏈接，所以可能需要相對(duì)于用戶的語音命令應(yīng)當(dāng)執(zhí)行哪一個(gè)鏈接來進(jìn)行闡明。在一些實(shí)施例中，電子設(shè)備輸出有關(guān)候選鏈接的可聽信息和/或有關(guān)用戶想要針對(duì)哪個(gè)鏈接來執(zhí)行語音命令的可聽詢問。例如，在電子設(shè)備輸出對(duì)句子“學(xué)校A與學(xué)校B之間的下一場(chǎng)比賽將于3月3日舉行”的語音閱讀的同時(shí)，用戶提供語音命令“跟隨鏈接”。在一些實(shí)施例中，電子設(shè)備輸出可聽詢問“哪一個(gè)鏈接？ ”并從用戶接收后續(xù)語音命令。當(dāng)后續(xù)語音命令為“學(xué)校B”時(shí)，電子設(shè)備檢索與文本“學(xué)校B”鏈接的文檔并輸出對(duì)所鏈接的文檔的一部分的語音閱讀。
[0119]在一些實(shí)施例中，在輸出對(duì)文檔的相應(yīng)部分的語音閱讀之后，電子設(shè)備確定(522)是否已到達(dá)文檔的結(jié)尾(例如，電子設(shè)備是否已輸出對(duì)整個(gè)文檔的語音閱讀)。如果尚未到達(dá)文檔的結(jié)尾，則電子設(shè)備輸出(504)對(duì)文檔的后續(xù)部分的語音閱讀。在一些實(shí)施例中，如果已到達(dá)文檔的結(jié)尾，則電子設(shè)備等待來自用戶的導(dǎo)航命令。當(dāng)電子設(shè)備從用戶接收到(524)請(qǐng)求導(dǎo)航至前一個(gè)文檔或新文檔的導(dǎo)航命令時(shí)，電子設(shè)備檢索(526)該前一個(gè)文檔或新文檔。如先前所述，這些操作(例如，操作522、524和526等等)可由服務(wù)器或移動(dòng)設(shè)備來執(zhí)行。在一些實(shí)施例中，在從用戶接收到導(dǎo)航命令之前，電子設(shè)備輸出有關(guān)用戶是否想要導(dǎo)航至另一個(gè)文檔的語音詢問(例如，如相對(duì)于圖4G所述的)。在一些實(shí)施例中，當(dāng)用戶不想要導(dǎo)航至另一個(gè)文檔時(shí)，電子設(shè)備停止輸出語音閱讀。
[0120]圖6為示出了根據(jù)一些實(shí)施例的用于瀏覽由電子設(shè)備(例如，相對(duì)于圖2所述的用戶設(shè)備104或相對(duì)于圖3所述的獨(dú)立式設(shè)備300)所執(zhí)行的文檔的操作的流程圖。在一些實(shí)施例中，電子設(shè)備包括便攜式電子設(shè)備。在一些實(shí)施例中，電子設(shè)備包括計(jì)算機(jī)系統(tǒng)。
[0121]這些操作僅僅是示例性的并且在各種實(shí)施例中可由電子設(shè)備執(zhí)行較少或更少的操作。
[0122]在一些實(shí)施例中，電子設(shè)備接收(602)具有多個(gè)部分的文檔。所述部分中的至少一些部分與相應(yīng)的元數(shù)據(jù)相關(guān)聯(lián)。在一些實(shí)施例中，相應(yīng)的元數(shù)據(jù)指示文檔的結(jié)構(gòu)(例如，段落、句子、標(biāo)題、樣式等等)。
[0123]電子設(shè)備輸出(604)對(duì)文檔的相應(yīng)部分的語首閱讀。在輸出對(duì)文檔的相應(yīng)部分的語音閱讀的同時(shí)，電子設(shè)備基于該部分的相應(yīng)元數(shù)據(jù)可聽地區(qū)分每個(gè)相應(yīng)部分。例如，電子設(shè)備確定(606)相應(yīng)部分是否對(duì)應(yīng)于位標(biāo)。如本文所用，位標(biāo)是指文檔中的預(yù)定義的位置或預(yù)定義類型的位置。在一些實(shí)施例中，當(dāng)相應(yīng)部分對(duì)應(yīng)于位標(biāo)時(shí)，電子設(shè)備輸出(608)語音信號(hào)或音頻信號(hào)以指示該部分是否對(duì)應(yīng)于位標(biāo)。例如，在一些實(shí)施例中，在新段落的開始處，電子設(shè)備輸出語音信號(hào)或音頻信號(hào)以指示新段落的開始。類似地，在一些實(shí)施例中，使用語音信號(hào)或音頻信號(hào)用于指示章節(jié)的開頭或結(jié)尾和/或指示書簽。
[0124]繼輸出語音信號(hào)或音頻信號(hào)以指示該部分是否對(duì)應(yīng)于位標(biāo)之后(例如，在于輸出語音信號(hào)或音頻信號(hào)以指示該部分是否對(duì)應(yīng)于位標(biāo)之后輸出對(duì)數(shù)個(gè)段落的語音閱讀之后)，電子設(shè)備從用戶接收語音命令并確定(610)語音命令是否為導(dǎo)航命令。當(dāng)語音命令是請(qǐng)求導(dǎo)航至位標(biāo)的導(dǎo)航命令時(shí)，電子設(shè)備導(dǎo)航(614)至對(duì)應(yīng)于位標(biāo)的部分，并輸出(604)對(duì)對(duì)應(yīng)于位標(biāo)的部分的語音閱讀。
[0125]在一些實(shí)施例中,在輸出對(duì)文檔的相應(yīng)部分的語音閱讀之后，電子設(shè)備確定(616)是否已到達(dá)文檔的結(jié)尾(例如，電子設(shè)備是否已輸出對(duì)整個(gè)文檔的語音閱讀)。如果尚未到達(dá)文檔的結(jié)尾，則電子設(shè)備輸出(604)對(duì)文檔的后續(xù)部分的語音閱讀。
[0126]圖7為示出了根據(jù)一些實(shí)施例的用于識(shí)別由電子設(shè)備(例如，相對(duì)于圖2所述的用戶設(shè)備104，或相對(duì)于圖3所述的獨(dú)立式設(shè)備300)所執(zhí)行的一組文檔的操作的流程圖。在一些實(shí)施例中，電子設(shè)備包括便攜式電子設(shè)備。在一些實(shí)施例中，電子設(shè)備包括計(jì)算機(jī)系統(tǒng)。
[0127]這些操作僅僅是示例性的并且在各種實(shí)施例中可由電子設(shè)備執(zhí)行較少或更少的操作。
[0128]在一些實(shí)施例中，電子設(shè)備輸出(702)對(duì)文檔的至少一部分的語音閱讀。
[0129]電子設(shè)備從用戶接收(704)請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令。在一些實(shí)施例中，電子設(shè)備在輸出語音閱讀的同時(shí)接收語音命令的至少一部分。在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔由被用戶所識(shí)別的一位或多位作者創(chuàng)作(706)。在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔與特定文檔相關(guān)聯(lián)(708)。在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔是對(duì)特定文檔的回復(fù)(710)。在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔包括來自相應(yīng)作者的最新消息(712)。在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔對(duì)應(yīng)于由用戶所識(shí)別的特定日期范圍(714)。
[0130]在一些實(shí)施例中，在接收到請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令之前，電子設(shè)備從用戶接收對(duì)關(guān)于文檔的信息(例如，作者、字?jǐn)?shù)、最后更新的日期、文檔中章節(jié)的數(shù)量等等)的請(qǐng)求。在一些實(shí)施例中，響應(yīng)于對(duì)關(guān)于文檔的信息的請(qǐng)求，電子設(shè)備輸出包括關(guān)于文檔的所請(qǐng)求的信息的可聽信息。在一些實(shí)施例中，電子設(shè)備從一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如，一個(gè)或多個(gè)搜索引擎和/或數(shù)據(jù)庫服務(wù)器)檢索所請(qǐng)求的信息。在一些實(shí)施例中，電子設(shè)備從文檔確定所請(qǐng)求的信息。
[0131]在一些實(shí)施例中，電子設(shè)備從用戶接收對(duì)存儲(chǔ)所請(qǐng)求的信息的請(qǐng)求，并且作為響應(yīng)，存儲(chǔ)所請(qǐng)求的信息(例如，存儲(chǔ)在電子設(shè)備或遠(yuǎn)程存儲(chǔ)設(shè)備上)。在一些實(shí)施例中，電子設(shè)備在沒有來自用戶的對(duì)存儲(chǔ)所請(qǐng)求信息的請(qǐng)求的情況下，存儲(chǔ)所請(qǐng)求的信息。
[0132]在一個(gè)實(shí)例中，該請(qǐng)求針對(duì)文檔的長(zhǎng)度(例如，“這篇文章有多長(zhǎng)？ ”)，并且響應(yīng)于對(duì)文檔長(zhǎng)度的請(qǐng)求，電子設(shè)備確定文檔的長(zhǎng)度(例如，字?jǐn)?shù)或頁數(shù))并輸出包括文檔的長(zhǎng)度的可聽信息。在另一個(gè)實(shí)例中，該請(qǐng)求針對(duì)文檔是否更新過(例如，“這篇文章是否更新過？ ”)，并且響應(yīng)于對(duì)文檔是否更新過的請(qǐng)求，電子設(shè)備確定文檔是否已被更新并輸出指示文檔是否已被更新的可聽信息(例如，“存在對(duì)該篇文章的更正”)。在又一個(gè)實(shí)例中，該請(qǐng)求針對(duì)文檔的作者(例如，“誰創(chuàng)作了這篇文章？ ”)。在一些實(shí)施例中，響應(yīng)于對(duì)文檔作者的請(qǐng)求，電子設(shè)備輸出包括文檔的作者的可聽信息。在一些情況下，作者信息從文檔提取
(例如，在如“由......創(chuàng)作”的文本部分中或在標(biāo)記語言的作者字段中)。在一些情況下，
作者信息從鏈接至該文檔的網(wǎng)頁提取。
[0133]在一些實(shí)施例中，電子設(shè)備基于所請(qǐng)求的信息來接收對(duì)附加信息的請(qǐng)求，獲得附加信息，并輸出附加信息。在上文相對(duì)于作者信息所描述的一些實(shí)例中，在輸出包括文檔作者的可聽信息之后，電子設(shè)備接收對(duì)由同一位作者創(chuàng)作的其他文檔的請(qǐng)求(例如，“這位作者還寫過哪些別的文章？ ”)，并且作為響應(yīng)，獲得包括由該文檔的作者創(chuàng)作的其他文檔的信息，并輸出所述信息。在一些實(shí)施例中，電子設(shè)備通過向一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如，一個(gè)或多個(gè)搜索引擎和/或數(shù)據(jù)庫服務(wù)器)發(fā)送請(qǐng)求并從所述一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的至少一個(gè)子組接收包括由該文檔的作者創(chuàng)作的其他文檔的信息的至少一部分來獲得所述信息。
[0134]在一些實(shí)施例中，在輸出對(duì)文檔的至少一部分的語音閱讀的同時(shí)，電子設(shè)備從用戶接收對(duì)存儲(chǔ)關(guān)于文檔的信息的請(qǐng)求。在一些實(shí)施例中，響應(yīng)于接收到對(duì)存儲(chǔ)關(guān)于文檔的信息的請(qǐng)求，電子設(shè)備存儲(chǔ)關(guān)于文檔的信息。例如，在一些實(shí)施例中，該請(qǐng)求是為文檔加書簽(例如，“為這篇文章加書簽”)，并且該電子設(shè)備將文檔的訪問信息(例如，文檔的統(tǒng)一資源定位符)存儲(chǔ)為書簽。在一些實(shí)施例中，電子設(shè)備將文檔的訪問信息存儲(chǔ)在電子設(shè)備上。在一些實(shí)施例中，電子設(shè)備將訪問信息存儲(chǔ)在遠(yuǎn)程服務(wù)器處。
[0135]對(duì)于本領(lǐng)域的普通技術(shù)人員而言將顯而易見的是，在一些實(shí)施例中，電子設(shè)備在不執(zhí)行后續(xù)操作(例如，下文所述的操作716、718和720)的情況下提供所請(qǐng)求的信息。
[0136]電子設(shè)備識(shí)別(716)對(duì)應(yīng)于特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔(例如，圖4L和圖4M)。
[0137]電子設(shè)備輸出(718)對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔的相應(yīng)文檔的至少一部分的語音閱讀。
[0138]在一些實(shí)施例中，在輸出對(duì)文檔的相應(yīng)部分的語音閱讀之后，電子設(shè)備確定(720)是否已到達(dá)文檔的結(jié)尾(例如，電子設(shè)備是否已輸出對(duì)整個(gè)文檔的語音閱讀)。如果尚未到達(dá)文檔的結(jié)尾，則電子設(shè)備輸出(718)對(duì)文檔的后續(xù)部分的語音閱讀。
[0139]在一些實(shí)施例中，如果已到達(dá)文檔的結(jié)尾，則電子設(shè)備確定是否已閱讀所述一個(gè)或多個(gè)識(shí)別的文檔中的所有文檔。如果尚未閱讀所述一個(gè)或多個(gè)識(shí)別的文檔中的所有文檔，則電子設(shè)備輸出對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔中的下一個(gè)文檔的一部分的語音閱讀。
[0140]根據(jù)一些實(shí)施例，圖8示出了根據(jù)如上所述的本發(fā)明的原理配置的電子設(shè)備800的功能框圖。設(shè)備的功能塊可以由硬件、軟件、或者硬件和軟件的組合實(shí)現(xiàn)以實(shí)行本發(fā)明的原理。本領(lǐng)域的技術(shù)人員能夠理解，圖8中所述的功能塊可被組合為或者被分離為子塊以實(shí)現(xiàn)如上所述的本發(fā)明的原理。因此，本文的描述可支持本文所述的功能塊的任何可能的組合或分離或進(jìn)一步的定義。
[0141]如圖8中所示，電子設(shè)備800包括音頻輸入單元804和音頻輸出單元806。在一些實(shí)施例中，電子設(shè)備800包括被配置為顯示電子文檔的一個(gè)或多個(gè)部分的顯示單元802。在一些實(shí)施例中，電子設(shè)備800包括觸敏表面單元808，該觸敏表面單元被配置為檢測(cè)觸敏表面單元808上的一個(gè)或多個(gè)手勢(shì)。電子設(shè)備還包括耦接至音頻輸入單元804和音頻輸出單元806的處理單元810。在一些實(shí)施例中，處理單元810還耦接至顯示單元802和觸敏表面單元808。在一些實(shí)施例中，處理單元810包括文檔接收單元812、輸出單元814、語音命令接收單元816、存儲(chǔ)單元818、檢索單元820、識(shí)別單元822以及用戶選擇接收單元824。
[0142]處理單元810被配置為接收包括多個(gè)鏈接的第一文檔(例如，利用文檔接收單元812)。處理單元810被配置為輸出對(duì)第一文檔的至少一部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。處理單元810被配置為輸出識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息(例如，利用輸出單元814通過音頻輸出單元806)。處理單元810被配置為，響應(yīng)于輸出識(shí)別該鏈接的可聽信息，從用戶接收關(guān)于該鏈接的語音命令(例如，利用語音命令接收單元816通過音頻輸入單元804)。處理單元810被配置為，響應(yīng)于從用戶接收到語音命令，輸出對(duì)第二文檔的與該鏈接相關(guān)聯(lián)的至少一部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。
[0143]在一些實(shí)施例中，鏈接與第一文檔的該部分中的文本相關(guān)聯(lián)。
[0144]在一些實(shí)施例中，處理單元810被配置為，響應(yīng)于從用戶接收到關(guān)于鏈接的語音命令，存儲(chǔ)有關(guān)該鏈接的信息(例如，利用存儲(chǔ)單元818)并輸出對(duì)第二文檔的一個(gè)或多個(gè)部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。
[0145]在一些實(shí)施例中，處理單元810被配置為，在輸出對(duì)第二文檔的至少一部分的語音閱讀之后，從用戶接收請(qǐng)求導(dǎo)航回到第一文檔的語音命令(例如，利用語音命令接收單元816通過音頻輸入單元804)；以及，響應(yīng)于從用戶接收到請(qǐng)求導(dǎo)航回到第一文檔的語音命令，輸出對(duì)第一文檔的繼第一文檔中的與所述鏈接相關(guān)聯(lián)的文本之后的一個(gè)或多個(gè)部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。
[0146]在一些實(shí)施例中，處理單元810被配置為，在輸出對(duì)第二文檔的至少一部分的語音閱讀之后，輸出有關(guān)導(dǎo)航回到第一文檔的語音詢問(例如，利用輸出單元814通過音頻輸出單元806);響應(yīng)于輸出有關(guān)導(dǎo)航回到第一文檔的語音詢問，從用戶接收請(qǐng)求導(dǎo)航回到第一文檔的語音命令(例如，利用語音命令接收單元816通過音頻輸入單元804);以及，響應(yīng)于從用戶接收到請(qǐng)求導(dǎo)航回到第一文檔的語音命令，輸出對(duì)第一文檔的包括在第一文檔中的與所述鏈接相關(guān)聯(lián)的文本的一個(gè)或多個(gè)部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。
[0147]在一些實(shí)施例中，處理單元810被配置為，在輸出對(duì)第二文檔的至少一部分的語音閱讀之后，響應(yīng)于從用戶接收到請(qǐng)求導(dǎo)航回到第一文檔的語音命令，自動(dòng)輸出對(duì)第一文檔的繼第一文檔中的與所述鏈接相關(guān)聯(lián)的文本之后的一個(gè)或多個(gè)部分的語音閱讀(例如，利用輸出單元814通過音頻輸出單元806)。
[0148]在一些實(shí)施例中，語音命令為第一類型的語音命令。在一些實(shí)施例中，處理單元810被配置為從用戶接收關(guān)于鏈接的不同于第一類型的第二類型的語音命令(例如，利用語音命令接收單元816通過音頻輸入單元804)；以及，響應(yīng)于從用戶接收到關(guān)于所述鏈接的第二類型的語音命令，從第二文檔中檢索信息(例如，利用檢索單元820);以及基于來自第二文檔的信息，輸出對(duì)應(yīng)于第二類型的語音命令的語音信息(例如，利用輸出單元814通過音頻輸出單元806)。
[0149]在一些實(shí)施例中，第二類型的語音命令包括對(duì)有關(guān)第二文檔的作者的信息的請(qǐng)求。
[0150]在一些實(shí)施例中，第二類型的語音命令包括對(duì)第二文檔的概要的請(qǐng)求。
[0151]在一些實(shí)施例中，處理單元810被配置為將兩個(gè)或更多個(gè)鏈接識(shí)別為對(duì)應(yīng)于來自用戶的語音命令的候選鏈接(例如，利用識(shí)別單元822);輸出有關(guān)候選鏈接的可聽信息(例如，利用輸出單元814通過音頻輸出單元806);以及從用戶接收對(duì)候選鏈接中的單個(gè)鏈接的選擇(例如，利用用戶選擇接收單元824通過音頻輸入單元804或觸敏表面單元808)。
[0152]根據(jù)一些實(shí)施例，圖9示出了根據(jù)如上所述的本發(fā)明的原理配置的電子設(shè)備900的功能框圖。設(shè)備的功能塊可由硬件、軟件、或者硬件和軟件的組合實(shí)現(xiàn)以實(shí)行本發(fā)明的原理。本領(lǐng)域的技術(shù)人員能夠理解，圖9中所述的功能塊可被組合為或者被分離為子塊以實(shí)現(xiàn)如上所述的本發(fā)明的原理。因此，本文的描述可支持本文所述功能塊的任何可能的組合或分離或進(jìn)一步的定義。
[0153]如圖9中所示，電子設(shè)備900包括音頻輸入單元904和音頻輸出單元906。在一些實(shí)施例中，電子設(shè)備900包括被配置為顯示電子文檔的一個(gè)或多個(gè)部分的顯示單元902。在一些實(shí)施例中，電子設(shè)備900包括觸敏表面單元908，該觸敏表面單元被配置為檢測(cè)觸敏表面單元908上的一個(gè)或多個(gè)手勢(shì)。電子設(shè)備還包括耦接至音頻輸入單元904和音頻輸出單元906的處理單元910。在一些實(shí)施例中，處理單元910還稱接至顯示單元902和觸敏表面單元908。在一些實(shí)施例中，處理單元910包括文檔接收單元912、輸出單元914以及語音命令接收單元916。
[0154]處理單元910被配置為接收具有多個(gè)部分的文檔(例如，利用文檔接收單元912)，其中所述部分中的至少一些部分與相應(yīng)的元數(shù)據(jù)相關(guān)聯(lián)。處理單元910被配置為輸出對(duì)文檔的相應(yīng)部分的語音閱讀，包括基于相應(yīng)的元數(shù)據(jù)可聽地區(qū)分相應(yīng)部分(例如，利用輸出單元914通過音頻輸出單元906)。處理單元910被配置為從用戶接收請(qǐng)求導(dǎo)航至與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音命令(例如，利用語音命令接收單元916通過音頻輸入單元904)。處理單元910被配置為，響應(yīng)于接收到語音命令，輸出對(duì)與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音閱讀(例如，利用輸出單元914通過音頻輸出單元906)。
[0155]在一些實(shí)施例中，處理單兀910被配置為根據(jù)相應(yīng)部分的相應(yīng)樣式向用戶輸出對(duì)文本的相應(yīng)部分的語音閱讀，具體方式為:使用第一組語音特征向用戶輸出對(duì)文檔中文本的第一部分的語音閱讀(例如，利用輸出單元914通過音頻輸出單元906);以及使用不同于第一組語音特征的第二組語音特征來向用戶輸出對(duì)文檔中的文本的第二部分的語音閱讀(例如，利用輸出單元914通過音頻輸出單元906)。
[0156]在一些實(shí)施例中，處理單元910被配置為在輸出對(duì)文檔的一個(gè)或多個(gè)部分的語音閱讀的同時(shí)，從用戶接收語音命令的至少一部分(例如，利用語音命令接收單元916通過音頻輸入單元904)。
[0157]在一些實(shí)施例中，文檔的相應(yīng)部分中的至少一個(gè)部分為文檔的相應(yīng)段落。
[0158]在一些實(shí)施例中，文檔的相應(yīng)部分中的至少一個(gè)部分為文檔的相應(yīng)標(biāo)題。
[0159]在一些實(shí)施例中，文檔的相應(yīng)部分中的至少一個(gè)部分為文檔的相應(yīng)句子。
[0160]在一些實(shí)施例中，文檔的第一部分具有第一樣式并且文檔的第二部分具有不同于第一樣式的第二樣式。
[0161]在一些實(shí)施例中，文檔的每個(gè)部分與單個(gè)鏈接相關(guān)聯(lián)。
[0162]根據(jù)一些實(shí)施例，圖10示出了根據(jù)如上所述的本發(fā)明的原理配置的電子設(shè)備1000的功能框圖。設(shè)備的功能塊可以由硬件、軟件、或者硬件和軟件的組合實(shí)現(xiàn)以實(shí)行本發(fā)明的原理。本領(lǐng)域的技術(shù)人員能夠理解，圖10中所述的功能塊可被組合為或者被分離為子塊以實(shí)現(xiàn)如上所述的本發(fā)明的原理。因此，本文的描述可支持本文所述的功能塊的任何可能的組合或分離或進(jìn)一步的定義。
[0163]如圖10中所示，電子設(shè)備1000包括音頻輸入單元1004和音頻輸出單元1006。在一些實(shí)施例中，電子設(shè)備1000包括被配置為顯示電子文檔的一個(gè)或多個(gè)部分的顯示單元1002。在一些實(shí)施例中，電子設(shè)備1000包括觸敏表面單元1008，該觸敏表面單元被配置為檢測(cè)觸敏表面單元1008上的一個(gè)或多個(gè)手勢(shì)。電子設(shè)備還包括耦接至音頻輸入單元1004和音頻輸出單元1006的處理單元1010。在一些實(shí)施例中，處理單元1010還耦接至顯示單元1002和觸敏表面單元1008。在一些實(shí)施例中，處理單元1010包括輸出單元1012、語音命令接收單元1014以及識(shí)別單元1016。
[0164]處理單元1010被配置為輸出對(duì)多個(gè)文檔中的一個(gè)文檔的至少一部分的語音閱讀(例如，利用輸出單元1012通過音頻輸出單元1006)。處理單元1010被配置為，在輸出語音閱讀的同時(shí)，從用戶接收請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令(例如，利用語音命令接收單元1014通過音頻輸入單元1004)。處理單元1010被配置為，響應(yīng)于從用戶接收到語音命令，識(shí)別所述多個(gè)文檔中的對(duì)應(yīng)于特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔(例如，利用識(shí)別單元1016);并且輸出對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔的相應(yīng)文檔的至少一部分的語音閱讀(例如，利用輸出單元1012通過音頻輸出單元1006)。
[0165]在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔由被用戶識(shí)別的一位或多位作者創(chuàng)作。
[0166]在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔與特定文檔相關(guān)聯(lián)。
[0167]在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔是對(duì)特定文檔的回復(fù)。
[0168]在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔包括來自相應(yīng)作者的最新消息。
[0169]在一些實(shí)施例中，特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔對(duì)應(yīng)于被用戶所識(shí)別的特定日期范圍。
[0170]在一些實(shí)施例中，處理單元1010被配置為輸出指示所述一個(gè)或多個(gè)識(shí)別的文檔的數(shù)量的可聽信息(例如，利用輸出單元1012通過音頻輸出單元1006)。
[0171]在一些實(shí)施例中，處理單元1010被配置為輸出指示相應(yīng)文檔為所述一個(gè)或多個(gè)識(shí)別的文檔的最后一個(gè)文檔的可聽信息(例如，利用輸出單元1012通過音頻輸出單元1006)。
[0172]出于解釋的目的，前面的描述是通過參考具體實(shí)施例來進(jìn)行描述的。然而，上面的示例性討論并旨在是窮盡的或要將本發(fā)明限制到所公開的精確形式。根據(jù)以上教導(dǎo)內(nèi)容，很多修改和變型都是可能的。選擇和描述實(shí)施例是為了充分闡明本發(fā)明的原理及其實(shí)際應(yīng)用，以由此使得本領(lǐng)域的其他技術(shù)人員能夠充分利用具有適合于所構(gòu)想的特定用途的各種修改的本發(fā)明以及各種實(shí)施例。
[0173]例如，相對(duì)于圖6所述的操作的一個(gè)或多個(gè)方面可與相對(duì)于圖7和圖8所述的操作(例如，在到達(dá)文檔的結(jié)尾之后輸出可聽詢問)一起使用。類似地，相對(duì)于圖7所述的操作的一個(gè)或多個(gè)方面可與相對(duì)于圖6和圖8所述的操作一起使用，并且相對(duì)于圖8所述的操作的一個(gè)或多個(gè)方面可與相對(duì)于圖6和圖7所述的操作一起使用。為簡(jiǎn)明起見，這些細(xì)節(jié)不再重復(fù)。
【權(quán)利要求】
1.一種用于導(dǎo)航通過文檔的方法，包括: 在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處: 接收包括多個(gè)鏈接的第一文檔； 輸出對(duì)所述第一文檔的至少一部分的語音閱讀； 輸出識(shí)別所述多個(gè)鏈接中的一個(gè)鏈接的可聽信息； 響應(yīng)于輸出識(shí)別所述鏈接的所述可聽信息，從所述用戶接收關(guān)于所述鏈接的語音命令；以及， 響應(yīng)于從所述用戶接收到所述語音命令，輸出對(duì)第二文檔的與所述鏈接相關(guān)聯(lián)的至少一部分的語音閱讀。
2.根據(jù)權(quán)利要求1所述的方法，其中所述鏈接與所述第一文檔的所述部分中的文本相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的方法，包括: 響應(yīng)于從所述用戶接收到關(guān)于所述鏈接的所述語音命令，存儲(chǔ)有關(guān)所述鏈接的信息；以及 輸出對(duì)所述第二文檔的一個(gè)或多個(gè)部分的語音閱讀。
4.根據(jù)權(quán)利要求3所述的方法，包括: 在輸出對(duì)所述第二文檔的至少一部分的所述語音閱讀之后: 從所述用戶接收請(qǐng)求導(dǎo)航回到所述第一文檔的語音命令；以及響應(yīng)于從所述用戶接收到請(qǐng)求導(dǎo)航回到所述第一文檔的所述語音命令，輸出對(duì)所述第一文檔的繼所述第一文檔中的與所述鏈接相關(guān)聯(lián)的文本之后的一個(gè)或多個(gè)部分的語音閱讀。
5.根據(jù)權(quán)利要求3所述的方法，包括: 在輸出對(duì)所述第二文檔的至少一部分的所述語音閱讀之后，輸出有關(guān)導(dǎo)航回到所述第一文檔的語音詢問； 響應(yīng)于輸出有關(guān)導(dǎo)航回到所述第一文檔的所述語音詢問，從所述用戶接收請(qǐng)求導(dǎo)航回到所述第一文檔的語音命令；以及 響應(yīng)于從所述用戶接收到請(qǐng)求導(dǎo)航回到所述第一文檔的所述語音命令，輸出對(duì)所述第一文檔的包括所述第一文檔中的與所述鏈接相關(guān)聯(lián)的文本的一個(gè)或多個(gè)部分的語音閱讀。
6.根據(jù)權(quán)利要求3所述的方法，包括: 在輸出對(duì)所述第二文檔的至少一部分的所述語音閱讀之后，響應(yīng)于從所述用戶接收到請(qǐng)求導(dǎo)航回到所述第一文檔的所述語音命令，自動(dòng)輸出對(duì)所述第一文檔的繼所述第一文檔中的與所述鏈接相關(guān)聯(lián)的文本之后的一個(gè)或多個(gè)部分的語音閱讀。
7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其中所述語音命令為第一類型的語音命令，所述方法包括: 從所述用戶接收關(guān)于所述鏈接的不同于所述第一類型的第二類型的語音命令；以及 響應(yīng)于從所述用戶接收到關(guān)于所述鏈接的所述第二類型的所述語音命令: 從所述第二文檔檢索信息；以及 基于來自所述第二文檔的所述信息，輸出對(duì)應(yīng)于所述第二類型的所述語音命令的語音信息。
8.根據(jù)權(quán)利要求7所述的方法，其中所述第二類型的所述語音命令包括對(duì)有關(guān)所述第二文檔的作者的信息的請(qǐng)求。
9.根據(jù)權(quán)利要求7-8中任一項(xiàng)所述的方法，其中所述第二類型的所述語音命令包括對(duì)所述第二文檔的概要的請(qǐng)求。
10.根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的方法，還包括: 將兩個(gè)或更多個(gè)鏈接識(shí)別為對(duì)應(yīng)于來自所述用戶的語音命令的候選鏈接； 輸出有關(guān)所述候選鏈接的可聽信息；以及 從所述用戶接收對(duì)所述候選鏈接中的單個(gè)鏈接的選擇。
11.一種用于瀏覽文檔的方法，包括: 在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處: 接收具有多個(gè)部分的所述文檔，其中所述多個(gè)部分中的至少一些部分與相應(yīng)的元數(shù)據(jù)相關(guān)聯(lián)； 輸出對(duì)所述文檔的相應(yīng)部分的語音閱讀，包括基于所述相應(yīng)的元數(shù)據(jù)可聽地區(qū)分所述相應(yīng)部分； 從用戶接收請(qǐng)求導(dǎo)航至與特定元數(shù)據(jù)相關(guān)聯(lián)的特定部分的語音命令；以及， 響應(yīng)于接收到所述語音命令，輸出對(duì)與所述特定元數(shù)據(jù)相關(guān)聯(lián)的所述特定部分的語音閱讀。
12.根據(jù)權(quán)利要求11所述的方法，還包括: 通過如下方式根據(jù)所述相應(yīng)部分的相應(yīng)樣式來向所述用戶輸出對(duì)所述文本的所述相應(yīng)部分的語音閱讀: 使用第一組語音特征向所述用戶輸出對(duì)所述文檔中的所述文本的第一部分的語音閱讀；以及 使用不同于所述第一組語音特征的第二組語音特征向所述用戶輸出對(duì)所述文檔中的所述文本的第二部分的語音閱讀。
13.根據(jù)權(quán)利要求11-12中任一項(xiàng)所述的方法，還包括: 在輸出對(duì)所述文檔的一個(gè)或多個(gè)部分的所述語音閱讀的同時(shí)，從所述用戶接收所述語音命令的至少一部分。
14.根據(jù)權(quán)利要求11-13中任一項(xiàng)所述的方法，其中所述文檔的所述相應(yīng)部分中的至少一個(gè)部分為所述文檔的相應(yīng)段落。
15.根據(jù)權(quán)利要求11-14中任一項(xiàng)所述的方法，其中所述文檔的所述相應(yīng)部分中的至少一個(gè)部分為所述文檔的相應(yīng)標(biāo)題。
16.根據(jù)權(quán)利要求11-15中任一項(xiàng)所述的方法，其中所述文檔的所述相應(yīng)部分中的至少一個(gè)部分為所述文檔的相應(yīng)句子。
17.根據(jù)權(quán)利要求11-16中任一項(xiàng)所述的方法，其中所述文檔的第一部分具有第一樣式，并且所述文檔的第二部分具有不同于所述第一樣式的第二樣式。
18.根據(jù)權(quán)利要求11-17中任一項(xiàng)所述的方法，其中所述文檔的每個(gè)部分與單個(gè)鏈接相關(guān)聯(lián)。
19.一種用于識(shí)別一個(gè)或多個(gè)文檔的方法，包括: 在具有存儲(chǔ)器和一個(gè)或多個(gè)處理器的電子設(shè)備處: 輸出對(duì)多個(gè)文檔中的一個(gè)文檔的至少一部分的語音閱讀； 在輸出所述語音閱讀的同時(shí)，從用戶接收請(qǐng)求對(duì)應(yīng)于特定標(biāo)準(zhǔn)的文檔的語音命令；以及， 響應(yīng)于從所述用戶接收到所述語音命令: 識(shí)別所述多個(gè)文檔中的對(duì)應(yīng)于所述特定標(biāo)準(zhǔn)的一個(gè)或多個(gè)文檔；以及 輸出對(duì)所述一個(gè)或多個(gè)識(shí)別的文檔的相應(yīng)文檔的至少一部分的語音閱讀。
20.根據(jù)權(quán)利要求19所述的方法，其中所述特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔由被所述用戶所識(shí)別的一位或多位作者創(chuàng)作。
21.根據(jù)權(quán)利要求19-20中任一項(xiàng)所述的方法，其中所述特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔與特定文檔相關(guān)聯(lián)。
22.根據(jù)權(quán)利要求19-21中任一項(xiàng)所述的方法，其中所述特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔是對(duì)特定文檔的回復(fù)。
23.根據(jù)權(quán)利要求19-22中任一項(xiàng)所述的方法，其中所述特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔包括來自相應(yīng)作者的最新消息。
24.根據(jù)權(quán)利要求19-23中任一項(xiàng)所述的方法，其中所述特定標(biāo)準(zhǔn)要求所述一個(gè)或多個(gè)識(shí)別的文檔對(duì)應(yīng)于由所述用戶識(shí)別的特定日期范圍。
25.根據(jù)權(quán)利要求19-24中任一項(xiàng)所述的方法，還包括: 輸出指示所述一個(gè)或多個(gè)識(shí)別的文檔的數(shù)量的可聽信息。
26.根據(jù)權(quán)利要求19-25中任一項(xiàng)所述的方法，還包括: 輸出指示所述相應(yīng)文檔為所述一個(gè)或多個(gè)識(shí)別的文檔的最后一個(gè)文檔的可聽信息。
27.一種便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)，包括: 一個(gè)或多個(gè)處理器；和 存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)由所述一個(gè)或多個(gè)處理器執(zhí)行的一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序包括用于執(zhí)行權(quán)利要求1-26所述的方法中的任一種方法的指令。
28.一種存儲(chǔ)一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述一個(gè)或多個(gè)程序包括當(dāng)由具有一個(gè)或多個(gè)處理器的便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)執(zhí)行時(shí)使得所述設(shè)備執(zhí)行權(quán)利要求1-26的所述方法中的任一種方法的指令。
29.一種便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)上的圖形用戶界面，所述便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)具有顯示器、存儲(chǔ)器、以及執(zhí)行存儲(chǔ)在所述存儲(chǔ)器中的一個(gè)或多個(gè)程序的一個(gè)或多個(gè)處理器，所述圖形用戶界面包括根據(jù)權(quán)利要求1-26所述的方法中的任一種方法顯示的用戶界面。
30.一種便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)，包括: 用于執(zhí)行權(quán)利要求1-26所述的方法中的任一種方法的裝置。
31.一種用于便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)中使用的信息處理裝置，包括: 用于執(zhí)行權(quán)利要求1-26所述的方法中的任一種方法的裝置。
32.一種便攜式電子設(shè)備或計(jì)算機(jī)系統(tǒng)，包括: 被配置為執(zhí)行權(quán)利要求1-26所述的方法中的任一種方法的處理單元。
【文檔編號(hào)】G06F3/16GK104335207SQ201380028728
【公開日】2015年2月4日 申請(qǐng)日期:2013年6月25日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】C·B·弗萊扎克, T·R·格魯伯 申請(qǐng)人:蘋果公司