在一些具體實(shí)施中，用戶設(shè)備104將各自與外部服務(wù)提供方中的至少一個(gè)外部服務(wù)提供方相關(guān)聯(lián)的一個(gè)或多個(gè)軟件應(yīng)用程序270-1和270-2存儲在存儲器250中。
[0039]如上所述，在一些具體實(shí)施中，存儲器250還存儲客戶端側(cè)數(shù)字助理指令(例如，在數(shù)字助理客戶端模塊264中)以及各種用戶數(shù)據(jù)266 (例如，特定于用戶的詞匯數(shù)據(jù)、偏好數(shù)據(jù)，和/或其他數(shù)據(jù)諸如用戶的電子通訊錄或聯(lián)系人列表、待辦事項(xiàng)、購物清單等)以提供數(shù)字助理的客戶端側(cè)功能。
[0040]在各種具體實(shí)施中，數(shù)字助理客戶端模塊264能夠通過用戶設(shè)備104的各種用戶界面(例如，I/O子系統(tǒng)240)接受語音輸入、文本輸入、觸摸輸入和/或手勢輸入。數(shù)字助理客戶端模塊264還能夠提供音頻、視頻和/或觸覺形式的輸出。例如，可將輸出提供作為語音、聲音、警報(bào)、文本消息、菜單、圖形、視頻、動(dòng)畫、振動(dòng)、和/或以上兩者或更多者的組合。在操作期間，數(shù)字助理客戶端模塊264使用通信子系統(tǒng)224來與數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1)通信。
[0041]在一些具體實(shí)施中，數(shù)字助理客戶端模塊264利用各種傳感器、子系統(tǒng)和外圍設(shè)備來從用戶設(shè)備104的周圍環(huán)境采集附加信息以建立與用戶輸入相關(guān)聯(lián)的上下文。在一些具體實(shí)施中，數(shù)字助理客戶端模塊264將上下文信息或其子集與用戶輸入一起提供至數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1)以幫助推斷用戶的意圖。
[0042]在一些具體實(shí)施中，可伴隨用戶輸入的上下文信息包括傳感器信息，例如，照明、環(huán)境噪聲、環(huán)境溫度、周圍環(huán)境的圖像或視頻等。在一些具體實(shí)施中，上下文信息還包括設(shè)備的物理狀態(tài)，例如，設(shè)備取向、設(shè)備位置、設(shè)備溫度、功率電平、速度、加速度、運(yùn)動(dòng)模式、蜂窩信號強(qiáng)度等。在一些具體實(shí)施中，還將與用戶設(shè)備104的軟件狀態(tài)相關(guān)的信息例如用戶設(shè)備104的運(yùn)行過程、已安裝的程序、過去和目前的網(wǎng)絡(luò)活動(dòng)、后臺服務(wù)、錯(cuò)誤日志、資源使用等作為與用戶輸入相關(guān)聯(lián)的上下文信息提供至數(shù)字助理服務(wù)器(例如，數(shù)字助理服務(wù)器106，圖1) ο
[0043]在一些具體實(shí)施中，DA客戶端模塊264響應(yīng)于來自數(shù)字助理服務(wù)器的請求而選擇性地提供存儲在用戶設(shè)備104上的信息(例如，用戶數(shù)據(jù)266的至少一部分)。在一些具體實(shí)施中，當(dāng)數(shù)字助理服務(wù)器106 (圖1)進(jìn)行請求時(shí)，數(shù)字助理客戶端模塊264還經(jīng)由自然語言對話或其他用戶界面來引出來自用戶的附加輸入。數(shù)字助理客戶端模塊264將所述附加輸入傳送至數(shù)字助理服務(wù)器106，以幫助數(shù)字助理服務(wù)器106進(jìn)行意圖推斷和/或滿足在用戶請求中所表達(dá)的用戶的意圖。
[0044]在一些具體實(shí)施中，存儲器250可包括附加指令或更少的指令。此外，用戶設(shè)備104的各種功能可在硬件和/或在軟件中，包括在一個(gè)或多個(gè)信號處理集成電路和/或?qū)Ｓ眉呻娐分袑?shí)施，并且用戶設(shè)備104因而不需要包括圖2中示出的所有模塊和應(yīng)用程序。
[0045]圖3A是根據(jù)一些具體實(shí)施的示例性數(shù)字助理系統(tǒng)300 (也稱為數(shù)字助理)的框圖。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300在獨(dú)立式計(jì)算機(jī)系統(tǒng)上實(shí)施。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300跨多個(gè)計(jì)算機(jī)進(jìn)行分布。在一些具體實(shí)施中，數(shù)字助理的一些模塊和功能被劃分成服務(wù)器部分和客戶端部分，其中客戶端部分駐留在用戶設(shè)備(例如，用戶設(shè)備104)上并通過一個(gè)或多個(gè)網(wǎng)絡(luò)來與服務(wù)器部分(例如，服務(wù)器系統(tǒng)108)通信，例如如圖1中所示。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300為圖1中所示的服務(wù)器系統(tǒng)108(和/或數(shù)字助理服務(wù)器106)的實(shí)施例。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300在用戶設(shè)備(例如，用戶設(shè)備104，圖1)中被實(shí)施，從而消除了對客戶端-服務(wù)器系統(tǒng)的需求。應(yīng)當(dāng)指出的是，數(shù)字助理系統(tǒng)300僅為數(shù)字助理系統(tǒng)的一個(gè)實(shí)例，并且該數(shù)字助理系統(tǒng)300可具有比示出更多或更少的部件、可組合兩個(gè)或更多個(gè)部件、或可具有部件的不同配置或布置。圖3A中所示的各種部件可在硬件、軟件、固件(包括一個(gè)或多個(gè)信號處理集成電路和/或?qū)Ｓ眉呻娐?或它們的組合中實(shí)施。
[0046]數(shù)字助理系統(tǒng)300包括存儲器302、輸入/輸出(I/O)接口 306、網(wǎng)絡(luò)通信接口 308以及一個(gè)或多個(gè)處理器304。這些部件通過一根或多根通信總線或信號線310彼此通信。
[0047]在一些具體實(shí)施中，存儲器302包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，諸如高速隨機(jī)存取存儲器和/或非易失性計(jì)算機(jī)可讀存儲介質(zhì)(例如，一個(gè)或多個(gè)磁盤存儲設(shè)備、一個(gè)或多個(gè)閃存存儲器設(shè)備、一個(gè)或多個(gè)光學(xué)存儲設(shè)備、和/或其他非易失性固態(tài)存儲器設(shè)備)。
[0048]I/O接口 306將數(shù)字助理系統(tǒng)300的輸入/輸出設(shè)備316諸如顯示器、鍵盤、觸摸屏、和麥克風(fēng)耦接至用戶界面模塊322。I/O接口 306與用戶界面模塊322結(jié)合用于接收用戶輸入(例如，語音輸入、鍵盤輸入、觸摸輸入等)并相應(yīng)地對這些輸入進(jìn)行處理。在一些具體實(shí)施中，當(dāng)數(shù)字助理在獨(dú)立式用戶設(shè)備上實(shí)施時(shí)，數(shù)字助理系統(tǒng)300包括相對于圖2中的用戶設(shè)備104所描述的部件和I/O接口及通信接口中的任一個(gè)(例如，一個(gè)或多個(gè)麥克風(fēng)230)。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300表示數(shù)字助理具體實(shí)施的服務(wù)器部分，并且通過駐留在用戶設(shè)備(例如，圖2中所示的用戶設(shè)備104)上的客戶端側(cè)部分來與用戶進(jìn)行交互。
[0049]在一些具體實(shí)施中，網(wǎng)絡(luò)通信接口 308包括無線發(fā)送和接收電路314和/或一個(gè)或多個(gè)有線通信端口 312。一個(gè)或多個(gè)有線通信端口經(jīng)由一個(gè)或多個(gè)有線接口例如以太網(wǎng)、通用串行總線(USB)、火線等來接收和發(fā)送通信信號。無線電路314通常從通信網(wǎng)絡(luò)及其他通信設(shè)備接收RF信號和/或光學(xué)信號并將RF信號和/或光學(xué)信號發(fā)送至通信網(wǎng)絡(luò)及其他通信設(shè)備。無線通信可使用多種通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中的任一種通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)，諸如GSM、EDGE、CDMA、TDMA、藍(lán)牙、W1-F1、VoIP、W1-MAX、或任何其他合適的通信協(xié)議。網(wǎng)絡(luò)通信接口 308實(shí)現(xiàn)數(shù)字助理系統(tǒng)300與網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)和/或無線網(wǎng)絡(luò)，該無線網(wǎng)絡(luò)諸如蜂窩電話網(wǎng)絡(luò)、無線局域網(wǎng)(LAN)和/或城域網(wǎng)(MAN))以及其他設(shè)備之間的通信。
[0050]在一些具體實(shí)施中，存儲器302的非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲程序、模塊、指令和數(shù)據(jù)結(jié)構(gòu)，這些程序、模塊、指令和數(shù)據(jù)結(jié)構(gòu)包括以下各項(xiàng)中的全部或子集:操作系統(tǒng)318、通信模塊320、用戶界面模塊322、數(shù)字助理模塊326、以及一個(gè)或多個(gè)應(yīng)用程序324。一個(gè)或多個(gè)處理器304執(zhí)行這些程序、模塊和指令，并從數(shù)據(jù)結(jié)構(gòu)讀取數(shù)據(jù)或?qū)?shù)據(jù)寫到數(shù)據(jù)結(jié)構(gòu)。
[0051]操作系統(tǒng)318 (例如，Darwin、RTXC、LINUX、UNIX、OS X、1S、WINDOWS、或嵌入式操作系統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(wù)(例如，存儲器管理、存儲設(shè)備控制、電源管理等)的各種軟件部件和/或驅(qū)動(dòng)器，并促進(jìn)各種硬件、固件和軟件部件之間的通信。
[0052]通信模塊320促進(jìn)通過網(wǎng)絡(luò)通信接口 308在數(shù)字助理系統(tǒng)300和其他設(shè)備之間的通信。例如，通信模塊320可與圖2中所示的設(shè)備104的通信模塊254通信。通信模塊320還包括用于處理由無線電路314和/或有線通信端口 312所接收的數(shù)據(jù)的各種軟件部件。
[0053]在一些具體實(shí)施中，用戶界面模塊322經(jīng)由I/O接口 306 (例如，來自鍵盤、觸摸屏、和/或麥克風(fēng))來從用戶接收命令和/或輸入，并將用戶界面對象提供在顯示器上。
[0054]應(yīng)用程序324包括被配置為由所述一個(gè)或多個(gè)處理器304執(zhí)行的程序和/或模塊。例如，如果數(shù)字助理系統(tǒng)在獨(dú)立式用戶設(shè)備上實(shí)施，則應(yīng)用程序324可包括用戶應(yīng)用程序，諸如游戲、日歷應(yīng)用程序、導(dǎo)航應(yīng)用程序或郵件應(yīng)用程序。如果數(shù)字助理系統(tǒng)300在服務(wù)器場上實(shí)施，則應(yīng)用程序324可包括例如資源管理應(yīng)用程序、診斷應(yīng)用程序、或調(diào)度應(yīng)用程序。
[0055]存儲器302還存儲數(shù)字助理模塊(或數(shù)字助理的服務(wù)器部分)326。在一些具體實(shí)施中，數(shù)字助理模塊326包括以下子模塊、或者它們的子集或超集:輸入/輸出處理模塊328、語音至文本(STT)處理模塊330、自然語言處理模塊332、對話流處理模塊334、任務(wù)流處理模塊336、服務(wù)處理模塊338、以及照片模塊132。這些處理模塊中的每一個(gè)處理模塊均具有對數(shù)字助理326的以下數(shù)據(jù)和模型中的一個(gè)或多者，或者它們的子集或超集的訪問權(quán)限:知識本體360、詞匯索引344、用戶數(shù)據(jù)348、分類模塊349、消歧模塊350、任務(wù)流模型354、服務(wù)模型356、搜索模塊360、以及本地標(biāo)簽/照片存儲裝置362。
[0056]在一些具體實(shí)施中，使用在數(shù)字助理模塊326中實(shí)施的處理模塊(例如，輸入/輸出處理模塊328、STT處理模塊330、自然語言處理模塊332、對話流處理模塊334、任務(wù)流處理模塊336、和/或服務(wù)處理模塊338)、數(shù)據(jù)以及模型，數(shù)字助理系統(tǒng)300執(zhí)行以下操作中的至少一些操作:識別在從用戶所接收的自然語言輸入中表達(dá)的用戶的意圖；主動(dòng)引出并獲取完全推斷出用戶的意圖所需的信息(例如，通過對詞、名稱、意圖等進(jìn)行消歧)；確定用于滿足所推斷出的意圖的任務(wù)流；以及執(zhí)行該任務(wù)流以滿足所推斷出的意圖。在一些具體實(shí)施中，當(dāng)出于各種原因而未向或不能向用戶提供令人滿意的響應(yīng)時(shí)，數(shù)字助理還采取適當(dāng)?shù)男袆?dòng)。
[0057]在一些具體實(shí)施中，如下文所討論的，數(shù)字助理系統(tǒng)300從自然語言輸入識別用戶搜索照片的意圖。數(shù)字助理系統(tǒng)300處理自然語言輸入，以便確定哪些照片可能與用戶的搜索查詢相關(guān)。在一些具體實(shí)施中，數(shù)字助理系統(tǒng)300還執(zhí)行與照片相關(guān)的其他任務(wù)，諸如對數(shù)字照片加標(biāo)簽，如例如在于2013年3月13日提交的名稱為“Voice-Based ImageTagging and Searching”的美國專利申請序列號13/801，534中所描述的，該專利申請全文以引用方式并入本文。
[0058]如圖3B中所示，在一些具體實(shí)施中，I/O處理模塊328通過圖3A中的I/O設(shè)備316來與用戶進(jìn)行交互或通過圖3A中的網(wǎng)絡(luò)通信接口 308來與用戶設(shè)備(例如，圖1中的用戶設(shè)備104)進(jìn)行交互以獲取用戶輸入(例如，語音輸入)并提供對用戶輸入的響應(yīng)。連同接收到用戶輸入一起或在接收到用戶輸入之后不久，I/O處理模塊328任選地獲取與來自用戶設(shè)備的用戶輸入相關(guān)聯(lián)的上下文信息。上下文信息包括特定于用戶的數(shù)據(jù)、詞匯、和/或與用戶輸入有關(guān)的偏好。在一些具體實(shí)施中，上下文信息還包括在接收到用戶請求時(shí)所述設(shè)備(例如，圖1中的用戶設(shè)備104)的軟件和硬件狀態(tài)，和/或與在接收到用戶請求時(shí)該用戶的周圍環(huán)境相關(guān)的信息。在一些具體實(shí)施中，I/O處理模塊328還向用戶發(fā)送與用戶請求有關(guān)的跟進(jìn)問題，并從用戶接收回答。在一些具體實(shí)施中，當(dāng)用戶請求被I/O處理模塊328接收到并且用戶請求包含語音輸入時(shí)，I/O處理模塊328將語音輸入轉(zhuǎn)發(fā)至語音至文本(STT)處理模塊330以用于進(jìn)行語音至文本轉(zhuǎn)換。
[0059]在一些具體實(shí)施中，語音至文本處理模塊330通過I/O處理模塊328來接收語音輸入(例如，在語音記錄中捕獲的用戶話語)。在一些具體實(shí)施中，語音至文本處理模塊330使用各種聲音和語言模型來將語音輸入識別為音素的序列，并最終將其識別為以一種或多種語言書寫的詞或符號的序列。語音至文本處理模塊330使用任何合適的語音識別技術(shù)、聲音模型以及語言模型諸如隱馬爾可夫模型、基于動(dòng)態(tài)時(shí)間規(guī)整(DTW)的語音識別以及其他統(tǒng)計(jì)和/或分析技術(shù)被實(shí)施。在一些具體實(shí)施中，語音至文本處理可至少部分地由第三方服務(wù)執(zhí)行或在用戶的設(shè)備上執(zhí)行。一旦語音至文本處理模塊330獲取語音至文本處理的結(jié)果(例如，詞或符號的序列)，其便將結(jié)果傳送至自然語言處理模塊332以用于進(jìn)行意圖推斷。
[0060]數(shù)字助理326的自然語言處理模塊332 ( “自然語言處理器”)取得由語音至文本處理模塊330所生成的詞或符號的序列(“符號序列”)，并嘗試將該符號序列與由數(shù)字助理所識別的一個(gè)或多個(gè)“可執(zhí)行意圖”相關(guān)聯(lián)。如本文所用，“可執(zhí)行意圖”表示可由數(shù)字助理326和/或數(shù)字助理系統(tǒng)300 (圖3A)執(zhí)行的任務(wù)并且具有在任務(wù)流模型354中實(shí)施的相關(guān)聯(lián)的任務(wù)流。相關(guān)聯(lián)的任務(wù)流是數(shù)字助理系統(tǒng)300為了執(zhí)行任務(wù)而采取的一系列經(jīng)編程的動(dòng)作和步驟。數(shù)字助理系統(tǒng)的能力的范圍取決于已在任務(wù)流模型354中實(shí)施并存儲的任務(wù)流的數(shù)量和種類，或換句話講，取決于數(shù)字助理系統(tǒng)300所識別的“可執(zhí)行意圖”的數(shù)量和種類。然而，數(shù)字助理系統(tǒng)300的有效性還取決于數(shù)字助理系統(tǒng)從以自然語言表達(dá)的用戶請求中推斷出正確的“一種或多種可執(zhí)行意圖”的能力。
[0061]在一些具體實(shí)施中，除從語音至文本處理模塊330獲取的詞或符號的序列之外，自然語言處理器332還接收與用戶請求相關(guān)聯(lián)的上下文信息(例如，來自I/O處理模塊328)。自然語言處理器332任選地使用上下文信息來闡明、補(bǔ)充和/或進(jìn)一步限定包含在從語音至文本處理模塊330所接收的符號序列中的信息。上下文信息包括例如用戶偏好、用戶設(shè)備的硬件和/或軟件狀態(tài)、在用戶請求之前、期間或之后不久所收集的傳感器信息、數(shù)字助理和用戶之間的先前交互(例如，對話)等等。
[0062]在一些具體實(shí)施中，自然語言處理是基于知識本體360的。知識本體360為包含多個(gè)節(jié)點(diǎn)的分級結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)表示與“可執(zhí)行意圖”或其他“屬性”中的一個(gè)或多者相關(guān)的“可執(zhí)行意圖”或“屬性”。如上所述，“可執(zhí)行意圖”表示數(shù)字助理系統(tǒng)300能夠執(zhí)行的任務(wù)(例如，“可執(zhí)行”或可進(jìn)行的任務(wù))。“屬性”表示與可執(zhí)行意圖或另一屬性的子方面相關(guān)聯(lián)的參數(shù)。知識本體360中的可執(zhí)行意圖節(jié)點(diǎn)和屬性節(jié)點(diǎn)之間的連接定義由屬性節(jié)點(diǎn)表示的參數(shù)如何從屬于由可執(zhí)行意圖節(jié)點(diǎn)表示的任務(wù)。
[0063]在一些具體實(shí)施中，知識本體360由可執(zhí)行意圖節(jié)點(diǎn)和屬性節(jié)點(diǎn)組成。在知識本體360內(nèi)，每個(gè)可執(zhí)行意圖節(jié)點(diǎn)直接鏈接至或通過一個(gè)或多個(gè)中間屬性節(jié)點(diǎn)連接至一個(gè)或多個(gè)屬性節(jié)點(diǎn)。類似地，每個(gè)屬性節(jié)點(diǎn)直接鏈接至或通過一個(gè)或多個(gè)中間屬性節(jié)點(diǎn)連接至一個(gè)或多個(gè)可執(zhí)行意圖節(jié)點(diǎn)。例如，圖3C中所示的知識本體360包括為可執(zhí)行意圖節(jié)點(diǎn)的“餐廳預(yù)訂”節(jié)點(diǎn)。屬性節(jié)點(diǎn)“餐廳”、“日期/時(shí)間”(針對預(yù)訂)和“同行人數(shù)”各自直接鏈接至“餐廳預(yù)訂”節(jié)點(diǎn)(即，可執(zhí)行意圖節(jié)點(diǎn))。此外，屬性節(jié)點(diǎn)“菜系”、“價(jià)格范圍”、“電話號碼”和“位置”為屬性節(jié)點(diǎn)“餐廳”的子節(jié)點(diǎn)，并且每個(gè)子節(jié)點(diǎn)通過中間屬性節(jié)點(diǎn)“餐廳”鏈接至“餐廳預(yù)訂”節(jié)點(diǎn)(即，可執(zhí)行意圖節(jié)點(diǎn))。又如，圖3C中示出的知識本體360還包括為另一可執(zhí)行意圖節(jié)點(diǎn)的“設(shè)定提醒”節(jié)點(diǎn)。屬性節(jié)點(diǎn)“日期/時(shí)間”(針對設(shè)定提醒)和“主題”(針對提醒)各自鏈接至“設(shè)定提醒”節(jié)點(diǎn)。由于屬性“日期/時(shí)間”與進(jìn)行餐廳預(yù)訂的任務(wù)和設(shè)定提醒的任務(wù)兩者相關(guān)，因此屬性節(jié)點(diǎn)“日期/時(shí)間”同時(shí)鏈接至知識本體360中的“餐廳預(yù)訂”節(jié)點(diǎn)和“設(shè)定提醒”節(jié)點(diǎn)。
[0064]可執(zhí)行意圖節(jié)點(diǎn)連同其所鏈接的概念節(jié)點(diǎn)一起可被描述為“域”。在本討論中，每個(gè)域與相應(yīng)的可執(zhí)行意圖相關(guān)聯(lián)，并涉及與特定可執(zhí)行意圖相關(guān)聯(lián)的一組節(jié)點(diǎn)(以及其間的關(guān)系)。例如，圖3C中示出的知識本體360包括知識本體360內(nèi)的餐廳預(yù)訂域362的實(shí)例和提醒域364的實(shí)例。餐廳預(yù)訂域包括可執(zhí)行意圖節(jié)點(diǎn)“餐廳預(yù)訂”、屬性節(jié)點(diǎn)“餐廳”、“日期/時(shí)間”和“同行人數(shù)”、以及子屬性節(jié)點(diǎn)“菜系”、“價(jià)格范圍”、“電話號碼”和“位置”。提醒域364包括可執(zhí)行意圖節(jié)點(diǎn)“設(shè)定提醒”和屬性節(jié)點(diǎn)“主題”和“日期/時(shí)間”。在一些具體實(shí)施中，知識本體360由多個(gè)域組成。每個(gè)域可與一個(gè)或多個(gè)其他域共享一個(gè)或多個(gè)屬性節(jié)點(diǎn)。例如，除了餐廳預(yù)訂域362和提醒域364之外，“日期/時(shí)間”屬性節(jié)點(diǎn)還可與許多其他域(例如，行程安排域、旅行預(yù)訂域、電影票域等)相關(guān)聯(lián)。
[0065]盡管圖3C示出知識本體360內(nèi)的兩個(gè)示例性域，但知識本體360可包括其他域(或可執(zhí)行意圖)，諸如“發(fā)起電話呼叫”、“尋找方向”、“安排會議”、“發(fā)送消息”和“提供對問題的回答”、“對照片加標(biāo)簽”等。例如，“發(fā)送消息”域與“發(fā)送消息”可執(zhí)行意圖節(jié)點(diǎn)相關(guān)聯(lián)，并且還可包括屬性節(jié)點(diǎn)諸如“一個(gè)或多個(gè)接收人”、“消息類型”和“消息主體”。屬性節(jié)點(diǎn)“接收人”還可例如由子屬性節(jié)點(diǎn)諸如“接收人姓名”和“消息地址”