本申請(qǐng)是國(guó)際申請(qǐng)日為2011年8月4日、國(guó)家申請(qǐng)?zhí)枮?01180047154.0、發(fā)明名稱為“基于上下文自動(dòng)監(jiān)測(cè)話音輸入”的中國(guó)發(fā)明專利申請(qǐng)的分案申請(qǐng)。
相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求于2010年8月6日提交的、名稱為“AUTOMATICALLY MONITORING FOR VOICE INPUT BASED ON CONTEXT”的美國(guó)申請(qǐng)序列No.12/852,256的優(yōu)先權(quán),其公開內(nèi)容通過(guò)引入并入于此。
技術(shù)領(lǐng)域
本文檔總體上描述了用于使用移動(dòng)計(jì)算設(shè)備(諸如,移動(dòng)電話)自動(dòng)地監(jiān)測(cè)話音輸入的方法、系統(tǒng)和技術(shù)。
背景技術(shù):
移動(dòng)計(jì)算設(shè)備(例如,移動(dòng)電話、智能電話、個(gè)人數(shù)字助理(PDA)、便攜式媒體播放器等)已經(jīng)被配置為在用戶明確提示接收并處理話音或話語(yǔ)輸入時(shí)對(duì)話音或話語(yǔ)輸入接收并處理。例如,移動(dòng)計(jì)算設(shè)備已經(jīng)被配置為響應(yīng)于用戶按壓并保持按鈕按下閾值時(shí)間(例如,一秒)開始監(jiān)測(cè)話音。例如,如果用戶期望向此類移動(dòng)計(jì)算設(shè)備提交口頭搜索請(qǐng)求,則用戶需要在提交話音輸入之前按壓并保持按鈕按下至少閾值時(shí)間,否則話音輸入將不會(huì)被移動(dòng)計(jì)算設(shè)備接收繼而搜索請(qǐng)求也不會(huì)被處理。
技術(shù)實(shí)現(xiàn)要素:
通過(guò)本文檔中描述的技術(shù),計(jì)算設(shè)備的上下文(諸如,移動(dòng)電話(例如,智能電話或應(yīng)用程序電話))將被考慮以便自動(dòng)確定何時(shí)監(jiān)測(cè)話音輸入,諸如口頭搜索請(qǐng)求。自動(dòng)確定是不需要明確用戶指導(dǎo)的確定。通過(guò)本文檔中描述的技術(shù),移動(dòng)計(jì)算設(shè)備可以基于與該移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的當(dāng)前上下文自動(dòng)確定何時(shí)監(jiān)測(cè)話音輸入,而不是等待用戶提示該移動(dòng)計(jì)算設(shè)備開始監(jiān)測(cè)話音輸入(例如,按壓并保持按鈕閾值時(shí)間)。與移動(dòng)計(jì)算設(shè)備(和/或該移動(dòng)計(jì)算設(shè)備的用戶)相關(guān)聯(lián)的當(dāng)前上下文可以包括:設(shè)備外部上下文(諸如表示設(shè)備周圍的環(huán)境),或者設(shè)備內(nèi)部上下文(諸如存儲(chǔ)在設(shè)備中關(guān)于該設(shè)備的歷史信息)。設(shè)備外部上下文例如可以包括移動(dòng)計(jì)算設(shè)備所處的物理位置(例如,由設(shè)備中GPS或其他技術(shù)確定的家庭、單位、汽車等),以及移動(dòng)計(jì)算設(shè)備的運(yùn)動(dòng)狀態(tài)(例如,加速、靜止等)。設(shè)備內(nèi)部上下文可以包括移動(dòng)計(jì)算設(shè)備上的最近活動(dòng)(例如,社交網(wǎng)絡(luò)活動(dòng)、發(fā)送/接收的電子郵件、撥打/接聽的電話呼叫等)。移動(dòng)計(jì)算設(shè)備(和/或其用戶)的當(dāng)前上下文獨(dú)立于指導(dǎo)設(shè)備聽取話語(yǔ)輸入的用戶輸入本身。
例如,設(shè)想用戶帶著他/她的移動(dòng)計(jì)算設(shè)備下班回家以及該用戶開始做晚飯。在檢測(cè)到移動(dòng)計(jì)算設(shè)備位于用戶家中(該移動(dòng)計(jì)算設(shè)備的上下文)之后,在此示例中該移動(dòng)計(jì)算設(shè)備自動(dòng)開始監(jiān)測(cè)來(lái)自用戶的話音輸入。該設(shè)備例如可以經(jīng)由GPS讀數(shù)或者通過(guò)確定其停駐特定音樂(lè)碼頭(dock)或特定類型音樂(lè)碼頭來(lái)確定其上下文。用戶在做晚飯時(shí)意識(shí)到其無(wú)法記下應(yīng)該向盤中添加多少特定配料。用戶可以簡(jiǎn)單地詢問(wèn)應(yīng)當(dāng)向盤中添加多少配料而不是需要停止準(zhǔn)備飯菜去查找食譜(例如,洗手并且找到書中或電子文檔中的食譜),這是因?yàn)橐苿?dòng)計(jì)算設(shè)備已經(jīng)在監(jiān)測(cè)話音輸入,該移動(dòng)計(jì)算設(shè)備可以接收并處理口頭請(qǐng)求。例如,移動(dòng)計(jì)算設(shè)備可以定位包含該食譜的電子文檔,標(biāo)識(shí)所述配料的用量,以及通過(guò)用量信息(例如,“你的食譜要求1杯糖”)聽覺(jué)上響應(yīng)用戶。通過(guò)本文檔中描述的技術(shù),該示例中的用戶能夠獲取其問(wèn)題的答案而不需要中斷其飯菜準(zhǔn)備(例如,不需要首先物理上提示移動(dòng)計(jì)算設(shè)備接收話音輸入)。
繼續(xù)上段示例,移動(dòng)計(jì)算設(shè)備可以基于該移動(dòng)計(jì)算設(shè)備在用戶家中被放置的碼頭類型確定其位于用戶的家中。例如,移動(dòng)計(jì)算設(shè)備可以基于彼此匹配的碼頭和設(shè)備上的物理電接觸或者經(jīng)由碼頭和設(shè)備之間的電子通信(例如,經(jīng)由BLUETOOTH或RFID)標(biāo)識(shí)碼頭的類型。例如,碼頭上可以提供旨在家庭使用的特定管腳布置,而可以向旨在和銷售用于車內(nèi)使用的碼頭提供不同布置。
通過(guò)僅在用戶可以限定的特定上下文中啟用此類偵聽,這里的技術(shù)提供了強(qiáng)大的用戶接口同時(shí)還允許用戶控制對(duì)其信息的訪問(wèn)。因此,此類監(jiān)測(cè)可以被提供作為啟用偵聽之前用戶必須主動(dòng)配置其設(shè)備支持的選項(xiàng),以便給予用戶對(duì)該特征的控制。另外,當(dāng)設(shè)備進(jìn)入偵聽模式時(shí),該設(shè)備可以向用戶大聲宣布。另外,這里所述處理可以被分離在設(shè)備和該設(shè)備與之通信的任意服務(wù)器系統(tǒng)之間,以便監(jiān)測(cè)可以在該設(shè)備上發(fā)生,并且當(dāng)此類監(jiān)測(cè)觸發(fā)要求與服務(wù)器系統(tǒng)通信的動(dòng)作時(shí),該設(shè)備可以向用戶宣布此事實(shí)和/或從該用戶尋求批準(zhǔn)。此外,使用這里所述技術(shù)可以由設(shè)備采取的特定動(dòng)作可以由用戶預(yù)先限定(例如,在列表中),以便用戶可以包括該用戶可舒服執(zhí)行的動(dòng)作(例如,取得針對(duì)天氣、電影時(shí)間、航班的信息以及用戶確定不牽連隱私問(wèn)題的類似動(dòng)作)。
在一個(gè)實(shí)現(xiàn)中,計(jì)算機(jī)實(shí)現(xiàn)的方法包括檢測(cè)與移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的當(dāng)前上下文,所述上下文在所述移動(dòng)設(shè)備外部并且指示所述設(shè)備在其周圍環(huán)境的當(dāng)前狀態(tài),并且基于所述當(dāng)前上下文確定是否將所述移動(dòng)計(jì)算設(shè)備從當(dāng)前操作模式切換至第二操作模式,在所述第二操作模式期間所述移動(dòng)計(jì)算設(shè)備針對(duì)話音輸入監(jiān)測(cè)環(huán)境聲音,所述話音輸入指示用于執(zhí)行操作的請(qǐng)求。響應(yīng)于確定是否切換至所述第二操作模式,該方法可以進(jìn)一步包括激活與所述移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的一個(gè)或多個(gè)麥克風(fēng)和語(yǔ)音分析子系統(tǒng),以便所述移動(dòng)計(jì)算設(shè)備接收音頻數(shù)據(jù)流。該方法還可以包括在所述移動(dòng)計(jì)算設(shè)備上提供響應(yīng)于話音輸入的輸出,所述話音輸入被檢測(cè)在所述音頻數(shù)據(jù)流中并且指示用于執(zhí)行操作的請(qǐng)求。
在另一實(shí)現(xiàn)中,一種用于自動(dòng)監(jiān)測(cè)話音輸入的系統(tǒng)包括移動(dòng)計(jì)算設(shè)備以及一個(gè)或多個(gè)麥克風(fēng),所述一個(gè)或多個(gè)麥克風(fēng)被配置為接收環(huán)境音頻信號(hào)并且向所述移動(dòng)計(jì)算設(shè)備提供電子音頻數(shù)據(jù)。該系統(tǒng)還可以包括上下文確定單元,被配置為檢測(cè)與所述移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的當(dāng)前上下文,所述上下文在所述移動(dòng)設(shè)備外部并且指示所述設(shè)備在其周圍環(huán)境中的當(dāng)前狀態(tài),以及模式選擇單元,被配置為基于由所述上下文確定單元確定的所述當(dāng)前上下文確定是否將所述移動(dòng)計(jì)算設(shè)備從當(dāng)前操作模式切換至第二操作模式,在所述第二操作模式期間所述移動(dòng)計(jì)算設(shè)備針對(duì)話音輸入監(jiān)測(cè)環(huán)境聲音,所述話音輸入指示用于執(zhí)行操作的請(qǐng)求。該系統(tǒng)可以進(jìn)一步包括所述移動(dòng)計(jì)算設(shè)備的輸入子系統(tǒng),被配置為響應(yīng)于確定是否切換至所述第二操作模式,激活與所述移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的一個(gè)或多個(gè)麥克風(fēng)和語(yǔ)音分析子系統(tǒng),以便所述移動(dòng)計(jì)算設(shè)備接收音頻數(shù)據(jù)流。該系統(tǒng)還可以包括所述移動(dòng)計(jì)算設(shè)備的輸出子系統(tǒng),被配置為在所述移動(dòng)計(jì)算設(shè)備上提供響應(yīng)于話音輸入的輸出,所述話音輸入被檢測(cè)在所述音頻數(shù)據(jù)流中并且指示用于執(zhí)行操作的請(qǐng)求。
在又一實(shí)現(xiàn)中,一種用于自動(dòng)監(jiān)測(cè)話音輸入的系統(tǒng)包括移動(dòng)計(jì)算設(shè)備以及一個(gè)或多個(gè)麥克風(fēng),所述一個(gè)或多個(gè)麥克風(fēng)被配置為接收環(huán)境音頻信號(hào)并且向所述移動(dòng)計(jì)算設(shè)備提供電子音頻數(shù)據(jù)。該系統(tǒng)還可以包括上下文確定單元,被配置為檢測(cè)與所述移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的當(dāng)前上下文,所述上下文在所述移動(dòng)設(shè)備外部并且指示所述設(shè)備在其周圍環(huán)境中的當(dāng)前狀態(tài),以及用于基于所述當(dāng)前上下文確定是否將所述移動(dòng)計(jì)算設(shè)備從當(dāng)前操作模式切換至第二操作模式的裝置,在所述第二操作模式期間所述移動(dòng)計(jì)算設(shè)備針對(duì)話音輸入監(jiān)測(cè)環(huán)境聲音,所述話音輸入指示用于執(zhí)行操作的請(qǐng)求。該系統(tǒng)可以進(jìn)一步包括所述移動(dòng)計(jì)算設(shè)備的輸入子系統(tǒng),被配置為響應(yīng)于確定是否切換至所述第二操作模式,激活與所述移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的一個(gè)或多個(gè)麥克風(fēng)和語(yǔ)音分析子系統(tǒng),以便所述移動(dòng)計(jì)算設(shè)備接收音頻數(shù)據(jù)流。該系統(tǒng)還可以包括所述移動(dòng)計(jì)算設(shè)備的輸出子系統(tǒng),被配置為在所述移動(dòng)計(jì)算設(shè)備上提供響應(yīng)于話音輸入的輸出,所述話音輸入被檢測(cè)在所述音頻數(shù)據(jù)流中并且指示用于執(zhí)行操作的請(qǐng)求。
一個(gè)或多個(gè)實(shí)施方式的細(xì)節(jié)在以下附圖和描述中進(jìn)行了闡述。各種優(yōu)勢(shì)可以通過(guò)某些實(shí)現(xiàn)方式得以實(shí)現(xiàn),諸如在向計(jì)算設(shè)備提供話音輸入時(shí)向用戶提供更好的便利性。當(dāng)他/她需要話音輸入時(shí),用戶可以簡(jiǎn)單地提供話音輸入,而不是首先必須經(jīng)過(guò)形式步驟提示移動(dòng)計(jì)算設(shè)備接收話音輸入。另外,移動(dòng)計(jì)算設(shè)備可以推斷用戶何時(shí)期望提供話音輸入并且在那些時(shí)間段期間監(jiān)測(cè)話音輸入??紤]到監(jiān)測(cè)話音輸入可以使得移動(dòng)計(jì)算設(shè)備消耗比該設(shè)備處于待機(jī)模式更多的功率,此特征可以幫助保存被移動(dòng)計(jì)算設(shè)備消耗的能量,尤其在移動(dòng)計(jì)算設(shè)備正在使用便攜式電源(諸如,電池)時(shí)。
在附圖和下文描述中闡述一個(gè)或者多個(gè)實(shí)施方式的細(xì)節(jié)。通過(guò)描述和附圖容易理解本發(fā)明的其他特征、目的和優(yōu)點(diǎn)。
附圖說(shuō)明
圖1A至圖1C是用于基于上下文自動(dòng)監(jiān)測(cè)話音輸入的示例移動(dòng)計(jì)算設(shè)備的概念圖。
圖2A至圖2B是用于基于與移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的當(dāng)前上下文自動(dòng)監(jiān)測(cè)話音輸入的示例系統(tǒng)的示圖。
圖3A至圖3C是用于基于移動(dòng)計(jì)算設(shè)備的上下文自動(dòng)監(jiān)測(cè)話音輸入的示例技術(shù)的流程圖。
圖4是可以用來(lái)實(shí)施本文檔中描述的技術(shù)、系統(tǒng)、機(jī)制和方法的系統(tǒng)的概念圖。
圖5是作為客戶端或者作為一個(gè)或者多個(gè)服務(wù)器的、可以用來(lái)實(shí)施本文檔中描述的系統(tǒng)和方法的計(jì)算設(shè)備的框圖。
各圖中的相似參考符號(hào)指示相似元件。
具體實(shí)施方式
本文檔描述了用于自動(dòng)監(jiān)測(cè)對(duì)移動(dòng)計(jì)算設(shè)備(例如,移動(dòng)電話、智能電話(例如,IPHONE、BLACKBERRY)、個(gè)人數(shù)字助理(PDA)、便攜式媒體播放器(例如,IPOD)等)的話音/話語(yǔ)輸入的技術(shù)、方法、系統(tǒng)和機(jī)制。關(guān)于何時(shí)開始和結(jié)束監(jiān)測(cè)話音輸入的確定可以基于與移動(dòng)計(jì)算設(shè)備(和/或移動(dòng)計(jì)算設(shè)備的用戶)相關(guān)聯(lián)的上下文。例如,當(dāng)與移動(dòng)計(jì)算設(shè)備(和/或移動(dòng)計(jì)算設(shè)備的用戶)相關(guān)聯(lián)的上下文指示用戶期望提供話音輸入和/或提供基于話音的特征將對(duì)用戶便利時(shí),該移動(dòng)計(jì)算設(shè)備可以自動(dòng)監(jiān)測(cè)話音輸入。
隨著移動(dòng)計(jì)算設(shè)備變得更加強(qiáng)大,由移動(dòng)計(jì)算設(shè)備提供的話音相關(guān)特征的數(shù)目也增多了。例如,用戶可以采用話音命令指導(dǎo)移動(dòng)計(jì)算設(shè)備發(fā)起電話呼叫(例如,“呼叫Bob”)以及播放音樂(lè)(例如,“播放Beck的音樂(lè)”)。然而,移動(dòng)計(jì)算設(shè)備已經(jīng)被配置為僅在由用戶提示這樣做時(shí)才會(huì)監(jiān)測(cè)此類話音輸入。例如,用戶可能需要按壓移動(dòng)計(jì)算設(shè)備上的按鈕或者激活特定應(yīng)用上的話音特征用于移動(dòng)計(jì)算設(shè)備接收并處理此類話音輸入。
本文檔中描述的技術(shù)、方法、系統(tǒng)和機(jī)制允許用戶提供話音輸入而不需要附加與提示移動(dòng)計(jì)算設(shè)備使用話音輸入相關(guān)聯(lián)的手續(xù)。相反,移動(dòng)計(jì)算設(shè)備可以基于與該移動(dòng)計(jì)算設(shè)備(和/或該移動(dòng)計(jì)算設(shè)備的用戶)相關(guān)聯(lián)的當(dāng)前上下文確定何時(shí)開始監(jiān)測(cè)話音輸入,而不需要在確定時(shí)明確的用戶指導(dǎo)。針對(duì)移動(dòng)計(jì)算設(shè)備的當(dāng)前上下文可以包括與該移動(dòng)計(jì)算設(shè)備和/或該移動(dòng)計(jì)算設(shè)備的用戶相關(guān)聯(lián)的各種信息。此類信息可以在設(shè)備外部并且由設(shè)備中的傳感器標(biāo)識(shí),諸如當(dāng)前物理位置(例如,家庭、單位、汽車、位于無(wú)線網(wǎng)絡(luò)“testnet2010”附近等)、設(shè)備移動(dòng)的方向和速率(例如,以20英里每小時(shí)北行)、當(dāng)前地理位置(例如,第十街與Marquette大道的拐角)、移動(dòng)計(jì)算設(shè)備停駐的碼頭類型(例如,汽車適配碼頭)、環(huán)境噪聲(例如,低沉的嗡嗡聲、音樂(lè)等)以及來(lái)自移動(dòng)計(jì)算設(shè)備相機(jī)的當(dāng)前圖像。
上下文可以在設(shè)備內(nèi)部,諸如設(shè)備關(guān)于時(shí)間和日期(例如,2010年7月29日下午2:00)、即將到來(lái)和/或近期約會(huì)日程安排(例如,2010年7月29日下午2:30與John見(jiàn)面)、近期設(shè)備活動(dòng)(例如,向John發(fā)送關(guān)于2:30見(jiàn)面的電子郵件)以及來(lái)自移動(dòng)計(jì)算設(shè)備相機(jī)沒(méi)有反映該設(shè)備周圍當(dāng)前狀態(tài)的歷史圖像進(jìn)行的確定。
例如,移動(dòng)計(jì)算設(shè)備可以基于所檢測(cè)的該設(shè)備移動(dòng)的高速率(例如,使用作為該設(shè)備標(biāo)準(zhǔn)組件的各種運(yùn)動(dòng)傳感器中的任意傳感器)和/或基于該設(shè)備正停駐在適配汽車的移動(dòng)設(shè)備碼頭(例如,檢測(cè)移動(dòng)計(jì)算設(shè)備與碼頭之間物理電子連接的管腳布置)確定其當(dāng)前在汽車中移動(dòng)。移動(dòng)計(jì)算設(shè)備可以基于該當(dāng)前上下文確定是否監(jiān)測(cè)話音輸入。
各種方法可以用于確定哪些上下文允許話音輸入監(jiān)測(cè)以及哪些上下文不允許。例如,移動(dòng)計(jì)算設(shè)備可以嘗試推斷當(dāng)前上下文是否指示該用戶至少具有提供話音輸入的閾值可能性,并且如果是這樣則作為響應(yīng)監(jiān)測(cè)話音輸入。在另一示例中,移動(dòng)計(jì)算設(shè)備可以嘗試基于當(dāng)前上下文推斷監(jiān)測(cè)話音輸入是否可以向用戶至少提供閾值水平的便利性,并且如果是這樣則監(jiān)測(cè)話音輸入。在另一示例,預(yù)先標(biāo)識(shí)和/或用戶標(biāo)識(shí)的上下文可以用于確定何時(shí)監(jiān)測(cè)話音輸入。還可以使用用于確定何時(shí)監(jiān)測(cè)話音輸入的其他技術(shù)。
對(duì)上文汽車上下文示例進(jìn)行擴(kuò)展,基于確定移動(dòng)計(jì)算設(shè)備位于汽車中,移動(dòng)計(jì)算設(shè)備可以推斷用戶能夠提供話音輸入非常方便(并且安全)。基于關(guān)于所確定上下文的本推斷,移動(dòng)計(jì)算設(shè)備可以開始監(jiān)測(cè)并處理用戶的話音輸入。移動(dòng)計(jì)算設(shè)備可以繼續(xù)監(jiān)測(cè)話音輸入直到各種結(jié)束事件發(fā)生,諸如移動(dòng)計(jì)算設(shè)備的當(dāng)前上下文改變(例如,用戶將移動(dòng)計(jì)算設(shè)備從汽車中移除),用戶指示其期望話音輸入監(jiān)測(cè)結(jié)束(例如,用戶提供用于提供諸如“停止監(jiān)測(cè)話音輸入”的指示的話音輸入),移動(dòng)計(jì)算設(shè)備的電池即將用盡所存儲(chǔ)的電量(例如,電池剩余電量在25%以下)等。
監(jiān)測(cè)話音輸入可以涉及將話音輸入從可以由移動(dòng)計(jì)算設(shè)備接收的其他環(huán)境噪聲(例如,背景音樂(lè)、汽車?yán)鹊?分離,繼而確定該話音輸入是否可應(yīng)用于該移動(dòng)計(jì)算設(shè)備。例如,當(dāng)兩個(gè)用戶在正在監(jiān)測(cè)話音輸入的移動(dòng)計(jì)算設(shè)備前進(jìn)行交談時(shí),該移動(dòng)計(jì)算設(shè)備可以確定哪些話音輸入是用戶交談的一部分以及哪些是請(qǐng)求移動(dòng)計(jì)算設(shè)備執(zhí)行操作。各種技術(shù)可以用于進(jìn)行此類確定,諸如監(jiān)測(cè)特定關(guān)鍵字(例如,“搜索”、“移動(dòng)設(shè)備”等)、檢查語(yǔ)法(例如,標(biāo)識(shí)問(wèn)題、標(biāo)識(shí)命令等)等。
如下文進(jìn)一步詳細(xì)所述,移動(dòng)計(jì)算設(shè)備可以在該移動(dòng)計(jì)算設(shè)備本地和/或結(jié)合遠(yuǎn)離該移動(dòng)計(jì)算設(shè)備的計(jì)算機(jī)系統(tǒng)監(jiān)測(cè)并處理話音輸入。例如,移動(dòng)計(jì)算設(shè)備可以確定其當(dāng)前上下文,確定是否監(jiān)測(cè)話音輸入,標(biāo)識(shí)用于移動(dòng)計(jì)算設(shè)備的話音輸入,以及使得與話音輸入相關(guān)聯(lián)的命令作為單獨(dú)設(shè)備(例如,不需要通過(guò)網(wǎng)絡(luò)與其他設(shè)備交互)和/或通過(guò)與遠(yuǎn)程服務(wù)器系統(tǒng)交互來(lái)執(zhí)行。
圖1A至圖1C是用于基于上下文自動(dòng)監(jiān)測(cè)話音輸入的示例移動(dòng)計(jì)算設(shè)備102a-b、142和162a-d的概念圖100、140和160。參考圖1A,示圖100描繪了監(jiān)測(cè)話音輸入的示例,其中移動(dòng)計(jì)算設(shè)備102a-b(旨在指代相同計(jì)算設(shè)備)在兩個(gè)不同的上下文(上下文A 104和上下文B 106)中。
在上下文A 104中,移動(dòng)計(jì)算設(shè)備102a被描繪為正被用戶的手108持有而沒(méi)有物理連接或系至其他設(shè)備或線。移動(dòng)計(jì)算設(shè)備102a在該示例中被描繪為使用移動(dòng)電源(例如,電池)進(jìn)行操作。
在上下文B 106中,移動(dòng)計(jì)算設(shè)備102b被描繪為正停駐在包括揚(yáng)聲器112和麥克風(fēng)114和116的移動(dòng)設(shè)備碼頭110中。移動(dòng)計(jì)算設(shè)備102b被描繪為與碼頭110的移動(dòng)設(shè)備接口118電子物理接觸。移動(dòng)計(jì)算設(shè)備102b和碼頭110可以通過(guò)該電子物理連接進(jìn)行通信。例如,移動(dòng)設(shè)備102b可以通過(guò)與接口118的連接將音頻數(shù)據(jù)流傳輸?shù)酱a頭110,其可以使得碼頭110使用揚(yáng)聲器112播放音樂(lè)。類似地,碼頭110可以向移動(dòng)設(shè)備102b提供通過(guò)揚(yáng)聲器114和116以及接口118接收的音頻數(shù)據(jù)。
進(jìn)一步針對(duì)上下文B 106,碼頭110被描繪為從插入電源插座122的電源線120接收功率。移動(dòng)計(jì)算設(shè)備102b可以通過(guò)碼頭110的接口118從外部電源(例如,直接從碼頭110,間接從電源線122等)接收功率。
基于上下文104和106,移動(dòng)計(jì)算設(shè),102a-b確定是否自治地(不需要首先由用戶提示或指示如何做)監(jiān)測(cè)話音輸入。針對(duì)上下文A 104,移動(dòng)計(jì)算設(shè)備102a至少基于設(shè)備使用便攜式電源(電池)而不是外部電源確定不監(jiān)測(cè)話音輸入。對(duì)于便攜式電源,電源供應(yīng)是有限的。然而,監(jiān)測(cè)話音輸入可以比移動(dòng)計(jì)算設(shè)備102a的正常待機(jī)操作耗費(fèi)更多的功率,并且可能繼續(xù)不確定的時(shí)間量。因此,在上下文A 104中,移動(dòng)計(jì)算設(shè)備102a可以確定對(duì)于用戶監(jiān)測(cè)話音輸入的任意潛在便利性被在相對(duì)短時(shí)間(與待機(jī)操作相比時(shí)短)內(nèi)潛在耗費(fèi)電池對(duì)移動(dòng)計(jì)算設(shè)備102a的非便利性超過(guò)。另外,移動(dòng)計(jì)算設(shè)備102a可以確定由用戶提供的任意話音輸入基于依賴于其自己的麥克風(fēng)(與外部麥克風(fēng)不同,如麥克風(fēng)114和116)的移動(dòng)計(jì)算設(shè)備102a將無(wú)法足夠清楚地接收以準(zhǔn)確處理。因此,上下文A 104中的移動(dòng)計(jì)算設(shè)備102a不監(jiān)測(cè)話音輸入,如符號(hào)124所示。
與此相反,參考上下文B 106,移動(dòng)計(jì)算設(shè)備102b基于正連接至碼頭110的移動(dòng)計(jì)算設(shè)備102b確定監(jiān)測(cè)話音輸入(如不存在像上下文A 104中符號(hào)124的符號(hào)所示)。如上文所述,移動(dòng)計(jì)算設(shè)備102b可以基于接口118中使用的管腳布置將碼頭110標(biāo)識(shí)為特定類型的碼頭。通過(guò)與碼頭110連接,移動(dòng)計(jì)算設(shè)備102b接收外部電源(例如,碼頭110、插座122)和外部麥克風(fēng)114和116的益處。在該示例中,移動(dòng)計(jì)算設(shè)備102b可以基于連接碼頭110、移動(dòng)計(jì)算設(shè)備102b連接的碼頭類型(例如,家庭立體聲碼頭)、外部電源的可用性和外部麥克風(fēng)114和116的可用性的任意組合監(jiān)測(cè)話音輸入。作為監(jiān)測(cè)話音輸入的一部分,移動(dòng)計(jì)算設(shè)備102b可以從麥克風(fēng)114和116接收音頻數(shù)據(jù)流,從中用于標(biāo)識(shí)(并處理)話音輸入。同樣,通過(guò)限制監(jiān)測(cè)特定上下文B,系統(tǒng)可以幫助確保用戶意識(shí)到被系統(tǒng)監(jiān)測(cè)(當(dāng)其發(fā)生時(shí))。
設(shè)備102b還可以宣布何時(shí)其切換至監(jiān)測(cè)模式。例如,當(dāng)設(shè)備已經(jīng)停駐時(shí),碼頭上的揚(yáng)聲器可以宣布“設(shè)備現(xiàn)在監(jiān)測(cè)請(qǐng)求-請(qǐng)說(shuō)停止監(jiān)測(cè)來(lái)禁用特征”。此類宣布可以向用戶提供監(jiān)測(cè)正在發(fā)生的附加通知,以便用戶可以獲得監(jiān)測(cè)的優(yōu)勢(shì),同時(shí)維持對(duì)監(jiān)測(cè)內(nèi)容的控制。
所描繪的Alice 126與Bob 128之間的交談演示了由移動(dòng)計(jì)算設(shè)備102a-b執(zhí)行的話音輸入監(jiān)測(cè)。Alice向Bob說(shuō)“你好,Bob。最近怎么樣?”(130)。Alice回答“還不錯(cuò)。你呢?”(132)。Alice回答“不錯(cuò)。你知道本周末的天氣預(yù)報(bào)嗎?”(134),而Bob說(shuō)“不知道。稍等,我查下移動(dòng)設(shè)備。本周末的天氣預(yù)報(bào)是什么?”(136)。
如符號(hào)124所示,基于確定不監(jiān)測(cè)話音輸入Alice 126與Bob 128之間的交談130-136沒(méi)有被上下文A 104中的移動(dòng)計(jì)算設(shè)備102a接收。
相反,Alice 126與Bob 128之間的交談130-136被接收作為由移動(dòng)計(jì)算設(shè)備102b使用碼頭110的接口118和麥克風(fēng)114和116接收的音頻數(shù)據(jù)流的一部分。移動(dòng)計(jì)算設(shè)備102b可以使用語(yǔ)音分析子系統(tǒng)從其他環(huán)境噪聲(諸如,背景音樂(lè))中檢測(cè)話音輸入130-136,并且標(biāo)識(shí)話音輸入130-136中的任意輸入是否為對(duì)移動(dòng)計(jì)算設(shè)備102b的請(qǐng)求。
如早先所述,移動(dòng)計(jì)算設(shè)備102b可以使用各種技術(shù)來(lái)標(biāo)識(shí)話音輸入130-136中的任意輸入是否為對(duì)移動(dòng)計(jì)算設(shè)備102b的請(qǐng)求。例如,移動(dòng)計(jì)算設(shè)備102b可以針對(duì)關(guān)鍵字掃描話音輸入130-136,例如,命令“搜索附近餐館”中使用的詞語(yǔ)“搜索”,以及問(wèn)題“移動(dòng)設(shè)備,籃球比賽的當(dāng)前比分是多少?”中使用的詞語(yǔ)“移動(dòng)設(shè)備”。在另一示例中,移動(dòng)計(jì)算設(shè)備102b可以監(jiān)測(cè)話音輸入130-136的語(yǔ)法來(lái)嘗試標(biāo)識(shí)語(yǔ)音中可以用于移動(dòng)計(jì)算設(shè)備102b的多個(gè)部分,諸如問(wèn)題和命令。在又一示例中,移動(dòng)計(jì)算設(shè)備102b可以基于話音輸入結(jié)構(gòu)中的改變(諸如,停頓(例如,用戶等待來(lái)自移動(dòng)計(jì)算設(shè)備102b的響應(yīng))),音頻信號(hào)明顯方向上的改變(例如,當(dāng)提供命令時(shí)用戶面向移動(dòng)計(jì)算設(shè)備102b),遞送速度的改變(例如,當(dāng)用于移動(dòng)計(jì)算設(shè)備102b時(shí)用戶減慢速度),音調(diào)和聲調(diào)的改變(例如,當(dāng)處理移動(dòng)計(jì)算設(shè)備102b時(shí),用戶降低音調(diào)并且減少聲調(diào)水平)等透露某些話音輸入被用于移動(dòng)計(jì)算設(shè)備102b。還可以使用其他技術(shù)以及技術(shù)的組合。
在該示例中,Alice 126與Bob 128之間的話音輸入130-136中存在多個(gè)問(wèn)題,但只有話音輸入136中的問(wèn)題用于移動(dòng)計(jì)算設(shè)備102b。使用先前段落中所述技術(shù)的任意組合,移動(dòng)計(jì)算設(shè)備102b能夠?qū)⒃撛捯糨斎?36正確地隔離作為移動(dòng)計(jì)算設(shè)備102b執(zhí)行操作的請(qǐng)求。例如,移動(dòng)計(jì)算設(shè)備102b可以從Bob的話音輸入136中標(biāo)識(shí)短語(yǔ)“移動(dòng)設(shè)備”,繼而分析話音輸入136的語(yǔ)法來(lái)將問(wèn)題“本周末的天氣預(yù)報(bào)是什么?”隔離用于移動(dòng)計(jì)算設(shè)備102b。
響應(yīng)于進(jìn)行此類標(biāo)識(shí),移動(dòng)計(jì)算設(shè)備102b可以發(fā)起搜索用于確定針對(duì)即將來(lái)臨的周末移動(dòng)計(jì)算設(shè)備102b當(dāng)前地理位置的天氣預(yù)報(bào)。移動(dòng)計(jì)算設(shè)備102b可以本地(例如,查詢移動(dòng)計(jì)算設(shè)備102b上周期性獲取并存儲(chǔ)天氣預(yù)報(bào)的天氣應(yīng)用)和/或通過(guò)經(jīng)由網(wǎng)絡(luò)(例如,因特網(wǎng)、蜂窩網(wǎng)絡(luò)、3G/4G網(wǎng)絡(luò)等)與遠(yuǎn)程信息服務(wù)器系統(tǒng)交互來(lái)標(biāo)識(shí)該信息。
移動(dòng)計(jì)算設(shè)備102b可以使用各種可用輸出設(shè)備中的任意設(shè)備向Alice 126和Bob 128提供所請(qǐng)求的天氣信息,所述輸出設(shè)備諸如顯示器(例如,移動(dòng)計(jì)算設(shè)備102b的顯示器、計(jì)算機(jī)監(jiān)視器、電視等)、揚(yáng)聲器系統(tǒng)(例如,移動(dòng)計(jì)算設(shè)備102b上的內(nèi)部揚(yáng)聲器、碼頭110的揚(yáng)聲器112等)、投影儀(例如,作為移動(dòng)計(jì)算設(shè)備102b和/或碼頭110的一部分的投影儀)等。在此示例中,移動(dòng)計(jì)算設(shè)備102b使用移動(dòng)計(jì)算設(shè)備118的文本到語(yǔ)音(TTS)子系統(tǒng)和碼頭110的揚(yáng)聲器112聽覺(jué)上輸出天氣信息(138)。
參考圖1B,示圖140描繪了確定是否監(jiān)測(cè)話音輸入、標(biāo)識(shí)來(lái)自話音輸入的用戶請(qǐng)求以及提供響應(yīng)于該用戶請(qǐng)求的輸出的移動(dòng)計(jì)算設(shè)備142的示例。
在步驟A,移動(dòng)計(jì)算設(shè)備142檢測(cè)移動(dòng)計(jì)算設(shè)備142以及與該移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的用戶(未示出)的當(dāng)前上下文(144)。如示例當(dāng)前上下文146中所示,移動(dòng)計(jì)算設(shè)備142當(dāng)前位于用戶的家(148a),當(dāng)前日期和時(shí)間為星期一下午7:00(148b),用戶周一剩余時(shí)間的日程安排沒(méi)有約會(huì)(148c),以及移動(dòng)計(jì)算設(shè)備142當(dāng)前使用90%充電的電池作為其電源(148d)。移動(dòng)計(jì)算設(shè)備142的當(dāng)前位置可以通過(guò)各種方式確定,諸如使用地理位置信息(例如,地理定位系統(tǒng)(GPS)信息),標(biāo)識(shí)周圍計(jì)算設(shè)備和/或無(wú)線網(wǎng)絡(luò)(例如,檢測(cè)用戶家中出現(xiàn)的無(wú)線網(wǎng)絡(luò)),移動(dòng)計(jì)算設(shè)備142正位于特定類型的碼頭(例如,碼頭110)等。
在步驟B,移動(dòng)計(jì)算設(shè)備142基于該設(shè)備142及其用戶的當(dāng)前上下文146確定是否針對(duì)用戶請(qǐng)求監(jiān)測(cè)音頻信號(hào)(150)。如上文參考圖1A所述,各種技術(shù)可以用于確定是否監(jiān)測(cè)來(lái)自用戶的話音輸入。在此示例中,移動(dòng)計(jì)算設(shè)備142基于推斷用戶將向該用戶和移動(dòng)計(jì)算設(shè)備142兩者提供用戶請(qǐng)求和便利性的可能性(如上下文146所示)確定繼續(xù)針對(duì)用戶請(qǐng)求監(jiān)測(cè)環(huán)境音頻信號(hào)。提供用戶請(qǐng)求的可能性可以至少?gòu)臅r(shí)間(下午7點(diǎn))和用戶的日程安排推斷。雖然是在晚上,但用戶可能還沒(méi)有入睡(僅下午7點(diǎn))以及該用戶在該夜晚的剩余時(shí)間沒(méi)有任何約會(huì)-用戶在接下來(lái)若干小時(shí)期望自由時(shí)間可以至少指示向移動(dòng)計(jì)算設(shè)備142提供基于話音請(qǐng)求的閾值可能性。至少基于移動(dòng)計(jì)算設(shè)備142正位于用戶家中,監(jiān)測(cè)話音輸入可以方便用戶,其中用戶可以與移動(dòng)計(jì)算設(shè)備142大于一臂長(zhǎng)度(例如,用戶可以在房屋周圍移動(dòng)以便可以更方便用戶簡(jiǎn)單地說(shuō)出他/她的請(qǐng)求而不是需要定位移動(dòng)計(jì)算設(shè)備142來(lái)針對(duì)每個(gè)請(qǐng)求手動(dòng)提示計(jì)算設(shè)備142)。另外,至少基于電池至少具有閾值電荷并且基于監(jiān)測(cè)將僅持續(xù)有限時(shí)間段(例如,移動(dòng)計(jì)算設(shè)備142可以預(yù)測(cè)用戶可能在若干小時(shí)后入睡)的推測(cè),監(jiān)測(cè)話音輸入可以方便移動(dòng)計(jì)算設(shè)備。
響應(yīng)于確定監(jiān)測(cè)音頻信號(hào),在步驟C,移動(dòng)計(jì)算設(shè)備可以激活可用于移動(dòng)計(jì)算設(shè)備的麥克風(fēng)和語(yǔ)音分析子系統(tǒng)(152)。麥克風(fēng)和/或語(yǔ)音分析子系統(tǒng)可以位于和/或遠(yuǎn)離移動(dòng)計(jì)算設(shè)備142。例如,移動(dòng)計(jì)算設(shè)備142使用的麥克風(fēng)可以體現(xiàn)在移動(dòng)計(jì)算設(shè)備中和/或遠(yuǎn)離移動(dòng)計(jì)算設(shè)備(例如,碼頭110的麥克風(fēng)114和116)。在另一示例中,語(yǔ)音分析子系統(tǒng)遠(yuǎn)程實(shí)現(xiàn),移動(dòng)計(jì)算設(shè)備142可以向遠(yuǎn)程語(yǔ)音分析子系統(tǒng)提供接收的音頻信號(hào),并且作為響應(yīng),接收指示是否已經(jīng)檢測(cè)到任意話音輸入的信息。
移動(dòng)計(jì)算設(shè)備142可以向用戶顯示指示正在進(jìn)行針對(duì)用戶請(qǐng)求監(jiān)測(cè)音頻信號(hào)的消息153。如果用戶不期望上述操作發(fā)生,這可以向用戶提供取消該操作的機(jī)會(huì)。
在步驟D,針對(duì)用戶請(qǐng)求,移動(dòng)計(jì)算設(shè)備142繼續(xù)接收和監(jiān)測(cè)環(huán)境音頻信號(hào)(154)。例如,電視156a、人156b和寵物156c可以分別產(chǎn)生由移動(dòng)計(jì)算設(shè)備142接收并檢查的音頻信號(hào)158a-c。
在所有這些音頻信號(hào)當(dāng)中,用戶156b向移動(dòng)計(jì)算設(shè)備142提出問(wèn)題“緬因州的首府是?”(158b)作為用戶請(qǐng)求。移動(dòng)計(jì)算設(shè)備142(可能結(jié)合遠(yuǎn)程語(yǔ)音分析子系統(tǒng))可以使用如上文參考圖1A所述的各種技術(shù)中的任意技術(shù)從音頻信號(hào)158a-c檢測(cè)該用戶請(qǐng)求。移動(dòng)計(jì)算設(shè)備142繼而可以本地(例如,搜索本地存儲(chǔ)的信息數(shù)據(jù)庫(kù))或者通過(guò)與遠(yuǎn)程信息服務(wù)器系統(tǒng)交互來(lái)處理該用戶請(qǐng)求。
獲得了所標(biāo)識(shí)用戶請(qǐng)求的響應(yīng),如步驟F所示移動(dòng)計(jì)算設(shè)備可以提供針對(duì)用戶請(qǐng)求的輸出(162)。在本示例中,移動(dòng)計(jì)算設(shè)備在該移動(dòng)計(jì)算設(shè)備142的顯示器上顯示用戶問(wèn)題的答案164。如上文參考圖1A所述,還可以是向移動(dòng)計(jì)算設(shè)備142提供此類輸出的其他方式。
參考圖1C,示圖170描繪了使用四個(gè)不同上下文(上下文A 174、上下文B 176、上下文C 178和上下文D 180)中移動(dòng)計(jì)算設(shè)備172a-d(旨在作為各不同上下文中描繪的單個(gè)移動(dòng)計(jì)算設(shè)備)監(jiān)測(cè)話音輸入的示例。
參考上下文A 174,移動(dòng)計(jì)算設(shè)備172a被描繪為正位于用戶辦公室182。在此示例中,移動(dòng)計(jì)算設(shè)備172a能夠基于出現(xiàn)的與辦公室182相關(guān)聯(lián)的無(wú)線網(wǎng)絡(luò)“workwifi”184標(biāo)識(shí)其當(dāng)前位置。如符號(hào)186所示,移動(dòng)計(jì)算設(shè)備172a基于上下文A 174確定不在用戶辦公室182監(jiān)測(cè)話音輸入。該確定可以基于上文參考圖1A至圖1B所述各種因素中的任意因素。
參考上下文B 176,移動(dòng)計(jì)算設(shè)備172b被描繪為正位于用戶汽車188中。在此示例中,移動(dòng)計(jì)算設(shè)備172b可以至少基于與汽車適配停駐/充電線纜190連接確定其當(dāng)前上下文。如出現(xiàn)的如符號(hào)186的符號(hào)所示,移動(dòng)計(jì)算設(shè)備172b基于上下文B 176確定監(jiān)測(cè)在用戶汽車188內(nèi)部進(jìn)行的用戶請(qǐng)求。該確定可以基于上文參考圖1A至圖1B所述各種因素中的任意因素。
上下文C 178描繪了移動(dòng)計(jì)算設(shè)備172c正位于用戶的家192中。移動(dòng)計(jì)算設(shè)備172能夠至少基于出現(xiàn)的與用戶家192相關(guān)聯(lián)的無(wú)線網(wǎng)絡(luò)“homenet”193以及設(shè)備172c正置于移動(dòng)設(shè)備碼頭194中確定其當(dāng)前上下文。如先前所示,移動(dòng)設(shè)備172可以基于各種因素(諸如,不同的管腳布置)區(qū)分與汽車適配停駐/充電線纜190連接還是與移動(dòng)設(shè)備碼頭194連接。如不存在像符號(hào)186的符號(hào)所示,移動(dòng)計(jì)算設(shè)備172c基于上下文C 178確定監(jiān)測(cè)在用戶家192內(nèi)部進(jìn)行的用戶請(qǐng)求。該確定可以基于上文參考圖1A至圖1B所述各種因素中的任意因素。
上下文D 180示出了移動(dòng)計(jì)算設(shè)備172d正位于購(gòu)物中心195。移動(dòng)計(jì)算設(shè)備172d至少基于相對(duì)高水平環(huán)境噪聲196(例如,在購(gòu)物中心195中說(shuō)話的其他購(gòu)物者、進(jìn)入購(gòu)物中心195中的背景音樂(lè)等)以及多個(gè)可用無(wú)線網(wǎng)絡(luò)197確定其當(dāng)前上下文?;诃h(huán)境噪聲196和無(wú)線網(wǎng)絡(luò)197,移動(dòng)設(shè)備172d可以大體上推斷其位于公共區(qū)域?;谏舷挛腄 180,如符號(hào)198所示,移動(dòng)計(jì)算設(shè)備可以確定不監(jiān)測(cè)話音輸入。
移動(dòng)計(jì)算設(shè)備172可以隨著該移動(dòng)計(jì)算設(shè)備172的上下文改變?cè)诒O(jiān)測(cè)話音輸入與不監(jiān)測(cè)用戶請(qǐng)求之間切換。例如,當(dāng)用戶帶著移動(dòng)計(jì)算設(shè)備172離開辦公室182進(jìn)入汽車188時(shí),移動(dòng)計(jì)算設(shè)備172可以從不監(jiān)測(cè)用戶請(qǐng)求(在辦公室182中)切換至監(jiān)測(cè)用戶請(qǐng)求(在汽車188中)。
其中移動(dòng)計(jì)算設(shè)備172監(jiān)測(cè)用戶請(qǐng)求的上下文可以在設(shè)備和/或相關(guān)聯(lián)的用戶之間不同,并且可以隨時(shí)間改變。反饋環(huán)路可以用于連續(xù)細(xì)化其中移動(dòng)計(jì)算設(shè)備172監(jiān)測(cè)話音輸入的上下文。例如,如果用戶超時(shí)沒(méi)有向上下文C 178中的計(jì)算設(shè)備172提供多個(gè)基于話音的請(qǐng)求,則移動(dòng)計(jì)算設(shè)備172可以停止在上下文C 178中監(jiān)測(cè)話音輸入。相反,如果用戶頻繁地手動(dòng)提示計(jì)算設(shè)備172在上下文A 174中接收話音輸入,則移動(dòng)計(jì)算設(shè)備172可以開始在上下文A 174中監(jiān)測(cè)話音輸入。
圖2A至圖2B是用于基于與移動(dòng)計(jì)算設(shè)備202相關(guān)聯(lián)的當(dāng)前上下文自動(dòng)監(jiān)測(cè)話音輸入的示例系統(tǒng)200的示圖。在此示例中,移動(dòng)計(jì)算設(shè)備202被配置為基于與移動(dòng)計(jì)算設(shè)備和/或該移動(dòng)計(jì)算設(shè)備的用戶相關(guān)聯(lián)的當(dāng)前上下文自動(dòng)確定何時(shí)開始以及何時(shí)結(jié)束監(jiān)測(cè)話音輸入,類似于上文參考圖1A至圖1C所述的移動(dòng)計(jì)算設(shè)備102、142和172。
移動(dòng)計(jì)算設(shè)備202被描繪為包括輸入子系統(tǒng),通過(guò)該輸入子系統(tǒng)話音輸入(以及其他類型的輸入)可以由移動(dòng)計(jì)算設(shè)備202接收。參考圖2B,輸入子系統(tǒng)204被描繪為包括麥克風(fēng)206a(被配置為接收基于音頻的輸入)、鍵盤206b(被配置為接收基于按鍵的輸入)、觸摸屏206c(被配置為接收基于屏幕觸摸的輸入)、加速度計(jì)206d(被配置為接收基于運(yùn)動(dòng)的輸入)、追蹤球206e(被配置為接收基于GUI指針的輸入)、相機(jī)206f(被配置為接收視覺(jué)輸入)和光傳感器206g(被配置為接收基于光強(qiáng)的輸入)。輸入子系統(tǒng)204還包括網(wǎng)絡(luò)接口208(例如,無(wú)線網(wǎng)絡(luò)接口、通用串行總線(USB)接口、BLUETOOTH接口、公共交換電話網(wǎng)(PSTN)接口、以太網(wǎng)接口、蜂窩網(wǎng)絡(luò)接口、3G和/或4G網(wǎng)絡(luò)接口等),被配置為接收基于網(wǎng)絡(luò)的輸入和輸出。沒(méi)有提到的其他類型的輸入設(shè)備也可以作為輸入子系統(tǒng)204的一部分。
移動(dòng)計(jì)算設(shè)備202的輸入解析器210可以被配置為從輸入子系統(tǒng)204接收輸入(諸如電子音頻數(shù)據(jù)),并且確定接收的音頻數(shù)據(jù)是否包括話音輸入。輸入解析器210可以包括語(yǔ)音分析子系統(tǒng)212。該語(yǔ)音分析子系統(tǒng)212可以在監(jiān)測(cè)用戶請(qǐng)求時(shí)分析并確定麥克風(fēng)206a接收的音頻數(shù)據(jù)中是否存在任意話音輸入。輸入解析器210可以包括沒(méi)有描繪用于解釋通過(guò)輸入子系統(tǒng)204接收的用戶輸入的其他模塊,諸如計(jì)算機(jī)視覺(jué)模塊,用于解釋通過(guò)相機(jī)206f得到的圖像,以及手勢(shì)模塊,用于解釋由加速度計(jì)206d提供的物理移動(dòng)數(shù)據(jù)。
移動(dòng)設(shè)備上下文確定單元214可以確定移動(dòng)計(jì)算設(shè)備202的當(dāng)前上下文。該移動(dòng)設(shè)備上下文確定單元214可以使用由輸入子系統(tǒng)204接收并且由輸入解析器210解釋的輸入以及移動(dòng)計(jì)算設(shè)備202的各種上下文監(jiān)測(cè)單元來(lái)確定移動(dòng)設(shè)備202的當(dāng)前上下文。
例如,全球定位系統(tǒng)(GPS)單元216可以向移動(dòng)設(shè)備上下文確定單元214提供地理位置信息,以及功率/連接管理單元217可以提供關(guān)于移動(dòng)計(jì)算設(shè)備的當(dāng)前電源和/或功率狀態(tài)的信息(例如,連接至外部電源、電池充電80%等),以及關(guān)于移動(dòng)計(jì)算設(shè)備202的充電和/或通信連接的信息(例如,設(shè)備被停駐、設(shè)備被連接至無(wú)線網(wǎng)絡(luò)等)。移動(dòng)監(jiān)測(cè)單元218(結(jié)合移動(dòng)數(shù)據(jù)倉(cāng)庫(kù)220)可以提供與當(dāng)前正在移動(dòng)的路線以及移動(dòng)計(jì)算設(shè)備202移動(dòng)的習(xí)慣路線有關(guān)的信息?;顒?dòng)監(jiān)測(cè)單元222(結(jié)合活動(dòng)數(shù)據(jù)倉(cāng)庫(kù)224)可以提供與移動(dòng)設(shè)備202上最近和習(xí)慣用戶活動(dòng)(例如,使用的應(yīng)用、多次訪問(wèn)的特定信息等)有關(guān)的信息。位置監(jiān)測(cè)單元226可以提供關(guān)于移動(dòng)計(jì)算設(shè)備202當(dāng)前物理位置(例如,家、單位、汽車中等)的信息。位置監(jiān)測(cè)單元226可以使用位置數(shù)據(jù)倉(cāng)庫(kù)227確定當(dāng)前物理位置。位置數(shù)據(jù)倉(cāng)庫(kù)227可以將關(guān)于移動(dòng)計(jì)算設(shè)備202檢測(cè)到周圍事物(例如,可用無(wú)線網(wǎng)絡(luò)、周圍聲音、附近計(jì)算設(shè)備等)的信息與物理位置相關(guān)聯(lián)。位置監(jiān)測(cè)單元226還可以標(biāo)識(shí)物理上位于該移動(dòng)設(shè)備202附近的實(shí)體(例如,企業(yè)、公園、節(jié)慶場(chǎng)所、公共交通等)。
時(shí)間和日期單元228可以提供當(dāng)前時(shí)間和日期信息,以及日歷單元230(結(jié)合日歷數(shù)據(jù)倉(cāng)庫(kù)232)可以提供與用戶約會(huì)有關(guān)的信息。電子郵件單元234(結(jié)合電子郵件數(shù)據(jù)倉(cāng)庫(kù)236)可以通過(guò)電子郵件有關(guān)的信息(例如,最近發(fā)送/接收的電子郵件)。移動(dòng)上下文確定單元214可以從沒(méi)有提到或描繪的其他上下文監(jiān)測(cè)單元接收信息。
在某些實(shí)現(xiàn)中,上下文監(jiān)測(cè)單元216-236可以部分或整體遠(yuǎn)離移動(dòng)計(jì)算設(shè)備202實(shí)現(xiàn)。例如,電子郵件單元234可以為僅顯示由遠(yuǎn)程服務(wù)器系統(tǒng)維護(hù)并提供的電子郵件相關(guān)數(shù)據(jù)的瘦客戶端。在此示例中,電子郵件單元234可以與遠(yuǎn)程服務(wù)器系統(tǒng)交互獲得用于向移動(dòng)設(shè)備上下文確定單元214提供的電子郵件相關(guān)信息。
模式選擇單元238可以使用移動(dòng)設(shè)備202的當(dāng)前上下文(由移動(dòng)設(shè)備上下文確定單元214確定)確定開始還是停止針對(duì)話音輸入監(jiān)測(cè)音頻數(shù)據(jù),話音輸入指示針對(duì)移動(dòng)計(jì)算設(shè)備202的用戶請(qǐng)求。模式選擇單元238可以確定是否從至少音頻監(jiān)測(cè)模式(期間針對(duì)用戶請(qǐng)求監(jiān)測(cè)音頻數(shù)據(jù))和非監(jiān)測(cè)模式(期間移動(dòng)計(jì)算設(shè)備202不監(jiān)測(cè)音頻數(shù)據(jù))中進(jìn)行選擇。確定是否在模式(開始還是停止音頻監(jiān)測(cè))之間進(jìn)行切換可以基于如上文參考圖1A至圖1C所述從移動(dòng)設(shè)備202(和/或與移動(dòng)設(shè)備202相關(guān)聯(lián)的用戶)的當(dāng)前上下文采取的各種考慮和推斷中的任意考慮和推斷。
除了使用當(dāng)前上下文,模式選擇單元238還可以基于用戶行為數(shù)據(jù)倉(cāng)庫(kù)242中存儲(chǔ)的與音頻數(shù)據(jù)監(jiān)測(cè)相關(guān)聯(lián)的用戶行為數(shù)據(jù)來(lái)確定開始還是停止針對(duì)用戶請(qǐng)求監(jiān)測(cè)音頻數(shù)據(jù)。用戶行為數(shù)據(jù)倉(cāng)庫(kù)242可以記錄先前模式選擇、進(jìn)行模式選擇時(shí)移動(dòng)設(shè)備202的上下文以及針對(duì)所選模式用戶的后續(xù)行為(例如,用戶在音頻監(jiān)測(cè)模式期間有或者沒(méi)有通過(guò)話音輸入提供請(qǐng)求、用戶手動(dòng)切換至不同的操作模式、在處于非監(jiān)測(cè)模式時(shí)用戶手動(dòng)提示設(shè)備接收并處理話音輸入等)。用戶行為數(shù)據(jù)倉(cāng)庫(kù)242中存儲(chǔ)的用戶行為數(shù)據(jù)可以指示基于設(shè)備202的上下文選擇的模式是否被正確地推斷出對(duì)用戶有用和/或方便。上文參考圖1C描述了使用用戶行為數(shù)據(jù)選擇操作模式的示例。
關(guān)于模式選擇,模式選擇單元238可以至少通知輸入子系統(tǒng)204和輸入解析器210。例如,響應(yīng)于通知移動(dòng)計(jì)算設(shè)備202被切換至音頻監(jiān)測(cè)模式,輸入子系統(tǒng)204可以激活麥克風(fēng)206a開始接收音頻數(shù)據(jù),并且輸入解析器210可以激活語(yǔ)音分析子系統(tǒng)處理由麥克風(fēng)206a提供的音頻數(shù)據(jù)。在另一示例中,響應(yīng)于通知移動(dòng)計(jì)算設(shè)備202被切換至非監(jiān)測(cè)操作模式,輸入子系統(tǒng)204可以解激活麥克風(fēng)206a,并且輸入解析器210可以解激活語(yǔ)音分析子系統(tǒng)。
當(dāng)至少麥克風(fēng)206a和語(yǔ)音分析子系統(tǒng)212在音頻監(jiān)測(cè)操作模式期間被激活并且語(yǔ)音分析子系統(tǒng)212從麥克風(fēng)206a和輸入子系統(tǒng)204提供的音頻數(shù)據(jù)流檢測(cè)話音輸入時(shí),用戶請(qǐng)求標(biāo)識(shí)器241可以被通知該標(biāo)識(shí)。用戶請(qǐng)求標(biāo)識(shí)器241可以確定所檢測(cè)話音輸入是否指示用戶向移動(dòng)計(jì)算設(shè)備請(qǐng)求執(zhí)行操作(例如,搜索信息、播放媒體文件、提供行車路線等)。用戶請(qǐng)求標(biāo)識(shí)器241可以使用各種子系統(tǒng)輔助確定特定話音輸入是否指示用戶請(qǐng)求,諸如關(guān)鍵字標(biāo)識(shí)器242a、語(yǔ)法模塊242b和話音結(jié)構(gòu)分析模塊242c。
關(guān)鍵字標(biāo)識(shí)器242a可以基于特定話音輸入中存在關(guān)鍵字倉(cāng)庫(kù)243中存儲(chǔ)的預(yù)先確定的關(guān)鍵字分組中的關(guān)鍵字來(lái)確定該特定話音輸入是否用于移動(dòng)計(jì)算設(shè)備202。例如,用戶用于指代移動(dòng)計(jì)算設(shè)備202的名稱(例如,“移動(dòng)設(shè)備”)可以是關(guān)鍵字倉(cāng)庫(kù)243中的關(guān)鍵字。在另一示例中,可以被移動(dòng)計(jì)算設(shè)備202頻繁處理的命令(諸如“搜索”(如在“搜索本地新聞”中)和“播放”(如在“播放Beatles的歌曲”中))可以包括在關(guān)鍵字倉(cāng)庫(kù)243。關(guān)鍵字倉(cāng)庫(kù)243中的關(guān)鍵字可以被預(yù)先確定和/或用戶限定,并且關(guān)鍵字可以隨時(shí)間改變。例如,反饋環(huán)路可以用于確定基于關(guān)鍵字的用戶請(qǐng)求標(biāo)識(shí)是否正確(例如,用戶期望話音輸入被標(biāo)識(shí)為用戶請(qǐng)求?)。此反饋環(huán)路可以使用從隨后用戶動(dòng)作得到的推斷來(lái)確定關(guān)鍵字是否應(yīng)當(dāng)被添加至關(guān)鍵字倉(cāng)庫(kù)243或者從關(guān)鍵字倉(cāng)庫(kù)243移除。例如,如果用戶對(duì)響應(yīng)于標(biāo)識(shí)用戶語(yǔ)音中詞語(yǔ)“搜索”提供的搜索結(jié)果頻繁給出古怪的響應(yīng)(諸如,“哈?”和“那是什么?”),則詞語(yǔ)“搜索”可以從關(guān)鍵字倉(cāng)庫(kù)243移除。
類似于使用上文針對(duì)圖1A提供的語(yǔ)法和話音輸入結(jié)構(gòu)的論述,語(yǔ)法模塊242b可以分析話音輸入的語(yǔ)法,并且話音結(jié)構(gòu)分析模塊242c可以分析話音輸入結(jié)構(gòu)以確定該話音輸入是否可能用于移動(dòng)計(jì)算設(shè)備202。類似于關(guān)鍵字標(biāo)識(shí)器242a,語(yǔ)法模塊242b和/或話音結(jié)構(gòu)分析模塊242c可以使用反饋環(huán)路隨時(shí)間將話音輸入的標(biāo)識(shí)細(xì)化為用戶請(qǐng)求。
使用用戶請(qǐng)求標(biāo)識(shí)器241標(biāo)識(shí)的用戶請(qǐng)求,輸入處理單元244可以處理用戶請(qǐng)求。在某些實(shí)現(xiàn)中,輸入處理單元244可以向與用戶輸入相關(guān)聯(lián)的應(yīng)用和/或服務(wù)轉(zhuǎn)發(fā)用戶請(qǐng)求(例如,向音樂(lè)播放器應(yīng)用提供用于播放音樂(lè)的用戶請(qǐng)求)。在某些實(shí)現(xiàn)中,輸入處理單元244可以使得與用戶請(qǐng)求相關(guān)聯(lián)的一個(gè)或多個(gè)操作被執(zhí)行。例如,輸入處理單元244可以與遠(yuǎn)程服務(wù)器系統(tǒng)通信,該遠(yuǎn)程服務(wù)器系統(tǒng)被配置為至少執(zhí)行與用戶輸入相關(guān)聯(lián)的操作的一部分。
如上文針對(duì)圖1A至圖1C所述,與上下文確定、模式選擇、話音輸入標(biāo)識(shí)、用戶請(qǐng)求標(biāo)識(shí)和/或用戶請(qǐng)求處理相關(guān)聯(lián)的操作可以在移動(dòng)計(jì)算設(shè)備202本地和/或遠(yuǎn)離移動(dòng)計(jì)算設(shè)備202執(zhí)行。例如,在日歷應(yīng)用在移動(dòng)計(jì)算設(shè)備202本地實(shí)現(xiàn)的實(shí)現(xiàn)中,針對(duì)日歷信息的用戶請(qǐng)求可以在移動(dòng)計(jì)算設(shè)備202本地執(zhí)行(例如,針對(duì)日歷數(shù)據(jù)倉(cāng)庫(kù)232中存儲(chǔ)的相關(guān)日歷信息查詢?nèi)諝v單元230)。在另一示例中,在針對(duì)日歷應(yīng)用的日歷數(shù)據(jù)在遠(yuǎn)程服務(wù)器系統(tǒng)上提供的實(shí)現(xiàn)中,移動(dòng)計(jì)算設(shè)備202可以與遠(yuǎn)程服務(wù)器系統(tǒng)交互以訪問(wèn)相關(guān)日歷信息。
移動(dòng)計(jì)算設(shè)備202的輸出子系統(tǒng)246可以向設(shè)備202的用戶提供由輸入處理單元244獲得的輸出。輸出子系統(tǒng)246可以包括各種輸出設(shè)備,諸如顯示器248a(例如,液晶顯示器(LCD)、觸摸屏)、投影儀248b(例如,能夠向設(shè)備202外部投射圖像的圖像投影儀)、揚(yáng)聲器248c、耳機(jī)插孔248d等。網(wǎng)絡(luò)接口208還可以作為輸出子系統(tǒng)246的一部分并且可以被配置為提供由輸入處理單元244獲得的結(jié)果(例如,向BLUETOOTH頭戴耳機(jī)傳輸結(jié)果)。輸出子系統(tǒng)246還可以包括文本到語(yǔ)音(TTS)模塊248e,被配置為將文本轉(zhuǎn)換成可以由揚(yáng)聲器248c輸出的音頻數(shù)據(jù)。例如,TTS模塊248e可以將輸入處理單元244處理用戶請(qǐng)求生成的基于文本的輸出轉(zhuǎn)換成可以向移動(dòng)計(jì)算設(shè)備202的用戶播放的音頻輸出。
參考圖2A,移動(dòng)計(jì)算設(shè)備202可以與無(wú)線發(fā)射器250(例如,蜂窩網(wǎng)絡(luò)收發(fā)器、無(wú)線網(wǎng)絡(luò)路由器等)無(wú)線通信,并且獲得對(duì)網(wǎng)絡(luò)252(例如,因特網(wǎng)、PSTN、蜂窩網(wǎng)絡(luò)、局域網(wǎng)(LAN)、虛擬專用網(wǎng)(VPN)等)的訪問(wèn)。通過(guò)網(wǎng)絡(luò)252,移動(dòng)計(jì)算設(shè)備202可以與移動(dòng)設(shè)備服務(wù)器系統(tǒng)254(一個(gè)或多個(gè)聯(lián)網(wǎng)的服務(wù)器計(jì)算機(jī))通信,其可以被配置為向移動(dòng)設(shè)備202提供移動(dòng)設(shè)備相關(guān)服務(wù)和數(shù)據(jù)(例如,提供日歷數(shù)據(jù)、電子郵件數(shù)據(jù)、將電話呼叫連接到其他電話等)。
移動(dòng)設(shè)備202還可以通過(guò)網(wǎng)絡(luò)252與一個(gè)或多個(gè)信息服務(wù)器系統(tǒng)256通信。信息服務(wù)器系統(tǒng)256可以作為提供可以與處理用戶請(qǐng)求有關(guān)的信息的服務(wù)器系統(tǒng)。例如,信息服務(wù)器系統(tǒng)256可以提供當(dāng)前交通狀況、最新行車路線、天氣預(yù)報(bào)以及與位于移動(dòng)設(shè)備202當(dāng)前地理位置附近的企業(yè)有關(guān)的信息。
圖3A至圖3C是用于基于移動(dòng)計(jì)算設(shè)備的上下文自動(dòng)監(jiān)測(cè)話音輸入的示例技術(shù)300、330和350的流程圖。示例技術(shù)300、330和350可以由各種移動(dòng)計(jì)算設(shè)備中的任意移動(dòng)計(jì)算設(shè)備執(zhí)行,諸如上文針對(duì)圖1A至圖1C描述的移動(dòng)計(jì)算設(shè)備102、142和172和/或上文針對(duì)圖2A至圖2B描述的移動(dòng)計(jì)算設(shè)備202。
參考圖3A,示例技術(shù)300總體上用于基于移動(dòng)計(jì)算設(shè)備的上下文自動(dòng)監(jiān)測(cè)話音輸入。技術(shù)300通過(guò)檢測(cè)與移動(dòng)計(jì)算設(shè)備(和/或與移動(dòng)計(jì)算設(shè)備相關(guān)聯(lián)的用戶)相關(guān)聯(lián)的當(dāng)前上下文從步驟302開始。例如,移動(dòng)設(shè)備上下文確定單元214可以基于如針對(duì)圖2B所述的各種上下文相關(guān)信息源(諸如,輸入子系統(tǒng)204和上下文監(jiān)測(cè)單元216-236)檢測(cè)與移動(dòng)計(jì)算設(shè)備202和/或移動(dòng)計(jì)算設(shè)備202的用戶相關(guān)聯(lián)的當(dāng)前上下文。
基于當(dāng)前上下文可以確定是否從當(dāng)前操作模式切換至第二操作模式(304)。例如,移動(dòng)計(jì)算設(shè)備202的模式選擇單元238可以基于由移動(dòng)設(shè)備上下文確定單元214確定當(dāng)前上下文確定是否開始監(jiān)測(cè)話音輸入(從當(dāng)前操作模式切換至第二操作模式)。
響應(yīng)于確定是否切換至第二操作模式可以激活一個(gè)或多個(gè)麥克風(fēng)和/或語(yǔ)音分析子系統(tǒng)(306)。例如,響應(yīng)于確定開始監(jiān)測(cè)話音輸入,模式選擇單元238可以指示輸入子系統(tǒng)204和輸入解析器210激活麥克風(fēng)206a和語(yǔ)音分析子系統(tǒng)212。
繼續(xù)監(jiān)測(cè)從激活麥克風(fēng)提供的音頻數(shù)據(jù)流可以為監(jiān)測(cè)話音輸入(308)。例如,語(yǔ)音分析子系統(tǒng)212可以監(jiān)測(cè)由激活麥克風(fēng)提供的音頻數(shù)據(jù)流以從包括在該流中的其他聲音和噪聲中檢測(cè)話音輸入。
可以確定在繼續(xù)監(jiān)測(cè)期間檢測(cè)的話音輸入是否指示用于執(zhí)行操作的請(qǐng)求(310)。例如,用戶請(qǐng)求標(biāo)識(shí)器241可以檢查由語(yǔ)音分析子系統(tǒng)212標(biāo)識(shí)的話音輸入來(lái)確定話音輸入是否指示用戶請(qǐng)求移動(dòng)計(jì)算設(shè)備202執(zhí)行操作。
響應(yīng)于確定用戶請(qǐng)求被所檢測(cè)話音輸入指示,可以使得由用戶請(qǐng)求指示的所請(qǐng)求操作被執(zhí)行(312)。例如,用戶請(qǐng)求標(biāo)識(shí)器241可以指示輸入處理單元244執(zhí)行用戶請(qǐng)求指示的操作。在某些實(shí)現(xiàn)中,輸入處理單元244可以在移動(dòng)計(jì)算設(shè)備202本地執(zhí)行操作(例如,訪問(wèn)本地?cái)?shù)據(jù)、服務(wù)和/或應(yīng)用以執(zhí)行操作)。在某些實(shí)現(xiàn)中,輸入處理單元244可以與移動(dòng)設(shè)備服務(wù)器系統(tǒng)254和/或信息服務(wù)器系統(tǒng)256交互以執(zhí)行所請(qǐng)求操作。
響應(yīng)于由所檢測(cè)話音輸入指示的用戶請(qǐng)求的輸出可以被提供(314)。例如,輸出子系統(tǒng)246可以基于所請(qǐng)求操作的性能使用子系統(tǒng)246的組件248a-e中的一個(gè)或多個(gè)組件提供輸出。
對(duì)于移動(dòng)計(jì)算設(shè)備(和/或移動(dòng)計(jì)算設(shè)備的用戶)的當(dāng)前上下文的改變可以被檢測(cè)(316)。例如,由輸入子系統(tǒng)204和/或上下文監(jiān)測(cè)單元216-234生成的事件可以使得移動(dòng)設(shè)備上下文確定單元214評(píng)估針對(duì)移動(dòng)計(jì)算設(shè)備和/或移動(dòng)計(jì)算設(shè)備的用戶的上下文是否已經(jīng)改變。
響應(yīng)于檢測(cè)上下文中的(至少閾值)改變,可以基于改變的上下文確定是否切換至第三操作模式(318)。例如,模式選擇單元238可以檢查移動(dòng)計(jì)算設(shè)備202改變的上下文以確定是否停止監(jiān)測(cè)話音輸入(切換至第三操作模式)。
基于確定切換至第三操作模式,可以解激活一個(gè)或多個(gè)麥克風(fēng)和/或語(yǔ)音分析子系統(tǒng)(320)。例如,在確定停止監(jiān)測(cè)話音輸入(切換至第三操作模式)之后,模式選擇單元238可以指示輸入子系統(tǒng)204和輸入解析器210分別解激活麥克風(fēng)206a和語(yǔ)音分析子系統(tǒng)212。
參考圖3B,示例技術(shù)330總體上用于基于移動(dòng)計(jì)算設(shè)備的當(dāng)前上下文確定是否開始監(jiān)測(cè)話音輸入(從當(dāng)前操作模式切換至第二操作模式)。示例技術(shù)330可以被執(zhí)行作為上文針對(duì)圖3A所述技術(shù)300的一部分。例如,技術(shù)330可以在技術(shù)300的步驟304執(zhí)行。
技術(shù)330可以通過(guò)標(biāo)識(shí)與當(dāng)前上下文有關(guān)的用戶行為數(shù)據(jù)從步驟332開始。例如,基于如上下文確定單元214確定的移動(dòng)計(jì)算設(shè)備202的當(dāng)前上下文,模式選擇單元238可以從與類似于當(dāng)前上下文的上下文相關(guān)聯(lián)的用戶行為數(shù)據(jù)倉(cāng)庫(kù)240訪問(wèn)用戶行為數(shù)據(jù)。
基于各種因素(諸如,標(biāo)識(shí)為與當(dāng)前上下文有關(guān)的用戶行為數(shù)據(jù))可以確定用戶是否至少具有提供話音輸入的閾值可能性(334)。例如,如果移動(dòng)計(jì)算設(shè)備202開始監(jiān)測(cè)話音輸入,則模式選擇單元238可以基于各種因素(諸如,響應(yīng)于話音監(jiān)測(cè)先前在相似上下文中執(zhí)行的先前用戶動(dòng)作(用戶行為數(shù)據(jù)))確定用戶是否將可能提供話音輸入。如果至少存在用戶提供話音輸入的閾值可能性,則模式選擇單元238可以開始監(jiān)測(cè)話音輸入。
可以確定監(jiān)測(cè)話音輸入是否將至少具有針對(duì)用戶和移動(dòng)計(jì)算設(shè)備閾值水平的便利性(336)。例如,類似于上文針對(duì)圖1B中所示步驟B 150所述,模式選擇單元238可以檢查監(jiān)測(cè)話音輸入是否將方便移動(dòng)計(jì)算設(shè)備202的用戶以及/或者監(jiān)測(cè)話音輸入是否將方便移動(dòng)計(jì)算設(shè)備202(例如,檢查移動(dòng)計(jì)算設(shè)備202是否具有足夠的電源供應(yīng)用于繼續(xù)監(jiān)測(cè)話音輸入)。
參考圖3C,示例技術(shù)350總體上用于確定監(jiān)測(cè)音頻數(shù)據(jù)時(shí)檢測(cè)的話音輸入是否為用于執(zhí)行操作的用戶請(qǐng)求。示例技術(shù)350可以被執(zhí)行作為上文針對(duì)圖3A所述技術(shù)300的一部分。例如,技術(shù)350可以在技術(shù)300的步驟310執(zhí)行。
技術(shù)350可以通過(guò)標(biāo)識(shí)預(yù)先確定的關(guān)鍵字分組中的一個(gè)或多個(gè)關(guān)鍵字是否存在于所檢測(cè)的話音輸入從步驟352開始。例如,用戶請(qǐng)求標(biāo)識(shí)器241的關(guān)鍵字標(biāo)識(shí)器242a可以檢查關(guān)鍵字?jǐn)?shù)據(jù)倉(cāng)庫(kù)243中存儲(chǔ)的一個(gè)或多個(gè)關(guān)鍵字是否存在于繼續(xù)監(jiān)測(cè)話音輸入時(shí)語(yǔ)音分析子系統(tǒng)212檢測(cè)的話音輸入中。
基于話音輸入的語(yǔ)法可以確定該話音輸入是命令還是問(wèn)題(354)。例如,語(yǔ)法模塊242b可以確定語(yǔ)音分析子系統(tǒng)212所檢測(cè)話音輸入的語(yǔ)法是指示用戶用于移動(dòng)計(jì)算設(shè)備202的命令還是問(wèn)題。
與話音輸入相關(guān)聯(lián)的結(jié)構(gòu)中的改變可以被標(biāo)識(shí)(356),并且基于所標(biāo)識(shí)的改變,可以確定該話音輸入是否用于移動(dòng)計(jì)算設(shè)備(358)。例如,用戶請(qǐng)求標(biāo)識(shí)器241的話音結(jié)構(gòu)分析模塊242c可以確定由語(yǔ)音分析子系統(tǒng)212檢測(cè)的話音輸入的結(jié)構(gòu)是否已經(jīng)以指示話音輸入用于移動(dòng)計(jì)算設(shè)備202的方式改變。
圖4是可以用來(lái)實(shí)施本文檔中描述的技術(shù)、系統(tǒng)、機(jī)制和方法的系統(tǒng)的概念圖。移動(dòng)計(jì)算設(shè)備410可以與基站440無(wú)線通信,該基站可以通過(guò)網(wǎng)絡(luò)450向移動(dòng)計(jì)算設(shè)備提供對(duì)多個(gè)服務(wù)460的訪問(wèn)。
在這一例示中,將移動(dòng)計(jì)算設(shè)備410描繪為手持移動(dòng)電話(例如,智能電話或者應(yīng)用電話),該手持移動(dòng)電話包括用于向移動(dòng)計(jì)算設(shè)備410的用戶呈現(xiàn)內(nèi)容的觸摸屏顯示設(shè)備412。移動(dòng)計(jì)算設(shè)備410包括用于接收對(duì)移動(dòng)計(jì)算設(shè)備410的操作有影響的用戶輸入的各種輸入設(shè)備(例如,鍵盤414和觸摸屏顯示設(shè)備412)。在更多實(shí)現(xiàn)方式中,移動(dòng)計(jì)算設(shè)備410可以是膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、個(gè)人數(shù)字助理、嵌入式系統(tǒng)(例如,汽車導(dǎo)航系統(tǒng))、臺(tái)式計(jì)算機(jī)或者計(jì)算機(jī)化工作站。
移動(dòng)計(jì)算設(shè)備410可以包括各種視覺(jué)、聽覺(jué)和觸覺(jué)用戶輸出機(jī)制。示例視覺(jué)輸出機(jī)制是可以可視地顯示視頻、圖形、圖像和文本的顯示設(shè)備412,該視頻、圖形、圖像和文本組合以提供可視用戶界面。例如,顯示設(shè)備412可以是3.7英寸AMOLED屏幕。其他可視輸出機(jī)制可以包括LED狀態(tài)燈(例如,在已經(jīng)接收語(yǔ)音郵件時(shí)閃爍的燈)。
示例觸覺(jué)輸出機(jī)制是小型電馬達(dá),其連接到失衡重物以提供振動(dòng)提醒(例如,振動(dòng)以便向用戶提醒傳入電話呼叫或者確認(rèn)用戶與觸摸屏412接觸)。另外,移動(dòng)計(jì)算設(shè)備410可以包括將電信號(hào)轉(zhuǎn)換成聲音(例如,電話呼叫中的音樂(lè)、可聽提醒或者個(gè)人的語(yǔ)音)的一個(gè)或者多個(gè)揚(yáng)聲器420。
用于接收用戶輸入的示例機(jī)制包括鍵盤414,其可以是全qwerty鍵盤或者是包括數(shù)字“0-9”、“*”和“#”的傳統(tǒng)小鍵盤。鍵盤414在用戶物理地接觸或者按下鍵盤鍵時(shí)接收輸入。用戶操控軌跡球416或者與軌跡板交互讓用戶能夠向移動(dòng)計(jì)算設(shè)備410供應(yīng)方向和旋轉(zhuǎn)速率信息(例如,以操控光標(biāo)在顯示設(shè)備412上的位置)。
移動(dòng)計(jì)算設(shè)備410可以能夠確定與觸摸屏顯示設(shè)備412的物理接觸的位置(例如,手指或者觸筆的接觸的位置)。使用觸摸屏412可以產(chǎn)生各種“可視”輸入機(jī)制,其中用戶通過(guò)接觸在觸摸屏412上描繪的圖形用戶接口元件來(lái)與圖形用戶接口元件交互?!翱梢暋陛斎霗C(jī)制的示例是“軟件鍵盤”,其中鍵盤顯示于觸摸屏上并且用戶通過(guò)按壓觸摸屏412的與每個(gè)鍵對(duì)應(yīng)的區(qū)域來(lái)選擇鍵。
移動(dòng)計(jì)算設(shè)備410可以包括機(jī)械或者觸敏按鈕418a-418d。此外,移動(dòng)計(jì)算設(shè)備可以包括用于調(diào)整一個(gè)或者多個(gè)揚(yáng)聲器420的音量輸出的按鈕和用于打開或者關(guān)閉移動(dòng)計(jì)算設(shè)備的按鈕。麥克風(fēng)422允許移動(dòng)計(jì)算設(shè)備410將可聽聲音轉(zhuǎn)換成可以在計(jì)算機(jī)可讀存儲(chǔ)器中數(shù)字編碼和存儲(chǔ)的或者向另一計(jì)算設(shè)備傳輸?shù)碾娦盘?hào)。移動(dòng)計(jì)算設(shè)備410還可以包括數(shù)字羅盤、加速計(jì)、鄰近傳感器和環(huán)境光傳感器。
操作系統(tǒng)可以提供在移動(dòng)計(jì)算設(shè)備的硬件(例如,輸入/輸出機(jī)制和執(zhí)行從計(jì)算機(jī)可讀介質(zhì)取回的指令的處理器)與軟件之間的接口。示例操作系統(tǒng)包括ANDROID移動(dòng)計(jì)算設(shè)備平臺(tái);APPLE IPHONE/MAC OS X操作系統(tǒng);MICROSOFT WINDOWS7/WINDOWS MOBILE操作系統(tǒng);SYMBIAN操作系統(tǒng);RIM BLACKBERRY操作系統(tǒng);PALM WEB操作系統(tǒng);多種支持UNIX的操作系統(tǒng);或者用于計(jì)算機(jī)化設(shè)備的私有操作系統(tǒng)。操作系統(tǒng)可以提供用于執(zhí)行應(yīng)用程序的平臺(tái),這些應(yīng)用程序有助于在計(jì)算設(shè)備與用戶之間的交互。
移動(dòng)計(jì)算設(shè)備410可以呈現(xiàn)與觸摸屏412的圖形用戶界面。圖形用戶界面是一個(gè)或者多個(gè)圖形界面元件的匯集并且可以是靜態(tài)的(例如,顯示器看來(lái)在時(shí)間段內(nèi)保持相同)或者可以是動(dòng)態(tài)的(例如,圖形用戶界面包括在沒(méi)有用戶輸入時(shí)動(dòng)畫的圖形界面元件)。
圖形界面元件可以是文本、線條、形狀、圖形或者其組合。例如,圖形界面元件可以是顯示于桌面上的圖標(biāo)和圖標(biāo)的相關(guān)聯(lián)的文本。在一些示例中,可用用戶輸入來(lái)選擇圖形界面元件。例如,用戶可以通過(guò)按壓觸摸屏的與圖形界面元件的顯示對(duì)應(yīng)的區(qū)域來(lái)選擇圖形界面元件。在一些示例中,用戶可以操控軌跡球以醒目顯示單個(gè)圖形界面元件為具有聚焦。用戶選擇圖形界面元件可以調(diào)用移動(dòng)計(jì)算設(shè)備的預(yù)定義動(dòng)作。在一些示例中,可選圖形界面元件還對(duì)應(yīng)于或者備選地對(duì)應(yīng)于鍵盤404上的按鈕。用戶選擇按鈕可以調(diào)用預(yù)定義動(dòng)作。
在一些示例中,操作系統(tǒng)提供在打開移動(dòng)計(jì)算設(shè)備410時(shí)、在從睡眠狀態(tài)激活移動(dòng)計(jì)算設(shè)備410時(shí)、在“解鎖”移動(dòng)計(jì)算設(shè)備410時(shí)或者在接收用戶對(duì)“home”按鈕418c的選擇時(shí)顯示的“桌面”用戶界面。桌面圖形界面可以顯示在用用戶輸入來(lái)選擇時(shí)調(diào)用對(duì)應(yīng)應(yīng)用程序的若干圖標(biāo)。調(diào)用的應(yīng)用程序可以呈現(xiàn)代替桌面圖形界面的圖形界面直至應(yīng)用程序終止或者從視圖中被隱藏。
用戶輸入可以操控移動(dòng)計(jì)算設(shè)備410的操作序列。例如,單動(dòng)作用戶輸入(例如,觸摸屏的單敲、掃過(guò)觸摸屏、與按鈕接觸或者這些動(dòng)作的同時(shí)組合)可以調(diào)用使用戶界面的顯示改變的操作。在沒(méi)有用戶輸入時(shí),用戶界面可能尚未在特定時(shí)間改變。例如,用觸摸屏412的多觸摸用戶輸入可以調(diào)用繪圖應(yīng)用以“放大”位置,即使繪圖應(yīng)用可以已經(jīng)在若干秒之后默認(rèn)放大。
桌面圖形界面也可以顯示“配件”。配件是與已經(jīng)被執(zhí)行的應(yīng)用程序相關(guān)聯(lián)并且在由執(zhí)行應(yīng)用程序控制的桌面內(nèi)容上顯示的一個(gè)或者多個(gè)圖形界面元件。不同于直至用戶選擇對(duì)應(yīng)圖標(biāo)才可以調(diào)用的應(yīng)用程序,配件的應(yīng)用程序可以始于移動(dòng)電話。另外,配件可以不進(jìn)行全顯示的聚焦。備選地,配件可以僅“擁有”桌面的小部分,從而在桌面的該部分內(nèi)顯示內(nèi)容并且接收觸摸屏用戶輸入。
移動(dòng)計(jì)算設(shè)備410可以包括一個(gè)或者多個(gè)位置標(biāo)識(shí)機(jī)制。位置標(biāo)識(shí)機(jī)制可以包括提供操作系統(tǒng)和應(yīng)用并且對(duì)移動(dòng)電話的地理位置的估計(jì)編程的硬件和軟件的匯集。位置標(biāo)識(shí)機(jī)制可以運(yùn)用基于衛(wèi)星的定位技術(shù)、基站傳輸天線標(biāo)識(shí)、多基站三角測(cè)量、因特網(wǎng)訪問(wèn)點(diǎn)IP位置確定、基于搜索引擎查詢對(duì)用的位置的推理標(biāo)識(shí)以及用戶供應(yīng)的位置的標(biāo)識(shí)(例如,通過(guò)向位置“簽到”)。
移動(dòng)計(jì)算設(shè)備410可以包括其他應(yīng)用模塊和硬件。呼叫處理單元可以接收傳入電話呼叫的指示并且向用戶提供應(yīng)答傳入電話呼叫的能力。媒體播放器可以允許用戶收聽音樂(lè)或者播放電影,這些音樂(lè)和電影在移動(dòng)計(jì)算設(shè)備410的本地存儲(chǔ)器中存儲(chǔ)。移動(dòng)電話410可以包括數(shù)字相機(jī)傳感器以及對(duì)應(yīng)的圖像和視頻捕獲和編輯軟件。因特網(wǎng)瀏覽器可以讓用戶能夠通過(guò)鍵入與網(wǎng)頁(yè)對(duì)應(yīng)的地址或者選擇指向網(wǎng)頁(yè)的鏈接來(lái)查看來(lái)自網(wǎng)頁(yè)的內(nèi)容。
移動(dòng)計(jì)算設(shè)備410可以包括向基站440無(wú)線傳達(dá)信息的天線。基站440可以是基站匯集(例如,移動(dòng)電話蜂窩網(wǎng)絡(luò))中的許多基站之一,該基站匯集使移動(dòng)計(jì)算設(shè)備410能夠在移動(dòng)計(jì)算設(shè)備在地理上移動(dòng)時(shí)維持與網(wǎng)絡(luò)450的通信。計(jì)算設(shè)備410可以備選地或者附加地還通過(guò)Wi-Fi路由器或者有線連接(例如,以太網(wǎng)、USB或者FIREWIRE)與網(wǎng)絡(luò)450通信。計(jì)算設(shè)備410還可以使用藍(lán)牙協(xié)議來(lái)與其他計(jì)算設(shè)備通信或者可以運(yùn)用自組織無(wú)線網(wǎng)絡(luò)。
操作基站的網(wǎng)絡(luò)的服務(wù)提供商可以將移動(dòng)計(jì)算設(shè)備410連接到網(wǎng)絡(luò)450以實(shí)現(xiàn)在移動(dòng)計(jì)算設(shè)備410與提供服務(wù)460的其他計(jì)算機(jī)化設(shè)備之間的通信。雖然可以通過(guò)不同網(wǎng)絡(luò)(例如,服務(wù)提供商的內(nèi)部網(wǎng)絡(luò)、公共交換電話網(wǎng)絡(luò)和因特網(wǎng))提供服務(wù)460,但是將網(wǎng)絡(luò)450圖示為單個(gè)網(wǎng)絡(luò)。服務(wù)提供商可以操作服務(wù)器系統(tǒng)452,該服務(wù)器系統(tǒng)452在移動(dòng)計(jì)算設(shè)備410和與服務(wù)460相關(guān)聯(lián)的計(jì)算設(shè)備之間對(duì)信息分組和語(yǔ)音數(shù)據(jù)路由。
網(wǎng)絡(luò)450可以將移動(dòng)計(jì)算設(shè)備410連接到公共交換電話網(wǎng)絡(luò)(PSTN)462以便建立在移動(dòng)計(jì)算設(shè)備410與另一計(jì)算設(shè)備之間的語(yǔ)音或者傳真通信。例如,服務(wù)提供商服務(wù)器系統(tǒng)452可以從PSTN462接收用于移動(dòng)計(jì)算設(shè)備410的傳入呼叫的指示。相反地,移動(dòng)計(jì)算設(shè)備410可以向服務(wù)提供商服務(wù)器系統(tǒng)452發(fā)送通信,該通信發(fā)起用如下電話號(hào)碼的電話呼叫,該電話號(hào)碼與通過(guò)PSTN 462可訪問(wèn)的設(shè)備相關(guān)聯(lián)。
網(wǎng)絡(luò)450可以連接移動(dòng)計(jì)算設(shè)備410與網(wǎng)際協(xié)議語(yǔ)音(VoIP)服務(wù)464,該VoIP服務(wù)通過(guò)IP網(wǎng)絡(luò)對(duì)語(yǔ)音通信路由,這有別于PSTN。例如,移動(dòng)通信設(shè)備410的用戶可以調(diào)用VoIP應(yīng)用并且使用程序來(lái)發(fā)起呼叫。服務(wù)提供商服務(wù)器系統(tǒng)452可以向VoIP服務(wù)轉(zhuǎn)發(fā)來(lái)自呼叫的語(yǔ)音數(shù)據(jù),該VoIP服務(wù)可以潛在地將PSTN用于連接的最終支路通過(guò)因特網(wǎng)將呼叫向?qū)?yīng)計(jì)算設(shè)備路由。
應(yīng)用商店466可以向移動(dòng)計(jì)算設(shè)備410的用戶提供瀏覽用戶可以通過(guò)網(wǎng)絡(luò)450下載并且在移動(dòng)計(jì)算設(shè)備410上安裝的、遠(yuǎn)程存儲(chǔ)的應(yīng)用程序的列表的能力。應(yīng)用商店466可以作為由第三方應(yīng)用開發(fā)者開發(fā)的應(yīng)用的貯存庫(kù)。在移動(dòng)計(jì)算設(shè)備410上安裝的應(yīng)用程序可以能夠通過(guò)網(wǎng)絡(luò)450與針對(duì)應(yīng)用程序而指派的服務(wù)器系統(tǒng)通信。例如,可以從應(yīng)用商店466下載VoIP應(yīng)用程序從而讓用戶能夠與VoIP服務(wù)464通信。
移動(dòng)計(jì)算設(shè)備410可以通過(guò)網(wǎng)絡(luò)450訪問(wèn)因特網(wǎng)468上的內(nèi)容。例如,移動(dòng)計(jì)算設(shè)備410的用戶可以調(diào)用web瀏覽器應(yīng)用,該web瀏覽器應(yīng)用請(qǐng)求來(lái)自在指派的通用資源位置可訪問(wèn)的遠(yuǎn)程計(jì)算設(shè)備的數(shù)據(jù)。在各種示例中,服務(wù)460中的一些服務(wù)通過(guò)因特網(wǎng)可訪問(wèn)。
移動(dòng)計(jì)算設(shè)備可以與個(gè)人計(jì)算機(jī)470通信。例如,個(gè)人計(jì)算機(jī)470可以是用于移動(dòng)計(jì)算設(shè)備410的用戶的家用計(jì)算機(jī)。因此,用戶可以能夠從他的個(gè)人計(jì)算機(jī)470用流傳輸媒體。用戶也可以查看他的個(gè)人計(jì)算機(jī)470的文件結(jié)構(gòu)并且在計(jì)算機(jī)化設(shè)備之間傳輸所選文檔。
話音識(shí)別服務(wù)472可以接收用移動(dòng)計(jì)算設(shè)備的麥克風(fēng)422記錄的語(yǔ)音通信數(shù)據(jù),并且將語(yǔ)音通信轉(zhuǎn)譯成對(duì)應(yīng)的文本數(shù)據(jù)。在一些示例中,向搜索引擎提供轉(zhuǎn)譯的文本作為web查詢,并且向移動(dòng)計(jì)算設(shè)備410傳輸響應(yīng)搜索引擎搜索結(jié)果。
移動(dòng)計(jì)算設(shè)備410可以與社交網(wǎng)絡(luò)474通信。社交網(wǎng)絡(luò)可以包括多個(gè)成員,這些成員中的一些成員已經(jīng)同意作為相識(shí)者來(lái)相關(guān)。移動(dòng)計(jì)算設(shè)備410上的應(yīng)用程序可以訪問(wèn)社交網(wǎng)絡(luò)474以基于移動(dòng)計(jì)算設(shè)備的用戶的相識(shí)取回信息。例如,“地址簿”應(yīng)用程序可以取回用于用戶的相識(shí)者的電話號(hào)碼。在各種示例中,可以基于從用戶到其他成員的社交網(wǎng)絡(luò)距離向移動(dòng)計(jì)算設(shè)備410遞送內(nèi)容。例如,可以基于與用戶“接近”的成員(例如,作為“好友”或者“好友的好友”的成員)與這樣的內(nèi)容的交互水平針對(duì)用戶選擇廣告和新聞文章內(nèi)容。
移動(dòng)計(jì)算設(shè)備410可以通過(guò)網(wǎng)絡(luò)450訪問(wèn)個(gè)人聯(lián)系人集476。每個(gè)聯(lián)系人可以標(biāo)識(shí)個(gè)人并且包括關(guān)于該個(gè)人的信息(例如,電話號(hào)碼、電子郵件地址和生日)。由于與移動(dòng)計(jì)算設(shè)備410遠(yuǎn)程托管聯(lián)系人集,所以用戶可以跨越若干設(shè)備訪問(wèn)和維護(hù)聯(lián)系人476作為共同聯(lián)系人集。
移動(dòng)計(jì)算設(shè)備410可以訪問(wèn)基于云的應(yīng)用程序478。云計(jì)算提供與移動(dòng)計(jì)算設(shè)備410遠(yuǎn)程托管的應(yīng)用程序(例如,字處理器或者電子郵件程序),并且可以由設(shè)備410使用web瀏覽器或者專用程序來(lái)訪問(wèn)。作為示例的基于云的應(yīng)用程序包括GOOGLE DOCS字處理器和電子數(shù)據(jù)表服務(wù)、GOOGLE GMAIL網(wǎng)頁(yè)郵件服務(wù)和PICASA圖片管理器。
繪圖服務(wù)480可以向移動(dòng)計(jì)算設(shè)備410提供街道地圖、路線規(guī)劃信息和衛(wèi)星圖像。示例繪圖服務(wù)是GOOGLE MAPS。繪圖服務(wù)480也可以接收查詢并且返回位置專屬結(jié)果。例如,移動(dòng)計(jì)算設(shè)備410可以向繪圖服務(wù)480發(fā)送移動(dòng)計(jì)算設(shè)備的估計(jì)的位置和用戶錄入的用于“披薩店”的查詢。繪圖服務(wù)480可以返回街道地圖,該街道地圖具有在地圖上疊加的“標(biāo)記”,這些“標(biāo)記”標(biāo)識(shí)附近“披薩店”的地理位置。
分路段服務(wù)482可以向移動(dòng)計(jì)算設(shè)備410提供去往用戶供應(yīng)的目的地的分路段指引。例如,分路段服務(wù)482可以將設(shè)備的估計(jì)的位置的街道級(jí)示圖與用于提供音頻命令的數(shù)據(jù)和將設(shè)備410的用戶引向目的地的疊加箭頭一起向設(shè)備410用流傳輸。
移動(dòng)計(jì)算設(shè)備410可以請(qǐng)求各種形式的流媒體484。例如,計(jì)算設(shè)備410可以請(qǐng)求用于預(yù)記錄視頻文件、實(shí)況電視節(jié)目或者實(shí)況電臺(tái)節(jié)目的流。提供流媒體的示例服務(wù)包括YOUTUBE和PANDORA。
微博服務(wù)486可以從移動(dòng)計(jì)算設(shè)備410接收用戶輸入公告,該公告未標(biāo)識(shí)公告的接收者。微博服務(wù)486可以向微博服務(wù)486的同意向用戶訂閱的其他成員散布公告。
搜索引擎488可以從移動(dòng)計(jì)算設(shè)備410接收用戶錄入的文本或者口頭查詢、確定響應(yīng)于查詢的因特網(wǎng)可訪問(wèn)文檔集并且向設(shè)備410提供用于顯示用于響應(yīng)文檔的搜索結(jié)果的列表的信息。在其中接收口頭查詢的示例中,話音識(shí)別服務(wù)472可以將接收的音頻轉(zhuǎn)譯成向搜索引擎發(fā)送的文本查詢。
這些和其他服務(wù)可以實(shí)施于服務(wù)器系統(tǒng)490中。服務(wù)器系統(tǒng)可以是提供服務(wù)或者服務(wù)集的硬件與軟件的組合。例如,物理上分離和聯(lián)網(wǎng)的計(jì)算機(jī)化設(shè)備集可以一起作為邏輯服務(wù)器系統(tǒng)單元來(lái)操作以處理為了向數(shù)以百計(jì)個(gè)別計(jì)算設(shè)備提供服務(wù)而必需的操作。
在各種實(shí)現(xiàn)方式中,如果在先操作未成功(例如,如果未執(zhí)行確定),則不執(zhí)行“響應(yīng)于”另一操作(例如,確定或者標(biāo)識(shí))而執(zhí)行的操作。在本文檔中的用條件語(yǔ)言描述的特征可以描述可選的實(shí)現(xiàn)方式。在一些示例中,從第一設(shè)備向第二設(shè)備“傳輸”包括第一設(shè)備將數(shù)據(jù)放入網(wǎng)絡(luò)中,但是可以不包括第二設(shè)備接收數(shù)據(jù)。相反地,從第一設(shè)備“接收”可以包括從網(wǎng)絡(luò)接收數(shù)據(jù),但是可以不包括第一設(shè)備傳輸數(shù)據(jù)。
圖5是可以用來(lái)將在本文檔中描述的系統(tǒng)和方法實(shí)施為客戶端或者一個(gè)或者多個(gè)服務(wù)器的計(jì)算設(shè)備500、計(jì)算設(shè)備550的框圖。計(jì)算設(shè)備500旨在于代表各種形式的數(shù)字計(jì)算機(jī),比如膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、工作站、個(gè)人數(shù)字助理、服務(wù)器、刀片服務(wù)器、主機(jī)和其他適當(dāng)計(jì)算機(jī)。計(jì)算設(shè)備550旨在于代表各種形式的移動(dòng)設(shè)備,比如個(gè)人數(shù)字助理、蜂窩電話、智能電話和其他相似計(jì)算設(shè)備。此外,計(jì)算設(shè)備500或者計(jì)算設(shè)備550可以包括通用串行總線(USB)快閃驅(qū)動(dòng)。USB快閃驅(qū)動(dòng)可以存儲(chǔ)操作系統(tǒng)和其他應(yīng)用。USB快閃驅(qū)動(dòng)可以包括輸入/輸出部件,比如可以向另一計(jì)算設(shè)備的USB端口中插入的無(wú)線發(fā)射器或者USB連接器。這里所示部件、它們的連接和關(guān)系以及它們的功能僅為了舉例說(shuō)明而并非為了限制本文檔中描述和/或要求保護(hù)的實(shí)現(xiàn)方式。
計(jì)算設(shè)備500包括處理器502、存儲(chǔ)器504、存儲(chǔ)設(shè)備506、連接到存儲(chǔ)器504和高速擴(kuò)展端口510的高速接口508以及連接到低速總線514和存儲(chǔ)設(shè)備506的低速接口512。部件502、504、506、508、510和512中的每個(gè)部件使用各種總線來(lái)互連,并且可以裝配于共同母板上或者如適合的那樣以其他方式來(lái)裝配。處理器502可以處理用于在計(jì)算設(shè)備500內(nèi)執(zhí)行的指令,這些指令包括存儲(chǔ)于存儲(chǔ)器504中或者存儲(chǔ)設(shè)備506上以用于在外部輸入/輸出設(shè)備(比如耦合到高速接口508的顯示器516)上顯示用于GUI的圖形信息的指令。在其他實(shí)現(xiàn)方式中,多個(gè)處理器和/或多個(gè)總線可以如適合的那樣與多個(gè)存儲(chǔ)器和存儲(chǔ)器類型一起使用。也可以連接多個(gè)計(jì)算設(shè)備500而每個(gè)設(shè)備提供必需操作的部分(例如,作為服務(wù)器組、一組刀片服務(wù)器或者多處理器系統(tǒng))。
存儲(chǔ)器504存儲(chǔ)計(jì)算設(shè)備500內(nèi)的信息。在一個(gè)實(shí)現(xiàn)方式中,存儲(chǔ)器504是一個(gè)或者多個(gè)易失性存儲(chǔ)器單元。在另一實(shí)現(xiàn)方式中,存儲(chǔ)器504是一個(gè)或者多個(gè)非易失性存儲(chǔ)器單元。存儲(chǔ)器504也可以是另一形式的計(jì)算機(jī)可讀介質(zhì),比如磁盤或者光盤。
存儲(chǔ)設(shè)備506能夠提供用于計(jì)算設(shè)備500的海量存儲(chǔ)。在一個(gè)實(shí)現(xiàn)方式中,存儲(chǔ)設(shè)備506可以是或者包含計(jì)算機(jī)可讀介質(zhì),比如軟盤設(shè)備、硬盤設(shè)備、光盤設(shè)備或者帶設(shè)備、閃存或者其他相似固態(tài)存儲(chǔ)器設(shè)備或者設(shè)備陣列,該設(shè)備陣列包括存儲(chǔ)區(qū)域網(wǎng)絡(luò)或者其他配置中的設(shè)備。計(jì)算機(jī)程序產(chǎn)品可以有形地體現(xiàn)于信息載體中。計(jì)算機(jī)程序產(chǎn)品也可以包含在被執(zhí)行時(shí)執(zhí)行一種或者多種方法(比如上文描述的方法)的指令。信息載體是計(jì)算機(jī)或者機(jī)器可讀介質(zhì)(比如存儲(chǔ)器504、存儲(chǔ)設(shè)備506或者在處理器502)上的存儲(chǔ)器。
高速控制器508管理用于計(jì)算設(shè)備500的帶寬密集操作,而低速控制器512管理更低帶寬密集操作。這樣的功能分配僅為示例。在一個(gè)實(shí)現(xiàn)方式中,高速控制器508耦合到存儲(chǔ)器504、顯示器516(例如,通過(guò)圖形處理器或者加速器)和可以接受各種擴(kuò)展卡(未示出)的高速擴(kuò)展端口510。在該實(shí)現(xiàn)方式中,低速控制器512耦合到存儲(chǔ)設(shè)備506和低速擴(kuò)展端口514??梢园ǜ鞣N通信端口(例如,USB、藍(lán)牙、以太網(wǎng)、無(wú)線以太網(wǎng))的低速擴(kuò)展端口可以例如通過(guò)網(wǎng)絡(luò)適配器耦合到一個(gè)或者多個(gè)輸入/輸出設(shè)備(比如鍵盤、指示設(shè)備、掃描儀)或者聯(lián)網(wǎng)設(shè)備(比如交換機(jī)或者路由器)。
如圖所示,可以用多個(gè)不同形式實(shí)施計(jì)算設(shè)備500。例如,它可以被實(shí)施為標(biāo)準(zhǔn)服務(wù)器520或者多次實(shí)施于一組這樣的服務(wù)器中。它也可以被實(shí)施為機(jī)架服務(wù)器系統(tǒng)524的部分。此外,它還可以被實(shí)施于個(gè)人計(jì)算機(jī)(比如膝上型計(jì)算機(jī)522)中。備選地,來(lái)自計(jì)算設(shè)備500的部件可以與移動(dòng)設(shè)備(未示出)(比如設(shè)備550中的其他部件)組合。這樣的設(shè)備中的每個(gè)設(shè)備可以包含計(jì)算設(shè)備500、550中的一個(gè)或者多個(gè)計(jì)算設(shè)備,并且整個(gè)系統(tǒng)可以由相互通信的多個(gè)計(jì)算設(shè)備500、550組成。
計(jì)算設(shè)備550包括處理器552、存儲(chǔ)器564、輸入/輸出設(shè)備(比如顯示器554)、通信接口566和收發(fā)器568以及其他部件。設(shè)備550也可以具有用于提供附加存儲(chǔ)的存儲(chǔ)設(shè)備(比如微驅(qū)動(dòng))或者其他設(shè)備。使用各種總線來(lái)互連部件550、552、564、554、566和568中的每個(gè)部件,并且部件中的若干部件可以裝配于共同母板上或者如適合的那樣以其他方式來(lái)裝配。
處理器552可以執(zhí)行計(jì)算設(shè)備550內(nèi)的指令,這些指令包括存儲(chǔ)于存儲(chǔ)器564中的指令。處理器可以被實(shí)施為包括單獨(dú)以及多個(gè)模擬和數(shù)字處理器的芯片組。此外,還可以使用多種架構(gòu)中的任何架構(gòu)來(lái)實(shí)施處理器。例如,處理器410可以是CISC(復(fù)雜指令集計(jì)算機(jī))處理器、RISC(精簡(jiǎn)指令集計(jì)算機(jī))處理器或者M(jìn)ISC(最小指令集計(jì)算機(jī))處理器。處理器可以例如提供協(xié)調(diào)設(shè)備550的其他部件、比如控制用戶接口、設(shè)備550運(yùn)行的應(yīng)用和設(shè)備550的無(wú)線通信。
處理器552可以通過(guò)控制接口558和耦合到顯示器554的顯示接口556與用戶通信。顯示器554可以例如是TFT(薄膜晶體管液晶顯示器)顯示器或者OLED(有機(jī)發(fā)光二極管)顯示器或者其他適當(dāng)顯示技術(shù)。顯示接口556可以包括用于驅(qū)動(dòng)顯示器554以向用戶呈現(xiàn)圖形和其他信息的適當(dāng)電路??刂平涌?58可以從用戶接收命令并且轉(zhuǎn)換它們以用于向處理器552提交。此外,還可以提供與處理器552通信的外部接口562以便實(shí)現(xiàn)設(shè)備550與其他設(shè)備的近場(chǎng)通信。外部接口562可以例如在一些實(shí)現(xiàn)方式中提供有線通信或者在其他實(shí)現(xiàn)方式中提供無(wú)線通信,并且也可以使用多個(gè)接口。
存儲(chǔ)器564存儲(chǔ)計(jì)算設(shè)備550內(nèi)的信息。存儲(chǔ)器564可以被實(shí)施為一個(gè)或者多個(gè)計(jì)算機(jī)可讀介質(zhì)、一個(gè)或者多個(gè)易失性存儲(chǔ)器單元或者一個(gè)或者多個(gè)非易失性存儲(chǔ)器單元中的一個(gè)或者多個(gè)介質(zhì)或者單元。也可以提供擴(kuò)展存儲(chǔ)器574并且通過(guò)擴(kuò)展接口572連接到設(shè)備550,該擴(kuò)展接口可以例如包括SIMM(單列存儲(chǔ)器模塊)卡接口。這樣的擴(kuò)展存儲(chǔ)器574可以提供用于設(shè)備550的額外存儲(chǔ)空間或者也可以存儲(chǔ)用于設(shè)備550的應(yīng)用或者其他信息。具體而言,擴(kuò)展存儲(chǔ)器574可以包括用于實(shí)現(xiàn)或者補(bǔ)充上文描述的過(guò)程的指令并且也可以包括安全信息。因此,例如,可以提供擴(kuò)展存儲(chǔ)器574作為用于設(shè)備的安全模塊,并且可以用允許安全使用設(shè)備550的指令對(duì)擴(kuò)展存儲(chǔ)器574編程。此外,還可以經(jīng)由SIMM卡將安全應(yīng)用與附加信息一起提供,比如以不可黑客方式將標(biāo)識(shí)信息放置于SIMM卡上。
如下文討論的那樣,存儲(chǔ)器可以例如包括閃存和/或NVRAM存儲(chǔ)器。在一個(gè)實(shí)現(xiàn)方式中,計(jì)算機(jī)程序產(chǎn)品有形地體現(xiàn)于信息載體中。計(jì)算機(jī)程序產(chǎn)品包含在被執(zhí)行時(shí)執(zhí)行一種或者多種方法(比如上文描述的方法)的指令。信息載體是計(jì)算機(jī)或者機(jī)器可讀介質(zhì),比如存儲(chǔ)器564、擴(kuò)展存儲(chǔ)器574或者可以例如通過(guò)收發(fā)器568或者外部接口562接收的在處理器552上的存儲(chǔ)器。
設(shè)備550可以通過(guò)通信接口566無(wú)線通信,該通信接口可以在必需時(shí)包括數(shù)字信號(hào)處理電路。通信接口566可以提供在各種模式或者協(xié)議(比如GSM語(yǔ)音呼叫、SMS、EMS或者M(jìn)MS消息接發(fā)、CDMA、TDMA、PDC、WCDMA、CDMA2000或者GPRS)以及其他模式或者協(xié)議之下的通信。這樣的通信可以例如通過(guò)射頻收發(fā)器568發(fā)生。此外,近程通信可以比如使用藍(lán)牙、WiFi或者其他這樣的收發(fā)器(未示出)來(lái)發(fā)生。此外,GPS(全球定位系統(tǒng))接收器模塊570可以向設(shè)備550提供附加的與導(dǎo)航和位置有關(guān)的無(wú)線數(shù)據(jù),該數(shù)據(jù)可以如適當(dāng)?shù)哪菢佑稍谠O(shè)備550上運(yùn)行的應(yīng)用使用。
設(shè)備550還可以使用音頻編碼解碼器560來(lái)可聽地通信,該音頻編碼解碼器可以從用戶接收口述信息并且將它轉(zhuǎn)換成可用數(shù)字信息。音頻編碼解碼器560可以類似地比如通過(guò)例如設(shè)備550的聽筒中的揚(yáng)聲器生成用于用戶的可聽聲音。這樣的聲音可以包括來(lái)自語(yǔ)音電話呼叫的聲音、可以包括記錄的聲音(例如,語(yǔ)音消息、音樂(lè)文件等)并且也可以包括由在設(shè)備550上操作的應(yīng)用所生成的聲音。
如圖中所示,可以用多個(gè)不同形式實(shí)施計(jì)算設(shè)備550。例如,它可以被實(shí)施為蜂窩電話580。它也可以被實(shí)施為智能電話582、個(gè)人數(shù)字助理或者其他相似移動(dòng)設(shè)備的部分。
這里描述的系統(tǒng)和技術(shù)的各種實(shí)現(xiàn)方式可以實(shí)現(xiàn)于數(shù)字電子電路、集成電路、特殊設(shè)計(jì)的ASIC(專用集成電路)、計(jì)算機(jī)硬件、固件、軟件和/或其組合中。這些各種實(shí)現(xiàn)方式可以包括在可編程系統(tǒng)上可執(zhí)行和/或可解譯的一個(gè)或者多個(gè)計(jì)算機(jī)程序中的實(shí)現(xiàn)方式,該可編程系統(tǒng)包括可以是特殊或者專用的至少一個(gè)可編程處理器、至少一個(gè)輸入設(shè)備和至少一個(gè)輸出設(shè)備,該至少一個(gè)可編程處理器被耦合成從存儲(chǔ)系統(tǒng)接收數(shù)據(jù)和指令以及向存儲(chǔ)系統(tǒng)傳輸數(shù)據(jù)和指令。
這些計(jì)算機(jī)程序(也稱為程序、軟件、軟件應(yīng)用或者代碼)包括用于可編程處理器的機(jī)器指令并且可以用高級(jí)過(guò)程和/或面向?qū)ο缶幊陶Z(yǔ)言和/或用匯編/機(jī)器語(yǔ)言來(lái)實(shí)施。如這里所用,術(shù)語(yǔ)“機(jī)器可讀介質(zhì)”、“計(jì)算機(jī)可讀介質(zhì)”指代任何用來(lái)向可編程處理器提供機(jī)器指令和/或數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品、裝置和/或設(shè)備(例如,磁盤、光盤、存儲(chǔ)器、可編程邏輯器件(PLD)),該計(jì)算機(jī)程序產(chǎn)品、裝置和/或設(shè)備包括接收機(jī)器指令作為機(jī)器可讀信號(hào)的機(jī)器可讀介質(zhì)。術(shù)語(yǔ)“機(jī)器可讀信號(hào)”指代任何用來(lái)向可編程處理器提供機(jī)器指令和/或數(shù)據(jù)的信號(hào)。
為了提供與用戶的交互,這里描述的系統(tǒng)和技術(shù)可以實(shí)施于計(jì)算機(jī)上,該計(jì)算機(jī)具有用于向用戶和鍵盤顯示信息的顯示設(shè)備(例如,CRT(陰極射線管)或者LCD(液晶顯示器)監(jiān)視器)以及用戶可以用來(lái)向計(jì)算機(jī)提供輸入的鍵盤和指示設(shè)備(例如鼠標(biāo)或者軌跡球)。其他種類的設(shè)備也可以用來(lái)提供與用戶的交互;例如,向用戶提供的反饋可以是任何形式的感測(cè)反饋(例如,可視反饋、可聽反饋或者觸覺(jué)反饋);并且可以用包括聲學(xué)、話音或者觸覺(jué)輸入的任何形式接收來(lái)自用戶的輸入。
這里描述的系統(tǒng)和技術(shù)可以實(shí)施于計(jì)算系統(tǒng)中,該計(jì)算系統(tǒng)包括后端部件(例如,作為數(shù)據(jù)服務(wù)器)或者包括中間件部件(例如,應(yīng)用服務(wù)器)或者包括前端部件(例如,具有圖形用戶界面或者web瀏覽器的客戶端計(jì)算機(jī),用戶可以通過(guò)該圖形用戶界面或者web瀏覽器與這里描述的系統(tǒng)和技術(shù)的實(shí)現(xiàn)方式交互)或者這樣的后端、中間件或者前端部件的任何組合。系統(tǒng)的部件可以由任何數(shù)字?jǐn)?shù)據(jù)通信形式或者介質(zhì)(例如通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“LAN”)、廣域網(wǎng)(“WAN”)、對(duì)等網(wǎng)絡(luò)(具有自組織或者靜態(tài)成員)、網(wǎng)格計(jì)算基礎(chǔ)結(jié)構(gòu)和因特網(wǎng)。
計(jì)算系統(tǒng)可以包括客戶端和服務(wù)器。客戶端和服務(wù)器一般相互遠(yuǎn)離并且通常通過(guò)通信網(wǎng)絡(luò)交互。客戶端和服務(wù)器的關(guān)系借助在相應(yīng)計(jì)算機(jī)上運(yùn)行并且相互具有客戶端-服務(wù)器關(guān)系的計(jì)算機(jī)程序來(lái)產(chǎn)生。
雖然上文已經(jīng)具體描述數(shù)個(gè)實(shí)現(xiàn)方式,但是其他修改是可能的。另外,可以使用其他用于自動(dòng)監(jiān)測(cè)話音輸入的機(jī)制。此外,在圖中描繪的邏輯流程無(wú)需所示特定順序或者依序順序以實(shí)現(xiàn)希望的結(jié)果??梢蕴峁┢渌襟E或者可以從描述的過(guò)程消除步驟,并且可以向描述的系統(tǒng)添加或者從描述的系統(tǒng)去除其他部件。