背景技術(shù):
1、人們可以使用在本文中稱為“自動化助理”(也稱為“數(shù)字代理”、“聊天機器人”、“交互式個人助理”、“智能個人助理”、“助理應(yīng)用”、“會話代理”等)的交互式軟件應(yīng)用參與人機對話。例如,人們(當他們與自動化助理交互時,可以被稱為“用戶”)可以使用在一些情況下可以被轉(zhuǎn)換為文本然后進行處理的口頭自然語言輸入(即,話語)和/或通過提供文本(例如,鍵入的)自然語言輸入來向自動化助理提供命令和/或請求。自動化助理通過提供響應(yīng)性用戶界面輸出(其可以包括可聽和/或可視的用戶界面輸出)來響應(yīng)請求。
技術(shù)實現(xiàn)思路
1、申請人已經(jīng)認識到,當自動化助理正使用戶界面輸出被渲染以呈現(xiàn)給用戶時(例如,響應(yīng)于來自用戶的請求),通常渲染用戶界面輸出而與用戶相對于渲染內(nèi)容的用戶界面輸出設(shè)備的距離無關(guān)。結(jié)果,用戶可能無法從他/她當前的位置感知用戶界面輸出(例如,所顯示的輸出可能太小和/或可聽的輸出音量可能太低)。這可能使用戶需要重新定位并且提供請求再次渲染輸出的用戶界面輸入。處理這樣的用戶界面輸入和/或再次渲染內(nèi)容可能導(dǎo)致過度消耗計算資源和/或網(wǎng)絡(luò)資源。此外,對于靈活性低的用戶,他們可能難以重新定位到可以感知用戶界面輸入的位置。附加地或可替代地,作為與用戶的距離無關(guān)地渲染輸出的結(jié)果,可以以比所需的計算成本更高的方式來渲染來自自動化助理的用戶界面輸出。例如,可以以比所需更高的音量渲染可聽輸出和/或在比經(jīng)由單幀顯示多個幀的內(nèi)容更長的持續(xù)時間內(nèi),經(jīng)由多個幀顯示所顯示的輸出。
2、此外,申請人已經(jīng)認識到,當正在渲染用戶界面輸出時,用戶可能會重新定位,從而潛在地中斷了用戶感知來自自動化助理的進一步輸出的能力。此外,當自動化助理正使特定的客戶端設(shè)備提供輸出并且用戶移近客戶端設(shè)備時,由于用戶靠近客戶端設(shè)備的特定接口,因此用戶可能希望感知更多的輸出。但是,由于許多自動化助理通常不了解用戶距離,因此它們可能導(dǎo)致計算資源浪費被浪費在用戶可能無法感知的渲染輸出上。此外,考慮到用戶可以感知輸出的方式的數(shù)量,當渲染輸出不適合附近的用戶時,可能無法有效地利用計算資源。
3、本文公開的實施方式涉及用于根據(jù)至少一個用戶相對于渲染自動化助理內(nèi)容的自動化助理界面的距離來生成和/或適應(yīng)自動化助理內(nèi)容的方法、裝置和計算機可讀介質(zhì)(暫時性和非暫時性)。根據(jù)至少一個用戶的距離生成自動化助理內(nèi)容的一些實施方式基于生成包括基于當前確定的用戶距離的距離度量的代理請求而生成內(nèi)容??梢曰趤碜砸粋€或多個傳感器,諸如視覺傳感器(例如,單鏡頭相機、立體相機)、專用距離傳感器(例如,?激光測距儀)、麥克風(fēng)(例如,使用波束成形和/或其他技術(shù))的信號來確定用戶的當前距離。此外,將代理請求提交給相應(yīng)的代理,并且相應(yīng)的代理利用適合于距離度量的代理數(shù)據(jù)來響應(yīng)該代理請求。然后,自動化助理可以將代理數(shù)據(jù)(或其轉(zhuǎn)換)作為用于渲染的內(nèi)容提供給用戶。由于內(nèi)容適合于該距離度量,并且易于由用戶在他/她當前的距離感知,因此可以改善用戶與自動化助理的交互。此外,代理數(shù)據(jù)可以是可用于該請求的候選代理數(shù)據(jù)的子集,其中,基于該子集與代理請求的距離度量的一致性,由代理選擇該子集。以這些和其他方式,代替全部候選代理數(shù)據(jù)(這將需要更大的網(wǎng)絡(luò)資源來發(fā)送),代理僅提供候選代理數(shù)據(jù)的子集。此外,代替全部候選代理數(shù)據(jù)(或其轉(zhuǎn)換),渲染內(nèi)容的自動化助理客戶端設(shè)備可以僅接收代理數(shù)據(jù)的子集(或其轉(zhuǎn)換)。適合于距離度量的內(nèi)容的特定性質(zhì)可以確保有效使用在運行自動化助理的計算裝置(諸如用戶設(shè)備)處的計算資源和其他硬件資源。這至少是因為避免了實現(xiàn)用戶無法感知的助理的潛在的高計算成本的能力。例如,可以節(jié)省網(wǎng)絡(luò)資源(例如,僅將子集發(fā)送到客戶端設(shè)備)、客戶端設(shè)備處的存儲器資源(例如,僅在客戶端設(shè)備處緩存子集)和/或客戶端設(shè)備處的處理器和/或功率資源(例如,僅渲染部分或全部子集)。
4、作為根據(jù)用戶的距離生成自動化助理內(nèi)容的一個非限制性示例,假設(shè)用戶距具有助理界面的客戶端設(shè)備的顯示器7英尺遠。進一步假設(shè)用戶提供“本地天氣預(yù)報”的口頭話語??梢曰趤碜钥蛻舳嗽O(shè)備的傳感器和/或鄰近客戶端設(shè)備的其他傳感器的信號來確定用戶的估計距離。可以處理口頭話語以生成代理請求(例如,指定“天氣預(yù)報”的意圖和與客戶端設(shè)備的位置相對應(yīng)的位置值),以及基于用戶的估計距離的距離度量可以被包括在代理請求中。代理請求可以被發(fā)送到相應(yīng)的代理,并且作為響應(yīng),相應(yīng)的代理可以返回僅包括用于該位置的三日天氣預(yù)報的圖形表示的圖形內(nèi)容。三日天氣預(yù)報的圖形表示可以被發(fā)送到客戶端設(shè)備,并且經(jīng)由客戶端設(shè)備的顯示器被圖形地渲染。相應(yīng)的代理可以基于距離度量與三日天氣預(yù)報的圖形表示的對應(yīng)關(guān)系來選擇三日天氣預(yù)報的圖形表示(例如,代替一日、五日或其他各種天氣預(yù)報)。
5、作為該示例的變體,代替地假設(shè)用戶距離顯示器二十英尺,并且提供相同的“本地天氣預(yù)報”的口頭話語。在這樣的變體中,代理請求中包括的距離度量將反映二十英尺距離的估計(而不是七英尺距離的估計),結(jié)果,響應(yīng)于該請求由代理返回的內(nèi)容可以包括傳達用于該位置的三日天氣預(yù)報的文本或可聽內(nèi)容,以及可以排除任何圖形內(nèi)容。可以將可聽內(nèi)容(或文本內(nèi)容或作為文本內(nèi)容的文本到語音轉(zhuǎn)換的音頻)發(fā)送到客戶端設(shè)備,以經(jīng)由客戶端設(shè)備的揚聲器可聽地渲染,無需可視地渲染任何天氣相關(guān)的圖形內(nèi)容。相應(yīng)的代理可以基于距離度量與三日文本或聽覺天氣預(yù)報的對應(yīng)關(guān)系來選擇三日文本或聽覺天氣預(yù)報(例如,代替天氣預(yù)報的圖形表示)。
6、作為該示例的又一變體,代替地假設(shè)用戶距離顯示器十二英尺,并且提供相同的“本地天氣預(yù)報”的口頭話語。在這樣的另一變體中,代理請求中包括的距離度量將反映十二英尺距離的估計,結(jié)果,響應(yīng)于該請求而由代理返回的內(nèi)容可以包括傳達用于該位置的三日天氣預(yù)報的文本或聽覺內(nèi)容-還可以包括僅傳達用于該位置的一日(即,當天)預(yù)報的圖形內(nèi)容??梢詫⒖陕爟?nèi)容(或文本內(nèi)容或作為文本內(nèi)容的文本到語音轉(zhuǎn)換的音頻)發(fā)送到客戶端設(shè)備,以經(jīng)由客戶端設(shè)備的揚聲器可聽地渲染,以及還可以發(fā)送一日天氣圖形內(nèi)容,以經(jīng)由客戶端設(shè)備的顯示器圖形地渲染。同樣,相應(yīng)的代理可以基于距離度量與返回的內(nèi)容的對應(yīng)關(guān)系來選擇返回的內(nèi)容。
7、在一些實施方式中,可以根據(jù)用戶的距離附加地或可替代地適應(yīng)由客戶端設(shè)備渲染的自動化助理內(nèi)容。例如,當自動化助理正在執(zhí)行特定的自動化助理動作時,自動化助理可以在渲染候選自動化助理內(nèi)容的不同子集(諸如本地可用于渲染內(nèi)容的客戶端設(shè)備的候選自動化助理內(nèi)容(例如,存儲在客戶端設(shè)備的本地存儲器中的候選自動化助理內(nèi)容)的子集)之間“切換”。自動化助理可以使用給定時間的距離度量,以便選擇要用于在給定時間,在客戶端設(shè)備處渲染的候選自動化助理內(nèi)容的子集??梢皂憫?yīng)于遠程設(shè)備接收到與自動化助理動作相關(guān)聯(lián)的請求,將候選自動化助理內(nèi)容例如從遠程設(shè)備提供給客戶端設(shè)備。所提供的內(nèi)容可以對應(yīng)于可以由客戶端設(shè)備針對用戶的多個不同位置和/或距離來適配的自動化助理內(nèi)容。以這種方式,只要用戶根據(jù)相應(yīng)的位置和/或距離操縱,自動化助理就可以使得自動化助理內(nèi)容的渲染或呈現(xiàn)根據(jù)用戶位置和/或用戶距離的變化而適配。當用戶移動到與渲染的內(nèi)容的任何合適的適配都不對應(yīng)的地點和/或位置(和/或移動到該地點和/或位置附近)時,自動化助理可以使客戶端設(shè)備請求用于該地點和/或位置的附加自動化助理內(nèi)容。然后,可以使用該附加自動化助理內(nèi)容來在客戶端設(shè)備處渲染更合適的內(nèi)容。
8、作為示例,自動化助理可以執(zhí)行包括多個不同動作的例程。自動化助理可以響應(yīng)于用戶命令(例如,口頭話語、輕擊用戶界面元素)和/或響應(yīng)于一個或多個條件的發(fā)生(例如,基于檢測到用戶的存在、基于處于某一時刻、基于用戶關(guān)閉的喚醒鬧鐘)來執(zhí)行例程。在一些實施方式中,例程的多個不同動作中的動作之一可以包括渲染與播客相對應(yīng)的內(nèi)容??梢允褂迷诳蛻舳嗽O(shè)備處本地可用的數(shù)據(jù)來渲染內(nèi)容,并且可以根據(jù)用戶相對于客戶端設(shè)備的距離來適配該內(nèi)容。例如,當用戶與客戶端設(shè)備相距第一距離時,自動化助理可以使一部分可用數(shù)據(jù)渲染為限于可聽內(nèi)容的內(nèi)容。此外,當用戶移動到比第一距離短的第二距離時,自動化助理可以使渲染的內(nèi)容被適配以包括視頻內(nèi)容和/或可以使可聽內(nèi)容以更高的音量渲染。例如,視頻內(nèi)容可以對應(yīng)于采訪的視頻錄像,由該視頻錄像導(dǎo)出音頻內(nèi)容。提供可聽內(nèi)容和視頻內(nèi)容的基礎(chǔ)的數(shù)據(jù)可以響應(yīng)于例程的初始化被(例如,通過遠程自動化助理組件)發(fā)送到客戶端設(shè)備,和/或(例如,根據(jù)指示用戶優(yōu)選自動下載這些內(nèi)容的訂閱數(shù)據(jù)或用戶首選項,在自動化助理的指導(dǎo)下)在初始化例程之前,可以被客戶端設(shè)備搶先下載。
9、以這些和其他方式,可以為用戶地點和/或用戶位置的變化而適配渲染的內(nèi)容,而不必每次用戶移動時都請求附加數(shù)據(jù)。這可以減少適配渲染內(nèi)容的時延。如果用戶移動到與本地可用數(shù)據(jù)不對應(yīng)的地點或位置,則自動化助理可以使客戶端設(shè)備生成對附加數(shù)據(jù)的請求和/或自動化助理可以生成對附加數(shù)據(jù)的請求??蛇x地,該請求可以包括基于距離度量的信息。當作為響應(yīng),客戶端設(shè)備(例如,從托管播客數(shù)據(jù)的服務(wù)器)接收附加數(shù)據(jù)時,自動化助理可以使客戶端設(shè)備使用附加數(shù)據(jù)并且基于距離數(shù)據(jù)來渲染內(nèi)容。
10、在一些實施方式中,客戶端設(shè)備可以在預(yù)期用戶重新定位到與特定渲染內(nèi)容相對應(yīng)的位置的情況下?lián)屜日埱蠛?或緩沖內(nèi)容。例如,客戶端設(shè)備可以具有與當用戶位于距客戶端設(shè)備5到10英尺之間時相對應(yīng)的本地可用數(shù)據(jù)。當用戶位于客戶端設(shè)備的5到10英尺內(nèi),但仍在向客戶端設(shè)備移動時,客戶端設(shè)備可以渲染本地可用數(shù)據(jù)并且搶先請求附加數(shù)據(jù)。附加數(shù)據(jù)可以對應(yīng)于距客戶端設(shè)備2到5英尺之間的距離,因此,當用戶進入2到5之間的區(qū)域時,客戶端設(shè)備可以渲染附加數(shù)據(jù)。當用戶正移向或遠離客戶端設(shè)備時,這可以減少當在數(shù)據(jù)子集之間切換以進行渲染時的延遲。
11、作為示例,用戶可以提供諸如“助理,播放我的歌曲”的口頭話語。作為響應(yīng),客戶端設(shè)備可以請求與各種距離相關(guān)的數(shù)據(jù),并且基于所檢測到的用戶距客戶端設(shè)備的距離,確定將基于所檢測到的距離渲染的內(nèi)容。例如,當用戶距客戶端設(shè)備20英尺遠時,客戶端設(shè)備可以渲染僅限于音頻的內(nèi)容,并且搶先加載預(yù)先配置為在用戶距離小于20英尺但距離大于12英尺遠時要渲染的專輯封面。在一些實施方式中,當用戶移動到距離20到12英尺遠之間的位置時,專輯封面可以代替客戶端設(shè)備處的任何先前的圖形內(nèi)容(例如,歌詞)??商娲鼗蚋郊拥?,當用戶距離小于12英尺和6英尺遠時,客戶端設(shè)備可以使得渲染視頻并且與正在渲染的任何音頻同步。在一些實施方式中,渲染的視頻可以基于如下的數(shù)據(jù),該數(shù)據(jù)當用戶距離20英尺遠時本地不可用,而是響應(yīng)于確定用戶正在沿著朝向客戶設(shè)備的軌跡移動,由客戶端設(shè)備請求。這樣,請求的數(shù)據(jù)將與作為渲染的音頻數(shù)據(jù)的基礎(chǔ)提供的數(shù)據(jù)互斥,并且渲染的視頻將取代在用戶到達距客戶端設(shè)備12到6英尺之間的距離之前將要渲染的任何圖形內(nèi)容。更進一步,當用戶距離小于6英尺遠時,客戶端設(shè)備可以繼續(xù)使視頻被渲染,但是可以進一步附加地可視渲染可觸摸的媒體控件(例如,向后、暫停和/或向前交互控制元素),而這些控件在用戶距離小于6英尺遠之前不被渲染。
12、在一些實施方式中,多個用戶可以處于由客戶端設(shè)備通過訪問自動化助理而共享的環(huán)境中。因此,確定距離度量可以取決于“活動”或以其他方式直接或間接地與自動化助理互動的至少一個用戶。例如,可以采用與客戶端設(shè)備通信的一個或多個傳感器來檢測用戶是否是一群多個人中的活動用戶。例如,可以處理由視覺傳感器(例如,客戶端設(shè)備的相機)的輸出生成的數(shù)據(jù),以基于例如活動用戶的姿勢、凝視和/或嘴部運動,從多個用戶中確定活動用戶。作為一個特定實例,可以基于被朝向客戶端設(shè)備的用戶的姿勢和凝視,以及基于未朝向客戶端設(shè)備的另一個用戶的姿勢和凝視,將單個用戶確定為活動用戶。在特定實例中,距離度量可以基于所確定的單個用戶(其可以基于來自視覺傳感器的輸出和/或來自其他傳感器的輸出確定)的距離。作為另一個特定實例,可以基于朝向客戶端設(shè)備的兩個用戶的姿勢和凝視,將兩個用戶確定為活動用戶。在這樣的另一特定實例中,距離度量可以基于所確定的兩個用戶的距離(例如,兩個距離的平均值)。
13、可替代地或附加地,可以使用波束成形、語音識別和/或其他技術(shù)來處理由換能器(例如,客戶端設(shè)備的麥克風(fēng))的輸出生成的可聽數(shù)據(jù),以識別多個用戶中的活動用戶。例如,可以使用波束成形來處理口頭話語,以估計提供口頭話語的用戶的距離,并且提供口頭話語的用戶被視為活動用戶,并且該估計距離被用作活動用戶的距離。而且,例如,可以利用口頭話語的語音識別來識別符合口頭話語的用戶簡檔,并且可以基于符合用戶簡檔中的相應(yīng)特征的活動用戶的面部和/或其他特征來確定所捕獲的圖像中的活動用戶。作為又一實例,可以使用波束成形來處理口頭話語,以估計提供口頭話語的用戶的方向,并且基于活動用戶處于所捕獲的圖像和/或其他傳感器數(shù)據(jù)中的那一方向中來確定提供口頭話語的活動用戶。以這些和其他方式,可以識別客戶端設(shè)備的環(huán)境中的多個用戶中的活動用戶,并且代替該環(huán)境中的其他用戶,僅為該活動用戶生成和/或適配內(nèi)容。此后,這樣的信息可以被用作為用戶生成和/或適配內(nèi)容的基礎(chǔ)。在其他實施方式中,可以檢測用于用戶的語音簽名或語音標識符(id),并且可以結(jié)合來自相機的一個或多個圖像來處理語音簽名和/或語音id,以識別用戶的狀態(tài)。例如,可以處理基于麥克風(fēng)的輸出收集的音頻數(shù)據(jù),以檢測語音特性并將語音特性與自動化助理可訪問的一個或多個簡檔進行比較。與語音特性最相關(guān)的簡檔可以被用于確定如何為用戶生成和/或適配內(nèi)容。
14、提供以上描述作為本公開的一些實施方式的概述。在下文,更詳細地描述這些實施方式的進一步描述和其他實施方式。
15、在一些實施方式中,提供了一種由一個或多個處理器實現(xiàn)的方法,包括:接收對自動化助理初始化動作的執(zhí)行的請求??梢越?jīng)由與顯示設(shè)備和傳感器通信的客戶端設(shè)備的自動化助理界面來訪問自動化助理,并且傳感器提供指示用戶相對于顯示設(shè)備的距離的輸出。該方法進一步包括基于傳感器的輸出,確定與用戶相對于顯示設(shè)備的估計距離相對應(yīng)的距離度量。該方法進一步包括基于所接收的請求,識別用于完成動作的代理。代理對自動化助理是可訪問的,并且被配置為基于用戶相對于顯示設(shè)備的估計距離,為客戶端設(shè)備提供數(shù)據(jù)。該方法進一步包括響應(yīng)于接收到請求并且基于所接收的請求來識別代理,生成對所識別的代理提供內(nèi)容項來促成動作的代理請求。代理請求識別所確定的距離度量。該方法進一步包括將代理請求發(fā)送給代理,以使代理基于候選內(nèi)容項的子集和代理請求中包括的距離度量之間的對應(yīng)關(guān)系,為動作選擇內(nèi)容項的子集,其中,候選內(nèi)容項的子集被配置成相對于從內(nèi)容項的子集中排除的其他內(nèi)容項,唯一地在客戶端設(shè)備處被渲染。該方法進一步包括使客戶端設(shè)備渲染所選擇的候選內(nèi)容項的子集。
16、本文公開的技術(shù)的這些和其他實施方式可以包括以下特征中的一個或多個。
17、在一些實施方式中,內(nèi)容項的子集包括與包含用戶的估計距離的第一距離范圍相對應(yīng)的第一子集,以及與第二距離范圍相對應(yīng)的第二子集。第二距離范圍排除估計距離,并且與第一距離范圍具有公共邊界。在這些實施方式中,使客戶端設(shè)備渲染所選擇的候選內(nèi)容項的子集包括:使客戶端設(shè)備初始地僅渲染第一子集;以及使客戶端設(shè)備緩沖第二子集,然后響應(yīng)于確定用戶已經(jīng)移動到第二距離范圍內(nèi)的新距離來渲染第二子集。在那些實施方式的一些版本中,使客戶端設(shè)備渲染第二子集包括:響應(yīng)于確定用戶已經(jīng)移動到新距離,使客戶端設(shè)備用第二子集代替第一子集。在那些版本中的一些中,第二子集可以可選地缺少第一子集中包括的任何內(nèi)容。在那些實施方式的一些其他版本中,第一子集包括音頻數(shù)據(jù),第二子集包括圖形內(nèi)容,使客戶端設(shè)備初始地僅渲染第一子集包括使客戶端設(shè)備可聽地渲染音頻數(shù)據(jù),并且使客戶端設(shè)備渲染第二子集包括使客戶端設(shè)備渲染圖形內(nèi)容以及可聽地渲染音頻數(shù)據(jù)。在那些其他版本的一些中,圖形內(nèi)容是圖像,或者圖形內(nèi)容是與音頻數(shù)據(jù)同步渲染的視頻。在一些附加或替代的版本中,代理基于與第一距離范圍相對應(yīng)的第一子集來選擇第一子集,第一距離范圍包含與距離度量相對應(yīng)的用戶的估計距離,以及代理基于在第二距離范圍的閾值距離內(nèi)的用戶的估計距離,選擇第二子集,第二距離范圍對應(yīng)于第二子集。在另外的其他附加或替代版本中,該方法進一步包括:基于傳感器的輸出,確定估計距離的估計變化率;以及將估計變化率的指示包括在代理請求中。在那些其他附加或替代版本中,代理基于與第一距離范圍相對應(yīng)的第一子集來選擇第一子集,第一距離范圍包含與距離度量相對應(yīng)的用戶的估計距離,以及代理基于估計變化率的指示來選擇第二子集。
18、在一些實施方式中,用戶和一個或多個附加用戶處于具有客戶端設(shè)備的環(huán)境中,以及該方法進一步包括確定用戶是自動化助理的當前活動用戶。在那些實施方式中,確定與用戶的估計距離相對應(yīng)的距離度量包括響應(yīng)于確定用戶是自動化助理的當前活動用戶,代替一個或多個附加用戶,確定該用戶的距離度量。在那些實施方式的一些中,確定用戶是活動用戶是基于以下之一或兩者:來自傳感器的輸出,以及來自至少一個附加傳感器的附加輸出。例如,傳感器或附加傳感器包括相機,輸出或附加輸出包括一個或多個圖像,以及確定用戶是活動用戶是基于以下之一或兩者:基于一個或多個圖像確定的用戶的姿勢,以及基于一個或多個圖像確定的用戶的凝視
19、在一些實施方式中,該方法進一步包括在將代理請求發(fā)送到代理并且使客戶端設(shè)備渲染所選擇的候選內(nèi)容項的子集之后:確定單獨的距離度量,其中,單獨的距離度量指示用戶相對于顯示設(shè)備的距離已經(jīng)改變;響應(yīng)于確定單獨的距離度量,生成對所識別的代理的單獨的代理請求,其中,單獨的代理請求包括單獨的距離度量;將單獨的代理請求發(fā)送到代理以使代理基于候選內(nèi)容項的單獨子集與代理請求中包括的單獨的距離度量之間的對應(yīng)關(guān)系,為動作選擇候選內(nèi)容項的單獨子集;以及使客戶端設(shè)備渲染所選擇的候選內(nèi)容項的單獨子集。
20、在一些實施方式中,所接收的請求基于在自動化助理界面處接收到的口頭話語,并且包括體現(xiàn)用戶的語音簽名的音頻數(shù)據(jù),以及該方法進一步包括:基于用戶的語音簽名,選擇指示與鄰近自適應(yīng)的內(nèi)容相關(guān)聯(lián)的用戶偏好的用戶簡檔。在那些實施方式中,基于用戶偏好來選擇內(nèi)容項的子集。
21、在一些實施方式中,距離度量被體現(xiàn)在所接收的請求中,或者與所接收的請求分開地被接收。
22、在一些實施方式中,客戶端設(shè)備由傳感器的輸出生成距離度量,并且在請求或附加傳輸中發(fā)送距離度量,以及在服務(wù)器設(shè)備處執(zhí)行確定距離度量。例如,服務(wù)器設(shè)備可以基于在請求或附加傳輸中包括距離度量來確定距離度量,以及可以在不直接訪問傳感器的輸出的情況下確定距離度量。
23、在一些實施方式中,提供一種由一個或多個處理器實現(xiàn)的方法,并且包括:在用戶和自動化助理之間的交互期間,渲染第一內(nèi)容以促成由用戶先前請求的動作。自動化助理可以經(jīng)由客戶端設(shè)備的自動化助理界面訪問,并且基于在客戶端設(shè)備本地存儲的內(nèi)容項的第一子集渲染第一內(nèi)容。該方法進一步包括基于連接到客戶端設(shè)備的傳感器的輸出,并且在客戶端設(shè)備渲染第一內(nèi)容時,確定用戶的位置已經(jīng)從第一位置改變到第二位置。該方法進一步包括基于傳感器的輸出,識別內(nèi)容項的第二子集,從內(nèi)容項的第二子集渲染第二內(nèi)容以促成動作。內(nèi)容項的第二子集包括從內(nèi)容項的第一子集排除并且本地存儲在客戶端設(shè)備處的數(shù)據(jù)。該方法進一步包括基于所識別的內(nèi)容項的第二子集渲染第二內(nèi)容。該方法進一步包括在客戶端設(shè)備正在渲染第二內(nèi)容時,監(jiān)視傳感器的后續(xù)輸出;以及當傳感器的后續(xù)輸出指示用戶已經(jīng)重新定位到不同于第一位置和第二位置的第三位置時:確定內(nèi)容項的第三子集不可本地用于客戶端設(shè)備,其中,當用戶處于第三位置時,從內(nèi)容項的第三子集渲染第三內(nèi)容;以及生成用于從自動化助理可訪問的遠程服務(wù)器設(shè)備接收內(nèi)容項的第三子集的請求。
24、本文公開的技術(shù)的這些和其他實施方式可以包括以下特征中的一個或多個。
25、在一些實施方式中,第三位置比第一位置和第二位置更靠近客戶端設(shè)備,以及該方法進一步包括:接收內(nèi)容項的第三子集;以及基于內(nèi)容項的第三子集渲染第三內(nèi)容。在那些實施方式的一些中,經(jīng)由第一模態(tài)渲染第一內(nèi)容,并且經(jīng)由與第一模態(tài)不同的第二形態(tài)渲染第三內(nèi)容。在一些版本中,渲染第三內(nèi)容包括用第三內(nèi)容代替第二內(nèi)容,并且/或者第一模態(tài)是音頻模態(tài),以及經(jīng)由與客戶端設(shè)備連接的一個或多個揚聲器來渲染第一內(nèi)容,并且,第二模態(tài)是顯示模態(tài),以及經(jīng)由連接到客戶端設(shè)備的顯示設(shè)備來渲染第三內(nèi)容。
26、在一些實施方式中,該方法進一步包括在客戶端設(shè)備的自動化助理界面處接收口頭話語,以及傳感器包括一個或多個麥克風(fēng),一個或多個麥克風(fēng)與自動化助理界面集成在一起,并且被配置為響應(yīng)于來自用戶的可聽輸入。在那些實施方式的一些中,該方法進一步包括基于與所接收的口頭話語相對應(yīng)的音頻數(shù)據(jù),確定用于執(zhí)行動作的目標應(yīng)用和用戶相對于客戶端設(shè)備的方位。
27、在一些實施方式中,傳感器包括相機,并且該方法進一步包括當傳感器的后續(xù)輸出指示用戶已經(jīng)重新定位到第三位置時:基于由相機捕獲的一個或多個圖像,基于以下一項或多項確定用戶是否為活動用戶:基于一個或多個圖像的處理確定的用戶姿勢、基于一個或多個圖像的處理確定的用戶的凝視方向、基于一個或多個圖像的處理確定的用戶的嘴部運動,以及基于一個或多個圖像的處理檢測的用戶的手勢。
28、在一些實施方式中,提供了一種由一個或多個處理器實現(xiàn)的方法,并且包括:在遠程自動化助理系統(tǒng)處接收由包括顯示設(shè)備的客戶端設(shè)備發(fā)送的自動化助理請求。該方法進一步包括由遠程自動化助理系統(tǒng)并且基于自動化助理請求的內(nèi)容確定:用于自動化助理請求的自動化助理代理,以及指示客戶端設(shè)備與用戶之間的當前距離的用戶距離度量,該用戶處于具有客戶端設(shè)備的環(huán)境中。該方法進一步包括由遠程自動化助理系統(tǒng)向為自動化助理請求所確定的自動化助理代理發(fā)送包括用戶距離度量的代理請求。該方法進一步包括響應(yīng)于代理請求,由遠程自動化助理系統(tǒng)從自動化助理代理接收適合于用戶距離度量的內(nèi)容項。該方法進一步包括響應(yīng)于自動化助理請求,將適合于用戶距離度量的內(nèi)容項從遠程自動化助理發(fā)送到客戶端設(shè)備。發(fā)送響應(yīng)內(nèi)容使客戶端設(shè)備經(jīng)由客戶端設(shè)備的顯示設(shè)備渲染響應(yīng)內(nèi)容。
29、本文公開的技術(shù)的這些和其他實施方式可以包括以下特征中的一個或多個。
30、在一些實施方式中,確定用戶距離度量包括確定用戶距離度量滿足第一距離閾值和第二距離閾值;以及內(nèi)容項包括適合于第一距離閾值的內(nèi)容項的第一子集以及適合于第二距離閾值的內(nèi)容項的第二子集。在那些實施方式的一些版本中,客戶端設(shè)備被配置為確定用戶距離度量,并且從內(nèi)容項的第一子集和內(nèi)容項的第二子集中的一個中選擇用于渲染響應(yīng)內(nèi)容的數(shù)據(jù)。在那些版本的一些中,客戶端設(shè)備進一步被配置為當用戶距離度量排他地滿足第一距離閾值時,基于內(nèi)容項的第一子集來渲染響應(yīng)內(nèi)容,以及當用戶距離度量排他地滿足第二距離閾值時,基于內(nèi)容項的第二子集來渲染響應(yīng)內(nèi)容。內(nèi)容項的第一子集可以包括體現(xiàn)從內(nèi)容項的第二子集中省略的數(shù)據(jù)格式的數(shù)據(jù)。
31、在一些實施方式中,提供由一個或多個處理器實現(xiàn)的方法,并且包括基于來自與環(huán)境中的客戶端設(shè)備相關(guān)聯(lián)的一個或多個傳感器的輸出,確定該環(huán)境中的多個用戶中的給定用戶是用于可經(jīng)由客戶端設(shè)備訪問的自動化助理的當前活動用戶。該方法進一步包括:基于來自一個或多個傳感器的輸出和/或基于(來自一個或多個傳感器和/或其他傳感器的)附加輸出,確定與給定用戶相對于客戶端設(shè)備的距離相對應(yīng)的距離度量。該方法可以進一步包括使得由客戶端設(shè)備渲染針對給定用戶的距離定制的內(nèi)容。基于確定給定用戶是自動化助理的當前活動用戶,代替環(huán)境中的其他用戶,針對給定用戶的距離定制內(nèi)容。
32、該技術(shù)的這些和其他實施方式可以可選地包括以下特征中的一個或多個。
33、在一些實施方式中,該方法可以進一步包括:生成針對給定用戶的距離定制的內(nèi)容,其中,生成針對給定用戶的距離定制的內(nèi)容是基于確定給定用戶是自動化助理的當前活動用戶。在那些實施方式中的一些中,生成針對給定用戶的距離定制的內(nèi)容包括:將代理請求發(fā)送到給定代理,其中,代理請求包括距離度量;以及響應(yīng)于發(fā)送代理請求,從給定代理接收內(nèi)容。
34、在一些實施方式中,該方法可以進一步包括:在渲染內(nèi)容期間,確定給定用戶已經(jīng)重新定位并且處于相對于客戶端設(shè)備的新的估計距離。在那些實施方式的一些中,該方法可以進一步包括:基于給定用戶是當前活動用戶,并且響應(yīng)于確定給定用戶已經(jīng)重新定位并且處于相對于客戶端設(shè)備的新的估計距離,使得由客戶端設(shè)備渲染為新的估計距離定制的第二內(nèi)容。在那些實施方式的一些版本中,使得將由客戶端設(shè)備渲染第二內(nèi)容可以包括使客戶端設(shè)備用第二內(nèi)容代替該內(nèi)容。在那些實施方式的一些其他版本中,內(nèi)容可以僅包括可聽內(nèi)容,并且第二內(nèi)容可以包括圖形內(nèi)容,并且使得將由客戶端設(shè)備渲染第二內(nèi)容可以包括使得第二內(nèi)容與內(nèi)容一起被渲染。
35、在一些實施方式中,使得針對給定用戶的距離定制的內(nèi)容被客戶端設(shè)備渲染可以包括基于與距離度量相對應(yīng)的所選內(nèi)容和不與距離度量相對應(yīng)的其他候選內(nèi)容來選擇該內(nèi)容,代替其他候選內(nèi)容。
36、其他實施方式可以包括非暫時性計算機可讀存儲介質(zhì),其存儲可由一個或多個處理器(例如,中央處理器(cpu)、圖形處理單元(gpu)和/或張量處理單元(tpu))執(zhí)行的指令以執(zhí)行諸如上文和/或本文其他地方所述的一種或多種方法的方法。其他實現(xiàn)方式可以包括包含一個或多個處理器的一個或多個計算機和/或一個或多個機器人的系統(tǒng),一個或多個處理器用來執(zhí)行所存儲的指令以執(zhí)行諸如上文和/或本文其他地方所述的一種或多種方法的方法。
37、應(yīng)當認識到,本文更詳細描述的前述概念和另外的概念的所有組合被認為是本文公開的主題的一部分。例如,出現(xiàn)在本公開的結(jié)尾處的要求保護的主題的所有組合被認為是本文公開的主題的一部分。