本公開內(nèi)容涉及信息處理設(shè)備、信息處理方法和程序。

背景技術(shù)：

近年來，開發(fā)了將文本信息轉(zhuǎn)換成語音的語音合成技術(shù)，將用戶所說的內(nèi)容識別為文本信息的語音識別技術(shù)，以及識別由語句表示的內(nèi)容的自然語言處理技術(shù)。因此，基于語音輸入的交互式用戶界面(UI)已經(jīng)獲得廣泛使用，其應(yīng)用了上述各種技術(shù)，以允許用戶通過語音交互操作各種家用電器(如電視接收器)以及信息設(shè)備(如個人計算機)。

具有對如下機制的研究：將通過輸出語音示出信息與通過不同輸出方法而不是語音輸出示出信息(例如，示出如圖像和動畫的顯示信息)結(jié)合，以允許基于語音輸入的交互式用戶界面的用戶更直觀地識別信息。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：JP 2005-165438A

技術(shù)實現(xiàn)要素：

技術(shù)問題

同時，隨著如今可以使用越來越多種類的多功能家電和信息設(shè)備(其本質(zhì)上也被稱作“信息處理設(shè)備”)，信息處理設(shè)備將所有更多的信息提供給用戶。因此，信息處理設(shè)備頻繁地將信息段作為一組信息示出給用戶。

然而，當信息段作為一組信息被示出時，被作為語音輸出的每個信息段與通過其它輸出方法(例如，顯示諸如圖像和動畫的信息)輸出的每個信息段之間的關(guān)系不一定被清楚地示出，這在某些情況下阻止了直觀的操作。

然后，本公開內(nèi)容提出了可以允許用戶直觀地識別對應(yīng)于語音輸出的其它信息的信息處理設(shè)備、信息處理方法和程序。

解決問題的方案

根據(jù)本公開的內(nèi)容，提供了一種信息處理設(shè)備，包括：控制部，被配置為基于關(guān)于進行一組表達中的涉及功能的表達的語音輸出的定時的定時信息，控制不同于涉及預(yù)定功能的語音輸出的其它信息的輸出，一組表達包括涉及功能的表達。

此外，根據(jù)本公開內(nèi)容，提供了一種信息處理方法，包括通過處理器控制基于關(guān)于進行一組表達中的涉及功能的表達的語音輸出的定時的定時信息，控制不同于涉及預(yù)定功能的語音輸出的其它信息的輸出，一組表達包括涉及功能的表達。

此外，根據(jù)本公開內(nèi)容，提供一種用于使計算機執(zhí)行如下步驟的程序：基于關(guān)于進行一組表達中的涉及功能的表達的語音輸出的定時的定時信息，控制不同于涉及預(yù)定功能的語音輸出的其它信息的輸出，一組表達包括涉及功能的表達。

發(fā)明的有益效果

根據(jù)上述本公開的內(nèi)容，可以允許用戶直觀地識別對應(yīng)于語音輸出的其它信息。

需注意的是，上述效果并不一定是限制性的。使用或者代替上述效果，可以實現(xiàn)在本說明書中描述的任何一個效果或者從本說明書可以獲取的其它效果。

附圖說明

[圖1]是用于說明根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備的概述的示例性示圖。

[圖2]是用于說明根據(jù)實施方式的信息處理設(shè)備的示意性操作的示例的示例性示圖。

[圖3]是用于說明根據(jù)實施方式的信息處理設(shè)備顯示信息的方法的示例的示例性示圖。

[圖4]是示出根據(jù)實施方式的信息處理設(shè)備的功能結(jié)構(gòu)的框圖。

[圖5]是用于說明根據(jù)輸入信息響應(yīng)的內(nèi)容的示例的示例性示圖。

[圖6]是用于說明響應(yīng)信息的示例的示例性示圖。

[圖7]是示出根據(jù)實施方式的信息處理設(shè)備的一組操作的示例的流程圖。

[圖8]是示出根據(jù)實施方式的信息處理設(shè)備的響應(yīng)處理的流程的示例的流程圖。

[圖9]是用于說明根據(jù)示例1的信息處理設(shè)備顯示信息的方法的示例的示例性示圖。

[圖10]是用于說明根據(jù)示例1的響應(yīng)信息的示例的示例性示圖。

[圖11]是用于說明根據(jù)示例2的信息處理設(shè)備顯示信息的方法的示例的示例性示圖。

[圖12]是用于說明根據(jù)示例2的響應(yīng)信息的示例的示例性示圖。

[圖13]是示出了可以由響應(yīng)信息來定義的控制信息的示例的示圖。

[圖14]是用于說明根據(jù)示例3的信息處理設(shè)備的操作的示例的示例性示圖。

[圖15]是用于說明根據(jù)示例3的響應(yīng)信息的示例的示例性示圖。

[圖16]是用于說明根據(jù)示例3的信息處理設(shè)備的操作的示例的示例性示圖。

[圖17]是用于說明根據(jù)示例3的響應(yīng)信息的示例的示例性示圖。

[圖18]是用于說明根據(jù)示例4的信息處理設(shè)備的示例的示圖。

[圖19]是用于說明根據(jù)示例4的信息處理設(shè)備的另一示例的示圖。

[圖20]是用于說明根據(jù)示例5的信息處理設(shè)備的示例的示圖。

[圖21]是說明根據(jù)實施方式的信息處理設(shè)備的硬件配置的示例的示圖。

具體實施方式

在下文中，將參考附圖對本公開內(nèi)容的優(yōu)選實施方式進行詳細描述。在本說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件被標以相同的參考標號，并且這些結(jié)構(gòu)元件的重復(fù)說明被省略。

現(xiàn)將以下面的順序進行說明：

1.概述

2.功能配置

3.處理

4.示例

4.1示例1：示出顯示信息的方法的示例

4.2示例2：示出顯示信息的方法的示例

4.3示例3：根據(jù)處理內(nèi)容來控制示出的信息的示例

4.4示例4：對多個用戶示出信息的方法的示例

4.5例5：在被用戶中斷時示出信息的方法的示例

5.硬件配置

6.結(jié)論

<1.概述>

根據(jù)本實施方式的信息處理設(shè)備10包括所謂的交互式用戶界面，其基于語音輸入，并允許用戶Ua通過與信息處理設(shè)備10的語音交互來操作信息處理設(shè)備10。將參考圖1對根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備的概述進行說明。圖1是用于說明根據(jù)本實施方式的信息處理設(shè)備的概述的示例性示圖。

如在圖1中所示，信息處理設(shè)備10包括諸如麥克風的聲音采集設(shè)備(未示出)，并被配置為能夠采集由用戶Ua通過聲音采集設(shè)備所說的語音信息作為語音輸入c10。此外，該信息處理設(shè)備10包括諸如揚聲器的音頻輸出設(shè)備，并被配置為能夠通過音頻輸出設(shè)備將語音信息c11示出給用戶Ua。在圖1中所示的示例中，信息處理設(shè)備10被配置為可安裝在墻壁等上，并像所謂的投影機使用墻壁作為投影面以在墻壁上投射顯示信息v11(諸如圖像或圖標)，從而將顯示信息v11顯示在墻壁上。

基于這種配置，信息處理設(shè)備10被配置為可由用戶Ua操作，用戶Ua說出表示對信息處理設(shè)備10請求的內(nèi)容。具體地，信息處理設(shè)備10獲取用戶Ua所說的內(nèi)容作為語音輸入c10，并通過輸出語音信息c11和顯示信息v11而對由語音輸入c10的內(nèi)容所表示的用戶Ua的請求進行響應(yīng)。

例如，在圖1中所示的示例中，用戶Ua說：“倫敦現(xiàn)在幾點了？”以要求信息處理設(shè)備10“示出倫敦的時間”作為請求。然后信息處理設(shè)備10采集用戶Ua所說的聲音，作為語音輸入c10，并基于語音識別技術(shù)分析語音輸入c10，由此將語音輸入c10轉(zhuǎn)換成文本信息。信息處理設(shè)備10基于自然語言處理技術(shù)(例如詞法分析、語法分析和語義分析)，分析語音輸入c10所轉(zhuǎn)換的文本信息，從而識別由文本信息表示的語義內(nèi)容(換言之，由語音輸入c10表示的語義內(nèi)容)。

信息處理設(shè)備10基于由該語音輸入c10表示的語義內(nèi)容來執(zhí)行相應(yīng)的應(yīng)用程序(即，功能)。例如，在圖1中所示的示例中，信息處理設(shè)備10執(zhí)行“時鐘”的應(yīng)用程序，用于獲取在指定區(qū)域中的時間。

信息處理設(shè)備10輸出指示應(yīng)用程序的執(zhí)行結(jié)果的語音信息c11作為對用戶Ua的語音輸入c10的響應(yīng)，并示出了指示與語音信息c11的輸出一致的執(zhí)行結(jié)果的顯示信息v11(諸如圖標或圖像)。例如，在圖1中所示的示例中，信息處理設(shè)備10基于“時鐘”的應(yīng)用程序的執(zhí)行結(jié)果輸出“現(xiàn)在是下午5點”的語音信息c11，作為對“倫敦現(xiàn)在幾點了？”的語音輸入c10的響應(yīng)。

然后，信息處理設(shè)備10顯示與“現(xiàn)在是下午5點”的語音信息c11的輸出一致的可識別地示出“現(xiàn)在是下午5點”的時鐘的顯示信息v11(諸如圖標)，以便在投影平面上淡入顯示信息v11。

以這種方式，根據(jù)本實施方式的信息處理設(shè)備10輸出對用戶的請求(作為語音輸出c10示出)的響應(yīng)作為語音信息c11，并顯示該顯示信息v11，從而在視覺上將響應(yīng)內(nèi)容示出給用戶Ua。與僅輸出語音信息c11相比，這使用戶Ua更直觀地識別信息處理設(shè)備10的響應(yīng)內(nèi)容。

同時，在圖1中所示的示例中，信息處理設(shè)備10僅將指示“現(xiàn)在是下午5點”的單段信息示出給用戶Ua。因此，用戶Ua可以直觀地識別到這里輸出的語音信息c11和顯示信息v11對應(yīng)于“下午5點”的信息。

但是，信息處理設(shè)備10不一定只將單段的信息示出給用戶Ua，而是在某些情況下示出包括不同信息段的一組信息作為語音信息和顯示信息。例如，圖2是用于說明根據(jù)本實施方式的信息處理設(shè)備的概述的示例性示圖，并示出其中信息處理設(shè)備10將包括多個信息段的一組信息示出給用戶Ua作為語音信息和顯示信息的示例。

在圖2中所示的示例中，用戶Ua對信息處理設(shè)備10說：“你能做什么？”，從而請求信息處理設(shè)備10“示出信息處理設(shè)備10的功能(可執(zhí)行的應(yīng)用程序)的列表”。響應(yīng)于這一點，信息處理設(shè)備10輸出“可以顯示時鐘、天氣預(yù)報、家庭日歷”的語音信息c21，并顯示分別指示與語音信息c21的輸出一致的“時鐘”、“天氣預(yù)報”以及“家庭日歷”的顯示信息v11、顯示信息v13和顯示信息v15。因此，如在圖2中所示，語音信息c21包括指示“時鐘”的功能的表達c211，指示“天氣預(yù)報”的功能的表達c213，指示“家庭日歷”的功能的表達c215，以及指示輔助短語“可以顯示”的表達c217。

例如，即使顯示信息v11、顯示信息v13和顯示信息v15被簡單地輸出作為與表達組c211至c217一致的一組信息(即語音信息c21)，但是用戶Ua將不一定能夠識別表達c211至c217與顯示信息v11、顯示信息v13和顯示信息v15之間的關(guān)系。

作為具體的示例，假設(shè)當信息處理設(shè)備10輸出表達c211至c217作為一組語音信息c21時，信息處理設(shè)備10與語音信息c21的輸出一致地同時給用戶Ua示出顯示信息v11、顯示信息v13和顯示信息v15。然后，用戶Ua可以直觀地識別該組語音信息c21和該組顯示信息v11、顯示信息v13和顯示信息v15彼此對應(yīng)。

然而，為了將表達c211、c213和c215分別關(guān)聯(lián)到顯示信息v11、顯示信息v13和顯示信息v15，用戶Ua必須經(jīng)歷理解由顯示信息v11、顯示信息v13和顯示信息v15所指示的含義的思考過程，并將顯示信息v11、顯示信息v13和顯示信息v15分別關(guān)聯(lián)到已作為語音輸出的表達c211、c213和c215。

即使以這種方式簡單地輸出顯示信息v11、顯示信息v13和顯示信息v15作為與表達c211、c213和c217(即語音信息c21)一致的一組信息，但是顯示信息的方法使用戶Ua在一些情況下不能直觀地操作該信息處理設(shè)備10。

然后，根據(jù)本實施方式的信息處理設(shè)備10與表達組c211到c217中的對應(yīng)于各功能的表達c211、c213和c215的語音輸出同步地控制與各功能相關(guān)的顯示信息v11、顯示信息v13和顯示信息v15的輸出。

作為具體示例，信息處理設(shè)備10顯示指示“時鐘”的功能的顯示信息v11，以便與表達組c211到c217中的指示“時鐘“的功能的表達c211的語音輸出同步在投影平面中淡入顯示信息v11。

然后信息處理設(shè)備10顯示指示“天氣預(yù)報”的功能的顯示信息v13，以便與指示“天氣預(yù)報“的功能的表達c213的語音輸出同步地在投影平面中淡入顯示信息v13。類似地，信息處理設(shè)備10顯示指示“家庭日歷”的功能的顯示信息v15，以便與指示“家庭日歷“的功能的表達c213的語音輸出同步地在投影平面中淡入顯示信息v15。

參考圖3按照時間順序?qū)⒃诖藢π畔⑻幚碓O(shè)備10輸出關(guān)于對應(yīng)于各功能的表達c211到c215的每個的語音信息，以及與各功能相關(guān)的顯示信息v11、顯示信息v13和顯示信息v15的處理流程進行說明。圖3是用于描述根據(jù)本實施方式的信息處理設(shè)備10示出信息的方法的示例的示例性示圖。

例如，在由參考符號t11表示的定時處信息處理設(shè)備10開始輸出指示“時鐘”的功能的表達c211作為語音，并在投影平面上淡入指示“時鐘”的功能的顯示信息v11。然后，在定時t11之后信息處理設(shè)備10控制顯示信息v11的輸出，以在預(yù)設(shè)的時間段(如300[ms])完成淡入該顯示信息v11。因此，在圖3中，從定時t11到定時t12的時間段對應(yīng)于信息處理設(shè)備10開始淡入該顯示信息v11并完成淡入該顯示信息v11的時間段。換句話說，到定時t12，在投影平面上已經(jīng)示出了顯示信息v11。

接著，在由參考符號t13表示的定時處信息處理設(shè)備10開始輸出指示“天氣預(yù)報”的功能的表達c213作為語音，并在投影平面上淡入指示“天氣預(yù)報”的功能的顯示信息v13。然后，在定時t13之后信息處理設(shè)備10控制顯示信息v13的輸出，以在預(yù)設(shè)的時間段(如300[ms])完成淡入該顯示信息v13。因此，在圖3中，從定時t13到定時t14的時間段對應(yīng)于信息處理設(shè)備10開始淡入該顯示信息v13并完成淡入該顯示信息v13的時間段。換句話說，到定時t14，在投影平面上已經(jīng)示出了顯示信息v11和顯示信息v13。

類似地，在由參考符號t15表示的定時處信息處理設(shè)備10開始輸出指示“家庭日歷”的功能的表達c215作為語音，并在投影平面上淡入指示“家庭日歷”的功能的顯示信息v15。然后，在定時t15之后信息處理設(shè)備10控制顯示信息v15的輸出，以在預(yù)設(shè)的時間段(如300[ms])完成淡入該顯示信息v15。因此，在圖3中，從定時t15到定時t16的時間段對應(yīng)于信息處理設(shè)備10開始淡入該顯示信息v15并完成淡入該顯示信息v15的時間段。換句話說，到定時t16，在投影平面上已經(jīng)示出了顯示信息v11、顯示信息v13以及顯示信息v15。

然后，在定時t17，信息處理設(shè)備10開始輸出該信息處理設(shè)備10還沒有完成輸出作為語音的剩余的表達(換句話說，指示輔助短語“可以示出”的表達c217)作為語音，在該定時息處理設(shè)備10結(jié)束輸出該組顯示信息v11、顯示信息v13以及顯示信息v15。然后，信息處理設(shè)備10終止對用戶Ua所說的“你能做什么？”的語音輸入的一組響應(yīng)。

雖然以上描述了其中信息處理設(shè)備10(像投影儀)將顯示信息投射在投影平面上，以在投影平面上顯示該信息顯示，但是用于顯示該顯示信息的組件不一定限于上述組件。

例如，作為用于將顯示信息進行顯示的組件，可以應(yīng)用液晶顯示器(LCD)設(shè)備、有機發(fā)光二極管(OLED)顯示器等。像在圖1中的投影平面的區(qū)域(在其上信息處理設(shè)備10顯示信息)將被簡稱為“顯示平面”。如果液晶顯示器、有機EL顯示設(shè)備等被用作將顯示信息進行顯示的組件，則該顯示器的顯示面板對應(yīng)于“顯示平面”。

以這種方式，信息處理設(shè)備10與對應(yīng)于功能的表達的語音輸出同步地控制與各功能相關(guān)的顯示信息的輸出，從而使用戶直觀地識別對應(yīng)于作為語音輸出的功能的顯示信息。然后將對根據(jù)本實施方式的信息處理設(shè)備10進行詳細說明。

<2.功能配置>

首先，將參考圖4對根據(jù)本實施方式的信息處理設(shè)備10的功能配置的示例進行說明。圖4是示出根據(jù)本實施方式的信息處理設(shè)備10的功能配置的框圖。

如在圖4中所示，根據(jù)本實施方式的信息處理設(shè)備10包括輸入信息分析部101、響應(yīng)信息產(chǎn)生部103、處理執(zhí)行部105、字典信息存儲部109、響應(yīng)控制部111、語音合成部115，以及顯示控制部117。另外，信息處理設(shè)備10與聲音采集部41、音頻輸出部51以及顯示部53協(xié)同操作。此外，信息處理設(shè)備10可以包括聲音采集部41、音頻輸出部51以及顯示部53的一部分或者全部。在上面已經(jīng)描述了并包括在信息處理設(shè)備10內(nèi)的每個元件可以由包括在信息處理設(shè)備10內(nèi)的硬件電路來實現(xiàn)。

聲音采集部41可以包括能夠采集音頻信息的聲音的設(shè)備，如麥克風。聲音采集部41采集由用戶Ua所說的語音信息的聲音作為語音輸入，并且連續(xù)地將所采集的語音輸入的聲音輸出到輸入信息分析部101。

輸入信息分析部101獲取用戶Ua的語音輸入，用戶Ua的聲音被連續(xù)地從聲音采集部41輸出并由聲音采集部41進行采集。輸入信息分析部101基于語音識別技術(shù)分析所獲取的語音輸入，從而將語音輸入轉(zhuǎn)換為文本信息。

輸入信息分析部101對語音輸入所轉(zhuǎn)換成的文本信息進行詞匯分析和語法分析，從而使文本信息形成其中包括在文本信息中的每個字詞以及各字詞之間的關(guān)系(如修改關(guān)系)被可識別地示出的數(shù)據(jù)(如語法樹)。

然后輸入信息分析部101將其中通過詞匯分析和語法分析形成文本信息的數(shù)據(jù)(這也將被稱為“基于輸入信息的結(jié)構(gòu)化數(shù)據(jù)”)輸出到響應(yīng)信息生成部103。然后，輸入信息分析部101可以基于句法分析的結(jié)果，將基于輸入信息的結(jié)構(gòu)化數(shù)據(jù)以預(yù)定單位(例如，對于包括在文本信息中的每個句子)輸出到響應(yīng)信息生成部103。

響應(yīng)信息生成部103，從輸入信息分析部101獲取基于輸入信息的結(jié)構(gòu)化數(shù)據(jù)。響應(yīng)信息生成部103對所獲取的結(jié)構(gòu)化數(shù)據(jù)進行語義分析，從而分析結(jié)構(gòu)化數(shù)據(jù)所基于的語音輸入的語義內(nèi)容。然后，響應(yīng)信息生成部103基于分析結(jié)果確定用戶Ua的請求內(nèi)容。例如，建議預(yù)先將用于響應(yīng)信息生成部103的字典數(shù)據(jù)存儲在字典信息存儲部109內(nèi)，以對結(jié)構(gòu)化數(shù)據(jù)進行語義分析。

字典信息存儲部109預(yù)先存儲用于響應(yīng)信息生成部103的字典數(shù)據(jù)以對結(jié)構(gòu)化數(shù)據(jù)進行語義分析。

字典信息存儲部109進一步存儲用于響應(yīng)信息生成部103的管理數(shù)據(jù)d10，以識別對基于輸入信息的請求內(nèi)容的響應(yīng)的內(nèi)容(這也將被稱為“響應(yīng)內(nèi)容”)。此外，如果為了響應(yīng)請求內(nèi)容而需要執(zhí)行預(yù)定功能(應(yīng)用程序)，則管理數(shù)據(jù)d10可以預(yù)先將預(yù)定功能與請求內(nèi)容相關(guān)聯(lián)。

例如，圖5是用于說明根據(jù)輸入信息的響應(yīng)內(nèi)容的示例的示例性示圖，并且示出存儲在字典信息存儲部109內(nèi)的管理數(shù)據(jù)d10的示例。如在圖5中示出的，管理數(shù)據(jù)d10具有與輸入信息d11相關(guān)的請求內(nèi)容d13、相應(yīng)功能d15，以及響應(yīng)內(nèi)容d17。

在圖5中，輸入信息d11表示由用戶Ua的語音輸入指示的內(nèi)容的示例。請求內(nèi)容d13表示由輸入信息d11指示的用戶Ua的請求內(nèi)容。相應(yīng)的功能d15表示執(zhí)行對請求內(nèi)容d13的響應(yīng)所需要的功能。當不需要執(zhí)行請求內(nèi)容d13的預(yù)定功能時，沒有記錄相應(yīng)功能d15的信息。響應(yīng)內(nèi)容d17表示響應(yīng)于請求內(nèi)容d13的內(nèi)容。在圖5所示的示例中，響應(yīng)內(nèi)容d17被定義為文本信息。

作為具體示例，“你可以做什么？”的輸入信息d11對應(yīng)于指示“檢查功能”的請求內(nèi)容d13。因此，指示“檢查功能”的請求內(nèi)容d13與用于示出功能列表的“可以顯示時鐘、天氣預(yù)報、家庭日歷”的響應(yīng)內(nèi)容d17相關(guān)。由于當對指示“檢查功能”的請求內(nèi)容d13進行響應(yīng)時沒有必要執(zhí)行在圖5中所示的示例中的預(yù)定功能，因此相應(yīng)功能d15未被關(guān)聯(lián)。毋庸置疑，當由信息處理設(shè)備10可執(zhí)行的功能是固定的時，獲取可執(zhí)行的功能列表的功能(即獲取應(yīng)用程序列表的功能)可以被記錄，用于與指示“檢查功能”的請求內(nèi)容d13相關(guān)聯(lián)的相應(yīng)功能d15。

作為另一示例，“○○現(xiàn)在幾點了？”的輸入信息d11對應(yīng)于指示“檢查時間”的請求內(nèi)容d13，并且請求內(nèi)容d13與作為相應(yīng)功能d15的“時鐘”的功能相關(guān)。指示“檢查時間”的請求內(nèi)容d13與用于報告經(jīng)檢查的時間的“現(xiàn)在是××點鐘”的響應(yīng)內(nèi)容d17相關(guān)。由響應(yīng)內(nèi)容d17指示的信息的一部分可以通過將由相應(yīng)功能d15指示的功能的執(zhí)行結(jié)果嵌入其中的方式進行變化。

同樣，“在ΔΔ天氣怎樣？”的輸入信息d11對應(yīng)于指示“檢查天氣預(yù)報”的請求內(nèi)容d13，并且請求內(nèi)容d13與指示“天氣預(yù)報”的功能的相應(yīng)功能d15以及“現(xiàn)在是晴天/雨天/陰天”的響應(yīng)內(nèi)容d17相關(guān)聯(lián)?！唉うさ挠媱澥鞘裁?？”的輸入信息d11對應(yīng)于指示“檢查日程表”的請求內(nèi)容d13，并且請求內(nèi)容d13與指示“家庭日歷”的功能的相應(yīng)功能d15以及“在××點ΔΔ將會做......”的響應(yīng)內(nèi)容d17相關(guān)聯(lián)。“在××點ΔΔ將會做......”的輸入信息d11對應(yīng)于指示“記錄日程表”的請求內(nèi)容d13，并且請求內(nèi)容d13與指示“家庭日歷”的功能的相應(yīng)功能d15以及“已經(jīng)記錄該計劃”的響應(yīng)內(nèi)容d17相關(guān)聯(lián)。

建議基于用戶Ua與信息處理設(shè)備10之間可能的對話模式預(yù)先生成管理信息d10，并將所生成的管理信息d10存儲在字典信息存儲部109中。信息處理設(shè)備10可以從用戶Ua與信息處理設(shè)備10之間的過去的對話學(xué)習，并基于學(xué)習結(jié)果，添加或更新存儲在字典信息存儲部109內(nèi)的管理信息d10的內(nèi)容。

基于這種配置，響應(yīng)信息生成部103將基于對結(jié)構(gòu)化數(shù)據(jù)的語義分析的結(jié)果所確定的用戶Ua的請求內(nèi)容與管理數(shù)據(jù)d10進行比較，從而獲得與請求內(nèi)容相關(guān)聯(lián)的相應(yīng)功能d15和響應(yīng)內(nèi)容d17。

然后，響應(yīng)信息生成部103使處理執(zhí)行部105執(zhí)行與所識別的請求內(nèi)容相關(guān)聯(lián)的相應(yīng)功能d15，并且從處理執(zhí)行部105獲取相應(yīng)功能d15的處理結(jié)果。

處理執(zhí)行部105是用于執(zhí)行信息處理設(shè)備10的多種功能(應(yīng)用程序)的組件。處理執(zhí)行部105執(zhí)行由響應(yīng)信息生成部103指定的功能，并將功能的執(zhí)行結(jié)果報告給響應(yīng)信息生成部103(其是請求者)。

響應(yīng)信息生成部103將從處理執(zhí)行部105報告的相應(yīng)功能d15的處理結(jié)果嵌入所獲取的響應(yīng)內(nèi)容d17，從而將該響應(yīng)內(nèi)容d17確定為用戶Ua的請求內(nèi)容d13的響應(yīng)內(nèi)容d20。當相應(yīng)功能d15不與所識別的請求內(nèi)容相關(guān)聯(lián)時，響應(yīng)信息生成部103確定所獲取的響應(yīng)內(nèi)容d17作為用戶Ua的請求內(nèi)容d13的響應(yīng)內(nèi)容d20。

一旦響應(yīng)信息生成部103確定用戶Ua的請求內(nèi)容的響應(yīng)內(nèi)容d20時，響應(yīng)信息生成部103將用于控制與響應(yīng)內(nèi)容d20的語音輸出一起示出的其它信息的輸出的控制信息嵌入響應(yīng)內(nèi)容d20，從而生成響應(yīng)信息d30。例如，如在圖2和圖3中所示的，在本說明書中，控制與響應(yīng)內(nèi)容d20的語音輸出一起示出的其它信息的輸出的示例包括控制顯示與各功能對應(yīng)的顯示信息v11、顯示信息v13以及顯示信息v15，從而在顯示平面上淡入該顯示信息v11、顯示信息v13以及顯示信息v15。

將參考圖6對響應(yīng)信息d30的具體示例進行描述，其中，語音輸出和顯示信息作為示例彼此一致，以對用戶Ua所說的“你能做什么？”(如在圖2和圖3中所示)進行響應(yīng)。圖6是用于描述響應(yīng)信息d30的示例的示例性示圖。

在圖6中，參考符號d20表示由響應(yīng)信息生成部103識別的針對通過基于由用戶Ua所說的“你可以做什么？”的輸入信息所指示的請求內(nèi)容的響應(yīng)內(nèi)容的示例。同時，參考符號d30表示通過將控制信息嵌入響應(yīng)內(nèi)容d20而獲取的響應(yīng)信息的示例，以示出與通過如在圖3中所示的響應(yīng)內(nèi)容d20所指示的“可以顯示時鐘、天氣預(yù)報、家庭日歷”的語音輸出一致的顯示信息v11、顯示信息v13以及顯示信息v15。

在響應(yīng)信息d30中分別表示為“時鐘”、“天氣預(yù)報”、“家庭日歷”以及“可以顯示”的表達d31、d33、d35、和d37表示用作響應(yīng)并被輸出作為語音的信息，換言之，在響應(yīng)內(nèi)容d20內(nèi)的相應(yīng)表達。

參考符號d32，d34，和d36是用于控制示出顯示信息v11、顯示信息v13以及顯示信息v15的控制信息的示例。例如，控制信息d32表示用于通過如在圖2和圖3中所示的在300[ms]內(nèi)在顯示平面上淡入該顯示信息v11并且結(jié)束該淡入的方式，控制指示“時鐘”的顯示信息v11的顯示的控制信息的示例。

具體地，“anim_fadein”的標記符對應(yīng)于用于以將顯示信息淡入到顯示平面上的方式來顯示在“item(項)”屬性中指定的顯示信息的控制信息。此外，在圖6所示的示例中，將顯示信息進行顯示以便淡入的時間段被指定為“anim_fadein”標記符的“duration(持續(xù)時間)”屬性。

具體地，控制信息d32指示：與通過在“item”屬性中指定的“clock_icon”所指示的“時鐘”功能對應(yīng)的顯示信息v11被顯示，以便在“duration”屬性中所指定的時間段內(nèi)(換句話說，“300[ms]”)淡入。類似地，控制信息d34指示：與通過“weather_icon”所指示的“天氣預(yù)報”功能對應(yīng)的顯示信息v13被顯示，從而在“300[ms]”內(nèi)淡入?？刂菩畔36指示：與通過“calendar_icon”所指示的“家庭日歷”功能對應(yīng)的顯示信息v15被顯示，從而在“300[ms]”內(nèi)淡入。

換言之，響應(yīng)信息生成部103在響應(yīng)內(nèi)容d20中緊接指示“時鐘”功能的表達d31之后插入將用于顯示對應(yīng)于“時鐘”功能的顯示信息v11的控制信息d32，從而將控制信息d32與表達d31相關(guān)聯(lián)。同樣，響應(yīng)信息生成部103緊接指示“天氣預(yù)報”功能的表達d33之后插入用于顯示對應(yīng)于“天氣預(yù)報”功能的顯示信息v13的控制信息d34，從而將表達d33與控制信息d34相關(guān)聯(lián)。響應(yīng)信息生成部103緊接指示“家庭日歷”功能的表達d35之后插入用于顯示對應(yīng)于“家庭日歷”功能的顯示信息v15的控制信息d36，從而將表達d35與控制信息d36相關(guān)聯(lián)。

響應(yīng)信息生成部103不一定是將控制信息d32、控制信息d34以及控制信息d36嵌入響應(yīng)內(nèi)容d20。作為具體示例，控制信息d32、控制信息d34以及控制信息d36可以作為模板被預(yù)先嵌入管理信息d10(見圖5)的響應(yīng)內(nèi)容d17。

響應(yīng)信息生成部103也可以在確定響應(yīng)內(nèi)容d20時通過將相應(yīng)功能d15的執(zhí)行結(jié)果嵌入響應(yīng)內(nèi)容17，來根據(jù)相應(yīng)功能d15的執(zhí)行結(jié)果嵌入相應(yīng)的控制信息。

例如，當請求內(nèi)容d13表示“檢查天氣預(yù)報”時，響應(yīng)信息生成部103使處理執(zhí)行部105執(zhí)行與請求內(nèi)容d13相關(guān)聯(lián)的“天氣預(yù)報”功能作為相應(yīng)功能d15。然后響應(yīng)信息生成部103從處理執(zhí)行部105獲取指示天氣的信息作為“天氣預(yù)報”功能的執(zhí)行結(jié)果。

作為具體示例，當響應(yīng)信息生成部103獲取指示“晴天”的信息作為“天氣預(yù)報”功能的執(zhí)行結(jié)果時，響應(yīng)信息生成部10確定“今天是晴天”的響應(yīng)內(nèi)容d20。然后，響應(yīng)信息生成部103將用于顯示指示“晴天”的顯示信息的控制信息與響應(yīng)內(nèi)容d20中的“晴天”的表達相關(guān)聯(lián)。作為另一示例，當響應(yīng)信息生成部103獲取指示“下雨”的信息作為“天氣預(yù)報”功能的執(zhí)行結(jié)果時，響應(yīng)信息生成部103將用于顯示指示“下雨”的顯示信息的控制信息與“現(xiàn)在下雨”的響應(yīng)內(nèi)容d20中的“下雨”的表達相關(guān)聯(lián)。

作為在圖6中所示的示例，描述了其中控制信息被插入響應(yīng)內(nèi)容d20作為具有空元素(即具有附加到其端部的“/”標記符，這也將被稱為“完成標記符”)的標記符，且控制信息由此與響應(yīng)內(nèi)容d20中的表達相關(guān)聯(lián)。同時，如果控制信息被定義為標記符信息，則控制信息不一定限于完成標記符。作為具體示例，可以用開始標記符(不包括“/”的標記符)和結(jié)束標記符(具有附加到其頂部的標記符“/”)定義控制信息。在這種情況下，指示控制信息的開始標記符和結(jié)束標記符通過表達是控制信息的元素的方式，包括響應(yīng)內(nèi)容d20內(nèi)的表達。

如果可以將控制信息與響應(yīng)內(nèi)容d20內(nèi)的表達相關(guān)聯(lián)地嵌入響應(yīng)內(nèi)容d20，則控制信息并不一定必須是標記符信息。例如，預(yù)定的字母被用作所謂的分割符，并且可以通過可識別地提取響應(yīng)信息d20和控制信息的內(nèi)容的方式來將控制信息嵌入響應(yīng)信息d20。

如上所述，響應(yīng)信息生成部103生成用于響應(yīng)于所確定的請求內(nèi)容的響應(yīng)信息d30，并將所生成的響應(yīng)信息d30輸出給響應(yīng)控制部111。

響應(yīng)控制部111從響應(yīng)信息生成部103獲取響應(yīng)信息d30，并且基于所獲取的響應(yīng)信息d30控制從信息處理設(shè)備10對用戶Ua(其是請求者)進行響應(yīng)的操作。然后，下面用示例描述了基于響應(yīng)信息d30進行響應(yīng)的詳細操作，其中，如在圖2和圖3中所示的，信息處理設(shè)備10通過與示出顯示信息一致地輸入語音來響應(yīng)于來自用戶Ua的輸入信息。在用于從響應(yīng)信息生成部103獲取響應(yīng)信息d30的響應(yīng)控制部111中的組件對應(yīng)于“獲取部”的示例。

響應(yīng)控制部111連續(xù)地從頭部讀取所獲取的響應(yīng)信息d30的內(nèi)容，并根據(jù)讀取信息的類型控制語音合成部115或顯示控制部117的操作，這將在以下進行描述。具體地，當所讀取的信息指示響應(yīng)內(nèi)容時，響應(yīng)控制部111控制語音合成部115的操作以輸出信息作為語音。同時，如果所讀取的信息是控制信息，則響應(yīng)控制部111基于控制信息來控制該顯示控制部117的操作，以控制與語音輸出一起示出的顯示信息的輸出。

將在這里用其中在圖6中所示的響應(yīng)信息d30是處理目標的示例來更詳細地描述響應(yīng)控制部111的操作。

首先，響應(yīng)控制部111讀取響應(yīng)信息d30的內(nèi)容，直到檢測到控制信息(標記符信息)。當響應(yīng)控制部111從頭部(如在圖6中所示的示例中)讀取響應(yīng)信息d30的內(nèi)容時，響應(yīng)控制部111首先讀取“時鐘”的表達d31，并且然后檢測緊接表達d31之后插入的控制信息d32。

然后，響應(yīng)控制部111將所讀取的“時鐘”的表達d31輸出給語音合成部115，并使語音合成部115輸出對應(yīng)于表達d31的語音信息。響應(yīng)控制部111還基于所檢測到的控制信息d32的內(nèi)容，通過在“300ms”內(nèi)淡入顯示信息v11的方式使顯示控制部117輸出由“clock_icon”表示的顯示信息v11。

接著，響應(yīng)控制部111讀取“天氣預(yù)報”的表達d33，并檢測緊接表達d33之后插入的控制信息d34。

在這種情況下，響應(yīng)控制部111將所讀取的“天氣預(yù)報”的表達d33輸出至語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d33的語音信息。響應(yīng)控制部111還基于所檢測到的控制信息d34的內(nèi)容，通過在“300ms”內(nèi)淡入顯示信息v13的方式使顯示控制部117輸出由“weather_icon”表示的顯示信息v13。

同樣，響應(yīng)控制部111讀取“家庭日歷”的表達，并檢測緊接表達d35之后被插入的控制信息d36。

然后，響應(yīng)控制部111將所讀取的“家庭日歷”的表達d35輸出至語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d35的語音信息。響應(yīng)控制部111還基于所檢測到的控制信息d34的內(nèi)容，通過在“300ms”內(nèi)淡入顯示信息v15的方式使顯示控制部117輸出由“calender_icon”表示的顯示信息v15。

最后，響應(yīng)控制部111讀取“可以顯示”的表達d37，并在讀取表達d37之后檢測響應(yīng)信息d30的終止。

在這種情況下，響應(yīng)控制部111將所讀取的“可以顯示”的表達d37輸出至語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d37的語音信息。響應(yīng)控制部111基于響應(yīng)信息d30的終止的檢測，終止基于響應(yīng)信息d30的順序控制。

基于上述控制，響應(yīng)控制部111基于圖2和圖3所述的如下方式控制輸入：指示相應(yīng)功能的顯示信息與“時鐘”、“天氣預(yù)報”以及“家庭日歷”的語音輸出同步地示出。

下面將分別描述語音合成部115、顯示控制部117、音頻輸出部51，以及顯示部53。

語音合成部115從響應(yīng)控制部111獲取指示被示出為輸出給用戶Ua的語音的響應(yīng)內(nèi)容的信息(例如文本信息)。語音合成部115從所獲取的指示響應(yīng)內(nèi)容的的信息(例如，基于語音合成技術(shù))創(chuàng)建表明響應(yīng)內(nèi)容的語音信號。此外，從所獲取的指示響應(yīng)內(nèi)容的信息生成語音信號的語音合成部115的源音頻信號被預(yù)先存儲在語音合成部115能夠參考音頻信號的位置。

然后，語音合成部115基于通過響應(yīng)控制部111執(zhí)行的控制，在由響應(yīng)控制部111指定的定時處，使音頻輸出部51輸出所生成的語音信號作為語音。音頻輸出部51可以被配置作為用于輸出音頻信號和語音信號的輸出設(shè)備，諸如所謂的揚聲器。

此外，顯示控制部117基于通過響應(yīng)控制部111執(zhí)行的控制，使顯示部53在由響應(yīng)控制部111指定的定時處，并且通過由響應(yīng)控制部111指定的顯示方式來顯示該顯示信息。此外，指示由響應(yīng)控制部111指定的定時的信息(換句話說，用于基于該定時執(zhí)行控制的信息)對應(yīng)于“定時信息”的示例。

例如，假設(shè)響應(yīng)控制部111基于在圖6中所示的控制信息d32指示顯示控制部117示出顯示信息。在這種情況下，顯示控制部117使顯示部53在由響應(yīng)控制部111所指定的定時處，通過在“300ms”內(nèi)淡入顯示信息v11的方式顯示由“clock_icon”表示的顯示信息v11。

顯示部53是輸出設(shè)備的示例，并且可以被配置為通過在顯示平面(例如，像所謂的投影儀)上投影視頻來將視頻示出給用戶的設(shè)備。作為另一示例，顯示部53可以是顯示設(shè)備，諸如液晶顯示器(LCD)設(shè)備和有機發(fā)光二極管(OLED)顯示設(shè)備。此外，顯示部53可以是所謂的頭戴式顯示器(HMD)，其被佩戴在用戶頭部周圍并保持顯示平面在用戶的眼睛前方。作為另一示例，顯示部53也可以是用于車輛的車載顯示器，諸如所謂的平視顯示器(HUD)，其通過將視頻投影在擋風玻璃上來將信息示出給用戶。

到目前為止，參考圖4到圖6描述了根據(jù)本實施方式的信息處理設(shè)備10的功能配置的示例。在圖4中所示的信息處理設(shè)備10的功能配置僅僅是示例。只要如上所述的每個組件都是可操作的，那么各組件可以被設(shè)置在任何位置。

作為具體示例，信息處理設(shè)備10可以包括聲音收集部41、音頻輸出部51，以及顯示部53的一部分或全部。毋庸置疑，信息處理設(shè)備10、聲音采集部41、音頻輸出部51以及顯示部53之間的信息的傳輸路徑?jīng)]有特別限制。作為具體示例，信息處理設(shè)備10可以被配置為網(wǎng)絡(luò)上的服務(wù)器(例如云服務(wù)器)。在這種情況下，被配置作為服務(wù)器的信息處理設(shè)備10控制經(jīng)由網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng))從包括音頻輸出部51和顯示部53的設(shè)備輸出的語音信息和顯示信息。作為控制語音信息的輸出的組件(諸如對應(yīng)于語音合成部115的組件)以及控制顯示信息的輸出的組件(諸如對應(yīng)于顯示控制部117的組件)是與彼此協(xié)調(diào)操作的，這些組件可以被設(shè)置在單獨的殼體上。作為另一示例，包括在信息處理設(shè)備10中的至少一部分組件可以被設(shè)置在不同于信息處理設(shè)備10的外部設(shè)備上。

以上描述了其中與指示語音輸入的響應(yīng)內(nèi)容的語音輸出一致地示出顯示信息的示例。然而，只要與對應(yīng)于各功能的語音輸出同步地示出與對應(yīng)于包括在響應(yīng)內(nèi)容內(nèi)的各功能的表達的語音輸出不同的其它信息，則其它信息不特別限定類型和數(shù)目。

作為具體示例，信息處理設(shè)備10不僅可以與指示功能的表達的語音輸出同步地示出指示各功能的顯示信息，還可以示出指示功能的音頻信息(諸如音效)。

作為另一示例，諸如發(fā)光二極管(LED)的發(fā)光部可以與對應(yīng)于各功能的表達的語音輸出同步地發(fā)出光。在這種情況下，信息處理設(shè)備10與對應(yīng)于功能的的表達的語音輸出同步地，使發(fā)光部的發(fā)光次數(shù)與根據(jù)各功能或者在根據(jù)各功能的發(fā)光模式的發(fā)布次數(shù)一樣多。

只要與對應(yīng)于各功能的表達的語音輸出同步示出的信息與語音輸出同步示出，則與語音輸出一起示出的信息不限于視覺信息，如顯示信息或聽覺信息(諸如語音信息和音頻信息)，而可以是刺激觸覺、嗅覺，或味覺的信息。作為具體示例，信息處理設(shè)備10可與對應(yīng)于各功能的表達的語音輸出同步通過振動安裝在由用戶所持的控制器等中的致動器來示出觸摸信息。在這種情況下，信息處理設(shè)備10與對應(yīng)于功能的表達的語音輸出同步在振動模式下根據(jù)各功能振動致動器。

信息處理設(shè)備10還可以通過例如輸出相應(yīng)的顯示信息和音頻信息，與語音輸出同步組合示出一些類型的信息。當信息處理設(shè)備10與語音輸出同步控制相應(yīng)顯示信息的輸出時，信息處理設(shè)備10可以控制其它顯示信息的輸出，從而更加強調(diào)顯示信息的輸出。作為具體示例，假設(shè)信息處理設(shè)備10示出顯示信息作為動畫，顯示信息被顯示在顯示平面上，同時信息處理設(shè)備10等待來自用戶的語音輸入。在這種情況下，當信息處理設(shè)備10顯示對應(yīng)于語音輸出的顯示信息作為動畫時，信息處理設(shè)備10可停止其它信息的動畫，以便更加強調(diào)響應(yīng)于來自用戶的語音輸入的顯示信息。

<3.處理>

下面，將參考圖7描述根據(jù)本實施方式的信息處理設(shè)備10的一組操作。圖7是示出根據(jù)本實施方式的信息處理設(shè)備10的一組操作的示例的流程圖。

(步驟S11)

輸入信息分析部101獲取用戶Ua的語音輸入，該用戶的聲音已經(jīng)連續(xù)從聲音采集部41輸出并被聲音采集部41采集。輸入信息分析部101基于語音識別技術(shù)分析所獲取的語音輸入，從而將語音輸入轉(zhuǎn)換為文本信息。

輸入信息分析部101對語音輸入轉(zhuǎn)換成的文本信息進行詞匯分析和語法分析，從而將文本信息結(jié)構(gòu)化為其中可識別地示出包括在文本信息的每個字詞以及多個字詞之間的關(guān)系(如修改關(guān)系)的數(shù)據(jù)(如語法樹)。

然后，輸入信息分析部101基于其中文本信息通過詞匯分析和語法分析被結(jié)構(gòu)化的輸入信息，將結(jié)構(gòu)化的數(shù)據(jù)輸出給響應(yīng)信息生成部103。然后，輸入信息分析部101可以基于語法分析的結(jié)果將基于輸入信息而結(jié)構(gòu)化的數(shù)據(jù)輸出給結(jié)構(gòu)化部中的響應(yīng)信息生成部103(例如，用于包括在文本信息中的每個句子)。

(步驟S13)

響應(yīng)信息生成部103從輸入信息分析部101獲取基于輸入信息的結(jié)構(gòu)化的數(shù)據(jù)。響應(yīng)信息生成部103對所獲取的結(jié)構(gòu)化的數(shù)據(jù)進行語義分析，從而分析結(jié)構(gòu)化的數(shù)據(jù)所基于的語音輸入的語義內(nèi)容。然后，響應(yīng)信息生成部103基于分析的結(jié)果識別用戶Ua的請求內(nèi)容。

然后，響應(yīng)信息生成部103將基于對結(jié)構(gòu)化的數(shù)據(jù)語義分析的結(jié)果所識別的用戶Ua的請求內(nèi)容與存儲在字典信息存儲部109中的管理數(shù)據(jù)d10進行比較。響應(yīng)信息生成部103由此獲取與所識別的用戶Ua的請求內(nèi)容相關(guān)聯(lián)的相應(yīng)功能d15和響應(yīng)內(nèi)容d17。

響應(yīng)信息生成部103使處理執(zhí)行部105執(zhí)行與所確定的請求內(nèi)容相關(guān)聯(lián)的相應(yīng)功能d15，并且從處理執(zhí)行部105獲取相應(yīng)功能d15的處理結(jié)果。

響應(yīng)信息生成部103將從處理執(zhí)行部105報告的相應(yīng)功能d15的處理結(jié)果嵌入所獲取的響應(yīng)內(nèi)容d17，從而將相應(yīng)功能d15確定為用戶Ua的請求內(nèi)容d13的響應(yīng)內(nèi)容d20。當相應(yīng)功能d15不與所識別的請求內(nèi)容相關(guān)聯(lián)時，響應(yīng)信息生成部103將所獲取的響應(yīng)內(nèi)容d17確定為用戶Ua的請求內(nèi)容d13的響應(yīng)內(nèi)容d20。

作為具體示例，響應(yīng)信息生成部103針對由基于如在圖6中所示的用戶Ua所說的“你可以做什么？”的輸入信息所指示的請求內(nèi)容，確定“可以示出時鐘、天氣預(yù)報、家庭日歷”的響應(yīng)內(nèi)容d20。

(步驟S15)

下面，響應(yīng)信息生成部103將用于控制與所識別的響應(yīng)內(nèi)容d20的語音輸出一起示出的其它信息的輸出的控制信息嵌入與響應(yīng)內(nèi)容20內(nèi)的相應(yīng)表達相關(guān)的響應(yīng)內(nèi)容d20中，從而生成響應(yīng)信息d30。

例如，在圖6中所示的示例中，響應(yīng)信息生成部103在響應(yīng)內(nèi)容d20中緊接“時鐘”的表達d31之后插入用于顯示對應(yīng)于“時鐘”功能的顯示信息v11的控制信息d32，從而將表達d31與控制信息d32關(guān)聯(lián)。同樣，響應(yīng)信息生成部103緊接“天氣預(yù)報”的表達d33之后插入用于顯示對應(yīng)于“天氣預(yù)報”功能的顯示信息v13的控制信息d34，從而將表達d33與控制信息d34關(guān)聯(lián)。響應(yīng)信息生成部103緊接“家庭日歷”的表達d35之后插入用于顯示對應(yīng)于“家庭日歷”功能的顯示信息v15的控制信息d36，從而將表達d35與控制信息d36關(guān)聯(lián)。

如上所述，響應(yīng)信息生成部103生成用于響應(yīng)于所識別的請求內(nèi)容的響應(yīng)信息d30，并將所生成的響應(yīng)信息d30輸出到響應(yīng)控制部111。

(步驟S20)

響應(yīng)控制部111從響應(yīng)信息生成部103獲取響應(yīng)信息d30，并基于所獲取的響應(yīng)信息d30控制從信息處理設(shè)備10對作為請求者的用戶Ua進行響應(yīng)的操作。參考圖8，下面隨后描述了基于由響應(yīng)控制部111所執(zhí)行的控制(在圖7的步驟S20中所說明的)的響應(yīng)處理的流程的示例。圖8是示出根據(jù)本實施方式的信息處理設(shè)備10的響應(yīng)處理的流程的示例的流程圖。

(步驟S201和S203)

響應(yīng)控制部111連續(xù)地從頭部讀取所獲取的響應(yīng)信息d30的內(nèi)容，并且根據(jù)所讀取的信息的類型控制語音合成部115或顯示控制部117的操作，這將在下面描述。具體地，響應(yīng)控制部111讀取響應(yīng)信息d30的內(nèi)容，直到檢測到控制信息(標記符信息)。

(步驟S203)

響應(yīng)控制部111將所讀取的信息(表達)輸出到語音合成部115直到檢測到控制信息(步驟S203，否)為止，作為指示示出給用戶Ua作為語音輸出的響應(yīng)內(nèi)容的信息。

(步驟S205)

語音合成部115從響應(yīng)控制部111獲取指示響應(yīng)內(nèi)容(被示出為對用戶Ua的語音而輸出)的信息(例如文本信息)。語音合成部115從所獲取的指示響應(yīng)內(nèi)容的的信息(例如，基于語音合成技術(shù))創(chuàng)建表明響應(yīng)內(nèi)容的語音信號。

然后，語音合成部115基于由響應(yīng)控制部111執(zhí)行的控制，在由響應(yīng)控制部111所指定的定時處使音頻輸出部51輸出所生成的語音信號。

(步驟S203和S207)

一旦響應(yīng)控制部111檢測到控制信息(步驟S203，是)，響應(yīng)控制部111檢查該控制信息是否是具有空元素的完成標記符(步驟S207)。

(步驟S207和S213)

如果檢測到的控制信息是完成標記符(步驟S207，是)，則響應(yīng)控制部111基于控制信息的類型(如標記符信息的類型)以及指定為屬性信息的內(nèi)容來確定用作控制目標的顯示信息以及用于示出顯示信息的控制內(nèi)容。

作為具體示例，響應(yīng)控制部111基于控制信息的類型來確定顯示信息的顯示模式(如其中通過淡入顯示該顯示信息的模式)。響應(yīng)控制部111還基于屬性信息來確定用作顯示目標的顯示信息(如指示“時鐘”功能的顯示信息v11)以及顯示模式的詳細的控制內(nèi)容(通過淡入顯示該顯示信息的時間段)

然后，響應(yīng)控制部111根據(jù)基于所檢測到的控制信息以及用于示出該顯示信息的控制內(nèi)容所識別的顯示信息，來控制顯示控制部117的操作，從而控制與語音輸出一起示出的顯示信息的輸出。

(步驟S207和S209)

與此相反，如果檢測到的控制信息不是結(jié)束標記符(步驟S207，否)，則響應(yīng)控制部111檢查控制信息是否是開始標記符(步驟S209)。

(步驟S211)

如果檢測到的控制信息是開始標記符，則響應(yīng)控制部111檢測嵌入在開始標記符之后并對應(yīng)于該開始標記符的結(jié)束標記符。然后，除了控制信息的類型和被指定為屬性信息的內(nèi)容的類型，響應(yīng)控制部111還根據(jù)由開始標記符和結(jié)束標記符所包括的元素(指示被示出為語音輸出的響應(yīng)內(nèi)容的表達)的長度，確定用作控制目標的顯示信息以及用于示出該顯示信息的控制內(nèi)容。

作為具體示例，響應(yīng)控制部111可根據(jù)由開始標記符和結(jié)束標記符所包括的表達的長度來確定控制顯示信息的顯示的時間段。例如，這種配置允許響應(yīng)控制部111通過與其中“時鐘”的表達作為語音被輸出的時間段同步地淡入對應(yīng)于“時鐘”功能的顯示信息v11的方式來執(zhí)行控制。在下面作為示例將對這種模式進行討論。

然后，響應(yīng)控制部111根據(jù)基于所檢測到的控制信息識別的顯示信息以及用于示出該顯示信息的控制內(nèi)容，來控制顯示控制部117的操作，從而控制與語音輸出一起示出的顯示信息的輸出。

如果所檢測到的控制信息不是開始標記符，換句話說，所檢測到的控制信息是結(jié)束標記符(步驟S209，否)，則響應(yīng)控制部111不必處理作為控制目標的控制信息。這是因為當響應(yīng)控制部111在檢測到結(jié)束標記符之前檢測到對應(yīng)于結(jié)束標記符的開始標記符時，響應(yīng)控制部111控制相應(yīng)的顯示信息的輸出。

(步驟S215)

響應(yīng)控制部111繼續(xù)上述的處理，直到檢測到響應(yīng)信息d30的終止(步驟S215，否)。響應(yīng)控制部111基于響應(yīng)信息d30的終止的檢測，終止基于響應(yīng)信息d30的順序控制(步驟S215，是)。

以上參考圖7和圖8描述了根據(jù)本實施方式的信息處理設(shè)備10的順序處理的流程的示例。

<4.示例>

接著，將對根據(jù)本實施方式的信息處理設(shè)備10的示例進行說明。

[4.1.示例1：示出顯示信息的方法的示例]

首先，將與響應(yīng)信息的示例一起描述與語音輸出一致地示出顯示信息的方法的示例作為示例1。

例如，圖9是用于描述根據(jù)示例1的信息處理設(shè)備10顯示信息的方法的示例的示例性示圖。在參考圖3所討論的示例中，信息處理設(shè)備10不僅明確指定了將要作為語音被輸出的表達的內(nèi)容的顯示模式的時間段，而且控制了相應(yīng)顯示信息的顯示模式。與此相反，根據(jù)圖9中所示的變形例1的信息處理設(shè)備10與其中對應(yīng)于功能的表達作為語音被輸出的時間段同步地控制對應(yīng)于功能的的顯示信息的顯示模式。

類似于在圖3中所示的示例，在圖9中所示的示例說明了信息處理設(shè)備10基于“可以顯示時鐘、天氣預(yù)報、家庭日歷”的語音輸出對用戶Ua所說的“你能做什么？”的語音輸入進行響應(yīng)。

如在圖9中所示，根據(jù)示例1的信息處理設(shè)備10在由參考符號t21所表示的定時處開始輸出指示“時鐘”功能的表達c211作為語音，并且在顯示平面上淡入指示該“時鐘”功能的顯示信息v11。然后，信息處理設(shè)備10在信息處理設(shè)備10完成指示“時鐘”功能的表達c211的語音輸出的定時t22處同步完成在顯示平面上淡入顯示信息v11。換言之，根據(jù)本實施方式的信息處理設(shè)備10通過與其中指示“時鐘”功能的表達c211作為語音被輸出的時間段同步地在顯示平面上淡入顯示信息v11的方式控制指示“時鐘”功能的顯示信息的顯示。

接著，信息處理設(shè)備10在由參考符號t23所表示的定時處開始輸出指示“天氣預(yù)報”的功能的表達c213作為語音，并且在顯示平面上淡入指示“天氣預(yù)報”的功能的顯示信息v13。然后，信息處理設(shè)備10在信息處理設(shè)備10完成指示“天氣預(yù)報”功能的表達c213的語音輸出的定時t24處同步地完成在顯示平面上淡入顯示信息v13。換言之，根據(jù)本實施方式的信息處理設(shè)備10通過與其中指示“天氣預(yù)報”功能的表達c213作為語音輸出的時間段同步地在顯示平面上淡入顯示信息v13的方式控制指示“天氣預(yù)報”功能的顯示信息的顯示。

同樣，信息處理設(shè)備10在由參考符號t25所表示的定時處開始輸出指示“家庭日歷”的功能的表達c215作為語音，并且在顯示平面上淡入指示“家庭日歷”的功能的顯示信息v15。然后，信息處理設(shè)備10在信息處理設(shè)備10完成指示“家庭日歷”功能的表達c215的語音輸出的定時t26處同步地完成在顯示平面上淡入顯示信息v15。換言之，根據(jù)本實施方式的信息處理設(shè)備10控制指示“家庭日歷”功能的顯示信息v15的顯示，以便與其中指示“家庭日歷”的功能的表達c215作為語音被輸出的時間段同步地在顯示平面上淡入顯示信息v15。

然后，信息處理設(shè)備10在定時t17處輸出指示“可以顯示”的輔助短語的表達c217作為語音，在該定時處，信息處理設(shè)備10完成指示“家庭日歷”的功能的表達c215的語音輸出，以及指示“家庭日歷”的功能的顯示信息v15的輸出。然后，根據(jù)示例1的信息處理設(shè)備10終止對用戶Ua所說的“你能做什么？”的語音輸入的一組響應(yīng)。

接著，將參考圖10描述根據(jù)示例1的信息處理設(shè)備10的響應(yīng)信息與在圖9中所示的對應(yīng)于功能的表達作為語音被輸出的時間段同步地控制對應(yīng)于各功能的顯示信息的輸出的示例、以及基于響應(yīng)信息的操作的示例。圖10是描述根據(jù)示例1的響應(yīng)信息的示例，并且描述在圖9中所示的示例中的響應(yīng)信息的示例性示圖。

在圖10中，參考符號d40表示其中為“可以顯示時鐘、天氣預(yù)報、家庭日歷”的響應(yīng)內(nèi)容d20嵌入用于示出顯示信息v11、顯示信息v13以及顯示信息v15的控制信息的響應(yīng)信息的示例。

在響應(yīng)信息d30中分別表示為“時鐘”、“天氣預(yù)報”、“家庭日歷”的表達d42、d44、d46、和d47表示用于作為響應(yīng)并作為語音被輸出的信息，換言之，在響應(yīng)內(nèi)容d20中的相應(yīng)的表達。

參考符號d411、d413、d431、d433、d451和d453是用于控制示出顯示信息v11、顯示信息v13以及顯示信息v15的控制信息的示例。此外，控制信息d411、控制信息d431，以及控制信息d451各自對應(yīng)于被配置作為開始標記符的控制信息。同時，控制信息d413、控制信息d433，以及控制信息d453分別指示被配置作為開始標記符的控制信息d411、控制信息d431，以及控制信息d453的結(jié)束標記。

例如，控制信息d411和控制信息d413各自表示通過與指示“時鐘”的表達d42作為語音被輸出的時間段同步地在顯示平面內(nèi)淡入顯示信息v11的方式控制指示“時鐘”的顯示信息v11的顯示的控制信息的示例。換言之，在圖10中所示的示例中，插入控制信息d411和控制信息d413以涵蓋(enclose)指示“時鐘”的表達允許控制信息d411和控制信息d413指示表達d42作為語音被輸出的時間段。

同樣，控制信息d431和控制信息d433各自表示通過與指示“天氣預(yù)報”的表達d44作為語音被輸出的時間段同步地在顯示平面內(nèi)淡入顯示信息v13的方式控制指示“天氣預(yù)報”的顯示信息v13的顯示的控制信息的示例。控制信息d451和控制信息d453各自表示通過與指示“家庭日歷”的表達d45作為語音被輸出的時間段同步在顯示平面內(nèi)淡入顯示信息v15的方式控制指示“家庭日歷”的顯示信息v15的顯示的控制信息的示例。

接著，將描述由響應(yīng)控制部111基于圖10中所示的響應(yīng)信息d40執(zhí)行響應(yīng)處理的示例。

類似于上述實施方式，響應(yīng)控制部111連續(xù)地讀取從頭部所獲取的響應(yīng)信息d40的內(nèi)容，并且根據(jù)所讀取的信息的類型控制語音合成部115或者顯示控制部117的操作。

例如，當響應(yīng)控制部111檢測到被配置為開始標記符的控制信息d411時，響應(yīng)控制部111搜索對應(yīng)于控制信息d411的結(jié)束標記符，換句話說，控制信息d413。然后，響應(yīng)控制部111基于表達的長度，計算用于控制由“clock_icon”所表示的顯示信息v11的顯示的時間段，換句話說，由控制封信息d411(開始標記符)和控制信息d413(結(jié)束標記符)所涵蓋的指示“時鐘”的表達d42。

另外，基于實驗等預(yù)先計算由開始標記符和結(jié)束標記符所包括的表達的長度與用于控制顯示信息的顯示的時間段的長度之間的關(guān)系，以生成控制數(shù)據(jù)，并且所生成的控制數(shù)據(jù)被存儲在響應(yīng)控制部111可以讀取控制數(shù)據(jù)的位置。這使響應(yīng)控制部111基于控制數(shù)據(jù)計算根據(jù)由開始標記符和結(jié)束標記符包括的表達的長度的時間段。

響應(yīng)控制部111通過在屏幕上淡入顯示信息v11的方式，基于控制信息d411的內(nèi)容以及基于該控制信息d411和控制信息d413所計算的時間段，使顯示控制部117輸出顯示信息v11。在控制信息d411之后，響應(yīng)控制部111讀取指示“時鐘”的表達d42，將表達d42輸出到語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d41的語音信息。

這種配置使響應(yīng)控制部111通過與指示“時鐘”的表達d42作為語音被輸出的時間段同步地在屏幕上淡入顯示信息v11的方式，控制指示“時鐘”的顯示信息v11的顯示。

同樣，基于控制信息d431和控制信息d433，以及控制信息d451和控制信息d453來執(zhí)行上述控制。換句話說，響應(yīng)控制部111通過與指示“天氣預(yù)報”的表達d44作為語音被輸出的時間段同步地在屏幕上淡入顯示信息v13的方式，基于控制信息d431和控制信息d433，控制指示“天氣預(yù)報”的顯示信息v13的顯示。同樣，響應(yīng)控制部111通過與指示“家庭日歷”的表達d46作為語音被輸出的時間段同步地在屏幕上淡入顯示信息v15的方式，基于控制信息d451和控制信息d453，控制指示“家庭日歷”的顯示信息v15的顯示。

如上參考圖9和圖10所述的，根據(jù)示例1的信息處理設(shè)備10可以與對應(yīng)于功能的表達作為語音被輸出的時間段同步地控制對應(yīng)于功能的顯示信息的顯示模式。

[4.2.示例2：示出顯示信息的方法的示例]

在上述實施方式和示例中，已經(jīng)描述了其中信息處理設(shè)備10與對應(yīng)于功能的表達的語音輸出同步地控制顯示模式，以便在顯示平面上淡入對應(yīng)于各功能的顯示信息。同時，如果與語音輸出同步控制其它信息(如顯示信息)的輸出，則用于輸出其它信息的模式并不一定限于在上述實施方式和示例中所示出的方法。

然后，下面參考圖11和圖12描述與語音輸出一致地示出顯示信息的方法的另一示例作為示例2。圖11是用于描述根據(jù)示例2的信息處理設(shè)備10顯示信息的方法的示例的示例性示圖。圖12是用于描述根據(jù)示例2的響應(yīng)信息的示例的示例性示圖，并示出了在圖11中所示的示例中的響應(yīng)信息。

類似于在圖3和圖9所示的示例，在圖11中所示的示例說明了信息處理設(shè)備10基于“可以示出時鐘、天氣預(yù)報、家庭日歷”的語音輸出而對用戶Ua所說的“你能做什么？”的語音輸入進行響應(yīng)。同時，在圖11中所示的示例與在圖3和圖9中所示的示例的不同在于，在圖11所示的示例中預(yù)先顯示分別對應(yīng)于“時鐘”、“天氣預(yù)報”和“家庭日歷”的顯示信息v11、顯示信息v13，以及顯示信息v15。

如在圖11中所示的，根據(jù)示例2的信息處理設(shè)備10在由參考符號t31表示的定時處開始指示“時鐘”的功能的表達c211的語音輸出，并且與語音輸出的開始同步地開始執(zhí)行顯示控制(這也將被稱為“變大”)，以變大顯示信息v11。然后，在定時t11之后，信息處理設(shè)備10控制顯示信息v11的輸出，以便在預(yù)設(shè)的時間段(如300[ms])完成顯示信息v11的變大。

此外，在圖11中，從定時t31到定時t32的時間段對應(yīng)于其中信息處理設(shè)備10開始變大顯示信息v11并且隨后完成顯示信息v11的變大的時間段。換句話說，截止到定時t12顯示信息v11已經(jīng)被變大。所變大的顯示信息v11也將被稱為“顯示信息v11'”，以將所變大的顯示信息v11與還沒有被變大的顯示信息v11進行區(qū)分。

接著，信息處理設(shè)備10在由參考符號t33表示的定時處開始指示“天氣預(yù)報”的功能的表達c213的語音輸出。然后，信息處理設(shè)備10與語音輸出的開始同步地開始變大顯示信息v13，并執(zhí)行顯示控制，以將顯示信息v11'縮小(這也將被稱為“收縮”)到在變大之前的大小。在定時t33之后，信息處理設(shè)備10通過在預(yù)設(shè)的時間段(如300[ms])使信息處理設(shè)備10完成顯示信息v13的變大以及顯示信息v11'的縮小的方式來控制顯示信息v13和顯示信息v11'的輸出。

此外，在圖11中，從定時t33到定時t34的時間段對應(yīng)于其中信息處理設(shè)備10開始變大顯示信息v13并且縮小顯示信息v11'并且隨后完成顯示信息v13的變大以及顯示信息v11'的縮小的時間段。換句話說，截止到定時t14，顯示信息v13已經(jīng)被變大，并且顯示信息v11'已經(jīng)被縮小到變大之前的大小(即，顯示信息v11已被顯示)。所變大的顯示信息v13也將被稱為“顯示信息v13'”，以將所變大的顯示信息v13與還沒有被變大的顯示信息v13進行區(qū)分。

接著，信息處理設(shè)備10在由參考符號t35表示的定時處開始指示“家庭日歷”的功能的表達c215的語音輸出。然后，信息處理設(shè)備10與語音輸出的開始同步地開始變大顯示信息v15并縮小顯示信息v13'。在定時t35之后，信息處理設(shè)備10通過在預(yù)設(shè)的時間段(如300[ms])使信息處理設(shè)備10完成顯示信息v15的變大以及顯示信息v13'的縮小的方式來控制顯示信息v15和顯示信息v13'的輸出。

此外，在圖11中，從定時t35到定時t36的時間段對應(yīng)于其中信息處理設(shè)備10開始變大顯示信息v15并且縮小顯示信息v13'且隨后完成顯示信息v15的變大以及顯示信息v13'的縮小的時間段。換句話說，截止到定時t16，顯示信息v15已經(jīng)被變大，并且顯示信息v13'已經(jīng)被縮小到變大之前的大小(即，顯示信息v13已被顯示)。所變大的顯示信息v15也將被稱為“顯示信息v15'”，以將所變大的顯示信息v15與還沒有被變大的顯示信息v15進行區(qū)分。

然后，信息處理設(shè)備10在信息處理設(shè)備10完成輸出一組顯示信息v11、顯示信息v13以及顯示信息v15的定時t17處輸出剩余的表達作為語音，換言之，信息處理設(shè)備10還沒有作為語音完成輸出的指示“可以顯示”的輔助短語的表達c217。然后，信息處理設(shè)備10終止對用戶Ua所說的“你能做什么？”的語音輸入的一組響應(yīng)。

接著，將參考圖2描述用于根據(jù)示例2的信息處理設(shè)備10與對應(yīng)于在圖11中所示的功能的表達被作為語音輸出的時間段同步地控制對應(yīng)于各功能的顯示信息的輸出的響應(yīng)信息的示例，以及基于響應(yīng)信息的操作的示例。

在圖10中，參考符號d50表示其中為“可以顯示時鐘、天氣預(yù)報、家庭日歷”的響應(yīng)內(nèi)容d20嵌入用于示出顯示信息v11、顯示信息v13，以及顯示信息v15的控制信息的響應(yīng)信息的示例。

在響應(yīng)信息d50中分別表示為“時鐘”、“天氣預(yù)報”、“家庭日歷”和“可以顯示”的表達d51、d53、d55，以及d57表示用作響應(yīng)并作為語音被輸出的信息，換言之，在響應(yīng)內(nèi)容d20中的相應(yīng)表達。

參考符號d52、d541、d542、d561和d562是用于控制示出顯示信息v11、顯示信息v13，以及顯示信息v15的控制信息的示例。

例如，由控制信息d52、控制信息d541，以及控制信息d561表示的“anim_expand”標記符分別對應(yīng)于用于變大在“item”屬性中指定的顯示信息的控制信息。此外，在圖12中所示的示例中，變大顯示信息的時間段被指定為用于“anim_expand”標記符的“duration”屬性。

由控制信息d542和控制信息d562表示的“anim_shrink”標記符分別對應(yīng)于用于縮小在“item”屬性中指定的顯示信息的控制信息。此外，在圖12中所示的示例中，縮小顯示信息的時間段被指定為用于“anim_shrink”標記符的“duration”屬性。

接著，將基于在圖12中所示的響應(yīng)信息d50描述由響應(yīng)控制部111執(zhí)行的響應(yīng)處理的示例。

類似于上述實施方式，響應(yīng)控制部111連續(xù)地從頭部讀取所獲取的響應(yīng)信息d40的內(nèi)容，并根據(jù)所讀取的信息的類型控制語音合成部115或顯示控制部117的操作。

在圖12所示的示例中，響應(yīng)控制部111首先讀取“時鐘”的表達d51，并檢測緊接在表達d51之后被插入的控制信息d52。

然后，響應(yīng)控制部111將所讀取的“時鐘”的表達d51輸出到語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d51的語音信息。響應(yīng)控制部111使顯示控制部117基于所檢測到的控制信息d52的內(nèi)容，通過在“300ms”內(nèi)變大顯示信息v11的方式控制由“clock_icon”所表示的顯示信息v11的輸出。

接著，響應(yīng)控制部111讀取“天氣預(yù)報”的表達d53，并檢測緊接在表達d33之后被插入的控制信息d541和控制信息d542。

在這種情況下，響應(yīng)控制部111將所讀取的“天氣預(yù)報”的表達d53輸出到語音合成部115，并且使語音合成部115輸出對應(yīng)于該表達d53的語音信息。響應(yīng)控制部111使顯示控制部117基于所檢測到的控制信息d541的內(nèi)容，通過在“300ms”內(nèi)縮小顯示信息v11的方式控制由“clock_icon”所表示的顯示信息v11的輸出。在這種情況下，基于控制信息d52所變大的顯示信息v11(即顯示信息v11')在“300ms”內(nèi)被縮小到變大之前的大小。響應(yīng)控制部111使顯示控制部117基于所檢測到的控制信息d542的內(nèi)容，通過在“300ms”內(nèi)變大顯示信息v13的方式控制由“weather_icon”所表示的顯示信息v13的輸出。

類似地，響應(yīng)控制部111讀取“家庭日歷”的表達，并檢測緊接在表達d55之后被插入的控制信息d561和控制信息d562。

然后，在這種情況下，響應(yīng)控制部111將所讀取的“家庭日歷”的表達d55輸出到語音合成部115，并使語音合成部115輸出對應(yīng)于該表達d55的語音信息。響應(yīng)控制部111使顯示控制部117基于所檢測到的控制信息d561的內(nèi)容，通過在“300ms”內(nèi)縮小顯示信息v13的方式控制由“weather_icon”所表示的顯示信息v11的輸出。在這種情況下，基于控制信息d542所變大的顯示信息v13(即顯示信息v13')在“300ms”內(nèi)被縮小到變大之前的大小。響應(yīng)控制部111使顯示控制部117基于所檢測到的控制信息d562的內(nèi)容，通過在“300ms”內(nèi)變大顯示信息v15的方式控制由“calender_icon”所表示的顯示信息v15的輸出。

最后，響應(yīng)控制部111讀取“可以顯示”的表達d57，并在讀取表達d57之后檢測到響應(yīng)信息d50的終止。

在這種情況下，響應(yīng)控制部111將所讀取的“可以顯示”的表達d57輸出到語音合成部115，并且使語音合成部115輸出對應(yīng)于表達d57語音信息。響應(yīng)控制部111基于響應(yīng)信息d50的終止的檢測來終止基于響應(yīng)信息d50的順序控制。

如上面參考圖11和圖12所述的，如作為示例2所描述的信息處理設(shè)備10可以通過與對應(yīng)于功能的表達的語音輸出同步變大顯示信息的方式來控制對應(yīng)于功能的顯示信息的顯示模式。

以上僅示出了示例。只要與語音輸出同步控制不同于對應(yīng)于在響應(yīng)內(nèi)容的各功能的表達的語音輸出的其它信息的輸出，則用于輸出其它信息的模式不限于如上所討論的。此外，如果與語音輸出同步將不同于語音輸出的其它信息示出給用戶，則其它信息不限于任何類型。

例如，圖13是示出可以由響應(yīng)信息定義的控制信息的示例的示圖。在圖13中所示的示例說明了用于與語音輸出同步控制“作為動畫顯示該顯示信息”，“閃爍或接通LED”以及“使用音頻輸出(例如，音效)得到聲音反饋”的控制信息。

作為具體的示例，用于作為動畫顯示該顯示信息的控制的示例包括：“使得顯示信息可見/不可見”，“淡入/淡出顯示信息”，“變大/縮小顯示信息”，“閃爍顯示信息”、“移動顯示信息”，以及“滾動顯示信息”。此外，可以指定“時間”、“次數(shù)”等作為用于執(zhí)行各種控制的參數(shù)。

用于閃爍或接通LED的控制的示例包括“接通/斷開LED”，“淡入/淡出LED”，以及“閃爍LED”。此外，可以指定“顏色”、“時間”、“次數(shù)”等作為用于執(zhí)行各種控制的參數(shù)。

使用音頻輸出得到聲音反饋的控制的示例包括“播放音頻輸出”，“停止音頻輸出”，“淡入/淡出音頻輸出”，以及“設(shè)置音頻輸出的音量”。此外，可以指定“聲音(輸出對象)”、“時間”、“次數(shù)”等作為用于執(zhí)行各種控制的參數(shù)。

毋庸置疑，如上所述，例如，不僅可以控制如在圖13中所示的所謂的可視信息和聽覺信息，而且還可以控制刺激觸覺、嗅覺，或者味覺的信息。除了顯示動畫，對視覺信息(如顯示信息)的控制還可以包括改變(切換)顯示信息的顯示模式(如顏色和形狀)。

[4.3.示例3：根據(jù)處理內(nèi)容控制顯示信息的示例]

參考圖14到圖17，作為示例3，下面描述了基于來自用戶的語音輸出，根據(jù)處理內(nèi)容控制與語音信息同步輸出的的語音信息和其它信息(諸如顯示信息)的輸出。

例如，圖14示出信息處理設(shè)備10從用戶Ua接收“明天下午5點我將要去看牙醫(yī)”的語音輸入c30，基于該語音輸入c30在“家庭日歷”功能中記錄該計劃，并對用戶Ua進行響應(yīng)。

然后，信息處理設(shè)備10基于語音輸入c30的分析結(jié)果將“家庭日歷”功能確定為相應(yīng)的功能，并在顯示平面上顯示“家庭日歷”功能的屏幕v31。

信息處理設(shè)備10輸出“已經(jīng)記錄該計劃”的語音信息c31，并且在屏幕v31的相應(yīng)位置處與語音信息c31的輸出同步地示出指示在“下午5點”“牙醫(yī)”的計劃的顯示信息v311。然后，信息處理設(shè)備10可以通過將顯示信息v311顯示為動畫而給用戶Ua示出該新計劃已經(jīng)被顯示出來。

在圖14中所示的示例中，可以看出的是可以在基于語音信息c31和顯示信息v311的響應(yīng)后通過將“還可以記錄姓名”的語音信息c33輸出給用戶Ua，將信息添加到所記錄的計劃中。在這種情況下，信息處理設(shè)備10可以與語音信息c33的輸出同步地控制對應(yīng)于處理內(nèi)容的顯示信息v33的顯示模式，換言之，由語音信息c33示出給用戶Ua的“記錄姓名”。

作為具體示例，信息處理設(shè)備10可以與語音信息c33的輸出同步地通過將顯示信息v33閃爍多達預(yù)定次數(shù)來控制用于記錄姓名的顯示信息v33的顯示，由此將所顯示的處理內(nèi)容和顯示信息之間的關(guān)系示出給用戶。

參考圖15，將描述用于信息處理設(shè)備10進行如圖14所示的響應(yīng)的響應(yīng)信息的示例。圖15是用于描述根據(jù)示例3的響應(yīng)信息d60的示例的示例性示圖。

如在圖15中所示，用于控制顯示信息v311和顯示信息v33的輸出的控制信息d62和控制信息d65被嵌入至用于“已經(jīng)記錄該計劃”的響應(yīng)內(nèi)容以及“還可以記錄姓名”的響應(yīng)內(nèi)容的響應(yīng)信息d60。

在響應(yīng)信息d60中分別由“該計劃”、“已經(jīng)記錄”、“姓名”以及“還可以記錄”表示的表達d61、d63、d64以及d66表示用作響應(yīng)并作為語音被輸出的信息，換言之，在響應(yīng)內(nèi)容中的相應(yīng)的表達。

控制信息d62是用于通過在對應(yīng)于在“time”屬性中指定的時間的位置處淡入該計劃的方式，顯示在“家庭日歷”(被指定為在“item”屬性中的“schedule(日程表)”)的顯示屏幕v31上的“title”屬性中指定的計劃的控制信息。此外，在圖15中所示的示例中，控制信息d62指定淡入在“title”中指定的計劃的時間段作為“duration”屬性。

控制信息d65是用于顯示該顯示信息v33的控制信息，其通過使顯示信息v33閃爍多達在“repeat”屬性中指定的次數(shù)的方式，在“item”屬性中將姓名記錄為“name_form”。

將不會對基于相應(yīng)信息d60的響應(yīng)處理的內(nèi)容進行詳細描述，因為其類似于上述實施方式和示例中的響應(yīng)處理的內(nèi)容。

當信息處理設(shè)備10給用戶示出可以另外輸入信息(如在圖15中所示)時，該信息處理設(shè)備10可以在不終止所執(zhí)行的“家庭日歷”功能的情況下，繼續(xù)用于“家庭日歷”功能的處理。

接下來，參考圖16，將描述當用戶Ua響應(yīng)于在圖15中所示的“還可以記錄姓名”的響應(yīng)時而進行新的語音輸入時執(zhí)行的操作的示例。圖16是用于描述根據(jù)示例3的信息處理設(shè)備10的操作的示例的示例性示圖。在圖16中所示的示例示出了信息處理設(shè)備10在接收“還可以記錄姓名”的響應(yīng)時，接收由用戶Ua所說的“記錄Junki作為姓名”的語音輸入c34。

然后，信息處理設(shè)備10可以縮小范圍以在分析所獲取的語音輸入c34時通過考慮被執(zhí)行的功能的狀態(tài)確定響應(yīng)內(nèi)容。作為具體示例，在圖16中所示的示例中，信息處理設(shè)備10可以識別所獲取的語音輸入c34作為輸入信息用于被執(zhí)行的“家庭日歷”功能，并且確定對應(yīng)的響應(yīng)內(nèi)容。

一旦該信息處理設(shè)備10獲取語音輸入c24，信息處理設(shè)備10分析該語音輸入。信息處理設(shè)備10由此識別到待記錄作為“姓名”的內(nèi)容是“Junki”，并且將“Junki”與預(yù)先記錄的“牙醫(yī)”的計劃關(guān)聯(lián)。

信息處理設(shè)備10輸出“已經(jīng)記錄該姓名”的語音信息c35，并與語音信息c35的輸出同步地示出輸入“Junki”的姓名的顯示信息v35用于在圖15中所示的顯示信息v33。然后，信息處理設(shè)備10可以通過顯示該顯示信息v35給用戶Ua示出已經(jīng)記錄了由用戶Ua指定的“Junki”的姓名，從而在顯示信息v33中淡入姓名“Junki”。

參考圖17，將描述用于信息處理設(shè)備10進行如圖16中所示的響應(yīng)的響應(yīng)信息的示例。圖17是用于描述根據(jù)示例3的響應(yīng)信息d70的示例的示例性示圖。

如在圖17中所示，用于控制顯示信息v35的輸出的控制信息d72被嵌入響應(yīng)信息d70用于“已經(jīng)記錄姓名”的響應(yīng)內(nèi)容。

在響應(yīng)信息d70中分別由“該姓名”和“已經(jīng)記錄”所表示的表達d71和d73指示用作響應(yīng)并作為語音輸出的信息，換言之，在響應(yīng)內(nèi)容中的相應(yīng)的表達。

控制信息d72是通過顯示在“name”屬性中指定的姓名“Junki”從而在“item”屬性中指定為“name_form”的顯示信息v33中淡入的方式來顯示該顯示信息v35的控制信息。此外，在圖17中所示的示例中，控制信息d72指定淡入在“name”中指定的姓名的時間段作為“duration”屬性。

將不會對基于相應(yīng)信息d70的響應(yīng)處理的內(nèi)容進行詳細描述，因為其類似于上述實施方式和示例中的響應(yīng)處理的內(nèi)容。

如參考圖14到圖17的示例3所描述的，信息處理設(shè)備10可以基于來自用戶語音輸入，與根據(jù)處理內(nèi)容的語音信息的輸出同步地控制語音信息和其它信息(諸如顯示信息)的輸出。

[4.4.例4：將信息顯示給多個用戶的方法的示例]

作為示例4，下面描述了用于信息處理設(shè)備10響應(yīng)于來自各用戶的語音輸入而對多個用戶進行響應(yīng)的配置和操作的示例。

例如，圖18是用于說明根據(jù)示例4的信息處理設(shè)備10的示例的示圖。在圖18中所示的示例中，信息處理設(shè)備10包括多個音頻輸出部51a和51作為用于輸出語音信息的音頻輸出部51。當信息處理設(shè)備10響應(yīng)于來自用戶的語音輸入而進行語音輸出時，該信息處理設(shè)備10經(jīng)由多個音頻輸出部51a和51b中的被定位成更靠近作為語音輸入的說話者的用戶的一個進行語音輸出。然后，信息處理設(shè)備10在用戶附近與語音輸出一致地顯示顯示信息。

例如，在圖18中所示的示例中，信息處理設(shè)備10響應(yīng)于由用戶Ua所說的“現(xiàn)在倫敦幾點了？”的語音輸入c40a，從被定位成靠近用戶Ua的音頻輸出部51a輸出“現(xiàn)在是下午5點”的語音信息c41a。此外，信息處理設(shè)備10隨后與語音信息c41a的輸出同步地控制對應(yīng)于“時鐘”功能的顯示信息v41的顯示，以便在顯示平面內(nèi)對應(yīng)于靠近用戶Ua的區(qū)域的位置處淡入顯示信息v41。

同時，信息處理設(shè)備10響應(yīng)于由用戶Ub所說的“明天天氣怎么樣？”的語音輸入c40b，從被定位成靠近用戶Ub的音頻輸出部51b輸出“將要下雨”的語音信息c41b。此外，信息處理設(shè)備10隨后與語音信息c41b的輸出同步地控制對應(yīng)于“天氣預(yù)報”功能的顯示信息v43的顯示，以便在顯示平面內(nèi)對應(yīng)于靠近用戶Ub的區(qū)域的位置處淡入顯示信息v43。

在這種情況下，例如，信息處理設(shè)備10基于“倫敦現(xiàn)在幾點了”的語音輸入c40a所來自的方向，估計說出語音輸入c40的來源，換句話說，用戶Ua的位置。此外，信息處理設(shè)備10分析“倫敦現(xiàn)在幾點了”的語音輸入c40a，并基于分析結(jié)果生成用于響應(yīng)語音輸入c40的響應(yīng)信息。然后，信息處理設(shè)備10將用戶Ua的位置的估計結(jié)果與所生成的響應(yīng)信息相關(guān)聯(lián)。

當信息處理設(shè)備10基于所生成的響應(yīng)信息對用戶Ua的語音輸入c40a進行響應(yīng)時，信息處理設(shè)備10基于與響應(yīng)信息相關(guān)聯(lián)的用戶Ua的位置的估計結(jié)果來確定語音信息和顯示信息輸出至的目的地。具體地，信息處理設(shè)備10基于用戶Ua的位置的估計結(jié)果確定音頻輸出部51a(其輸出用于對語音輸入c40a進行響應(yīng)的“現(xiàn)在是下午5點”的語音信息c41a)?；谟脩鬠a的位置的估計結(jié)果，信息處理設(shè)備10進一步確定在用戶Ua相對于信息處理設(shè)備10出現(xiàn)的方向上的顯示平面內(nèi)的區(qū)域，作為顯示對應(yīng)于“時鐘”功能的顯示信息v41的位置。

此外，當信息處理設(shè)備10對用戶Ub所說的“明天天氣怎么樣”的語音輸入c40b進行相應(yīng)時，該信息處理設(shè)備10以相同的方式基于估計結(jié)果估計用戶Ub的位置并控制語音信息c41b和顯示信息v43的輸出。

圖19是用于描述根據(jù)示例1的信息處理設(shè)備10的另一示例的示圖。在圖19中所示的示例中，信息處理設(shè)備10確定作為語音輸入的說話者的用戶，并根據(jù)所識別的用戶控制語音信息和顯示信息輸出的輸出模式作為對語音輸入的響應(yīng)。

例如，在圖19中所示的示例中，當信息處理設(shè)備10基于語音輸出進行響應(yīng)時，信息處理設(shè)備10根據(jù)對其進行響應(yīng)的用戶改變說出語音輸出的方式、語音輸出的音調(diào)、語音輸出的嗓音等。作為具體示例，信息處理設(shè)備10針對成人用戶Ua和Ub，以及兒童用戶Uc改變說話的方式。

信息處理設(shè)備10可以包括在待輸出作為語音的響應(yīng)內(nèi)容內(nèi)的能夠讓所識別的用戶記住的信息(諸如姓名)。作為具體示例，在圖19中所示的示例中，信息處理設(shè)備10生成包括用戶Uc的姓名的響應(yīng)內(nèi)容，像“現(xiàn)在是早飯時間，Yuta”作為對用戶Uc的響應(yīng)，并且輸出指示響應(yīng)內(nèi)容的語音信息c55c。

信息處理設(shè)備10還可以在輸出顯示信息時根據(jù)報告給其的用戶來改變顯示信息的顯示模式。例如，在圖19中所示的示例中，信息處理設(shè)備10根據(jù)報告給其的用戶切換方向，以在顯示平面上淡入顯示信息。

具體地，信息處理設(shè)備10與語音信息c51a的輸出同步控制顯示信息v51a的輸出，以便在顯示平面上從右至左淡入顯示信息v51a作為對用戶Ua的響應(yīng)。信息處理設(shè)備10與語音信息c53b的輸出同步控制顯示信息v53b的輸出，以便在顯示平面上從左至右淡入顯示信息v53b作為對用戶Ub的響應(yīng)。類似地，信息處理設(shè)備10與語音信息c55c的輸出同步控制顯示信息v55c的輸出，以便在顯示平面上從下至上淡入顯示信息v55c作為對用戶Uc的響應(yīng)。

在這種情況下，基于所謂的揚聲器識別技術(shù)從來自每個用戶的語音輸入提取諸如聲紋的特征，并將所提取的特征與預(yù)先存儲的每個用戶的特征進行比較，從而確定該用戶。然后信息處理設(shè)備10基于語音輸入的分析結(jié)果生成響應(yīng)信息，并將基于語音輸入所確定的用戶的信息與所生成的響應(yīng)信息關(guān)聯(lián)。

當信息處理設(shè)備10基于所生成的響應(yīng)信息執(zhí)行響應(yīng)處理時，信息處理設(shè)備10基于與響應(yīng)信息相關(guān)聯(lián)的用戶的信息識別對其進行響應(yīng)的用戶，并且控制根據(jù)所識別的用戶控制語音信息和顯示信息的輸出模式。

如上面示例4所述的，當信息處理設(shè)備10對多個用戶進行響應(yīng)時，該信息處理設(shè)備10可以基于各用戶的位置以及各用戶的確定結(jié)果，與語音信息同步控制響應(yīng)于語音輸入的待輸出的語音信息的輸出模式以及待輸出的其它信息。

[4.5.例5：當用戶中斷時顯示信息的方法的示例]

參考圖20，作為示例5，下面描述了當信息處理設(shè)備10正在響應(yīng)來自用戶的語音輸入時，用戶中斷并進行新的語音輸入時信息處理設(shè)備10顯示信息的方法的示例。圖20是用于描述根據(jù)示例5的信息處理設(shè)備10的示例的示圖。

假設(shè)在圖20中所示的示例中，信息處理設(shè)備10首次從用戶Ua接收“明天有任何計劃嗎？”的語音輸入c60。然后，信息處理設(shè)備10輸出指示在早上日程表中的計劃的“在明早7點，…”的語音信息c61作為對語音輸入c60的響應(yīng)，并且與語音信息c61的輸出同步在顯示平面上淡入顯示信息v61。

假設(shè)當信息處理設(shè)備10正在輸出語音信息c61和顯示信息v61時，用戶Ua進行“噢，請告訴我下午的計劃”的語音輸入c62以請求信息處理設(shè)備10顯示下午日程表中的計劃。

接收了該語音輸入c62后，信息處理設(shè)備10取消該信息處理設(shè)備10正在進行的語音信息c61以及顯示信息v61的輸出。然后，信息處理設(shè)備10控制顯示信息v61的輸出，從而從顯示平面將在顯示平面淡入的顯示信息v61淡出。信息處理設(shè)備10通過這種顯示控制將信息處理設(shè)備10已經(jīng)取消的語音信息c61和顯示信息v61的輸出示出給用戶Ua。

信息處理設(shè)備10重新輸出指示在下午日程表中的計劃的“是的，您將在下午1:30點有一個會議”的語音信息c63，并且與語音信息c63的輸出同步在顯示平面上淡入顯示信息v63。

如果信息處理設(shè)備10取消了該信息處理設(shè)備10正在進行的信息輸出，并重新顯示信息，那么該信息處理設(shè)備10可以控制新的信息的輸出，從而指示了新的信息被示出。作為具體示例，信息處理設(shè)備10可以在與顯示信息v61的位置相同的位置處，或者在與顯示信息v61的位置不同的位置處顯示被重新顯示的顯示信息v63。

如果信息處理設(shè)備10在取消時重新輸出語音信息，那么信息處理設(shè)備10可以用與在取消前所使用的語句不同的語句輸出新的語音信息。作為具體示例，在圖20所示的示例中，信息處理設(shè)備10改變了介詞短語使用的方式，從而強調(diào)在語音輸入c62中的“下午”的表達。信息處理設(shè)備10可以進一步包括響應(yīng)內(nèi)容中的諸如“是的”以及“我明白了”的表達，以表明已經(jīng)接收了新的語音輸入。

毋庸置疑，當信息處理設(shè)備10正在進行響應(yīng)時，該信息處理設(shè)備10可以通過監(jiān)測接收語音輸入的定時以及用于語音輸入的響應(yīng)處理的處理序列來識別用戶中斷并進行新的語音輸入。

如上面作為示例5所述的，如果用戶在信息處理設(shè)備10正在對來自用戶的語音輸入進行響應(yīng)時中斷并進行新的語音輸入，則該信息處理設(shè)備10可以向用戶顯示該信息處理設(shè)備10一直進行的響應(yīng)被取消了。如果信息處理設(shè)備10由于響應(yīng)的取消而進行新的響應(yīng)，則信息處理設(shè)備10可進一步以與取消前所使用的顯示模式不同的顯示模式，與語音信息同步顯示作為響應(yīng)的待輸出的語音信息，以及待輸出的其它信息(諸如顯示信息)。<5.硬件配置>

接著，將參考圖21對根據(jù)本公開內(nèi)容的各實施方式信息處理設(shè)備10的硬件配置的示例進行詳細描述。圖21示出了根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的硬件配置的示例。

如在圖21中所示的，根據(jù)本實施方式的信息處理設(shè)備10包括處理器901、存儲器903、儲存器905、揚聲器911、通信設(shè)備913，以及總線915。信息處理設(shè)備10還可以包括操作設(shè)備907和顯示設(shè)備909。

例如，處理器901可以是中央處理單元(CPU)、圖形處理單元(GPU)、數(shù)字信號處理器(DSP)，片上系統(tǒng)(SoC)，并且執(zhí)行信息處理設(shè)備10的各種處理。例如，處理器901可以由用于執(zhí)行各種操作的電子電路組成?？梢杂商幚砥?01來實現(xiàn)以上所討論的輸入信息分析部101、響應(yīng)信息生成部103、處理執(zhí)行部105、響應(yīng)控制部111、語音合成部115，以及顯示控制部117。

存儲器903包括隨機存取存儲器(RAM)和只讀存儲器(ROM)，并且存儲待由處理器901執(zhí)行的程序和數(shù)據(jù)。儲存器905可以包括存儲介質(zhì)，例如半導(dǎo)體存儲器和硬盤。例如，上面所討論的字典信息存儲部109可以被配置為存儲器903和儲存器905的至少一個，或它們的組合。

操作設(shè)備907具有產(chǎn)生用于允許用戶執(zhí)行期望操作的輸入信號的功能。例如，操作設(shè)備907可以由輸入部(諸如按鈕和開關(guān))和輸入控制電路組成，該輸入部允許用戶輸入信息，該輸入控制電路用于基于來自用戶的輸入生成輸入信號并將輸入信號提供給處理器901。

顯示設(shè)備909是輸出設(shè)備的示例，并且可以是如液晶顯示器(LCD)的顯示器和有機發(fā)光二極管(OLED)顯示器。在這種情況下，顯示設(shè)備909可以通過顯示屏幕通知用戶預(yù)定的信息?？梢杂娠@示設(shè)備909來實現(xiàn)上面所討論的顯示部53。

揚聲器911是用于輸出音頻信號和語音信號的輸出設(shè)備的示例。可以通過揚聲器911來實現(xiàn)上面所討論的音頻輸出部51。

通信設(shè)備913是包括在信息處理設(shè)備10中的通信裝置，并且經(jīng)由網(wǎng)絡(luò)與外部設(shè)備進行通信。通信設(shè)備913是有線或無線的通信接口。如果通信設(shè)備913被配置為無線通信接口，那么該通信設(shè)備913可以包括通信天線、射頻(RF)電路、基帶處理器等。

在通信設(shè)備913具有對從外部設(shè)備接收的信號執(zhí)行多個信號處理的功能，并且并且可以將從所接收到的模擬信號產(chǎn)生的數(shù)字信號提供給處理器901。

總線913將處理器901、存儲器903、儲存器905、操作設(shè)備907、顯示設(shè)備909、揚聲器91以及通信設(shè)備913連接至彼此。總線915可以包括多種類型的總線。

還可以制造程序，用于使內(nèi)置在計算機中的硬件(例如處理器、內(nèi)存器，以及存儲器)執(zhí)行對應(yīng)于信息處理設(shè)備10的組件的功能。也有可能提供在其上記錄程序的計算機可讀存儲介質(zhì)。

<6.結(jié)論>

如上所述，根據(jù)本實施方式的信息處理設(shè)備10包括所謂的交互式界面，其允許信息處理設(shè)備10基于語音輸出和不同于語音輸出的其它信息(諸如顯示信息)，通過相應(yīng)于由用戶進行的語音輸入與用戶進行交互。基于這種配置，根據(jù)本實施方式的信息處理設(shè)備10與對應(yīng)于功能的表達的語音輸出同步控制與每個功能相關(guān)的其它信息的輸出。這允許用戶直觀地識別對應(yīng)于功能輸出的其它信息作為語音。

以上描述了其中信息處理設(shè)備10與對應(yīng)于功能的表達的語音輸出同步控制涉及各功能的其它信息的輸出，但是語音輸出不一定完全與其它信息的輸出同步。例如，用戶操作信息處理設(shè)備10的一些環(huán)境，或者使用信息處理設(shè)備10的一些方式可以延遲語音輸出和相對于另一個輸出的其它輸出的一個，只要輸出之間的關(guān)系可以被識別。在這種情況下，信息處理設(shè)備10可以根據(jù)待輸出作為語音或者其它類型的信息的信息的長度控制延遲量(輸出定時)。

以上描述了其中由用戶用于輸入信息所說的的語音輸入的示例，其被用于使用戶將信息輸入給信息處理設(shè)備10的輸入方法，但是使用戶將信息輸入給信息處理設(shè)備10的輸入方法不一定限于語音輸入。

例如，信息處理設(shè)備10可以經(jīng)由輸入設(shè)備(例如鍵盤、鼠標，或觸摸面板)獲取用戶輸入。作為具體的示例，信息處理設(shè)備10可以接收由用戶進行的操作(如移動光標)，并通過鍵操作和鼠標操作，以及敲擊觸摸板來確定選擇的目標，并從在顯示部上顯示的顯示信息識別由用戶所選擇的顯示信息。

作為另一示例，信息處理單元10可以提供用于用戶通過手勢輸入來輸入信息的界面。作為具體示例，信息處理設(shè)備10可以基于通過成像部捕捉到的用戶的圖像來識別用戶的操作(手勢)，以及根據(jù)所識別的操作，基于手勢輸入由用戶選擇的識別信息(如在顯示部上顯示的顯示信息)。

上面已經(jīng)參照附圖描述了本公開內(nèi)容的優(yōu)選實施方式，但是本公開內(nèi)容不限于上述示例。本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種替換和修改，并且應(yīng)當理解的是，它們本質(zhì)上將會在本公開內(nèi)容的技術(shù)范圍內(nèi)。

此外，在本說明書中描述的效果僅是說明性或例示性的效果，并且不是限制性的。即，使用上述效果或者出現(xiàn)上述效果時，根據(jù)本公開內(nèi)容的技術(shù)基于本說明書的描述可以實現(xiàn)對本領(lǐng)域技術(shù)人員清楚的其它效果。

此外，本技術(shù)可以被如下配置。

(1)一種信息處理設(shè)備，包括：

控制部，被配置為基于關(guān)于進行一組表達中的有關(guān)功能的表達的語音輸出的定時的定時信息，控制與有關(guān)預(yù)定功能的語音輸出不同的其它信息的輸出，所述一組表達包括有關(guān)功能的表達。

(2)根據(jù)(1)所述的信息處理設(shè)備，其中，

其它信息是在顯示部上顯示的顯示信息。

(3)根據(jù)(2)所述的信息處理設(shè)備，其中，

控制部控制所述一組表達的語音輸出。

(4)根據(jù)(3)所述的信息處理設(shè)備，其中，

控制部基于由語音合成部執(zhí)行的語音合成處理來控制一組表達的語音輸出。

(5)根據(jù)(4)所述的信息處理設(shè)備，其中，

語音合成處理是基于用戶的語音輸入所執(zhí)行的處理。

(6)根據(jù)(5)所述的信息處理設(shè)備，其中，

根據(jù)通過用戶的語音輸入所表示的語義內(nèi)容來生成一組表達。

(7)根據(jù)(4)到(6)中任何一項所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達的語音輸出同步地控制有關(guān)功能的顯示信息的輸出。

(8)根據(jù)(7)所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達的語音輸出同步地改變有關(guān)功能的顯示信息。

(9)根據(jù)(7)所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達的語音輸出同步地控制使得有關(guān)功能的顯示信息可見以及不可見。

(10)根據(jù)(7)所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達的語音輸出同步地控制有關(guān)功能的音頻信息的輸出。

(11)根據(jù)(7)所述的信息處理設(shè)備，其中，

控制部根據(jù)功能與有關(guān)功能的表達的語音輸出同步地利用發(fā)光的次數(shù)或者發(fā)光模式來控制發(fā)光部的發(fā)光。

(12)根據(jù)(1)到(11)中任何一項所述的信息處理設(shè)備，其中，

一組表達包括表示根據(jù)功能的處理內(nèi)容的表達，

控制部與一組表達中的表示處理內(nèi)容的表達的語音輸出同步地控制與根據(jù)處理的內(nèi)容的語音輸出不同的其它信息的輸出。

(13)根據(jù)(7)到(11)中任何一項所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達作為語音被輸出的定時同步地控制有關(guān)功能的其它信息的輸出。

(14)根據(jù)(7)到(11)中任何一項所述的信息處理設(shè)備，其中，

控制部與有關(guān)功能的表達作為語音被輸出的時間段同步地控制有關(guān)功能的其它信息的輸出。

(15)根據(jù)(1)到(14)中任何一項所述的信息處理設(shè)備，其中，

控制部基于與有關(guān)功能的表達相關(guān)的控制信息，控制有關(guān)功能的其它信息的輸出。

(16)根據(jù)(15)所述的信息處理設(shè)備，其中，

控制部使用控制信息作為與表示有關(guān)功能的表達的文本信息相關(guān)的標記符信息，并且控制部基于被嵌入在表示一組表達的文本信息中的控制信息，控制有關(guān)功能的其它信息的輸出。

(17)根據(jù)(2)到(11)中任何一項所述的信息處理設(shè)備，其中，

顯示信息是由用戶執(zhí)行的選擇操作的選擇目標。

(18)一種信息處理方法，包括以下步驟：

通過處理器控制基于關(guān)于進行一組表達中的有關(guān)功能的表達的語音輸出的定時的定時信息，控制與有關(guān)預(yù)定功能的語音輸出不同的其它信息的輸出，一組表達包括有關(guān)功能的表達。

(19)一種用于使計算機執(zhí)行以下操作的程序：

基于關(guān)于進行一組表達中的有關(guān)功能的表達的語音輸出的定時的定時信息，控制與有關(guān)預(yù)定功能的語音輸出不同的其它信息的輸出，一組表達包括有關(guān)功能的表達。

符號說明

10 信息處理設(shè)備

101 輸入信息分析部

103 響應(yīng)信息生成部

105 處理執(zhí)行部

109 字典信息存儲部

111 響應(yīng)控制部

115 語音合成部

117 顯示控制部

41 聲音采集部

51 音頻輸出部

53 顯示部。