本公開涉及從多臺設備中確定成為用戶的操作對象的對象設備并進行控制的設備控制方法和控制器。

背景技術：

有利用語音輸入對位于家庭中的電子設備的狀態(tài)進行確認和操作的系統(tǒng)。例如，在這樣的系統(tǒng)中，由便攜式麥克風取得的人的說話(發(fā)聲)內容被傳送給電視機等電子設備。電子設備解析用戶發(fā)出的語言(語句)，并執(zhí)行基于說話的處理。由此，實現了電子設備的狀態(tài)的確認或操作。

在專利文獻1中記載的裝置通過解析圖像處理和語音處理這兩種處理的結果，確定用戶的說話開始到結束為止的區(qū)間和聲源的方向。由此，能夠提高用戶的語音操作的便利性，并且能夠減少用戶發(fā)出的語言的誤識別。

在專利文獻2中記載的裝置通過使用語音、拍手或手勢等與用戶的使用環(huán)境相應的多個開始觸發(fā)(trigger)，確定用戶的說話開始。由此，能夠提高語音操作的便利性。

另外，在專利文獻3中記載的裝置在控制多臺電子設備時，通過根據用戶的手或頭的動作確定設備，進行語音識別和設備控制。

在先技術文獻

專利文獻

專利文獻1：日本特開2014-153663號公報

專利文獻2：日本特開2013-080015號公報

專利文獻3：日本特開2007-121576號公報

技術實現要素：

發(fā)明要解決的問題

然而，在上述專利文獻1～3中，需要進一步的改善。

用于解決問題的技術方案

本公開的一個技術方案涉及的設備確定方法是一種與第一設備、第二設備、相機以及麥克風連接的控制器中的設備控制方法，所述第一設備設置在第一空間的第一位置，所述第二設備設置在第二空間的第二位置，所述相機檢測用戶的視線方向，所述麥克風檢測所述用戶的說話，所述第一空間是所述用戶能夠視覺識別的空間，所述第二空間是所述用戶不能視覺識別的空間，從所述相機取得視線信息，所述視線信息包含表示所述檢測出的用戶的視線方向的信息，基于所述視線信息，判斷所述用戶的視線方向是否指示所述第一空間所包含的所述第一位置以外的第三位置，在判斷為所述用戶的視線方向指示所述第三位置的情況下，將所述第二設備確定為控制對象，從所述麥克風取得語音數據，所述語音數據表示所述檢測出的用戶的說話，生成與所述取得的語音數據對應的控制指令，將所述生成的控制指令向所述控制對象發(fā)送。

發(fā)明的效果

根據上述一個技術方案，能夠實現進一步的改善。

附圖說明

圖1A是表示在實施方式中對話信息提供系統(tǒng)提供的服務的整體畫面的圖。

圖1B是表示在實施方式中設備制造商相當于數據中心運營公司的例子的圖。

圖1C是表示在實施方式中設備制造商和管理公司這兩方或某一方相當于數據中心運營公司的例子的圖。

圖2是表示實施方式1中的對話信息提供系統(tǒng)的構成的圖。

圖3是表示實施方式1中的對話信息提供系統(tǒng)的工作的流程圖。

圖4A是表示實施方式1中的設備管理信息的一例的圖。

圖4B是表示實施方式1中的對話詞典的一例的圖。

圖5是實施方式1中的對話信息提供系統(tǒng)所包含的各裝置的框圖。

圖6是表示實施方式1中的對話信息提供系統(tǒng)的工作例的圖。

圖7是表示實施方式1中的對話信息提供系統(tǒng)的工作例的圖。

圖8是表示實施方式1中的設備的工作的流程圖。

圖9是表示實施方式1中的聲音收集裝置的工作的流程圖。

圖10是表示實施方式1中的家庭網關的工作的流程圖。

圖11是實施方式1中的對象設備確定處理的流程圖。

圖12是表示實施方式1中的語音對話處理的工作例的圖。

圖13是實施方式1中的語音對話處理的流程圖。

圖14是表示實施方式1中的語音識別處理的工作例的圖。

圖15是實施方式1中的語音識別處理的流程圖。

圖16是表示實施方式1中的意圖理解處理的工作例的圖。

圖17是實施方式2中的對象設備確定處理的流程圖。

圖18是表示實施方式2中的對話信息提供系統(tǒng)的工作例的圖。

圖19是實施方式3中的第一設備和第二設備的框圖。

圖20A是表示實施方式3中的設備管理信息的一例的圖。

圖20B是表示實施方式3中的設備管理信息的一例的圖。

圖20C是表示實施方式3中的設備管理信息的一例的圖。

圖21是實施方式3中的對象設備設定處理的流程圖。

圖22是實施方式4中的對象設備設定處理的流程圖。

圖23是表示實施方式5中的對話信息提供系統(tǒng)的構成的圖。

圖24是表示實施方式5中的設備管理信息的一例的圖。

圖25是實施方式5中的對象設備設定處理的流程圖。

圖26是實施方式6中的對象設備確定處理的流程圖。

圖27是表示對話信息提供系統(tǒng)的變形例的構成的圖。

圖28是表示對話信息提供系統(tǒng)的變形例的構成的圖。

圖29是表示對話信息提供系統(tǒng)的變形例的構成的圖。

圖30是表示對話信息提供系統(tǒng)的變形例的構成的圖。

圖31是表示服務類型1(自己公司數據中心型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。

圖32是表示服務類型2(IaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。

圖33是表示服務類型3(PaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。

圖34是表示服務類型4(SaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。

標號說明

1010、1020 用戶

1100、1100A、1100B、1100C、1100D 組

1101 多臺設備

1102、1102A、1102B 家庭網關

1110 數據中心運營公司

1111 云服務器

1120 服務提供商

1121 服務器

1201 應用

1202 OS

1203 數據中心

2001 第一空間

2002 第二空間

2011、2011A 第一設備

2012、2012A 第二設備

2013、2013B、2014 聲音收集裝置

2013A 視線檢測裝置

2020、2021 網絡

2100 語音對話服務器

2101、2147 對話詞典

2111、2121、2131、2151 視線檢測單元

2112、2122、2134、2145 設備通信單元

2113、2123 設備命令執(zhí)行單元

2114、2124 距離檢測單元

2132、2152 聲音收集單元

2133 信息提示單元

2141 設備確定單元

2142、2142A、使2142B、2142C、2142D 設備管理信息

2143 語音對話單元

2144 設備管理單元

2146 云通信單元

2155 用戶信息

具體實施方式

(成為本公開的基礎的見解)

正在研究用于提供如下服務的技術：按照來自用戶的說話，對家庭內的多臺設備的狀態(tài)進行確認或操作。

在這樣的系統(tǒng)中，裝置通過確定用戶的說話開始到結束的區(qū)間，取得僅是用戶的說話內容的語音數據。并且，裝置通過解析語音數據，決定用戶想確認或操作的電子設備和該確認或操作內容。

另外，作為取得用戶的說話內容的方法，提出了如下方法：利用僅選擇特定方向的聲音的波束成形處理或識別回聲并削減回聲的回聲消除(Echo cancellation)處理等進行降噪。但是，降噪處理也有限，在已有的利用了降噪的構成中，實現足夠水平的語音識別精度是困難的。

另外，作為確定想確認或操作的電子設備和該確認或操作內容的方法， 有如下槽位填充(Slot filling)技術：解析用戶的說話，并將其結果填入框架(模板)，由此使對話進行。例如，框架包含“設備”、“操作”以及“場所”這三個信息。用戶說“接通電源”時，在框架的“操作”中設定“power_on”，但其他“設備”和“場所”的框架不填充。在該情況下，系統(tǒng)通過對用戶反問“想接通哪臺設備的電源？”、“想接通位于哪里的哪臺設備的電源？”等，由此使對話繼續(xù)。通過用戶再次說“空調”或“起居室的空調”等而填充空著的“設備”和/或“場所”的框架。但是，由于需要對用戶進行反問并催促用戶說話直到填滿框架為止，所以有可能使用戶焦躁。另外，有可能誤識別反問時的說話而進一步反復反問，或陷入不希望的結果。

另外，用戶會抵觸對著設備說話，另一方面，什么也不看就說話會感覺到不自然。另外，在無法識別說話的內容或存在多臺設備的情況下，為了確定為操作對象的設備，用戶被要求重新說話多次，有時也會感覺很難用。關于用于滿足這些需求的技術解決對策，尚未進行研究。

例如，在用戶利用尚未與特定的電子設備關聯的虛擬化身(avatar)、天花板麥克風或可穿戴麥克風等說話的情況下，會難以確定想操作哪臺電子設備。

這樣，在存在多臺作為操作對象的設備的情況下，在用戶的說話中除了操作內容以外，還需要包含用于確定為操作對象的設備的信息。由此，由于用戶的說話變長，所以很可能發(fā)生由于噪聲等影響無法正確掌握用戶的說話內容的狀況。進而，用戶為了設備操作而需要發(fā)出許多詞句，另外，在不能確定對象設備的情況下會發(fā)生反問。由此，存在用戶的便利性下降這一問題。

(1)本公開的一個技術方案涉及的設備控制方法是一種與第一設備、第二設備、相機以及麥克風連接的控制器中的設備控制方法，所述第一設備設置在第一空間的第一位置，所述第二設備設置在第二空間的第二位置，所述相機檢測用戶的視線方向，所述麥克風檢測所述用戶的說話，所述第一空間是所述用戶能夠視覺識別的空間，所述第二空間是所述用戶不能視 覺識別的空間，從所述相機取得視線信息，所述視線信息包含表示所述檢測出的用戶的視線方向的信息，基于所述視線信息，判斷所述用戶的視線方向是否指示所述第一空間所包含的所述第一位置以外的第三位置，在判斷為所述用戶的視線方向指示所述第三位置的情況下，將所述第二設備確定為控制對象，從所述麥克風取得語音數據，所述語音數據表示所述檢測出的用戶的說話，生成與所述取得的語音數據對應的控制指令，將所述生成的控制指令向所述控制對象發(fā)送。

由此，在用戶的視線朝向設備存在的位置以外的特定區(qū)域的情況下，確定為存在于對用戶來說不能視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(2)在上述技術方案中，也可以進一步基于所述視線信息判斷所述用戶的視線方向是否指示所述第二位置，在判斷為所述用戶的視線方向指示所述第二位置的情況下，將所述第一設備確定為所述控制對象。

由此，在用戶將視線朝向某設備的情況下，能夠確定為該設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(3)在上述技術方案中，所述第三位置也可以是設置有所述控制器的位置。

由此，在用戶的視線朝向家庭網關等設備確定裝置(控制器)的情況下，確定為存在于對用戶來說不能視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(4)在上述技術方案中，所述控制器也可以具備所述相機。

由此，能夠以簡單的構成精度良好地檢測用戶的視線是否朝向設備確定裝置(控制器)。

(5)在上述技術方案中，所述第三位置也可以是設置有所述麥克風的位置。

由此，在用戶的視線朝向尚未與特定的設備進行關聯的天花板麥克風或可穿戴麥克風等聲音收集裝置的情況下，確定為存在于對用戶來說不能 視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(6)在上述技術方案中，所述麥克風也可以具備所述相機。

由此，能夠以簡單的構成精度良好地檢測用戶的視線是否朝向聲音收集裝置(麥克風)。

(7)在上述技術方案中，在所述第一空間中也可以配置有物體(object)，所述第三位置也可以是配置了所述物體的位置。由此，在用戶的視線朝向尚未與特定的設備進行關聯的特定物體(例如填充玩偶)的情況下，確定為存在于對用戶來說不能視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(8)在上述技術方案中，所述物體也可以具備所述相機。

由此，能夠以簡單的構成精度良好地檢測用戶的視線是否朝向物體。

(9)在上述技術方案中，所述物體也可以包含人偶。

由此，能夠以簡單的構成提供物體。

(10)在上述技術方案中，也可以在所述第一空間中投影有假想物體，所述第三位置也可以是投影了所述假想物體的位置。

由此，在用戶的視線朝向尚未與特定的設備進行關聯的假想物體(例如虛擬化身)的情況下，確定為存在于對用戶來說不能視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

(11)在上述技術方案中，所述假想物體也可以包含虛擬化身和全息圖。

由此，能夠以簡單的構成提供假想物體。

(12)在上述技術方案中，也可以進一步向所述用戶通知所述確定出的控制對象。

由此，由于能夠基于用戶的說話內容，在對存在于用戶不能視覺識別的空間中的設備進行操作之前向用戶確認操作內容，所以能夠防止進行用戶不希望的操作。

(13)在上述技術方案中，也可以在所述第一空間中設置第三設備。進一步，解析所述取得的語音數據，在判斷為所述取得的語音數據包含表示所述第三設備的說話的情況下，將所述第三設備確定為控制對象。

由此，即使在基于用戶的視線信息確定了成為操作對象的設備的情況下，也能夠使根據用戶的說話內容確定的設備優(yōu)先作為操作對象。因此，能夠抑制用戶不希望的設備被錯誤地選擇為操作對象。

(14)在上述技術方案中，所述第一空間也可以包含第三空間，在所述第三空間中也可以設置第三設備，進一步，解析所述取得的語音數據，在判斷為所述取得的語音數據包含表示所述第三空間的說話的情況下，將所述第三設備確定為控制對象。

由此，即使在基于用戶的視線信息確定了成為操作對象的設備的情況下，也能夠使存在于根據用戶的說話內容確定的空間中的設備優(yōu)先作為操作對象。因此，能夠抑制用戶不希望的設備被錯誤地選擇為操作對象。

(15)在上述技術方案中，所述麥克風也可以為多個麥克風，在從所述多個麥克風中的第一麥克風取得所述語音數據的情況下，將所述第一設備和所述第二設備中與所述用戶預先關聯的設備確定為控制對象。

由此，能夠使與用戶關聯的設備優(yōu)先作為操作對象。因此，能夠抑制用戶不希望的設備被錯誤地選擇為操作對象。

(16)在上述技術方案中，所述控制器也可以進一步具備存儲器，所述存儲器存儲所述語音數據和與所述語音數據對應的控制指令的對應關系，

所述控制指令也可以基于所述對應關系生成。由此，能夠容易地生成控制指令。

(17)在上述技術方案中，所述控制器也可以與服務器連接，所述服務器存儲所述語音數據和與所述語音數據對應的控制指令的對應關系，進一步，從所述服務器取得所述對應關系，所述控制指令基于所述取得的對應關系而生成。

由此，能夠容易地生成控制指令。

另外，本公開不僅能夠作為執(zhí)行以上那樣的特征性處理的設備控制方法而實現，也能夠作為用于執(zhí)行控制方法所包含的特征性步驟的控制器等而實現。另外，也能夠作為使計算機執(zhí)行這樣的設備控制方法所包含的特征性的各步驟的計算機程序而實現。而且，當然能夠使這樣的計算機程序經由CD-ROM等計算機可讀取非暫時性記錄介質或互聯網等通信網絡流通。

此外，以下說明的實施方式均為表示本公開的一個具體例的實施方式。在以下的實施方式中所示的數值、形狀、構成要素、步驟、步驟的順序等均為一例，并不意圖限定本公開。另外，關于以下實施方式的構成要素中的、表示最上位概念的獨立權利要求中沒有記載的構成要素，作為任意的構成要素進行說明。另外，在全部實施方式中，也能夠將各個內容進行組合。

(提供的服務的整體畫面)

首先，說明本實施方式中的信息管理系統(tǒng)提供的服務的整體畫面。

圖1A是表示本實施方式中的信息管理系統(tǒng)提供的服務的整體畫面的圖。信息管理系統(tǒng)具備組1100、數據中心運營公司1110以及服務提供商(service provider)1120。

組1100例如是企業(yè)、團體或家庭等，其規(guī)模不限。組1100具備：包含第一設備和第二設備的多臺設備1101和家庭網關1102。多臺設備1101包含：能夠與互聯網連接的設備(例如智能手機、個人計算機(PC)或電視機等)和其自身不能與互聯網連接的設備(例如照明、洗衣機或冰箱等)。多臺設備1101也可以包含即使其自身不能與互聯網連接，但能夠經由家庭網關1102與互聯網連接的設備。另外，用戶1010使用組1100內的多臺設備1101。

數據中心運營公司1110具備云服務器1111。云服務器1111是經由互聯網與各種設備合作的假想化服務器。云服務器1111主要管理難以用通常的數據庫管理工具等處理的巨大數據(大數據)等。數據中心運營公司1110進行數據的管理、云服務器1111的管理以及進行這些管理的數據中心的運 營等。后面將說明數據中心運營公司1110進行的服務的詳細情況。

在此，數據中心運營公司1110不限于僅進行數據的管理或云服務器1111的管理的公司。例如，如圖1B所示，在開發(fā)或制造多臺設備1101中的一臺設備的設備制造商進行數據的管理或云服務器1111的管理等的情況下，設備制造商相當于數據中心運營公司1110。另外，數據中心運營公司1110不限于一個公司。例如，如圖1C所示，在設備制造商和管理公司共同或分擔而進行數據的管理或云服務器1111的管理的情況下，這兩方或某一方相當于數據中心運營公司1110。

服務提供商1120具備服務器1121。在此所說的服務器1121不限其規(guī)模，例如也包含個人用PC內的存儲器等。另外，也存在服務提供商1120不具備服務器1121的情況。

此外，在上述信息管理系統(tǒng)中，家庭網關1102不是必需的。例如，在云服務器1111進行全部數據管理等情況下，無需家庭網關1102。另外，像家庭內的全部設備與互聯網連接的情況那樣，也有不存在其自身不能與互聯網連接的設備的情況。

接著，說明上述信息管理系統(tǒng)中的信息的流動。

首先，組1100的第一設備或第二設備分別將各日志信息發(fā)送給數據中心運營公司1110的云服務器1111。云服務器1111集積第一設備或第二設備的日志信息(圖1A的箭頭1131)。在此，日志信息是表示多臺設備1101的例如運轉狀況或工作日期和時間等的信息。例如，日志信息包含電視機的收看歷史記錄、錄像機的錄像預約信息、洗衣機的運轉日期和時間、洗過的衣服的量、冰箱的開閉日期和時間或冰箱的開閉次數等，但不限于這些信息，也可以包含能夠從各種設備取得的各種信息。此外，日志信息也可以經由互聯網從多臺設備1101本身直接提供給云服務器1111。另外，日志信息也可以從多臺設備1101暫時集積于家庭網關1102，并從家庭網關1102提供給云服務器1111。

接著，數據中心運營公司1110的云服務器1111以一定的單位，將已集積的日志信息提供給服務提供商1120。在此，一定的單位既可以是能夠 整理數據中心運營公司1110能夠對已集積的信息進行整理并提供給服務提供商1120的單位，也可以是服務提供商1120要求的單位。另外，雖然以一定的單位提供，但也可以不以一定的單位提供，提供的信息量可以根據狀況而變化。日志信息根據需要保存在服務提供商1120保有的服務器1121中(圖1A的箭頭1132)。

然后，服務提供商1120將日志信息整理成與提供給用戶的服務相適合的信息，并提供給用戶。被提供信息的用戶既可以是使用多臺設備1101的用戶1010，也可以是外部的用戶1020。作為向用戶1010和1020的信息提供方法，例如，也可以從服務提供商1120直接向用戶1010和1020提供信息(圖1A的箭頭1133和1134)。另外，作為向用戶1010的信息提供方法，例如，也可以再次經由數據中心運營公司1110的云服務器1111而將信息提供給用戶1010(圖1A的箭頭1135和1136)。另外，數據中心運營公司1110的云服務器1111也可以將日志信息整理成與提供給用戶的服務相適合的信息，并提供給服務提供商1120。

此外，用戶1010既可以與用戶1020不同，也可以相同。

(實施方式1)

在本實施方式中，示出用戶利用天花板麥克風等這樣具有聲音收集功能的設備，通過說話對設備的狀態(tài)進行確認和操作的情況的一例。

在本實施方式中，在用戶的視線朝向某設備的情況下，將該設備決定為操作對象。另外，在用戶的視線朝向沒有設備的空間(例如，朝向聲音收集裝置)的情況下，將不在用戶的視覺識別范圍內的設備決定為操作對象。

圖2是表示本實施方式中的對話信息提供系統(tǒng)的構成的圖。該對話信息提供系統(tǒng)包含組1100和數據中心運營公司1110內的語音對話服務器2100。組1100與語音對話服務器2100經由網絡2020連接。

組1100包含第一空間2001和第二空間2002。例如，組1100為家庭(住宅)，第一空間2001和第二空間2002為起居室或臥室等房間。此外，空間也可以包含多個房間。例如，空間也可以是住宅的一樓或二樓等。另 外，空間也可以是一個房間的某個空間(區(qū)域)。

另外，組1100包含第一設備2011、第二設備2012、聲音收集裝置2013以及家庭網關1102。第一設備2011、聲音收集裝置2013以及家庭網關1102配置在第一空間2001中，第二設備2012配置在第二空間2002中。另外，第一設備2011、第二設備2012、聲音收集裝置2013以及家庭網關1102經由網絡2021連接。網絡2021為能夠進行設備間通信的裝置即可，如有線LAN、無線LAN、Bluetooth(注冊商標)、或特定小功率無線等。

在此，第一設備2011和第二設備2012為空調或照明等家電設備，是基于與用戶的對話來操作或控制其工作的設備。

首先，說明本實施方式涉及的對話信息提供系統(tǒng)的工作的概略。圖3是本實施方式涉及的對話信息提供系統(tǒng)中的、作為操作對象的對象設備的確定處理的流程圖。

此外，以下的處理由對話信息提供系統(tǒng)所包含的設備確定裝置進行。在此，設備確定裝置例如是家庭網關1102。此外，如后所述，以下處理既可以由組1100所包含的一臺或多臺設備進行，也可以由組1100所包含的一臺或多臺設備和經由網絡與該設備連接的外部設備(例如語音對話服務器2100)進行分散處理。

首先，設備確定裝置基于用戶的說話內容，判定是否能夠確定對象設備(S101)。

在基于用戶的說話內容不能確定對象設備的情況下(在S101中為否)，設備確定裝置判定用戶的視線是否朝向某一臺設備(S103)。具體而言，設備確定裝置取得與用戶的視線朝向的方向相關的視線信息。接著，設備確定裝置基于該視線信息，判斷用戶的視線是否朝向存在于該用戶能夠視覺識別的空間中的多臺設備所包含的第二設備。另外，設備確定裝置基于該視線信息判斷用戶的視線是否朝向第一區(qū)域，所述第一區(qū)域是該用戶能夠視覺識別的空間中的一部分區(qū)域，且與存在多臺設備的位置不同。在此，能夠視覺識別的空間是指用戶在當前的位置能夠視覺識別的空間。

在用戶的視線沒有朝向任一臺設備的情況下，也就是說，在判斷為用 戶的視線朝向上述第一區(qū)域的情況下(在S103中為否)，設備確定裝置將多臺設備中的、存在于該用戶不能視覺識別的空間中的第一設備確定為對象設備(S105)。在此，不能視覺識別的空間是指用戶在當前的位置不能視覺識別的空間。

另一方面，在用戶的視線朝向某一臺設備的情況下，也就是說，在判斷為用戶的視線朝向上述第二設備的情況下(在S103中為是)，將該第二設備確定為對象設備(S104)。

另外，在基于用戶的說話內容能夠確定對象設備的情況下(在S101中為是)，設備確定裝置將基于用戶的說話內容確定的設備決定為對象設備(S102)。也就是說，即使在用戶的視線朝向上述第一區(qū)域或第二設備的情況下，在用戶的說話內容中包含確定多臺設備所包含的第三設備的信息的情況下，設備確定裝置將該第三設備確定為對象設備。

接著，設備確定裝置向用戶確認已確定的對象設備是否正確(S106)。具體而言，設備確定裝置向用戶通知已確定的對象設備，并得到其回答。此外，除了對象設備以外，設備確定裝置還可以向用戶確認對于對象設備的控制內容。

在已確定的對象設備被用戶承認的情況下(在S107中為是)，設備確定裝置基于用戶的操作對已確定的對象設備進行操作(S108)。具體而言，設備確定裝置基于用戶的說話內容生成用于控制對象設備的命令，并將該命令發(fā)送給對象設備。

另一方面，在已確定的對象設備沒有被用戶承認的情況下(在S107中為否)，設備確定裝置對用戶進行用于確認對象設備的反問對話(S109)，對通過該對話得到的用戶的說話內容再次進行步驟S101以后的處理。

通過以上，在用戶的視線朝向設備存在的位置以外的特定區(qū)域的情況下，確定為存在于對用戶來說不能視覺識別的空間中的設備是操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

例如，用戶在起居室中，在起居室和臥室中設置有空調。在該情況下，在用戶想控制起居室的空調的情況下，用戶通過將視線朝向起居室的空調， 說“打開空調”，能夠控制起居室的空調。

進一步，在用戶想控制臥室的空調的情況下，用戶通過在沒有將視線朝向配置在起居室中的任一臺設備的狀態(tài)下進行上述說話，能夠控制臥室的空調。

這樣，通過本實施方式涉及的方法，即使在對象設備存在于用戶的視覺識別范圍外的情況下，也能夠基于用戶的視線確定對象設備。由此，在這樣的情況下，由于能夠縮短用戶的說話內容，所以能夠提高用戶的便利性，并且能夠抑制由于噪聲等的影響而不能識別或錯誤地解釋說話內容。

此外，在圖3中，設備確定裝置在步驟S106、S107以及S109中進行對象設備的確認和反問，但也可以不進行這些處理?；蛘?，也可以僅在步驟S102、S104以及S105的某一個之后進行對象設備的確認。例如，在基于說話內容確定了對象設備的情況下(S102之后)，不進行對象設備的確認也可以。

另外，步驟S101和S103的判定處理的順序為一例，既可以以相反的順序進行這些處理，也可以并行地進行至少一部分。

另外，在本實施方式中，以主要基于用戶的說話操作設備的情況為例進行說明，但在利用其他方法操作多臺設備的情況下，也能夠使用同樣的方法。例如，在利用手勢操作設備的情況下也能夠使用同樣的方法。

以下，詳細說明各設備的構成和工作的一例。

如圖2所示，第一設備2011具備視線檢測單元2111，第二設備2012具備視線檢測單元2121。視線檢測單元2111、2121以及2131(后述)檢測用戶的視線方向。具體而言，視線檢測單元2111、2121以及2131具備紅外線相機或可視相機，解析用這些相機得到的影像，并利用臉部識別等檢測用戶的視線是否朝向本設備。此外，視線檢測單元2111、2121以及2131既可以檢測用戶面部的朝向作為視線的朝向，也可以檢測用戶的眼球的朝向作為視線的朝向。

此外，在此，敘述了各設備檢測用戶的視線是否朝向本設備的例子，但也可以通過對配置在組1100內的一臺以上相機拍攝到的影像進行解析 來檢測用戶的視線方向，也可以利用其他方法檢測用戶的視線方向。

另外，在以下說明中，敘述了將該視線檢測作為觸發(fā)(trigger)判定用戶是否開始說話的例子，但作為用戶的說話開始的觸發(fā)，除了視線檢測以外或也可以代替視線檢測而使用口唇檢測、手勢檢測或“打開麥克風”這樣的固定言詞的說話檢測等。口唇檢測是根據相機拍攝到的圖像檢測用戶的嘴的動作，即檢測口唇動作，并基于口唇動作判定用戶是否開始說話。手勢檢測基于用戶進行了拍手或舉手等預先決定的動作時由相機拍攝到的圖像或語音數據，判定用戶是否開始說話。

聲音收集裝置2013具備視線檢測單元2131和聲音收集單元2132。聲音收集單元2132取得周圍的語音，并將該語音所包含的用戶的說話內容保持一定期間。具體而言，聲音收集單元2132基于由相機等得到的用戶的位置信息確定說話聲源(用戶)的方向，使用說話聲源的方向從得到的語音中減少周圍噪聲，由此提取用戶的說話內容。

此外，聲音收集裝置2013只要是具有聲音收集的功能、且具有能夠傳送進行聲音收集得到的數據的功能的設備即可。例如，聲音收集裝置2013是設置于天花板的天花板麥克風、用戶穿戴的可穿戴麥克風或具備聲音收集的功能的填充玩偶等。

家庭網關1102具備設備確定單元2141和語音對話單元2143。另外，家庭網關1102保持有設備管理信息2142。設備確定單元2141在用第一設備2011、第二設備2012以及聲音收集裝置2013的某一個的視線檢測單元2111、2121以及2131檢測出用戶的視線時，利用設備管理信息2142確定作為操作對象的對象設備。

設備管理信息2142表示各設備的設置場所和視線檢測功能的有無等(詳細情況將在后面敘述)。語音對話單元2143進行語音對話處理。具體而言，語音對話單元2143通過向聲音收集裝置2013發(fā)出聲音收集開始指示命令而取得包含用戶的說話內容的語音數據，并將取得的語音數據向語音對話服務器2100傳送。語音對話單元2143從語音對話服務器2100取得基于語音數據所包含的說話內容的控制命令，并將控制命令發(fā)送給對象設 備。

此外，在本實施方式中，家庭網關1102和聲音收集裝置2013各自分別存在，但也可以在家庭網關1102內包含聲音收集裝置2013的功能。

語音對話服務器2100是云服務器1111之一，并保持有對話詞典2101。該語音對話服務器2100通過語音數據解析，根據語音數據來確定說話內容，并利用對話詞典2101，根據說話內容來確定控制命令。

在對話詞典2101中，記載了用于根據說話內容(文本)確定控制命令的規(guī)則(詳細情況將在后面敘述)。此外，在本實施方式中，語音對話服務器2100和家庭網關1102各自分別存在，但也可以在家庭網關1102內包含語音對話服務器2100的功能。另外，也可以在家庭網關1102內包含語音對話服務器2100的功能的一部分。

圖4A是表示本實施方式中的設備管理信息2142的一例的圖。

設備管理信息2142包括：唯一地確定設備的識別符信息、表示設備是否為家庭網關的屬性信息、表示設備保有的功能的種類的類別信息、表示設備是否保有聲音收集能力的聲音收集信息、表示設置有設備的場所的設置場所信息、表示設備是否為檢測出用戶的說話開始觸發(fā)(視線)的設備的說話信息。

識別符信息例如在WiFi或Bluetooth等的配對(pairing)時根據設備的MAC地址和隨機數生成?；蛘?，識別符信息可利用ECHONET Lite的實例列表通知所包含的識別符。

在支持ECHONET Lite等家電設備控制協議的情況下，屬性信息和類別信息利用該家電設備控制的種類信息而設定。

聲音收集信息基于在WiFi或Bluetooth等的配對時通知的聲音收集功能有無而設定。設置場所信息由用戶利用家庭網關1102的設定菜單等設定。設定說話信息在從第一設備2011、第二設備2012以及聲音收集裝置2013的某一個的視線檢測單元2111、2121以及2131檢測出用戶的說話開始觸發(fā)(視線)時被設定。

圖4B是表示本實施方式中的對話詞典2101的一例的圖。

對話詞典2101包含：表示語音識別后得到的字符串信息(說話內容)的說話識別文本信息、用于根據說話識別文本確定控制命令的行動(action，作用)信息。行動信息包含：表示根據說話識別文本確定的控制命令的控制命令信息、表示對象設備的類別(屬性)的設備信息以及表示設置有對象設備的場所的場所信息。

例如，在用戶說了“打開起居室的照明”的情況下，通過“起居室”、“照明”、“打開”的關鍵詞匹配，填充全部框架(控制命令(power_on)、設備(照明)、場所(起居室))作為行動信息。由此，進行將設置在起居室中的照明的電源設為接通的處理。

另外，在用戶說了“打開空調”的情況下，通過“空調”、“打開”的關鍵詞匹配，填充場所以外的框架(控制命令(power_on)、設備(空調))作為行動信息。在該情況下，在用戶家中只設置有一臺空調的情況下，進行將該空調的電源設為接通的處理，但在設置有兩臺以上的情況下，通過反問道“接通哪里的空調的電源？”，并由用戶指定場所，最終確定將要進行接通電源處理的對象空調。

另外，在用戶說了“打開制冷”的情況下，雖然沒有說確定設備本身的內容，但由于說了設備固有的操作指示內容，所以使用對話詞典2101補充設備信息。另外，在用戶說了“接通電源”或“加熱”的情況下，作為行動信息，只填充控制命令(power_on、heating_on)。因此，需要由用戶指示設備或場所的信息。

另外，如用戶說了“一并關閉”的情況那樣，有時即使只填充了行動信息中的控制命令(all_poff)，也能夠進行操作。

圖5是表示本實施方式中的對話信息提供系統(tǒng)所包含的各設備的構成例的框圖。

除了上述視線檢測單元2111以外，第一設備2011還具備設備通信單元2112和設備命令執(zhí)行單元2113。除了上述視線檢測單元2121以外，第二設備2012還具備設備通信單元2122和設備命令執(zhí)行單元2123。

設備通信單元2112是ECHONET Lite等家電設備控制的協議棧 (protocol stack)。具體而言，設備通信單元2112對家庭網關1102進行：啟動第一設備2011時的通知等實例列表通知、接通或斷開電源的變化的通知等設備狀態(tài)的通知、來自家庭網關1102的電源接通設定等控制命令的接收和解釋、以及控制命令的執(zhí)行結果的響應。

另外，向家庭網關1102進行視線檢測結果的通知既可以利用該通知功能進行，也可以利用獨自的協議進行。

設備命令執(zhí)行單元2113將從設備通信單元2112接受到的控制命令轉換為設備的硬件命令并執(zhí)行。

此外，視線檢測單元2121、設備通信單元2122以及設備命令執(zhí)行單元2123的功能與視線檢測單元2111、設備通信單元2112以及設備命令執(zhí)行單元2113的功能相同。

除了上述視線檢測單元2131和聲音收集單元2132以外，聲音收集裝置2013還具備信息提示單元2133和設備通信單元2134。

信息提示單元2133對由視線檢測單元2131檢測出的用戶提示各種信息。例如，信息提示單元2133對用戶輸出“請說話”這樣的語音或使LED燈發(fā)光而催促用戶的說話。

設備通信單元2134的功能與上述設備通信單元2112和2122相同。

除了上述設備確定單元2141和語音對話單元2143以外，家庭網關1102還具備設備管理單元2144、設備通信單元2145以及云通信單元2146。

設備通信單元2145的功能與上述的設備通信單元2112、2122以及2134的功能相同。云通信單元2146在利用對話功能時，管理用戶是否同意利用許可，在用戶同意了允許利用的情況下，建立與語音對話服務器2100的連接，并與語音對話服務器2100收發(fā)信息。

圖6是表示本實施方式中的用戶對對象設備說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。例如，第一設備2011是設置在第一空間2001(一樓起居室)中的空調，第二設備2012是設置在第二空間2002(二樓臥室)中的空調，聲音收集裝置2013是設置在第一空間2001(一樓起居室)的天花板上的麥克風。用戶在第一空間2001中將視線朝向第一設備 2011并說“打開空調”。

由此，第一設備2011檢測出用戶的視線朝向了本設備這一情況(S301)，并向家庭網關1102通知檢測結果(S302)。家庭網關1102確定對象設備(S303)。在該情況下，由于用戶的視線朝向了第一設備2011，所以家庭網關1102將第一設備2011決定為對象設備。

接著，聲音收集裝置2013、家庭網關1102以及語音對話服務器2100進行語音對話處理(S304)。語音對話處理是根據對語音數據進行解析后得到的字符串信息和對話詞典2101確定用戶試圖的家電操作，并向用戶通知該結果的處理，所述語音數據是對用戶的說話進行聲音收集而成的數據。在圖4B的對話詞典2101的例子中，雖然不能確定相對于說話識別文本“打開空調”的“場所”的行動，但基于在步驟S303中確定的對象設備，能夠將“場所”補充為“第一空間(起居室)”。

接著，家庭網關1102基于語音對話處理的結果，向第一設備2011發(fā)送控制命令(S305)。第一設備2011執(zhí)行接收到的控制命令(S306)。

通過這樣的流程，即使在用戶沒有進行確定設備的內容的說話的情況下，也能夠確定設備并進行操作。

此外，在用戶在說話內容中加入確定設備的要素的情況下，使由用戶的說話內容確定的設備比由步驟S303確定的設備優(yōu)先，并將由用戶的說話內容確定的設備決定為對象設備。例如，在看著起居室的空調(第一設備2011)說了“打開臥室的空調”的情況下，接通臥室的空調的電源，而不是起居室的空調的電源。

圖7是表示本實施方式中的用戶對聲音收集裝置2013說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。用戶將視線朝向聲音收集裝置2013并說“打開空調”。

聲音收集裝置2013檢測用戶的視線朝向本設備這一情況(S311)，并向家庭網關1102通知檢測結果(S312)。家庭網關1102確定對象設備(S313)。在該情況下，由于用戶的視線朝向了聲音收集裝置2013，所以家庭網關1102將第一設備2011和第二設備2012中存在于用戶的視覺識別 范圍外的第二設備2012決定為對象設備。此外，在此，用戶存在于第一空間2001(起居室)，選擇配置于與第一空間2001不同的第二空間2002(臥室)的第二設備2012作為對象設備。

接著，與步驟S304同樣地，聲音收集裝置2013、家庭網關1102以及語音對話服務器2100進行語音對話處理(S314)。然后，家庭網關1102基于語音對話處理的結果，向第二設備2012發(fā)送控制命令(S315)。第二設備2012執(zhí)行接收到的控制命令(S316)。

通過這樣的流程，即使在用戶沒有進行確定設備的內容的說話，且用戶對尚未與設備關聯的聲音收集裝置2013說話的情況下，也能夠確定設備并進行操作。

接著，說明各裝置的工作。圖8是表示第一設備2011的工作流程的流程圖。此外，第二設備2012的工作也同樣如此。

首先，第一設備2011通過檢測用戶的視線是否朝向了本設備來檢測用戶的說話開始(S201)。第一設備2011在檢測出用戶的視線的情況下(在S201中為是)，向家庭網關1102發(fā)送表示檢測出用戶的視線的視線檢測通知(S202)。

另外，第一設備2011在從家庭網關1102接收到控制命令的情況下(在S203中為是)，執(zhí)行接收到的控制命令(S204)。

圖9是表示聲音收集裝置2013的工作流程的流程圖。首先，聲音收集裝置2013通過檢測用戶的視線是否朝向本設備，檢測用戶的說話開始(S211)。聲音收集裝置2013在檢測出用戶的視線的情況下(在S211中為是)，向家庭網關1102發(fā)送表示檢測出用戶的視線的視線檢測通知(S212)。

圖10是表示家庭網關1102的工作流程的流程圖。家庭網關1102在從第一設備2011、第二設備2012或聲音收集裝置2013接收到視線檢測通知的情況下(在S221中為是)，基于由哪個裝置檢測出視線，確定對象設備(S222)。接著，家庭網關1102進行語音對話處理(S223)。接著，家庭網關1102向由步驟S222確定的對象設備發(fā)送由語音對話處理確定的控制命令(S224)。

以下，說明家庭網關1102中的確定對象設備的處理(S222)的詳細情況。圖11是表示對象設備確定處理(S222)的詳細情況的流程圖。

家庭網關1102參照設備管理信息2142，判定作為視線檢測通知的發(fā)送源的裝置是否為家電設備(S231)。在此，家電設備是作為利用語音對話進行操作的對象的設備。

在作為視線檢測通知的發(fā)送源的裝置為家電設備的情況下(在S231中為是)，家庭網關1102將作為視線檢測通知的發(fā)送源的裝置決定為對象設備(S232)。另一方面，在作為視線檢測通知的發(fā)送源的裝置不是家電設備的情況下(在S231中為否)，家庭網關1102參照設備管理信息2142，判定在用戶的視覺識別范圍外是否存在設備(S233)。

具體而言，檢測用戶存在于哪個空間。例如，家庭網關1102判斷為用戶存在于與作為視線檢測通知的發(fā)送源的裝置相同的空間(例如房間)內。此外，家庭網關1102也可以判定為用戶存在于與取得了用戶語音的聲音收集裝置2013相同的空間內。另外，家庭網關1102也可以判斷為用戶存在于作為視線檢測通知的發(fā)送源的裝置的附近?；蛘?，家庭網關1102也可以根據由設置于組1100內的相機得到的信息判定用戶的位置。

家庭網關1102參照設備管理信息2142，將存在于與用戶存在的空間(例如房間)不同的空間內的設備判斷為用戶的視覺識別范圍外的設備。此外，在此，基于用戶和設備是否存在于相同的空間(例如房間)，判定各設備是在用戶的視覺識別范圍內還是在視覺識別范圍外，但家庭網關1102也可以更詳細地判定各設備和用戶的位置，并且使用用戶存在的空間的詳細的布局信息等，根據用戶的位置確定實際上能夠視覺識別的設備，將確定出的設備以外的設備判定為用戶的視覺識別范圍外的設備。

在設備存在于用戶的視覺識別范圍外的情況下(在S233中為是)，家庭網關1102將用戶的視覺識別范圍外的設備決定為對象設備(S234)。

另一方面，在用戶的視覺識別范圍外不存在設備的情況下(在S233中為否)，家庭網關1102不決定對象設備而將全部設備決定為對象設備的候選。

此外，也可以預先將由設備管理信息2142管理的全部設備設定為默認對象設備的候選，在步驟S232或S234中選擇了設備作為對象設備的情況下，也可以進行更新以使得僅該設備成為對象設備。

另外，在此，敘述了在步驟S232和S234中僅選擇一臺設備作為對象設備的例子，但在使用了用于判定對象設備的視線以外的判定基準的情況下，也可以將選擇出的設備的優(yōu)先級設定為高。由此，通過與其他判定基準的組合，能夠選擇可能性最高的設備。另外，由此，例如，在用戶的視覺識別范圍外存在多臺設備的情況下，將這些多臺設備的優(yōu)先級設定為高，并能夠基于其他判定基準，選擇一臺設備。此外，在以下敘述的其他實施方式中也能應用同樣的變形例。

以下，說明圖6和圖7所示的語音對話處理(S304和S314)的詳細情況。圖12是表示語音對話處理(S304和S314)的工作例的圖。

首先，聲音收集裝置2013、家庭網關1102以及語音對話服務器2100進行將說話內容轉換成文本的語音識別處理(S321)。接著，家庭網關1102和語音對話服務器2100進行如下意圖理解處理：基于對話詞典2101，根據作為語音識別處理的結果得到的識別文本輸出對設備的控制命令(S322)。在通過該意圖理解處理不能夠確定對象設備或控制命令的情況下(S323)，家庭網關1102向聲音收集裝置2013指示以向用戶進行反問(S324)。當聲音收集裝置2013接收到反問的指示時，對用戶進行用于確定對象設備或控制命令的反問(S325)。

對通過該反問得到的說話內容再次進行語音識別處理(S326)和意圖理解處理(S327)。在通過該意圖理解處理能夠確定對象設備和控制命令的情況下(S328)，家庭網關1102向聲音收集裝置2013發(fā)送使聲音收集裝置2013提示語音對話的結果的指示(S329)。當聲音收集裝置2013接收到結果顯示的指示時，對用戶提示語音對話結果的信息(S330)。

圖13是家庭網關1102的語音對話處理(圖10的S223)的流程圖。首先，家庭網關1102進行語音識別處理(S241)和意圖理解處理(S242)。接著，家庭網關1102判斷是否能夠確定對象設備(S243)。在能夠確定設 備的情況下(在S243中為是)，家庭網關1102判斷是否能夠確定控制命令(S244)。在能夠確定控制命令的情況下(在S244中為是)，家庭網關1102向聲音收集裝置2013發(fā)送使聲音收集裝置2013顯示語音對話的結果的指示(S245)。

另一方面，在判斷為不能夠確定對象設備的情況下(在S243中為否)或判斷為不能夠確定控制命令的情況下(在S244中為否)，家庭網關1102向聲音收集裝置2013指示以向用戶進行反問(S246)。

在此，在語音識別處理中，利用通過對象設備確定處理確定出的對象設備的信息，由此有可能能夠減少誤識別的風險。例如，在用戶說了“加熱”(あたためて)的情況下，在提取語音識別結果時，可考慮“あたためて”、“暖めて”、“溫めて”、“アタタメテ”等多個候選。假設確定空調作為對象設備的情況下，做為由意圖理解實現的設備操作內容，將“暖めて”作為最有力候選更容易得到正確的結果。同樣地，在確定微波爐作為對象設備的情況下，設為“溫めて”較好。另外，在未確定對象設備的情況下，選定“あたためて”較好。

另外，即使進行反問，也不一定通過理想次數的說話就能進行用戶希望的設備操作。例如，在用戶說了“接通電源”的情況下，在圖4B所示的對話詞典2101中，如果通過反問請用戶說出設備和場所這兩個信息，則處理應該完畢。只是，實際上并不能保證用清楚且很大的聲音，僅僅說出“空調”作為設備，說出“臥室”作為場所。也會存在混入雜音，用戶說了多余的語言，或者用戶用很小且不清楚的聲音說話的情況。這樣，由于很可能識別失敗，所以通過對象設備確定處理以盡可能少的說話進行設備操作，由此用戶的便利性會提高。在誤識別的發(fā)生太過分的情況下，可以通過對用戶提示容易識別的說話例子而實現誤識別率的降低，或者也可以通過使可愛的角色等道歉而緩和用戶的焦躁。

圖14是表示語音識別處理(圖12的S321)的工作例的圖。首先，家庭網關1102指示聲音收集裝置2013保持語音(S351)，指示語音對話服務器2100開始語音識別(S352)。

接受到指示的聲音收集裝置2013開始保持用戶說出的語音數據(S353)。之后，聲音收集裝置2013向用戶提示用于誘導說話的信息(S355)。另一方面，接受到指示的語音對話服務器2100開始對語音數據的語音識別(S354)。

接著，家庭網關1102取得聲音收集裝置2013保持著的語音數據(S356)，并向語音對話服務器2100傳送語音數據(S357)。語音對話服務器2100對傳送來的語音數據進行語音識別處理(S358)。反復進行該一系列處理直到用戶的說話結束。

在用戶的說話結束的情況下，家庭網關1102通知聲音收集裝置2013結束語音數據的保持(S359)，并通知語音對話服務器2100結束語音識別(S360)。

接受到通知的聲音收集裝置2013結束對用戶說出的語音數據的保持(S361)。接受到通知的語音對話服務器2100結束語音識別處理(S362)，向家庭網關1102通知語音識別結果(S363)。

圖15是由家庭網關1102進行的語音識別處理(圖13的S241)的流程圖。

首先，家庭網關1102對聲音收集裝置2013指示保持語音，對語音對話服務器2100指示開始語音識別(S251)。接著，家庭網關1102取得聲音收集裝置2013保持著的語音數據(S252)。然后，家庭網關1102基于取得的聲音數據判斷用戶的說話是否結束(S253)。

在判斷為用戶的說話還在繼續(xù)的情況下(在S253中為否)，家庭網關1102向語音對話服務器2100傳送語音數據(S254)，并返回步驟S252。

另一方面，在判斷為用戶的說話結束的情況下(在S253中為是)，家庭網關1102通知聲音收集裝置2013結束語音數據的保持，并通知語音對話服務器2100結束語音識別(S255)。

接著，家庭網關1102接收從語音對話服務器2100發(fā)送來的語音識別結果(S256)。

圖16是表示意圖理解處理(圖12的S322和S327)的工作例的圖。 首先，家庭網關1102對語音對話服務器2100指示開始意圖理解(S371)。此時，家庭網關1102例如將說話識別文本等作為輸入信息發(fā)送給語音對話服務器2100。

當接受意圖理解開始的指示時，語音對話服務器2100對照說話識別文本和對話詞典2101，決定對設備指示的行動(S372)。然后，語音對話服務器2100對家庭網關1102發(fā)送表示所決定的行動的信息(S373)。

此外，在上述說明中，作為檢測用戶的視線朝向不存在多臺設備的區(qū)域這一情況的方法，使用了聲音收集裝置2013具備的視線檢測單元2131的檢測結果，但也可以使用除此以外的方法。例如，視線檢測單元也可以設置在配置有多臺設備(第一設備2011和第二設備2012)的區(qū)域以外的任意區(qū)域。

例如，家庭網關1102也可以具備視線檢測單元?；蛘撸部梢栽诔蔀橛脩魧υ挼膶ο蟮奈矬w(人偶等)上設置視線檢測單元。進一步，成為用戶的對話對象的物體也可以是假想性物體(全息圖等)。該情況下，例如，也可以基于由設置在組1100內的相機拍攝到的圖像，檢測用戶的視線方向。另外，在多臺設備具備的視線檢測單元都沒有檢測出用戶的視線的情況下，也可以判定為用戶的視線朝向不存在多臺設備的區(qū)域。

此外，作為檢測用戶的視線朝向不存在多臺設備的區(qū)域這一情況的方法，既可以使用上述的某一種方法，也可以使用兩種以上方法。

如上所述，本實施方式涉及的設備確定方法通過從多臺設備中確定成為用戶的操作對象的對象設備的設備確定裝置(例如家庭網關1102等)進行。此外，如上所述，設備確定裝置不限定于家庭網關1102，可以是系統(tǒng)所包含的任意設備。例如，如后所述，設備確定裝置也可以包含家庭網關1102、聲音收集裝置2013以及語音對話服務器2100的功能中的至少一部分。

首先，設備確定裝置取得與用戶的視線朝向的方向相關的視線信息。設備確定裝置基于視線信息判斷用戶的視線是否朝向第一區(qū)域，所述第一區(qū)域是該用戶能夠視覺識別的空間中的一部分區(qū)域，且與存在多臺設備的 位置不同(S103，S231)。

例如，第一區(qū)域為設備確定裝置存在的區(qū)域。具體而言，設備確定裝置具備檢測用戶的視線是否朝向該設備確定裝置的視線檢測單元，并取得該視線檢測單元已檢測出用戶的視線朝向設備確定裝置這一情況之意作為視線信息。在視線檢測單元檢測出用戶的視線朝向設備確定裝置的情況下，設備確定裝置判斷為用戶的視線朝向第一區(qū)域。

或者，設備確定裝置基于由設置于與多臺設備不同的位置的聲音收集裝置2013收集到的用戶的說話來操作對象設備，第一區(qū)域是聲音收集裝置2013存在的區(qū)域。具體而言，聲音收集裝置2013具備視線檢測單元2131，所述視線檢測單元2131檢測用戶的視線是否朝向該聲音收集裝置2013。設備確定裝置取得視線檢測單元2131已檢測出用戶的視線朝向聲音收集裝置2013這一情況之意作為視線信息。在視線檢測單元2131已檢測出用戶的視線朝向聲音收集裝置2013的情況下，設備確定裝置判斷為用戶的視線朝向第一區(qū)域。

或者，設備確定裝置基于用戶的說話操作對象設備，第一區(qū)域是作為用戶的說話(對話)對象的物體(人偶等)存在的區(qū)域。具體而言，物體具備視線檢測單元，所述視線檢測單元檢測用戶的視線是否朝向該物體。設備確定裝置取得視線檢測單元已檢測出用戶的視線朝向物體這一情況之意作為視線信息。在視線檢測單元已檢測出用戶的視線朝向物體的情況下，設備確定裝置判斷為用戶的視線朝向第一區(qū)域。

或者，設備確定裝置基于用戶的說話操作所述對象設備，第一區(qū)域是作為用戶的說話(對話)對象的假想物體(全息圖等)存在的區(qū)域。具體而言，設備確定裝置取得由拍攝裝置拍攝到的包含用戶的圖像作為視線信息。設備確定裝置通過解析該圖像判斷用戶的視線是否朝向假想物體，在判斷為用戶的視線朝向假想物體的情況下，判斷為用戶的視線朝向第一區(qū)域。

在判斷為用戶的視線朝向所述第一區(qū)域的情況下(在S103中為否，在S231中為否)，設備確定裝置將多臺設備中存在于該用戶不能視覺識別 的空間內的第一設備確定為對象設備(S105、S234)。

接著，設備確定裝置基于用戶的操作對已確定的對象設備進行操作(S108)。具體而言，設備確定裝置基于用戶的說話內容生成用于控制對象設備的命令，并將該命令發(fā)送給對象設備。

另外，設備確定裝置對用戶通知已確定的對象設備(S106)，在已確定的對象設備被用戶承認的情況下(在S107中為是)，基于用戶的操作對已確定的對象設備進行操作(S108)。

由此，本實施方式涉及的設備確定方法在用戶的視線朝向設備存在的位置以外的特定區(qū)域的情況下，能夠將存在于對用戶來說不能視覺識別的空間內的設備確定為操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

另外，設備確定裝置判斷用戶的視線是否朝向存在于該用戶能夠視覺識別的空間中的、多臺設備所包含的第二設備(S103、S231)，在判斷為用戶的視線朝向第二設備的情況下(在S103中為是，在S231中為是)，將該第二設備確定為對象設備(S104、S232)。

由此，本實施方式涉及的設備確定方法在用戶將視線朝向某設備的情況下，能夠將該設備確定為操作對象。由此，由于能夠減少對用戶的反問的產生，所以能夠提高用戶的便利性。

另外，即使在用戶的視線朝向第一區(qū)域的情況下，在用戶的說話的內容中包含確定多臺設備所包含的第三設備的信息的情況下，設備確定裝置將第三設備確定為對象設備。另外，即使在判斷為用戶的視線朝向第一區(qū)域的情況下，在用戶的說話內容中包含確定預定空間的信息的情況下，將多臺設備中存在于預定空間的第三設備確定為對象設備(在S101中為是，S102)。

由此，即使在基于用戶的視線信息確定了成為操作對象的設備的情況下，也能夠使根據用戶的說話內容確定的設備優(yōu)先作為操作對象。因此，能夠抑制用戶意想不到的設備被錯誤地選擇為操作對象。

(實施方式2)

在本實施方式中，說明上述實施方式1涉及的對話信息提供系統(tǒng)的變形例。此外，在以下的實施方式中，省略與之前的實施方式重復的說明，主要說明不同之處。

本實施方式涉及的對話信息提供系統(tǒng)相對于實施方式1涉及的對話信息提供系統(tǒng)的不同之處在于對象設備確定處理(圖10的S222)。具體而言，在本實施方式中，在用戶的視線沒有朝向設備的情況下，選擇存在于用戶附近的設備作為對象設備。

圖17是本實施方式涉及的對象設備確定處理(S222A)的流程圖。此外，相對于圖10所示的處理，圖17所示的處理包含步驟S233A和S234來取代包含步驟S233和S234。

在作為視線檢測通知的發(fā)送源的裝置不是家電設備的情況下(在S231中為否)，家庭網關1102參照設備管理信息2142，判定在用戶附近是否存在設備(S233A)。

具體而言，家庭網關1102參照設備管理信息2142，將存在于與用戶存在的空間(例如房間)相同的空間內的設備判斷為用戶附近的設備。

在用戶附近存在設備的情況下(在S233A中為是)，家庭網關1102將用戶附近的設備決定為對象設備(S234A)。

另一方面，在用戶附近不存在設備的情況下(在S233A中為否)，家庭網關1102不決定對象設備而將全部設備決定為對象設備的候選。

此外，也可以預先將由設備管理信息2142管理的全部設備設定為默認的對象設備的候選，在步驟S234A中選擇了設備作為對象設備的情況下，進行更新以使得僅該設備成為對象設備。

圖18是表示本實施方式中的用戶對聲音收集裝置2013說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。此外，用戶對對象設備說話的情況下的對話信息提供系統(tǒng)中的工作例與圖6相同。

例如，用戶將視線朝向聲音收集裝置2013并說“打開空調”。

聲音收集裝置2013檢測出用戶的視線朝向本設備這一情況(S311)，并向家庭網關1102通知檢測結果(S312)。家庭網關1102確定對象設備 (S313A)。在該情況下，由于用戶的視線朝向聲音收集裝置2013，所以家庭網關1102將第一設備2011和第二設備2012中存在于用戶附近的第一設備2011決定為對象設備。此外，在此，用戶存在于第一空間2001(起居室)，并選擇存在于與用戶相同的第一空間2001內的第一設備2011作為對象設備。

接著，與步驟S304同樣地，聲音收集裝置2013、家庭網關1102以及語音對話服務器2100進行語音對話處理(S314)。然后，家庭網關1102基于語音對話處理的結果，向第一設備2011發(fā)送控制命令(S315A)。第一設備2011執(zhí)行接收到的控制命令(S316A)。

通過這樣的流程，即使是在用戶沒有進行確定設備的內容的說話，且用戶對尚未與設備關聯的聲音收集裝置2013說話的情況下，也能夠確定設備并進行操作。

(實施方式3)

在本實施方式中，說明上述實施方式1涉及的對話信息提供系統(tǒng)的變形例。在本實施方式中，第一設備2011和第二設備2012進一步具有檢測與用戶的距離的功能。對話信息提供系統(tǒng)基于檢測出的設備與用戶的距離，確定用戶的視覺識別范圍外的設備。

圖19是表示本實施方式中的第一設備2011A和第二設備2012A的一例的框圖。第一設備2011A和第二設備2012A除了實施方式1涉及的第一設備2011和第二設備2012的構成要素以外，還具備檢測用戶與本設備的距離的距離檢測單元2114和2124。在此，距離檢測單元2114和2124既可以檢測用戶是否存在于距本設備預定距離以內，也可以檢測用戶與本設備的距離(值)。

圖20A～圖20C是表示本實施方式中的設備管理信息2142的一例的圖。在圖20A所示的設備管理信息2142A的例子中，家庭網關1102、作為第一設備2011的空調、作為聲音收集裝置2013的天花板麥克風設置在起居室內，作為第二設備2012的空調設置在臥室內。另外，作為由距離檢測單元2114和2124取得的用戶與設備的距離信息，示出了由第一設備2011 檢測出用戶這一情況。

在圖20B所示的設備管理信息2142B的例子中，雖然存在家庭網關1102、作為第一設備2011的空調、作為第二設備2012的空調以及作為聲音收集裝置2013的天花板麥克風，但未設定各裝置的設置場所。另外，作為由距離檢測單元2114和2124取得的用戶與設備的距離信息，示出了由第一設備2011檢測出用戶這一情況。

在圖20C所示的設備管理信息2142C的例子中，家庭網關1102和作為第二設備2012的空調設置在起居室內，作為第一設備2011的微波爐和作為聲音收集裝置2013的聲音收集麥克風設置在廚房內。另外，作為由距離檢測單元2114和2124取得的用戶與設備的距離信息，示出了由第一設備2011檢測出用戶這一情況。

此外，在此，作為距離信息示出了由哪臺設備檢測出用戶，但也可以示出數值信息以知道距離的遠近。另外，作為該數值信息，也可以使用表示與設備的通信時間的信息。由此，在存在檢測出用戶的多臺設備的情況下，能夠判定哪臺設備與用戶最接近。

圖21是表示圖11所示的處理中的將用戶的視覺識別范圍外的設備設定為對象設備的處理(S233和S234)的詳細情況的流程圖。

首先，家庭網關1102判定在設備管理信息2142中是否設定有設置場所信息(S401)。在設定有設置場所信息的情況下(在S401中為是)，家庭網關1102選擇設置在與用戶不同的空間(例如不同的房間)中的設備(S402)。

另一方面，在未設定設置場所信息的情況下(在S401中為否)，家庭網關1102基于距離信息，選擇離用戶預定距離以上的設備(S403)。例如，家庭網關1102選擇檢測出用戶的設備以外的設備。

另外，在步驟S402和S403中選擇了多臺設備的情況下(在S404中為是)，家庭網關1102選擇距用戶的距離最遠的設備(S405)。

以下，用圖20A和圖20B的例子說明該處理的具體例。

在圖20A所示的例子中，第一設備2011為設置在起居室中的空調， 第二設備2012為設置在臥室中的空調，聲音收集裝置2013為設置在天花板上的麥克風。用戶在起居室中未將視線朝向設備(例如將視線朝向聲音收集裝置2013)而說了“加熱”的情況下，設置在與用戶不同的房間內的臥室的空調被選擇為對象設備。此外，在不同的房間中設置有多臺空調的情況下，既可以選擇這些空調的全部，也可以僅選擇距用戶最遠的設備。

另外，在圖20B所示的例子中，按距用戶的距離從近到遠的順序存在第一設備2011、第二設備2012。第一設備2011和第二設備2012為空調，聲音收集裝置2013為設置在天花板上的麥克風。用戶在起居室中未將視線朝向設備而說了“打開制冷”的情況下，開始距用戶距離最遠的臥室的空調的制冷運轉。

(實施方式4)

在本實施方式中，說明對上述實施方式2涉及的對話信息提供系統(tǒng)應用了與實施方式3同樣的變形例的情況。此外，第一設備2011A和第二設備2012A、設備管理信息2142的構成與實施方式3相同。

圖22是表示圖17所示的處理中將用戶附近的設備設定為對象設備的處理(S233A和S234A)的詳細情況的流程圖。

首先，家庭網關1102判定在設備管理信息2142中是否設定有設置場所信息(S401)。在設定有設置場所信息的情況下(在S401中為是)，家庭網關1102選擇設置在與用戶相同的空間(例如相同的房間)中的設備(S402A)。

另一方面，在未設定設置場所信息的情況下(在S401中為否)，家庭網關1102基于距離信息，選擇存在于距用戶預定距離以內的設備(S403A)。例如，家庭網關1102選擇檢測出用戶的設備。

另外，在步驟S402A和S403A中選擇了多臺設備的情況下(在S404中為是)，家庭網關1102選擇距用戶的距離最近的設備(S405A)。

以下，用圖20A～圖20C的例子說明該處理的具體例。

在圖20A所示的例子中，第一設備2011為設置在起居室中的空調，第二設備2012為設置在臥室中的空調，聲音收集裝置2013為設置在天花 板上的麥克風。在用戶在起居室中未將視線朝向設備而說了“加熱”的情況下，設置在與用戶相同的房間內的起居室的空調被選擇為對象設備。此外，在起居室中設置有多臺空調的情況下，既可以選擇這些空調的全部，也可以僅選擇距用戶最近的設備。

另外，在圖20B所示的例子中，按距用戶的距離從近到遠的順序存在第一設備2011、第二設備2012。第一設備2011和第二設備2012為空調，聲音收集裝置2013為設置在天花板上的麥克風。在用戶在起居室中未將視線朝向設備而說了“打開制冷”的情況下，開始距用戶距離近的起居室的空調的制冷運轉。由此，能夠向用戶提供更加舒適的環(huán)境。

另外，在圖20C所示的例子中，第一設備2011為設置在廚房中的微波爐，第二設備2012為設置在起居室中的空調，聲音收集裝置2013為設置在廚房中的具有麥克風功能的顯示設備。在用戶在廚房中利用顯示設備一邊檢索菜譜一邊說了“加熱”的情況下，也同樣地選擇微波爐，所述微波爐是與正在說話的用戶的距離為閾值以內的設備。或者，在將用戶所在的場所確定為廚房時，不僅根據距離的遠近，還通過使作為廚房家電種類的設備的微波爐優(yōu)先而有可能更容易推定用戶的意圖。

(實施方式5)

在本實施方式中，說明上述實施方式4的變形例。另外，在本實施方式中，說明用戶利用自己專用的填充玩偶、虛擬化身(Avatar)或可穿戴麥克風等，通過說話來確認或操作家電設備的狀態(tài)的情況。具體而言，在用戶不將視線朝向設備而說話且由用戶專用的聲音收集裝置取得了說話的情況下，選擇與該用戶建立了關聯的設備(例如，設置在該用戶的房間中的設備)。

圖23是表示本實施方式中的對話信息提供系統(tǒng)的一例的圖。相對于圖2所示的對話信息提供系統(tǒng)，圖23所示的對話信息提供系統(tǒng)中，組1100A的構成與組1100不同。具體而言，組1100A還包含聲音收集裝置2014。聲音收集裝置2014具備視線檢測單元2151和聲音收集單元2152。視線檢測單元2151和聲音收集單元2152的功能與聲音收集裝置2013具備的視線 檢測單元2131和聲音收集單元2132相同。聲音收集裝置2014進一步保持用戶信息2155。用戶信息2155表示使用聲音收集裝置2013的用戶(所有者)的名稱或識別符等。

圖24是表示本實施方式中的設備管理信息2142的一例的圖。在圖24所示的設備管理信息2142D的例子中，家庭網關1102、作為第一設備2011的空調、作為聲音收集裝置2013的天花板麥克風設置在起居室內，作為第二設備2012的空調設置在兒童房間內。另外，兒童將作為聲音收集裝置2014的可穿戴麥克風戴在身上并想要說話。

圖25是表示將用戶附近的設備設定為對象設備的處理(圖17的S233A和S234A)的詳細情況的流程圖。圖25所示的處理相對于圖22所示的處理追加了步驟S406和S407。

在設定有設置場所信息的情況下(在S401中為是)，家庭網關1102判定用戶是否利用像天花板麥克風那樣的設置場所被固定的設置麥克風進行了說話(S406)。在用戶利用設置麥克風說話了的情況下(在S406中為是)，與實施方式4同樣地，進行步驟S402A以后的處理。

另一方面，在用戶沒有利用設置麥克風說話的情況下，也就是說，利用與該用戶關聯的可穿戴麥克風等便攜麥克風說話了的情況下(在S406中為否)，家庭網關1102選擇設置在用戶的房間中的設備(S407)。

在圖24的例子中說明該處理的具體例。

在圖24的例子中，第一設備2011為設置在起居室中的空調，第二設備2012為設置在用戶的房間中的空調，聲音收集裝置2014為用戶專用的可穿戴麥克風。在用戶在起居室中利用可穿戴麥克風說出“加熱”的情況下，選擇設置在用戶的房間中的第二設備2012。

這樣，即使在像“加熱”那樣用戶沒有說出確定設備的情況下，也能夠確定設備并控制相應的設備。

此外，也可以預先對用戶設定優(yōu)先級。由此，在多個用戶同時說話的情況下，使優(yōu)先級更高的用戶的說話優(yōu)先。例如，也可以在家人中將大人的優(yōu)先級設定為比兒童高。或者，也可以將家人的優(yōu)先級設定為高，將來 客等未預先登記的用戶的優(yōu)先級設定為低。

此外，在此，作為實施方式4的變形例，說明了本實施方式的工作，但對其他實施方式也能夠應用同樣的變形例。

如上所述，設備確定裝置基于通過多個聲音收集裝置2013和2014的某一個收集的用戶的說話來操作對象設備。多個聲音收集裝置2013和2014包含與用戶預先關聯的第一聲音收集裝置2014。在由第一聲音收集裝置2014收集到用戶的說話的情況下，設備確定裝置將多臺設備(第一設備2011和第二設備2012)中的、與用戶預先建立了關聯的設備確定為對象設備。

由此，能夠使與用戶關聯的設備優(yōu)先作為操作對象。因此，能夠抑制用戶意想不到的設備被錯誤地選擇為操作對象。

(實施方式6)

在本實施方式中，說明上述實施方式1的變形例。在本實施方式中，對話信息提供系統(tǒng)在開始聲音收集時誘導用戶以使得用戶明確地指示想操作的設備。具體而言，對話信息提供系統(tǒng)催促用戶朝向對象設備的方向說話。

圖26是對象設備確定處理(S222)的變形例(S222B)的流程圖。圖26所示的處理相對于圖11所示的處理追加了步驟S235和S236。

在作為視線檢測通知的發(fā)送源的裝置不是家電設備的情況下(在S231中為否)，家庭網關1102判定是否進行了讓用戶將視線朝向對象設備并說話的通知(S235)。在沒有進行通知的情況下(在S235中為否)，家庭網關1102向具有向用戶的信息提示能力的聲音收集裝置2013等指示以使得向用戶傳遞消息(S236)。例如，該消息是“請朝向想操作的設備并說話”等。

由此，能夠更明確地確定用戶想操作的設備。

(其他變形例)

此外，在上述實施方式中說明的技術例如也可利用以下構成來實現。

在圖27中，視線檢測單元2131和聲音收集單元2132分離為不同的設 備。也就是說，圖27所示的組1100B具備視線檢測裝置2013A和聲音收集裝置2013B來取代聲音收集裝置2013，所述視線檢測裝置2013A具備視線檢測單元2131，所述聲音收集裝置2013B具備聲音收集單元2132。通過設為這樣的構成，不僅能夠降低設備的單價，還因能夠使設備小型化和輕量化而使設備能夠容易攜帶。由此，能夠提高視線檢測的精度。

在圖28所示的組1100C中，家庭網關1102A保持有對話詞典2147。通過設為這樣的構成，在電波不良或有線LAN纜線脫落的情況下等通信切斷時，也能夠實施利用說話進行的設備控制。另外，由于在能夠進行通信的情況下也能夠減少通信的額外開銷，所以能夠提高響應性。

此外，在該情況下，也可以由家庭網關1102A和語音對話服務器2100這兩方實施意圖理解處理。在該情況下，由于可以認為家庭網關1102A保有的對話詞典2147與語音對話服務器2100保有的對話詞典2101產生差異的情況，所以只用某一方就可能得到期望的結果。

在圖29所示的例子中，在家庭網關1102A中保持對話詞典2147，不存在語音對話服務器2100。通過設為這樣的構成，即使在不與互聯網連接的環(huán)境中也能夠實施利用說話進行的設備控制。

在圖30所示的組1100D中，將家庭網關1102和聲音收集裝置2013一體化。組1100D所包含的家庭網關1102B具備視線檢測單元2131和聲音收集單元2132。通過設為這樣的構成，由于無需用設備間通信進行視線檢測通知等，所以減少了通信的額外開銷，因此能夠提高對用戶的響應性。

此外，在上述技術方案中說明的技術例如能夠在以下的云服務類型中實現。但是，實現在上述技術方案中說明的技術的云服務的類型不限于此。

(服務類型1：自己公司數據中心型云服務)

圖31是表示服務類型1(自己公司數據中心型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。在本類型中，服務提供商1120從組1100取得信息，并對用戶提供服務。在本類型中，服務提供商1120具有數據中心運營公司的功能。即，服務提供商1120保有管理大數據的云服務器1111。因此，不存在數據中心運營公司。

在本類型中，服務提供商1120運營和管理數據中心(云服務器)1203。另外，服務提供商1120管理操作系統(tǒng)(OS)1202和應用1201。服務提供商1120使用服務提供商1120管理的OS1202和應用1201而提供服務(箭頭1204)。

(服務的類型2：IaaS利用型云服務)

圖32是表示服務類型2(IaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。在此，IaaS是Infrastructure-as-a-Service(基礎設施即服務)的簡稱，是將用于構造計算機系統(tǒng)并使之工作的基礎本身提供作為經由互聯網的服務的云服務提供模型。

在本類型中，數據中心運營公司1110運營和管理數據中心(云服務器)1203。另外，服務提供商1120管理OS1202和應用1201。服務提供商1120使用服務提供商1120管理的OS1202和應用1201而提供服務(箭頭1204)。

(服務的類型3：PaaS利用型云服務)

圖33是表示服務類型3(PaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。在此，PaaS是Platform-as-a-Service(平臺即服務)的簡稱，是將平臺作為經由互聯網的服務而提供的云服務提供模型，所述平臺成為用于構建軟件并使之工作的基礎。

在本類型中，數據中心運營公司1110管理OS1202，并運營和管理數據中心(云服務器)1203。另外，服務提供商1120管理應用1201。服務提供商1120使用數據中心運營公司1110管理的OS1202和服務提供商1120管理的應用1201提供服務(箭頭1204)。

(服務的類型4：SaaS利用型云服務)

圖34是表示服務類型4(SaaS利用型云服務)中的信息管理系統(tǒng)提供的服務的整體畫面的圖。在此，SaaS是Software-as-a-Service(軟件即服務)的簡稱。SaaS利用型云服務例如是具有如下功能的云服務提供模型：不保有數據中心(云服務器)的公司或個人等利用者能夠經由互聯網等網絡，使用保有數據中心(云服務器)的平臺提供者提供的應用。

在本類型中，數據中心運營公司1110管理應用1201，管理OS1202， 并運營和管理數據中心(云服務器)1203。另外，服務提供商1120使用數據中心運營公司1110管理的OS1202和應用1201提供服務(箭頭1204)。

以上，在任一種云服務的類型中，都是服務提供商1120提供服務。另外，例如服務提供商或數據中心運營公司也可以自己開發(fā)OS、應用或大數據的數據庫等，另外，也可以外包給第三者。

以上，說明了本公開的實施方式涉及的對話信息提供系統(tǒng)，但本公開不限定于該實施方式。

另外，上述實施方式涉及的對話信息提供系統(tǒng)所包含的各處理單元典型地以作為集成電路的LSI實現。這些各處理單元可以分別形成獨立的單片，也可以形成為包含一部分或全部處理單元的單片。

并且，集成電路化的方法不限于LSI，也可以以專用電路或通用處理器來實現。在LSI制造后，也可以利用可編程的FPGA(Field Programmable Gate Array：現場可編程門陣列)或利用能夠將LSI內部的電路單元的連接以及設定重新構建的可重構處理器(Reconfigurable processor)。

此外，在上述各實施方式中，各構成要素可由專用硬件構成，也可以通過執(zhí)行適于各構成要素的軟件程序來實現。各構成要素也可以通過CPU或處理器等程序執(zhí)行單元讀出并執(zhí)行記錄在硬盤或半導體存儲器等記錄介質中的軟件程序來實現。

而且，本公開既可以是上述程序，也可以是記錄有上述的程序的非暫時性計算機可讀取記錄介質。并且，上述程序當然能夠經由互聯網等傳輸介質流通。

另外，框圖中的功能塊的分割為一例，可以將多個功能塊作為一個功能塊而實現，將一個功能塊分割為多個，或將一部分功能轉移到其他功能塊。另外，也可以是單一的硬件或軟件以并行或時分方式處理具有類似功能的多個功能塊的功能。

另外，執(zhí)行上述流程圖等所示的多個步驟的順序是為了具體說明本公開而例示的順序，也可以是上述以外的順序。并且，上述步驟的一部分也可以與其他的步驟同時(并行)執(zhí)行。

以上，基于實施方式說明了一個或多個技術方案涉及的對話信息提供系統(tǒng)，但本公開不限定于該實施方式。只要不脫離本公開的主旨，對本實施方式實施了本領域技術人員能夠想到的各種變形而得到實施方式、以及組合不同的實施方式中的構成要素而構建的實施方式均包含在一個或多個技術方案的范圍內。