交流支援裝置以及交流支援方法
【專(zhuān)利說(shuō)明】交流支援裝置以及交流支援方法
[0001]本申請(qǐng)享受2013年12月20在先提出的日本專(zhuān)利申請(qǐng)?zhí)?013-264127的優(yōu)先權(quán)，并且將其全部?jī)?nèi)容引入本申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明的實(shí)施方式涉及交流支援裝置以及交流支援方法。
【背景技術(shù)】
[0003]已知如下技術(shù):通過(guò)聲音識(shí)別將用戶(hù)間的會(huì)話(huà)轉(zhuǎn)換成文本，并根據(jù)需要通過(guò)機(jī)器翻譯轉(zhuǎn)換成其他國(guó)家語(yǔ)言的文本，而顯示于用戶(hù)所使用的終端裝置。該技術(shù)例如作為在遠(yuǎn)程會(huì)議系統(tǒng)等中對(duì)參加會(huì)議的用戶(hù)彼此的交流進(jìn)行支援的技術(shù)是有用的。另外，如果利用該技術(shù)，則能夠?qū)⑥D(zhuǎn)換成文本的會(huì)話(huà)的內(nèi)容例如作為會(huì)議的會(huì)議記錄進(jìn)行保存，以后也能夠進(jìn)行參考。
[0004]在上述技術(shù)中，存在以下情況:當(dāng)用戶(hù)的發(fā)言中含有未登記在聲音識(shí)別、機(jī)器翻譯所使用的辭典中的單詞時(shí)，會(huì)產(chǎn)生錯(cuò)誤識(shí)別、誤譯，而無(wú)法適當(dāng)?shù)刂г脩?hù)彼此的交流。因此，要求適當(dāng)?shù)貦z測(cè)出產(chǎn)生錯(cuò)誤識(shí)別、誤譯的單詞，并將正確的單詞登記在辭典中。并且，要求例如從被保存為會(huì)議的會(huì)議記錄的文本中適當(dāng)?shù)貦z測(cè)出產(chǎn)生錯(cuò)誤識(shí)別、誤譯的單詞，并修正為正確的單詞。
[0005]對(duì)于從文本中提取應(yīng)登記在辭典中的單詞、成為修正對(duì)象的單詞的方法進(jìn)行了各種研究，但現(xiàn)有的方法未將基于會(huì)話(huà)的信息傳遞的成功與否作為判斷材料，因此難以從交流支援的觀點(diǎn)出發(fā)來(lái)進(jìn)行適當(dāng)?shù)膯卧~的提取。

【發(fā)明內(nèi)容】

[0006]實(shí)施方式的交流支援裝置為，使用辭典將用戶(hù)間的會(huì)話(huà)轉(zhuǎn)換成文本而顯示于終端裝置，該交流支援裝置具備檢測(cè)部、提取部以及選擇部。檢測(cè)部對(duì)與用戶(hù)的一次發(fā)言相對(duì)應(yīng)的文本單位即句子進(jìn)行解析，而檢測(cè)表示基于會(huì)話(huà)的信息傳遞失敗的事件。提取部從檢測(cè)出上述事件的句子中提取單詞。選擇部根據(jù)傳遞失敗指標(biāo)來(lái)選擇由上述提取部提取的單詞中、成為信息傳遞的失敗原因的單詞，上述傳遞失敗指標(biāo)根據(jù)從包含上述單詞的句子中檢測(cè)出的上述事件來(lái)計(jì)算。
【附圖說(shuō)明】
[0007]圖1是遠(yuǎn)程會(huì)議系統(tǒng)的概略構(gòu)成圖。
[0008]圖2是表示交流支援裝置的功能性構(gòu)成例的框圖。
[0009]圖3是示意地表示轉(zhuǎn)換部所使用的辭典的一例的圖。
[0010]圖4是表不句子表的一例的圖。
[0011]圖5是表不句子顯不用UI畫(huà)面的一例的圖。
[0012]圖6是表示事件種類(lèi)表的一例的圖。
[0013]圖7是表不事件表的一例的圖。
[0014]圖8是表不單詞表的一例的圖。
[0015]圖9是表示單詞修正用UI畫(huà)面的一例的圖。
[0016]圖10是表示交流支援裝置的動(dòng)作的一例的流程圖。
[0017]圖11是表示在會(huì)議結(jié)束后顯示的句子顯示用UI畫(huà)面的一例的圖。
[0018]圖12是表示在變形例中追加的事件種類(lèi)表的一例的圖。
[0019]圖13是表示變形例的交流支援裝置的動(dòng)作的一例的流程圖。
[0020]圖14是概略地表示交流支援裝置的硬件構(gòu)成的一例的框圖。
【具體實(shí)施方式】
[0021]以下，參照附圖對(duì)實(shí)施方式的交流支援裝置、交流支援方法以及程序進(jìn)行詳細(xì)說(shuō)明。以下所示的實(shí)施方式是向遠(yuǎn)程會(huì)議系統(tǒng)的應(yīng)用例，但能夠應(yīng)用本發(fā)明的系統(tǒng)不限于此。
[0022](遠(yuǎn)程會(huì)議系統(tǒng))
[0023]圖1是具備實(shí)施方式的交流支援裝置的遠(yuǎn)程會(huì)議系統(tǒng)的概略構(gòu)成圖。如圖1所示，遠(yuǎn)程會(huì)議系統(tǒng)構(gòu)成為，本實(shí)施方式的交流支援裝置10、會(huì)議參加者所使用的終端裝置20、以及系統(tǒng)管理者所使用的終端裝置30經(jīng)由通信網(wǎng)絡(luò)40連接。
[0024]交流支援裝置10典型地是實(shí)現(xiàn)為具備作為通常的計(jì)算機(jī)系統(tǒng)的硬件構(gòu)成(處理器、主存儲(chǔ)部、輔助存儲(chǔ)部、通信接口)的服務(wù)器裝置。但是，交流支援裝置10的實(shí)現(xiàn)方法不限于該例，也可以實(shí)現(xiàn)為在云系統(tǒng)上工作的虛擬機(jī)，還可以實(shí)現(xiàn)為在終端裝置20、30上工作的應(yīng)用程序。在本實(shí)施方式中，交流支援裝置10實(shí)現(xiàn)為經(jīng)由通信網(wǎng)絡(luò)40在終端裝置20,30之間進(jìn)行基于Web的通信的、具有Web服務(wù)器的功能的服務(wù)器裝置。
[0025]會(huì)議參加者所使用的終端裝置20例如具備作為軟件而搭載了 Web瀏覽器的PC(個(gè)人計(jì)算機(jī))主體21、通過(guò)內(nèi)置或者外置而與PC主體21連接的顯示部22、麥克風(fēng)23以及揚(yáng)聲器24。除此之外，作為終端裝置20，例如能夠利用平板終端、便攜電話(huà)等作為硬件而具備顯示部22、麥克風(fēng)23以及揚(yáng)聲器24、作為軟件而搭載了 Web瀏覽器的各種信息處理終端。系統(tǒng)管理者所使用的終端裝置30與會(huì)議參加者所使用的終端裝置20為同樣的構(gòu)成。
[0026]在本實(shí)施方式中，假定為:在將不同語(yǔ)言作為母語(yǔ)的會(huì)議參加者之間實(shí)施的遠(yuǎn)程會(huì)議中，利用遠(yuǎn)程會(huì)議系統(tǒng)。在遠(yuǎn)程會(huì)議系統(tǒng)中，使用終端裝置20的麥克風(fēng)23來(lái)取得會(huì)議參加者的發(fā)言。交流支援裝置10通過(guò)聲音識(shí)別將該發(fā)言轉(zhuǎn)換成文本。并且，將從聲音轉(zhuǎn)換的文本通過(guò)機(jī)器翻譯轉(zhuǎn)換成其他會(huì)議參加者的母語(yǔ)的文本。此外，在會(huì)議中使用的語(yǔ)言可以是會(huì)議參加者各自的母語(yǔ)，也可以構(gòu)成為，將預(yù)先確定的語(yǔ)言作為使用語(yǔ)言、僅使將與該使用語(yǔ)言不同的語(yǔ)言作為母語(yǔ)的會(huì)議參加者的發(fā)言翻譯成使用語(yǔ)言。
[0027]在交流支援裝置10中通過(guò)聲音識(shí)別、機(jī)器翻譯而轉(zhuǎn)換的文本，通過(guò)會(huì)議參加者所使用的終端裝置20的Web瀏覽器的功能而顯示于顯示部22。在本實(shí)施方式中，將與會(huì)議參加者的一次發(fā)言相對(duì)應(yīng)的文本單位稱(chēng)為句子。在會(huì)議參加者各自使用的終端裝置20的顯示部22上，在會(huì)議進(jìn)行的期間顯示句子顯示用Π畫(huà)面。并且，在句子顯示用Π畫(huà)面上，每當(dāng)存在會(huì)議參加者的發(fā)言時(shí)，與該發(fā)言相對(duì)應(yīng)的句子被依次顯示。并且，會(huì)議參加者的發(fā)言被從會(huì)議參加者各自使用的終端裝置20的揚(yáng)聲器24輸出聲音。此外,聲音的共有,可以作為交流支援裝置10的一個(gè)功能來(lái)實(shí)現(xiàn)，也可以利用視頻會(huì)議裝置等其他裝置、或者在終端裝置20上工作的應(yīng)用程序來(lái)實(shí)現(xiàn)。
[0028]交流支援裝置10具有將與會(huì)議參加者的發(fā)言相對(duì)應(yīng)的句子例如與發(fā)言的聲音建立關(guān)聯(lián)地保存的功能。在會(huì)議結(jié)束后，例如能夠使終端裝置20的顯示部22在句子顯示用UI畫(huà)面上顯示被保存的句子，能夠?qū)⑵淅糜跁?huì)議的回看等。
[0029]交流支援裝置10對(duì)與會(huì)議參加者的發(fā)言相對(duì)應(yīng)的句子進(jìn)行解析，并檢測(cè)發(fā)言的重說(shuō)、重聽(tīng)等、推測(cè)為基于會(huì)話(huà)的信息傳遞失敗的狀況。在本實(shí)施方式中將這種狀況稱(chēng)為事件。在信息傳遞失敗時(shí)可能產(chǎn)生的幾個(gè)發(fā)言模式被預(yù)先確定為事件，對(duì)各個(gè)事件賦予傳遞失敗指標(biāo)，該傳遞失敗指標(biāo)表示在信息傳遞失敗的情況下該事件發(fā)生的程度。
[0030]之后，交流支援裝置10對(duì)于檢測(cè)出事件的句子進(jìn)行語(yǔ)態(tài)素分析等而提取單詞，并根據(jù)傳遞失敗指標(biāo)來(lái)選擇所提取的單詞中、成為信息傳遞的失敗原因的單詞。并且，交流支援裝置10使單詞修正用UI畫(huà)面顯示于會(huì)議參加者所使用的終端裝置20、系統(tǒng)管理者所使用的終端裝置30的顯示部22，該單詞修正用UI畫(huà)面用于將所選擇的單詞修正為正確的單詞。當(dāng)從該單詞修正用UI畫(huà)面輸入正確的單詞時(shí)，交流支援裝置10將該所輸入的單詞登記到聲音識(shí)別、機(jī)器翻譯所使用的辭典中，或者進(jìn)行句子的修正。從檢測(cè)出事件的句子提取單詞、并選擇成為信息傳遞的失敗原因的單詞而使終端裝置20、30的顯示部22顯示單詞修正用Π畫(huà)面的定時(shí)，可以是會(huì)議中、也可以是會(huì)議結(jié)束后。
[0031](交流支援裝置)
[0032]接著，關(guān)于本實(shí)施方式的交流支援裝置10的詳細(xì)情況，舉出具體例子來(lái)進(jìn)行說(shuō)明。圖2是表示交流支援裝置10的功能性構(gòu)成例的框圖。如圖2所示，交流支援裝置10具備轉(zhuǎn)換部11、句子管理部12、Π控制部13、事件檢測(cè)部14、單詞提取部15以及單詞選擇部16。
[0033]轉(zhuǎn)換部11為，對(duì)于使用終端裝置20的麥克風(fēng)23取得的會(huì)議參加者的發(fā)言，使用辭典D進(jìn)行聲音識(shí)別以及根據(jù)需要進(jìn)行機(jī)器翻譯而轉(zhuǎn)換成文本。聲音識(shí)別可以構(gòu)成為，從由麥克風(fēng)23輸入的聲音中自動(dòng)地檢測(cè)發(fā)聲區(qū)間并將其作為單個(gè)句子進(jìn)行聲音識(shí)別，也可以構(gòu)成為，會(huì)議參加者例如從句子顯示用UI畫(huà)面明示地輸入發(fā)聲開(kāi)始和結(jié)束定時(shí)并將該區(qū)間作為單個(gè)句子進(jìn)行聲音識(shí)別。
[0034]圖3是示意地表示轉(zhuǎn)換部11所使用的辭典D的一例的圖。在辭典D中，對(duì)于所登記的各個(gè)單詞，將原語(yǔ)言文本、讀法以及與原語(yǔ)言文本相對(duì)應(yīng)的翻譯語(yǔ)言文本建立對(duì)應(yīng)地保存。轉(zhuǎn)換部11為，如果會(huì)議者的發(fā)言所包含的單詞登記在該辭典D中，則能夠使用該辭典D將該單詞轉(zhuǎn)換成正確的原語(yǔ)言文本、翻譯語(yǔ)言文本。
[0035]句子管理部12接受轉(zhuǎn)換部11的處理結(jié)果即句子，并記錄到句子表Tbl中。另外，句子管理部12將從轉(zhuǎn)換部11接受的句子傳遞給UI控制部13。
[0036]圖4是表不句子表Tbl的一例的圖。在句子表Tbl中，將會(huì)議參加者的發(fā)言轉(zhuǎn)換成文本之后的各句子，與句子ID以及發(fā)言者的信息建立對(duì)應(yīng)地保存。句子ID是對(duì)各句子賦予的固有的識(shí)別信息。發(fā)言者的信息例如能夠利用在舉辦會(huì)議時(shí)會(huì)議主辦者所登記的信息等。句子表Tbl按照每個(gè)會(huì)議來(lái)獨(dú)立地制作。
[0037]在本例中，假定如下情況:在會(huì)議參加者的發(fā)言中包含有固有的服務(wù)名iiToscribe