專利名稱：交流支持裝置以及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及翻譯在使用不同語言的用戶之間使用的語言信息，并有效地提示給對方的交流支持裝置以及方法。
背景技術(shù)：
近年，普通人出國的機(jī)會(huì)在增加，另外，生活在其它國家的外國人也在增加。進(jìn)而，因特網(wǎng)等的通信技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的進(jìn)步也很顯著。由于接觸外語的機(jī)會(huì)和與外國人交流的機(jī)會(huì)增加，因而不同語言或者不同文化間交流的必要性提高。這從世界規(guī)模的統(tǒng)一性看也是必然潮流，可以認(rèn)為今后這種趨勢更加顯著。
為了這種不同語言或者不同文化之間的交流，作為以不同語言為母語的人之間的交流的不同語言間交流，和作為具有不同文化背景的人之間的交流的不同文化間交流的必要性增加。
作為和說自己母語不同語言的人交流的方法，可以考慮一方的人學(xué)習(xí)對方(外國人)的語言的方法，和相互翻譯多種語言傳達(dá)給對方的翻譯的方法等。
但是，外語的學(xué)習(xí)對誰都不容易，另外，為了學(xué)習(xí)需要花費(fèi)大量的時(shí)間。進(jìn)而，假設(shè)即使可以學(xué)到1種外語，但與想要進(jìn)行交流的對方進(jìn)行交流時(shí)，也有不能使用自己已學(xué)會(huì)的語言的情況。這種情況下，需要學(xué)習(xí)第2、第3種外語，語言學(xué)習(xí)的困難性增大。另外，因?yàn)榉g是具有特殊技能的專門職業(yè)，所以人數(shù)有限，雇傭翻譯的費(fèi)用也很高，一般不太利用。
因而，一般人在旅行海外時(shí)考慮的方法是，利用在對譯的同時(shí)記述在將要遇到的場景中想好的會(huì)話短語的會(huì)話短語集。在會(huì)話短語集中，收錄有用于交流的定型短語表現(xiàn)。
但是，因?yàn)樵跁?huì)話短語集中收錄數(shù)受到限制，所以不能收羅在實(shí)際的會(huì)話中所需要的表現(xiàn)，不另人滿意。另外，使用者存儲(chǔ)被收錄在會(huì)話短語集中的定型短語的方法，和學(xué)習(xí)外語一樣是極其困難的。而且，因?yàn)闀?huì)話短語是書籍，所以在實(shí)際的會(huì)話場面中，迅速查找記述有所需要表現(xiàn)的頁是困難的。因而，在實(shí)際的交流中不一定有效。
因而，有把這樣的會(huì)話集的數(shù)據(jù)電子化，例如作為可以攜帶大小的電子機(jī)器使用的電子翻譯機(jī)。使用者手持電子翻譯機(jī)，通過鍵盤和菜單選擇翻譯指定翻譯的文章。電子翻譯機(jī)把被輸入的文章轉(zhuǎn)換為另一國語言，把轉(zhuǎn)換(翻譯)后的文章顯示在顯示器上，或者聲音輸出。這樣，可以實(shí)現(xiàn)和對方的交流。
在電子翻譯機(jī)中，所需要的短語檢索的工作，與作為書籍的會(huì)話集相比，減輕了不少。但是，和會(huì)話集一樣，只能使用限定的定型短語，和局部改變該短語的一些擴(kuò)展表現(xiàn)。即，使用不同語言的人士之間不能完美的交流。
另外，如果增加電子翻譯機(jī)的收錄短語，由于電子翻譯機(jī)的操作是通過鍵盤和菜單選擇進(jìn)行的，所以選擇翻譯的文章困難。即，實(shí)際的交流中的有效性降低。
這樣，以往，存在沒有一種完美流暢地在使用不同語言的人士之間進(jìn)行交流的工具的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供可以在使用不同語言的人士之間流暢地進(jìn)行交流的交流支持裝置以及方法。
在技術(shù)方案1中，描繪部，由在和顯示畫面之間具有規(guī)定的位置關(guān)系的多個(gè)使用者內(nèi)規(guī)定的使用者，把基于第1種語言的描述信息描繪在上述顯示畫面上。轉(zhuǎn)換部，把基于上述第1種語言的描述信息轉(zhuǎn)換為基于第2種語言的信息?？刂撇?，在上述多個(gè)使用者內(nèi)，對應(yīng)成為基于上述第2種語言的信息提供目標(biāo)的另一使用者的位置，在上述顯示畫面上提示基于上述第2種語言的信息。因而，在相對顯示畫面的位置關(guān)系不同的多個(gè)使用者中，可以把基于作為轉(zhuǎn)換結(jié)果的第2種語言的信息，顯示在對方使用者容易看到的位置以及方向上。
在技術(shù)方案14中，輸入部，接受來自使用者的第1種語言的輸入信息。翻譯部，把上述第1種語言的輸入信息翻譯為對應(yīng)于另一使用者的第2種語言的輸出信息。提示部，利用與另一使用者的位置對應(yīng)的指向性，提示采用上述第2種語言的輸出信息。由此，可以把輸出信息提示在對方的使用者以使用的第2種語言容易看的方向上。
在技術(shù)方案27中，在描繪步驟中，由在和顯示畫面之間具有規(guī)定的位置關(guān)系的多個(gè)使用者內(nèi)規(guī)定的使用者，把基于第1種語言的描述信息描繪在上述顯示畫面上。在轉(zhuǎn)換步驟中，把基于上述第1種語言的描述信息轉(zhuǎn)換為基于第2種語言的信息。在控制步驟中，在上述多個(gè)使用者內(nèi)，對應(yīng)成為基于上述第2種語言的信息提供目標(biāo)的另一使用者的位置，在上述顯示畫面上提示基于上述第2種語言的信息。因而，在相對顯示畫面的位置關(guān)系不同的多個(gè)使用者中，可以把基于作為轉(zhuǎn)換結(jié)果的第2種語言的信息，顯示在對方使用者容易看到的位置以及方向上。
在技術(shù)方案28中，在輸入步驟中，接受來自使用者的使用第1種語言的輸入信息。在翻譯步驟中，把上述第1種語言的輸入信息翻譯為給另一使用者的第2種語言的輸出信息。在提示步驟中，利用對應(yīng)上述另一使用者的位置的指向性，提示采用上述第2種語言的輸出信息。由此，可以以對方使用者使用的第2種語言中容易看到的方向上提示輸出信息。


圖1是展示本發(fā)明的實(shí)施方式1的交流支持裝置的方框圖。
圖2是展示在圖1中的顯示信息存儲(chǔ)部16的存儲(chǔ)內(nèi)容的一例的說明圖。
圖3是展示在顯示畫面上描述的文字位置以及正方向的說明圖。
圖4展示在圖1中的配置信息存儲(chǔ)部17的存儲(chǔ)內(nèi)容的一例的說明圖。
圖5是展示相對顯示畫面的使用者的配置位置以及正方向的說明圖。
圖6是用于說明本發(fā)明的實(shí)施方式1的動(dòng)作的流程圖。
圖7是用于說明本發(fā)明的實(shí)施方式1的具體的使用方法的說明圖。
圖8是用于說明本發(fā)明的實(shí)施方式1的具體的使用法的說明圖。
圖9是展示本發(fā)明的實(shí)施方式2的交流支持裝置的方框圖。
圖10是用于說明圖9中的麥克風(fēng)21a以及21b、揚(yáng)聲器22a以及22b的實(shí)際的配置的說明圖。
具體實(shí)施例方式
以下，參照附圖詳細(xì)說明本發(fā)明的實(shí)施方式。圖1是展示本發(fā)明的實(shí)施方式1的交流支持裝置的方框圖。
本實(shí)施方式，鑒于近年的聲音識(shí)別技術(shù)和手寫輸入的自動(dòng)識(shí)別技術(shù)的發(fā)展、自然語言處理技術(shù)，特別是對文本的機(jī)械翻譯技術(shù)的高速化以及精度的提高等的背景，靈活使用這些技術(shù)流暢地進(jìn)行不同語言間的交流。
即，在本實(shí)施方式中，受理來自使用者的輸入信息，在進(jìn)行作為信息的提供目標(biāo)的另一使用者可以理解的翻譯處理后，通過對應(yīng)該使用者的位置確定翻譯信息的提示方向，有效地支持使用者相互間的交流。
可是，作為對和說外語的外國人交流的有效的方法，有使用鋼筆、鉛筆和筆記本等，一邊畫圖和寫字一邊和對方對話的筆談的方法。在該方法中，通過以手寫顯示描繪和圖象，可以得到和對方的有效的交流。但是，只在描繪和圖形中，把可以表現(xiàn)的具體的事物以外的事物傳給對方困難。另外，因?yàn)檫M(jìn)行交流的雙方的人的文化性背景不同，所以不依賴于記號(hào)和文化的符號(hào)和圖形未必有效。
另外，例如日語和漢語，即使是使用雙方都稱為漢字的共同的羅馬字母(文字)的語言之間，實(shí)際所使用的漢字的種類(形狀)也不同。
因而，在本實(shí)施方式中，考慮筆談具有的有效性，可以手寫輸入。即，在翻譯手寫輸入的文章的同時(shí)，把翻譯的文章顯示在與對方的位置相應(yīng)的方向上或者以聲音輸出。由此，可以進(jìn)行有效的交流。另外，這種情況下，即使是各種記號(hào)以及符號(hào)，由于根據(jù)各國的語言以及文化進(jìn)行翻譯處理(轉(zhuǎn)換)，因而可以謀求交流的有效化。
在圖1中，交流支持裝置10，至少由1個(gè)以上的筆器件11、圖象顯示部12、磁性傳感器部13、文字記號(hào)識(shí)別部14、語言記號(hào)翻譯部15、顯示信息存儲(chǔ)部16、配置信息存儲(chǔ)部17，以及控制部18構(gòu)成。
筆器件11(11a、11b、……)，在每個(gè)器件上，從筆尖輸出包含固有的識(shí)別信號(hào)的磁性信號(hào)。在圖象顯示部12上設(shè)置磁性傳感器部13，使用者用手拿著筆器件11，用筆尖在圖象顯示部12上描繪，由此可以手寫輸入文字、記號(hào)、圖形等的圖象信息。
圖象顯示部12，例如由液晶顯示器(LCD)等構(gòu)成，根據(jù)后述的控制部18的指示，可以適宜地提示使用者文字和記號(hào)、圖形等的圖象信息。
磁性傳感器部13，通過受理各筆器件11發(fā)出的磁性信號(hào)進(jìn)行解析，把與在各筆器件11的空間內(nèi)的位置、移動(dòng)等的軌跡有關(guān)的信息，與主體的接觸狀態(tài)，或者筆器件11的姿勢有關(guān)的信息作為筆輸入信息得到，輸出到控制部18。
在本實(shí)施方式中，控制部18，可以用與筆器件11的姿勢等有關(guān)的信息，檢測使用筆器件11的使用者和裝置10(圖象顯示部12)的相對位置關(guān)系。
文字記號(hào)識(shí)別部14，通過解析從控制部18提供的筆輸入信息，分離抽出手寫輸入的文字、記號(hào)、圖形、描繪圖象，把與筆尖的軌跡、種類、內(nèi)容和位置或者方向有關(guān)的信息作為識(shí)別結(jié)果信息得到并輸出到控制部18。進(jìn)而，筆器件的手寫輸入的識(shí)別處理，例如可以采用和在特許第3167799號(hào)“聯(lián)機(jī)手寫文字識(shí)別”中使用的方法一樣的方法。
在本實(shí)施方式中，控制部18，根據(jù)文字記號(hào)識(shí)別部14的識(shí)別結(jié)果檢測已輸入的文字記號(hào)等的方向，可以掌握手寫輸入成為識(shí)別對象的文字等的使用者和裝置10(圖象顯示部12)的相對位置關(guān)系。另外，控制部18，檢測文字記號(hào)等是否與某種語言對應(yīng)，根據(jù)檢測結(jié)果，可以掌握輸入了與各語言對應(yīng)的文字的使用者和裝置10(圖象顯示部12)的相對位置關(guān)系。
另外，控制部18，解析手寫輸入，通過抽出分析與手寫輸入時(shí)的筆跡和筆壓有關(guān)的信息，和輸入圖象的特征等，還可以判定進(jìn)行手寫輸入的使用者。具體地說，可以判定使用者和裝置10(圖象顯示部12)的相對位置關(guān)系，或者使用者10的使用語言種類。
語言記號(hào)翻譯部15，從由控制部18提供的識(shí)別結(jié)果信息中，抽出語言信息，和語言種類或者文化固有的記號(hào)，翻譯成目標(biāo)語言，把翻譯結(jié)果信息輸出到控制部18。進(jìn)而，語言信息的翻譯處理，可以采用和在例如特許第3131432號(hào)“機(jī)器翻譯方法以及機(jī)器翻譯裝置”中使用的方法一樣的方法。
控制部18，根據(jù)筆尖輸入信息、識(shí)別結(jié)果信息、翻譯結(jié)果信息等得到各種顯示信息。控制部18，適宜分類這些各種顯示信息，保存在顯示信息存儲(chǔ)部16中。
圖2是展示在圖1中的顯示信息存儲(chǔ)部16的存儲(chǔ)內(nèi)容的一例的說明圖。
如圖2所示，顯示信息存儲(chǔ)部16，把已輸入的信息，分成ID信息、位置信息、方向信息、種類信息、軌跡信息、對譯ID信息、內(nèi)容信息等存儲(chǔ)。
在圖2所示的顯示信息存儲(chǔ)部16的各輸入中，在ID信息欄中，記述各輸入的識(shí)別記號(hào)。在位置信息欄中，在各顯示信息的圖象顯示部12中的位置以及區(qū)域，作為基于圖象顯示部12的坐標(biāo)系的坐標(biāo)記錄。如圖3所示，圖象顯示部12上的畫面位置，以左上角為原點(diǎn)，用在向右方向延伸的X軸上的坐標(biāo)值，和向下方延伸的在Y軸上的坐標(biāo)值的組表示為(X，Y)。例如，在圖2中ID信息的13的輸入位置信息的值L3，具體地說可以記述為圖3中的(10，20)等。
在圖2、圖3的例子中，與該13的輸入對應(yīng)的輸入是表示日語的“家”的日語文字，表示被顯示在顯示畫面上的坐標(biāo)(10，20)的位置上的文字。
在方向信息欄中，各顯示信息的正方向，用基于畫面上的坐標(biāo)系的向量表現(xiàn)。進(jìn)而，關(guān)于不具有正方向的顯示信息，記錄記號(hào)“-。
在種類信息欄中，各顯示信息的種類記錄為“圖形”、“日語”、“英語”、“日語記號(hào)”、“英語記號(hào)”等。在軌跡信息欄中，記錄與從筆輸入信息得到的各顯示信息對應(yīng)的輸入描繪軌跡。進(jìn)而，在與用語言記號(hào)翻譯部15得到的翻譯結(jié)果對應(yīng)的輸入中，因?yàn)椴淮嬖谲壽E信息，所以記錄記號(hào) “-。
另外，在對譯ID信息欄中，記錄作為翻譯對對應(yīng)的顯示信息的輸入ID信息。進(jìn)而，在翻譯對不存在的輸入中，記錄記號(hào) “-。
在內(nèi)容信息欄中，記錄要顯示在畫面顯示部12上的信息的內(nèi)容。進(jìn)而，在圖形等中，在該欄中記述記號(hào)“-，它表示軌跡信息是要直接顯示的信息。
在圖1中，配置信息存儲(chǔ)部17，記錄與各利用者相對裝置10(圖象顯示部12)的空間配置有關(guān)的信息，圖4是展示圖1中的配置信息存儲(chǔ)部17的內(nèi)容的一例的說明圖。
如圖4所示，配置信息，可以分成用戶ID信息、配置信息以及正方向信息等存儲(chǔ)。在配置信息存儲(chǔ)部17的各輸入中，在用戶ID信息欄中，記錄用于識(shí)別各用戶的記號(hào)。在配置信息的欄中，對應(yīng)的用戶和裝置10的空間性的位置關(guān)系，沿著裝置10的圖象顯示部12的畫面上的坐標(biāo)系敘述。
即，用把作為圖象顯示部12的畫面上的坐標(biāo)系采用的X軸以及Y軸向+以及-兩方向外推的坐標(biāo)軸，表現(xiàn)裝置10和各使用者的位置。例如，當(dāng)圖4的用戶ID信息是使用者J輸入的，其配置信息P1的值是(200，-150)的情況下，如圖5所示，使用者在使用者與Y軸的負(fù)方向(從圖象顯示部12的畫面看的上方向)的坐標(biāo)值150對應(yīng)的位置上。
另外，在正方向信息欄中，從對應(yīng)的用戶看為正的方向，沿著圖象顯示部12的畫面上的坐標(biāo)形用向量表現(xiàn)記錄。該正方向，作為向該用戶顯示信息時(shí)的顯示方向使用。
在圖1中，控制部18控制裝置10的各部。
另外，控制部18，還具有樣式信息檢測功能，它解析手寫輸入，檢測在該手寫輸入中使用的作為表現(xiàn)的樣式信息的輸入樣式信息。而后，控制部18，把語言種類信息和對應(yīng)的輸入樣式信息作為組存儲(chǔ)。因而，控制部18，還可以參照存儲(chǔ)的信息的組，對應(yīng)輸出信息的語言種類，控制輸出樣式使其和用同一種語言形成的輸入樣式相同。
以下，參照圖6說明這樣構(gòu)成的實(shí)施方式的動(dòng)作。圖6是與控制部18進(jìn)行的處理程序?qū)?yīng)的流程圖。
在此，假定對各使用者來說在配置信息存儲(chǔ)部17中準(zhǔn)備輸入。即，與相對使用者的裝置10的位置和正方向有關(guān)的信息，用上述的方法取得，預(yù)先存儲(chǔ)在配置信息存儲(chǔ)部17中。
在圖6的步驟S1中，控制部18，變?yōu)楣P輸入發(fā)生的待機(jī)狀態(tài)。如果使用者使用筆器件11進(jìn)行手寫輸入，則磁性傳感器部13，檢測使用者通過筆器件11操作的筆尖的位置以及狀態(tài)，在控制部18中作為筆輸入信息隨時(shí)輸出。
以下，在步驟S2中，進(jìn)行顯示信息的存儲(chǔ)。即，控制部18，如果接受筆輸入信息，則把該信息輸出到文字記號(hào)識(shí)別部14。在步驟S3中，文字記號(hào)識(shí)別部14對筆輸入進(jìn)行語言記號(hào)識(shí)別處理，把識(shí)別結(jié)果信息輸出到控制部18。
控制部18，如果接受來自文字記號(hào)識(shí)別部14的識(shí)別結(jié)果信息，則在顯示信息存儲(chǔ)部16內(nèi)準(zhǔn)備新的輸入，適宜地分類接受到的信息存儲(chǔ)。這時(shí)，在該輸入的對譯ID信息的欄中存儲(chǔ)記號(hào)“-。
控制部18，在步驟S4中，專注種類信息的欄和對譯ID信息的欄檢索顯示信息存儲(chǔ)部16的各輸入。在此，從對譯ID信息的內(nèi)容是“-”的信息之中，抽出種類信息的內(nèi)容，是語言的種類(日語，英語等)，或者是依賴語言的記號(hào)的種類(日語記號(hào)、英語記號(hào)等)的輸入。
控制部18，對于被抽出的全部的輸入Es，重復(fù)以后步驟S5～S7的處理。即，控制部18，把未記錄對譯的輸入的識(shí)別結(jié)果信息發(fā)送到語言記號(hào)翻譯部15。語言記號(hào)翻譯部15，在步驟S5中，對識(shí)別結(jié)果信息進(jìn)行翻譯處理，得到翻譯結(jié)果信息Rs。語言記號(hào)翻譯部15，把翻譯結(jié)果信息Rs輸出到控制部18。
以下，控制部18，在步驟S6中，在顯示信息存儲(chǔ)部16中準(zhǔn)備新的輸入Et，在輸入Et的種類信息的欄中，記錄翻譯結(jié)果信息Rs的翻譯結(jié)果的種類。另外，控制部18，在輸入Et的內(nèi)容信息的欄中，記錄翻譯結(jié)果信息Rs的翻譯結(jié)果。
以下，控制部18，在步驟S7中，參照配置信息存儲(chǔ)部17，得到與該輸入Ed對應(yīng)的應(yīng)該接受翻譯結(jié)果的用戶的配置信息的值Pt，和正方向信息的值Vt。而后，控制部18，在輸入Et的方向信息欄中，記錄值Vt?？刂撇?8，參照顯示信息存儲(chǔ)部16的內(nèi)容，查找不會(huì)和另一輸入的位置信息重復(fù)，并且與輸入Es的位置信息表示的位置接近的位置Lt，記錄在輸入Et的位置信息欄中。
以下，在步驟S8中，讀出下一輸入的信息，重復(fù)步驟S4～S8的處理。如果記錄全部的輸入的對譯，則轉(zhuǎn)移至步驟S9，進(jìn)行顯示。
即，控制部18，參照顯示信息存儲(chǔ)部16的內(nèi)容，把各個(gè)輸入表示的內(nèi)容輸出到圖象顯示部12，使得在各個(gè)輸入的位置信息表示的位置上，把各個(gè)輸入的方向信息表示的方向作為正方向顯示。
以下，參照圖7以及圖8的說明圖。說明具體的使用方法。圖7以及圖8的說明圖與圖2對應(yīng)。
圖7假想使用日語的第1使用者J，和使用英語的第2使用者E面對面，把裝置10放置在兩者之間，一邊描繪地圖一邊說明地點(diǎn)的場面。圖8展示圖象顯示部12的畫面顯示的推移。
現(xiàn)在，如圖8(a)所示，使用者J用筆器件11，輸入表示河流的線I1。通過該輸入，執(zhí)行圖6的步驟S1、S2的處理，在顯示信息存儲(chǔ)部16上生成ID信息＝I1的輸入。
該輸入I1，其種類是圖形。文字記號(hào)識(shí)別部14，識(shí)別手寫輸入不是文字或者記號(hào)。因而，這種情況下，控制部18，從圖6的步驟S4至步驟S9一步步處理，只把用戶輸入的描繪線直接輸出到圖象顯示部12。這樣在圖象顯示部12的畫面上顯示河流的繪畫。
以下，假設(shè)使用者J輸入表示家的線描繪圖形I2。于是，如圖8(b)所示，在顯示信息存儲(chǔ)部16中產(chǎn)生I2的輸入，直接追加該線描繪圖形，顯示在圖象顯示部12的畫面上。
在此，假設(shè)使用者J，在表示家的線描繪圖形附近，用日語輸入“家”。于是，由控制部18在顯示信息存儲(chǔ)部16中生成I3的輸入。該輸入，是可以翻譯的語言信息，根據(jù)文字記號(hào)識(shí)別部14的識(shí)別結(jié)果，在顯示信息存儲(chǔ)部16中生成作為對譯的英語“HOME”的輸入I4。另外，控制部18，設(shè)定為使與輸入I4對應(yīng)的顯示位置與其它的顯示位置不重復(fù)，在作為翻譯的原語言的日語的“家”附近，并且在靠近使用者E的位置附近，該文字的方向從使用者E看為正方向(步驟S5～S8)。
根據(jù)控制部18的設(shè)定，如圖8(c)所示，在步驟S9中，加上此前的顯示內(nèi)容，顯示由使用者J輸入的日語的文字“家”。進(jìn)而，如圖8(d)所示，在其附近作為英語對譯的英語字符串“HOME”，從使用者E看顯示為正向。
以下，如圖8(e)所示，由使用者E，手寫輸入表示橋的線描繪圖形15，和英語字符串I6“bridge”。對此同樣進(jìn)行上述各處理，追加從使用者J看正向的日語的對譯字符串I7“橋”。
以下，假設(shè)使用者J手寫表示郵局的記號(hào)I8 于是，文字記號(hào)識(shí)別部14把用手寫描繪的圖案作為語言文化特有的符號(hào)抽出。進(jìn)而，語言記號(hào)翻譯部15，對該符號(hào)，得到英語的字符串I9“postoffice”的翻譯結(jié)果?？刂撇?8，在從使用者看的正方向上，把該字符串作為注釋追加顯示(圖8(f))。
這樣在本實(shí)施方式中，判定使用者的手寫信息是否是文字記號(hào)，不只是文字，對記號(hào)也可以進(jìn)行對應(yīng)于對方使用者的翻譯處理。進(jìn)而，在該使用者正向的方向上，把翻譯結(jié)果作為信息提示。不只是文字，因?yàn)椴捎美糜浱?hào)和繪畫的筆談，所以即使在定型短語等的用于交流的表現(xiàn)收錄數(shù)少的情況下，也可以向?qū)Ψ教峁┙涣魉枰暮芏嘈畔?。而且，可以進(jìn)行文字和繪畫的手寫輸入，輸入操作極其容易。即，因?yàn)檫M(jìn)行繪畫和記號(hào)和文字的復(fù)合性翻譯處理，所以極其簡單地進(jìn)行使用圖象的交流，在地點(diǎn)的說明等中有效。而且，即使對于不是原本翻譯的對象的記號(hào)和符號(hào)等，也可以進(jìn)行用文字表現(xiàn)的這種翻譯處理，可以容易理解信息。
進(jìn)而，在本實(shí)施方式中，根據(jù)各使用者的位置，確定信息的提示位置以及方向。因而，可以同時(shí)正向看自己寫的文字記號(hào)和對方寫的文字記號(hào)的翻譯結(jié)果，可以極其有效地支持交流。
例如，假設(shè)多個(gè)使用者共有1個(gè)共用顯示畫面，多個(gè)使用者在該共用顯示畫面內(nèi)，用各個(gè)筆器件進(jìn)行手寫輸入的情況。例如假設(shè)在說日語的第1使用者描繪的圖形的橫向上，第1使用者用日語進(jìn)一步寫入注釋。而且，把該日語的注釋，例如向說英語的第2使用者翻譯為英語，和原日語注釋并列顯示。這種情況下，在該圖形的附近區(qū)域中，在距第2使用者物理上近的位置上，顯示被翻譯為英語的注釋。
另外例如，假設(shè)隔著桌子相對的，說日語的第1使用者和說英語的第2使用者，把1個(gè)共用顯示畫面平放在位于兩者之間的桌子上使用的情況。在第1使用者在描繪的圖形的橫方向上用日語進(jìn)一步寫入注釋時(shí)，把日語注釋的英語的翻譯結(jié)果向著第2使用者顯示。這種情況下，在該圖形的附近區(qū)域中，在向著從第2使用者看正向的方向上，顯示英語的注釋。
另外例如，當(dāng)受理來自使用者的手寫輸入的情況下，例如通過解析輸入文字和圖形的方向，或者輸入筆畫的行進(jìn)方向等，檢測進(jìn)行該輸入的使用者相對裝置10的空間性位置關(guān)系。根據(jù)該信息，控制對各使用者提示的信息的提示方法，對該使用者提示采用文字信息的信息。這時(shí)，參照在上述的處理中檢測出的使用者的位置信息，輸出相對該用戶的文字信息，使得從該使用者的位置看是正向。
另外例如，由通過受理來自使用者的手寫輸入，解析被包含在其中的文字的種類，辨認(rèn)所使用的語言的種類。使用該原語言種類信息，可以用于控制對使用者的輸出的樣式。
另外例如，通過解析來自第1使用者的手寫輸入，確認(rèn)該輸入是用日語進(jìn)行的，和包含在其中的文字的正方向。以下，把來自第2使用者的英語輸入翻譯為日語，提示給第1使用者。這時(shí)，在通過上述處理確認(rèn)的和來自第1使用者采用日語手寫輸入的正方向相同的方向上，輸出作為來自第2使用者的英語輸入翻譯結(jié)果的采用日語的信息。
另外例如，還可以存儲(chǔ)第1使用者使用日語，第2使用者使用英語這一信息。即，在受理來自使用者的輸入時(shí)，解析該輸入判定該語言種類，與使用者的空間位置信息的判定結(jié)果對應(yīng)地存儲(chǔ)，還可以在后面的信息的提示方法的控制中使用。
在上述的實(shí)施方式中，作為輸入裝置使用具有筆器件以及磁性傳感器部的圖象顯示部，作為提示裝置使用圖象顯示部。但是，通過使用輸入輸出聲音的麥克風(fēng)和揚(yáng)聲器，即使使用聲音也可以進(jìn)行同樣的交流支持。
圖9是展示本發(fā)明的實(shí)施方式2的方框圖，展示可以采用聲音的交流支持裝置。在圖9中，在和圖1同樣的構(gòu)成要素上賦予同一符號(hào)并省略說明。
本實(shí)施方式的交流支持裝置20，在附加麥克風(fēng)21a以及21b、揚(yáng)聲器22a以及22b的同時(shí)，附加聲音識(shí)別部25、聲音翻譯部26以及聲音輸出部27這一點(diǎn)和圖1的實(shí)施方式不同。
圖10是用于說明麥克風(fēng)21a以及21b，揚(yáng)聲器22a以及22b的實(shí)際的配置的說明圖。如圖10所示，一對麥克風(fēng)21a以及21b被安裝在圖象顯示部12的一邊的兩端上，一對揚(yáng)聲器22a以及22b被安裝在與安裝有一對麥克風(fēng)的一邊相對的邊的兩端上。
麥克風(fēng)21a以及21b把取得的聲音信號(hào)輸出到控制部18。一對麥克風(fēng)21a以及21b只以規(guī)定的間隔配置。通過來自各麥克風(fēng)21a以及21b的聲音信號(hào)的時(shí)間性的延遲關(guān)系，控制部18，可以特定發(fā)出被麥克風(fēng)21a、以及21b取入的聲音信號(hào)的使用者的位置。
控制部18，把來自麥克風(fēng)21a以及21b的聲音信號(hào)付與聲音識(shí)別部25。聲音識(shí)別部25，聲音識(shí)別已被輸入的聲音信號(hào)，把識(shí)別結(jié)果返回控制部18?？刂撇?8，把聲音識(shí)別結(jié)果輸出到聲音翻譯部26。聲音翻譯部26，翻譯被輸入的聲音識(shí)別結(jié)果后返回控制部18。控制部18，把來自聲音翻譯部26的翻譯結(jié)果輸出到聲音輸出部27。
聲音輸出部27具備音像定位裝置28。聲音輸出部27，把被輸入的翻譯結(jié)果轉(zhuǎn)換為聲音信號(hào)。聲音定位裝置28，調(diào)整聲音信號(hào)的電平、聲音以及相位，使得將翻譯結(jié)果的聲音信號(hào)，朝著作為其提供目標(biāo)的使用者定位。這樣，音像輸出部，把調(diào)整后的聲音信號(hào)輸出到各揚(yáng)聲器22a以及22b。
進(jìn)而，麥克風(fēng)以及揚(yáng)聲器的數(shù)不只是2個(gè)，也可以采用分別設(shè)置3個(gè)以上的麥克風(fēng)排列以及揚(yáng)聲器排列。
進(jìn)而，控制部18，可以解析聲音輸入，也可以抽出與從聲音輸入信號(hào)得到的聲紋和發(fā)生樣式有關(guān)的信息分析。這樣，還可以判定進(jìn)行聲音輸入的使用者。
在這樣構(gòu)成的實(shí)施方式中，不只是手寫輸入，還可以是聲音輸入。而且，可以把該聲音輸入的語言，翻譯為對方使用者可以聽懂的語言，向?qū)Ψ剿谖恢幂敵雎曇簟?br> 另外，控制部18，通過把手寫輸入的識(shí)別結(jié)果付與聲音翻譯部26，還可以把手寫輸入的文章用對方的語言向?qū)Ψ揭月曇糨敵?。另外相反，控制?8，由于把聲音輸入的識(shí)別結(jié)果付與語言記號(hào)翻譯部15，還可以把聲音輸入的文章轉(zhuǎn)換為與對方的語言對應(yīng)的文字記號(hào)顯示在圖象顯示部12的畫面上。
這樣，在本實(shí)施方式中，不只在共用顯示畫面上對應(yīng)相互位置進(jìn)行基于相互語言的圖象顯示，而且把使用者發(fā)出的聲音轉(zhuǎn)換為對方語言的聲音，可以向?qū)Ψ降奈恢幂敵雎曇?。由此，可以顯著提高交流的效率。
例如，說日語的第1使用者和說英語的第2使用者，在處于1個(gè)共用顯示畫面的右方和左方的狀態(tài)下，向第1使用者輸出的日語的聲音信號(hào)，被控制輸出在第1使用者的右方向上例如音量變大，向第2使用者輸出的英語的聲音信號(hào)，被控制輸出在第2聲音者所在的左方向上例如音量增大。
例如，采用具有多個(gè)麥克風(fēng)，根據(jù)從各麥克風(fēng)得到的音量信號(hào)的時(shí)間性延遲關(guān)系，檢測發(fā)出各個(gè)聲音信號(hào)的空間內(nèi)的位置的麥克風(fēng)排列技術(shù)，檢測裝置20和使用者的空間性的配置關(guān)系。根據(jù)該信息，可以把采用文字和圖象的信息配置在距離接受該信息的使用者近的位置上，在對該使用者為正的方向上提示，或者把聲音信息定位在接受該信息的使用者的位置上。
另外例如，接受來自使用者的聲音輸入，通過解析聲音輸入，辨別發(fā)出各聲音輸入的使用者。利用該信息，解析裝置20和各使用者的空間性位置關(guān)系，還可以用于控制對使用者的輸出樣式。
本發(fā)明并不限于上述的各實(shí)施方式。例如，在手寫輸入中使用的筆器件中，嵌入磁性標(biāo)記，通過用磁性傳感器解析該標(biāo)記信息。解析筆器件的空間性位置和姿勢。這樣，也可以檢測出本裝置和使用者之間的空間性的配置關(guān)系。
另外，使用本裝置的各使用者把無線標(biāo)記帶在身邊，用具有指向性的天線讀取解析該無線標(biāo)記信息。這樣也可以檢測出本裝置和使用者的空間性配置關(guān)系。
另外，輸入不只可以由使用者實(shí)時(shí)進(jìn)行，也可以經(jīng)由介質(zhì)和網(wǎng)絡(luò)提供。
另外，手寫輸入和聲音輸入等，也可以同時(shí)并用多個(gè)輸入裝置。
另外，輸入例如也可以通過菜單選擇等進(jìn)行。
另外，也可以是輸入以聲音，輸出以文字圖象信息等，輸入和輸出以不同裝置(介質(zhì))進(jìn)行。
另外，也可以是一方的使用者以聲音進(jìn)行輸入，另一方的使用者以手寫輸入等，每個(gè)使用者的輸入裝置不同。
另外，也可以是對一方的使用者以聲音輸出，對另一方的使用者以文字圖象輸出等，每個(gè)使用者的輸出裝置不同。
另外，除了進(jìn)行語言翻譯的功能，還可以把聲音信號(hào)轉(zhuǎn)換為文字信號(hào)等，并用介質(zhì)轉(zhuǎn)換功能。
另外，也可以同時(shí)輸出給多個(gè)使用者。
另外，還可以具有多個(gè)輸出部和輸入部。
另外，在上述實(shí)施方式中，展示了多名使用者共用1個(gè)裝置，其構(gòu)成也可以是相互通信的多臺(tái)機(jī)器。
另外，也可以把語言種類判定處理的結(jié)果，利用在翻譯方向的確定上。
另外，也可以把輸入者判定處理的結(jié)果，作為該輸入者的使用語言種類，利用到翻譯方向的確定上。
另外，當(dāng)可以作為使用者用手拿著的便攜裝置實(shí)現(xiàn)的情況下，由于具備檢測在主體的空間內(nèi)的姿勢的裝置，因而也可以并用該信息控制輸出的形式。
另外，在上述例子中，展示了控制文字的方向的例子，例如，也可以使用半透明顯示、多顏色顯示、立體顯示等。
另外，各使用者所使用的語言并不限于1種，使用語言也可以有多種。
另外，使用者使用的語言，可以預(yù)先設(shè)定，或者，可以由使用者適宜的確定。
另外，在使用者和本裝置的位置關(guān)系的檢測處理中，也可以使用對人傳感器、臉和手識(shí)別等圖象識(shí)別技術(shù)、運(yùn)動(dòng)捕獲技術(shù)進(jìn)行等。
另外，在控制聲音信號(hào)的輸出形式時(shí)，在不是接受該聲音信號(hào)的使用者的使用者的位置上，可以屏蔽該聲音信號(hào)，使得其減小或者不能聽到。
另外，在上述各實(shí)施方式中，展示了作為裝置實(shí)現(xiàn)本發(fā)明的例子，但在上述的具體例子中展示的處理步驟，即使把流程圖作為程序記述、安裝，用通用的計(jì)算機(jī)同樣地執(zhí)行也可以得到同樣的功能和效果。
即，上述實(shí)施方式所述的方法，作為可以使計(jì)算機(jī)執(zhí)行的程序，如果用磁盤(軟盤、硬盤等)、光盤(CD-ROM、DVD等)半導(dǎo)體存儲(chǔ)器等的記錄介質(zhì)把程序讀入計(jì)算機(jī)，用CPU部執(zhí)行，則可以實(shí)現(xiàn)本發(fā)明的交流支持裝置。
如上所述如果采用本發(fā)明，則具有可以實(shí)現(xiàn)在使用不同語言的人之間的流暢交流的效果。
權(quán)利要求
1.一種交流支持裝置，其特征在于包含描繪部，由相對顯示畫面在具有規(guī)定的位置關(guān)系位置上的多個(gè)使用者內(nèi)的規(guī)定的使用者，把基于第1種語言的描繪信息描繪在上述顯示畫面上；轉(zhuǎn)換部，把基于上述第1種語言的描繪信息轉(zhuǎn)換為基于第2種語言的轉(zhuǎn)換信息；控制部，在上述多個(gè)使用者內(nèi)，根據(jù)成為基于上述第2種語言的信息提供目標(biāo)的另一使用者的位置，在上述顯示畫面上把基于上述第2種語言的信息提示到上述顯示畫面上。
2.權(quán)利要求1所述的交流支持裝置，其特征在于上述描繪信息，是文字、單詞、文章以及記號(hào)內(nèi)的至少1種。
3.權(quán)利要求1所述的交流支持裝置，其特征在于上述描繪部，輸入由上述多個(gè)使用者各自手寫的描繪信息。
4.權(quán)利要求3所述的交流支持裝置，其特征在于上述控制部，根據(jù)用上述描繪部輸入的描繪信息的特征，判定相對上述顯示畫面的各使用者的配置、正方向，或者語言種類。
5.權(quán)利要求4所述的交流支持裝置，其特征在于進(jìn)一步具備對應(yīng)各使用者ID，存儲(chǔ)配置信息以及正方向信息的配置信息存儲(chǔ)部。
6.權(quán)利要求2所述的交流支持裝置，其特征在于上述轉(zhuǎn)換部，從基于上述第1種語言的描繪信息中抽出語言依賴數(shù)據(jù)，把該語言依賴數(shù)據(jù)翻譯成第2種語言。
7.權(quán)利要求6所述的交流支持裝置，其特征在于上述轉(zhuǎn)換部，把基于第1種語言的記號(hào)信息翻譯為基于第2種語言的單詞信息。
8.權(quán)利要求6所述的交流支持裝置，其特征在于進(jìn)一步具備，在用上述描繪部輸入基于上述第1種語言的描繪信息時(shí)，與該描繪信息ID對應(yīng)地，存儲(chǔ)在上述顯示畫面上的位置、方向、種類以及描繪內(nèi)容的顯示信息存儲(chǔ)部。
9.權(quán)利要求8所述的交流支持裝置，其特征在于上述控制部，當(dāng)被存儲(chǔ)在上述顯示信息存儲(chǔ)部中的描繪信息的種類是語言依賴數(shù)據(jù)的情況下，與該描繪信息ID的對譯ID對應(yīng)地，把采用第2種語言的翻譯結(jié)果作為描繪內(nèi)容存儲(chǔ)在上述顯示信息存儲(chǔ)部中。
10.權(quán)利要求9所述的交流支持裝置，其特征在于上述控制部，參照上述顯示信息存儲(chǔ)部，把在基于上述第1種語言的描繪信息附近，和另一描繪信息不重合的位置，作為采用上述第2種語言的翻譯結(jié)果的位置信息，與上述對譯ID對應(yīng)地存儲(chǔ)在上述顯示信息存儲(chǔ)部中。
11.權(quán)利要求10所述的交流支持裝置，其特征在于上述控制部，從上述配置信息存儲(chǔ)部中檢索成為采用上述第2種語言的翻譯結(jié)果的提供目標(biāo)的使用者的正方向信息，把該正方向信息作為采用上述第2種語言的翻譯結(jié)果的方向信息，與上述對譯ID對應(yīng)地存儲(chǔ)在上述顯示信息存儲(chǔ)部中。
12.權(quán)利要求11所述的交流支持裝置，其特征在于上述控制部，參照上述顯示信息存儲(chǔ)部，根據(jù)該位置信息以及方向信息把采用上述第2種語言的翻譯結(jié)果顯示在上述顯示畫面上。
13.權(quán)利要求4所述的交流支持裝置，其特征在于上述控制部，解析上述描繪信息，檢索在該描繪信息中使用的輸入樣式信息，把該輸入樣式信息與該語言種類對應(yīng)地存儲(chǔ)。
14.權(quán)利要求13所述的交流支持裝置，其特征在于上述控制部，使用與應(yīng)該提示的上述信息的語言種類對應(yīng)的上述輸入樣式信息，確定上述信息的輸出樣式。
15.權(quán)利要求1所述的交流支持裝置，其特征在于上述控制部，利用無線標(biāo)記或者磁性標(biāo)記，檢索相對上述顯示畫面的各使用者的位置。
16.一種交流支持裝置，其特征在于包含輸入部，接受來自使用者的第1種語言的輸入消息；翻譯部，把上述第1種語言的輸入消息翻譯為對另一使用者的第2種語言的輸出消息；提示部，利用與上述另一使用者的位置對應(yīng)的指向性，提示采用上述第2種語言的輸出消息。
17.權(quán)利要求16所述的交流支持裝置，其特征在于上述輸入輸出消息，是包含口語以及非語言聲音內(nèi)的至少一種的聲音信號(hào)。
18.權(quán)利要求17所述的交流支持裝置，其特征在于上述輸入部，把多個(gè)使用者各自發(fā)出的聲音作為聲音消息輸入。
19.權(quán)利要求18所述的交流支持裝置，其特征在于進(jìn)一步包含根據(jù)來自上述輸入部的聲音消息的特征，檢索上述多個(gè)使用者各自的空間配置的控制部。
20.權(quán)利要求19所述的交流支持裝置，其特征在于上述控制部，根據(jù)從上述聲音消息得到的與聲門以及發(fā)生樣式有關(guān)的信息，判定輸入上述聲音消息的使用者的語言種類。
21.權(quán)利要求20所述的交流支持裝置，其特征在于進(jìn)一步包含存儲(chǔ)上述多個(gè)使用者各自的空間性配置以及語言種類的配置信息存儲(chǔ)部。
22.權(quán)利要求21所述的交流支持裝置，其特征在于上述翻譯部，從上述配置信息存儲(chǔ)部中特定作為聲音消息的提供目標(biāo)的另一使用者的語言種類，把采用上述第1種語言的聲音輸入信息翻譯為該語言種類的聲音輸出消息。
23.權(quán)利要求22所述的交流支持裝置，其特征在于上述控制部，從上述配置信息存儲(chǔ)部中檢索上述另一使用者的空間性配置，根據(jù)該空間性配置的指向性從上述提示部提示上述聲音輸出消息。
24.權(quán)利要求16所述的交流支持裝置，其特征在于上述輸入部，作為上述輸入消息接受由使用者進(jìn)行的手寫描繪信息。
25.權(quán)利要求16所述的交流支持裝置，其特征在于上述提示部，作為上述輸出消息，使用文字、單詞、文章以及記號(hào)的至少一種的圖象信息。
26.權(quán)利要求16所述的交流支持裝置，其特征在于上述控制部，利用無線標(biāo)記或者磁性標(biāo)記，檢索相對上述顯示畫面的各使用者的位置。
27.一種交流支持方法，其特征在于包含描繪步驟，由相對顯示畫面在具有規(guī)定的位置關(guān)系位置上的多個(gè)使用者內(nèi)的規(guī)定的使用者，把基于第1種語言的描繪信息描繪在上述顯示畫面上；轉(zhuǎn)換步驟，把基于上述第1種語言的描繪信息轉(zhuǎn)換為基于第2種語言的信息；提示步驟，在上述多個(gè)使用者內(nèi)，根據(jù)成為基于上述第2種語言的信息提供目標(biāo)的另一使用者的位置，在上述顯示畫面上提示基于上述第2種語言的信息。
28.一種交流支持方法，其特征在于包含輸入步驟，接受來自使用者的采用第1種語言的輸入信息；翻譯步驟，把上述第1種語言的輸入消息翻譯為對另一使用者的第2種語言的輸出消息；提示步驟，利用與上述另一使用者的位置對應(yīng)的指向性，提示采用上述第2種語言的輸出消息。
全文摘要
本發(fā)明提供了交流支持裝置以及方法。用于有效地支持使用不同語言的使用者之間的交流。其中,磁性傳感器部(13),檢測采用筆器件(11)的手寫輸入。文字記號(hào)識(shí)別部(14),根據(jù)手寫輸入識(shí)別文字記號(hào),語言記號(hào)翻譯部(15),翻譯被識(shí)別后的文字記號(hào)?？刂撇?18),例如通過筆器件(11)的操作,求使用者的位置,把使用者的位置信息存儲(chǔ)在配置信息存儲(chǔ)部(17)中。另外,控制部(18),把翻譯結(jié)果向著與使用者的位置對應(yīng)的方向顯示在圖象顯示部(12)的畫面上。進(jìn)而,控制部(18),直接顯示圖案,對文字以及記號(hào)進(jìn)行翻譯處理。由此,可以有效地支持交流。
文檔編號(hào)G10L17/00GK1423216SQ02152408
公開日2003年6月11日 申請日期2002年11月22日 優(yōu)先權(quán)日2001年11月22日
發(fā)明者知野哲朗 申請人:株式會(huì)社東芝