車載信息裝置制造方法
【專利摘要】根據(jù)本發(fā)明，搭載于車輛且提供支援搭乘者的信息的車載信息裝置包括：聲音獲取部，當所述車載信息裝置啟動時始終偵測并獲取所述搭乘者所發(fā)出的聲音；聲音識別部，對利用所述聲音獲取部所獲取的所述聲音的發(fā)聲內(nèi)容進行識別；車輛狀態(tài)檢測部，檢測車輛狀態(tài)，所述車輛狀態(tài)包含所述車輛的車廂內(nèi)的環(huán)境狀態(tài)、所述車輛周邊的環(huán)境狀態(tài)或所述車輛的運行狀態(tài)；輸出控制部，根據(jù)由所述車輛狀態(tài)檢測部所檢測出的所述車輛狀態(tài)而將由所述聲音識別部所識別出的所述發(fā)聲內(nèi)容作為顯示數(shù)據(jù)或聲音數(shù)據(jù)來生成并進行輸出控制；以及輸出部，輸出由所述輸出控制部生成的顯示數(shù)據(jù)或聲音數(shù)據(jù)；因此可以基于不斷識別搭乘者的發(fā)聲內(nèi)容所獲得的識別結(jié)果，實時地進行有效的對話支援。
【專利說明】車載信息裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種始終識別搭乘者的發(fā)聲內(nèi)容并支援車內(nèi)的對話的車載信息裝置。

【背景技術(shù)】
[0002]通常，就車內(nèi)的對話來說，有被引擎聲或輪胎噪聲、或來自車外的噪音妨礙而漏聽對話內(nèi)容的問題。因此，以往提出了用來改善該問題的技術(shù)。例如在專利文獻1中，公開了一種車內(nèi)對話支援系統(tǒng)，其可以利用話筒將車內(nèi)對話集音，并利用揚聲器收聽放大的聲音。
[0003]但是，就例如專利文獻1那樣的現(xiàn)有的車內(nèi)對話支援系統(tǒng)來說，由于是利用聲音的對話支援，所以有如下問題:無法解決竟連由揚聲器輸出的聲音也漏聽了的情況。另外，由于為聲音數(shù)據(jù)，所以也有如下問題:如果之后不重放，便無法確認內(nèi)容。進而，還有如下問題:有因話筒的集音及從揚聲器的輸出而引起嘯叫的擔憂。
[0004]因此，考慮利用話筒將車內(nèi)的對話集音，以字符串的形式提供對話內(nèi)容。
作為與此相關(guān)的技術(shù)，提出了利用話筒將會議中的發(fā)聲內(nèi)容集音并自動地制成會議記錄的各種裝置。例如在專利文獻2中，公開了可以制成再現(xiàn)出多個說話者每個人的發(fā)聲內(nèi)容的會議記錄數(shù)據(jù)的聲音識別裝置及會議系統(tǒng)。
現(xiàn)有技術(shù)文獻專利文獻
[0005]專利文獻1:日本專利特開2008-42390號公報專利文獻2:日本專利特開2008-275987號公報


【發(fā)明內(nèi)容】

[發(fā)明要解決的技術(shù)問題]
[0006]然而，例如專利文獻2那樣的現(xiàn)有的聲音識別裝置及會議系統(tǒng)可以將聲音以字符串的形式記錄，但由于為會議系統(tǒng)，所以未設(shè)想過在車內(nèi)使用或用作車內(nèi)的對話支援的情況，因此未考慮過被引擎聲或輪胎噪聲、或來自車外的噪音妨礙而漏聽對話內(nèi)容這種以往便存在的車輛行駛中的問題，另外，也未考慮過為漏聽對話內(nèi)容的人所設(shè)的實時對話支援。因此，有如下問題:即使將例如專利文獻2那樣的聲音識別裝置及會議系統(tǒng)應(yīng)用于車載信息裝置，也無法解決車輛特有的問題。
[0007]本發(fā)明是為了解決如上所述的問題而完成的，目的在于提供一種車載信息裝置，所述車載信息裝置可以基于不斷識別車內(nèi)的對話內(nèi)容而獲得的識別結(jié)果，實時地進行有效的對話支援。
〔解決問題的技術(shù)方案〕
[0008]為了達成所述目的，本發(fā)明涉及一種車載信息裝置，搭載于車輛，且提供支援搭乘者的信息，所述車載信息裝置的特征在于包括:聲音獲取部，當所述車載信息裝置啟動時始終偵測并獲取所述搭乘者所發(fā)出的聲音；聲音識別部，對利用所述聲音獲取部所獲取的所述聲音的發(fā)聲內(nèi)容進行識別；車輛狀態(tài)檢測部，檢測車輛狀態(tài)，所述車輛狀態(tài)包含所述車輛的車廂內(nèi)的環(huán)境狀態(tài)、所述車輛周邊的環(huán)境狀態(tài)或所述車輛的運行狀態(tài)；輸出控制部，根據(jù)由所述車輛狀態(tài)檢測部所檢測出的所述車輛狀態(tài)，將由所述聲音識別部所識別出的所述發(fā)聲內(nèi)容作為顯示數(shù)據(jù)或聲音數(shù)據(jù)來生成并進行輸出控制；以及輸出部，輸出由所述輸出控制部生成的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
[發(fā)明的效果]
[0009]根據(jù)本發(fā)明的車載信息裝置，可以基于不斷識別搭乘者(同乘者等說話者)的發(fā)聲內(nèi)容而獲得的識別結(jié)果，實時地進行有效的對話支援。

【專利附圖】

【附圖說明】
[0010]圖1是表示實施方式1的車載信息裝置的基本結(jié)構(gòu)的框圖。
圖2是表示實施方式1的車載信息裝置的基本動作的流程圖。
圖3是表示實施方式1的車載信息裝置的結(jié)構(gòu)的框圖。
圖4是表示實施方式1的車載信息裝置的動作的流程圖。
圖5是表示將對話內(nèi)容顯示于顯示部的顯示例的圖。
圖6是表示實施方式2的車載信息裝置的結(jié)構(gòu)的框圖。
圖7是表示實施方式2中的車載信息裝置的動作的流程圖。
圖8是表示實施方式3的車載信息裝置的結(jié)構(gòu)的框圖。
圖9是表示實施方式3中的車載信息裝置的動作的流程圖。
圖10是表示實施方式4的車載信息裝置的結(jié)構(gòu)的框圖。
圖11是表示實施方式4中的車載信息裝置的動作的流程圖。
圖12是顯示部的位置為副駕駛座側(cè)的情況下的顯示例。
圖13是顯示部的位置為駕駛座側(cè)的情況下的顯示例。
圖14是顯示部的位置為副駕駛座側(cè)的情況下的另一顯示例。
圖15是表示實施方式5的車載信息裝置的結(jié)構(gòu)的框圖。
圖16是表示實施方式5的車載信息裝置的動作的流程圖。
圖17是表示實施方式6的車載信息裝置的結(jié)構(gòu)的框圖。
圖18是表示實施方式7的車載信息裝置的結(jié)構(gòu)的框圖。
圖19是表示實施方式7的車載信息裝置的動作的流程圖。
圖20是表示實施方式8的車載信息裝置的結(jié)構(gòu)的框圖。
圖21是表示實施方式9的車載信息裝置的結(jié)構(gòu)的框圖。
圖22是表示實施方式10的車載信息裝置的結(jié)構(gòu)的框圖。
圖23是表示實施方式10的車載信息裝置的動作的流程圖。
圖24是表示實施方式11的車載信息裝置的結(jié)構(gòu)的框圖。
圖25是表示實施方式11的車載信息裝置的動作的流程圖。
圖26是表示實施方式12的車載信息裝置的結(jié)構(gòu)的框圖。
圖27是表示實施方式12的車載信息裝置的動作的流程圖。

【具體實施方式】
[0011]下面，一邊參照附圖，一邊對本發(fā)明的實施方式進行詳細說明。 實施方式1.本發(fā)明是一種車載信息裝置，如車載導(dǎo)航裝置、車載音響裝置、車載視頻裝置等，在該車載信息裝置啟動的情況下始終識別車輛內(nèi)的搭乘者的發(fā)聲內(nèi)容，并基于該識別結(jié)果，實時地進行對話支援。另外，關(guān)于以下實施方式也相同。
圖1是表示本發(fā)明的實施方式1的車載信息裝置的基本結(jié)構(gòu)的框圖。該車載信息裝置包括聲音獲取部1、聲音識別部2、顯示控制部(輸出控制部〉3、及顯示部(輸出部〉4。另夕卜，雖然省略了圖示，但該車載信息裝置還包括獲取按鍵或觸摸面板等的輸入信號的按鍵輸入部。
[0012]聲音獲取部1將利用車內(nèi)的話筒等而集音的搭乘者發(fā)聲、也就是通過車輛內(nèi)的搭乘者的發(fā)聲而輸入的聲音進模數(shù))轉(zhuǎn)換，并以例如$1118600(16 10(1111社1011，脈碼調(diào)制)形式獲取。另外，由于在車內(nèi)環(huán)境中是從車載音響或汽車導(dǎo)航等輸出音樂或?qū)蚵曇舻?，所以使用通常的回波抵消技術(shù)，對這些聲音實施如無法被聲音獲取部1獲取的處理，所述回波抵消技術(shù)使用了？1,11186 06鄧01186，有限沖擊響應(yīng))濾波器。
[0013]聲音識別部2具有識別詞典(未圖示)，從由聲音獲取部1所獲取的聲音數(shù)據(jù)中檢測與搭乘者發(fā)聲的內(nèi)容相符的聲音區(qū)間，提取該聲音區(qū)間的聲音數(shù)據(jù)的特征量，基于該特征量并使用識別詞典進行識別處理，并輸出聲音識別結(jié)果的字符串。此外，作為識別處理，只要使用例如腿181-1^0^ 10(161，隱式馬爾可夫模型)法這種通常的方法進行即可。另外，聲音識別部2也可以使用網(wǎng)絡(luò)上的聲音識別服務(wù)器。
[0014]然而，在搭載于汽車導(dǎo)航系統(tǒng)等的聲音識別功能中，通常是搭乘者明示(指示)系統(tǒng)開始發(fā)聲。因此，指示聲音識別開始的按鈕等(下面，稱作“聲音識別開始指示部”)顯示在觸摸面板上或設(shè)置在方向盤上。而且，在由搭乘者按下聲音識別開始指示部之后，識別所發(fā)出的聲音。也就是說，聲音識別開始指示部輸出聲音識別開始信號，聲音識別部一接收到該信號，便從在接收到該信號之后由聲音獲取部所獲取的聲音數(shù)據(jù)中檢測與搭乘者發(fā)聲的內(nèi)容相符的聲音區(qū)間，進行上述識別處理。
[0015]但是，本實施方式1中的聲音識別部2即使沒有如上所述的搭乘者的聲音識別開始指示，也始終識別搭乘者發(fā)聲的內(nèi)容。也就是說，聲音識別部2即使未接收聲音識別開始信號，也從由聲音獲取部1所獲取的聲音數(shù)據(jù)中檢測與搭乘者發(fā)聲的內(nèi)容相符的聲音區(qū)間，提取該聲音區(qū)間的聲音數(shù)據(jù)的特征量，基于該特征量并使用識別詞典進行識別處理，反復(fù)進行輸出聲音識別結(jié)果的字符串的處理。此外，關(guān)于以下實施方式也相同。
[0016]顯示控制部3將經(jīng)聲音識別部2進行聲音識別所得的聲音識別結(jié)果即搭乘者的發(fā)聲內(nèi)容作為顯示數(shù)據(jù)來生成，且例如按時間序列順序等排列而生成。
顯示部4顯示由顯示控制部3生成的顯示數(shù)據(jù)，例如是導(dǎo)航的顯示畫面、儀表板上的顯示部、擋風玻璃、后座娛樂系統(tǒng)8681: ￡111:61-1:81111116111:))等。
[0017]接下來，對該車載信息裝置的基本動作進行說明。圖2是表示實施方式1的車載信息裝置的基本動作的流程圖。此外，以下處理在本裝置(車載信息裝置)啟動期間始終進行。
[0018]首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而作為例如1^1形式的聲音數(shù)據(jù)來獲取(步驟311)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟312)。然后，顯示控制部3生成將聲音識別部2的聲音識別結(jié)果的字符串按時間序列順序等排列而成的顯示數(shù)據(jù)，并將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟313)。(參照下述實施方式4中的圖12)
[0019]圖3是表示本發(fā)明的實施方式1的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與以圖1所示的基本結(jié)構(gòu)進行說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式1中，與圖1所示的基本構(gòu)成相比的話，會考慮到在車內(nèi)有多名搭乘者而針對每位搭乘者⑶人)準備多個⑶個)話筒，且具備檢測每位搭乘者的發(fā)聲位置的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部00。
而且，本實施方式1的車載信息裝置包括對應(yīng)搭乘者數(shù)(話筒個數(shù)0的聲音獲取部1(1-1^1-2, - - ?、1-⑷、分別對應(yīng)的聲音識別部2(2-12-2、- - ?、2-⑷、車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30、顯示控制部(輸出控制部)3、及顯示部(輸出部)4,且針對車輛內(nèi)的每位搭乘者具備多個聲音獲取部1及聲音識別部2的對。
[0020]本發(fā)明的實施方式1中的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30檢測針對每位搭乘者而準備的聲音獲取部1(1-11-2、? - - ,1-^)的配置狀態(tài)作為車廂內(nèi)的環(huán)境狀態(tài)，由此，可以檢測出每位搭乘者的發(fā)聲位置。
另外，顯示控制部3 (輸出控制部)是將經(jīng)聲音識別部2進行聲音識別所得的聲音識別結(jié)果作為與由車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30所檢測出的每位搭乘者的發(fā)聲位置配對的發(fā)聲內(nèi)容，生成顯示數(shù)據(jù)并對顯示數(shù)據(jù)進行輸出控制，從而生成例如針對每位搭乘者按時間序列順序等排列等的、可識別發(fā)聲的多名搭乘者的模式的顯示數(shù)據(jù)。
[0021]接下來，對本實施方式1的車載信息裝置的動作進行說明。圖4是表示實施方式1中的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，各聲音獲取部-獲取所輸入的聲音，
并進行八/0轉(zhuǎn)換，從而獲取作為例如？(?形式的聲音數(shù)據(jù)(步驟3111)0其次，對應(yīng)的各聲音識別部2(2-12-2、- - -、2識別由各聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3112)。然后，車廂內(nèi)環(huán)境狀態(tài)檢測部30按照各聲音識別部2，也就是按與各聲音識別部2對應(yīng)的各聲音獲取部1的位置，針對每個搭乘者的位置檢測各聲音識別部2的聲音識別結(jié)果的各字符串(步驟3113),顯示控制部3將這些字符串整理并制成針對每個搭乘者的位置按時間序列順序等排列的顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟3114)。
[0022]圖5是表示以所述方式將對話內(nèi)容顯示于顯示部4的顯示例的圖。在該例中，區(qū)分并整理每個搭乘者的位置的發(fā)聲位置，并按時間序列順序排列駕駛者八與副駕駛座的同乘者8的對話按。也就是說，以可識別發(fā)聲的多名搭乘者的布局來進行顯示。
由此，即使在受到引擎聲或輪胎噪聲、或來自車外的噪音的妨礙而漏聽對話內(nèi)容，或者因全神貫注于駕駛操作等而突然未聽取到對話內(nèi)容的情況下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。
[0023]此外，此處如圖5所示，顯示控制部(輸出控制部)3針對每位搭乘者改變顯示字符在畫面內(nèi)的布局，由此，輸出可識別發(fā)聲的多名搭乘者的不同模式的顯示數(shù)據(jù)，但作為不同模式的顯示數(shù)據(jù)，只要生成并顯示出顯示字符或顯示圖像的種類、形狀、大小、顏色、濃度、亮度、畫面內(nèi)的布局中的任一者不同的顯示數(shù)據(jù)即可。關(guān)于以下實施方式也相同。
[0024]如上所述，根據(jù)本實施方式1，即使搭乘者未意識到，車載信息裝置也會在啟動時始終進行聲音獲取及聲音識別，只要有某些發(fā)聲就自動地進行聲音獲取及聲音識別，并將該聲音識別結(jié)果以字符串的形式按時間序列順序等排列并輸出，因此，無需用于開始聲音獲取或聲音識別的搭乘者的手動操作或輸入的意向等，即使在因噪音或全神貫注于駕駛操作等而突然未聽取到對話內(nèi)容的情況下，也可以確認對話內(nèi)容。
另外，始終針對每位搭乘者聽取車內(nèi)的對話并進行聲音識別，區(qū)分并檢測每位搭乘者的發(fā)聲位置，整理這些發(fā)聲位置并進行提示，因此，即使在因噪音或全神貫注于駕駛操作等而未聽取到對話的情況下，也可以確認對話內(nèi)容，并且也容易理解對話的話題走向。另外，由于可以針對每位搭乘者進行聲音識別，因此可以提高同時發(fā)聲時的聲音識別率。
[0025]實施方式2.圖6是表示本發(fā)明的實施方式2的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與在實施方式1中說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式2中，與圖3所示的實施方式1的結(jié)構(gòu)相比的話，聲音獲取部1為將1個話筒〈1-1、1-2、? ? ?、1-的呈陣列狀配置而成的陣列式話筒，且追加有信號處理部5。也就是說，在本實施方式2的車載信息裝置中，將1個話筒呈陣列狀配置而成的聲音獲取部1〈1-1、1-2、? ? - ,1-1)獲取聲音(音源)，信號處理部5將該音源分離成~個，針對各搭乘者~人，^個聲音識別部對發(fā)聲內(nèi)容進行聲音識別。
[0026]在本實施方式2中，相對于搭乘者~人，將陣列式話筒所具備的話筒的數(shù)量設(shè)為1個，而并非針對發(fā)聲的每位搭乘者設(shè)置話筒，但信號處理部5使用波束成形孤1？0謂1叩)法等通常的音源分離方法，將從使1個話筒呈陣列狀配置而成的陣列式話筒獲取的聲音數(shù)據(jù)分離成相當于~個(相當于搭乘者的人數(shù)吣音源。該音源分離為公知的技術(shù)，因而此處省略說明，但以下的實施方式中的“音源分離”是利用這種通常的音源分離方法而進行。
[0027]而且，本發(fā)明的實施方式2中的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30是根據(jù)利用信號處理部5所分離出的~個音源而檢測每位搭乘者⑶人)的發(fā)聲位置、也就是搭乘者的配置狀態(tài)作為車廂內(nèi)的環(huán)境狀態(tài)。
另外，顯示控制部3 (輸出控制部)將經(jīng)聲音識別部2進行聲音識別所得的聲音識別結(jié)果作為與由車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30所檢測出的每位搭乘者的發(fā)聲位置配對的發(fā)聲內(nèi)容，生成顯示數(shù)據(jù)并對顯示數(shù)據(jù)進行輸出控制，從而生成例如針對每位搭乘者按時間序列順序等排列等的、可識別發(fā)聲的多名搭乘者的模式的顯示數(shù)據(jù)。
[0028]接下來，對本實施方式2的車載信息裝置的動作進行說明。圖7是表示實施方式2中的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1(1-11-2、- - - ^1-1)獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如？(?形式的聲音數(shù)據(jù)(步驟3121)0其次，信號處理部5將由聲音獲取部1所獲取的聲音數(shù)據(jù)進行音源分離，從而分離成~個(相當于搭乘者的人數(shù)吣(步驟3122).各聲音識別部2(2-12-2、? - ?、2-⑷識別該被音源分離成~個的對話的聲音數(shù)據(jù)(步驟3123).然后，車廂內(nèi)環(huán)境狀態(tài)檢測部30針對每個搭乘者的位置檢測各聲音識別部2的聲音識別結(jié)果的各字符串(步驟3124)，顯示控制部3將這些字符串整理并制成針對每個搭乘者的位置按時間序列順序等排列的顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟3125).
[0029]作為以所述方式顯示的顯示例，與實施方式1中所示的圖5同樣，針對每個搭乘者的位置整理并按時間序列順序排列駕駛者八與副駕駛座的同乘者8的對話。
由此，即使在受到引擎聲或輪胎噪聲、或來自車外的噪音的妨礙而漏聽對話內(nèi)容，或者因全神貫注于駕駛操作等而突然未聽取到對話內(nèi)容的情況下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。
[0030]如上所述，根據(jù)本實施方式2，在車內(nèi)準備將多個話筒呈陣列狀配置而成的陣列式話筒，始終聽取車內(nèi)的對話并進行聲音識別，針對每個搭乘者進行整理并呈現(xiàn)，因此與實施方式1同樣地，即使在因噪音或全神貫注于駕駛操作等而未聽取到對話的情況下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。另外，由于可以針對每位搭乘者進行聲音識別，因此可以提高同時發(fā)聲時的聲音識別率。
[0031]實施方式3.圖8是表示本發(fā)明的實施方式3的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1、2中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式3中，與圖3所示的實施方式1的結(jié)構(gòu)相比的話，追加了與在信號處理部5中分離的^個聲音數(shù)據(jù)對應(yīng)的~個發(fā)聲有無檢測部6』個發(fā)聲數(shù)據(jù)提取部7、發(fā)聲數(shù)據(jù)順序整理部8、及聲音識別等待發(fā)聲數(shù)據(jù)存儲部9，另外，在該結(jié)構(gòu)中只要1個聲音識別部2。
此外，在本實施方式3中與實施方式2同樣地，設(shè)為使用將1個話筒呈陣列狀配置而成的陣列式話筒的結(jié)構(gòu)，但也可以與實施方式1的圖3所示的結(jié)構(gòu)同樣地，針對每個搭乘者具備話筒即具備~個話筒。
[0032]發(fā)聲有無檢測部6對從信號處理部5輸出的針對每個搭乘者的位置將聲音分離而得的聲音數(shù)據(jù)進行聲音區(qū)間檢測，當檢測出發(fā)聲時，指示發(fā)聲數(shù)據(jù)提取部7提取所檢測出的聲音區(qū)間的發(fā)聲數(shù)據(jù)。
發(fā)聲數(shù)據(jù)提取部7對從信號處理部5輸出的針對每個搭乘者的位置將聲音分離而得的聲音數(shù)據(jù)，提取由發(fā)聲有無檢測部6所指示的聲音區(qū)間，將所提取的發(fā)聲數(shù)據(jù)(聲音數(shù)據(jù))發(fā)送至發(fā)聲數(shù)據(jù)順序整理部8。
[0033]發(fā)聲數(shù)據(jù)順序整理部8與從發(fā)聲數(shù)據(jù)提取部7接收發(fā)聲數(shù)據(jù)同時地，根據(jù)從哪一個發(fā)聲數(shù)據(jù)提取部7接收到該發(fā)聲數(shù)據(jù)來判斷發(fā)聲的搭乘者的位置，對后級的聲音識別部2發(fā)送發(fā)聲數(shù)據(jù)(聲音數(shù)據(jù))，另外，對車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30發(fā)送搭乘者的位置信息。然而，當聲音識別部2未結(jié)束對前一次的發(fā)聲數(shù)據(jù)的聲音識別處理時，暫時將發(fā)聲數(shù)據(jù)及發(fā)聲的搭乘者的位置信息發(fā)送至聲音識別等待發(fā)聲數(shù)據(jù)存儲部9，在聲音識別部2結(jié)束前一次聲音識別處理之后，從聲音識別等待發(fā)聲數(shù)據(jù)存儲部9獲取發(fā)聲數(shù)據(jù)(聲音數(shù)據(jù))及發(fā)聲的搭乘者的位置信息，并將發(fā)聲數(shù)據(jù)(聲音數(shù)據(jù))及發(fā)聲的搭乘者的位置信息發(fā)送至聲音識別部2及車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部00。
[0034]聲音識別等待發(fā)聲數(shù)據(jù)存儲部9將從發(fā)聲數(shù)據(jù)順序整理部8發(fā)送來的發(fā)聲數(shù)據(jù)及發(fā)聲的搭乘者的位置信息存儲至隊列(叫6116)III0111:，先進先出))，且如果由發(fā)聲數(shù)據(jù)順序整理部8發(fā)出獲取請求，那么交還發(fā)聲數(shù)據(jù)及發(fā)聲的搭乘者的位置信肩、0
[0035]而且，本發(fā)明的實施方式3的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30通過檢測由發(fā)聲數(shù)據(jù)順序整理部8所獲取、整理的發(fā)聲數(shù)據(jù)(聲音數(shù)據(jù))作為車廂內(nèi)的環(huán)境狀態(tài)，以此來檢測每個搭乘者⑶人)的發(fā)聲位置、也就是搭乘者的配置狀態(tài)。
另外，顯示控制部3(輸出控制部)根據(jù)從車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30接收到的搭乘者的配置狀態(tài)(發(fā)聲位置信息)，針對每個搭乘者的位置整理由聲音識別部2所識別出的發(fā)聲內(nèi)容即聲音識別結(jié)果，生成例如針對每位搭乘者按時間序列順序等排列等的、可識別發(fā)聲的多名搭乘者的模式的顯示數(shù)據(jù)，對顯示部4進行呈現(xiàn)內(nèi)容的輸出控制。
[0036]接下來，對本實施方式3的車載信息裝置的動作進行說明。圖9是表示實施方式3中的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1(1-11-2、- - - ^1-1)獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如？(?形式的聲音數(shù)據(jù)(步驟3131)0其次，信號處理部5將由聲音獲取部1所獲取的聲音數(shù)據(jù)進行音源分離，從而分離成~個(相當于搭乘者的人數(shù)吣(步驟3132)。- - ,6-^)檢測在該被音源分離成~個的對話的聲音數(shù)據(jù)中是否包含發(fā)聲(步驟3133).關(guān)于該發(fā)聲有無檢測，只要通過如下步驟進行即可，也就是，對各聲音數(shù)據(jù)進行檢測聲音音量的電平的聲音區(qū)間檢測。
[0037]此處，在未檢測出發(fā)聲的情況(步驟3133的“否”的情況)下，返回至步驟3丁31進行處理。另一方面，在檢測出發(fā)聲的情況(步驟3133的“是”的情況)下，針對從信號處理部5接收到的~個已分離的各聲音數(shù)據(jù)，從發(fā)聲有無檢測部6對發(fā)聲數(shù)據(jù)提取部7(7-1、7-2, ? ? - ,7-^)進行聲音區(qū)間提取的指示，利用發(fā)聲數(shù)據(jù)提取部7進行提取處理，將所提取的發(fā)聲數(shù)據(jù)發(fā)送至發(fā)聲數(shù)據(jù)順序整理部8 (步驟3134)。
[0038]然后，只要不處于利用聲音識別部2進行聲音識別處理的過程中(步驟3135的“否”的情況)，便利用聲音識別部2進行發(fā)聲數(shù)據(jù)的聲音識別處理(步驟3138)。另一方面，正在利用聲音識別部2進行了前一次聲音識別處理的情況(步驟3135的“是”的情況)下，將預(yù)定從發(fā)聲數(shù)據(jù)順序整理部8發(fā)送至聲音識別部2的發(fā)聲數(shù)據(jù)及預(yù)定從發(fā)聲數(shù)據(jù)順序整理部8發(fā)送至顯示控制部3的搭乘者的位置信息暫時保存在聲音識別等待發(fā)聲數(shù)據(jù)存儲部9 (步驟8136)。
然后，等待聲音識別部2的聲音識別處理結(jié)束，聲音識別處理一結(jié)束，發(fā)聲數(shù)據(jù)順序整理部8便立即獲取保存在聲音識別等待發(fā)聲數(shù)據(jù)存儲部9中的發(fā)聲數(shù)據(jù)及搭乘者的位置信息，并分別發(fā)送至聲音識別部2及車廂內(nèi)環(huán)境狀態(tài)檢測部30(步驟3137)。然后，利用聲音識別部2進行發(fā)聲數(shù)據(jù)的聲音識別處理(步驟3138)。
[0039]最后，車廂內(nèi)環(huán)境狀態(tài)檢測部30基于從發(fā)聲數(shù)據(jù)順序整理部8接收到的搭乘者的位置信息，針對每個搭乘者的位置檢測聲音識別部2的聲音識別結(jié)果的各字符串(步驟3丁39)，顯示控制部3整理這些字符串并生成針對每個搭乘者的位置按時間序列順序等排列的顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟3140〉。
[0040]作為以所述方式顯示的顯示例，與實施方式1中所示的圖5同樣，針對每個搭乘者的位置進行整理并按時間序列順序排列駕駛者八與副駕駛座的同乘者8的對話。
由此，即使在受到引擎聲或輪胎噪聲、或來自車外的噪音的妨礙而漏聽對話內(nèi)容，或者因全神貫注于駕駛操作等而突然未聽取到對話內(nèi)容的情況下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。
[0041]如上所述，根據(jù)本實施方式3，除了與實施方式1、2相同的效果以外，還有如下效果:由于可以將聲音識別部2設(shè)為1個，因此可以減少聲音識別部2所需的資源，另外，可以利用該減少的資源部分來提高聲音識別部2的性能。
[0042]實施方式4.圖10是表示本發(fā)明的實施方式4的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?3中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式4中，與實施方式1中所說明的圖1所示的基本結(jié)構(gòu)相比的話，具備多個⑶個)顯示部4，且具備檢測各顯示部4(4-13-2^ ? ? ,4-^)的位置的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部00。而且，在以字符串的形式顯示所識別的聲音數(shù)據(jù)時，根據(jù)車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30所檢測出的各顯示部4(4-13-2、? ? ?、4的位置，改變顯示形式(顯示內(nèi)容)來進行顯示。
[0043]而且，本發(fā)明的實施方式4中的車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30檢測顯示部4(4-14-2、? ? ?、4的配置狀態(tài)作為車廂內(nèi)的環(huán)境狀態(tài)。
另外，顯示控制部3(輸出控制部)基于由車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30所檢測出的顯示部4(4-13-2、? ? ?、4-⑷的配置狀態(tài)，也就是根據(jù)例如該顯示部4是位于駕駛座還是位于副駕駛座，而生成不同顯示模式的顯示數(shù)據(jù)，對顯示部4進行呈現(xiàn)內(nèi)容的輸出控制。
[0044]接下來，對本實施方式4的車載信息裝置的動作進行說明。圖11是表示實施方式4的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3141)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3142)0另一方面，車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30檢測各顯示部4(4-13-2^ ? ? ,4-^)的位置(步驟3143).然后，顯示控制部3將聲音識別部2的聲音識別結(jié)果的字符串按時間序列順序排列，根據(jù)車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30所檢測出的各顯示部4(4-14-2、? ? ? ,4-^)的位置而改變顯示形式(顯示內(nèi)容)并生成顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至各顯示部4，由此，在各顯示部4以字符串的形式顯示對話內(nèi)容(步驟3144)。
[0045]圖12及圖13是表示以所述方式顯示的顯示例的圖。圖12是顯示部4的位置為副駕駛座側(cè)的情況下的顯示例，圖13是顯示部4的位置為駕駛座側(cè)的情況下的顯示例。在該例中，在圖12所示的副駕駛座側(cè)的顯示部4，所有對話按時間序列順序顯示多行(在該例中，與發(fā)聲時間一起顯示、且同時顯示5行左右)。另一方面，在圖13所示的駕駛座側(cè)的顯示部4，占滿畫面來較大地顯示僅2行(連發(fā)聲時間也沒有這是因為駕駛者必須將精神集中于駕駛，因而如果字符不大，就無法在短時間內(nèi)確認對話內(nèi)容。
[0046]另外，在像實施方式1?3那樣有多個話筒的情況下，或通過使用陣列式話筒還可以獲取搭乘者的位置的情況下，例如也可以在副駕駛座側(cè)的顯示部4，代替圖12而顯示如圖14的顯示畫面。在此情況下，較大地顯示除副駕駛座側(cè)本人(8)的發(fā)聲內(nèi)容以外的他人的發(fā)聲內(nèi)容，由此，可以更易于理解并識別他人的對話。
[0047]如上所述，根據(jù)本實施方式4，始終聽取車內(nèi)的對話并進行聲音識別，且例如在位于駕駛座側(cè)的顯示部以可在短時間內(nèi)視認字符且也可無需注視的方式進行顯示，或在位于副駕駛座側(cè)的顯示部沒有像駕駛者那樣的限制而顯示更多信息等，針對每個顯示部的位置進行最佳顯示，所以可更容易理解顯示內(nèi)容。另外，考慮了搭乘者的位置來進行顯示，由此，相較于本人的對話可更容易理解并識別他人的對話。
[0048]實施方式5.圖15是表示本發(fā)明的實施方式5的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?4中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式5中，與實施方式1中所說明的圖1所示的基本結(jié)構(gòu)相比的話，具備車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部I'社10，信噪比)獲取部31、音頻設(shè)備動作狀態(tài)獲取部32、空調(diào)設(shè)備動作狀態(tài)獲取部33、車廂內(nèi)的噪音狀態(tài)獲取部34、及車窗或車頂?shù)拈_閉狀態(tài)獲取部35。
[0049]聲音的獲取部31基于從聲音獲取部1獲取的聲音數(shù)據(jù)而進行聲音區(qū)間檢測，計算聲音區(qū)間的信號電平與除此以外的區(qū)間的信號電平的比。
音頻設(shè)備動作狀態(tài)獲取部32、空調(diào)設(shè)備動作狀態(tài)獲取部33分別獲取車廂內(nèi)的音響設(shè)備等音頻設(shè)備、或空調(diào)機等空調(diào)設(shè)備的動作狀態(tài)。
車廂內(nèi)的噪音狀態(tài)獲取部34獲取車廂內(nèi)的噪音電平是否超過規(guī)定閾值這種噪音狀態(tài)。
車窗或車頂?shù)拈_閉狀態(tài)獲取部35根據(jù)來自車輛的廿01161 ^1-68他切04，控制器局域網(wǎng))信號等而獲取車輛的車窗或車頂?shù)拈_閉狀態(tài)。
[0050]此處，實施方式1?4中的車廂內(nèi)環(huán)境狀態(tài)檢測部30檢測車廂內(nèi)的說話者(搭乘者)、聲音獲取部1、顯不部(輸出部)4中的任一者的配置狀態(tài),但本實施方式5中的車廂內(nèi)環(huán)境狀態(tài)檢測部30檢測聲音獲取部1所獲取的聲音的比、車廂內(nèi)的音頻設(shè)備(音響設(shè)備等)或空調(diào)設(shè)備(空調(diào)機等)的動作狀態(tài)、車廂內(nèi)的噪音狀態(tài)、車窗或車頂?shù)拈_閉狀態(tài)中的任一者。
而且，在本實施方式5中，當由車廂內(nèi)環(huán)境狀態(tài)檢測部30檢測出車廂內(nèi)的環(huán)境狀態(tài)被判斷為嘈雜的車輛狀態(tài)時，基于該所檢測出的車輛狀態(tài)，而改變顯示形式(顯示內(nèi)容)來進行顯示。
[0051]接下來，對本實施方式5的車載信息裝置的動作進行說明。圖16是表示實施方式5的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3151)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3152)。
[0052]然后，利用車廂內(nèi)環(huán)境狀態(tài)檢測部30，基于車廂內(nèi)的環(huán)境狀態(tài)是否被判斷為嘈雜，來判斷是否有必要顯示對話內(nèi)容(步驟3153).也就是說，當為如下任一種狀態(tài)時，車廂內(nèi)環(huán)境狀態(tài)檢測部30判斷車廂內(nèi)的環(huán)境狀態(tài)嘈雜，從而判斷為需要呈現(xiàn)對話，所述狀態(tài)是指:由聲音的獲取部31所獲取的聲音的比超過規(guī)定閾值；由音頻設(shè)備動作狀態(tài)獲取部32所獲取的車廂內(nèi)的音頻設(shè)備動作狀態(tài)為動作中；由空調(diào)設(shè)備動作狀態(tài)獲取部33所獲取的車廂內(nèi)的空調(diào)設(shè)備動作狀態(tài)為動作中；由車廂內(nèi)的噪音狀態(tài)獲取部34所獲取的車廂內(nèi)的噪音電平超過規(guī)定閾值；以及由車窗或車頂?shù)拈_閉狀態(tài)獲取部35所獲取的車輛的車窗或車頂?shù)拈_閉狀態(tài)為打開。
[0053]然后，在判斷為不需要呈現(xiàn)對話的情況(步驟3153的“否”的情況)下，返回至步驟3151進行處理。
另一方面，在判斷為需要呈現(xiàn)對話的情況(步驟3153的“是”的情況)下，顯示控制部3將在步驟3152中所識別出的聲音數(shù)據(jù)進行整理并制成按時間序列順序等排列的顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟8154)。
[0054]如上所述，根據(jù)本實施方式5，始終聽取車內(nèi)的對話并進行聲音識別，并且在判斷為車廂內(nèi)的環(huán)境狀態(tài)嘈雜且搭乘者很有可能漏聽對話的情況下，呈現(xiàn)對話內(nèi)容，所以即使在因噪音等而未聽取到對話的情況下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。
[0055]實施方式6.圖17是表示本發(fā)明的實施方式6的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?5中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式6中，與實施方式1中所說明的圖1所示的基本結(jié)構(gòu)相比的話，具備車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30、及聲音特征信息獲取部36。
[0056]在本實施方式6中，利用聲音特征信息獲取部36獲取由聲音獲取部1所獲取的聲音的聲音特征信息，所述聲音特征信息包含聲音的種類、音量、音程、音質(zhì)、音色、聲調(diào)、節(jié)奏、頻率特性中的任一者，車廂內(nèi)環(huán)境狀態(tài)檢測部30通過基于該聲音特征信息的推斷，而檢測發(fā)出聲音的搭乘者的感情狀態(tài)作為車輛狀態(tài)。
而且，在本實施方式6中，在由車廂內(nèi)環(huán)境狀態(tài)檢測部30檢測出搭乘者的感情狀態(tài)被推斷為明朗/陰郁等的車輛狀態(tài)的情況下，基于該所檢測出的車輛狀態(tài)，改變顯示形式(顯示內(nèi)容)來進行顯示。
[0057]接下來，對本實施方式6的車載信息裝置的動作進行說明。關(guān)于表不本實施方式6中的車載信息裝置的動作的流程圖，與實施方式5中的圖16所示的流程圖相同，所以省略圖示。但是，步驟3153中的判斷的處理與實施方式5不同。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3151)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3152)。
[0058]然后，利用車廂內(nèi)環(huán)境狀態(tài)檢測部30，基于車廂內(nèi)的搭乘者的感情狀態(tài)是明朗還是陰郁，來判斷是否有必要顯示對話內(nèi)容(步驟3153).也就是說，車廂內(nèi)環(huán)境狀態(tài)檢測部30基于由聲音特征信息獲取部36所獲取的聲音特征信息，而推斷車廂內(nèi)的搭乘者的感情狀態(tài)是明朗還是陰郁，當搭乘者的感情狀態(tài)陰郁時，很有可能為難以聽取到對話的狀態(tài)，從而判斷為需要呈現(xiàn)對話。
[0059]然后，在車廂內(nèi)的搭乘者的感情狀態(tài)被推斷為明朗，從而判斷為無需呈現(xiàn)對話的情況(步驟3153的“否”的情況)下，返回至步驟3151進行處理。
另一方面，在車廂內(nèi)的搭乘者的感情狀態(tài)被推斷為陰郁，從而判斷為需要呈現(xiàn)對話的情況(步驟3153的“是”的情況)下，顯示控制部3將在步驟3152中所識別出的聲音數(shù)據(jù)進行整理并制成按時間序列順序等排列的顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至顯示部4，由此，在顯示部4以字符串的形式顯示對話內(nèi)容(步驟3154)。
[0060]如上所述，根據(jù)本實施方式6，始終聽取車內(nèi)的對話并進行聲音識別，且當判斷為車廂內(nèi)的搭乘者的感情狀態(tài)陰郁、很有可能處于難以聽取到對話的狀態(tài)時，呈現(xiàn)對話內(nèi)容，所以即使為因噪音或全神貫注于駕駛操作等而難以聽取到對話的狀態(tài)下，也可以確認對話內(nèi)容，并且也易于理解對話的話題走向。
[0061]實施方式7.圖18是表示本發(fā)明的實施方式7的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?6中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式7中，與實施方式4中所說明的圖10所示的框圖相比的話，代替車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30而具備車輛周邊環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)40,還具備時刻獲取部41、天氣狀態(tài)獲取部42。
[0062]本實施方式7的車輛周邊環(huán)境狀態(tài)檢測部40基于由時刻獲取部41及天氣狀態(tài)獲取部42所獲取的車輛周邊當前的年月日、時刻、星期、天氣狀態(tài)中的任一者，而檢測車輛周邊的環(huán)境狀態(tài)作為車輛狀態(tài)，所述時刻獲取部41獲取當前的日期、時刻、星期等信息，天氣狀態(tài)獲取部42經(jīng)由通信設(shè)備而獲取當前本車位置的天氣信息。
而且，在本實施方式7中，當由車輛周邊環(huán)境狀態(tài)檢測部40根據(jù)車輛周邊的環(huán)境狀態(tài)檢測出為駕駛者必須全神貫注于駕駛操作的狀況時，基于該所檢測出的車輛狀態(tài)，而改變顯示形式(顯示內(nèi)容)來進行顯示，或在駕駛座側(cè)的顯示部4進行使顯示變?yōu)椴伙@示等的控制，如，對輸出顯示數(shù)據(jù)的顯示部或不輸出顯示數(shù)據(jù)的顯示部等進行選擇、變更、切換等的控制。
[0063]接下來，對本實施方式7的車載信息裝置的動作進行說明。圖19是表示實施方式7的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3171)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3172)。
[0064]然后，在并非在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“否”的情況)下，顯示控制部3將在步驟3172中由聲音識別部2所識別出的聲音識別結(jié)果的字符串進行整理并按時間序列順序等排列，根據(jù)各顯示部4 (4-1、4-2、? “、4-^)的位置而改變顯示形式(顯示內(nèi)容)并生成顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至各顯示部4，由此，在各顯示部4以字符串的形式顯示對話內(nèi)容(步驟3174).
[0065]另一方面，在顯示控制部3在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“是”的情況)下，進而在步驟75中，利用車輛周邊環(huán)境狀態(tài)檢測部40，基于當前車輛周邊的年月日、時刻、星期、天氣中的任一者，來判斷是否需要全神貫注于駕駛操作(步驟3175)0也就是說，基于由時刻獲取部41所獲取的當前車輛周邊的年月日、時刻、星期是何時，另外，基于由天氣狀態(tài)獲取部42所獲取的當前車輛周邊的天氣為哪種天氣，當日期或星期為交通擁堵時期時、時間段為夜間時、天氣為下雨時等，車輛周邊環(huán)境狀態(tài)檢測部40判斷為駕駛者處于必須全神貫注于駕駛操作的狀態(tài)。
[0066]然后，在判斷為無需全神貫注于駕駛操作的情況(步驟3175的“否”的情況)下，使駕駛座側(cè)的顯示部4成為顯示狀態(tài)(步驟3176).但是，在已經(jīng)是顯示狀態(tài)的情況下不進行任何操作。
另一方面，在判斷為需要全神貫注于駕駛操作的情況(步驟3175的“是”的情況)下，使駕駛座側(cè)的顯示部4成為不顯示狀態(tài)(步驟3177).但是，在已經(jīng)是不顯示狀態(tài)的情況下不進行任何操作。
[0067]如上所述，根據(jù)本實施方式7，始終聽取車內(nèi)的對話并進行聲音識別，當顯示部的位置及車輛周邊的環(huán)境狀態(tài)為駕駛者必須全神貫注于駕駛操作的狀態(tài)時，使得在駕駛座側(cè)的顯示部不顯示聲音識別結(jié)果，所以除了與實施方式4相同的效果以外，還可以防止駕駛者在駕駛中往旁側(cè)看。
[0068]實施方式8.圖20是表示本發(fā)明的實施方式8的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?7中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式8中，與實施方式5中所說明的圖10所示的框圖相比的話，代替車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30而具備車輛運行狀態(tài)檢測部(車輛狀態(tài)檢測部)50,還具備轉(zhuǎn)向裝置狀態(tài)獲取部51、變速桿使用狀態(tài)獲取部52、制動器使用狀態(tài)獲取部53、轉(zhuǎn)向燈使用狀態(tài)獲取部54、照明狀態(tài)獲取部55、及雨刷使用狀態(tài)獲取部56。
[0069]轉(zhuǎn)向裝置狀態(tài)獲取部51、變速桿使用狀態(tài)獲取部52、制動器使用狀態(tài)獲取部53、轉(zhuǎn)向燈使用狀態(tài)獲取部54、照明狀態(tài)獲取部55、雨刷使用狀態(tài)獲取部56分別從來自車輛的￠:八^信號等獲取轉(zhuǎn)向裝置狀態(tài)、變速桿、制動器、轉(zhuǎn)向燈、照明及雨刷的使用有無信號。
[0070]本實施方式8中的車輛運行狀態(tài)檢測部50檢測車輛的轉(zhuǎn)向裝置、變速桿、制動器、轉(zhuǎn)向燈、照明、雨刷等的使用狀態(tài)。
而且，在本實施方式8中，當由車輛運行狀態(tài)檢測部50檢測出所述車輛設(shè)備為正被使用的狀態(tài)時，基于該所檢測出的車輛狀態(tài)，而改變顯示形式(顯示內(nèi)容)來進行顯示，或在駕駛座側(cè)的顯示部4進行使顯示成為不顯示的控制等，如，對輸出顯示數(shù)據(jù)的顯示部或不輸出顯示數(shù)據(jù)的顯示部進行選擇、變更、切換等的控制。
[0071]接下來，對本實施方式8的車載信息裝置的動作進行說明。關(guān)于表示本實施方式8中的車載信息裝置的動作的流程圖，與實施方式7中的圖19所示的流程圖相同，所以省略圖示。但是，步驟3175中的判斷的處理與實施方式7不同。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3171)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3172)。
[0072]然后，在并非在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“否”的情況)下，顯示控制部3將聲音識別部2的聲音識別結(jié)果的字符串按時間序列順序排列，并根據(jù)各顯示部4(4-14-2、? ? ?、4的位置而改變顯示形式(顯示內(nèi)容)并生成顯示數(shù)據(jù)，將該顯示數(shù)據(jù)發(fā)送至各顯示部4，由此，在各顯示部4以字符串的形式顯示對話內(nèi)容(步驟3174)。
[0073]另一方面，在顯示控制部3在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“是”的情況)下，進而在步驟75中，利用車輛運行狀態(tài)檢測部50，基于是否使用車輛的轉(zhuǎn)向裝置、變速桿、制動器、轉(zhuǎn)向燈、照明及雨刷等，而判斷是否有必要全神貫注于駕駛操作(步驟3175).也就是說，當由轉(zhuǎn)向裝置狀態(tài)獲取部51、變速桿使用狀態(tài)獲取部52、制動器使用狀態(tài)獲取部53、轉(zhuǎn)向燈使用狀態(tài)獲取部54、照明狀態(tài)獲取部55、雨刷使用狀態(tài)獲取部56所獲取的車輛的轉(zhuǎn)向裝置狀態(tài)、變速桿、制動器、轉(zhuǎn)向燈、照明、雨刷中的任一者的使用有無信號為使用中(有使用)時，車輛運行狀態(tài)檢測部50判斷為駕駛者處于必須全神貫注于駕駛操作的狀態(tài)。
[0074]然后，在判斷為無需全神貫注于駕駛操作的情況(步驟3175的“否”的情況)下，使駕駛座側(cè)的顯示部4成為顯示狀態(tài)(步驟3176).但是，在已經(jīng)是顯示狀態(tài)的情況下不進行任何操作。
另一方面，在判斷為需要全神貫注于駕駛操作的情況(步驟3175的“是”的情況)下，使駕駛座側(cè)的顯示部4成為不顯示狀態(tài)(步驟3177).但是，在已經(jīng)是不顯示狀態(tài)時不進行任何操作。
[0075]如上所述，根據(jù)本實施方式8，始終聽取車內(nèi)的對話并進行聲音識別，當顯示部的位置及車輛的轉(zhuǎn)向裝置狀態(tài)、變速桿、制動器、轉(zhuǎn)向燈、照明、雨刷中的任一者的操作狀態(tài)為使用中，且駕駛者處于必須全神貫注于駕駛操作的狀態(tài)時，使得在駕駛座側(cè)的顯示部不顯示聲音識別結(jié)果，所以，除了與實施方式4相同的效果以外，還可以防止駕駛者在駕駛中往旁側(cè)看。
[0076]實施方式9.圖21是表示本發(fā)明的實施方式9的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?8中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式9中，與實施方式4中所說明的圖10所示的框圖相比的話，代替車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)30而具備車輛運行狀態(tài)檢測部(車輛狀態(tài)檢測部)50,還具備本車位置獲取部61、車速信號獲取部62、加速度獲取部63、方位獲取部64、行駛持續(xù)距離獲取部65、行駛持續(xù)時間獲取部66、行駛道路類別獲取部67、行駛道路路面狀態(tài)獲取部68、行駛道路擁堵狀況獲取部69、行駛路徑設(shè)定狀態(tài)獲取部70、及行駛路徑引導(dǎo)狀態(tài)獲取部71。
[0077]本實施方式9中的車輛運行狀態(tài)檢測部50檢測車輛當前的位置、速度、加速度、方位、行駛持續(xù)距離、行駛持續(xù)時間、行駛道路類別、行駛道路路面狀態(tài)、行駛道路擁堵狀況、行駛路徑設(shè)定狀態(tài)、行駛路徑引導(dǎo)狀態(tài)中的任一種車輛的運行狀態(tài)。
而且，在本實施方式9中，基于由車輛運行狀態(tài)檢測部50所檢測出的車輛狀態(tài)，改變顯示形式(顯示內(nèi)容)來進行顯示。
此外，如實施方式4、7、8所示，當具備多個顯示部4時，也可以基于由車輛運行狀態(tài)檢測部50所檢測出的車輛狀態(tài)，而改變顯示形式(顯示內(nèi)容)來進行顯示，或在駕駛座側(cè)的顯示部4進行在車輛運行中將顯示改為不顯示等控制，如，對輸出顯示數(shù)據(jù)的顯示部或不輸出顯示數(shù)據(jù)的顯示部等進行選擇、變更、切換等的控制。
[0078]本車位置獲取部61使用從⑶3 ￠1()13511 ？0811:10111118 3781:6111，全球定位系統(tǒng))接收機或回轉(zhuǎn)儀等獲取的信息，而獲取當前的本車位置。
車速信號獲取部62從來自車輛的信號等中獲取車輛的速度信息。
加速度信號獲取部63從回轉(zhuǎn)儀或車輛的加速器、制動器、方向盤操作獲取車輛的加速度。
方位獲取部64從本車位置的移動方向或電子指南針獲取車輛的方位。
行駛持續(xù)時間獲取部65、行駛持續(xù)距離獲取部66根據(jù)汽車導(dǎo)航或來自車輛的信號等，分別判斷并獲取行駛持續(xù)時間、行駛持續(xù)距離。
[0079]行駛道路類別獲取部67、行駛道路路面狀態(tài)獲取部68基于由本車位置獲取部61所獲取的當前的本車位置信息、及存儲于下述地圖數(shù)據(jù)存儲部72等的地圖數(shù)據(jù)，而分別獲取當前行駛中的行駛道路類別、行駛道路路面狀態(tài)。作為可獲取的信息，為“是否為隧道內(nèi)” “已鋪路還是未鋪路”等對噪音狀況或駕駛操作帶來影響的道路的狀態(tài)。另外，例如在即使本車位置尚未處于隧道內(nèi)，但如果保持這種狀態(tài)前進便會進入隧道內(nèi)的情況下等，也可以獲取“不久后進入隧道內(nèi)”這種信息。
行駛道路擁堵狀況獲取部69經(jīng)由通信設(shè)備而獲取本車位置的擁堵信息，或從電波信標 / 光信標獲取 (76111(316811(1 (^臟皿 011 8731:6111(道路交通信息通信系統(tǒng))/注冊商標)信息(道路交通信息)。
[0080]行駛路徑設(shè)定狀態(tài)獲取部70、行駛路徑引導(dǎo)狀態(tài)獲取部71分別從導(dǎo)航裝置獲取當前的行駛路徑設(shè)定狀態(tài)、行駛路徑引導(dǎo)狀態(tài)的信息。
在地圖數(shù)據(jù)存儲部72，存儲著例如道路數(shù)據(jù)、隧道數(shù)據(jù)等地圖數(shù)據(jù)。該地圖數(shù)據(jù)存儲部72可以是761~8社116 0180-^68(1 01117此咖!^，只讀數(shù)字多功能光盤)、硬盤、30卡等任何形態(tài)。另外，也可以是存在于網(wǎng)絡(luò)上，可以經(jīng)由通信網(wǎng)絡(luò)而獲取道路數(shù)據(jù)等信息的結(jié)構(gòu)。
[0081〕 車輛運行狀態(tài)檢測部50基于從本車位置獲取部61、車速信號獲取部62、加速度獲取部63、方位獲取部64、行駛持續(xù)時間獲取部65、行駛持續(xù)距離獲取部66等獲取的信息，而判定是行駛中還是停車中，或根據(jù)從行駛道路類別獲取部67、行駛道路路面狀態(tài)獲取部68、行駛道路擁堵狀況獲取部69獲取的信息，而判定是否為行駛中的道路的噪音狀況或?qū)︸{駛操作造成影響的道路狀態(tài)，或判定是否為利用導(dǎo)航裝置設(shè)定、引導(dǎo)行駛路徑的狀態(tài)。
然后，在車輛運行狀態(tài)檢測部50判斷為行駛中的情況下，或在判斷為對駕駛操作造成影響的道路狀態(tài)的情況下，顯示控制部3使駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4的顯示內(nèi)容成為不顯示。
[0082]接下來，對本實施方式9的車載信息裝置的動作進行說明。關(guān)于表示本實施方式9中的車載信息裝置的動作的流程圖，與實施方式7中的圖19所示的流程圖相同，所以省略圖示。但是，步驟3175中的判斷的處理與實施方式7不同。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟3171)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟3172).然后，在并非在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“否”的情況)下，顯示控制部3將聲音識別部2的聲音識別結(jié)果的字符串按時間序列順序排列，且根據(jù)各顯示部4(4-13-2、? ? ⑷的位置而改變顯示形式(顯示內(nèi)容)并生成顯示數(shù)據(jù)，且將該顯示數(shù)據(jù)發(fā)送至各顯示部4，由此，在各顯示部4以字符串的形式顯示對話內(nèi)容(步驟3174)。
[0083]另一方面，在顯示控制部3在駕駛座側(cè)(可由駕駛者看見的位置)的顯示部4進行顯示的情況(步驟3173的“是”的情況)下，進而在步驟75中，利用車輛運行狀態(tài)檢測部50，基于當前的本車位置、車速、加速度、方位、行駛持續(xù)時間、行駛持續(xù)距離中的任一者而判定為行駛中還是停車中，或基于當前行駛中的道路類別、道路路面狀態(tài)、道路擁堵狀況中的任一者而判定是否為行駛中的道路的噪音狀況或?qū)︸{駛操作造成影響的道路狀態(tài)，或基于行駛路徑設(shè)定狀態(tài)或行駛路徑引導(dǎo)狀態(tài)而判定是否為行駛路徑的導(dǎo)航中(是否為利用導(dǎo)航裝置設(shè)定、引導(dǎo)行駛路徑的狀態(tài))，由此，判斷當前對駕駛者來說是否有必要全神貫注于駕駛操作(步驟3175)。
[0084]然后，在判斷為無需全神貫注于駕駛操作的情況(步驟3175的“否”的情況)下，使駕駛座側(cè)的顯示部4成為顯示狀態(tài)(步驟3176).但是，在已經(jīng)是顯示狀態(tài)的情況下不進行任何操作。
另一方面，在判斷為需要全神貫注于駕駛操作的情況(步驟3175的“是”的情況)下，使駕駛座側(cè)的顯示部4成為不顯示狀態(tài)(步驟3177).但是，在已經(jīng)是不顯示狀態(tài)的情況下不進行任何操作。
[0085]如上所述，根據(jù)本實施方式9，始終聽取車內(nèi)的對話并進行聲音識別，當顯示部的位置及車輛的運行狀態(tài)為駕駛者必須全神貫注于駕駛操作的狀態(tài)時，使得在駕駛座側(cè)的顯示部不顯示聲音識別結(jié)果，所以除了與實施方式4相同的效果以外，還可以防止駕駛者在行駛中往旁側(cè)看。
[0086]實施方式10.圖22是表示本發(fā)明的實施方式10的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?9中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式10中，與實施方式7中所說明的圖18所示的框圖相比的話，還具備聲音輸出控制部11及聲音輸出部12，在駕駛座側(cè)的顯示部4在行駛中使顯示成為不顯示，所以作為提供給駕駛者的替代信息而利用聲音輸出來呈現(xiàn)對話內(nèi)容。此外，此處，根據(jù)實施方式7進行說明，但在實施方式8、9中也同樣地，可以具備聲音輸出控制部及聲音輸出部而成為相同的結(jié)構(gòu)。
[0087]在使駕駛座側(cè)的顯示部4成為不顯示的情況下，聲音輸出控制部11對利用聲音識別部2所識別出的發(fā)聲內(nèi)容進行聲音合成,并發(fā)送至聲音輸出部12。
此外，本實施方式10是輸出合成聲音的結(jié)構(gòu)，但也可以是代替合成聲音而輸出利用聲音識別部2進行過聲音區(qū)間檢測的部分的結(jié)構(gòu)。
聲音輸出部12利用揚聲器等而輸出從聲音輸出控制部11發(fā)送的聲音數(shù)據(jù)。
[0088]接下來，對本實施方式10的車載信息裝置的動作進行說明。圖23是表示實施方式10的車載信息裝置的動作的流程圖。
關(guān)于步驟31101?31107的處理，與實施方式7中的圖19的流程圖的步驟3171?3177相同，所以省略說明。而且，在本實施方式10中，在步驟31107中使駕駛座側(cè)的顯示部4成為不顯不狀態(tài)之后，聲音輸出控制部11將利用聲音識別部2所識別出的發(fā)聲內(nèi)容的聲音數(shù)據(jù)發(fā)送至聲音輸出部12，并輸出聲音數(shù)據(jù)(步驟31108)。
[0089]像這樣，在本實施方式10中，與實施方式7同樣地，在行駛中使駕駛座側(cè)的顯示部成為不顯示，作為提供給駕駛者的替代信息而利用聲音輸出呈現(xiàn)對話內(nèi)容，由此，駕駛者可以通過聲音來識別對話內(nèi)容。
[0090]如上所述，根據(jù)本實施方式10，當在行駛中使駕駛座側(cè)的顯示部成為不顯示時，利用聲音輸出部輸出聲音識別結(jié)果，所以除了與實施方式7相同的效果以外，即使在行駛中，駕駛者也可以通過聲音來識別對話內(nèi)容。
[0091]實施方式11. 圖24是表示本發(fā)明的實施方式11的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?10中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式11中，與實施方式8中所說明的圖20所示的框圖相比的話，還具備聲音輸出保留判定部10、聲音輸出控制部11及聲音輸出部12，在駕駛座側(cè)的顯示部4在行駛中使顯示成為不顯示，所以作為提供給駕駛者的替代信息而利用聲音輸出呈現(xiàn)對話內(nèi)容。此外，此處，根據(jù)實施方式8進行說明，但在實施方式9中也同樣地，可以具備聲音輸出保留判定部、聲音輸出控制部及聲音輸出部而成為相同的結(jié)構(gòu)。
[0092]本實施方式11與實施方式10相比，只有如下方面不同，也就是具備聲音輸出保留判定部10。
聲音輸出保留判定部10根據(jù)來自轉(zhuǎn)向裝置狀態(tài)獲取部51、變速桿使用狀態(tài)獲取部52、制動器使用狀態(tài)獲取部53、轉(zhuǎn)向燈使用狀態(tài)獲取部54、照明狀態(tài)獲取部55、雨刷使用狀態(tài)獲取部56的信息，判斷是否為向左右拐彎時或車道變更時等需要特別注意駕駛的場景，由此判定是否需要保留聲音輸出，將其通知給聲音輸出控制部11。
[0093]在使駕駛座側(cè)的顯示部4為不顯示時，聲音輸出控制部11對利用聲音識別部2所識別出的發(fā)聲內(nèi)容進行聲音合成，并發(fā)送至聲音輸出部12。但是，當從聲音輸出保留判定部10通知保留聲音輸出時立即停止輸出。當解除保留時，從所保留的聲音數(shù)據(jù)的前頭開始重新發(fā)送。另外，當保留時間較長時，也可以破壞所保留的聲音數(shù)據(jù)。
此外，本實施方式10為輸出合成聲音的結(jié)構(gòu)，但也可以是代替合成聲音而輸出利用聲音識別部2進行過聲音區(qū)間檢測的部分的結(jié)構(gòu)。
聲音輸出部12利用揚聲器等而輸出從聲音輸出控制部11發(fā)送的聲音數(shù)據(jù)。
[0094]接下來，對本實施方式11的車載信息裝置的動作進行說明。圖25是表示實施方式11的車載信息裝置的動作的流程圖。
關(guān)于步驟31111?31117的處理，與實施方式10中的圖23的流程圖的步驟31101?3丁107相同，所以省略說明。而且，在本實施方式11中，在步驟31117中使駕駛座側(cè)的顯示部4成為不顯示狀態(tài)之后，利用聲音輸出保留判定部10進行是否需要保留聲音輸出的判斷(步驟31118)。當判斷為需要保留聲音輸出的情況(步驟31118的“是”的情況)下，在解除保留聲音輸出之前，保留提供給聲音輸出部12的聲音數(shù)據(jù)(步驟31119的“否”的情況^
[0095]當在步驟31118中判斷無需保留聲音輸出的情況(步驟31118的“否”的情況)或解除保留聲音輸出的情況(步驟31119的“是”的情況)下，將利用聲音識別部2所識別出的發(fā)聲內(nèi)容的聲音數(shù)據(jù)發(fā)送至聲音輸出部12，而輸出聲音數(shù)據(jù)(步驟31120^此外，當在聲音輸出中進行保留、解除保留時，從所保留的聲音數(shù)據(jù)的前頭開始重新輸出。
[0096]此處，在步驟31118中，對聲音輸出保留判定部10判斷是否需要保留聲音輸出的處理進行說明。例如當由轉(zhuǎn)向燈使用狀態(tài)獲取部54偵測出正在使用轉(zhuǎn)向燈，且由車輛運行狀態(tài)檢測部50檢測出車輛的運行狀態(tài)為向左右拐彎中或車道變更中時，聲音輸出保留判定部10根據(jù)車輛處于該向左右拐彎中或車道變更中，而判定為必須特別注意駕駛的場景，且判斷需要保留聲音輸出，對聲音輸出控制部11通知“需要保留聲音輸出”。另外，相反，當從轉(zhuǎn)向裝置狀態(tài)獲取部51、變速桿使用狀態(tài)獲取部52、制動器使用狀態(tài)獲取部53、轉(zhuǎn)向燈使用狀態(tài)獲取部54、照明狀態(tài)獲取部55、雨刷使用狀態(tài)獲取部56偵測出未使用任一者時，判斷為無需保留聲音輸出，對聲音輸出控制部11通知“無需保留聲音輸出”。
[0097]像這樣，在本實施方式11中，與實施方式10同樣地，在行駛中使駕駛座側(cè)的顯示部成為不顯示，作為提供給駕駛者的替代信息而利用聲音輸出呈現(xiàn)對話內(nèi)容，由此，駕駛者可以通過聲音來識別對話內(nèi)容。另外，檢測是否為向左右拐彎時或車道變更時等需要特別注意駕駛的場景，當以這種方式判斷為需要注意駕駛的場景時，連聲音輸出也不進行(進行保留)，由此，駕駛者可以更全神貫注于駕駛。
[0098]如上所述，根據(jù)本實施方式11，當在行駛中使駕駛座側(cè)的顯示部成為不顯示時，利用聲音輸出部輸出聲音識別結(jié)果，所以除了與實施方式10相同的效果以外，即使在行駛中，駕駛者也可以利用聲音來識別對話內(nèi)容。另外，在向左右拐彎時或車道變更時等需要特別注意的情況下，連聲音也不呈現(xiàn)不進行提示，由此，駕駛者可以更全神貫注于駕駛。
[0099]實施方式12.圖26是表示本發(fā)明的實施方式12的車載信息裝置的結(jié)構(gòu)的框圖。此外，對于與實施方式1?11中所說明的結(jié)構(gòu)相同的結(jié)構(gòu)，標注相同的標號并省略重復(fù)的說明。在以下所示的實施方式12中，與實施方式1中所說明的圖1所示的基本結(jié)構(gòu)相比的話，除了實施方式5?10中所說明的各種獲取部31?36、41?42、51?56、61?72中的任一者、及車輛狀態(tài)檢測部30、40、50以外，還具備關(guān)鍵字提取部13及對話歷史存儲部14，基于由車輛狀態(tài)檢測部30、40、50所檢測出的車輛狀態(tài)或由關(guān)鍵字提取部13所提取的規(guī)定關(guān)鍵字，而判斷是否需要輸出發(fā)聲內(nèi)容的全部或部分，并僅生成被判斷為需要輸出的發(fā)聲內(nèi)容的全部或部分的顯示數(shù)據(jù)，或判斷開始或停止顯示的定時改變顯示的定時。
[0100]關(guān)于關(guān)鍵字提取部13，如果在利用聲音識別部2所識別出的對話字符串中包含“??？什么？ ” “利用反射式幻燈機顯示對話” “不將對話顯示于反射式幻燈機” “這個反射式幻燈機礙事”等規(guī)定關(guān)鍵字，便提取這些關(guān)鍵字。
對話歷史存儲部14將利用聲音識別部2所識別出的發(fā)聲內(nèi)容全部存儲，當根據(jù)來自顯示控制部3的指示而視為需要之前的對話時，發(fā)送所存儲的對話內(nèi)容之前的對話。
[0101]顯示控制部3基于從各種獲取部31?36、41?42、51?56、61?72獲取的信息，將利用聲音識別部2所識別出的發(fā)聲內(nèi)容作為呈現(xiàn)內(nèi)容發(fā)送至顯示部4，但例如通過組合如下所述的判定來進行控制，如，切換對話內(nèi)容的顯示/不顯示，或即使在顯示的情況下也從所呈現(xiàn)的對話之前的對話開始進行顯示，或相反從對話剛結(jié)束后開始進行呈現(xiàn)這些控制。此外，當從之前的對話開始進行呈現(xiàn)時，從對話歷史存儲部14獲取之前的對話并顯示。另外，下述幻?10的判定終究只是一例，當然也可以根據(jù)從各種獲取部31?36、41?42、51?56、61?72獲取的信息來組合其他條件。
[0102]如果車速在某一閾值以上則進行呈現(xiàn)，如果小于某一閾值則不進行呈現(xiàn)。
幻如果車窗打開則進行呈現(xiàn)，如果關(guān)閉則不進行呈現(xiàn)。
0)如果在隧道內(nèi)行駛則進行呈現(xiàn)，如果在隧道外則不進行呈現(xiàn)。
(1)當被通知將在不久后進入隧道內(nèi)時，從這之后的對話開始進行呈現(xiàn)。
6)如果輸入聲音的比在某一閾值以下則進行呈現(xiàn)，如果大于某一閾值則不進行呈現(xiàn)。
如果在聲音識別結(jié)果中包含“??？什么？ ”等意味著未聽清對話的關(guān)鍵字，那么從這之前的對話開始進行呈現(xiàn)。
邑)如果在聲音識別結(jié)果中包含“利用反射式幻燈機顯示對話”等指示顯示的關(guān)鍵字，那么從這之后的對話開始進行呈現(xiàn)。
10如果在聲音識別結(jié)果中包含“不將對話顯示于反射式幻燈機” “這個反射式幻燈機礙事”等指示不進行顯示的關(guān)鍵字，那么不呈現(xiàn)對話。
[0103]接下來，對本實施方式12的車載信息裝置的動作進行說明。圖27是表示實施方式12的車載信息裝置的動作的流程圖。
首先，當有某些發(fā)聲輸入時，聲音獲取部1獲取所輸入的聲音，并進行八/0轉(zhuǎn)換，從而獲取作為例如1^1形式的聲音數(shù)據(jù)(步驟31121)。其次，聲音識別部2識別由聲音獲取部1所獲取的聲音數(shù)據(jù)(步驟31122)。然后，將所識別出的對話的字符串作為對話歷史保存在對話歷史存儲部14，以便顯示控制部3在之后可以參照利用聲音識別部2所識別出的發(fā)聲內(nèi)容(步驟31123^
[0104]然后，利用顯示控制部3，組合所述判定幻?10而判斷是否需要顯示對話內(nèi)容(步驟31124)。在判斷為需要呈現(xiàn)對話的情況(步驟31124的“是”的情況)，且被通知進行呈現(xiàn)的定時為該識別剛結(jié)束之后的情況(步驟31125的“是”的情況)下，返回至步驟8X121進行處理。
此外，在判斷為無需呈現(xiàn)對話的情況(步驟31124的“否”的情況)下，也返回至步驟3丁121。
[0105]另一方面，當判斷為需要呈現(xiàn)對話，且被通知進行呈現(xiàn)的定時為該識別即將開始之前的情況(步驟31126的“是”的情況)下，顯示控制部3從存儲在對話歷史存儲部14的對話歷史中獲取之前的對話內(nèi)容，生成顯示數(shù)據(jù)并發(fā)送至顯示部4(步驟31127)，接著，將根據(jù)利用聲音識別部2所識別出的發(fā)聲(當前的發(fā)聲內(nèi)容)的字符串所生成的顯示數(shù)據(jù)發(fā)送至顯示部4進行顯示(步驟31128)。
另外，在進行呈現(xiàn)的定時既非該識別即將開始之前也非該識別剛結(jié)束之后的情況(步驟31126的“否”的情況)下，將根據(jù)利用聲音識別部所識別出的對話的字符串所生成的顯示數(shù)據(jù)發(fā)送至顯示部4進行顯示(步驟31128)。
[0106]像這樣，本實施方式12與實施方式1同樣地，始終聽取車內(nèi)的對話并進行聲音識另I」，且呈現(xiàn)對話，但基于由車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由關(guān)鍵字提取部所提取的規(guī)定關(guān)鍵字，而判斷是否需要輸出發(fā)聲內(nèi)容的全部或部分，并僅生成被判斷為需要輸出的發(fā)聲內(nèi)容的全部或部分的顯示數(shù)據(jù)，由此，僅在需要時呈現(xiàn)對話，所以在不需要顯示對話的情況下可以顯示其他內(nèi)容。另外，對于呈現(xiàn)對話的定時，也進行如下控制:基于由車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由關(guān)鍵字提取部所提取的規(guī)定關(guān)鍵字，而判斷例如從剛進入隧道內(nèi)之后、從意味著未聽取到對話的關(guān)鍵字之肖I1、從指不顯不的關(guān)鍵字之后等開始或停止顯示的定時，且在必要的定時呈現(xiàn)對話，或者只要包含指示不顯示的關(guān)鍵字則之后便不進行顯示等。
[0107]此外，可以是:當在關(guān)鍵字提取部13所提取的關(guān)鍵字中包含規(guī)定的語句時，生成將該規(guī)定的語句轉(zhuǎn)換為規(guī)定的不同的語句或規(guī)定的圖像而得的顯示數(shù)據(jù)(或?qū)⒁?guī)定的語句轉(zhuǎn)換為規(guī)定的不同的語句或規(guī)定的聲音而得的聲音數(shù)據(jù))，或當包含規(guī)定的縮略詞、替換詞或方言時，生成將該規(guī)定的縮略詞、替換詞或方言轉(zhuǎn)換為規(guī)定的標準語句而得的顯示數(shù)據(jù)(或聲音數(shù)據(jù)具體來說，例如將品牌名替換為該品牌的記號，或?qū)ⅰ疤昧恕钡雀星樵~匯替換為圖畫字符或記號，或?qū)τ凇白ＹR”等關(guān)鍵字輸出鼓掌等效果音。 由此，難懂的語句等也被明確地呈現(xiàn)，所以可以明確地確認對話內(nèi)容。
[0108]如上所述，根據(jù)本實施方式12，始終聽取車內(nèi)的對話并進行聲音識別，基于由車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由關(guān)鍵字提取部所提取出的規(guī)定的關(guān)鍵字，僅在必要時且在必要的定時呈現(xiàn)對話，所以可根據(jù)需要確認對話內(nèi)容，且可以在不需要時顯示其他內(nèi)容。
[0109]本發(fā)明的車載信息裝置可以應(yīng)用于能夠進行搭乘者與裝置的聲音對話的車載用導(dǎo)航裝置、車載音響裝置、車載影像裝置等。
[0110]此外，本案發(fā)明可以在其發(fā)明的范圍內(nèi)，自由組合各實施方式，或使各實施方式的任意的構(gòu)成要素變形，或?qū)Ω鲗嵤┓绞绞÷匀我獾臉?gòu)成要素進行省略。
[工業(yè)上的可利用性]
[0111]本發(fā)明的車載信息裝置可以應(yīng)用于能夠進行搭乘者與裝置的聲音對話的車載用導(dǎo)航裝置、車載音響裝置、車載影像裝置等。
[標號說明]
[0112]1聲音獲取部 2聲音識別部
3顯示控制部(輸出控制部)
4顯示部(輸出部)
5信號處理部
6發(fā)聲有無檢測部
7發(fā)聲數(shù)據(jù)提取部
8發(fā)聲數(shù)據(jù)順序整理部
9聲音識別等待發(fā)聲數(shù)據(jù)存儲部
10聲音輸出保留判定部
11聲音輸出控制部(輸出控制部)
12聲音輸出部(輸出部)
13關(guān)鍵字提取部 14對話歷史存儲部
30車廂內(nèi)環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)
31聲音的3/?獲取部 32音頻設(shè)備動作狀態(tài)獲取部 33空調(diào)設(shè)備動作狀態(tài)獲取部 34車廂內(nèi)的噪音狀態(tài)獲取部 35車窗或車頂?shù)拈_閉狀態(tài)獲取部 36聲音特征信息獲取部
40車輛周邊環(huán)境狀態(tài)檢測部(車輛狀態(tài)檢測部)
41時刻獲取部 42天氣狀態(tài)獲取部
50車輛運行狀態(tài)檢測部(車輛狀態(tài)檢測部)
51轉(zhuǎn)向裝置狀態(tài)獲取部52變速桿使用狀態(tài)獲取部53制動器使用狀態(tài)獲取部54轉(zhuǎn)向燈使用狀態(tài)獲取部55照明狀態(tài)獲取部56雨刷使用狀態(tài)獲取部61本車位置獲取部62車速信號獲取部63加速度獲取部64方位獲取部65行駛持續(xù)距離獲取部66行駛持續(xù)時間獲取部67行駛道路類別獲取部68行駛道路路面狀態(tài)獲取部69行駛道路擁堵狀況獲取部70行駛路徑設(shè)定狀態(tài)獲取部71行駛路徑引導(dǎo)狀態(tài)獲取部72地圖數(shù)據(jù)存儲部
【權(quán)利要求】
1.一種車載信息裝置，搭載于車輛，且提供支援搭乘者的信息，所述車載信息裝置的特征在于包括: 聲音獲取部，當所述車載信息裝置啟動時始終偵測并獲取所述搭乘者所發(fā)出的聲音； 聲音識別部，對利用所述聲音獲取部所獲取的所述聲音的發(fā)聲內(nèi)容進行識別； 車輛狀態(tài)檢測部，檢測車輛狀態(tài)，所述車輛狀態(tài)包含所述車輛的車廂內(nèi)的環(huán)境狀態(tài)、所述車輛周邊的環(huán)境狀態(tài)或所述車輛的運行狀態(tài)； 輸出控制部，根據(jù)由所述車輛狀態(tài)檢測部所檢測出的所述車輛狀態(tài)，將由所述聲音識別部所識別出的所述發(fā)聲內(nèi)容作為顯示數(shù)據(jù)或聲音數(shù)據(jù)來生成并進行輸出控制；以及 輸出部，輸出由所述輸出控制部生成的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 還包括關(guān)鍵字提取部，所述關(guān)鍵字提取部從所述聲音識別部所識別出的發(fā)聲內(nèi)容中提取出規(guī)定的關(guān)鍵字， 所述輸出控制部根據(jù)由所述車輛狀態(tài)檢測部所檢測出的所述車輛狀態(tài)及由所述關(guān)鍵字提取部所提取的關(guān)鍵字，而生成所述發(fā)聲內(nèi)容的顯示數(shù)據(jù)或聲音數(shù)據(jù)并對它們進行輸出控制。
3.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 還包括對話歷史存儲部，所述對話歷史存儲部存儲所述聲音識別部所識別出的發(fā)聲內(nèi)容， 所述輸出控制部利用存儲于所述對話歷史存儲部的發(fā)聲內(nèi)容而生成顯示數(shù)據(jù)或聲音數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部檢測搭乘者、聲音獲取部及輸出部中的任一者的配置狀態(tài)作為車廂內(nèi)的環(huán)境狀態(tài)。
5.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部檢測聲音獲取部所獲取的聲音的S/N比、車廂內(nèi)的音頻設(shè)備或空調(diào)設(shè)備的動作狀態(tài)、車廂內(nèi)的噪音狀態(tài)、及車窗或車頂?shù)拈_閉狀態(tài)中的任一者作為車廂內(nèi)的環(huán)境狀態(tài)。
6.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部通過基于聲音獲取部所獲取的聲音的聲音特征信息的推斷，而檢測發(fā)出所述聲音的搭乘者的感情狀態(tài)作為車廂內(nèi)的環(huán)境狀態(tài)，所述聲音特征信息包含聲音的種類、音量、音程、音質(zhì)、音色、聲調(diào)、節(jié)奏及頻率特性中的任一者。
7.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部檢測車輛周邊當前的年月日、時刻、星期、天氣狀態(tài)中的任一者作為車輛周邊的環(huán)境狀態(tài)。
8.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部檢測轉(zhuǎn)向裝置、變速桿、制動器、轉(zhuǎn)向燈、照明、雨刷中的任一者的操作狀態(tài)作為車輛的運行狀態(tài)。
9.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車輛狀態(tài)檢測部檢測車輛當前的位置、速度、加速度、方位、行駛持續(xù)距離、行駛持續(xù)時間、行駛道路類別、行駛道路路面狀態(tài)、行駛道路擁堵狀況、行駛路徑設(shè)定狀態(tài)、行駛路徑引導(dǎo)狀態(tài)中的任一者作為車輛的運行狀態(tài)。
10.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 所述輸出控制部根據(jù)由所述車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由所述關(guān)鍵字提取部所提取的關(guān)鍵字，而生成不同模式的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的車載信息裝置，其特征在于， 作為所述不同模式的顯示數(shù)據(jù)或聲音數(shù)據(jù)，為顯示字符或顯示圖像的種類、形狀、大小、顏色、濃度、亮度、畫面內(nèi)的布局中的任一者不同的顯示數(shù)據(jù)、或聲音的種類、音量、音程、音質(zhì)、音色、聲調(diào)、節(jié)奏、音像、回響、信道數(shù)、頻率特性中的任一者不同的聲音數(shù)據(jù)。
12.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 所述輸出控制部根據(jù)由所述車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由所述關(guān)鍵字提取部所提取的關(guān)鍵字，而判斷是否有必要輸出所述發(fā)聲內(nèi)容的全部或部分，從而生成或不生成所述發(fā)聲內(nèi)容的全部或部分的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
13.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 所述輸出控制部判斷所述關(guān)鍵字中是否包含規(guī)定的語句，當判斷為包含所述規(guī)定的語句時，生成將所述規(guī)定的語句轉(zhuǎn)換為規(guī)定的不同的語句、規(guī)定的圖像或規(guī)定的聲音而得的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
14.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 所述輸出控制部判斷在所述關(guān)鍵字中是否包含規(guī)定的縮略詞、替換詞或方言，當判斷為包含所述規(guī)定的縮略詞、替換詞或方言時，生成將所述規(guī)定的縮略詞、替換詞或方言轉(zhuǎn)換為規(guī)定的標準語句而得的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
15.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 所述輸出控制部以如下方式進行控制:根據(jù)由所述車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由所述關(guān)鍵字提取部所提取的關(guān)鍵字，而判斷開始或停止輸出顯示數(shù)據(jù)或聲音數(shù)據(jù)的定時，在該判斷出的定時，開始或停止從所述輸出部輸出所述顯示數(shù)據(jù)或聲音數(shù)據(jù)。
16.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 在有多個所述搭乘者的情況下，所述輸出控制部生成可識別發(fā)聲的多個所述搭乘者的模式的顯示數(shù)據(jù)或聲音數(shù)據(jù)。
17.根據(jù)權(quán)利要求2所述的車載信息裝置，其特征在于， 在有多個所述輸出部的情況下，所述輸出控制部根據(jù)由所述車輛狀態(tài)檢測部所檢測出的車輛狀態(tài)或由所述關(guān)鍵字提取部所提取的關(guān)鍵字，而對輸出顯示數(shù)據(jù)或聲音數(shù)據(jù)的輸出部或不輸出顯示數(shù)據(jù)或聲音數(shù)據(jù)的輸出部進行選擇、變更或切換。
18.根據(jù)權(quán)利要求1所述的車載信息裝置，其特征在于， 所述車載信息裝置為車載導(dǎo)航裝置、車載音響裝置、車載影像裝置中的任一者。
【文檔編號】G01C21/36GK104412323SQ201280074229
【公開日】2015年3月11日 申請日期:2012年6月25日 優(yōu)先權(quán)日:2012年6月25日
【發(fā)明者】加藤真, 竹里尚嘉 申請人:三菱電機株式會社