本發(fā)明屬于圖像和語音處理
技術(shù)領(lǐng)域：
，主要涉及多傳感器信息采集和處理，具體是一種多傳感器智能盲人指路方法與裝置，用于幫助盲人或視力不好的人更好的出行。
背景技術(shù)：
：在盲人的眼中，整個世界雖近在咫尺，但卻遙不可及，因為他們無法看到其周圍形形色色的物體。他們只能依靠盲杖，盲文和其他輔助電子設(shè)備來“感知”這個世界。中國是全世界盲人最多的國家之一，目前我國眼部殘疾人士多達(dá)600萬，占世界眼疾人數(shù)的18％。眼部疾病在中國也是一個主要的公共衛(wèi)生問題。由于生理上的缺陷，盲人在生活、工作等方面有著諸多不便。在當(dāng)今智能設(shè)備快速發(fā)展下，如何設(shè)計出盲人指路的智能設(shè)備對盲人和社會具有十分重要的意義。目前比較多的盲人指路設(shè)備主要是基于超聲波測距實現(xiàn)的。超聲波測距主要是模仿蝙蝠的超聲波避障的原理，相對來說在測距和避障方面有著很不錯的效果。但是基于超聲波的指路系統(tǒng)，僅能告知盲人前方障礙物的距離等信息，具有很大的局限性。現(xiàn)在也有很多應(yīng)用了攝像頭成像得的方法，來采集道路障礙物信息，通過圖像的處理等措施，來分析障礙物的尺寸和形狀等信息，然后通過觸覺和音頻反饋系統(tǒng)傳輸給用戶。雖然這比單純的超聲波測距的方法要好的多，但是它只是提取了圖像的一些輪廓和形狀特征，并不能告知使用者前方具體的障礙物是什么、此障礙物有沒有危險、危險程度是多少，因此這種方法也是有不少的局限性。總的來說，現(xiàn)有的許多盲人指路的系統(tǒng)并不能給盲人一個很直觀的認(rèn)識，而且很多系統(tǒng)功能都比較單一，比如在超聲波避障系統(tǒng)中，利用超聲波遇到物體返回的原理，雖然能告知盲人前方有障礙物，但是并不能告知盲人前方障礙物的內(nèi)容信息，無法給盲人一個直觀的認(rèn)識。在現(xiàn)有的一些用到的攝像頭成像的方法，也只是用到了一些輪廓提取的方法，只是告訴盲人前方障礙物的形狀大小等信息，雖然盲人能夠知道障礙物的大體的信息，但是并不能告訴盲人障礙物的具體內(nèi)容信息和距離信息，不能判斷出前方到底是什么物體，也不能告知道路的坑洼狀況。而且到了晚上或者光線不好的時候，并不能很好的工作。除了上面提到的問題之外，現(xiàn)在的很多技術(shù)，雖然能起到避障的作用，但是并不能告知前方障礙物的一個危險程度，比如前方有一個危險物體，現(xiàn)存的盲人指路系統(tǒng)并不能識別出前方障礙物是很危險的物體，危險程度是多少，語音提示也沒有輕重緩急之分，語音輸出在嘈雜的環(huán)境下，盲人并不一定能聽清楚，這很影響盲人的判斷。而且大部分的指路系統(tǒng)實現(xiàn)方式太過單一，并沒有做到距離，物體信息等的整合，對時間和空間的適用性不是很好，實現(xiàn)效果也不太理想。技術(shù)實現(xiàn)要素：本發(fā)明的目的就是提供一種能全天候探測，用語音和振動告知障礙物的內(nèi)容、距離遠(yuǎn)近、危險程度以及道路的坑洼狀況的多傳感器智能盲人指路方法與裝置。本發(fā)明是一種多傳感器智能盲人指路方法，其特征在于，包括有如下步驟：1)、建立障礙物圖像特征庫，采集道路場景中常見物體和道路常見坑洼狀況圖像，按照針對盲人的危險程度對采集的物體圖像和道路圖像進行分類，利用雙峰平均值的閾值算法對所有圖像進行二值化處理，將采集圖像轉(zhuǎn)化成灰度圖像，然后再對灰度圖像用surf算法提取特征向量，將提取的特征向量按照對應(yīng)圖像的危險程度保存到障礙物圖像特征庫中，并把所有的特征向量以及所一一對應(yīng)的語義文本信息也保存到障礙物圖像特征庫中；本發(fā)明中圖像和語義文本信息是一一對應(yīng)的。2)、路況信息實時采集，通過超聲波傳感器和成像傳感器分別進行路況信息的采集，采用超聲波傳感器采集前方場景物體的距離信息，采用成像傳感器采集道路場景圖像信息；本發(fā)明更加注重道路的坑洼狀況和前方障礙物情況，以便盡早給盲人更加準(zhǔn)確的提示。3)對采集到的信息預(yù)處理，超聲波遇到前方障礙物返回，超聲波接收器接收超聲波，超聲波傳感器中的接收器接收到前方障礙物反射回來的超聲波，經(jīng)過放大，整形處理，發(fā)送到超聲波測距中的控制器進行前方障礙物距離計算，將前方障礙物的距離結(jié)果即距離信息發(fā)送到語音合成中，等待參與語音合成；成像傳感器采集道路前方的障礙物和道路圖像，然后對采集圖像數(shù)據(jù)進行預(yù)處理，利用雙峰平均值的閾值算法對采集圖像進行二值化處理將采集圖像轉(zhuǎn)化成灰度圖像，對灰度圖像再進行分割操作，分割操作主要是把圖像分成幾個不同的區(qū)域或目標(biāo)物，形成預(yù)處理圖像；4)圖像中障礙物識別，對預(yù)處理圖像做surf圖像特征提取，將每個特征點的特征描述向量提取出來，用當(dāng)前提取的障礙物圖像的特征向量和障礙物特征庫中的圖像特征向量作匹配，匹配成功后提取圖像中障礙物和路況的語義文本信息，發(fā)送到語音合成中，等待參與語音合成；5)障礙物提示語音合成，通過語音合成，把從圖像識別傳遞過來的圖像語義文本信息和超聲測距傳遞過來的距離信息進行分析處理，其過程包括：5.1語義文本分析，語義文本分析對實時獲取的距離信息和圖像語義文本信息進行分析整理，分析整理包括語言邏輯判斷后形成符合語言邏輯的障礙物和路況提示語義文本和前方障礙物和路況的危險程度信息；5.2語音片段提取，根據(jù)障礙物和路況提示語義文本，從語音庫中提取與語義文本對應(yīng)的語音片段，估計該語音片段的語音周期，然后再對該語音片段信號的基音脈沖上進行標(biāo)注；5.3語音片段的時長和基音頻率修改，按照語音片段信號的標(biāo)注位置，將該片段語音信號與一系列與基音同步的窗函數(shù)相乘，得到一系列有重疊的分析短時語音信號，按照韻律要求修改，得到滿足人類聽覺習(xí)慣的語音基元；5.4語音拼接合成，將上述語音基元進行拼接，合成為滿足韻律要求的語音信號；5.5模式設(shè)定和信號輸出，輸出信號包括語音輸出和振動輸出，輸出之前要對輸出模式進行設(shè)定，語音輸出設(shè)定：用戶根據(jù)自己習(xí)慣設(shè)定語音信號輸出時間間隔，振動輸出設(shè)定：使用者根據(jù)前方障礙物和路況的危險程度信息，來控制振動的輸出模式，按照危險程度輸出對應(yīng)的振動模式，語音通過揚聲器輸出，振動通過振動器輸出。本發(fā)明還是一種多傳感器智能盲人指路裝置，包括有超聲波傳感器、超聲波測距模塊、距離信息輸出模塊，超聲波傳感器向前方場景發(fā)出超聲波，并將前方場景物體返回的超聲波信息發(fā)送到超聲波測距模塊，超聲波測距模塊計算出物體的距離信息，將距離信息送到語音模塊，語音模塊將距離信息轉(zhuǎn)換成語音輸出，其特征在于，還包括有成像傳感器、圖像預(yù)處理模塊、障礙物圖像特征庫、圖像內(nèi)容識別模塊，所述語音模塊為語音合成模塊，語音合成模塊連接有語音庫，成像傳感器進行前方道路場景的圖像采集，把采集到的圖像送到圖像預(yù)處理模塊，圖像預(yù)處理模塊將預(yù)處理后的圖像傳輸?shù)綀D像內(nèi)容識別模塊，在圖像內(nèi)容識別模塊中預(yù)處理后圖像的特征向量與障礙物特征庫中的特征向量進行障礙物的特征匹配和圖像識別，然后將識別出的圖像語義文本信息送到語音合成模塊中，進行語音合成，語音合成模塊對距離輸出模塊傳輸來的距離信息和圖像內(nèi)容識別模塊傳輸來的圖像語義文本信息進行分析整理后輸出，輸出信號包括語音輸出和振動輸出；來告知盲人障礙物和道路信息。針對目前盲人指路系統(tǒng)所存在的問題，本發(fā)明提出了多傳感器智能盲人指路系統(tǒng)。以圖像識別和語音合成為基礎(chǔ)，結(jié)合了超聲波測距，主要涉及到圖像識別，語音合成和超聲波測距的相關(guān)知識，有機結(jié)合了這幾方面技術(shù)的優(yōu)點。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點：本發(fā)明應(yīng)用了圖像識別技術(shù)，識別出障礙物的內(nèi)容和名稱，并且對道路的坑洼狀況以及道路上的臺階等進行識別提醒，現(xiàn)在的攝像頭成像的方法，采集道路障礙物信息，通過圖像的處理等措施，只能分析障礙物的尺寸和形狀等信息，不能識別出物體的具體信息和名稱，也不能夜間工作，本發(fā)明利用紅外和自然光雙攝像頭成像，不論白天還是夜間都能很好的工作，因此，在這方面本發(fā)明更具有優(yōu)勢，在應(yīng)用上更具人性化，更能方便用戶。本發(fā)明應(yīng)用了超聲波測距技術(shù)和圖像識別的結(jié)合，不僅可以測量出自身到障礙物的距離，還能告知障礙物的名稱。利用超聲測距的方法，超聲波測距比較成熟，誤差更小，而且計算量很小，所以本發(fā)明在盲人指路系統(tǒng)這種需要實時信息處理的系統(tǒng)中更具有優(yōu)勢。本發(fā)明基于圖像識別，對采集的障礙物圖像進行分析，判斷出障礙物和路況的具體信息，包括障礙物的名稱、道路的坑洼狀況以及是否有臺階等通過語音告知用戶外，還可以判斷出障礙物對于用戶的危險程度，并能通過振動傳遞給用戶。振動輸出，可以防止由于環(huán)境過于嘈雜而聽不清語音的情況，有效的幫助用戶判斷障礙物的危險程度，危險程度越高，振動頻率越快。而且用戶還可以選擇不同的振動模式。本發(fā)明提出了多傳感器智能盲人指路裝置和方法，把圖像識別技術(shù)、語音合成技術(shù)和超聲波測距技術(shù)有效的結(jié)合在一起，發(fā)揮了三種技術(shù)的優(yōu)勢，比單純的用超聲波的方法和攝像頭采集圖像的方法，效果更好。附圖說明圖1為本發(fā)明的總體框圖；圖2為本發(fā)明中圖像預(yù)處理和圖像識別模塊的流程圖；圖3為本發(fā)明中圖像識別中特征提取流程圖；圖4為本發(fā)明中超聲波測距流程圖；圖5為本發(fā)明中語音合成流程圖；圖6為本發(fā)明中振動輸出流程圖。具體實施方式下面結(jié)合附圖對本發(fā)明的作詳細(xì)描述。目前比較多的盲人指路設(shè)備主要是基于超聲波測距實現(xiàn)的，僅能告知盲人前方障礙物的距離等簡單信息，具有很大的局限性；現(xiàn)存的盲人指路系統(tǒng)并不能識別出前方障礙物是很危險的物體，危險程度是多少，語音提示也沒有輕重緩急之分，語音強度不可調(diào)，到了晚上或者光線不好的時候，不能很好工作。實施例1本發(fā)明提出一種多傳感器智能盲人指路方法，參見圖1，包括有如下步驟：1)、建立障礙物圖像特征庫，采集人們?nèi)粘Ｉ钪械缆穲鼍爸谐Ｒ娢矬w和道路常見坑洼狀況圖像，按照針對盲人的危險程度對采集的物體圖像和道路圖像進行分類，利用雙峰平均值的閾值算法對所有圖像進行二值化處理，將采集圖像轉(zhuǎn)化成灰度圖像，然后再對灰度圖像用surf算法提取特征向量，將提取的特征向量按照對應(yīng)圖像的危險程度保存到障礙物圖像特征庫中，并把所有的特征向量以及所一一對應(yīng)的語義信息也保存到障礙物圖像特征庫中；本發(fā)明中圖像和語義信息是一一對應(yīng)的。2)、路況信息實時采集，通過超聲波傳感器和成像傳感器分別進行路況信息的采集，采用超聲波傳感器采集前方場景物體的距離信息，采用成像傳感器采集道路場景圖像信息；本發(fā)明更加注重道路的坑洼狀況和前方障礙物情況，以便盡早給盲人更加準(zhǔn)確的提示。3)對采集到的信息預(yù)處理，超聲波遇到前方障礙物返回，超聲波接收器接收超聲波，超聲波傳感器中的接收器接收到前方障礙物反射回來的超聲波，經(jīng)過放大，整形處理，發(fā)送到超聲波測距中的控制器進行前方障礙物距離計算，將前方障礙物的距離結(jié)果即距離信息通過距離輸出發(fā)送到語音合成中，等待參與語音合成；成像傳感器采集道路前方的障礙物和道路圖像，然后對采集圖像數(shù)據(jù)進行預(yù)處理，利用雙峰平均值的閾值算法對采集圖像進行二值化處理將采集圖像轉(zhuǎn)化成灰度圖像，對灰度圖像再進行分割操作，分割操作主要是把圖像分成幾個不同的區(qū)域或目標(biāo)物，形成預(yù)處理圖像。4)圖像中障礙物識別，對預(yù)處理圖像做surf圖像特征提取，將每個特征點的特征描述向量提取出來，用當(dāng)前提取的障礙物圖像的特征向量和障礙物特征庫中的圖像特征向量作匹配，匹配成功后提取圖像中障礙物和路況的語義文本信息，發(fā)送到語音合成中，等待參與語音合成。5)障礙物提示語音合成，通過語音合成，把從圖像識別傳遞過來的圖像語義文本信息和超聲測距傳遞過來的距離信息進行分析處理，其過程包括：5.1語義文本分析，語義文本分析對實時獲取的距離信息和圖像語義文本信息進行分析整理，分析整理包括語言邏輯判斷后形成符合語言邏輯的障礙物和路況提示語義文本和前方障礙物和路況的危險程度信息；5.2語音片段提取，根據(jù)障礙物和路況提示語義文本，從語音庫中提取與語義文本對應(yīng)的語音片段，估計該語音片段的語音周期，然后再對該語音片段信號的基音脈沖上進行標(biāo)注；5.3語音片段的時長和基音頻率修改，按照語音片段信號的標(biāo)注位置，將該片段語音信號與一系列與基音同步的窗函數(shù)相乘，得到一系列有重疊的分析短時語音信號，按照韻律要求修改，得到滿足人類聽覺習(xí)慣的語音基元；5.4語音拼接合成，將上述語音基元進行拼接，合成為滿足韻律要求的語音信號；5.5模式設(shè)定和信號輸出，輸出信號包括語音輸出和振動輸出，輸出之前要對輸出模式進行設(shè)定，語音輸出設(shè)定：用戶根據(jù)自己習(xí)慣設(shè)定語音信號輸出時間間隔；振動輸出設(shè)定：本發(fā)明能夠依據(jù)前方障礙物和路況的危險程度信息，來控制振動的輸出模式，按照危險程度輸出對應(yīng)的振動模式；語音通過揚聲器輸出，振動通過振動器輸出，提醒盲人注意安全。實施例2多傳感器智能盲人指路方法同實施例1，本發(fā)明中危險程度分為低中高三個檔次，根據(jù)不同的危險程度來控制振動器的振動頻率和幅度，障礙物危險程度越高，振動幅度越大，頻率越快?，F(xiàn)有的盲人指路系統(tǒng)處在嘈雜的環(huán)境下，輸出語音盲人并不一定能聽清楚，這很影響盲人的判斷。針對這個狀況，本發(fā)明提出了振動和語音提示相結(jié)合的思想，在盲人在聽不清楚語音提示的情況下，通過振動對盲人進行危險程度提示。實施例3多傳感器智能盲人指路方法同實施例1-2，現(xiàn)有的盲人指路系統(tǒng)到了晚上或者光線不好的時候，并不能很好的工作，大部分的指路系統(tǒng)實現(xiàn)方式太過單一，并沒有做到距離、物體信息等的結(jié)合，對時間和空間的適用性不是很好，實現(xiàn)效果也不太理想。本發(fā)明的成像傳感器采用紅外成像和自然光成像雙攝像頭進行圖像采集，白天可以用自然光成像，夜間或者光線不充足的情況下利用紅外成像實現(xiàn)圖像采集，成像傳感器通過光感傳感器來判斷光線強弱，當(dāng)光線充足的時候，成像傳感器用自然光成像攝像頭進行圖像采集，當(dāng)光線不足時，用紅外攝像頭進行圖像采集，本發(fā)明很好的解決了時間和空間適應(yīng)性不好的問題，可以全天候工作，更加方便盲人夜間出行。實施例4本發(fā)明還是一種多傳感器智能盲人指路裝置，包括有超聲波傳感器、超聲波測距模塊、距離信息輸出模塊，超聲波傳感器向前方場景發(fā)出超聲波，并將前方場景物體返回的超聲波信息發(fā)送到超聲波測距模塊，超聲波測距模塊計算出物體的距離信息，然后超聲波測距模塊將距離信息送到語音模塊，語音模塊將距離信息轉(zhuǎn)換成語音輸出，通過這些模塊來采集障礙物的距離信息，然后通過語音合成系統(tǒng)對輸入的障礙物距離信息進行語音合成。參見圖1，本發(fā)明還包括有成像傳感器、圖像預(yù)處理模塊、障礙物圖像特征庫、圖像內(nèi)容識別模塊，所述語音模塊為語音合成模塊，語音合成模塊連接有語音庫，成像傳感器進行前方道路場景的圖像采集，把采集到的圖像送到圖像預(yù)處理模塊，圖像預(yù)處理模塊將預(yù)處理后的圖像傳輸?shù)綀D像內(nèi)容識別模塊，在圖像內(nèi)容識別模塊中預(yù)處理后圖像的特征向量與障礙物特征庫中的特征向量進行障礙物的特征匹配和圖像識別，然后將識別出的語義文本信息送到語音合成模塊中，進行語音合成，語音合成模塊對距離輸出模塊傳輸來的距離信息和圖像內(nèi)容識別模塊傳輸來的圖像語義文本信息進行分析整理后輸出，輸出信號包括語音輸出和振動輸出；來告知盲人障礙物和道路信息。實施例5多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置，同實施例1-4，本發(fā)明的語音合成模塊，參見圖5，包括有語義文本分析單元、語音片段提取單元、時長和基音頻率修改單元、拼接合成單元、模式設(shè)定單元、輸出單元，輸出單元又分為語音輸出和振動輸出，語義文本分析單元對實時獲取的距離信息和圖像語義文本進行分析整理，分析整理包括：語言邏輯判斷后形成障礙物和路況提示語義文本、前方障礙物和路況的危險程度的判斷，將組成的提示語義文本輸送到語音片段提取單元，語音片段提取單元同時還連接語音庫，語音片段提取單元根據(jù)文本分析單元送來的分析后的語義文本，從語音庫中提取與語義文本對應(yīng)的語音片斷，把提取的語音片斷送到時長和基音頻率修改單元，進行時長和基音頻率的修改，然后傳送到拼接合成單元進行語音拼接合成，模式設(shè)定單元對拼接合成后的語音進行模式設(shè)定，然后對障礙物和路況提示語義文本進行語音輸出。本發(fā)明在語音合成模塊中，其中的語義文本分析單元對實時獲取的距離信息和圖像語義文本進行分析整理，形成符合邏輯的語義文本，比如：前方5米有一輛汽車、前方有水坑，請注意安全等語義文本信息，然后將這些信息通過語音輸出，盲人就可以通過語音知道前方物體的具體距離信息、內(nèi)容信息和路況信息。本發(fā)明中模式設(shè)定可以由用戶設(shè)定語音輸出的時間間隔、輸出速度和聲音大小，有更好的用戶體驗。實施例6多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-5，對距離信息和語義文本信息分析和整理，分析得出的前方障礙物和路況的危險程度，然后直接送到模式設(shè)定單元，模式設(shè)定單元根據(jù)障礙物和路況的危險程度進行不同的振動模式設(shè)定，然后通過輸出模塊對不同的振動模式進行振動輸出。因為盲人并不能發(fā)現(xiàn)當(dāng)前環(huán)境中的危險物體，雖然語音可以給盲人一定的提示，但是在比較嘈雜的環(huán)境中，盲人不一定能聽到語音提示，因此，本發(fā)明在輸出中增加了振動模塊，振動模塊根據(jù)危險程度低中高三個檔次輸出對應(yīng)的振動頻率和幅度，障礙物危險程度越高，振動幅度越大，頻率越快。及時告知盲人當(dāng)前物體的危險程度，讓盲人能夠更加安全的出行。實施例7多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-6，在超聲波測距模塊中加有溫度傳感器，具體連接到超聲波傳感器的面向外側(cè)環(huán)境的一側(cè)，溫度傳感器測量當(dāng)前環(huán)境溫度，傳送到超聲波測距模塊進行測量數(shù)據(jù)的溫度補償，計算出更加準(zhǔn)確的距離信息。下面從整體以及細(xì)節(jié)的角度再對本發(fā)明進一步說明實施例8多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-7本發(fā)明本著圖像識別、語音合成和超聲波測距相結(jié)合的思路，設(shè)計出一種多傳感器智能盲人指路方法和裝置，也可以稱為多傳感器智能盲人指路系統(tǒng)。本發(fā)明能過對障礙物進行識別和距離判斷并做出語音輸出和振動輸出，參見圖1，步驟包括有：(1)圖像采集模塊是之后的圖像預(yù)處理和圖像識別模塊的基礎(chǔ)。要求對場景進行圖像采集，本發(fā)明使用紅外攝像頭和自然光攝像頭兩個攝像頭進行圖像采集，自然光攝像頭白天正常工作，紅外攝像頭夜間發(fā)射紅外線實現(xiàn)圖片拍攝，攝像頭采集到的圖像進行單幀的提取和保存。圖像采集經(jīng)過采樣、量化以后轉(zhuǎn)換為數(shù)字圖像以便進行下一步的處理。場景圖像采集后，將采集到的圖像傳入圖像識別系統(tǒng)進行障礙物和道路的識別。(2)圖像識別主要是對采集到的圖像進行處理和識別，參見圖2，首先需要對圖像進行預(yù)處理，對提取的圖像做特征提取前的處理，其主要目的是消除圖像中的無關(guān)信息。然后就是對圖像特征點提取，對已經(jīng)做過預(yù)處理的圖像做SURF圖像特征點提取，將每個特征點的描述向量都提取出來。圖像特征匹配的過程中，從障礙物特征庫中讀取圖像特征向量，和當(dāng)前所提取的圖像特征向量作圖像匹配。若當(dāng)前圖像特征向量和障礙物特征庫中的圖像特征向量正確的匹配后，則判斷出該物的語義信息，本發(fā)明物體的語義信息判斷中包括對圖像中障礙物、道路的坑洼狀況以及是否有臺階等道路信息，然后將分析得出的圖像中障礙物的名稱、道路的坑洼狀況以及是否有臺階等語義文本信息，輸出語義文本信息到語音合成模塊中。(3)超聲波測距模塊主要是測量障礙物的距離信息，參見圖4，超聲波傳感器通過驅(qū)動電路驅(qū)動超聲波發(fā)射器發(fā)送超聲波，開始計時，當(dāng)途中遇到障礙物時立即回傳，接收器接收到反射波時停止計時，接收到的信號通過放大器送到控制器進行和溫度補償和物體距離計算。設(shè)超聲波脈沖由傳感器發(fā)出到接受所經(jīng)歷的時間為t，超聲波在空氣中的傳播速度為V，則控制器傳感器到目標(biāo)的距離S＝V*t/2m，將距離信息發(fā)送到語音合成模塊。(4)語音合成模塊主要是對圖像識別系統(tǒng)傳來的語義信息和超聲波測距系統(tǒng)傳來的距離信息進行語音合成，參見圖5，語音合成部分本發(fā)明用時域基音同步疊加技術(shù),通過該方法不僅能保持原語音片段的特征，還能使韻律特性符合應(yīng)用的要求，有限的語音庫就能合成更多不同特點的語音。首先對語義文本進行而文本分析，從語音庫進行語音片段提取，對語音片段的時長和基音頻率修改，調(diào)整各拼接單元的韻律特性；修改的特性包括音長，音調(diào)，然后語音拼接合成，合成后的語義經(jīng)過模式設(shè)定輸出，通過該方法不僅能保持原語音片段的特征，還能使韻律特性符合應(yīng)用的要求，有限的語音庫就能合成更多不同特點的語音。然后將語義信息和距離信息轉(zhuǎn)為語音信息輸出。在文本分析中還把判斷出的障礙物危險程度送到振動輸出模塊，由模式設(shè)定模塊設(shè)定模式后通過振動方式輸出。(5)語音輸出和振動輸出，此部分主要是揚聲器和振動器。揚聲器用來輸出合成的語音信息，振動器用來輸出相應(yīng)模式的振動。實施例9：多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-8，本例主要說明圖像采集、處理和識別的過程，參見圖2，其中實例8步驟(1)(2)所述的圖像識別，也是對前方障礙物和路況的識別，該識別過程包括有如下步驟：(1)圖像的采集，本發(fā)明使用紅外成像和自然光成像雙攝像頭進行圖像采集，能夠全天候?qū)崿F(xiàn)圖片拍攝。本發(fā)明通過光感傳感器來判斷當(dāng)前光源是否充足，提前根據(jù)光的強弱程度設(shè)置好閾值，如果光源的強弱程度大于閾值可以理解為白天或者光線很好，利用自然光攝像頭采集圖像，如果光強弱程度小于此閾值，利用紅外攝像進行紅外圖像采集。光感傳感器安裝于攝像頭的側(cè)前方。(2)圖像預(yù)處理是在對圖像進行分析前所做準(zhǔn)備工作，主要在圖像之間做變換處理，這個過程涉及到的只是圖像本身的性質(zhì)，并不會涉及到圖像的內(nèi)容知識。這一過程所要做的工作主要包括以下幾項：利用雙峰平均值的閾值算法對圖像進行二值化處理將圖像轉(zhuǎn)化成灰度圖像；采用平滑、濾波操作，消除噪聲和畸變從而增強圖像的效果。(3)圖像特征提取，在提取圖像特征之前，有時為了提高特征提取速度會對圖像進行分割操作。采用邊緣檢測分割方法把圖像分成幾個不同的區(qū)域或目標(biāo)物，或者對圖像的背景和目標(biāo)區(qū)域進行分離。對于一幅含有多個目標(biāo)的圖像，通過分割，可以將其劃分成多個小區(qū)域，每個小區(qū)域只包含有一個目標(biāo)。然后用surf算法進行特征點的提取，通常使用較簡單明確的數(shù)值或符號來表示圖像目標(biāo)的特征。特征提取的目的在于取得能夠反映圖像目標(biāo)本質(zhì)的特征，可以通過對預(yù)處理后的圖像數(shù)據(jù)進行整理分析和歸納總結(jié)操作來實現(xiàn)。特征提取是識別階段至關(guān)重要的一步，因為提取特征的好壞將會影響到整個系統(tǒng)的識別分類結(jié)果，因此，提取的特征需要盡可能地保持對圖像平移、縮放和尺度等的不變性。一幅圖像中會有很多能夠描述這幅圖像屬性的元素，按照某種提取準(zhǔn)則提取圖像的特征時，應(yīng)該確保盡可能多地選取對正確分類識別有用的特征，但又不會對識別準(zhǔn)確率造成損失。(4)圖像特征提取完畢，下一步就是進行特征庫的匹配，特征庫是對人們?nèi)粘Ｉ钪谐Ｒ姷奈矬w和道路的常見坑洼狀況圖像，按照本例步驟(3)中的方法進行特征提取保存在障礙物特征庫當(dāng)中。因此，我們可以直接提取特征庫里的特征信息與輸入圖片的特征信息進行匹配，匹配成功后，輸出圖像的語義文本信息。實施例10：多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-9，關(guān)于特征點的提取、精確定位以及特征描述符建立敘述如下：參見圖3，尤其是實例9步驟(3)提及的圖像特征提取，特征提取過程包括有如下步驟：圖像特征檢測：surf算法特征檢測分為確定候選特征點及其精確定位兩步。確定候選特征點的過程如下：確定候選特征點主要是通過計算每個點的海森矩陣行列式的值，選擇出一部分特征點，再對它們實施非極大值抑制來完成的。Hissiaan建立：假設(shè)輸入圖像為I(x,y)，則海森矩陣H(X)的代數(shù)式可以通過如下公式獲得，H(X)=H(x,y,σ)=Lxx(x,y,σ)Lxy(x,y,σ)Lxy(x,y,σ)Lyy(x,y,σ)]]>式中Lxx(x,y,σ)、Lxy(x,y,σ)、Lyy(x,y,σ)可通過下式求得，Lxx(x,y,σ)=∂2∂x2G(x,y,σ)*I(x,y)Lxy(x,y,σ)=∂2∂x2G(x,y,σ)*I(x,y)Lyy(x,y,σ)=∂2∂x2G(x,y,σ)*I(x,y)]]>式中，G(x,y,σ)含有變量σ的高斯函數(shù)，x,y為像素點的坐標(biāo)，σ為尺度*為卷積運算，Lxx(x,y,σ)、Lxy(x,y,σ)、Lyy(x,y,σ)為計算的中間變量。由于方框濾波模板的濾波特性和二階高斯濾波器濾波特性很相似，且前者計算卷積時較為簡單，因此，常用方框濾波模板代替二階高斯濾波。利用方框濾波模板的結(jié)構(gòu)特點，通過引入積分圖像，大大縮短了計算所花的時間。對于輸入圖像I(x,y)，建立積分圖像，其積分圖像IΔ(x,y)，定義如下IΔ(x,y)=Σi=0i≤xΣj=0j≤yI(x,y)]]>(x,y)為像素點的坐標(biāo)。把方框濾波x、xy以及y方向濾波模板分別與輸入圖像做卷積運算得到Dxx、Dxy、Dyy三個中間變量(此處利用積分圖像代替了方框濾波模板卷積輸入圖像的計算)，并把Dxx、Dxy、Dyy近似代替Lxx、Lxy、Lyy。H的行列式Det(H)由下式計算得到：Det(H)＝DxxDyy(ωDxy)2式中，ω為權(quán)重系數(shù)，其值可以由下式求得ω=Lxy(x,y,σ)FLxx(x,y,σ)F×Dxx(x,y,N)FDxy(x,y,N)F]]>式中||·||F為Frobenius范數(shù)，N為尺寸為N×N方框濾波模板中的邊長。對于尺寸為9×9方框濾波模板近似為σ＝1.2的二階高斯導(dǎo)數(shù)，ω取值0.9。利用公式求出每個點的海森矩陣行列式后，在某點3×3×3的立體區(qū)域進行非極大值抑制。通過比較本尺度某點附近8個點以及上下相鄰尺度9個點的值，取最大或者最小的作為候選特征點。特征點精確定位的過程如下：為了使特征點的位置更加精確，常用擬合的方法來實現(xiàn)。下面具體說明這個過程。利用泰勒公式將海森矩陣在候選特征點位置處展開成式：H(X)=H(X0)+∂[H(X)T]∂XX+12XT∂2H(X)∂X2]]>式中，X＝(x,y,σ)，x,y為像素點的坐標(biāo)，σ為像素點(x,y)處的尺度，X0＝(x0,y0,σ0)候選特征點的位置，x0和y0為該候選特征點的坐標(biāo)，σ0為該點處的尺度。H(X)的極值點可以由下式求得：X*=-∂2H-1∂X2∂H∂X]]>x*是亞像素級坐標(biāo)點，X*＝(x*,y*,σ*)，x*,y*,σ*表示求得的亞像素級坐標(biāo)點的橫坐標(biāo)，縱坐標(biāo)以及該點處的尺度。完成候選特征點的定位。建立特征描述符：確定圖像特征點的主方向的過程如下：在每個特征點的周圍選定半徑為6σ的圓形區(qū)域，計算該區(qū)域x,y方向上的Haar小波響應(yīng)，以特征點為中心，滑動角度范圍為π/3的扇形窗口，將角度范圍為π/3的扇形區(qū)域里經(jīng)過加權(quán)的響應(yīng)值全部相加得到一個合成的矢量。選取模值最大的矢量的方向為該圖像特征點的主方向生成特征點描述符的過程如下：將每一個特征點作為中心，以其主方向為一個坐標(biāo)軸，框定邊長為20σ(為中心點的尺度)的正方形區(qū)域，將該區(qū)域分成4×4的小區(qū)域，計算每一個小區(qū)域內(nèi)的水平方向哈爾小波響應(yīng)dx和垂直方向哈爾小波響應(yīng)dy(水平方向和垂直方向都是相對于主方向而言的)，并給每個響應(yīng)值前乘以一個一定數(shù)量的高斯權(quán)值，將每個小區(qū)域的響應(yīng)值加起來得到∑dx、∑dy。將每個小區(qū)域的響應(yīng)值的絕對值加起來得到∑|dx|、∑|dy|。每個小區(qū)域可以用一個四維向量表示v＝(∑dx,∑|dx|,∑dy,∑|dy|)，因此，對于每一個特征點，形成4×4×4＝64維特征向量，對向量進行歸一化處理，完成特征向量的提取，即特征點描述符的生成。實施例11多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-10，超聲測距具體描述如下：參見圖4，其中實例1步驟(3)是超聲波測距，超聲波測距的具體步驟如下：(1)超聲波作為一種傳輸信息的媒體，由于其本身的直射性和反射性，以及不易受光照、電磁波等外界因素影響的特性，在探傷、測距、測速等多種領(lǐng)域越來越受到重視。本發(fā)明的超聲波測距利用時間差測距法，控制器控制超聲波發(fā)生器發(fā)出超聲波，在發(fā)射超聲波的同時，開啟計時。(2)發(fā)射出去的超聲波遇到障礙物會立即返回來，然后超聲波接收器會接收到反射回了的聲波，經(jīng)過放大，整形處理，發(fā)送到控制器進行處理計算。(3)對測量進行溫度補償。由于超聲波也是一種聲波,其聲速與溫度有關(guān)。在使用時,如果溫度變化不大,則可認(rèn)為聲速是基本不變的。常溫下超聲波的傳播速度是334米/秒,但其傳播速度V易受空氣中溫度、濕度、壓強等因素的影響,其中受溫度的影響較大，如溫度每升高1℃,聲速增加約0.6米/秒。如果測距精度要求很高,則應(yīng)通過溫度補償?shù)姆椒右孕Ｕ?。本發(fā)明在超聲波測距模塊的外側(cè)加有溫度傳感器，測量當(dāng)前環(huán)境的溫度T，校正公式為(V為速度，T為當(dāng)前溫度)：V＝331.45+0.6T(米/秒)(4)處理器接收到返回信號，停止計時，計算時間差。超聲波在空氣中的傳播速度為V,而根據(jù)計時器記錄的測出發(fā)射和接收回波的時間差t,就可以計算出發(fā)射點距障礙物的距離S,即S＝V*t/2。然后將距離信息發(fā)送給語音合成系統(tǒng)進行語音合成。實施例12多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-11，針對語音合成詳細(xì)敘述如下：參見圖5，其中實施例8步驟(4)是語音合成，無論作為裝置還是方法，語音合成的具體過程如下:(1)按照語義文本信息的要求，從語音庫中提取語音片段。對語音片段信號進行分析處理，估計該片段的語音周期，然后再對該片段信號的基音脈沖上進行標(biāo)注。(2)在標(biāo)注完成后，按照標(biāo)注位置，將該片段語音信號與一系列與基音同步的窗函數(shù)相乘，得到一系列有重疊的分析短時信號，按照韻律要求修改，主要進行時長和基音頻率的修改，得到滿足的語音基元。(3)將上述合成的語音片段進行拼接，得到滿足韻律要求的合成信號。然后進行語音輸出?；糁芷谧儞Q后的短時語音通過基音同步疊加的方式恢復(fù)為合成語音，如下的疊加公式可使得短時信號與合成信號之間的平方誤差?。簓(n)=Σtqαqhq(tq)yq(n)Σtqhq2(tq-n)]]>式中：tq、yq(n)、hq(tq)分別為合成時分析窗的中心位置、短時信號及分析窗；y(n)為合成的語音信號；αq為疊加時保持能量不變的補償因子。(4)對語音輸出進行人性化設(shè)計，語音并不是不斷的進行輸出，本發(fā)明在模式設(shè)定中，設(shè)定對較遠(yuǎn)的障礙物不做語音輸出，障礙物進入指定范圍開始語音輸出提醒，范圍可以由用戶自己設(shè)定，比如，用戶可以設(shè)定5米以內(nèi)的障礙物進行語音提示。語音的輸出也可由用戶根據(jù)自己的習(xí)慣來設(shè)置每次輸出的時間間隔，比如用戶可以設(shè)置每隔2秒輸出一次語音。實施例13多傳感器智能盲人指路方法和多傳感器智能盲人指路裝置同實施例1-12，振動輸出詳述如下：參見圖6，其中實施例9步驟(5)是語音輸出和振動輸出，振動輸出的具體步驟如下:(1)接收來自語音合成文本分析的危險指數(shù)，通過模式設(shè)定把危險指數(shù)與事先設(shè)計好的危險區(qū)間進行對比，判斷出危險等級。然后送入振動頻率和振動幅度的調(diào)節(jié)模塊。(2)振動頻率和振動幅度模塊。根據(jù)危險等級判斷出要輸出的振動頻率和振動幅度，總的振動趨勢是隨著危險程度的提高，振動頻率和振動幅度也會相應(yīng)提高。(3)輸出相應(yīng)模式的振動。本發(fā)明利用多傳感器進行場景圖像和道路圖像的采集、處理、識別和距離測量，并對采集圖像的語義文本信息和距離信息進行語音合成。合成的語音通過揚聲器輸出，告知人員前方路況，障礙物的信息和距離。本發(fā)明利用成像傳感器成像，白天和夜間都能比較好的工作，可以讓人更好的避開障礙物，選擇更加合理的行走路線。在語音輸出的同時，還通過振動的頻率和幅度來告知人員前方障礙物的危險程度。綜上所述，本發(fā)明提供的一種多傳感器智能盲人指路方法與裝置，主要是用于幫助盲人或視力不好的人更好的出行。本發(fā)明通過成像傳感器采集道路前方的障礙物和道路圖像，攝像頭利用紅外和自然光雙攝像頭，白天和夜間都能很好的采集圖像，然后將采集到的圖像傳入圖像識別進行圖像的處理和識別，提取圖像的重要語義文本信息。與此同時，還通過超聲波測距，測出使用者到障礙物的距離，把提取的圖像語義信息和距離信息傳到語音合成系統(tǒng)，用語音合成技術(shù)把文本語義轉(zhuǎn)成語音，通過揚聲器發(fā)聲，不僅能告知盲人前方障礙物是什么，還能告知到障礙物的距離以及道路的坑洼程度，以便及時做好路線調(diào)整。除了語音輸出外，本發(fā)明還有振動輸出，因為有時環(huán)境可能過于嘈雜，聲音可能聽不清楚，通過振動來告知盲人前方有障礙物，通過振動頻率來表達(dá)障礙物的危險程度，危險程度越高，振動越快，振幅越大。本發(fā)明把圖像識別技術(shù)、語音合成技術(shù)和超聲波測距技術(shù)有效的結(jié)合在一起幫助盲人或視力不好的人更好的出行。當(dāng)前第1頁1 2 3