盲人避障提示裝置及方法
【專利摘要】本發(fā)明提供一種盲人避障提示裝置。該裝置包括深度傳感器、圖像傳感器、聲音采集器、障礙物檢測部件和交互反饋部件。障礙物檢測部件基于各傳感器采集的信息來檢測在盲人行進(jìn)前方是否存在障礙物或可通行，并根據(jù)檢測結(jié)果向交互反饋部件發(fā)送控制信號。該裝置融合多傳感器的信息，改善了障礙物的檢測魯棒性和識別精度。
【專利說明】盲人避障提示裝置及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及盲人輔助行走技術(shù)，尤其涉及盲人避障提示裝置。

【背景技術(shù)】
[0002]人類對外界環(huán)境信息的獲取很大一部分來自視覺系統(tǒng)，視覺缺失和視力殘疾給盲人和視障患者在生活上帶來極大的困難，尤其是對安全行走極具挑戰(zhàn)性。為了幫助盲人行走，近年來，國內(nèi)外研究者利用超聲波、紅外、激光、攝像頭等傳感器研發(fā)了多種盲人輔助行走系統(tǒng)。超聲波、激光、紅外等只能檢測一定方向/高度上障礙物，而通過雙攝像頭采集圖像以獲取物體與攝像頭距離的方法計(jì)算復(fù)雜度高，資源消耗量大，難以實(shí)時地提供準(zhǔn)確的提示。理想的盲人避障系統(tǒng)應(yīng)該具有:實(shí)時性、準(zhǔn)確性、低成本、低功耗、便攜性等特點(diǎn)。但現(xiàn)有系統(tǒng)在功能和性能上還遠(yuǎn)沒有達(dá)到滿足盲人安全行走的實(shí)際需求。


【發(fā)明內(nèi)容】

[0003]因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種盲人避障提示裝置。
[0004]本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的:
[0005]一方面，本發(fā)明提供了一種盲人避障提示裝置，包括:
[0006]深度傳感器，用于采集盲人行進(jìn)前方的場景的深度圖；
[0007]圖像傳感器，用于采集盲人行進(jìn)前方的場景的彩色圖像；
[0008]聲音采集器，用于向盲人行進(jìn)前方發(fā)送特定波段的聲波并采集該波段的聲波反射信息；
[0009]障礙物檢測部件，用于基于所采集的場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是存在障礙物還是可通行；
[0010]交互反饋部件，用于根據(jù)所述障礙物檢測部件的檢測結(jié)果向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。
[0011]上述裝置中，所述障礙物檢測部件可識別所述深度圖中的地面區(qū)域，并判斷該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果存在，則判定為檢測到障礙物。
[0012]上述裝置中，所述障礙物檢測部件在檢測到障礙物后，還可檢測所述深度圖中障礙物左方的或右方的區(qū)域是否為地面區(qū)域，并將檢測結(jié)果提供給交互反饋部件。
[0013]上述裝置中，所述障礙物檢測部件還可檢測所述地面區(qū)域中是否存在深度缺失區(qū)域，如果存在，則判斷所述彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的顏色是否為深色；如果是深色并且采集到的聲波反射信息不均勻，則判定為檢測到障礙物。
[0014]上述裝置中，所述障礙物檢測部件還可保存最近一段時間的障礙物檢測結(jié)果。所述障礙物檢測部件還可在相鄰幀之間對障礙物進(jìn)行跟蹤，如果在除去相鄰兩幀數(shù)據(jù)之間的位移的基礎(chǔ)上，相鄰幀檢測到的障礙物的距離、位置和/或尺寸特征的差異小于設(shè)定的閾值，則判定為檢測到同一障礙物。
[0015]上述裝置中，所述障礙物檢測部件還可保存最近一次或幾次檢測到障礙物時采集的彩色圖像；以及在當(dāng)前沒有采集到深度圖時，將當(dāng)前采集的彩色圖像的RGB顏色信息和之前保存的彩色圖像的RGB顏色信息進(jìn)行匹配；如果能匹配上，則基于當(dāng)前采集的聲波反射信息獲取與障礙物距離，如果該距離小于設(shè)定的距離閾值，則判定為檢測到障礙物并立即指示交互反饋組件對盲人進(jìn)行提示。
[0016]上述裝置中，所述交互反饋部件在障礙物檢測部件檢測到障礙物時，根據(jù)當(dāng)前位置與障礙物的距離來對盲人進(jìn)行不同的提示，如果該距離小于設(shè)定的距離閾值則提示盲人近處有障礙物，如果距離大于設(shè)定的距離閾值則提示盲人遠(yuǎn)處有障礙物，請慢行。所述交互反饋部件在障礙物檢測部件沒有檢測到障礙物時，提示盲人前方可安全行走。所述交互反饋部件還可以在檢測結(jié)果為近處有障礙物時，可提示盲人通過左移或右移繞過障礙物。
[0017]又一方面，本發(fā)明提供了一種盲人避障提示方法，包括:
[0018]步驟1，經(jīng)由深度傳感器采集盲人行進(jìn)前方的場景的深度圖、經(jīng)由圖像傳感器采集盲人行進(jìn)前方的場景的彩色圖像、以及經(jīng)由聲音采集器向盲人行進(jìn)前方發(fā)送特定波段的聲波并采集該波段的聲波反射信息；
[0019]步驟2，基于所采集的場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是存在障礙物還是可通行；
[0020]步驟3，根據(jù)所述檢測的結(jié)果向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。
[0021]上述方法中，所述步驟2可包括識別所述深度圖中的地面區(qū)域，并判斷該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果存在，則判定為檢測到障礙物。
[0022]上述方法中，所述步驟2還可包括在檢測到障礙物后，檢測所述深度圖中障礙物左方的或右方的區(qū)域是否為地面區(qū)域，并將檢測結(jié)果提供給交互反饋部件。
[0023]上述方法中，所述步驟2還可包括檢測所述地面區(qū)域中是否存在深度缺失區(qū)域，如果存在，則判斷所述彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的顏色是否為深色；如果是深色并且采集到的聲波反射信息不均勻，則判定為檢測到障礙物。
[0024]上述方法中，所述步驟2還可包括保存最近一段時間的障礙物檢測結(jié)果。所述障礙物檢測部件還可在相鄰幀之間對障礙物進(jìn)行跟蹤，如果在除去相鄰兩幀數(shù)據(jù)之間的位移的基礎(chǔ)上，相鄰幀檢測到的障礙物的距離、位置和/或尺寸特征的差異小于設(shè)定的閾值，則判定為檢測到同一障礙物。
[0025]上述方法中，所述步驟2還可包括保存最近一次或幾次檢測到障礙物時采集的彩色圖像；以及在當(dāng)前沒有采集到深度圖時，將當(dāng)前采集的彩色圖像的RGB顏色信息和之前保存的彩色圖像的RGB顏色信息進(jìn)行匹配；如果能匹配上，則基于當(dāng)前采集的聲波反射信息獲取與障礙物距離，如果該距離小于設(shè)定的距離閾值，則判定為檢測到障礙物并立即指示交互反饋組件對盲人進(jìn)行提示。
[0026]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于:
[0027]該裝置融合多種傳感器的信息，在快速檢測障礙物的同時盡量避免障礙物的漏報和誤報，可有效改善障礙物的檢測魯棒性，同時滿足了盲人避障的實(shí)時性需求。

【專利附圖】

【附圖說明】
[0028]以下參照附圖對本發(fā)明實(shí)施例作進(jìn)一步說明，其中:
[0029]圖1為根據(jù)本發(fā)明一個實(shí)施例的盲人避障提示裝置的結(jié)構(gòu)示意圖；
[0030]圖2為根據(jù)本發(fā)明又一個實(shí)施例的盲人避障提示裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0031]為了使本發(fā)明的目的，技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖通過具體實(shí)施例對本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0032]圖1給出了根據(jù)本發(fā)明一個實(shí)施例的盲人避障裝置100的結(jié)構(gòu)示意圖。如圖1所示，盲人避障裝置100包括深度傳感器101、圖像傳感器102、聲音采集器103，障礙物檢測部件104以及交互反饋部件105。
[0033]其中深度傳感器101用于采集盲人行進(jìn)前方的場景的深度圖(D印th Image)。深度圖中每個像素值表示場景中物體上的某一點(diǎn)與攝像機(jī)之間的距離信息。圖像傳感器102用于采集盲人行進(jìn)前方的場景的彩色圖像。所采集的彩色圖像中每個像素對應(yīng)一個RGB值?？梢赃x擇現(xiàn)有的任何類型的深度傳感器和圖像傳感器來采集盲人行進(jìn)前方的場景的深度圖和彩色圖像。在本發(fā)明的實(shí)施例中對于深度傳感器和圖像傳感器的型號和數(shù)量不進(jìn)行限制。
[0034]聲音米集器103用于向盲人行進(jìn)前方發(fā)送特定波段的聲波并米集聲波反射信息。在一個實(shí)施例中，米用現(xiàn)有的各種超聲波米集器作為聲音米集器。在又一個實(shí)施例中，聲音采集器包括聲波發(fā)生器和聲音傳感器。其中聲波發(fā)生器可以采用現(xiàn)有的各種嵌入式或內(nèi)置的超聲波發(fā)生器?；蛘呗暡òl(fā)生器也可以由微型小音響和音頻轉(zhuǎn)換線組成，音頻轉(zhuǎn)換線將微型小音響(例如，Angell出品的JH-MD06小音響)與控制部件連接在一起，由控制部件來控制微型小音響播放特定波段的聲波。所述控制部件可以是諸如手機(jī)、平板電腦等便攜的終端設(shè)備或在其上運(yùn)行的軟件播放器，也可以是與深度傳感器、圖像傳感器、障礙物檢測部件中的任一個或多個集成在一個單片機(jī)上的電路。聲音傳感器可以采用如微型麥克風(fēng)、外置或內(nèi)置麥克風(fēng)等，用來采集特定波段的聲波反射信息。通常地面區(qū)域反射的聲波信息比較均勻，而如果地面上由障礙物，那么所采集到的聲波反射信息不均勻。此外，還可以利用聲波反射信息來獲取聲音采集器到障礙物之間的距離。
[0035]障礙物檢測部件104用于基于所采集場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是否存在障礙物或可通行，并根據(jù)檢測結(jié)果向交互反饋部件105發(fā)送控制信號。
[0036]更具體地，障礙物檢測部件104首先從所采集場景的深度圖中識別出地面區(qū)域，即可通行區(qū)域，然后在地面區(qū)域之上的物體都可視為潛在的障礙物。而地面是一種平面結(jié)構(gòu)，在深度數(shù)據(jù)特征上具有一致性，因此利用深度信息進(jìn)行平面提取，不會受平面上不同顏色和紋理的干擾，比如地面上的花磚或花色地毯等。障礙物檢測部件104在從深度圖中識別出地面區(qū)域之后，繼續(xù)判定該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果有，則向交互反饋部件105發(fā)出控制信號，以指示向盲人給出障礙物提示。控制信號中還可以包括關(guān)于當(dāng)前位置與障礙物的距離信息。嚴(yán)格來說高于地面且在盲人行進(jìn)前方的物體都是潛在的障礙物。在以上地面區(qū)域檢測基礎(chǔ)上，如果行進(jìn)前方一定寬度的直行區(qū)域內(nèi)還有具有一定深度的物體存在則該物體識別為障礙物。在一個實(shí)施例中，在檢測到障礙物后，障礙物檢測部件104還可以分析深度圖中障礙物左右區(qū)域是否有地面區(qū)域，即可通行區(qū)域，如果有，則可以向交互反饋部件105發(fā)出控制信號，該控制信號還包括關(guān)于障礙物左右方的可通行區(qū)域的信息，從而使得交互反饋部件105能給盲人提供更具體的提示，例如左移或右移。
[0037]在一個實(shí)施例中，可以采用現(xiàn)有的平面提取算法來從深度圖中識別地面。但由于現(xiàn)有的平面提取算法是在像素級別處理，處理的數(shù)據(jù)量大，會在一定程度上影響實(shí)時性。在又一個實(shí)施例中，障礙物檢測部件104通過下面的方式來從深度傳感器采集到的深度圖中識別地面區(qū)域:
[0038]首先，提取深度圖中的所有平面區(qū)域。先將所采集的深度圖轉(zhuǎn)化為3D點(diǎn)云并對3D云空間劃分成多個立方塊構(gòu)成的網(wǎng)格，建立每個立方塊與代表該立方塊的數(shù)據(jù)點(diǎn)之間的映射關(guān)系，從而實(shí)現(xiàn)對3D云空間的稀疏米樣。例如在3D點(diǎn)云空間建立一定邊長的立方塊體素網(wǎng)格，針對每個體素，利用最小二乘法擬合一個平面，求出平面的法向量。然后利用體素的法線夾角余弦，進(jìn)行基于區(qū)域生長的體素聚類，進(jìn)而分割出平面區(qū)域。遍歷體素網(wǎng)格，對未被聚類的體素中的每個點(diǎn)進(jìn)行精確判斷。求該點(diǎn)到所屬體素鄰域內(nèi)平面的最小距離，如果該距離小于某閾值，那么將該點(diǎn)標(biāo)記為距離最近的平面上的點(diǎn)，否則記為非平面點(diǎn)。平面分割后，按照法向量夾角接近零，對空間上相鄰的平面進(jìn)行合并。
[0039]經(jīng)過以上平面提取步驟，得到了場景的平面結(jié)構(gòu)，這些平面可能包含水平面，比如地面、桌面等，垂直面，比如墻面、柜面等，或者斜面。需要進(jìn)一步識別出地面區(qū)域。由于采集設(shè)備通常佩戴在盲人胸前、肩部或頭部，雖然攝像頭近似水平拍攝，但拍攝角度以及攝像頭在行進(jìn)過程中會水平和上下移動，因此不能直接用攝像頭坐標(biāo)系的豎直軸作為水平面的法線方向，攝像頭坐標(biāo)下的水平面往往在真實(shí)世界不一定水平。
[0040]為了得到真實(shí)的水平面，首先，計(jì)算每個分塊的法線與攝像頭坐標(biāo)系豎直軸的夾角，根據(jù)角度值將所有的法線分為近似豎直和近似水平兩種。其次，通過對所有的近似水平法線計(jì)算平均水平法線，作為真實(shí)的水平面法線。最后根據(jù)該法線方向?qū)⒉杉降?D點(diǎn)云進(jìn)行一定角度的旋轉(zhuǎn)，讓采集到平面在3D點(diǎn)云中調(diào)整到水平狀態(tài)。并根據(jù)攝像頭的佩戴高度，結(jié)合檢測出的最低點(diǎn)處的平面，從而識別出地面區(qū)域。
[0041]在一個實(shí)施例中，障礙物檢測部件104還可以對以上障礙物檢測結(jié)果和可通行情況進(jìn)行存貯。例如，障礙物檢測部件104可以存儲近期或最近一次檢測到障礙物時的深度圖和彩色圖像信息以及其中障礙物的距離、位置及尺寸等信息。由于盲人行進(jìn)過程中，同一障礙物會被反復(fù)檢測到，多次提醒會干擾盲人利用自身聽覺系統(tǒng)感知周圍場景，增加盲人的接收負(fù)擔(dān)。同樣，由于采集噪聲，可能某一障礙物在某幀中漏檢。為了解決以上問題，在一個優(yōu)選的實(shí)施例中，障礙物檢測部件104還會在深度圖的相鄰幀對障礙物進(jìn)行跟蹤匹配。首先計(jì)算出相鄰兩幀數(shù)據(jù)之間的位移，例如可以利用視覺測程算法來計(jì)算出相鄰兩個圖像幀之間的位移。然后在除去相鄰幀間的位移的基礎(chǔ)上比較相鄰幀檢測到的障礙物的距離、位置和/或尺寸，如果相鄰幀中障礙物的距離、位置和/或尺寸相差小于設(shè)定的閾值范圍，說明是同一障礙物，此時由于之前剛給出提示，因此，可以暫時不觸發(fā)提示，以免增加盲人的負(fù)擔(dān)。如果相鄰幀中障礙物的距離、位置和/或尺寸相差遠(yuǎn)大于設(shè)定的閾值范圍，例如，上一幀檢測到障礙物而當(dāng)前幀沒有檢測到障礙物，可以暫時不提示盲人可通行，而是繼續(xù)比較下一幀圖像來判定是否已經(jīng)不存在障礙物了?？梢?，在實(shí)際應(yīng)用中對多幀中匹配成功的障礙物進(jìn)行存貯，可大大減少了障礙物的漏報和誤報現(xiàn)象。
[0042]在一個優(yōu)選的實(shí)施例中，考慮到大多數(shù)深度傳感器技術(shù)多采用紅外光技術(shù)，對于場景中的深色物體(特別是黑色物體)往往采集不到深度數(shù)據(jù)。障礙物檢測部件104還會結(jié)合圖像傳感器采集的場景的彩色圖像和聲波反射信息來對場景的深度圖中地面區(qū)域內(nèi)出現(xiàn)的深度缺失區(qū)域進(jìn)行分析，判斷是否是由深色物體引起的，以免發(fā)生漏報。例如，可以對彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的RGB顏色信息進(jìn)行分析，判斷其顏色是否是深色或黑色。例如將RGB像素值轉(zhuǎn)換成灰度像素值，如果灰度像素值接近0，則說明是深色或黑色。如果是這部分的顏色偏向深色或黑色，則進(jìn)一步分析經(jīng)由聲音采集器采集到的聲波反射信息判斷是否存在障礙物，如果存在，則判定為有障礙物。例如深度缺失區(qū)域?qū)?yīng)的彩色圖像部分偏向深色并且采集到的聲波反射信息不均勻，則判定前方有深色或黑色障礙物，向交互反饋部件105發(fā)出控制信號，以指示向盲人給出障礙物提示，從而避免了漏檢或漏報的情況，提高了障礙物檢測精度。
[0043]目前深度傳感器有采集距離的限制，一般能采集到0.8米到3.5米之間的物體信息，而對于離傳感器太近的物體采集不到深度信息。例如，如果盲人逐步靠近墻體等情況，由于障礙物太近，深度攝像頭采集不到深度數(shù)據(jù)。因此，在一個優(yōu)選的實(shí)施例中，如果沒有采集到盲人行進(jìn)前方場景的深度圖，則障礙物檢測部件104會融合圖像傳感器采集到的場景的彩色圖像以及聲音傳感器采集的聲波反射信息來檢測障礙物，以便提升障礙物檢測的魯棒性。首先，障礙物檢測部件104會保存之前較短時間段內(nèi)圖像傳感器采集的彩色圖像信息，例如保存最近一次檢測到障礙物時的彩色圖像。在缺少深度圖數(shù)據(jù)的情況下，障礙物檢測部件104將當(dāng)前采集的彩色圖像的RGB顏色信息和所保存的歷史圖像的顏色信息進(jìn)行匹配，如果能匹配上，說明前方可能有障礙物，并且根據(jù)聲波反射信息提供的障礙物距離信息，進(jìn)一步判斷是否是由于離得太近而沒有深度數(shù)據(jù)造成的漏報。如果是，則向交互反饋部件給出存在障礙物的指示。這樣，通過這種多傳感器的融合，進(jìn)一步改善了障礙物檢測性能和魯棒性。
[0044]應(yīng)理解，障礙物檢測部件104可以軟件的形式運(yùn)行在諸如手機(jī)、平板電腦等便攜的終端設(shè)備上。也可以以現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)的硬件形式來實(shí)現(xiàn)。實(shí)際上，障礙物檢測部件可作為產(chǎn)品或在產(chǎn)品中實(shí)現(xiàn)的計(jì)算機(jī)可讀程序而被提供。此處使用的術(shù)語“產(chǎn)品”包括從計(jì)算機(jī)可讀的裝置、固件、可編程邏輯、存儲器裝置、集成電路芯片、現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)等、電子裝置、計(jì)算機(jī)可讀的非易失存儲單元(例如，⑶-ROM、軟盤、硬盤等)可訪問的或嵌入其中的代碼或硬件邏輯。
[0045]繼續(xù)參考圖1，交互反饋部件105用于根據(jù)來自障礙物檢測部件104的控制信號，以任何適當(dāng)?shù)妮敵龇绞?，例如聲音或觸覺方式，向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。例如，交互反饋部件105可根據(jù)所接收的控制信號中的信息提示盲人前方是否有障礙物或可通行、當(dāng)前位置到障礙物的距離；如果遠(yuǎn)處有障礙物，可用語音或提示音提示請慢行；如果繼續(xù)前行，近處有障礙物，可用語音提示前方有障礙物；在有障礙物的情況下，提示哪里有可通行區(qū)域，或提示可以通過左移或右移繞過障礙物。如果前方?jīng)]有障礙物，交互反饋部件105可用語音或提示音提示前方可通行；提示音量會根據(jù)場景噪聲自動調(diào)節(jié)，也可以手動調(diào)節(jié)。在有障礙物的情況下，盲人也可以通過旋轉(zhuǎn)身體，根據(jù)所述盲人避障裝置的語音反饋，判斷哪里有可通行區(qū)域，從而避開障礙物。此外，交互反饋部件105還可包括輸入接口(例如，按鈕、話筒等)，盲人可通過該輸入接口來根據(jù)需求觸發(fā)主動提示、或者設(shè)置給出提示的方式、提示出現(xiàn)的頻率，提示的音量或振動幅度、打開或關(guān)閉提示等，以給盲人提供更好的體驗(yàn)。
[0046]在一些實(shí)施例中，上述的深度傳感器、圖像傳感器和聲音采集器可以集成在同一單片機(jī)(MCU, Microcontroller Unit)或其他嵌入式硬件平臺上,作為一個整體的信息采集部件；而障礙物檢測部件和交互反饋部件集成在另一嵌入式硬件平臺或者運(yùn)行在諸如手機(jī)、平板電腦、筆記本上。如圖2給出的盲人避障提示裝置的結(jié)構(gòu)示意圖。其中采集信息的部件采用了微軟公司的產(chǎn)品Kinect和一個聲波發(fā)生器來組成。Kinect由一個彩色微型攝像頭、一個微型深度傳感器、四個微型麥克風(fēng)陣列、一個微型處理芯片、一個通用接口組成，上述組件集成在一起；而障礙物檢測部件和交互反饋部件集成在另一 MCU。這樣，信息采集部件可以佩戴在盲人胸前，例如可安置在盲人背包的肩帶上，集成障礙物檢測部件和交互反饋部件的硬件平臺可以裝在背包中，信息采集部件可以與該硬件平臺以有線或無線的方式進(jìn)行通信，以將各個傳感器采集的數(shù)據(jù)傳遞給障礙物檢測部件。在其他實(shí)施例中，上述的深度傳感器、圖像傳感器、聲音采集器、障礙物檢測部件和交互反饋部件可以集成在同一單片機(jī)或其他嵌入式硬件平臺上。
[0047]在根據(jù)本發(fā)明的又一個實(shí)施例中，還提供了一種盲人避障提示方法，該方法包括:
[0048]步驟1，經(jīng)由深度傳感器采集盲人行進(jìn)前方的場景的深度圖、經(jīng)由圖像傳感器采集盲人行進(jìn)前方的場景的彩色圖像、以及經(jīng)由聲音采集器向盲人行進(jìn)前方發(fā)送特定波段的聲波并采集該波段的聲波反射信息；
[0049]步驟2，基于所采集的場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是存在障礙物還是可通行；
[0050]步驟3，根據(jù)所述檢測的結(jié)果向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。
[0051]其中，在所述步驟2，識別所述深度圖中的地面區(qū)域，并判斷該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果存在，則判定為檢測到障礙物。在一個實(shí)施例中，在檢測到障礙物后，還可以檢測所述深度圖中障礙物左方的或右方的區(qū)域是否為地面區(qū)域，并將檢測結(jié)果提供給交互反饋部件。在又一個實(shí)施例中，所述步驟2還可包括檢測所述地面區(qū)域中是否存在深度缺失區(qū)域，如果存在，則判斷所述彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的顏色是否為深色；如果是深色，則根據(jù)采集到的聲波反射信息判斷是否存在障礙物，如果存在障礙物，則判定為檢測到障礙物。在又一個實(shí)施例中，所述步驟2還包括保存最近一段時間的障礙物檢測結(jié)果。在步驟2還包括在相鄰幀之間對障礙物進(jìn)行跟蹤，如果在除去相鄰兩幀數(shù)據(jù)之間的位移的基礎(chǔ)上，相鄰幀檢測到的障礙物的距離、位置和/或尺寸特征的差異小于設(shè)定的閾值，則判定為檢測到同一障礙物。在又一個實(shí)施例中，所述步驟2還包括保存最近一次或幾次檢測到障礙物時采集的彩色圖像；以及在當(dāng)前沒有采集到深度圖時，將當(dāng)前采集的彩色圖像的RGB顏色信息和之前保存的彩色圖像的RGB顏色信息進(jìn)行匹配；如果能匹配上，則基于當(dāng)前采集的聲波反射信息獲取與障礙物距離，如果該距離小于設(shè)定的距離閾值，則判定為檢測到障礙物并立即指示交互反饋組件對盲人進(jìn)行提示。
[0052]發(fā)明人在采用上述的Kinect進(jìn)行信息收集以及采用目前普通的筆記本配置下，比如CPU為Intel Core i7 2.0GHz,內(nèi)存為4G的硬件環(huán)境作為計(jì)算平臺的情況下，整個信息采集、障礙物檢測和語音反饋過程能達(dá)到每秒10到15幀的處理速度，滿足了盲人避障的實(shí)時性和魯棒性需求。
[0053]雖然本發(fā)明已經(jīng)通過優(yōu)選實(shí)施例進(jìn)行了描述，然而本發(fā)明并非局限于這里所描述的實(shí)施例，在不脫離本發(fā)明范圍的情況下還包括所作出的各種改變以及變化。
【權(quán)利要求】
1.一種盲人避障提示裝置，所述裝置包括: 深度傳感器，用于采集盲人行進(jìn)前方的場景的深度圖； 圖像傳感器，用于采集盲人行進(jìn)前方的場景的彩色圖像； 聲音采集器，用于向盲人行進(jìn)前方發(fā)送特定波段的聲波并采集該波段的聲波反射信息； 障礙物檢測部件，用于基于所采集的場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是存在障礙物還是可通行； 交互反饋部件，用于根據(jù)所述障礙物檢測部件的檢測結(jié)果向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述障礙物檢測部件識別所述深度圖中的地面區(qū)域，并判斷該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果存在，則判定為檢測到障礙物。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述障礙物檢測部件在檢測到障礙物后，還檢測所述深度圖中障礙物左方的或右方的區(qū)域是否為地面區(qū)域，并將檢測結(jié)果提供給交互反饋部件。
4.根據(jù)權(quán)利要求2所述的裝置，其中所述障礙物檢測部件還檢測所述地面區(qū)域中是否存在深度缺失區(qū)域，如果存在，則判斷所述彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的顏色是否為深色；如果是深色并且采集到的聲波反射信息不均勻，則判定為檢測到障礙物。
5.根據(jù)權(quán)利要求上述權(quán)利要求之一所述的裝置，所述障礙物檢測部件還保存最近一段時間的障礙物檢測結(jié)果。
6.根據(jù)權(quán)利要求5所述的裝置，所述障礙物檢測部件還在相鄰幀之間對障礙物進(jìn)行跟蹤，如果在除去相鄰兩幀數(shù)據(jù)之間的位移的基礎(chǔ)上，相鄰幀檢測到的障礙物的距離、位置和/或尺寸特征的差異小于設(shè)定的閾值，則判定為檢測到同一障礙物。
7.根據(jù)權(quán)利要求5所述的裝置，所述障礙物檢測部件還保存最近一次或幾次檢測到障礙物時采集的彩色圖像；以及 在當(dāng)前沒有采集到深度圖時，將當(dāng)前采集的彩色圖像的RGB顏色信息和之前保存的彩色圖像的RGB顏色信息進(jìn)行匹配；如果能匹配上，則基于當(dāng)前采集的聲波反射信息獲取與障礙物距離，如果該距離小于設(shè)定的距離閾值，則判定為檢測到障礙物并立即指示交互反饋組件對盲人進(jìn)行提示。
8.一種盲人避障提示方法，所述方法包括: 步驟1，經(jīng)由深度傳感器采集盲人行進(jìn)前方的場景的深度圖、經(jīng)由圖像傳感器采集盲人行進(jìn)前方的場景的彩色圖像、以及經(jīng)由聲音采集器向盲人行進(jìn)前方發(fā)送特定波段的聲波并采集該波段的聲波反射信息； 步驟2，基于所采集的場景的深度圖和彩色圖像以及聲波反射信息來檢測在盲人行進(jìn)前方是存在障礙物還是可通行； 步驟3，根據(jù)所述檢測的結(jié)果向盲人提示其行走前方的障礙物或可通行區(qū)域的情況。
9.根據(jù)權(quán)利要求8所述的方法，所述步驟2包括識別所述深度圖中的地面區(qū)域，并判斷該深度圖中除地面區(qū)域之外是否還存在其他深度數(shù)據(jù)，如果存在，則判定為檢測到障礙物。
10.根據(jù)權(quán)利要求9所述的方法，所述步驟2還包括在檢測到障礙物后，檢測所述深度圖中障礙物左方的或右方的區(qū)域是否為地面區(qū)域，并將檢測結(jié)果提供給交互反饋部件。
11.根據(jù)權(quán)利要求9所述的方法，所述步驟2還包括檢測所述地面區(qū)域中是否存在深度缺失區(qū)域，如果存在，則判斷所述彩色圖像中與該深度缺失區(qū)域?qū)?yīng)的部分的顏色是否為深色；如果是深色并且采集到的聲波反射信息不均勻，則判定為檢測到障礙物。
【文檔編號】A61H3/06GK104287946SQ201410575694
【公開日】2015年1月21日 申請日期:2014年10月24日 優(yōu)先權(quán)日:2014年10月24日
【發(fā)明者】錢躍良, 劉宏, 王喆, 王向東 申請人:中國科學(xué)院計(jì)算技術(shù)研究所