本發(fā)明涉及盲人導(dǎo)航技術(shù)領(lǐng)域,具體涉及到一種用于人行橫道線處的盲人導(dǎo)航方法及裝置。
背景技術(shù):
盲人(視障人士)由于視覺缺失,無法直接觀察身邊的環(huán)境,在出行時(shí)往往會(huì)有極大的不便利性和危險(xiǎn)性。在面對復(fù)雜的路況時(shí),特別是在路口沒有安裝導(dǎo)盲標(biāo)志或者盲道的情況下,即使視障人士已經(jīng)對齊人行橫道線,也極易走出人行橫道線,走進(jìn)車流密集的馬路中央,這樣導(dǎo)致危險(xiǎn)性增加。
因此,對于盲人需要穿過馬路中間的人行橫道線來說,在沒有盲道的情況下,精確的路徑規(guī)劃和導(dǎo)航就顯得非常重要。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述問題,本發(fā)明提供一種用于人行橫道線處的盲人導(dǎo)航方法及裝置,可以幫助盲人順利通過人行橫道線,提高了盲人的安全保障。
本發(fā)明提出了一種用于人行橫道線處的盲人導(dǎo)航方法,其特征在于,包括以下步驟:
識別人行橫道線;
確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,所述水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定;
根據(jù)所述水平偏移量和所述偏移矯正角度,進(jìn)行導(dǎo)航。
進(jìn)一步的,識別人行橫道線步驟之前還包括步驟:采集人行橫道線圖像,對應(yīng)的,識別人行橫道線具體為:采用Hough變換識別人行橫道線。
進(jìn)一步的,所述確定盲人距離人行橫道線的水平偏移量具體為:根據(jù)所述導(dǎo)盲手杖行走圖像,確定盲人距離人行橫道線的最短連線的長度,和盲人距離人行橫道線的最短連線與水平線的夾角,根據(jù)所述長度和所述夾角,確定所述水平偏移量。
進(jìn)一步的,所述確定偏移矯正角度具體為:獲取盲人相鄰的兩點(diǎn)間的行走距離和前進(jìn)角度,根據(jù)所述行走距離和前進(jìn)角度確定所述偏移矯正角度。
進(jìn)一步的,在所述識別人行橫道線步驟之前,還包括步驟:對交通燈路口進(jìn)行識別,其中,對交通燈進(jìn)行識別具體為:如有交通燈音頻提示,則通過采集音頻提示數(shù)據(jù)對交通燈路口進(jìn)行識別,否則,通過采集交通燈圖像進(jìn)行交通燈路口的識別。
進(jìn)一步的,在對交通燈路口進(jìn)行識別步驟之后還包括步驟:發(fā)出觸發(fā)指令,觸發(fā)采集人行橫道線圖像。
另一方面,本發(fā)明還提出了一種用于人行橫道線處的盲人導(dǎo)航裝置,其特征在于,包括:
第一識別模塊,用于識別人行橫道線;
確定模塊,用于確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,所述水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定;
導(dǎo)航模塊,用于根據(jù)所述水平偏移量和所述偏移矯正角度,進(jìn)行導(dǎo)航。
進(jìn)一步的,還包括信息采集模塊,所述信息采集模塊用于采集人行橫道線圖像。
進(jìn)一步的,還包括第二識別模塊,所述第二識別模塊用于對交通燈路口進(jìn)行識別,其中,所述第二識別模塊用于對交通燈路口進(jìn)行識別具體為:如有交通燈音頻提示,則通過采集音頻提示數(shù)據(jù)對交通燈路口進(jìn)行識別,否則,通過采集交通燈圖像進(jìn)行交通燈路口的識別。
進(jìn)一步的,還包括觸發(fā)模塊,所述觸發(fā)模塊用于發(fā)送觸發(fā)指令,觸發(fā)所述信息采集模塊采集人行橫道線圖像。
本發(fā)明實(shí)施例提出的用于人行橫道線處的盲人導(dǎo)航方法及裝置,首先識別人行橫道線,而后確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定,根據(jù)盲人距離人行橫道線的水平偏移量和偏移矯正角度,為盲人進(jìn)行導(dǎo)航,這樣就可以使得盲人在過人行橫道的過程中,實(shí)時(shí)得到自己位置與人行橫道線的位置偏差情況,從而根據(jù)確定的水平偏移量和偏移矯正角度實(shí)時(shí)矯正自己的行進(jìn)軌跡,從而能夠順利度過人行橫道,提高了盲人行走人行橫道的安全性。
附圖說明
圖1為本發(fā)明實(shí)施例提供的盲人導(dǎo)航方法的流程圖;
圖2中(a)手杖Z字形運(yùn)動(dòng)軌跡及實(shí)時(shí)視角圖解;(b)視障人士行走人行橫道線視角圖解;(c)相機(jī)廣角鏡頭原理圖;
圖3中(a)導(dǎo)盲手杖擺動(dòng)周期的分解;(b)導(dǎo)盲手杖在一個(gè)擺動(dòng)周期沿Z軸的加速度計(jì)讀數(shù);(c)在含噪人行橫道、盲道和柏油路上敲擊導(dǎo)盲手杖所得的音頻采樣特征信號
圖4為本發(fā)明實(shí)施例提供的盲人偏移矯正角度獲取示意圖;
圖5為本發(fā)明實(shí)施例提供的盲人導(dǎo)航裝置的結(jié)構(gòu)示意圖;
圖6為本發(fā)明實(shí)施例提供的盲人導(dǎo)航裝置的另一結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述,這里的描述不意味著對應(yīng)于實(shí)施例中陳述的具體實(shí)例的所有主題都在權(quán)利要求中引用了。
本發(fā)明下述各實(shí)施例提供用于人行橫道線處的盲人導(dǎo)航方法,需要利用移動(dòng)終端和導(dǎo)盲手杖結(jié)合使用,如:將移動(dòng)終端安裝在導(dǎo)盲手杖上,其中,移動(dòng)終端可以為手機(jī)、PAD等。
下述通過多個(gè)具體的實(shí)例進(jìn)行說明。
本發(fā)明實(shí)施例中以手機(jī)為例進(jìn)行說明。將手機(jī)安裝在導(dǎo)盲手杖上,當(dāng)盲人在用導(dǎo)盲手杖進(jìn)行走路時(shí),導(dǎo)航手杖在手中會(huì)經(jīng)歷一個(gè)曲折的運(yùn)動(dòng)軌跡,通過在導(dǎo)盲手杖上的手機(jī)的攝像頭進(jìn)行拍攝,模擬廣角鏡頭,可以了解盲人的行走軌跡。
圖1為本發(fā)明提供的一種用于人行橫道線處的盲人導(dǎo)航方法的流程圖。如圖1所示,該方法可包括:
S101、識別人行橫道線;
具體地,利用手機(jī)的攝像頭進(jìn)行盲人在人行橫道線行走圖像的拍攝,然后通過圖像識別算法對人行橫道線進(jìn)行識別。
S102、確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定;
進(jìn)一步的,確定盲人距離人行橫道線的水平偏移量具體為:根據(jù)所述導(dǎo)盲手杖行走圖像,確定盲人距離人行橫道線的最短連線的長度,和盲人距離人行橫道線的最短連線與水平線的夾角,根據(jù)所述長度和所述夾角,確定所述水平偏移量。
具體實(shí)施方式如下:
因?yàn)槔檬謾C(jī)的攝像頭即相機(jī)模塊進(jìn)行照片的拍攝,相機(jī)模塊在盲人用導(dǎo)盲手杖行走過程中會(huì)有最佳視角,引入角度檢測范圍r來描述相機(jī)所拓寬的最佳角度即內(nèi)置攝像頭的擴(kuò)展視角。假設(shè)將相機(jī)的最佳視角設(shè)置為α,將β和γ分別定義為導(dǎo)盲手杖左旋轉(zhuǎn)角度和右旋轉(zhuǎn)角度。如圖2所示,通過幾何分析,我們可以得到導(dǎo)盲手杖的角度檢測范圍為r≈α+β+γ。
由于導(dǎo)盲手杖在運(yùn)動(dòng)過程中無法捕獲清晰人行橫道線信息,因此設(shè)定一個(gè)圖像自動(dòng)獲取機(jī)制尤為關(guān)鍵。本發(fā)明在實(shí)施過程中,可以利用手機(jī)內(nèi)置加速度傳感器波形變化作為拍攝信號,也可以利用導(dǎo)盲手杖敲擊地面時(shí)短暫的穩(wěn)定間隙來作為拍攝人行橫道線的穩(wěn)定時(shí)刻指示器,結(jié)合閾值檢測方法使用麥克風(fēng)模塊跟蹤碰撞信號,具體如圖3所示。通過自動(dòng)生成拍攝信號,能夠很好的觸發(fā)攝像頭獲取人行橫道線信息即采集人行橫道線圖像。
獲取清晰的人行橫道線圖像后,盲人導(dǎo)航裝置將會(huì)利用傳感器來讀取盲人與人行橫道線的相對位置,相對位置通過<旋轉(zhuǎn)角度(θ),水平位移(d)>進(jìn)行描述,具體按照:
其中,μ+β為在盲人左邊拍攝的角度;μ+γ為在盲人右邊拍攝的角度。
μ為靠近盲人最近的條紋線到水平線的夾角,水平位移用來引導(dǎo)視覺障礙者行至最靠近行人的人行橫道線中央,s為盲人到最靠近的人行橫道線之間的直線距離。由相機(jī)給定的校正信息(焦距f),相機(jī)的方向(已經(jīng)得到的β和γ)和距離地面的高度,我們可以進(jìn)一步估算出水平偏移量d為d=s·cos(μ)+l/2,其中l(wèi)為人行橫道線的長度。
進(jìn)一步的,確定偏移矯正角度具體為:獲取盲人行進(jìn)中相鄰的兩點(diǎn)間的行走距離和前進(jìn)角度,根據(jù)行走距離和前進(jìn)角度確定偏移矯正角度。
在計(jì)算機(jī)視覺中,我們設(shè)計(jì)了一個(gè)基于幾何分析的增量行走指標(biāo)(an Incremental Walking headings Rectification scheme簡稱IWR)。如圖4所示:
假設(shè)盲人在人行橫道線上行走距離a后轉(zhuǎn)入第一條子軌跡到達(dá)b點(diǎn),單位行走距離h依照經(jīng)驗(yàn)設(shè)置成30cm。當(dāng)給定單位行走距離h和盲人的前進(jìn)角度θj,可以通過以下方程計(jì)算最小角θmin和最大角θmax,從而引導(dǎo)盲人根據(jù)最小角θmin和最大角θmax,做出及時(shí)恰當(dāng)?shù)恼{(diào)整。
具體地,按照最大角和最小角的平均值作為行走方向來引導(dǎo)盲人行走。
公式中,l為斑馬線長度,w為斑馬線寬度,a為初始點(diǎn)已經(jīng)行走的距離,θj為初始點(diǎn)的偏移角度,根據(jù)各個(gè)路段具體的情況,每個(gè)路段斑馬線的長度,寬度以及設(shè)置方向都是固定的,l和w可以在系統(tǒng)中預(yù)設(shè),同時(shí)根據(jù)手機(jī)中的羅盤可以得出盲人的行走方向,將其與道路預(yù)設(shè)方向?qū)Ρ燃纯傻玫匠跏计平嵌圈?sub>j。
S103、根據(jù)水平偏移量和偏移矯正角度,進(jìn)行導(dǎo)航。
在得到水平偏移量和偏移矯正角度后,根據(jù)水平偏移量和偏移矯正角度,為盲人進(jìn)行導(dǎo)航。
具體地,導(dǎo)航的方式可以通過語音播報(bào)的方式。本發(fā)明實(shí)施例對此并不做具體限定。
本發(fā)明實(shí)施例提出的用于人行橫道線處的盲人導(dǎo)航方法,首先識別人行橫道線,而后確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定;根據(jù)盲人距離人行橫道線的水平偏移量和偏移矯正角度,為盲人進(jìn)行導(dǎo)航,這樣就可以使得盲人在過人行橫道的過程中,實(shí)時(shí)得到自己位置與人行橫道線的位置偏差情況,從而根據(jù)確定的水平偏移量和偏移矯正角度實(shí)時(shí)矯正自己的行進(jìn)軌跡,從而能夠順利度過人行橫道,提高了盲人行走人行橫道的安全性。
進(jìn)一步的,在識別人行橫道線之前,還包括步驟:對交通燈路口進(jìn)行識別,其中,對交通燈路口進(jìn)行識別具體為:如有交通燈音頻提示,則通過采集音頻提示數(shù)據(jù)對交通燈路口進(jìn)行識別,否則,通過采集交通燈圖像進(jìn)行交通燈路口狀況的識別。
具體地,對于沒有紅綠燈音頻提示的交通燈路口,可以利用手機(jī)的攝像頭采集紅綠燈圖像,通過融合級聯(lián)Adaboost與顏色過濾的自動(dòng)識別算法,利用Adaboost迭代算法對紅綠燈進(jìn)行定位,然后,在HSI色彩模型的色調(diào)子空間進(jìn)行顏色分析,對紅綠燈進(jìn)行過濾與分類。
Adaboost是一種迭代算法,其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器),然后把這些弱分類器集合起來,構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。其算法本身是通過改變數(shù)據(jù)分布來實(shí)現(xiàn)的,它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確,以及上次的總體分類的準(zhǔn)確率,來確定每個(gè)樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練,最后將每次訓(xùn)練得到的分類器最后融合起來,作為最后的決策分類器。使用Adaboost分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征,并放在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。通過Adaboost對采集的紅綠燈圖像中的紅綠燈進(jìn)行定位。
HSI模型是美國色彩學(xué)家孟塞爾(H.A.Munseu)于1915年提出的,它反映了人的視覺系統(tǒng)感知彩色的方式,以色調(diào)、飽和度和亮度三種基本特征量來感知顏色。
HSI模型的建立基于兩個(gè)重要的事實(shí):①I分量與圖像的彩色信息無關(guān);②H和S分量與人感受顏色的方式是緊密相聯(lián)的。這些特點(diǎn)使得HSI模型非常適合彩色特性檢測與分析。
這樣,可以在對紅綠燈進(jìn)行定位后,利用HSI色彩模型,對紅綠燈的顏色進(jìn)行識別,從而確定當(dāng)前是否交通燈路口,并且是紅燈還是綠燈,路人是否應(yīng)該通行。
RGB轉(zhuǎn)HSI:HSI色彩空間和RGB色彩空間只是同一物理量的不同表示法,因而它們之間存在著轉(zhuǎn)換關(guān)系。具體的轉(zhuǎn)換關(guān)系如下:
例如我們采集的樣本顏色RGB為(255,0,0)其中R=255,G=0,B=0。
我們利用公式
其中,R,G,B分別代表輸入彩色圖像像素點(diǎn)在R、G、B三個(gè)通道的元素值;
min(R,G,B)表示輸入彩色圖像像素點(diǎn)R,G,B三個(gè)元素值中的最小值;色調(diào)分量H的取值范圍為[0,2π],飽和度分量S的取值范圍為[0,1],亮度值分量I的取值范圍為[0,255],通過實(shí)時(shí)獲取路口紅綠燈圖像信息,通過HSI指標(biāo)判斷交通指示燈的狀況,從而引導(dǎo)盲人行走或者等待。
進(jìn)一步的,如果在交通燈路口有紅綠燈音頻提示,則利用手機(jī)中的麥克風(fēng)進(jìn)行聲音的采集。因?yàn)榻煌籼崾镜囊纛l存在音短、急促并按照周期變化的特點(diǎn),所以在人行橫道路口采集的聲音的音頻標(biāo)準(zhǔn)差明顯高于街道其他位置收集的信號,樣本特征比較明顯。
具體地,還包括步驟,判斷采集提示音頻標(biāo)準(zhǔn)差是否在預(yù)設(shè)到達(dá)路口音頻信號閾值范圍內(nèi),是,則確定到達(dá)交通燈路口,否,則不是交通燈路口,其中,閾值可以根據(jù)經(jīng)驗(yàn)確定。
進(jìn)一步的,在對交通燈路口進(jìn)行識別之后還包括步驟:發(fā)出觸發(fā)指令,觸發(fā)采集人行橫道線圖像。
具體地,在確定到達(dá)交通燈路口后,盲人導(dǎo)航裝置發(fā)出觸發(fā)指令,觸發(fā)采集人行橫道線圖像。
具體地,可以通過檢測手機(jī)內(nèi)置加速度傳感器采集數(shù)據(jù)的波形變化,在波形變化符合預(yù)設(shè)條件時(shí),觸發(fā)手機(jī)的攝像頭進(jìn)行人行橫道線圖像的采集。
因?yàn)槊と送ǔ6紩?huì)使用導(dǎo)盲手杖,還可以通過檢測手機(jī)麥克風(fēng)采集的導(dǎo)盲手杖敲擊地面時(shí)的聲音,在聲音信號滿足預(yù)設(shè)閾值條件時(shí),觸發(fā)手機(jī)的攝像頭進(jìn)行人行橫道線的圖像采集。
進(jìn)一步的,在識別人行橫道線之前還包括步驟:采集人行橫道線圖像,對應(yīng)的,識別人行橫道線具體為:采用Hough變換識別人行橫道線。
Hough變換是一種使用表決原理的參數(shù)估計(jì)技術(shù)。其原理是利用圖像空間和Hough參數(shù)空間的點(diǎn)-線對偶性,把圖像空間中的檢測問題轉(zhuǎn)換到參數(shù)空間。通過在參數(shù)空間里進(jìn)行簡單的累加統(tǒng)計(jì),然后在Hough參數(shù)空間尋找累加器峰值的方法檢測直線。Hough變換的實(shí)質(zhì)是將圖像空間內(nèi)具有一定關(guān)系的像元進(jìn)行聚類,尋找能把這些像元用某一解析形式聯(lián)系起來的參數(shù)空間累積對應(yīng)點(diǎn)。在參數(shù)空間不超過二維的情況下,這種變換有著理想的效果。
通過Hough變換,將人行橫道線圖像中的人行橫道線提取出來。
如圖5所示,本實(shí)施例還提供了一種用于人行橫道線處的盲人導(dǎo)航裝置,包括:
第一識別模塊21,用于識別人行橫道線;
確定模塊22,用于確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,所述水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定;
導(dǎo)航模塊23,用于根據(jù)水平偏移量和偏移矯正角度,進(jìn)行導(dǎo)航。
本發(fā)明實(shí)施例提出的用于人行橫道線處的盲人導(dǎo)航裝置,首先識別人行橫道線,而后確定盲人距離人行橫道線的水平偏移量和偏移矯正角度,其中,所述水平偏移量和偏移矯正角度通過采集導(dǎo)盲手杖行走圖像確定,根據(jù)盲人距離人行橫道線的水平偏移量和偏移矯正角度,為盲人進(jìn)行導(dǎo)航,這樣就可以使得盲人在過人行橫道的過程中,實(shí)時(shí)得到自己位置與人行橫道線的位置偏差情況,從而根據(jù)確定的水平偏移量和偏移矯正角度實(shí)時(shí)矯正自己的行進(jìn)軌跡,從而能夠順利度過人行橫道,提高了盲人行走人行橫道的安全性。
進(jìn)一步的,如圖6所示,還包括信息采集模塊24,信息采集模塊24用于采集人行橫道線圖像。信息采集模塊24還用于采集導(dǎo)航手杖行走圖像。
進(jìn)一步的,如圖6所示,還包括第二識別模塊25,第二識別模塊25用于對交通燈路口進(jìn)行識別。
進(jìn)一步的,第二識別模塊25中對交通燈路口進(jìn)行識別具體為:如有交通燈音頻提示,則通過采集音頻提示數(shù)據(jù)對交通燈路口進(jìn)行識別,否則,通過采集交通燈圖像進(jìn)行交通燈路口的識別。
進(jìn)一步的,還包括觸發(fā)模塊26,觸發(fā)模塊26用于發(fā)送觸發(fā)指令,觸發(fā)信息采集模塊24采集人行橫道線圖像。
其中,信息采集模塊可以通過安裝在導(dǎo)航手杖上的手機(jī)的傳感器、攝像頭、電子羅盤、麥克風(fēng)等來獲取數(shù)據(jù)信息。
手機(jī)內(nèi)置有多個(gè)傳感器,如加速度傳感器、陀螺儀可以用來采集加速度數(shù)據(jù)、角速度數(shù)據(jù),手機(jī)中內(nèi)置攝像頭可以用來錄像和拍攝照片,手機(jī)中內(nèi)置的麥克風(fēng)可以用來采集語音數(shù)據(jù),盲人可以利用自己的手機(jī)可以對所在的地理位置進(jìn)行感知數(shù)據(jù)的采集,如拍攝該地理位置的路況照片,并且讀取拍攝時(shí)的地理位置的經(jīng)緯度,陀螺儀的角度,光照等傳感器信息。
麥克風(fēng)還可以用來采集盲人周圍環(huán)境的音頻,根據(jù)采集音頻來識別用戶的一些環(huán)境,如是處于街道還是處于交通燈路口等。
還可以通過麥克風(fēng)采集盲人用導(dǎo)盲手杖敲擊地面的聲音的特點(diǎn)來識別盲人當(dāng)前的狀態(tài)。
另外,也可以通過拍攝照片,通過圖像識別來確定盲人的位置,是否處于交通燈路口、是否處于人行橫道線處,及在人行橫道線處的位置等信息。
通過手機(jī)上的電子羅盤可以用來確定盲人用導(dǎo)盲手杖的正面朝向,從而確定盲人的行走方向。
其中,人行橫道線圖像和導(dǎo)盲手杖行走圖像可以相同,也可以不同。如果,導(dǎo)盲手杖行走圖像中包括有人行橫道線,也可以通過識別導(dǎo)盲手杖行走圖像對人行橫道線進(jìn)行識別。
本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí),執(zhí)行包括上述各方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
最后應(yīng)說明的是:以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述各實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。