本發(fā)明屬于模式識別技術、圖像處理技術、視障人士輔助技術領域，涉及一種人行道交通燈檢測系統(tǒng)和方法。

背景技術：

視覺信息是人類識別周圍環(huán)境的最重要信息來源，人類獲得的信息80％左右是從視覺系統(tǒng)輸入的。根據(jù)世界衛(wèi)生組織統(tǒng)計，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對顏色、形狀的理解很困難?，F(xiàn)在，他們中的許多人使用白手杖或導盲犬協(xié)助自己的日常生活。顯然，白手杖不足以在旅行期間解決所有的困難。導盲犬可以引導視障人士以避免在道路上行走時的危險，但是因為訓練導盲犬需要很大的成本，它們不能用于所有視覺障礙者。因此，手杖、導盲犬等傳統(tǒng)工具無法為他們出行提供充分的協(xié)助。

自從電子出行輔助(ETA)設備開發(fā)以來，已被視為一種輔助視障者在不同情況下出行的有效的方法。為了幫助用戶找到通路，許多輔助系統(tǒng)部署深度相機來檢測可及的路徑和障礙。然而，特定項目的識別，例如交通燈檢測，幾乎沒有集成在所有這些系統(tǒng)中。由于視力有限，視覺障礙者感覺很難穿越道路。市區(qū)有很多行人交通燈，但沒有都為視障人士配備聲音輔助設備。因此，對于視障者避免道路危險來說，檢測行人交通燈至關重要。

許多工作致力于解決交通燈檢測問題。然而，大多數(shù)當前的解決方案應用于自主車輛導航。在這些情況下，相機相對于承載者是靜止的。盲人輔助應用截然不同，人行橫道和交通燈可以位于圖像的任何位置，并且由手持相機捕獲的視頻是不穩(wěn)定的。車輛交通燈具有圓形或箭頭形狀，背景也很簡單，例如天空。但人行道交通燈具有復雜的形狀，而且在背景中不顯著。因此，用于視覺障礙者的人行道交通燈檢測算法必須足夠健壯，以應對各種環(huán)境。作為對視障人士的輔助方法，檢測算法應該具有非常低的虛警率，這對于用戶的安全是十分重要的。另外，實時性也是算法的一個要求。因為算法必須在便攜式平臺中實現(xiàn)，有限的系統(tǒng)資源需要有效的算法來維持適度的幀速率。

技術實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種人行道交通燈檢測系統(tǒng)和方法。

本發(fā)明的目的是通過以下技術方案實現(xiàn)的：一種人行道交通燈檢測系統(tǒng)，所述系統(tǒng)包含一個彩色相機，一個小型處理器，一個耳機模塊，一個電池模塊。彩色相機與小型處理器相連，電池模塊與小型處理器相連。彩色相機實時地采集周圍場景的彩色圖像，小型處理器對獲取的彩色圖像進行處理，將識別到的交通燈信息，轉化為聲音信號，并傳給耳機模塊，進而給用戶。

上述系統(tǒng)的人行道交通燈檢測方法如下:

(1)彩色相機采集到的彩色圖像Color，類似于圖3，傳給小型處理器進行處理。

(2)在HSV空間中進行合格像素提取。HSV空間三通道的取值范圍為Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素為滿足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)對所有合格像素，采用區(qū)域生長法提取連通區(qū)域，每一個連通區(qū)域作為一個候選區(qū)域，計算該候選區(qū)域面積a；

(4)對于任意一個候選區(qū)域，建立覆蓋該候選區(qū)域的最小矩形區(qū)域，且該矩形區(qū)域的每一邊平行于彩色圖像的邊。并提取該最小矩形區(qū)域的高和寬，得到該最小矩形區(qū)域的高寬比r，以及填充率f(候選區(qū)域與最小矩形區(qū)域面積之比)；進一步對候選區(qū)域經(jīng)過尺寸a(連通域面積)，高寬比r和填充率f的篩選，篩選出a1<a<a2、r1<r<r2且f＞f1的合格的候選區(qū)域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面積。

(5)以最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域將高寬等比擴展為三到六倍，得到矩形擴展區(qū)域。計算該擴展矩形區(qū)域中，候選區(qū)域的平均亮度v1和候選區(qū)域以外的背景區(qū)域的平均亮度v2，篩選出v1>v2的矩形擴展區(qū)域作為檢測區(qū)域。

(6)將步驟5篩選得到的檢測區(qū)域進行灰度化處理，并統(tǒng)一像素大小，提取HOG或LBP圖像特征。

(7)根據(jù)圖像特征，通過SVM模型對檢測區(qū)域進行預測，得到預測結果；所述預測結果選自：(a)紅或黃人行道交通燈、(b)綠人行道交通燈、(c)非人行道交通燈。

(8)針對步驟7輸出的預測結果進行驗證，預測結果為(b)的情況下，若檢測區(qū)域色相均值h₁<Hue<h₂，則最后結果為綠燈；否則判定為非人行道交通燈。其中參數(shù)取值范圍為100<h₁<180，150<h₂<220。預測結果為(a)的情況下，若檢測區(qū)域包裹色相均值wh₁<WH<wh₂，則最后結果為紅燈。若檢測區(qū)域包裹色相均值wh₃<WH<wh₄，則最后結果為黃燈；否則判定為非人行道交通燈。其中參數(shù)取值范圍為90<wh1<140，170<wh2<210；210<wh₃<260，200<wh₄<290。包裹色相(WH)，定義為WH＝(Hue+180)mod 360。

(9)對第n-m幀圖像中的每個檢測區(qū)域建立預期區(qū)域，組成預期區(qū)域集合，并對每個預期區(qū)域構建一個容量為m檢測結果序列；通過以下方法對預期區(qū)域集合進行不斷更新，直到當前幀n：

將每一幀中所有檢測區(qū)域與前一幀的預期區(qū)域集合相匹配。如果檢測區(qū)域的中心不在任何一個預期區(qū)域的范圍內，則利用該檢測區(qū)域新建一個預期區(qū)域及對應的容量為m檢測結果序列。若檢測區(qū)域的中心在前一幀的預期區(qū)域內，則用該檢測區(qū)域的預期區(qū)域更新上一幀中匹配的預期區(qū)域，并將該檢測區(qū)域的檢測結果加入到檢測結果序列中。

所述預期區(qū)域的建立方法為：以該檢測區(qū)域的最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域進行高寬等比擴展30-60倍后得到的。

(10)統(tǒng)計每個預期區(qū)域對應的檢測結果序列中存儲的檢測結果，計算置信度其中signal表示紅黃綠三種檢測結果之一，

(11)選擇最大置信度的那個顏色作為最終紅綠燈檢測結果輸出，如圖4所示。

(12)輸出結果通過耳機模塊，用語音的形式傳遞給盲人。

步驟7中的SVM訓練模型，通過以下方法得到：

(1)彩色相機采集包含綠人行道交通燈的彩色圖像Color，傳給小型處理器進行處理。

(2)在HSV空間中進行合格像素提取。HSV空間三通道的取值范圍為Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素為滿足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)對所有合格像素，采用區(qū)域生長法提取連通區(qū)域，每一個連通區(qū)域作為一個候選區(qū)域，計算該候選區(qū)域面積a；

(4)對于任意一個候選區(qū)域，建立覆蓋該候選區(qū)域的最小矩形區(qū)域，且該矩形區(qū)域的每一邊平行于彩色圖像的邊。并提取該最小矩形區(qū)域的高和寬，得到該最小矩形區(qū)域的高寬比r，以及填充率f(候選區(qū)域與最小矩形區(qū)域面積之比)；進一步對候選區(qū)域經(jīng)過尺寸a(連通域面積)，高寬比r和填充率f的篩選，篩選出a1<a<a2、r1<r<r2且f＞f1的合格的候選區(qū)域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面積。

(5)以最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域將高寬等比擴展為三到六倍，得到矩形擴展區(qū)域。計算該擴展矩形區(qū)域中，候選區(qū)域的平均亮度v1和候選區(qū)域以外的背景區(qū)域的平均亮度v2，篩選出v1>v2的矩形擴展區(qū)域作為檢測區(qū)域。

(6)將步驟5篩選得到的檢測區(qū)域進行灰度化處理，并統(tǒng)一像素大小，提取HOG或LBP圖像特征。

(7)按照步驟1-6獲得黃人行道交通燈和紅人行道交通燈的HOG或LBP圖像特征。

對標記好的數(shù)據(jù)集使用SVM訓練，內核為LINEAR或RBF函數(shù)，使用交叉驗證方法得到最優(yōu)精度和召回率。

本方法相比以往的人行道交通燈檢測方法的優(yōu)勢主要在于：

1、誤檢測低，檢出率高。本方法能夠準確得到圖像中的人行道交通燈，能夠準確排除對車行道交通燈、車燈、廣告LED等干擾物體，并能夠從雜亂背景中檢出交通燈。

2、環(huán)境適用性。本方法能夠對強光、弱光，黑天、白夜等不同環(huán)境關照條件下的人行道交通燈準確檢出。

3、實時性好。本方法能夠在移動平臺上(如手機)實時地分析人行道交通燈，在各種狀況下沒有延遲，從而保證了視障人士安全性。

4、可移植性好。該系統(tǒng)核心部分是相機、處理器和耳機返回設備，可以方便移植到對于手機、平板等智能設備上。

附圖說明

圖1為視障人士人行道交通燈檢測系統(tǒng)的模塊連接示意圖；

圖2為視障人士人行道交通燈檢測系統(tǒng)的結構示意圖；

圖3為若干原始彩色圖像示意圖

圖4為人行道交通燈檢測效果，用相應的紅、綠或黃圓形色塊表示對應的檢測結果。

具體實施方式

如圖1所示，一種人行道交通燈檢測系統(tǒng)，所述系統(tǒng)包含一個彩色相機，一個小型處理器，一個耳機模塊，一個電池模塊。彩色相機與小型處理器相連，電池模塊與小型處理器相連。彩色相機實時地采集周圍場景的彩色圖像，小型處理器對獲取的彩色圖像進行處理，將識別到的交通燈信息，轉化為聲音信號，并傳給耳機模塊，進而給用戶。該系統(tǒng)可以設計成類似于圖2所述的眼鏡，以達到美觀效果。

該系統(tǒng)的人行道交通燈檢測方法包括以下步驟:

(1)彩色相機采集到的彩色圖像Color，類似于圖3，傳給小型處理器進行處理。

(2)在HSV空間中進行合格像素提取。HSV空間三通道的取值范圍為Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素為滿足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)對所有合格像素，采用區(qū)域生長法提取連通區(qū)域，每一個連通區(qū)域作為一個候選區(qū)域，計算該候選區(qū)域面積a；

(4)對于任意一個候選區(qū)域，建立覆蓋該候選區(qū)域的最小矩形區(qū)域，且該矩形區(qū)域的每一邊平行于彩色圖像的邊。并提取該最小矩形區(qū)域的高和寬，得到該最小矩形區(qū)域的高寬比r，以及填充率f(候選區(qū)域與最小矩形區(qū)域面積之比)；進一步對候選區(qū)域經(jīng)過尺寸a(連通域面積)，高寬比r和填充率f的篩選，篩選出a1<a<a2、r1<r<r2且f＞f1的合格的候選區(qū)域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面積。

(5)以最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域將高寬等比擴展為三到六倍，得到矩形擴展區(qū)域。計算該擴展矩形區(qū)域中，候選區(qū)域的平均亮度v1和候選區(qū)域以外的背景區(qū)域的平均亮度v2，篩選出v1>v2的矩形擴展區(qū)域作為檢測區(qū)域。

(6)將步驟5篩選得到的檢測區(qū)域進行灰度化處理，并統(tǒng)一像素大小，提取HOG或LBP圖像特征。

(7)根據(jù)圖像特征，通過SVM模型對檢測區(qū)域進行預測，得到預測結果；所述預測結果選自：(a)紅或黃人行道交通燈、(b)綠人行道交通燈、(c)非人行道交通燈。

(8)針對步驟7輸出的預測結果進行驗證，預測結果為(b)的情況下，若檢測區(qū)域色相均值h₁<Hue<h₂，則最后結果為綠燈；否則判定為非人行道交通燈。其中參數(shù)取值范圍為100<h₁<180，150<h₂<220。預測結果為(a)的情況下，若檢測區(qū)域包裹色相均值wh₁<WH<wh₂，則最后結果為紅燈。若檢測區(qū)域包裹色相均值wh₃<WH<wh₄，則最后結果為黃燈；否則判定為非人行道交通燈。其中參數(shù)取值范圍為90<wh1<140，170<wh2<210；210<wh₃<260，200<wh₄<290。包裹色相(WH)，定義為WH＝(Hue+180)mod 360。

(9)對第n-m幀圖像中的每個檢測區(qū)域建立預期區(qū)域，組成預期區(qū)域集合，并對每個預期區(qū)域構建一個容量為m檢測結果序列；通過以下方法對預期區(qū)域集合進行不斷更新，直到當前幀n：

將每一幀中所有檢測區(qū)域與前一幀的預期區(qū)域集合相匹配。如果檢測區(qū)域的中心不在任何一個預期區(qū)域的范圍內，則利用該檢測區(qū)域新建一個預期區(qū)域及對應的容量為m檢測結果序列。若檢測區(qū)域的中心在前一幀的預期區(qū)域內，則用該檢測區(qū)域的預期區(qū)域更新上一幀中匹配的預期區(qū)域，并將該檢測區(qū)域的檢測結果加入到檢測結果序列中。

所述預期區(qū)域的建立方法為：以該檢測區(qū)域的最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域進行高寬等比擴展30-60倍后得到的。

(10)統(tǒng)計每個預期區(qū)域對應的檢測結果序列中存儲的檢測結果，計算置信度其中signal表示紅黃綠三種檢測結果之一，

(11)選擇最大置信度的那個顏色作為最終紅綠燈檢測結果輸出，如圖4所示。

(12)輸出結果通過耳機模塊，用語音的形式傳遞給盲人。

步驟7中的SVM訓練模型，通過以下方法得到：

(1)彩色相機采集包含綠人行道交通燈的彩色圖像Color，傳給小型處理器進行處理。

(2)在HSV空間中進行合格像素提取。HSV空間三通道的取值范圍為Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素為滿足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)對所有合格像素，采用區(qū)域生長法提取連通區(qū)域，每一個連通區(qū)域作為一個候選區(qū)域，計算該候選區(qū)域面積a；

(4)對于任意一個候選區(qū)域，建立覆蓋該候選區(qū)域的最小矩形區(qū)域，且該矩形區(qū)域的每一邊平行于彩色圖像的邊。并提取該最小矩形區(qū)域的高和寬，得到該最小矩形區(qū)域的高寬比r，以及填充率f(候選區(qū)域與最小矩形區(qū)域面積之比)；進一步對候選區(qū)域經(jīng)過尺寸a(連通域面積)，高寬比r和填充率f的篩選，篩選出a1<a<a2、r1<r<r2且f＞f1的合格的候選區(qū)域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面積。

(5)以最小矩形區(qū)域的中心為擴展中心，對最小矩形區(qū)域將高寬等比擴展為三到六倍，得到矩形擴展區(qū)域。計算該擴展矩形區(qū)域中，候選區(qū)域的平均亮度v1和候選區(qū)域以外的背景區(qū)域的平均亮度v2，篩選出v1>v2的矩形擴展區(qū)域作為檢測區(qū)域。

(6)將步驟5篩選得到的檢測區(qū)域進行灰度化處理，并統(tǒng)一像素大小，提取HOG或LBP圖像特征。

(7)按照步驟1-6獲得黃人行道交通燈和紅人行道交通燈的HOG或LBP圖像特征。