一種基于圖像處理的多信號(hào)燈識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像處理的多信號(hào)燈識(shí)別方法，包括：(1)對(duì)目標(biāo)區(qū)域進(jìn)行Top-Hat變換；(2)對(duì)變換后的目標(biāo)區(qū)域進(jìn)行灰度閥值分割，提取出發(fā)光區(qū)域；(3)通過(guò)幾何濾波對(duì)發(fā)光區(qū)域進(jìn)一步篩選，標(biāo)記出候選區(qū)域；(4)訓(xùn)練分類(lèi)器并使用分類(lèi)器對(duì)候選區(qū)域進(jìn)行分類(lèi)，確定信號(hào)燈區(qū)域；(5)通過(guò)概率分析確定信號(hào)燈的形狀。本發(fā)明通過(guò)對(duì)訓(xùn)練樣本進(jìn)行預(yù)處理，減輕了光暈的影響，更好地還原了信號(hào)燈的形狀特征，在處理中通過(guò)增加角度對(duì)取象過(guò)程中可能出現(xiàn)的抖動(dòng)等影響進(jìn)行了模擬得到的分類(lèi)器；本發(fā)明完全基于圖像處理，不需要對(duì)現(xiàn)有的信號(hào)燈設(shè)備進(jìn)行改造，實(shí)時(shí)性遠(yuǎn)高于分別調(diào)用識(shí)別圓形信號(hào)燈和識(shí)別箭頭形信號(hào)燈的算法。
【專(zhuān)利說(shuō)明】一種基于圖像處理的多信號(hào)燈識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像識(shí)別【技術(shù)領(lǐng)域】，具體涉及一種基于圖像處理的多信號(hào)燈識(shí)別方 法。

【背景技術(shù)】
[0002] 現(xiàn)在已經(jīng)有越來(lái)越多的研發(fā)部門(mén)或者科研單位關(guān)注汽車(chē)智能輔助系統(tǒng)的實(shí)現(xiàn)，在 信號(hào)燈識(shí)別方面也提出了各種方法：
[0003] 金濤等提出的基于NCC模板匹配的背板檢測(cè)（基于級(jí)聯(lián)濾波的交通信號(hào)燈識(shí)別方 法[M]，上海交通大學(xué)學(xué)報(bào)（自然版）.2012:1355-60.),但是匹配過(guò)程中只使用了單一模 板，模板的適應(yīng)性還有待探討。
[0004] Raoul de Charette等提出的自學(xué)習(xí)模板匹配算法用于信號(hào)燈識(shí)別（Real Time Visual Trafric Lights Recognition Based on Spot Light Detection and Adaptive Traffic Lights Templates [J]. Ieee Int Veh Sym, 2009, 358-63.)，并針對(duì)柱式交通信號(hào) 燈（相較于懸掛式信號(hào)燈的識(shí)別，背景更加復(fù)雜）的識(shí)別進(jìn)行了實(shí)驗(yàn)，算法效率和識(shí)別率較 高，但是并未涉及箭頭型信號(hào)燈的檢測(cè)。
[0005] CAI. Z等提出了箭頭型信號(hào)燈的識(shí)別方法（Real-time arrow traffic light recognition system for intelligent vehicle !proceedings ofthe The 16th International Conference on Image Processing, Computer Vision, &Pattern Recognition New York: IEEE Society, F，2012[C].)，通過(guò)建立信號(hào)燈樣本庫(kù)進(jìn)行模板匹 配，能夠?qū)崿F(xiàn)對(duì)箭頭型信號(hào)燈的實(shí)時(shí)檢測(cè)，但未能兼容圓形信號(hào)燈的識(shí)別。
[0006] Frank Lindner等在簡(jiǎn)單特征識(shí)別的基礎(chǔ)上，提出了使用前饋神經(jīng)網(wǎng)絡(luò)對(duì)信號(hào) 樣本進(jìn)行分類(lèi)(Robust recognition of traffic signals [J] ? 2004Ieee Intelligent Vehicles Symposium, 2004, 49-53.)，該方法對(duì)黑白、彩色相機(jī)都有涉及，并且針對(duì)不同樣 式（圓形和箭頭形）信號(hào)燈的識(shí)別設(shè)計(jì)了不同的算法，但是在圓形和箭頭形信號(hào)燈都存在 的場(chǎng)景下進(jìn)行識(shí)別時(shí)，需要分別執(zhí)行兩個(gè)算法。
[0007] 綜合以上可以看出，現(xiàn)有的信號(hào)燈識(shí)別方法，雖然基本可以達(dá)到實(shí)時(shí)準(zhǔn)確（運(yùn)行 時(shí)間IOOrns以?xún)?nèi)，圖像識(shí)別率90%以上）識(shí)別信號(hào)燈的要求，但是都只是針對(duì)圓形信號(hào)燈或 者箭頭形信號(hào)燈中的一種進(jìn)行了識(shí)別，對(duì)于部分城市圓形信號(hào)燈和箭頭形信號(hào)燈同時(shí)出現(xiàn) 在同一場(chǎng)景中的情況并沒(méi)有提出相應(yīng)的解決方案。


【發(fā)明內(nèi)容】

[0008] 針對(duì)現(xiàn)有技術(shù)所存在的上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于圖像處理的多信號(hào) 燈識(shí)別方法，以實(shí)現(xiàn)同一場(chǎng)景中多種形狀信號(hào)燈目標(biāo)的識(shí)別。
[0009] -種基于圖像處理的多信號(hào)燈識(shí)別方法，包括如下步驟：
[0010] (1)采集實(shí)景圖像，截取實(shí)景圖像中存在信號(hào)燈的區(qū)域作為目標(biāo)區(qū)域，并對(duì)目標(biāo)區(qū) 域進(jìn)行Top-Hat變換（頂帽算法）；
[0011] (2)對(duì)變換后的目標(biāo)區(qū)域進(jìn)行灰度分割，從中提取出若干發(fā)光區(qū)塊；
[0012] (3)依次通過(guò)顏色標(biāo)記和幾何濾波對(duì)發(fā)光區(qū)塊進(jìn)一步篩選，從中提取出信號(hào)燈候 選區(qū)塊；
[0013] (4)利用樣本訓(xùn)練出信號(hào)燈分類(lèi)器，進(jìn)而使用分類(lèi)器對(duì)信號(hào)燈候選區(qū)塊進(jìn)行區(qū)分， 從中確定出真正的信號(hào)燈區(qū)塊；
[0014] (5)通過(guò)計(jì)算信號(hào)燈區(qū)塊為箭頭型信號(hào)燈的概率，以確定信號(hào)燈區(qū)塊的形狀，進(jìn)而 輸出信號(hào)燈的顏色及狀態(tài)。
[0015] 所述的步驟（2)中使目標(biāo)區(qū)域中每一像素的灰度值與灰度閥值進(jìn)行比較，將灰度 值大于等于灰度閥值的像素的發(fā)光屬性值標(biāo)記為1，灰度值小于灰度閥值的像素的發(fā)光屬 性值標(biāo)記為〇 ;進(jìn)而從目標(biāo)區(qū)域中將發(fā)光屬性均為1且相互鄰接的若干像素所組成的區(qū)塊 提取出來(lái)作為發(fā)光區(qū)塊。
[0016] 所述的步驟（3)中根據(jù)以下表達(dá)式對(duì)發(fā)光區(qū)塊的每一像素進(jìn)行顏色標(biāo)記：
[0017]

【權(quán)利要求】
1. 一種基于圖像處理的多信號(hào)燈識(shí)別方法，包括如下步驟： (1) 采集實(shí)景圖像，截取實(shí)景圖像中存在信號(hào)燈的區(qū)域作為目標(biāo)區(qū)域，并對(duì)目標(biāo)區(qū)域進(jìn) 行Top-Hat變換； (2) 對(duì)變換后的目標(biāo)區(qū)域進(jìn)行灰度分割，從中提取出若干發(fā)光區(qū)塊； (3) 依次通過(guò)顏色標(biāo)記和幾何濾波對(duì)發(fā)光區(qū)塊進(jìn)一步篩選，從中提取出信號(hào)燈候選區(qū) 塊； (4) 利用樣本訓(xùn)練出信號(hào)燈分類(lèi)器，進(jìn)而使用分類(lèi)器對(duì)信號(hào)燈候選區(qū)塊進(jìn)行區(qū)分，從中 確定出真正的信號(hào)燈區(qū)塊； (5) 通過(guò)計(jì)算信號(hào)燈區(qū)塊為箭頭型信號(hào)燈的概率，以確定信號(hào)燈區(qū)塊的形狀，進(jìn)而輸出 信號(hào)燈的顏色及狀態(tài)。
2. 根據(jù)權(quán)利要求1所述的多信號(hào)燈識(shí)別方法，其特征在于：所述的步驟（2)中使目標(biāo) 區(qū)域中每一像素的灰度值與灰度閥值進(jìn)行比較，將灰度值大于等于灰度閥值的像素的發(fā)光 屬性值標(biāo)記為1，灰度值小于灰度閥值的像素的發(fā)光屬性值標(biāo)記為0 ;進(jìn)而從目標(biāo)區(qū)域中將 發(fā)光屬性均為1且相互鄰接的若干像素所組成的區(qū)塊提取出來(lái)作為發(fā)光區(qū)塊。
3. 根據(jù)權(quán)利要求1所述的多信號(hào)燈識(shí)別方法，其特征在于：所述的步驟（3)中根據(jù)以 下表達(dá)式對(duì)發(fā)光區(qū)塊的每一像素進(jìn)行顏色標(biāo)記：
其中：Binary為像素的顏色屬性值，Hrad，yell_為對(duì)應(yīng)紅黃兩色的顏色屬性設(shè)定值，Hg_n 為對(duì)應(yīng)綠色的顏色屬性設(shè)定值，Tpt和TB分別為像素在紅、綠、藍(lán)三個(gè)顏色通道的亮度值， I?ref、I?refi、I?ref2、Gref、Grefi、Gref2、Brefi、Bref2、Bref3、Bref4 均為預(yù)設(shè)的顏色亮度限定值； 然后，對(duì)于任一發(fā)光區(qū)塊，將其中顏色屬性值均為民6(^611_或均為Hgraen且相互鄰接的 若干像素所組成的區(qū)塊提取出來(lái)進(jìn)行幾何濾波，若符合幾何濾波約束則將這若干像素所組 成的區(qū)塊作為信號(hào)燈候選區(qū)塊。
4. 根據(jù)權(quán)利要求1所述的多信號(hào)燈識(shí)別方法，其特征在于：所述的步驟（4)中采集多 份正樣本和負(fù)樣本用以訓(xùn)練信號(hào)燈分類(lèi)器；所述的正樣本為采集的實(shí)景圖像中包含信號(hào)燈 及其外殼且經(jīng)Top-Hat變換后的圖像區(qū)域或該圖像區(qū)域通過(guò)三維空間旋轉(zhuǎn)產(chǎn)生的圖像樣 本；所述的負(fù)樣本為采集的實(shí)景圖像中不包含信號(hào)燈且經(jīng)Top-Hat變換后的圖像區(qū)域。
5. 根據(jù)權(quán)利要求3所述的多信號(hào)燈識(shí)別方法，其特征在于：所述的步驟（5)中確定信 號(hào)燈區(qū)塊形狀的具體過(guò)程如下： 首先，為信號(hào)燈區(qū)塊構(gòu)建外接矩形框，并按以下三種形式截取該矩形框的四個(gè)角：a.截取左邊兩個(gè)角為三角形，右邊兩個(gè)角為矩形；b.截取左邊兩個(gè)角為矩形，右邊兩個(gè)角 為三角形；c.截取上邊兩個(gè)角為三角形，下邊兩個(gè)角為矩形； 然后，根據(jù)以上的三種形式通過(guò)以下算式計(jì)算出信號(hào)燈區(qū)塊對(duì)應(yīng)的三組概率值：
其中：P為概率值，Ni為第i個(gè)角區(qū)域中顏色屬性值為或Hg_n的像素的總個(gè) 數(shù)；Si為第i個(gè)角區(qū)域的面積； 最后，使求得的三組概率值與對(duì)應(yīng)的概率閾值比較，若三組概率值均比對(duì)應(yīng)的概率閾 值小，則判定信號(hào)燈區(qū)塊的形狀為圓形；若只有一組概率值比對(duì)應(yīng)的概率閾值大，則進(jìn)一步 判斷該概率值所對(duì)應(yīng)的截取形式：若為形式a，則判定信號(hào)燈區(qū)塊的形狀為左箭頭；若為形 式b，則判定信號(hào)燈區(qū)塊的形狀為右箭頭；若為形式c，則判定信號(hào)燈區(qū)塊的形狀為上箭頭。
【文檔編號(hào)】G06K9/00GK104408424SQ201410692728
【公開(kāi)日】2015年3月11日 申請(qǐng)日期:2014年11月26日 優(yōu)先權(quán)日:2014年11月26日
【發(fā)明者】楊國(guó)青, 李紅, 吳晨, 逄偉, 吳朝暉 申請(qǐng)人:浙江大學(xué), 江蘇蘿卜交通科技有限公司