本公開屬于計算機視覺和物體檢測
技術(shù)領(lǐng)域：
，尤其是涉及一種紅綠燈檢測與識別方法。
背景技術(shù)：
：在行車過程中自動檢測出前方的紅綠燈的位置和狀態(tài)是高級輔助駕駛和無人駕駛中一種重要的技術(shù)。通常情況下由于復(fù)雜的交通場景，劇烈變化的光照，以及相機的分辨率，使得紅綠燈的檢測變得比較困難。目前，對于紅綠燈的檢測方法有三大類：第一類是基于圖像處理的方法。該方法通過閾值分割，形態(tài)學(xué)變換等操作對圖像進行處理，得到圖片中感興趣的物體區(qū)域，然后通過特定的先驗知識，如區(qū)域連通性，長寬比，形狀，相對位置等，處理這些區(qū)域，層層篩選，最后得到的就是紅綠燈所在的區(qū)域，通過設(shè)定顏色閾值或利用特殊的顏色空間判斷出紅綠燈的顏色。R.deCharette等人在文獻“R.deCharetteandF.Nashashibi,RealtimevisualtrafficlightsrecognitionbasedonSpotLightDetectionandadaptivetrafficlightstemplates,IEEEIntelligentVehiclesSymposium,pp.358-363,2009”提出了一種紅綠燈檢測的方法，該方法通過圖像形態(tài)學(xué)變換，閾值分割，得到物體候選區(qū)域。接著利用外觀比來篩選候選區(qū)域，最后通過模板匹配來獲得紅綠燈的狀態(tài)。其不足之處是無法適應(yīng)多變的場景，閾值過于敏感，不夠魯棒。第二類是基于地圖定位的方法，通過準確的GPS測量和人工標注的紅綠燈信息，得到更加準確地紅綠燈先驗。在接近紅綠燈的時候，利用幾何變換得到物體的候選區(qū)域，然后在候選區(qū)域上進行分類。如V.John等人在文獻“V.John,K.Yoneda,Z.Liu,andS.Mita,SaliencyMapGenerationbytheConvolutionalNeuralNetworkforReal-TimeTrafficLightDetectionUsingTemplateMatching.IEEETrans.ComputationalImaging,vol.1,no.3,pp.159-173,Sept.2015”中提出通過GPS生成離線的顯著性地圖，利用車載相機參數(shù)在接近紅綠燈的時候，通過三角法獲得紅綠燈出現(xiàn)的區(qū)域，接著采用卷積神經(jīng)網(wǎng)絡(luò)和模板匹配來檢測紅綠燈類別。其不足在于過于依賴傳感器設(shè)備，同樣的效果下，成本過高。第三類是基于機器學(xué)習(xí)的方法，如Shi等人在文獻“Z.Shi,Z.Zhou,andC.Zhang,Real-TimeTrafficLightDetectionWithAdaptiveBackgroundSuppressionFilter.IEEETrans.IntelligentTransportationSystems,vol.17,no.3,pp.690-700,Oct.2015”中提出的方法，通過對訓(xùn)練集中的樣本進行學(xué)習(xí)，能夠自適應(yīng)的進行背景過濾，從而得到感興趣的目標區(qū)域，然后再對得到的結(jié)果進行分類?；跈C器學(xué)習(xí)可以有效的避免人工設(shè)置多種閾值，通過學(xué)習(xí)得到的模型，更加具有普適性。此類方法正逐漸成為目標檢測領(lǐng)域的主流算法。技術(shù)實現(xiàn)要素：本公開的實施例公開了一種紅綠燈檢測與識別方法，包括計算訓(xùn)練集的樣本的多個通道特征，池化多個通道特征以用于訓(xùn)練檢測器，計算輸入圖像的特征金字塔，以及使用所訓(xùn)練的檢測器通過滑動窗口對特征金字塔不同尺度的特征進行檢測以得到目標區(qū)域。在一些實施例中，使用非極大值抑制方法以選擇的閾值對所得到的目標區(qū)域進行篩選以得到最終目標區(qū)域。在一些實施例中，使用黒帽變換和邊緣檢測以選擇的閾值對最終目標區(qū)域進行精確化。在一些實施例中，利用訓(xùn)練集樣本的多個通道特征訓(xùn)練支持向量機多分類器。在一些實施例中，使用所訓(xùn)練的支持向量機多分類器預(yù)測精確化的最終目標區(qū)域中紅綠燈的類別。在一些實施例中，訓(xùn)練集包括作為正樣本的圖片和作為負樣本的圖片。在一些實施例中，多個通道特征包括顏色通道特征和梯度方向直方圖特征。在一些實施例中，池化多個通道特征包括對進行區(qū)域分割后的通道特征進行池化。在一些實施例中，訓(xùn)練檢測器包括采用決策樹森林來訓(xùn)練檢測器，以及通過多次迭代對每個階段得到的檢測器進行級聯(lián)。在一些實施例中，計算輸入圖像的特征金字塔包括計算不同尺度下輸入圖像的多個通道特征。本公開的實施例所公開的紅綠燈檢測與識別方法可以解決現(xiàn)有技術(shù)中的至少一些上述不足，解決復(fù)雜場景下的紅綠燈檢測問題。本公開的實施例通過學(xué)習(xí)物體的積分通道特征，并且通過池化對積分特征進行抽象，利用級聯(lián)的決策樹森林快速檢測出物體，同時利用紅綠燈特有的空間分布先驗對檢測目標進行約束，這可以有效的減少誤檢，進而提高檢測的精確度。使用本公開的方法，能夠在不同光照條件和天氣條件下得到較好的檢測效果，同時能夠有效地應(yīng)對形變的影響。附圖說明本公開提供了附圖以便于所公開內(nèi)容的進一步理解，附圖構(gòu)成本申請的一部分，但僅僅是用于圖示出體現(xiàn)發(fā)明概念的一些發(fā)明的非限制性示例，而不是用于做出任何限制。圖1是根據(jù)本公開一些實施例的紅綠燈檢測與識別方法的流程圖。圖2是根據(jù)本公開一些實施例的紅綠燈檢測與識別實驗結(jié)果的圖示。圖3是根據(jù)本公開一些實施例的紅綠燈檢測與識別實驗結(jié)果的圖示。具體實施方式下文將使用本領(lǐng)域技術(shù)人員向本領(lǐng)域的其它技術(shù)人員傳達他們工作的實質(zhì)所通常使用的術(shù)語來描述本公開的發(fā)明概念。然而，這些發(fā)明概念可體現(xiàn)為許多不同的形式，因而不應(yīng)視為限于本文中所述的實施例。提供這些實施例是為了使本公開內(nèi)容更詳盡和完整，并且向本領(lǐng)域的技術(shù)人員完整傳達其包括的范圍。也應(yīng)注意這些實施例不相互排斥。來自一個實施例的組件、步驟或元素可假設(shè)成在另一實施例中可存在或使用。在不脫離本公開的實施例的范圍的情況下，可以用多種多樣的備選和/或等同實現(xiàn)方式替代所示出和描述的特定實施例。本申請旨在覆蓋本文論述的實施例的任何修改或變型。對于本領(lǐng)域的技術(shù)人員而言明顯可以僅使用所描述的方面中的一些方面來實踐備選實施例。本文出于說明的目的，在實施例中描述了特定的數(shù)字、材料和配置，然而，領(lǐng)域的技術(shù)人員在沒有這些特定細節(jié)的情況下，也可以實踐備選的實施例。在其它情況下，可能省略或簡化了眾所周知的特征，以便不使說明性的實施例難于理解。此外，下文為有助于理解說明性的實施例，將各種操作依次描述為了多個離散的操作；然而，所描述的順序不應(yīng)當被認為是意味著這些操作必須依賴于該順序執(zhí)行。而是不必以所呈現(xiàn)的順序來執(zhí)行這些操作。下文中的“在一些實施例中”，“在一個實施例中”等短語可以或可以不指相同的實施例。術(shù)語“包括”、“具有”和“包含”是同義的，除非上下文中以其它方式規(guī)定。短語“A和/或B”意味著(A)、(B)或(A和B)。短語“A/B”意味著(A)、(B)或(A和B)，類似于短語“A和/或B”。短語“A、B和C中的至少一個”意味著(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。短語“(A)B”意味著(B)或(A和B)，即A是可選的。圖1示出了根據(jù)本公開一些實施例的紅綠燈檢測與識別方法的流程圖。本公開實施例中的紅綠燈檢測與識別使用預(yù)先準備的不同場景和光照條件下的紅綠燈的樣本作為正樣本，同時將一定數(shù)量的無紅綠燈的幀作為背景圖片。在構(gòu)成用于紅綠燈檢測與識別的訓(xùn)練集(即數(shù)據(jù)集)時，將作為正樣本的紅綠燈圖片以固定的尺寸輸入，而從無紅綠燈的背景圖片中按照所輸入正樣本的尺寸進行隨機取樣，得到負樣本。在作為正樣本的紅綠燈圖片原始尺寸不一時，可對其進行縮放以調(diào)整到固定尺寸。在一些實施例中，如上述抽取的正樣本與負樣本構(gòu)成用于后續(xù)機器學(xué)習(xí)過程的訓(xùn)練集，如步驟S101、S102、S103和S104所示。在步驟S105、S106中，計算包括正樣本和負樣本的訓(xùn)練集的多個通道特征。多個通道特征可以包括顏色通道、梯度大小和梯度方向直方圖特征等。在一些實施例中，可將訓(xùn)練集的樣本轉(zhuǎn)換到HSV顏色空間，并通過下式計算三個通道的特征：colorfeature(i,j)=H(i,j)S(i,j)V(i,j)---(1)]]>其中i,j代表圖片的空間坐標，H,S,V分別對應(yīng)三個不同通道的取值。H表示色彩，取值為0-254。例如，紅色對應(yīng)0，綠色對應(yīng)120，藍色對應(yīng)240；S表示飽和度即色彩的亮度；V表示色調(diào)。在一些實施例中，可計算訓(xùn)練集的樣本的梯度方向直方圖特征，樣本圖像中每個像素的梯度方向值可通過下式計算：Gx(x，y)＝H(x+1，y)-H(x-1，y)(2)Gy(x，y)＝H(x，y+1)-H(x，y-1)上式中H(x,y)表示灰度空間中的像素值，Gx(x，y)，Gy(x，y)分別表示在(x,y)處水平和垂直方向的梯度。由此可得梯度大小和方向為：G(x,y)=Gx(x,y)2+Gy(x,y)2---(3)]]>∂(x,y)=tan-1(Gy(x,y)Gx(x,y)).]]>然后可按照指定的單元大小，將單元中每個像素的梯度按方向在不同的區(qū)間進行投票。每個區(qū)間角度范圍為360/N，其中N為梯度方向的數(shù)量。最后即可得到整個單元的梯度方向直方圖，然后再將整個圖像的直方圖串聯(lián)起來，得到如下式所示梯度方向直方圖特征：gradfeature(i,j)=∂(i,j,n)---(4)]]>其中i,j為圖片的坐標，n＝1,2…N,表示不同梯度方向所對應(yīng)的區(qū)間號。在一些實施例中，整張圖像的特征可以表示為顏色通道特征和梯度方向直方圖特征的集合：Feature(i,j)=colorfeature(i,j)gradfeature(i,j)---(5)]]>按以上公式計算訓(xùn)練集樣本的多個通道特征之后，可以對所得到的通道特征進行區(qū)域分割，確定每一塊區(qū)域的大小作為池化的大小。然后對各個區(qū)域進行最大值池化(maxpooling)或平均值池化(averagepooling)，得到池化后的通道特征，如步驟S107所示。在一些實施例中，對池化之前和之后的通道特征進行處理，例如統(tǒng)一特征的維度，并將處理結(jié)果組合得到最終的通道特征以用于訓(xùn)練檢測器。在步驟S108中，采用決策樹森林來訓(xùn)練檢測器。在一些實施例中，可以通過AdaBoost算法，采用決策樹來訓(xùn)練檢測器。通過多次迭代對每個階段得到的檢測器進行級聯(lián)。在檢測器訓(xùn)練過程中對于Adaboost輸出層目標函數(shù)添加紅綠燈空間分布概率約束得到目標函數(shù)其中是空間分布概率，x和y是紅綠燈的空間坐標，ht(x)在此為決策樹分類器，αt為每個分類器對應(yīng)的權(quán)重。在步驟S109中，獲得經(jīng)訓(xùn)練的檢測器。接著可以輸入待分析的圖像，并計算輸入圖像的多尺度下的圖像特征。在步驟S110中將待測試的圖像作為輸入，并隨后在步驟S111中計算不同尺度的特征，用于構(gòu)建不同尺度的特征金字塔。在一些實施例中，采用下式計算不同尺度下圖像的多通道特征：Fs=R(F,s)×s-λΩ---(6)]]>其中Fs表示尺度s對應(yīng)的特征，R表示對圖像使用尺度s重采樣，F(xiàn)＝Ω(I)表示圖像對應(yīng)通道的特征，Ω對應(yīng)于不同的特征通道。而對應(yīng)于不同特征通道的參數(shù)λΩ通過聯(lián)立以下公式進行計算：μs=1NΣi=1NfΩ(Isi)/fΩ(Ii)---(7)]]>其中μs為統(tǒng)計數(shù)據(jù)集整體特征隨著尺度變換的均值。fΩ(Is1)/fΩ(Is2)=(s1/s2)-λΩ+ϵ---(8)]]>μs=s-λΩ+E[ϵ]---(9)]]>其中E[ε]表示誤差的期望值，fΩ(Is)為所有通道的加權(quán)和。fΩ(I)=Σi,j,kωi,j,kF(i,j,k)---(10)]]>其中ω特征是對應(yīng)通道的權(quán)重，k表示通道的序列。聯(lián)立求解得到λΩ后，可使用以下公式得到圖像的特征金字塔：Fs≈R(Fs′,s/s′)×(s/s′)-λΩ---(11)]]>其中Fs′是通過標準方法計算出來的特征，其它尺度s對應(yīng)的特征Fs通過上述公式進行近似得到。所有尺度S對應(yīng)的特征集合構(gòu)成特征金字塔。在步驟S111中得到特征金字塔所包括的待檢測圖像的不同尺度的特征后，通過使用步驟S109中訓(xùn)練的檢測器，在步驟S112中使用滑動窗口在各個尺度進行檢測從而得到步驟S113中所示的目標候選區(qū)域。在步驟S114中，在一些實施例中，對于得到的候選區(qū)域采用非極大值抑制方法以預(yù)先確定的閾值篩選出最終目標區(qū)域。非極大值抑制中可以對于檢測得到的邊界框計算其重疊率：overlap＝intersection(bbs)。如果overlap大于閾值τ，則只保留得分最高的bbsi。其中τ的取值設(shè)為0.5，bbs的得分由決策樹的節(jié)點對應(yīng)的閾值求和得到。應(yīng)注意本領(lǐng)域技術(shù)人員可以設(shè)想閾值的取值可以根據(jù)圖像和應(yīng)用場景的實際情況而任意進行選擇?？蛇x地，在一些實施例中可如步驟S115所示，對所得的最終目標區(qū)域采用黒帽變換和邊緣檢測，通過選擇合適的閾值進一步精確化最終目標區(qū)域。應(yīng)注意本領(lǐng)域技術(shù)人員可以設(shè)想閾值的取值可以根據(jù)圖像和應(yīng)用場景的實際情況而任意進行選擇。黒帽變換blackhat＝Close(I,filter)-I可以用于突出圖像中偏暗的區(qū)域，對非極大值抑制所得到的最終目標區(qū)域進行黒帽變換可以用來去除紅綠燈周圍的背景，獲得更加精確的紅綠燈區(qū)域。其中Close()為數(shù)學(xué)形態(tài)學(xué)中的閉運算，黒帽變換是圖像的閉運算與原圖像之差。在步驟S116中，得到精確化的最終目標區(qū)域?？蛇x地，在步驟S117中可以利用多尺度的特征金字塔特征使用支持向量機(SVM)訓(xùn)練一個多分類器，并對最終得到的檢測區(qū)域進行分類，從而確定紅綠燈的類別。在一些實施例中，可以利用上述訓(xùn)練集中的正負樣本以及之前計算的多通道特征訓(xùn)練一個SVM多分類器?？蓪?yīng)于精確化的最終目標區(qū)域，利用檢測時計算得到的通道特征以訓(xùn)練好的SVM模型進行預(yù)測從而得到紅綠燈的類別。本公開通過對多通道特征的利用，充分挖掘不同場景中紅綠燈的信息，使其得到更加準確的特征表達，通過池化操作可以有效的應(yīng)對形變帶來的影響。采用級聯(lián)的決策樹森林檢測器，能夠?qū)崿F(xiàn)對目標的快速檢測。通過添加空間分布概率約束，優(yōu)化檢測器目標函數(shù)，有效去除誤檢。使用滑動窗口充分搜索圖像所在空間，定位紅綠燈出現(xiàn)的區(qū)域，并通過形態(tài)學(xué)處理進一步精確檢測區(qū)域，從而提升物體檢測的效果。通過學(xué)習(xí)得到的模型能夠更好地擴展到不同的場景，同時能夠更好地應(yīng)對不同的光照變化等其它因素的影響。在中央處理器為i5-34703.2GHzCPU、內(nèi)存為16G、OS為WINDOWS10操作系統(tǒng)的環(huán)境下，運用MATLAB軟件對本公開實施例的方法進行了實驗驗證。實驗中使用的數(shù)據(jù)為的真實的道路場景視頻序列。在驗證過程中首先從34個預(yù)先標注好的視頻片段中選出包含有紅綠燈的圖像，并如以上步驟所述訓(xùn)練模型得到訓(xùn)練后的檢測器。然后按照上述步驟S110-S117對4個視頻進行實驗以檢測紅綠燈。將精確率和召回率，即查準率和查全率作為衡量檢測效果的指標，檢測效果如表格1和2所示。紅燈綠燈背景負樣本199421267258000表格1視頻序號幀數(shù)準確率召回率13600.99290.821324200.98540.878234820.97160.903343100.94860.9245表格2訓(xùn)練集中共有包括紅燈和綠燈的共4120個正樣本，從725個背景圖片中進行上文所述的隨機取樣，得到8000個樣本作為訓(xùn)練的負樣本。經(jīng)檢測，本文實施例的方法的平均精確率約為97.46％，平均召回率約為88.18％，這表明本方法的整體檢測性能較好。圖2和圖3分別示出了根據(jù)本公開一些實施例的紅綠燈檢測與識別實驗結(jié)果的圖示。圖2和圖3的結(jié)果顯示在雨天和強光照條件下本公開實施例的方法均能準確檢測出紅綠燈并判斷出紅燈和綠燈。本公開實施例的方法也具有足夠的魯棒性以應(yīng)對天氣和光照變化的影響。本文中的部分方法步驟和流程可能需要由計算機執(zhí)行，從而以硬件、軟件、固件及其任何組合的方式來實施，并且可以包括計算機可執(zhí)行的指令。該計算機可執(zhí)行的指令可以以計算機程序產(chǎn)品的形式存儲在機器可讀介質(zhì)上或者以從遠程服務(wù)器下載的方式進行提供，并由通用計算機、專用計算機和/或其他可編程數(shù)據(jù)處理裝置的一個或多個處理器讀取和執(zhí)行以實現(xiàn)方法步驟和流程中指明的功能/動作。機器可讀介質(zhì)包括但不限于軟盤、光盤、壓縮盤、磁光盤、只讀存儲器ROM、隨機存取存儲器RAM、可擦可編程ROM(EPROM)、電可擦可編程ROM(EEPROM)、存儲卡、閃存和/或電、光、聲以及其他形式的傳播信號(例如載波、紅外信號、數(shù)字信號等)。另外需注意，本文中的術(shù)語“和/或”可表示“和”、“或”、“異或”、“一個”、“一些但不是全部”、“兩者皆不”和/或“兩者皆是”，但在此方面并無限制。本文雖然已經(jīng)示出和描述了本公開的具體實施例，但對本領(lǐng)域技術(shù)人員顯然可以在不脫離所附權(quán)利要求書范圍的情況下進行眾多改變、變化和修改。另外，在上述具體實施方式中，可看到各種特征在單個實施例中組合在一起以便簡化公開內(nèi)容。此公開方式不應(yīng)解釋為反映要求保護的實施方式需要比每個權(quán)利要求項明確所述的具有更多特征。相反，如權(quán)利要求所反映的一樣，本公開的主題依賴的是比單個公開實施方式所有特征更少的特征。因此，權(quán)利要求書的每個權(quán)利要求項本身保持為單獨的完整的實施例。綜上，本領(lǐng)域技術(shù)人員將認識到在不脫離本公開的范圍和精神的情況下，可在更廣闊的各方面中進行改變和修改。所附權(quán)利要求書在其范圍內(nèi)涵蓋了落入本公開真實范圍和精神內(nèi)的所有此類改變、變化和修改。當前第1頁1 2 3