一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法
【專利摘要】本發(fā)明公開一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法，主要包括用于獲取整個路口的全景視頻圖像的無死角的全方位視覺傳感器；對視頻圖像進行分割、用深度卷積神經(jīng)網(wǎng)絡(luò)分析關(guān)鍵處車輛擁堵的狀態(tài)，并將處理結(jié)果及控制命令發(fā)給信號燈控制器的計算機；用于接收所述計算機的控制命令并對路口信號燈進行控制的信號燈控制器。本發(fā)明能有效地解決交叉路口處車輛擁堵的狀態(tài)情況下出現(xiàn)與“綠燈行、紅燈停”的交通規(guī)則相桲的窘境，能有效防止由于闖綠燈行為所導致的大面積交通擁堵的發(fā)生，極大減輕交警的執(zhí)法難度和執(zhí)法強度。
【專利說明】
-種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計算機技術(shù)、模式識別、人工智能、應用數(shù)學W及生物視覺技術(shù)在智能 交通領(lǐng)域的應用，尤其設(shè)及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法。
【背景技術(shù)】
[0002] 目前我國各城市道路中設(shè)有紅黃綠指示信號燈、"箭頭"信號燈、多相位信號燈等； 隨著車輛保有量急劇增加，交通高峰期期間時常會出現(xiàn)清空不楊的擁堵和下游排隊溢出的 擁堵問題;按照新交通法規(guī)機動車遇有前方交叉路口交通阻塞時，應停在路口 W外等候，目 前道路路口的信號燈上方會有一些相應的警示牌告知駕駛員。對于未依次停在路口 W外等 候，在綠燈時進入路口并滯留的被認為是一種交通違法行為。
[0003] "闖綠燈"是指雖然信號燈為綠燈時，但在交通擁堵的情況下駛?cè)虢徊媛房?，運樣 可能會造成更加堵塞交通的行為?！吨腥A人民共和國道路交通安全法實施條例》第五十=條 規(guī)定:機動車遇前方交叉路口交通阻塞時，應當依次停在路口 W外等候，不得進入路口。如 果出現(xiàn)類似情況將可能被處W罰款100元、記2分的處罰。
[0004] 但是在許多人看來，"闖綠燈"可能并不算是違法行為，但是危害并不小。車輛在綠 燈時進入路口并滯留，而當該行車方向變?yōu)榧t燈，相交叉方向變?yōu)榫G燈時，交叉方向車輛無 法順利駛過路口，造成路口交叉擁堵，影響周邊路段交通。出現(xiàn)上述情況是與我們原來"綠 燈行、紅燈停"的交通規(guī)則相梓的，也對交通執(zhí)法帶來了極大地難度；目前的狀況，如果在交 通高峰期期間沒有交警在現(xiàn)場，許多車輛在高峰時間會有"闖綠燈"行為，從而導致路口堵 塞，繼而影響周邊路口的車輛行駛，嚴重時可福射至主干道的交通，進而對整個市區(qū)某個區(qū) 域的交通產(chǎn)生影響。
[0005] 為了在交通法規(guī)上不造成容易混淆現(xiàn)象，在路口出口相位出現(xiàn)清空不楊的擁堵和 下游排隊溢出的擁堵情況時，理想的信號燈控制方式是強制將信號燈的狀態(tài)設(shè)置為紅燈； 運樣就不會出現(xiàn)所謂的"闖綠燈"行為，同時也極大地降低了交警的執(zhí)法強度和執(zhí)法難度。 要實現(xiàn)上述目標，需要有一種對路口清空不楊的擁堵和下游排隊溢出的擁堵檢測技術(shù)W及 相對應的信號燈控制技術(shù)。
[0006] 近年來，視頻檢測技術(shù)己成為智能交通領(lǐng)域最重要的信息采集手段，綜合評比，將 視頻檢測技術(shù)應用于高速公路和城市道路具有極大的實際應用價值，基于視頻車輛及路況 識別系統(tǒng)，將全面提升城市道路的信息采集和安全管理的水平，在智能交通系統(tǒng)中會發(fā)揮 越來越重要的作用。
[0007]車輛的視覺識別，國內(nèi)外很多學者進行了相關(guān)研究。論文"Robert T. ColIins, Alan J.Lipton,Hironobu Fuj iyoshi, and Takeo Kanade.Algorith rns For cooperative multisensor surveillanee. In Proceedings of the IEEE"披露了一個路 上移動目標的檢測、跟蹤、識別系統(tǒng)，用訓練過的神經(jīng)網(wǎng)絡(luò)來識別運動目標是人、人群、車輛 還是干擾，網(wǎng)絡(luò)的輸入特性量有目標的分散性度量、目標大小目標表面大小與攝影機監(jiān)視 區(qū)域大小的相對值。上述技術(shù)基本上還需要人工來完成特征抽取，更大的問題是：1)受具體 應用環(huán)境的影響太大，各類檢測算法要求的條件太苛刻;2)受自然環(huán)境影響太大，特別是光 照影響;3)檢測算法十分耗時。
[000引申請?zhí)枮?01510012867.3的中國專利申請公開了一種能提示并防止機動車綠燈 跟進阻塞路口 W及闖紅燈的系統(tǒng)和方法，檢測越過停止線的機動車的速度;計算W該機動 車速度通過路口所需要的通行時間，實時監(jiān)測當前該放行方向綠燈的剩余時間，如果所需 的通行時間大于綠燈的剩余時間，則通過提示單元提示機動車不要進入路口。通過該方式， 可W在路口即將發(fā)生擁堵時，就能通過提示的方式，提示車輛不要進入路口，因此可W有效 的防止路口即將發(fā)生擁堵時，機動車看到綠燈繼續(xù)跟進現(xiàn)象的發(fā)生，保證了路口不擁堵方 向的楊通。在此基礎(chǔ)上，該方案還提供了對闖紅燈違法行為的監(jiān)控，對于非綠燈時進入路口 的車輛進行拍照，有效對闖紅燈行為進行了監(jiān)管。
[0009] 路口清空不楊的擁堵和下游排隊溢出的擁堵視覺檢測技術(shù)，可W簡單理解為是一 種路況視覺識別技術(shù)，即通過攝像機獲取路口及下游入口的視頻圖像，通過計算機視覺的 方式分析視頻圖像中是否存在著大量的車輛，如果車輛在路口及下游入口處所占道路的面 積比超過一個闊值并持續(xù)時間超過一個闊值就將進入該下游入口處的上游出口處的信號 燈強制設(shè)置為紅燈。
[0010] 綜上所述，采用計算機視覺的路況識別，目前尚存在著如下若干個棘手的問題：1) 如何從復雜的背景中準確定位分割出被測車輛的整體圖像并在每帖圖像中準確地框出其 大小;2)如何降低天氣光照等條件的影響，增加系統(tǒng)的自適應性和魯棒性;3)如何兼顧好識 別精度和檢測效率，同時盡可能減少訓練和學習時間。
【發(fā)明內(nèi)容】
[0011] 為了克服已有的路況視覺識別技術(shù)中的自動化和智能化水平低、缺乏深度學習、 難W對適應環(huán)境天氣變化、難W準確提取出用于識別的車輛整體圖像、難W用視覺方式對 路口清空不楊的擁堵和下游排隊溢出的擁堵進行檢測、難W兼顧識別精度與時間和檢測效 率等不足，本發(fā)明提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法，在檢測方法上 能有效提高車輛與路況的視覺識別的自動化和智能化水平、能較好適應環(huán)境天氣變化具有 廣泛的自適應性、能保證在較好的檢測識別精度基礎(chǔ)上有實時檢測識別能力、能較好解決 車輛與路況識別的復雜性和推廣性的矛盾具有較佳的普適性。在交通法規(guī)方面能有效避免 出現(xiàn)闖綠燈行為等容易混淆現(xiàn)象出現(xiàn)。
[0012] 要實現(xiàn)上述
【發(fā)明內(nèi)容】
，必須要解決幾個核屯、問題：（1)設(shè)計一種車輛對象的快速視 覺定位識別算法；（2)研發(fā)一種快速檢測出交叉路口及下游入口處車輛擁堵的狀態(tài)的算法； (3)設(shè)計一種根據(jù)交叉路口及下游入口處車輛擁堵狀態(tài)的信號燈自動控制方法。
[0013] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0014] 首先，對四岔路口的下游入口處的發(fā)生擁堵及溢出的情況有一個全局的了解，如 圖1所示，圖中的西向方向上車輛已發(fā)生擁堵，按照目前的交通法規(guī)就不允許其他相位中的 車輛再駛?cè)胛飨蚍较蛏系南掠稳肟谔?，如圖1中的朝東的E2、朝北的No和朝南的Si,由于目前 技術(shù)上的問題，只是在信號燈上面用相應的警示牌進行了提示，而信號燈的狀態(tài)并未設(shè)置 成紅燈，運種"綠燈行、紅燈停"的交通規(guī)則相梓的窘境給交警執(zhí)法帶來了很多困難;理想的 情況是當檢測到上述狀態(tài)出現(xiàn)時，將如圖1中的朝東的E2、朝北的No和朝南的Si的信號燈強 制的設(shè)置為紅色。
[0015] 同樣道理，對于在四岔路口內(nèi)發(fā)生擁堵的情況，就應該強制地將路口的信號燈全 部設(shè)置成紅燈，避免闖綠燈行為發(fā)生，只有在四岔路口內(nèi)發(fā)生擁堵解除的情況才恢復常態(tài) 的周期性信號燈控制。
[0016] 本發(fā)明中將下游入口處和岔口內(nèi)區(qū)域部分稱為關(guān)鍵處，視覺檢測路況的關(guān)注區(qū)域 只限于關(guān)鍵處，W四岔路口為例，本發(fā)明只關(guān)注四個方向的下游入口處和岔口內(nèi)區(qū)域部分；
[0017] -種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法的系統(tǒng)硬件包括用于獲取整 個路口的全景視頻圖像的無死角的全方位視覺傳感器;對整個路口的全景視頻圖像進行分 害d、用深度卷積神經(jīng)網(wǎng)絡(luò)分析路口及下游入口處車輛擁堵的狀態(tài)，并將處理結(jié)果及控制命 令發(fā)給信號燈控制器的計算機;用于接收所述計算機的控制命令并對路口信號燈進行控制 的信號燈控制器;用于路口的交通狀態(tài)進行管理和控制輸出的交通信號燈;所述的無死角 的全方位視覺傳感器通過視頻線與所述的計算機連接，所述的計算機通過控制總線與所述 的信號燈控制器連接，所述的信號燈控制器主要分為常態(tài)的周期信號燈控制和擁堵情況時 的非常態(tài)信號燈強制控制模式，直接驅(qū)動所述的交通信號燈;在所述的非常態(tài)信號燈強制 控制模式下，強制地將路口的信號燈全部設(shè)置成紅燈，避免人員或車輛繼續(xù)進入擁堵的路 口內(nèi)，從而防止闖綠燈行為發(fā)生。
[0018] 為了獲取與圖1所示的路口及所有下游入口處的視頻圖像，本發(fā)明采用了一種無 死角的全方位視覺傳感器，詳細見中國發(fā)明專利申請?zhí)枮?00710066757.0，成像原理如圖5 所示;無死角的全方位視覺傳感器安裝在交叉路口中間的正上方，如圖3所示;通過計算機 對全景圖像進行圖像分割和展開等處理得到交叉路口及各下游入口處的視頻圖像;對于四 岔路口，圖2所示是四岔路口從上游出口處到下游入口處的車流指向，本發(fā)明將全景圖像分 割成1幅交叉路口和4幅不同下游入口處的視頻圖像，即分割成關(guān)鍵處圖像；
[0019] 圖4所示的是一幅某下游入口處的視頻圖像，首先是對該視頻圖像進行處理，定位 識別出在該區(qū)域內(nèi)的所有車輛;本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)車輛的識別與定位， 并在視頻圖像中框出車輛的位置與大小，為統(tǒng)計交叉路口及下游入口處車輛擁堵的狀態(tài)做 好數(shù)據(jù)準備;其次，根據(jù)被測圖像中框出的各車輛位置與大小統(tǒng)計出車輛所占面積;然后計 算車輛所占面積與下游入口處的道路面積的比，得到擁堵指數(shù);接著進行判斷，如果擁堵指 數(shù)超過某一闊值，就對擁堵時間進行計時；如果連續(xù)擁堵超過時間闊值就強制設(shè)置相關(guān)相 位的信號燈為紅燈，圖3所示的是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法的系 統(tǒng)框圖，用無死角的全方位視覺傳感器來獲取整個路口的全景視頻圖像，用計算機對全景 視頻圖像進行分割、用深度卷積神經(jīng)網(wǎng)絡(luò)分析路口及下游入口處車輛擁堵的狀態(tài)，并將處 理結(jié)果及控制命令發(fā)給信號燈控制器;信號燈控制器根據(jù)控制命令對路口的信號燈進行控 審IJ，信號燈控制器中的控制主要分為常態(tài)的周期信號燈控制和擁堵情況時的非常態(tài)信號燈 強制控制模式，圖7所示為本發(fā)明中交通信號燈控制方法的系統(tǒng)控制流程框圖；
[0020] 在圖7所示的框圖中主要分為車輛的視覺檢測、識別與定位和基于深度卷積神經(jīng) 網(wǎng)絡(luò)的交通信號燈控制算法兩個重要部分；
[0021] (1)車輛的視覺檢測、識別與定位;本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對交叉路口 及下游入口處的視頻圖像進行處理，具體實現(xiàn)如下：
[0022] 在深度卷積神經(jīng)網(wǎng)絡(luò)中，有W下幾種最主要的層：
[0023] I)卷積運算層，每個神經(jīng)元會和上一層的若干小區(qū)域連接，計算權(quán)重和小區(qū)域像 素的內(nèi)積;2)池化層，理解成一個下采樣，得到的結(jié)果維度就變少;3)激活層，是神經(jīng)元激勵 層，本發(fā)明中采用的是ReLU,計算的是max(0，x);4)全連接層，全連接層一般用于最后計算 類別得分，運一層的所有神經(jīng)元會和上一層的所有神經(jīng)元有連接。卷積層和全連接層包含 權(quán)重和偏移的；而激活層和池化層只是一個固定的函數(shù)運算，是不包含權(quán)重和偏移參數(shù)的。 卷積層、全連接層和池化層包含超參數(shù)，激活層沒有超參數(shù)。
[0024] 卷積層的參數(shù)由一系列的可訓練/學習的過濾器構(gòu)成。在前向計算過程中，輸入一 定區(qū)域大?。▽扻高）的數(shù)據(jù)，過濾器點乘后，得到新的二維數(shù)據(jù)，然后滑過一個個濾波器， 組成新的3維輸出數(shù)據(jù)。每個過濾器都只關(guān)屯、過濾數(shù)據(jù)小平面內(nèi)的部分特征，當出現(xiàn)它學習 到的特征的時候，就會呈現(xiàn)激活狀態(tài)。
[0025] 局部感受野。運是卷積神經(jīng)網(wǎng)絡(luò)的獨特之處其中之一，在高維數(shù)據(jù)中，用全連接的 神經(jīng)網(wǎng)絡(luò)，實際工程中基本是不可行的。卷積神經(jīng)網(wǎng)絡(luò)中每一層的神經(jīng)元只會和上一層的 一些局部區(qū)域相連，運就是所謂的局部感受野。上一層的數(shù)據(jù)區(qū)，有一個滑動的窗口，只有 運個窗口內(nèi)的數(shù)據(jù)會和下一層神經(jīng)元有關(guān)聯(lián)，運樣就要求設(shè)定一個超參數(shù)，即窗口大小。運 里將窗口的寬和高設(shè)定相等，我們把寬X高的窗口稱為局部感受野。實際的計算中，運個窗 口是W-定的步長來滑動，從而覆蓋圖片的所有小區(qū)域。每個局部感受野的權(quán)值共享。
[0026] 從輸入的數(shù)據(jù)到輸出數(shù)據(jù)，有S個超參數(shù)決定了輸出數(shù)據(jù)的維度，分別是深度，步 長和填充值:所謂深度指的是卷積層中和上一層同一個輸入?yún)^(qū)域連接的神經(jīng)元個數(shù)。所謂 步長指的是窗口從當前位置到下一個位置，跳過的中間數(shù)據(jù)個數(shù)。所謂填充值指的是在原 始圖像數(shù)據(jù)的周邊補上0值的圈數(shù)。
[0027] -個完整的深度卷積神經(jīng)網(wǎng)絡(luò)就是由上述幾種基本層疊加組成的，如圖6所示。本 發(fā)明采用24個卷積層和2個全連接層疊加的深度卷積神經(jīng)網(wǎng)絡(luò)，最終的輸出是對7 X 7個網(wǎng) 格的預測，每個網(wǎng)格預測3類對象的概率和坐標。
[00%]第一層卷積層，填充值是3，64個過濾器，窗口大小為7 X 7，步長為2，輸出特征為 224 X 224 X 64，然后進行l(wèi)eaky ReliJ激活層1處理，經(jīng)過池化層1進行最大池化2 X 2的核，步 長為1，得到[(224-1+1)/2]+1 = 112特征，總的特征為112X112X64,然后進行正則化處理；
[0029] 第二層卷積層，填充值是1，窗口大小為3X3,3個過濾器，步長為1，輸出為112 X 112 X 192，然后進行l(wèi)eaky ReL陽敦活層2處理，經(jīng)過池化層2進行最大池化2 X 2的核，步長為 2，輸出為56 X 56 X 256，然后進行分裂分成四個支線；
[0030] 第S層卷積層，開始時起始模塊，運個的思想受到使用不同尺度的Gabor過濾器來 處理多尺度問題，起始模塊采用不同尺度的卷積核來處理問題，分為四個支線：
[0031] 1:1 X 1 的卷積核輸出 28 X 28 X 128;
[0032] 2:3 X 3的卷積核輸出 28 X 28 X 256;
[0033] 3:1 X 1的卷積核輸出28 X 28 X 256;
[0034] 4:3 X 3的卷積核輸出 28 X 28 X 512;
[0035] 將四個結(jié)果進行連接，經(jīng)過池化層3進行最大池化2X2的核，步長為2,輸出為28X 28X512；
[0036] 第四層卷積層，思想與第=層雷同，將上述的結(jié)果又分成四條支線：
[0037] 1~2:4個1 X 1的卷積核和4個3 X 3卷積核輸出14 X 14 X 512;
[003引 3:1 X I的卷積核輸出14 X 14 X 512;
[0039] 4:3 X 3卷積核輸出 14 X 14X1024;
[0040] 將四個結(jié)果進行連接，經(jīng)過池化層4進行最大池化2X2的核，步長為2,輸出為14X 14X1024；
[0041] 第五層卷積層，思想與第=層雷同，將上述的結(jié)果又分成四條支線：
[0042] 1~2:2個1 X 1 X512的卷積核和2個3X3X 1024卷積核輸出7X7 X 1024;
[0043] 3:1 X 1 X 1024的卷積核輸出7 X7 X 1024;
[0044] 4:3 X 3 X 1024卷積核，步長為2，輸出為7 X 7 X 1024;
[0045] 將四個結(jié)果進行連接，輸出為7X7 X 1024;
[0046] 第六層卷積層，思想與第=層雷同，將上述的結(jié)果又分成二條支線：
[0047] 1:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024;
[004引 2:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024;
[0049] 將二個結(jié)果進行連接，輸出為7X7 X 1024;
[0050] 第屯層全連接層，輸出為IX 4092;
[0051] 第八層全連接層，輸出為7X7X30,最后預測類的概率和包圍框，使用邏輯激活函 數(shù)；
[0052] 卷積層和全連接層包含訓練參數(shù)，leaky ReLU激活層和池化層不包含訓練參數(shù)； 從第=層開始到第六層為止每個層中都有分支，運樣增加了深度卷積神經(jīng)網(wǎng)絡(luò)的寬度，能 有效提升深度卷積神經(jīng)網(wǎng)絡(luò)的檢測精度；
[0053] 深度卷積神經(jīng)網(wǎng)絡(luò)訓練時，網(wǎng)絡(luò)前20層加一個最大池化層及兩個全連接層進行訓 練;深度卷積神經(jīng)網(wǎng)絡(luò)的最后一層使用邏輯激活函數(shù)，其他層使用leaky ReLU,如公式（1) 所示；
[0054]
Cl)
[0055] 式中，X為輸入，4 (X)為輸出；為了避免過擬合，運里使用dropout和數(shù)據(jù)增加技 術(shù)，使得深度卷積神經(jīng)網(wǎng)絡(luò)具有較好的稀疏性；
[0056] 進一步，說明深度卷積神經(jīng)網(wǎng)絡(luò)的視覺檢測、定位及分類原理;首先將一幅圖像分 成SXS個網(wǎng)格，如圖4所示，如果某個對象的中屯、落在運個網(wǎng)格中，則運個網(wǎng)格就負責預測 運個對象;每個網(wǎng)格要預測B個邊緣框，每個邊緣框除了要回歸自身的位置之外，還要附帶 預測一個信任值;運個信任值代表了所預測的框中含有對象的置信度和運個框預測的有多 準兩重信息，用公式(2)進行計算；
[0化7]
設(shè))
[005引式中，Pr(Object)表示對象落在網(wǎng)格中的概率，如果有對象落在一個網(wǎng)格里，Pr (object) = 1，否則Pr(Object) = 0; Io巧若是預測的邊緣框和實際的ground truth之間的 IoU值，loU，即intersection over union表示預測的邊緣框和實際的ground truth之間的 交集；
[0化9] 每一個邊緣框由X，Y，W，H和信任值5個預測值構(gòu)成，（X，Y)坐標代表邊緣框的中屯、 坐標值，W、H代表邊緣框的寬度和高度，信任值是預測的邊緣框和實際的ground truth之間 的IoU值；
[0060] 每個網(wǎng)格還要預測一個類別信息，記為C類。貝化XS個網(wǎng)格，每個網(wǎng)格要預測B個邊 緣框還要預測C個類。輸出就是SXSX (5XB+C)的一個張量;運里，類信息是針對每個網(wǎng)格 的，信任值信息是針對每個邊緣框的；由于本發(fā)明運用于道路上的對象視覺檢測，因此運里 只關(guān)屯、車輛、行人和騎車的3類對象，即C = 3。
[0061] 每個網(wǎng)格還預測C類的條件概率，PHclass I Object),運個概率是在包含一個對象 的網(wǎng)格單元上的條件概率，運樣我們可W只預測每一個網(wǎng)格單元中的一組類的概率，而不 需要考慮邊緣框的數(shù)量B;在測試的時候，每個網(wǎng)格預測的類信息和邊緣框預測的信任值信 息相乘，就得到每個邊緣框的類特殊置信度，公式(3)所示，
[0062]
(3：)
[0063] 式中，Pr(Object)表示對象落在網(wǎng)格中的概率，Iou;:二是預測的邊緣框和實際的 ground truth之間的IoU值，PHclassi I Object)表示對象中出現(xiàn)某種類的條件概率，Pr (classi)表示某種類的出現(xiàn)概率；公式(3)左邊第一項就是每個網(wǎng)格預測的類別信息，第 二、=項就是每個邊緣框預測的信任值。運個乘積編碼了預測的屬于某一類的概率和該邊 緣框準確度的信息；
[0064] 運里我們選擇S = 7，B = 2,運樣預測結(jié)果中共有7X7X(5X化20) = 1470張量；
[0065] 得到每個邊緣框的類特殊置信度W后，設(shè)置一個闊值，濾掉得分低的邊緣框，對保 留的邊緣框進行非極大值抑制處理，就得到最終的檢測結(jié)果。
[0066] 每個網(wǎng)格中共有30維信息，在運30維信息中，2個邊緣框的8維信息是回歸邊緣框 的坐標，2個邊緣框的2維信息是邊緣框的信任值，還有20維信息是類別。其中坐標的x、y用 對應網(wǎng)格的偏移歸一化到0~1之間，邊緣框的w、h用被測圖像的寬和高歸一化到0~1之間。
[0067] 在實現(xiàn)中，如何設(shè)計一個好的損失函數(shù)，使得邊緣框的坐標、邊緣框的信任值和類 別運=個方面得到很好的平衡;8維的定位誤差和20維的分類誤差應該有所區(qū)分輕重；另 夕h如果在一個網(wǎng)格中沒有對象，那么就會將運些網(wǎng)格中的邊緣框的信任值設(shè)定為0,相比 于較少的有對象的網(wǎng)格，運種做法會導致網(wǎng)絡(luò)不穩(wěn)定甚至發(fā)散；
[0068] 為了解決上述問題，在本發(fā)明中，深度卷積神經(jīng)網(wǎng)絡(luò)輸出使用平方和誤差，并引入 尺度因子A對類概率和包圍框的誤差進行加權(quán)，同時為了反映出偏離在大的包圍框中的影 響比較小，使用包圍框的寬和高的平方根，最終的損失函數(shù)用公式(4)表示；
[0069]
(64)
[0070] 式中，、DDrd為在網(wǎng)格中對象坐標預測的尺度因子，AnDDbj為在網(wǎng)格中沒有對象的邊 緣框的尺度因子，Uf表示第i個網(wǎng)格中第j個邊緣框中有對象存在，表示第i個網(wǎng)格中 第j個邊緣框中沒有對象存在，Df表示第i個網(wǎng)格中有對象存在，S2表示被測圖像中分割的 網(wǎng)格數(shù)目，B表示網(wǎng)格中的邊緣框的個數(shù)，Xi、^分別表示第i個網(wǎng)格中對象在X軸上的實際坐 標值和預測坐標值，yi、裘分別表示第i個網(wǎng)格中對象在y軸上的實際坐標值和預測坐標值， Wi、兩分別表示第i個網(wǎng)格中對象的實際寬度值和預測寬度值，hi、矣分別表示第i個網(wǎng)格中 對象的實際高度值和預測高度值，Ci、4分別表示第i個網(wǎng)格中的實際信任值和預測信任值， Pik)、A(t)分別表示第i個網(wǎng)格中的實際出現(xiàn)對象的概率和預測出現(xiàn)對象的概率;公式(4) 中的第一項用于對坐標的預測，第二項用于對含對象的邊緣框的信任值進行預測，第=項 用于對不包含對象的邊緣框的信任值進行預測，第四項是對對象中的類別進行預測；
[0071] 具體做法是：1)運里更為重視8維的坐標預測，給運些損失前面賦予更大的損失比 重，記、DDrd為在網(wǎng)格中對象坐標預測的尺度因子，在本發(fā)明的數(shù)據(jù)集訓練中取值為5;2)對 沒有對象的邊緣框的信任值損失，賦予小的損失比重，記AnDDW為在網(wǎng)格中沒有對象的邊緣 框的尺度因子，在本發(fā)明的數(shù)據(jù)集訓練中取值為〇.5;3)在網(wǎng)格中有對象的邊緣框的信任值 損失和類別的損失比重，取值為1;
[0072] 另外，在對不同大小的邊緣框位置預測中，相比于大的邊緣框位置預測偏一點，小 的邊緣框的預測位置稍偏一點肯定也是不能被接受的，運是因為平方和誤差損失中對同樣 的偏移損失將一視同仁處理。為了緩和運個問題，運里將邊緣框的寬和高取平方根計算來 代替原來直接的寬和高的計算，使得小的邊緣框的預測位置更敏感;用圖8說明就很容易理 解，小的邊緣框的橫軸X值較小，在發(fā)生偏移時，反應到y(tǒng)軸上相比要比大的邊緣框更敏感。
[0073] 49個網(wǎng)格單元，每個網(wǎng)格單元包含20個概率預測值，一共就有980個預測值，有時 候只有少數(shù)網(wǎng)格有對象物體存在，運樣嚴重的稀疏可能會導致最終所有的概率都為0,導致 訓練過程發(fā)散；
[0074] 針對運一問題，在每個網(wǎng)格單元引入額外變量，用于表示在此網(wǎng)格存在物體的概 率。運樣在某一位置的車輛的類別概率就可W計算出來，即：
[00"75] Pr(Xar)=Pr(Object)XPrKarlObject) (5)
[0076] 公式(5)中的車輛存在概率在每個網(wǎng)格處都更新，而條件概率只在那些含有車輛 的網(wǎng)格處才更新，運樣就能避免概率為0的問題；
[0077] 通過上述計算，得到了每個關(guān)鍵處的圖像中各車輛位置與大小信息。
[0078] (2)基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制算法
[0079] 基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制算法如下；
[0080] STEPl:首先根據(jù)路口的各關(guān)鍵處被測圖像中框出的各車輛位置與大小統(tǒng)計出車 輛所占面積，面積計算方式如公式(6)所示；
[0081 ]
(6)
[0082] 式中，WI,1為某關(guān)鍵處圖像中在第i個網(wǎng)格中有車輛對象的寬度值，hi,1為某關(guān)鍵處 圖像中在第i個網(wǎng)格中有車輛對象的高度值;Al, car為路口的某關(guān)鍵處的被測圖像中框出的 各車輛所占的面積;A〇,car、AE,car、As,car、Aw,car和AN,car分別表不交叉口中間、東向、南向、西向 和北向下游入口處的車輛所占的面積，關(guān)鍵處lG{〇，E，S，W，N};
[0083] STEP2:然后計算關(guān)鍵處車輛所占面積與關(guān)鍵處的道路面積的比，用公式(7)計算 得到擁堵指數(shù)，
[0084]
(7)
[0085] 式中，Al,road為關(guān)鍵處的道路面積，Al,car為被測圖像的關(guān)鍵處各車輛所占的面積， Indexi, C。。為某關(guān)鍵處的擁堵指數(shù)，關(guān)鍵處I G{o，E，S，W，N};
[0086] STEP3:判斷所有關(guān)鍵處的擁堵指數(shù)Indexi,c〇n>Tc是否成立;Tc為擁堵指數(shù)闊值， 如果都不成立跳轉(zhuǎn)到STEPl;
[0087] 516?4:記錄那個擁堵指數(shù)1]1(1糾1,。。。>1'。的關(guān)鍵處的1，開始對擁堵時間進行計時； 7; <= 7'/ + A7' ;Ti表示某關(guān)鍵處的計時時間；
[00則 STEP5:判斷所有關(guān)鍵處的擁堵時間Ti>化是否成立，化為擁堵時間闊值，如果都不 成立跳轉(zhuǎn)到STEPl;
[0089] STEP6:將擁堵時間超過闊值關(guān)鍵處的非常態(tài)標識Fi,C=I,發(fā)送命令給信號燈控制 器，通知該關(guān)鍵處發(fā)生了擁堵，信號控制轉(zhuǎn)入非常態(tài)信號燈強制控制模式；
[0090] STEP7:判斷所有關(guān)鍵處的Indexi,。。。《0.7 X T。是否成立，如果成立將非常態(tài)標識 Fi, C = O ,Ti = O，跳轉(zhuǎn)到STEPl。
[0091] 關(guān)鍵處的道路面積Al,rnad是在安裝好攝像機后，用戶在圖像中框定出圖像中關(guān)鍵 處的道路部分后，如圖9所示，然后通過統(tǒng)計計算圖像中被框的像素方式得到的；所謂關(guān)鍵 處是指道路岔口的下游入口處和道路岔口的中間部分，對于四岔路口有四個下游入口處和 一個道路岔口的中間部分的五個關(guān)鍵處。
[0092] 本發(fā)明的有益效果主要表現(xiàn)在：
[0093] 1)實現(xiàn)了一種基于深度學習的深度卷積神經(jīng)網(wǎng)絡(luò)視覺檢測方法，能全自動的檢 、定位和識別道路上的車輛對象；
[0094] 2)實現(xiàn)了一個真正意義上的使用一個基于深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端的車輛 檢測、定位和識別的框架，并具有適用于車輛目標的形態(tài)多樣性，光照變化多樣性，背景多 樣性等環(huán)境下快速、高精度和魯棒性的車輛和路況識別；
[00%] 3)提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制算法，有效地解決了在下 游入口處車輛擁堵的狀態(tài)情況下出現(xiàn)與"綠燈行、紅燈停"的交通規(guī)則相梓的窘境；
[0096] 4)有效的防止了由于闖綠燈行為所導致的大面積交通擁堵的發(fā)生，極大的減輕了 交警的執(zhí)法難度和執(zhí)法強度。
【附圖說明】
[0097] 圖1為道路岔口發(fā)生下游入口處擁堵的情況說明圖；
[0098] 圖2為交通信號燈相位控制說明圖；
[0099] 圖3為一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制算法的系統(tǒng)框圖；
[0100] 圖4為下游入口處的被測圖像劃分為SXS個網(wǎng)格說明圖；
[0101 ]圖5為一種無死角的全景攝像機成像原理圖；
[0102] 圖6為深度卷積神經(jīng)網(wǎng)絡(luò)圖；
[0103] 圖7為基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制系統(tǒng)的流程框圖；
[0104] 圖8為對小的邊緣框的預測位置更敏感的處理方法說明圖；
[0105] 圖9為在四岔路口定制道路關(guān)鍵處說明圖。
【具體實施方式】
[0106] 下面結(jié)合附圖對本發(fā)明作進一步描述。
[0107] 實施例1
[0108] 參照圖1~9,本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0109] 首先，對四岔路口的下游入口處的發(fā)生擁堵及溢出的情況有一個全局的了解，如 圖1所示，圖中的西向方向上車輛已發(fā)生擁堵，按照目前的交通法規(guī)就不允許其他相位中的 車輛再駛?cè)胛飨蚍较蛏系南掠稳肟谔帲鐖D1中的朝東的E2、朝北的No和朝南的Si,由于目前 技術(shù)上的問題，只是在信號燈上面用相應的警示牌進行了提示，而信號燈的狀態(tài)并未設(shè)置 成紅燈，運種"綠燈行、紅燈停"的交通規(guī)則相梓的窘境給交警執(zhí)法帶來了很多困難;理想的 情況是當檢測到上述狀態(tài)出現(xiàn)時，將如圖1中的朝東的E2、朝北的No和朝南的Si的信號燈強 制的設(shè)置為紅色。
[0110] 同樣道理，對于在四岔路口內(nèi)發(fā)生擁堵的情況，就應該強制地將路口的信號燈全 部設(shè)置成紅燈，只有在四岔路口內(nèi)發(fā)生擁堵解除的情況才恢復正常的周期性信號燈控制。
[0111] 為了獲取與圖1所示的路口及所有下游入口處的視頻圖像，本發(fā)明采用了一種無 死角的全方位視覺傳感器，詳細見中國發(fā)明專利申請?zhí)枮?00710066757.0，成像原理如圖5 所示;無死角的全方位視覺傳感器安裝在交叉路口中間的正上方，如圖3所示;通過計算機 對全景圖像進行圖像分割和展開等處理得到交叉路口及各下游入口處的視頻圖像;對于四 岔路口，圖2所示是四岔路口從上游出口處到下游入口處的車流指向，本發(fā)明將全景圖像分 割成1幅交叉路口和4幅不同下游入口處的視頻圖像；
[0112] 圖4所示的是一幅某下游入口處的視頻圖像，首先是對該視頻圖像進行處理，定位 識別出在該區(qū)域內(nèi)的所有車輛;本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)車輛的識別與定位， 并在視頻圖像中框出車輛的位置與大小，為統(tǒng)計交叉路口及下游入口處車輛擁堵的狀態(tài)做 好數(shù)據(jù)準備;其次，根據(jù)被測圖像中框出的各車輛位置與大小統(tǒng)計出車輛所占面積;然后計 算車輛所占面積與下游入口處的道路面積的比，得到擁堵指數(shù);接著進行判斷，如果擁堵指 數(shù)超過某一闊值，就對擁堵時間進行計時；如果連續(xù)擁堵超過時間闊值就強制設(shè)置相關(guān)相 位的信號燈為紅燈，圖3所示的系統(tǒng)框圖，用無死角的全方位視覺傳感器來獲取整個路口的 全景視頻圖像，用計算機對全景視頻圖像進行分割、用深度卷積神經(jīng)網(wǎng)絡(luò)分析路口及下游 入口處車輛擁堵的狀態(tài)，并將處理結(jié)果及控制命令發(fā)給信號燈控制器;信號燈控制器根據(jù) 控制命令對路口的信號燈進行控制，信號燈控制器中的控制主要分為常態(tài)的周期信號燈控 制和擁堵情況時的非常態(tài)信號燈強制控制模式，圖7所示的是基于深度卷積神經(jīng)網(wǎng)絡(luò)的交 通信號燈控制系統(tǒng)的流程框圖；
[0113] 在圖7所示的框圖中主要分為車輛的視覺檢測、識別與定位和基于深度卷積神經(jīng) 網(wǎng)絡(luò)的交通信號燈控制相關(guān)算法兩個重要部分；
[0114] (1)車輛的視覺檢測、識別與定位;本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對交叉路口 及下游入口處的視頻圖像進行處理，具體實現(xiàn)如下：
[0115] 在深度卷積神經(jīng)網(wǎng)絡(luò)中，有W下幾種最主要的層：
[0116] 1)卷積運算層，每個神經(jīng)元會和上一層的若干小區(qū)域連接，計算權(quán)重和小區(qū)域像 素的內(nèi)積;2)池化層，理解成一個下采樣，得到的結(jié)果維度就變少;3)激活層，是神經(jīng)元激勵 層，本發(fā)明中采用的是ReLU,計算的是max(0，x);4)全連接層，全連接層一般用于最后計算 類別得分，運一層的所有神經(jīng)元會和上一層的所有神經(jīng)元有連接。卷積層和全連接層包含 權(quán)重和偏移的；而激活層和池化層只是一個固定的函數(shù)運算，是不包含權(quán)重和偏移參數(shù)的。 卷積層、全連接層和池化層包含超參數(shù)，激活層沒有超參數(shù)。
[0117] 卷積層的參數(shù)由一系列的可訓練/學習的過濾器構(gòu)成。在前向計算過程中，輸入一 定區(qū)域大?。▽扻高）的數(shù)據(jù)，過濾器點乘后，得到新的二維數(shù)據(jù)，然后滑過一個個濾波器， 組成新的3維輸出數(shù)據(jù)。每個過濾器都只關(guān)屯、過濾數(shù)據(jù)小平面內(nèi)的部分特征，當出現(xiàn)它學習 到的特征的時候，就會呈現(xiàn)激活狀態(tài)。
[0118] 局部感受野。運是卷積神經(jīng)網(wǎng)絡(luò)的獨特之處其中之一，在高維數(shù)據(jù)中，用全連接的 神經(jīng)網(wǎng)絡(luò)，實際工程中基本是不可行的。卷積神經(jīng)網(wǎng)絡(luò)中每一層的神經(jīng)元只會和上一層的 一些局部區(qū)域相連，運就是所謂的局部感受野。上一層的數(shù)據(jù)區(qū)，有一個滑動的窗口，只有 運個窗口內(nèi)的數(shù)據(jù)會和下一層神經(jīng)元有關(guān)聯(lián)，運樣就要求設(shè)定一個超參數(shù)，即窗口大小。運 里將窗口的寬和高設(shè)定相等，我們把寬X高的窗口稱為局部感受野。實際的計算中，運個窗 口是W-定的步長來滑動，從而覆蓋圖片的所有小區(qū)域。每個局部感受野的權(quán)值共享。
[0119] 從輸入的數(shù)據(jù)到輸出數(shù)據(jù)，有S個超參數(shù)決定了輸出數(shù)據(jù)的維度，分別是深度、步 長和填充值:所謂深度指的是卷積層中和上一層同一個輸入?yún)^(qū)域連接的神經(jīng)元個數(shù)。所謂 步長指的是窗口從當前位置到下一個位置，跳過的中間數(shù)據(jù)個數(shù)。所謂填充值指的是在原 始圖像數(shù)據(jù)的周邊補上0值的圈數(shù)。
[0120] -個完整的深度卷積神經(jīng)網(wǎng)絡(luò)就是由上述幾種基本層疊加組成的，如圖6所示。本 發(fā)明采用24個卷積層和2個全連接層疊加的深度卷積神經(jīng)網(wǎng)絡(luò)，最終的輸出是對7 X 7個網(wǎng) 格的預測，每個網(wǎng)格預測3類對象的概率和坐標。
[0121] 第一層卷積層，填充值是3,64個過濾器，窗口大小為7 X 7,步長為2,輸出特征為 224 X 224 X 64，然后進行l(wèi)eaky ReliJ激活層I處理，經(jīng)過池化層I進行最大池化2 X 2的核，步 長為1，得到[(224-1+1)/2]+1 = 112特征，總的特征為112X112X64,然后進行正則化處理；
[0122] 第二層卷積層，填充值是1，窗口大小為3X3,3個過濾器，步長為1，輸出為112 X 112 X 192，然后進行l(wèi)eaky ReL陽敦活層2處理，經(jīng)過池化層2進行最大池化2 X 2的核，步長為 2，輸出為56 X 56 X 256，然后進行分裂分成四個支線；
[0123] 第S層卷積層，開始時起始模塊，運個的思想受到使用不同尺度的Gabor過濾器來 處理多尺度問題，起始模塊采用不同尺度的卷積核來處理問題，分為四個支線：
[0124] 1:1 X 1 的卷積核輸出 28 X 28 X 128;
[01巧]2:3 X 3的卷積核輸出28 X 28 X 256;
[01 %] 3:1 X 1的卷積核輸出28 X 28 X 256;
[0127] 4:3 X 3的卷積核輸出 28 X 28 X 512;
[0128] 將四個結(jié)果進行連接，經(jīng)過池化層3進行最大池化2X2的核，步長為2,輸出為28X 28X512；
[0129] 第四層卷積層，思想與第=層雷同，將上述的結(jié)果又分成四條支線：
[0130] 1~2:4個1 X 1的卷積核和4個3 X 3卷積核輸出14 X 14 X 512;
[0131] 3:1 X 1的卷積核輸出 14 X 14 X 512;
[0132] 4:3 X 3卷積核輸出 14 X 14 X 1024;
[0133] 將四個結(jié)果進行連接，經(jīng)過池化層4進行最大池化2X2的核，步長為2,輸出為14X 14X1024；
[0134] 第五層卷積層，思想與第=層雷同，將上述的結(jié)果又分成四條支線：
[0135] 1~2:2個1 X 1 X 512的卷積核和2個3 X 3 X 1024卷積核輸出7 X 7 X 1024;
[0136] 3:1 X 1 X 1024的卷積核輸出7 X 7 X 1024;
[0137] 4:3 X 3 X 1024卷積核，步長為2，輸出為7 X 7 X 1024;
[013引將四個結(jié)果進行連接，輸出為7X7 X 1024;
[0139] 第六層卷積層，思想與第=層雷同，將上述的結(jié)果又分成二條支線：
[0140] 1:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024;
[0141] 2:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024;
[0142] 將二個結(jié)果進行連接，輸出為7X7 X 1024;
[0143] 第屯層全連接層，輸出為IX 4092;
[0144] 第八層全連接層，輸出為7X7X30,最后預測類的概率和包圍框，使用邏輯激活函 數(shù)；
[0145] 卷積層和全連接層包含訓練參數(shù)，leaky ReLU激活層和池化層不包含訓練參數(shù)； 從第=層開始到第六層為止每個層中都有分支，運樣增加了深度卷積神經(jīng)網(wǎng)絡(luò)的寬度，能 有效提升深度卷積神經(jīng)網(wǎng)絡(luò)的檢測精度；
[0146] 深度卷積神經(jīng)網(wǎng)絡(luò)訓練時，網(wǎng)絡(luò)前20層加一個最大池化層及兩個全連接層進行訓 練;深度卷積神經(jīng)網(wǎng)絡(luò)的最后一層使用邏輯激活函數(shù)，其他層使用leaky ReLU,如公式（1) 所示；
[0147]
(1)
[014引式中，X為輸入，(I)(X)為輸出；為了避免過擬合，運里使用dropout和數(shù)據(jù)增加技 術(shù)，使得深度卷積神經(jīng)網(wǎng)絡(luò)具有較好的稀疏性；
[0149] 進一步，說明深度卷積神經(jīng)網(wǎng)絡(luò)的視覺檢測、定位及分類原理;首先將一幅圖像分 成SXS個網(wǎng)格，如圖4所示，如果某個對象的中屯、落在運個網(wǎng)格中，則運個網(wǎng)格就負責預測 運個對象;每個網(wǎng)格要預測B個邊緣框，每個邊緣框除了要回歸自身的位置之外，還要附帶 預測一個信任值;運個信任值代表了所預測的框中含有對象的置信度和運個框預測的有多 準兩重信息，用公式(2)進行計算；
[0150]
(2)
[0151] 式中，Pr(Object)表示對象落在網(wǎng)格中的概率，如果有對象落在一個網(wǎng)格里，Pr (Object) = I,否則Pr(Object)=O; Io巧就是預測的邊緣框和實際的ground truth之間的 IoU值，loU，即intersection over union表示預測的邊緣框和實際的ground truth之間的 交集；
[0152] 每一個邊緣框由X、Y、W、H和信任值5個預測值構(gòu)成，（X，Y)坐標代表邊緣框的中屯、 坐標值，W、H代表邊緣框的寬度和高度，信任值是預測的邊緣框和實際的ground truth之間 的IoU值；
[0153] 每個網(wǎng)格還要預測一個類別信息，記為C類。貝化XS個網(wǎng)格，每個網(wǎng)格要預測B個邊 緣框還要預測C個類。輸出就是SXSX (5XB+C)的一個張量;運里，類信息是針對每個網(wǎng)格 的，信任值信息是針對每個邊緣框的；由于本發(fā)明運用于道路上的對象視覺檢測，因此運里 只關(guān)屯、車輛、行人和騎車的3類對象，即C = 3。
[0154] 每個網(wǎng)格還預測C類的條件概率，PHclass I Object),運個概率是在包含一個對象 的網(wǎng)格單元上的條件概率，運樣我們可W只預測每一個網(wǎng)格單元中的一組類的概率，而不 需要考慮邊緣框的數(shù)量B;在測試的時候，每個網(wǎng)格預測的類信息和邊緣框預測的信任值信 息相乘，就得到每個邊緣框的類特殊置信度，公式(3)所示，
[0155]
(3)
[0156] 式中，Pr(Object)表示對象落在網(wǎng)格中的概率，IoUp二是預測的邊緣框和實際的 ground truth之間的IoU值，PHclassi I Object)表示對象中出現(xiàn)某種類的條件概率，Pr (Classi)表示某種類的出現(xiàn)概率；公式(3)左邊第一項就是每個網(wǎng)格預測的類別信息，第 二、=項就是每個邊緣框預測的信任值。運個乘積編碼了預測的屬于某一類的概率和該邊 緣框準確度的信息；
[0157] 運里我們選擇S = 7，B = 2，運樣預測結(jié)果中共有7 X 7 X (5 X化20 ) = 1470張量；
[0158] 得到每個邊緣框的類特殊置信度W后，設(shè)置一個闊值，濾掉得分低的邊緣框，對保 留的邊緣框進行非極大值抑制處理，就得到最終的檢測結(jié)果。
[0159] 每個網(wǎng)格中共有30維信息，在運30維信息中，2個邊緣框的8維信息是回歸邊緣框 的坐標，2個邊緣框的2維信息是邊緣框的信任值，還有20維信息是類別。其中坐標的x、y用 對應網(wǎng)格的偏移歸一化到0~1之間，邊緣框的w、h用被測圖像的寬和高歸一化到0~1之間。
[0160] 在實現(xiàn)中，如何設(shè)計一個好的損失函數(shù)，使得邊緣框的坐標、邊緣框的信任值和類 別運=個方面得到很好的平衡;8維的定位誤差和20維的分類誤差應該有所區(qū)分輕重；另 夕h如果在一個網(wǎng)格中沒有對象，那么就會將運些網(wǎng)格中的邊緣框的信任值設(shè)定為0,相比 于較少的有對象的網(wǎng)格，運種做法會導致網(wǎng)絡(luò)不穩(wěn)定甚至發(fā)散；
[0161] 為了解決上述問題，在本發(fā)明中，深度卷積神經(jīng)網(wǎng)絡(luò)輸出使用平方和誤差，并引入 尺度因子A對類概率和包圍框的誤差進行加權(quán)，同時為了反映出偏離在大的包圍框中的影 響比較小，使用包圍框的寬和高的平方根，最終的損失函數(shù)用公式(4)表示；
[0162] (斗）
[0163] 式中，、DDfd為在網(wǎng)格中對象坐標預測的尺度因子，AnDDbj為在網(wǎng)格中沒有對象的邊 緣框的尺度因子，II:;"表示第i個網(wǎng)格中第j個邊緣框中有對象存在，表示第i個網(wǎng)格中 第j個邊緣框中沒有對象存在，Uf''表示第i個網(wǎng)格中有對象存在，S2表示被測圖像中分割的 網(wǎng)格數(shù)目，B表示網(wǎng)格中的邊緣框的個數(shù)，Xi、^分別表示第i個網(wǎng)格中對象在X軸上的實際坐 標值和預測坐標值，yi、矣分別表示第i個網(wǎng)格中對象在y軸上的實際坐標值和預測坐標值， Wi、瑪分別表示第i個網(wǎng)格中對象的實際寬度值和預測寬度值，hi、|^分別表示第i個網(wǎng)格中 對象的實際高度值和預測高度值，Ci、<^分別表示第i個網(wǎng)格中的實際信任值和預測信任值， Pik)、A的分別表示第i個網(wǎng)格中的實際出現(xiàn)對象的概率和預測出現(xiàn)對象的概率;公式(4) 中的第一項用于對坐標的預測，第二項用于對含對象的邊緣框的信任值進行預測，第=項 用于對不包含對象的邊緣框的信任值進行預測，第四項是對對象中的類別進行預測；
[0164] 具體做法是：1)運里更為重視8維的坐標預測，給運些損失前面賦予更大的損失比 重，記、DDrd為在網(wǎng)格中對象坐標預測的尺度因子，在本發(fā)明的數(shù)據(jù)集訓練中取值為5;2)對 沒有對象的邊緣框的信任值損失，賦予小的損失比重，記AnDDW為在網(wǎng)格中沒有對象的邊緣 框的尺度因子，在本發(fā)明的數(shù)據(jù)集訓練中取值為〇.5;3)在網(wǎng)格中有對象的邊緣框的信任值 損失和類別的損失比重，取值為1;
[0165] 另外，在對不同大小的邊緣框位置預測中，相比于大的邊緣框位置預測偏一點，小 的邊緣框的預測位置稍偏一點肯定也是不能被接受的，運是因為平方和誤差損失中對同樣 的偏移損失將一視同仁處理。為了緩和運個問題，運里將邊緣框的寬和高取平方根計算來 代替原來直接的寬和高的計算，使得小的邊緣框的預測位置更敏感;用圖8說明就很容易理 解，小的邊緣框的橫軸X值較小，在發(fā)生偏移時，反應到y(tǒng)軸上相比要比大的邊緣框更敏感。
[0166] 49個網(wǎng)格單元，每個網(wǎng)格單元包含20個概率預測值，一共就有980個預測值，有時 候只有少數(shù)網(wǎng)格有對象物體存在，運樣嚴重的稀疏可能會導致最終所有的概率都為0,導致 訓練過程發(fā)散；
[0167] 針對運一問題，在每個網(wǎng)格單元引入額外變量，用于表示在此網(wǎng)格存在物體的概 率。運樣在某一位置的車輛的類別概率就可W計算出來，即：
[0168] Pr(Xar)=Pr(Object)XPrKarlObject) (5)
[0169] 公式(5)中的車輛存在概率在每個網(wǎng)格處都更新，而條件概率只在那些含有車輛 的網(wǎng)格處才更新，運樣就能避免概率為0的問題；
[0170] (2)基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制算法
[0171] 通過深度卷積神經(jīng)網(wǎng)絡(luò)將一帖視頻圖像中框出車輛的位置與大小，為統(tǒng)計交叉路 口及下游入口處車輛擁堵的狀態(tài)做好了數(shù)據(jù)準備;運里首先根據(jù)路口的各關(guān)鍵處被測圖像 中框出的各車輛位置與大小統(tǒng)計出車輛所占面積，面積計算方式如公式(6)所示；
[0172]
(6)
[017引式中，WI,功某關(guān)鍵處圖像中在第i個網(wǎng)格中有車輛對象的寬度值，hi,功某關(guān)鍵處 圖像中在第i個網(wǎng)格中有車輛對象的高度值;Al, car為路口的某關(guān)鍵處的被測圖像中框出的 各車輛所占的面積;A0,car、AE,car、As,car、Aw,car和AN,car分別表不交叉口中間、東向、南向、西向 和北向下游入口處的車輛所占的面積，關(guān)鍵處IGlo，E，S，W，N};
[0174] 關(guān)鍵處的道路面積Al,rnad是在安裝好攝像機后，用戶在圖像中框定出圖像中下游 入口處的道路部分后，通過統(tǒng)計計算圖像中被框的像素方式得到的；然后計算車輛所占面 積與下游入口處的道路面積的比，用公式(7)計算得到擁堵指數(shù)，
[0175]
訊
[0176] 式中，Al,rnad為關(guān)鍵處的道路面積，Al, car為被測圖像的關(guān)鍵處各車輛所占的面積， Indexi, C。。為某關(guān)鍵處的擁堵指數(shù)，關(guān)鍵處I G{o，E，S，W，N};
[0177] 考慮四岔路口的情況，本發(fā)明分別定義IndexE, con、Indexs, con、Indexw, con和 IndexN,c〇n為東向、南向、西向和北向下游入口處的擁堵指數(shù);定義Index。,。。。為交叉口中間 部分的擁堵指數(shù)；
[0178] 如果某朝向的擁堵指數(shù)Indexi,c〇n>Tc，即擁堵指數(shù)超過某一闊值Tc,就開始對擁 堵時間進行計時；如果連續(xù)擁堵超過時間闊值化，即Ti>^，設(shè)置一個某朝向的非常態(tài)標識 Fi,C=I;如果當某朝向的擁堵指數(shù)Indexi,c〇n《0.7 XTc就設(shè)置一個某朝向的非常態(tài)標識Fi,C =0;當非常態(tài)標識Fi,。=1時就強制設(shè)置相關(guān)相位的信號燈為紅燈;如圖1所示的情況，在西 向的下游入口處發(fā)生了擁堵，即當Fw,C=I時，就將朝東的信號燈E2、朝北的信號燈No和朝南 的信號燈Si均設(shè)置為紅燈；
[0179] 對于交叉路口內(nèi)發(fā)生擁堵的情況，檢測方法與下游入口處的檢測雷同，一旦檢測 到擁堵指數(shù)Index。,c〇n>Tc，即擁堵指數(shù)超過某一闊值Tc,就開始對擁堵時間進行計時;如果 連續(xù)擁堵超過時間闊值化，即Ti>^，設(shè)置岔口的非常態(tài)標識F。,C = I;如果當岔口的擁堵指 數(shù)Index。,.7 X Tc就設(shè)置岔口的非常態(tài)標識F。,C = O;當F。,C = 1條件情況下，將岔口所有 的信號燈都強制設(shè)置為紅燈，禁止所有車輛進入岔口內(nèi)，W避免發(fā)生更大規(guī)模的擁堵。
[0180] 實施例2
[0181] 其余與實施例1相同，所不同的是在每個下游入口處前方及岔口上方安裝攝像機 分別來獲取各下游入口處和岔口上方的視頻圖像。
[0182] 實施例3
[0183] 在岔口附近有高層建筑物和岔口附近及各下游入口處沒有發(fā)生遮擋的情況下，其 余與實施例1相同，所不同的是在高層建筑物的10米W上高處安裝攝像機W獲取各下游入 口處和岔口上方的視頻圖像。
[0184] 實施例4
[0185] 其余與實施例1相同，對于不同的岔路口情況，檢測原理和信號燈控制方法相同， 只要通過設(shè)置檢測下游入口處和控制信號燈的對應關(guān)系。
[0186] W上所述僅為本發(fā)明的較佳實施舉例，并不用于限制本發(fā)明，凡在本發(fā)明精神和 原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1. 一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信號燈控制方法，其特征在于，所述交通信號燈 控制方法的系統(tǒng)硬件包括： 全方位視覺傳感器，用于獲取整個路口的全景視頻圖像； 交通信號燈，用于對路口的交通狀態(tài)進行管理和控制輸出； 計算機，用于對整個路口的全景視頻圖像進行分割、用深度卷積神經(jīng)網(wǎng)絡(luò)分析路口及 下游入口處車輛擁堵的狀態(tài)，并輸出處理結(jié)果及控制命令； 以及信號燈控制器，用于接收所述計算機的控制命令并對路口信號燈進行控制； 其中，所述的全方位視覺傳感器通過視頻線與所述的計算機連接，所述的計算機通過 控制總線與所述的信號燈控制器連接，所述的信號燈控制器主要分為常態(tài)的周期信號燈控 制和擁堵情況時的非常態(tài)信號燈強制控制模式，直接驅(qū)動所述的交通信號燈； 所述的計算機還包括車輛的視覺檢測、識別與定位和基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通信 號燈控制算法。2. 如權(quán)利要求1所述的交通信號燈控制方法，其特征在于:所述的深度卷積神經(jīng)網(wǎng)絡(luò)采 用24個卷積層和2個全連接層疊加的深度卷積神經(jīng)網(wǎng)絡(luò)，最終的輸出是對7X7個網(wǎng)格的預 測，每個網(wǎng)格預測3類對象的概率和坐標； 第一層卷積層，填充值是3,64個過濾器，窗口大小為7X7,步長為2,輸出特征為224X 224 X 64,然后進行l(wèi)eaky ReLU激活層1處理，經(jīng)過池化層1進行最大池化2 X 2的核，步長為 1，得到[(224-1+1) /2 ]+1 = 112個特征，總的特征數(shù)為112 X 112 X 64，然后進行正則化處理； 第二層卷積層，填充值是1，窗口大小為3 X 3，3個過濾器，步長為1，輸出為112X112X 192,然后進行l(wèi)eaky ReLU激活層2處理，經(jīng)過池化層2進行最大池化2 X 2的核，步長為2,輸 出為56 X 56 X 256，然后進行分裂分成四個支線； 第三層卷積層，開始時起始模塊，這個的思想受到使用不同尺度的Gabor過濾器來處理 多尺度問題，起始模塊采用不同尺度的卷積核來處理問題，分為四個支線： I: I X 1的卷積核輸出28X28X128; 2:3 X3的卷積核輸出28X28X256; 3:1 X 1的卷積核輸出28X28X256; 4:3 X3的卷積核輸出28X28X512; 將四個結(jié)果進行連接，經(jīng)過池化層3進行最大池化2 X 2的核，步長為2，輸出為28 X 28 X 512； 第四層卷積層，思想與第三層雷同，將上述的結(jié)果又分成四條支線： 1~2:4個I X 1的卷積核和4個3 X 3卷積核輸出14 X 14 X 512; 3:1 X 1的卷積核輸出14 X 14 X 512; 4:3 X 3卷積核輸出 14 X 14 X 1024; 將四個結(jié)果進行連接，經(jīng)過池化層4進行最大池化2X2的核，步長為2,輸出為14X14X 1024； 第五層卷積層，思想與第三層雷同，將上述的結(jié)果又分成四條支線： 1~2:2個I X I X 512的卷積核和2個3 X 3 X 1024卷積核輸出7 X 7 X 1024; 3:1 X I X 1024的卷積核輸出7 X 7 X 1024; 4:3 X 3 X 1024卷積核，步長為2，輸出為7 X 7 X 1024; 將四個結(jié)果進行連接，輸出為7X7 X 1024; 第六層卷積層，思想與第三層雷同，將上述的結(jié)果又分成二條支線： 1:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024; 2:3 X 3 X 1024的卷積核輸出為7 X 7 X 1024; 將二個結(jié)果進行連接，輸出為7 X7 X 1024; 第七層全連接層，輸出為I X 4092; 第八層全連接層，輸出為7X7X30,最后預測類的概率和包圍框，使用邏輯激活函數(shù)。3. 如權(quán)利要求1或2所述的交通信號燈控制方法，其特征在于:所述的深度卷積神經(jīng)網(wǎng) 絡(luò)，在深度卷積神經(jīng)網(wǎng)絡(luò)訓練時，網(wǎng)絡(luò)前20層加一個最大池化層及兩個全連接層進行訓練； 深度卷積神經(jīng)網(wǎng)絡(luò)的最后一層使用邏輯激活函數(shù)，其他層使用IeakyReLU，如公式(1)所示；(1) 式中，X為輸入，Φ (X)為輸出。4. 如權(quán)利要求1或2所述的交通信號燈控制方法，其特征在于:所述的深度卷積神經(jīng)網(wǎng) 絡(luò)，深度卷積神經(jīng)網(wǎng)絡(luò)輸出使用平方和誤差，并引入尺度因子λ對類概率和包圍框的誤差進 行加權(quán)，同時為了反映出偏離在大的包圍框中的影響比較小，使用包圍框的寬和高的平方 根，最終的損失函數(shù)用公式(4)表示；式中，λ。。。^為在網(wǎng)格中對象坐標預測的尺度因子，A_bj為在網(wǎng)格中沒有對象的邊緣框 的尺度因子，表示第i個網(wǎng)格中第j個邊緣框中有對象存在，表示第i個網(wǎng)格中第j 個邊緣框中沒有對象存在，LT表示第i個網(wǎng)格中有對象存在，S 2表示被測圖像中分割的網(wǎng) 格數(shù)目，B表示網(wǎng)格中的邊緣柩的個數(shù)，Xi、毛分別表示第i個網(wǎng)格中對象在X軸上的實際坐標 值和預測坐標值， yi、j^分別表示第i個網(wǎng)格中對象在y軸上的實際坐標值和預測坐標值，Wl、 唪分別表示第i個網(wǎng)格中對象的實際寬度值和預測寬度值，lu、&分別表示第i個網(wǎng)格中對象 的實際高度值和預測高度值，C 1Ji分別表示第i個網(wǎng)格中的實際信任值和預測信任值，pi (c)、/),(i·)分別表示第i個網(wǎng)格中的實際出現(xiàn)對象的概率和預測出現(xiàn)對象的概率;公式⑷中 的第一項用于對坐標的預測，第二項用于對含對象的邊緣框的信任值進行預測，第三項用 于對不包含對象的邊緣框的信任值進行預測，第四項是對對象中的類別進行預測。5. 如權(quán)利要求4所述的交通信號燈控制方法，其特征在于:所述的深度卷積神經(jīng)網(wǎng)絡(luò)， 在每個網(wǎng)格單元引入額外變量，用于表示在此網(wǎng)格存在物體的概率;這樣在某一位置的車 輛的類別概率就可以計算出來，BP: Pr(Car) =Pr(Object) XPr(Car | Object) (5) 公式(5)中的車輛存在概率在每個網(wǎng)格處都更新，而條件概率只在那些含有車輛的網(wǎng) 格處才更新，這樣就能避免概率為0的問題。6. 如權(quán)利要求4所述的交通信號燈控制方法，其特征在于:所述的深度卷積神經(jīng)網(wǎng)絡(luò)， 在得到每個邊緣框的類特殊置信度以后，設(shè)置一個閾值Tca ass，濾掉得分低的邊緣框，對保留 的邊緣框進行非極大值抑制處理，得到最終的檢測結(jié)果。7. 如權(quán)利要求1所述的交通信號燈控制方法，其特征在于:所述交通信號燈控制算法的 具體步驟如下： STEPl:首先根據(jù)路口的各關(guān)鍵處被測圖像中框出的各車輛位置與大小統(tǒng)計出車輛所 占面積，而積計筧方式如公式（6)所示；(6) 式中，WI, i為某關(guān)鍵處圖像中在第i個網(wǎng)格中有車輛對象的寬度值，hi, i為某關(guān)鍵處圖像 中在第i個網(wǎng)格中有車輛對象的高度值;A1,。"為路口的某關(guān)鍵處的被測圖像中框出的各車 輛所占的面積;A。 ,car > Ae, car > As, car > Aw, car和An, car分別表示交叉□中間、東向、南向、西向和北 向下游入口處的車輛所占的面積，關(guān)鍵處ie{〇，E，S，W，N}; STEP2:然后計算關(guān)鍵處車輛所占面積與關(guān)鍵處的道路面積的比，用公式(7)計算得到 擁堵指數(shù)，(T) 式中，A1, TCiad為天鍵處的道峪囪枳，A1, car為被測圖像的關(guān)鍵處各車輛所占的面積， Index1, _為某關(guān)鍵處的擁堵指數(shù)，關(guān)鍵處I e{〇，E，S，W，N}; STEP3:判斷所有關(guān)鍵處的擁堵指數(shù)Index1,_>TC是否成立;Tc為擁堵指數(shù)閾值，如果都 不成立跳轉(zhuǎn)到STEPl; STEP4:記錄那個擁堵指數(shù)Indexi, CC)n>Tc的關(guān)鍵處的I，開始對擁堵時間進行計時； $ (6= Ti + AT J1表示某關(guān)鍵處的計時時間； STEP5:判斷所有關(guān)鍵處的擁堵時間T1 > Tl是否成立，Tl為擁堵時間閾值，如果都不成立 跳轉(zhuǎn)到STEPl; STEP6:將擁堵時間超過閾值關(guān)鍵處的非常態(tài)標識F1, c = 1，發(fā)送命令給信號燈控制器， 通知該關(guān)鍵處發(fā)生了擁堵，信號控制轉(zhuǎn)入非常態(tài)信號燈強制控制模式； STEP7:判斷所有關(guān)鍵處的IndeM,_彡0.7 X Tc是否成立，如果成立將非常態(tài)標識F1,C = 0, Ti = O，跳轉(zhuǎn)到STEPl。8. 如權(quán)利要求1或7所述的交通信號燈控制方法，其特征在于:所述的關(guān)鍵處的道路面 積仏#^，是在安裝好攝像機后，用戶在圖像中框定出圖像中關(guān)鍵處的道路部分后，通過統(tǒng) 計計算圖像中被框的像素方式得到的。9. 如權(quán)利要求1所述的交通信號燈控制方法，其特征在于:所述的關(guān)鍵處的圖像，包括 了交叉口中間、東向、南向、西向和北向下游入口處的5幅透視圖像，關(guān)鍵處Ie {〇，E，S，W， N}，在使用透視相機獲取圖像時分別覆蓋交叉口中間、東向、南向、西向和北向下游入口處。10. 如權(quán)利要求1所述的交通信號燈控制方法，其特征在于:所述的關(guān)鍵處的圖像，包括 了交叉口中間、東向、南向、西向和北向下游入口處的5幅透視圖像，關(guān)鍵處Ie {〇，E，S，W， N}，在使用無死角的全方位視覺傳感器或者利用安裝高度來獲取全景圖像時，將全景圖像 分割并展開成交叉口中間、東向、南向、西向和北向下游入口處5幅透視圖像。
【文檔編號】G08G1/01GK106023605SQ201610566637
【公開日】2016年10月12日
【申請日】2016年7月15日
【發(fā)明人】姹ゅ鉤, 湯一平
【申請人】姹ゅ鉤, 湯一平