專利名稱：越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置及其 方法，具體用于實(shí)時(shí)動態(tài)跟蹤越、壓黃線的運(yùn)動車輛；獲得監(jiān)控視頻中越、壓黃線的運(yùn)動車 輛清晰圖像，從而獲得越、壓黃線的車輛的顏色、車型和牌照等詳細(xì)信息。
背景技術(shù)：
計(jì)算機(jī)視覺技術(shù)是由圖像傳感器獲取對象的圖像，由計(jì)算機(jī)來分析圖像、控制圖 像傳感器，從而完成一個(gè)與視覺有關(guān)任務(wù)的技術(shù)。近年來，隨著城市的快速發(fā)展，特別是車 輛的迅速增加，使得交通問題成為城市管理中亟代解決的問題。交通問題嚴(yán)重阻礙了城市 的發(fā)展和人們的出行，特別是車輛的違法違規(guī)現(xiàn)象，嚴(yán)重危害了城市的交通安全。所以，對 違法違規(guī)車輛進(jìn)行跟蹤監(jiān)控具有很大的現(xiàn)實(shí)意義。 針對當(dāng)前智能交通系統(tǒng)中存在不能分段自動檢測跟蹤和抓拍車輛越壓黃線的問 題，本發(fā)明設(shè)計(jì)研究了一種基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置和 方法。裝置分段監(jiān)控道路左右兩段黃線區(qū)域，采用自動判斷越壓黃線算法檢測出越壓黃線 的車輛，從而根據(jù)光學(xué)鏡頭像方主點(diǎn)到該運(yùn)動車輛形心的連線和攝像機(jī)主軸的夾角，精確 控制裝有步進(jìn)電機(jī)的云臺跟蹤該車輛并抓拍該車的車牌信息。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種裝置，可實(shí)現(xiàn)實(shí)時(shí)動態(tài)跟蹤越、壓黃線 的運(yùn)動車輛，獲得監(jiān)控視頻中越、壓黃線的運(yùn)動車輛清晰圖像，從而獲得越、壓黃線的車輛 的顏色、車型和牌照等詳細(xì)信息。 為解決上述技術(shù)問題，本發(fā)明是采取以下的技術(shù)方案來實(shí)現(xiàn)的 —種越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，包括安裝在所要監(jiān)控道路
中間段的攝像頭安裝架、跟蹤云臺及其電機(jī)、安裝在云臺上的可控調(diào)焦的用于采集和抓拍
圖像的攝像頭，其特征在于還包括 連接于攝像頭與數(shù)據(jù)處理器之間、把采集的圖像信息傳遞給數(shù)據(jù)處理器的圖像采 集卡； 連接于跟蹤云臺與數(shù)據(jù)處理器之間的控制跟蹤云臺的輸入輸出卡；
用于視頻分析處理及其控制跟蹤云臺與攝像頭的數(shù)據(jù)處理器，
所述數(shù)據(jù)處理器包括以下各功能模塊 車輛檢測模塊用于根據(jù)攝像頭采集的視頻信號，檢測出越、壓黃線的運(yùn)動車輛；
車輛信息模塊用于計(jì)算得出運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息；
云臺控制模塊根據(jù)運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息，控制云臺中 的電機(jī)跟蹤運(yùn)動車輛； 攝像機(jī)控制模塊控制攝像機(jī)正常工作及調(diào)焦對該車輛進(jìn)行抓拍并保存數(shù)據(jù)。
前述的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，其特征在于所述跟蹤云臺的電機(jī)采用可以調(diào)速和精確控制的步進(jìn)電機(jī)。
前述的裝置的車輛檢測跟蹤與抓拍方法，其特征在于，包括以下步驟 (1)數(shù)據(jù)處理器實(shí)時(shí)地讀取攝像頭采集的視頻信號，黃線被車輛越壓時(shí)，檢測出該
運(yùn)動車輛； (2)根據(jù)檢測出的運(yùn)動車輛，得到運(yùn)動車輛在視場中的位置、運(yùn)動方向和面積；
(3)數(shù)據(jù)處理器根據(jù)運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息，利用控制算 法控制云臺中的步進(jìn)電機(jī)跟蹤運(yùn)動車輛，從而實(shí)時(shí)動態(tài)跟蹤運(yùn)動車輛；根據(jù)運(yùn)動車輛在視 場中的大小，控制攝像機(jī)的焦距，獲得監(jiān)控視頻中運(yùn)動車輛清晰圖像，從而獲得車輛的顏 色、車型和牌照等詳細(xì)信息； (4)判斷該車輛越壓黃線的時(shí)間，當(dāng)該車輛在越壓黃線的時(shí)間達(dá)到處罰規(guī)定時(shí)間 時(shí)，數(shù)據(jù)處理器再次控制攝像機(jī)調(diào)焦對該車輛進(jìn)行抓拍并保存和上傳該信息給交通管理部 門的服務(wù)器。 前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟1)中，采用基于顏色 和直線檢測的方法檢測越、壓黃線的運(yùn)動車輛；當(dāng)有兩輛或多輛越、壓黃線的車輛出現(xiàn)在視 場中時(shí)，根據(jù)前一幀中越、壓黃線的運(yùn)動目標(biāo)的位置，在以其為中心的10*10像素區(qū)域內(nèi)采 用基于顏色直方圖為目標(biāo)模型檢測特定車輛。 前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟2)中，獲得運(yùn)動車輛 在視場中的位置信息和運(yùn)動方向信息的方法為根據(jù)檢測出的運(yùn)動車輛，計(jì)算其形心，獲得 運(yùn)動車輛在視場中的位置；根據(jù)前兩幀中車輛的形心位置和當(dāng)前幀中車輛的形心位置，獲 得運(yùn)動車輛的運(yùn)動方向信息。 前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟3)中，控制云臺中的 步進(jìn)電機(jī)的方法包括以下步驟 1)根據(jù)攝像機(jī)的硬件參數(shù)和運(yùn)動車輛的位置信息，獲得運(yùn)動車輛形心與光學(xué)鏡頭 中心的連線與攝像機(jī)主軸的夾角，所述硬件參數(shù)包括焦距和CCD的有效光敏面尺寸；
2)根據(jù)夾角的大小和運(yùn)動車輛的運(yùn)動方向信息，采用模糊控制的控制方法控制裝 有步進(jìn)電機(jī)的跟蹤云臺，從而控制攝像頭實(shí)時(shí)地跟蹤運(yùn)動車輛，且保持運(yùn)動車輛在視場中 心附近位置。
前述的車輛檢測跟蹤與抓拍方法，其特征在于所述夾角的計(jì)算方法為 /x1、 1、
---) z (^---)a = arctan~^~^ = a一 m 2 ( 1 )
/ / 其中，a是鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線與攝像機(jī)主軸水平方向的夾角， P為鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線和攝像機(jī)主軸垂直方向的夾角，a是CCD有效寬 度，b是CCD的有效高度，f是攝像頭的焦距，x是運(yùn)動車輛形心的橫坐標(biāo)，y是運(yùn)動車輛形 心的縱坐標(biāo)，m、n為圖像的大小。 前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟3)中，前述的根據(jù)運(yùn) 動車輛在視場中的大小，控制攝像機(jī)的焦距，獲得監(jiān)控視頻中運(yùn)動車輛清晰圖像，從而獲得 車輛的牌照信息的實(shí)現(xiàn)方法為當(dāng)運(yùn)動車輛第一次進(jìn)入視場中心區(qū)域時(shí)，判斷運(yùn)動車輛在 圖像中的面積是否大于整幅圖像面積S的特定百分率，若小于該百分率，則控制攝像機(jī)焦距使運(yùn)動車輛在圖像中的面積達(dá)到S的特定百分率；若不小于該百分率時(shí)，直接獲得清晰 的運(yùn)動車輛圖像；最后，保存清晰運(yùn)動車輛圖像并控制攝像機(jī)光學(xué)參數(shù)使攝像機(jī)恢復(fù)至正 常現(xiàn)場監(jiān)控狀態(tài)。 前述的車輛檢測跟蹤與抓拍方法，其特征在于所述特定百分率為10%。 本發(fā)明的基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置及其方法，
實(shí)現(xiàn)了實(shí)時(shí)動態(tài)跟蹤越、壓黃線的運(yùn)動車輛，獲得監(jiān)控視頻中越、壓黃線的運(yùn)動車輛清晰圖
像，從而獲得車輛的顏色、車型和牌照等詳細(xì)信息。


圖1為本發(fā)明的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置的硬件組成示意 圖； 圖2為光學(xué)鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線和攝像機(jī)主軸的夾角的數(shù)學(xué)模 型； 圖3為本發(fā)明基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍方法的流程 圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施方式
對本發(fā)明做進(jìn)一步的詳細(xì)說明。 參照圖1所示，基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，包括 用于跟蹤的云臺、安裝在云臺上的用于采集圖像的可控調(diào)焦攝像頭、和把采集的圖像視頻 信息傳遞給處理器的圖像采集卡和用于視頻分析處理和控制云臺與攝像頭的處理器，其中 的處理過程為將采集的視頻信號，檢測出越、壓黃線的運(yùn)動車輛并獲得該運(yùn)動車輛位置信 息和運(yùn)動方向信息的圖像處理系統(tǒng)，以及圖像輸出裝置；根據(jù)車輛位置信息和運(yùn)動方向信 息，利用控制算法控制云臺轉(zhuǎn)動的控制系統(tǒng)；判斷該車輛越壓黃線的時(shí)間，當(dāng)該車輛在越壓 黃線的時(shí)間達(dá)到處罰規(guī)定時(shí)間時(shí)，處理器再次控制攝像機(jī)調(diào)焦對該車輛進(jìn)行抓拍并保存和 上傳該信息給交通管理部門的服務(wù)器。 參照圖2，根據(jù)攝像頭的焦距、CCD的尺寸和運(yùn)動車輛形心的位置，通過數(shù)學(xué)建模 和分析獲得控制云臺的參數(shù)和硬件參數(shù)之間的關(guān)系，即獲得光學(xué)鏡頭像方主點(diǎn)到運(yùn)動車輛 形心的連線和攝像機(jī)主軸的夾角的大小，進(jìn)而控制云臺的運(yùn)動。其推導(dǎo)如下
'1 1、 r ， ；t —a a(---)
/ / 、" 其中，a是鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線和攝像機(jī)主軸水平方向的夾角，a 是CCD有效寬度，f是攝像頭的焦距。
由相似三角形可得丄=王 (2)
a 打 其中，x是運(yùn)動車輛形心的橫坐標(biāo)，m、n為圖像的大小。
由式(1)禾口 (2)得
6
tana
m 2
由式(3)得
(3)
"=arctan
,x 1、 w 2
(4) 同理在垂直方向可得
"=arctan
m 2
(5) 其中，|3為鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線和攝像機(jī)主軸垂直方向的夾角，b 是CCD的有效高度，y是運(yùn)動車輛形心的縱坐標(biāo)。 根據(jù)基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置的示意圖，如圖1
所示，攝像頭放置在云臺上，首先，處理器采集攝像頭的視頻信號，并根據(jù)運(yùn)動目標(biāo)檢測方
法檢測出越、壓黃線的運(yùn)動車輛，獲得目標(biāo)的位置、方向和面積；然后，單片機(jī)根據(jù)目標(biāo)的位
置、運(yùn)動方向和面積控制云臺的轉(zhuǎn)動和攝像頭的焦距大??；最后，根據(jù)車輛越、壓黃線時(shí)間，
判斷是否保存和上傳該信息給交通管理部門的服務(wù)器。越、壓黃線的車輛檢測跟蹤和車輛
信息抓拍的流程圖見圖3。 具體來說，包括以下步驟 第一步，處理器實(shí)時(shí)地讀取攝像頭采集的視頻信號，黃線被車輛越壓，并根據(jù)算法 檢測出該運(yùn)動車輛； 第二步，根據(jù)檢測出的運(yùn)動車輛，利用算法得到運(yùn)動車輛在視場中的位置、運(yùn)動方 向和面積； 第三步，系統(tǒng)根據(jù)運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息，利用控制算法 控制云臺中的步進(jìn)電機(jī)跟蹤運(yùn)動車輛，從而實(shí)時(shí)動態(tài)跟蹤運(yùn)動車輛；系統(tǒng)根據(jù)運(yùn)動車輛在 視場中的大小，控制攝像機(jī)的焦距，獲得監(jiān)控視頻中運(yùn)動車輛清晰圖像，從而獲得車輛的顏 色、車型和牌照等詳細(xì)信息。 第四步，判斷該車輛越壓黃線的時(shí)間，當(dāng)該車輛在越壓黃線的時(shí)間達(dá)到處罰規(guī)定 時(shí)間時(shí)，處理器再次控制攝像機(jī)調(diào)焦對該車輛進(jìn)行抓拍并保存和上傳該信息給交通管理部 門的服務(wù)器。 綜上所述，針對智能交通監(jiān)控急需的越、壓黃線的運(yùn)動車輛跟綜系統(tǒng)，本發(fā)明提出 了基于視覺的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置及其實(shí)現(xiàn)方法。實(shí)驗(yàn)結(jié)果表 明，該系統(tǒng)具有較好的實(shí)時(shí)性和適應(yīng)性，可以實(shí)時(shí)跟蹤越、壓黃線的運(yùn)動車輛并獲得該運(yùn)動 車輛的一些細(xì)節(jié)信息。為智能交通監(jiān)控和運(yùn)動車輛跟蹤、抓拍提供了一種新的方法。
上述具體實(shí)施方式
不以任何形式限制本發(fā)明的技術(shù)方案，凡是采用等同替換或等 效變換的方式所獲得的技術(shù)方案均落在本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，包括跟蹤云臺及其電機(jī)、安裝在云臺上的可控調(diào)焦的用于采集和抓拍圖像的攝像頭，其特征在于還包括安裝在所要監(jiān)控道路中間段的攝像頭安裝架；連接于攝像頭與數(shù)據(jù)處理器之間、把采集的圖像信息傳遞給數(shù)據(jù)處理器的圖像采集卡；連接于跟蹤云臺與數(shù)據(jù)處理器之間的控制跟蹤云臺的輸入輸出卡；用于視頻分析處理及其控制跟蹤云臺與攝像頭的數(shù)據(jù)處理器，所述數(shù)據(jù)處理器包括以下各功能模塊車輛檢測模塊用于根據(jù)攝像頭采集的視頻信號，檢測出越、壓黃線的運(yùn)動車輛；車輛信息模塊用于計(jì)算得出運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息；云臺控制模塊根據(jù)運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息，控制云臺中的電機(jī)跟蹤運(yùn)動車輛；攝像機(jī)控制模塊控制攝像機(jī)正常工作及調(diào)焦對該車輛進(jìn)行抓拍并保存數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，其特征在 于所述跟蹤云臺的電機(jī)為可調(diào)速度和精確控制與定位的步進(jìn)電機(jī)。
3. 根據(jù)權(quán)利要求1所前述的裝置的車輛檢測跟蹤與抓拍方法，其特征在于，包括以下 步驟(1) 數(shù)據(jù)處理器實(shí)時(shí)地讀取攝像頭采集的視頻信號，黃線被車輛越壓時(shí)，檢測出該運(yùn)動 車輛；(2) 根據(jù)檢測出的運(yùn)動車輛，得到運(yùn)動車輛在視場中的位置、運(yùn)動方向和面積；(3) 數(shù)據(jù)處理器根據(jù)運(yùn)動車輛在視場中的位置信息和運(yùn)動趨勢信息，利用控制算法控 制云臺中的步進(jìn)電機(jī)跟蹤運(yùn)動車輛，從而實(shí)時(shí)動態(tài)跟蹤運(yùn)動車輛；根據(jù)運(yùn)動車輛在視場中 的大小，控制攝像機(jī)的焦距，獲得監(jiān)控視頻中運(yùn)動車輛清晰圖像，從而獲得車輛的顏色、車 型和牌照信息；(4) 判斷該車輛越壓黃線的時(shí)間，當(dāng)該車輛在越壓黃線的時(shí)間達(dá)到處罰規(guī)定時(shí)間時(shí)，數(shù) 據(jù)處理器再次控制攝像機(jī)調(diào)焦對該車輛進(jìn)行抓拍并保存和上傳該信息給交通管理部門的 服務(wù)器。
4. 根據(jù)權(quán)利要求3所前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟1) 中，采用基于顏色和直線檢測的方法檢測越、壓黃線的運(yùn)動車輛當(dāng)有兩輛或多輛越、壓黃 線的車輛出現(xiàn)在視場中時(shí)，根據(jù)前一幀中越、壓黃線的運(yùn)動目標(biāo)的位置，在以其為中心的 10*10像素區(qū)域內(nèi)采用基于顏色直方圖為目標(biāo)模型檢測特定車輛。
5. 根據(jù)權(quán)利要求3所述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟2)中， 獲得運(yùn)動車輛在視場中的位置信息和運(yùn)動方向信息的方法為根據(jù)檢測出的運(yùn)動車輛，計(jì) 算其形心，獲得運(yùn)動車輛在視場中的位置；根據(jù)前兩幀中車輛的形心位置和當(dāng)前幀中車輛 的形心位置，獲得運(yùn)動車輛的運(yùn)動方向信息。
6. 根據(jù)權(quán)利要求3所述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟3)中， 控制云臺中的步進(jìn)電機(jī)的方法包括以下步驟1)根據(jù)攝像機(jī)的硬件參數(shù)和運(yùn)動車輛的位置信息，獲得運(yùn)動車輛形心與光學(xué)鏡頭中心 的連線與攝像機(jī)主軸的夾角，所述硬件參數(shù)包括焦距和CCD的有效光敏面尺寸；2)根據(jù)夾角的大小和運(yùn)動車輛的運(yùn)動方向信息，采用模糊控制的控制方法控制裝有步 進(jìn)電機(jī)的跟蹤云臺，從而控制攝像頭實(shí)時(shí)地跟蹤運(yùn)動車輛，且保持運(yùn)動車輛在視場中心附 近位置。
7. 根據(jù)權(quán)利要求6所述的車輛檢測跟蹤與抓拍方法，其特征在于所述夾角的計(jì)算方法為<formula>formula see original document page 3</formula>其中，a是鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線與攝像機(jī)主軸水平方向的夾角，13為 鏡頭像方主點(diǎn)到運(yùn)動車輛形心的連線和攝像機(jī)主軸垂直方向的夾角，a是CCD有效寬度，b 是CCD的有效高度，f是攝像頭的焦距，x是運(yùn)動車輛形心的橫坐標(biāo)，y是運(yùn)動車輛形心的縱 坐標(biāo)，m、n為圖像的大小。
8. 根據(jù)權(quán)利要求3所前述的車輛檢測跟蹤與抓拍方法，其特征在于在所述步驟3) 中，所述的根據(jù)運(yùn)動車輛在視場中的大小，控制攝像機(jī)的焦距，獲得監(jiān)控視頻中運(yùn)動車輛清 晰圖像，從而獲得車輛的牌照信息的實(shí)現(xiàn)方法為當(dāng)運(yùn)動車輛第一次進(jìn)入視場中心區(qū)域時(shí)， 判斷運(yùn)動車輛在圖像中的面積是否大于整幅圖像面積S的特定百分率，若小于該百分率， 則控制攝像機(jī)焦距使運(yùn)動車輛在圖像中的面積達(dá)到S的特定百分率；若不小于該百分率 時(shí)，直接獲得清晰的運(yùn)動車輛圖像；最后，保存清晰運(yùn)動車輛圖像并控制攝像機(jī)光學(xué)參數(shù)使 攝像機(jī)恢復(fù)至正常現(xiàn)場監(jiān)控狀態(tài)。
9. 根據(jù)權(quán)利要求8所述的車輛檢測跟蹤與抓拍方法，其特征在于所述特定百分率為 10%。
全文摘要
本發(fā)明公開了一種越、壓黃線的車輛檢測跟蹤和車輛信息抓拍裝置，包括安裝在所要監(jiān)控道路中間段的攝像頭安裝架、跟蹤云臺及其電機(jī)、安裝在云臺上的可控調(diào)焦的用于采集和抓拍圖像的攝像頭，其特征在于還包括連接于攝像頭與數(shù)據(jù)處理器之間、把采集的圖像信息傳遞給數(shù)據(jù)處理器的圖像采集卡；連接于跟蹤云臺與數(shù)據(jù)處理器之間的控制跟蹤云臺的輸入輸出卡；用于視頻分析處理及其控制跟蹤云臺與攝像頭的數(shù)據(jù)處理器。本發(fā)明實(shí)現(xiàn)了在動態(tài)背景下檢測出越、壓黃線的運(yùn)動車輛，并在大的監(jiān)控視場內(nèi)有效地跟蹤越、壓黃線的運(yùn)動車輛和抓拍獲得車輛的顏色、車型和牌照等詳細(xì)信息。
文檔編號G08G1/017GK101789177SQ201010106469
公開日2010年7月28日 申請日期2010年2月5日 優(yōu)先權(quán)日2010年2月5日
發(fā)明者吳昆明, 姚杰, 徐貴力, 曹傳東, 楊小偉, 蔣琦 申請人:南京航空航天大學(xué)