欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng)及檢測(cè)方法與流程

文檔序號(hào):40514335發(fā)布日期:2024-12-31 13:23閱讀:10來源:國知局
一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng)及檢測(cè)方法與流程

本發(fā)明屬于高速公路檢測(cè),具體涉及一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng)及檢測(cè)方法。


背景技術(shù):

1、高速公路拋灑物是指車輛在高速公路上行駛過程中,前方車輛拋灑、掉落或者對(duì)向車道飛來的物體,如石頭、掉落貨物、飲料瓶、廢紙箱、廢舊輪胎,甚至遮雨布等時(shí)常會(huì)被拋灑或丟棄在高速公路路面上。

2、因此,及時(shí)、準(zhǔn)確地檢測(cè)出道路拋灑物是對(duì)視頻交通監(jiān)控類設(shè)備的重要要求,對(duì)于交通隱患的預(yù)防、排查處理,交通環(huán)境的維護(hù)以及交通事件的記錄報(bào)警等有著重要的作用。

3、所以,對(duì)高速公路的拋灑物的快速識(shí)別和分析預(yù)判是至關(guān)重要的。常見的高速公路拋灑物有半掛車的篷布、快遞盒、紙片、輪胎、塑料制品等。由于不同類型的拋灑物可能性狀特征的差異,會(huì)對(duì)識(shí)別的在準(zhǔn)確度和及時(shí)性有所影響,同時(shí)隨著其運(yùn)動(dòng)軌跡的不同對(duì)后方車輛可能造成不同程度的影響,為確保高速公路的安全與監(jiān)管,有必要提出一種識(shí)別規(guī)則與檢測(cè)方法,為有關(guān)部門提供更準(zhǔn)確的參考。

4、目前,對(duì)高速公路拋灑物的識(shí)別主要是視頻識(shí)別技術(shù)。但基于視頻圖像進(jìn)行拋灑物檢測(cè)時(shí),不可避免的也受如下因素的影響:光照、陰影、遮擋、相機(jī)抖動(dòng)、對(duì)比度低、前景與背景相似、背景動(dòng)態(tài)變化和圖像模糊等。靜態(tài)前景物檢測(cè)算法,這類算法大都需要基于一張可靠、真實(shí)的背景。同時(shí),由于常見的交警現(xiàn)場監(jiān)督的方法無法應(yīng)用在較大范圍的高速公路上,而具備車輛位置判定監(jiān)測(cè)功能的電警較少,或必須配備外場測(cè)速設(shè)備如雷達(dá),現(xiàn)有雷視一體機(jī)的監(jiān)測(cè)設(shè)備,可以依托路側(cè)掛載的攝像頭和行駛路線檢測(cè)算法,采用視覺與雷達(dá)相結(jié)合的識(shí)別算法,識(shí)別到拋灑物車輛變道時(shí)保留違章視頻證據(jù)進(jìn)行抓拍,推送至路段公司、路政執(zhí)法部門作為執(zhí)法備案,可對(duì)違法拋灑物車輛進(jìn)行有效處罰。


技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的問題是對(duì)高速公路上動(dòng)靜態(tài)拋灑物更準(zhǔn)確的進(jìn)行識(shí)別,提出一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng)及檢測(cè)方法。

2、為實(shí)現(xiàn)上述目的,本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn):

3、一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng),包括雷視一體機(jī)、視頻識(shí)別模塊、雷達(dá)識(shí)別模塊、拋灑物識(shí)別模塊、拋灑物車輛信息識(shí)別模塊、上位機(jī);

4、所述雷視一體機(jī)分別連接視頻識(shí)別模塊、雷達(dá)識(shí)別模塊,所述視頻識(shí)別模塊、雷達(dá)識(shí)別模塊分別連接拋灑物識(shí)別模塊,所述拋灑物識(shí)別模塊連接拋灑物車輛信息識(shí)別模塊,所述拋灑物車輛信息識(shí)別模塊連接上位機(jī);

5、所述雷視一體機(jī)的攝像頭和雷達(dá)分別采集高速公路上的實(shí)時(shí)圖像,通過以太網(wǎng)網(wǎng)線將攝像頭、雷達(dá)和邊緣計(jì)算網(wǎng)關(guān)的網(wǎng)絡(luò)接口進(jìn)行連接;

6、所述視頻識(shí)別模塊用于檢測(cè)高速公路上的異常物體圖像和高速公路上的異常車輛變道行為圖像;

7、所述雷達(dá)識(shí)別模塊用于檢測(cè)高速公路上的異常物體點(diǎn)云數(shù)據(jù);

8、所述拋灑物識(shí)別模塊用于整合視頻識(shí)別模塊、雷達(dá)識(shí)別模塊的輸出,對(duì)疑似拋灑物進(jìn)行判斷識(shí)別;

9、所述拋灑物車輛信息識(shí)別模塊用于對(duì)拋灑物車輛的視頻片段、車牌信息或rfid信息進(jìn)行識(shí)別;

10、所述上位機(jī)接收拋灑物車輛信息識(shí)別模塊得到的拋灑物車輛的視頻片段、車牌信息或rfid信息。

11、進(jìn)一步的,邊緣計(jì)算網(wǎng)關(guān)通過rtsp視頻流地址的方式接入雷視一體機(jī)的攝像頭采集的實(shí)時(shí)視頻流信息。

12、一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)方法,依據(jù)所述的一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)系統(tǒng)實(shí)現(xiàn),包括如下步驟:

13、s1.所述雷視一體機(jī)的攝像頭和雷達(dá)分別采集高速公路上的實(shí)時(shí)圖像,分別傳輸給所述視頻識(shí)別模塊、雷達(dá)識(shí)別模塊;

14、s2.所述視頻識(shí)別模塊對(duì)步驟s1得到的視頻圖像進(jìn)行異常車輛變道行為判斷,然后對(duì)步驟s1得到的視頻圖像進(jìn)行預(yù)處理,然后進(jìn)行圖像背景建模得到路面圖像,然后使用訓(xùn)練好的ai目標(biāo)檢測(cè)模型對(duì)路面圖像進(jìn)行檢測(cè),識(shí)別得到視頻識(shí)別模塊輸出圖像;

15、s3.所述雷達(dá)識(shí)別模塊對(duì)步驟s1得到的雷達(dá)圖像進(jìn)行預(yù)處理,然后進(jìn)行圖像背景建模得到處理后的雷達(dá)圖像,然后利用訓(xùn)練好的3d目標(biāo)檢測(cè)模型對(duì)處理后的雷達(dá)數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)和識(shí)別,得到雷達(dá)識(shí)別模塊輸出圖像;

16、s4.將步驟s2得到的視頻識(shí)別模塊輸出圖像、步驟s3得到的雷達(dá)識(shí)別模塊輸出圖像輸入到所述拋灑物識(shí)別模塊中,進(jìn)行整合,對(duì)疑似的拋灑物進(jìn)行判斷、識(shí)別和分類,得到識(shí)別拋灑物的輸出圖像;

17、s5.將步驟s4得到的識(shí)別拋灑物的輸出圖像輸入到拋灑物車輛信息識(shí)別模塊中,進(jìn)行拋灑物車輛的視頻片段、車牌信息或rfid信息的提?。?/p>

18、s6.將步驟s5提取的拋灑物車輛的視頻片段、車牌信息或rfid信息輸送到路段公司、路政執(zhí)法部門,提示對(duì)高速公路上動(dòng)靜態(tài)拋灑物進(jìn)行處理。

19、進(jìn)一步的,步驟s2的具體實(shí)現(xiàn)方法包括如下步驟:

20、s2.1.所述視頻識(shí)別模塊對(duì)步驟s1得到的視頻圖像,采集車輛的軌跡數(shù)據(jù)t,表達(dá)式為:

21、

22、其中,n是數(shù)據(jù)點(diǎn)的數(shù)量,(xi,yi)是第i個(gè)數(shù)據(jù)點(diǎn)的軌跡坐標(biāo);

23、通過高斯濾波器對(duì)軌跡進(jìn)行平滑,得到平滑后的軌跡t′,表達(dá)式為:

24、t′=gaussianfilter(t,σ)

25、其中σ是高斯濾波器的標(biāo)準(zhǔn)差,然后將軌跡按固定長度l分為k段,得到表達(dá)式為:

26、

27、然后計(jì)算分段軌跡上的速度vi、加速度ai和方向角變化率δθi,表達(dá)式為:

28、

29、δθi=θi+1-θi

30、其中,是方向角,當(dāng)速度、加速度和方向角變化率中的一個(gè)或多個(gè)大于閾值時(shí),認(rèn)為存在異常變道行為,得到異常變道行為的視頻圖像;

31、s2.2.所述視頻識(shí)別模塊對(duì)步驟s1得到的視頻圖像進(jìn)行預(yù)處理,包括圖像扭曲校正、自適應(yīng)光照增強(qiáng)以及擴(kuò)充訓(xùn)練樣本集,得到預(yù)處理后的視頻圖像;

32、s2.3.對(duì)步驟s2.2得到的預(yù)處理后的視頻圖像進(jìn)行圖像背景建模,利用適用于動(dòng)態(tài)背景下的高斯混合模型gmm模型,去除包括車輛和行人的移動(dòng)目標(biāo),保留路面區(qū)域作為待檢測(cè)區(qū)域,得到路面圖像;

33、s2.4.使用包含各種路面拋灑物的圖像數(shù)據(jù)集對(duì)yolov5模型進(jìn)行訓(xùn)練,得到訓(xùn)練好的yolov5模型作為ai目標(biāo)檢測(cè)模型,使用訓(xùn)練好的ai目標(biāo)檢測(cè)模型對(duì)步驟s2.3得到的路面圖像進(jìn)行檢測(cè),得到視頻識(shí)別模塊檢測(cè)輸出圖像;

34、s2.5.將步驟s2.1得到的異常變道行為的視頻圖像根據(jù)過去一段時(shí)間的車輛軌跡數(shù)據(jù),生成軌跡分布圖,軌跡分布圖的每個(gè)像素的值表示單位時(shí)間內(nèi)該點(diǎn)有軌跡的總時(shí)長,將分布圖輸入多層卷積層的特征提取網(wǎng)絡(luò),獲取車輛軌跡嵌入向量,然后將車輛軌跡嵌入向量與步驟s2.3得到的視頻識(shí)別模塊檢測(cè)輸出圖像進(jìn)行拼接,得到視頻識(shí)別模塊輸出圖像,表達(dá)式為:

35、input=concat(conv(trajectorymap),videodetector(image))

36、其中,trajectorymap為軌跡分布圖,conv為多層卷積層,image為原始圖像數(shù)據(jù),videodetector為視頻識(shí)別模塊中的檢測(cè)模型,input為視頻識(shí)別模塊輸出圖像。

37、進(jìn)一步的,步驟s2.3中適用于動(dòng)態(tài)背景下的高斯混合模型gmm模型的構(gòu)建方法包括如下步驟:

38、s2.3.1.設(shè)置每個(gè)像素點(diǎn)的顏色值用多個(gè)高斯分布來描述,假設(shè)每個(gè)像素值x,則高斯混合模型p(x)的表達(dá)式為:

39、

40、其中,k是高斯分布的數(shù)量,wi是第i個(gè)高斯分布的權(quán)重,μi是第i個(gè)高斯分布的均值向量,∑i是第i個(gè)高斯分布的協(xié)方差矩陣,是均值為μi協(xié)方差矩陣為∑i的高斯分布;

41、s2.3.2.對(duì)于每一個(gè)新的像素值xt,高斯混合模型進(jìn)行以下更新步驟:

42、計(jì)算像素值xt與每個(gè)高斯分布的距離di,表達(dá)式為:

43、di=||xt-μi||

44、然后判斷當(dāng)前像素值xt是否匹配某個(gè)高斯分布,如果di小于某個(gè)閾值,通常為2.5σ,則認(rèn)為xt屬于第i個(gè)高斯分布;

45、對(duì)于匹配的高斯分布更新參數(shù),更新均值向量的表達(dá)式為:

46、μi=(1-α)μi+αxt

47、更新協(xié)方差矩陣∑i的表達(dá)式為:

48、∑i=(1-α)∑i+α(xt-μi)(xt-μi)t

49、更新權(quán)重wi的表達(dá)式為:

50、wi=(1-α)wi+α

51、對(duì)于不匹配的高斯分布,權(quán)重進(jìn)行衰減的表達(dá)式為:

52、wi=(1-α)wi

53、如果沒有任何一個(gè)高斯分布匹配當(dāng)前像素值xt,則用xt創(chuàng)建一個(gè)新的高斯分布,并刪除權(quán)重最小的高斯分布;

54、s2.3.3.為了保證所有權(quán)重的和為1,對(duì)所有權(quán)重進(jìn)行歸一化處理,表達(dá)式為:

55、

56、對(duì)于每個(gè)像素點(diǎn),如果當(dāng)前像素值xt不能被任何一個(gè)高斯分布描述,即di>2.5σ,則認(rèn)為該像素點(diǎn)屬于前景圖像。

57、進(jìn)一步的,步驟s3的具體實(shí)現(xiàn)方法包括如下步驟:

58、s3.1.所述雷達(dá)識(shí)別模塊對(duì)步驟s1得到的雷達(dá)圖像進(jìn)行預(yù)處理,通過表面離群點(diǎn)移除sor方法和中值濾波進(jìn)行去噪處理,得到預(yù)處理的雷達(dá)圖像;

59、s3.2.對(duì)步驟s3.1得到的預(yù)處理的雷達(dá)圖像進(jìn)行背景建模,首先將雷達(dá)點(diǎn)云數(shù)據(jù)體素化,選擇網(wǎng)格尺寸,將點(diǎn)分配到素?cái)?shù)的體素中,然后通過使用適用于動(dòng)態(tài)背景下的高斯混合模型gmm模型對(duì)空間體素進(jìn)行歷史統(tǒng)計(jì)建模,調(diào)整gmm模型的參數(shù),包括高斯分布數(shù)量和協(xié)方差矩陣,去除包括車輛和行人的移動(dòng)目標(biāo),保留靜態(tài)背景信息數(shù)據(jù),得到處理后的雷達(dá)圖像;

60、s3.3.利用訓(xùn)練好的3d目標(biāo)檢測(cè)模型對(duì)步驟s3.2得到的處理后的雷達(dá)數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)和識(shí)別,使用pointpillars網(wǎng)絡(luò)通過調(diào)整學(xué)習(xí)率、批量大小、訓(xùn)練輪數(shù)參數(shù),得到具備良好檢測(cè)能力的模型對(duì)地面上的3d目標(biāo)進(jìn)行檢測(cè),得到雷達(dá)識(shí)別模塊輸出圖像。

61、進(jìn)一步的,步驟s4的具體實(shí)現(xiàn)方法包括如下步驟:

62、s4.1.將步驟s2得到的視頻識(shí)別模塊輸出圖像輸入到所述拋灑物識(shí)別模塊中的ai分類模型中,使用修改后的resnet-50模型作為ai分類模型,resnet-50模型結(jié)構(gòu)如下:

63、resnet-50=dense(avgpooling(conv5_x(conv4_x(conv3_x(conv2_x(conv1(input)))))))

64、其中,avgpooling為平均池化層,conv1,conv2_x,conv3_x,conv4_x,conv5_x分別為第1層深度的卷積模塊、第2層深度的卷積模塊、第3層深度的卷積模塊、第4層深度的卷積模塊、第5層深度的卷積模塊,dense為全連接層經(jīng)過softmax激活函數(shù)后輸出分類結(jié)果;

65、s4.2.將步驟s3得到的雷達(dá)識(shí)別模塊輸出圖像輸入到所述拋灑物識(shí)別模塊中的基于深度學(xué)習(xí)的點(diǎn)云分類模型pointnet,對(duì)疑似拋灑物的目標(biāo)進(jìn)行二次分類,確定該目標(biāo)是否是拋灑物。其中pointnet的表達(dá)式為:

66、pointnet=softmax(maxpooling(softmax(t-nett(mlp(t-net(pointcloud))))))

67、其中,t-net為輸入變換網(wǎng)絡(luò)用于學(xué)習(xí)輸入點(diǎn)云的變換矩陣,mlp為多層共享的多層感知器,pointcloud為點(diǎn)云數(shù)據(jù),maxpooling為最大池化層;最后通過softmax來預(yù)測(cè)最后的分類分?jǐn)?shù),表達(dá)式為:

68、t-net(input)=mlpk×n(input)×mlpn×n(mlpk×n(input));

69、s4.3.使用多幀圖像判斷的方法,對(duì)步驟s4.1得到的視頻檢測(cè)結(jié)果和步驟s4.2得到的雷達(dá)分類結(jié)果進(jìn)行綜合判定,如果多個(gè)時(shí)刻的視頻分類結(jié)果與雷達(dá)檢測(cè)分類結(jié)果一致,則認(rèn)為拋灑物檢測(cè)結(jié)果可信,如果多個(gè)時(shí)刻中圖像分類結(jié)果與的分類結(jié)果不一致,則認(rèn)為檢測(cè)結(jié)果不可信,將其剔除;如果確定是拋灑物,則采用矩形框?qū)β访鎾仦⑽镞M(jìn)行標(biāo)記,并在系統(tǒng)中提示路面異常事件報(bào)警信息,將信息存入數(shù)據(jù)庫,并對(duì)檢索拋灑物出現(xiàn)前后一段時(shí)間的車輛數(shù)據(jù),輸入拋灑物車輛信息識(shí)別模塊。

70、進(jìn)一步的,步驟s5的具體實(shí)現(xiàn)方法包括如下步驟:

71、s5.1.將步驟s4得到的識(shí)別拋灑物的輸出圖像輸入到拋灑物車輛信息識(shí)別模塊中,當(dāng)拋灑物識(shí)別模塊識(shí)別到拋灑物信息時(shí),首先根據(jù)識(shí)別時(shí)間戳,從歷史的車輛識(shí)別信息中,根據(jù)位置、軌跡等信息追溯拋灑車輛id,并啟動(dòng)視頻錄制,截取拋撒行為前后一定時(shí)間的視頻片段;

72、s5.2.從截取視頻圖像中,使用基于深度學(xué)習(xí)的車輛檢測(cè)模型yolov5檢測(cè)并裁剪出拋撒車輛圖像;

73、yolov5的骨干網(wǎng)絡(luò)采用輕量化的模型架構(gòu),選擇cspdarknet53、efficientnet作為基礎(chǔ)網(wǎng)絡(luò),負(fù)責(zé)從輸入圖像中提取特征,然后特征向量經(jīng)過neck結(jié)構(gòu)用于進(jìn)一步處理和融合特征圖,最后通過檢測(cè)頭負(fù)責(zé)在不同的尺度上生成預(yù)測(cè)框,并預(yù)測(cè)每個(gè)框的類別概率和邊界框位置;

74、使用基于efficientdet的車牌檢測(cè)模型對(duì)拋撒車輛圖像進(jìn)行檢測(cè),若能檢測(cè)到車牌,則將車牌圖像裁出,根據(jù)檢測(cè)到的車牌角點(diǎn)數(shù)據(jù)計(jì)算車牌的透視變換矩陣,并將車牌圖像投影為正視圖,使用車牌識(shí)別paddleocr模型對(duì)車牌信息進(jìn)行提??;若無法檢測(cè)到車牌,則通過記錄拋撒車輛的rfid信息。

75、進(jìn)一步的,步驟s5.2對(duì)車牌投影的步驟為,首先獲取車牌角點(diǎn)p={(x1,y1),(x2,y2),(x3,y3),(x4,y4)};

76、然后計(jì)算透視變換矩陣m,表達(dá)式為:

77、m=getperspectivetransform(p,p′)

78、其中,getperspectivetransform為計(jì)算透視變換矩陣,p為車牌在圖像中的角點(diǎn),p′為車牌根據(jù)實(shí)際尺寸建立平面直角坐標(biāo)系中的角點(diǎn);

79、將車牌圖像進(jìn)行透視變換得到正視圖i′,表達(dá)式為:

80、i′=warpperspective(i,m)

81、其中,i為車牌實(shí)際圖像,i′為車牌正視圖。

82、本發(fā)明的有益效果:

83、本發(fā)明所述的一種高速公路上動(dòng)靜態(tài)拋灑物識(shí)別檢測(cè)方法,結(jié)合路側(cè)布設(shè)的雷攝一體機(jī)的邊緣側(cè),采用邊緣計(jì)算、深度學(xué)習(xí)、機(jī)器視覺技術(shù)對(duì)高清攝像頭實(shí)時(shí)視頻流進(jìn)行圖像識(shí)別分析,并使用多模態(tài)預(yù)訓(xùn)練大模型的識(shí)別算法將檢測(cè)結(jié)果快速上報(bào)路段公司與路政執(zhí)法部門平臺(tái),能夠研判處理拋灑物的分類判斷識(shí)別,具備經(jīng)濟(jì)性高、快速化檢測(cè)并及時(shí)上傳違規(guī)車輛信息等特點(diǎn),保障高速公路的安全運(yùn)行。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
舒兰市| 四会市| 陆河县| 武穴市| 寿阳县| 承德县| 永春县| 湖口县| 古田县| 革吉县| 黔西县| 襄垣县| 长治县| 红河县| 舞阳县| 辽宁省| 犍为县| 安庆市| 原平市| 苏尼特右旗| 郯城县| 子长县| 响水县| 曲靖市| 克东县| 广宁县| 平原县| 昆明市| 司法| 五家渠市| 沁阳市| 兴和县| 舒兰市| 江陵县| 迁西县| 伊宁县| 临猗县| 泗洪县| 黎平县| 江川县| 华池县|