本發(fā)明涉及目標(biāo)識(shí)別,具體為一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法及系統(tǒng)。
背景技術(shù):
1、在我國(guó),電動(dòng)車(chē)或摩托車(chē)是一種主要的交通工具,但這類(lèi)車(chē)輛的交通事故也頻發(fā)。本發(fā)明將電動(dòng)車(chē)和摩托車(chē)統(tǒng)稱(chēng)為機(jī)動(dòng)兩輪車(chē)。佩戴頭盔可以大大降低在交通事故中機(jī)動(dòng)兩輪車(chē)駕駛員頭部受傷的風(fēng)險(xiǎn)和死亡率。通過(guò)各種媒體和社區(qū)活動(dòng)有望提高公眾對(duì)騎行機(jī)動(dòng)兩輪車(chē)時(shí)佩戴頭盔重要性的認(rèn)知。但宣傳教育并沒(méi)有增加違規(guī)成本,部分駕駛員依然不會(huì)自覺(jué)佩戴頭盔。各地交通部門(mén)設(shè)立檢查點(diǎn),交警通過(guò)口頭教育或者罰款等方式對(duì)不佩戴頭盔的騎行者進(jìn)行處罰。這種人工檢查的方式雖然效果很好,但費(fèi)時(shí)費(fèi)力。通過(guò)目標(biāo)檢測(cè)算法可以全天候、不間斷地自動(dòng)檢測(cè)騎行者的頭盔佩戴情況,確保違規(guī)行為能夠及時(shí)被發(fā)現(xiàn)和處理。
2、yolo系列的目標(biāo)檢測(cè)算法具有高效的實(shí)時(shí)處理能力,不僅檢測(cè)速度快,而且精度高。目前研究人員使用yolov5和yolov8在騎行者頭盔檢測(cè)任務(wù)上已經(jīng)取得了一定的成效,但僅僅檢測(cè)騎行人員的頭盔佩戴情況,并且依賴(lài)nms(非極大值抑制)算法,增加了推理時(shí)間和計(jì)算開(kāi)銷(xiāo)。
技術(shù)實(shí)現(xiàn)思路
1、現(xiàn)有方法僅僅針對(duì)騎行者的頭盔佩戴情況進(jìn)行檢測(cè),本發(fā)明提出了一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,進(jìn)一步提出了車(chē)牌識(shí)別,為交通部門(mén)的監(jiān)管與記錄提供幫助;且與使用yolov5和yolov8的方法相比,推理時(shí)間和計(jì)算開(kāi)銷(xiāo)更少。
2、根據(jù)本發(fā)明的一方面,提出了一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,該方法包括:
3、s1:采集騎行機(jī)動(dòng)兩輪車(chē)的騎行者圖像,構(gòu)建騎行者圖像數(shù)據(jù)集;
4、s2:通過(guò)在yolov10s模型添加coordatt注意力模塊,構(gòu)建yolov10s_ca模型,使用所述騎行者圖像數(shù)據(jù)集對(duì)所述yolov10s_ca模型訓(xùn)練,識(shí)別所述騎行者圖像是否穿戴頭盔和對(duì)應(yīng)的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域;
5、s3:將待檢測(cè)的騎行者圖像輸入到訓(xùn)練好的yolov10s_ca模型,檢測(cè)并保存未穿戴頭盔的騎行者圖像對(duì)應(yīng)的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域;
6、s4:基于預(yù)訓(xùn)練的pp-ocrv4模型對(duì)檢測(cè)到的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域進(jìn)行識(shí)別,輸出車(chē)牌號(hào)碼。
7、優(yōu)選的,s2具體包括,通過(guò)在所述yolov10s模型的c2fcib_add模塊與sppf模塊中間添加了一個(gè)所述coordatt注意力模塊構(gòu)建所述yolov10s_ca模型。通過(guò)引入coordatt注意力模塊關(guān)注位置信息,改進(jìn)了yolov10s的通道注意力機(jī)制,增強(qiáng)了模型的特征表達(dá)能力。
8、優(yōu)選的,所述騎行者圖像數(shù)據(jù)集的類(lèi)別標(biāo)簽包括機(jī)動(dòng)兩輪車(chē)、有頭盔、無(wú)頭盔和車(chē)牌。
9、優(yōu)選的,所述pp-ocrv4模型包括字符檢測(cè)模型,文本方向分類(lèi)模型,字符識(shí)別模型。通過(guò)ocr(光學(xué)字符識(shí)別)進(jìn)一步識(shí)別未佩戴頭盔的機(jī)動(dòng)兩輪車(chē)的車(chē)牌,執(zhí)法部門(mén)能夠記錄違規(guī)信息,并對(duì)車(chē)主進(jìn)行處罰,如罰款或警告。同時(shí),識(shí)別出的車(chē)牌信息可以存檔,形成違規(guī)數(shù)據(jù)庫(kù),用于后續(xù)的管理和分析。這有助于對(duì)多次違規(guī)的車(chē)輛和人員進(jìn)行重點(diǎn)監(jiān)控和管理。
10、進(jìn)一步優(yōu)選的,s4具體包括:
11、s401,所述字符檢測(cè)模型對(duì)檢測(cè)所述機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域的字符區(qū)域進(jìn)行檢測(cè),裁剪出車(chē)牌信息區(qū)域;
12、s402,所述文本方向分類(lèi)模型對(duì)檢測(cè)到的車(chē)牌信息區(qū)域進(jìn)行校正;
13、s403,所述字符識(shí)別模型根據(jù)校正后的車(chē)牌信息區(qū)域識(shí)別車(chē)牌信息,輸出車(chē)牌號(hào)碼。
14、根據(jù)本發(fā)明的一方面,提出了一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別系統(tǒng),包括以下模塊:
15、圖像采集模塊:采集騎行機(jī)動(dòng)兩輪車(chē)的騎行者圖像,構(gòu)建騎行者圖像數(shù)據(jù)集;
16、目標(biāo)識(shí)別模型訓(xùn)練模塊:通過(guò)在yolov10s模型添加coordatt注意力模塊,構(gòu)建yolov10s_ca模型,使用所述騎行者圖像數(shù)據(jù)集對(duì)所述yolov10s_ca模型訓(xùn)練,識(shí)別所述騎行者圖像是否穿戴頭盔和對(duì)應(yīng)的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域;
17、目標(biāo)識(shí)別模型檢測(cè)模塊:將待檢測(cè)的騎行者圖像輸入到訓(xùn)練好的yolov10s_ca模型,檢測(cè)并保存未穿戴頭盔的騎行者圖像對(duì)應(yīng)的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域;
18、車(chē)牌信息檢測(cè)模塊:基于預(yù)訓(xùn)練的pp-ocrv4模型對(duì)檢測(cè)到的機(jī)動(dòng)兩輪車(chē)車(chē)牌區(qū)域進(jìn)行識(shí)別,輸出車(chē)牌號(hào)碼。
19、根據(jù)本發(fā)明的一方面,提出了一種計(jì)算機(jī)可讀介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)施如第一方面任一項(xiàng)所述的方法。
20、根據(jù)本發(fā)明的一方面,提出了一種計(jì)算系統(tǒng),包括處理器和存儲(chǔ)器,所述處理器被配置為執(zhí)行如第一方面任一項(xiàng)所述的方法。
21、本發(fā)明的有益之處在于:
22、(1)基于yolov10s改進(jìn)的yolov10s_ca模型具有高精度和高實(shí)時(shí)性的特點(diǎn),它可以快速識(shí)別并定位騎行者的頭盔佩戴情況。
23、(2)使用pp-ocrv4模型專(zhuān)門(mén)用于從yolov10s_ca模型檢測(cè)到的車(chē)牌中提取車(chē)牌信息,確保違規(guī)車(chē)輛的信息被及時(shí)而準(zhǔn)確的識(shí)別和記錄。
24、(3)本發(fā)明結(jié)合yolov10s_ca和pp-ocrv4,能實(shí)現(xiàn)毫秒級(jí)的預(yù)測(cè)。兩者的協(xié)同工作可以實(shí)現(xiàn)全面的交通監(jiān)控,不僅能夠?qū)崟r(shí)檢測(cè)并判斷騎行者是否佩戴頭盔,還能快速識(shí)別機(jī)動(dòng)兩輪車(chē)的車(chē)牌信息。本發(fā)明可以幫助交通部門(mén)制定更有效的管理和處罰措施。
1.一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,其特征在于,s2具體包括,通過(guò)在所述yolov10s模型的c2fcib_add模塊與sppf模塊中間添加了一個(gè)所述coordatt注意力模塊構(gòu)建所述yolov10s_ca模型。
3.根據(jù)權(quán)利要求1所述的一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,其特征在于,所述騎行者圖像數(shù)據(jù)集的類(lèi)別標(biāo)簽包括機(jī)動(dòng)兩輪車(chē)、有頭盔、無(wú)頭盔和車(chē)牌。
4.根據(jù)權(quán)利要求1所述的一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,其特征在于,所述pp-ocrv4模型包括字符檢測(cè)模型,文本方向分類(lèi)模型,字符識(shí)別模型。
5.根據(jù)權(quán)利要求4所述的一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別方法,其特征在于,s4具體包括:
6.一種基于yolov10s和pp-ocrv4的騎行者頭盔檢測(cè)與車(chē)牌識(shí)別系統(tǒng),其特征在于,包括以下模塊:
7.一種計(jì)算機(jī)可讀介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)施如權(quán)利要求1-5中任一項(xiàng)所述的方法。
8.一種計(jì)算系統(tǒng),包括處理器和存儲(chǔ)器,所述處理器被配置為執(zhí)行如權(quán)利要求1-5中任一項(xiàng)所述的方法。