本發(fā)明涉及目標(biāo)檢測領(lǐng)域,尤其涉及一種目標(biāo)行為檢測模型的構(gòu)建方法。
背景技術(shù):
1、隨著目標(biāo)檢測技術(shù)的不斷發(fā)展,該技術(shù)已經(jīng)廣泛應(yīng)用于自動駕駛、視頻監(jiān)控等領(lǐng)域。目標(biāo)檢測不僅包括對目標(biāo)本身的檢測,還包括對目標(biāo)行為進(jìn)行檢測。近年來人工智能技術(shù)迅速崛起,基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)被廣泛應(yīng)用于目標(biāo)行為自動檢測。
2、目前現(xiàn)有的目標(biāo)行為相關(guān)檢測模型通常采用下述幾種方法進(jìn)行檢測:
3、(1)采用深度神經(jīng)網(wǎng)絡(luò)對目標(biāo)行為手勢進(jìn)行特征提取,從而實現(xiàn)目標(biāo)行為的自動檢測;
4、(2)通過建立基于深度學(xué)習(xí)算法的目標(biāo)檢測模型對特定目標(biāo)進(jìn)行識別,從而實現(xiàn)目標(biāo)行為的自動檢測。
5、上述方法存在以下缺陷:
6、對于方法(1),由于目標(biāo)行為手勢多變、人體膚色多樣、相機拍攝角度不同、易與目標(biāo)行為類似的手勢相混淆等因素,導(dǎo)致識別誤判率較大,目標(biāo)行為檢測的準(zhǔn)確率較低;
7、對于方法(2),由于有些特定目標(biāo)較小、易與類似目標(biāo)相混淆等因素,導(dǎo)致某些特定目標(biāo)難以識別,從而使目標(biāo)行為檢測的準(zhǔn)確率較低;并且,由于建立的目標(biāo)檢測模型時空復(fù)雜度較高,導(dǎo)致目標(biāo)行為檢測的實時性較低。
8、可見,提供一種檢測準(zhǔn)確率高的目標(biāo)行為檢測模型是亟待解決的問題。
技術(shù)實現(xiàn)思路
1、鑒于上述的分析,本發(fā)明旨在提供一種目標(biāo)行為檢測模型的構(gòu)建方法,用以解決現(xiàn)有目標(biāo)行為相關(guān)檢測模型信息融合不充分,不利于特征提取,導(dǎo)致檢測準(zhǔn)確率低的問題。
2、本發(fā)明提供了一種目標(biāo)行為檢測模型的構(gòu)建方法,所述方法包括以下步驟:
3、基于yolov5s模型構(gòu)建初始目標(biāo)行為檢測模型,所述初始目標(biāo)行為檢測模型包括輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測端;
4、對所述骨干網(wǎng)絡(luò)的cbs模塊進(jìn)行改進(jìn)得到cbh模塊,對所述骨干網(wǎng)絡(luò)的c3_1模塊進(jìn)行改進(jìn)得到c5_1模塊,對所述骨干網(wǎng)絡(luò)的sppf模塊進(jìn)行改進(jìn)得到sppfs模塊;
5、對所述頸部網(wǎng)絡(luò)的c3_2模塊進(jìn)行改進(jìn)得到c5_2模塊;
6、用cbh模塊、c5_1模塊、sppfs模塊分別替換所述骨干網(wǎng)絡(luò)中的cbs模塊、c3_1模塊、sppf模塊,用cbh模塊、c5_2模塊分別替換所述頸部網(wǎng)絡(luò)中的cbs模塊、c3_2模塊,從而構(gòu)建目標(biāo)行為檢測模型;
7、采集目標(biāo)行為圖像并進(jìn)行標(biāo)注構(gòu)建數(shù)據(jù)集,基于所述數(shù)據(jù)集對所述目標(biāo)行為檢測模型進(jìn)行訓(xùn)練得到訓(xùn)練好的目標(biāo)行為檢測模型。
8、進(jìn)一步地,所述cbh模塊包括依次相連的卷積層、批歸一化層、nhswish激活函數(shù)。
9、進(jìn)一步地,所述nhswish激活函數(shù)的表達(dá)式為:
10、
11、其中,x表示批歸一化層的輸出結(jié)果。
12、進(jìn)一步地,所述c5_1模塊包括第一及第二分割層、第一至第五cbh模塊、特征融合層;其中,輸入的特征圖經(jīng)第一分割層被分為兩路后分別經(jīng)過第一cbh模塊、第二cbh模塊輸入至特征融合層,第二cbh模塊的輸出還經(jīng)第二分割層被分為兩路后分別經(jīng)過第三cbh模塊、第四cbh模塊輸入至特征融合層,特征融合層的輸出輸入至第五cbh模塊。
13、進(jìn)一步地,所述c5_2模塊包括分割層、第一至第五cbh模塊、特征融合層;其中,輸入的特征圖經(jīng)分割層被分為兩路后分別經(jīng)過第一cbh模塊、第二cbh模塊輸入至特征融合層,第二cbh模塊的輸出還經(jīng)過第三cbh模塊輸入至特征融合層,第三cbh模塊的輸出還經(jīng)過第四cbh模塊輸入至特征融合層,特征融合層的輸出輸入至第五cbh模塊。
14、進(jìn)一步地,所述sppfs模塊包括分割層、第一及第二cbh模塊、第一特征融合層、最大池化模塊;其中,輸入的特征圖經(jīng)分割層被分為兩路后分別經(jīng)過最大池化模塊、第一cbh模塊輸入至第一特征融合層,第一特征融合層的輸出輸入至第二cbh模塊;所述最大池化模塊包括依次相連的第三cbh模塊、3個最大池化層、第二特征融合層、第四cbh模塊,第三cbh模塊的輸出以及3個最大池化層的輸出還跳躍連接至第二特征融合層。
15、進(jìn)一步地,用cbh模塊替換所述初始目標(biāo)行為檢測模型骨干網(wǎng)絡(luò)以及頸部網(wǎng)絡(luò)中所有的cbs模塊;用c5_1模塊替換所述初始目標(biāo)行為檢測模型骨干網(wǎng)絡(luò)中所有的c3_1模塊;用sppfs模塊替換所述初始目標(biāo)行為檢測模型骨干網(wǎng)絡(luò)中的sppf模塊;用c5_2模塊替換所述初始目標(biāo)行為檢測模型頸部網(wǎng)絡(luò)中所有的c3_2模塊,從而構(gòu)建目標(biāo)行為檢測模型。
16、進(jìn)一步地,在所述目標(biāo)行為檢測模型中:
17、將骨干網(wǎng)絡(luò)中第三層c5_1模塊,即p2單元的輸出輸入至頸部網(wǎng)絡(luò)fpn中第一層cbh模塊;
18、將骨干網(wǎng)絡(luò)中sppfs模塊的輸出輸入至頸部網(wǎng)絡(luò)pan中第六層特征融合層;
19、將頸部網(wǎng)絡(luò)fpn中第二層特征融合層的輸出輸入至頸部網(wǎng)絡(luò)pan中第一層cbh模塊。
20、進(jìn)一步地,對目標(biāo)行為圖像進(jìn)行預(yù)處理、圖像增強以及標(biāo)注構(gòu)建數(shù)據(jù)集包括:
21、剔除目標(biāo)特征點不明顯的目標(biāo)行為圖像,將剩余目標(biāo)行為圖像像素尺寸、格式調(diào)整為一致;
22、對像素尺寸調(diào)整后的目標(biāo)行為圖像進(jìn)行圖像增強處理;
23、對像素尺寸調(diào)整以及圖像增強后的目標(biāo)行為圖像進(jìn)行標(biāo)注構(gòu)建數(shù)據(jù)集,并將所述數(shù)據(jù)集劃分為訓(xùn)練集和測試集。
24、進(jìn)一步地,所述對像素尺寸調(diào)整后的目標(biāo)行為圖像進(jìn)行圖像增強處理包括以下一種或多種方法:
25、隨機選擇所述目標(biāo)行為圖像中的部分內(nèi)容并復(fù)制到其他圖像中,生成新的目標(biāo)行為圖像;
26、對所述目標(biāo)行為圖像進(jìn)行二維線性變換,生成新的目標(biāo)行為圖像;所述二維線性變換包括旋轉(zhuǎn)、平移、縮放、錯切、翻轉(zhuǎn);
27、在所述目標(biāo)行為圖像中隨機選取兩幅圖像,將所述兩幅圖像按一定比例混合,生成新的目標(biāo)行為圖像;
28、隨機調(diào)整所述目標(biāo)行為圖像的色調(diào)、飽和度、亮度,生成新的目標(biāo)行為圖像;
29、隨機遮擋所述目標(biāo)行為圖像中的部分區(qū)域,生成新的目標(biāo)行為圖像。
30、與現(xiàn)有技術(shù)相比,本發(fā)明至少可實現(xiàn)如下有益效果之一:
31、1、本發(fā)明提出的nhswish激活函數(shù)采用分段函數(shù)簡化表達(dá)式,提高了計算效率,適用于資源有限的嵌入式設(shè)備。
32、2、本發(fā)明提出的c5_1模塊以及c5_2模塊由cbh模塊經(jīng)過多次通道疊加組成,不僅降低了參數(shù)量和運算量,而且增加了不同通道之間的信息融合,為提高模型預(yù)測的精度提供了基礎(chǔ)。
33、3、本發(fā)明提出的sppfs模塊通過增加不同通道之間的信息融合具有更深入的信息融合效果,有利于更全面地提取全局特征信息,為提高模型預(yù)測的精度提供了基礎(chǔ)。
34、4、本發(fā)明將骨干網(wǎng)絡(luò)中p2單元的輸出輸入至頸部網(wǎng)絡(luò)fpn并將fpn中第二層特征融合層的輸出輸入至pan,可以降低小目標(biāo)特征信息在多層卷積計算過程中的衰減,使特征信息在fpn與pan中進(jìn)行特征融合,增強了圖像淺層語義信息的傳播,平衡深層網(wǎng)絡(luò)對于目標(biāo)類別識別與淺層網(wǎng)絡(luò)對于小目標(biāo)的定位進(jìn)行不同尺度圖像特征提取之間的矛盾;將骨干網(wǎng)絡(luò)中sppfs模塊的輸出直接作為信息流輸入至頸部網(wǎng)絡(luò)pan,提高了預(yù)測框位置的精度,為提高模型預(yù)測的精度提供了基礎(chǔ)。
35、本發(fā)明中,上述各技術(shù)方案之間還可以相互組合,以實現(xiàn)更多的優(yōu)選組合方案。本發(fā)明的其他特征和優(yōu)點將在隨后的說明書中闡述,并且,部分優(yōu)點可從說明書中變得顯而易見,或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過說明書以及附圖中所特別指出的內(nèi)容中來實現(xiàn)和獲得。