本發(fā)明涉及智能交通監(jiān)控，更具體的說是涉及一種基于對比學(xué)習(xí)和實(shí)時(shí)邊緣計(jì)算的駕駛員分心駕駛行為識別方法。

背景技術(shù)：

1、隨著交通運(yùn)輸行業(yè)的飛速發(fā)展，道路上機(jī)動車和機(jī)動車駕駛員的數(shù)量迅速增加。交通工具的進(jìn)步給人們帶來便利的同時(shí)，也使得交通事故日漸增多，對人民的生命財(cái)產(chǎn)安全造成了嚴(yán)重威脅，其中駕駛員不佩戴安全帶、接打電話等違規(guī)駕駛行為是造成交通事故的主要原因之一。在此背景下，面對日益嚴(yán)峻的交通安全形勢，智能交通監(jiān)控系統(tǒng)的開發(fā)引起了廣大研究者的關(guān)注。

2、在現(xiàn)有技術(shù)中的技術(shù)方案為：對resnet50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)后用于駕駛員行為檢測，將卷積殘差模塊第二層卷積替換為深度可分離卷積(dscb)，將恒等殘差模塊中第一層和第二層卷積替換為深度可分離卷積，將第三層替換為分組卷積(dsib)，并減少恒等殘差模塊數(shù)量，減少最后一層全連接層的神經(jīng)元數(shù)量以實(shí)現(xiàn)輕量化，減少參數(shù)量。同時(shí)在每一個(gè)卷積殘差模塊和恒等殘差模塊中間嵌入通道注意力機(jī)制和空間注意力機(jī)制模塊，提升檢測率。

3、在修改殘差模塊數(shù)量這一步驟，將resnet50的第二階段、第三階段、第四階段、第五階段的殘差塊數(shù)量由3、4、6、3修改為3、3、4、3，并且去掉了最后一層全連接層，重新設(shè)置全連接層中神經(jīng)元數(shù)量為256；在添加注意力機(jī)制模塊時(shí)，一共添加了13個(gè)通道注意力機(jī)制模塊和空間注意力機(jī)制模塊，用于關(guān)注不同特征通道和圖像不同位置的重要性。

4、這種方法只是提出了一個(gè)模型改進(jìn)的思路，并且僅能檢測兩類行為：打電話和未系安全帶。該方法未真正提出一個(gè)可行的能夠落地的方法，未給出能夠在邊緣計(jì)算平臺上部署模型的方法。同時(shí)該方法并未考慮在模型部署到開發(fā)板之后的推理庫算子支持情況以及增加注意力機(jī)制對于計(jì)算復(fù)雜度的影響。

5、因此，提出一種基于對比學(xué)習(xí)和實(shí)時(shí)邊緣計(jì)算的駕駛員分心駕駛行為識別方法，來解決現(xiàn)有技術(shù)存在的困難，是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于對比學(xué)習(xí)和實(shí)時(shí)邊緣計(jì)算的駕駛員分心駕駛行為識別方法，用于解決現(xiàn)有技術(shù)中存在的技術(shù)問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于對比學(xué)習(xí)和實(shí)時(shí)邊緣計(jì)算的駕駛員分心駕駛行為識別方法，包括以下步驟：

4、獲取目標(biāo)數(shù)據(jù)集；

5、構(gòu)建yolov5檢測模型，并對yolov5檢測模型進(jìn)行預(yù)訓(xùn)練；

6、將預(yù)訓(xùn)練的yolov5檢測模型改為yolov5的分類模型，并在目標(biāo)數(shù)據(jù)集上進(jìn)行再次訓(xùn)練，得到訓(xùn)練后的pt模型；

7、基于對比學(xué)習(xí)方法對pt模型進(jìn)行改進(jìn)；

8、將改進(jìn)后的pt模型進(jìn)行bn層剪枝，剪枝后對pt模型進(jìn)行量化處理；

9、將pt模型先轉(zhuǎn)換為onnx模型再轉(zhuǎn)換為rknn模型并進(jìn)行預(yù)編譯；

10、最后使用預(yù)編譯的rknn模型在邊緣計(jì)算平臺進(jìn)行實(shí)時(shí)推理。

11、上述的方法，可選的，邊緣計(jì)算平臺為rv1126邊緣計(jì)算平臺。

12、上述的方法，可選的，對yolov5檢測模型進(jìn)行預(yù)訓(xùn)練的具體內(nèi)容為：

13、yolov5檢測模型用于基于駕駛員行為圖像進(jìn)行行為分類，將yolov5檢測模型的backbone用于圖片特征提取及分類，刪除neck、head結(jié)構(gòu)并將yolov5檢測模型的最后一層spff層改為分類層；

14、將目標(biāo)數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集，保證訓(xùn)練集、驗(yàn)證集和測試集是獨(dú)立且隨機(jī)的，在每個(gè)子集之下，將圖片按照類別劃分文件夾存放。

15、上述的方法，可選的，基于對比學(xué)習(xí)方法對pt模型進(jìn)行改進(jìn)的具體內(nèi)容為：

16、進(jìn)行模擬開放集設(shè)計(jì)，使用目標(biāo)數(shù)據(jù)集與在訓(xùn)練集中使用不同數(shù)量的分心駕駛行為進(jìn)行訓(xùn)練，識別時(shí)使用全部分心行為類別，從而得到在測試集中未見過的分心駕駛行為的類別；

17、將閉集分類任務(wù)作為主任務(wù)構(gòu)成分類損失約束，添加一個(gè)判別式的學(xué)習(xí)任務(wù)作為輔助任務(wù)構(gòu)成對比損失約束，主任務(wù)和輔助任務(wù)共享一個(gè)主干網(wǎng)絡(luò)，使用同一個(gè)編碼層將圖像轉(zhuǎn)換為特征圖；

18、模型輸入大小為480×480，批次大小為256，使用sgd優(yōu)化器，學(xué)習(xí)率為1e×10^-4，對比損失的溫度系數(shù)為0.25；

19、分為正常駕駛與異常駕駛兩分類任務(wù)，使用auc、準(zhǔn)確率和f1分?jǐn)?shù)作為評估指標(biāo)，baseline模型為僅使用交叉熵?fù)p失函數(shù)的yolov5s-cls，scl則指使用了對比學(xué)習(xí)損失改進(jìn)的版本。

20、上述的方法，可選的，分類損失約束使用交叉熵?fù)p失函數(shù)：

21、

22、其中，m為類別的數(shù)量，n為批次大小，li為符號函數(shù)和概率對數(shù)的乘積和的負(fù)數(shù)，yic為符號函數(shù)，pic為觀測樣本i屬于類別c的預(yù)測概率；

23、對比損失約束使用對比損失函數(shù)，使用樣本的標(biāo)簽信息參與訓(xùn)練，利用有監(jiān)督學(xué)習(xí)，正樣本包括具有相同標(biāo)簽的樣本，負(fù)樣本包括具有不同標(biāo)簽的樣本，使用有監(jiān)督對比損失能夠使特征提取網(wǎng)絡(luò)獲取到的嵌入表示與標(biāo)簽對齊，公式如下所示：

24、

25、其中，n為批次大小，li為p(i)表示與xi具有相同標(biāo)簽的樣本，·為內(nèi)積，為正例樣本特征向量歸一化，為與正例樣本不同標(biāo)簽的樣本特征向量歸一化，為正例樣本增廣版本的特征向量歸一化，τ為對比學(xué)習(xí)溫度參數(shù)，xk為與xi'不同的增廣版本，xi'為xi的增廣版本。

26、上述的方法，可選的，將改進(jìn)后的pt模型進(jìn)行bn層剪枝的具體內(nèi)容為：

27、首先初始化網(wǎng)絡(luò)，識別并標(biāo)記具有最小縮放因子的通道，對通道中的每個(gè)縮放因子施加l1正則化來進(jìn)行調(diào)整，每個(gè)縮放因子與特定的卷積通道相對應(yīng)，通道剪枝的數(shù)學(xué)表達(dá)式為：

28、

29、其中，w為可訓(xùn)練權(quán)重，l為cnn的正常訓(xùn)練損失，f為訓(xùn)練輸出，x為訓(xùn)練輸入，y為訓(xùn)練目標(biāo)，λ為超參數(shù)，g(γ)為對比例因子的稀疏化懲罰，此處選為|γ|即l1范數(shù)；

30、在對bn層的剪枝操作中執(zhí)行以下操作：

31、

32、其中，為標(biāo)準(zhǔn)化后的輸入，zin為bn層的輸入，μβ為輸入激活的平均值，為輸入激活的標(biāo)準(zhǔn)差，∈為偏差，zout為bn層的輸出，γ為仿射變化比例，β為仿射變換偏差；

33、超參數(shù)λ的系數(shù)隨著訓(xùn)練次數(shù)增加逐漸減小，進(jìn)行稀疏化訓(xùn)練時(shí)，系數(shù)取0.001，batch_size取128，運(yùn)行50epochs；

34、根據(jù)縮放因子對pt模型進(jìn)行剪枝，對縮放因子最小的bn層進(jìn)行剪枝；

35、對剪枝后的pt模型使用原始數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練。

36、上述的方法，可選的，剪枝后對pt模型進(jìn)行量化處理的具體內(nèi)容為：

37、剪枝后對pt模型進(jìn)行線性量化，線性量化的公式如下：

38、r＝s(q-z)

39、

40、其中，r為浮點(diǎn)實(shí)數(shù)，q為定點(diǎn)整數(shù)，s為縮放比例，表示實(shí)數(shù)與整數(shù)之間的比例關(guān)系，z為零點(diǎn)，表示浮點(diǎn)實(shí)數(shù)的0經(jīng)過映射之后對應(yīng)的整數(shù)，計(jì)算方法如下：

41、

42、其中，rmax，rmin分別是浮點(diǎn)實(shí)數(shù)r的最大值和最小值，qmax，qmin分別是定點(diǎn)整數(shù)q的最大值和最小值；

43、實(shí)驗(yàn)對比原始精度、浮點(diǎn)半精度、int8精度和uint8精度四種不同參數(shù)精度下的準(zhǔn)確率，分析不同分類模型在四種量化精度下的準(zhǔn)確率損失。

44、上述的方法，可選的，將pt模型先轉(zhuǎn)換為onnx模型再轉(zhuǎn)換為rknn模型并進(jìn)行預(yù)編譯的具體內(nèi)容為：

45、將訓(xùn)練好的模型保存為帶網(wǎng)絡(luò)結(jié)構(gòu)的pt模型，通過onnx庫轉(zhuǎn)換為用于推理的onnx模型；

46、將onnx模型轉(zhuǎn)化為能在邊緣計(jì)算平臺上進(jìn)行推理的rknn模型；

47、建立用于模型量化的數(shù)據(jù)集，隨機(jī)選取訓(xùn)練集圖片，用于微調(diào)模型；

48、最終將模型由原fp32精度的模型轉(zhuǎn)換為uint8精度的量化完成的rknn模型；

49、通過rktoolkit將rknn模型進(jìn)行預(yù)編譯，提高模型加載及切換速度，提升實(shí)時(shí)性。

50、上述的方法，可選的，最后使用預(yù)編譯的rknn模型在邊緣計(jì)算平臺進(jìn)行實(shí)時(shí)推理的具體內(nèi)容為：

51、將imx335攝像頭插在mipi-csi接口，修改開發(fā)板設(shè)備樹，將圖像碼流傳遞的節(jié)點(diǎn)導(dǎo)通，進(jìn)行圖像數(shù)據(jù)傳遞；

52、將圖像按照iq文件、isp、ispp進(jìn)行優(yōu)化后，送入vi節(jié)點(diǎn)；

53、將圖片分為兩個(gè)鏈路送入rga模塊進(jìn)行格式轉(zhuǎn)換、旋轉(zhuǎn)及裁剪，在第一個(gè)鏈路中將圖片由nv12格式轉(zhuǎn)換為rgb888格式，并裁剪為480*480大??；在第二個(gè)鏈路中將圖片由nv12格式轉(zhuǎn)換為rgb888格式，旋轉(zhuǎn)270°并裁剪為1280*720大??；

54、將推理結(jié)果通過opencv打印到rga裁剪后的圖片幀，根據(jù)推理結(jié)果的序號打印對應(yīng)的駕駛行為；

55、將帶有推理結(jié)果的圖片幀送入mipi-dsi接口的顯示屏進(jìn)行結(jié)果展示。

56、上述的方法，可選的，駕駛行為包括：正常駕駛、左手打字、右手打字、左手打電話、右手打電話、操作中控臺、喝水、取東西、化妝、與乘客交談。

57、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開提供了一種基于對比學(xué)習(xí)和實(shí)時(shí)邊緣計(jì)算的駕駛員分心駕駛行為識別方法，其有益效果為：

58、使用對比學(xué)習(xí)能夠使模型學(xué)習(xí)到具有良好表征能力的特征提取器，從而有效提升對駕駛員行為分類的準(zhǔn)確率，并具備更高的魯棒性；

59、通過微調(diào)訓(xùn)練使模型權(quán)重適應(yīng)新的網(wǎng)絡(luò)模型進(jìn)而在一定程度上恢復(fù)原始準(zhǔn)確率；

60、yolov5-cls系列的模型結(jié)構(gòu)簡單，沒有過多分支結(jié)構(gòu)且網(wǎng)絡(luò)層數(shù)較淺，因此在量化之后模型精度變化較小，這也證明了使用yolov5模型進(jìn)行部署的正確性。