本發(fā)明屬于機(jī)器學(xué)習(xí)，具體涉及一種基于深度遷移學(xué)習(xí)的垃圾桶內(nèi)危險物檢測系統(tǒng)及方法。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速，公共安全問題日益嚴(yán)重，尤其是公共場所和公共交通系統(tǒng)中隱藏的危險物品對人們的生命財產(chǎn)構(gòu)成了嚴(yán)重威脅。現(xiàn)有的應(yīng)對措施主要包括使用抗爆垃圾桶和透明垃圾桶。然而，抗爆垃圾桶雖然可以減輕爆炸效果，但其體積龐大、成本高昂，并且只能應(yīng)對特定威脅級別。而透明垃圾桶雖然可以顯露垃圾內(nèi)容，但其美觀性有所欠缺，且難以有效防止危險物品的放置。因此，迫切需要一種更高效、更經(jīng)濟(jì)的解決方案來檢測隱藏在垃圾中的危險物，以確保公共安全。

2、近年來，深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)(cnns)，在計算機(jī)視覺領(lǐng)域取得了顯著進(jìn)展。cnns憑借多層次的特征提取能力，能夠高效識別和分類圖像中的物體。然而，訓(xùn)練一個高精度的cnn模型通常需要大量標(biāo)注數(shù)據(jù)和高性能計算資源，這在實際應(yīng)用中往往難以實現(xiàn)。遷移學(xué)習(xí)技術(shù)通過利用預(yù)訓(xùn)練的cnn模型，可以顯著降低訓(xùn)練時間和計算資源需求，使得在小數(shù)據(jù)集上的模型訓(xùn)練成為可能。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在解決現(xiàn)有技術(shù)的不足，提供了如下方案：

2、一種基于深度遷移學(xué)習(xí)的垃圾桶內(nèi)危險物檢測系統(tǒng)，包括：圖像采集模塊、模型構(gòu)建模塊、危險物檢測模塊和報警模塊；

3、所述圖像采集模塊用于實時采集桶內(nèi)的實時圖像數(shù)據(jù)；

4、所述模型構(gòu)建模塊基于遷移學(xué)習(xí)訓(xùn)練基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型，通過數(shù)據(jù)增強(qiáng)技術(shù)構(gòu)建訓(xùn)練用數(shù)據(jù)集，并利用所述訓(xùn)練用數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)模型中的可訓(xùn)練層進(jìn)行訓(xùn)練及更新，得到危險物檢測模型；

5、所述危險物檢測模塊利用所述危險物檢測模型對所述實時圖像數(shù)據(jù)進(jìn)行識別檢測，得到危險物檢測結(jié)果；

6、所述報警模塊基于所述危險物檢測結(jié)果發(fā)出警告信息。

7、優(yōu)選的，所述模型構(gòu)建模塊包括：數(shù)據(jù)集構(gòu)建單元、模型訓(xùn)練單元和模型更新單元；

8、所述數(shù)據(jù)集構(gòu)建單元將包含現(xiàn)有的危險物圖像數(shù)據(jù)集和現(xiàn)有的垃圾圖像數(shù)據(jù)集合并，并利用數(shù)據(jù)增強(qiáng)技術(shù)增加合并后數(shù)據(jù)集的多樣性，得到所述訓(xùn)練用數(shù)據(jù)集；

9、所述模型訓(xùn)練單元用于凍結(jié)所選的卷積神經(jīng)網(wǎng)絡(luò)模型的早期層，在凍結(jié)后早期層上添加若干所述可訓(xùn)練層，并利用所述訓(xùn)練用數(shù)據(jù)集訓(xùn)練若干所述可訓(xùn)練層，得到所述危險物檢測模型；

10、所述模型更新單元用于基于新的危險物圖像和桶內(nèi)光環(huán)境情況更新所述危險物檢測模型。

11、優(yōu)選的，所述數(shù)據(jù)集構(gòu)建單元的工作流程包括：

12、收集現(xiàn)有的所述危險物圖像數(shù)據(jù)集和所述垃圾圖像數(shù)據(jù)集，并將所述危險物圖像數(shù)據(jù)集進(jìn)行清理和標(biāo)準(zhǔn)化處理；

13、并將處理后的所述危險物圖像數(shù)據(jù)集和所述垃圾圖像數(shù)據(jù)集進(jìn)行合并，得到合并后數(shù)據(jù)集；

14、利用數(shù)據(jù)增強(qiáng)工具庫augmentor對合并后數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，增加數(shù)據(jù)多樣性和規(guī)模，得到所述訓(xùn)練用數(shù)據(jù)集。

15、優(yōu)選的，所述模型訓(xùn)練單元的工作流程包括：

16、通過遷移學(xué)習(xí)選擇預(yù)訓(xùn)練的所述卷積神經(jīng)網(wǎng)絡(luò)模型，凍結(jié)所述卷積神經(jīng)網(wǎng)絡(luò)模型的早期層，所述早期層為模型前部的若干卷積層；

17、在所述凍結(jié)后早期層上添加若干所述可訓(xùn)練層，所述可訓(xùn)練層包括：全連接層、批量歸一化層和激活函數(shù)層；

18、所述可訓(xùn)練層從所述凍結(jié)后早期層中提取的高級特征中學(xué)習(xí)危險物特征；

19、利用所述訓(xùn)練用數(shù)據(jù)集訓(xùn)練學(xué)習(xí)所述危險物特征后的若干所述可訓(xùn)練層，得到所述危險物檢測模型。

20、優(yōu)選的，所述危險物檢測模型的訓(xùn)練方法包括：

21、使用預(yù)訓(xùn)練權(quán)重初始化所述卷積神經(jīng)網(wǎng)絡(luò)模型：

22、cinitial←cppretrained，

23、其中，cinitial表示卷積神經(jīng)網(wǎng)絡(luò)模型，cppretrained表示預(yù)訓(xùn)練權(quán)重；

24、凍結(jié)所述早期層，添加并訓(xùn)練新的所述可訓(xùn)練層：

25、

26、其中，for表示遍歷操作，f表示模型的第f層，cpf表示模型第f層的權(quán)重，ffrozen表示凍結(jié)層的集合，表示可訓(xùn)練層的集合，constant表示凍結(jié)層集合ffrozen的權(quán)重保持不變，trainable表示可訓(xùn)練層集合的權(quán)重可更新；

27、使用交叉熵?fù)p失函數(shù)對所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行初步訓(xùn)練，其中損失函數(shù)為：

28、

29、其中，表示損失函數(shù)，n表示樣本總數(shù)，yi表示第i個樣本的真實標(biāo)簽，表示第i個樣本的預(yù)測概率；

30、解凍部分所述凍結(jié)后早期層，使用低學(xué)習(xí)率重新訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型，得到所述危險物檢測模型。

31、優(yōu)選的，所述模型更新單元的工作過程包括：

32、利用所述預(yù)訓(xùn)練權(quán)重初始化所述危險物檢測模型的模型參數(shù)；

33、前向傳播計算模型輸出值，利用l2正則化在所述交叉熵?fù)p失函數(shù)中添加正則化項，并利用正則化后損失函數(shù)計算損失，其中正則化后損失函數(shù)為：

34、

35、其中，表示正則化后損失函數(shù)，表示損失函數(shù)，λ表示正則化系數(shù)，cpi表示模型權(quán)重，表示所有模型權(quán)重的平方和；

36、通過反向傳播計算梯度：

37、

38、δhidden＝δl·woutput，

39、δinput＝δhidden·whidden，

40、其中，δl表示損失函數(shù)對輸出層的梯度，cpt表示第t輪迭代時的模型參數(shù)，表示對模型參數(shù)的梯度，表示損失函數(shù)，δhidden表示輸出層對隱藏層的梯度，woutput表示輸出層的權(quán)重，δinput表示隱藏層對輸入層的梯度，whidden表示隱藏層的權(quán)重；

41、使用隨機(jī)梯度下降優(yōu)化器更新模型參數(shù)：

42、

43、其中，cpt+1表示更新后模型參數(shù)，η表示學(xué)習(xí)率。

44、本發(fā)明還提供了一種基于深度遷移學(xué)習(xí)的垃圾桶內(nèi)危險物檢測方法，所述檢測方法應(yīng)用于上述任一項所述的檢測系統(tǒng)，包括以下步驟：

45、s1.實時采集桶內(nèi)的實時圖像數(shù)據(jù)；

46、s2.基于遷移學(xué)習(xí)訓(xùn)練基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型，通過數(shù)據(jù)增強(qiáng)技術(shù)構(gòu)建訓(xùn)練用數(shù)據(jù)集，并利用所述訓(xùn)練用數(shù)據(jù)集對所述神經(jīng)網(wǎng)絡(luò)模型中的可訓(xùn)練層進(jìn)行訓(xùn)練及更新，得到危險物檢測模型；

47、s3.利用所述危險物檢測模型對所述實時圖像數(shù)據(jù)進(jìn)行識別檢測，得到危險物檢測結(jié)果；

48、s4.基于所述危險物檢測結(jié)果發(fā)出警告信息。

49、優(yōu)選的，所述s2包括：

50、將包含現(xiàn)有的危險物圖像數(shù)據(jù)集和現(xiàn)有的垃圾圖像數(shù)據(jù)集合并，并利用數(shù)據(jù)增強(qiáng)技術(shù)增加合并后數(shù)據(jù)集的多樣性，得到所述訓(xùn)練用數(shù)據(jù)集；

51、凍結(jié)所選的卷積神經(jīng)網(wǎng)絡(luò)模型的早期層，在凍結(jié)后早期層上添加若干所述可訓(xùn)練層，并利用所述訓(xùn)練用數(shù)據(jù)集訓(xùn)練若干所述可訓(xùn)練層，得到所述危險物檢測模型；

52、基于新的危險物圖像和桶內(nèi)光環(huán)境情況更新所述危險物檢測模型。

53、優(yōu)選的，得到所述訓(xùn)練用數(shù)據(jù)集的方法包括：

54、收集現(xiàn)有的所述危險物圖像數(shù)據(jù)集和所述垃圾圖像數(shù)據(jù)集，并將所述危險物圖像數(shù)據(jù)集進(jìn)行清理和標(biāo)準(zhǔn)化處理；

55、并將處理后的所述危險物圖像數(shù)據(jù)集和所述垃圾圖像數(shù)據(jù)集進(jìn)行合并，得到合并后數(shù)據(jù)集；

56、利用數(shù)據(jù)增強(qiáng)工具庫augmentor對合并后數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，增加數(shù)據(jù)多樣性和規(guī)模，得到所述訓(xùn)練用數(shù)據(jù)集。

57、優(yōu)選的，得到所述危險物檢測模型的方法包括：

58、通過遷移學(xué)習(xí)選擇預(yù)訓(xùn)練的所述卷積神經(jīng)網(wǎng)絡(luò)模型，凍結(jié)所述卷積神經(jīng)網(wǎng)絡(luò)模型的早期層，所述早期層為模型前部的若干卷積層；

59、在所述凍結(jié)后早期層上添加若干所述可訓(xùn)練層，所述可訓(xùn)練層包括：全連接層、批量歸一化層和激活函數(shù)層；

60、所述可訓(xùn)練層從所述凍結(jié)后早期層中提取的高級特征中學(xué)習(xí)危險物特征；

61、利用所述訓(xùn)練用數(shù)據(jù)集訓(xùn)練學(xué)習(xí)所述危險物特征后的若干所述可訓(xùn)練層，得到所述危險物檢測模型。

62、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

63、本發(fā)明通過引入深度遷移學(xué)習(xí)技術(shù)，通過使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型和遷移學(xué)習(xí)技術(shù)，減少了對大規(guī)模標(biāo)注數(shù)據(jù)和高性能計算資源的需求，使得在小數(shù)據(jù)集上的模型訓(xùn)練成為可能，顯著提高了危險物檢測的精度和效率；通過多種數(shù)據(jù)增強(qiáng)技術(shù)和生成對抗網(wǎng)絡(luò)，進(jìn)一步擴(kuò)充了訓(xùn)練數(shù)據(jù)集，提高了模型的泛化能力和魯棒性，實現(xiàn)了對垃圾中的各種危險物的實時檢測和分類；通過定期更新訓(xùn)練數(shù)據(jù)集和模型參數(shù)，確保了系統(tǒng)對新型危險物和環(huán)境變化的適應(yīng)性。綜上本發(fā)明提供了一種高效、經(jīng)濟(jì)的解決方案，有效提高了公共場所和公共交通系統(tǒng)的安全。