本發(fā)明涉及計(jì)算機(jī)視覺目標(biāo)檢測，具體涉及一種基于深度學(xué)習(xí)的暴露垃圾及滿溢垃圾檢測方法。

背景技術(shù)：

1、垃圾檢測和清理城市環(huán)衛(wèi)管理中主要任務(wù)，特別是針對(duì)垃圾屋、室外垃圾桶和垃圾轉(zhuǎn)運(yùn)站等存在大量垃圾聚集的重點(diǎn)場所。單純依靠環(huán)衛(wèi)工人的巡查和清理效率低下且無法保證垃圾完全清除，為此本發(fā)明提出了一種基于深度學(xué)習(xí)的暴露垃圾及滿溢垃圾檢測方法，通過監(jiān)控?cái)z像頭獲取重點(diǎn)場所的實(shí)時(shí)圖像，檢測出其中是否存在暴露垃圾和滿溢垃圾的現(xiàn)象，如果存在則發(fā)出警告，以便相關(guān)管理人員有目的地派遣環(huán)衛(wèi)工人對(duì)垃圾進(jìn)行清理。

2、目前，目標(biāo)檢測方法可以分為傳統(tǒng)的目標(biāo)檢測方法和基于深度學(xué)習(xí)的目標(biāo)檢測方法。傳統(tǒng)目標(biāo)檢測方法：基于滑動(dòng)窗口策略，設(shè)置不同的窗口大小對(duì)圖像進(jìn)行遍歷，同時(shí)使用人工設(shè)計(jì)的特征提取器對(duì)窗口內(nèi)圖像進(jìn)行特征提取，最終利用模式識(shí)別的方法對(duì)提取的特征進(jìn)行分類得到目標(biāo)檢測的結(jié)果。傳統(tǒng)目標(biāo)檢測方法基于滑動(dòng)窗口的候選區(qū)域選擇策略沒有針對(duì)性，存在大量冗余窗口，時(shí)間復(fù)雜度高，無法滿足工業(yè)實(shí)時(shí)性要求。同時(shí)，人工設(shè)計(jì)的特征在復(fù)雜多變的實(shí)際應(yīng)用場景中難以取得良好的效果?；谏疃葘W(xué)習(xí)的方法可以范圍單階段目標(biāo)檢測和兩階段的目標(biāo)檢測算法。深度學(xué)習(xí)單階段目標(biāo)檢測算法：基于深度學(xué)習(xí)的單階段目標(biāo)檢測算法，其特征在于只進(jìn)行一次特征提取，直接利用提取得到的特征同時(shí)進(jìn)行bounding?box(邊界框)的回歸和分類任務(wù)。單階段目標(biāo)檢測算法相較于多階段目標(biāo)檢測算法速度較快，但精度稍遜，最典型的單階段目標(biāo)檢測算法為yolo系列[1]。深度學(xué)習(xí)多階段目標(biāo)檢測算法：基于深度學(xué)習(xí)的多階段目標(biāo)檢測算法，以最典型的rcnn[2]為例，其步驟分為三個(gè)階段：候選區(qū)域選擇，cnn特征提取、分類與邊界框回歸。rcnn首先采用selective?search算法提取2000個(gè)左右候選區(qū)域，將每個(gè)候選區(qū)域調(diào)整為固定大小并提取cnn特征，最后基于每個(gè)區(qū)域的特征完成分類和邊界框回歸任務(wù)。多階段目標(biāo)檢測算法相較于單階段目標(biāo)檢測算法精度較高，但速度稍慢，較難滿足暴露垃圾和滿溢垃圾檢測任務(wù)的實(shí)時(shí)性要求。同時(shí)，基于深度學(xué)習(xí)的目標(biāo)檢測算法均需要大量的訓(xùn)練數(shù)據(jù)，對(duì)于暴露垃圾和滿溢垃圾檢測任務(wù)，所有的訓(xùn)練數(shù)據(jù)均需要人工標(biāo)注，獲取大量訓(xùn)練數(shù)據(jù)的成本較高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決上述背景技術(shù)中提出的技術(shù)問題，本發(fā)明提出了一種基于深度學(xué)習(xí)的暴露垃圾和滿溢垃圾檢測算法。本發(fā)明的技術(shù)思路是將現(xiàn)有的單階段目標(biāo)檢測算法yolox[3]作為基礎(chǔ)框架實(shí)現(xiàn)暴露垃圾和滿溢垃圾的初步檢測網(wǎng)絡(luò)模型，保證垃圾檢測的實(shí)時(shí)性要求。同時(shí)，基于檢測模型預(yù)測的邊界框，設(shè)計(jì)相應(yīng)的后處理規(guī)則對(duì)易誤檢的邊界框進(jìn)行篩選，提高檢測模型的精度。進(jìn)一步地，為了解決訓(xùn)練數(shù)據(jù)較少的問題，本發(fā)明首先為yolox框架加載基于coco數(shù)據(jù)集[4]訓(xùn)練得到的預(yù)訓(xùn)練參數(shù)，然后在人工標(biāo)注的垃圾檢測數(shù)據(jù)集上進(jìn)行精調(diào)，并且本發(fā)明對(duì)于訓(xùn)練樣本較少和檢測較為困難的場景，采用數(shù)據(jù)增廣策略以提升模型對(duì)上述兩類場景的檢測精度。

2、本發(fā)明采用了如下技術(shù)方案：一種基于深度學(xué)習(xí)的暴露垃圾及滿溢垃圾檢測方法，包括以下步驟：

3、s1：采集不同實(shí)際場景下暴露垃圾和滿溢垃圾的圖像；

4、s2：獲取到的垃圾檢測圖像進(jìn)行人工標(biāo)注。

5、s3：搭建垃圾檢測網(wǎng)絡(luò)，目標(biāo)檢測模塊主要基于yolox-l[3]的網(wǎng)絡(luò)框架實(shí)現(xiàn)，包括：

6、s301：基于darknet53+fpn[5]特征提取網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，得到維度為h×w×{128,256,512}的特征圖；

7、s302：分別執(zhí)行兩個(gè)并行的卷積分支以完成錨點(diǎn)框分類和回歸任務(wù)；

8、s303：模型的分類任務(wù)分支輸出維度為8400×cls的錨點(diǎn)框類別概率分布。

9、s4：訓(xùn)練網(wǎng)絡(luò)模型：

10、用于訓(xùn)練錨點(diǎn)框回歸分支的iou損失和用于訓(xùn)練錨點(diǎn)框分類分支及置信度預(yù)測分支的二元交叉熵?fù)p失函數(shù)為：

11、

12、用于訓(xùn)練置信度預(yù)測分支的二元交叉熵?fù)p失函數(shù)為：

13、

14、用于訓(xùn)練邊界框分類分支的二元交叉熵?fù)p失函數(shù)為：

15、

16、最終模型的損失函數(shù)為：

17、loss＝iouweightliou+lobj+lcls??(4)

18、s5：基于訓(xùn)練的網(wǎng)絡(luò)模型推理，得到錨點(diǎn)框類別概率分布、錨點(diǎn)框回歸參數(shù)和錨點(diǎn)框與真實(shí)邊界框的交并比置信度，將交并比置信度大于某一閾值的所有錨點(diǎn)框作為最終的預(yù)測邊界框返回；

19、s6：后處理，獲取目標(biāo)檢測網(wǎng)絡(luò)預(yù)測的暴露垃圾和滿溢垃圾邊界框；

20、s7：評(píng)價(jià)模型；

21、s8：經(jīng)過后處理后的邊界預(yù)測框在圖像上可視化。

22、較佳的，所述s1中，定義暴露垃圾為散落在垃圾桶外部的所有垃圾；定義滿溢垃圾為存在于垃圾桶中并且超過垃圾桶容量1/2的所有垃圾；定義非滿溢垃圾為存在于垃圾桶中并且未超過垃圾桶容量1/2的所有垃圾。此處，有助于利用監(jiān)控?cái)z像頭對(duì)垃圾進(jìn)行采集。

23、較佳的，所述s1中，基于監(jiān)控?cái)z像頭對(duì)不同場景下暴露垃圾和滿溢垃圾進(jìn)行圖像采集。此處，便于對(duì)不同場景中存在的垃圾圖像進(jìn)行收集。

24、較佳的，所述s2中，訓(xùn)練時(shí)，以9:1的比例隨機(jī)劃分訓(xùn)練集和驗(yàn)證集；測試時(shí)，使用非訓(xùn)練集和驗(yàn)證集中的圖像進(jìn)行推理。此處，有助于使用矩形框標(biāo)注圖像中的暴露垃圾，滿溢垃圾以及垃圾桶。

25、較佳的，所述s3中，h為高度方向錨點(diǎn)框的數(shù)量，w為寬度方向錨點(diǎn)框的數(shù)量，在本發(fā)明中h和w有80、40和20三種尺度，總計(jì)可以得到6400+1600+400＝8400個(gè)錨點(diǎn)框，cls為類別數(shù)。此處，有助于使用網(wǎng)絡(luò)加載基于coco數(shù)據(jù)集[4]訓(xùn)練得到的預(yù)訓(xùn)練參數(shù)，使用垃圾檢測數(shù)據(jù)集進(jìn)行參數(shù)精調(diào)。

26、較佳的，所述s4中，numpred為基于標(biāo)簽分配[3]最終篩選得到的模型預(yù)測的邊界框數(shù)目，bpred為模型預(yù)測得到的邊界框，bgt為預(yù)測邊界框?qū)?yīng)的真實(shí)邊界框，iou()為交并比，obj用于表示目標(biāo)框?yàn)榍熬斑€是背景，obj＝1表示目標(biāo)框?yàn)榍熬?，包含檢測物體；obj＝0，表示目標(biāo)框?yàn)楸尘啊bjpred和objtarget分別表示模型預(yù)測的8400個(gè)錨點(diǎn)框的前背景和真實(shí)的8400個(gè)錨點(diǎn)框的前背景，clspred為模型預(yù)測得到的邊界框的類別，clstarget為預(yù)測邊界框的真實(shí)類別,均用獨(dú)熱向量表示，bce_loss為二元交叉熵?fù)p失函數(shù)，iouweight為iou損失的權(quán)重系數(shù)。此處，可以方便人員計(jì)算損失函數(shù)，進(jìn)行訓(xùn)練。

27、較佳的，所述s6中，

28、對(duì)于暴露垃圾的每一個(gè)預(yù)測邊界框：

29、預(yù)測置信度大于0.85，則直接返回該預(yù)測邊界框；

30、預(yù)測置信度大于0.7，判斷該預(yù)測邊界框是否包含于一個(gè)垃圾桶預(yù)測框內(nèi)，如果它包含于一個(gè)垃圾桶的預(yù)測框內(nèi)，則舍去該預(yù)測框，否則返回該預(yù)測邊界框。

31、對(duì)于滿溢垃圾的每一個(gè)預(yù)測框：

32、預(yù)測置信度大于0.75，則直接返回該預(yù)測邊界框；

33、預(yù)測置信度大于0.5，判斷該預(yù)測邊界框是否與一個(gè)垃圾桶預(yù)測框有交集，如果它與一個(gè)垃圾桶的預(yù)測框沒有交集，則舍去該預(yù)測框，否則返回該預(yù)測邊界框。

34、此處，可以篩除容易造成誤檢的樣本，以及篩除易誤檢邊界框后，得到模型最終的預(yù)測結(jié)果。

35、較佳的，所述s7中，模型預(yù)測得到的邊界框與真實(shí)邊界框的iou大于0.5時(shí)，即算檢測正確：

36、對(duì)于存在垃圾的圖片，如果模型成功檢測出圖片中所有的垃圾，即使模型返回冗余的預(yù)測邊界框，也算檢測成功；

37、對(duì)于沒有垃圾的圖片，模型不預(yù)測任何邊界框，即算檢測成功。

38、此處，一定程度上避免模型產(chǎn)生過擬合，同時(shí)篩選出的模型不影響實(shí)際應(yīng)用，能充分滿足垃圾檢測的業(yè)務(wù)邏輯要求。

39、較佳的，所述s8中，在垃圾屋、轉(zhuǎn)運(yùn)站和室外場景下均可以很好地預(yù)測出暴露垃圾和滿溢垃圾的位置。此處，有效幫助城市管理人員迅速派遣環(huán)衛(wèi)工人到指定位置進(jìn)行垃圾清理。

40、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

41、1、本發(fā)明中，針對(duì)垃圾檢測模型實(shí)際應(yīng)用場景復(fù)雜且對(duì)實(shí)時(shí)性要求較高的特性，提出了一種結(jié)合基于深度學(xué)習(xí)的單階段目標(biāo)檢測算法和后處理規(guī)則的垃圾檢測模型，在獲得較高垃圾檢測精度的同時(shí)，滿足了工業(yè)應(yīng)用的實(shí)時(shí)性要求。

42、2、本發(fā)明中，對(duì)樣本較少和難檢測的場景進(jìn)行了數(shù)據(jù)增廣，同時(shí)，針對(duì)暴露垃圾和滿溢垃圾分別提出了兩種后處理規(guī)則，有效提升了檢測精度

43、3、本發(fā)明中，提出了一種基于垃圾檢測任務(wù)業(yè)務(wù)邏輯的性能指標(biāo)，便于篩選最有利于垃圾檢測任務(wù)的模型。