本技術涉及特征融合，具體而言，涉及一種大規(guī)模小目標檢測下的特征融合方法、裝置、設備及介質。

背景技術：

1、隨著深度卷積神經網絡的崛起，通用目標檢測已經取得了顯著的進展，這些通用目標檢測算法可以有效地檢測和定位各種大小的目標，使得許多實際應用場景受益。然而，盡管通用目標檢測領域繁榮，但小目標檢測領域并未取得如人們期望的顯著進步。小目標檢測(sod)是目標檢測的一個子領域，專注于檢測那些體積較小的物體，在監(jiān)控、無人機場景分析、行人檢測、自動駕駛中的交通標志檢測等各種場景中具有重要的理論和實踐意義。對于小目標檢測，缺乏為其量身定制的大規(guī)模數(shù)據(jù)集，除此之外，由于目標的尺寸較小，目標的分辨率低，目標之間可能存在重疊等問題，傳統(tǒng)的目標檢測算法難以滿足準確性和效率的要求，導致了小目標檢測領域的發(fā)展相對滯后。

技術實現(xiàn)思路

1、本技術實施例的目的在于提供一種大規(guī)模小目標檢測下的特征融合方法、裝置、設備及介質，用以解決現(xiàn)有的傳統(tǒng)的目標檢測算法目標的分辨率低，準確性和效率較低的問題。

2、第一方面，本技術實施例提供了一種大規(guī)模小目標檢測下的特征融合方法，包括：

3、獲取交通場景下的圖像特征，對該圖像特征進行處理，并通過縱橫機制進行目標關鍵特征提取，得到特征圖；

4、基于多維特征融合技術對特征圖進行特征融合；

5、采用目標檢測優(yōu)化技術對目標預測框進行重組，以加強特征融合模型。

6、在上述實現(xiàn)過程中，獲取交通場景下的圖像特征，對該圖像特征進行處理，并通過縱橫機制進行目標關鍵特征提取，得到特征圖；基于多維特征融合技術對特征圖進行特征融合；采用目標檢測優(yōu)化技術對目標預測框進行重組，以加強特征融合模型；通過縱橫機制，利用特征相關性來捕獲在卷積過程中被遺漏的小目標，為特征融合提供更加豐富且準確的特征，通過多維特征融合技術解決上下層特征不對齊的問題，采用目標檢測優(yōu)化技術捕獲被遺漏、丟失關鍵特征的目標，加強特征融合模型，提高目標檢測的分辨率、準確性和效率。

7、進一步的，所述基于多維特征融合技術對特征圖進行特征融合，包括：

8、根據(jù)預設規(guī)則對特征圖的目標關鍵特征進行定義；

9、通過空間感知模塊識別并強調圖像中的關鍵區(qū)域，以關注關鍵的空間特征；

10、基于尺度感知模塊對不同尺度的特征進行融合；

11、采用通道感知模塊進行通道之間的競爭和合作。

12、在上述實現(xiàn)過程中，使得模型在空間、尺度和通道三個方面都更加敏銳和準確，顯著提升了對未知目標的精確識別能力，通過結合空間、尺度和通道特征的多維度優(yōu)化，模型能夠更加高效地處理復雜場景下的目標檢測任務。

13、進一步的，所述根據(jù)預設規(guī)則對特征圖的目標關鍵特征進行定義，包括：

14、給定特征金字塔中來自l個不同層級的特征的串聯(lián)：

15、

16、使用向上采樣或向下采樣來調整連續(xù)層次特征的大小，使其與中間層次特征的比例一致；

17、將重新縮放的特征金字塔表示為一個四維張量：

18、x∈rh×w×l×c；

19、其中l(wèi)表示金字塔中的層數(shù)，h、w、c分別表示中間層特征的高度、寬度和通道數(shù)；

20、定義：

21、s＝h×w；

22、將張量重塑為一個三維張量：

23、x∈rs×l×c；

24、采用自注意力的一般公式:

25、w(x)＝f(x)·x；

26、其中，f(x)是一個注意力函數(shù)；

27、將注意力函數(shù)轉換成三個順序的注意力，每個注意力只關注一個視角:

28、w(f)＝fc(fl·fs(x)·x)·x；

29、其中，fs(x)、fl和fc(fl·fs(x)·x)分別是應用于維數(shù)s、l和c的三個不同的注意力函數(shù)。

30、在上述實現(xiàn)過程中，根據(jù)特征金字塔塑造四維張量和三維張量，可以探索每個張量維度的作用，并根據(jù)三維張量來獲取三個維度的注意力函數(shù)，并通過后續(xù)的感知計算進行特征融合。

31、進一步的，所述通過空間感知模塊識別并強調圖像中的關鍵區(qū)域，以關注關鍵的空間特征，包括：

32、使用可變形卷積對空間感知學習進行稀疏化，使其在設定的空間位置上聚焦；

33、通過可變形卷積調整卷積核的位置，以使卷積核捕捉特征圖中的顯著區(qū)域；

34、在卷積核捕捉的相同的空間位置上進行跨層次的特征聚合公式：

35、

36、其中，k是稀疏采樣位置的個數(shù)；位置pk通過自學習空間偏移被移動到pk+δpk；δmk是位置pk處的自學習重要性標量。

37、在上述實現(xiàn)過程中，通過空間感知模塊，特征圖變得更加稀疏，聚焦于前景物體的顯著空間位置；該模塊通過識別并強調圖像中的關鍵區(qū)域，使模型能夠更好地關注重要的空間特征。

38、進一步的，所述基于尺度感知模塊對不同尺度的特征進行融合，包括：

39、通過分析特征的語義信息，判斷特征在不同尺度下的重要性；

40、根據(jù)特征在不同尺度下的重要性調整各尺度特征的權重，以使尺度感知模型捕捉和融合多尺度信息，公式如下：

41、

42、其中，是由1×1卷積層逼近的線性函數(shù)，σ(x)＝max(0，min(1，(x+1)/2))是激活函數(shù)。

43、在上述實現(xiàn)過程中，經過尺度感知模塊的處理，模型對前景物體的尺度差異變得更加敏感；尺度感知機制根據(jù)特征的語義重要性動態(tài)地融合不同尺度的特征，從而增強模型在不同尺度下的目標檢測能力。

44、進一步的，所述采用通道感知模塊進行通道之間的競爭和合作，包括：

45、基于全局上下文嵌入模塊進行聚合每個通道中的全局上下文信息；

46、采用歸一化方法創(chuàng)建通道之間的競爭關系；

47、通過門控機制促進不同通道之間的競爭和合作。

48、在上述實現(xiàn)過程中，通過通道感知模塊的作用，促進了通道之間的競爭與合作，這種機制通過對通道特征進行頻率分析和門控調整，提升了模型對通道信息的表達能力和選擇性，從而提高了對未知目標的識別能力。

49、進一步的，所述基于全局上下文嵌入模塊進行聚合每個通道中的全局上下文信息，包括：

50、引入了二維離散余弦變換，并使用多個二維dct頻率分量來壓縮信息；

51、將輸入特征沿通道維度分割成多個部分，以利用頻率特征；

52、將輸入特征[f0,f1,…,fn-1]表示為：

53、fi∈rc×h×w,i∈{0,1,…,n-1},

54、其中，c'為通道壓縮，且c被n整除；

55、對于每個部分，分配相應的二維離散余弦變換dct頻率分量，該dct頻率分量的結果作為通道關注的壓縮結果，公式如下所示：

56、

57、其中xi[ui,vi]是頻率分量二維指數(shù)，i∈{0,1,…,n-1}，freqi∈rc”壓縮后的c”維向量；

58、給定嵌入權值α＝[α1,…,αc]，模型公式定義為：

59、

60、其中，freq是整個通道的壓縮向量，freq∈rc是多譜向量；ε＝1e5為常數(shù)，采用可訓練參數(shù)αc來控制每個通道的權重。

61、在上述實現(xiàn)過程中，實現(xiàn)聚合每個通道中的全局上下文信息，該模塊可以在卷積層的小感受野之外開發(fā)全局上下文信息。

62、進一步的，所述采用歸一化方法創(chuàng)建通道之間的競爭關系，包括：

63、采用歸一化方法創(chuàng)建神經元之間的競爭關系；

64、設s＝[s1,…sc]，通道歸一化公式為：

65、

66、其中，ε＝1e5為常數(shù)，標量用于對sc的刻度進行歸一化。

67、在上述實現(xiàn)過程中，可以創(chuàng)建神經元(或通道)之間的競爭關系，具有輕量級的計算資源和穩(wěn)定的訓練性能。

68、進一步的，所述通過門控機制促進不同通道之間的競爭和合作，包括：

69、設門控權重γ＝[γ1,…γc]和門控偏置β＝[β1,…βc]，門控函數(shù)為：

70、

71、通過門控函數(shù)調節(jié)初始通道的尺度；當通道的門控權重被正激活時，則促進該通道與其他通道的競爭；

72、當通道的門控權重被負激活時，則鼓勵該通道與其他通道進行合作；

73、當門控權重和門控偏置為零時，該門控函數(shù)允許原始特征通過下一層，此時f(x)＝1；

74、在層初始化時將γ和β初始化為0，生成公式為：

75、

76、在上述實現(xiàn)過程中，采用門控機制，來適應原始特征；通過引入門控機制的初始通道，可以在訓練過程中促進競爭和合作。

77、進一步的，所述采用目標檢測優(yōu)化技術對目標預測框進行重組，以加強特征融合模型，包括：

78、對圖像特征的每個像素生成預測框；

79、獲取預測框的邊界集，計算邊界集與真實框邊界的差值，并將預測框的邊界集按照相應的秩來排序；

80、將具有相同秩的設定個集合的邊界重組為新預測框，將新預測框與真實框邊界進行iou重疊度計算。

81、在上述實現(xiàn)過程中，實現(xiàn)重新分配了正負樣本，使正樣本更擬合真實框，負樣本有更多的背景信息，從目標檢測優(yōu)化的角度來捕獲被遺漏、丟失關鍵特征的目標，進一步加強模型的檢測性能。

82、第二方面，本技術實施例提供一種大規(guī)模小目標檢測下的特征融合裝置，包括：

83、特征獲取模塊，用于獲取交通場景下的圖像特征，對該圖像特征進行處理，并通過縱橫機制進行目標關鍵特征提取，得到特征圖；

84、特征融合模塊，用于基于多維特征融合技術對特征圖進行特征融合；

85、特征加強模塊，用于采用目標檢測優(yōu)化技術對目標預測框進行重組，以加強特征融合模型。

86、第三方面，本技術實施例提供一種電子設備，包括：

87、處理器、存儲器和總線，所述處理器通過所述總線與所述存儲器相連，所述存儲器存儲有計算機可讀取指令，當所述計算機可讀取指令由所述處理器執(zhí)行時，用于實現(xiàn)如上所述的大規(guī)模小目標檢測下的特征融合方法。

88、第四方面，本技術實施例提供一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被服務器執(zhí)行時實現(xiàn)如上所述的大規(guī)模小目標檢測下的特征融合方法。

89、第五方面，本技術實施例提供一種計算機程序產品，所述計算機程序產品包括指令，所述指令在由計算機執(zhí)行時，使得所述計算機實施如上所述的方法。