本發(fā)明涉及計(jì)算機(jī)處理，具體而言，涉及一種船舶檢測模型訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、視頻衛(wèi)星圖像的幅寬大，背景復(fù)雜，運(yùn)動目標(biāo)數(shù)量較多，而且視頻衛(wèi)星圖像的分辨率低，目標(biāo)所占的像素較少，運(yùn)動目標(biāo)的特征和紋理信息匱乏。這些為視頻衛(wèi)星圖像的檢測任務(wù)帶來了極大的困難。以小目標(biāo)船舶為例，檢測區(qū)域目標(biāo)分辨率低下、圖像質(zhì)量模糊不佳，又因其感受野區(qū)域較小無法高效提取有效特征信息而導(dǎo)致小目標(biāo)船舶對象容易出現(xiàn)漏檢問題。

2、傳統(tǒng)的船舶檢測采用手工特征提取的方式。例如通過顏色分割和邊緣檢測探測海平面的特征級別，然后使用圖像配準(zhǔn)等將船水分離。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，對于常規(guī)船舶目標(biāo)檢測，越多越多的將基于深度學(xué)習(xí)的檢測方式應(yīng)用其中。

3、當(dāng)下基于神經(jīng)網(wǎng)絡(luò)進(jìn)行船舶檢測的方式，對正常場景下的船舶檢測任務(wù)具有顯著的效果，但是對于視頻衛(wèi)星圖像中船舶這種目標(biāo)較小且有時(shí)呈現(xiàn)密集分布，就船舶檢測任務(wù)而言，因其感受野區(qū)域較小無法高效提取有效特征信息而導(dǎo)致小目標(biāo)區(qū)域容易出現(xiàn)漏檢問題。同時(shí)由于拍攝角度的差異，以及船舶自身尺寸差異較大，而呈現(xiàn)多尺度現(xiàn)象，進(jìn)一步導(dǎo)致檢測器的性能下降。此外，現(xiàn)有的解決小目標(biāo)檢測的算法往往采用基于超分辨率的方式即超分放大后再進(jìn)行檢測，但是這種方法往往需要強(qiáng)大的硬件支撐而且超分放大處理后的圖像可能存在偽影導(dǎo)致小目標(biāo)船舶漏檢，因此不能很好地滿足實(shí)際需求。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例的目的在于提供一種船舶檢測模型訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)，能夠改善傳統(tǒng)船舶檢測方式存在小目標(biāo)檢測結(jié)果不準(zhǔn)確、易漏檢的問題。

2、為實(shí)現(xiàn)上述技術(shù)目的，本技術(shù)采用的技術(shù)方案如下：

3、第一方面，本技術(shù)實(shí)施例提供了一種船舶檢測模型訓(xùn)練方法，所述方法包括：

4、獲取用于模型訓(xùn)練的數(shù)據(jù)集，所述數(shù)據(jù)集包括多個(gè)樣本圖像和每個(gè)樣本圖像對應(yīng)的真實(shí)目標(biāo)的類型和坐標(biāo)；

5、將所述數(shù)據(jù)集輸入待訓(xùn)練的初始檢測模型中的骨干網(wǎng)絡(luò)，對于每個(gè)所述樣本圖像，通過所述骨干網(wǎng)絡(luò)對所述樣本圖像進(jìn)行多尺度特征提取，得到所述樣本圖像對應(yīng)的不同尺度的尺度特征圖；

6、對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征金字塔子網(wǎng)絡(luò)，以通過所述特征金字塔子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行語義特征增強(qiáng)，得到第一特征圖，所述第一特征圖中包含了目標(biāo)的語義信息；

7、對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征重建子網(wǎng)中，以通過所述特征重建子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行位置信息增強(qiáng)，得到第二特征圖，所述第二特征圖中包含了目標(biāo)的位置信息；

8、將各個(gè)所述第一特征圖和所述第二特征圖輸入所述初始檢測模型中的檢測頭，以對所述第一特征圖和所述第二特征圖中的目標(biāo)的類別和坐標(biāo)進(jìn)行識別，得到所述樣本圖像對應(yīng)的檢測結(jié)果，所述檢測結(jié)果包括所述目標(biāo)的類型和坐標(biāo)；

9、判斷所述初始檢測模型的損失函數(shù)是否收斂，其中，當(dāng)所述損失函數(shù)收斂時(shí)，確定所述初始檢測模型為目標(biāo)檢測模型，當(dāng)所述損失函數(shù)未收斂時(shí)，調(diào)整所述初始檢測模型的參數(shù)，并按照調(diào)整后的參數(shù)訓(xùn)練所述初始檢測模型，直到所述初始檢測模型的所述損失函數(shù)收斂。

10、結(jié)合第一方面，在一些可選的實(shí)施方式中，對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征金字塔子網(wǎng)絡(luò)，以通過所述特征金字塔子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行語義特征增強(qiáng)，得到第一特征圖，包括：

11、將所述多個(gè)尺度特征圖中，滿足第一預(yù)設(shè)條件的至少一張?zhí)卣鲌D作為第一目標(biāo)特征圖集，將第一目標(biāo)特征圖集輸入所述特征金字塔子網(wǎng)，通過所述特征金字塔子網(wǎng)對所述第一目標(biāo)特征圖集中的每個(gè)第一目標(biāo)特征圖進(jìn)行語義特征信息增強(qiáng)，得到每個(gè)第一目標(biāo)特征圖對應(yīng)的語義增強(qiáng)后的第一目標(biāo)特征圖，并對每個(gè)所述語義增強(qiáng)后的第一目標(biāo)特征圖進(jìn)行定位特征信息增強(qiáng)，得到每個(gè)所述語義增強(qiáng)后的第一目標(biāo)特征圖對應(yīng)的定位增強(qiáng)后的第一目標(biāo)特征圖；

12、將所述多個(gè)尺度特征圖中，滿足第二預(yù)設(shè)條件的特征圖作為第二目標(biāo)特征圖，將所述第二目標(biāo)特征圖分別與所述定位增強(qiáng)后的第一目標(biāo)特征圖中，除所述第二目標(biāo)特征圖對應(yīng)的特征圖之外的每張?zhí)卣鲌D進(jìn)行通道維度的拼接，得到每個(gè)所述第一目標(biāo)特征圖對應(yīng)的所述第一特征圖。

13、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述特征重建子網(wǎng)包括特征提取層、第一特征拼接層和卷積核為1×1的第一卷積層，所述特征提取層包括1個(gè)局部注意力引導(dǎo)的全局重建模塊和至少一個(gè)特征提取模塊；

14、對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征重建子網(wǎng)中，以通過所述特征重建子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行位置信息增強(qiáng)，得到第二特征圖，包括：

15、將所述多個(gè)尺度特征圖中，滿足第三預(yù)設(shè)條件的至少一張?zhí)卣鲌D作為第三目標(biāo)特征圖集，并將所述第三目標(biāo)特征圖集中，滿足第四預(yù)設(shè)條件的特征圖作為第四目標(biāo)特征圖，將所述第四目標(biāo)特征圖輸入所述局部注意力引導(dǎo)的全局重建模塊，以提取所述第四目標(biāo)特征圖中的全局信息特征圖和局部信息權(quán)重，并將所述全局信息特征圖與所述局部信息權(quán)重相乘，得到第一子圖；

16、將所述第三目標(biāo)特征圖集中，除所述第四目標(biāo)特征圖之外的其余每個(gè)特征圖分別輸入所述特征提取模塊，得到所述第三目標(biāo)特征圖集中，除所述第四目標(biāo)特征圖之外的其余每個(gè)特征圖對應(yīng)的第二子圖；

17、將所述第一子圖和每個(gè)所述第二子圖輸入所述第一特征拼接層，進(jìn)行通道維度的拼接，得到初始重構(gòu)特征圖；

18、將所述初始重構(gòu)特征圖輸入所述第一卷積層進(jìn)行卷積操作，得到所述第二特征圖。

19、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述局部注意力引導(dǎo)的全局重建模塊包括全局特征信息提取子模塊和局部特征信息提取子模塊；

20、所述全局特征信息提取子模塊包括特征融合層、swin?transformer層、第一反卷積層和第二反卷積層；

21、所述局部特征信息提取子模塊包括第一池化層、第二池化層、第二卷積層、第三卷積層、第二特征拼接層、第一跳躍連接層和第二跳躍連接層；

22、所述第一跳躍連接層包括第一激活函數(shù)、第一卷積塊、和第一sigmoid函數(shù)；

23、所述第二跳躍連接層包括第二卷積塊、第二激活函數(shù)、第三卷積塊和第二sigmoid函數(shù)；

24、將所述多個(gè)尺度特征圖中，滿足第三預(yù)設(shè)條件的至少一張?zhí)卣鲌D作為第三目標(biāo)特征圖集，并將所述第三目標(biāo)特征圖集中，滿足第四預(yù)設(shè)條件的特征圖作為第四目標(biāo)特征圖，將所述第四目標(biāo)特征圖輸入所述局部注意力引導(dǎo)的全局重建模塊，以提取所述第四目標(biāo)特征圖中的全局信息特征圖和局部信息權(quán)重，并將所述全局信息特征圖與所述局部信息權(quán)重相乘，得到第一子圖，包括：

25、將所述第四目標(biāo)特征圖輸入所述全局特征信息提取子模塊中的特征融合層，以對所述第四目標(biāo)特征圖進(jìn)行下采樣，得到第一融合特征圖；

26、將所述第一融合特征圖輸入所述swin?transformer層，以增強(qiáng)所述第一融合特征圖的全局信息，得到增強(qiáng)后的第一融合特征圖；

27、將所述增強(qiáng)后的第一融合特征圖輸入所述第一反卷積層進(jìn)行第一次反卷積操作，并將經(jīng)過第一次反卷積操作后的第一融合特征圖輸入所述第二反卷積層進(jìn)行第二次反卷積操作，得到所述全局信息特征圖；

28、以及，將所述第四目標(biāo)特征圖輸入所述第一池化層進(jìn)行平均池化操作，并將經(jīng)過平均池化操作后的第四目標(biāo)特征圖輸入所述第二卷積層進(jìn)行卷積操作，得到背景信息特征圖；

29、將所述第四目標(biāo)特征圖輸入所述第二池化層進(jìn)行最大池化操作，并將經(jīng)過最大池化操作后的第四目標(biāo)特征圖輸入所述第三卷積層進(jìn)行卷積操作，得到紋理信息特征圖；

30、將所述背景信息特征圖和所述紋理信息特征圖輸入所述第二特征拼接層，以對所述背景信息特征圖和所述紋理信息特征圖進(jìn)行通道維度的拼接，得到第二融合特征圖；

31、將所述第二融合特征圖輸入所述第一跳躍連接層，經(jīng)過所述第一跳躍連接層中的所述第一激活函數(shù)、所述第一卷積塊、和所述第一sigmoid函數(shù)，輸出所述第二融合特征圖對應(yīng)的特征權(quán)重，并將所述特征權(quán)重與所述第四目標(biāo)特征圖相乘得到第三融合特征圖；

32、將所述第三融合特征圖輸入所述第二跳躍連接層，經(jīng)過所述第二跳躍連接層中的所述第二卷積塊、所述第二激活函數(shù)、所述第三卷積塊和所述第二sigmoid函數(shù)，輸出所述局部信息權(quán)重，并將所述局部信息權(quán)重與所述全局信息特征圖相乘，得到所述第一子圖。

33、結(jié)合第一方面，在一些可選的實(shí)施方式中，每個(gè)所述特征提取模塊分別包括雙線性插值層和第三卷積層；

34、將所述第三目標(biāo)特征圖集中，除所述第四目標(biāo)特征圖之外的其余每個(gè)特征圖分別輸入所述特征提取模塊，得到所述第三目標(biāo)特征圖集中，除所述第四目標(biāo)特征圖之外的其余每個(gè)特征圖對應(yīng)的第二子圖，包括：

35、對于所述每個(gè)特征圖，將特征圖分別輸入所述雙線性插值層，以對所述特征圖進(jìn)行雙線性插值操作，得到縮放特征圖；

36、將所述縮放特征圖輸入所述第三卷積層，以對所述縮放特征圖進(jìn)行卷積操作，得到所述第二子圖。

37、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述損失函數(shù)如下：

38、qfl(δ)＝-|y-δ|β((1-y)log(1-δ)+y?log(δ))

39、qefl(δ)＝qfl(δ)*∑p(i)log?p(i)

40、dfl(si,si+1)＝-((yi+1-y)log(si)+(y-yi)log(si+1))

41、式中，δ表示預(yù)測輸出，包括所述待檢測目標(biāo)的類別為某類別的概率，y表示預(yù)測框與真值框的交并比，y∈(0,1)，所述預(yù)測框攜帶有所述待檢測目標(biāo)的坐標(biāo)，β表示調(diào)節(jié)預(yù)測輸出δ和交并比y之間的絕對距離的調(diào)節(jié)因子，∑p(i)log?p(i)表示特征熵權(quán)重系數(shù)項(xiàng)，yi和yi+1分別表示最接近y的兩個(gè)值，si和si+1分別表示yi和yi+1的softmax函數(shù)輸出值。

42、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述方法還包括：

43、獲取待識別圖像；

44、將所述待識別圖像輸入所述目標(biāo)檢測模型，對所述待識別圖像進(jìn)行檢測，得到所述待識別圖像中的待識別目標(biāo)的目標(biāo)類型和坐標(biāo)。

45、第二方面，本技術(shù)實(shí)施例還提供一種船舶檢測模型訓(xùn)練裝置，所述裝置包括：

46、第一獲取單元，用于獲取用于模型訓(xùn)練的數(shù)據(jù)集，所述數(shù)據(jù)集包括多個(gè)樣本圖像和每個(gè)樣本圖像對應(yīng)的真實(shí)目標(biāo)的類型和坐標(biāo)；

47、特征提取單元，用于將所述數(shù)據(jù)集輸入待訓(xùn)練的初始檢測模型中的骨干網(wǎng)絡(luò)，對于每個(gè)所述樣本圖像，通過所述骨干網(wǎng)絡(luò)對所述樣本圖像進(jìn)行多尺度特征提取，得到所述樣本圖像對應(yīng)的不同尺度的尺度特征圖；

48、第一特征增強(qiáng)單元，用于對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征金字塔子網(wǎng)絡(luò)，以通過所述特征金字塔子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行語義特征增強(qiáng)，得到第一特征圖，所述第一特征圖中包含了目標(biāo)的語義信息；

49、第二特征增強(qiáng)單元，用于對于每個(gè)所述樣本圖形，將所述多個(gè)尺度特征圖輸入所述初始檢測模型中特征提取網(wǎng)絡(luò)的特征重建子網(wǎng)中，以通過所述特征重建子網(wǎng)對所述多個(gè)尺度特征圖進(jìn)行位置信息增強(qiáng)，得到第二特征圖，所述第二特征圖中包含了目標(biāo)的位置信息；

50、識別單元，用于將各個(gè)所述第一特征圖和所述第二特征圖輸入所述初始檢測模型中的檢測頭，以對所述第一特征圖和所述第二特征圖中的目標(biāo)的類別和坐標(biāo)進(jìn)行識別，得到所述樣本圖像對應(yīng)的檢測結(jié)果，所述檢測結(jié)果包括所述目標(biāo)的類型和坐標(biāo)；

51、訓(xùn)練單元，用于判斷所述初始檢測模型的損失函數(shù)是否收斂，其中，當(dāng)所述損失函數(shù)收斂時(shí)，確定所述初始檢測模型為目標(biāo)檢測模型，當(dāng)所述損失函數(shù)未收斂時(shí)，調(diào)整所述初始檢測模型的參數(shù)，并按照調(diào)整后的參數(shù)訓(xùn)練所述初始檢測模型，直到所述初始檢測模型的所述損失函數(shù)收斂。

52、第三方面，本技術(shù)實(shí)施例還提供一種電子設(shè)備，所述電子設(shè)備包括相互耦合的處理器及存儲器，所述存儲器內(nèi)存儲計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述電子設(shè)備執(zhí)行上述的方法。

53、第四方面，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行上述的方法。

54、采用上述技術(shù)方案的發(fā)明，具有如下優(yōu)點(diǎn)：

55、在本技術(shù)提供的技術(shù)方案中，首先獲取用于模型訓(xùn)練的數(shù)據(jù)集，然后將數(shù)據(jù)集中的樣本圖像輸入待訓(xùn)練的初始檢測模型中的骨干網(wǎng)絡(luò)進(jìn)行多尺度特征提取，得到每個(gè)樣本圖像對應(yīng)的不同尺度的多個(gè)尺度特征圖，并將多個(gè)尺度特征圖輸入初始檢測模型中的特征提取網(wǎng)絡(luò)，得到第一特征圖和第二特征圖，然后將各個(gè)第一特征圖和第二特征圖輸入檢測頭，得到樣本圖像對應(yīng)的檢測結(jié)果，最后根據(jù)檢測結(jié)果對初始檢測模型進(jìn)行參數(shù)調(diào)整和迭代訓(xùn)練，直至初始檢測模型滿足預(yù)設(shè)模型收斂條件。如此，改善傳統(tǒng)船舶檢測方式存在小目標(biāo)檢測結(jié)果不準(zhǔn)確、易漏檢的問題。