本發(fā)明涉及圖像處理，具體為一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)。

背景技術(shù)：

1、經(jīng)過(guò)特征骨干網(wǎng)絡(luò)進(jìn)行圖像特征提取后，需要對(duì)特征圖進(jìn)行再次處理，從而能夠獲得更加準(zhǔn)確的圖像特征，從而對(duì)圖像的后續(xù)處理能夠提供更優(yōu)的特征圖層資源，而現(xiàn)有的再次處理方法，一般采用單一的resnet-50或者resnet-101融合fpn或pan卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像進(jìn)行處理，然而fpn卷積神經(jīng)網(wǎng)絡(luò)由深層到淺層進(jìn)行卷積，但視野較小，pan卷積神經(jīng)網(wǎng)絡(luò)有淺層到深層進(jìn)行卷積，但分辨率低，缺乏物體的位置信息。

2、因此，設(shè)計(jì)一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)是很有必要的。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，以解決上述背景技術(shù)中提出的問(wèn)題。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：

3、一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，包括fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)，其含有如下步驟：

4、s100、基于yolov5算法構(gòu)建骨干網(wǎng)絡(luò)，而后依骨干網(wǎng)絡(luò)融合fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)，形成具有兩部分支的特征融合網(wǎng)絡(luò)；

5、s200、提取不同深度的三個(gè)特征圖層，并導(dǎo)入特征融合網(wǎng)絡(luò)，并進(jìn)行等效復(fù)制三個(gè)特征圖層，形成兩組；

6、s300、fpn神經(jīng)網(wǎng)絡(luò)對(duì)其中一組三個(gè)特征圖層由深層向淺層進(jìn)行語(yǔ)義信息傳遞，并對(duì)特征圖層進(jìn)行解析；

7、s400、pan神經(jīng)網(wǎng)絡(luò)對(duì)另一組三個(gè)特征圖層由淺層向深層進(jìn)行語(yǔ)義信息傳遞，并對(duì)特征圖層進(jìn)行解析；

8、s500、將s300獲得獲得語(yǔ)義信息及特征圖層解析結(jié)果與s400獲得的語(yǔ)義信息及特征圖層解析結(jié)果進(jìn)行融合，獲得多尺度表達(dá)結(jié)果。

9、根據(jù)上述技術(shù)方案，s100的具體方法如下：

10、以yolov5為基礎(chǔ)，而后增加fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)作為兩個(gè)獨(dú)立延展的網(wǎng)絡(luò)分支結(jié)構(gòu)，而后同時(shí)回?cái)n至yolov5主干網(wǎng)絡(luò)，以yolov5為基礎(chǔ)的骨干引導(dǎo)部分含有復(fù)制結(jié)構(gòu)，且fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)為同級(jí)別分支，其對(duì)信息的處理為同步進(jìn)行。

11、根據(jù)上述技術(shù)方案，s200的具體方法如下：

12、基于yolov5為基礎(chǔ)的骨干引導(dǎo)部分含有復(fù)制結(jié)構(gòu)，從而實(shí)現(xiàn)對(duì)導(dǎo)入的深度不同的三個(gè)特征圖層實(shí)現(xiàn)等效復(fù)制，其復(fù)制組與原組進(jìn)行特征圖層交叉替換，即原組變?yōu)樵鯇?復(fù)制層+原初層或復(fù)制層+原初層+復(fù)制層，復(fù)制組則進(jìn)行相對(duì)的交叉變換。

13、根據(jù)上述技術(shù)方案，s300的具體方法為：

14、深度不同的三個(gè)特征圖層，自深層向淺層進(jìn)行前向網(wǎng)絡(luò)卷積，構(gòu)建不同的返回值池化特征圖層，依次為第一殘差特征圖層1、第一殘差特征圖層2、第一殘差特征圖層3、第一殘差特征圖層4與第一殘差特征圖層5，通過(guò)上述殘差特征圖層構(gòu)建特征金子塔1，其對(duì)應(yīng)的降采樣次數(shù)分別為1、2、3、4與5，而對(duì)應(yīng)的步長(zhǎng)分別為2、4、8、16與32；

15、若殘差特征圖層1的尺寸過(guò)大，訓(xùn)練過(guò)程中需要消耗很多的顯存，則進(jìn)行舍棄。

16、根據(jù)上述技術(shù)方案，s400的的具體方法為：

17、深度不同的三個(gè)特征圖層，自淺層向深層進(jìn)行前向網(wǎng)絡(luò)卷積，構(gòu)建不同的返回值池化特征圖層，依次為第二殘差特征圖層5、第二殘差特征圖層4、第二殘差特征圖層3、第二殘差特征圖層2與第二殘差特征圖層1，通過(guò)上述殘差特征圖層構(gòu)建特征金子塔2，其越處于上方的殘差特征圖層越具有較大的視野，所提取的特征層數(shù)越多，越處于下方的殘差特征圖層為保證特征的提取，則進(jìn)行更大的橫向延展。

18、根據(jù)上述技術(shù)方案，s500的具體方法為：

19、s300中獲得的特征金子塔1與特征金字塔2，由金子塔的頂層向底層一一匹配進(jìn)行融合，底層出現(xiàn)余量殘差特征圖層時(shí)，則進(jìn)行舍棄，僅對(duì)橫向匹配圖層進(jìn)行融合，相互融合的過(guò)程中，對(duì)相同的特征點(diǎn)進(jìn)行加重，對(duì)不同的特征點(diǎn)進(jìn)行空間組合，從而構(gòu)成完整的圖形特征池表達(dá)結(jié)果。

20、根據(jù)上述技術(shù)方案，所述復(fù)制結(jié)構(gòu)為實(shí)現(xiàn)等效復(fù)制所采用的復(fù)制方法具體如下：

21、將原圖層特征信息先進(jìn)行預(yù)留，而后將每?jī)蓚€(gè)特征點(diǎn)進(jìn)行組合，形成擬合特征組，而后通過(guò)二分法對(duì)特征信息進(jìn)行分離，形成上特征圖層與下特征圖層，而后分別基于上特征特征圖層與下特征圖層進(jìn)行數(shù)據(jù)復(fù)制，形成上復(fù)制特征圖層與下復(fù)制特征圖層，之后將上特征圖層與下復(fù)制特征圖層進(jìn)行疊合，以及將下特征圖層與上復(fù)制特征層進(jìn)行疊合，將復(fù)制的特征點(diǎn)與原特征點(diǎn)進(jìn)行對(duì)應(yīng)擬合，實(shí)現(xiàn)有效的等效復(fù)制。

22、根據(jù)上述技術(shù)方案，所述殘差特征圖層1的尺寸的判別方法如下：

23、基于anchor在殘差特征圖層1中分布，投影至faceboxes模型中，對(duì)投影與感受野的相對(duì)關(guān)系進(jìn)行尺寸判別。

24、根據(jù)上述技術(shù)方案，所述第二殘差特征圖層1、第二殘差特征圖層2、第二殘差特征圖層3、第二殘差特征圖層4與第二殘差特征圖層5其對(duì)應(yīng)的降采樣次數(shù)分別為1、2、3、4與5，而對(duì)應(yīng)的步長(zhǎng)分別為2、4、8、16與32。

25、根據(jù)上述技術(shù)方案，所述空間組合的方式為將兩個(gè)或多個(gè)特征點(diǎn)相乘來(lái)對(duì)特征空間中的非線性規(guī)律進(jìn)行編碼，形成組合特征向量，而后再進(jìn)行線性化計(jì)算訓(xùn)練。

26、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果是：

27、通過(guò)將fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，且將兩分支進(jìn)行同步進(jìn)行特征圖層處理，從而產(chǎn)生一對(duì)的特征金子塔，使其一具有完整的目標(biāo)位置信息與高空間分辨率，另一具有廣泛的感受野，從而進(jìn)行兩者融合，互相加強(qiáng)了特征信息，構(gòu)建了多尺度表達(dá)。

技術(shù)特征：

1.一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，包括fpn神經(jīng)網(wǎng)絡(luò)與pan神經(jīng)網(wǎng)絡(luò)，其特征在于，其含有如下步驟：

2.根據(jù)權(quán)利要求1所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，s100的具體方法如下：

3.根據(jù)權(quán)利要求2所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，s200的具體方法如下：

4.根據(jù)權(quán)利要求1所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，s300的具體方法為：

5.根據(jù)權(quán)利要求1所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，s400的的具體方法為：

6.根據(jù)權(quán)利要求1所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，s500的具體方法為：

7.根據(jù)權(quán)利要求3所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，所述復(fù)制結(jié)構(gòu)為實(shí)現(xiàn)等效復(fù)制所采用的復(fù)制方法具體如下：

8.根據(jù)權(quán)利要求4所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，所述殘差特征圖層1的尺寸的判別方法如下：

9.根據(jù)權(quán)利要求5所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，所述第二殘差特征圖層1、第二殘差特征圖層2、第二殘差特征圖層3、第二殘差特征圖層4與第二殘差特征圖層5其對(duì)應(yīng)的降采樣次數(shù)分別為1、2、3、4與5，而對(duì)應(yīng)的步長(zhǎng)分別為2、4、8、16與32。

10.根據(jù)權(quán)利要求6所述的一種含有fpn與pan結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，其特征在于，所述空間組合的方式為將兩個(gè)或多個(gè)特征點(diǎn)相乘來(lái)對(duì)特征空間中的非線性規(guī)律進(jìn)行編碼，形成組合特征向量，而后再進(jìn)行線性化計(jì)算訓(xùn)練。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種含有FPN與PAN結(jié)構(gòu)的特征融合網(wǎng)絡(luò)，包括FPN神經(jīng)網(wǎng)絡(luò)與PAN神經(jīng)網(wǎng)絡(luò)，通過(guò)將FPN神經(jīng)網(wǎng)絡(luò)與PAN神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，且將兩分支進(jìn)行同步進(jìn)行特征圖層處理，從而產(chǎn)生一對(duì)的特征金子塔，使其一具有完整的目標(biāo)位置信息與高空間分辨率，另一具有廣泛的感受野，從而進(jìn)行兩者融合，互相加強(qiáng)了特征信息，構(gòu)建了多尺度表達(dá)。

技術(shù)研發(fā)人員：王亞軍,汪昊典,毛志浩
受保護(hù)的技術(shù)使用者：國(guó)能數(shù)智科技開(kāi)發(fā)（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9