本發(fā)明涉及死雞檢測(cè)及計(jì)算機(jī)深度學(xué)習(xí)，特別涉及一種基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法。

背景技術(shù)：

1、雞肉是我國僅次于豬肉的第二大肉類消費(fèi)品，隨著人們對(duì)食品安全和品質(zhì)要求的不斷提高，我國肉雞產(chǎn)業(yè)正逐步向智能化和綠色化方向轉(zhuǎn)型升級(jí)。目前，國內(nèi)養(yǎng)殖場(chǎng)大多采用多層籠養(yǎng)模式，飼養(yǎng)密度高，大部分仍依賴人工巡檢以發(fā)現(xiàn)并清除死雞，存在工作強(qiáng)度大、主觀性強(qiáng)等問題，還會(huì)出現(xiàn)因養(yǎng)殖人員長時(shí)間工作導(dǎo)致視覺疲勞，從而導(dǎo)致死雞滯留的現(xiàn)象。死禽如果不能及時(shí)處理，會(huì)產(chǎn)生大量病菌，并可能引發(fā)嚴(yán)重的疾病傳播風(fēng)險(xiǎn)，如大規(guī)模流感疫情。

2、近年來，非接觸式死雞識(shí)別技術(shù)取得顯著進(jìn)展，主要包括聲音監(jiān)測(cè)方法和機(jī)器視覺方法。家禽發(fā)出的聲音可以反映其健康狀況和情緒狀態(tài)，進(jìn)而識(shí)別出死雞，但受雞群噪聲的影響，聲音監(jiān)測(cè)法的識(shí)別精度相對(duì)較低。機(jī)器視覺法則通過圖像分析識(shí)別雞只行為或狀態(tài)，具有高效率和準(zhǔn)確性。紅外成像技術(shù)結(jié)合神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了基于機(jī)器視覺死雞自識(shí)別系統(tǒng)；家禽姿態(tài)估計(jì)系統(tǒng)和結(jié)合形態(tài)學(xué)特征與機(jī)器學(xué)習(xí)算法的研究，顯著提高了死雞識(shí)別的準(zhǔn)確度。盡管如此，養(yǎng)殖環(huán)境的復(fù)雜性和技術(shù)限制仍是當(dāng)前識(shí)別精度提升的挑戰(zhàn)。

3、在多層籠養(yǎng)雞監(jiān)控中，紅外與可見光圖像融合是提高死雞檢測(cè)精度的關(guān)鍵。紅外圖像捕捉溫度分布，而可見光圖像提供形態(tài)和顏色細(xì)節(jié)。融合圖像能夠顯著增強(qiáng)模型輸入的完整性，提升檢測(cè)的魯棒性。圖像融合技術(shù)分為傳統(tǒng)方法與深度學(xué)習(xí)方法。傳統(tǒng)方法主要分為像素操作、變換域、圖像分解和能量函數(shù)，雖然在特定情況下有效，但受限于人工策略，適應(yīng)性有限。深度學(xué)習(xí)方法，如生成對(duì)抗網(wǎng)絡(luò)的圖像融合框架、卷積神經(jīng)網(wǎng)絡(luò)的圖像融合框架和自編碼器的圖像融合框架，能夠提供更靈活的融合策略。養(yǎng)殖場(chǎng)的復(fù)雜光照、多層結(jié)構(gòu)和障礙物，以及雞只間的遮擋，導(dǎo)致光照不均，影響死雞識(shí)別精度。基于照明感知的漸進(jìn)式圖像融合技術(shù)(piafusion)通過動(dòng)態(tài)調(diào)整融合參數(shù)，適應(yīng)不同光照條件，有效減少光照不均衡帶來的影響，更好地適應(yīng)復(fù)雜的光照環(huán)境，為死雞檢測(cè)提供了一種漸進(jìn)式的、適應(yīng)性強(qiáng)的圖像融合解決方案。

4、在目標(biāo)檢測(cè)領(lǐng)域，算法主要分為單階段和雙階段兩個(gè)類別。雙階段目標(biāo)檢測(cè)算法的代表為基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(r-cnn)及其衍生算法，單階段算法以其快速準(zhǔn)確的檢測(cè)能力在實(shí)時(shí)應(yīng)用中占據(jù)優(yōu)勢(shì)。yolo系列自2015年推出以來，通過連續(xù)迭代不斷優(yōu)化其結(jié)構(gòu)和性能。2024年2月發(fā)布的yolov9，包含backbone、neck、head和輔助分支等四個(gè)主要結(jié)構(gòu)，通過關(guān)鍵結(jié)構(gòu)的創(chuàng)新，解決了深度學(xué)習(xí)中的信息瓶頸問題，顯著提升了檢測(cè)速度和性能。

5、當(dāng)前死雞檢測(cè)技術(shù)面臨多項(xiàng)挑戰(zhàn)，主要包括：1.已有死雞識(shí)別技術(shù)主要依賴單一來源的圖像，如熱紅外成像或可見光圖像。在高密度養(yǎng)殖場(chǎng)景下，多層雞籠、擋板和水槽等結(jié)構(gòu)的存在對(duì)光照分布產(chǎn)生了顯著影響，可能導(dǎo)致目標(biāo)檢測(cè)算法難以區(qū)分實(shí)際的死雞和環(huán)境造成的視覺誤差，極大增加了死雞誤識(shí)別的風(fēng)險(xiǎn)。2.傳統(tǒng)死雞檢測(cè)方法在死雞被其他活雞遮擋時(shí)，誤檢率和漏檢率高。傳統(tǒng)死雞檢測(cè)方法通常依賴于圖像中的形態(tài)特征和紋理信息，在死雞被其他活雞遮擋情況下，這些特征無法被有效捕捉，在處理遮擋和復(fù)雜背景時(shí)魯棒性不足，導(dǎo)致誤檢率和漏檢率顯著增加。3.目標(biāo)檢測(cè)算法在面對(duì)多只死雞生成重疊的回歸框時(shí)，誤檢率和漏檢率高。尤其是在高密度養(yǎng)殖環(huán)境中，目標(biāo)死雞間大量存在相互遮擋或部分重疊，導(dǎo)致檢測(cè)算法生成重疊的回歸框，無法精確覆蓋每一只死雞的整個(gè)身體，從而影響檢測(cè)的準(zhǔn)確性和可靠性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的問題是：提供一種基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法，以層疊式籠養(yǎng)模式下的肉雞養(yǎng)殖為研究對(duì)象，采用圖像融合技術(shù)，將熱紅外圖像與可見光圖像進(jìn)行配準(zhǔn)和融合，并通過目標(biāo)檢測(cè)算法實(shí)現(xiàn)對(duì)死雞的識(shí)別，實(shí)現(xiàn)了更高的效率和準(zhǔn)確性。

2、本發(fā)明采用如下技術(shù)方案：一種基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法，包括如下步驟：

3、s1、采集雞籠圖片數(shù)據(jù)，采用基于照明感知的漸進(jìn)式圖像融合方法，將可見光與紅外光進(jìn)行融合，提高死雞目標(biāo)特征的顯著性，消除多層雞籠、擋板、水槽結(jié)構(gòu)導(dǎo)致的光照不均的影響；

4、s2、基于yolov9目標(biāo)檢測(cè)算法構(gòu)建死雞檢測(cè)模型，在yolov9頸部引入ema注意力機(jī)制，對(duì)模型參數(shù)進(jìn)行指數(shù)平滑處理，區(qū)分低光環(huán)境和死雞目標(biāo)，融合不同大小的目標(biāo)；

5、s3、在死雞檢測(cè)模型中引入rep-dcnv3模塊，增強(qiáng)主干特征提取網(wǎng)絡(luò)，提取在部分遮擋情況下的死雞特征；

6、s4、采用mpdiou替代yolov9的損失函數(shù)，通過評(píng)估目標(biāo)之間的重疊程度，提供更具細(xì)粒度的誤差反饋，提升死雞檢測(cè)模型的檢測(cè)精度。

7、具體地，步驟s1中，所述基于照明感知的漸進(jìn)式圖像融合方法，主干網(wǎng)絡(luò)構(gòu)建于端到端的cnn框架，包括特征提取器和圖像重建器；

8、所述特征提取器，用于挖掘紅外圖像和可見光圖像的互補(bǔ)和共同特征，結(jié)構(gòu)包含五層卷積層，第一層采用1×1卷積層，分別對(duì)紅外圖像和可見光圖像進(jìn)行處理減緩不同模態(tài)圖像之間差異，第二層至第五層利用四個(gè)共享權(quán)重的卷積層，分別提取紅外和可見光圖像的深度特征；

9、將紅外圖像和可見光圖像中提取的深度特征匯聚并連接，輸入圖像重建器，所述圖像重建器由五個(gè)卷積層組成，未引入下采樣，且融合圖像的尺寸與源圖像一致，用于整合共同和互補(bǔ)信息，生成融合圖像，以適應(yīng)多層雞籠、擋板、水槽造成的復(fù)雜光照環(huán)境。

10、進(jìn)一步地，在所述特征提取器的第二層、第三層和第四層后，分別引入一個(gè)cmdaf模塊，全面提取紅外和可見光圖像的特征，實(shí)現(xiàn)模態(tài)互補(bǔ)特征的交換。

11、具體地，步驟s2中，所述ema注意力機(jī)制，用于豐富死雞檢測(cè)模型在不同尺度上的特征提取和注意力權(quán)重分配，方法具體如下：

12、s2.1、在活雞遮擋死雞情況下，通過尺寸不同的卷積核，適應(yīng)不同層級(jí)的語義信息，進(jìn)行卷積操作，實(shí)現(xiàn)多尺度特征的捕捉；較小尺寸的卷積核用于提取邊緣和紋理細(xì)節(jié)特征，較大尺寸的卷積核用于識(shí)別圖像中的大范圍模式和形狀；

13、s2.2、引入注意力模塊，通過輕量化網(wǎng)絡(luò)架構(gòu)，學(xué)習(xí)并評(píng)估各尺度特征的貢獻(xiàn)度，實(shí)現(xiàn)對(duì)特征的動(dòng)態(tài)加權(quán)；

14、s2.3、集成子采樣方法，通過下采樣降低特征維度，減少計(jì)算量同事確保特征表示的完整性和精確度；

15、s2.4、在特征融合階段，將加權(quán)后的多尺度特征進(jìn)行整合，保留多尺度特征，通過加權(quán)機(jī)制強(qiáng)化模型對(duì)關(guān)鍵信息的識(shí)別能力，形成最終的特征表示，減少因活雞遮擋導(dǎo)致的死雞目標(biāo)漏檢，降低活雞與雞籠背景對(duì)死雞檢測(cè)模型干擾，提升檢測(cè)的準(zhǔn)確性和魯棒性；

16、s2.5、通過優(yōu)化信息處理，減少特征提取過程中的信息丟失和混淆，通過強(qiáng)化模型提取和利用關(guān)鍵信息，提升對(duì)復(fù)雜環(huán)境的適應(yīng)性和檢測(cè)結(jié)果的準(zhǔn)確性。

17、具體地，步驟s3中，所述rep-dcnv3模塊，在backbone特征提取網(wǎng)絡(luò)中通過dcnv3替換yolov9算法repncspelan模塊中的卷積核，進(jìn)行死雞檢測(cè)模型在處理重度遮擋目標(biāo)時(shí)的特征捕捉；

18、所述dcnv3通過自適應(yīng)卷積核進(jìn)行動(dòng)態(tài)調(diào)整以適應(yīng)目標(biāo)形狀，在死雞被活雞遮擋情況下，精確捕捉目標(biāo)特征，提高對(duì)遮擋目標(biāo)的識(shí)別能力；通過dcnv3的偏移預(yù)測(cè)網(wǎng)絡(luò)，增強(qiáng)對(duì)目標(biāo)位置和形狀變化的適應(yīng)性，提升檢測(cè)的準(zhǔn)確性；通過將雙線性插值優(yōu)化為軸上的線性插值，減少計(jì)算量，避免因插值引起的信息失真。

19、進(jìn)一步地，所述rep-dcnv3模塊，網(wǎng)絡(luò)結(jié)構(gòu)包括：ln、ffn和gelu組件，以及卷積干和降采樣層用于獲取層次特征圖。

20、首先，將輸入的多尺度特征數(shù)據(jù)，依次通過卷積干進(jìn)行初步特征提取，再通過rep-dcnv3中的自適應(yīng)卷積核進(jìn)行動(dòng)態(tài)調(diào)整以適應(yīng)目標(biāo)形狀，精確捕捉目標(biāo)特征，特別是在死雞被活雞遮擋的情況下。

21、隨后，特征圖經(jīng)過ffn和gelu增強(qiáng)非線性表達(dá)能力，并通過ln進(jìn)行歸一化處理以穩(wěn)定訓(xùn)練過程。

22、最后，通過降采樣層逐步降低特征圖的空間維度，同時(shí)增加特征圖的深度以捕獲更抽象的特征表示，進(jìn)行視覺任務(wù)處理，得到用于目標(biāo)檢測(cè)的高維特征表示，這些特征隨后被用于死雞目標(biāo)的精確識(shí)別和定位。

23、進(jìn)一步地，所述rep-dcnv3模塊，涉及偏移預(yù)測(cè)網(wǎng)絡(luò)和可變形卷積運(yùn)算，先預(yù)測(cè)輸入位置的偏移量，再根據(jù)偏移量進(jìn)行自適應(yīng)的卷積操作，原則如下：

24、

25、其中，h表示聚合組的總數(shù)；kh表示第h組的與位置無關(guān)的投影權(quán)值；qhm表示第h組中第m個(gè)采樣點(diǎn)的調(diào)制標(biāo)量；xh表示切片的輸入特征映射；δrhm表示第m組中網(wǎng)格采樣位置rm對(duì)應(yīng)的偏移量；y(r0)表示輸出。

26、具體地，步驟s4中，所述mpdiou為改進(jìn)的iou度量方法，用于在高密度養(yǎng)殖環(huán)境中，準(zhǔn)確評(píng)估目標(biāo)之間的重疊程度，平衡不同類別間的檢測(cè)性能，減少對(duì)多數(shù)類的過度擬合，包括如下子步驟；

27、s4.1、通過考慮目標(biāo)死雞之間的部分重疊和距離信息，評(píng)估目標(biāo)框的匹配程度mpdiou，計(jì)算如下：

28、

29、其中，w和h為輸入圖像的寬度和高度；a,b是兩個(gè)任意的凸形狀，d1為形狀b的左上角到形狀a左上角的歐幾里得距離，d2為形狀b的右下角到形狀a右下角的歐幾里得距離；分別為a的左上角坐標(biāo)和右下角坐標(biāo),分別為b的左上角坐標(biāo)和右下角坐標(biāo)；

30、s4.2、基于mpdiou，定義損失函數(shù)如下：

31、lmpdiou＝1-mpdiou

32、s43、在死雞檢測(cè)模型訓(xùn)練過程中，通過引入mpdiou損失，學(xué)習(xí)更準(zhǔn)確的目標(biāo)框定位策略，生成更精確的檢測(cè)結(jié)果，增強(qiáng)死雞檢測(cè)模型對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力

33、本發(fā)明技術(shù)方案還提供了：一種電子設(shè)備，包括：

34、一個(gè)或多個(gè)處理器；

35、存儲(chǔ)裝置，其上存儲(chǔ)有一個(gè)或多個(gè)程序；

36、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述任一所述的基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法。

37、本發(fā)明技術(shù)方案還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述任一項(xiàng)基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法中的步驟。

38、本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

39、1、本發(fā)明基于圖像融合和改進(jìn)yolov9的死雞檢測(cè)方法，以層疊式籠養(yǎng)模式下的肉雞養(yǎng)殖為研究對(duì)象，針對(duì)籠養(yǎng)雞死雞檢測(cè)任務(wù)，面向現(xiàn)有技術(shù)存在死雞識(shí)別精度偏低等不足，設(shè)計(jì)出一個(gè)基于多源信息融合的死雞檢測(cè)方法。

40、2、本發(fā)明方法采用piafusion融合可見光圖像與紅外光圖像，有效地解決了光照不均和復(fù)雜背景等問題；同時(shí)在目標(biāo)檢測(cè)算法中融入ema(exponential?moving?average)注意力機(jī)制，以區(qū)分雞籠擋板、飲水器等低暗目標(biāo)與死雞目標(biāo)，并實(shí)現(xiàn)對(duì)不同大小目標(biāo)的融合。

41、3、本發(fā)明方法在目標(biāo)檢測(cè)的特征提取階段中引入了rep-dcnv3模塊，有效提取被活雞遮擋的死雞特征。這一創(chuàng)新性的模塊解決了傳統(tǒng)方法在死雞被遮擋時(shí)難以準(zhǔn)確檢測(cè)的問題，顯著提升檢測(cè)準(zhǔn)確性和魯棒性。

42、4、本發(fā)明方法采用mpdiou(modified?partial?distance-iou)技術(shù)作為目標(biāo)檢測(cè)算法的損失函數(shù)，更準(zhǔn)確地評(píng)估目標(biāo)之間的重疊程度，還能夠平衡不同類別之間的檢測(cè)性能，減少模型對(duì)多數(shù)類的過度擬合，提高對(duì)少數(shù)類(如死雞)的檢測(cè)能力。