本發(fā)明涉及畜禽健康養(yǎng)殖的，尤其涉及一種基于多源信息融合的生豬健康監(jiān)測方法。

背景技術(shù)：

1、隨著生豬養(yǎng)殖不斷向規(guī)?；?、集約化方向發(fā)展，采用傳統(tǒng)人工監(jiān)測方法快速分析生豬健康狀況是不切實際的，而且當(dāng)監(jiān)測人員進入養(yǎng)殖場時，生豬會產(chǎn)生應(yīng)激反應(yīng)，導(dǎo)致測量結(jié)果誤差大，不能準確反映生豬健康狀態(tài)。同時，過多的人畜接觸不僅會打亂生豬日常的生活狀態(tài)，影響監(jiān)測準確度，而且還極大的增加了人畜共患疾病的傳播幾率，一日出現(xiàn)疫情失控，會給整個養(yǎng)殖企業(yè)帶來嚴重經(jīng)濟損失。因此，為提高生豬養(yǎng)殖企業(yè)的生產(chǎn)產(chǎn)能、品質(zhì)、經(jīng)濟效益、智能化管理水平，針對國內(nèi)中小型生豬養(yǎng)殖企業(yè)在養(yǎng)殖過程中對生豬異常、健康評價、疾病監(jiān)測與預(yù)警處理采用人工主觀判斷，存在勞動強度大、效率低、異常情況發(fā)現(xiàn)與疾病預(yù)警不及時導(dǎo)致養(yǎng)殖企業(yè)嚴重經(jīng)濟損失問題，克服目前養(yǎng)殖場多采用單一監(jiān)測技術(shù)監(jiān)測生豬異常行為識別、快速健康評價和疾病診斷準確率低等問題。

2、申請?zhí)枮?02211355314.4的發(fā)明專利公開了一種基于邊緣計算與改進yolo的生豬姿態(tài)跟蹤方法，包括以下步驟：采集生豬姿態(tài)行為圖像，獲得行為監(jiān)測數(shù)據(jù)集；對所述行為監(jiān)測數(shù)據(jù)集進行劃分，獲得訓(xùn)練集、測試集；構(gòu)建目標識別模型，將所述訓(xùn)練集輸入所述目標識別模型中進行識別，獲得識別檢測結(jié)果；構(gòu)建目標跟蹤模型，將所述識別檢測結(jié)果輸入所述目標跟蹤模型對豬群進行識別跟蹤處理，獲得生豬行為跟蹤結(jié)果。上述發(fā)明通過邊緣計算與改進算法，滿足了群養(yǎng)多豬只姿態(tài)實時穩(wěn)定跟蹤的要求，并且算法對不同數(shù)量、不同方位的豬只的識別跟蹤效果都非常好，有助于推動群養(yǎng)生豬的無人化、健康化養(yǎng)殖，并為后期生豬預(yù)警疾病并對其采取應(yīng)對措施打下堅實的基礎(chǔ)。但是，上述專利只利用圖像一種監(jiān)測方式，與多模態(tài)數(shù)據(jù)融合相比存在一定的局限性，導(dǎo)致對生豬的健康評價和疾病預(yù)警存在不全面不及時問題，主要體現(xiàn)如下幾方面：

3、1.無法全面檢測生豬健康狀態(tài)：生豬姿態(tài)行為雖然可以反映部分健康狀況，但其生理體征(如體溫、心率、咳嗽聲)往往是疾病或健康問題的重要先兆。單靠圖像難以全面評估生豬的健康狀態(tài)。

4、2.監(jiān)測準確性受限：生豬姿態(tài)檢測在群養(yǎng)環(huán)境中容易受到群聚擠壓遮擋、外界光線變化等外部因素的影響，影響算法的檢測準確度，導(dǎo)致姿態(tài)識別和跟蹤的準確性下降。

5、3.無法及時發(fā)現(xiàn)早期健康問題：一些生豬健康問題(如發(fā)熱、咳嗽)可能在早期僅表現(xiàn)為體溫或聲音的變化，姿態(tài)的變化不一定明顯。依賴圖像監(jiān)測可能導(dǎo)致健康問題未能及時發(fā)現(xiàn)，錯過早期干預(yù)的機會。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有單一監(jiān)測手段和生豬健康監(jiān)測多采用接觸式感知器對豬只有應(yīng)激反應(yīng)，存在誤差大傳輸距離受限、設(shè)備續(xù)航能力差的技術(shù)問題，本發(fā)明提出一種基于多源信息融合的生豬健康監(jiān)測方法，通過多模態(tài)監(jiān)測，結(jié)合改進的yolov5s姿態(tài)識別、lstm聲音識別和體征傳感器檢測，提高了健康監(jiān)測的精確度和可靠性。本發(fā)明融合生豬姿態(tài)、聲音及體征等監(jiān)測參數(shù)，采用深度學(xué)習(xí)和多源信息融合技術(shù)構(gòu)建智能化生豬健康監(jiān)測與疾病預(yù)警平臺，有助于為管理人員及早發(fā)現(xiàn)豬只異常、疾病預(yù)警和開展精準飼喂、健康養(yǎng)殖與科學(xué)管理提供技術(shù)支撐。

2、為了達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：一種基于多源信息融合的生豬健康監(jiān)測方法，其步驟如下：

3、步驟一：采集生豬在自然環(huán)境中的聲音數(shù)據(jù)，并對聲音數(shù)據(jù)進行分類和預(yù)處理組成聲音樣本數(shù)據(jù)集，聲音樣本數(shù)據(jù)集輸入lstm神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到聲音檢測模型；

4、步驟二：采集不同角度和不同時間段的生豬姿態(tài)圖像，對生豬姿態(tài)圖像進行數(shù)據(jù)增強和姿態(tài)標簽標注，得到姿態(tài)樣本數(shù)據(jù)集，將生豬姿態(tài)樣本數(shù)據(jù)集輸入yolov5s模型進行訓(xùn)練，得到優(yōu)化參數(shù)的姿態(tài)檢測模型；

5、步驟三：將實時采集的生豬聲音數(shù)據(jù)輸入進行預(yù)處理后輸入聲音檢測模型，得到聲音特征；將實時采集的生豬姿態(tài)圖像輸入優(yōu)化參數(shù)的姿態(tài)檢測模型得到姿態(tài)特征；利用紅外溫度傳感器測量生豬的體溫特征，利用體重傳感器測量生豬的體重特征，將聲音特征、姿態(tài)特征、體溫特征和體重特征進行融合得到融合向量；

6、步驟四：將融合向量輸入訓(xùn)練后的隨機森林分類器進行決策，確定生豬的健康狀態(tài)。

7、優(yōu)選地，利用的生豬健康監(jiān)測系統(tǒng)包括體征監(jiān)測組件、聲音監(jiān)測組件和視頻監(jiān)測組件，體征監(jiān)測組件、聲音監(jiān)測組件和視頻監(jiān)測組件均與數(shù)據(jù)采集系統(tǒng)相連接，數(shù)據(jù)采集系統(tǒng)與上位機相連接，上位機內(nèi)設(shè)有數(shù)據(jù)存儲系統(tǒng)和報警系統(tǒng)，上位機通過以太網(wǎng)與處理端相連接，處理端內(nèi)設(shè)有實時監(jiān)控系統(tǒng)，實時監(jiān)控系統(tǒng)分別與數(shù)據(jù)存儲系統(tǒng)和報警系統(tǒng)相連接，實時監(jiān)控系統(tǒng)對數(shù)據(jù)采集系統(tǒng)采集的數(shù)據(jù)進行處理和分析，實現(xiàn)生豬異常、疾病預(yù)警和健康診斷模型的在線預(yù)測，并將得到的生豬的健康狀態(tài)數(shù)據(jù)傳送至上位機，上位機通過圖形用戶界面展示生豬的健康狀態(tài)數(shù)據(jù)，當(dāng)檢測到生豬異常數(shù)據(jù)時通過報警系統(tǒng)進行報警；

8、所述實時監(jiān)控系統(tǒng)采用改進yolov5s模型處理生豬狀態(tài)圖像進行姿態(tài)識別和分析；實時監(jiān)控系統(tǒng)采用lstm神經(jīng)網(wǎng)絡(luò)模型對聲音信號處理實現(xiàn)聲音識別和分析。

9、優(yōu)選地，所述體征監(jiān)測組件包括紅外溫度傳感器和體重傳感器，紅外溫度傳感器用于實時測量生豬的體溫，體重傳感器用于監(jiān)測生豬的體重；所述聲音監(jiān)測組件包括麥克風(fēng)，麥克風(fēng)安裝在豬舍內(nèi)，捕捉生豬包括呼吸、叫聲和其他聲音特征的聲音信號；所述視頻監(jiān)測組件包括攝像頭，攝像頭安裝在豬舍上方或側(cè)面，實時捕捉生豬的活動情況，提供高分辨率的生豬姿態(tài)圖像；

10、所述上位機與紅外溫度傳感器、體重傳感器、麥克風(fēng)和攝像頭連接在同一局域網(wǎng)中，接收實時采集的原始數(shù)據(jù)；

11、所述健康狀態(tài)數(shù)據(jù)包括圖像識別結(jié)果、聲音識別結(jié)果、體征數(shù)據(jù)和健康狀態(tài)信息。

12、優(yōu)選地，將聲音數(shù)據(jù)進行分類為：破壞、進食、跑動、驚訝、長咳嗽、短咳嗽；

13、所述預(yù)處理是對聲音數(shù)據(jù)依次進行降采樣、切分、濾波，濾波處理后輸入梅爾濾波器組將濾波后的聲音信號轉(zhuǎn)換為梅爾頻譜圖，根據(jù)梅爾頻譜圖組成待訓(xùn)練的聲音樣本數(shù)據(jù)集；

14、所述姿態(tài)標簽包括：進食、爬臥、犬坐、側(cè)臥和站立。

15、優(yōu)選地，所述降采樣是將聲音數(shù)據(jù)的采樣率從原始頻率降低到16000hz的采樣率；所述切分是將降采樣后的聲音數(shù)據(jù)切分成較小的樣本，切分的時間間隔設(shè)置為1秒；所述濾波是對切分后的聲音數(shù)據(jù)濾除閾值低于20的聲音信號；

16、所述將濾波后的聲音信號轉(zhuǎn)換為梅爾頻譜圖的方法為：將濾波后的聲音信號分幀為25ms每幀；對每幀加漢明窗；對加漢明窗后的各幀聲音信號進行短時傅里葉變化，得到頻譜圖；將每一幀的頻譜圖通過梅爾濾波器組進行濾波，得到梅爾頻譜圖；對梅爾頻譜圖中的梅爾頻譜進行均值歸一化處理，得到處理后的梅爾頻譜圖；

17、所述梅爾濾波器組為三角濾波器；

18、對攝像頭采集的視頻進行定時抽幀或基于動作檢測的動態(tài)抽幀，進行圖像幀提取，獲取具有代表性的生豬姿態(tài)圖像；對生豬姿態(tài)圖像使用mosaic-9增強處理；

19、利用目標檢測標注工具對每張生豬姿態(tài)圖像進行姿態(tài)標簽標注，標注內(nèi)容包括為每個姿態(tài)定義錨框并分配相應(yīng)的分類標簽。

20、優(yōu)選地，所述lstm神經(jīng)網(wǎng)絡(luò)模型對聲音樣本數(shù)據(jù)集中的梅爾頻譜圖進行處理的方法為：

21、1)將梅爾頻譜圖按每個時間步長和特征維度展平并排列在一起，形成一個一維序列；

22、2)將一維序列輸入到時間分布全連接層中，使用tanh函數(shù)激活，生成輸出序列s；

23、3)使用一個雙向lstm層對輸出序列s進行雙向lstm處理，生成正向和反向的隱藏狀態(tài)，得到完整的輸出序列x；

24、4)將輸出序列s與雙向輸出序列x沿著特征軸進行拼接，得到特征向量；

25、5)第一個全連接層使用relu激活函數(shù)對特征向量進行加權(quán)求和，最大池化層對第一個全連接層輸出的數(shù)據(jù)進行下采樣；第二個全連接層對下采樣后的數(shù)據(jù)應(yīng)用relu激活函數(shù)進行加權(quán)求和，得到多維數(shù)據(jù)；

26、6)設(shè)置丟棄率為0.2，將多維數(shù)據(jù)展平為一維向量；

27、7)最后一個全連接層使用relurelu激活函數(shù)對一維向量進行加權(quán)求和，并利用l2正則化給網(wǎng)絡(luò)的權(quán)重添加懲罰項；

28、8)輸出層是一個具有10個單元的全連接層，使用softmax激活函數(shù)進行多類分類。

29、優(yōu)選地，所述yolov5s模型為改進的yolov5s模型，且改進的yolov5s模型為：

30、在backbone骨干網(wǎng)絡(luò)的第七層之后引入新的注意力機制cbam，新的注意力機制cbam包括空間注意力模塊和通道注意力模塊，通道注意力模塊對輸入的特征圖f進行處理得到通道權(quán)重，通道權(quán)重與輸入的特征圖f相乘得到特征圖f′，將特征圖f′作為輸入傳遞給空間注意力機制，空間注意力模塊對特征圖f′進行處理得到空間權(quán)重，空間權(quán)重與特征圖f′相乘得到輸出特征圖；

31、將yolov5s模型的neck部分中的fpn模塊修改為bifpn模塊，采用bifpn模塊改進雙向跨尺度連接，并進行加權(quán)特征融合。

32、優(yōu)選地，在第三個特征提取層c3后增加新的注意力機制cbam；

33、所述通道注意力模塊在輸入的特征圖上執(zhí)行全局平均池化和全局最大池化，生成兩個池化結(jié)果分別表示特征圖的平均值和最大值；使用共享的全連接層構(gòu)建通道之間的相關(guān)性，將兩個全連接層的輸出相加得到一個特征圖，特征圖通過sigmoid函數(shù)進行激活得到通道權(quán)重mc；

34、所述空間注意力機制對特征圖f′進行全局平均池化和全局最大池化，得到池化結(jié)果，使用7×7卷積核對池化結(jié)果進行卷積操作，將經(jīng)過7×7卷積核操作后的特征圖通過sigmoid函數(shù)進行激活得到空間權(quán)重；

35、所述共享的全連接層是一個多層感知器，包含兩個全連接層，第一層全連接層將池化結(jié)果的維度降低到原始特征通道數(shù)的1/16，第二層全連接層將其恢復(fù)到原始通道特征數(shù)；將第二層全連接層的輸出與第一層全連接層的輸出相加，得到有一個特征圖，將特征圖傳遞給sigmoid激活函數(shù)進行激活，得到歸一化的通道權(quán)重：

36、

37、其中，w0和w1分別是第一層全連接層和第二層全連接層的權(quán)重，σ()是sigmoid激活函數(shù)，mlp()表示多層感知器，avgpool和maxpool分別表示全局平均池化函數(shù)和全局最大池化函數(shù)，表示通過全局平均池化得到的特征圖，表示通過全局最大池化得到的特征圖；

38、所述空間注意力機制的全局平均池化對每個空間位置進行全局平均，生成一個二維的特征圖，表示在所有通道上的平均值；空間注意力機制的全局最大池化對每個像素位置在所有通道上取最大值，生成另一個二維特征圖，表示空間維度上的最強響應(yīng)；所述空間注意力機制中的7×7卷積操作對整個空間進行特征提取和融合；

39、將經(jīng)過7×7卷積核操作后的特征圖通過sigmoid函數(shù)進行激活，得到歸一化的空間權(quán)重：

40、ms＝σ(f7×7(avgpool(f′))+f7×7(maxpool(f′)))

41、其中，f7×7表示7×7卷積核操作函數(shù)；

42、所述bifpn模塊為：刪除不相鄰的特征金字塔中第7和5層兩個融合特征網(wǎng)絡(luò)中貢獻不達標的節(jié)點；在特征金字塔中第6層從原始輸入到輸出節(jié)點添加額外的邊，在不增加太多成本的情況下融合更多的特征；將一對路徑視為一個特征層，然后重復(fù)多次得到更多高層特征融合，使用帶權(quán)重的快速歸一化融合方法進行融合，計算公式為：

43、

44、其中，ii是輸入特征，o是輸出特征，ωi和ωj是可學(xué)習(xí)的權(quán)重，ε＝0.0001是一個小值；

45、bifpn模塊首先進行自頂向下的特征融合，然后進行自下而上的特征融合。

46、優(yōu)選地，所述紅外溫度傳感器安裝在生豬的側(cè)面，在初次使用或環(huán)境條件發(fā)生變化時，對紅外溫度傳感器進行環(huán)境溫度校準，通過內(nèi)部算法補償外界溫度對測量精度的影響；根據(jù)生豬皮膚的發(fā)射率ε確保紅外輻射能量與實際溫度之間的轉(zhuǎn)換精確，得到的真實溫度；

47、紅外溫度傳感器實時采集生豬的紅外圖像，捕捉生豬體表的紅外輻射，將紅外輻射能量轉(zhuǎn)換為溫度數(shù)據(jù)，并生成紅外熱圖，使用逐像素掃描與溫度補償算法掃描整個紅外熱圖識別生豬體表的最高溫點，將識別出的最高溫點的溫度數(shù)據(jù)記錄并傳輸至數(shù)據(jù)存儲系統(tǒng)，持續(xù)采集溫度數(shù)據(jù)并記錄生豬體溫變化；

48、利用濾波算法對最高溫點的溫度數(shù)據(jù)進行濾波處理，排除可能由環(huán)境變化或傳感器噪聲引起的異常溫度讀數(shù)；

49、根據(jù)濾波處理后生豬的體溫與正常體溫得到溫差δt，如果溫差δt＞tthreshold，則觸發(fā)警報；

50、對體重傳感器進行校準的方法為：在沒有生豬的情況下，記錄體重傳感器的輸出信號voutput(空載)，作為空載基準點vempty＝voutput(空載)；將已知重量的標準砝碼放置在體重傳感器上，記錄體重傳感器的輸出信號，并根據(jù)已知重量計算出校準因子其中，wknown是標準砝碼的已知重量，voutput(標準砝碼)是測量的標準砝碼的重量；

51、通過校準因子c轉(zhuǎn)換為生豬的實際體重wpig＝c·(voutput(生豬)-vempty)，其中，voutput(生豬)是體重傳感器測量的生豬的重量；

52、通過移動平均濾波平滑稱重數(shù)據(jù)，得到穩(wěn)定的重量讀數(shù)：其中，wfiltered[n]是經(jīng)過濾波處理的體重數(shù)據(jù)，n是濾波窗口的大??；wpig[n-i]表示當(dāng)前時刻前i個時間點采集到的體重數(shù)據(jù)；

53、應(yīng)用誤差校正算法進行進一步調(diào)整，得到校正后的體重數(shù)據(jù)wfinal＝wfiltered+δ(t,h,θ)；其中，δ(t,h,θ)是考慮體溫t、濕度h、傾斜角度θ的誤差校正項。

54、優(yōu)選地，所述聲音特征包括每類聲音的置信度，所述姿態(tài)特征包括每種姿態(tài)的置信度；

55、所述隨機森林分類器進行決策的判斷方法為：

56、優(yōu)先級判斷：如果體溫異常，直接判定為‘不健康’；若體重異常且伴隨姿態(tài)或聲音異常，則判定為‘不健康’；若體溫正常且體重輕微異常，則判定為‘亞健康’；

57、若姿態(tài)為‘犬坐’或聲音為‘咳嗽’，且置信度高于0.7，則分別標注為‘亞健康’若姿態(tài)和聲音同時標注為‘亞健康’，且置信度高于50％，則綜合判定為‘不健康’；

58、隨機森林分類器基于置信度，動態(tài)調(diào)整各特征的權(quán)重，通過加權(quán)和非線性決策函數(shù)f(x)來綜合判斷生豬的健康狀態(tài)：f(x)＝ω1·tbody+ω2·s+ω3·p+ω4·δw

59、其中，f(x)是模型輸出的預(yù)測結(jié)果，表示模型對生豬健康的置信度；ω1、ω2、ω3、ω4分別是體重變化δw、姿態(tài)p、體溫t、聲音特征s的權(quán)重；

60、設(shè)定生豬健康狀態(tài)的分類閾值為θ，若健康狀態(tài)f(x)的預(yù)測結(jié)果映射到分類閾值的取值分別為0.7<θ≤1、0.4≤θ<0.7、0≤θ<0.4區(qū)域，則對應(yīng)生豬健康診斷模型的綜合評價結(jié)果為‘健康’、‘亞健康’、‘不健康’。

61、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：本發(fā)明融合生豬圖像姿態(tài)識別姿態(tài)、聲音識別和體溫監(jiān)測的多維度數(shù)據(jù)，有利于更全面地監(jiān)測生豬的健康狀態(tài)，實現(xiàn)姿態(tài)、聲音、體溫的綜合分析與評價。針對復(fù)雜場景中生豬姿態(tài)識別受到干擾情況，本發(fā)明融合生豬聲音和體征檢測數(shù)據(jù)有效彌補單一姿態(tài)檢測的局限性，有助于綜合評價、診斷生豬的健康狀況，進一步提升整體監(jiān)測系統(tǒng)的準確性和魯棒性。本發(fā)明借助生豬聲音和體征檢測數(shù)據(jù)比單一生豬姿態(tài)檢測數(shù)據(jù)更有利于飼養(yǎng)管理人員及時發(fā)現(xiàn)、評鑒、診斷生豬健康狀態(tài)。本發(fā)明通過聲音識別、lstm預(yù)測模型和體征檢測傳感器可以在生豬姿態(tài)發(fā)生明顯變化之前，檢測出潛在的健康問題，并及時預(yù)警。

62、本發(fā)明結(jié)合非接觸式紅外溫度傳感器對生豬體溫進行實時檢測，使用雙剪切梁式稱重傳感器對生豬進食時的體重進行測量，借助無線傳感網(wǎng)絡(luò)，將測量體溫和體重數(shù)據(jù)傳至上位機，上位機結(jié)合體溫、體重檢測數(shù)據(jù)對生豬健康異常和疾病進行預(yù)警；本發(fā)明結(jié)合基于lstm的深度學(xué)習(xí)模型，對生豬的咳嗽、飲食等聲音的時序特征進行分析、提取，通過對生豬聲音特征識別來判斷生豬的情緒或健康狀況；生豬姿態(tài)識別采用改進的yolov5s目標檢測模型，實時分析視頻中的生豬站立、爬臥、進食等姿態(tài)行為。本發(fā)明融合生豬體征(體溫、體重)、聲音(咳嗽、飲食)和姿態(tài)(站立、爬臥、進食等)行為異常特征進行提取，并結(jié)合大數(shù)據(jù)分析模型對生豬異常行為、健康狀態(tài)進行預(yù)警和評價，及時提醒養(yǎng)殖人員進行及時科學(xué)處理，降低損失，提高養(yǎng)殖效益。

63、本發(fā)明結(jié)合體征、音頻、視頻感知檢測技術(shù)、無線傳感網(wǎng)絡(luò)、云服務(wù)器、深度學(xué)習(xí)和大數(shù)據(jù)分析技術(shù)，開發(fā)一種基于體征、聲覺和視覺行為的三位維度生豬體征信息采集、健康評估、異常行為診斷監(jiān)測平臺，為進一步提高生豬養(yǎng)殖的智能化、精準化管理和疫情防控提科學(xué)依據(jù)。