本發(fā)明涉及水產(chǎn)養(yǎng)殖檢測(cè)，尤其涉及基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法及系統(tǒng)。

背景技術(shù)：

1、隨著我國水產(chǎn)養(yǎng)殖規(guī)模日漸擴(kuò)大，對(duì)水產(chǎn)養(yǎng)殖保險(xiǎn)的需求也逐步顯現(xiàn)。魚類生物量是魚類養(yǎng)殖過程中具有十分重要價(jià)值的參考數(shù)據(jù)之一。魚類生物量是指特定水域內(nèi)魚類的總重量，魚類生物量的相關(guān)數(shù)據(jù)能夠幫助保險(xiǎn)機(jī)構(gòu)了解當(dāng)前的魚類生長情況，對(duì)于明確養(yǎng)殖密度和養(yǎng)殖周期以及魚類的生長速度和健康狀況都有著十分重要的參考意義。同時(shí)通過對(duì)生物量的長期監(jiān)測(cè)和分析，保險(xiǎn)人員能夠預(yù)測(cè)養(yǎng)殖趨勢(shì)，制評(píng)估養(yǎng)殖風(fēng)險(xiǎn)。

2、然而現(xiàn)有研究大多以魚的尺寸、形狀和顏色等外觀屬性作為參數(shù)，而很少將魚類的進(jìn)食情況、投喂量等與生物量建立關(guān)系。而魚類的進(jìn)食行為、投喂飼料量等與魚類生物量之間存在一定的關(guān)系。目前無法高效估計(jì)養(yǎng)殖生物量、難以評(píng)估養(yǎng)殖風(fēng)險(xiǎn)等問題使得水產(chǎn)養(yǎng)殖保險(xiǎn)面臨著很大風(fēng)險(xiǎn)，使得保險(xiǎn)機(jī)構(gòu)不敢輕易涉足水產(chǎn)養(yǎng)殖相關(guān)業(yè)務(wù)。同時(shí)，現(xiàn)在主要依賴人工對(duì)水產(chǎn)養(yǎng)殖進(jìn)行計(jì)數(shù)，人工檢測(cè)水產(chǎn)品的數(shù)量和種類工作難度較大且易出錯(cuò)，增加人工成本。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明提供了基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法及系統(tǒng)解決目前水產(chǎn)養(yǎng)殖魚類生物量估算的難度高、準(zhǔn)確性差且人工成本高的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

4、第一方面，本發(fā)明提供了基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法，包括：

5、獲取每輪投喂時(shí)間段內(nèi)的水域內(nèi)圖像、音頻及水質(zhì)數(shù)據(jù)，并進(jìn)行預(yù)處理；

6、將預(yù)處理后的數(shù)據(jù)分別輸入至多模態(tài)融合模型進(jìn)行相應(yīng)的特征提取，以獲取圖像、音頻以及水質(zhì)相應(yīng)的特征向量；

7、每輪投喂結(jié)束后，獲取飼料投喂量數(shù)據(jù)；

8、將預(yù)處理后的投喂量數(shù)據(jù)輸入至多模態(tài)融合模型中的邏輯回歸模型進(jìn)行特征提取，以得到投喂量特征向量；

9、融合圖像、音頻以及水質(zhì)相應(yīng)的特征向量，所述融合通過通道維度進(jìn)行拼接，得到第一聚合特征圖；

10、基于所述第一聚合特征圖預(yù)測(cè)下一輪飼料投放量；

11、融合圖像、音頻、水質(zhì)以及投喂量相應(yīng)的特征向量，所述融合通過通道維度進(jìn)行拼接，得到第二聚合特征圖；

12、基于所述第二聚合特征圖估算得到當(dāng)前的魚類生物量。

13、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：所述圖像數(shù)據(jù)包括：魚群濺起的水花大小和魚群聚集密度；所述音頻數(shù)據(jù)包括：水花拍打聲、魚群碰撞聲和魚群游動(dòng)聲；

14、所述水質(zhì)數(shù)據(jù)包括：溶氧值、ph和溫度。

15、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：將預(yù)處理后的數(shù)據(jù)分別輸入至多模態(tài)融合模型進(jìn)行相應(yīng)的特征提取，以獲取圖像特征向量，包括：

16、將預(yù)處理后的圖像數(shù)據(jù)輸入至多模態(tài)融合模型中并行處理分支的第一卷積神經(jīng)網(wǎng)絡(luò)，第一卷積神經(jīng)網(wǎng)絡(luò)的卷積加速器提取聯(lián)系和空間信息，表達(dá)圖像相關(guān)特征，其激活層通過激活函數(shù)引入非線性特征至神經(jīng)網(wǎng)絡(luò)中，池化層對(duì)特征進(jìn)行降維，輸出圖像特征向量。

17、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：將預(yù)處理后的數(shù)據(jù)分別輸入至多模態(tài)融合模型進(jìn)行相應(yīng)的特征提取，以獲取音頻特征向量，包括：

18、將預(yù)處理后的音頻數(shù)據(jù)輸入至多模態(tài)融合模型中并行處理分支的第二卷積神經(jīng)網(wǎng)絡(luò)，第二卷積神經(jīng)網(wǎng)絡(luò)的卷積加速器提取聯(lián)系和空間信息，表達(dá)音頻相關(guān)特征，其激活層通過激活函數(shù)引入非線性特征至神經(jīng)網(wǎng)絡(luò)中，池化層對(duì)特征進(jìn)行降維，輸出音頻特征向量。

19、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：將預(yù)處理后的數(shù)據(jù)分別輸入至多模態(tài)融合模型進(jìn)行相應(yīng)的特征提取，以獲取水質(zhì)特征向量，包括：

20、將預(yù)處理后的水質(zhì)參數(shù)數(shù)據(jù)輸入至多模態(tài)融合模型中并行處理分支的文本編碼器，文本編碼器利用詞嵌入模型將水質(zhì)參數(shù)文本轉(zhuǎn)化為特征向量，輸出水質(zhì)特征向量。

21、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：將預(yù)處理后的投喂量數(shù)據(jù)輸入至多模態(tài)融合模型中的邏輯回歸模型進(jìn)行特征提取，以得到投喂量特征向量，包括：

22、將預(yù)處理后的投喂量數(shù)據(jù)輸入至多模態(tài)融合模型中并行處理分支的邏輯回歸模型，通過函數(shù)計(jì)算，轉(zhuǎn)化為特征向量，輸出投喂量特征向量。

23、作為本發(fā)明所述的基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的優(yōu)選方案，其中：所述多模態(tài)融合模型采用跨模態(tài)注意機(jī)制以及深度殘差網(wǎng)絡(luò)模型將殘差特征作為外生變量引入聲學(xué)模態(tài)和視覺模態(tài)；

24、通過幀級(jí)殘差學(xué)習(xí)函數(shù)逐幀調(diào)整基本模態(tài)特征，對(duì)于每種模態(tài)特征中的每個(gè)時(shí)間步長，通過注意機(jī)制計(jì)算相應(yīng)的殘差信息；

25、引入動(dòng)態(tài)自適應(yīng)決策融合，所述動(dòng)態(tài)自適應(yīng)決策融合通過重新融合來自注意力機(jī)制的聲學(xué)和視覺輸出特征并結(jié)合時(shí)間維度平均值計(jì)算特征的動(dòng)態(tài)權(quán)重；

26、將聲學(xué)和視覺模式的融合特征進(jìn)行連接，并結(jié)合動(dòng)態(tài)權(quán)重，得到第一融合結(jié)果；

27、將第一融合結(jié)果與文本特征向量通過所述動(dòng)態(tài)自適應(yīng)決策再次進(jìn)行融合，得到第一聚合特征圖；

28、將第一聚合特征圖與投喂量特征向量通過所述動(dòng)態(tài)自適應(yīng)決策再次進(jìn)行融合，得到第二聚合特征圖。

29、第二方面，本發(fā)明提供了基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算系統(tǒng)，包括：第一獲取模塊，用于獲取每輪投喂時(shí)間段內(nèi)的水域內(nèi)圖像、音頻及水質(zhì)數(shù)據(jù)，并進(jìn)行預(yù)處理；

30、第一控制模塊，將預(yù)處理后的數(shù)據(jù)分別輸入至多模態(tài)融合模型進(jìn)行相應(yīng)的特征提取，以獲取圖像、音頻以及水質(zhì)相應(yīng)的特征向量；

31、第二獲取模塊，每輪投喂結(jié)束后，獲取飼料投喂量數(shù)據(jù)；

32、第二控制模塊，將預(yù)處理后的投喂量數(shù)據(jù)輸入至多模態(tài)融合模型中的邏輯回歸模型進(jìn)行特征提取，以得到投喂量特征向量；

33、第一融合模塊，用于融合圖像、音頻以及水質(zhì)相應(yīng)的特征向量，所述融合通過通道維度進(jìn)行拼接，得到第一聚合特征圖；

34、第一預(yù)測(cè)模塊，用于基于所述第一聚合特征圖預(yù)測(cè)下一輪飼料投放量；

35、第二融合模塊，用于融合圖像、音頻、水質(zhì)以及投喂量相應(yīng)的特征向量，所述融合通過通道維度進(jìn)行拼接，得到第二聚合特征圖；

36、第二預(yù)測(cè)模塊，用于基于所述第二聚合特征圖估算得到當(dāng)前的魚類生物量。

37、第三方面，本發(fā)明提供了計(jì)算設(shè)備，包括：

38、存儲(chǔ)器和處理器；

39、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，所述處理器用于執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的步驟。

40、第四方面，本發(fā)明提供了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述基于深度學(xué)習(xí)多模態(tài)融合模型的魚類生物量估算方法的步驟。

41、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：本發(fā)明通過采集收集不同類型模態(tài)數(shù)據(jù)并組合，進(jìn)行深度學(xué)習(xí)，通過使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像、音頻進(jìn)行識(shí)別，使用邏輯回歸模型對(duì)飼料投喂量進(jìn)行識(shí)別，使用文本編碼器對(duì)水質(zhì)信息進(jìn)行識(shí)別，相比傳統(tǒng)識(shí)別方法的識(shí)別準(zhǔn)確度更高、智能化程度更高，且在魚類數(shù)量多而發(fā)生遮擋重疊的情況下時(shí)，仍然有精準(zhǔn)識(shí)別度，同時(shí)識(shí)別效率更高。