本發(fā)明涉及生物行為監(jiān)測，尤其涉及一種魚類異常行為診斷方法及裝置。

背景技術(shù)：

1、在水產(chǎn)養(yǎng)殖過程中，魚類對(duì)于水體的鹽度變化、水體內(nèi)溶氧量的變化、水體溫度的變化、環(huán)境的光照強(qiáng)度和不同光照顏色等外部環(huán)境的改變和刺激是非常敏感的。不恰當(dāng)?shù)乃w環(huán)境會(huì)影響魚類的正常生長發(fā)育，并伴隨著一些應(yīng)激行為反應(yīng)。如果沒有及時(shí)發(fā)現(xiàn)這些異常行為并采取有效的措施，往往會(huì)導(dǎo)致魚群的病害甚至出現(xiàn)大面積死亡的現(xiàn)象。

2、目前傳統(tǒng)的做法是人工現(xiàn)場觀測，但人工方法耗時(shí)費(fèi)力，不但受人為主觀因素的影響較大，而且觀測范圍和觀測時(shí)間均受到諸多限制，存在診斷效率低且識(shí)別精度差的問題。

3、上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種魚類異常行為診斷方法及裝置，旨在解決目前傳統(tǒng)的做法是人工現(xiàn)場觀測，但人工方法耗時(shí)費(fèi)力，不但受人為主觀因素的影響較大，而且觀測范圍和觀測時(shí)間均受到諸多限制，存在診斷效率低且識(shí)別精度差的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種魚類異常行為診斷方法，所述魚類異常行為診斷方法包括以下步驟：

3、采集待識(shí)別魚群的原始視頻圖像；

4、通過目標(biāo)檢測模型對(duì)所述原始視頻圖像的每一幀圖像進(jìn)行魚類識(shí)別，并基于識(shí)別到的魚類為每一幀圖像標(biāo)注相應(yīng)的預(yù)測框；

5、確定多個(gè)預(yù)測框中各個(gè)預(yù)測框之間的關(guān)聯(lián)度；

6、根據(jù)所述關(guān)聯(lián)度確定各個(gè)魚類的運(yùn)動(dòng)軌跡；

7、通過自編碼器對(duì)所述各個(gè)魚類的運(yùn)動(dòng)軌跡進(jìn)行特征變換；

8、基于變換后的特征識(shí)別各個(gè)魚類的異常行為。

9、在一些實(shí)施例中，所述確定多個(gè)預(yù)測框中各個(gè)預(yù)測框之間的關(guān)聯(lián)度，包括：

10、從多個(gè)預(yù)測框中篩選出存在重疊的預(yù)測框；

11、從存在重疊的預(yù)測框中任意選取兩個(gè)預(yù)測框，分別確定兩個(gè)預(yù)測框的重疊區(qū)域的面積以及覆蓋區(qū)域的面積；

12、根據(jù)所述重疊區(qū)域的面積和所述覆蓋區(qū)域的面積計(jì)算兩個(gè)預(yù)測框的交并比，計(jì)算公式為其中，x和y為任一選取的兩個(gè)預(yù)測框，x∩y為兩個(gè)預(yù)測框的重疊區(qū)域的面積，x∪y為兩個(gè)預(yù)測框的覆蓋區(qū)域的面積；

13、根據(jù)所述交并比確定存在重疊的預(yù)測框之間的關(guān)聯(lián)度，所述交并比與所述關(guān)聯(lián)度正相關(guān)。

14、在一些實(shí)施例中，所述方法還包括：

15、從剩余的不存在重疊的預(yù)測框中任意選取兩個(gè)預(yù)測框，分別確定兩個(gè)預(yù)測框之間的中心點(diǎn)距離以及其中一個(gè)預(yù)測框的對(duì)角線距離；

16、根據(jù)所述中心點(diǎn)距離以及所述對(duì)角線距離并結(jié)合預(yù)設(shè)系數(shù)計(jì)算兩個(gè)預(yù)測框的關(guān)聯(lián)度，計(jì)算公式為其中，d為中心點(diǎn)距離，l為對(duì)角線距離，α為預(yù)設(shè)系數(shù)。

17、在一些實(shí)施例中，所述根據(jù)所述關(guān)聯(lián)度確定各個(gè)魚類的運(yùn)動(dòng)軌跡，包括：

18、根據(jù)所述關(guān)聯(lián)度構(gòu)建關(guān)聯(lián)度矩陣，所述關(guān)聯(lián)度矩陣大小對(duì)應(yīng)連續(xù)兩幀圖像的預(yù)測框數(shù)量；

19、從所述關(guān)聯(lián)度矩陣中提取出最大元素，并排除所述最大元素所在的行與列，所排除的行與列中的元素不參與最大元素的選?。?/p>

20、從剩余的元素中再次提取最大元素，并排除再次提取的最大元素所在的行與列；

21、返回執(zhí)行所述從剩余的元素中再次提取最大元素，并排除再次提取的最大元素所在的行與列的步驟，直至所述關(guān)聯(lián)度矩陣中不存在可選取的元素；

22、根據(jù)提取到的所有元素確定對(duì)應(yīng)的預(yù)測框，以得到各個(gè)魚類的運(yùn)動(dòng)軌跡。

23、在一些實(shí)施例中，所述自編碼器包括編碼器與解碼器，所述通過自編碼器對(duì)所述各個(gè)魚類的運(yùn)動(dòng)軌跡進(jìn)行特征變換，包括：

24、將各個(gè)魚類的運(yùn)動(dòng)軌跡輸入至自編碼器；

25、通過所述編碼器對(duì)應(yīng)的編碼器網(wǎng)絡(luò)將所述運(yùn)行軌跡映射至低維空間；

26、通過所述自編碼器的瓶頸層得到所述運(yùn)動(dòng)軌跡在所述低維空間內(nèi)的低維特征表示，所述瓶頸層連接所述編碼器的輸出以及所述解碼器的輸入；

27、利用所述解碼器對(duì)應(yīng)的解碼器網(wǎng)絡(luò)從所述低維特征表示中提取出任一魚類軌跡所對(duì)應(yīng)的多個(gè)軌跡特征。

28、在一些實(shí)施例中，所述編碼器用于對(duì)數(shù)據(jù)的原始表示進(jìn)行編碼，獲得隱層表示，所述解碼器用于根據(jù)所述隱層表示提取原始表示的特征表示，表達(dá)式為b＝encoder(a)，a'＝decoder(b)，其中，a為原始表示，b為編碼后的隱層表示，a'為原始表示的特征表示，所述編碼器與所述解碼器均采用gru網(wǎng)絡(luò)結(jié)構(gòu)。

29、在一些實(shí)施例中，所述基于變換后的特征識(shí)別各個(gè)魚類的異常行為，包括：

30、確定所述任一魚類軌跡所對(duì)應(yīng)的多個(gè)軌跡特征分別與預(yù)設(shè)樣本特征之間的距離；

31、確定所述距離小于或等于預(yù)設(shè)距離所對(duì)應(yīng)的多個(gè)軌跡特征，并確定對(duì)應(yīng)的特征數(shù)量為第一數(shù)量，以及確定所述距離大于所述預(yù)設(shè)距離所對(duì)應(yīng)的多個(gè)軌跡特征，并確定對(duì)應(yīng)的特征數(shù)量為第二數(shù)量；

32、根據(jù)所述第一數(shù)量和所述第二數(shù)量計(jì)算軌跡異常比例；

33、若所述軌跡異常比例超過預(yù)設(shè)比例，則判定相應(yīng)的魚類存在異常行為。

34、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種魚類異常行為診斷裝置，所述魚類異常行為診斷裝置包括：

35、采集模塊，用于采集待識(shí)別魚群的原始視頻圖像；

36、識(shí)別模塊，用于通過目標(biāo)檢測模型對(duì)所述原始視頻圖像的每一幀圖像進(jìn)行魚類識(shí)別，并基于識(shí)別到的魚類為每一幀圖像標(biāo)注相應(yīng)的預(yù)測框；

37、計(jì)算模塊，用于確定多個(gè)預(yù)測框中各個(gè)預(yù)測框之間的關(guān)聯(lián)度；

38、構(gòu)建模塊，用于根據(jù)所述關(guān)聯(lián)度確定各個(gè)魚類的運(yùn)動(dòng)軌跡；

39、變換模塊，用于通過自編碼器對(duì)所述各個(gè)魚類的運(yùn)動(dòng)軌跡進(jìn)行特征變換；

40、診斷模塊，用于基于變換后的特征識(shí)別各個(gè)魚類的異常行為。

41、在一些實(shí)施例中，所述計(jì)算模塊，用于從多個(gè)預(yù)測框中篩選出存在重疊的預(yù)測框；

42、從存在重疊的預(yù)測框中任意選取兩個(gè)預(yù)測框，分別確定兩個(gè)預(yù)測框的重疊區(qū)域的面積以及覆蓋區(qū)域的面積；

43、根據(jù)所述重疊區(qū)域的面積和所述覆蓋區(qū)域的面積計(jì)算兩個(gè)預(yù)測框的交并比，計(jì)算公式為其中，x和y為任一選取的兩個(gè)預(yù)測框，x∩y為兩個(gè)預(yù)測框的重疊區(qū)域的面積，x∪y為兩個(gè)預(yù)測框的覆蓋區(qū)域的面積；

44、根據(jù)所述交并比確定存在重疊的預(yù)測框之間的關(guān)聯(lián)度，所述交并比與所述關(guān)聯(lián)度正相關(guān)。

45、在一些實(shí)施例中，所述計(jì)算模塊，用于從剩余的不存在重疊的預(yù)測框中任意選取兩個(gè)預(yù)測框，分別確定兩個(gè)預(yù)測框之間的中心點(diǎn)距離以及其中一個(gè)預(yù)測框的對(duì)角線距離；

46、根據(jù)所述中心點(diǎn)距離以及所述對(duì)角線距離并結(jié)合預(yù)設(shè)系數(shù)計(jì)算兩個(gè)預(yù)測框的關(guān)聯(lián)度，計(jì)算公式為其中，d為中心點(diǎn)距離，l為對(duì)角線距離，α為預(yù)設(shè)系數(shù)。

47、本發(fā)明通過采集待識(shí)別魚群的原始視頻圖像；通過目標(biāo)檢測模型對(duì)所述原始視頻圖像的每一幀圖像進(jìn)行魚類識(shí)別，并基于識(shí)別到的魚類為每一幀圖像標(biāo)注相應(yīng)的預(yù)測框；確定多個(gè)預(yù)測框中各個(gè)預(yù)測框之間的關(guān)聯(lián)度；根據(jù)所述關(guān)聯(lián)度確定各個(gè)魚類的運(yùn)動(dòng)軌跡；通過自編碼器對(duì)所述各個(gè)魚類的運(yùn)動(dòng)軌跡進(jìn)行特征變換；基于變換后的特征識(shí)別各個(gè)魚類的異常行為，通過該方式代替人工方式，不僅提升了診斷效率，也提升了診斷精度。