本發(fā)明屬于深度學習，尤其涉及一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法。

背景技術：

1、過魚設施的智能監(jiān)測有助于提高漁業(yè)資源的準確性。現(xiàn)有的過魚設施運行效果監(jiān)測方法主要有物理掛牌標記法、聲吶法、無線電標記跟蹤法、超聲波標記跟蹤法、應答器標記法、pit射頻標記法等方法，然而這些方法難以同時兼顧長時間布置、種類識別、數(shù)量統(tǒng)計這三個方面。

2、隨著機器視覺與深度學習模型方法的發(fā)展，出現(xiàn)了基于yolo模型的魚類目標識別跟蹤算法。但在魚類進行復雜運動時，會導致該模型丟失魚類目標。若當同一條魚再次被此模型識別時，會被模型判定為新的一條魚?，F(xiàn)有的方法識別結果與現(xiàn)實存在較大偏差，因此如何實現(xiàn)對魚類的精準監(jiān)測是本領域亟需解決的技術問題。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，以解決上述技術問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：

3、本發(fā)明公開一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，所述方法包括以下步驟：

4、步驟1、目標區(qū)域魚類影像數(shù)據(jù)采集：在水下目標區(qū)域設置雙目高清攝像機，并對雙目高清攝像機進行標定，然后采集目標區(qū)域魚類影像數(shù)據(jù)，并對采集的魚類影像數(shù)據(jù)進行計算分析，得到目標區(qū)域魚類的深度信息；

5、步驟2、淡水魚樣本庫構建：采集不同種類的淡水魚在不同水下環(huán)境的不同姿態(tài)影像作為樣本數(shù)據(jù)，通過目視解譯的方式對樣本數(shù)據(jù)進行標注，并采用數(shù)據(jù)增強方法對樣本數(shù)據(jù)進行擴充，進而構建淡水魚樣本庫；

6、步驟3、搭建魚臉魚尾識別分割模型并訓練：基于ms-cnn即多尺度卷積神經(jīng)網(wǎng)絡搭建魚臉魚尾識別分割模型，并利用構建的淡水魚樣本庫對模型進行訓練；

7、步驟4、對目標區(qū)域魚類進行監(jiān)測：利用訓練后的魚臉魚尾識別分割模型對目標區(qū)域魚類進行魚臉、魚尾分割，得到目標區(qū)域魚類的分割結果，并對魚的種類進行識別；將目標區(qū)域魚類的分割結果與深度信息進行綜合分析，計算目標區(qū)域魚類的身長，并對魚類運動方向進行監(jiān)測，輸出監(jiān)測結果。

8、進一步的是，步驟1中所述對雙目高清攝像機進行標定的具體過程為：采用主流的方格定標法，使用水下高清攝像機從不同角度，不同方位拍攝準備好的棋盤圖20-30張，棋盤圖上一個小方格的真實距離是2.7cm，使用雙目相機標定工具進行標定，經(jīng)過對于每張標定影像的誤差分析，得到誤差不超過0.3個pixel的標定參數(shù)，然后使用標定參數(shù)完成對水下高清攝像機的標定，使左視圖和右視圖能使用統(tǒng)一的相機坐標系。

9、進一步的是，步驟1中所述對采集的魚類影像數(shù)據(jù)進行計算分析，得到目標區(qū)域魚類的深度信息的具體過程為：利用立體視差原理，根據(jù)物體即魚類在兩個圖像中的位置差異來計算物體與攝像機之間的距離，即通過測量視差并利用攝像機之間的已知距離，使用三角測量方法來推斷目標物體的距離即深度信息，計算公式為：

10、

11、其中，d為目標物體距離；b為雙目攝像機基線長；f為雙目攝像機的焦距；d目標物體在左右視圖視差；

12、d＝xl-xr???????????????????????(2)

13、其中，xl為目標物體在左視覺圖上橫軸坐標；xr為目標物體在右視覺圖上橫軸坐標。

14、進一步的是，步驟2中所述不同種類的淡水魚包括草魚、鯽魚、鳙魚、羅非魚、黑魚、青魚、鱸魚、鳡魚、鱘魚九類淡水魚。

15、進一步的是，步驟2中所述采用數(shù)據(jù)增強方法對樣本數(shù)據(jù)進行擴充包括兩種方式，第一種是對影像本身進行變化，包括將影像旋轉、翻轉、縮放、添加隨機噪聲，得到新樣本；第二種是將目標主體部分與其他影像中環(huán)境部分進行拼接得到新樣本。

16、進一步的是，步驟3中所述魚臉魚尾識別分割模型包括backbone、rpn、候選區(qū)篩選、fcns分割以及fc?layers檢測識別五個模塊；模型首先通過backbone模塊提取魚類影像中的多尺度特征，backbone模塊由5個多尺度殘差模塊構成，在不同尺度上對魚類特征進行提取，同時將上一級尺度的特征作為輔助信息與當前尺度的特征進行結合，解決不同尺度間信息冗余問題；之后得到的魚類外形、水下環(huán)境、游動姿態(tài)特征圖經(jīng)過rpn模塊初步整理預測得到魚身、魚臉、魚尾三種目標候選區(qū)；候選區(qū)篩選模塊將這些候選區(qū)通過iou計算比對，篩選出模型檢測出的每一條魚對應的魚身、魚臉、魚尾區(qū)域，并通過rol?align算法將特征圖對應區(qū)域對齊為統(tǒng)一尺寸，得到對齊特征；對齊特征經(jīng)過fcns分割模塊對目標區(qū)域進行魚臉、魚尾分割；經(jīng)過fc?layers檢測識別模塊對魚身、魚臉、魚尾bbox和魚的種類進行檢測識別。

17、進一步的是，步驟4中所述將目標區(qū)域魚類的分割結果與深度信息進行綜合分析，計算目標區(qū)域魚類的身長，并對魚類運動方向進行監(jiān)測的具體過程為：在分割出的魚臉和魚尾上賦予深度信息，分別將魚頭和魚尾上的深度信息進行兩次3x3的濾波操作；第一次濾波采用3x3中值濾波器，將誤差較大的深度信息除去；第二次濾波采用3x3均值濾波器，將深度信息進行平滑處理；

18、得到經(jīng)過平滑處理后的目標區(qū)域魚類的魚臉和魚尾深度信息后，建立幾何數(shù)學分析模型，將魚臉和魚尾區(qū)域簡化為各自的幾何中心，得到魚臉點p1、魚尾點p2，則魚身長l計算公式為：

19、

20、式中，x1、y1、z1為魚臉點p1的三維坐標；x2、y2、z2為魚尾點p2的三維坐標；

21、

22、式中，i為影像中的像素點；xi、yi、zi為像素點i的三維坐標；xl為像素點i在左視覺圖上橫軸坐標；xr為像素點i在右視覺圖上橫軸坐標；yl為像素點i在左視覺圖上縱軸坐標；xo、yo為相機的光心坐標；

23、然后監(jiān)測魚類運動方向，魚朝深處運動代表遠離攝像機，通過比較p1點和p2點處的深度信息z1，z2，若z1>z2則表示魚朝深處運動，z1<z2則反之，同理，通過比較x1和x2，y1和y2判斷魚是朝左朝右、朝上朝下運動。

24、本發(fā)明的有益效果是：本發(fā)明所述方法同時結合了機器視覺、測繪科學以及深度學習技術，能夠對每一條魚的魚臉和魚尾進行識別分割，并通過雙目視覺測距法計算出魚臉與魚尾的深度信息，進行綜合分析，以此減少魚類在水下攝像機視野范圍中因來回游蕩行為而導致目標丟失的現(xiàn)象，提高了傳統(tǒng)魚類資源獲取效率，降低了傳統(tǒng)魚類資源監(jiān)測的成本，解決了現(xiàn)有方法易丟失魚類目標的難題；并且能夠在識別魚類的同時，估算出魚類的身長以及在較高自由度上的運動方向，實用性強，易于推廣。

25、下面結合附圖及具體實施方式對本發(fā)明作進一步詳細說明。

技術特征：

1.一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟1中所述對雙目高清攝像機進行標定的具體過程為：采用主流的方格定標法，使用水下高清攝像機從不同角度，不同方位拍攝準備好的棋盤圖20-30張，棋盤圖上一個小方格的真實距離是2.7cm，使用雙目相機標定工具進行標定，經(jīng)過對于每張標定影像的誤差分析，得到誤差不超過0.3個pixel的標定參數(shù)，然后使用標定參數(shù)完成對水下高清攝像機的標定，使左視圖和右視圖能使用統(tǒng)一的相機坐標系。

3.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟1中所述對采集的魚類影像數(shù)據(jù)進行計算分析，得到目標區(qū)域魚類的深度信息的具體過程為：利用立體視差原理，根據(jù)物體即魚類在兩個圖像中的位置差異來計算物體與攝像機之間的距離，即通過測量視差并利用攝像機之間的已知距離，使用三角測量方法來推斷目標物體的距離即深度信息，計算公式為：

4.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟2中所述不同種類的淡水魚包括草魚、鯽魚、鳙魚、羅非魚、黑魚、青魚、鱸魚、鳡魚、鱘魚九類淡水魚。

5.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟2中所述采用數(shù)據(jù)增強方法對樣本數(shù)據(jù)進行擴充包括兩種方式，第一種是對影像本身進行變化，包括將影像旋轉、翻轉、縮放、添加隨機噪聲，得到新樣本；第二種是將目標主體部分與其他影像中環(huán)境部分進行拼接得到新樣本。

6.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟3中所述魚臉魚尾識別分割模型包括backbone、rpn、候選區(qū)篩選、fcns分割以及fc?layers檢測識別五個模塊；模型首先通過backbone模塊提取魚類影像中的多尺度特征，backbone模塊由5個多尺度殘差模塊構成，在不同尺度上對魚類特征進行提取，同時將上一級尺度的特征作為輔助信息與當前尺度的特征進行結合，解決不同尺度間信息冗余問題；之后得到的魚類外形、水下環(huán)境、游動姿態(tài)特征圖經(jīng)過rpn模塊初步整理預測得到魚身、魚臉、魚尾三種目標候選區(qū)；候選區(qū)篩選模塊將這些候選區(qū)通過iou計算比對，篩選出模型檢測出的每一條魚對應的魚身、魚臉、魚尾區(qū)域，并通過rol?align算法將特征圖對應區(qū)域對齊為統(tǒng)一尺寸，得到對齊特征；對齊特征經(jīng)過fcns分割模塊對目標區(qū)域進行魚臉、魚尾分割；經(jīng)過fc?layers檢測識別模塊對魚身、魚臉、魚尾bbox和魚的種類進行檢測識別。

7.根據(jù)權利要求1所述的一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，其特征在于，步驟4中所述將目標區(qū)域魚類的分割結果與深度信息進行綜合分析，計算目標區(qū)域魚類的身長，并對魚類運動方向進行監(jiān)測的具體過程為：在分割出的魚臉和魚尾上賦予深度信息，分別將魚頭和魚尾上的深度信息進行兩次3x3的濾波操作；第一次濾波采用3x3中值濾波器，將誤差較大的深度信息除去；第二次濾波采用3x3均值濾波器，將深度信息進行平滑處理；

技術總結
本發(fā)明公開了一種基于雙目視覺與深度學習模型的魚類監(jiān)測方法，所述方法包括以下步驟：步驟1、目標區(qū)域魚類影像數(shù)據(jù)采集；步驟2、淡水魚樣本庫構建；步驟3、搭建魚臉魚尾識別分割模型并訓練；步驟4、對目標區(qū)域魚類進行監(jiān)測。本發(fā)明所述方法同時結合了機器視覺、測繪科學以及深度學習技術，能夠對每一條魚的魚臉和魚尾進行識別分割，并通過雙目視覺測距法計算出魚臉與魚尾的深度信息，進行綜合分析，以此減少魚類在水下攝像機視野范圍中因來回游蕩行為而導致目標丟失的現(xiàn)象，提高了傳統(tǒng)魚類資源獲取效率，降低了傳統(tǒng)魚類資源監(jiān)測的成本，解決了現(xiàn)有方法易丟失魚類目標的難題，實用性強，易于推廣。

技術研發(fā)人員：彭文啟,劉曉波,董飛,劉建華,張劍楠,王威浩,曹巖,王鑫宇,張永生,汪凱奇,白冰,劉澤甫
受保護的技術使用者：中國水利水電科學研究院
技術研發(fā)日：
技術公布日：2024/12/26