本發(fā)明涉及圖像處理?，尤其涉及一種豬只體貌評(píng)分方法及裝置。

背景技術(shù)：

1、目前，對(duì)豬只進(jìn)行體型外貌評(píng)估對(duì)于改進(jìn)種豬的外貌結(jié)構(gòu)、體型特征以及延長(zhǎng)其使用壽命方面具有重要作用，特別是在改善種豬肢蹄結(jié)構(gòu)與質(zhì)量方面尤為關(guān)鍵。

2、相關(guān)技術(shù)中，傳統(tǒng)的體貌評(píng)分方法通常依賴(lài)于專(zhuān)家的主觀(guān)判斷和經(jīng)驗(yàn)，針對(duì)比較多豬只和不定期評(píng)分，不僅耗時(shí)且勞動(dòng)強(qiáng)度大，還可能因?yàn)樵u(píng)估者之間的差異而缺乏一致性，難以適應(yīng)大規(guī)模養(yǎng)殖的需求；針對(duì)該情況，基于計(jì)算機(jī)視覺(jué)的豬只體貌評(píng)分技術(shù)能夠獲取更豐富的豬只信息，但現(xiàn)有技術(shù)僅利用豬只的體尺特征（體長(zhǎng)和體高）等角度描述生豬的外貌狀態(tài)，無(wú)法挖掘更有效的體貌信息，導(dǎo)致特征表達(dá)能力有限，進(jìn)而影響體貌評(píng)價(jià)結(jié)果?。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種豬只體貌評(píng)分方法及裝置，用以解決現(xiàn)有技術(shù)對(duì)豬只體貌評(píng)價(jià)時(shí)依賴(lài)人工經(jīng)驗(yàn)或者選用的體尺特征表征能力有限，導(dǎo)致對(duì)豬只體貌評(píng)分結(jié)果不準(zhǔn)確的缺陷，提高了豬只體貌評(píng)價(jià)的準(zhǔn)確率。

2、本發(fā)明提供一種豬只體貌評(píng)分方法，包括：

3、獲取待測(cè)豬只的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)；

4、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行濾波、配準(zhǔn)和分割的處理，得到所述待測(cè)豬只的第一部位的邊界分割數(shù)據(jù)和體尺數(shù)據(jù)；基于目標(biāo)檢測(cè)模型對(duì)所述圖像數(shù)據(jù)進(jìn)行處理，得到所述待測(cè)豬只的第二部位的識(shí)別結(jié)果；其中，所述目標(biāo)檢測(cè)模型基于樣本圖像結(jié)合多頭自注意力機(jī)制對(duì)可變形的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到；所述第一部位包括所述待測(cè)豬只的背部、腹部和肢部中的至少一項(xiàng)，所述體尺數(shù)據(jù)包括所述待測(cè)豬只的體長(zhǎng)和體高中的至少一項(xiàng)，所述第二部位包括所述待測(cè)豬只的腿臀部、毛色、蹄部和乳頭中的至少一項(xiàng)；

5、根據(jù)所述邊界分割數(shù)據(jù)對(duì)所述第一部位進(jìn)行評(píng)分，根據(jù)所述體尺數(shù)據(jù)對(duì)所述待測(cè)豬只的體長(zhǎng)和體高進(jìn)行評(píng)分，得到第一評(píng)分結(jié)果；根據(jù)所述識(shí)別結(jié)果對(duì)所述第二部位進(jìn)行評(píng)分，得到第二評(píng)分結(jié)果；根據(jù)所述第一評(píng)分結(jié)果和所述第二評(píng)分結(jié)果得到目標(biāo)評(píng)分結(jié)果。

6、根據(jù)本發(fā)明提供的一種豬只體貌評(píng)分方法，所述可變形的卷積神經(jīng)網(wǎng)絡(luò)包括可變形卷積層、基于多頭自注意力機(jī)制的主干網(wǎng)絡(luò)；

7、所述目標(biāo)檢測(cè)模型通過(guò)如下步驟得到：

8、基于可變形卷積層從所述樣本圖像中提取多個(gè)部位特征和特征偏移量，并根據(jù)所述特征偏移量對(duì)所述多個(gè)部位特征進(jìn)行調(diào)整，得到目標(biāo)特征；所述樣本圖像包括毛色樣本圖像、蹄部樣本圖像、乳頭樣本圖像、腿臀部樣本圖像；

9、基于多頭自注意力機(jī)制的主干網(wǎng)絡(luò)對(duì)各樣本圖像對(duì)應(yīng)的目標(biāo)特征進(jìn)行編碼，得到多個(gè)編碼后的特征；

10、將所述多個(gè)編碼后的特征進(jìn)行融合，得到融合特征，根據(jù)所述融合特征并采用邊界框回歸損失和非極大值抑制算法對(duì)所述可變形的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，得到所述目標(biāo)檢測(cè)模型。

11、根據(jù)本發(fā)明提供的一種豬只體貌評(píng)分方法，所述對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行濾波、配準(zhǔn)和分割的處理，得到所述待測(cè)豬只的第一部位的邊界分割數(shù)據(jù)和體尺數(shù)據(jù)包括：

12、采用領(lǐng)域曲率變化法濾波從所述點(diǎn)云數(shù)據(jù)中濾除離群點(diǎn)，得到濾波后的數(shù)據(jù)；

13、基于點(diǎn)對(duì)的仿射不變性對(duì)將濾波后的數(shù)據(jù)進(jìn)行平行方向的點(diǎn)云配準(zhǔn)，?基于super-4pcs算法對(duì)所述濾波后的數(shù)據(jù)進(jìn)行垂直方向的點(diǎn)云配準(zhǔn)，得到目標(biāo)豬只點(diǎn)云；

14、采用pointnet++模型對(duì)所述目標(biāo)豬只點(diǎn)云進(jìn)行分割，得到所述邊界分割數(shù)據(jù)和所述體尺數(shù)據(jù)；其中，所述pointnet++模型基于以樣本豬只點(diǎn)云圖像為訓(xùn)練樣本，以編碼特征為訓(xùn)練特征，以交叉熵?fù)p失為訓(xùn)練損失對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練的到；所述編碼特征基于多層八叉樹(shù)架構(gòu)對(duì)樣本豬體點(diǎn)云數(shù)據(jù)進(jìn)行采樣，并通過(guò)逆距離加權(quán)?idw?插值算法將采樣得到的特征回傳至特征點(diǎn)集確定。

15、根據(jù)本發(fā)明提供的一種豬只體貌評(píng)分方法，所述體尺數(shù)據(jù)包括所述待測(cè)豬只的耳根點(diǎn)坐標(biāo)、尾根點(diǎn)坐標(biāo)和前驅(qū)體點(diǎn)云坐標(biāo)；

16、所述根據(jù)所述邊界分割數(shù)據(jù)對(duì)所述第一部位進(jìn)行評(píng)分，根據(jù)所述體尺數(shù)據(jù)對(duì)所述待測(cè)豬只的體長(zhǎng)和體高進(jìn)行評(píng)分，得到第一評(píng)分結(jié)果包括：

17、對(duì)所述邊界分割數(shù)據(jù)進(jìn)行曲線(xiàn)擬合，得到曲率正負(fù)變化數(shù)據(jù)，并根據(jù)所述曲率正負(fù)變化數(shù)據(jù)確定所述第一部位的評(píng)分結(jié)果；根據(jù)所述耳根點(diǎn)坐標(biāo)和所述尾根點(diǎn)坐標(biāo)計(jì)算出所述待測(cè)豬只的體長(zhǎng)，根據(jù)體長(zhǎng)閾值對(duì)所述體長(zhǎng)進(jìn)行評(píng)分，得到體長(zhǎng)評(píng)分結(jié)果；根據(jù)所述前驅(qū)體點(diǎn)云坐標(biāo)中全部點(diǎn)云的縱坐標(biāo)值確定所述待測(cè)豬只的體高，?根據(jù)體高閾值對(duì)所述體高進(jìn)行評(píng)分，得到體高評(píng)分結(jié)果。

18、根據(jù)本發(fā)明提供的一種豬只體貌評(píng)分方法，所述獲取待測(cè)豬只的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)包括：

19、通過(guò)深度相機(jī)采集所述點(diǎn)云數(shù)據(jù)，通過(guò)彩色相機(jī)采集所述圖像數(shù)據(jù)，所述深度相機(jī)和所述彩色相機(jī)均通過(guò)三向相對(duì)位置調(diào)節(jié)結(jié)構(gòu)調(diào)節(jié)相機(jī)姿態(tài)；所述點(diǎn)云數(shù)據(jù)和所述圖像數(shù)據(jù)均關(guān)聯(lián)不同豬只對(duì)應(yīng)的id。

20、根據(jù)本發(fā)明提供的一種豬只體貌評(píng)分方法，所述根據(jù)所述第一評(píng)分結(jié)果和所述第二評(píng)分結(jié)果得到目標(biāo)評(píng)分結(jié)果包括：

21、對(duì)第一評(píng)分結(jié)果和第二評(píng)分結(jié)果中各項(xiàng)指標(biāo)對(duì)應(yīng)的分?jǐn)?shù)與指標(biāo)權(quán)重進(jìn)行加權(quán)求和計(jì)算，得到所述目標(biāo)評(píng)分結(jié)果。

22、本發(fā)明還提供一種豬只體貌評(píng)分裝置，包括：

23、數(shù)據(jù)獲取模塊，用于獲取待測(cè)豬只的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)；

24、分割和檢測(cè)模塊，用于對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行濾波、配準(zhǔn)和分割的處理，得到所述待測(cè)豬只的第一部位的邊界分割數(shù)據(jù)和體尺數(shù)據(jù)；基于目標(biāo)檢測(cè)模型對(duì)所述圖像數(shù)據(jù)進(jìn)行處理，得到所述待測(cè)豬只的第二部位的識(shí)別結(jié)果；其中，所述目標(biāo)檢測(cè)模型基于樣本圖像結(jié)合多頭自注意力機(jī)制對(duì)可變形的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到；所述第一部位包括所述待測(cè)豬只的背部、腹部和肢部中的至少一項(xiàng)，所述體尺數(shù)據(jù)包括所述待測(cè)豬只的體長(zhǎng)和體高中的至少一項(xiàng)，所述第二部位包括所述待測(cè)豬只的腿臀部、毛色、蹄部和乳頭中的至少一項(xiàng)；

25、評(píng)分模塊，用于根據(jù)所述邊界分割數(shù)據(jù)對(duì)所述第一部位進(jìn)行評(píng)分，根據(jù)所述體尺數(shù)據(jù)對(duì)所述待測(cè)豬只的體長(zhǎng)和體高進(jìn)行評(píng)分，得到第一評(píng)分結(jié)果；根據(jù)所述識(shí)別結(jié)果對(duì)所述第二部位進(jìn)行評(píng)分，得到第二評(píng)分結(jié)果；根據(jù)所述第一評(píng)分結(jié)果和所述第二評(píng)分結(jié)果得到目標(biāo)評(píng)分結(jié)果。

26、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一種所述豬只體貌評(píng)分方法。

27、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述豬只體貌評(píng)分方法。

28、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述豬只體貌評(píng)分方法。

29、本發(fā)明提供的豬只體貌評(píng)分方法及裝置，通過(guò)待測(cè)豬只的對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行濾波、配準(zhǔn)和分割的處理，得到第一部位的邊界分割數(shù)據(jù)和體尺數(shù)據(jù)；基于目標(biāo)檢測(cè)模型對(duì)圖像數(shù)據(jù)進(jìn)行處理，得到第二部位的識(shí)別結(jié)果；根據(jù)邊界分割數(shù)據(jù)和體尺數(shù)據(jù)得到第一評(píng)分結(jié)果；根據(jù)識(shí)別結(jié)果得到第二評(píng)分結(jié)果，最后根據(jù)第一評(píng)分結(jié)果和第二評(píng)分結(jié)果得到目標(biāo)評(píng)分結(jié)果，?本發(fā)明所述方法結(jié)合云處理技術(shù)、基于多頭自注意力和可變形網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型提出出表征能力更強(qiáng)的體貌特征，提高了豬只體貌評(píng)價(jià)的準(zhǔn)確率。