本技術(shù)涉及煤礦開采，尤其涉及一種基于全景感知與尺度估計的刮板輸送機大塊煤識別方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，對大塊煤進行識別主要采用計算機視覺中的目標檢測算法。該方法主要存在以下問題：1、視覺數(shù)據(jù)屬于二維數(shù)據(jù)，僅依靠目標檢測結(jié)果無法將一個場景下判斷的大塊煤參數(shù)配置直接遷移到另一個場景中；2、無法區(qū)分大塊煤是否處于刮板輸送機上；3、識別結(jié)果的魯棒性較差。

技術(shù)實現(xiàn)思路

1、本技術(shù)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

2、第一方面，本技術(shù)提出一種基于全景感知與尺度估計的刮板輸送機大塊煤識別方法，所述方法包括：基于預(yù)先訓(xùn)練的全景分割模型對待識別圖像進行全景分割，獲取所述待識別圖像中像素的標注數(shù)據(jù)；其中，所述待識別圖像中包括輸送帶，所述輸送帶上輸送有煤體；對所述待識別圖像進行流匹配，獲取所述待識別圖像中每個像素對應(yīng)的深度數(shù)據(jù)；基于所述標注數(shù)據(jù)對所述待識別圖像中的像素進行分類聚合，獲取所述輸送帶上的目標煤體對應(yīng)的至少一個目標像素集合；基于所述深度數(shù)據(jù)生成所述目標像素集合中每個像素的點云坐標數(shù)據(jù)；基于所述點云坐標數(shù)據(jù)對所述目標煤體進行識別。

3、在一種實現(xiàn)方式中，所述全景分割模型通過以下步驟預(yù)先訓(xùn)練得到：獲取訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對應(yīng)的樣本標注數(shù)據(jù)；其中，每個所述訓(xùn)練數(shù)據(jù)的所述樣本標注數(shù)據(jù)包括樣本語義類型、樣本實例id和空標簽中的至少一種；將所述訓(xùn)練數(shù)據(jù)輸入初始全景分割模型，獲取所述初始全景分割模型輸出的預(yù)測標注數(shù)據(jù)；基于預(yù)設(shè)的損失函數(shù)，結(jié)合所述預(yù)測標注數(shù)據(jù)和所述樣本標注數(shù)據(jù)進行損失計算，獲得損失值；基于所述損失值調(diào)整所述初始全景分割模型的模型參數(shù)，獲得所述全景分割模型。

4、在一種可選地實現(xiàn)方式中，所述全景分割模型的損失函數(shù)可表示如下：

5、

6、

7、

8、其中，為損失函數(shù)值，為分割損失，為識別損失，及為單調(diào)遞增的函數(shù)，為預(yù)測像素區(qū)域，為真值像素區(qū)域，為所述預(yù)測像素區(qū)域和所述真值像素區(qū)域的交并比，為真正例的數(shù)量，為假正例的數(shù)量，為假負例的數(shù)量。

9、在一種實現(xiàn)方式中，所述對所述待識別圖像進行流匹配通過預(yù)先訓(xùn)練的第二模型進行，所述第二模型通過預(yù)先訓(xùn)練的圖像擴散模型進行訓(xùn)練得到。

10、在一種實現(xiàn)方式中，所述基于所述深度數(shù)據(jù)生成所述目標像素集合中每個像素的點云坐標數(shù)據(jù)，包括：獲取所述待識別圖像對應(yīng)的相機內(nèi)參矩陣；基于所述相機內(nèi)參矩陣獲取所述待識別圖像中像素的歸一化坐標；將所述歸一化坐標與所述深度數(shù)據(jù)融合，獲得所述待識別圖像中像素的點云坐標數(shù)據(jù)。

11、在一種實現(xiàn)方式中，所述標注數(shù)據(jù)包括語義類別和實例id，所述語義類別包括煤體、輸送帶區(qū)域和其他類別中的至少一種，所述基于所述每個實例對應(yīng)的像素集合，獲取所述輸送帶上的目標煤體對應(yīng)的至少一個目標像素集合，包括：基于所述標注數(shù)據(jù)對所述像素進行分類，獲取所述像素集合中所述待識別圖像中每個煤體對應(yīng)的第一像素集合，以及所述輸送帶對應(yīng)的第二像素集合；分別基于每個所述煤體對應(yīng)的第一像素集合與所述輸送帶對應(yīng)的第二像素集合進行iou計算，獲得每個所述煤體對應(yīng)的iou值；獲取所述iou值大于或等于預(yù)設(shè)閾值的所述煤體作為所述輸送帶上的目標煤體；獲取所述第一像素集合中每個所述目標煤體對應(yīng)的所述目標像素集合。

12、第二方面，本技術(shù)提出一種基于全景感知與尺度估計的刮板輸送機大塊煤識別裝置，所述裝置包括：第一處理模塊，用于基于預(yù)先訓(xùn)練的全景分割模型對待識別圖像進行全景分割，獲取所述待識別圖像中像素的標注數(shù)據(jù)；其中，所述待識別圖像中包括輸送帶，所述輸送帶上輸送有煤體；第二處理模塊，用于對所述待識別圖像進行流匹配，獲取所述待識別圖像中每個像素對應(yīng)的深度數(shù)據(jù)；第三處理模塊，用于基于所述標注數(shù)據(jù)對所述待識別圖像中的像素進行分類聚合，獲取所述輸送帶上的目標煤體對應(yīng)的至少一個目標像素集合；第四處理模塊，用于基于所述深度數(shù)據(jù)生成所述目標像素集合中每個像素的點云坐標數(shù)據(jù)；第五處理模塊，用于基于所述點云坐標數(shù)據(jù)對所述目標煤體進行識別。

13、在一種實現(xiàn)方式中，所述全景分割模型通過以下步驟預(yù)先訓(xùn)練得到：獲取訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對應(yīng)的樣本標注數(shù)據(jù)；其中，每個所述訓(xùn)練數(shù)據(jù)的所述樣本標注數(shù)據(jù)包括樣本語義類型、樣本實例id和空標簽中的至少一種；將所述訓(xùn)練數(shù)據(jù)輸入初始全景分割模型，獲取所述初始全景分割模型輸出的預(yù)測標注數(shù)據(jù)；基于預(yù)設(shè)的損失函數(shù)，結(jié)合所述預(yù)測標注數(shù)據(jù)和所述樣本標注數(shù)據(jù)進行損失計算，獲得損失值；基于所述損失值調(diào)整所述初始全景分割模型的模型參數(shù)，獲得所述全景分割模型。

14、在一種可選地實現(xiàn)方式中，所述全景分割模型的損失函數(shù)可表示如下：

15、

16、

17、

18、其中，為損失函數(shù)值，為分割損失，為識別損失，及為單調(diào)遞增的函數(shù)，為預(yù)測像素區(qū)域，為真值像素區(qū)域，為所述預(yù)測像素區(qū)域和所述真值像素區(qū)域的交并比，為真正例的數(shù)量，為假正例的數(shù)量，為假負例的數(shù)量。

19、在一種實現(xiàn)方式中，所述對所述待識別圖像進行流匹配通過預(yù)先訓(xùn)練的第二模型進行，所述第二模型通過預(yù)先訓(xùn)練的圖像擴散模型進行訓(xùn)練得到。

20、在一種實現(xiàn)方式中，所述第五處理模塊可以用于：獲取所述待識別圖像對應(yīng)的相機內(nèi)參矩陣；基于所述相機內(nèi)參矩陣獲取所述待識別圖像中像素的歸一化坐標；將所述歸一化坐標與所述深度數(shù)據(jù)融合，獲得所述待識別圖像中像素的點云坐標數(shù)據(jù)。

21、在一種實現(xiàn)方式中，所述標注數(shù)據(jù)包括語義類別和實例id，所述語義類別包括煤體、輸送帶區(qū)域和其他類別中的至少一種，所述第四處理模塊可以用于：基于所述標注數(shù)據(jù)對所述像素進行分類，獲取所述像素集合中所述待識別圖像中每個煤體對應(yīng)的第一像素集合，以及所述輸送帶對應(yīng)的第二像素集合；分別基于每個所述煤體對應(yīng)的第一像素集合與所述輸送帶對應(yīng)的第二像素集合進行iou計算，獲得每個所述煤體對應(yīng)的iou值；獲取所述iou值大于或等于預(yù)設(shè)閾值的所述煤體作為所述輸送帶上的目標煤體；獲取所述第一像素集合中每個所述目標煤體對應(yīng)的所述目標像素集合。

22、第三方面，本技術(shù)提出一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如第一方面所述的基于全景感知與尺度估計的刮板輸送機大塊煤識別方法。

23、第四方面，本技術(shù)提出一種計算機可讀存儲介質(zhì)，用于存儲有指令，當所述指令被執(zhí)行時，使如第一方面所述的方法被實現(xiàn)。

24、第五方面，本技術(shù)提出一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)如第一方面所述的基于全景感知與尺度估計的刮板輸送機大塊煤識別方法的步驟。

25、本技術(shù)提供的基于全景感知與尺度估計的刮板輸送機大塊煤識別方法、裝置、設(shè)備及存儲介質(zhì)，可以對待識別圖像進行全景分割，獲取待識別圖像中像素的標注數(shù)據(jù)，從而基于標注數(shù)據(jù)獲取輸送帶上的目標煤體對應(yīng)的至少一個目標像素集合，并對待識別圖像進行流匹配獲取深度數(shù)據(jù)，以基于深度數(shù)據(jù)獲取像素的點云坐標數(shù)據(jù)，從而基于目標煤體對應(yīng)的至少一個目標像素集合中像素的點云坐標數(shù)據(jù)進行煤體識別。能夠提高煤體識別的準確率。

26、本技術(shù)附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實踐了解到。