本申請(qǐng)涉及計(jì)算機(jī)，特別是涉及一種行為類(lèi)別識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、為了保證作業(yè)人員的安全，電網(wǎng)制定了詳細(xì)的作業(yè)規(guī)范，尤其針對(duì)攀爬、高壓設(shè)備操作等對(duì)人員安全存在重大潛在風(fēng)險(xiǎn)的行為。然而，在實(shí)際生產(chǎn)操作中，人員的違規(guī)行為仍然難以得到有效監(jiān)管。

2、現(xiàn)有的基于目標(biāo)檢測(cè)的智能應(yīng)用技術(shù)面臨諸多挑戰(zhàn)，包括在復(fù)雜環(huán)境下的檢測(cè)準(zhǔn)確性不足、對(duì)人員行為的精細(xì)化判定能力有限以及遮擋、遠(yuǎn)距離情況下的檢測(cè)效果不佳。容易導(dǎo)致漏報(bào)或誤報(bào)，從而無(wú)法準(zhǔn)確識(shí)別電網(wǎng)作業(yè)中的危險(xiǎn)行為。這些問(wèn)題的存在使得在高危作業(yè)環(huán)境下，無(wú)法做到對(duì)作業(yè)人員的行為進(jìn)行準(zhǔn)確地監(jiān)控。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高電網(wǎng)作業(yè)行為類(lèi)別識(shí)別準(zhǔn)確性的行為類(lèi)別識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N行為類(lèi)別識(shí)別方法，所述方法包括：

3、獲取電網(wǎng)生產(chǎn)作業(yè)中的待檢測(cè)圖像序列；

4、將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，并獲取所述目標(biāo)行為類(lèi)別識(shí)別模型輸出的類(lèi)別識(shí)別結(jié)果，所述類(lèi)別識(shí)別結(jié)果用于確定所述待檢測(cè)圖像序列中目標(biāo)檢測(cè)對(duì)象的電網(wǎng)作業(yè)行為類(lèi)別，其中，所述目標(biāo)行為類(lèi)別識(shí)別模型基于電網(wǎng)生產(chǎn)作業(yè)中的樣本圖像序列訓(xùn)練得到。

5、在其中一個(gè)實(shí)施例中，所述目標(biāo)行為類(lèi)別識(shí)別模型包括第一目標(biāo)模型和第二目標(biāo)模型；所述將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，并獲取所述目標(biāo)行為類(lèi)別識(shí)別模型輸出的類(lèi)別識(shí)別結(jié)果，包括：

6、將所述待檢測(cè)圖像序列輸入至第一目標(biāo)模型，并獲取所述第一目標(biāo)模型輸出的位置預(yù)測(cè)結(jié)果，其中，所述位置預(yù)測(cè)結(jié)果包括所述待檢測(cè)圖像序列中每一待檢測(cè)圖像的目標(biāo)檢測(cè)對(duì)象，以及所述目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置；

7、針對(duì)同一目標(biāo)檢測(cè)對(duì)象，將每一所述待檢測(cè)圖像中所述目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置輸入至第二目標(biāo)模型，并獲取所述第二目標(biāo)模型輸出的類(lèi)別識(shí)別結(jié)果。

8、在其中一個(gè)實(shí)施例中，所述將所述待檢測(cè)圖像序列輸入至第一目標(biāo)模型，并獲取所述第一目標(biāo)模型輸出的位置預(yù)測(cè)結(jié)果，包括：

9、提取所述待檢測(cè)圖像序列中每一待檢測(cè)圖像的初始特征，得到各初始特征圖；

10、對(duì)各所述初始特征圖進(jìn)行特征融合操作，得到目標(biāo)特征圖；

11、根據(jù)所述目標(biāo)特征圖，確定每一所述待檢測(cè)圖像的目標(biāo)檢測(cè)對(duì)象，以及所述目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置。

12、在其中一個(gè)實(shí)施例中，所述針對(duì)同一目標(biāo)檢測(cè)對(duì)象，將每一所述待檢測(cè)圖像中所述目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置輸入至第二目標(biāo)模型，并獲取所述第二目標(biāo)模型輸出的類(lèi)別識(shí)別結(jié)果，包括：

13、從各所述關(guān)鍵點(diǎn)的預(yù)測(cè)位置中獲取目標(biāo)關(guān)鍵點(diǎn)的預(yù)測(cè)位置；

14、獲取所述目標(biāo)關(guān)鍵點(diǎn)的預(yù)測(cè)位置的前一狀態(tài)信息；

15、根據(jù)所述目標(biāo)關(guān)鍵點(diǎn)的預(yù)測(cè)位置和所述目標(biāo)關(guān)鍵點(diǎn)的預(yù)測(cè)位置的前一狀態(tài)信息，確定目標(biāo)關(guān)鍵點(diǎn)的預(yù)測(cè)位置的當(dāng)前狀態(tài)信息；

16、基于所述當(dāng)前狀態(tài)信息和歷史類(lèi)別識(shí)別結(jié)果，確定各所述關(guān)鍵點(diǎn)的預(yù)測(cè)位置對(duì)應(yīng)的類(lèi)別識(shí)別結(jié)果。

17、在其中一個(gè)實(shí)施例中，在所述將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型之前，還包括：

18、獲取電網(wǎng)生產(chǎn)作業(yè)中的樣本圖像序列；所述樣本圖像序列中標(biāo)注有目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的實(shí)際位置和目標(biāo)檢測(cè)對(duì)象的真實(shí)電網(wǎng)作業(yè)行為類(lèi)別；

19、將所述樣本圖像序列輸入到初始行為類(lèi)別識(shí)別模型中，得到初始行為類(lèi)別識(shí)別模型輸出的樣本位置預(yù)測(cè)結(jié)果和樣本電網(wǎng)作業(yè)行為類(lèi)別；其中，所述樣本位置預(yù)測(cè)結(jié)果包括所述樣本圖像序列的目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的樣本預(yù)測(cè)位置；所述樣本電網(wǎng)作業(yè)行為類(lèi)別用于確定所述樣本圖像序列的目標(biāo)檢測(cè)對(duì)象的電網(wǎng)作業(yè)行為類(lèi)別；

20、根據(jù)所述樣本預(yù)測(cè)位置、所述樣本電網(wǎng)作業(yè)行為類(lèi)別、所述實(shí)際位置和所述真實(shí)電網(wǎng)作業(yè)行為類(lèi)別，確定總損失值；

21、根據(jù)所述總損失值對(duì)初始行為類(lèi)別識(shí)別模型的參數(shù)進(jìn)行調(diào)整，直至所述總損失值符合預(yù)設(shè)條件時(shí)，將所述初始行為類(lèi)別識(shí)別模型確定為目標(biāo)行為類(lèi)別識(shí)別模型。

22、在其中一個(gè)實(shí)施例中，所述總損失值包括第一損失值和第二損失值；根據(jù)所述樣本預(yù)測(cè)位置、所述樣本電網(wǎng)作業(yè)行為類(lèi)別、所述實(shí)際位置和所述真實(shí)電網(wǎng)作業(yè)行為類(lèi)別，確定總損失值，包括：

23、根據(jù)所述樣本預(yù)測(cè)位置和所述實(shí)際位置，確定所述第一損失值；

24、根據(jù)所述樣本電網(wǎng)作業(yè)行為類(lèi)別和所述真實(shí)電網(wǎng)作業(yè)行為類(lèi)別，確定所述第二損失值；

25、基于所述第一損失值和所述第二損失值，確定所述總損失值。

26、在其中一個(gè)實(shí)施例中，所述根據(jù)所述樣本預(yù)測(cè)位置和所述實(shí)際位置，確定所述第一損失值，包括：

27、根據(jù)所述樣本預(yù)測(cè)位置與所述實(shí)際位置，確定位置損失值；

28、獲取所述樣本預(yù)測(cè)位置的置信度和所述實(shí)際位置的置信度，并根據(jù)所述所述樣本預(yù)測(cè)位置的置信度和所述實(shí)際位置的置信度，確定置信度損失值；

29、基于所述位置損失值和所述置信度損失值，確定所述第一損失值。

30、第二方面，本申請(qǐng)還提供了一種行為類(lèi)別識(shí)別裝置，所述裝置包括：

31、第一獲取模塊，用于獲取電網(wǎng)生產(chǎn)作業(yè)中的待檢測(cè)圖像序列；

32、處理模塊，用于將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，并獲取所述目標(biāo)行為類(lèi)別識(shí)別模型輸出的類(lèi)別識(shí)別結(jié)果，所述類(lèi)別識(shí)別結(jié)果用于確定所述待檢測(cè)圖像序列中目標(biāo)檢測(cè)對(duì)象的電網(wǎng)作業(yè)行為類(lèi)別，其中，所述目標(biāo)行為類(lèi)別識(shí)別模型基于電網(wǎng)生產(chǎn)作業(yè)中的樣本圖像序列訓(xùn)練得到。

33、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法的步驟。

34、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法的步驟。

35、上述行為類(lèi)別識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，通過(guò)電網(wǎng)生產(chǎn)作業(yè)中的待檢測(cè)圖像序列，將電網(wǎng)生產(chǎn)作業(yè)中的待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，即可獲取目標(biāo)行為類(lèi)別識(shí)別模型輸出的目標(biāo)檢測(cè)對(duì)象的電網(wǎng)作業(yè)行為類(lèi)型。從而提高識(shí)別電網(wǎng)作業(yè)行為類(lèi)型的精度。

技術(shù)特征：

1.一種行為類(lèi)別識(shí)別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)行為類(lèi)別識(shí)別模型包括第一目標(biāo)模型和第二目標(biāo)模型；所述將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，并獲取所述目標(biāo)行為類(lèi)別識(shí)別模型輸出的類(lèi)別識(shí)別結(jié)果，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述待檢測(cè)圖像序列輸入至第一目標(biāo)模型，并獲取所述第一目標(biāo)模型輸出的位置預(yù)測(cè)結(jié)果，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述針對(duì)同一目標(biāo)檢測(cè)對(duì)象，將每一所述待檢測(cè)圖像中所述目標(biāo)檢測(cè)對(duì)象的各關(guān)鍵點(diǎn)的預(yù)測(cè)位置輸入至第二目標(biāo)模型，并獲取所述第二目標(biāo)模型輸出的類(lèi)別識(shí)別結(jié)果，包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述將所述待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型之前，還包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述總損失值包括第一損失值和第二損失值；根據(jù)所述樣本預(yù)測(cè)位置、所述樣本電網(wǎng)作業(yè)行為類(lèi)別、所述實(shí)際位置和所述真實(shí)電網(wǎng)作業(yè)行為類(lèi)別，確定總損失值，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述樣本預(yù)測(cè)位置和所述實(shí)際位置，確定所述第一損失值，包括：

8.一種行為類(lèi)別識(shí)別裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種行為類(lèi)別識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述方法包括：獲取電網(wǎng)生產(chǎn)作業(yè)中的待檢測(cè)圖像序列；將待檢測(cè)圖像序列輸入至目標(biāo)行為類(lèi)別識(shí)別模型，并獲取目標(biāo)行為類(lèi)別識(shí)別模型輸出的類(lèi)別識(shí)別結(jié)果，類(lèi)別識(shí)別結(jié)果用于確定待檢測(cè)圖像序列中目標(biāo)檢測(cè)對(duì)象的電網(wǎng)作業(yè)行為類(lèi)別，其中，目標(biāo)行為類(lèi)別識(shí)別模型基于電網(wǎng)生產(chǎn)作業(yè)中的樣本圖像序列訓(xùn)練得到。采用本方法能夠提高類(lèi)別識(shí)別結(jié)果的準(zhǔn)確性。

技術(shù)研發(fā)人員：宋文政,鄭筠,饒竹一,高朋
受保護(hù)的技術(shù)使用者：深圳供電局有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26