本申請(qǐng)涉及行為識(shí)別，尤其涉及行為識(shí)別方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、基于人類行為識(shí)別(human?activity?recognition，簡(jiǎn)寫har)的視頻分析應(yīng)用在多個(gè)領(lǐng)域有重要意義，如機(jī)器人、人機(jī)交互、安防監(jiān)控、兒童教育等。例如，在安防監(jiān)控中，通過(guò)準(zhǔn)確識(shí)別異常行為可以大大縮短響應(yīng)時(shí)間、提升公共安全。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，這些應(yīng)用被越來(lái)越多地部署到網(wǎng)絡(luò)的邊緣端(如智能攝像頭)來(lái)降低分析時(shí)延、減少帶寬消耗，同時(shí)提升隱私和安全性。已有的視頻分析系統(tǒng)可以直接在邊緣設(shè)備上分析視頻幀，無(wú)需將他們傳輸?shù)皆贫朔?wù)器去處理。然而，視頻分析系統(tǒng)通常依賴算力密集的深度學(xué)習(xí)模型進(jìn)行推理，而邊緣設(shè)備上有限的計(jì)算資源無(wú)法支撐實(shí)時(shí)的模型推理。若將視頻幀上傳至云端進(jìn)行分析，又會(huì)增加數(shù)據(jù)傳輸?shù)某杀?，增加帶寬和時(shí)延。因此，如何提高行為識(shí)別效率成為了亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種行為識(shí)別方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品，旨在解決現(xiàn)有的行為識(shí)別效率較低的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N行為識(shí)別方法，所述行為識(shí)別方法應(yīng)用于邊緣端，所述行為識(shí)別方法包括以下步驟：

3、將捕獲的視頻片段劃分為多個(gè)視頻單元；

4、對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元；

5、根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣，并將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別。

6、可選地，所述對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元的步驟，包括：

7、對(duì)所述視頻單元進(jìn)行特征提取，得到特征提取結(jié)果；

8、根據(jù)所述特征提取結(jié)果確定當(dāng)前視頻單元與上一特征單元的特征差異；

9、基于所述特征差異和預(yù)設(shè)判定閾值確定待推理視頻單元。

10、可選地，所述根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣的步驟，包括：

11、根據(jù)節(jié)奏類別信息確定所述待推理視頻單元對(duì)應(yīng)的節(jié)奏類別；

12、基于所述節(jié)奏類別確定所述待推理視頻單元的采樣幀率；

13、按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣。

14、可選地，所述根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣的步驟之前，還包括：

15、按照不同的幀采樣率對(duì)樣本數(shù)據(jù)進(jìn)行采樣，得到樣本數(shù)據(jù)采樣結(jié)果；

16、確定所述樣本數(shù)據(jù)采樣結(jié)果對(duì)應(yīng)的行為識(shí)別準(zhǔn)確率；

17、根據(jù)所述行為識(shí)別準(zhǔn)確率確定各個(gè)行為類別對(duì)應(yīng)的最佳幀率；

18、基于所述最佳幀率進(jìn)行聚類，得到聚類結(jié)果；

19、根據(jù)所述聚類結(jié)果確定節(jié)奏類別信息。

20、本申請(qǐng)將捕獲的視頻片段劃分為多個(gè)視頻單元；對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元；根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣，并將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別。由于本申請(qǐng)是將采集到的視頻片段劃分為多個(gè)視頻單元，再基于視頻單元確定待推理視頻單元，從待推理視頻單元進(jìn)行幀采樣，將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別，相對(duì)于現(xiàn)有的將采集的全部視頻均發(fā)送至云端進(jìn)行行為識(shí)別的方式，本申請(qǐng)上述方式能夠降低分析時(shí)延、減少數(shù)據(jù)傳輸。

21、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N行為識(shí)別方法，所述行為識(shí)別方法應(yīng)用于云端，所述行為識(shí)別方法包括以下步驟：

22、接收邊緣端發(fā)送的采樣結(jié)果；

23、通過(guò)輸入調(diào)整模塊將所述采樣結(jié)果調(diào)整為目標(biāo)特征圖；

24、基于時(shí)延調(diào)整模塊推斷所述目標(biāo)特征圖的行為類別，得到行為識(shí)別結(jié)果，并將所述行為識(shí)別結(jié)果發(fā)送至所述邊緣端。

25、本申請(qǐng)接收邊緣端發(fā)送的采樣結(jié)果；通過(guò)輸入調(diào)整模塊將所述采樣結(jié)果調(diào)整為目標(biāo)特征圖；基于時(shí)延調(diào)整模塊推斷所述目標(biāo)特征圖的行為類別，得到行為識(shí)別結(jié)果，并將所述行為識(shí)別結(jié)果發(fā)送至所述邊緣端。相對(duì)于現(xiàn)有的在邊緣端進(jìn)行行為分析的方式，本申請(qǐng)上述方式能夠避免邊緣端的計(jì)算資源有限，提高行為分析效率。

26、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種行為識(shí)別裝置，應(yīng)用于邊緣端，所述行為識(shí)別裝置包括：

27、劃分模塊，用于將捕獲的視頻片段劃分為多個(gè)視頻單元；

28、特征提取模塊，用于對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元；

29、采樣模塊，用于根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣，并將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別。

30、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種行為識(shí)別裝置，應(yīng)用于云端，所述行為識(shí)別裝置包括：

31、接收模塊，用于接收邊緣端發(fā)送的采樣結(jié)果；

32、輸入調(diào)整模塊，用于通過(guò)輸入調(diào)整模塊將所述采樣結(jié)果調(diào)整為目標(biāo)特征圖；

33、時(shí)延調(diào)整模塊，用于基于時(shí)延調(diào)整模塊推斷所述目標(biāo)特征圖的行為類別，得到行為識(shí)別結(jié)果，并將所述行為識(shí)別結(jié)果發(fā)送至所述邊緣端。

34、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種行為識(shí)別設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的行為識(shí)別方法的步驟。

35、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的行為識(shí)別方法的步驟。

36、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的行為識(shí)別方法的步驟。

技術(shù)特征：

1.一種行為識(shí)別方法，其特征在于，應(yīng)用于邊緣端，所述行為識(shí)別方法包括以下步驟：

2.如權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元的步驟，包括：

3.如權(quán)利要求1-2任一項(xiàng)所述的行為識(shí)別方法，其特征在于，所述根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣的步驟，包括：

4.如權(quán)利要求3所述的行為識(shí)別方法，其特征在于，所述根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣的步驟之前，還包括：

5.一種行為識(shí)別方法，其特征在于，應(yīng)用于云端，所述行為識(shí)別方法包括以下步驟：

6.一種行為識(shí)別裝置，其特征在于，應(yīng)用于邊緣端，所述行為識(shí)別裝置包括：

7.一種行為識(shí)別裝置，其特征在于，應(yīng)用于云端，所述行為識(shí)別裝置包括：

8.一種行為識(shí)別設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至4和/或5中任一項(xiàng)所述的行為識(shí)別方法的步驟。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4和/或5中任一項(xiàng)所述的行為識(shí)別方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4和/或5中任一項(xiàng)所述的行為識(shí)別方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種行為識(shí)別方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品，涉及行為識(shí)別技術(shù)領(lǐng)域，所述行為識(shí)別方法應(yīng)用于邊緣端，包括將捕獲的視頻片段劃分為多個(gè)視頻單元；對(duì)所述視頻單元進(jìn)行特征提取，根據(jù)特征提取結(jié)果確定待推理視頻單元；根據(jù)所述待推理視頻單元確定采樣幀率，按照所述采樣幀率對(duì)所述待推理視頻單元進(jìn)行幀采樣，并將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別。由于本申請(qǐng)是將采集到的視頻片段劃分為多個(gè)視頻單元，再基于視頻單元確定待推理視頻單元，從待推理視頻單元進(jìn)行幀采樣，將采樣結(jié)果發(fā)送至云端進(jìn)行行為識(shí)別，相對(duì)于現(xiàn)有的將采集的全部視頻均發(fā)送至云端進(jìn)行行為識(shí)別的方式，本申請(qǐng)上述方式能夠降低分析時(shí)延、減少數(shù)據(jù)傳輸。

技術(shù)研發(fā)人員：李清,王漢凌,江勇
受保護(hù)的技術(shù)使用者：鵬城實(shí)驗(yàn)室
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6