本發(fā)明涉及智能監(jiān)控和計(jì)算機(jī)視覺(jué)，具體涉及一種面向客運(yùn)站群體的行為識(shí)別方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著鐵路運(yùn)輸?shù)目焖侔l(fā)展，鐵路客運(yùn)站的人流密集度和安全管理需求也日益增長(zhǎng)，特別是在高峰時(shí)段或者節(jié)假日出行階段，客運(yùn)站內(nèi)的旅客流動(dòng)量大幅增加?？瓦\(yùn)站作為交通樞紐，包含自動(dòng)扶梯、候車(chē)廳、出入口等多個(gè)關(guān)鍵區(qū)域，這些區(qū)域往往在高峰期聚集大量旅客，增加了潛在的安全隱患。例如，自動(dòng)扶梯是旅客進(jìn)出車(chē)站的重要通道，隨著人流密集和旅客攜帶行李的增多，扶梯上容易發(fā)生旅客摔倒或被行李絆倒的事故。一旦出現(xiàn)這種緊急情況，旅客的摔倒或停留可能會(huì)被周?chē)恼趽跛谏w，導(dǎo)致工作人員無(wú)法及時(shí)發(fā)現(xiàn)，進(jìn)而延誤了應(yīng)急處理時(shí)間。

2、現(xiàn)有的監(jiān)控系統(tǒng)主要依賴(lài)于視頻監(jiān)控及人工觀察，但這種方式效率低、反應(yīng)時(shí)間慢，難以實(shí)現(xiàn)對(duì)群體行為的實(shí)時(shí)監(jiān)控和分析。現(xiàn)有的自動(dòng)化行為識(shí)別系統(tǒng)大多僅依賴(lài)單一特征信息（如rgb圖像），在復(fù)雜場(chǎng)景下（如光線(xiàn)不足、遮擋等）識(shí)別精度較低，無(wú)法滿(mǎn)足鐵路客運(yùn)站等復(fù)雜場(chǎng)所的安全需求。因此，如何在鐵路客運(yùn)站等復(fù)雜環(huán)境中，利用多特征數(shù)據(jù)進(jìn)行密集型群體行為的精準(zhǔn)識(shí)別，成為亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，本技術(shù)提出一種面向客運(yùn)站群體的行為識(shí)別方法、系統(tǒng)、設(shè)備及介質(zhì)，旨在能夠在鐵路客運(yùn)站等復(fù)雜環(huán)境中，利用多特征數(shù)據(jù)進(jìn)行密集型群體行為的精準(zhǔn)識(shí)別。

2、本技術(shù)的第一方面提供了一種面向客運(yùn)站群體的行為識(shí)別方法，所述方法包括：

3、獲取目標(biāo)客運(yùn)站群體的視頻幀圖像并進(jìn)行預(yù)處理，分別提取對(duì)應(yīng)的rgb圖像、深度圖、骨骼圖和光流圖；

4、根據(jù)所述rgb圖像提取rgb特征，根據(jù)所述深度圖提取深度圖特征，根據(jù)所述rgb特征和所述深度圖特征得到早期融合特征；

5、根據(jù)所述骨骼圖捕捉骨骼特征，根據(jù)所述光流圖捕捉光流特征，根據(jù)所述骨骼特征和所述光流特征得到中期融合特征；

6、根據(jù)所述早期融合特征和所述中期融合特征得到后期融合特征；

7、根據(jù)所述后期融合特征獲得所述視頻幀圖像對(duì)應(yīng)的行為類(lèi)別預(yù)測(cè)結(jié)果。

8、作為第一方面的一種可選實(shí)施方式，獲取目標(biāo)客運(yùn)站群體的視頻幀圖像并進(jìn)行預(yù)處理，分別提取對(duì)應(yīng)的rgb圖像、深度圖、骨骼圖和光流圖的步驟包括：獲取目標(biāo)客運(yùn)站的群體視頻，從所述群體視頻中截取待分析視頻片段，根據(jù)所述待分析視頻片段提取視頻幀圖像；對(duì)所述視頻幀圖像進(jìn)行預(yù)處理，所述預(yù)處理包括尺寸調(diào)整、歸一化和數(shù)據(jù)增強(qiáng)；基于預(yù)處理后的視頻幀圖像，提取rgb圖像通道，以得到所述rgb圖像；基于所述rgb圖像，使用立體視覺(jué)方法，提取所述深度圖；基于所述rgb圖像，使用人體姿態(tài)估計(jì)算法，提取所述骨骼圖；使用光流算法計(jì)算相鄰視頻幀圖像之間的所述光流圖。

9、作為第一方面的一種可選實(shí)施方式，根據(jù)所述rgb圖像提取rgb特征，根據(jù)所述深度圖提取深度圖特征，根據(jù)所述rgb特征和所述深度圖特征得到早期融合特征的步驟包括：構(gòu)建早期特征提取與融合模塊，用于根據(jù)所述rgb圖像和所述深度圖生成所述早期融合特征，其中，所述早期特征提取與融合模塊包括efficientnet網(wǎng)絡(luò)層、midas模塊、se模塊、空間變換網(wǎng)絡(luò)層、空間注意力機(jī)制層和拼接層；所述efficientnet網(wǎng)絡(luò)層用于根據(jù)所述rgb圖像提取所述rgb特征；所述midas模塊用于根據(jù)所述深度圖提取所述深度圖特征；所述se模塊用于對(duì)所述rgb特征和所述深度圖特征進(jìn)行自適應(yīng)加權(quán)融合，得到加權(quán)融合特征；所述空間變換網(wǎng)絡(luò)層用于將所述加權(quán)融合特征進(jìn)行特征對(duì)齊，得到對(duì)齊特征；所述空間注意力機(jī)制層用于對(duì)所述對(duì)齊特征進(jìn)行特征加權(quán)，得到加權(quán)特征圖；所述拼接層用于根據(jù)所述加權(quán)特征圖得到所述早期融合特征。

10、作為第一方面的一種可選實(shí)施方式，根據(jù)所述骨骼圖捕捉骨骼特征，根據(jù)所述光流圖捕捉光流特征，根據(jù)所述骨骼特征和所述光流特征得到中期融合特征的步驟包括：構(gòu)建骨骼與光流聯(lián)合建模模塊，用于根據(jù)所述骨骼圖和所述光流圖生成所述中期融合特征，其中，所述骨骼與光流聯(lián)合建模模塊包括自適應(yīng)鄰接矩陣層、st-gcn層、自注意力機(jī)制層和拼接層；所述自適應(yīng)鄰接矩陣層用于根據(jù)所述骨骼圖捕捉骨骼點(diǎn)的動(dòng)態(tài)關(guān)系；所述st-gcn層用于基于所述骨骼點(diǎn)的動(dòng)態(tài)關(guān)系捕捉時(shí)空依賴(lài)關(guān)系，以得到所述骨骼特征；所述自注意力機(jī)制層用于根據(jù)所述光流圖捕捉運(yùn)動(dòng)信息和加強(qiáng)關(guān)鍵動(dòng)作特征，以得到所述光流特征；所述拼接層用于將所述骨骼特征和所述光流特征進(jìn)行特征拼接，得到所述中期融合特征。

11、作為第一方面的一種可選實(shí)施方式，根據(jù)所述早期融合特征和所述中期融合特征得到后期融合特征的步驟包括：構(gòu)建后期融合與動(dòng)態(tài)加權(quán)模塊，所述后期融合與動(dòng)態(tài)加權(quán)模塊包括拼接層、多頭注意力機(jī)制層、特征轉(zhuǎn)化層、歸一化層和前饋神經(jīng)網(wǎng)絡(luò)層；所述拼接層用于將所述早期融合特征和所述中期融合特征進(jìn)行特征拼接，得到拼接特征；所述多頭注意力機(jī)制層用于根據(jù)所述拼接特征進(jìn)行自適應(yīng)動(dòng)態(tài)加權(quán)，以提取時(shí)空信息中不同特征之間的相關(guān)性；所述特征轉(zhuǎn)化層用于對(duì)所述時(shí)空信息中不同特征之間的相關(guān)性進(jìn)行殘差連接，獲得殘差連接特征圖；所述歸一化層用于對(duì)所述殘差連接特征圖進(jìn)行歸一化操作，得到歸一化特征圖；所述前饋神經(jīng)網(wǎng)絡(luò)層用于根據(jù)所述歸一化特征圖得到所述后期融合特征。

12、作為第一方面的一種可選實(shí)施方式，所述行為識(shí)別方法還包括：設(shè)計(jì)關(guān)于所述自適應(yīng)動(dòng)態(tài)加權(quán)的最終損失函數(shù)：，其中，表示自適應(yīng)學(xué)習(xí)的權(quán)重，表示第i個(gè)特征對(duì)最終損失的貢獻(xiàn)度，為第i個(gè)特征對(duì)應(yīng)的損失。

13、作為第一方面的一種可選實(shí)施方式，根據(jù)所述后期融合特征獲得所述視頻幀圖像對(duì)應(yīng)的行為類(lèi)別預(yù)測(cè)結(jié)果的步驟包括：將所述后期融合特征輸入多個(gè)transformer編碼層，以得到行為類(lèi)別預(yù)測(cè)；將所述行為類(lèi)別預(yù)測(cè)輸入全連接層，以轉(zhuǎn)換為行為類(lèi)別的概率分布；選取所述行為類(lèi)別的概率分布中最高概率所對(duì)應(yīng)的類(lèi)別作為最終的行為類(lèi)別預(yù)測(cè)結(jié)果。

14、本技術(shù)的第二方面提供了一種面向客運(yùn)站群體的行為識(shí)別系統(tǒng)，所述行為識(shí)別系統(tǒng)包括：

15、圖像獲取模塊，用于獲取目標(biāo)客運(yùn)站群體的視頻幀圖像并進(jìn)行預(yù)處理，分別提取對(duì)應(yīng)的rgb圖像、深度圖、骨骼圖和光流圖；

16、早期融合模塊，用于根據(jù)所述rgb圖像提取rgb特征，根據(jù)所述深度圖提取深度圖特征，根據(jù)所述rgb特征和所述深度圖特征得到早期融合特征；

17、中期融合模塊，用于根據(jù)所述骨骼圖捕捉骨骼特征，根據(jù)所述光流圖捕捉光流特征，根據(jù)所述骨骼特征和所述光流特征得到中期融合特征；

18、后期融合模塊，用于根據(jù)所述早期融合特征和所述中期融合特征得到后期融合特征；

19、行為類(lèi)別預(yù)測(cè)模塊，用于根據(jù)所述后期融合特征獲得所述視頻幀圖像對(duì)應(yīng)的行為類(lèi)別預(yù)測(cè)結(jié)果。

20、本技術(shù)的第三方面提供了一種電子設(shè)備，包括：處理器；用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為執(zhí)行所述可執(zhí)行指令，以實(shí)現(xiàn)上述一種面向客運(yùn)站群體的行為識(shí)別方法。

21、本技術(shù)的第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得所述電子設(shè)備能夠執(zhí)行上述一種面向客運(yùn)站群體的行為識(shí)別方法。

22、與現(xiàn)有技術(shù)相比，本技術(shù)的有益效果如下。

23、1.多特征提?。含F(xiàn)有技術(shù)主要依賴(lài)單特征信息，如rgb圖像或骨骼架構(gòu)，容易受到環(huán)境因素（如光照變化、遮擋）的干擾，識(shí)別效果受限。本技術(shù)的創(chuàng)新之處在于通過(guò)引入多特征（rgb特征、深度圖特征、骨骼特征和光流特征）提取技術(shù)，結(jié)合了外觀、結(jié)構(gòu)和運(yùn)動(dòng)等多種行為信息，克服了現(xiàn)有技術(shù)在復(fù)雜場(chǎng)景下識(shí)別精度不足的問(wèn)題，尤其是存在人員相互遮擋的這種情況下。

24、2.自適應(yīng)多特征融合策略：傳統(tǒng)的融合方法通常只采用單步融合（如在初始階段或后期對(duì)特征進(jìn)行簡(jiǎn)單拼接），缺乏多層次的特征整合，導(dǎo)致在復(fù)雜場(chǎng)景中無(wú)法充分捕捉個(gè)體的行為變化。本發(fā)明的三步融合策略通過(guò)在不同時(shí)期對(duì)特征進(jìn)行細(xì)化處理，實(shí)現(xiàn)了更精準(zhǔn)的多特征組合。早期融合先將rgb圖像和深度圖的特征在通道維度上進(jìn)行拼接；中期融合將骨骼和光流特征進(jìn)行拼接；并通過(guò)注意力機(jī)制在后期自適應(yīng)調(diào)整各特征的特征權(quán)重。該策略在處理群體行為時(shí)，通過(guò)分階段的融合處理，實(shí)現(xiàn)了多特征的高效組合和自適應(yīng)權(quán)重分配，能夠動(dòng)態(tài)適應(yīng)不同場(chǎng)景下的特征變化。

25、3.基于多頭注意力機(jī)制的動(dòng)態(tài)加權(quán)：當(dāng)前群體行為識(shí)別技術(shù)通常采用固定權(quán)重或簡(jiǎn)單加權(quán)機(jī)制，難以自適應(yīng)調(diào)整特征的權(quán)重。本發(fā)明通過(guò)多頭注意力機(jī)制，能夠根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整權(quán)重，特別是在處理復(fù)雜行為時(shí)，能夠針對(duì)不同的特征進(jìn)行有針對(duì)性的加權(quán)，提升了識(shí)別的準(zhǔn)確性和靈活性。

26、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)施例了解到。