本發(fā)明涉及拓撲性行為識別的圖神經(jīng)網(wǎng)絡(luò)方法領(lǐng)域，尤其是基于拓撲節(jié)點間高階關(guān)系建模的圖卷積方法。

背景技術(shù)：

1、拓撲結(jié)構(gòu)是機器學(xué)習(xí)中的一種數(shù)據(jù)表示方式，用于表示實體以及實體之間的關(guān)系。它包括節(jié)點和邊組成，節(jié)點代表實體，邊代表實體之間的關(guān)系?；诠羌艿膭幼髯R別是一種拓撲性的行為識別，其中節(jié)點為骨骼關(guān)節(jié)點，骨架動作的呈現(xiàn)是多個骨骼關(guān)節(jié)點共同表達和承載的。建模骨骼關(guān)節(jié)點間的低階關(guān)系只能判別一些簡單的，作用域小的動作，例如握手；而一些聯(lián)動關(guān)節(jié)多，作用范圍廣，關(guān)節(jié)配合復(fù)雜的動作，例如街舞中的具體動作，只能依靠骨骼關(guān)節(jié)點間的高階關(guān)系來判別，因為高階關(guān)系充分挖掘了骨骼關(guān)節(jié)點之間相互的依賴和配合關(guān)系。群體行為識別也是一種拓撲性的行為識別，其中節(jié)點為單人，群體行為的呈現(xiàn)具有社會性和群體化，它不僅關(guān)注于個體的表現(xiàn)，更看重于群體之間復(fù)雜的聯(lián)系。如果僅僅建模單人間的低階關(guān)系，就只能辨別一些簡單的群體活動，例如交談；復(fù)雜的群體行為的參與者數(shù)量是隨機的，參與形式是多樣的，個體之間的依賴傾向是深層次的，因此需要單人之間的高階關(guān)系來捕獲這種錯綜復(fù)雜的行為表現(xiàn)形式和特點。生成高階關(guān)系來詳盡完備地捕捉群體行為的細節(jié)和驅(qū)動，這在智能安防和自動控制領(lǐng)域都是十分關(guān)鍵的。

2、圖神經(jīng)網(wǎng)絡(luò)，特別是圖卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)對于識別拓撲性行為有著關(guān)鍵作用，能夠幫助模型更好地理解和利用拓撲信息。在依靠圖卷積神經(jīng)網(wǎng)絡(luò)來處理寄托于拓撲結(jié)構(gòu)的行為信息的過程中，核心步驟是建模拓撲節(jié)點之間的關(guān)系，因為這關(guān)乎節(jié)點消息的傳遞和節(jié)點特征的聚合?，F(xiàn)有的大多數(shù)工作通過使用預(yù)定義的先驗鄰接或者基于語義的動態(tài)鄰接來建模節(jié)點之間的關(guān)系以實現(xiàn)節(jié)點特征的傳播與聚合，但這種關(guān)系屬于節(jié)點間的低階關(guān)系，僅僅考慮了孤立的節(jié)點之間的作用，因此具有局部性和低階性的局限。

3、為了突破上述局限，有些工作引入了超邊來表示多個節(jié)點體之間多對多的復(fù)雜關(guān)系，這對于建模節(jié)點的高階特征起到了一定的作用。然而，超邊的設(shè)置是非完備的，即只有節(jié)點之間的特定超邊而非全部超邊會被考慮，因為引入全部超邊引發(fā)的階乘級復(fù)雜度是不可接受的。因此不可避免的會造成節(jié)點間有效高階關(guān)系的丟失，從而導(dǎo)致節(jié)點失去部分的高階特性。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種用于拓撲性行為識別的拓撲節(jié)點間高階關(guān)系建模方法。本發(fā)明為了充分，完整地建模節(jié)點間的高階關(guān)系以提取節(jié)點的高階特征，設(shè)計了一種基于遞歸的從低階關(guān)系至高階關(guān)系的迭代建模方法，以遞歸的自同性與可擴展性實現(xiàn)建模的完備性。本發(fā)明的關(guān)鍵設(shè)計在于：通過捕獲低階關(guān)系之間的完整的依賴來遞歸地建模高階關(guān)系。本發(fā)明通過遞歸的方式以可行的復(fù)雜度建模了完備性高階關(guān)系。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案的具體步驟如下：

3、s1.提取節(jié)點間的一階關(guān)系；

4、給定骨架中關(guān)節(jié)點或者群體中單人的節(jié)點原始特征 f，其中為個體總數(shù)，為個體特征維數(shù)，將節(jié)點原始特征輸入到一階關(guān)系建模函數(shù)，得到關(guān)節(jié)點或單人之間的一階關(guān)系，其中為關(guān)系特征維數(shù)，對于節(jié)點和節(jié)點來說，一階關(guān)系建模過程為，關(guān)節(jié)點或單人之間的一階關(guān)系；

5、s2.建模節(jié)點間的完備性高階關(guān)系；

6、s2.1?首先通過一階嵌入函數(shù)將步驟s1中提取得到的一階關(guān)系嵌入為一階建模元，以供二階建模使用，這一過程對應(yīng)于圖1中2.1區(qū)域以及圖2中a區(qū)域；

7、s2.2?然后使用一階依賴生成函數(shù)生成一階建模元之間完整的依賴，對于第s個一階建模元和第 t個一階建模元來說，它們之間的依賴生成過程為；這一過程對應(yīng)于圖1中2.2區(qū)域以及圖2中b區(qū)域；

8、s2.3?最后采用步驟s2.2中得到的一階完整的依賴聚合一階建模元，得到關(guān)節(jié)點或單人之間的完備性二階關(guān)系，為關(guān)節(jié)點i與關(guān)節(jié)點j或單人i與單人j之間的二階關(guān)系，這一過程對應(yīng)于圖1中2.3區(qū)域以及圖2中c區(qū)域，s2.2和s2.3步驟不僅感知到了一階關(guān)系之間的共現(xiàn)結(jié)構(gòu)，還捕獲了二元節(jié)點組的關(guān)聯(lián)模式；

9、s2.4?與s2.1到s2.3同理，并依次類推到i+1階完備性關(guān)系建模，首先通過i階嵌入函數(shù)將i階關(guān)系嵌入為i階建模元，對應(yīng)圖2的a區(qū)域，然后使用i階依賴生成函數(shù)生成階建模元之間完整的依賴，對應(yīng)圖2的b區(qū)域，最后使用得到的i階完整的依賴聚合i階建模元，得到關(guān)節(jié)點或單人間的完備性i+1階關(guān)系，對應(yīng)圖2的c區(qū)域；

10、s2.5?通過步驟s2.4的遞歸，迭代求出給定最大階數(shù) o下的關(guān)節(jié)點或單人之間的所有階完備性關(guān)系，為關(guān)節(jié)點i和關(guān)節(jié)點j或單人i與單人j之間的k階關(guān)系，對應(yīng)于圖1中2.5區(qū)域，由于建模高階關(guān)系是依靠捕獲低階關(guān)系間的完整的依賴所實現(xiàn)的，因此建模得到的高階關(guān)系是完備的，并且高階關(guān)系的建模是基于遞歸增量實現(xiàn)的，因此其建模復(fù)雜度隨階數(shù)線性增長而非階乘級增長；

11、s3.使用完備性高階關(guān)系聚合高階特征；

12、s3.1?遵循圖卷積的范式，通過鄰接矩陣聚合節(jié)點特征，其中h為參數(shù)矩陣，a為鄰接矩陣，與分別為節(jié)點輸入特征和節(jié)點輸出特征，采用s2中建模的關(guān)節(jié)點或單人之間的完備性高階關(guān)系作為鄰接矩陣a聚合骨架中關(guān)節(jié)點或者群體中單人的節(jié)點原始特征，求得骨架中關(guān)節(jié)點或群體中單人的節(jié)點高階特征；e比a多了 o和 ce維度，因此執(zhí)行圖卷積需要做出適配，將 o作為批處理維度來獨立生成個體的各階特征，對 ce維適配有兩種方式：一是進行通道公共聚合，即f的所有通道都使用一個鄰接矩陣來執(zhí)行特征聚合，具體來說是將e的 ce維進行池化得到，將作為 f所有通道的公共鄰接矩陣進行聚合，二是進行通道獨立聚合，即 f的每個通道分別使用該通道特有的鄰接矩陣來執(zhí)行特征聚合，具體來說是將e的ce維向f的c維進行維度轉(zhuǎn)換得到，將在c維上做切分再將其分配到f的各個通道進行通道獨立的特征聚合；

13、s3.2?在求得骨架中關(guān)節(jié)點或群體中單人的節(jié)點高階特征后，使用一個階數(shù)壓縮矩陣壓縮階數(shù)維度，得到骨架中關(guān)節(jié)點或群體中單人的節(jié)點高級特征，整個過程對應(yīng)于圖1中3區(qū)域，此時的高級特征具有判別性且包含豐富的信息量，能夠有效提升基于骨架的動作識別或群體行為識別的性能。

14、所述步驟s1中，一階關(guān)系建模函數(shù)有兩種實現(xiàn)形式：一是使用一個消息函數(shù)進行個體間互信息的發(fā)掘，關(guān)節(jié)點i與關(guān)節(jié)點j或單人i與單人j之間的關(guān)系為它們之間的消息，二是使用多頭自注意力機制來進行個體間相關(guān)性的探索，將頭數(shù)設(shè)置為ce，關(guān)節(jié)點i和關(guān)節(jié)點j或單人i與單人j之間的關(guān)系為它們之間的多頭相關(guān)性。

15、所述步驟s2.2中，一階依賴生成函數(shù)有三種實現(xiàn)形式：一是使用一個消息函數(shù)進行一階元間互信息的發(fā)掘，第s個一階建模元和第 t個一階建模元之間的依賴是它們之間的消息，二是使用自注意力機制進行一階元間相關(guān)性的探索，第s個一階建模元和第 t個一階建模元之間的依賴是它們之間的相關(guān)性，三是直接將一階依賴設(shè)置為的全連接層，對于第s個一階建模元和第 t個一階建模元來說，它們之間的依賴是通過學(xué)習(xí)得到。

16、所述步驟s2.4中，i階依賴生成函數(shù)有三種實現(xiàn)形式：一是使用一個消息函數(shù)來進行i階元間互信息的發(fā)掘，第s個i階建模元和第 t個i階建模元之間的依賴是它們之間的消息，二是使用自注意力機制來進行i階元間相關(guān)性的探索，第s個i階建模元和第 t個i階建模元之間的依賴是它們之間的相關(guān)性，三是直接將i階依賴設(shè)置為的全連接層，對于第s個i階建模元和第 t個i階建模元來說，它們之間的依賴是通過學(xué)習(xí)得到，最后使用得到的i階完整的依賴聚合i階建模元，得到個體間的完備性i+1階關(guān)系

17、一種電子設(shè)備，包括一個或多個處理器；存儲器；一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執(zhí)行，所述一個或多個程序配置用于執(zhí)行如上所述的方法。

18、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如上所述的方法。

19、本發(fā)明的有益效果在于：

20、1.通過生成低階關(guān)系間完整的依賴來建模完備性高階關(guān)系，與僅僅建模低階關(guān)系相比，本發(fā)明可以更好地理解骨架中關(guān)節(jié)點或者群體中單人之間的復(fù)雜關(guān)系，提取到更寬泛、抽象的關(guān)節(jié)點特征或單人特征，與通過引入超邊來建模高階關(guān)系相比，本發(fā)明實現(xiàn)了高階關(guān)系的完備性建模，并不會丟失潛在的有用的高階項，因此維護并且豐富了高階特征；

21、2.通過基于遞歸的增量式建模實現(xiàn)了建模復(fù)雜度的簡化，與理論上的基于超邊的完備性高階關(guān)系建模相比，本發(fā)明有效利用了遞歸方式的自同性和迭代性，得到了與階數(shù)呈線性相關(guān)的高階關(guān)系的建模復(fù)雜度，從而避免了引入完備性超邊所帶來的階乘級復(fù)雜度；

22、3.將建模得到的關(guān)節(jié)點或單人間的高階關(guān)系作為圖卷積中的鄰接矩陣執(zhí)行圖卷積建模，使用完備性高階關(guān)系來聚合骨架中關(guān)節(jié)點或者群體中單人的原始特征，從而得到包含高階信息的骨架中關(guān)節(jié)點或者群體中單人的高級特征，這優(yōu)化了圖神經(jīng)網(wǎng)絡(luò)的建模過程，益于基于骨架的動作識別和群體行為識別任務(wù)。