本發(fā)明涉及計算機視覺技術(shù)，尤其是一種行走行為的預(yù)測方法和裝置、數(shù)據(jù)處理裝置和電子設(shè)備。

背景技術(shù)：

行人行走行為的建模是計算機視覺以及智能視頻監(jiān)控領(lǐng)域的重要問題。行人行走行為模型在很多領(lǐng)域可以進行重要應(yīng)用，例如：應(yīng)用于行走行為預(yù)測、行人檢測與跟蹤、人群行為分析、以及異常行為的檢測等。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種用于進行行人行走行為預(yù)測的技術(shù)方案。

根據(jù)本發(fā)明實施例的一個方面，提供一種行走行為的預(yù)測方法，包括：

對目標場景中至少一目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息；

將所述第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)CNN，由所述CNN輸出用于表示所述至少一目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息；

對所述第二偏移量信息進行解碼，獲得所述至少一目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

基于上述方法的另一個實施例中，所述偏移量信息具體為偏移量矩陣。

基于上述方法的另一個實施例中，所述目標場景為需要進行行走行為預(yù)測的目標對象所在的場景；

所述至少一個目標對象包括所述目標場景中的部分目標對象或者所有目標對象，所述至少一目標對象包括所述需要進行行走行為預(yù)測的目標對象。

基于上述方法的另一個實施例中，所述目標對象包括行人。

基于上述方法的另一個實施例中，所述行走行為信息或所述行走行為預(yù)測信息包括以下任意一種或多種：行走路徑信息、行走方向信息、行走速度信息。

基于上述方法的另一個實施例中，所述對目標場景中至少一個目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得第一偏移量矩陣包括：

分別獲取所述目標場景中各目標對象在歷史時間段M內(nèi)的行走行為信息；

分別針對各目標對象在歷史時間段M內(nèi)的行走行為信息，以一個位移向量表示目標對象在歷史時間段M內(nèi)的行走行為信息；

根據(jù)各目標對象的位移向量確定所述第一偏移量矩陣。

基于上述方法的另一個實施例中，所述CNN包括第一子CNN、按位相加單元和第二子CNN；

所述將所述第一偏移量矩陣輸入至CNN，由所述CNN輸出第二偏移量矩陣包括：

將所述第一偏移量矩陣作為第一子CNN的輸入，利用所述第一子CNN對所述至少一目標對象在歷史時間段M內(nèi)的行走行為信息進行分類，獲得行走行為特征圖；

利用按位相加單元，將預(yù)先設(shè)置的所述目標場景的位置信息圖與所述行走行為特征圖基于對應(yīng)位置相加，獲得場景行走行為信息；所述位置信息圖包括所述目標場景中空間結(jié)構(gòu)的位置信息；

將所述場景行走行為信息作為所述第二子CNN的輸入，利用所述第二子CNN分別確定所述至少一目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對所述第一偏移量矩陣的影響信息，并根據(jù)所述影響信息確定所述第二偏移量矩陣。

基于上述方法的另一個實施例中，還包括：

預(yù)先根據(jù)所述目標場景的空間結(jié)構(gòu)信息確定所述目標場景的位置信息圖。

基于上述方法的另一個實施例中，所述第一子CNN包括級聯(lián)的多個CNN層；所述第一子CNN中的每個CNN層分別包括多個卷積濾波器；和/或

所述第二子CNN包括級聯(lián)的多個CNN層；所述第二子CNN中的每個CNN層分別包括多個卷積濾波器。

基于上述方法的另一個實施例中，所述CNN還包括第一池化單元和第二池化單元；

所述獲得行走行為特征圖之后，還包括：利用第一池化單元，對所述行走行為特征圖進行最大值下采樣，獲得新行走行為特征圖，所述新行走行為特征圖的空間大小小于所述行走行為特征圖；

獲得所述第二偏移量矩陣之后，還包括：利用第二池化單元，對所述第二偏移量矩陣進行卷積上采樣，獲得與所述第一偏移量矩陣的大小相同的第二偏移量矩陣。

基于上述方法的另一個實施例中，對所述第二偏移量矩陣進行解碼，獲得所述至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息包括：

對所述第二偏移量矩陣進行解碼，獲得用于表示所述至少一目標對象在未來時間段M’內(nèi)的行走行為的位移向量；

分別獲取表示所述所有至少一對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息；

分別根據(jù)所述至少一目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息，獲取至少一目標對象在未來時間段M’內(nèi)的行走行為的預(yù)測信息。

基于上述方法的另一個實施例中，還包括：

預(yù)先對初始CNN進行網(wǎng)絡(luò)訓(xùn)練，獲得所述CNN，所述初始CNN包括：初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元。

基于上述方法的另一個實施例中，所述對初始CNN進行網(wǎng)絡(luò)訓(xùn)練，獲得所述CNN包括：

依次對初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元進行迭代訓(xùn)練，在當前訓(xùn)練單元的訓(xùn)練結(jié)果滿足預(yù)定收斂條件時對下一單元進行迭代訓(xùn)練。

基于上述方法的另一個實施例中，所述訓(xùn)練結(jié)果滿足預(yù)定收斂條件包括：

當前訓(xùn)練單元的輸出結(jié)預(yù)設(shè)輸出結(jié)果之間的偏差小于第一預(yù)設(shè)閾值；和/或

當前訓(xùn)練單元進行迭代訓(xùn)練的次數(shù)達到第二預(yù)設(shè)閾值。

根據(jù)本發(fā)明實施例的一個方面，提供一種行走行為的預(yù)測裝置，包括：

行為編碼單元，用于對目標場景中至少一個目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一個目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息；

深度神經(jīng)網(wǎng)絡(luò)CNN，用于接收所述第一偏移量信息進行處理，輸出用于表示所述至少一個目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息；

行為解碼單元，用于對所述第二偏移量信息進行解碼，獲得所述至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

基于上述裝置的另一個實施例中，所述偏移量信息具體為偏移量矩陣。

基于上述裝置的另一個實施例中，所述行走行為信息或所述行走行為預(yù)測信息包括以下任意一種或多種：行走路徑信息、行走方向信息、行走速度信息。

基于上述裝置的另一個實施例中，所述行為編碼單元具體用于：

分別獲取所述目標場景中各目標對象在歷史時間段M內(nèi)的行走行為信息；

分別針對各目標對象在歷史時間段M內(nèi)的行走行為信息，以一個位移向量表示目標對象在歷史時間段M內(nèi)的行走行為；

根據(jù)各目標對象的位移向量，確定所述第一偏移量矩陣。

基于上述裝置的另一個實施例中，所述CNN包括：

所述第一子CNN，用于接收所述第一偏移量矩陣，對所述至少一個目標對象在歷史時間段M內(nèi)的行走行為信息進行分類，獲得行走行為特征圖；

所述按位相加單元，用于將預(yù)先設(shè)置的所述目標場景的位置信息圖與所述行走行為特征圖基于對應(yīng)位置相加，獲得場景行走行為信息；所述位置信息圖包括所述目標場景中空間結(jié)構(gòu)的位置信息；

所述第二子CNN，用于接收所述場景行走行為信息，分別確定所述至少一個目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對所述第一偏移量矩陣的影響信息，，并根據(jù)所述影響信息確定。

基于上述裝置的另一個實施例中，所述第一子CNN包括級聯(lián)的多個CNN層；所述第一子CNN中每個CNN層中的各CNN層分別包括多個卷積濾波器；和/或

所述第二子CNN包括級聯(lián)的多個CNN層；所述第二子CNN中每個CNN層中的各CNN層分別包括多個卷積濾波器。

基于上述裝置的另一個實施例中，所述CNN還包括：

所述第一池化單元，用于對所述第一子CNN獲得的所述行走行為特征圖進行最大值下采樣，獲得新行走行為特征圖，所述新行走行為特征圖的空間大小小于所述行走行為特征圖；

所述第二池化單元，用于在所述第二子CNN獲得所述第二偏移量矩陣之后，對所述第二偏移量矩陣進行卷積上采樣，獲得與所述第一偏移量矩陣的大小相同的第二偏移量矩陣。

基于上述裝置的另一個實施例中，所述行為解碼單元具體用于：

對所述第二偏移量矩陣進行解碼，獲得用于表示所述至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量；

分別獲取表示所述至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息；

分別根據(jù)至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息，獲取至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

基于上述裝置的另一個實施例中，還包括：

網(wǎng)絡(luò)訓(xùn)練單元，用于對初始CNN進行網(wǎng)絡(luò)訓(xùn)練，獲得所述CNN，所述初始CNN包括：初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元。

基于上述裝置的另一個實施例中，所述網(wǎng)絡(luò)訓(xùn)練單元具體用于：

依次對初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元進行迭代訓(xùn)練，在當前訓(xùn)練單元的訓(xùn)練結(jié)果滿足預(yù)定收斂條件時對下一單元進行迭代訓(xùn)練。

根據(jù)本發(fā)明實施例的又一個方面，提供一種數(shù)據(jù)處理裝置，包括行走行為的預(yù)測裝置。

基于上述數(shù)據(jù)處理裝置的另一個實施例中，所述數(shù)據(jù)處理裝置包括進階精簡指令集機器ARM、中央處理單元CPU或圖形處理單元GPU。

根據(jù)本發(fā)明實施例的再一個方面，提供一種電子設(shè)備，包括上述實施例所述的數(shù)據(jù)處理裝置。

根據(jù)本發(fā)明實施例的再一個方面，提供的一種計算機存儲介質(zhì)，用于存儲計算機可讀取的指令，所述指令包括：

對目標場景中至少一目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息的指令；

將所述第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)CNN，由所述CNN輸出用于表示所述至少一目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息的指令；

對所述第二偏移量信息進行解碼，獲得所述至少一目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息的指令。

根據(jù)本發(fā)明實施例的再一個方面，提供一種計算機設(shè)備，包括：

存儲器，存儲可執(zhí)行指令；

一個或多個處理器，與存儲器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實施例的行走行為的預(yù)測方法對應(yīng)的操作。

基于本發(fā)明上述實施例提供的行走行為的預(yù)測方法和裝置、數(shù)據(jù)處理裝置和電子設(shè)備、計算機存儲介質(zhì)和計算機設(shè)備，提出了基于深度學(xué)習的方法，對目標場景中的至少一個目標對象在一個歷史時間段M內(nèi)的行走行為進行編碼，獲得用于表示該至少一個目標對象在歷史時間段M內(nèi)行走行為的第一偏移量信息并輸入CNN，獲得用于表示上述至少一個目標對象在未來時間段M’內(nèi)行走行為的第二偏移量信息；對第二偏移量信息進行解碼，獲取上述至少一個目標對象在未來時間段M’內(nèi)的行走行為。

本發(fā)明實施例考慮了目標對象過去一段時間的行走行為對其未來一段時間的行走行為的影響，因為同一場景中的各目標對象之間的行走行為可能會產(chǎn)生相互影響，本發(fā)明實施例同時考慮了同一場景中其他可能的目標對象(例如：行人)的行走行為對某一個目標對象(例如：需要預(yù)測未來行為行走的當前行人)的行走行為的影響，使得可能影響某一目標對象未來行走行為的因素能夠同時被考慮，使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；另，本發(fā)明實施例可以同時對場景內(nèi)至少一個目標對象的行走行為進行分析，一次給出上述至少一個目標對象未來的行走軌跡預(yù)測結(jié)果，預(yù)測效率高。

下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。

附圖說明

構(gòu)成說明書的一部分的附圖描述了本發(fā)明的實施例，并且連同描述一起用于解釋本發(fā)明的原理。

參照附圖，根據(jù)下面的詳細描述，可以更加清楚地理解本發(fā)明，其中：

圖1為本發(fā)明行走行為的預(yù)測方法一個實施例的流程圖。

圖2為本發(fā)明實施例中獲取第一偏移量矩陣的一個實施例的流程圖。

圖3為本發(fā)明實施例中獲取第二偏移量矩陣的一個實施例的流程圖。

圖4為本發(fā)明實施例中獲取所有目標對象在未來時間段M’內(nèi)的行走行為的一個實施例的流程圖。

圖5為本發(fā)明行走行為的預(yù)測方法另一個實施例的流程圖。

圖6為本發(fā)明實施例中進行CNN網(wǎng)絡(luò)訓(xùn)練一個實施例的流程圖。

圖7為本發(fā)明行走行為的預(yù)測裝置一個實施例的結(jié)構(gòu)示意圖。

圖8為本發(fā)明行走行為的預(yù)測裝置另一個實施例的結(jié)構(gòu)示意圖。

圖9為本發(fā)明電子設(shè)備一個應(yīng)用實施例的結(jié)構(gòu)示意圖。

具體實施方式

現(xiàn)在將參照附圖來詳細描述本發(fā)明的各種示例性實施例。應(yīng)注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數(shù)字表達式和數(shù)值不限制本發(fā)明的范圍。

同時，應(yīng)當明白，為了便于描述，附圖中所示出的各個部分的尺寸并不是按照實際的比例關(guān)系繪制的。

以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發(fā)明及其應(yīng)用或使用的任何限制。

對于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細討論，但在適當情況下，所述技術(shù)、方法和設(shè)備應(yīng)當被視為說明書的一部分。

應(yīng)注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步討論。

本發(fā)明實施例可以應(yīng)用于計算機系統(tǒng)/服務(wù)器，其可與眾多其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置一起操作。適于與計算機系統(tǒng)/服務(wù)器一起使用的眾所周知的計算系統(tǒng)、環(huán)境和/或配置的例子包括但不限于：個人計算機系統(tǒng)、服務(wù)器計算機系統(tǒng)、瘦客戶機、厚客戶機、手持或膝上設(shè)備、基于微處理器的系統(tǒng)、機頂盒、可編程消費電子產(chǎn)品、網(wǎng)絡(luò)個人電腦、小型計算機系統(tǒng)﹑大型計算機系統(tǒng)和包括上述任何系統(tǒng)的分布式云計算技術(shù)環(huán)境，等等。

計算機系統(tǒng)/服務(wù)器可以在由計算機系統(tǒng)執(zhí)行的計算機系統(tǒng)可執(zhí)行指令(諸如程序模塊)的一般語境下描述。通常，程序模塊可以包括例程、程序、目標程序、組件、邏輯、數(shù)據(jù)結(jié)構(gòu)等等，它們執(zhí)行特定的任務(wù)或者實現(xiàn)特定的抽象數(shù)據(jù)類型。計算機系統(tǒng)/服務(wù)器可以在分布式云計算環(huán)境中實施，分布式云計算環(huán)境中，任務(wù)是由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備執(zhí)行的。在分布式云計算環(huán)境中，程序模塊可以位于包括存儲設(shè)備的本地或遠程計算系統(tǒng)存儲介質(zhì)上。

在實現(xiàn)本發(fā)明的過程中，本發(fā)明人經(jīng)過研究發(fā)現(xiàn)，進行行人行走行為的建模是很復(fù)雜的，行人的行走行為能夠被很多因素所影響。一方面，行人的行走行為能被場景的結(jié)構(gòu)、場景中其他行走的行人、場景中靜止的行人、以及行人主觀上對目的地的選擇因素所影響；另一方面，場景中過去一段時間的行走模式也可能影響當前行人行為。然而，很多現(xiàn)有的行人行走行為建模的方法只局限于以上提到的一部分因素，并且利用一些簡化的模型或者能量函數(shù)對行人行為進行建模。

圖1為本發(fā)明行走行為的預(yù)測方法一個實施例的流程圖。如圖1所示，該實施例行走行為的預(yù)測方法包括：

102，對目標場景中至少目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示該至少一個目標對象在歷史時間段M內(nèi)行走行為的第一偏移量信息。

其中，目標場景為需要進行行走行為預(yù)測的目標對象所在的場景，例如車站、工廠等。

作為本發(fā)明各實施例的一個具體示例而非限制，本發(fā)明各實施例的目標對象具體是行人，另外也可以是其他一切需要進行行走行為預(yù)測的物體或動物，例如，電商倉庫中的商品搬運裝置(例如，機器人)。

104，將第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)(CNN)，由該CNN對該第一偏移量信息進行處理，輸出用于表示上述至少一個目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息。

106，對第二偏移量信息進行解碼，獲取上述至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

基于本發(fā)明上述實施例提供的行走行為的預(yù)測方法，提出了基于深度學(xué)習的方法，對目標場景中的至少一個目標對象在一個歷史時間段M內(nèi)的行走行為進行編碼，獲得用于表示該至少一個目標對象在歷史時間段M內(nèi)行走行為的第一偏移量信息并輸入CNN，獲得用于表示上述至少一個目標對象在未來時間段M’內(nèi)行走行為的第二偏移量信息；對第二偏移量信息進行解碼，獲取上述至少一個目標對象在未來時間段M’內(nèi)的行走行為。本發(fā)明實施例考慮了目標對象過去一段時間的行走行為對其未來一段時間的行走行為的影響，因為同一場景中的各目標對象之間的行走行為可能會產(chǎn)生相互影響，本發(fā)明實施例同時考慮了同一場景中其他可能的目標對象(例如：行人)的行走行為對某一個目標對象(例如：需要預(yù)測未來行為行走的當前行人)的行走行為的影響，使得可能影響某一目標對象未來行走行為的因素能夠同時被考慮，使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；另，本發(fā)明實施例可以同時對場景內(nèi)至少一個目標對象的行走行為進行分析，一次給出上述至少一個目標對象未來的行走軌跡預(yù)測結(jié)果，預(yù)測效率高。

在本發(fā)明各行走行為的預(yù)測方法實施例的另一個具體示例中，上述至少一目標對象包括需要進行行走行為預(yù)測的目標對象，需要進行行走行為預(yù)測的目標對象具體可以是一個，也可以是多個，即：本發(fā)明實施例可以實現(xiàn)同時對多個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測，一次完成對多個目標對象行走行為的預(yù)測任務(wù)，而不需要分別通過多次來完成多個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測，預(yù)測效率高。

本發(fā)明各行走行為的預(yù)測方法實施例中，偏移量信息，包括第一偏移量信息、第二偏移量信息，具體以矩陣形式表示，也稱為偏移量矩陣。為方便起見，本發(fā)明以下各實施例行走行為的預(yù)測方法中，以第一偏移量信息具體為第一偏移量矩陣、第二偏移量信息具體為第二偏移量矩陣為例進行說明，本領(lǐng)域技術(shù)人員基于本發(fā)明實施例的記載可以理解，偏移量信息以其他形式表示時的具體實現(xiàn)。

另外，上述至少一個目標對象可以包括目標場景中的部分目標對象或者所有目標對象。上述至少一個目標對象包括目標場景中的所有目標對象時，同時考慮了同一場景中其他所有目標對象(例如：行人)的行走行為對某一個目標對象(例如：需要預(yù)測未來行為行走的當前行人)的行走行為的影響，同時對場景中的所有目標對象進行預(yù)測，使得所有可能影響某一目標對象未來行走行為的因素能夠同時被考慮，使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；并且可以一次完成對所有目標對象行走行為的預(yù)測任務(wù)，從而全面預(yù)測目標場景中的每一個目標對象在未來時間段M’內(nèi)可能的行走行為。作為本發(fā)明各行走行為的預(yù)測方法實施例的又一個具體示例，行走行為信息或行走行為預(yù)測信息例如可以包括但不限于以下任意一種或多種：行走路徑信息、行走方向信息、行走速度信息。其中，操作102中進編碼的行走行為信息與操作106中解碼獲得行走行為預(yù)測信息可以相同，也可以不同。例如，操作102中進編碼的行走行為信息可以是行走路徑信息，而操作106中解碼獲得行走行為預(yù)測信息可以是行走路徑信息，也可以是行走方向信息或行走速度信息，即：基于本發(fā)明實施例，可以通過目標場景中各目標對象在歷史時間段M內(nèi)行走行為信息預(yù)測目標場景中各目標對象在未來時間段M’內(nèi)的行走路徑信息、行走方向信息和/或行走速度信息。本發(fā)明如下實施例中，以操作102中進編碼的行走行為信息和操作106中解碼獲得的行走行為編碼信息是行走路徑信息為例進行說明，由于目標場景中所有目標對象包括上述至少一個目標對象，行走路徑信息可以按照單位時間采集，并且包含了方向信息，本領(lǐng)域技術(shù)人員基于本發(fā)明實施例的記載可以知悉，操作102中編碼的行走行為信息和操作106中解碼獲得行走行為預(yù)測信息為行走方向信息或行走速度信息時，本發(fā)明實施例同樣適用。

基于本發(fā)明實施例獲取的目標對象在未來時間段M’內(nèi)的行走路徑信息、行走方向信息、行走速度信息，可以獲知目標場景中各目標對象的行走軌跡，在不同時刻的行走快慢、何時轉(zhuǎn)彎等信息。圖2為本發(fā)明實施例中獲取第一偏移量矩陣的一個實施例的流程圖。如圖2所示，作為本發(fā)明行走行為的預(yù)測方法實施例的一個示例，操作102具體可以通過如下方式實現(xiàn)：

202，分別獲取目標場景中各目標對象在歷史時間段M內(nèi)的行走路徑信息。

204，分別針對各目標對象在歷史時間段M內(nèi)的行走路徑信息，以一個位移向量表示目標對象在歷史時間段M內(nèi)的行走行為信息，將該位移向量的值賦予該目標對象當前的位置。

206，根據(jù)各目標對象的位移向量確定第一偏移量矩陣。

例如，綜合各目標對象的位移向量，獲得第一偏移量矩陣。

在本發(fā)明的另一個實施例中，目標對象所在的位置被賦予將目標對象的位移向量的值，為了區(qū)分目標場景中有目標對象和無目標對象(即：目標場景中的背景)的位置，可以選擇性地將所有的位移向量中所有的元素都加1，以保證所有位移向量的元素都大于0，以區(qū)分目標場景中的目標對象和背景，有助于后續(xù)從目標場景中識別出目標對象。

在本發(fā)明各行走行為的預(yù)測方法實施例的又一個具體示例中，上述對第一偏移量矩陣進行處理的CNN具體可以包括第一子CNN、按位相加單元和第二子CNN。

圖3為本發(fā)明實施例中獲取第二偏移量矩陣的一個實施例的流程圖。如圖3所示，作為本發(fā)明行走行為的預(yù)測方法實施例的一個示例，操作104具體可以通過如下方式實現(xiàn)：

302，將第一偏移量矩陣作為第一子CNN的輸入，利用第一子CNN對上述至少一個目標對象在歷史時間段M內(nèi)的行走行為進行分類，獲得行走行為特征圖。

304，利用按位相加單元，將預(yù)先設(shè)置的目標場景的位置信息圖與行走行為特征圖基于對應(yīng)位置相加，獲得場景行走行為信息。

其中，位置信息圖包括目標場景中空間結(jié)構(gòu)的位置信息，此處的空間結(jié)構(gòu)具體可以是對目標場景中目標對象的行走行為產(chǎn)生影響的空間結(jié)構(gòu)，例如，目標場景的入口、出口的位置信息，目標場景中的障礙物的位置信息等，另外也可以是目標場景中的全部空間結(jié)構(gòu)該位置信息圖基于對目標場景樣本的訓(xùn)練獲得。

將目標場景的位置信息圖與行走行為特征圖基于對應(yīng)位置相加，獲得的場景行走行為信息便包含了整個目標場景的位置信息，從而考慮了目標場景中的各具體場景對目標對象行走行為的影響。

306，將場景行走行為信息作為第二子CNN的輸入，利用第二子CNN分別獲取上述至少一個目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對第一偏移量矩陣的影響信息，根據(jù)該信息確定第二偏移量矩陣，例如，綜合上述至少一個目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對第一偏移量矩陣的影響信息，獲得第二偏移量矩陣。

基于上述圖3所示實施例的進一步實施例中，還可以包括預(yù)先對目標場景的空間結(jié)構(gòu)信息進行建模，獲得目標場景的位置信息圖的操作。

在基于上述本發(fā)明各行走行為的預(yù)測方法實施例的進一步具體示例中，第一子CNN具體可以包括級聯(lián)的多個CNN層，例如三個CNN層；第一子CNN中三個CNN層中的各CNN層可以分別包括多個卷積濾波器，例如64個卷積濾波器；每個卷積濾波器的大小可以是3*3；和/或，第二子CNN具體也可以包括多個CNN層，例如三個CNN層；第二子CNN中多個CNN層中的各CNN層也可以分別包括多個卷積濾波器，例如64個卷積濾波器；每個卷積濾波器的大小可以是3*3。

示例性地，第一子CNN中的底層CNN層，可以對上述至少一個目標對象的行走行為進行粗略的劃分，例如，劃分為向上走的和向下走的目標對象；次底層CNN層，可以對底層CNN層粗略劃分的結(jié)果進行更進一步的劃分，例如，劃分為向左上、向正上、向右上的目標對象；上層CNN層，可以篩選出具有不同性質(zhì)的行走行為，例如：迅速奔跑的行人、迅速拐彎的行人。第一子CNN中，越向頂層，CNN層篩選出來的行走行為就會越具體。

第二子CNN可以對第一子CNN層的分類結(jié)果進行進一步的整理、整合，即：將具有每類行走行為的目標對象對需要進行行走行為預(yù)測的目標對象的影響進行整合，第二子CNN中的各CNN層按照每一小類行走行為進行信息融合，越向頂層融合度越高。例如，第二子CNN中的底層CNN層，可能會把所有向左上走的目標對象的影響綜合起來，次底層CNN層可能會把所有向左上、右上、正上走的目標對象的影響綜合起來，上層CNN層可能會把目標場景中所有目標對象的的行走行為綜合起來，得到第二子CNN的輸出結(jié)果。

即，第一子CNN中的各層CNN層和第二子CNN中的各層CNN層，完成了將所有目標對象的行走行為的逐步細分類，之后再逐步整合起來。

CNN的網(wǎng)絡(luò)結(jié)構(gòu)約復(fù)雜，即層數(shù)越多、參數(shù)越多，訓(xùn)練起來就會困難，容易導(dǎo)致網(wǎng)絡(luò)不收斂，且占用存儲資源；而網(wǎng)絡(luò)結(jié)構(gòu)約簡單，即層數(shù)越少、參數(shù)越少，計算、分析能力就會下降，無法保證處理性能。本發(fā)明人通過實驗嘗試發(fā)現(xiàn)，第一子CNN和第二子CNN三個CNN層時，可以同時保證網(wǎng)絡(luò)模型訓(xùn)練效果和處理性能，實現(xiàn)二者之間的均衡。

一般來說，卷積濾波器的個數(shù)是2的整數(shù)次冪，例如32、64、128。濾波器個數(shù)越多，網(wǎng)絡(luò)越復(fù)雜，處理能力越強，但是網(wǎng)絡(luò)訓(xùn)練時對樣本數(shù)量的要求也會比較多。本發(fā)明實施例中，各CNN層分別包括64個卷積濾波器，可以同時滿足網(wǎng)絡(luò)處理性能、網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性以及樣本數(shù)量方面的要求。

另外，上述CNN還可以包括第一池化單元和第二池化單元。在基于圖3所示行走行為的預(yù)測方法的又一個實施例中，通過操作302獲得行走行為特征圖之后，還可以利用第一池化單元(即：Max-Pooling層)，對行走行為特征圖進行最大值下采樣，獲得新行走行為特征圖，該新行走行為特征圖的空間大小小于行走行為特征圖。

相應(yīng)地，通過操作306獲得第二偏移量矩陣之后，還可以利用第二池化單元，對第二偏移量矩陣進行卷積上采樣，獲得與第一偏移量矩陣的大小相同的第二偏移量矩陣。

示例性地，第一偏移量矩陣的大小、以及位置信息圖與行走行為特征圖的空間大小可以表示為X*Y；最大值下采樣的一個示例性尺度例如是2，則新行走行為特征圖的空間大小為X/2*Y/2；卷積上采樣的尺度相應(yīng)也是2，進行卷積上采樣獲得的第二偏移量矩陣的大小又恢復(fù)為X*Y。

通過對行走行為特征圖進行最大值下采樣，可以縮小行走行為特征圖的大小，從而使得CNN可以處理更多的行走行為數(shù)據(jù)；在獲得第二偏移量矩陣后進行卷積上采樣，可以恢復(fù)為與原始空間大小相同的第二偏移量矩陣，從而使得本發(fā)明實施例最終獲得的行走行為輸出結(jié)果和輸入行走行為的空間大小一致。

位置信息圖與行走行為特征圖的大小一致，可以實現(xiàn)將目標場景的位置信息圖與行走行為特征圖基于對應(yīng)位置的相加。例如：行走行為特征圖的最大值上采樣結(jié)果是1 2 3 4 5 6,位置信息圖是111111，則二者相加的結(jié)果為：1+1 2+1 3+1 4+1 5+1 6+1＝2 3 4 5 6 7。

圖4為本發(fā)明實施例中獲取所有目標對象在未來時間段M’內(nèi)的行走行為的一個實施例的流程圖。如圖4所示，在基于上述本發(fā)明各行走行為的預(yù)測方法實施例的又一個具體示例中，操作106具體可以通過如下方式實現(xiàn)：

402，對第二偏移量矩陣進行解碼，獲得用于表示上述至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量。

404，分別獲取表示上述至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走路徑信息。

406，分別根據(jù)上述至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走路徑信息，獲取上述至少一個目標對象在未來時間段M’內(nèi)的行走行為。

圖5為本發(fā)明行走行為的預(yù)測方法另一個實施例的流程圖。本發(fā)明實施例以目標對象為行人、將目標場景中所有目標對象在歷史時間段M內(nèi)行走行為信息作為第一偏移量矩陣的輸入、行走行為信息為行走路徑信息為例，對本發(fā)明上述各實施例的具體實現(xiàn)進行進一步說明。如圖5所示，該實施例包括：

502，分別獲取目標場景中各目標對象在歷史時間段M內(nèi)的行走路徑信息。

504，分別針對各目標對象在歷史時間段M內(nèi)的行走路徑信息，以一個位移向量表示目標對象在歷史時間段M內(nèi)的行走路徑信息。

506，綜合各目標對象的位移向量，獲得第一偏移量矩陣。

508，將第一偏移量矩陣輸入第一子CNN，利用第一子CNN對所有目標對象在歷史時間段M內(nèi)的行走路徑信息進行分類，獲得行走行為特征圖。

510，利用第一池化單元，對行走行為特征圖進行最大值下采樣，獲得新行走行為特征圖，該新行走行為特征圖的空間大小小于行走行為特征圖。

512，利用按位相加單元，將預(yù)先設(shè)置的目標場景的位置信息圖與行走行為特征圖基于對應(yīng)位置相加，獲得場景行走行為信息。

其中，位置信息圖包括目標場景中可能對行人行走行為有影響的空間結(jié)構(gòu)的位置信息。

514，將場景行走行為信息輸入第二子CNN，利用第二子CNN，分別確定所有目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對第一偏移量矩陣的影響信息，綜合所有目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對第一偏移量矩陣的影響信息，獲得第二偏移量矩陣。

516，利用第二池化單元，對第二偏移量矩陣進行卷積上采樣，獲得與第一偏移量矩陣的大小相同的第二偏移量矩陣。

518，對第二偏移量矩陣進行解碼，獲得用于表示所有目標對象在未來時間段M’內(nèi)的行走行為的位移向量。

520，分別獲取表示所有目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走路徑信息。

522，分別根據(jù)所有目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走路徑信息，獲取目標場景中的所有目標對象在未來時間段M’內(nèi)的行走路徑。

進一步地，在本發(fā)明行走行為的預(yù)測方法的又一個實施例中，還可以包括對初始CNN進行網(wǎng)絡(luò)訓(xùn)練，獲得上述CNN的操作。其中的初始CNN包括如下單元：初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元。

在一個具體實例中，可以依次對初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元進行迭代訓(xùn)練，在當前訓(xùn)練單元的訓(xùn)練結(jié)果滿足預(yù)定收斂條件時對下一單元進行迭代訓(xùn)練。

其中，訓(xùn)練結(jié)果滿足預(yù)定收斂條件，例如可以是：當前訓(xùn)練單元的輸出結(jié)預(yù)設(shè)輸出結(jié)果之間的偏差小于第一預(yù)設(shè)閾值；和/或，當前訓(xùn)練單元進行迭代訓(xùn)練的次數(shù)達到第二預(yù)設(shè)閾值。

圖6為本發(fā)明實施例中進行CNN網(wǎng)絡(luò)訓(xùn)練一個實施例的流程圖。如圖6所示，該實施例中，具體采用如下方式對初始CNN進行網(wǎng)絡(luò)訓(xùn)練：

602，對初始CNN中的初始第一子CNN進行網(wǎng)絡(luò)訓(xùn)練。

604，響應(yīng)于初始第一子CNN的訓(xùn)練結(jié)果滿足預(yù)先設(shè)置的收斂條件，由初始第一子CNN獲得第一子CNN，保持第一子CNN的網(wǎng)絡(luò)參數(shù)不變，開始對初始第二子CNN進行網(wǎng)絡(luò)訓(xùn)練。

606，響應(yīng)于初始第二子CNN的訓(xùn)練結(jié)果滿足預(yù)先設(shè)置的收斂條件，由初始第二子CNN獲得第二子CNN，保持第一子CNN和第二子CNN的網(wǎng)絡(luò)參數(shù)不變，開始對初始第一池化單元和初始第二池化單元進行網(wǎng)絡(luò)訓(xùn)練。

608，響應(yīng)于初始第一池化單元和初始第二池化單元的訓(xùn)練結(jié)果滿足預(yù)先設(shè)置的收斂條件，分別由初始第一池化單元和初始第二池化單元獲得第一池化單元和第二池化單元，保持持第一子CNN、第二子CNN、第一池化單元和第二池化單元的網(wǎng)絡(luò)參數(shù)不變，開始對初始按位相加單元進行網(wǎng)絡(luò)訓(xùn)練。

由于第一池化單元會將行走行為特征圖的大小減小，第二池化單元會將輸入信息恢復(fù)為與原始空間大小相同的信息，同時對初始第一池化單元和初始第二池化單元進行訓(xùn)練，保證了本發(fā)明實施例最終獲得的行走行為輸出結(jié)果和輸入行走行為的空間大小一致。

610，響應(yīng)于初始按位相加單元的訓(xùn)練結(jié)果滿足預(yù)先設(shè)置的收斂條件，初始按位相加單元獲得按位相加單元，保持持第一子CNN、第二子CNN、第一池化單元、第二池化單元和按位相加單元的網(wǎng)絡(luò)參數(shù)不變，完成對初始CNN的網(wǎng)絡(luò)訓(xùn)練，獲得CNN。

通過上述實施例，依次訓(xùn)練初始第一子CNN，初始第二子CNN，初始第一池化單元和初始第二池化單元，初始按位相加單元，在每一層收斂后保持已訓(xùn)練好的網(wǎng)絡(luò)層的網(wǎng)絡(luò)參數(shù)不變，再逐步增加對下一次序網(wǎng)絡(luò)層的訓(xùn)練，在訓(xùn)練樣本錯誤率已經(jīng)不能繼續(xù)下降時，說明已經(jīng)收斂條件，需要進行下一步訓(xùn)練，才能使得錯誤率進一步下降，使得訓(xùn)練過程更加穩(wěn)定，不會導(dǎo)致加入新的網(wǎng)絡(luò)層后破壞之前訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)。

本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括：ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

圖7為本發(fā)明行走行為的預(yù)測裝置一個實施例的結(jié)構(gòu)示意圖。該實施例的裝置可用于實現(xiàn)本發(fā)明上述各行走行為的預(yù)測方法實施例。如圖7所示，該實施例的行走行為的預(yù)測裝置包括：行為編碼單元，CNN和行為解碼單元。其中：

行為編碼單元，用于對目標場景中至少一個目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示至少一個目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息。

其中，目標場景為需要進行行走行為預(yù)測的目標對象所在的場景，例如車站、工廠等。上述至少一目標對象包括需要進行行走行為預(yù)測的目標對象，需要進行行走行為預(yù)測的目標對象具體可以是一個，也可以是多個，即：本發(fā)明實施例可以實現(xiàn)同時對多個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測，一次完成對多個目標對象行走行為的預(yù)測任務(wù)。另外，上述至少一個目標對象可以包括目標場景中的部分目標對象或者所有目標對象。作為本發(fā)明各實施例的一個具體示例而非限制，本發(fā)明各實施例的目標對象具體是行人，另外也可以是其他一切需要進行行走行為預(yù)測的物體或動物。其中的行走行為信息或者行走行為預(yù)測信息例如可以包括但不限于以下任意一種或多種：行走路徑信息、行走方向信息、行走速度信息。示例性地，行為編碼單元具體可用于：分別獲取目標場景中各目標對象在歷史時間段M內(nèi)的行走行為信息；分別針對各目標對象在歷史時間段M內(nèi)的行走行為信息，以一個位移向量表示目標對象在歷史時間段M內(nèi)的行走行為信息；以及根據(jù)各目標對象的位移向量，確定第一偏移量信息。

深度神經(jīng)網(wǎng)絡(luò)CNN，用于接收第一偏移量信息，輸出用于表示至少一個目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息。

行為解碼單元，用于對第二偏移量信息進行解碼，獲取至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。其中的行走行為預(yù)測信息例如可以包括但不限于以下任意一種或多種：行走路徑信息、行走方向信息、行走速度信息。

示例性地，行為解碼單元具體可用于：對第二偏移量信息進行解碼，獲得用于表示至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量；分別獲取表示至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息；以及分別根據(jù)至少一個目標對象在未來時間段M’內(nèi)的行走行為的位移向量對應(yīng)的行走行為信息，獲取至少一個目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

基于本發(fā)明上述實施例提供的行走行為的預(yù)測裝置，對目標場景中的至少一個目標對象在一個歷史時間段M內(nèi)的行走行為進行編碼，獲得用于表示該至少一個目標對象在歷史時間段M內(nèi)行走行為的第一偏移量信息并輸入CNN，獲得用于表示上述至少一個目標對象在未來時間段M’內(nèi)行走行為的第二偏移量信息；對第二偏移量信息進行解碼，獲取上述至少一個目標對象在未來時間段M’內(nèi)的行走行為。本發(fā)明實施例考慮了目標對象過去一段時間的行走行為對其未來一段時間的行走行為的影響，因為同一場景中的各目標對象之間的行走行為可能會產(chǎn)生相互影響，本發(fā)明實施例同時考慮了同一場景中其他可能的目標對象(例如：行人)的行走行為對某一個目標對象(例如：需要預(yù)測未來行為行走的當前行人)的行走行為的影響，使得可能影響某一目標對象未來行走行為的因素能夠同時被考慮，使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；另，本發(fā)明實施例可以同時對場景內(nèi)至少一個目標對象的行走行為進行分析，一次給出上述至少一個目標對象未來的行走軌跡預(yù)測結(jié)果，預(yù)測效率高。

本發(fā)明各行走行為的預(yù)測裝置實施例中，偏移量信息，包括第一偏移量信息、第二偏移量信息，具體以矩陣形式表示，也稱為偏移量矩陣。為方便起見，本發(fā)明以下各實施例行走行為的預(yù)測裝置中，以第一偏移量信息具體為第一偏移量矩陣、第二偏移量信息具體為第二偏移量矩陣為例進行說明，本領(lǐng)域技術(shù)人員基于本發(fā)明實施例的記載可以理解，偏移量信息以其他形式表示時的具體實現(xiàn)。

圖8為本發(fā)明行走行為的預(yù)測裝置另一個實施例的結(jié)構(gòu)示意圖。如圖8所示，與圖7所示實施例相比，該實施例中的CNN包括：第一子CNN，按位相加單元和第二子CNN。其中：

第一子CNN，用于接收第一偏移量矩陣，對上述至少一個目標對象在歷史時間段M內(nèi)的行走行為信息進行分類，獲得行走行為特征圖。

示例性地，第一子CNN具體可以包括多個CNN層，例如三個CNN層；第一子CNN中多個CNN層中的各CNN層可以分別包括多個卷積濾波器，例如64個卷積濾波器，每個卷積濾波器的大小可以為3*3。

按位相加單元，用于將預(yù)先設(shè)置的目標場景的位置信息圖與行走行為特征圖基于對應(yīng)位置相加，獲得場景行走行為信息；位置信息圖包括目標場景中空間結(jié)構(gòu)的位置信息，此處的空間結(jié)構(gòu)具體可以是對目標場景中目標對象的行走行為產(chǎn)生影響的空間結(jié)構(gòu)，例如目標場景中的障礙物、出入口等；也可以是目標場景中的全部空間結(jié)構(gòu)。

第二子CNN，用于接收場景行走行為信息，分別確定上述至少一個目標對象在歷史時間段M內(nèi)的各類行走行為在未來時間段M’內(nèi)對第一偏移量矩陣的影響信息，并根據(jù)‘該影響信息確定第二偏移量矩陣。

示例性地，第二子CNN具體也可以包括多個CNN層，例如三個CNN層；第二子CNN中多個CNN層中的各CNN層可以分別包括多個卷積濾波器，例如64個卷積濾波器，每個卷積濾波器的大小可以為3*3。

進一步地，再參見圖8，在本發(fā)明行走行為的預(yù)測裝置的又一個實施例中，CNN還可以包括第一池化單元和第二池化單元。其中：

第一池化單元，用于對第一子CNN獲得的行走行為特征圖進行最大值下采樣，獲得新行走行為特征圖，該新行走行為特征圖的空間大小小于行走行為特征圖。

第二池化單元，用于在第二子CNN獲得第二偏移量矩陣之后，對第二偏移量矩陣進行卷積上采樣，獲得與第一偏移量矩陣的大小相同的第二偏移量矩陣。

例如，第一偏移量矩陣的大小、以及位置信息圖與行走行為特征圖的空間大小可以表示為X*Y；在一個具體示例中，最大值下采樣的尺度是2，則新行走行為特征圖的空間大小為X/2*Y/2；卷積上采樣的尺度是2，進行卷積上采樣獲得的第二偏移量矩陣的大小又恢復(fù)為X*Y。

進一步地，在本發(fā)明上述各行走行為的預(yù)測裝置的再一個實施例中，還可以包括網(wǎng)絡(luò)訓(xùn)練單元，用于對初始CNN進行網(wǎng)絡(luò)訓(xùn)練，獲得CNN。其中的初始CNN包括如下單元：初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元。在一個具體實例中，網(wǎng)絡(luò)訓(xùn)練單元具體可用于依次對初始第一子CNN、初始第二子CNN、初始第一池化單元和初始第二池化單元、初始按位相加單元進行迭代訓(xùn)練，在當前訓(xùn)練單元的訓(xùn)練結(jié)果滿足預(yù)定收斂條件時對下一單元進行迭代訓(xùn)練。

進一步示例性地，該網(wǎng)絡(luò)訓(xùn)練單元具體可用于通過圖6所示的方式對初始CNN進行網(wǎng)絡(luò)訓(xùn)練。

本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，包括本發(fā)明上述任一實施例提供的行走行為的預(yù)測裝置。

具體地，本發(fā)明實施例的數(shù)據(jù)處理裝置可以是任意具有數(shù)據(jù)處理功能的裝置，例如可以包括但不限于：進階精簡指令集機器(ARM)、中央處理單元(CPU)或圖形處理單元(GPU)等。

基于本發(fā)明上述實施例提供的數(shù)據(jù)處理裝置，包括本發(fā)明上述任一實施例提供的行走行為的預(yù)測裝置，考慮了目標對象過去一段時間的行走行為對其未來一段時間的行走行為的影響，同時考慮了同一場景中其他可能的目標對象的行走行為對某一個目標對象的行走行為的影響，同時對場景中的至少一個目標對象進行預(yù)測，使得至少一個可能影響某一目標對象未來行走行為的因素能夠同時被考慮使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；另，本發(fā)明實施例同時對場景內(nèi)至少一個目標對象的行走行為進行分析，能夠統(tǒng)一給出至少一個目標對象未來的行走軌跡預(yù)測結(jié)果，并不是基于單個目標對象進行預(yù)測的，預(yù)測效率高，能夠一次完成對至少一個目標對象行走行為的預(yù)測任務(wù)。

另外，本發(fā)明實施例還提供了一種電子設(shè)備，例如可以是移動終端、個人計算機(PC)、平板電腦、服務(wù)器等，該電子設(shè)備設(shè)置有本發(fā)明上述任一實施例的數(shù)據(jù)處理裝置。

基于本發(fā)明上述實施例提供的電子設(shè)備，包括本發(fā)明上述數(shù)據(jù)處理裝置，從而包括本發(fā)明上述任一實施例提供的行走行為的預(yù)測裝置，考慮了目標對象過去一段時間的行走行為對其未來一段時間的行走行為的影響，同時考慮了同一場景中其他可能的目標對象的行走行為對某一個目標對象的行走行為的影響，同時對場景中的至少一個目標對象進行預(yù)測，使得至少一個可能影響某一目標對象未來行走行為的因素能夠同時被考慮使得對目標對象在未來一段時間內(nèi)行走行為的預(yù)測更加準確、可靠；另，本發(fā)明實施例同時對場景內(nèi)至少一個目標對象的行走行為進行分析，能夠統(tǒng)一給出至少一個目標對象未來的行走軌跡預(yù)測結(jié)果，并不是基于單個目標對象進行預(yù)測的，預(yù)測效率高，能夠一次完成對至少一個目標對象行走行為的預(yù)測任務(wù)。

圖9為本發(fā)明電子設(shè)備一個應(yīng)用實施例的結(jié)構(gòu)示意圖。如圖9所示，用于實現(xiàn)本發(fā)明實施例的電子設(shè)備包括中央處理單元(CPU)或者圖形處理單元(GPU)，其可以根據(jù)存儲在只讀存儲器(ROM)中的可執(zhí)行指令或者從存儲部分加載到隨機訪問存儲器(RAM)中的可執(zhí)行指令而執(zhí)行各種適當?shù)膭幼骱吞幚怼Ｖ醒胩幚韱卧蛘邎D形處理單元可與只讀存儲器和/或隨機訪問存儲器中通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明實施例提供的行走行為的預(yù)測方法對應(yīng)的操作，例如：對目標場景中至少一目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息；將所述第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)CNN，由所述CNN輸出用于表示所述至少一目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息；對所述第二偏移量信息進行解碼，獲得所述至少一目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息。

此外，在RAM中，還可存儲有系統(tǒng)操作所需的各種程序和數(shù)據(jù)。CPU、GPU、ROM以及RAM通過總線彼此相連。輸入/輸出(I/O)接口也連接至總線。

以下部件連接至I/O接口：包括鍵盤、鼠標等的輸入部分；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分；包括硬盤等的存儲部分；以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分。通信部分經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器也根據(jù)需要連接至I/O接口?？刹鹦督橘|(zhì)，諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等，根據(jù)需要安裝在驅(qū)動器上，以便于從其上讀出的計算機程序根據(jù)需要被安裝入存儲部分。

特別地，根據(jù)本公開的實施例，上文參考流程圖描述的過程可以被實現(xiàn)為計算機軟件程序。例如，本公開的實施例包括一種計算機程序產(chǎn)品，其包括有形地包含在機器可讀介質(zhì)上的計算機程序，計算機程序包含用于執(zhí)行流程圖所示的方法的程序代碼，所述程序代碼可包括對應(yīng)執(zhí)行本發(fā)明實施例提供的任一項行走行為的預(yù)測方法步驟對應(yīng)的指令，例如，對目標場景中至少一目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息的指令；將所述第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)CNN，由所述CNN輸出用于表示所述至少一目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息的指令；對所述第二偏移量信息進行解碼，獲得所述至少一目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息的指令。該計算機程序可以通過通信部分從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)被安裝。在該計算機程序被中央處理單元(CPU)或圖形處理單元(GPU)執(zhí)行時，執(zhí)行本發(fā)明的方法中限定的上述功能。

本發(fā)明實施例還提供了一種計算機存儲介質(zhì)，用于存儲計算機可讀取的指令，所述指令包括：對目標場景中至少一目標對象在一個歷史時間段M內(nèi)的行走行為信息進行編碼，獲得用于表示所述至少一目標對象在歷史時間段M內(nèi)行走行為信息的第一偏移量信息的指令；將所述第一偏移量信息輸入至深度神經(jīng)網(wǎng)絡(luò)CNN，由所述CNN輸出用于表示所述至少一目標對象在未來時間段M’內(nèi)行走行為信息的第二偏移量信息的指令；對所述第二偏移量信息進行解碼，獲得所述至少一目標對象在未來時間段M’內(nèi)的行走行為預(yù)測信息的指令。

另外，本發(fā)明實施例還提供了一種計算機設(shè)備，包括：

存儲器，存儲可執(zhí)行指令；

一個或多個處理器，與存儲器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實施例的行走行為的預(yù)測方法對應(yīng)的操作。

本發(fā)明實施例進行行走行為預(yù)測的技術(shù)方案，例如可以應(yīng)用于如下場景：

1，可用于對視頻監(jiān)控下的場景中，所有行人的未來的行走行為進行預(yù)測；

2，可將本發(fā)明實施例的行走行為預(yù)測結(jié)果作為CNN的輸入，預(yù)測更長時間內(nèi)目標場景中所有行人的行走行為；

具體來說，可以迭代本發(fā)明各行走行為的預(yù)測方法實施例的流程，將輸出的在未來時間段M’內(nèi)的行走行為預(yù)測信息進一步編碼，之后再輸入到CNN，再對第二偏移量矩陣進行解碼輸出，就能得到更長時間之后的行人行走行為的預(yù)測結(jié)果。

3，可利用本發(fā)明實施例的行走行為預(yù)測結(jié)果，估計一段時間之后目標場景中所有行人的位置信息；

4，可以利用一段時間之后目標場景中所有行人的位置信息，可以利用該信息修正跟蹤算法中出現(xiàn)的錯誤，幫助取得更好的跟蹤結(jié)果；

具體來說，因為大部分跟蹤算法在跟蹤算法可信度不高時，是依據(jù)行人的外觀信息進行匹配并找到未來的行人的。跟蹤算法經(jīng)常會把過去一段時間內(nèi)a行人的行走軌跡與未來一段時間內(nèi)b行人的軌跡錯誤的鏈接起來。借助于本發(fā)明實施例對行人行走路徑的預(yù)測，可以綜合考慮將行人的外觀以及行走路徑的預(yù)測結(jié)果，使得結(jié)果更加準確。當跟蹤算法的結(jié)果可信度不高時，可以利用行人行走軌跡的預(yù)測信息輔助找回當前需要跟蹤的行人。

5，可以利用本算法，對場景中發(fā)生的一些異常行為進行檢測。

由于本發(fā)明實施例可以根據(jù)過去一段時間內(nèi)目標場景中行人的行走路線，對這些行人未來的行走路線以及目的地進行預(yù)測。當發(fā)現(xiàn)這個行人真正的行走路線與預(yù)測結(jié)果不符合的時候，或者這個行人的目的地與預(yù)測的目的地很不一致的時候，說明這個行人的行走行為已經(jīng)超出了預(yù)期，可以推行這個行人出現(xiàn)了異常的行為，例如，突然轉(zhuǎn)彎，突然加速跑，或者突然停止等。

本發(fā)明實施例具有以下有益技術(shù)效果：

為了能將深度學(xué)習的框架應(yīng)用到行人行為的建模中來，我們提出了行為編碼概念，利用行為編碼，可以將行人行走行為信息沒有歧義的編碼成深度神經(jīng)網(wǎng)絡(luò)的輸入輸出，這種編碼方式能夠很容易的擴展到其他的領(lǐng)域；

利用深度學(xué)習技術(shù)，使得行人行走行為預(yù)測的結(jié)果更加準確，能夠更好地對各種影響因素進行綜合分析；

另外，現(xiàn)有的很多方法只能進行單目標的行人行為預(yù)測，本發(fā)明實施例能夠同時對目標場景內(nèi)的至少一個行人、甚至全部行人的行走行為進行預(yù)測分析。

本說明書中各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對于系統(tǒng)、裝置、設(shè)備實施例而言，由于其與方法實施例基本對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

可能以許多方式來實現(xiàn)本發(fā)明的方法、系統(tǒng)、裝置和設(shè)備。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實現(xiàn)本發(fā)明的方法、系統(tǒng)、裝置和設(shè)備。用于所述方法的步驟的上述順序僅是為了進行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發(fā)明實施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實現(xiàn)根據(jù)本發(fā)明的方法的機器可讀指令。因而，本發(fā)明還覆蓋存儲用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實施例是為了更好說明本發(fā)明的原理和實際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計適于特定用途的帶有各種修改的各種實施例。