本發(fā)明涉及計算機視覺技術，尤其是一種跨線計數方法和深度神經網絡訓練方法、裝置和電子設備。

背景技術：

視頻中的人群自動計數技術在人群流量監(jiān)控和公共安全等方面發(fā)揮著越來越重要的作用，尤其是跨線計數方法，可以幫助人們實時統計關鍵道路或進出口的人流量，進而給出一個區(qū)域內的人群總數的估計。

當前主流的跨線計數方法都是基于時序切片圖像(Temporal Slice)的方法。所謂的時序切片的方法是指將視頻每幀提取的線上的像素向量(彩色圖像是三通道向量)在時間維進行累積，形成一個時序切片的二維圖像，然后直接利用人工標記的跨線人數作為監(jiān)督信號，基于這一時序切片圖像學習一個回歸模型，估計時序切片圖像中的人群數量，從而得到一定時段內的跨線人數。

技術實現要素：

本發(fā)明實施例提供一種跨線計數的技術方案。

根據本發(fā)明實施例的一個方面，提供的一種跨線計數方法，包括：

向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由所述深度神經網絡輸出所述多個原始幀圖像的人群計數圖；所述人群計數圖中包括幀圖像中各位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在二維坐標平面的計數方向通過的人數；

分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個計數方向通過所述LOI的人數；

分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數。

基于上述跨線計數方法的另一實施例中，所述計數方向包括二維坐標平面的兩個坐標方向。

基于上述跨線計數方法的另一實施例中，所述獲取當前幀圖像分別從至少一個方向通過所述LOI的人數包括：獲取當前幀圖像分別從兩個方向通過所述LOI的人數；

所述分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數包括:

分別累積所述兩個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述兩個方向上的單向跨線人數。

基于上述跨線計數方法的另一實施例中，所述向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像之后，還包括：

所述深度神經網絡依次從所述視頻中與待分析時間段T對應的多個原始幀圖像中，順序抽取至少兩幀圖像，以所述至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群計數圖。

基于上述跨線計數方法的另一實施例中，所述生成當前幀圖像的人群計數圖包括：

向所述深度神經網絡輸入所述多個原始幀圖像，由所述深度神經網絡中的卷積神經網絡，生成當前幀圖像的人群密度圖和人群速度圖；所述人群密度圖用于表示當前幀圖像中各位置的人群密度，所述人群速度圖用于表示當前幀圖像中各行人從相鄰的前幀圖像移動到當前幀圖像的速度；

向所述深度神經網絡中的元素相乘網絡輸入所述當前幀圖像的人群密度圖和人群速度圖，由所述元素相乘網絡將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘，獲得所述當前幀圖像的人群計數圖。

基于上述跨線計數方法的另一實施例中，獲取當前幀圖像分別從兩個方向通過所述LOI的人數包括：

分別將所述人群計數圖中在所述LOI上各位置的計數向量在所述LOI的法線方向進行投影，獲得所述LOI上各位置的標量值，所述標量值的正負表示所述LOI的兩個跨線方向；

分別對所述LOI上的正標量值和負標量值進行累加，獲得當前幀圖像在所述LOI上的兩個方向分別通過的人數。

基于上述跨線計數方法的另一實施例中，還包括：

對所述LOI在所述兩個方向上的單向跨線人數進行累加，獲得所述待分析時間段T內，通過所述LOI的跨線總人數。

根據本發(fā)明實施例的另一個方面，提供的一種深度神經網絡訓練方法，還包括：

將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡；所述初始深度神經網絡包括初始卷積神經網絡和初始元素相乘網絡。

基于上述深度神經網絡訓練方法的另一實施例中，所述多個原始幀圖像分別被標注人群密度圖和人群速度圖、人群計數圖；

所述將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件包括：

分別以所述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至所述初始卷積神經網絡，以預先標注的人群密度圖和人群速度圖作為監(jiān)督信號，對所述初始卷積神經網絡進行迭代訓練直至訓練結果滿足第一預設收斂條件，獲得所述卷積神經網絡；以及

分別以所述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入所述初始深度神經網絡，以預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至設定指標滿足第二預設收斂條件，獲得最終的所述深度神經網絡。

基于上述深度神經網絡訓練方法的另一實施例中，還包括：

分別針對所述多個原始幀圖像中的各幀圖像進行行人定位，獲得各幀圖像中的行人位置并對各行人分別分配行人標識ID，其中，行人ID用于在所述視頻中唯一標識一個行人；

根據各幀圖像中的行人位置，分別在所述各幀圖像標定各行人的行人信息，所述行人信息包括行人位置與行人ID。

基于上述深度神經網絡訓練方法的另一實施例中，還包括：

預先針對所述樣本視頻的場景設置所述樣本視頻的幾何透視圖；所述幾何透視圖包括所述樣本視頻中不同位置的像素數與所述場景的真實物理尺寸之間的對應關系；

分別以所述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至所述初始卷積神經網絡之后，還包括：

所述初始卷積神經網絡以當前訓練樣本中的后幀圖像作為當前幀圖像，根據所述各幀圖像標定的行人信息與所述幾何透視圖，生成當前幀圖像的人群密度圖，以及根據當前訓練樣本的兩幀圖像中的行人信息與所述幾何透視圖，生成當前幀圖像的人群速度圖。

基于上述深度神經網絡訓練方法的另一實施例中，所述生成當前幀圖像的人群密度圖包括：

根據當前幀圖像中的行人信息與所述幾何透視圖，分別獲取當前幀圖像中各位置的人群密度值；

根據當前幀圖像中各位置的人群密度值生成當前幀圖像的人群密度圖。

基于上述深度神經網絡訓練方法的另一實施例中，所述生成當前幀圖像的人群速度圖包括：

根據當前訓練樣本中當前幀圖像中各行人在前幀圖像和當前幀圖像中的位置差、以及前幀圖像和當前幀圖像的對應的時刻差獲取當前幀圖像中各行人的移動速度；

根據當前幀圖像中各行人的移動速度和行人位置，獲取當前幀圖像中各位置的人群速度；

根據當前幀圖像中各位置的人群速度與所述幾何透視圖生成當前幀圖像的人群速度圖。

基于上述深度神經網絡訓練方法的另一實施例中，所述訓練結果滿足第一預設收斂條件包括：

針對所述多個原始幀圖像，所述初始卷積神經網絡輸出的人群密度圖和人群速度圖與預先標注的人群密度圖和人群速度圖一致的圖像的幀數與上述多個原始幀圖像的幀數的比例達到第一預設閾值；和/或

針對所述多個原始幀圖像中的各幀圖像，所述初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖之間的相似度、所述初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖之間的相似度大于第二預設閾值；和/或

針對所述多個原始幀圖像，所述初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖之間的平均相似度、所述初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖之間的平均相似度大于第三預設閾值；和/或

所述初始卷積神經網絡進行迭代訓練的次數達到第四預設閾值。

基于上述深度神經網絡訓練方法的另一實施例中，所述訓練結果滿足第二預設收斂條件包括：

針對所述多個原始幀圖像，所述初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖一致的圖像的幀數與上述多個原始幀圖像的幀數的比例達到第五預設閾值；和/或

針對所述多個原始幀圖像中的各幀圖像，所述初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖之間的相似度大于第六預設閾值；和/或

針對所述多個原始幀圖像，所述初始元素相乘網絡輸出的人群計數圖與預先標注得到的人群計數圖之間的平均相似度大于第七預設閾值；和/或

所述深度神經網絡第二部分進行迭代訓練的次數達到第八預設閾值。

根據本發(fā)明實施例的又一個方面，提供的一種基于上述深度神經網絡訓練方法訓練得到的神經網絡進行視頻中人群跨線計數的方法。

根據本發(fā)明實施例的又一個方面，提供的一種跨線計數裝置，包括：

第一獲取單元，作為深度神經網絡，用于接收需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，輸出所述原始幀圖像的人群計數圖；所述人群計數圖中包括幀圖像中各位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向分別通過的人數；

第二獲取單元，用于分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從兩個方向通過所述LOI的人數；

第三獲取單元，用于分別累積所述兩個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述兩個方向上的單向跨線人數；第三獲取單元，用于分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數。

基于上述跨線計數裝置的另一實施例中，所述計數方向包括二維坐標平面的兩個坐標方向。

基于上述跨線計數裝置的另一實施例中，所述第二獲取單元，具體用于獲取當前幀圖像分別從兩個方向通過所述LOI的人數；

所述第三獲取單元，具體用于分別累積所述兩個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述兩個方向上的單向跨線人數。

基于上述跨線計數裝置的另一實施例中，所述第一獲取單元，具體用于依次從所述視頻中與待分析時間段T對應的多個原始幀圖像中，順序抽取至少兩幀圖像，以所述至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群計數圖。

基于上述跨線計數裝置的另一實施例中，所述第一獲取單元包括：

卷積神經網絡，用于接收輸入的至少兩幀圖像，以所述至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群密度圖和人群速度圖；所述人群密度圖用于表示當前幀圖像中各位置的人群密度，所述人群速度圖用于表示當前幀圖像中各行人從相鄰的前幀圖像移動到當前幀圖像的速度；

元素相乘網絡，用于將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘，獲得所述當前幀圖像的人群計數圖。

基于上述跨線計數裝置的另一實施例中，第二獲取單元，具體用于：

分別將所述人群計數圖中在所述LOI上各位置的計數向量在所述LOI的法線方向進行投影，獲得所述LOI上各位置的標量值，所述標量值的正負表示所述LOI的兩個跨線方向；以及

分別對所述LOI上的正標量值和負標量值進行累加，獲得當前幀圖像在所述LOI上的兩個方向分別通過的人數。

基于上述跨線計數裝置的另一實施例中，還包括：

計算單元，用于對所述LOI在所述兩個方向上的單向跨線人數進行累加，獲得所述待分析時間段T內，通過所述LOI的跨線總人數。

根據本發(fā)明實施例的又一個方面，提供一種深度神經網絡訓練裝置，還包括：

網絡訓練單元，用于將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡；所述初始深度神經網絡包括初始卷積神經網絡CNN和初始元素相乘網絡。

基于上述深度神經網絡訓練裝置的另一實施例中，所述多個原始幀圖像分別被標注人群密度圖和人群速度圖、人群計數圖；

所述網絡訓練單元具體用于：

分別所述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至所述初始卷積神經網絡，以預先標注的人群密度圖和人群速度圖作為監(jiān)督信號，對所述初始卷積神經網絡進行迭代訓練直至訓練結果滿足第一預設收斂條件，獲得所述卷積神經網絡；以及

分別以所述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入所述初始深度神經網絡，以預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至設定指標滿足第二預設收斂條件，獲得最終的所述深度神經網絡。

基于上述深度神經網絡訓練裝置的另一實施例中，所述樣本視頻的場景被預先標注幾何透視圖，所述幾何透視圖包括所述樣本視頻中不同位置的像素數與所述場景的真實物理尺寸之間的對應關系；所述多個原始幀圖像中被預先標定各行人的行人信息，所述行人信息包括行人位置與行人ID，行人ID唯一標識一個行人；

所述初始卷積神經網絡，用于以當前訓練樣本中的后幀圖像作為當前幀圖像，根據各幀圖像標定的行人信息與所述幾何透視圖，生成當前幀圖像的人群密度圖，以及根據當前訓練樣本的兩幀圖像中的行人與所述幾何透視圖，生成當前幀圖像的人群速度圖。

基于上述深度神經網絡訓練裝置的另一實施例中，所述初始卷積神經網絡生成當前幀圖像的人群密度圖時，具體用于根據當前幀圖像中的行人信息與所述幾何透視圖，分別獲取當前幀圖像中各位置的人群密度值；以及根據當前幀圖像中各位置的人群密度值生成當前幀圖像的人群密度圖。

基于上述深度神經網絡訓練裝置的另一實施例中，所述初始卷積神經網絡生成當前幀圖像的人群速度圖時，具體用于：

根據當前訓練樣本中當前幀圖像中各行人在前幀圖像和當前幀圖像中的位置差、以及前幀圖像和當前幀圖像的對應的時刻差獲取當前幀圖像中各行人的移動速度；

根據當前幀圖像中各行人的移動速度和行人位置，獲取當前幀圖像中各位置的人群速度；

根據當前幀圖像中各位置的人群速度與所述幾何透視圖生成當前幀圖像的人群速度圖。

根據本發(fā)明實施例的又一個方面，提供一種數據處理裝置，包括上述實施例所述的跨線計數裝置或者深度神經網絡訓練裝置。

基于上述數據處理裝置的另一實施例中，所述數據處理裝置包括進階精簡指令集機器ARM、中央處理單元CPU或圖形處理單元GPU。

根據本發(fā)明實施例的再一個方面，提供一種電子設備，包括上述實施例所述的數據處理裝置。

根據本發(fā)明實施例的再一個方面，提供的一種計算機存儲介質，用于存儲計算機可讀取的指令，所述指令包括：

向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由所述深度神經網絡輸出所述多個原始幀圖像的人群計數圖的指令；所述人群計數圖中包括每個位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向通過的人數；

分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像從至少一個方向通過所述LOI的人數的指令；

分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數的指令。

根據本發(fā)明實施例的再一個方面，提供的另一種計算機存儲介質，用于存儲計算機可讀取的指令，所述指令包括：

將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡的指令；所述初始深度神經網絡包括初始卷積神經網絡和初始元素相乘網絡。

根據本發(fā)明實施例的再一個方面，提供一種計算機設備，包括：

存儲器，存儲可執(zhí)行指令；

一個或多個處理器，與存儲器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實施例的跨線計數方法或深度神經網絡訓練方法對應的操作。

基于本發(fā)明上述實施例提供的跨線計數方法和深度神經網絡訓練方法、裝置和電子設備，提出了一種深度神經網絡的訓練方法，以及基于訓練好的深度神經網絡的進行人群跨線計數的技術方案，將樣本視頻輸入至初始深度神經網絡，以該樣本視頻中的多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得深度神經網絡；通過向該深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，可輸出原始幀圖像中各幀圖像的人群計數圖，即：每個位置上，當前幀圖像與相鄰的前幀圖像之間在計數方向(例如，二維坐標平面x軸和y軸的至少一個坐標方向)分別通過的人數；分別針對各幀圖像，根據人群計數圖獲取從至少一個方向通過LOI的人數，并分別累積至少一個方向上多個原始幀圖像通過LOI的人數，獲得待分析時間段T內LOI在至少一個方向上的單向跨線人數。由于本發(fā)明實施例直接以原始視頻中的原始幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，避免了視頻中人群密度較大、人群移動速度低或靜止不動、或者監(jiān)控攝像頭視角比較低等情形時，時序切片圖像中的行人的可辨識度低、無法估計時序切片圖像中的人群數量的問題，對于人群密度較大、人群移動速度低或靜止不動的情形同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

下面通過附圖和實施例，對本發(fā)明的技術方案做進一步的詳細描述。

附圖說明

構成說明書的一部分的附圖描述了本發(fā)明的實施例，并且連同描述一起用于解釋本發(fā)明的原理。

參照附圖，根據下面的詳細描述，可以更加清楚地理解本發(fā)明，其中：

圖1為本發(fā)明跨線計數方法一個實施例的流程圖。

圖2為本發(fā)明跨線計數方法另一個實施例的流程圖。

圖3為本發(fā)明深度神經網絡訓練方法一個實施例的流程圖。

圖4為本發(fā)明實施例中通過兩個階段對初始深度神經網絡進行訓練的一個示意圖。

圖5為本發(fā)明跨線計數裝置一個實施例的結構示意圖。

圖6為本發(fā)明跨線計數裝置另一個實施例的結構示意圖。

圖7為本發(fā)明深度神經網絡訓練裝置一個實施例的結構示意圖。

圖8為本發(fā)明電子設備一個實施例的結構示意圖。

具體實施方式

現在將參照附圖來詳細描述本發(fā)明的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數字表達式和數值不限制本發(fā)明的范圍。

同時，應當明白，為了便于描述，附圖中所示出的各個部分的尺寸并不是按照實際的比例關系繪制的。

以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發(fā)明及其應用或使用的任何限制。

對于相關領域普通技術人員已知的技術、方法和設備可能不作詳細討論，但在適當情況下，所述技術、方法和設備應當被視為說明書的一部分。

應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步討論。

本發(fā)明實施例可以應用于終端設備、計算機系統、服務器等電子設備，其可與眾多其它通用或專用計算系統環(huán)境或配置一起操作。適于與計算機系統、服務器、終端設備一起使用的眾所周知的計算系統、環(huán)境和/或配置的例子包括但不限于：個人計算機系統、服務器計算機系統、瘦客戶機、厚客戶機、手持或膝上設備、基于微處理器的系統、機頂盒、可編程消費電子產品、網絡個人電腦、小型計算機系統﹑大型計算機系統和包括上述任何系統的分布式云計算技術環(huán)境，等等。

計算機系統、服務器、終端設備可以在由計算機系統執(zhí)行的計算機系統可執(zhí)行指令(諸如程序模塊)的一般語境下描述。通常，程序模塊可以包括例程、程序、目標程序、組件、邏輯、數據結構等等，它們執(zhí)行特定的任務或者實現特定的抽象數據類型。計算機系統/服務器可以在分布式云計算環(huán)境中實施，分布式云計算環(huán)境中，任務是由通過通信網絡鏈接的遠程處理設備執(zhí)行的。在分布式云計算環(huán)境中，程序模塊可以位于包括存儲設備的本地或遠程計算系統存儲介質上。

在基于時序切片圖像的一種跨線計數方法中，在時序切片圖像上提取局部(Local)梯度方向直方圖(HOG)的特征，然后訓練了一個高斯過程回歸模型來預測時序切片圖像上的人數，并利用動態(tài)紋理的方法來對兩個方向的跨線人群進行區(qū)分。該方法也稱為基于IP的方法。

在基于時序切片圖像的另一種跨線計數方法中，分別將時序切片彩色圖像以及對應的時序切片光流圖像輸入深度神經網絡(CNN)，得到時序切片上的總人數以及兩個方向人數所占比例，從而得到兩個方向的跨線人數。該方法也稱為傳輸流卷積神經網絡(TS-CNN)。

在實現本發(fā)明的過程中，發(fā)明人通過研究發(fā)現，上述基于時序切片圖像的跨線計數方法至少存在以下問題：

時序切片圖像并非自然的圖像，當視頻中人群密度較大，人群移動速度比較慢、特別是有人群靜止不動的情況時，或者監(jiān)控攝像頭視角比較低時，時序切片圖像中的行人的圖像會被拉成長條狀，使得行人的可辨識度會非常低，無法估計時序切片圖像中的人群數量，從而制約了該方法的有效性；并且，該方式只利用跨線總人數作為監(jiān)督信號，監(jiān)督信息不夠豐富，不利于復雜CNN模型的學習。

本發(fā)明實施例中，從原始的視頻得到每幀圖像的人群計數圖(Counting Map)；然后對每幀圖像的人群計數圖在要進行跨線計數的感興趣線(LOI)上累積，得到該LOI上瞬時的兩個方向的跨線計數值(即：通過LOI的人數)；接著分別對兩個方向，累積待分析時間段T內的瞬時跨線計數值，得到該待分析時間段T內的人群跨線計數值(即：通過LOI的人數)。

圖1為本發(fā)明跨線計數方法一個實施例的流程圖。如圖1所示，該實施例的跨線計數方法包括：

102，向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由該深度神經網絡輸出需要上述多個原始幀圖像的人群計數圖。

本發(fā)明實施例中引入了人群計數圖，人群計數圖中包括幀圖像中各位置的計數向量，即：人群計數圖的每個位置都會記錄一個二維的計數向量，這個二維的計數向量表示表示當前幀圖像與相鄰的前幀圖像之間在計數方向上通過的人數，例如在二維坐標平面的兩個坐標方向(即：x軸和y軸方向)分別通過的人數，這是一個數學意義上的近似圖，每個位置上計數向量的值通常會小于1，它表示在當前幀圖像與相鄰的前一幀圖像之間有一個人的多少比例通過了該位置。

作為一個具體示例，該操作102中向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像之后，還可以依次從上述視頻中與待分析時間段T對應的多個原始幀圖像中，順序抽取至少兩幀圖像，以該至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群計數圖。其中，順序抽取的至少兩幀圖像可以是連續(xù)的原始幀圖像、或者是不連續(xù)的原始幀圖像，至少兩幀圖像中也可以部分為連續(xù)的原始幀圖像，部分為不連續(xù)的原始幀圖像。即：本發(fā)明實施例中，可以基于需要進行跨線計數的視頻中與待分析時間段T對應的全部原始幀圖像進行人群跨線計數，也可以從中抽取部分原始幀圖像進行人群跨線計數，而不需要待分析時間段T對應的全部原始幀圖像均參與人群跨線計數。

104，分別以上述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線(LOI)，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個方向通過LOI的人數。

其中的LOI可以根據需要進行人群計數的應用需求設置，可以是視頻場景中的任意需要進行人群計數的位置連線，例如，地鐵出入口兩側形成的連線、商場門口兩側形成的連線等。

106，分別累積至少一個方向上上述多個原始幀圖像中的各幀圖像通過LOI的人數，獲得待分析時間段T內，LOI分別在至少一個方向上的單向跨線人數。

基于本發(fā)明上述實施例，提出了一種基于CNN的新的進行人群跨線計數的技術方案，通過深度神經網絡分別獲取視頻中與待分析時間段T對應的各幀圖像的人群計數圖，分別針對各幀圖像獲取從至少一個方向通過LOI的人數，分別累積至少一個方向上各幀圖像通過LOI的人數，獲得待分析時間段T內LOI分別在至少一個方向上的單向跨線人數。由于本發(fā)明實施例直接以原始視頻中的各幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，對于人群密度較大、人群移動速度低或靜止不動的極端情況同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

在本發(fā)明各跨線計數方法實施例的一個具體示例中，操作104中，可以獲取當前幀圖像從一個方向通過LOI的人數；相應地，操作106中，累積該方向上上述多個原始幀圖像中的各幀圖像通過LOI的人數，便可獲得待分析時間段T內，LOI在該方向上的單向跨線人數。另外，操作104中，可以獲取當前幀圖像分別從兩個方向通過LOI的人數；相應地，操作106中，分別累積這兩個方向上上述多個原始幀圖像中的各幀圖像通過LOI的人數，便可獲得待分析時間段T內，LOI分別在這兩個方向上的單向跨線人數，從而可以全面了解LOI的雙向跨線人數。

在本發(fā)明各跨線計數方法實施例的另一個具體示例中，具體可以通過如下方式，生成當前幀圖像的人群計數圖：

向所述深度神經網絡輸入所述多個原始幀圖像，由深度神經網絡中的卷積神經網絡，生成當前幀圖像的人群密度圖和人群速度圖。其中的人群密度圖用于表示當前幀圖像中各位置的人群密度，人群速度圖用于表示當前幀圖像中各行人從相鄰的前幀圖像移動到當前幀圖像的速度；

向深度神經網絡中的元素相乘網絡(elementwise product network)輸入當前幀圖像的人群密度圖和人群速度圖，由元素相乘網絡將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘，獲得當前幀圖像的人群計數圖。

本發(fā)明上述實施例中，先基于視頻中的至少兩幀圖像，獲得幀圖像的人群密度圖和人群速度圖，假設行人在兩幀的密度分布和行走速度保持不變，將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘來獲得幀圖像的人群計數圖，實現了人群計數圖的準確獲取。

在本發(fā)明各跨線計數方法實施例的一個具體示例中，基于本發(fā)明實施得到幀圖像的人群計數圖后，針對任意一條要進行跨線計數的LOI，具體可以通過如下方式，獲取當前幀圖像分別從兩個方向通過所述LOI的人數：

分別將人群計數圖中在LOI上各位置的計數向量在LOI的法線方向進行投影，獲得LOI上各位置的標量值，該標量值的正負表示LOI的兩個跨線方向，例如進入地鐵出入口這一LOI和走出地鐵出入口這一LOI的兩個跨線方向；

分別對LOI上的正標量值和負標量值進行累加，獲得當前幀圖像在LOI上的兩個方向分別通過的人數。

例如，可以通過如下公式如下分別對LOI上的正標量值和負標量值進行累加：

其中，c_1，t和c_2，t分別代表當前幀圖像中LOI兩個方向上t時刻的瞬時跨線計數值，θ_p表示當前位置p處的計數向量(C_t，x(p)，C_t，y(p))與LOI法線方向的夾角，t為待分析時間段T內的任一時刻。

在得到幀圖像中LOI上兩個方向的瞬時跨線計數值c_1，t和c_2，t后，可以通過公式為c₁＝∑_{t|t∈T}c_1，t，c₂＝∑_{t|t∈T}c_2，t，在待分析時間段T內對各時刻t的c_1，t和c_2，t進行累積，即可得到待分析時間段T內的單向跨線人數，c₁和c₂分別為在待分析時間段T內LOI在兩個方向上的跨線人數。

在本發(fā)明跨線計數方法的進一步實施例中，獲得當前幀圖像在LOI上的兩個方向分別通過的人數以后，可以對LOI在兩個方向上的單向跨線人數進行累加，從而獲得待分析時間段T內，通過LOI的跨線總人數。

圖2為本發(fā)明跨線計數方法另一個實施例的流程圖。如圖2所示，該實施例的跨線計數方法包括：

202，深度神經網絡依次從需要進行人群跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像中，順序抽取至少兩幀圖像，以該至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群計數圖。

其中，其中，順序抽取的至少兩幀圖像可以是連續(xù)的原始幀圖像、或者是不連續(xù)的原始幀圖像，至少兩幀圖像中也可以部分為連續(xù)的原始幀圖像，部分為不連續(xù)的原始幀圖像。群計數圖中包括幀圖像中每個位置的計數向量，即：人群計數圖的每個位置都會記錄一個二維的計數向量，這個二維的計數向量表示表示當前幀圖像與相鄰的前一幀圖像之間在x軸和y軸方向分別通過的人數。

204，分別以上述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的LOI，分別將人群計數圖中在LOI上各位置的計數向量在LOI的法線方向進行投影，獲得LOI上各位置的標量值，該標量值的正負表示LOI的兩個跨線方向。

206，分別對LOI上的正標量值和負標量值進行累加，獲得當前幀圖像在LOI上的兩個方向分別通過的人數，為當前幀圖像對應的t時刻，分別在LOI上的兩個方向上的瞬時跨線計數值。

208，分別累積待分析時間段T內多個原始幀圖像在兩個方向上通過LOI的人數，獲得待分析時間段T內，LOI分別在兩個方向上的單向跨線人數。

210，對LOI在兩個方向上的單向跨線人數進行累加，獲得待分析時間段T內，通過LOI的跨線總人數。

在本發(fā)明上述各實施例的跨線計數方法之前，還可以預先對初始深度神經網絡進行訓獲得深度神經網絡，獲得的深度神經網絡可以用于上述實施例的跨線計數方案，另外也可以用于其它需要人群計數圖的應用情形。具體可以預設一個初始深度神經網絡，該初始深度神經網絡包括初始卷積神經網絡(CNN)和初始元素相乘網絡。將一個以上樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以該樣本視頻中的多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的深度神經網絡。

基于本發(fā)明上述實施例提供的深度神經網絡訓練方法，將原始的樣本視頻輸入至初始深度神經網絡，以該樣本視頻中的多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得深度神經網絡，以便給予該深度神經網絡進行人群跨線計數。由于該深度神經網絡直接以原始視頻中的原始幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，避免了視頻中人群密度較大、人群移動速度低或靜止不動、或者監(jiān)控攝像頭視角比較低等情形時，時序切片圖像中的行人的可辨識度低、無法估計時序切片圖像中的人群數量的問題，對于人群密度較大、人群移動速度低或靜止不動的情形同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例訓練深度神經網絡時基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

在本發(fā)明實施例的一個具體示例中，上述多個原始幀圖像分別被標注人群密度圖和人群速度圖、人群計數圖。相應地，該實施例中，將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以該多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，可以包括：

分別以上述樣本視頻中多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始卷積神經網絡，以預先標注的人群密度圖和人群速度圖作為監(jiān)督信號，對該初始卷積神經網絡進行迭代訓練直至訓練結果滿足第一預設收斂條件，獲得最終的卷積神經網絡。其中，相鄰兩幀圖可以是原始視頻中連續(xù)的兩幀原始圖像，也可以是從原始視頻中按照一定時間間隔或幀圖像間隔抽取出來的不連續(xù)的原始幀圖像；

分別以上述樣本視頻中多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入初始深度神經網絡，以預先標注的人群計數圖作為監(jiān)督信號，對該初始深度神經網絡進行迭代訓練直至設定指標滿足第二預設收斂條件，獲得最終的深度神經網絡。

為了學習得到更好的深度神經網絡，本發(fā)明上述實施例中，通過兩個階段對初始深度神經網絡進行訓練。在第一個階段對人群密度圖和人群速度圖分別給出估計，這是兩個相對簡單且語義信息相對明顯的任務；在第二階段對人群計數圖給出直接估計。

值得注意的是，在完成第一階段的訓練后，我們已經可以利用人群密度和速度圖相乘得到人群計數圖，但是實際中，由于在第一階段的訓練過程中沒有對人群密度圖和速度圖給出空間位置匹配約束，因此得到的人群密度圖和速度圖可能存在空間位置上不匹配的情況。由于第二階段訓練的目標是由第一階段輸出的兩個人群密度圖和人群速度在對應位置的元素相乘得到，為此，本發(fā)明實施例在第一階段訓練完成后，通過第二階段訓練，對此空間位置上的不匹配進行了矯正，有效保證了人群密度圖和速度圖在空間位置上的匹配；并且，在第二階段利用人群計數圖作為監(jiān)督信號，更利于復雜的初始深度神經網絡的學習，使得訓練得到的深度神經網絡具有更強、更準確的計數能力。

在本發(fā)明跨線計數方法的又一個實施例中，還可以在初始深度神經網絡進行迭代訓練之前，執(zhí)行如下操作：

分別針對樣本視頻中上述多個原始幀圖像中的各幀圖像進行行人定位，獲得樣本視頻中各幀圖像中的行人位置并對各行人分別分配行人ID；

根據樣本視頻中各幀圖像中的行人位置，分別在樣本視頻中上述多個原始幀圖像中的各幀圖像標定各行人的行人信息，該行人信息包括行人位置與行人ID。

由于幾何透視圖包括樣本視頻中不同位置的像素數與場景的真實物理尺寸之間的對應關系，根據樣本視頻中多個原始幀圖像的各幀圖像中的行人位置與幾何透視圖，在樣本視頻中多個原始幀圖像的各幀圖像中標注各行人的行人信息，可以根據行人在真實場景中的位置以及行人的物理尺寸，在樣本視頻場景中以相應大小的圖標標記該行人位置。例如，在t時刻對應的樣本視頻的幀圖像中，可以標注行人人頭的位置信息：其中t表示時刻，{1，…，n}表示每個行人的行人ID，此處具體以序號表示行人ID。

具體訓練過程中，對樣本視頻中的行人進行標定并分配行人ID時，可以不針對樣本視頻中的每幀圖像均進行標定，可以根據行人的運行情況和移動速度按照預設間隔(例如，1秒)進行標注，中間的幀圖像的行人及其行人ID可以通過前后標定的兩幀圖像中的行人及其行人ID插值近似得到，以簡化標注工作量；另，樣本視頻中可以所有的原始幀圖像均參加初始深度神經網絡訓練，也可以抽取一部分原始幀圖像參與初始深度神經網絡訓練，這樣可以在訓練任務一定的情況下，訓練較多的樣本視頻，參與初始深度神經網絡訓練的幀圖像的總數量越多，初始深度神經網絡的訓練效果越好，訓練得到的深度神經網絡魯棒性更好。

圖3為本發(fā)明深度神經網絡訓練方法一個實施例的流程圖。預設的初始深度神經網絡具體可以包括初始CNN和初始元素相乘網絡。訓練完成后得到的深度神經網絡，包括相應的CNN和元素相乘網絡。如圖3所示，該實施例深度神經網絡訓練方法包括：

302，預先針對樣本視頻的場景設置該樣本視頻的幾何透視圖，包括樣本視頻中不同位置的像素數與場景的真實物理尺寸之間的對應關系；分別針對樣本視頻中參與網絡訓練的多個原始幀圖像中各幀圖像進行行人定位，獲得各幀圖像中的行人位置并對各行人分別分配行人ID。

由于不同行人的身體大小不同、且人頭更不易被遮擋，為了更準確、客觀的表示行人位置，具體可以以各行人的人頭的位置作為該行人位置。

304，根據上述樣本視頻的多個原始幀圖像中各幀圖像中的行人位置，分別在上述樣本視頻的多個原始幀圖像中各幀圖像標定各行人的行人信息，該行人信息包括行人位置與行人ID。

306，分別以上述樣本視頻中多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始卷積神經網絡，以預先標注的人群密度圖和人群速度圖作為監(jiān)督信號，對初始卷積神經網絡進行迭代訓練直至訓練結果滿足第一預設收斂條件，獲得最終的卷積神經網絡。

其中，人群密度圖用于表示當前幀圖像中各位置的人群密度，人群速度圖用于表示當前幀圖像中各行人從前幀圖像移動到當前幀圖像的速度。

具體來說，分別以上述樣本視頻中多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始卷積神經網絡后，初始卷積神經網絡以當前訓練樣本中的后幀圖像作為當前幀圖像，根據各幀圖像標定的行人信息，生成當前幀圖像的人群密度圖，以及根據當前訓練樣本的兩幀圖像中的行人信息與幾何透視圖，生成當前幀圖像的人群速度圖；比較初始卷積神經網絡生成的人群密度圖和人群速度圖與被標注的人群密度圖和人群速度圖之間的偏差是否小于預設條件，或者初始卷積神經網絡進行迭代訓練的次數是否達到預設次數閾值；若上述偏差不小于預設條件或者迭代訓練的次數未達到預設次數閾值，則對初始卷積神經網絡的網絡參數進行調整，返回繼續(xù)該操作306，直至上述偏差小于預設條件或者迭代訓練的次數達到預設次數閾值，對初始卷積神經網絡的訓練結束，獲得卷積神經網絡。

具體地，上述樣本視頻中多個原始幀圖像中的相鄰兩幀圖像可以是連續(xù)的兩幀原始圖像，也可以是連續(xù)的三幀以上的原始幀圖像，從中順序抽取的連續(xù)兩幀原始圖像，還可以是不連續(xù)的兩幀原始圖像，或從不連續(xù)的三幀以上的幀圖像順序抽取的兩幀原始圖像，或者還可以是原始圖像的光流圖像。在抽取的幀圖像的數量大于兩幀時，當前幀圖像和前幀圖像分別是在原始樣本視頻中位置靠后和靠前的兩幀圖像，不需要二者的幀序號連續(xù)。

其中一個具體示例中，初始卷積神經網絡具體可以通過如下方式，生成當前幀圖像的人群密度圖：

根據當前幀圖像中的行人信息，分別獲取當前幀圖像中各位置的人群密度值；

根據當前幀圖像中各位置的人群密度值與幾何透視圖生成當前幀圖像的人群密度圖。

例如，根據各幀圖像中的行人位置，分別在各幀圖像中標注各行人位置后，可以獲得幀圖像中各位置的人群密度值；通過如下公式可以計算獲得幀圖像中的人群密度圖：

其中，D_t(p)表示在幀圖像中p位置的人群密度值，表示一個以人頭標記P為中心的歸一化的二維高斯分布在P位置的值(即：以一個高斯核來表示一個行人人頭的位置)，σ_P表示高斯分布的方差，σ_P的值根據每個具體樣本視頻場景的幾何透視圖來確定，以保證每個人有著相同的物理尺寸。

在另一個具體示例中，初始卷積神經網絡具體可以通過如下方式，生成當前幀圖像的人群速度圖：

根據當前幀圖像中各行人在前幀圖像和當前幀圖像中的位置差、以及前幀圖像和當前幀圖像的對應的時刻差獲取當前幀圖像中各行人的移動速度；

根據當前幀圖像中各行人的移動速度和行人位置，獲取當前幀圖像中各位置的人群速度；

根據當前幀圖像中各位置的人群速度與幾何透視圖生成當前幀圖像的人群速度圖。

例如，具體可以通過以下公式計算獲得幀圖像中的人群速度圖：

其中，V_t(p)表示在p位置的人群速度值；表示標記人頭標記P在當前幀圖像中的移動速度，可根據相鄰兩幀圖像的位置差來得到；K(p；P，r_P)是一個圓盤型的函數，圓盤的中心是人頭標記P，半徑為r_P，半徑r_P具體可以通過如下方式選取：由幾何透視圖將根據經驗設定的人頭的真實物理尺寸換算成對飲位置的像素數，例如，半徑r_P的取值可以根據經驗選取為0.15m；K(p；P，r_P)＝1(p≤||P-r_P||²)。

308，分別以樣本視頻中上述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始深度神經網絡，以預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至設定指標滿足第二預設收斂條件，獲得最終的深度神經網絡。

具體來說，分別以樣本視頻中上述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始深度神經網絡后，由初始深度神經網絡中的卷積神經網絡以當前訓練樣本中的后幀圖像作為當前幀圖像，根據樣本視頻中各幀圖像標定的行人信息與幾何透視圖，生成當前幀圖像的人群密度圖，以及根據當前訓練樣本的兩幀圖像中的行人信息與幾何透視圖，生成當前幀圖像的人群速度圖并輸入至初始深度神經網絡中的初始元素相乘網絡；由初始元素相乘網絡將卷積神經網絡輸入的當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘，獲得當前幀圖像的人群計數圖。比較元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖之間的偏差是否小于預設條件，或者初始深度神經網絡進行迭代訓練的次數是否達到預設次數閾值；若上述偏差不小于預設條件或者迭代訓練的次數未達到預設次數閾值，則對初始元素相乘網絡的網絡參數進行調整，返回繼續(xù)執(zhí)行該操作308，直至上述偏差小于預設條件或者迭代訓練的次數達到預設次數閾值，對初始深度神經網絡的訓練結束，由初始元素相乘網絡獲得最終的元素相乘網絡，從而獲得最終的深度神經網絡。

為了獲得人群計數圖，本發(fā)明上述實施例中，先基于樣本視頻中多個原始幀圖像中的至少兩幀圖像和幾何透視圖，獲得幀圖像的人群密度圖和人群速度圖，假設行人在兩幀的密度分布和行走速度保持不變，將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘來獲得幀圖像的人群計數圖，實現了人群計數圖的便捷獲取。

在本發(fā)明圖3所示實施例中，引入深度學習的模型---初始深度神經網絡，直接以原始視頻作為訓練樣本視頻，將其中的幀圖像作為初始卷積神經網絡的輸入，并且利用語義信息豐富、像素級的人群密度圖與被標注的人群密度圖、人群計數圖作為監(jiān)督信號，并且，訓練時基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，從而訓練得到用于進行跨線計數的深度神經網絡，具有高度的魯棒性，對于人群密度較大、人群移動速度低或靜止不動的極端情況同樣適用，并且可以跨場景應用，不存在時序切片圖像中的行人的可辨識度低、無法估計時序切片圖像中的人群數量的問題，使得跨線計數結果更加客觀、準確。

為了學習得到更好的深度神經網絡，圖3所示的實施例中，通過兩個階段對初始深度神經網絡進行訓練。第一個階段對應于操作306，通過初始卷積神經網絡對人群密度圖和人群速度圖分別給出估計，這是兩個相對簡單且語義信息相對明顯的任務；第二階段對應于操作308，通過初始元素相乘網絡對人群計數圖給出直接估計。

如圖4所示，為本發(fā)明實施例中通過兩個階段對初始深度神經網絡進行訓練的一個示意圖。將樣本視頻中的相鄰兩幀圖像作為一個訓練樣本輸入初始深度神經網絡中的初始卷積神經網絡，在第一階段，由初始卷積神經網絡輸出人群密度圖和人群速度圖；將該人群密度圖和人群速度圖輸入至初始深度神經網絡中的初始元素相乘網絡，在第二階段，由初始元素相乘網絡輸出人群計數圖。

值得注意的是，在完成第一階段的訓練后，我們已經可以利用人群密度和速度圖相乘得到人群計數圖，但是實際中，由于在第一階段的訓練過程中沒有對人群密度圖和速度圖給出空間位置匹配約束，因此得到的人群密度圖和速度圖可能存在空間位置上不匹配的情況。由于第二階段訓練的目標是由第一階段輸出的兩個人群密度圖和人群速度在對應位置的元素相乘得到，為此，本發(fā)明實施例通過第二階段訓練，對此空間位置上的不匹配進行了矯正，有效保證了人群密度圖和速度圖在空間位置上的匹配；并且，在第二階段利用人群計數圖作為監(jiān)督信號，更利于復雜深度神經網絡的學習，使得訓練得到的深度神經網絡具有更強、更準確的計數能力。

在圖3所示實施例的一個具體示例中，例如可以在滿足以下任意一個或多個條件時，認為訓練結果滿足第一預設收斂條件：

針對各樣本視頻中的多個原始幀圖像，初始卷積神經網絡輸出的人群密度圖和人群速度圖與預先預先標注的人群密度圖和人群速度圖一致的圖像的幀數與上述多個原始幀圖像的幀數的比例達到第一預設閾值，即：初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖和人群速度圖一致的圖像的幀數與輸入至初始卷積神經網絡的樣本視頻中圖像的幀數的比例達到第一預設閾值，同時，初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖一致的圖像的幀數與輸入至初始卷積神經網絡的樣本視頻中圖像的幀數的比例達到第一預設閾值；

針對各樣本視頻中上述多個原始幀圖像中的各幀圖像，初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖之間的相似度、初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖之間的相似度大于第二預設閾值；

針對各樣本視頻中的上述多個原始幀圖像，初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖之間的平均相似度、初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖之間的平均相似度大于第三預設閾值；

初始卷積神經網絡進行迭代訓練的次數達到第四預設閾值。

在圖3所示實施例的另一個具體示例中，例如可以在滿足以下任意一個或多個條件時，認為訓練結果滿足第二預設收斂條件：

針對各樣本視頻中上述多個原始幀圖像，初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖一致的圖像的幀數與上述多個原始幀圖像的幀數的比例達到第五預設閾值；

針對各樣本視頻中的各幀圖像，初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖之間的相似度大于第六預設閾值；

針對各樣本視頻中的所有幀圖像，初始元素相乘網絡輸出的人群計數圖與人工標注得到的人群計數圖之間的平均相似度大于第七預設閾值；

深度神經網絡第二部分進行迭代訓練的次數達到第八預設閾值。

其中，可以根據實際需求，設置在滿足包括但不限于以下任意一個或多個條件時，認為人群密度圖與預先預先標注的人群密度圖(或人群速度圖與預先標注的人群速度圖)一致：

初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖(或初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖)的圖像特征完全相同；

預先標注的人群密度圖的圖像特征包括但多于初始卷積神經網絡輸出的人群密度圖的圖像特征(或預先標注的人群速度圖的圖像特征包括但多于初始卷積神經網絡輸出的人群速度圖的圖像特征)；

初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖(或初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖)的圖像特征之間的相同特征達到一定數量或者預設的一定比例；

初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖(或初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖)的圖像特征之間的相同特征滿足其他預設條件。

另外，也可以根據實際需求，設置在滿足包括但不限于以下任意一個或多個條件時，認為初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖一致：

初始元素相乘網絡輸出的人群計數圖與預先標注的人群密度圖的圖像特征完全相同；

預先標注的人群密度圖的圖像特征包括但多于初始元素相乘網絡輸出的人群計數圖的圖像特征；

初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖的圖像特征之間的相同特征達到一定數量或者預設的一定比例；

初始元素相乘網絡輸出的人群計數圖與預先標注的人群計數圖的圖像特征之間的相同特征滿足其他預設條件。

另外，兩個圖之間的相似度，例如，初始卷積神經網絡輸出的人群密度圖與預先標注的人群密度圖之間的相似度，初始卷積神經網絡輸出的人群速度圖與預先標注的人群速度圖之間的相似度，初始元素相乘網絡輸出的人群計數圖與預先標注的人群密度圖之間的相似度，具體可以通過兩圖的歐式距離(L2)距離衡量。因此，可以先獲取兩圖之間的歐式距離，并比較該兩圖之間的歐式距離是否大于預設閾值，來確認兩圖之間的相似度是否大于該預設閾值。

另外，本發(fā)明上述實施例還提供了一種上述深度神經網絡訓練方法訓練得到的神經網絡進行視頻中人群跨線計數的方法。

通過本發(fā)明上述深度神經網絡訓練方法訓練得到的神經網絡后，可以基于該深度神經網絡獲取視頻中幀圖像的人群計數圖，以便進行視頻中人群跨線計數。將需要進行跨線計數的視頻的原始幀圖像輸入該深度神經網絡，該深度神經網絡便可以通過但不限于如本發(fā)明上述任一實施例記載的操作輸出幀圖像的人群計數圖。另外，本發(fā)明上述實施例的跨線計數方法使用的深度神經網絡可以基于本發(fā)明上述任一實施例的深度神經網絡訓練方法獲得，也可以通過其他的訓練方法獲得，只要訓練得到的深度神經網絡可以針對輸入的原始幀圖像輸出幀圖像的人群計數圖即可。

本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程序指令相關的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質包括：ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質。

圖5為本發(fā)明跨線計數裝置一個實施例的結構示意圖。該實施例的跨線計數裝置可用于實現本發(fā)明上述各跨線計數方法實施例。如圖5所示，該實施例的跨線計數裝置包括：第一獲取單元，第二獲取單元和第三獲取單元。其中：

第一獲取單元，作為深度神經網絡，用于接收需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，輸出原始幀圖像的人群計數圖。

其中，人群計數圖中包括幀圖像中各位置的計數向量，計數向量用于表示多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向(例如二維坐標平面的兩個坐標方向)分別通過的人數。

示例性地，第一獲取單元，具體用于依次從視頻中與待分析時間段T對應的多個原始幀圖像中，順序抽取至少兩幀圖像，以該至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群計數圖。

第二獲取單元，用于分別以多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個方向通過LOI的人數，例如可以獲取當前幀圖像從一個方向通過LOI的人數，也可以獲取當前幀圖像分別從兩個方向通過LOI的人數。

示例性地，第二獲取單元具體可用于分別將人群計數圖中在LOI上各位置的計數向量在LOI的法線方向進行投影，獲得LOI上各位置的標量值，標量值的正負表示LOI的兩個跨線方向；以及分別對LOI上的正標量值和負標量值進行累加，獲得當前幀圖像在LOI上的兩個方向分別通過的人數。

第三獲取單元，用于分別累積上述至少一個方向上多個原始幀圖像通過LOI的人數，獲得待分析時間段T內，LOI分別在上述至少一個方向上的單向跨線人數。

第二獲取單元獲取當前幀圖像從一個方向通過LOI的人數時，第三獲取單元相應累積該方向上上述多個原始幀圖像中的各幀圖像通過LOI的人數，獲得待分析時間段T內，LOI在該方向上的單向跨線人數。第二獲取單元獲取當前幀圖像分別從兩個方向通過LOI的人數時，第三獲取單元分別累積這兩個方向上上述多個原始幀圖像中的各幀圖像通過LOI的人數，獲得待分析時間段T內，LOI分別在這兩個方向上的單向跨線人數。

基于本發(fā)明實施例的人群跨線計數裝置，通過深度神經網絡分別獲取視頻中與待分析時間段T對應的各幀圖像的人群計數圖，分別針對各幀圖像，根據人群計數圖獲取從至少一個方向通過LOI的人數，并分別累積至少一個方向上多個原始幀圖像通過LOI的人數，獲得待分析時間段T內LOI在至少一個方向上的單向跨線人數。由于本發(fā)明實施例直接以原始視頻中的各幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，對于人群密度較大、人群移動速度低或靜止不動的極端情況同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

圖6為本發(fā)明跨線計數裝置另一個實施例的結構示意圖。如圖6所示，與圖5所示的實施例相比，該實施例的跨線計數裝置中，第一獲取單元具體包括卷積神經網絡和元素相乘網絡。其中：

卷積神經網絡，用于接收輸入的至少兩幀圖像，以該至少兩幀圖像中的后幀圖像作為當前幀圖像，生成當前幀圖像的人群密度圖和人群速度圖。其中，人群密度圖用于表示當前幀圖像中各位置的人群密度，人群速度圖用于表示當前幀圖像中各行人從相鄰的前幀圖像移動到當前幀圖像的速度。

基于本發(fā)明上述實施例提供的深度神經網絡訓練裝置，將原始的樣本視頻輸入至初始深度神經網絡，以該樣本視頻中的多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得深度神經網絡，以便給予該深度神經網絡進行人群跨線計數。由于該深度神經網絡直接以原始視頻中的原始幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，避免了視頻中人群密度較大、人群移動速度低或靜止不動、或者監(jiān)控攝像頭視角比較低等情形時，時序切片圖像中的行人的可辨識度低、無法估計時序切片圖像中的人群數量的問題，對于人群密度較大、人群移動速度低或靜止不動的情形同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例訓練深度神經網絡時基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

示例性地，初始卷積神經網絡生成當前幀圖像的人群密度圖時，具體可用于根據當前幀圖像中的行人信息，分別獲取當前幀圖像中各位置的人群密度值；以及根據當前幀圖像中各位置的人群密度值生成當前幀圖像的人群密度圖；生成當前幀圖像的人群速度圖時，具體用于根據當前訓練樣本中當前幀圖像中各行人在前幀圖像和當前幀圖像中的位置差、以及前幀圖像和當前幀圖像的對應的時刻差獲取當前幀圖像中各行人的移動速度；根據當前幀圖像中各行人的移動速度和行人位置，獲取當前幀圖像中各位置的人群速度；以及根據當前幀圖像中各位置的人群速度生成當前幀圖像的人群速度圖。

元素相乘網絡，用于將當前幀圖像的人群密度圖和人群速度圖在對應位置的元素相乘，獲得當前幀圖像的人群計數圖。

進一步地，再參見圖6，在本發(fā)明跨線計數裝置的另一個實施例中，還可以包括計算單元，用于對LOI在兩個方向上的單向跨線人數進行累加，獲得待分析時間段T內，通過LOI的跨線總人數。

圖7為本發(fā)明深度神經網絡訓練裝置一個實施例的結構示意圖。如圖7所示，該實施例的深度神經網絡訓練裝置包括網絡訓練單元，用于將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以樣本視頻中的多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的深度神經網絡；初始深度神經網絡包括初始卷積神經網絡CNN和初始元素相乘網絡。

在上述深度神經網絡訓練裝置實施例的一個具體示例中，多個原始幀圖像分別被標注人群密度圖和人群速度圖、人群計數圖。相應地，該實施例中，網絡訓練單元具體可用于通過如下方式對初始深度神經網絡進行訓練：

分別以樣本視頻中上述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入至初始卷積神經網絡，以預先標注的人群密度圖和人群速度圖作為監(jiān)督信號，對初始卷積神經網絡進行迭代訓練直至訓練結果滿足第一預設收斂條件，獲得卷積神經網絡；以及

分別以樣本視頻中上述多個原始幀圖像中的相鄰兩幀圖像作為一個訓練樣本輸入初始深度神經網絡，以預先標注的人群計數圖作為監(jiān)督信號，對初始深度神經網絡進行迭代訓練直至設定指標滿足第二預設收斂條件，獲得最終的深度神經網絡。

其中，對初始深度神經網絡的訓練過程，以及訓練結果滿足第一預設收斂條件，以及訓練結果滿足第二預設收斂條件，可以參考上述圖3所示實施例的記載；具體可以參考本發(fā)明上述跨線計數方法實施例的記載，此處不再贅述。

本發(fā)明實施例還提供了一種數據處理裝置，包括本發(fā)明上述任一實施例提供的跨線計數裝置。

具體地，本發(fā)明實施例的數據處理裝置可以是任意具有數據處理功能的裝置，例如可以包括但不限于：進階精簡指令集機器(ARM)、中央處理單元(CPU)或圖形處理單元(GPU)等。

基于本發(fā)明上述實施例提供的數據處理裝置，包括本發(fā)明上述任一實施例提供的跨線計數裝置，直接以原始視頻中的各幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，對于人群密度較大、人群移動速度低或靜止不動的極端情況同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

另外，本發(fā)明實施例還提供了一種電子設備，例如可以是移動終端、個人計算機(PC)、平板電腦、服務器等，該電子設備設置有本發(fā)明上述任一實施例的數據處理裝置。

基于本發(fā)明上述實施例提供的電子設備，包括本發(fā)明上述數據處理裝置，從而包括本發(fā)明上述任一實施例提供的跨線計數裝置，直接以原始視頻中的各幀圖像作為輸入而未使用時序切片圖像，魯棒性更好，可以應用于各種不同的場景，對于人群密度較大、人群移動速度低或靜止不動的極端情況同樣適用，并且可以跨場景應用；并且，本發(fā)明實施例基于人群計數圖進行跨線計數而非只使用人群總數，還考慮了人群的分布情況，使得跨線計數結果更加客觀、準確。

圖8為本發(fā)明電子設備一個實施例的結構示意圖。如圖7所示，用于實現本發(fā)明實施例的電子設備包括中央處理單元(CPU)或者圖形處理單元(GPU)，其可以根據存儲在只讀存儲器(ROM)中的可執(zhí)行指令或者從存儲部分加載到隨機訪問存儲器(RAM)中的可執(zhí)行指令而執(zhí)行各種適當的動作和處理。中央處理單元或者圖形處理單元可與只讀存儲器和/或隨機訪問存儲器中通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明實施例提供的跨線計數方法對應的操作，例如：向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由所述深度神經網絡輸出所述多個原始幀圖像的人群計數圖；所述人群計數圖中包括每個位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向分別通過的人數；分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個方向通過所述LOI的人數；分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數。另外，中央處理單元或者圖形處理單元可與只讀存儲器和/或隨機訪問存儲器中通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明實施例提供的深度神經網絡訓練方法對應的操作，例如：將樣本視頻的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡；所述初始深度神經網絡包括初始卷積神經網絡和初始元素相乘網絡。

此外，在RAM中，還可存儲有系統操作所需的各種程序和數據。CPU、GPU、ROM以及RAM通過總線彼此相連。輸入/輸出(I/O)接口也連接至總線。

以下部件連接至I/O接口：包括鍵盤、鼠標等的輸入部分；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分；包括硬盤等的存儲部分；以及包括諸如LAN卡、調制解調器等的網絡接口卡的通信部分。通信部分經由諸如因特網的網絡執(zhí)行通信處理。驅動器也根據需要連接至I/O接口?？刹鹦督橘|，諸如磁盤、光盤、磁光盤、半導體存儲器等等，根據需要安裝在驅動器上，以便于從其上讀出的計算機程序根據需要預先安裝入存儲部分。

特別地，根據本公開的實施例，上文參考流程圖描述的過程可以被實現為計算機軟件程序。例如，本公開的實施例包括一種計算機程序產品，其包括有形地包含在機器可讀介質上的計算機程序，計算機程序包含用于執(zhí)行流程圖所示的方法的程序代碼，所述程序代碼可包括對應執(zhí)行本發(fā)明實施例提供的任一項跨線計數方法步驟對應的指令，例如，向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由所述深度神經網絡輸出所述多個原始幀圖像的人群計數圖的指令；所述人群計數圖中包括每個位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向分別通過的人數；分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個方向通過所述LOI的人數的指令；分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數的指令。所述程序代碼還可包括對應執(zhí)行本發(fā)明實施例提供的任一項深度神經網絡訓練方法步驟對應的指令，例如，將樣本視頻中的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡的指令；所述初始深度神經網絡包括初始卷積神經網絡和初始元素相乘網絡。該計算機程序可以通過通信部分從網絡上被下載和安裝，和/或從可拆卸介質被安裝。在該計算機程序被中央處理單元(CPU)或圖形處理單元(GPU)執(zhí)行時，執(zhí)行本發(fā)明的方法中限定的上述功能。

本發(fā)明實施例還提供了一種計算機存儲介質，用于存儲計算機可讀取的指令，所述指令包括：向深度神經網絡輸入需要進行跨線計數的視頻中與待分析時間段T對應的多個原始幀圖像，由所述深度神經網絡輸出所述多個原始幀圖像的人群計數圖的指令；所述人群計數圖中包括每個位置的計數向量，所述計數向量用于表示所述多個原始幀圖像中各幀圖像與相鄰的前幀圖像之間在計數方向分別通過的人數；分別以所述多個原始幀圖像中的各幀圖像作為當前幀圖像，針對視頻中要進行跨線計數的感興趣線LOI，根據當前幀圖像的人群計數圖，獲取當前幀圖像分別從至少一個方向通過所述LOI的人數的指令；分別累積所述至少一個方向上所述多個原始幀圖像通過所述LOI的人數，獲得所述待分析時間段T內，所述LOI分別在所述至少一個方向上的單向跨線人數的指令?；蛘撸鲋噶畎ǎ簩颖疽曨l中的多個原始幀圖像輸入至初始深度神經網絡，以所述多個原始幀圖像預先標注的人群計數圖作為監(jiān)督信號，對所述初始深度神經網絡進行迭代訓練直至訓練結果滿足預設條件，獲得最終的所述深度神經網絡的指令；所述初始深度神經網絡包括初始卷積神經網絡和初始元素相乘網絡。

另外，本發(fā)明實施例還提供了一種計算機設備，包括：

存儲器，存儲可執(zhí)行指令；

一個或多個處理器，與存儲器通信以執(zhí)行可執(zhí)行指令從而完成本發(fā)明上述任一實施例的跨線計數方法或深度神經網絡訓練方法對應的操作。

本發(fā)明實施例可以應用于所有需要進行人群流量統計的場景，例如：

場景1:需要統計地鐵出入口在待分析時間段T的跨線人數時，通過監(jiān)控攝像頭采集地鐵各出入口的視頻，分別以地鐵各出入口作為LOI，將地鐵各出入口在待分析時間段T的視頻輸入至本發(fā)明實施例的深度神經網絡，通過本發(fā)明實施例的跨線計數方法，即可獲得地鐵各出入口在待分析時間段T的跨線人數，從而實現對各出入口的人流情況進行統計、分析，可以對地鐵運營負荷給出估計，方便優(yōu)化車輛調度并合理管控人流保障旅客安全和順利出行；

場景2:針對城市群眾游行，通過街道監(jiān)控攝像頭采集游行街道的視頻，在游行街道上寬度方向設置LOI，將游行街道在LOI上上待分析時間段T的視頻輸入至本發(fā)明實施例的深度神經網絡，通過本發(fā)明實施例的跨線計數方法，即可獲得給出參加游行人數及人群移動狀態(tài)，方便調配警力保障游行有序和公眾安全；

場景3:針對景區(qū)或者公共體育場館，亦可通過監(jiān)控攝像頭采集景區(qū)或者公共體育場館的視頻，在景區(qū)或場館的出入口設置LOI，將景區(qū)或者公共體育場館的視頻輸入至本發(fā)明實施例的深度神經網絡，通過本發(fā)明實施例的跨線計數方法，即可對進出景區(qū)或場館的人群進行統計，從而合理管控人流，避免過于擁擠發(fā)生踩踏事故等危險。

本說明書中各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對于裝置、設備實施例而言，由于其與方法實施例基本對應，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

可能以許多方式來實現本發(fā)明的方法、裝置和設備。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實現本發(fā)明的方法、裝置和設備。用于所述方法的步驟的上述順序僅是為了進行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發(fā)明實施為記錄在記錄介質中的程序，這些程序包括用于實現根據本發(fā)明的方法的機器可讀指令。因而，本發(fā)明還覆蓋存儲用于執(zhí)行根據本發(fā)明的方法的程序的記錄介質。

本說明書中各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對于裝置、設備實施例而言，由于其與方法實施例基本對應，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

可能以許多方式來實現本發(fā)明的方法和裝置、設備。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實現本發(fā)明的方法和裝置、設備。用于所述方法的步驟的上述順序僅是為了進行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發(fā)明實施為記錄在記錄介質中的程序，這些程序包括用于實現根據本發(fā)明的方法的機器可讀指令。因而，本發(fā)明還覆蓋存儲用于執(zhí)行根據本發(fā)明的方法的程序的記錄介質。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本發(fā)明的原理和實際應用，并且使本領域的普通技術人員能夠理解本發(fā)明從而設計適于特定用途的帶有各種修改的各種實施例。