一種基于深度學習的全天候視頻監(jiān)控方法
【專利摘要】本發(fā)明公開了一種基于深度學習的全天候視頻監(jiān)控方法，該方法包括以下步驟：實時采集視頻流，基于得到的視頻流通過線采樣獲得多幅原始采樣圖樣本，以及速度采樣圖樣本；對于得到的速度采樣圖樣本進行時空矯正；基于原始采樣圖和速度采樣圖，離線訓練得到深度學習模型，所述深度學習模型包括分類模型和統(tǒng)計模型；利用得到的深度學習模型對于實時視頻流進行人群狀態(tài)分析。本發(fā)明對于不同環(huán)境、光照強度、天氣情況以及攝像頭角度均具有良好的適應性；對于大流量人群涌出等人群擁擠環(huán)境，可以保證較高的準確率；計算量小，可以滿足實時視頻處理的要求，能夠廣泛地應用于對于公交、地鐵和廣場等滯留人群密集的公共場所的監(jiān)控和管理。
【專利說明】一種基于深度學習的全天候視頻監(jiān)控方法

【技術領域】
[0001] 本發(fā)明屬于模式識別【技術領域】，特別涉及一種基于深度學習的全天候視頻監(jiān)控方 法，尤其適用于大流量人群狀態(tài)的分析。

【背景技術】
[0002] 目前我國城市化水平已超過50 %，大量流動人口的涌入使城市人口的密度越來越 大，大規(guī)模人群活動變得日益頻繁，由于人流擁擠踩踏而發(fā)生重大事故的現(xiàn)象屢見不鮮。因 此，如何對人群進行監(jiān)控管理，在群體性事件發(fā)生的初期進行主動識別和及時預警，成為當 前各個國家視頻監(jiān)控領域的研究熱點之一。為了更好地對群體性異常事件進行識別和預 警，從而減少災難的發(fā)生，實時對人群規(guī)模變化的掌握是一個關鍵的因素?；谥悄芤曨l監(jiān) 控的人群分析，是對特定監(jiān)控場景內的運動物進行行為分析，可以對其行為規(guī)律作出描述， 從而實現(xiàn)利用機器智能進行異常事件自動檢測，還可以學習建立相關行為模型，為公共空 間設計、智能環(huán)境等提供參考。然而，由于監(jiān)控場景的不同、攝像機安裝角度的差異、天氣以 及日照強度的變化，使得智能監(jiān)控系統(tǒng)在全天候監(jiān)控時，發(fā)揮作用甚小。
[0003] 卷積神經(jīng)網(wǎng)絡，作為一種深度學習方法，是為二維圖像處理而特別設計的一個多 層感知器。它具有一些傳統(tǒng)技術所沒有的優(yōu)點：良好的容錯能力、并行處理能力和自學能 力，可處理環(huán)境信息復制，背景知識不清楚，推理規(guī)則不明確情況下的問題，允許有較大的 缺損、畸變，運行速度快，自適應性能好，具有較高的分辨能力。因此，卷積神經(jīng)網(wǎng)絡，可以解 決全天候監(jiān)控中的問題，可以保證智能監(jiān)控系統(tǒng)在各種情況下的較高的穩(wěn)定的準確率。


【發(fā)明內容】

[0004] 本發(fā)明的目的是提供一種基于深度學習的全天候視頻監(jiān)控方法，可以全天候的分 析視頻中人群狀態(tài)，尤其是人群的數(shù)量。
[0005] 為了實現(xiàn)上述目的，本發(fā)明提出的一種基于深度學習的全天候視頻監(jiān)控方法包括 以下步驟：
[0006] 步驟1，實時采集視頻流，基于得到的視頻流通過線采樣獲得多幅原始采樣圖樣 本，以及速度采樣圖樣本；
[0007] 步驟2,對于得到的速度采樣圖樣本進行時空矯正；
[0008] 步驟3,基于原始采樣圖和速度采樣圖，離線訓練得到深度學習模型，所述深度學 習模型包括分類模型和統(tǒng)計模型；
[0009] 步驟4,利用所述步驟3得到的深度學習模型對于實時視頻流進行人群狀態(tài)分析。
[0010] 本發(fā)明與目前國內外最新方法相比具有幾個明顯的優(yōu)點：1)對不同環(huán)境、光照強 度、天氣情況以及攝像頭角度的不同設置，均具有良好的適應性；2)對大流量人群涌出等 人群擁擠環(huán)境，可以保證較高的準確率；3)計算量小，可以滿足實時視頻處理的要求。

【專利附圖】

【附圖說明】
[0011] 圖1是本發(fā)明基于深度學習的全天候視頻監(jiān)控方法的流程圖；
[0012] 圖2是本發(fā)明幾何校正的示意圖。

【具體實施方式】
[0013] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發(fā)明進一步詳細說明。
[0014] 本發(fā)明的思想要點是：1)人進出門（或虛擬門）行為，可以通過固定位置采樣將 動態(tài)行為轉換成靜態(tài)圖片，以方便人群的分析；2)通過透視矯正以及速度矯正，使得該方 法在不同攝像頭角度設置下保證較高的準確率；3)深度學習模型有助于自動發(fā)現(xiàn)最有效 的特征，并通過串聯(lián)多特征保證人群狀態(tài)分析的準確率在不同場景下的穩(wěn)定性。下面對于 本發(fā)明中所涉及到的技術細節(jié)予以說明。
[0015] 本發(fā)明基于深度學習的全天候視頻監(jiān)控方法的流程圖如圖1所示，如圖1所示，所 述基于深度學習的全天候視頻監(jiān)控方法包括以下步驟：
[0016] 步驟1，實時采集視頻流，基于得到的視頻流通過線采樣獲得多幅原始采樣圖樣 本，以及速度采樣圖樣本；
[0017] 在本發(fā)明一實施例中，為了統(tǒng)計的方便，首先，對于所述視頻流中的每幀圖像，在 行人進出門的位置處，設置一個寬度固定為n像素（在本發(fā)明一實施例中，n = 3)、長度覆 蓋整個門的標定線ln，作為人進出的虛擬門界限，其中，所述標定線的位置根據(jù)視頻場景中 需要統(tǒng)計人數(shù)的位置而定，其可以是任意角度，優(yōu)選為與門的長度方向垂直，比如，如果門 正對著攝像頭，則標定線可設置為橫向放置，如果門與攝像頭的拍攝方向垂直，則標定線可 設置為縱向放置；然后，提取所述視頻流中每隔f (在本發(fā)明一實施例中，f = 2)幀的圖像 F中所述標定線覆蓋的像素，由于標定線的寬度是n像素，因此每完成一次采樣，就會得到n 行的像素數(shù)據(jù)，經(jīng)過固定時間間隔t (在本發(fā)明一實施例中，t = 300幀），采樣得到的所有 像素累積組成原始采樣圖像I，進而對于視頻流可以得到多幅原始采樣圖樣本。在本發(fā)明一 實施例中，按照時間采樣的順序，將采樣得到的每行圖像像素數(shù)據(jù)，由上到下按行填充，得 到原始采樣圖像I。
[0018] 所述速度采樣圖為行人運動方向圖，本發(fā)明中，行人的運動方向有兩種可能，即在 垂直于標定線的方向上，向標定線的兩側行走。因此，在速度采樣圖中，本發(fā)明使用RBG不 同的通道表示行人不同的運動方向：其中，R通道和G通道表示兩個不同運動方向的像素 點，B通道表示沒有運動的像素點。具體地，當對于所述視頻流進行采樣得到原始采樣圖像 的同時，使用光流法計算相應標定線覆蓋的每個像素點的速度Speed(F t(ln))與運動方向 Orient (Ft(ln))，基于計算得到的像素點的運動方向值，經(jīng)過類似的相同固定時間間隔t的 累積，得到速度采樣圖I s。
[0019] 由上，一段時間的視頻流中的人群信息，可以通過原始采樣圖和速度采樣圖獲得， 即：
[0020] I(n*t%3/3) =Ft(ln),
[0021] Is(n*t% 3/3) = Orient (Ft (ln)),

【權利要求】
1. 一種基于深度學習的全天候視頻監(jiān)控方法，其特征在于，該方法包括以下步驟： 步驟1，實時采集視頻流，基于得到的視頻流通過線采樣獲得多幅原始采樣圖樣本，以 及速度采樣圖樣本； 步驟2,對于得到的速度采樣圖樣本進行時空矯正； 步驟3,基于原始采樣圖和速度采樣圖，離線訓練得到深度學習模型，所述深度學習模 型包括分類模型和統(tǒng)計模型； 步驟4,利用所述步驟3得到的深度學習模型對于實時視頻流進行人群狀態(tài)分析。
2. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟1進一步包括以下步驟： 首先，對于所述視頻流中的每幀圖像，在行人進出門的位置處，設置一個寬度固定為η 像素、長度覆蓋整個門的標定線In，作為人進出的虛擬門界限； 然后，提取所述視頻流中每隔f幀的圖像F中所述標定線覆蓋的像素，每經(jīng)過固定時間 間隔t，采樣得到的所有像素組成原始采樣圖像I ; 在采樣標定線覆蓋的像素時，使用光流法計算每個像素的速度與運動方向，每經(jīng)過固 定時間間隔t，采樣得到的所有像素的運動方向組成速度采樣圖。
3. 根據(jù)權利要求1所述的方法，其特征在于，所述速度采樣圖中，使用RBG不同的通道 表示行人不同的運動方向，其中，R通道和G通道表示兩個不同運動方向的像素點，B通道表 示沒有運動的像素點。
4. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟2中，利用圖像平面上不同像素 的貢獻對于所述速度采樣圖樣本進行空間矯正，利用不同像素點的速度值對于所述速度采 樣圖進行時間矯正。
5. 根據(jù)權利要求4所述的方法，其特征在于，經(jīng)過空間和時間矯正后的速度采樣圖Γ s 表示為： I's = Is*Sc(x，y)*S(Ft(ln))， 其中，Is表示空間和時間矯正前的速度采樣圖，Sc(x，y)表示圖像平面上任意一個像素 I (x，y)的幾何貢獻因子，S (Ft (In))表示時間矯正系數(shù)：S (Ft (In)) =Speed (Ft (In))/Ns，Ns為 標準速度值，Speed(F t(ln))表示時間t時圖像幀F(xiàn)中標定線In覆蓋的像素點的速度大小。
6. 根據(jù)權利要求1所述的方法，其特征在于，所述分類模型可將速度采樣圖分為4類： 速度采樣圖中只有進入的人、速度采樣圖中只有出的人、速度采樣圖中有進有出的人、速度 采樣圖中無人進出。
7. 根據(jù)權利要求1所述的方法，其特征在于，所述統(tǒng)計模型進一步包括統(tǒng)計人群數(shù)量 模型和統(tǒng)計進出人群模型，其中，所述統(tǒng)計人群數(shù)量模型用于統(tǒng)計原始采樣圖中人群的總 數(shù)量；所述統(tǒng)計進出人群模型用于統(tǒng)計有進有出類別的速度采樣圖中進入人群所占的比 例。
8. 根據(jù)權利要求1所述的方法，其特征在于，所述統(tǒng)計模型使用卷積神經(jīng)網(wǎng)絡訓練得 至IJ，其中，用于訓練統(tǒng)計人群數(shù)量模型的卷積神經(jīng)網(wǎng)絡包括輸入層、5個卷積層、2個全連接 層以及輸出層；用于訓練統(tǒng)計進出人群模型的卷積神經(jīng)網(wǎng)絡包括輸入層、3個卷積層、1個 全連接層以及輸出層。
9. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟4進一步包括以下步驟： 步驟41，與所述步驟1類似，基于所述實時視頻流獲取多幅原始采樣圖以及速度采樣 圖； 步驟42,與所述步驟2類似，對于所述步驟41得到的速度采樣圖分別進行時空矯正； 步驟43,利用所述深度學習模型中的分類模型對于所述速度采樣圖分別進行分類，判 斷得到所述速度采樣圖所屬的類別； 步驟44,根據(jù)所述速度采樣圖所屬的類別，使用所述深度學習模型中的統(tǒng)計模型分別 分析原始采樣圖中的人群信息； 步驟45,對于多幅原始采樣圖對應的人群信息進行整合，獲得所述實時視頻流對應時 段內的精確人群信息。
10.根據(jù)權利要求9所述的方法，其特征在于，所述步驟44中，對于無人進出的類別，人 群數(shù)量統(tǒng)計為零；對于-只有出去和只有進入的類別，使用所述統(tǒng)計模型中的統(tǒng)計人群數(shù) 量模型統(tǒng)計人群數(shù)量；對于有進有出的類別，使用所述統(tǒng)計模型中的統(tǒng)計進出人群模型統(tǒng) 計得到進入人數(shù)所占的比例，并結合所述統(tǒng)計人群數(shù)量模型得到的人群數(shù)量統(tǒng)計結果，最 終分別獲得進入和出去的人數(shù)。
【文檔編號】H04N7/18GK104320617SQ201410557880
【公開日】2015年1月28日 申請日期:2014年10月20日 優(yōu)先權日:2014年10月20日
【發(fā)明者】黃凱奇, 康運鋒, 曹黎俊, 張旭 申請人:中國科學院自動化研究所