專利名稱：一種視頻監(jiān)控中的人體行為識別方法
技術領域：
本發(fā)明涉及計算機視覺領域，尤其是涉及一種視頻監(jiān)控中的人體行為識別方法。
背景技術：
目前，大多數(shù)的視頻監(jiān)控系統(tǒng)都是將采集到的視頻數(shù)據存儲到設備中，然后由人工判斷視頻中是否有異常情況。而人工判斷方式需要耗費大量人力資源，同時無法24小時連續(xù)地工作，因此讓計算機自行對視頻進行監(jiān)控和分析具有廣泛的應用價值。人體行為識別是視頻智能監(jiān)控的核心技術。目前，許多模式識別的方法被應用于人體行為識別方法。首先將視頻表示為局部模式的集合，例如局部時空特征點、三維局部塊以及視頻幀。在時空特征檢測和描述的基礎上，最常見的是基于“詞袋”模式的方法。首先將局部時空特征量化為“時空視覺詞”，然后結合SVM等機器學習方法進行行為識別。同時 Niebles 等人(J.C.Niebles, H.Wang, and F.-F.Li, “Unsupervised learning of humanaction categories using spatial-temporal words,，，Intl.J.Computer Vision, vol.79，n0.3，pp.299-318，2008.)提出在“時空特征詞”的基礎上使用概率潛在語義分析的無監(jiān)督人體行識別方法。然而這些人體行為識別方法都是基于學習的方法，即需要一個訓練和學習的過程。尤其是在新增樣本數(shù)據之后需要重新訓練，同時會產生參數(shù)過學習的問題。針對這些問題，Yuan 等人(J.Yuan, S.Liu, and Y.Wu, “Discriminative video pattern searchfor efficient action detection,，’IEEE Tran.Pattern Analysis and Machine Intelligence, vol.33, n0.9, pp.1728 - 1743, 2011.)提出了基于樸素貝葉斯的互信息最大化算法，通過計算局部時空特征與類別的互信息表示這兩者之間的關系，從而進行人體行為分類。盡管目前有許多對視頻中人體行為進行識別的方法，但是大多數(shù)方法都是針對視頻中僅有一種行為的視頻分類問題，然而在真實場景中不同行為總是連續(xù)出現(xiàn)的，例如在監(jiān)控場景中，一個人扔下包裹的過程總是“走進來-放下包裹-走出去”這樣一個過程。在這個過程中多個不同的行為連續(xù)出現(xiàn)，需要進行有效的分割，并不能簡單認為是一個分類問題，所以目前大多數(shù)的人體行為識別方法均不能解決這個問題。對于視頻中包括連續(xù)不同行為的識別問題并沒有除了滑動窗口之外更好的方法。而滑動窗口方法的計算復雜度高，并不能很好的應用于實際的場景中。因此需要能夠有效對連續(xù)多實例人體行為識別的方法。

發(fā)明內容
本發(fā)明的目的在于提供能夠對視頻中連續(xù)不同的行為進行識別的一種視頻監(jiān)控中的人體行為識別方法。本發(fā)明包括以下步驟:步驟一、檢測和表示局部時空特征:對視頻采集單元采集到的視頻，使用三維Harris局部特征檢測方法，將視頻轉化為局部時空特征集合；步驟二、計算局部時空特征與類別相關性:對于步驟一檢測到的時空特征，使用類別比對互信息方法計算每個時空特征屬于各個類別的相關性得分；步驟三、計算視頻幀與類別相關性:根據步驟二所求得的時空特征屬于各個類別的相關性得分，視頻幀與類別的相關性得分表示為該幀上所有時空特征得分的平均值；步驟四、檢測和識別人體行為:根據步驟三所求得視頻幀與類別的相關性得分，使用最大值子序列搜索方法定位和識別人體行為。在步驟一中，所述檢測方法，由人體行為監(jiān)控系統(tǒng)中的特征抽取單元實現(xiàn)。在步驟二中，所述類別比對互信息方法，由人體行為監(jiān)控系統(tǒng)中的相關性分析單元實現(xiàn)。在步驟三中，所述視頻幀與類別的相關性得分表示為該幀上所有時空特征得分的平均值，由人體行為監(jiān)控系統(tǒng)中的相關性分析單元實現(xiàn)。在步驟四中，所述使用最大值子序列搜索方法定位和識別人體行為，由人體行為監(jiān)控系統(tǒng)中的行為識別單元實現(xiàn)?；诒景l(fā)明所提出的人體行為識別方法的人體行為監(jiān)控系統(tǒng)設有:視頻采集單元:用于采集當前場景的信息。存儲單元:用于存儲視頻信息、特征信息以及視頻識別結果。視頻輸出單元:用于顯示采集的視頻和視頻檢測結果。

預警單元:用于對視頻中的異常人體行為發(fā)出警報。特征抽取單元:用于對視頻進行特征檢測和表示，將視頻轉換為特征文本。此單元完成本發(fā)明所提供的人體行為識別方法中的檢測和表示局部時空特征步驟，使用三維Harris特征點檢測方法檢測局部時空特征點；并且將梯度方向直方圖和光流方向直方圖串聯(lián)起來作為局部時空特征點的描述子。相關性分析單元:用于對特征和類別的相關性計算，將特征文本轉換為相關性文本。此單元完成本發(fā)明所提供的人體行為識別方法中的計算局部時空特征與類別相關性和計算視頻幀與類別相關性步驟。對于計算局部時空特征與類別相關性。本發(fā)明提供類別比對互信息計算方法，用于描述特征與類別的相關性，如下:
權利要求
1.一種視頻監(jiān)控中的人體行為識別方法，其特征在于包括以下步驟: 步驟一、檢測和表示局部時空特征:對視頻采集單元采集到的視頻，使用三維Harris局部特征檢測方法,將視頻轉化為局部時空特征集合； 步驟二、計算局部時空特征與類別相關性:對于步驟一檢測到的時空特征，使用類別比對互信息方法計算每個時空特征屬于各個類別的相關性得分； 步驟三、計算視頻幀與類別相關性:根據步驟二所求得的時空特征屬于各個類別的相關性得分，視頻幀與類別的相關性得分表示為該幀上所有時空特征得分的平均值； 步驟四、檢測和識別人體行為:根據步驟三所求得視頻幀與類別的相關性得分，使用最大值子序列搜索方法定位和識別人體行為。
2.如權利要求1所述一種視頻監(jiān)控中的人體行為識別方法，其特征在于在步驟一中，所述檢測方法，由人體行為監(jiān)控系統(tǒng)中的特征抽取單元實現(xiàn)。
3.如權利要求1所述一種視頻監(jiān)控中的人體行為識別方法，其特征在于在步驟二中，所述類別比對互信息方法，由人體行為監(jiān)控系統(tǒng)中的相關性分析單元實現(xiàn)。
4.如權利要求1所述一種視頻監(jiān)控中的人體行為識別方法，其特征在于在步驟三中，所述視頻幀與類別的相關性得分表示為該幀上所有時空特征得分的平均值，由人體行為監(jiān)控系統(tǒng)中的相關性分析單元實現(xiàn)。
5.如權利要求1所述一種視頻監(jiān)控中的人體行為識別方法，其特征在于在步驟四中，所述使用最大值子序列搜索方法定位和識別人體行為，由人體行為監(jiān)控系統(tǒng)中的行為識別單元實現(xiàn)。
6.用于人體行為識別方法的人體行為監(jiān)控系統(tǒng)，其特征在于設有: 視頻采集單元:用于采集當前場景的信息； 存儲單元:用于存儲視頻信息、特征信息以及視頻識別結果； 視頻輸出單元:用于顯示采集的視頻和視頻檢測結果； 預警單元:用于對視頻中的異常人體行為發(fā)出警報； 特征抽取單元:用于對視頻進行特征檢測和表示，將視頻轉換為特征文本； 相關性分析單元:用于對特征和類別的相關性計算，將特征文本轉換為相關性文本； 行為識別單元:用于對視頻中的人體行為進行定位和識別。
全文摘要
一種視頻監(jiān)控中的人體行為識別方法，涉及計算機視覺領域。提供能夠對視頻中連續(xù)不同的行為進行識別的一種視頻監(jiān)控中的人體行為識別方法。包括檢測和表示局部時空特征、計算局部時空特征與類別相關性、計算視頻幀與類別相關性、檢測和識別人體行為。基于該人體行為識別方法的人體行為監(jiān)控系統(tǒng)包括視頻采集單元、存儲單元、特征抽取單元、相關性分析單元、行為識別單元、視頻輸出單元和預警單元。能夠對視頻中連續(xù)不同的行為進行識別。
文檔編號G06K9/46GK103106394SQ201210566810
公開日2013年5月15日 申請日期2012年12月24日 優(yōu)先權日2012年12月24日
發(fā)明者張洪博, 蘇松志, 李紹滋, 林賢明, 郭鋒, 曹冬林, 呂艷萍 申請人:廈門大學深圳研究院, 廈門大學