專利名稱：智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法
技術領域：
本發(fā)明涉及安防領域智能視頻監(jiān)控系統(tǒng)的測試，具體是指一種智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法。
背景技術：
現(xiàn)代社會是一個人口密集、高度復雜的社會，面臨的突發(fā)事件和異常事件越來越多，其監(jiān)控的重要性與難度也越來越突出。為此，新一代的智能視頻監(jiān)控技術得到了世界各國政府和學者的密切關注。
隨著各種各樣智能視頻算法和系統(tǒng)的提出，帶來的問題就是這些視頻內容分析算法的可靠性和健壯性如何，產生誤報及漏報的幾率大小，用戶能否放心地使用采用該算法的監(jiān)控系統(tǒng)，如果算法產生了太多的誤報，將會使安全人員習慣性的掉以輕心，甚至漏掉重大的事件。因此，判斷這些算法及系統(tǒng)實用性的評估方法至關重要。
通過對智能視頻算法及系統(tǒng)進行性能評估，可以給出對特定的智能視頻算法或監(jiān)控系統(tǒng)的性能評估，使得視頻監(jiān)控系統(tǒng)的用戶必須知道自己使用的系統(tǒng)的準確性、可靠性如何，并且由此決定對此系統(tǒng)的依賴程度的大小，以及是否需要使用其他的輔助措施；同時也可以幫助算法設計者發(fā)現(xiàn)已有算法的不足之處，并加以改進。
目前的智能視頻系統(tǒng)及算法測試工作主要以人工測試為主，即通過人對算法的檢測結果進行判斷，并最終給出該系統(tǒng)的性能指標。但此種測試方法不僅費時費力，同時評估結果受到人的主觀感受和生理因素等的影響，使得評估不具備可重復性，評估結果缺乏說服力，所以此種人工測試方法不適于測試較多視頻樣本及多個被測物的情況。

發(fā)明內容
本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法旨在提供一種自動的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，以解決智能視頻測試中的耗時耗力等問題。該方法因在測試序列庫建立時，對測試視頻進行了人工標注獲取基準數(shù)據，同時也使用一些工具生成一部分模擬視頻(其基準數(shù)據可自動獲取)，而在后續(xù)的比對評估步驟中，可對前面獲得的基準數(shù)據進行重復使用，而且只要被測物的輸出符合預先定義的格式，即可利用計算機對其進行自動的評估。因而大大減少了人工測試中結果統(tǒng)計所需的時間及人力，且由于結果統(tǒng)計使用計算機進行，這也使得評估中的人為因素的影響大大降低，使得測試具備可重復性。同時本發(fā)明標注支持多種視頻格式，包括AVI、 MPEG、 MP4等。
本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法由基準數(shù)據生成單元、基準數(shù)據校準
3單元、基準數(shù)據存儲單元、基準數(shù)據播放單元、檢測結果錄入單元、檢測結果與基準比較單元、性能指標計算單元、結果輸出單元和調度服務器組成的測試系統(tǒng)完成，所述的方法包括以下步驟
步驟一，建立用于測試的基準數(shù)據庫，基準數(shù)據庫中的視頻樣本包括真實場景視頻及虛擬合成視頻， 一個視頻測試樣本由測試視頻及相應的基準數(shù)據組成；步驟二，選取用于測試的視頻序列；
步驟三，將被測系統(tǒng)或算法在基準數(shù)據庫中的視頻上運行，并獲取運行結果，同時，査詢并選出對應視頻的基準數(shù)據；
步驟四，將運行結果與選定的基準進行比對并評估，比對評估的級別分為幀級別和事件級別，最后以文本及圖表方式儲存輸出比對評估結果。
本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，通過建立一個測試基準數(shù)據庫，提供不同難度級別的測試樣本，在不同的被測物之間進行測試比對，從而得到各個被測物的性能，發(fā)現(xiàn)其性能優(yōu)劣，以利于對該被測系統(tǒng)或算法的改進。
本發(fā)明的優(yōu)點在于只需在基準數(shù)據庫建立階段花費時間和人力，而后可以自動進行結果對比，不需耗費人力。同時比對的僅僅是標注后產生的XML文件以及被測物輸出的XML文件，占用內存空間較少，能提高自動測試系統(tǒng)的運行速度。


圖1為本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法的結構組成圖2為本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法的操作步驟流程圖3為本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法中建立基準數(shù)據庫的過程；
圖4為本發(fā)明智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法中測試結果比對評估輸出的過程。
具體實施例方式
本發(fā)明為一種用于安防領域內的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法。下面為本發(fā)明的優(yōu)選實施方案使用的系統(tǒng)結構和實施步驟-(一)系統(tǒng)結構
圖l所示的本發(fā)明使用的系統(tǒng)結構框圖，該系統(tǒng)組成包括基準數(shù)據生成單元、基準數(shù)據校準單元、基準數(shù)據存儲單元、基準數(shù)據播放單元、檢測結果錄入單元、檢測結果與基準比較單元、性能指標計算單元、結果輸出單元、調度服務器組成。
1. 基準數(shù)據生成單元用來生成用于比對的基準文件；
2. 基準數(shù)據校準單元用來對基準數(shù)據生成單元生成的基準數(shù)據進行校對調整；
3. 基準數(shù)據存儲單元負責存儲測試所需的視頻樣本以及相應的標注產生的基準數(shù)據；4. 基準數(shù)據播放單元可以對入庫的基準視頻進行播放；
5. 檢測結果錄入單元可將被測物產生的檢測結果進行統(tǒng)一格式的存儲；
6. 檢測結果與基準比較單元用于將檢測結果與相應的基準數(shù)據進行比對；
7. 性能指標計算單元對比對結果進行分析，計算各種性能指標；
8. 結果輸出單元對性能指標計算單元輸出的結果以文本及圖表的方式輸出給用戶；
9. 調度服務器接收用戶發(fā)出的測試操作，査詢基準數(shù)據存儲服務器中的基準數(shù)據，同 時調度各單元進行協(xié)同比對操作。
(二)實施步驟 本發(fā)明的具體實施如圖2，操作步驟如下 首先執(zhí)行步驟一，建立用于測試的基準數(shù)據庫； 接著執(zhí)行步驟二，選取用于測試的視頻序列；
再接著執(zhí)行步驟三，將被測系統(tǒng)或算法在基準數(shù)據庫中的視頻上運行，并獲取運行結果， 同時，查詢并選出對應的基準數(shù)據；
最后執(zhí)行步驟四，將運行結果與選定的基準進行比對，對比對結果進行分析并最終輸出評 估結果。
其中步驟一的具體操作過程如圖3，主要包含如下操作
a. 選取合適的視頻進行入庫，建立測試視頻序列庫；
b. 對測試視頻按照事先制訂的規(guī)則，生成基準數(shù)據。
上述a操作中進一步包含有以下步驟對用于測試的視頻按可用的功能測試進行分類； 對用于某一功能測試的視頻按處理的難度進行分級，分級的因素包括光照、對比度、天氣 狀況及場景復雜度等，分級為3級以上；使用基準數(shù)據存儲單元，將視頻及描述信息存儲至 相應的位置。
上述b操作中進一步包含有以下步驟用戶選取需要生成基準數(shù)據的視頻后，通過基準 數(shù)據生成單元，在該段視頻上生成相應的基準數(shù)據；使用基準數(shù)據校準單元，對基準數(shù)據生 成單元輸出的基準數(shù)據進行校準；使用基準數(shù)據存儲單元，對基準數(shù)據校準單元輸出的基準 數(shù)據進行存儲。
上述操作a和b都完成后，建立完成的基準數(shù)據庫主要由視頻序列、視頻描述信息、基 準數(shù)據組成。其中，視頻序列由攝像設備采集得到，視頻描述信息對視頻的采集參數(shù)(攝像 設備的參數(shù)、采集時間)、采集條件(天氣、光照等)、場景(馬路、廣場等)、內容(人、車 等)信息進行描述，基準數(shù)據由選取的視頻先后經過生成粗略基準數(shù)據、校準的精確基準數(shù) 據得到。步驟二主要完成的操作是調度服務器通知基準數(shù)據存儲單元，將相應的測試視頻文件 及基準數(shù)據文件存儲位置返回給調度服務器；調度服務器收到信息后，將此信息發(fā)送給基準 數(shù)據播放單元進行播放，便于用戶選擇合適的測試數(shù)據。
步驟三主要完成的操作是調度服務器將用戶選取的用于測試的視頻發(fā)送至被測物，供 被測物進行檢測；通過檢測結果錄入單元將被測物的檢測結果以統(tǒng)一的格式XML存儲，記 錄被測物在每一幀內的檢測結果，并通知調度服務器。同時，查詢并選出比對的視頻基準數(shù) 據也以XML格式存儲。
步驟四的具體操作過程如圖4:用戶通過調度服務器設置評判策略；調度服務器調度檢 測結果與基準比較單元，使用用戶配置的策略，將檢測結果與相應的基準數(shù)據進行比對，評 判檢測結果的有效性，評判完成后通知調度服務器；調度服務器接收到檢測結果與基準比較 單元的信息后，調度性能指標計算單元，根據評估任務，對評判結果進行計算評估更能反映 被測物真實性能的指標，并返回調度服務器；調度服務器收到性能指標計算單元返回的評估 結果后，通知結果輸出單元，對分析計算的性能指標以文本及圖片格式的輸出。
在上述的比對評估中，分為幀級別和事件級別兩種
幀級別，比較被測物在每一幀檢測結果；
事件級別，比較某一事件發(fā)生期間，該事件或物體是否被成功檢測。
總而言之，本發(fā)明在于提供一種智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其在建立 基準數(shù)據庫的基礎上，完成對不同智能視頻算法及智能視頻系統(tǒng)的性能測試，大大節(jié)省了人 力和物力，因此非常具有實用價值。
權利要求
1.一種智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于，所述方法由基準數(shù)據生成單元、基準數(shù)據校準單元、基準數(shù)據存儲單元、基準數(shù)據播放單元、檢測結果錄入單元、檢測結果與基準比較單元、性能指標計算單元、結果輸出單元和調度服務器組成的測試系統(tǒng)完成，所述的方法包括以下步驟步驟一，建立用于測試的基準數(shù)據庫；步驟二，選取用于測試的視頻序列；步驟三，將被測系統(tǒng)或算法在基準數(shù)據庫中的視頻上運行，并獲取運行結果，同時，查詢并選出對應視頻的基準數(shù)據；步驟四，將運行結果與選定的基準進行比對，對比對結果進行分析并最終輸出評估結果。
2. 根據權利要求1所述的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于，所述 的步驟一建立測試基準數(shù)據庫的過程進一步包括以下步驟步驟(一)，對用于測試的視頻按功能測試進行分類；步驟(二)，對某一功能測試的視頻按處理的難度進行分級，分級為3級以上；步驟(三)，對測試視頻按制定的規(guī)則進行標注，并將標注數(shù)據按照統(tǒng)一的格式存儲。
3. 根據權利要求1所述的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于，所述 的步驟三中被測系統(tǒng)或算法在測試中視頻運行結果存儲為統(tǒng)一格式的XML文件，記錄被測 物在每一幀內的檢測結果；查詢并選出對應視頻的基準數(shù)據也以統(tǒng)一格式的XML文件存儲。
4. 根據權利要求1所述的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于，所述的步驟四中，在檢測結果與基準比較單元配置比較策略，設置有效匹配條件，在性能指標計 算單元根據評估任務配置性能指標，結果輸出單元輸出比對評估結果的形式包括文本和圖形兩種。
5. 根據權利要求1或2之一所述的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于， 所述的基準數(shù)據庫中的視頻樣本包括真實場景視頻及虛擬合成視頻， 一個視頻測試樣本由測 試視頻及相應的基準數(shù)據組成。
6. 根據權利要求1或4之一所述的智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，其特征在于， 所述的比對評估的級別分為幀級別和事件級別。
全文摘要
本發(fā)明為一種智能視頻監(jiān)控系統(tǒng)及其算法的性能測試方法，本測試方法由基準數(shù)據生成單元、基準數(shù)據校準單元、基準數(shù)據存儲單元、基準數(shù)據播放單元、檢測結果錄入單元、檢測結果與基準比較單元、性能指標計算單元、結果輸出單元和調度服務器組成的測試系統(tǒng)完成。在對智能視頻系統(tǒng)或算法進行測試時，首先建立用于測試的基準數(shù)據庫，用于測試的視頻依次經過基準數(shù)據的生成、校準和存儲；然后選定測試視頻，被測的系統(tǒng)或算法在選定的測試視頻上進行功能檢測，將檢測結果存儲為規(guī)定格式的XML文件；最后將此文件與對應視頻的基準數(shù)據加以比對，將比對評估的結果以文本和圖形的方式輸出。
文檔編號H04N17/00GK101656891SQ20091009156
公開日2010年2月24日 申請日期2009年8月27日 優(yōu)先權日2009年8月27日
發(fā)明者孟永新, 李曉峰, 李鵬飛, 列 王, 陳朝武 申請人:北京中盾安全技術開發(fā)公司;公安部第一研究所