專利名稱：基于先進(jìn)音視頻編碼標(biāo)準(zhǔn)的視頻監(jiān)控方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，具體為一種基于AVS(先進(jìn)音視頻編碼標(biāo)準(zhǔn))的視頻監(jiān) 控方法及其實(shí)現(xiàn)系統(tǒng)。
背景技術(shù)：
如今安全問題已經(jīng)受到廣泛關(guān)注，涌現(xiàn)了越來(lái)越多的視頻監(jiān)控系統(tǒng)，如門禁系統(tǒng)、考 勤系統(tǒng)以及身份識(shí)別系統(tǒng)等等。視頻監(jiān)控系統(tǒng)可以讓管理人員在控制室中觀察到前端防范 區(qū)域內(nèi)所有人員活動(dòng)情況并做記錄，為保安系統(tǒng)提供實(shí)時(shí)的圖像、聲音信息。但是，傳統(tǒng) 的視頻監(jiān)控系統(tǒng)需要大量的人力資源開銷，對(duì)監(jiān)控視頻內(nèi)容的檢測(cè)、識(shí)別和理解完全依靠 人工，降低了視頻監(jiān)控系統(tǒng)的工作效率，安全性與準(zhǔn)確性也缺乏保證，而且作為視頻監(jiān)控 系統(tǒng)核心技術(shù)的視頻壓縮標(biāo)準(zhǔn)目前還沒有專用的數(shù)字視頻監(jiān)控系統(tǒng)視頻壓縮標(biāo)準(zhǔn)，在網(wǎng)絡(luò) 傳輸和系統(tǒng)通用性上造成了比較大的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種工作效率高、安全性好的視頻監(jiān)控方法及系統(tǒng)。 本發(fā)明順應(yīng)視頻監(jiān)控發(fā)展潮流，將自動(dòng)化處理和AVS標(biāo)準(zhǔn)引入視頻監(jiān)控，結(jié)合背景/ 非背景分類、人臉檢測(cè)與識(shí)別等技術(shù)，預(yù)先對(duì)監(jiān)控視頻通過計(jì)算機(jī)系統(tǒng)的自動(dòng)處理，在保 證返回內(nèi)容的有效性的前提下，反饋給操作人員的信息量將遠(yuǎn)小于傳統(tǒng)監(jiān)控系統(tǒng)，從而大 大節(jié)省了人力資源，同時(shí)也提高了視頻監(jiān)控系統(tǒng)的可靠性。首創(chuàng)利用AVS在視頻監(jiān)控技術(shù) 方面和專利應(yīng)用優(yōu)勢(shì)，隨著國(guó)家和地方政府大力支持對(duì)AVS的應(yīng)用推廣，本發(fā)明在數(shù)字監(jiān) 控、門禁控制以及身份識(shí)別等應(yīng)用領(lǐng)域有一定的應(yīng)用價(jià)值。
本發(fā)明首先通過AVS網(wǎng)絡(luò)攝像機(jī)采集按照AVS碼流，使用AVS碼流解碼過程中的壓縮 域信息來(lái)進(jìn)行背景和非背景的分類。當(dāng)分類結(jié)果表明當(dāng)前的幀不是背景時(shí)，進(jìn)行人臉檢測(cè)。 當(dāng)檢測(cè)到人臉時(shí)，進(jìn)行人臉識(shí)別，即將人臉數(shù)據(jù)進(jìn)行變換后與訓(xùn)練數(shù)據(jù)進(jìn)行比較。在識(shí)別 結(jié)果被反饋給用戶之前，先計(jì)算置信度t ， t表明當(dāng)前識(shí)別結(jié)果的可信程度。當(dāng)置信度t 小于閾值t—min時(shí)(tjnin由經(jīng)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)獲得，t—min越高則準(zhǔn)確率越高，t_min越低則 査全率越高，通過權(quán)衡根據(jù)系統(tǒng)實(shí)際情況設(shè)定一個(gè)合適的t—min)，我們認(rèn)為該人臉不屬于 當(dāng)前庫(kù)中的數(shù)據(jù)，認(rèn)定為陌生人，并將這個(gè)結(jié)果反饋給用戶，經(jīng)用戶確認(rèn)后將此新的人臉 添加進(jìn)庫(kù)中。當(dāng)置信度大于等于閾值t—min時(shí)，表明識(shí)別結(jié)果有較高的可信度，然后記錄識(shí)別結(jié)果并對(duì)視頻進(jìn)行標(biāo)注。圖l是本視頻監(jiān)控系統(tǒng)的流程圖，其中體現(xiàn)了本發(fā)明兩個(gè)特 點(diǎn)，AVS應(yīng)用和自動(dòng)化處理。
具體實(shí)現(xiàn)的系統(tǒng)主要由三個(gè)部分組成，訓(xùn)練模塊、標(biāo)注模塊和檢索模塊。
訓(xùn)練模塊，包括監(jiān)控環(huán)境背景的訓(xùn)練模塊和人臉庫(kù)的訓(xùn)練模塊，分別實(shí)施對(duì)環(huán)境背景 訓(xùn)練和對(duì)人臉訓(xùn)練，輸入為人臉樣本庫(kù)和背景樣本庫(kù)，輸出為各人臉特征和背景特征。
標(biāo)注模塊，包括背景檢測(cè)模塊、人臉檢測(cè)模塊、人臉識(shí)別模塊和索引結(jié)構(gòu)建立部分， 對(duì)輸入的監(jiān)控視頻進(jìn)行自動(dòng)標(biāo)注。輸入為訓(xùn)練模塊得到的背景特征、人臉特征和待標(biāo)注的 監(jiān)控視頻，輸出為待標(biāo)注監(jiān)控視頻的檢索索引。
檢索模塊，是對(duì)指定監(jiān)控視頻進(jìn)行檢索，包括圖片査詢、文本査詢和視頻查詢。輸入 為指定監(jiān)控視頻的索引，用戶提交的圖片、文本或小段視頻，得到用戶所提交內(nèi)容在監(jiān)控 視頻中相應(yīng)的圖像內(nèi)容。圖2所示為系統(tǒng)的主要組成模塊、工作流程以及各個(gè)模塊之間的 邏輯關(guān)系。如圖所示，系統(tǒng)的最初輸入是人臉庫(kù)以及背景樣本，經(jīng)過訓(xùn)練后得到背景模型 以及人臉特征變換矩陣和人臉特征庫(kù)。然后對(duì)監(jiān)控視頻進(jìn)行標(biāo)注，標(biāo)注的過程首先是背景 檢測(cè)，對(duì)不是背景的圖像進(jìn)行人臉檢測(cè)，對(duì)其中出現(xiàn)的人臉進(jìn)行特征變換并創(chuàng)建索引結(jié)構(gòu) 下的索引。最終用戶通過用戶界面提交文本，圖片或者視頻，系統(tǒng)根據(jù)用戶提交內(nèi)容的不 同來(lái)分別進(jìn)行處理，最終反饋給用戶的是相關(guān)信息在監(jiān)控?cái)?shù)據(jù)中出現(xiàn)的位置。
下面是系統(tǒng)主要模塊的設(shè)計(jì)
1) 背景訓(xùn)練模塊對(duì)輸入的背景視頻樣本進(jìn)行計(jì)算，得到背景模型。采用算法是基于 HSV顏色空間，計(jì)算各像素屬于背景的取值范圍。
輸入背景視頻樣本。
輸出背景模型，用于背景的比對(duì)。
2) 人臉訓(xùn)練模塊對(duì)人臉庫(kù)中的人臉進(jìn)行處理。采用算法是fisher-face。
輸入人臉庫(kù)。
輸出由人臉庫(kù)中人臉數(shù)據(jù)計(jì)算得到的變換矩陣，該矩陣的目的是將輸入人臉變換得 到一維向量，用以識(shí)別。在得到變換矩陣的同時(shí)輸出各人臉的中心，用以識(shí)別。
3) 背景檢測(cè)模塊將輸入幀圖像與背景模型進(jìn)行比對(duì)，目的是獲知該輸入幀是否為 背景，若不是背景，那些區(qū)域?qū)儆谇熬胺秶?br> 輸入背景模型，幀圖像。
輸出獲知該輸入幀是否為背景，若不是背景，那些區(qū)域?qū)儆谇熬胺秶?br> 4) 人臉檢測(cè)模塊對(duì)于非背景的幀圖像，在其中檢測(cè)人臉。
輸入幀圖像。輸出檢測(cè)到的人臉圖像。
5) 人臉識(shí)別模塊對(duì)于檢測(cè)到的人臉圖像，使用訓(xùn)練得到的變換矩陣，得到一位向 量，采用歐式距離計(jì)算與各中心的相似度，以實(shí)現(xiàn)識(shí)別的目的。
輸入人臉圖像，變換矩陣。 輸出識(shí)別結(jié)果。
6) 索引結(jié)構(gòu)模塊對(duì)輸入視頻進(jìn)行標(biāo)注，依照人臉識(shí)別的結(jié)果，得到視頻索引，并 對(duì)索引建立索引結(jié)構(gòu)。
輸入監(jiān)控視頻。 輸出視頻索引。
7) 檢索模塊用戶通過用戶界面輸入査詢內(nèi)容，檢索模塊根據(jù)用戶提交內(nèi)容格式的 不同進(jìn)行檢索，并通過用戶界面反饋信息。
輸入用戶提交的査詢。
輸出反饋給用戶的視頻片斷等信息。
本發(fā)明有特別針對(duì)AVS視頻流的預(yù)處理，不管是在門禁實(shí)時(shí)監(jiān)控還是離線處理存儲(chǔ)的
視頻，都不對(duì)AVS碼流進(jìn)行完全的解碼，而是使用AVS的壓縮域信息來(lái)進(jìn)行背景/非背景
分類，判斷當(dāng)前圖像是否為背景，如果為背景就不進(jìn)行后續(xù)的工作，以此來(lái)提高系統(tǒng)的處 理效率。在實(shí)時(shí)應(yīng)用中，還可以加入使用硬件處理來(lái)加速這一過程。
在AVS的壓縮域當(dāng)中，宏塊的運(yùn)動(dòng)向量可以反映視頻當(dāng)中物體的運(yùn)動(dòng)。在背景片斷中，
圖像是相對(duì)靜止的，當(dāng)有人出現(xiàn)時(shí)會(huì)使視頻中引入更多的運(yùn)動(dòng)信息。文獻(xiàn)[l]中提出使用
H.264的運(yùn)動(dòng)預(yù)測(cè)技術(shù)來(lái)進(jìn)行背景/非背景的分類。本發(fā)明將類似的算法用于AVS碼流。 設(shè)&i為當(dāng)前圖像中的一個(gè)宏塊的運(yùn)動(dòng)向量，巧i = (口A， 口乃)，0《i《N - 1。 N為當(dāng) 前圖像中宏塊總數(shù)。用下式來(lái)計(jì)算當(dāng)前圖像中的運(yùn)動(dòng)強(qiáng)度
其中，Wzft表示第i個(gè)宏塊的面積。
單純使用運(yùn)動(dòng)強(qiáng)度并不能完全表征當(dāng)前圖像中物體的運(yùn)動(dòng)狀態(tài)，因此引入另一個(gè)參數(shù)
MS表示圖像中運(yùn)動(dòng)的范圍
<formula>formula see original document page 7</formula>公式(1)<formula>formula see original document page 7</formula>
公式(2)在背景圖像序列中，圖像中不存在劇烈的運(yùn)動(dòng)，運(yùn)動(dòng)強(qiáng)度和運(yùn)動(dòng)范圍都被限制在較小 的數(shù)值。設(shè)MV的閾值為mv—min， ms的閾值為ms_min， mv—min和ms—min由經(jīng)驗(yàn)數(shù)據(jù)統(tǒng)計(jì) 獲得，mv—min和ms一min越小則背景分辨準(zhǔn)確率越高，mv_min和ms_min越大則查全率越高， 通過權(quán)衡根據(jù)系統(tǒng)實(shí)際情況設(shè)定一個(gè)合適的mv—min和ms—min。當(dāng)滿足下列條件時(shí)，判定當(dāng)
前圖像屬于背景-
MV<mv_min且MS〈ms一min。
進(jìn)行背景和非背景分類的意義不僅僅在于提高了系統(tǒng)的效率，另一方面也搜集各監(jiān)控 點(diǎn)的統(tǒng)計(jì)信息，從而推斷監(jiān)控點(diǎn)的環(huán)境信息。例如通過統(tǒng)計(jì)非背景幀在監(jiān)控序列當(dāng)中的分 布，就可以得知該監(jiān)控點(diǎn)在什么時(shí)間段處于人流密集的狀態(tài)，從而進(jìn)一步對(duì)該監(jiān)控點(diǎn)做出 適當(dāng)?shù)牟渴?，例如在人流相?duì)密集的時(shí)間段提高錄制的幀率，而在人流稀少的時(shí)間段降低 錄制的幀率等等。
經(jīng)過背景檢測(cè)，對(duì)判斷不為背景的圖像進(jìn)行人臉檢測(cè)。人臉檢測(cè)采用AdaBoost算法[2]。 但是為了提高系統(tǒng)的處理效率，我們不進(jìn)行全局檢測(cè)，而是進(jìn)行局部檢測(cè)。
從人臉檢測(cè)中，檢測(cè)出的人臉圖像進(jìn)行尺寸統(tǒng)一縮放后，按照由左至右，由上至下掃 描成樣本向量，然后對(duì)樣本向量進(jìn)行降維。我們采用經(jīng)典的PCA與LDA結(jié)合的Fisher-Face 算法進(jìn)行人臉投影特征的抽取^(PCA: Principal Components Analysis,結(jié)合主元分析； LDA: Linear Discriminant Analysis,線性鑒別分析)。在使用PCA降維后的空間上使用 LDA，得到所檢測(cè)人臉的特征向量。特征抽取后采用最小距離分類器與庫(kù)中的人臉進(jìn)行比對(duì) 與識(shí)別。
設(shè)人臉f經(jīng)過Fisher-Face特征抽取后的樣本向量為f ， ， f ， = (u0， ul …uk)， 然后計(jì)算其與訓(xùn)練樣本的距離-<formula>formula see original document page 8</formula>公式(3)
其中fi ' =(v0， vl…vk)表示庫(kù)中的第i個(gè)訓(xùn)練樣本，k為樣本維數(shù)。d (f ，， fi ')表示當(dāng)前待識(shí)別樣本與庫(kù)中第i個(gè)訓(xùn)練樣本的距離。
計(jì)算完f'與庫(kù)中所有樣本后，找出距離最小的前5個(gè)樣本，fil ' ，fi2'…fi5'。 其中多數(shù)樣本屬于類c，類c任指屬于同一個(gè)人的樣本類，數(shù)量較多那種即為c類。若5 個(gè)樣本各屬一類，則以與f '距離最小的樣本fil '所屬類作為c。我們用下列公式計(jì) 算識(shí)別的置信度t:<formula>formula see original document page 9</formula>公式(4)
當(dāng)置信度t小于閾值t—min時(shí)，說(shuō)明人臉為陌生人，將結(jié)果f反饋給用戶，經(jīng)用戶確 認(rèn)后將此新的人臉添加進(jìn)庫(kù)中，否則表示識(shí)別結(jié)果可靠并記錄結(jié)果。t—rnin由經(jīng)驗(yàn)數(shù)據(jù)統(tǒng)計(jì) 獲得，t—min越高則準(zhǔn)確率越高，t一min越低則查全率越高，通過權(quán)衡根據(jù)系統(tǒng)實(shí)際情況設(shè) 定一個(gè)合適的t_min。
根據(jù)上述內(nèi)容，概括出本發(fā)明提出的基于AVS的視頻監(jiān)控系統(tǒng)及其實(shí)現(xiàn)方法的步驟為 1、利用AVS攝像機(jī)取得AVS碼流；2、對(duì)AVS碼流進(jìn)行背景分類、人臉檢測(cè)、背景訓(xùn)練、 人臉訓(xùn)練；3、對(duì)人臉進(jìn)行比對(duì)識(shí)別；4、獲得查詢結(jié)果。


圖1為本視頻監(jiān)控系統(tǒng)的核心部分流程圖。 圖2為系統(tǒng)主要模塊及工作流程。
圖中標(biāo)號(hào)l訓(xùn)練模塊；2標(biāo)注模塊；3檢索模塊；4人臉庫(kù)；5背景樣本庫(kù)；6背景訓(xùn) 練模塊；7人臉訓(xùn)練模塊；8背景模型；9人臉特征變換矩陣；10背景檢測(cè)模塊；11人臉 檢測(cè)模塊；12人臉識(shí)別模塊；13索引結(jié)構(gòu)模塊；14監(jiān)控視頻；15檢索索引；16檢索模塊。
具體實(shí)施例方式
例如，本發(fā)明在門禁系統(tǒng)的應(yīng)用中，系統(tǒng)可以分成五部分前端攝像機(jī)、AVS視頻數(shù) 據(jù)庫(kù)、視頻處理和比對(duì)識(shí)別、人臉數(shù)據(jù)庫(kù)、進(jìn)入信息查詢。在門禁系統(tǒng)中，攝像機(jī)位置比 較固定，拍攝的角度和背影都是固定的，而且在寫字樓這種室內(nèi)環(huán)境中光線的變化也不是 很劇烈。由于攝像機(jī)自帶的驅(qū)動(dòng)并不支持分段和遠(yuǎn)程存儲(chǔ)，所以要根據(jù)應(yīng)用要求在攝像頭
自帶驅(qū)動(dòng)的基礎(chǔ)上編寫驅(qū)動(dòng)程序，在攝像過程中自動(dòng)實(shí)現(xiàn)視頻的分段，并將拍攝所得的AVS 分段視頻存儲(chǔ)于指定的數(shù)據(jù)庫(kù)。同時(shí)，實(shí)時(shí)的順序?qū)Ψ侄蔚腁VS碼流進(jìn)行處理。首先進(jìn)行 背景分類，如果小段視頻均為背影，則不進(jìn)行下一步處理。經(jīng)過背景檢測(cè)，對(duì)判斷不為背 景的圖像進(jìn)行人臉檢測(cè)。但是為了提高系統(tǒng)的處理效率，我們不進(jìn)行全局檢測(cè)，而是進(jìn)行 局部檢測(cè)，檢測(cè)方法在前文中有詳細(xì)的闡述，在這就不重復(fù)。通過人臉檢測(cè)當(dāng)置信度t (計(jì) 算方法前文有述)小于閾值t一min (前文有述)時(shí)，系統(tǒng)實(shí)際實(shí)現(xiàn)中可以將t_min設(shè)為0. 85， 小于這個(gè)值反饋類似"此人臉不在庫(kù)中，為陌生人"的信息給用戶，提醒用戶，還可以經(jīng) 用戶確認(rèn)后將此新的人臉添加進(jìn)庫(kù)中，可以將結(jié)果存在人臉數(shù)據(jù)庫(kù)中。如果大于t—min，表 示識(shí)別結(jié)果可靠且原人臉數(shù)據(jù)庫(kù)中有此人，自動(dòng)?xùn)嗽儾?bào)告此人的姓名，記錄其進(jìn)入的時(shí) 間。這是本發(fā)明在實(shí)際中的一種應(yīng)用。參考文獻(xiàn) Hui H.， Liu H.， Wu Y" Liang Y. Video surveillance method based on H. 264 standard[J].
ComputerApplications, 2005, 25(11), 131-133.[惠鑲，劉涵，吳亞麗，梁炎明. 一種基于視
頻編碼標(biāo)準(zhǔn)H. 264的智能視頻監(jiān)控技術(shù)[J].《計(jì)算機(jī)應(yīng)用》，2005, 25(11), 131-133] Freund Y" Schapire R. E. A Decision-Theoretic Generalization of Online Learning and an
Application to Boosting. Journal of Computer and System Sciences, 1997， 55(1):119-139 Belhumeur P., Hespanha J. Eigenfaces vs Fisherfaces: recognition using class specific linear
projection[C]， 1997， IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(7),
711-720
權(quán)利要求
1、一種基于AVS的視頻監(jiān)控方法，其特征在于具體步驟如下首先通過AVS網(wǎng)絡(luò)攝像機(jī)采集按照AVS碼流，使用AVS碼流解碼過程中的壓縮域信息來(lái)進(jìn)行背景和非背景的分類。當(dāng)分類結(jié)果表明當(dāng)前的幀不是背景時(shí)，進(jìn)行人臉檢測(cè)。當(dāng)檢測(cè)到人臉時(shí)，進(jìn)行人臉識(shí)別，即將人臉數(shù)據(jù)進(jìn)行變換后與訓(xùn)練數(shù)據(jù)進(jìn)行比較。在識(shí)別結(jié)果被反饋給用戶之前，先計(jì)算置信度t，t表明當(dāng)前識(shí)別結(jié)果的可信程度。當(dāng)置信度t小于閾值t_min時(shí)，認(rèn)為該人臉不屬于當(dāng)前庫(kù)中的數(shù)據(jù)，認(rèn)定為陌生人，并將這個(gè)結(jié)果反饋給用戶，經(jīng)用戶確認(rèn)后將此新的人臉添加進(jìn)庫(kù)中。當(dāng)置信度大于等于閾值t_min時(shí)，表明識(shí)別結(jié)果有較高的可信度，然后記錄識(shí)別結(jié)果并對(duì)視頻進(jìn)行標(biāo)注；這里AVS是指先進(jìn)音視頻編碼標(biāo)準(zhǔn)。2、根據(jù)權(quán)利要求1所述的方法，其特征在于所述背景分類的方法為設(shè)為當(dāng)前圖像中的一個(gè)宏塊的運(yùn)動(dòng)向量，0≤i≤N-1；N為當(dāng)前圖像中宏塊總數(shù)。用下式來(lái)計(jì)算當(dāng)前圖像中的運(yùn)動(dòng)強(qiáng)度公式(1)其中，sizei表示第i個(gè)宏塊的面積。參數(shù)MS表示圖像中運(yùn)動(dòng)的范圍 公式(2)當(dāng)滿足下列條件時(shí)，判定當(dāng)前圖像屬于背景MV<mv_min且MS<ms_min。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于所述背景分類的方法為設(shè)^ i為當(dāng)前圖像 中的一個(gè)宏塊的運(yùn)動(dòng)向量，口義)，0《i《N - 1; N為當(dāng)前圖像中宏塊總數(shù)。 用下式來(lái)計(jì)算當(dāng)前圖像中的運(yùn)動(dòng)強(qiáng)度<formula>formula see original document page 2</formula> 公式(1)其中，表示第i個(gè)宏塊的面積。 參數(shù)MS表示圖像中運(yùn)動(dòng)的范圍<formula>formula see original document page 2</formula> 公式(2)當(dāng)滿足下列條件時(shí)，判定當(dāng)前圖像屬于背景MV<mv—min且MS<ms—min。
3、根據(jù)權(quán)利要求1所述的方法，其特征在于所述的人臉識(shí)別的方法如下從人臉檢 測(cè)中，檢測(cè)出的人臉圖像進(jìn)行尺寸統(tǒng)一縮放后，按照由左至右，由上至下掃描成樣本向量，然后對(duì)樣本向量進(jìn)行降維；我們采用經(jīng)典的PCA與LDA結(jié)合的Fisher-Face算法進(jìn)行人臉 投影特征的抽??；設(shè)人臉f經(jīng)過Fisher-Face特征抽取后的樣本向量為f ' ， f， = (uO， ul …uk)，然后計(jì)算其與訓(xùn)練樣本的距離<formula>formula see original document page 2</formula> 公式(3)其中fi ' =(V0， Vl…Vk)表示庫(kù)中的第i個(gè)訓(xùn)練樣本，k為樣本維數(shù)；d (ffi ')表示當(dāng)前待識(shí)別樣本與庫(kù)中第i個(gè)訓(xùn)練樣本的距離；計(jì)算完f'與庫(kù)中所有樣本后，找出距離最小的前5個(gè)樣本，fil ' ，fi2'…fi5'; 其中多數(shù)樣本屬于類c，類c任指屬于同一個(gè)人的樣本類，數(shù)量較多那種即為c類；若5 個(gè)樣本各屬一類，則以與f '距離最小的樣本fil '所屬類作為c;我們用下列公式計(jì)算識(shí)別的置信度t:- 公式(4)當(dāng)置信度t小于閾值t—min時(shí)，說(shuō)明人臉為陌生人，將結(jié)果f反饋給用戶，經(jīng)用戶確 認(rèn)后將此新的人臉添加進(jìn)庫(kù)中，否則表示識(shí)別結(jié)果可靠并記錄結(jié)果。
4、 一種基于AVS的視頻監(jiān)控系統(tǒng)，其特征在于系統(tǒng)主要由訓(xùn)練模塊、標(biāo)注模塊和檢 索模塊訓(xùn)練模塊，包括監(jiān)控環(huán)境背景的訓(xùn)練模塊和人臉庫(kù)的訓(xùn)練模塊，分別實(shí)施對(duì)環(huán)境背景 訓(xùn)練和對(duì)人臉訓(xùn)練，輸入為人臉樣本庫(kù)和背景樣本庫(kù)，輸出為各人臉特征和背景特征；標(biāo)注模塊，包括背景檢測(cè)模塊、人臉檢測(cè)模塊、人臉識(shí)別模塊和索引結(jié)構(gòu)建立部分， 對(duì)輸入的監(jiān)控視頻進(jìn)行自動(dòng)標(biāo)注；輸入為訓(xùn)練模塊得到的背景特征、人臉特征和待標(biāo)注的 監(jiān)控視頻，輸出為待標(biāo)注監(jiān)控視頻的檢索索引；檢索模塊，是對(duì)指定監(jiān)控視頻進(jìn)行檢索，包括圖片查詢、文本查詢和視頻査詢；輸入 為指定監(jiān)控視頻的索引，用戶提交的圖片、文本或小段視頻，得到用戶所提交內(nèi)容在監(jiān)控 視頻中相應(yīng)的圖像內(nèi)容；系統(tǒng)主要模塊的設(shè)計(jì)如下1) 背景訓(xùn)練模塊對(duì)輸入的背景視頻樣本進(jìn)行計(jì)算，得到背景模型；采用算法是基于 HSV顏色空間，計(jì)算各像素屬于背景的取值范圍；輸入背景視頻樣木；輸出背景模型，用于背景的比對(duì)；2) 人臉訓(xùn)練模塊對(duì)人臉庫(kù)中的人臉進(jìn)行處理；采用算法是fisher-face;輸入人臉庫(kù)；輸出由人臉庫(kù)中人臉數(shù)據(jù)計(jì)算得到的變換矩陣，該矩陣的目的是將輸入人臉變換得 到一維向量，用以識(shí)別；在得到變換矩陣的同時(shí)輸出各人臉的中心，用以識(shí)別；3) 背景檢測(cè)模塊將輸入幀圖像與背景模型進(jìn)行比對(duì)，目的是獲知該輸入幀是否為 背景，若不是背景，那些區(qū)域?qū)儆谇熬胺秶?；輸入背景模型，幀圖像；輸出獲知該輸入幀是否為背景，若不是背景，那些區(qū)域?qū)儆谇熬胺秶?) 人臉檢測(cè)模塊對(duì)于非背景的幀圖像，在其中檢測(cè)人臉；輸入幀圖像； 輸出檢測(cè)到的人臉圖像；5) 人臉識(shí)別模塊對(duì)于檢測(cè)到的人臉圖像，使用訓(xùn)練得到的變換矩陣，得到一位向 量，采用歐式距離計(jì)算與各中心的相似度，以實(shí)現(xiàn)識(shí)別的目的；輸入人臉圖像，變換矩陣； 輸出識(shí)別結(jié)果；6) 索引結(jié)構(gòu)模塊對(duì)輸入視頻進(jìn)行標(biāo)注，依照人臉識(shí)別的結(jié)果，得到視頻索引，并 對(duì)索引建立索引結(jié)構(gòu)；輸入監(jiān)控視頻； 輸出視頻索引；7) 檢索模塊用戶通過用戶界面輸入查詢內(nèi)容，檢索模塊根據(jù)用戶提交內(nèi)容格式的 不同進(jìn)行檢索，并通過用戶界面反饋信息；輸入用戶提交的查詢；輸出反饋給用戶的視頻片斷信息。
全文摘要
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，具體為一種基于AVS(先進(jìn)音視頻編碼標(biāo)準(zhǔn))的視頻監(jiān)控方法及其實(shí)現(xiàn)系統(tǒng)。本發(fā)明順應(yīng)視頻監(jiān)控發(fā)展潮流，將自動(dòng)化處理和AVS標(biāo)準(zhǔn)引入視頻監(jiān)控，結(jié)合背景/非背景分類、人臉檢測(cè)與識(shí)別等技術(shù)，預(yù)先對(duì)監(jiān)控視頻通過計(jì)算機(jī)系統(tǒng)的自動(dòng)處理，在保證返回內(nèi)容的有效性的前提下，反饋給操作人員的信息量將遠(yuǎn)小于傳統(tǒng)監(jiān)控系統(tǒng)，從而大大節(jié)省了人力資源，同時(shí)也提高了視頻監(jiān)控系統(tǒng)的可靠性。首創(chuàng)利用AVS在視頻監(jiān)控技術(shù)方面和專利應(yīng)用優(yōu)勢(shì)，隨著國(guó)家和地方政府大力支持對(duì)AVS的應(yīng)用推廣，本發(fā)明在數(shù)字監(jiān)控、門禁控制以及身份識(shí)別等應(yīng)用領(lǐng)域有一定的應(yīng)用價(jià)值。
文檔編號(hào)H04N7/18GK101419670SQ20081020320
公開日2009年4月29日 申請(qǐng)日期2008年11月21日 優(yōu)先權(quán)日2008年11月21日
發(fā)明者宋元征, 新 王, 紅 路, 陳桂財(cái) 申請(qǐng)人:復(fù)旦大學(xué)