專利名稱：用于識別景象變化的方法和用于此的監(jiān)視裝置的制作方法
現(xiàn)有技術本發(fā)明涉及如獨立權利要求所述類型的一種方法和一種裝置。從Harald Fuhrmann的出版物“危險警報系統(tǒng)，技術和結構”，Huettig出版社，1992年海德堡，ISBN 3-7785-2185-3，第82-83頁中已經(jīng)知道，將一個視區(qū)的一個基準圖像與一個實際圖像進行比較，從而，實際圖像中相對于基準圖像的變化導致發(fā)出警報；為了識別這種差別，進行灰度值比較。
本發(fā)明優(yōu)點與此相對，具有獨立權利要求的特征的本發(fā)明方法及本發(fā)明監(jiān)視裝置具有以下優(yōu)點在一個規(guī)定的景象內(nèi)探測在那里異常長時間地停留的人時，或者在識別被放置于一個規(guī)定景象內(nèi)的物體時，或者在識別從一個規(guī)定的景象內(nèi)盜竊物品時，就是說，在探測一個規(guī)定視區(qū)內(nèi)的靜態(tài)變化時，可以有意識地容許擾動量。由于不是直接分析圖像信號，也就是說，不是直接分析攝像機圖像的灰度值或色值，而是攝像機圖像中包含的結構信息，因而在探測結果中基本不考慮景象中的亮度變化和不同的照明情況。
通過在從屬權利要求中提出的措施可以有利地擴展和改進在獨立權利要求中給出的方法及監(jiān)視裝置。特別有利的是，將一個感興趣的區(qū)域的變化的時間過程與整體圖像的一個變化的時間過程進行比較，從而可靠地識別該區(qū)域的長期的變化，其中，這種變化所要求的時間階段可根據(jù)各種使用情況預先規(guī)定。在此，各種臨時變化、如攝像機被一個人或一個落在監(jiān)視攝像機鏡頭上的昆蟲或類似物短時遮擋，被可靠地作為這類變化識別出，不引起警報觸發(fā)。
通過考慮一個另外的預先規(guī)定的時間的可以保證，可以將對攝像機的異常遮擋、如被布蓋住與景象中的其它變化區(qū)別開，以觸發(fā)警報。
以一種有利的方式證明，通過應用實際圖像的均方偏差可以簡單地實現(xiàn)，在考慮圖像噪聲的情況下進行統(tǒng)計學有效校驗(Signifikanztest)，同時為探測變化提供一個在實踐中可靠的特征，這樣，那些只根據(jù)相關性研究還沒有導致將該區(qū)域分類為發(fā)生了變化的區(qū)域的變化也還被記錄。有效校驗的進一步改進這樣實現(xiàn)，即，在景象沒有發(fā)生變化的情況下，連續(xù)適應追蹤閾值以通過測量實際圖像噪聲進行探測。這種特性一方面通過對于識別有重要意義的攝像機特性被自動、從而單獨地識別和測量，可以允許使用不同的攝像機進行圖像拍攝，另一方面，攝像機在不同照明條件和老化條件下工作的變化被一同考慮并被相應補償。
附圖本發(fā)明的實施例在附圖中示出并且在下面的描述中進一步解釋。圖示為

圖1一個監(jiān)視裝置，圖2流程框圖，圖3另一個流程框圖，圖4一個第三流程框圖。
攝像機1對準一個預先確定的視區(qū)，該視區(qū)應被監(jiān)視。該固定地安裝的攝像機向計算機2提供圖像數(shù)據(jù)，該計算機對靜態(tài)的景象變化進行基于視頻的識別，如在圖2，3和4中所描述的。存儲器用于存儲基準圖像，這樣，可以將實際的圖像數(shù)據(jù)與存儲的基準圖像進行比較。監(jiān)視器6提供被攝像機1攝像的視區(qū)的一個復制圖。信號顯示器5例如通過一個聲學的或光學的警告過程告知視區(qū)內(nèi)的景象的一個靜態(tài)的變化。在此，信號顯示器可以集成在監(jiān)視器中，這就是說，可以在監(jiān)視器的部分區(qū)域內(nèi)實現(xiàn)一個光學顯示，其中，可以額外通過揚聲器或分開安裝的揚聲器發(fā)出警報聲。輸入裝置3用于選擇視區(qū)內(nèi)感興趣的區(qū)域，這些區(qū)域被特別地檢查其靜態(tài)變化。此外，可以通過輸入裝置輸入時間T1和T2，它們根據(jù)使用情況確定發(fā)生變化的持續(xù)時間，這種變化應導致報警。在此，較長的時間T2用于識別異常的、長時間的變化，例如在攝像機被遮蓋時或在視區(qū)內(nèi)非法行動的人長時間持續(xù)操作時。相反，時間T1用于將視區(qū)的一個較大部分內(nèi)的短期變化與一個感興趣的區(qū)域內(nèi)的變化區(qū)別開。時間T1和T2以及所述區(qū)域的選擇和基準圖像一樣被存儲在存儲器4中。
圖2示出圖像處理方法過程的一個流程框圖。一個固定的攝像機連續(xù)拍攝一個預先規(guī)定的視區(qū)的圖像，在該視區(qū)中應探測可能發(fā)生的變化。在啟動該系統(tǒng)前，攝下該景象的一個基準圖像并存儲在一個存儲器中。在連續(xù)的監(jiān)視中，將該視區(qū)的實際圖像與該基準圖像進行比較。為此，在方法步驟11中，通過求出這些二維圖象在水平方向和垂直方向的亮度值和/或色值的梯度并從而求出邊緣信息或者關于視區(qū)內(nèi)的灰度值跳躍或色值跳躍的信息，不僅對該基準圖像、而且對所述實際圖像計算結構信息。接著，在方法步驟21中，計算實際圖像的和基準圖像的在下面被稱作邊緣圖像的梯度的相關性。在此，按照Bronstein-Semendjajew的數(shù)學手冊，Harri Deutsch出版社，圖恩，第24版，1989年，第692頁公式(5.92)，計算一個相關系數(shù)rr＝(∑(xn-x)(yn-y))/√(∑(xn-x)2∑(yn-y)2)。
其中，xn是基準圖像中位置n上的梯度，yn是實際圖像中位置n上的梯度，x是基準圖像中的梯度平均值，y是實際圖像中的梯度平均值，n是像點位置的編號指數(shù)，該編號指數(shù)例如是自然數(shù)。通過被分析區(qū)域的兩個空間維上的梯度xn以及yn進行求和。相關系數(shù)具有一個從-1到+1的取值范圍。在此，值1表示存在同樣的結構，值0表示不存在相關性，也就是說，與基準圖像相比較實際圖像完全變化。小于0的值提示一種逆反的關系，并且同樣被評價為完全變化。在方法步驟26中，將這樣求出的相關性值(Korrelationswert)與一個閾值S3(例如S3＝0.3)進行比較。如果該相關性值在該閾值之上，則在方法步驟81中該圖像被識別為沒有變化(B＝0)。在其它情況下，該圖像被識別為相對于基準圖像發(fā)生了變化(方法步驟71，B＝1)。
在這種分析中，不是直接檢查圖像信號，而是檢查根據(jù)圖像計算出的結構信息的相似性。通過使用結構特征的相關性，一同考慮了由圖像亮度和對比度引起的基準圖像與實際圖像之間的變化，也就是說，即使兩種圖像在這些參數(shù)上有差別，但在相同的圖像位置上具有相似的結構，則對相關性的分析認為具有高的相似程度。
在開始監(jiān)視之前確定在被監(jiān)視圖像范圍內(nèi)的感興趣的范圍。當每次處理一個新的圖像時，圖像的這些在下面被稱為區(qū)域的部分都和整體圖像一樣被進行相關性研究。為此，在方法步驟10中，從在圖2的方法步驟11中得出的邊緣圖像中分離出屬于該區(qū)域的邊緣圖像，在方法步驟20中，計算該區(qū)域邊緣圖像對于基準圖像的邊緣圖像的相應圖像部分的相關性值。在方法步驟25中，將該被研究區(qū)域的相關性值與一個閾值S1(例如S＝0.5)進行比較。如果該相關性值低于閾值S1，則在方法步驟70中將有關區(qū)域i識別為發(fā)生了變化(R(i)＝1)。相反，如果該相關性值高于閾值S1，則繼續(xù)研究該區(qū)域與基準圖像的相應部分區(qū)域之間的相似性。為此，首先在方法步驟30中，通過與基準圖像進行比較，計算實際圖像中該區(qū)域圖像亮度和圖像對比度的變化。接著，在方法步驟40中計算結構偏差。此外，按像點求出該區(qū)域中實際圖像的邊緣圖像對于基準圖像的邊緣圖像的均方偏差。在此，所得到的數(shù)值就圖像亮度和圖像對比度被修正。在一個統(tǒng)計學有效校驗45中，檢查殘余的變化是否由圖像噪聲引起。在此求出一個數(shù)值，該數(shù)值評價與圖像噪聲相比較的變化情況。在此，數(shù)值1表示，該變化剛好相當于由于圖像噪聲引起的預料的變化。大于1的數(shù)值表示，該變化強于由圖像噪聲所引起的預料的變化。將所求出的該數(shù)值與一個閾值S2(例如S2＝5)進行比較。如果該數(shù)值大于閾值S2，該區(qū)域被識別為發(fā)生了變化(方法步驟70)。否則識別到?jīng)]有變化(方法步驟80)R(i)＝0。其中，在方法步驟80之前，還對該區(qū)域內(nèi)的圖像噪聲進行一個估算(方法步驟60)，以便在按時間順序在后面進行的分析中能夠為此使用一個實際估算值。其中，在被識別為沒有變化的該區(qū)域中測量一個用于圖像噪聲的值。將在后續(xù)的有效校驗中使用的該值在一個遞歸濾波器中求出A(t+1)＝RE*A(t)+(1-RE)*B(t)。其中，A(t)為在時刻t采納的在有效校驗中使用的圖像噪聲值，A(t+1)為在時刻t+1采納的應作為用于下一個圖像的新的估算值用的圖像噪聲值，B(t)為在時刻t測量的圖像噪聲值；RE為一個遞歸系數(shù)(0＜RE＜1)，例如RE＝0.9。在該監(jiān)視方法開始時的值A(0)是一個啟迪性選擇出的初始值。
對于每個在該監(jiān)視過程開始時所選擇出的區(qū)域進行圖3中所描述的按區(qū)域定位的結構信息分析，并且藉此對每個所選擇出的區(qū)域提供二進制狀態(tài)信息“區(qū)域變化”或“區(qū)域未變化”。即使在一個全局的、基本上與亮度波動無關的結構比較還未導致識別出一個變化時，方法步驟30，40，45和60也保證可靠地識別出這些變化。B和R(i)的值繼續(xù)指向用于報警的后續(xù)分析(參照圖4)。
圖4示出用于分析在圖2和圖3所示過程中得到的信息的一個方法過程。為此，對于每個區(qū)域R(i)，檢查其值是否等于1(方法步驟91)；如果不是，一個計數(shù)器N(i)被置零(方法步驟93)。此外，一個計數(shù)器T(i)被置零。在肯定的情況下，在起動該方法時具有值0的計數(shù)器N(i)增加1(方法步驟92)。緊接著方法步驟92，檢查是否B＝1(方法步驟94)。如果是B＝1，計數(shù)器T(i)增加1(方法步驟95)。其中，計數(shù)器T(i)在該方法開始時處于零。在方法步驟94之后在否定的情況下或者在方法步驟95之后或者在方法步驟93之后，詢問是否N(i)大于T(i)+T1或是否N(i)大于T2。如果不是，不觸發(fā)警報。如果是，則N(i)和T(i)置零，進行報警110。
所描述的分析方法的目的是，一方面盡可能早地識別出各區(qū)域內(nèi)的變化，另一方面容許視區(qū)內(nèi)較長時間段內(nèi)的全局性變化。為此引入了兩個時間閾值T1和T2。其中，T2表示允許一個區(qū)域發(fā)生最大變化而不觸發(fā)警報的時間段。T2例如達15分鐘。T1表示在其之后最早可以針對一個區(qū)域進行報警的時間段，即剛好在整體圖像在該時間內(nèi)連續(xù)被識別為沒有變化的時候。為此，每個區(qū)域使用兩個計數(shù)器N(i)用于標志一個區(qū)域直接按時間先后順序被識別為發(fā)生了變化的頻度，T(i)用于標志一個區(qū)域在“整體圖像變化”的情況下被識別為“區(qū)域變化”的時間段。通過考慮整體圖像發(fā)生變化的那些時間段，不只涉及該區(qū)域、而是涉及整體圖像的那些變化不導致報警，因為整體圖像在一個長度為T2的相關聯(lián)的時間段上發(fā)生了變化(對此比照T2＝15min，它被選擇得大于例如為20Sec的T1)。
權利要求
1.用于識別被一個固定安置的攝像單(1)監(jiān)視的一個視區(qū)內(nèi)的變化的方法，其中，將該視區(qū)的一個基準圖像與該視區(qū)的至少一個實際圖像進行比較，其特征在于，根據(jù)該基準圖像和該實際圖像求出一個基準邊緣圖像以及一個邊緣圖像(10，11)，求出該邊緣圖像的至少一個區(qū)域與該基準邊緣圖像的相應圖像部分的相關性(20，21)，在相關性低于一個閾值時該區(qū)域被識別為發(fā)生了變化(70)。
2.根據(jù)權利要求1所述的方法，其特征在于，求出該邊緣圖像與該基準邊緣圖像的相關性(21)，并且，如果至少一個區(qū)域被識別為發(fā)生了變化比該邊緣圖像被識別為發(fā)生了變化長一個預先規(guī)定的時間(T1)，發(fā)出一個警報(110)。
3.根據(jù)權利要求2所述的方法，其特征在于，如果該邊緣圖像的所述至少一個區(qū)域被識別為發(fā)生了變化的時間比另一個預先規(guī)定的時間(T2)長，發(fā)出一個警報(110)，其中，所述另一個預先規(guī)定的時間(T2)大于所述預先規(guī)定的時間(T1)。
4.根據(jù)前述權利要求之一所述的方法，其特征在于，在高于所述閾值時，確定該邊緣圖像的所述區(qū)域?qū)τ诨鶞蔬吘増D像的相應圖像部分的均方偏差(40)，其中，計算出所述基準邊緣圖像與所述邊緣圖像之間可能有的亮度差，這樣，通過估算圖像噪聲可以確定，是否存在所述邊緣圖像的所述區(qū)域相對于基準邊緣圖像的該圖像部分的、不是由圖像噪聲和亮度差所造成的一個偏差。
5.根據(jù)權利要求4所述的方法，其特征在于，在沒有偏差的情況下，估算實際圖像噪聲并將其存儲起來以使用一個后續(xù)的圖像比較。
6.根據(jù)前述權利要求之一所述的方法，其特征在于，所述視區(qū)包含一個待監(jiān)視的物體。
7.根據(jù)權利要求6所述的方法，其特征在于，所述物體是一個展出品，特別是在博物館里，或者是一個自動取款機，其中，至少一個區(qū)域由該自動取款機的鍵盤區(qū)和/或現(xiàn)金出口和/或插卡口形成。
8.監(jiān)視裝置，具有一個計算機(2)，其用于處理一個可與該計算機連接(7)、對準一個規(guī)定視區(qū)的、位置固定的攝像單元(1)的圖像數(shù)據(jù)，其特征在于，該計算機(2)根據(jù)該視區(qū)的一個基準圖像和該視區(qū)的一個實際圖像求出一個基準邊緣圖像以及一個邊緣圖像，該計算機求出該邊緣圖像的至少一個區(qū)域與該基準邊緣圖像的相應圖像部分的相關性，在相關性低于一個閾值時，該區(qū)域被計算機記錄為發(fā)生了變化。
9.根據(jù)權利要求8所述的監(jiān)視裝置，其特征在于，該計算機求出該邊緣圖像與該基準邊緣圖像的相關性，該計算機與一個信號顯示器(5)連接，從而，如果所述至少一個區(qū)域被識別為發(fā)生了變化比所述邊緣圖像被識別為發(fā)生了變化長一個預先規(guī)定的時間(T1)，通過信號顯示器(5)發(fā)出一個警報。
10.根據(jù)權利要求9所述的監(jiān)視裝置，其特征在于，如果所述邊緣圖像的至少一個區(qū)域被識別為發(fā)生了變化的時間比另一個預先規(guī)定的時間(T2)長，通過信號顯示器(5)發(fā)出一個警報，其中，所述另一個預先規(guī)定的時間(T2)大于所述預先規(guī)定的時間(T1)。
11.根據(jù)權利要求8至10之一所述的監(jiān)視裝置，其特征在于，在高于所述閾值時，該計算機確定所述邊緣圖像的所述區(qū)域與所述基準邊緣圖像的相應圖像部分的差，其中，計算出所述基準邊緣圖像與所述邊緣圖像之間可能有的亮度差，從而，通過估算圖像噪聲可以確定，是否存在所述邊緣圖像的所述區(qū)域相對于基準邊緣圖像的該圖像部分的、不是由圖像噪聲和亮度差所造成的一個偏差。
12.根據(jù)權利要求8至11之一所述的監(jiān)視裝置，其特征在于，該攝像單元是一個攝像機。
全文摘要
提出一種用于識別被固定安置的攝像單元監(jiān)視的一個視區(qū)內(nèi)的變化的方法,其中,計算邊緣圖像并將它們與基準圖像的邊緣圖像進行比較,以識別被監(jiān)視的視區(qū)內(nèi)與圖像亮度無關的靜態(tài)變化。
文檔編號H04N7/18GK1359508SQ00809762
公開日2002年7月17日 申請日期2000年7月11日 優(yōu)先權日1999年7月15日
發(fā)明者米夏埃爾·邁爾, 米夏埃爾·赫特, 延斯·德雷費斯 申請人:羅伯特·博施有限公司