專利名稱:圖象數(shù)據(jù)處理的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種用于管理監(jiān)視系統(tǒng)中的圖象信息的方法和設(shè)備,其中圖象信息的管理包括處理圖象信息和傳輸處理過(guò)的圖象信息。本發(fā)明還涉及一種監(jiān)視模塊和一計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù):
監(jiān)視各種公共場(chǎng)所、設(shè)施和私人住宅正變得日益重要,因?yàn)樗鼈兒懈佑袃r(jià)值的設(shè)備,例如計(jì)算機(jī),并且其還含有對(duì)于主人非常重要的并且可能是保密的信息。還存在例如在機(jī)場(chǎng)以及在私宅監(jiān)視行李的需要,通常希望立即地準(zhǔn)確地顯示監(jiān)視信息,以便能快速地采取適當(dāng)?shù)拇胧?br>
為了滿足這些要求,存在各種不同類型的監(jiān)視系統(tǒng)。依據(jù)現(xiàn)有技術(shù)的一類監(jiān)視系統(tǒng)通常包括一個(gè)監(jiān)視中心和若干監(jiān)視模塊。通過(guò)通信纜線每個(gè)監(jiān)視模塊和該監(jiān)視中心連接。監(jiān)視模塊可由一個(gè)視頻攝象機(jī)和一臺(tái)紅外探測(cè)器組成,二者彼此通過(guò)纜線連接。監(jiān)視模塊通過(guò)由該紅外探測(cè)器探測(cè)移動(dòng)和由該視頻攝象機(jī)記錄圖象來(lái)工作。接著把記錄圖象發(fā)送到該監(jiān)視中心。紅外探測(cè)器的一個(gè)問(wèn)題是它們較容易造成誤解,這使得監(jiān)視變得不可靠。例如,可以在該探測(cè)器的前面放一塊玻璃,這意味著不能探測(cè)熱變化從而該視頻攝象機(jī)不會(huì)啟動(dòng)記錄。這種類型的監(jiān)視系統(tǒng)的另一個(gè)問(wèn)題是,在許多情況下記錄圖象不能提供是什么造成告警的足夠信息。這例如會(huì)當(dāng)因高溫或破壞造成的告警情況未被攝象機(jī)拍攝時(shí)發(fā)生。因此,存在著是否的確是真告警的不確定性。
為了解決這個(gè)問(wèn)題,已經(jīng)提出應(yīng)連續(xù)地記錄圖象。記錄圖象可以和基準(zhǔn)圖象比較,基準(zhǔn)圖象通常是被監(jiān)視區(qū)域的背景圖象。若這些圖象間存在任何不同,并且若在記錄圖象中出現(xiàn)變化,則把這些圖象發(fā)送到人工監(jiān)視中心。該監(jiān)視中心處的系統(tǒng)操作員觀察發(fā)送的圖象并從中做出有關(guān)監(jiān)視情況的決策。利用這種方法會(huì)檢測(cè)到許多紅外探測(cè)器探測(cè)不到的情況。該技術(shù)的一個(gè)缺點(diǎn)是必須發(fā)送大量的信息,因?yàn)榇嬖谠S多會(huì)造成記錄圖象中變化的情況,例如光線狀況的改變。發(fā)送圖象需要很長(zhǎng)的時(shí)間。在進(jìn)行傳輸之前,例如用JPEG或MPEG壓縮圖象或圖象組。監(jiān)視點(diǎn)的連續(xù)圖象的視頻傳輸限于每秒鐘若干幅圖象,如果使用傳輸速度為每秒9.6千比特的GSM型移動(dòng)電話作為監(jiān)視信息的接收器,則需要20-100秒才能使發(fā)送圖象變?yōu)榍逦涂杀嬲J(rèn)。通過(guò)圖象壓縮,有可能把此時(shí)間縮短到每幅圖象3-4秒。如果不再進(jìn)一步壓縮,圖象會(huì)變得如此不清楚以致于難以甚至不可能辨認(rèn)出什么情況。這意味著如果為了減小帶寬而提高壓縮度,圖象質(zhì)量最終會(huì)糟到不可能從該圖象中得出正確的結(jié)論。做為一種替代方案,可以減小圖象頻率從而發(fā)送較少的圖象。但是,這不能提供令人滿意的監(jiān)視,因?yàn)槎嗬^圖象之間可以發(fā)生許多事情從而很難得出有關(guān)實(shí)際活動(dòng)的結(jié)論。當(dāng)希望在監(jiān)視模塊中存儲(chǔ)監(jiān)視信息時(shí)也會(huì)出現(xiàn)問(wèn)題。為了能夠存儲(chǔ)所有判定是否存在告警情況所需的信息,需要很大的存儲(chǔ)容量,這導(dǎo)致設(shè)備變貴并且其復(fù)雜性增加。
專利申請(qǐng)W098/28706說(shuō)明了一種保安系統(tǒng),它由若干攝象機(jī)組成,這些攝象機(jī)設(shè)置成記錄圖象并把這些圖象發(fā)送到一個(gè)在其中進(jìn)行數(shù)字圖象處理的監(jiān)視臺(tái)。該監(jiān)視臺(tái)進(jìn)行處理以便判定是否存在告警情況,如果存在告警情況則發(fā)出一個(gè)指示它是和人相關(guān)的告警還是一個(gè)未知的告警的信號(hào)。
美國(guó)專利5,666,157說(shuō)明了一種探測(cè)異常事件的監(jiān)視系統(tǒng),這些異常事件可以是被解釋成人的襲擊的移動(dòng)。分析記錄圖象,檢測(cè)對(duì)象并且計(jì)算對(duì)象的移動(dòng)特征。根據(jù)這些移動(dòng)特征,得到一決策,該決策指示要把哪種程度的移動(dòng)判斷成具有犯罪意圖。
發(fā)明內(nèi)容
因而本發(fā)明的一個(gè)目的是使可靠的和低成本的監(jiān)視成為可能。
從后面的說(shuō)明中變得清楚的這些和其它的目的通過(guò)一種管理監(jiān)視系統(tǒng)中的圖象信息的方法達(dá)到,其中該監(jiān)視系統(tǒng)包括至少一個(gè)用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊和一個(gè)遠(yuǎn)程接收部件,該方法包括步驟通過(guò)監(jiān)視模塊記錄受監(jiān)視位置的圖象,通過(guò)比較記錄圖象和基準(zhǔn)圖象在監(jiān)視模塊中分割出一個(gè)特殊的區(qū)段,在監(jiān)視模塊中建立表示該特殊區(qū)段的邊緣的外形輪廓,把表示該外形輪廓的數(shù)據(jù)發(fā)送到接收部件,在該接收部件中利用所述發(fā)送數(shù)據(jù)重建該外形輪廓,以及在該接收部件中可視地顯示該外形輪廓。
監(jiān)視模塊可以連續(xù)地記錄受監(jiān)視位置的圖象。除其它因素外,受監(jiān)視位置還受用于記錄圖象的監(jiān)視模塊的各部件的限制。若和基準(zhǔn)圖象比較記錄圖象中出現(xiàn)變化,例如某人或某動(dòng)物進(jìn)入該圖象,則通過(guò)若干不同的算法分割該對(duì)象。利用一各或多種算法從一幅或多幅以前的圖象、一幅或多幅受監(jiān)視位置的背景圖象或者二者的組合來(lái)建立基準(zhǔn)圖象。比較的優(yōu)點(diǎn)在于,可以進(jìn)一步處理移動(dòng)的對(duì)象,并且受監(jiān)視位置中的靜止對(duì)象,例如桌椅可以被排除。這意味著特殊區(qū)段含有有關(guān)受監(jiān)視位置中的事件的感興趣信息。通過(guò)該特殊區(qū)段表示出從一幅圖象中分割出的一個(gè)對(duì)象。
建立外形輪廓。外形輪廓是特殊區(qū)段的邊緣的程式化表示。表示該外形輪廓的數(shù)據(jù)占據(jù)很少的帶寬從而適用于傳輸。接收部件是接收表示外形輪廓的數(shù)據(jù)并且以適當(dāng)方式處理該數(shù)據(jù)的部件。監(jiān)視模塊和接收部件以相同的方法解釋發(fā)送的信息。它們具有外形輪廓相同的數(shù)學(xué)模型。也就是說(shuō),監(jiān)視模塊根據(jù)一種數(shù)學(xué)模型處理外形輪廓、產(chǎn)生表示該外形輪廓的數(shù)據(jù)并把該數(shù)據(jù)發(fā)送到接收部件。接收該數(shù)據(jù)的接收部件可以(若這樣要求的話)具有使用哪個(gè)數(shù)學(xué)模型的知識(shí)并且可以重建外形輪廓以供視覺(jué)顯示。該接收部件例如可以位于一個(gè)人工監(jiān)視臺(tái)中,從而可在屏幕上向操作員顯示該外形輪廓。該操作員做出有關(guān)是否為告警情況的決策并且接著可以采取適當(dāng)措施。
發(fā)送對(duì)象的外形輪廓的一個(gè)很大優(yōu)點(diǎn)是,若該對(duì)象是一個(gè)人,則其隱私得到保護(hù)。這可能是非常重要的,因?yàn)榘惭b監(jiān)視攝象機(jī)通常需要特別許可,確切地說(shuō)是為了保護(hù)個(gè)人隱私。另外,有可能在私宅中使用本技術(shù),居住在該帶有監(jiān)視設(shè)備的私宅中的人不希望被視頻記錄或拍照,因?yàn)檫@些畫(huà)面可能被濫用。
在一實(shí)施例中,建立外形輪廓的步驟包括建立特殊區(qū)段的輪廓圖象的步驟,以及使外形輪廓擬合該輪廓圖象的步驟。
輪廓圖象可以由該特殊區(qū)段邊緣上的一系列點(diǎn)組成。使用輪廓圖象的一個(gè)優(yōu)點(diǎn)是,容易以這種方法生成外形輪廓。
在另一實(shí)施例中,建立輪廓圖象的步驟包括利用搜索函數(shù),例如指針?biāo)惴ǜ櫾撎厥鈪^(qū)段的邊緣的步驟。
以這種方式圍繞該區(qū)段提取輪廓圖象。在此之后,用數(shù)學(xué)方法對(duì)該輪廓圖象的點(diǎn)系列擬合出形狀。
一實(shí)施例包括在監(jiān)視模塊中從特殊區(qū)段的至少一個(gè)特征,例如尺寸和/或形狀對(duì)該特殊區(qū)段分類的步驟,該分類控制所述數(shù)據(jù)的傳輸。
根據(jù)特殊區(qū)段的類別判定是否對(duì)發(fā)送到該接收部件感興趣。例如可能是這樣的情況,即,某區(qū)域是被監(jiān)視的并且該區(qū)域還由一條狗守衛(wèi)。于是不傳送涉及這條狗的外形輪廓的數(shù)據(jù)。
一實(shí)施例還包括在監(jiān)視模塊中把屬于該特殊區(qū)段的特定特征,例如尺寸和形狀特征中的一個(gè)或多個(gè),與屬于從至少一幅先前記錄圖象分割出的某區(qū)段的對(duì)應(yīng)特征進(jìn)行比較的步驟,如果這些特征的符合達(dá)到判定它們代表同一個(gè)對(duì)象的程度,則記錄該特殊區(qū)段的相關(guān)移動(dòng)史。從而通過(guò)和以前記錄的對(duì)象的特殊區(qū)段的匹配產(chǎn)生記錄。如果二個(gè)在不同時(shí)刻記錄的特殊區(qū)段滿足某預(yù)先確定的匹配準(zhǔn)則,則稱它們代表同一個(gè)對(duì)象。例如,可以比較特殊區(qū)段的一些特征,例如圖象中它的物理尺寸,并且若它們?cè)谔囟ǔ潭壬蠈?duì)應(yīng),則判定為匹配。以這種方式可以產(chǎn)生某特殊區(qū)段的移動(dòng)史。例如,可以得出移動(dòng)速度和方向。
另一實(shí)施例還包括在監(jiān)視模塊中根據(jù)特殊區(qū)段的記錄移動(dòng)史對(duì)該特殊區(qū)段分類的步驟,由該分類控制所述數(shù)據(jù)的傳輸。為了判定該特殊區(qū)段是否是一個(gè)告警對(duì)象對(duì)移動(dòng)信息分類。若把該特殊區(qū)段分類為一個(gè)告警對(duì)象,則向接收部件發(fā)送該外形輪廓。例如可以根據(jù)對(duì)象移動(dòng)多快或者對(duì)象的移動(dòng)方向進(jìn)行分類。例如,如果一個(gè)對(duì)象短距離地往返運(yùn)動(dòng),則它可能是風(fēng)吹動(dòng)的樹(shù)或簾子。因而不把這樣的移動(dòng)歸類成告警對(duì)象。以這種方式減少假告警的數(shù)量。另外,還減少了發(fā)送信息的量。
一實(shí)施例還包括在監(jiān)視模塊中根據(jù)屬于特殊區(qū)段的至少一個(gè)特征,例如尺寸、形狀和/或記錄的移動(dòng)史對(duì)該特殊區(qū)段分類的步驟,以及該分類控制所述數(shù)據(jù)的傳輸。
在一實(shí)施例中,表示移動(dòng)史的數(shù)據(jù)和所述表示外形輪廓的數(shù)據(jù)一起發(fā)送到該接收部件并且重建以用于視覺(jué)顯示。
例如,可通過(guò)組合成一個(gè)移動(dòng)序列的相繼外形輪廓進(jìn)行視覺(jué)顯示??梢栽诒O(jiān)視模塊中或者在接收部件組合該序列。通過(guò)具有顯示反映被發(fā)送對(duì)象行為的外形移動(dòng)史的能力,操作員例如可以更容易評(píng)估告警情況。移動(dòng)史的傳輸只需要對(duì)所發(fā)送的數(shù)據(jù)增加很小的量。在保持個(gè)人隱私的情況下有可能進(jìn)行可靠的監(jiān)視,因?yàn)樵谀橙烁鶕?jù)視覺(jué)顯示得出是否存在告警情況時(shí)利用由輪廓示出的人的形狀以及移動(dòng)模式是很重要的。移動(dòng)史例如也可以用示出對(duì)象的移動(dòng)方向及速度的移動(dòng)向量表示。
在一實(shí)施例中,僅當(dāng)把特殊區(qū)段分類成和人相關(guān)時(shí)才發(fā)送所述數(shù)據(jù)。
這使得有例如有可能進(jìn)行竊賊監(jiān)視??梢栽诮邮詹考幰曈X(jué)地顯示所發(fā)送的數(shù)據(jù),并且可從對(duì)該和人相關(guān)的外形輪廓進(jìn)行評(píng)估,例如,可以根據(jù)該外形輪廓位于受監(jiān)視位置的何處來(lái)判定該外形是否的確是一個(gè)告警對(duì)象。例如,受監(jiān)視位置的一側(cè)可能有一條馬路,人們可路過(guò)該馬路而不造成告警情況。若還發(fā)送移動(dòng)信息,則該對(duì)象的行為可構(gòu)成是否存在告警情況的視覺(jué)評(píng)估的基礎(chǔ)。依據(jù)本發(fā)明的方法特別適用于監(jiān)視人,因?yàn)槠浔Wo(hù)隱私。
另一實(shí)施例還包括把要發(fā)送到接收部件的數(shù)據(jù)在傳輸前存儲(chǔ)到監(jiān)視模塊中的步驟。
外形輪廓需要很少的存儲(chǔ)空間從而可以存儲(chǔ)在監(jiān)視模塊內(nèi)的一個(gè)存儲(chǔ)器中。由于該存儲(chǔ)不需要許多空間,因而減小了監(jiān)視模塊的成本。如果例如接收部件中或者監(jiān)視模塊和接收部件之間的通信中出現(xiàn)故障,或者如果接收部件過(guò)載,能在監(jiān)視部件里的存儲(chǔ)器中存儲(chǔ)是一個(gè)很大的優(yōu)點(diǎn),因?yàn)榭梢酝硇r(shí)候當(dāng)功能恢復(fù)時(shí)發(fā)送該外形輪廓。如果存在系統(tǒng)操作員,這允許其在例如不可能傳輸時(shí)從監(jiān)視模塊檢索外形輪廓以供后續(xù)分析??梢源嬖跀?shù)個(gè)合作存儲(chǔ)信息的監(jiān)視模塊。例如,若要傳輸移動(dòng)史,也可以在傳輸前存儲(chǔ)它。
再一個(gè)實(shí)施例還包括向接收部件發(fā)送補(bǔ)充監(jiān)視信息,例如聲頻記錄、特殊區(qū)段內(nèi)的部分線和亮度區(qū)域的步驟。
其優(yōu)點(diǎn)是,例如,操作員若發(fā)現(xiàn)難以根據(jù)已經(jīng)顯示的信息決策時(shí)可以請(qǐng)求更多的信息。該補(bǔ)充監(jiān)視信息例如可以包含該特殊區(qū)段的一幅或幾幅圖象。可以按位象發(fā)送該補(bǔ)充信息。這意味著分割感興趣的區(qū)域并且發(fā)送該感興趣區(qū)域的圖象。該補(bǔ)充監(jiān)視信息也可以是聲音信息。另一種類型的補(bǔ)充監(jiān)視信息可以是該特殊區(qū)段內(nèi)的各亮度區(qū)。當(dāng)發(fā)送表示這些亮度區(qū)的數(shù)據(jù)時(shí),顯示該特殊區(qū)段內(nèi)的多個(gè)特征。例如可以把人劃分成四個(gè)亮度區(qū)頭發(fā)、面部、上身和褲子/下身。再一種類型的補(bǔ)充監(jiān)視信息可以是所謂的特殊區(qū)段的部分線。這些部分線的內(nèi)容賦予該特殊區(qū)段更多的結(jié)構(gòu)以及關(guān)于該對(duì)象的構(gòu)成的實(shí)質(zhì)信息。人的部分線的例子可以是添加頦部分,從而可以把頭部當(dāng)成是其余人體中的一部分。這更容易辯認(rèn)出外形輪廓代表什么。
系統(tǒng)操作員能以增加帶寬的代價(jià)增多補(bǔ)充監(jiān)視信息的數(shù)量。一實(shí)施例還包括在接收部件中的背景圖象上顯示重建的外形的步驟。當(dāng)監(jiān)視模塊啟動(dòng)時(shí)可以初始地記錄該背景圖象并對(duì)接收部件發(fā)送。若需要,例如可能由告警操作員請(qǐng)求更新。通過(guò)向接收部件發(fā)送一次受監(jiān)視位置的背景圖象并且以后只發(fā)送外形輪廓,可以保持從監(jiān)視部件向接收部件發(fā)送的數(shù)據(jù)數(shù)量小的特點(diǎn),并且同時(shí)使告警操作員更容易對(duì)所顯示數(shù)據(jù)做出視覺(jué)評(píng)估,因?yàn)楝F(xiàn)在該告警操作員多少對(duì)外形具有一個(gè)基準(zhǔn)點(diǎn)并且還具有一些移動(dòng)史。
在一實(shí)施例中,監(jiān)視模塊和接收部件之間的通信是通過(guò)無(wú)線裝置,例如移動(dòng)技術(shù)實(shí)現(xiàn)的。
無(wú)線傳輸使接收部件的移動(dòng)性成為可能。這意味著若操作員具有接收部件,則該操作員不必保持固定。例如可以通過(guò)安裝在移動(dòng)電話里的接收部件接收外形輪廓。
在一實(shí)施例中,利用多邊形表示外形輪廓。
采用多邊形函數(shù)的優(yōu)點(diǎn)是可以有效地應(yīng)用壓縮算法。當(dāng)告警操作員將視覺(jué)評(píng)估外形輪廓時(shí)多邊形也是好用的。
在一實(shí)施例中用若干點(diǎn)表示多邊形,其中點(diǎn)的數(shù)量是可變的。通過(guò)使用較少數(shù)量的點(diǎn),所需的帶寬較低,但同時(shí)外形輪廓的品質(zhì)變差。其它外形輪廓也會(huì)具有類似的特征。能夠選擇多邊形的點(diǎn)數(shù)具有很大的優(yōu)點(diǎn),因?yàn)榭梢噪S情況不同或者隨監(jiān)視模塊不同改變帶寬和所需的圖象品質(zhì)。例如,一些含有非常昂貴的設(shè)備的私宅會(huì)需要特別高的核實(shí)品質(zhì)并且從而多邊形選擇要使用更多的點(diǎn)。還可以存在各種類型的問(wèn)題,這些問(wèn)題例如會(huì)在接收部件中造成功能下降并且同時(shí)阻止高的性能要求,這意味著為了不使接收部件過(guò)載必須降低帶寬。于是可減少點(diǎn)的數(shù)量。
在一實(shí)施例中,可以用樣條函數(shù)表示外形輪廓。
樣條曲線是一種由若干控制點(diǎn)控制的曲線。調(diào)整這些控制點(diǎn)的位置從而使曲線盡可能好地符合圖象中的輪廓。這種曲線對(duì)于從外形輪廓視覺(jué)評(píng)估告警情況是有好處的。
本發(fā)明還涉及一種用于管理圖象信息的設(shè)備,該設(shè)備包括至少一個(gè)用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊和一個(gè)遠(yuǎn)程接收部件,該監(jiān)視模塊包括一個(gè)配置成記錄受監(jiān)視位置的圖象的光敏傳感器,一個(gè)配置成通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段以便建立表示該特殊區(qū)段的邊緣的外形輪廓的計(jì)算部件,以及一個(gè)配置成向該接收部件發(fā)送表示外形輪廓的數(shù)據(jù)的通信部件;而該接收部件設(shè)置成接收所述發(fā)送數(shù)據(jù),以便重建外形輪廓和視覺(jué)地顯示該外形輪廓。
在一實(shí)施例中,監(jiān)視模塊和接收部件根據(jù)相同的數(shù)學(xué)模型做出解釋。這樣做的優(yōu)點(diǎn)是,接收部件可以解釋從監(jiān)視模塊發(fā)送的信息,并且還可能予以重建,例如用于視覺(jué)顯示。
在依據(jù)本發(fā)明的另一實(shí)施例中,該設(shè)備包括一個(gè)用于從監(jiān)視模塊向監(jiān)視臺(tái)發(fā)送聲頻信息的聲頻部件。
在依據(jù)本發(fā)明的一實(shí)施例中,該通信部件包括一個(gè)無(wú)線通信設(shè)備。
從上面對(duì)該方法的討論中可明顯看出該設(shè)備的優(yōu)點(diǎn)。本發(fā)明還涉及一種用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊,其包括一個(gè)配置成記錄受監(jiān)視位置的圖象的光敏傳感器,一個(gè)配置成通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段以便建立表示該特殊區(qū)段的邊緣的外形輪廓的計(jì)算部件,以及一個(gè)配置成向一遠(yuǎn)程接收部件發(fā)送表示該外形輪廓的數(shù)據(jù)的通信部件。
本發(fā)明還涉及一種計(jì)算機(jī)程序產(chǎn)品,其包含存儲(chǔ)在計(jì)算機(jī)可讀媒體上的程序代碼,并且當(dāng)其裝入計(jì)算機(jī)中時(shí)執(zhí)行一個(gè)或多個(gè)依據(jù)權(quán)利要求1-16中任一權(quán)利要求的方法步驟。
從上述說(shuō)明中該監(jiān)視模塊和該計(jì)算機(jī)程序產(chǎn)品的其它優(yōu)點(diǎn)是清楚的。
下面參照各附圖更詳細(xì)地說(shuō)明本發(fā)明,這些出于例舉的目的示出本發(fā)明的一當(dāng)前優(yōu)選實(shí)施例。
圖1示出依據(jù)本發(fā)明一實(shí)施例的監(jiān)視系統(tǒng);圖2a示意性地示出一基準(zhǔn)圖象;圖2b示意性地示出由監(jiān)視模塊記錄的圖象;圖3示意性地示出一個(gè)帶有特殊區(qū)段的分割圖象;圖4示意性地示出如何探測(cè)特殊區(qū)段的邊緣;圖5示意性地示出一個(gè)輪廓圖象,其中特殊區(qū)段的所有邊緣點(diǎn)會(huì)合;圖6示意性地示出一個(gè)多邊形化的圖象;圖7示意性地示出一個(gè)多邊形;圖8示意性地示出一個(gè)帶有線內(nèi)容的多邊形;圖9示意性地示出一個(gè)帶有部分區(qū)段的多邊形;圖10示出依據(jù)一實(shí)施例用于處理圖象信息的方法的流程;圖11示意性地示出依據(jù)本發(fā)明的監(jiān)視模塊。
具體實(shí)施例方式圖1示出一個(gè)帶有若干監(jiān)視模塊1的監(jiān)視系統(tǒng)。圖11示意性示出監(jiān)視模塊1。該監(jiān)視模塊1包括一個(gè)用于記錄圖象的光敏傳感器10,一個(gè)用于處理圖象信息的計(jì)算部件11,一個(gè)通過(guò)無(wú)線通信路徑2與接收部件3連接的通信部件12,以及一個(gè)存儲(chǔ)器裝置13。在本情況下接收部件3設(shè)置在一個(gè)中央臺(tái)處,該中央臺(tái)具有由操作員監(jiān)視的顯示屏幕。監(jiān)視模塊1和帶有接收部件3的中央臺(tái)包括相同的用于處理在它們之間傳送的信息的數(shù)學(xué)模型,這意味著它們以相同的方式解釋信息。該監(jiān)視系統(tǒng)中也可以有數(shù)個(gè)接收部件3。該系統(tǒng)可以設(shè)置成不同類型的告警前往不同的接收部件3。
參照?qǐng)D11、圖10中的流程圖以及圖2至9的示例畫(huà)面進(jìn)一步說(shuō)明依據(jù)本發(fā)明的一實(shí)施例。
圖2a示出受監(jiān)視位置的基準(zhǔn)圖象。圖2b示出記錄步驟100中由監(jiān)視模塊1里的光敏傳感器10記錄的一幅圖象。在該圖象中除其它東西外還有一個(gè)人。在濾波步驟110中對(duì)該圖象濾波。利用各種不同的濾波處理對(duì)圖象濾波并且以這種方法除去例如影子和噪聲,可以強(qiáng)調(diào)出最感興趣的部分而且更容易確定各種不同的監(jiān)視情況。圖象的濾波也可以在分割的圖象、輪廓圖象和/或外形輪廓上進(jìn)行。
接著將該圖象和基準(zhǔn)圖象比較。例如可以通過(guò)對(duì)若干先前記錄的圖象取平均或進(jìn)行卡爾曼(Kalman)濾波建立該基準(zhǔn)圖象。這些圖象例如可以是在該區(qū)域中不存在告警對(duì)象時(shí)記錄的背景圖象。
若在某記錄圖象中包含一個(gè)額外對(duì)象,則在分割步驟120通過(guò)和基準(zhǔn)圖象比較分割出一個(gè)特殊區(qū)段。在本情況下某個(gè)人進(jìn)入受監(jiān)視位置并且已被監(jiān)視模塊1記錄。該分割包括以下步驟從所論討的圖象和背景圖象建立差別圖象。該背景圖象是當(dāng)該受監(jiān)視位置中不存在感興趣的受監(jiān)視對(duì)象時(shí),即,當(dāng)該受監(jiān)視位置處于初始狀態(tài)并且除了應(yīng)在該受監(jiān)視位置中存在的對(duì)象外不存在其它對(duì)象時(shí)記錄的。用一個(gè)閾值與該基準(zhǔn)圖象中的每個(gè)象素比較。若超過(guò)該閾值,則它變成一個(gè)記錄成前景(foreground)的點(diǎn)。把這些記錄成前景的點(diǎn)組合成各特殊區(qū)段,如圖3所示。在該例中得到特殊區(qū)段130。
圖4示出在處理步驟140中如何通過(guò)一個(gè)具有指針(clock-hand)算法的搜索子例程沿著其邊緣探索該特殊區(qū)段以便建立該特殊區(qū)段的輪廓圖象。該指針?biāo)惴ㄑ刂撎厥鈪^(qū)段的邊緣跟蹤直到它回到起點(diǎn)。詳細(xì)地說(shuō),按如下步驟進(jìn)行。首先在該特殊區(qū)段的邊緣上尋找一個(gè)起點(diǎn)。只要未遇到該起始節(jié)點(diǎn)并且前面存在未搜索的路,則從前一個(gè)位置以一個(gè)象素的距離順時(shí)針移動(dòng)指針直至遇到新的邊緣點(diǎn)。若該指針的新位置是該起始位置,則尋找一條新的未探索過(guò)的路。若前面不存在路,則結(jié)束該算法。反之則繼續(xù)該算法,并且把該起始節(jié)點(diǎn)前面的已找到的未探索的路標(biāo)記成探索過(guò)的。
圖5示出該特殊區(qū)段的輪廓圖象,其表示該人。圖6中,在擬合步驟150中用一個(gè)外形輪廓,在本情況下是一個(gè)多邊形,擬合該探尋出的路徑。利用角度最小化子例程擬合該多邊形。該角度最小化子例程執(zhí)行如下。在邊緣上設(shè)定一個(gè)作為最新點(diǎn)的起點(diǎn)。只要未遇到終點(diǎn),則探尋該邊緣計(jì)算該最新點(diǎn)的切線向量和該邊緣上當(dāng)前位置的切線向量之間的角度差。若該角度差大于某特定極限,則把該位置保存為一個(gè)節(jié)點(diǎn),并且把該位置設(shè)定為最新點(diǎn)。多邊形上的點(diǎn)的數(shù)量是可以改變的。
在分類步驟160中對(duì)所建立的多邊形分類,并且在判定步驟170中判定是否有興趣傳輸。在本情況下把該多邊形分類成和人相關(guān)。若分類的結(jié)果是該對(duì)象不會(huì)造成告警,則在調(diào)查步驟175調(diào)查是否還存在更多特殊區(qū)段。在本情況下類似人的分類的準(zhǔn)則指示把該多邊形傳送到接收部件3。也可以根據(jù)探測(cè)到的對(duì)象的移動(dòng)史進(jìn)行分類步驟160??梢酝ㄟ^(guò)獲得以前記錄的分割出的特殊區(qū)段并且把這些特殊區(qū)段和所討論的特殊區(qū)段匹配來(lái)得到移動(dòng)史。若它們?cè)谝活A(yù)先確定的程度上匹配,則假定它們?cè)醋酝粋€(gè)對(duì)象,并且以這種方式可以得到該對(duì)象的移動(dòng)方向和速度。也可以根據(jù)該多邊形的移動(dòng)史以及該多邊形本身二者來(lái)進(jìn)行分類。在壓縮步驟180通過(guò)帶有增量步長(zhǎng)的Huffman算法壓縮該多邊形并在傳輸步驟3中將其發(fā)送到接收部件3。若在通信路徑2中或在接收部件3中發(fā)生故障,可在存儲(chǔ)步驟190、195首先把多邊形存儲(chǔ)在監(jiān)視模塊1里的存儲(chǔ)器中,并且當(dāng)通信恢復(fù)時(shí)在傳輸步驟200中發(fā)送。在圖7中示出該多邊形。以參數(shù)化形式作為一組坐標(biāo)發(fā)送該多邊形。在新的調(diào)查步驟210中調(diào)查該記錄圖象中是否還存在更多特殊區(qū)段。若是這樣的情況,則也對(duì)該特殊區(qū)段重復(fù)從處理步驟140起的進(jìn)程。接收部件3接收的多邊形例如可以在一顯示屏幕上向操作員顯示。該多邊形可示成重疊在背景圖象上。還可以顯示該多邊形的移動(dòng)模式。通過(guò)所述匹配從相繼的多邊形計(jì)算該移動(dòng)模式??梢栽趥鬏敳襟E200中向接收部件3傳輸之前或者在接收部件3中計(jì)算該移動(dòng)模式。
另外,可以和外形輪廓一起發(fā)送對(duì)象的線內(nèi)容。圖8示出來(lái)自圖7的帶有線內(nèi)容的多邊形。使特殊區(qū)段中的線內(nèi)容可視化的主要目的是,對(duì)于該對(duì)象給出有關(guān)它的構(gòu)成本質(zhì)更多的結(jié)構(gòu)性及實(shí)質(zhì)性信息的視覺(jué)顯示。可以從構(gòu)成中提取出若干不同的線組??蓮膶?dǎo)出的構(gòu)成細(xì)化邊緣。該對(duì)象的整個(gè)區(qū)域可以弄得更細(xì),并且以這種方式得到一種“滑稽人”(stickman)。這種滑稽人對(duì)局部變化相當(dāng)敏感因而不總是適合的。此外,它源自于外形輪廓而不是構(gòu)成??梢园褬?gòu)成看成是地形。一組線可以全是山頂,可純數(shù)學(xué)地例如用鞍點(diǎn)、局部極大值和局部極小值描述它們。這些線通常不是特別的細(xì),而是常常具有某種形式的寬度。為了得到窄的清晰線,可以使用所謂的“細(xì)化(thinning)”的方法。細(xì)化在不全部“腐蝕掉”線邊的情況下“腐蝕”這些線的邊緣。簡(jiǎn)單地說(shuō),所有的線做成一樣窄(通常寬度為1個(gè)象素)。在某些情況下,得到的結(jié)果不是若干獨(dú)立的線而是一個(gè)網(wǎng)格。所有的部分線都可以看成是分離的線并且可和其它線分離。為了使視覺(jué)結(jié)果盡可能清楚,有時(shí)必須除去信息。例如,若存在格子襯衣,會(huì)有相當(dāng)多的線聚集在一起。較淺的線或一些靠得太近的線可以有益地被去掉。最后,可以若干不同的方式表示這些線。一種方式是以象素的形式。每條線通過(guò)它含有的象素(畫(huà)面元素)組描述。另一種方式是線序列。對(duì)每個(gè)線段擬合一個(gè)線序列。從而每條線通過(guò)一系列的一起逼近該條原始線的直線表示。又一種方式是以樣條的形式。用一樣條擬合感興趣的線。
另外,可以和外形輪廓以及線內(nèi)容一起或者僅和外形輪廓一起發(fā)送亮度區(qū),以便更容易進(jìn)行視覺(jué)評(píng)估,該評(píng)估例如在向操作員顯示外形輪廓時(shí)發(fā)生。在圖9中示出一個(gè)帶有亮度區(qū)的多邊形。盡可能靠近對(duì)象的特征再現(xiàn)各亮度區(qū)。為了達(dá)到好的分割,必須首先定義把對(duì)象構(gòu)成的哪些特征歸在一起。這種特征的例子是整個(gè)區(qū)域具有只帶有小偏差的相同亮度。另一個(gè)特征是該區(qū)域的方差小于特定量度。另一個(gè)特征可以是該區(qū)域具有特定的統(tǒng)計(jì)特征組,例如均值、方差、相鄰象素之間相關(guān)性等等。存在分割不同區(qū)域的不同方法。為了利用前面所述的特征分割不同區(qū)域,可以采用多種不同的方法。一種方法是“分割和合并”,它是一種連續(xù)把一個(gè)區(qū)域分割成較小的區(qū)域直至各個(gè)部分區(qū)域滿足特定要求的算法。然后組合具有相同特征的區(qū)域。另一種方法是以低位深量化區(qū)域以得到各特殊區(qū)段。又一種方法是在構(gòu)成中種下一粒種子,并且只要新象素符合該新區(qū)域的特征就讓該區(qū)增長(zhǎng)。當(dāng)象素包含在一個(gè)區(qū)域內(nèi)時(shí),將其標(biāo)記成已分配的。當(dāng)一個(gè)區(qū)域不能增長(zhǎng)得更大時(shí),則完成該區(qū)域并且在另一個(gè)位置種下一粒新種子。還有可能同時(shí)讓多個(gè)種子并行地增長(zhǎng)。另一種方法可以是根據(jù)構(gòu)成中若干選定的區(qū)段特征的Baves分類法。
為了表示不同的區(qū)段,可使用若干不同的方法。第一種方法是不同區(qū)段象素的“游程長(zhǎng)度編碼”(RLE)。不同象素的值為其屬于哪個(gè)區(qū)域。另一種方法是多邊形表示。該方法用一個(gè)多邊形擬合區(qū)域。多邊形可以和其它區(qū)域并和對(duì)象的輪廓共享一些點(diǎn)。另一種方法是樣條表示,其通過(guò)一個(gè)樣條限定區(qū)域。其優(yōu)點(diǎn)是數(shù)據(jù)量較小而且擬合更佳。然而,一個(gè)缺點(diǎn)是,大多數(shù)樣條方法不共享公共點(diǎn)并且擬合處理更耗時(shí)。
一旦表示了各區(qū)段和各線后,只有一組要通過(guò)傳輸媒體發(fā)送的數(shù)據(jù)。唯一的限制是,發(fā)送器和接收器,在本情況中為監(jiān)視模塊1和接收部件3,二者必須以相同的方式解釋信息。它們必須具有相同的信息數(shù)學(xué)模型。
操作員也可以要求對(duì)于對(duì)象具有更多的信息。這可以是按位象發(fā)送的對(duì)象圖象。它也可以是在受監(jiān)視位置得到的聲音記錄。
盡管上面說(shuō)明了本發(fā)明的一實(shí)施例,但本領(lǐng)域普通技術(shù)人員應(yīng)理解,根據(jù)上面的說(shuō)明許多替代、修改和改變都是可能的。
依據(jù)本發(fā)明,在一實(shí)施例中可以發(fā)送所有產(chǎn)生的外形輪廓。即,在該部件中不存在分類。這意味著告警操作員始終可以看見(jiàn)受監(jiān)視位置處所有移動(dòng)事件。即使帶寬受到限制,外形輪廓占有的低帶寬使得能發(fā)送關(guān)于記錄圖象和基準(zhǔn)圖象相比的所有改變的數(shù)據(jù)。
另一個(gè)在本發(fā)明的范圍內(nèi)的修改的例子是可以用樣條函數(shù)代替多邊形。數(shù)學(xué)上樣條曲線是通過(guò)若干控制點(diǎn)以及一個(gè)描述控制點(diǎn)之間的曲線形狀的函數(shù)定義的。通常該函數(shù)是固定的,并且只利用這些控制點(diǎn)定義曲線。為了用這樣的曲線擬合輪廓圖象,必須具有一個(gè)初始值、在何處該曲線擬合該輪廓的準(zhǔn)則,以及一個(gè)使該曲線擬合該輪廓的搜索策略。通常,一系列圖象中前一幅圖象里的曲線位置充當(dāng)初始值。若從刻痕(scratch)開(kāi)始搜索,則必須使用另一個(gè)方法,例如從一個(gè)保證包含該輪廓的大園開(kāi)始。曲線對(duì)輪廓的擬合準(zhǔn)則可以是至檢測(cè)輪廓的距離或者根據(jù)該圖象中的梯度。在后一種情況下,要求把該曲線置于梯度最大處。搜索策略通常包含一些標(biāo)準(zhǔn)的優(yōu)化方法,以便該搜索策略中的準(zhǔn)則為最小。用于優(yōu)化的樣條表示的優(yōu)點(diǎn)是,只需要把各控制點(diǎn)用作為變量,這導(dǎo)致速度的提高。有關(guān)樣條擬合的更多細(xì)節(jié),請(qǐng)參見(jiàn)Myron Flickher,JamesHafner,Eduardo J.Rodriguez和L.C.Sanz的“Fast least-square curvefitting using quasi-orthogonal splines”。
另外,例如可以和該傳感器相結(jié)合使用一個(gè)紅外探測(cè)器。還可以例如用等距離逼近或者樣條擬合代替角度最小化函數(shù)。等距離逼近包括以下步驟只要在若干步長(zhǎng)中沿著邊緣未遇到終點(diǎn),則在起始點(diǎn)設(shè)定第一節(jié)點(diǎn),并且若未遇到終點(diǎn)則在當(dāng)前點(diǎn)處設(shè)定一個(gè)節(jié)點(diǎn)。
在圖象處理的幾個(gè)步驟中可以進(jìn)行濾波。也可以例如在壓縮步驟180中通過(guò)Huffman編碼壓縮多邊形。
權(quán)利要求
1.一種用于在監(jiān)視系統(tǒng)中管理圖象信息的方法,該監(jiān)視系統(tǒng)包括至少一個(gè)用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊(1)和一個(gè)遠(yuǎn)程接收部件(3),該方法包括步驟利用監(jiān)視模塊(1)記錄(100)受監(jiān)視位置的圖象,在監(jiān)視模塊(1)中通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段(120),在監(jiān)視模塊中建立表示該特殊區(qū)段的邊緣的外形輪廓,向接收部件(3)發(fā)送(200)表示該外形輪廓的數(shù)據(jù),在接收部件(3)中利用所述發(fā)送的數(shù)據(jù)重建該外形輪廓,以及,在接收部件中視覺(jué)地顯示該外形輪廓。
2.依據(jù)權(quán)利要求1的方法,其中建立外形輪廓的步驟包括建立(140)該特殊區(qū)段的輪廓圖象的步驟,以及用該外形輪廓擬合(150)該輪廓圖象的步驟。
3.依據(jù)權(quán)利要求2的方法,其中建立(140)輪廓圖象的步驟包括通過(guò)諸如指針?biāo)惴ǖ乃阉髯永谈櫾撎厥鈪^(qū)段的邊緣的步驟。
4.依據(jù)上述任一權(quán)利要求的方法,還包括在監(jiān)視模塊(1)中根據(jù)屬于該特殊區(qū)段的至少一個(gè)特征,例如尺寸和/或形狀來(lái)分類(160)該特殊區(qū)段的步驟,以及由該分類控制(170)所述數(shù)據(jù)的傳輸?shù)牟襟E。
5.依據(jù)上述任一權(quán)利要求的方法,還包括步驟在監(jiān)視模塊中把屬于該特殊區(qū)段的特定特征,例如尺寸、形狀等特征中的一個(gè)或多個(gè),與屬于從至少一個(gè)先前的記錄圖象中分割出的區(qū)段的對(duì)應(yīng)特征進(jìn)行比較,如果這些特征的符合達(dá)到把它們確定為表示同一個(gè)對(duì)象的程度,則記錄該特殊區(qū)段的移動(dòng)史。
6.依據(jù)權(quán)利要求5的方法,還包括在監(jiān)視模塊(1)中根據(jù)該特殊區(qū)段的記錄移動(dòng)史分類(160)該特殊區(qū)段的步驟,以及由該分類控制(170)所述數(shù)據(jù)的傳輸?shù)牟襟E。
7.依據(jù)權(quán)利要求5的方法,還包括在監(jiān)視模塊(1)中根據(jù)屬于該特殊區(qū)段的至少一個(gè)特征,例如尺寸、形狀和/或記錄的移動(dòng)史分類(160)該特殊區(qū)段的步驟,以及由該分類控制(170)所述數(shù)據(jù)的傳輸?shù)牟襟E。
8.依據(jù)權(quán)利要求5-7中任一權(quán)利要求的方法,其中將所述表示外形輪廓的數(shù)據(jù)和表示移動(dòng)史的數(shù)據(jù)一起發(fā)送到接收單元(3),并且予以重建以供視覺(jué)顯示。
9.依據(jù)權(quán)利要求4、6、7或8中任一權(quán)利要求的方法,其中僅當(dāng)把該特殊區(qū)段分類成和人相關(guān)時(shí)才發(fā)送所述數(shù)據(jù)。
10.依據(jù)上述任一權(quán)利要求的方法,還包括于傳輸之前在監(jiān)視模塊(1)中存儲(chǔ)(195)將要發(fā)送到接收部件(3)的數(shù)據(jù)的步驟。
11.依據(jù)上述任一權(quán)利要求的方法,還包括向接收部件(3)發(fā)送例如聲音記錄、該特殊區(qū)段內(nèi)的部分線和/或亮度區(qū)的補(bǔ)充監(jiān)視信息的步驟。
12.依據(jù)上述任一權(quán)利要求的方法,還包括在接收部件中在背景圖象上顯示重建的外形輪廓的步驟。
13.依據(jù)上述任一權(quán)利要求的方法,基中監(jiān)視模塊(1)和接收部件(3)之間的通信是通過(guò)無(wú)線裝置,例如通過(guò)移動(dòng)電話實(shí)現(xiàn)的。
14.依據(jù)上述任一權(quán)利要求的方法,其中通過(guò)多邊形表示外形輪廓。
15.依據(jù)權(quán)利要求14的方法,其中通過(guò)若干數(shù)量上可變的點(diǎn)表示該多邊形。
16.依據(jù)權(quán)利要求1-13的方法,其中通過(guò)樣條函數(shù)表示外形輪廓。
17.一種用于管理圖象信息的設(shè)備,該設(shè)備包括至少一個(gè)用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊(1)和一個(gè)遠(yuǎn)程接收部件(3),該監(jiān)視模塊(1)包括一個(gè)設(shè)置成記錄受監(jiān)視位置的圖象的光敏傳感器(10),一個(gè)設(shè)置成通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段,以及建立表示該特殊區(qū)段的邊緣的外形輪廓的計(jì)算部件(11);以及一個(gè)設(shè)置成向接收部件(3)發(fā)送表示該外形輪廓的數(shù)據(jù)的通信部件(12);并且該接收部件(3)設(shè)置成接收所述發(fā)送的數(shù)據(jù),以便重建該外形輪廓和視覺(jué)地顯示該外形輪廓。
18.依據(jù)權(quán)利要求17的設(shè)備,其中計(jì)算部件(11)還設(shè)置成根據(jù)屬于特殊區(qū)段的至少一個(gè)特征,例如尺寸、形狀和/或移動(dòng)史分類該特殊區(qū)段,并且根據(jù)該分類控制所述數(shù)據(jù)的傳輸。
19.依據(jù)權(quán)利要求17或18的設(shè)備,其中監(jiān)視模塊(1)還包括存儲(chǔ)器裝置(13),其設(shè)置成存儲(chǔ)例如有關(guān)屬于特殊區(qū)段的特征的數(shù)據(jù)和/或表示外形輪廓的數(shù)據(jù)。
20.依據(jù)權(quán)利要求17-19中任一權(quán)利要求的設(shè)備,其中監(jiān)視模塊(1)和接收部件(3)根據(jù)相同的數(shù)學(xué)模型解釋信息。
21.依據(jù)權(quán)利要求17-20中任一權(quán)利要求的設(shè)備,還包括一個(gè)用于從監(jiān)視模塊(1)向監(jiān)視臺(tái)(3)傳輸聲頻信息的聲頻部件。
22.依據(jù)權(quán)利要求17-21中任一權(quán)利要求的設(shè)備,其中通信部件(12)包括一個(gè)無(wú)線通信設(shè)備。
23.一種用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊,其包括一個(gè)設(shè)置成記錄受監(jiān)視位置的圖象的光敏傳感器(10),一個(gè)設(shè)置成通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段以及建立表示該特殊區(qū)段的邊緣的外形輪廓的計(jì)算部件(11),以及一個(gè)設(shè)置成向遠(yuǎn)程接收部件(3)發(fā)送表示該外形輪廓的數(shù)據(jù)的通信部件(12)。
24.一種包含程序代碼的計(jì)算機(jī)程序產(chǎn)品,該程序代碼存儲(chǔ)在計(jì)算機(jī)可讀媒體上,并且當(dāng)其裝入計(jì)算機(jī)時(shí)實(shí)現(xiàn)依據(jù)權(quán)利要求1-16中任一權(quán)利要求的一個(gè)或多個(gè)方法步驟。
全文摘要
一種用于管理監(jiān)視系統(tǒng)中的圖象信息的方法和設(shè)備。該監(jiān)視系統(tǒng)包括至少一個(gè)用于監(jiān)視受監(jiān)視位置的監(jiān)視模塊(1)和一個(gè)遠(yuǎn)程接收部件(3)。該方法包括步驟用監(jiān)視模塊(1)記錄受監(jiān)視位置的圖象,在監(jiān)視模塊(1)中通過(guò)比較記錄圖象和基準(zhǔn)圖象分割出特殊區(qū)段,在監(jiān)視模塊中建立表示該特殊區(qū)段的邊緣的外形輪廓,把表示該外形輪廓的數(shù)據(jù)發(fā)送到接收部件(3),在接收部件中利用所述發(fā)送的數(shù)據(jù)重建該外形輪廓,以及在該接收部件中視覺(jué)地顯示該外形輪廓。
文檔編號(hào)G06T7/00GK1413417SQ0081755
公開(kāi)日2003年4月23日 申請(qǐng)日期2000年12月22日 優(yōu)先權(quán)日1999年12月23日
發(fā)明者瑪茨·挨爾夫英, 克里斯蒂安·麥黑姆, 安德里斯·羅德曼 申請(qǐng)人:維斯波特股份公司