專利名稱：成像裝置、運動體檢測方法、運動體檢測電路和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合用于例如檢測運動體(moving body)的情況的成像裝置、運動體 檢測方法、運動體檢測電路和程序。
背景技術(shù)：
存在一種用于監(jiān)視目的的成像裝置，其可以利用可見光或紅外光對物體成像。由 成像裝置攝取的圖像示出了各種事物，它們分別被計算機(jī)設(shè)備的處理指定以將它們識別為 對象。計算機(jī)設(shè)備向?qū)ο筇砑痈鞣N信息以便利后續(xù)的圖像處理。還有一種通過從由監(jiān)視成像裝置攝取的圖像中指定入侵者來增 強安全性能的監(jiān) 視系統(tǒng)。這種監(jiān)視系統(tǒng)通過將相對于圖像中包含的背景的運動對象檢測為運動體來檢測入 侵者。這使得監(jiān)視系統(tǒng)能夠捕獲并檢測其輕微運動可能僅被人類視覺監(jiān)視忽略的入侵者， 以及其密度與背景密度相匹配的入侵者的運動。在前面的描述中，“運動體”包括運動的物體(例如，每一幀(1/15秒)改變10% 或更多的對象的覆蓋部分)或者在臨時暫停之后運動的物體。JP-A-2001-8189 (專利文獻(xiàn)1)公開了一種通過跟蹤由亮度改變獲得的對象候選 來檢測運動對象的技術(shù)，該亮度改變是從緊鄰的前一圖像和原始圖像之間的差異獲取的。JP-A-11-41589 (專利文獻(xiàn)2)公開了一種對從兩幀間的圖像之間的差異提取的改 變區(qū)域執(zhí)行密度圖案匹配，在其間的相似度高于預(yù)定值時將改變區(qū)域視為擾動，并將其相 似度較低的改變區(qū)域檢測為運動對象的技術(shù)。

發(fā)明內(nèi)容
然而，即使使用如專利文獻(xiàn)1中所描述的執(zhí)行正規(guī)化相關(guān)以去除作為擾動的光影 響的技術(shù)，也不能將從圖像的較深處向前移動的對象檢測為運動體。這是因為當(dāng)對象從較 深處向前移動時，圖像中的坐標(biāo)很難改變，從而對象看起來沒有移動。當(dāng)對象臨時暫停時， 臨時暫停僅僅是基于圖像中對象的位置確定的。這可能導(dǎo)致監(jiān)視系統(tǒng)錯誤地將對象檢測為 背景的一部分(即使臨時暫停的對象是運動體)，從而導(dǎo)致運動體檢測精度較差。另外，即使使用如專利文獻(xiàn)2中描述的通過計算正規(guī)化相關(guān)來確定光影響的技 術(shù)，也不能將從圖像的較深處向前移動的人或者臨時暫停的人檢測為運動體?？紤]到前述情形，希望增強運動體檢測精度。根據(jù)本發(fā)明的一個實施例，首先，檢測圖像中的對象是否是在幀之間形成運動的 運動體。接下來，基于對象的紋理和亮度來確定指示被檢測為運動體的對象在多個幀之間 是否相似的相似度以及對象的亮度改變。然后，當(dāng)確定對象具有發(fā)源于光/陰影(light/shadow)的亮度改變時，向被檢測 為運動體的對象添加指示發(fā)源于光/陰影的亮度改變的屬性信息。因此，可以確定亮度發(fā)生改變的對象是否是運動體。
根據(jù)本發(fā)明的實施例，確定了被檢測為運動體的對象是否是源于其亮度改變。因 此，基于從幀的較深處向前移動的對象或者臨時暫停的對象的亮度改變，對象可以被檢測 為運動體。另外，向?qū)ο筇砑又甘景l(fā)源于光/陰影的亮度改變的屬性信息帶來了增強運動 體檢測精度的效果。


圖1是示出根據(jù)本發(fā)明一個實施例的成像裝置的內(nèi)部配置示例的框圖；圖2是示出根據(jù)本發(fā)明實施例的圖像處理部件的內(nèi)部配置示例的框圖；圖3是示出根據(jù)本發(fā)明實施例的運動體檢測部件的內(nèi)部配置示例的框圖；圖4A至4C是示出由根據(jù)本發(fā)明實施例的運動體檢測部件執(zhí)行的區(qū)域積分處理的 示例的說明圖；圖5是示出根據(jù)本發(fā)明實施例的屬性確定部件的內(nèi)部配置示例的框圖；圖6A和6B是示出根據(jù)本發(fā)明實施例基于紋理差異的對象的相似度的示例的說明 圖；圖7A和7B是示出根據(jù)本發(fā)明實施例當(dāng)前圖像和過去圖像之間的紋理的相似度的 示例的說明圖；圖8A和8B是示出根據(jù)本發(fā)明實施例在運動體的運動中的靜態(tài)區(qū)域和動態(tài)區(qū)域的 示例的說明圖；圖9A和9B是示出根據(jù)本發(fā)明實施例正常相似度和靜態(tài)區(qū)域的相似度的比較示例 的說明圖；以及圖IOA和IOB是示出根據(jù)本發(fā)明實施例在應(yīng)用運動體檢測處理之前和之后的運動 體檢測圖像的示例的說明圖。
具體實施例方式下面將描述用于實施本發(fā)明的最佳模式(下文中稱為“實施例”)。將按以下順序 給出描述。1. 一個實施例(運動體檢測控制檢測運動體的處理示例)2.修改<1. 一個實施例>[成像裝置的內(nèi)部配置示例]將參考附圖描述本發(fā)明的一個實施例。對實施例的描述將給出以下示例該實施 例適用于從攝取的圖像中的對象中檢測運動體的成像裝置1。圖1是示出成像裝置1的內(nèi)部配置示例的框圖。成像裝置1包括根據(jù)經(jīng)由光學(xué)系統(tǒng)(例如鏡頭和快門)獲取的圖像光生成成像信 號的成像部件2和對成像信號執(zhí)行預(yù)定處理的成像信號處理部件3。成像部件2例如具有 作為生成成像信號的成像元件的CCD (電荷耦合器件)成像器或CMOS (互補金屬氧化物半 導(dǎo)體)傳感器。成像裝置1還包括對經(jīng)歷成像信號處理部件3的預(yù)定處理的成像信號執(zhí)行預(yù)定處 理的數(shù)據(jù)處理部件4和分析從成像信號獲取的圖像并輸出對于圖像中的對象唯一的屬性信息的圖像處理部件5。后面將描述圖像處理部件5的詳細(xì)內(nèi)部配置的示例。成像裝置1還包括根據(jù)經(jīng)歷圖像處理部件5的預(yù)定圖像處理的圖像數(shù)據(jù)生成元數(shù) 據(jù)的元數(shù)據(jù)生成部件6。元數(shù)據(jù)包括關(guān)于圖像的基本信息，例如被設(shè)定來指定對象是否是光 /陰影和拍攝時間的標(biāo)志。成像裝置1還包括傳送部件7，該傳送部件7將從數(shù)據(jù)處理部件 4接收的處理后數(shù)據(jù)和從元數(shù)據(jù)生成部件6接收的元數(shù)據(jù)傳送到未示出的接收裝置。成像 信號處理部件3、數(shù)據(jù)處理部件4、圖像處理部件5和元數(shù)據(jù)生成部件6被用作用于檢測對 象是否是運動體的運動體檢測電路。
對作為運動體的對象的檢測在下文中被稱為“運動體檢測”。另外，對被街道燈、室 內(nèi)燈等引入圖像中的光或陰影的檢測在下文中被稱為“光/陰影檢測”。另外，即使在對象 是運動體時的光/陰影的錯誤檢測在下文中被稱為“錯誤光/陰影檢測”。元數(shù)據(jù)生成部件6處理從圖像處理部件5接收的屬性信息和對象，并且基于向其 添加了指示對象具有發(fā)源于光/陰影的亮度改變的屬性信息的對象來生成包含圖像的基 本信息的元數(shù)據(jù)。然后，元數(shù)據(jù)生成部件6將所生成的元數(shù)據(jù)輸出到傳送部件7。然而，要 注意，當(dāng)圖像處理部件5(后面將描述的屬性確定部件12)添加了指示已對對象進(jìn)行了光/ 陰影檢測的屬性信息時，元數(shù)據(jù)生成部件6可以選擇不向傳送部件7傳送元數(shù)據(jù)的選項。傳送部件7傳送由元數(shù)據(jù)生成部件6生成的圖像的元數(shù)據(jù)和由數(shù)據(jù)處理部件4生 成的圖像文件。從成像裝置1接收數(shù)據(jù)的未示出的接收裝置可以基于所接收的對象和屬性 信息來選擇預(yù)定處理。例如，接收裝置可以選擇生成通知已經(jīng)進(jìn)行了光/陰影檢測的警報 的處理、在錯誤光/陰影檢測的情況下不生成警報的處理，等等。圖2示出了圖像處理部件5的內(nèi)部配置的示例。圖像處理部件5具有運動體檢測部件11，運動體檢測部件11從由輸入自成像信號 處理部件3的成像信號獲取的圖像中指定對象并且檢測對象是否是在幀之間形成運動的 運動體。圖像處理部件5還具有屬性確定部件12，屬性確定部件12確定是否已進(jìn)行了被檢 測為運動體的對象的光/陰影檢測并且向?qū)ο筇砑訉傩孕畔ⅰ＿\動體檢測部件11將在多個幀之間形成運動的對象檢測為運動體。然而，即使一 對象由于光/陰影的改變而移動，運動體檢測部件11也可以將該對象檢測為運動體。運動體檢測部件11用來檢測運動體的處理包括僅使用時間差異(幀間差異)的 處理、使用背景差異的處理、使用時間差異和背景差異兩者的處理、以及使用其他信息(例 如，來自圖像的用來檢測運動體的計算運動信息)的處理。根據(jù)該實施例的運動體檢測部 件11利用時間差異和背景差異兩者來確定是否已進(jìn)行了光/陰影檢測。屬性確定部件12基于對象的紋理和亮度來確定指示被檢測為運動體的對象在多 個幀之間是否相似的相似度以及對象的亮度改變。當(dāng)確定對象是發(fā)源于光/陰影的亮度改 變時，屬性確定部件12向被檢測為運動體的對象添加指示發(fā)源于光/陰影的亮度改變的屬 性信息。然后，屬性確定部件12針對每個對象將被確定為發(fā)源于光/陰影的亮度改變的對 象和指示光/陰影檢測的屬性信息提供給元數(shù)據(jù)生成部件6。圖3示出了運動體檢測部件11的內(nèi)部配置的示例。運動體檢測部件11具有處理從多個幀中的圖像中獲取的背景圖像中的差異以輸 出背景差異數(shù)據(jù)的背景差異處理部件20和處理圖像中的時間差異以輸出時間差異數(shù)據(jù)的 時間差異處理部件25。運動體檢測部件11還具有區(qū)域積分部件29，區(qū)域積分部件29執(zhí)行區(qū)域積分處理以基于表示背景差異數(shù)據(jù)和時間差異數(shù)據(jù)的積分的積分結(jié)果28來檢測圖像 中的對象。從要處理的當(dāng)前幀獲取的圖像在下文中被稱為“當(dāng)前圖像”。另外，在當(dāng)前幀之前 提供的、先前存儲在未示出的存儲部件中、并被從存儲部件讀出以與當(dāng)前圖像相比較的圖 像在下文中被稱為“過去圖像”。此外，通過計算僅獲取基本上持續(xù)覆蓋多個連續(xù)幀的對象 而創(chuàng)建的圖像在下文中被稱為“背景圖像”。背景差異處理部件20具有獲取比從成像信號處理部件3提供來的當(dāng)前圖像的背 景早一幀的背景中的差異的第一差異處理部件21和創(chuàng)建作為從當(dāng)前圖像的背景中減去的 所獲取背景差異的背景圖像23的背景更新部件22。由背景更新部件22更新的背景圖像 23被存儲在未示出的存儲部件中。然后，從存儲部件讀取的背景圖像23被輸入到第一差異 處理部件21和背景更新部件22以進(jìn)行處理。時間差異處理部件25具有第二差異處理部件26，第二差異處理部件26獲取從成 像信號處理部件3提供來的當(dāng)前圖像和存儲在未示出的存儲部件中的過去圖像27之間的 時間差異。由第二差異處理部件26處理的當(dāng)前圖像被存儲在未示出的存儲部件中作為一 組過去圖像27。然后，從存儲部件讀取的過去圖像27被輸入到第二差異處理部件26以進(jìn) 行處理。接下來，將描述運動體檢測處理的示例。背景差異處理部件20檢查各個像素中的當(dāng)前圖像和背景圖像之間的亮度差異大 于預(yù)定閾值的那些像素，并且將要最終耦合在一起的像素集合(彼此鄰接的像素)檢測為 運動體。時間差異處理部件25檢查各個像素中的當(dāng)前圖像和過去圖像27的群組之間的亮 度差異大于預(yù)定閾值的任何一個像素。在確定在輸入圖像中包括的每個像素處的亮度差異是否大于閾值時，運動體檢測 部件11使用由背景差異處理部件20獲取的背景差異和由時間差異處理部件25獲取的時 間差異。這可以確保即使在圖像中出現(xiàn)干擾(例如擺動對象，如樹葉)的情況下的運動體 的穩(wěn)定檢測。從第一差異處理部件21輸出的關(guān)于背景差異的信息和從第二差異處理部件26輸 出的關(guān)于時間差異的信息被組合在一起以生成積分結(jié)果28。然后，積分結(jié)果28被輸入到區(qū) 域積分部件29以針對每個標(biāo)簽定義限定一個群組的矩形框。下面將參考圖4A至4C來描述由區(qū)域積分部件29執(zhí)行的區(qū)域積分處理的示例。區(qū) 域積分處理一般采用被稱為“標(biāo)簽化”的圖像處理方案。圖4A示出了用在標(biāo)簽化處理中的一個群組的示例?！皹?biāo)簽化”是一種向耦合到感興趣的像素的鄰居像素指派同一標(biāo)簽(例如，數(shù)值) 以將多個區(qū)域分類到獨立群組中的處理。在該實施例中，對與位于坐標(biāo)(2，2)處的像素鄰 接的3x3像素的區(qū)域執(zhí)行標(biāo)簽化。圖4B示出了向亮度超過預(yù)定閾值的那些像素指派“ 1，，的一個群組的示例。預(yù)先向每一像素指派初始值“0”。然后，當(dāng)像素的亮度超過預(yù)定閾值時，第一差異 處理部件21和第二差異處理部件26向該像素指派標(biāo)簽“1”。針對鄰接像素的各個組，被指 派標(biāo)簽“1”的多個像素被標(biāo)識為群組31和32。
圖4C示出了從其去除初始值“0”的像素的群組的示例。第一差異處理部件21和第二差異處理部件26對被指派標(biāo)簽“1”的像素(參見圖 4B)分組，并向這些群組指派特定標(biāo)簽(例如，如“1”、“2”…等的順序數(shù)字)。在該實施例 中，向群組31指派標(biāo)簽“1”，并且向群組32指派標(biāo)簽“2”。這可以允許群組按照標(biāo)簽來區(qū) 分。另外，區(qū)域積分部件29設(shè)定分別限定群組31、32的未示出的矩形塊。因此，每個群組 31、32被識別為對象。然后，區(qū)域積分部件29檢測對象是否是運動體。被區(qū)域積分部件29檢測為運動 體的對象被賦予指示它是運動體的信息(下文中稱為“運動體信息”)，并且該對象被輸出 到屬性確定部件12。屬性確定部件12將檢測運動體的結(jié)果分割為兩個區(qū)域，即，背景差異區(qū)域和時間 差異區(qū)域(后面將描述)。然后，關(guān)注表示時間差異區(qū)域中對象的表面的紋理和圖案的“紋 理”的相關(guān)，屬性確定部件12確定該對象是否是光/陰影?？紤]到這一點，在根據(jù)該實施例 的運動體檢測部件11中使用背景差異和時間差異兩者很容易地適用于屬性確定部件12的
處理。為了確切地將甚至緩慢運動的對象檢測為運動體，運動體檢測部件11僅需要具 有背景差異處理部件20。然而，利用背景差異處理部件20和時間差異處理部件25兩者，運 動體檢測部件11可以確切地檢測運動體。關(guān)于其他運動體檢測方法，可以通過在光/陰影 檢測中確定關(guān)于時間差異的信息來進(jìn)行檢測。圖5示出了屬性確定部件12的內(nèi)部配置的示例。屬性確定部件12具有運動體確定部件36，運動體確定部件36基于從運動體檢測 部件11提供來的對象和運動體信息來確定對象是否是運動體或者是臨時暫停，或者確定 對象的大小。屬性確定部件12還具有紋理確定部件37，紋理確定部件37確定一幀內(nèi)被確 定為運動體的對象的紋理強度。屬性確定部件12還具有確定多個幀中同一對象的相似度 的相似度確定部件38。由紋理確定部件37和相似度確定部件38執(zhí)行的處理序列在下文中被稱為“幀內(nèi) 錯誤光/陰影檢測可能性確定處理”，該處理確定一幀內(nèi)被確定為運動體的對象的光/陰影 的錯誤檢測的可能性。屬性確定部件12還具有錯誤光/陰影檢測確定部件39，錯誤光/陰影檢測確定部 件39確定被確定為其相似度已確定的運動體的對象和被確定為其紋理已確定的運動體的 對象中的每一種、或者被確定為臨時暫停的對象是否被錯誤地檢測為光/陰影。錯誤光/陰影檢測確定部件39基于時間上順序提供的對象來確定錯誤光/陰影 檢測的可能性，該處理不同于確定一幀內(nèi)被確定為運動體的對象的光/陰影的錯誤檢測的 可能性的幀內(nèi)錯誤光/陰影檢測可能性確定處理。接下來，將描述確定被運動體檢測部件11確定為運動體的對象是否被錯誤地檢 測為光/陰影的處理的示例。首先，關(guān)于對象的信息和關(guān)于限定對象的矩形框的信息被從運動體檢測部件11 輸入到運動體確定部件36。接下來，運動體確定部件36對被運動體檢測部件11檢測為運動體的對象執(zhí)行預(yù) 處理。該處理是根據(jù)時間上順序輸入的關(guān)于對象和矩形框的信息來執(zhí)行的。在過去，由于在執(zhí)行相似度確定(后面將描述)時相似度在多個幀上變高，因此臨時暫停的對象被錯誤 地檢測為光/陰影。為此，運動體確定部件36確定對象是否是運動體，從而使得是運動體 但是臨時暫停的對象不被錯誤地檢測為光/陰影。例如，當(dāng)一個物體從圖像外部移入圖像中時，運動體確定部件36將其識別為對 象，并且針對該對象設(shè)定指示該對象是運動體的標(biāo)志。該標(biāo)志表明如果對象后來臨時暫 停，則對象僅僅是臨時暫停并且是運動體。當(dāng)在限定對象的矩形框中的靜態(tài)區(qū)域(后面將描述)中存在一定量的像素時，運 動體確定部件36確定該對象臨時暫停。另外，運動體確定部件36可以使用限定對象的矩 形框的重心在多個幀上沒有移動這一狀態(tài)作為用于確定臨時暫停的條件。當(dāng)上述區(qū)域積分部件29檢測到由于不規(guī)則反射等引起的多個小對象時，在一幀 中出現(xiàn)大量的對象。在這種情況下，運動體確定部件36的處理速度很可能變慢。因此，可 以作出運動體確定部件36不對小于預(yù)定大小的對象執(zhí)行光/陰影檢測這樣的限制。
被運動體確定部件36確定為臨時暫停的對象被輸入到錯誤光/陰影檢測確定部 件39。錯誤光/陰影檢測確定部件39就多個幀中的同一像素位置處，在計數(shù)器等中累積地 存儲關(guān)于在過去幀中已被錯誤地檢測為光/陰影的對象的光/陰影的信息。然后，錯誤光 /陰影檢測確定部件39將其錯誤光/陰影檢測的累積值等于或大于預(yù)定值的對象確定為 被錯誤檢測為光/陰影。關(guān)于光/陰影的信息被累積在計數(shù)器中的時段被設(shè)定為例如1/5 秒。在多個幀上按時間順序累積的錯誤檢測的可能性的獲取可以允許對象被最終確定為運 動體而不是光/陰影，即使對象曾被錯誤地檢測為光/陰影。同時，錯誤光/陰影檢測可能性確定處理確定從運動體確定部件36輸出的每個對 象對應(yīng)于一幀中的錯誤光/陰影檢測的可能性。此時，紋理確定部件37基于對象的亮度變 化來確定作為指示對象是否具有圖案的程度的“紋理強度”。將參考圖6A和6B來描述發(fā)源于紋理差異的對象的相似度的示例。圖6A示出了具有大紋理的對象的運動體和光的相似度的示例。當(dāng)對象是運動體并且在其表面上出現(xiàn)圖案等時，對象的紋理增加。另一方面，當(dāng)對 象是光時，亮度是均勻分布的，從而紋理減少。此時，運動體的相似度41變低，而光的相似 度42變高。因此，即使在相似度閾值Th1被紋理確定部件37減小的情況下，也很容易確定對 象是運動體還是光/陰影。圖6B示出了具有小紋理的對象的運動體和光的相似度的示例。假定在幀中存在小紋理的背景位置處(其中圖像中噪聲較少)出現(xiàn)了具有小紋理 的人(例如，穿著黑衣服的人)等。此時，運動體的相似度43和光的相似度44都變高。如 果利用如圖6A所示的不變的閾值Th1來確定運動體和光的相似度，則紋理確定部件37可 能錯誤地將對象檢測為光/陰影(即使對象是運動體)。很明顯，與具有大紋理的對象的相 似度相比，具有小紋理的對象的相似度很可能變得較高。因此，紋理確定部件37確定對象的紋理強度，并且相似度確定部件38針對具有低 紋理強度的部分設(shè)定高相似度確定閾值，但針對具有高紋理強度的部分設(shè)定低相似度確定 閾值。例如，紋理確定部件37設(shè)定高于閾值Th1的閾值Th2。這使得即使在對象的相似度差 異很輕微的情況下也可以將對象檢測為運動體，而不會錯誤地將對象檢測為發(fā)源于光/陰影的亮度改變的光/陰影。紋理確定部件37利用下式1獲取紋理強度。式1用于利用例如能量ENG來獲取 紋理強度。在該式中，假定一幀中有像素i和像素j，Li和Lj是各個像素的亮度值，并且 P5 (Li, Lj)是作為亮度值Li和h的概率變換的同時規(guī)范化矩陣。[式1]<formula>formula see original document page 10</formula>紋理確定部件37可以上述方式通過檢查一幀中對象的亮度差異的變化來獲取紋 理強度。能量ENG具有在紋理強度低時表現(xiàn)出高值、而在紋理強度高時表現(xiàn)出低值的特性。 因此，紋理確定部件37可以在能量ENG超過預(yù)定閾值時確定紋理強度較低，而在能量ENG 等于或小于預(yù)定閾值時確定紋理強度較高。接下來，相似度確定部件38獲取作為指示在多個幀上感興趣的對象的圖案是否 相似的程度的“紋理相似度”，并且將具有高相似度的對象確定為被檢測為光/陰影。在由 相似度確定部件38執(zhí)行的相似度確定中，計算在預(yù)定位置處對象的當(dāng)前和過去相似度(參 見后面將討論的圖9A和9B)。該計算的執(zhí)行關(guān)注了以下特性即當(dāng)檢測來自于發(fā)源于光/ 陰影的亮度改變時在對象位置處的過去圖像的紋理相似度變高，而當(dāng)對象是運動體時紋理 相似度變低。通過利用下式2給出的規(guī)范化相關(guān)來獲取一般相似度。[式2]
<formula>formula see original document page 10</formula>其中It 圖像中運動體的每個像素的亮度值，J1 圖像中運動體的各個像素的亮度值的平均，It_N 過去圖像中每個像素的亮度值，并且TTn 過去圖像中各個像素的亮度值的平均。圖7A和7B示出了當(dāng)前圖像和過去圖像之間的紋理相似度的示例。圖7A示出了當(dāng)對象是人(運動體)時紋理相似度的示例。在該示例中，令當(dāng)前幀中的圖像是當(dāng)前圖像51a，并且令比當(dāng)前圖像早N個幀的圖 像是過去圖像51b。在當(dāng)前圖像51a和過去圖像51b的每一個中示出了表示人的對象53。 然而，過去圖像51b僅有包含在矩形框52 (其中對象的位置被確定)中的對象53的一部分， 而當(dāng)前圖像51a具有包含在矩形框52中的整個對象53。此時，在幀之間將當(dāng)前圖像51a和過去圖像51b中的對象53相互比較清楚地表明 在矩形框52中紋理不是相似的。因此，相似度確定部件38可以檢測出對象53是運動體。圖7B示出了當(dāng)對象是靜態(tài)體時的紋理相似度的示例。在該示例中，令當(dāng)前幀中的圖像是當(dāng)前圖像54a，并且令比當(dāng)前圖像早N個幀的圖像是過去圖像54b。在當(dāng)前圖像54a和過去圖像54b的每一個中示出了表示樹木的對象56。 另外，在對象56中示出了表示樹的陰影的對象57。此外，當(dāng)前圖像54a和過去圖像54b都 具有包含在矩形框55 (其中對象的位置被確定)中的對象56、57。此時，在幀之間將當(dāng)前圖像54a和過去圖像54b中的對象56相互比較表明矩形框 55中的對象56是靜態(tài)體，因此兩個對象56的紋理彼此相似。因此，相似度確定部件38可 以檢測出對象56、57是臨時暫停的物體。有可能僅僅執(zhí)行對象的紋理相似度的簡單計算使得對于沿著相機(jī)的成像方向 (鏡頭的光軸方向)從較深處向前移動的人或者從前方向較深處移動的人來說，幀之間的 相似度較高，這是因為該移動缺少橫向運動。因為這種移動在紋理相似度上表現(xiàn)出輕微改變，所以其可能導(dǎo)致錯誤的光/陰影 檢測或者將對象錯誤識別為靜態(tài)體(或背景)。因此，為了防止從較深處向前移動的人被錯 誤地檢測為光/陰影，對象的區(qū)域被進(jìn)一步分割為靜態(tài)區(qū)域和動態(tài)區(qū)域，并且關(guān)注動態(tài)區(qū) 域的相似度。此時，相似度確定部件38將對象分割為在多個幀中共同包含的靜態(tài)區(qū)域和在 多個幀中不同的動態(tài)區(qū)域，并且 在靜態(tài)區(qū)域的相似度高于預(yù)定閾值時確定對象是發(fā)源于光 /陰影的亮度改變。圖8A和8B示出了一個人從畫面的較深處向前移動的情況。圖8A示出了一個人從畫面的較深處向前移動的情況的第一示例。在該示例中，同一幀61示出了彼此重疊的過去圖像和當(dāng)前圖像。幀61包括確定 對象的位置的矩形框62、位于畫面中深處的對象63以及位于畫面的前方的對象64。在該 示例中，對象63和64表示人物。下文中，相比于過去亮度表現(xiàn)出亮度的小改變的區(qū)域被稱為“靜態(tài)區(qū)域”，而相比 于過去亮度表現(xiàn)出亮度的大改變的區(qū)域被稱為“動態(tài)區(qū)域”。在一個人從畫面的較深處向前移動時，對象63被放大到對象64的大小。在該示 例中，對象63的區(qū)域是“靜態(tài)區(qū)域”，其中亮度并不隨時間改變。在對象63從畫面的較深處 向前移動時，對象63的區(qū)域在亮度改變的情況下被放大到對象64，因此排除了對象63的對 象64的區(qū)域是“動態(tài)區(qū)域”，其中亮度的改變較大。圖8B示出了一個人從畫面的較深處向前移動的情況的第二示例。在該示例中，同一幀65類似地示出了彼此重疊的過去圖像和當(dāng)前圖像。幀65包 括確定對象的位置的矩形框66、位于畫面中深處的對象67以及位于畫面前方的對象68。在一個人從畫面的較深處向前移動時，對象67被放大到對象68的大小。對象67 的區(qū)域是“靜態(tài)區(qū)域”，其中亮度的改變較小，而排除了對象67的對象68的區(qū)域是“動態(tài)區(qū) 域”，其中亮度的改變較大。動態(tài)區(qū)域具有這樣一種特性相對過去的紋理相似度在光/陰影檢測的情況下 變得較高，而在諸如人之類的運動體的情況下變得較低。相似度確定部件38預(yù)設(shè)一個閾 值Th3。最終，相似度確定部件38使用整個對象的相似度(Corrm)和動態(tài)區(qū)域的相似度 (Corrfflove)之和作為確定對象的光/陰影的值(Corr)。確定值(Corr)是通過下式3獲取 的。[式3]Corr = CorrA11+Corrmove(3)
如果確定值(Corr)為高，則確定當(dāng)前幀中的對象很可能被錯誤地檢測為光/陰影。圖9A和9B示出了正常相似度和靜態(tài)區(qū)域的相似度的比較示例。圖9A示出了正常相似度的示例。在對象是運動體的情況下，當(dāng)對象橫跨畫面時，過去和當(dāng)前圖像中包含的對象的 相似度71較低。另一方面，當(dāng)對象從畫面的較深處向前移動時，過去和當(dāng)前圖像中包含的 對象的相似度72變高。對象的相似度72基本上是與被識別為光的對象的相似度73相同 的值，并且相似度72、73高于閾值Th3。因此，對象可能被錯誤地檢測為臨時暫停。
圖9B示出了圖8A和8B中所示的靜態(tài)區(qū)域的相似度的示例。在對象是運動體的情況下，當(dāng)對象橫跨畫面時，對象的靜態(tài)區(qū)域的相似度74較 低。另一方面，當(dāng)對象從畫面的較深處向前移動時，過去和當(dāng)前圖像中包含的對象的靜態(tài)區(qū) 域的相似度75較低。另一方面，在對象是光的情況下，過去和當(dāng)前圖像中包含的對象的相 似度76變高。結(jié)果，對象的相似度75低于閾值Th3，從而使得可以將從畫面的較深處向前 移動的對象檢測為運動體。從上面清楚可見，錯誤光/陰影檢測確定部件39按時間順序獲取用于確定錯誤光 /陰影檢測的數(shù)據(jù)，從而最終確定對象是否已被錯誤地檢測為光/陰影。為了實現(xiàn)這一目 的，將各個幀中的錯誤光/陰影檢測的可能性加和，并且將直到當(dāng)前幀的錯誤光/陰影檢測 的加和可能性與無錯誤光/陰影檢測的可能性相比較。然后，將指示光/陰影檢測的屬性 信息添加到很可能被錯誤地檢測為光/陰影的對象?，F(xiàn)在，參考圖IOA和10B，將使用根據(jù)相關(guān)技術(shù)的運動體檢測處理的檢測結(jié)果與使 用根據(jù)本發(fā)明實施例的運動體檢測處理的檢測結(jié)果相比較。圖IOA示出了使用根據(jù)相關(guān)技術(shù)的運動體檢測處理的檢測結(jié)果的示例。通過在夜間對街道成像而獲取的圖像81在畫面的上半部分較暗，而在下半部分 較亮。根據(jù)相關(guān)技術(shù)的運動體檢測處理形成包圍從畫面的較深處向前移動的一個人的矩形 框83，并且將該人識別為對象82。另外，因為通過照明燈等的照明而在畫面的下半部分中 形成了亮區(qū)域，所以對象84被識別為運動體。因此，檢測運動體的精度很低。圖IOB示出了使用根據(jù)本發(fā)明實施例的運動體檢測處理的檢測結(jié)果的示例。該示例中的運動體檢測處理僅將對象82檢測為運動體。畫面的下半部分被檢測 為光/陰影，并且屬性信息被添加到該對象，從而使得該對象可以被識別為背景圖像。這增 強了檢測運動體的精度。根據(jù)本發(fā)明實施例的成像裝置1可以自動確定被監(jiān)視成像裝置檢測為運動體的 對象是否被錯誤地檢測為光/陰影。因此，即使從畫面的較深處向前移動的人或者臨時暫 停的人也可以被確切地檢測為運動體。這帶來了提高了檢測運動體的精度的優(yōu)點，并且增 強了例如在成像裝置被用于安全應(yīng)用時的安全性能。在對對象執(zhí)行光/陰影檢測的情況下，對象的紋理強度是基于對象的亮度變化獲 取的，并且相似度閾值根據(jù)紋理強度的程度而改變。因此，相似度的確定防止了沒有圖案 的對象被錯誤地檢測為光/陰影，即使對象在幀之間具有大的紋理強度或者對象具有小紋 理。這帶來了提高了將對象檢測為運動體的精度的優(yōu)點。另外，將對象分割為靜態(tài)區(qū)域和動態(tài)區(qū)域使得可以確定即使是從幀的較深處向前移動的對象是否發(fā)生亮度改變。這帶來了以下優(yōu)點即使是根據(jù)相關(guān)技術(shù)被識別為臨時暫 ?；蛘哽o態(tài)體的對象也可以被檢測為運動體。另外，關(guān)于是否進(jìn)行光/陰影檢測的信息被轉(zhuǎn)換為輸出到外部裝置的元數(shù)據(jù)。因 此，從成像裝置1接收到元數(shù)據(jù)的外部裝置更易于從多個對象中僅提取被檢測為運動體的 對象，從而有利于根據(jù)應(yīng)用的操作。<2.修改〉盡管根據(jù)本實施例的上述成像裝置1中的運動體檢測部件11具有背景差異處理 部件20和時間差異處理部件25，但是運動體檢測部件11也可以被配置為僅具有背景差異 處理部件20。在這種情況下，運動體的存在與否可以通過執(zhí)行與在錯誤光/陰影檢測可能 性確定處理中時間差異處理部件25的處理相似的處理來檢測。另外，該系統(tǒng)或裝置可以設(shè)有記錄實現(xiàn)前述實施例的功能的軟件的程序代碼的記 錄介質(zhì)。此外，很顯然，這些功能是在系統(tǒng)或裝置的計算機(jī)(或控制單元，例如CPU)讀取并 執(zhí)行存儲在這種記錄介質(zhì)中的程序代碼時實現(xiàn)的。軟盤、硬盤、光盤、磁光盤、⑶-ROM、⑶-R、磁帶、非易失性存儲卡、ROM等等可以用作 提供程序代碼的記錄介質(zhì)。此外，前述實施例的功能是通過執(zhí)行由計算機(jī)讀取的程序代碼實現(xiàn)的。另外，運行 在計算機(jī)上的OS等執(zhí)行實際處理的一部分或全部。通過這種處理實現(xiàn)前述實施例的功能 的情況也被包含在本發(fā)明的范圍中。本發(fā)明并不限于上述實施例，而是可以采取各種其他配置，而不脫離本發(fā)明的范圍。本申請包含與2009年3月11日向日本專利局提交的日本在先專利申請JP 2009-058357中公開的內(nèi)容有關(guān)的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計需求和其他因素可以發(fā)生各種修改、組合、 子組合和變更，只要這些修改、組合、子組合和變更在權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
一種成像裝置，包括運動體檢測部件，該運動體檢測部件檢測圖像中的對象是否是在幀之間形成運動的運動體；以及屬性確定部件，該屬性確定部件基于所述對象的紋理和亮度來確定指示被檢測為所述運動體的對象在多個幀之間是否相似的相似度以及所述對象的亮度改變，并且當(dāng)確定所述對象是發(fā)源于光/陰影的亮度改變時向被檢測為所述運動體的對象添加指示所述發(fā)源于光/陰影的亮度改變的屬性信息。
2.如權(quán)利要求1所述的成像裝置，其中所述屬性確定部件包括運動體確定部件，該運動體確定部件確定所述對象是臨時暫停還是運動體；紋理確定部件，該紋理確定部件確定預(yù)定幀中被確定為所述運動體的對象的紋理強度；相似度確定部件，該相似度確定部件基于由所述紋理確定部件確定的紋理來確定所述 多個幀之間對象的相似度；以及錯誤光/陰影檢測確定部件，該錯誤光/陰影檢測確定部件確定被所述運動體確定部 件確定為臨時暫停的對象或者其相似度已被所述相似度確定部件確定的對象是否被錯誤 地檢測為光/陰影。
3.如權(quán)利要求2所述的成像裝置，其中所述紋理確定部件基于所述對象的亮度改變的 變化來確定所述對象的紋理強度，并且所述相似度確定部件通過對其紋理強度較低的部分設(shè)定高相似度確定閾值、并對其紋 理強度較高的部分設(shè)定低相似度確定閾值，來確定所述對象的相似度。
4.如權(quán)利要求2或3所述的成像裝置，其中所述相似度確定部件將所述對象分割為在 所述多個幀中共同包括的靜態(tài)區(qū)域和在所述多個幀之間不同的動態(tài)區(qū)域，并且在所述靜態(tài) 區(qū)域的相似度高于預(yù)定閾值時確定所述對象是發(fā)源于光/陰影的亮度改變。
5.如權(quán)利要求4所述的成像裝置，還包括元數(shù)據(jù)生成部件，該元數(shù)據(jù)生成部件基于向其添加了所述屬性信息的對象來生成包含 指示所述對象是發(fā)源于光/陰影的亮度改變的屬性信息和所述圖像的基本信息的元數(shù)據(jù)； 以及傳送部件，該傳送部件傳送由所述元數(shù)據(jù)生成部件生成的元數(shù)據(jù)。
6.一種運動體檢測方法，包括以下步驟檢測圖像中的對象是否是在幀之間形成運動的運動體；以及基于所述對象的紋理和亮度來確定指示被檢測為所述運動體的對象在多個幀之間是 否相似的相似度以及所述對象的亮度改變，并且當(dāng)確定所述對象是發(fā)源于光/陰影的亮度 改變時向被檢測為所述運動體的對象添加指示所述發(fā)源于光/陰影的亮度改變的屬性信 肩、o
7.一種運動體檢測電路，包括運動體檢測部件，該運動體檢測部件檢測圖像中的對象是否是在幀之間形成運動的運 動體；以及屬性確定部件，該屬性確定部件基于所述對象的紋理和亮度來確定指示被檢測為所述 運動體的對象在多個幀之間是否相似的相似度以及所述對象的亮度改變，并且當(dāng)確定所述對象是發(fā)源于光/陰影的亮度改變時向被檢測為所述運動體的對象添加指示所述發(fā)源于 光/陰影的亮度改變的屬性信息。
8. 一種用于使得計算機(jī)執(zhí)行以下步驟的程序 檢測圖像中的對象是否是在幀之間形成運動的運動體的步驟；以及 基于所述對象的紋理和亮度來確定指示被檢測為所述運動體的對象在多個幀之間是 否相似的相似度以及所述對象的亮度改變，并且當(dāng)確定所述對象是發(fā)源于光/陰影的亮度 改變時向被檢測為所述運動體的對象添加指示所述發(fā)源于光/陰影的亮度改變的屬性信 息的步驟。
全文摘要
本發(fā)明公開了成像裝置、運動體檢測方法、運動體檢測電路和程序。該成像裝置包括運動體檢測部件和屬性確定部件，運動體檢測部件檢測圖像中的對象是否是在幀之間形成運動的運動體，屬性確定部件基于對象的紋理和亮度來確定指示被檢測為運動體的對象在多個幀之間是否相似的相似度以及對象的亮度改變，并且當(dāng)確定對象是發(fā)源于光/陰影的亮度改變時向被檢測為運動體的對象添加指示發(fā)源于光/陰影的亮度改變的屬性信息。
文檔編號G06T7/20GK101834986SQ20101012696
公開日2010年9月15日 申請日期2010年3月4日 優(yōu)先權(quán)日2009年3月11日
發(fā)明者西野勝章 申請人:索尼公司