專利名稱：一種多視角運動目標(biāo)檢測、定位與對應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控技術(shù)領(lǐng)域，特別涉及一種多視角運動目標(biāo)檢測、定位與對應(yīng)方法。
技術(shù)背景近年來，視頻監(jiān)控在城市安全、交通監(jiān)控、安全生產(chǎn)等領(lǐng)域得到廣泛應(yīng)用。而在視頻監(jiān) 控中，多攝像頭監(jiān)控的技術(shù)問題一直困擾著行業(yè)向前的發(fā)展。多攝像頭監(jiān)控包括兩種情況 一種是攝像頭視野之間沒有交疊區(qū)域，即單視角情形；另外一種是攝像頭視野之間有交疊區(qū) 域，即多視角情形。在多視角情形下的運動目標(biāo)的檢測、定位與對應(yīng)技術(shù)是多攝像頭視頻監(jiān)控系統(tǒng)中的關(guān)鍵 技術(shù)，是后續(xù)進行目標(biāo)跟蹤、行為分析和目標(biāo)識別等高級處理的基礎(chǔ)。當(dāng)目標(biāo)孤立的情況下， 檢測、定位和對應(yīng)目標(biāo)是比較簡單的問題，現(xiàn)有的方法已經(jīng)能夠較好的處理。當(dāng)存在多個運 動目標(biāo)的情況下，檢測、定位和對應(yīng)目標(biāo)問題則變得復(fù)雜起來。主要存在下面兩個方面的問 題 一是，多個目標(biāo)之間相互影響而產(chǎn)生遮擋，使得準(zhǔn)確檢測、定位和對應(yīng)目標(biāo)變得非常困 難；二是，多個視角多個目標(biāo)計算復(fù)雜度高。在現(xiàn)有的多視角監(jiān)控系統(tǒng)中，檢測、定位和對應(yīng)問題主要可以歸結(jié)為兩類基于圖像空 間的方法和基于融合空間的方法?；趫D像空間的方法是先在各視魚圖像中檢測出目標(biāo)， 分別處理各個視角的圖像，然后對各視角間所檢測出來的目標(biāo)信息進行匹配以定位和對應(yīng)目 標(biāo)，這是目前經(jīng)常使用的方法；基于融合空間的方法是先在各視角圖像中檢測出目標(biāo)，然 后將各個視角的圖像信息融合起來，形成融合空間，在融合空間中檢測目標(biāo)，并且實現(xiàn)目標(biāo) 的定位和對應(yīng)?；趫D像空間的方法的局限是遮擋處理能力差。由于先要在圖像空間檢測目標(biāo)，檢測 結(jié)果是后面目標(biāo)對應(yīng)和定位的基礎(chǔ)，而檢測結(jié)果受遮擋影響很大，甚至可能錯誤，很難保證 后面處理的正確性?；谌诤峡臻g的方法是近年來剛剛出現(xiàn)的，典型的方法為FPPF(Fleuret F, Lengagne R, and Fua P. Fixed point probability field for complex occlusiop handling. In: //7te/7 a"o/ a7 Co"/ere/ ce Co/吸〃ter Kz'w'o"， 2005.)，先聯(lián)合各個視角的前景圖像 計算目標(biāo)在空間俯視場的存在可能性，在俯視場中檢測出目標(biāo)，然后再進行各視角目標(biāo)的對
應(yīng)和檢測?；谌诤峡臻g的方法不直接在各視角的二維圖像上提取目標(biāo)，而是在信息融合后 的空間處理，融合的信息考慮了目標(biāo)間因遮擋而產(chǎn)生的影響，因此這類方法處理遮擋能力更 強，往往獲得更好的處理結(jié)果，但存在的不足是計算復(fù)雜度很高，無法滿足實時要求。 綜上，現(xiàn)有的方法處理遮擋能力弱，計算復(fù)雜度高，很難滿足視頻監(jiān)控的要求。發(fā)明內(nèi)容為了增強遮擋處理能力，降低計算復(fù)雜度，本發(fā)明提供了一種基于三維重建的多視角運 動目標(biāo)檢測、定位與對應(yīng)方法。所述技術(shù)方案如下首先獲得各視角的視頻，提取各視角的運動目標(biāo)前景；聯(lián)合各視角 的前景信息，在空間中快速的進行目標(biāo)的三維重建；由于各視角僅僅提供前景信息，因此三 維重建的結(jié)果中將僅有運動目標(biāo)，而沒有背景信息，在垂直方向地面投影，在目標(biāo)所在的位 置會形成一個凸起的峰，通過檢測峰的位置可以得到目標(biāo)，同時也對目標(biāo)進行了定位；由于 各視角的標(biāo)定信息已知，因此，根據(jù)在空間所得到的目標(biāo)位置向各個視角投影即可在各視角 將目標(biāo)檢測到，同一位置向各視角的投影也表明了其對應(yīng)關(guān)系。具體步驟包括-對多個視角的視頻圖像進行前景檢測，得到二值前景圖像；根據(jù)所述二值前景圖像，建立空間場模型，在所述空間場模型中進行三維重建，得到所 述運動目標(biāo)的三維重建結(jié)果；對所述三維重建結(jié)果進行分析，在空間場中檢測并定位所述運動目標(biāo)，得到運動目標(biāo)的 空間位置；根據(jù)所述運動目標(biāo)的空間位置，向所述多個視角分別投影，確定所述多個視角間所述運 動目標(biāo)的對應(yīng)關(guān)系。在空間場模型中進行三維重建具體包括將所述空間場模型劃分成體積大小相等的體像素，在所述空間場模型中進行三維重建， 所述體像素是正方體或圓球體；在對三維重建結(jié)果進行分析，在空間場中檢測并定位所述運動目標(biāo)的具體步驟包括-a. 將所述三維重建結(jié)果沿垂直方向投影，并按垂直方向累加得到二維投影圖像平面場；b. 對所述二維投影圖像平面場進行平滑處理； C.對所述平滑處理后的二維投影圖像平面場進行二值化處理； d.對所述二值化處理后的二維投影圖像平面場進行偽目標(biāo)去除處理；e:對所述偽目標(biāo)去除后的二維投影圖像平面場進行連通域分析處理，得到連通域，所述 連通域的數(shù)量與所述運動目標(biāo)的數(shù)量相等， 一個連通域確定一個運動目標(biāo)；f:在所述連通域?qū)?yīng)的二維投影圖像平面場的區(qū)域中尋找最大值，所述最大值所在位置 為所述運動目標(biāo)的空間位置。本發(fā)明提供的技術(shù)方案的有益效果是一、處理遮擋能力強，這是由于各種處理是在融合各視角信息實施三維重建后進行的； 二、運算速度快，這是由于快速的三維重建算法和定位與檢測屬于同一過程，并根據(jù)定位結(jié) 果利用投影參數(shù)直接得到各視角對應(yīng)關(guān)系。本發(fā)明的多視角運動目標(biāo)檢測、定位與對應(yīng)方法 能夠滿足視頻監(jiān)控的實時要求。


圖l是本發(fā)明實施例提供的多視角運動目標(biāo)檢測、定位與對應(yīng)方法的適用條件示意圖； 圖2是本發(fā)明實施例提供的多視角運動目標(biāo)檢測、定位與對應(yīng)方法的空間場示意圖； .圖3是本發(fā)明實施例提供的多視角運動目標(biāo)檢測、定位與對應(yīng)方法的簡化流程圖； 圖4是本發(fā)明實施例提供的多視角運動目標(biāo)檢測、定位與對應(yīng)方法的詳細(xì)流程圖； 圖5是本發(fā)明實施例提供的對三維重建結(jié)果進行分析，在空間場中檢測并定位運動目標(biāo) 的流程圖。 一具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進 一步地詳細(xì)描述。如圖1所示多個攝像頭(至少兩個)對一塊區(qū)域進行監(jiān)視。所有攝像頭的投影參數(shù)(包 括焦距、圖像坐標(biāo)系兩軸夾角、主點在圖像坐標(biāo)系交點的位置、攝像機坐標(biāo)系在圖像坐標(biāo)系 的度量值等內(nèi)參數(shù)和攝像機平移和旋轉(zhuǎn)等外參數(shù))已經(jīng)標(biāo)定。本發(fā)明實施例提出一種基于三維重建的多視角運動目標(biāo)檢測、定位和對應(yīng)方法，具體步 驟如下步驟101:對包含多個視角的視頻圖像進行前景檢測，得到運動目標(biāo)的二值前景圖像。 這一部分的作用就是獲取各個視角的運動前景圖像?？梢圆捎枚喾N前景檢測方法，本實施采 用的是混合高斯模型。如圖2所示以包含運動目標(biāo)所在底面區(qū)域為底部，能夠包含運動目標(biāo)的空間區(qū)域建立目標(biāo)空間場，簡稱空間場，用符號Q表示，Q的高度要高于場景中的運動目標(biāo)的高度。步驟102:將步驟101中得到的二值前景圖象信息，建立空間場模型，并在空間場模型 中進行三維重建，得到運動目標(biāo)的三維重建結(jié)果。具體過程為，將空間場劃分成體積大小相等的體像素，用符號v表示體像素。對每個體 像素而言，如果其包含運動目標(biāo)(或者包含部分目標(biāo))，則體像素存在，反之則體像素不存在， 因此三維重建過程可以轉(zhuǎn)化為判斷每個體像素存在與否的過程。空間場中所有體像素的重構(gòu) 結(jié)果即是運動目標(biāo)在空間的三維重建結(jié)果。體像素劃分的尺度較現(xiàn)有技術(shù)中較大，這樣可以 大大提高計算速度。對于每個體像素v，體像素存在的概率表示為，其中，￡v(/)e{0,l}，為一隨機變量，&(/) = 1表示空間場中位置/的體像素存在，￡v(/) = 0 表示空間場中位置/的體像素不存在，/ = {/1,/2,...,&}為圖像數(shù)據(jù)的集合，/,為第A個攝像頭 所獲取的圖像，7V為攝像頭的數(shù)量。假設(shè)體像素之間相互獨立，按照如下式子計算; (五力')=1|/)其中/0M(M()表示空間場中位置/的體像素在攝像頭A中的投影區(qū)域中的前景圖象的像素數(shù)量，"""(v^)表示空間場中位置/的體像素在攝像頭A:中的投影區(qū)域中的全部像素數(shù)量， 包括被劃分為前景和背景的全部像素點。體像素由正方體構(gòu)成，也可以由圓球體構(gòu)成，通過 圓球體構(gòu)成的體像素在各視角的投影都是一個圓，計算比較方便。對于計算出來的體像素存在概率，根據(jù)閼值《判斷體像素是否存在，即 ; (AO')-llI，0)〉《，體像素v存在 e&e體像素v不存在閾值《根據(jù)投影參數(shù)、體像素大小和目標(biāo)大小等參數(shù)進行調(diào)整后確定。這樣，根據(jù)空間場中的每個體像素存在與否，就得到了空間場中運動目標(biāo)的三維重建結(jié) 果?？臻g場和基于空間場中的三維重建過程稱之為為空間場模型。步驟103:通過空間場中目標(biāo)的三維重建結(jié)果進行分析，在空間場中檢測并定位出運動 目標(biāo)，從而獲得運動目標(biāo)的空間位置。步驟104:根據(jù)步驟103得到的運動目標(biāo)的空間位置，直接向各視角投影，確定各視角 間運動目標(biāo)的對應(yīng)關(guān)系。由于已知各攝像頭的投影參數(shù)，同一位置向各視角投影也表明了各
視角目標(biāo)的對應(yīng)關(guān)系，從而實現(xiàn)視角間的運動目標(biāo)的對應(yīng)。在上述步驟103中，利用現(xiàn)有方法直接分析是很耗時的，算法的復(fù)雜度很大。本發(fā)明提供一種改進的方法來進行運動目標(biāo)檢測和定位。具體方法如下目標(biāo)在大地平面上，每個目標(biāo)的底部都是與地面相接觸，其主體軀干將垂直方向向上延 伸。將空間場向地面進行投影，并累加投影結(jié)果，則存在目標(biāo)的位置會形成突起的峰。對于 空間場模型投影得到的平面場，平面場中每個位置有目標(biāo)存在的概率為p(五n(/)-11/)，按照如下方式計算p(^(/)"l/)，<formula>formula see original document page 7</formula>owz(/)表示空間場在底部每個位置的累加值，累加的方式是，垂直方向累加，如果底部 位置/的垂直方向上有A個體像素存在，BUcww(/) = A。 C為歸一化因子。 如圖5所示，分析檢測并得到運動目標(biāo)空間位置的具體步驟包括步驟301:將步驟102得到的三維重建結(jié)果沿垂直方向投影，得到二維投影圖像平面場； 步驟302:對平面場進行平滑處理，可以采用各種平滑方法，如高斯平滑、中值平滑、 均值平滑； ■步驟303:根據(jù)事先選定的閾值;^，對平面場進行二值化處理，大于;^置1，小于;^則 置0，得到二值化平面場，并保留原來平面場，闞值/^通常都取得較??；步驟304:采用數(shù)學(xué)形態(tài)學(xué)算子對二值化平面場進行偽目標(biāo)去除處理，目的是去除平面 場中包含較少點的區(qū)域，這些點通常都是偽目標(biāo)，采用的形態(tài)學(xué)算子是5X5的矩形，執(zhí)行的 操作是先執(zhí)行腐蝕操作，然后執(zhí)行膨脹操作；步驟305:對二值化平面場進行連通域分析，采用的是文獻(Sonka et al. /mage Pracess/ng' /\na/ys/s, anc(/WacWne V7s/'on. Thomson Publishing Press, 2002， pp559~599.) 的方法，形成多個連通區(qū)域，連通域的數(shù)量與運動目標(biāo)的數(shù)量相等，每個連通域視為檢測到 一個目標(biāo)，即每個連通域確定一個目標(biāo)；步驟306:在得到的連通域?qū)?yīng)的原來平面場區(qū)域內(nèi)尋找連通域內(nèi)最大值，將最大值所 在位置認(rèn)定為當(dāng)前連通域?qū)?yīng)的運動目標(biāo)位置。本發(fā)明實施例由于運動目標(biāo)檢測、定位和對應(yīng)的處理是在三維重建之后進行的，運動目 標(biāo)在一個視角中發(fā)生遮擋情況，在另一個視角中可能不會遮擋，或者遮擋的部分不相同，各 視角之間的信息具有互補性，將多個視角的信息采用三維重建的方法融合起來，可以大大降 低甚至消除遮擋的影響，這保證了本發(fā)明的方法具有較強的遮擋處理能力。
本發(fā)明實施例提出的三維重建——空間場模型，僅聯(lián)合各視角的二值前景信息實施重建， 同時體像素劃分的尺度比較大，減少了需要重建的體像素個數(shù)，能夠快速的進行三維重建。 運動目標(biāo)的檢測與空間定位過程實際上是同一過程，而運動目標(biāo)對應(yīng)過程，也由于事先知道 各視角投影參數(shù)，通過直接投影即可以得到。此外，這些過程基本不需要多少計算量，也保 證了方法的處理速度快的特點。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之 內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1、 一種多視角運動目標(biāo)檢測、定位與對應(yīng)方法，其特征在于，具體包括以下步驟 步驟l:對多個視角的視頻圖像進行前景檢測，得到二值前景圖像；步驟2:根據(jù)所述二值前景圖像，建立空間場模型，在所述空間場模型中進行三維重建， 得到運動目標(biāo)的三維重建結(jié)果；步驟3:對所述三維重建結(jié)果進行分析，在空間場中檢測并定位所述運動目標(biāo)，得到所 述運動目標(biāo)的空間位置；步驟4:根據(jù)所述運動目標(biāo)的空間位置，向所述多個視角分別投影，確定所述多個視角 間所述運動目標(biāo)的對應(yīng)關(guān)系。
2、 根據(jù)權(quán)利要求l所述的多視角運動目標(biāo)檢測、定位與對應(yīng)方法，其特征在于，所述步 驟2中在所述空間場模型中進行三維重建包括將所述空間場模型劃分成體積大小相等的體像素，在所述空間場模型中進行三維重建。
3、 根據(jù)權(quán)利要求2所述的多視角運動目標(biāo)檢測、定位與對應(yīng)方法，其特征在于，所述體 像素是正方體或圓球體。
4、 根據(jù)權(quán)利要求l所述的多視角運動目標(biāo)檢測、定位與對應(yīng)方法，其特征在于，所述步 驟3中具體包括a:將所述三維重建結(jié)果沿垂直方向投影，并按垂直方向累加得到二維投影圖像平面場；b:對所述二維投影圖像平面場進行平滑處理；C:對所述平滑處理后的二維投影圖像平面場進行二值化處理；d:對所述二值化處理后的二維投影圖像平面場進行偽目標(biāo)去除處理；e:對所述偽目標(biāo)去除后的二維投影圖像平面場進行連通域分析處理，得到連通域，所述 連通域的數(shù)量與所述運動目標(biāo)的數(shù)量相等， 一個連通域確定一個運動目標(biāo)；f:在所述連通域?qū)?yīng)的二維投影圖像平面場的區(qū)域中尋找最大值，所述最大值所在位置 為所述運動目標(biāo)的空間位置。
全文摘要
本發(fā)明公開了一種多視角運動目標(biāo)檢測、定位與對應(yīng)方法，屬于視頻監(jiān)控技術(shù)領(lǐng)域。所述方法包括如下步驟對多個視角的視頻圖像進行前景檢測，得到二值前景圖像；根據(jù)所述二值前景圖像，建立空間場模型，在所述空間場模型中進行三維重建，得到運動目標(biāo)的三維重建結(jié)果；對所述三維重建結(jié)果進行分析，在空間場中檢測并定位運動目標(biāo)，得到運動目標(biāo)的空間位置；根據(jù)所述運動目標(biāo)的空間位置，向各視角投影，確定多個視角間運動目標(biāo)的對應(yīng)關(guān)系。本發(fā)明具有處理遮擋能力強、運算速度快等特點，能夠滿足視頻監(jiān)控的實時要求。
文檔編號G01C11/36GK101144716SQ20071017586
公開日2008年3月19日 申請日期2007年10月15日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者丁曉青, 吳佑壽, 劍 徐, 王生進 申請人:清華大學(xué)