專利名稱：監(jiān)控中多路視頻信息融合處理與顯示的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻監(jiān)控和視頻圖像分析領域，特別是涉及到一種監(jiān)控中多路 視頻信息融合處理與顯示方法和系統(tǒng)。
背景技術：
目前在我國以及其它國家，視頻監(jiān)控技術目前已被普遍使用在交通場景 (如道路、鐵路等)、軍事設施、重點安防場所(如重要國家機關、銀行等)、 大型公共場所(如商場、火車站、機場、醫(yī)院、學校等)等各種場所。傳統(tǒng)的 視頻監(jiān)控系統(tǒng)基本上都是由監(jiān)控攝像機或監(jiān)控攝像機陣列及視頻錄像設備構 成，其主要作用僅僅是對監(jiān)控區(qū)域進行視頻錄像以供日后分析時使用。這種系 統(tǒng)的重要缺點在于其無法真正實現對監(jiān)控場景的實時分析和監(jiān)控，當安全威脅 升級時，這類系統(tǒng)將無法滿足人們對安全的需求。因此，人們在傳統(tǒng)的視頻監(jiān) 控基礎上發(fā)展了智能視頻監(jiān)控技術。智能視頻監(jiān)控技術指的是在傳統(tǒng)視頻監(jiān)控的基礎上，使用計算機或其它設 備(如嵌入式設備)實現對監(jiān)控視頻的自動分析和理解，對視頻中的物體進行 檢測、跟蹤、分類、識別，以及對檢測跟蹤的目標的行為和事件作出判斷。作 為一種超越傳統(tǒng)視頻監(jiān)控方法的新興技術，智能視頻監(jiān)控技術將拓展視頻監(jiān)控 的應用領域，在日常生活中有著廣闊的應用場景。目前人們已經開發(fā)出運動目標檢測和跟蹤(提取其運動軌跡)、目標分類 (如交通場景中的人、車分類)、異常行為檢測(如翻墻行為檢測、禁區(qū)報警 等)、車流量或人流量統(tǒng)計等各種具體的智能視頻監(jiān)控技術及應用。但在以往 的視頻監(jiān)控系統(tǒng)中，各路攝像機的視頻信息被獨立處理，并將監(jiān)控信息(如運 動軌跡，目標類型等)顯示在各攝像機單獨的場景中，這種方式只能反映所在 局部區(qū)域的情況，不能獲取全景的情況，依然在多種方面無法滿足需求。發(fā)明內容本發(fā)明的所要解決的問題是提供一種監(jiān)控中多路視頻信息融合處理與顯 示方法和系統(tǒng)，其中各路視頻分析子系統(tǒng)，對其各路視頻圖像數據中的目標進 行自動分析，而監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)對各路分析結果進行 信息融合和過濾，并匯總顯示到全局電子地圖，使得人們可以更直觀的了解到 整個監(jiān)控區(qū)域的全局狀況。為實現本發(fā)明目的而提供的一種監(jiān)控中多路視頻信息融合處理與顯示方 法，包括若干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制，各視頻分析 子系統(tǒng)分別有其視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，其處理過 程包括下列步驟步驟A，在初始化時根據用戶為各路視頻指定的標定點或自動定標方法確 定每一路視頻的局部圖像坐標系到全局地圖坐標系的坐標變換關系；步驟B，根據傳送過來的視頻圖像的像素信息，檢測出該視頻圖像中各像 素在場景背景和運動目標間的歸屬情況，然后從撿測結果中提取出各運動目標 的位置和形狀信息；步驟C，根據各分視野的視頻圖像中的運動目標信息，對所述運動目標進 行跟蹤并更新局部跟蹤目標和全局跟蹤目標，并通過全局信息融合機制實現目 標在不同分視野間的傳遞，即當目標從一個分視野移動到另一個分視野中時實 現對它的連續(xù)跟蹤；步驟D，根據多路視頻中更新后的局部跟蹤目標，以及更新后的全局跟蹤 目標，將在各分視野中檢測到的并正在跟蹤的目標的位置信息從局部圖像坐標 系變換到全局地圖坐標系中，根據需求對目標進行過濾后，在全局電子地圖上 標識出來。所述步驟B可以包括下列步驟步驟Bl，當有一幀視頻圖像數據到達時，使用基于像素級分析的背景建 模和前景檢測算法，檢測該幀圖像中的每一個像素是屬于運動目標還是背景， 得到以檢測結果矩陣的形式存儲的檢測結果；步驟B2，對檢測結果矩陣進行形態(tài)學濾波；步驟B3，通過從檢測結果矩陣中提取八連通分量及邊緣提取的方法得到 運動目標的位置和形狀信息，并將這些信息保存起來以便可以隨時查詢。所述步驟B3之后還可以包括下列步驟步驟B4，根據運動目標的信息對局部視野視頻的圖像數據進行更新，將 運動目標疊加顯示到局部視野的視頻上去。所述步驟B1中，在一幀視頻圖像數據到達時，可以先進行下列處理步驟 對每一幀圖像進行降采樣-，并在步驟B2中，對檢測結果進行形態(tài)學濾波后，根據降采樣率對所有的計算結果中與坐標相關的數據進行插值重建。所述步驟C可以包括下列步驟步驟C1，以檢測出的一路視頻中的每一個目標作為輸入，在該路視頻的 局部運動目標列表中，査找與當前局部跟蹤目標列表中被跟蹤的局部跟蹤目標 對應的匹配度最大且大于設定閾值的運動目標；步驟C2，若找到，則認為該局部運動目標正在該路視頻中被跟蹤，更新 該局部運動目標在局部跟蹤目標列表和全局跟蹤目標列表中的對應的局部跟 蹤目標信息和全局跟蹤目標信息；步驟C3，若沒找到，則進一步在全局跟蹤目標列表中尋找與其匹配度大 于特定閥值的最佳匹配的運動目標；步驟C4，若找到，則認為該運動目標是一個來自其它視頻的已被跟蹤過 的運動目標，此時將該運動目標添加到當前路目標單元的局部跟蹤目標列表中 從而實現目標在不同分視野間的傳遞，更新該運動目標在全局跟蹤目標列表中 對應的信息；步驟C5，若還是沒有找到，則認為該運動目標是一個第一次進入整個監(jiān) 控區(qū)域的目標，此時則同時將該運動目標添加到當前路局部跟蹤目標列表和全 局跟蹤目標列表中去。所述步驟C5之后還可以包括下列步驟步驟C6，根據各分視野的視頻圖像的圖素信息和從中檢測到的運動目標 信息，結合局部跟蹤目標列表和全局跟蹤目標列表中的目標軌跡信息，提取并 保存各種高層目標信息。所述步驟C6之后還可以包括以下步驟若發(fā)現局部跟蹤目標列表中一目標超過設定時間在任何一路視頻中都沒 有出現，則認為該目標已移出了該路攝像機的視場范圍，并將該目標從局部跟蹤目標列表中刪除；若發(fā)現全局跟蹤目標列表中一運動目標超過設定時間在任何一路視頻中 都沒有出現，則認為該目標已經移出監(jiān)控區(qū)域或徹底丟失，并將該目標從全局 跟蹤目標列表中刪除。所述歩驟D可以包括下列步驟步驟Dl，將在各分視野中檢測到的并正在跟蹤的的目標的位置信息從局 部圖像坐標系變換到全局地圖坐標系中；歩驟D2，從整個監(jiān)控區(qū)域中檢測到的并正在跟蹤的目標中選擇一組符合 要求的目標，即實現對目標的過濾；步驟D3，將步驟D2中選擇出的目標與根據需求選擇出的關于該目標的 信息， 一起在全局電子地圖的二維平面圖顯示出來。所述步驟D中，還包括下列步驟在全局電子地圖中，根據目標的性質和預設需求，選擇性地突出顯示危險 或可能危險的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地突出顯示感興 趣的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地顯示目標的相 關信息；或者在全局電子地圖中，選擇不同的顏色或圖標顯示不同類型的目標。 所述步驟C中，還包括下列步驟根據目標的顏色、形狀、大小、類別、運動方向、運動速度進行關聯(lián)跟蹤；或者根據全局融合機制，實現目標在不同分視野間的運動信息傳遞。 所述坐標變換是通過投影變換方法實現的。為實現本發(fā)明目的還提供一種監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)， 包括若干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制，各視頻分析子系 統(tǒng)分別有其視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，還包括至少一 個檢測單元，至少一個跟蹤單元，以及映射單元，其中所述檢測單元，用于根據傳送過來的視頻圖像的像素信息，檢測出該視頻 圖像中各像素在場景背景和運動目標間的歸屬情況，然后從檢測結果矩陣中檢測出運動目標的位置和形狀；所述跟蹤單元，用于根據多路視頻圖像中檢測到的運動目標的信息，跟蹤 并更新局部跟蹤目標，以及全局跟蹤目標；所述映射單元，用于根據多路視頻中更新后的各個局部跟蹤目標，以及更 新后各個全局跟蹤目標，將局部跟蹤目標的位置從局部圖像坐標系變換到全局 地圖坐標系中，得到它在全局電子地圖坐標系中的位置。所述的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)，還可以包括存儲單元， 用于存儲局部跟蹤目標列表中的全部局部跟蹤目標的信息，全局跟蹤目標列表 中的全局跟蹤目標的信息，以及每一路傳送過來的視頻圖像檢測結果及運動目 標的信息。所述的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)，還可以包括局部顯示單 元和全局顯示單元，其中所述局部顯示單元，用于根據運動目標的信息對局部電子地圖的圖像數據 進行更新，將運動目標疊加顯示到局部分視野的視頻上去；所述全局顯示單元，用于將過濾后的全局跟蹤目標及其指定信息在全局電 子地圖中的二維平面圖中顯示出來。所述的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)還可以包括至少一個視 頻源。所述運動目標的信息包括圖像信息中的運動目標的像素信息，以及運動目 標的位置和形狀信息。本發(fā)明的有益效果是本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法 和系統(tǒng)，實現將從分布在大范圍中不同區(qū)域的攝像機獲取的監(jiān)控信息進行融合 匯總并及時顯示到二維全景監(jiān)控地圖上的功能，其用傳輸視頻監(jiān)控跟蹤結果的 方式有效地取得高壓縮比的監(jiān)控視頻數據傳輸，并提供從局部到全局的智能化 視頻監(jiān)控信息融合，為智能化安防監(jiān)控的指揮調度提供了一個直觀有效顯示界 面，進一步提升了智能視頻監(jiān)控系統(tǒng)的能力與整體指揮能力。


圖1為本發(fā)明監(jiān)控中多路視頻信息融合處理與顯示方法流程圖；圖2為本發(fā)明實施例局部圖像坐標系到全局地圖坐標系的投影變換示意圖；圖3為圖1中步驟S200具體過程流程圖； 圖4為圖1中步驟S300具體過程流程圖；圖5為本發(fā)明監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)結構示意圖。
具體實施方式
為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實 施例，對本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法和系統(tǒng)進行進一歩 詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用 于限定本發(fā)明。本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法和系統(tǒng)，通過將從各監(jiān) 控場景獲得的智能視頻監(jiān)控信息匯總到一個全局視野(監(jiān)控區(qū)域平面地圖)中 的方法和系統(tǒng)，使得人們可以更直觀的了解到整個監(jiān)控區(qū)域的全局狀況。下面詳細描述本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法，如圖1 所示，包括若干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制，各視頻分 析子系統(tǒng)分別有其視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，其處理過程包括下列步驟步驟S100，在初始化時，用手工或自動的方式根據用戶為各路視頻指定 的標定點或自動定標方法確定每一路視頻的局部圖像坐標系到全局地圖坐標 系的坐標變換關系。在本發(fā)明實施例中，使用從局部圖像坐標系到全局地圖坐標系的變換方法為投影變換方法，其計算公式見式(1)，為投影變換計算公式。其中，x、 y 是局部圖像坐標系中的坐標，X、 Y是變換后的全局地圖坐標系中的坐標，a h 是8個變換參數。要確定這樣一組變換參數，需要用戶在局部圖像坐標系和全 局地圖坐標系中各選擇四個相互對應的標定點(xl, yl) (x4， y4)和(Xl， Y1)~(X4: Y4)代入式(1)，通過解該方程組得到參數a h。<formula>formula see original document page 12</formula>式(1)但需要特別說明的是，在本發(fā)明中，式(1)中投影變換并不是唯一可用 的變換關系方法。本領域的普通技術人員可以根據具體情況，進行從一個二維坐標系到另一個二維坐標系的變換(包括線性別和非線性的)，其可以用式(2) 表示。其中，X、 Y、 x、 y的意義與式(1)相同，函數F表示具體變換關系， 其表達式、參數個數可以根據具體情況確定。<formula>formula see original document page 12</formula>式(2)具體地，所述的每一路視頻的局部圖像坐標系到全局地圖坐標系的坐標變 換關系，可以利用透視投影法或者仿射變換法實現。如圖2所示，是本發(fā)明實施例中使用的坐標變換方法——投影變換法的示 意圖，其將每一路視頻的局部圖像坐標系變換到全局地圖坐標系中。其中，考慮到監(jiān)控區(qū)域一般都是一塊平面區(qū)域，從局部圖像坐標系到全局 地圖坐標系的變換問題可以簡化為視角變換問題，即*.對同一塊平面區(qū)域，在 不同的視角下(如監(jiān)控攝像機的視角和垂直向下的地圖視角)成像后，通過一 個像平面上某一點的坐標計算出該點在另一個像平面上對應的坐標值。透視變換是解決這種問題常用的一個數學方法，該變換的特點有兩個1) 一個像平面上的直線變換到另一個像平面上仍是直線-，2) 與仿射變換(另一種常用的坐標變換方法)不同，投影變換是一種非線性變換，一個像平面上線段的比例分點并不一定是另一個像平面上對應線段 的同比例分點——這一條特性較仿射變換的線性而言更符合人們的實際經驗。 較佳地，在本發(fā)明中，用戶通過在監(jiān)控地圖上選取一個四邊形區(qū)域(如一 段矩形的路面區(qū)域)，并在監(jiān)控視頻中選取其對應的四邊形區(qū)域的方法確定一組從該路視頻到監(jiān)控地圖的投影變換參數。步驟S200，各路視頻分析子系統(tǒng)，根據傳送過來的視頻圖像的像素信息， 檢測出該視頻圖像中各像素在場景背景和運動目標間的歸屬情況，然后從檢測 結果中提取出各運動目標的位置和形狀信息。運動目標的信息，包括了圖像信息中的運動目標的像素信息(包括顏色、 大小、形狀等)，以及運動目標的位置信息。通過檢測出視頻圖像中的運動目 標，以及該運動目標的位置情況，就可以對局部視頻的圖像數據進行更新。一般地，視頻監(jiān)控過程中，由多路視頻同時進行監(jiān)控，每次接收一路視頻 的一幀圖像。根據傳輸過來的當前幀視頻圖像數據的像素信息，檢測其中的每 一個像素是屬于運動目標還是背景，以檢測結果矩陣的形式存儲檢測結果；然 后從檢測結果矩陣中進一步檢測出各運動目標在圖像中的位置和形狀，用運動 目標外接矩形形心的坐標表示運動目標的位置，保存到局部運動目標列表中， 并根據運動目標信息對當前幀圖像數據進行更新，以便可以將它們疊加顯示到 向用戶顯示的視頻圖像上去。如圖3所示，步驟S200具體包括如下步驟-步驟S210，當有一幀視頻圖像數據到達時，使用混合高斯模型或者其它 基于像素級分析的背景建模和前景檢測算法，檢測該幀圖像中的每一個像素是 屬于運動目標還是背景，得到以檢測結果矩陣的形式存儲的檢測結果；在本發(fā)明中，由于涉及到同時處理多路視頻，若直接檢測提取，則對資源 (這里主要指計算機資源)的消耗必然將數倍于單路處理的情況，進而使系統(tǒng) 難以達到實時。因此，考慮到在本發(fā)明中只對運動目標的位置、大小和大致的形狀感興趣， 而并不要求檢測出運動目標的精確輪廓，因此，在通過混合高斯模型進行背景 建模和運動目標檢測前，首先對輸入的圖像進行降采樣，即每一幀圖像在被處 理前首先被進行了一次降采樣，在完成處理后再通過插值的方法獲得圖像中每 一個像素的實際歸屬情況，識別其是屬于運動目標還是背景。經過這一設置后，運動目標檢測的性能沒有發(fā)生可察覺的下降，但效率卻 大為提高，從而使得整個系統(tǒng)可以滿足實時處理的要求。每當有一幀視頻圖像數據到達時，使用混合高斯模型實現背景建模和運動 目標檢測，檢測降采樣后的該幀圖像中的每一個像素是屬于運動目標還是背學根據當前的背景模型狀態(tài)從降采樣后的當前視頻圖像數據中中檢測識別 出哪些像素屬于運動目標、哪些像素屬于相對靜止不變的背景等像素信息。在本實施例中，在目標檢測方面，采用混合高斯模型(Gaussian Mixture Model, GMM)算法進行檢測識別?；旌细咚鼓Ｐ退惴ㄊ窃谥悄芤曨l監(jiān)控領域使用十分廣泛的背景建模和運 動目標檢測方法，對該方法的詳細描述可參見《Adaptive background mixture models for real-time tracking》 (Chris Stauffer、 W.E.L Grimson著)。其是一禾中 實時處理算法， 一般而言，是對視頻圖像的每一個象素點建立混合的高斯模型， 每增加一幀圖像，該模型動態(tài)更新，同時，當新增加的象素點值(灰度值)在 高斯均值的一定域值范圍內時認為是運動目標，否則認為是背景。步驟S220，對檢測結果矩陣進行形態(tài)學濾波，并根據步驟S210中的降采 樣率對所有的計算結果中與坐標相關的數據進行插值重建；所述的與坐標相關的數據可以為目標位置、目標大小、目標形狀等數據。同時，為抑制由于非高斯分布圖像噪聲帶來的誤檢(主要表現為在實際上 沒有運行目標的圖像區(qū)域有像素被檢測成屬于運動目標)，該單元在從檢測結 果矩陣(即存儲圖像中每一個像素歸屬情況的矩陣)中提取運動目標位置信息 之前首先對它進行了 一次形態(tài)學濾波。形態(tài)學濾波方法屬于數字圖像處理領域的基本算法，對該方法的詳細描述 見參考文獻《數字圖像處理》，Rafael C.Gonzalez等著阮秋琦等譯。因此， 在本發(fā)明中不再一一詳細描述。檢測結果矩陣，是存儲圖像中每一個像素歸屬情況的矩陣。如果輸入的原 始視頻尺寸為M + N像素，步驟S210中的降采樣率為d，則這里的矩陣是一 個M/c^N/d矩陣。該矩陣中各元素的值只有兩種可能，即l或0，若第R行、 第C列處的元素為1，表示原視頻幀中第R^d行 第(R+iyM-l行、第C^d列 第(C+lfd-l這一小塊正方形區(qū)域中的像素屬于運動目標，反之則為背景。步驟S230，通過從根據步驟S210中的降采樣率插值重建后的檢測結果矩 陣中提取八連通分量及邊緣提取的方法得到運動目標的位置和形狀信息，并將 這些信息保存起來以便可以隨時查詢。同樣地，八連通分量方法屬于數字圖像處理領域的基本算法，對該方法的詳細描述見參考文獻《數字圖像處理》，Rafael C.Gonzalez等著阮秋琦等譯。 因此，在本發(fā)明中不再一一詳細描述。利用混合高斯模型方法能夠用來檢測原始視頻幀中各像素的歸屬狀態(tài)(即 屬于運動目標還是背景)，其直接輸出結果為檢測結果矩陣。再根據檢測結果 矩陣，提取八連通分量的結果，得到輸入的視頻幀中所有運動目標的位置，即 用運動目標外接矩形形心(在局部圖像坐標系中)的坐標表示運動目標的位置。 同時，也可以提取到其它的目標信息，包括運動目標的位置、大小、顏色直方 圖等信息。較佳地，為進一步抑制圖像噪聲的影響，本發(fā)明對運動目標尺寸設置了閥 值，只有面積大于該值的運動目標的信息才會被保存到局部運動目標列表中 去。較佳地，所述步驟S200還包括下列步驟步驟S240，根據運動目標的信息對局部視野視頻的圖像數據進行更新， 將運動目標疊加顯示到局部視野的視頻上去。在本發(fā)明實施例中，對相應的顯示圖像進行更新是通過直接修改傳入的視 頻幀緩沖區(qū)中的圖像數據實現的。在本發(fā)明實施例中，將視頻圖像數據顯示到 局部電子地圖的視頻圖像上，使用了由Microsoft DirectX (主要是DirectShow 和DirectDraw)提供的支持。其相關方法對本領域的技術人員而言是顯而易見 的，這里便不再一一贅述。步驟S300,所述全局電子地圖信息融合機制，根據各分視野的視頻圖像 中的運動目標信息，對它們進行跟蹤并更新局部跟蹤目標和全局跟蹤目標，并 通過全局信息融合機制實現目標在不同分視野間的傳遞，即當目標從一個分視 野移動到另一個分視野中時實現對它的連續(xù)跟蹤。在系統(tǒng)中存在多個實例，每一個實例對應于一路視頻。其中，每一路視頻還對應著一張局部跟蹤目標列表，其中存儲著所跟蹤的 全部局部跟蹤目標的信息。其中，目標的信息包括運動目標的視頻圖像的像素 信息(包括顏色、大小等)，以及運動目標的位置信息等。本發(fā)明中，根據傳 送來的多個視頻圖像的運動目標的信息，以該傳送來的多個視頻圖像的運動目 標的信息為跟蹤特征，跟蹤并更新局部跟蹤目標列表中的局部跟蹤目標的信 息。與此同時，整個視頻監(jiān)控系統(tǒng)還維護著一個全局跟蹤目標列表，其中存儲 的是用運動目標顏色直方圖表示的當前視頻監(jiān)控系統(tǒng)負責的整個監(jiān)控區(qū)域中 中正在跟蹤的所有目標。設置全局跟蹤目標列表，存儲用運動目標顏色直方圖表示的當前視頻監(jiān)控 系統(tǒng)在整個監(jiān)控區(qū)域中正在跟蹤的所有目標。為實現魯棒(Robust)的目標跟蹤，本發(fā)明實施例的跟蹤同時使用了目標 的位置信息和顏色信息作為跟蹤特征，前者用于每一路視頻內的局部目標跟 蹤；后者則是為了實現運動目標在多個視場中的傳遞，即當目標離開一個分視 野并進入另一個分視野時，可以實現對目標的連續(xù)跟蹤，從而達到對目標的全根據目標的顏色、形狀、大小、類另IJ、運動方向、運動速度進行關聯(lián)跟蹤； 或者根據全局融合機制，實現目標在不同分視野間的運動信息傳遞。本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法，在一路視頻內對運動 目標的跟蹤，多路視頻相互之間通過一套合作方法實現了運動目標跟蹤在多個 攝像機間的傳遞，實現全局運動目標的跟蹤。如圖4所示，所述步驟S300，具體包括如下步驟步驟S310，以檢測出的一路視頻中的每一個目標作為輸入，在該路視頻 的局部運動目標列表中，查找與當前局部跟蹤目標列表中被跟蹤的局部跟蹤目 標對應的匹配度最大且大于設定閾值的運動目標；如果在當前幀中共檢測到的N個運動目標中；而局部跟蹤目標列表中有 M個正在被跟蹤的局部跟蹤目標，則建立NfM矩陣。其中，該矩陣中第R 行、第C列處的元素存儲的是第R個運動目標的位置和第C個局部跟蹤目標 的位置的歐氏距離。完成對該矩陣中所有元素的計算后，逐一計算矩陣中所有 元素與同行、同列其它元素的關系，當發(fā)現第R行、第C列處的元素同時在 第R行和第C列的所有元素中最小、且該值小于一個預設的閾值時，認為第 R個運動目標和第C個局部跟蹤目標是同一個目標，此時就可以利用第R個 運動目標的位置和顏色對第C個局部跟蹤目標和相應的在全局跟蹤列表中的 信息進行更新。步驟S320，若找到，則認為該局部運動目標正在該路視頻中被跟蹤，更 新該局部運動目標在局部跟蹤目標列表和全局跟蹤目標列表中的對應的局部跟蹤目標信息和全局跟蹤目標信息， 步驟S330,若沒找到，則進一步在全局跟蹤目標列表中尋找與其匹配度大于特定閥值的最佳匹配的運動目標；如果在當前幀中檢測到的所有運動目標中，有N個是尚未在局部跟蹤目 標列表中找到相應局部跟蹤目標的運動目標；而全局跟蹤目標列表中有M個 正在被跟蹤的全局跟蹤目標，則建立N + M矩陣。其中，該矩陣中第R行、 第C列處的元素存儲的是第R個運動目標和第C個全局跟蹤目標顏色直方圖 的歐氏距離。完成對該矩陣中所有元素的計算后，逐一計算矩陣中所有元素與 同行、同列其它元素的關系，當發(fā)現第R行、第C列處的元素同時在第R行 和第C列的所有元素中最小、且該值小于一個預設的閾值時，認為第R個運 動目標和第C個全局跟蹤目標是同一個目標，此時利用第R個運動目標的信 息對第C個全局跟蹤目標進行更新，并添加新的局部跟蹤目標信息到當前路 視頻對應的局部跟蹤目標列表中。步驟S340，若找到，則認為該運動目標是一個來自其它視頻的已被跟蹤 過的運動目標，此時將該運動目標添加到當前路目標單元的局部跟蹤目標列表 中從而實現目標在不同分視野間的傳遞，更新該運動目標在全局跟蹤目標列表 中對應的信息；步驟S350，若還是沒有找到，則認為該運動目標是一個第一次進入整個 監(jiān)控區(qū)域的目標，此時則同時將該運動目標添加到當前路局部跟蹤目標列表和 全局跟蹤目標列表中去。步驟S360，根據各分視野的視頻圖像的圖素信息和從中檢測到的運動目 標信息，結合局部跟蹤目標列表和全局跟蹤目標列表中的目標軌跡信息，提取 并保存目標速度、目標類型等各種高層目標信息。較佳地，為防止誤跟蹤發(fā)生，若發(fā)現局部跟蹤目標列表中一目標超過設定 時間在任何一路視頻中都沒有出現，則認為該目標己移出了該路攝像機的視場 范圍，并將該目標從局部跟蹤目標列表中刪除；若發(fā)現全局跟蹤目標列表中某一運動目標超過一定時間在任何一路視頻 中都沒有出現，則認為該目標已經移出監(jiān)控區(qū)域或徹底丟失，并將該目標從全 局跟蹤目標列表中刪除。步驟S400，所述全局電子地圖信息融合機制，根據多路視頻中更新后的局部跟蹤目標，以及更新后的全局跟蹤目標，將在各分視野中檢測到的并正在 跟蹤的目標的位置信息從局部圖像坐標系變換到全局地圖坐標系中，根據需求 對目標進行過濾后，在全局電子地圖上標識出來。所述二維平面圖是整個監(jiān)控區(qū)域的全局電子地圖。所述步驟D中，在全局電子地圖中，根據目標的性質和預設需求，選擇 性地突出顯示危險或可能危險的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地突出顯示感興 趣的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地顯示目標的相 關信息；或者在全局電子地圖中，選擇不同的顏色或圖標顯示不同類型的目標。 所述步驟S400具體包括下列步驟步驟S410，將在各分視野中檢測到的并正在跟蹤的的目標的位置信息從 局部圖像坐標系變換到全局地圖坐標系中；步驟S420，從整個監(jiān)控區(qū)域中檢測到的并正在跟蹤的目標中選擇一組符 合要求的目標，即實現對目標的過濾；歩驟S430，將步驟S420中選擇出的目標與根據需求選擇出的關于該目標 的信息， 一起在全局電子地圖的二維平面圖顯示出來。在本發(fā)明實施例中，在全局電子地圖中將全局跟蹤目標的視頻圖像顯示出 來，與歩驟S250相同，也使用了由Microsoft DirectX (主要是DirectShow和 DirectDraw)提供的技術方法，因此，這里不再一一詳細復述。與本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法相對應，如圖5所 示，本發(fā)明還提供了一種監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)，該系統(tǒng)通 過包括若干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制。各子系統(tǒng)的視 頻分別有其各自的視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，還包括 多個檢測單元52，多個跟蹤單元53，存儲單元54和映射單元55，以及局部 顯示單元56和全局顯示單元57。所述檢測單元52，用于根據傳送過來的視頻圖像的像素信息，檢測出該 視頻圖像中各像素在場景背景和運動目標間的歸屬情況，然后從檢測結果矩陣 中檢測出運動目標的位置和形狀。所述跟蹤單元53，用于根據多路視頻圖像中檢測到的運動目標的信息， 跟蹤并更新存儲單元54中的局部跟蹤目標列表的局部跟蹤目標，以及存儲單元54中的全局跟蹤目標列表的全局跟蹤目標。所述存儲單元54，用于存儲局部跟蹤目標列表中的全部局部跟蹤目標中 的信息，全局跟蹤目標列表的全局跟蹤目標的信息，以及每一路傳送過來的視 頻圖像檢測結果及運動目標的信息。所述映射單元55，用于根據多路視頻中更新后的各個局部跟蹤目標，以 及更新后各個全局跟蹤目標，將局部跟蹤目標的位置從局部圖像坐標系變換到 全局地圖坐標系中，得到它在全局電子地圖坐標系中的位置。所述局部顯示單元56，用于根據運動目標的信息對局部電子地圖的圖像 數據進行更新，將運動目標疊加顯示到局部分視野的視頻上去。所述全局顯示單元57，用于將過濾后的全局跟蹤目標及其指定信息在全 局電子地圖中的二維平面圖中顯示出來。所述的運動目標的信息包括了圖像信息中的運動目標的像素信息(包括顏 色、大小等)，以及運動目標的位置信息。較佳地，為實現電子地圖處理，本發(fā)明的監(jiān)控中多路視頻信息融合處理與 顯示系統(tǒng)，還包括多個視頻源51。較佳地，本發(fā)明實施例使用四路分辨率為320X240像素實時采集的監(jiān)控 視頻或網絡上即時播放的流媒體作為視頻源。較佳地，系統(tǒng)采用多路實時采集到的普通監(jiān)控視頻作為視頻源。本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)，采用與監(jiān)控中多路視 頻信息融合處理與顯示方法相同的方法過程處理該多路視頻圖像，并實現運動 目標的檢測，跟蹤局部跟蹤目標和全局跟蹤目標。因此，在這里不再一一詳細 描述。通過結合附圖對本發(fā)明具體實施例的描述，本發(fā)明的其它方面及特征對本 領域的技術人員而言是顯而易見的。本發(fā)明的監(jiān)控中多路視頻信息融合處理與顯示方法和系統(tǒng)，為了獲取大范 圍場景的全局監(jiān)控信息，將監(jiān)控系統(tǒng)中多路的智能視頻監(jiān)控信息進行融合，并 輸出到一個視野中顯示。其實現將從分布在大范圍中不同區(qū)域的攝像機獲取的 監(jiān)控信息進行融合匯總并及時顯示到二維全景監(jiān)控地圖上的功能，其用傳輸視頻監(jiān)控跟蹤結果的方式有效地取得高壓縮比的監(jiān)控視頻數據傳輸，并提供從局 部到全局的智能化視頻監(jiān)控信息融合，為智能化安防監(jiān)控的指揮調度提供了一 個直觀有效顯示界面，進一步提升了智能視頻監(jiān)控系統(tǒng)的能力與整體指揮能 力。以上對本發(fā)明的具體實施例進行了描述和說明，這些實施例應被認為其只 是示例性的，并不用于對本發(fā)明進行限制，本發(fā)明應根據所附的權利要求進行 解釋。
權利要求
1. 一種監(jiān)控中多路視頻信息融合處理與顯示方法，其特征在于，包括若干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制，各視頻分析子系統(tǒng)分別有其視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，其處理過程包括下列步驟步驟A，在初始化時根據用戶為各路視頻指定的標定點或自動定標方法確定每一路視頻的局部圖像坐標系到全局地圖坐標系的坐標變換關系；步驟B，根據傳送過來的視頻圖像的像素信息，檢測出該視頻圖像中各像素在場景背景和運動目標間的歸屬情況，然后從檢測結果中提取出各運動目標的位置和形狀信息；步驟C，根據各分視野的視頻圖像中的運動目標信息，對所述運動目標進行跟蹤并更新局部跟蹤目標和全局跟蹤目標，并通過全局信息融合機制實現目標在不同分視野間的傳遞；步驟D，根據多路視頻中更新后的局部跟蹤目標，以及更新后的全局跟蹤目標，將在各分視野中檢測到的并正在跟蹤的目標的位置信息從局部圖像坐標系變換到全局地圖坐標系中，根據需求對目標進行過濾后，在全局電子地圖上標識出來。
2、 根據權利要求1所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述步驟B中，包括下列步驟步驟Bl，當有一幀視頻圖像數據到達時，使用基于像素級分析的背景建 模和前景檢測算法，檢測該幀圖像中的每一個像素是屬于運動目標還是背景， 得到以檢測結果矩陣的形式存儲的檢測結果；步驟B2，對檢測結果矩陣進行形態(tài)學濾波；步驟B3，通過從檢測結果矩陣中提取八連通分量及邊緣提取的方法得到 運動目標的位置和形狀信息，并將這些信息保存起來以便可以隨時查詢。
3、 根據權利要求2所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述步驟B3之后還包括下列步驟步驟B4，根據運動目標的信息對局部視野視頻的圖像數據進行更新，將 運動目標疊加顯示到局部視野的視頻上去。
4、 根據權利要求2所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述B1中，在一幀視頻圖像數據到達時，先進行下列處理歩驟對每一幀圖像進行降采樣；并在歩驟B2中，對檢測結果進行形態(tài)學濾波后，根據降采樣率對所有的計算結果中與坐標相關的數據進行插值重建。
5、 根據權利要求1所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其特征在于，所述步驟C包括下列步驟步驟C1，以檢測出的一路視頻中的每一個目標作為輸入，在該路視頻的局部運動目標列表中，査找與當前局部跟蹤目標列表中被跟蹤的局部跟蹤目標對應的匹配度最大且大于設定閾值的運動目標；步驟C2，若找到，則認為該局部運動目標正在該路視頻中被跟蹤，更新該局部運動目標在局部跟蹤目標列表和全局跟蹤目標列表中的對應的局部跟蹤目標信息和全局跟蹤目標信息；步驟C3，若沒找到，則進一步在全局跟蹤目標列表中尋找與其匹配度大 于特定閥值的最佳匹配的運動目標；步驟C4，若找到，則認為該運動目標是一個來自其它視頻的已被跟蹤過 的運動目標，此時將該運動目標添加到當前路目標單元的局部跟蹤目標列表中 從而實現目標在不同分視野間的傳遞，更新該運動目標在全局跟蹤目標列表中 對應的信息；步驟C5，若還是沒有找到，則認為該運動目標是一個第一次進入整個監(jiān) 控區(qū)域的目標，此時則同時將該運動目標添加到當前路局部跟蹤目標列表和全 局跟蹤目標列表中去。
6、 根據權利要求5所述監(jiān)控中多路視頻信息融合處理與顯示方法，其特 征在于，所述步驟C5之后還包括下列步驟步驟C6，根據各分視野的視頻圖像的圖素信息和從中檢測到的運動目標 信息，結合局部跟蹤目標列表和全局跟蹤目標列表中的目標軌跡信息，提取并 保存各種高層目標信息。
7、 根據權利要求6所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述步驟C6之后進一步包括下列步驟若發(fā)現局部跟蹤目標列表中一目標超過設定時間在任何一路視頻中都沒 有出現，則認為該目標已移出了該路攝像機的視場范圍，并將該目標從局部跟 蹤目標列表中刪除；若發(fā)現全局跟蹤目標列表中一運動目標超過設定時間在任何一路視頻中 都沒有出現，則認為該目標已經移出監(jiān)控區(qū)域或徹底丟失，并將該目標從全局 跟蹤目標列表中刪除。
8、 根據權利要求1所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述步驟D包括下列步驟步驟Dl，將在各分視野中檢測到的并正在跟蹤的的目標的位置信息從局 部圖像坐標系變換到全局地圖坐標系中；步驟D2，從整個監(jiān)控區(qū)域中檢測到的并正在跟蹤的目標中選擇一組符合 要求的目標，即實現對目標的過濾；步驟D3，將步驟D2中選擇出的目標與根據需求選擇出的關于該目標的 信息， 一起在全局電子地圖的二維平面圖顯示出來。
9、 根據權利要求1或8所述的監(jiān)控中多路視頻信息融合處理與顯示方法， 其特征在于，所述步驟D中，還包括下列步驟在全局電子地圖中，根據目標的性質和預設需求，選擇性地突出顯示危險 或可能危險的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地突出顯示感興 趣的目標；或者在全局電子地圖中，根據目標的性質和預設需求，選擇性地顯示目標的相 關信息；或者在全局電子地圖中，選擇不同的顏色或圖標顯示不同類型的目標。
10、 根據權利要求1所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述步驟C中，還包括下列步驟根據目標的顏色、形狀、大小、類別、運動方向、運動速度進行關聯(lián)跟蹤;或者根據全局融合機制，實現目標在不同分視野間的運動信息傳遞。
11、 根據權利要求1所述的監(jiān)控中多路視頻信息融合處理與顯示方法，其 特征在于，所述坐標變換是通過投影變換方法實現的。
12、 一種監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)，其特征在于，包括若 干視頻分析子系統(tǒng)和一個全局電子地圖信息融合機制，各視頻分析子系統(tǒng)分別 有其視野，而全局電子地圖包含所有子系統(tǒng)的視頻視野，還包括至少一個檢測 單元，至少一個跟蹤單元，以及映射單元，其中所述檢測單元，用于根據傳送過來的視頻圖像的像素信息，檢測出該視頻 圖像中各像素在場景背景和運動目標間的歸屬情況，然后從檢測結果矩陣中檢 測出運動目標的位置和形狀；所述跟蹤單元，用于根據多路視頻圖像中檢測到的運動目標的信息，跟蹤 并更新局部跟蹤目標，以及全局跟蹤目標；所述映射單元，用于根據多路視頻中更新后的各個局部跟蹤目標，以及更 新后各個全局跟蹤目標，將局部跟蹤目標的位置從局部圖像坐標系變換到全局 地圖坐標系中，得到它在全局電子地圖坐標系中的位置。
13、 根據權利要求12所述的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)， 其特征在于，還包括存儲單元，用于存儲局部跟蹤目標列表中的全部局部跟蹤 目標的信息，全局跟蹤目標列表中的全局跟蹤目標的信息，以及每一路傳送過 來的視頻圖像檢測結果及運動目標的信息。
14、 根據權利要求12或13所述的監(jiān)控中多路視頻信息融合處理與顯示系 統(tǒng)，其特征在于，還包括局部顯示單元和全局顯示單元，其中所述局部顯示單元，用于根據運動目標的信息對局部電子地圖的圖像數據 進行更新，將運動目標疊加顯示到局部分視野的視頻上去；所述全局顯示單元，用于將過濾后的全局跟蹤目標及其指定信息在全周電 子地圖中的二維平面圖中顯示出來。
15、 根據權利要求14所述的監(jiān)控中多路視頻信息融合處理與顯示系統(tǒng)， 其特征在于，還包括至少一個視頻源。
16、 根據權利要求12或13所述的監(jiān)控中多路視頻信息融合處理與顯示系 統(tǒng)，其特征在于，所述運動目標的信息包括圖像信息中的運動目標的像素信息， 以及運動目標的位置信息。
全文摘要
本發(fā)明公開了一種監(jiān)控中多路視頻信息融合處理與顯示的方法和系統(tǒng)。該方法包括下列步驟在初始化時，根據各路視頻視野和電子地圖視野的標定點，確定每一路視頻的局部圖像坐標系到全局地圖坐標系的坐標變換關系；根據其各路視頻圖像數據的像素信息，實現對運動目標的檢測和跟蹤以及在此基礎上的各種高層信息提取，實現對同一目標在整個監(jiān)控場景的不同視野中的傳遞；定時獲取運動目標位置和其他信息，將其從局部圖像坐標系變換到全局電子地圖坐標系中，并融合到全局電子地圖中的二維平面圖中將目標顯示出來。其使得人們可以更直觀的了解到整個監(jiān)控區(qū)域的全局狀況。
文檔編號H04N5/14GK101277429SQ200710064819
公開日2008年10月1日 申請日期2007年3月27日 優(yōu)先權日2007年3月27日
發(fā)明者向世明, 李子青 申請人:中國科學院自動化研究所;北京數字奧森科技有限公司