用于在存在長(zhǎng)期圖像漂移的情況下使實(shí)時(shí)視頻穩(wěn)定的方法和系統(tǒng)的制作方法
【專利摘要】提供了用于短期或“支柱震動(dòng)”和較長(zhǎng)期“支柱漂移”的照相機(jī)圖像的穩(wěn)定化的方法和系統(tǒng)。照相機(jī)被附接于固定結(jié)構(gòu)。支柱漂移在各時(shí)間段內(nèi)是足夠長(zhǎng)的使得成像能夠在基礎(chǔ)參考幀與當(dāng)前穩(wěn)定瞬態(tài)幀之間顯著地變化。保持大量的映射幀和關(guān)聯(lián)信息。將緩慢變化的照相機(jī)定向（“支柱漂移”）從快速運(yùn)動(dòng)抖動(dòng)（“支柱震動(dòng)”）解耦，并針對(duì)每個(gè)計(jì)算單獨(dú)變換?？舍槍?duì)任何一個(gè)輸入幀將多達(dá)三個(gè)變換組合在一起。將單獨(dú)變換組合在一起，使得僅對(duì)每個(gè)幀執(zhí)行僅一個(gè)全開(kāi)圖像變換計(jì)算。監(jiān)視系統(tǒng)應(yīng)用穩(wěn)定化方法。
【專利說(shuō)明】用于在存在長(zhǎng)期圖像漂移的情況下使實(shí)時(shí)視頻穩(wěn)定的方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于視頻監(jiān)視的系統(tǒng)和方法且更具體地涉及在視頻圖像中補(bǔ)償監(jiān)視照相機(jī)的長(zhǎng)期位置變化。
【背景技術(shù)】
[0002]本發(fā)明一般地涉及安全監(jiān)視系統(tǒng)且更特別地涉及包含安裝在高的室外支柱或其他構(gòu)造上的安全監(jiān)視系統(tǒng)，其中，對(duì)該支柱或構(gòu)造起作用的風(fēng)、熱及其他效應(yīng)可能使一個(gè)或多個(gè)照相機(jī)的確切位置和定向隨時(shí)間推移而變化。照相機(jī)姿勢(shì)的這些變化是由長(zhǎng)期、較低頻率效應(yīng)(例如，熱)和短期、較高頻率效應(yīng)(例如，風(fēng))所引起的。術(shù)語(yǔ)“支柱漂移”在本文中被用來(lái)表示長(zhǎng)期效應(yīng)，并且術(shù)語(yǔ)“支柱震動(dòng)”被用來(lái)表示短期效應(yīng)。
[0003]視頻監(jiān)視系統(tǒng)中的圖像穩(wěn)定化補(bǔ)償了例如由照相機(jī)的安裝支柱上的風(fēng)和振動(dòng)效應(yīng)引起的照相機(jī)運(yùn)動(dòng)。這種被補(bǔ)償?shù)恼障鄼C(jī)運(yùn)動(dòng)一般是(相對(duì))高頻率的且轉(zhuǎn)化成視頻流中的表觀像素運(yùn)動(dòng)，其進(jìn)而將引起假警報(bào)和大量“虛假”對(duì)象的檢測(cè)。當(dāng)然，實(shí)際上，正在移動(dòng)的常常是照相機(jī)而不是世界。調(diào)諧系統(tǒng)的運(yùn)動(dòng)檢測(cè)靈敏度參數(shù)使得此運(yùn)動(dòng)被過(guò)濾出通常還使很多的合理運(yùn)動(dòng)被濾出。大多數(shù)圖像穩(wěn)定化算法嘗試補(bǔ)償這種類型的短期的支柱引發(fā)的照相機(jī)運(yùn)動(dòng)。
[0004]照相機(jī)安裝支柱或其他安裝結(jié)構(gòu)也經(jīng)受長(zhǎng)期、較低頻率效應(yīng)，其將在幾分鐘或幾小時(shí)的過(guò)程內(nèi)干擾其附接的照相機(jī)的位置和定向。本發(fā)明的一個(gè)實(shí)施例中的安裝結(jié)構(gòu)相對(duì)于該結(jié)構(gòu)被附接到的地面或建筑物是基本上固定或靜態(tài)的。在不變的條件下，由此類結(jié)構(gòu)保持的照相機(jī)將產(chǎn)生相對(duì)于其環(huán)境穩(wěn)定的圖像。諸如支柱由太陽(yáng)或沒(méi)有太陽(yáng)的情況下進(jìn)行加熱和冷卻的熱效應(yīng)是支柱運(yùn)動(dòng)的一個(gè)明顯來(lái)源，其可以是相對(duì)緩慢且長(zhǎng)期的效應(yīng)。接近于結(jié)構(gòu)的風(fēng)和通過(guò)的重型車輛例如可以是對(duì)于快速移動(dòng)和短期效應(yīng)的來(lái)源。然而，可以是季節(jié)性的、老化相關(guān)的或基于環(huán)境的緩慢移動(dòng)且以長(zhǎng)期的方式影響監(jiān)視圖像的其他效應(yīng)也是完全想到的，并且能夠通過(guò)本文所提供的方法和系統(tǒng)來(lái)解決。
[0005]這些效應(yīng)相對(duì)緩慢地起作用；一般地，其在看守視頻的觀察者的視覺(jué)閾值下面起作用，并且通常其是如此緩慢的，以致于其并不顯著地影響運(yùn)動(dòng)檢測(cè)。這些效應(yīng)本質(zhì)上是循環(huán)的。其也可以是永久的。
[0006]本發(fā)明的各方面能夠解決循環(huán)以及非循環(huán)效應(yīng)。例如，非循環(huán)效應(yīng)可以是新結(jié)構(gòu)到永久位置的緩慢沉降。這可以是飽和效應(yīng)，其中，沉降在幾天或幾個(gè)星期內(nèi)發(fā)生。
[0007]將二維圖像數(shù)據(jù)轉(zhuǎn)換成三維世界數(shù)據(jù)的視頻監(jiān)視系統(tǒng)十分受到這些長(zhǎng)期效應(yīng)的影響。這些長(zhǎng)期效應(yīng)實(shí)際上使照相機(jī)視圖相對(duì)于建立圖像至世界坐標(biāo)映射時(shí)的照相機(jī)視圖移位，并且因此能夠?qū)D像至世界坐標(biāo)計(jì)算具有較大的影響。系統(tǒng)因此失去其準(zhǔn)確地將圖像平面對(duì)象放置在真實(shí)三維世界中的能力，因?yàn)榕c圖像平面中的對(duì)象位置相對(duì)應(yīng)的像素不再表示其在三維世界中的正確位置。
[0008]相應(yīng)地，需要補(bǔ)償諸如被保持在結(jié)構(gòu)上的監(jiān)視照相機(jī)的照相機(jī)相對(duì)于其監(jiān)視環(huán)境的短期和長(zhǎng)期移動(dòng)的新型且改善的方法和系統(tǒng)。

【發(fā)明內(nèi)容】

[0009]提供了用于在存在長(zhǎng)期圖像漂移的情況下使實(shí)時(shí)視頻穩(wěn)定的系統(tǒng)和方法。
[0010]根據(jù)本發(fā)明的一個(gè)方面，一種監(jiān)視系統(tǒng)，包括用于產(chǎn)生多個(gè)視頻幀的一個(gè)或多個(gè)照相機(jī)、用以存儲(chǔ)所述多個(gè)視頻幀的存儲(chǔ)器、與存儲(chǔ)器通信以通過(guò)以下各項(xiàng)來(lái)處理所述多個(gè)視頻幀中的每個(gè)幀的處理器:(I)接收所述多個(gè)視頻幀中的幀；(2)確定瞬態(tài)變換，所述瞬態(tài)變換將所述巾貞變換到得自于瞬態(tài)巾貞的相關(guān)瞬態(tài)坐標(biāo)系；(3)確定基礎(chǔ)變換，所述基礎(chǔ)變換將所述瞬態(tài)坐標(biāo)系變換到得自于基礎(chǔ)幀的基礎(chǔ)坐標(biāo)系；(4)確定組合變換，所述組合變換將所述瞬態(tài)變換和所述基礎(chǔ)變換進(jìn)行組合；以及(5)對(duì)所述幀執(zhí)行所述組合變換。
[0011]監(jiān)視系統(tǒng)還可以包括從所述幀提取特征的處理器。根據(jù)本發(fā)明的另一方面，瞬態(tài)變換將所述幀中的特征變換成所述瞬態(tài)幀中的特征。
[0012]根據(jù)本發(fā)明的另一方面，利用所述幀來(lái)在監(jiān)視系統(tǒng)的操作期間更新所述瞬態(tài)幀。
[0013]根據(jù)本發(fā)明的另一方面，基于偏置檢測(cè)來(lái)選擇所述幀作為已更新瞬態(tài)幀。
[0014]根據(jù)本發(fā)明的另一方面，在監(jiān)視系統(tǒng)的設(shè)立階段期間確定基礎(chǔ)幀變換。
[0015]根據(jù)本發(fā)明的另一方面，所述瞬態(tài)變換修正了諸如支柱震動(dòng)的高頻效應(yīng)。
[0016]根據(jù)本發(fā)明的另一方面，基礎(chǔ)幀變換修正了諸如熱變化的較緩慢作用的效應(yīng)。
[0017]根據(jù)本發(fā)明的另一方面，已更新瞬態(tài)幀不能被變換成基礎(chǔ)幀并且被存儲(chǔ)在存儲(chǔ)器中以用于以后處理。
[0018]根據(jù)本發(fā)明的另一方面，所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)被附接于靜態(tài)結(jié)構(gòu)，其經(jīng)歷環(huán)境引起的移動(dòng)，所述環(huán)境引起的移動(dòng)不大于所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)的視場(chǎng)。
[0019]根據(jù)本發(fā)明的另一方面，所述組合變換將所述幀到所述已更新瞬態(tài)幀的已更新瞬態(tài)變換、所述已更新瞬態(tài)幀到先前瞬態(tài)幀的變換和所述先前瞬態(tài)幀到所述基礎(chǔ)幀的變換進(jìn)行組合。
[0020]根據(jù)本發(fā)明的各種方面還提供了對(duì)應(yīng)的方法。
【專利附圖】

【附圖說(shuō)明】
[0021]圖1是圖示出根據(jù)本發(fā)明的一個(gè)方面的步驟的流程圖；
圖2是圖示出根據(jù)本發(fā)明的一個(gè)方面的步驟的流程圖；
圖3圖示出作為圖像中的可檢測(cè)特征的拐角；
圖4和5是圖示出根據(jù)本發(fā)明的一個(gè)方面的步驟的流程圖；
圖6—8是根據(jù)本發(fā)明的一個(gè)方面的由照相機(jī)拍攝并顯示的圖像；以及 圖9和10均圖示出根據(jù)本發(fā)明的一個(gè)方面的系統(tǒng)。
【具體實(shí)施方式】
[0022]本發(fā)明的各方面通過(guò)提供對(duì)由在本文中由術(shù)語(yǔ)“支柱漂移”捕捉的長(zhǎng)期效應(yīng)所引起的支柱位置和定向中的變化的補(bǔ)償來(lái)擴(kuò)展視頻監(jiān)視系統(tǒng)中的典型圖像穩(wěn)定化方法的能力。支柱漂移可在一天的過(guò)程內(nèi)達(dá)到圖像中的10 — 30個(gè)像素的圖像漂移作為支柱漂移的一個(gè)指示。該效應(yīng)可小于30個(gè)像素或大于20個(gè)像素。支柱漂移是相對(duì)緩慢的，并且與支柱震動(dòng)相比在較長(zhǎng)時(shí)間段內(nèi)發(fā)生。用于支柱漂移的此補(bǔ)償能夠與用于在本文中由術(shù)語(yǔ)“支柱震動(dòng)”捕捉的較高頻率效應(yīng)的圖像穩(wěn)定化補(bǔ)償計(jì)算相結(jié)合地完成。支柱震動(dòng)是快得多的效應(yīng)，其在頻率方面可以在從0.1-1OHz的范圍變動(dòng)。支柱震動(dòng)振幅可達(dá)到15 — 20個(gè)像素，但是可以更小。振幅還可以更大。對(duì)支柱震動(dòng)的此補(bǔ)償是在預(yù)處理步驟中在輸入視頻的每個(gè)幀中完成的，并且得到的穩(wěn)定視頻被“下游”發(fā)送以用于進(jìn)一步視頻分析處理。
[0023]本發(fā)明的一個(gè)方面是“基礎(chǔ)幀坐標(biāo)系”的理念，其是這樣的坐標(biāo)系，即針對(duì)其對(duì)照相機(jī)進(jìn)行初始校準(zhǔn)并在三維世界中定向。與基礎(chǔ)幀坐標(biāo)系相關(guān)聯(lián)的是“基礎(chǔ)幀圖像”，其是與此坐標(biāo)系相對(duì)應(yīng)的照相機(jī)視圖。其常常是在照相機(jī)校準(zhǔn)和系統(tǒng)設(shè)立時(shí)從照相機(jī)的視頻流獲取的快照。被對(duì)準(zhǔn)到基礎(chǔ)幀坐標(biāo)系的照相機(jī)視頻將執(zhí)行對(duì)象的正確地理空間定位。
[0024]本發(fā)明的各方面在第一階段方法針對(duì)諸如支柱震動(dòng)之類的較高頻率效應(yīng)補(bǔ)償輸入視頻流之后提供額外的穩(wěn)定化步驟。第一階段方法通過(guò)相對(duì)于輸入視頻流中的任意幀(稱為“瞬態(tài)圖像”)建立“瞬態(tài)坐標(biāo)系”并且然后接著將每個(gè)輸入幀變換回到該瞬態(tài)坐標(biāo)系中來(lái)補(bǔ)償高頻效應(yīng)。此瞬態(tài)坐標(biāo)系被周期性地更新(通常約為每幾分鐘)并跟蹤由變化的照明水平及其他短期現(xiàn)象所引起的成像中的變化。此瞬態(tài)坐標(biāo)系可以不同于針對(duì)其對(duì)照相機(jī)進(jìn)行初始校準(zhǔn)的坐標(biāo)系。
[0025]上述額外的穩(wěn)定化步驟在輸入幀已被變換回到瞬態(tài)坐標(biāo)系中之后發(fā)生，并用于將在瞬態(tài)坐標(biāo)系中對(duì)準(zhǔn)的該已變換的圖像變換回到基礎(chǔ)幀坐標(biāo)系中。在此額外的變換被完成之后，得到的視頻流中的每個(gè)像素在三維世界中被適當(dāng)?shù)囟ㄏ?。因此，在圖像平面中檢測(cè)和處理的對(duì)象將被準(zhǔn)確地定位于三維世界中。
[0026]本發(fā)明的各方面使得場(chǎng)景中的固定對(duì)象在一天的過(guò)程內(nèi)處于同一像素位置中成為可能，即使在支柱頂部處的照相機(jī)運(yùn)動(dòng)本應(yīng)使該對(duì)象在一天的過(guò)程內(nèi)在表觀上移動(dòng)許多像素，因?yàn)闊嵝?yīng)及其他效應(yīng)改變了安裝在支柱或其他保持結(jié)構(gòu)上的照相機(jī)的位置和定向。
[0027]在本發(fā)明的一個(gè)實(shí)施例中，本文提供的穩(wěn)定化方法適用于落在照相機(jī)的視場(chǎng)內(nèi)的照相機(jī)的移動(dòng)。
[0028]圖1是圖示出根據(jù)本發(fā)明的一個(gè)方面的用于支柱漂移補(bǔ)償?shù)膱D像穩(wěn)定化方法及其擴(kuò)展的步驟的流程圖。此方法對(duì)輸入視頻流的每個(gè)幀執(zhí)行。
[0029]首先將所有輸入幀穩(wěn)定回到通過(guò)從輸入視頻流選擇幀所周期性建立的瞬態(tài)坐標(biāo)系。瞬態(tài)坐標(biāo)系每幾分鐘被更新并跟蹤成像中的相當(dāng)快速的變化(例如，黎明和黃昏時(shí)的照明上的變化)。無(wú)論何時(shí)建立新的瞬態(tài)坐標(biāo)系，該方法嘗試計(jì)算從瞬態(tài)坐標(biāo)系到基礎(chǔ)幀坐標(biāo)系的變換。
[0030]隨后,每個(gè)輸入幀將具有對(duì)其應(yīng)用的兩個(gè)邏輯變換:將每個(gè)幀映射回到此瞬態(tài)坐標(biāo)系的每幀變換104，和然后的將得到的幀映射回到針對(duì)其對(duì)照相機(jī)進(jìn)行初始校準(zhǔn)的坐標(biāo)系的固定(在瞬態(tài)坐標(biāo)系的使用期限內(nèi))變換106。注意的是，雖然在邏輯上這是兩步過(guò)程，但在實(shí)踐中將該變換表示為矩陣，并在輸入圖像被完全變換之前計(jì)算并在單個(gè)變換108中組合這些矩陣。最后結(jié)果是僅一個(gè)物理變換必須被應(yīng)用于輸入圖像。這限制了處理要求。
[0031]因此只有當(dāng)在步驟102中建立新的瞬態(tài)坐標(biāo)系時(shí)才執(zhí)行用以確定所需支柱漂移補(bǔ)償?shù)牧康膶?shí)際計(jì)算。[0032]該方法的可選特征將隨時(shí)間推移緩慢地將圖像“拉”向最終支柱漂移補(bǔ)償，以使在由于某種原因而計(jì)算支柱漂移補(bǔ)償?shù)妮^大變化的情況下的視頻中的突然“震搖(jerk)”的可能性最小化。
[0033]圖2是詳述計(jì)算新支柱漂移補(bǔ)償變換所需要的步驟的流程圖。無(wú)論何時(shí)建立新的瞬態(tài)坐標(biāo)系，執(zhí)行這些計(jì)算。首先，對(duì)與瞬態(tài)坐標(biāo)系相關(guān)聯(lián)的新輸入圖像執(zhí)行(步驟20)Harris拐角檢測(cè)。此新輸入圖像將變成新瞬態(tài)坐標(biāo)系的基礎(chǔ)。該方法將嘗試找到這些拐角在每個(gè)后續(xù)輸入幀中的位置；這捕捉對(duì)支柱震動(dòng)及其他高頻移動(dòng)的補(bǔ)償。雖然在本文中使用Harris拐角檢測(cè)，但本文提供的方法不限于這種特征檢測(cè)方法。還能夠應(yīng)用其他特征檢測(cè)方法。
[0034]該方法接下來(lái)執(zhí)行支柱漂移計(jì)算。首先，在啟動(dòng)時(shí)，該方法讀取與基礎(chǔ)幀坐標(biāo)系相關(guān)聯(lián)的圖像(這被稱為“基礎(chǔ)幀文件”)。該方法還保持成對(duì)的變換和圖像的數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)提供“中間”圖像和變換，其自身能夠被直接映射回到基礎(chǔ)幀坐標(biāo)系。因此能夠在兩個(gè)邏輯步驟中將能夠與中間圖像匹配的輸入圖像匹配回到基礎(chǔ)幀坐標(biāo)系，經(jīng)歷所選中間圖像/變換對(duì)。
[0035]在步驟22中，針對(duì)基礎(chǔ)幀中的拐角檢查輸入幀中的拐角。相對(duì)于支柱漂移，因此存在用于每個(gè)新瞬態(tài)圖像和關(guān)聯(lián)的瞬態(tài)坐標(biāo)系的兩種可能性:
(1)如果能夠?qū)⑺矐B(tài)圖像直接變換回到基礎(chǔ)幀坐標(biāo)系(即，能夠建立兩個(gè)圖像中的拐角之間的適當(dāng)對(duì)應(yīng)關(guān)系)，則能夠直接地建立瞬態(tài)圖像至基礎(chǔ)幀坐標(biāo)系；或者
(2)如果能夠?qū)⑺矐B(tài)圖像直接映射回到數(shù)據(jù)庫(kù)中的中間圖像/變換對(duì)，其轉(zhuǎn)而能夠被直接映射回到基礎(chǔ)幀坐標(biāo)圖像，則能夠?qū)蓚€(gè)變換組合以提供從瞬態(tài)圖像到基礎(chǔ)幀坐標(biāo)圖像的直接映射?！爸苯佑成浠亍币庵冈谙鄳?yīng)圖像中的拐角之間存在足以定義兩個(gè)圖像之間的數(shù)學(xué)變換的強(qiáng)相關(guān)。
[0036]在現(xiàn)有基礎(chǔ)幀圖像與中間圖像的數(shù)據(jù)庫(kù)之間，任何輸入的新瞬態(tài)圖像和坐標(biāo)系可匹配多個(gè)圖像。在步驟24中，檢查在數(shù)據(jù)庫(kù)中的已存儲(chǔ)結(jié)果之間是否存在匹配。
[0037]在步驟28中選擇“最佳”(即，拐角之間的最強(qiáng)相關(guān))擬合并將其用在新瞬態(tài)至基礎(chǔ)幀坐標(biāo)系的步驟32中的計(jì)算中。在以上任一種情況下，該相關(guān)可以足夠強(qiáng)以創(chuàng)建映射，卻充分弱，使得得到的圖像/變換對(duì)本身在步驟30中被存儲(chǔ)在數(shù)據(jù)庫(kù)中，并被用作用于未來(lái)瞬態(tài)圖像的潛在匹配候選。如果在步驟28中未能建立匹配，則按照定義，有可能將輸入圖像映射回到基礎(chǔ)幀坐標(biāo)系。因此，不能應(yīng)用支柱漂移補(bǔ)償。然而，此未能匹配的圖像被“保存”，使得稍后，該方法可使此圖像匹配新的輸入瞬態(tài)圖像，其轉(zhuǎn)而能夠被映射回到基礎(chǔ)幀圖像。如果事實(shí)上能夠執(zhí)行當(dāng)前、不可匹配圖像與稍后、可匹配圖像/變換對(duì)之間的此稍后匹配，則:Ca)將計(jì)算變換，以及(b)此當(dāng)前圖像將被保存在圖像/變換數(shù)據(jù)庫(kù)中。
[0038]希望稍后被匹配的被保存的不匹配圖像被稱為“僵尸(zombie)”。本情境中的不匹配圖像意指不能建立將圖像變換成瞬態(tài)圖像或基礎(chǔ)圖像的變換?！敖┦北槐４嬖诒砀裰校缭趫D2中的步驟30中，其可以是二維表格，其中，每個(gè)列包含通過(guò)計(jì)算變換而彼此相關(guān)的“僵尸”。當(dāng)輸入的新圖像與列的首位匹配時(shí)，能夠針對(duì)該列中的每個(gè)“僵尸”計(jì)算回到基礎(chǔ)幀坐標(biāo)系的變換。
[0039]當(dāng)在步驟34中將新的變換存儲(chǔ)在數(shù)據(jù)庫(kù)中時(shí)，掃描“僵尸”的列表。如果能夠使任何“僵尸”匹配回到新的變換，則將其從“僵尸”列表去除，轉(zhuǎn)換成有效中間圖像/變換對(duì)并存儲(chǔ)在數(shù)據(jù)庫(kù)中。
[0040]進(jìn)一步的細(xì)節(jié)
以下小節(jié)將更詳細(xì)地解釋根據(jù)本發(fā)明的各種方面提供的上述方法。若干個(gè)概念支承了作為本發(fā)明的一個(gè)方面所提供的支柱漂移補(bǔ)償方法。
[0041]1.漂移處于非常長(zhǎng)的時(shí)間段內(nèi):長(zhǎng)到足以使得成像能夠在基礎(chǔ)參考幀(也稱為基礎(chǔ)幀)與當(dāng)前周期性變化的穩(wěn)定參考幀(也稱為“瞬態(tài)幀”或“瞬態(tài)參考幀”)之間顯著地變化。
[0042]2.保持眾多的映射幀和關(guān)聯(lián)信息一即這樣一組幀，基礎(chǔ)幀先前已被匹配和映射到該組幀，且能夠向該組幀進(jìn)行與新建立的瞬態(tài)參考幀的所嘗試的匹配。這些也稱為“橋幀”，因?yàn)槠淠軌虺洚?dāng)輸入幀與基礎(chǔ)幀之間的‘橋’;
3.將緩慢變化的照相機(jī)定向(“支柱漂移”)的概念從快速運(yùn)動(dòng)抖動(dòng)(“支柱震動(dòng)”)解耦，并針對(duì)每一個(gè)來(lái)計(jì)算單獨(dú)的變換；
4.可針對(duì)任何一個(gè)輸入幀將多達(dá)三個(gè)變換組合在一起:從輸入幀到瞬態(tài)幀的一個(gè)變換、從瞬態(tài)幀到在#2中參考的眾多映射幀中的一個(gè)幀的變換、以及從該映射幀回到基礎(chǔ)幀的變換；
5.最后經(jīng)由矩陣乘法將這些單獨(dú)變換組合在一起，使得針對(duì)每個(gè)幀僅執(zhí)行一次全開(kāi)圖像變換計(jì)算；以及
6.該變換是參數(shù)化的基于圖像的變換，不是類似于俯仰、搖攝或縮放的實(shí)際照相機(jī)運(yùn)動(dòng)參數(shù)。
[0043]圖像穩(wěn)定化在三個(gè)不同坐標(biāo)系中創(chuàng)建并操縱仿射變換以及仿射變換的子集:
(a)輸入圖像的坐標(biāo)系；
(b)‘瞬態(tài)參考’幀的坐標(biāo)系，其被用作針對(duì)其參考短期震動(dòng)和支柱振動(dòng)的坐標(biāo)系；以及
(c)‘基礎(chǔ)幀’的坐標(biāo)系，其是已消除了所有震動(dòng)和長(zhǎng)期漂移現(xiàn)象之后的‘真’參考幀?；A(chǔ)幀被表示為例如.bmp文件。
[0044]仿射變換將一個(gè)坐標(biāo)系中的圖像映射到另一坐標(biāo)系中的對(duì)應(yīng)圖像。
[0045]在安裝時(shí)配置該系統(tǒng)，使得基礎(chǔ)幀中的每個(gè)像素位置(U，V)的(在某世界坐標(biāo)系中的)世界坐標(biāo)(X、Y、Z)被計(jì)算、存儲(chǔ)并假設(shè)正確。這能夠利用配置工具在系統(tǒng)安裝時(shí)被完成。該配置工具在安裝時(shí)創(chuàng)建像素坐標(biāo)與世界坐標(biāo)關(guān)系的表格。其與為每個(gè)地點(diǎn)準(zhǔn)備的“實(shí)體世界的模型”相結(jié)合地起作用。具有坐標(biāo)(x、Y、z)的任意固定世界點(diǎn)將在以上坐標(biāo)系中的每個(gè)中具有圖像空間坐標(biāo)(U，V)。如果條件是“完美的” 一無(wú)支柱震動(dòng)或漂移、基礎(chǔ)幀與輸入圖像之間的完美對(duì)應(yīng)關(guān)系等一則三組(U，V)坐標(biāo)原則上應(yīng)當(dāng)是相同的。然而，支柱震動(dòng)和支柱漂移效應(yīng)常常導(dǎo)致針對(duì)實(shí)體世界中的同一點(diǎn)跨全部三個(gè)坐標(biāo)系而變化的U，V)坐標(biāo)。
[0046]根據(jù)本發(fā)明的一個(gè)方面所提供的補(bǔ)償方法的一個(gè)目的是創(chuàng)建組合變換，其將輸入圖像的坐標(biāo)系變換成基礎(chǔ)幀的坐標(biāo)系。一旦被適當(dāng)?shù)刈儞Q，輸入圖像中的圖像將在基礎(chǔ)幀中(圖像空間)和世界的系統(tǒng)顯示中(世界空間)的其適當(dāng)位置處進(jìn)行顯示。
[0047]穩(wěn)定化方法
穩(wěn)定化包含四個(gè)步驟或過(guò)程。
[0048](I)該方法周期性地從輸入圖像流選擇瞬態(tài)參考幀。該方法嘗試選擇相對(duì)于施加的圖像修正的當(dāng)前流無(wú)偏置的參考幀(即，其嘗試選擇位于抖動(dòng)的“中心”或“中間(mean)”處的瞬態(tài)幀)。也許不可能選擇瞬態(tài)參考幀，在該情況下，穩(wěn)定化方法重置成已知起始狀態(tài)并用下一幀再次進(jìn)行嘗試。如果在短時(shí)間段內(nèi)存在過(guò)多失敗，則該方法在當(dāng)前條件對(duì)于表現(xiàn)良好的穩(wěn)定化而言過(guò)于欠明了的假設(shè)下將其本身禁用達(dá)幾分鐘。
[0049]( 2 )無(wú)論何時(shí)建立新的瞬態(tài)幀，進(jìn)行在此瞬態(tài)參考幀與基礎(chǔ)幀之間建立映射或變換的嘗試。此映射可以是直接的，或者可使用“中間變換”以回到基礎(chǔ)幀的坐標(biāo)系。此最終變換被表示為稱為C的3X3矩陣，并被實(shí)現(xiàn)為3X3同構(gòu)矩陣。如果使用中間變換，其可以是兩個(gè)分量矩陣變換的乘積。建立此映射并不總是可能的；
(3)對(duì)于每個(gè)輸入幀，確定將輸入圖像映射到瞬態(tài)參考幀的唯一每幀變換。此變換被表示為3X3同構(gòu)矩陣W ;以及
(4)對(duì)于每個(gè)輸入幀，計(jì)算復(fù)合變換T3x3= C3x3XW 3X3°此變換將輸入幀的坐標(biāo)系映射到基礎(chǔ)幀的坐標(biāo)系。其被應(yīng)用于輸入圖像以產(chǎn)生被發(fā)送到分析管線的其余部分上的新的已變換圖像。
[0050]‘C’和‘W’源自于某些替換術(shù)語(yǔ)?！瓹’表示‘冷’或瞬態(tài)至基礎(chǔ)幀變換，并且‘W’表示‘暖’或輸入圖像至瞬態(tài)變換。‘W’變換每幀都改變，因此是‘暖’的；‘C’變換以慢得多的速率改變，表示從當(dāng)前(“暖”)支柱狀態(tài)到原始(“冷”)狀態(tài)的支柱漂移。
[0051 ] (I)瞬態(tài)參考幀的選擇
該方法以無(wú)瞬態(tài)參考幀開(kāi)始。初始輸入幀被評(píng)估為候選參考幀。在瞬態(tài)幀的初始選擇之后，周期性地評(píng)估輸入幀，并且其可變成新的瞬態(tài)參考幀。
[0052]當(dāng)使用例如Harris拐角檢測(cè)方法在圖像中能夠找到足夠的充分強(qiáng)的拐角時(shí)，輸入?yún)⒖紟兂伤矐B(tài)參考幀?！白銐颉焙汀俺浞謴?qiáng)”是可調(diào)諧參數(shù)?！白銐颉笔前凑照业降墓战堑臄?shù)目所定義的?！俺浞謴?qiáng)”是按照在每個(gè)拐角處的二階矩矩陣的最小特征值所定義的。根據(jù)本發(fā)明的一個(gè)方面所提供的方法還具有用以確保拐角不會(huì)過(guò)于接近地簇?fù)碓谝黄鸬念A(yù)防措施。該方法的支柱漂移部分中的拐角發(fā)現(xiàn)添加了用以嘗試迫使所選拐角均勻地分散在整個(gè)圖像上，而不是僅僅群集在圖像的某些部分中的邏輯。
[0053](2)瞬態(tài)參考幀與基礎(chǔ)幀之間的映射
該方法的此部分是支柱漂移補(bǔ)償?shù)姆矫?。在以下情況下，該方法將嘗試補(bǔ)償長(zhǎng)期支柱漂移:
i)啟用支柱漂移補(bǔ)償，以及
ii)如果有可能在此新的瞬態(tài)參考幀與基礎(chǔ)幀之間建立映射的話。如果未滿足這些條件中的一個(gè)或多個(gè)，則禁用支柱漂移補(bǔ)償。
[0054]每當(dāng)建立新的瞬態(tài)參考幀時(shí)，進(jìn)行計(jì)算變換矩陣C3x3的嘗試。在全部的仿射變換中實(shí)際上存在六個(gè)有意義數(shù)，并且因此能夠?qū)⑵浔硎緸?X3矩陣，并且為了計(jì)算簡(jiǎn)化，使用2X3矩陣的數(shù)學(xué)庫(kù)能夠被使用，但是從所使用的方程的“理論”觀點(diǎn)出發(fā)，每件事物確實(shí)是3X3矩陣。3X3還允許透視變換。矩陣的底行是‘0 0 1’。矩陣將瞬態(tài)幀的坐標(biāo)系映射成基礎(chǔ)幀的坐標(biāo)系。由于矩陣W (來(lái)自先前步驟)能夠被用來(lái)將輸入幀映射到瞬態(tài)幀，所以由此可見(jiàn)一旦計(jì)算了 C，則能夠?qū)和W組成或組合在一起作為單個(gè)變換，以實(shí)現(xiàn)通過(guò)將以下進(jìn)行組合而將輸入圖像坐標(biāo)系變換成基礎(chǔ)幀坐標(biāo)系的變換:輸入圖像坐標(biāo)系一>瞬態(tài)坐標(biāo)系一>基礎(chǔ)幀坐標(biāo)系。[0055]除了作為用于真實(shí)坐標(biāo)系的最后參考幀的一個(gè)基礎(chǔ)幀之外，運(yùn)行系統(tǒng)維持了持久
中間變換Ip 12、I3.....1n的數(shù)據(jù)庫(kù)，其中，η是表示數(shù)據(jù)庫(kù)大小的操作參數(shù)。每個(gè)橋圖像
是經(jīng)由關(guān)聯(lián)變換直接可變換回到基礎(chǔ)幀的坐標(biāo)系中的。給定橋變換可充當(dāng)輸入瞬態(tài)參考幀與基礎(chǔ)幀之間的“橋”。此數(shù)據(jù)庫(kù)中的每個(gè)記錄包含:
(a)圖像(例如以.jpg格式)，其對(duì)應(yīng)于創(chuàng)建此記錄時(shí)的確切場(chǎng)景；
(b)對(duì)應(yīng)變換I2x3，其將此中間圖像的坐標(biāo)系變換回到基礎(chǔ)幀的坐標(biāo)系；以及 (C)應(yīng)用此變換的最后時(shí)間。
[0056]在運(yùn)行時(shí)間，基礎(chǔ)幀和此數(shù)據(jù)庫(kù)中的每個(gè)記錄兩者都計(jì)算并存儲(chǔ)其自己的拐角的列表。這些拐角列表并未被持續(xù)到數(shù)據(jù)庫(kù)中。
[0057]當(dāng)建立新的瞬態(tài)幀時(shí)，該方法獲取來(lái)自基礎(chǔ)幀和數(shù)據(jù)庫(kù)幀兩者的拐角的列表并嘗試找到新瞬態(tài)幀中的對(duì)應(yīng)拐角。在后續(xù)步驟中使用所有成功匹配中的最佳。如果不能找到成功匹配，則不執(zhí)行支柱漂移補(bǔ)償。
[0058]對(duì)于新瞬態(tài)幀與任何基礎(chǔ)幀或數(shù)據(jù)庫(kù)文件之間的成功匹配，必須通過(guò)兩個(gè)測(cè)試。首先，對(duì)于基礎(chǔ)幀或數(shù)據(jù)庫(kù)圖像中的每個(gè)拐角周圍的每個(gè)NXN塊(patch)(其中N是小的可調(diào)諧奇整數(shù))，搜索瞬態(tài)幀中的較大MXM鄰域內(nèi)的所有對(duì)應(yīng)NXN塊。針對(duì)這些NXN塊中的每一個(gè)計(jì)算歸一化相關(guān)系數(shù)。具有最高歸一化相關(guān)系數(shù)的塊是與基礎(chǔ)幀或數(shù)據(jù)庫(kù)幀中的拐角的最佳匹配。如果此歸一化相關(guān)值高于操作閾值，則認(rèn)為該匹配是成功的。為了通過(guò)第一測(cè)試，針對(duì)閾值成功地匹配的所有拐角的百分比必須超過(guò)另一操作閾值。為了通過(guò)第二測(cè)試，然后必須找到如下面所定義的“有效”仿射變換矩陣。
[0059]如下找到仿射變換?？紤]二 維仿射變換矩陣I，其中I=
【權(quán)利要求】
1.一種監(jiān)視系統(tǒng)，包括: 一個(gè)或多個(gè)照相機(jī)，用于生成多個(gè)視頻幀； 存儲(chǔ)器，用以存儲(chǔ)所述多個(gè)視頻幀； 處理器，與所述存儲(chǔ)器通信以通過(guò)以下步驟來(lái)處理所述多個(gè)視頻幀中的每一個(gè): 接收所述多個(gè)視頻幀中的幀； 確定瞬態(tài)變換，所述瞬態(tài)變換將所述幀變換到得自于瞬態(tài)幀的相關(guān)瞬態(tài)坐標(biāo)系； 確定基礎(chǔ)變換，所述基礎(chǔ)變換將所述瞬態(tài)坐標(biāo)系變換到得自于基礎(chǔ)幀的基礎(chǔ)坐標(biāo)系； 確定將所述瞬態(tài)變換和所述基礎(chǔ)變換進(jìn)行組合的組合變換；以及 對(duì)所述幀執(zhí)行所述組合變換。
2.權(quán)利要求1的監(jiān)視系統(tǒng)，還包括所述處理器從所述幀提取特征。
3.權(quán)利要求2的監(jiān)視系統(tǒng)，其中，所述瞬態(tài)變換將所述幀中的特征變換為瞬態(tài)幀中的特征。
4.權(quán)利要求1的監(jiān)視系統(tǒng)，其中，在所述監(jiān)視系統(tǒng)用所述幀進(jìn)行的操作期間更新所述瞬態(tài)幀。
5.權(quán)利要求4的監(jiān)視系統(tǒng)，其中，基于偏置檢測(cè)將所述幀選擇為已更新瞬態(tài)幀。
6.權(quán)利要求1的監(jiān)視系統(tǒng)，其中，在所述監(jiān)視系統(tǒng)的設(shè)立階段期間確定所述基礎(chǔ)幀變換。
7.權(quán)利要求1的監(jiān)視系統(tǒng)，其中，所述瞬態(tài)變換修正諸如支柱震動(dòng)之類的高頻效應(yīng)。
8.權(quán)利要求1的監(jiān)視系統(tǒng)，其中，所述基礎(chǔ)幀變換修正諸如熱變化之類的較緩慢作用的效應(yīng)。
9.權(quán)利要求5的監(jiān)視系統(tǒng)，其中，所述已更新瞬態(tài)幀不能被變換為基礎(chǔ)幀并且被存儲(chǔ)在所述存儲(chǔ)器中以用于以后處理。
10.權(quán)利要求1的監(jiān)視系統(tǒng)，其中，所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)被附接于靜態(tài)結(jié)構(gòu)，所述靜態(tài)結(jié)構(gòu)經(jīng)歷環(huán)境引起的移動(dòng)，所述環(huán)境引起的移動(dòng)不大于所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)的視場(chǎng)。
11.權(quán)利要求4的監(jiān)視系統(tǒng)，其中，所述組合變換將所述幀到所述已更新瞬態(tài)幀的已更新瞬態(tài)變換、所述已更新瞬態(tài)幀到先前瞬態(tài)幀的變換和所述先前瞬態(tài)幀到所述基礎(chǔ)幀的變換進(jìn)行組合。
12.—種管理監(jiān)視系統(tǒng)的方法，包括: 處理器接收多個(gè)視頻幀中的幀； 所述處理器確定瞬態(tài)變換，所述瞬態(tài)變換將所述幀變換到得自于瞬態(tài)幀的相關(guān)瞬態(tài)坐標(biāo)系; 所述處理器確定基礎(chǔ)變換，所述基礎(chǔ)變換將所述瞬態(tài)坐標(biāo)系變換到得自于基礎(chǔ)幀的基礎(chǔ)坐標(biāo)系； 所述處理器確定將所述瞬態(tài)變換和所述基礎(chǔ)變換進(jìn)行組合的組合變換；以及 所述處理器對(duì)所述 幀執(zhí)行所述組合變換。
13.權(quán)利要求12的方法，還包括所述處理器從所述幀提取特征。
14.權(quán)利要求13的方法，其中，所述瞬態(tài)變換將所述幀中的特征變換為瞬態(tài)幀中的特征。
15.權(quán)利要求12的方法，其中，在所述監(jiān)視系統(tǒng)用所述幀進(jìn)行的操作期間更新所述瞬態(tài)幀。
16.權(quán)利要求15的方法，其中，基于偏置檢測(cè)將所述幀選擇為已更新瞬態(tài)幀。
17.權(quán)利要求12的方法，其中，在所述監(jiān)視系統(tǒng)的設(shè)立階段期間確定所述基礎(chǔ)幀變換。
18.權(quán)利要求12的方法，其中，所述瞬態(tài)變換修正諸如支柱震動(dòng)之類的高頻效應(yīng)。
19.權(quán)利要求12的方法，其中，所述基礎(chǔ)幀變換修正諸如熱變化之類的較緩慢作用的效應(yīng)。
20.權(quán)利要求12的方法系統(tǒng)，其中，所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)被附接于靜態(tài)結(jié)構(gòu)，所述靜態(tài)結(jié)構(gòu)經(jīng)歷環(huán)境引起的移動(dòng)，所述環(huán)境引起的移動(dòng)不大于所述一個(gè)或多個(gè)照相機(jī)中的至少一個(gè)的視場(chǎng)。`
【文檔編號(hào)】G06T7/20GK103827921SQ201280047576
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2012年9月19日 優(yōu)先權(quán)日:2011年9月30日
【發(fā)明者】L.斯特里內(nèi), A.博比克, J.布拉格 申請(qǐng)人:西門(mén)子工業(yè)公司