專利名稱：用于視頻攝像機的圖像穩(wěn)定系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像機穩(wěn)定系統(tǒng)，更具體地，涉及抵消多余的和異常的圖像移動的攝像機穩(wěn)定系統(tǒng)。
背景技術(shù)：
有眾多已知的視頻監(jiān)視系統(tǒng)可用于跟蹤如人或車輛這樣的移動對象。有些這種系統(tǒng)使用具有固定視野(FOV)的固定攝像機。然而，為了利用固定攝像機系統(tǒng)完全覆蓋指定的監(jiān)視地點，常常必須使用大量固定攝像機。
可搖攝、傾斜和/或變焦(zoom)的可移動攝像機也可以用于跟蹤物體。PTZ(搖攝、傾斜、變焦)攝像機系統(tǒng)的使用通常將減少用于指定監(jiān)視地點的攝像機數(shù)量并且還因此減少視頻源(video feeds)的數(shù)量和成本，以及系統(tǒng)集成硬件，例如與之相關(guān)聯(lián)的多路復(fù)用器和轉(zhuǎn)換器。用于指示搖攝、傾斜、變焦移動的控制信號通常來源于通過操縱桿進行操作的操作者或者來源于自動視頻跟蹤系統(tǒng)。
問題是，除了由于PTZ控制信號而導(dǎo)致的有意地移動，攝像機還會由于例如空氣運動或者固定支架的擺動這樣的外力而無意地移動。無意的攝像機移動通常導(dǎo)致“跳動的”視頻圖像，因此不利于觀察。
在該技術(shù)中需要能夠穩(wěn)定圖像以補償攝像機的無意移動的視頻系統(tǒng)。
發(fā)明內(nèi)容
本發(fā)明提供一種視頻圖像穩(wěn)定系統(tǒng)，其具有用于捕獲比在屏幕上顯示的相關(guān)圖像更大的圖像的攝像機。該系統(tǒng)可以補償無意的攝像機移動，即，基于攝像機視野中有意的改變和對兩個所捕獲圖像的分析，通過調(diào)整所選擇的用于顯示的一部分圖像的相對位置，從顯示的圖像中消除跳動。
跟蹤算法可以命令處理器密集型的角點匹配例行程序以確保正在為對象移動跟蹤比較正確的視頻。為了釋放處理器資源以獲得更好的跟蹤速度，本發(fā)明提供了一種將正在被分析的視頻幀與實際的搖攝、傾斜和變焦位置進行匹配的方法。本發(fā)明提供了一種系統(tǒng)方法和體系結(jié)構(gòu)，其使得數(shù)字信號處理器中的圖像內(nèi)容分析引擎能夠使用與PTZ攝像機相結(jié)合的幀精確位置數(shù)據(jù)來代替角點匹配例行程序。本發(fā)明還使得在消除搖攝和傾斜數(shù)據(jù)的報告時間的變化性時，與用于隱私遮蔽(privacy masking)應(yīng)用程序的主機處理器共享數(shù)據(jù)。本發(fā)明提供了一種在開放循環(huán)系統(tǒng)中確定幀精確位置數(shù)據(jù)的方法。
本發(fā)明提供了一種用于自動目標(biāo)跟蹤的穩(wěn)定系統(tǒng)，這里稱為“自動跟蹤器”，該自動跟蹤器使用從PTZ攝像機獲取視頻和攝像機控制信息的通用視頻處理平臺(VPP)。自動跟蹤器消除了對人通過操縱桿來跟蹤目標(biāo)的需要。因此也消除了人的跟蹤的相關(guān)問題，例如當(dāng)進行沉悶任務(wù)時容易疲倦，以及人沒有能力集中精力同時跟蹤二個或更多物體。通過在攝像機板的VPP上運行的軟件可以使自動跟蹤器穩(wěn)定。
實時穩(wěn)定的自動跟蹤器是使得能夠在運行自動化智能跟蹤器的同時減少如抖動這樣的不規(guī)則全局移動影響的技術(shù)。在本應(yīng)用中，當(dāng)其移動時，即搖攝、傾斜和變焦時，使用球頂攝像機(dome camera)對擺動是非常敏感的，并且取決于傳感器的大小和鏡頭的焦距。如果沒有穩(wěn)定性，那么如果球頂攝像機有擺動，則自動跟蹤器可能產(chǎn)生不適合查看的顯示。另外，沒有預(yù)先準(zhǔn)備的長期的全局攝像機移動的保存以保持圖像內(nèi)容。
本發(fā)明使用連續(xù)移動在所有方向(搖攝/傾斜/變焦)上穩(wěn)定自動跟蹤器。自動球頂攝像機的這個特征消除了與沒有穩(wěn)定性的自動跟蹤器系統(tǒng)相關(guān)聯(lián)的負面影響，由此導(dǎo)致更加自然的視頻移動。
本發(fā)明提供可與自動跟蹤器一起使用的穩(wěn)定系統(tǒng)；用于PTZ攝像機的獨立的嵌入式視頻內(nèi)容分析(VCA)平臺，而不是基于PC的平臺；連續(xù)穩(wěn)定引擎，該引擎產(chǎn)生合意的監(jiān)視系統(tǒng)顯示，而不是產(chǎn)生不適合觀看的非穩(wěn)定系統(tǒng)；一種允許獲得非固定圖像的方法，與請求獲取穩(wěn)定的圖像相對；一種使得能夠同時地進行完全自動化的穩(wěn)定和實時的目標(biāo)跟蹤的方法。
本發(fā)明包括，以其中的一種形式，視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包括具有用于捕獲視頻圖像的視頻捕獲設(shè)備的攝像機。該攝像機具有可選擇性地調(diào)整的視野。與該攝像機可操作地相連的處理設(shè)備，接收表示攝像機視野的信號和由攝像機捕獲的圖像。該處理設(shè)備確定視頻圖像的穩(wěn)定性調(diào)整，作為在捕獲第一圖像和第二圖像之間的時間間隔期間的攝像機視野的無意改變的函數(shù)。該確定是基于表示視野的信號以及對第一圖像和第二圖像的分析。
本發(fā)明包括另一種形式的視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包含具有用于捕獲圖像的圖像捕獲設(shè)備的視頻攝像機。每個捕獲的圖像與視野相關(guān)。攝像機具有至少一個可選擇性地調(diào)整的參數(shù)。調(diào)制至少一個攝像機參數(shù)會改變攝像機的視野。顯示設(shè)備顯示由攝像機捕獲的圖像的所選擇的部分。處理設(shè)備被可操作地連接到攝像機和顯示設(shè)備。該處理設(shè)備接收由攝像機捕獲的圖像。該處理設(shè)備用于跟蹤圖像中的對象的移動，并且通過調(diào)整由顯示設(shè)備顯示的所選擇的部分圖像來補償視頻攝像機的無意的移動。該調(diào)整是基于攝像機參數(shù)和圖像的分析。
本發(fā)明的另一種形式包括穩(wěn)定視頻圖像的方法，該方法包括用視頻攝像機捕獲多個圖像。識別一個對象在第一捕獲圖像和第二捕獲圖像中的每一個中的位置。在捕獲第一圖像和捕獲第二圖像之間的時間間隔中調(diào)整攝像機的視野。顯示第一捕獲圖像和第二捕獲圖像的所選擇的顯示部分。每個圖像的所選擇的顯示部分比全部的捕獲圖像小。調(diào)整步驟和/或顯示步驟依賴于識別步驟?；谡{(diào)整步驟以及對第一和第二捕獲圖像的分析來確定第二捕獲圖像的穩(wěn)定性調(diào)整。穩(wěn)定性調(diào)整包括在第二捕獲圖像中調(diào)整所選擇的顯示部分的相對位置。
本發(fā)明的另一種形式包括穩(wěn)定視頻圖像的方法，該方法包括用視頻攝像機捕獲多個圖像。跟蹤圖像中物體的移動。通過使用控制信號來改變攝像機的視野。顯示多個圖像中的每一個的所選擇的部分。改變步驟和/或顯示步驟依賴于跟蹤步驟。為多個圖像中的至少一個調(diào)整顯示的所選擇的部分。調(diào)整步驟補償視頻攝像機的無意移動并且是基于攝像機有意的視野和圖像分析。
本發(fā)明的優(yōu)點是提供了穩(wěn)定的視頻圖像，其限制或消除由攝像機的無意移動而產(chǎn)生的使人分心和不舒服的效果。
本發(fā)明的另一個優(yōu)點是使得當(dāng)攝像機在移動時獲得的圖像保持穩(wěn)定。因此，即使在攝像機在主動地和有目的地改變它的視野，本發(fā)明仍然可以補償攝像機的搖攝、傾斜、變焦的無意運動，例如支持臂震動引起的運動或者在攝像機機架上的風(fēng)的影響引起的運動。
附圖簡述 通過下面的結(jié)合附圖對本發(fā)明實施例的描述，本發(fā)明的上述以及其他特征和目的，以及實現(xiàn)它們的方式，將變得更加清楚并且本發(fā)明自身將變得更容易理解，其中
圖1是根據(jù)本發(fā)明的視頻監(jiān)視系統(tǒng)的示意圖； 圖2是說明在圖1的攝像機視野中的改變以及由攝像機捕獲的合成圖像的示意圖； 圖3是圖2中捕獲的圖像的一部分的示意圖； 圖4是圖1中處理設(shè)備的框圖； 圖5是表示圖1中的視頻監(jiān)視系統(tǒng)的操作的一個實施例的流程圖； 圖6是用于二個圖像的分析的頻率分布圖； 圖7是本發(fā)明的視頻圖像穩(wěn)定系統(tǒng)的一個實施例的框圖； 圖8是本發(fā)明的穩(wěn)定的自動跟蹤器方法的一個實施例的流程圖； 圖9是本發(fā)明的穩(wěn)定算法的一個實施例的數(shù)據(jù)流圖； 圖10是本發(fā)明的移動檢測方法的一個實施例的流程圖。
在多個視圖中，相應(yīng)的參考符號指示相應(yīng)的部分。盡管在此展示的范例說明了本發(fā)明的實施例，但是以一種形式在下面公開的實施例并不是用于徹底地或者構(gòu)造為將本發(fā)明的范圍限制到所公開的精確形式。
具體實施例方式 根據(jù)本發(fā)明，圖1中顯示了視頻監(jiān)視系統(tǒng)20。系統(tǒng)20包括位于部分為球型的外殼24中并安置在支架25上的攝像機22。固定支架25可以具有多種形式，例如從建筑物外部邊緣延伸出的向外延伸的支撐臂，該建筑物可以使支撐的攝像機遭受由風(fēng)、攝像機電動機產(chǎn)生的振動、附近機械運動或者各種其他原因而導(dǎo)致的無意的移動。對外殼24進行著色，以使得攝像機能獲取外殼24以外的環(huán)境的圖像，同時防止在該環(huán)境中的被攝像機22觀察的個體確定攝像機22的方向。攝像機22包括用于攝像機22的搖攝、傾斜和焦距調(diào)整的控制器和電動機。攝像機22的搖攝移動由箭頭26表示，攝像機22的傾斜移動由箭頭28表示，并且由箭頭30表示攝像機22的鏡頭23的焦距的變化，即變焦。如參考坐標(biāo)系21所示，搖攝移動可以跟蹤沿著x軸的移動，傾斜移動可以跟蹤沿著y軸的運動，并且焦距調(diào)整可以用于跟蹤沿著z軸的移動。在所說明的實施例中，攝像機22和外殼24可以是Philips AutoDomeCamera System牌的攝像機系統(tǒng)，例如G3或G4AutoDome攝像機和外殼，可以從前身為Philips Communication，Security & Imaging公司的Bosch Security Systems公司獲得，該公司在賓夕法尼亞州(Pennsylvania)的蘭開斯特市(Lancaster)擁有商業(yè)場所。G3或G4 AutoDome攝像機的基礎(chǔ)、高級或其他型號都適合與本發(fā)明一起使用。由Sergeant等通過名為“Surveillance CameraSystem”的美國專利No.5,627,616描述了適合與本發(fā)明一起使用的攝像機，通過參考將其包含在此。
系統(tǒng)20還包括頭端單元32。頭端單元32可以包括視頻信號轉(zhuǎn)換開關(guān)或視頻信號多路復(fù)用器33。例如，頭端單元可以包括Allegiant牌的視頻信號轉(zhuǎn)換開關(guān)，可以從賓夕法尼亞州(Pennsylvania)蘭開斯特市(Lancaster)的，前身為Philips Communication，Security & Imaging公司的Bosch Security Systems公司獲得，例如LTC 8500系列的Allegiant視頻信號轉(zhuǎn)換開關(guān)，該視頻信號轉(zhuǎn)換開關(guān)提供了最多64個攝像機的輸入并且可以配備8個獨立鍵盤和8個監(jiān)視器。頭端單元32包括用于操作者輸入的鍵盤34和操縱桿36。頭端單元32還包括用于由操作者進行觀察的監(jiān)視器38形式的顯示設(shè)備。提供了24伏的a/c電源，從而為攝像機22以及與攝像機22和頭端單元32可操作地相連的處理設(shè)備50供電。
舉例說明的系統(tǒng)20是單獨的攝像機應(yīng)用，然而，本發(fā)明可以用于更大的具有附加攝像機的監(jiān)視系統(tǒng)，以覆蓋更大或更復(fù)雜的監(jiān)視區(qū)域，附加攝像機既可以是固定的也可以是移動的攝像機或它們的組合。一個或更多VCR或者其它形式的模擬或數(shù)字記錄設(shè)備也可以與頭端單元32相連，以記錄由系統(tǒng)中的攝像機22和其他攝像機捕獲的視頻圖像。
現(xiàn)在，參考圖2和圖3討論構(gòu)成根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)d操作基礎(chǔ)的一般概念。攝像機22包括圖像捕獲設(shè)備，例如獲得了由電荷耦合器件(CCD)圖像邊界82定義的四邊CCD視頻圖像80的CCD。處理設(shè)備50識別或選擇在用于由系統(tǒng)20的操作者進行觀察的監(jiān)視器38的屏幕上顯示的CCD圖像80的中心部分。更具體地，處理設(shè)備50識別由顯示圖像邊界86定義的顯示圖像84，用于在監(jiān)視器38的屏幕上觀察。在一個實施例中，CCD視頻圖像的所選部分，即顯示圖像84包括CCD視頻圖像的大約60％到90％之間。在優(yōu)選實施例中，CCD圖像80可以比由顯示圖像邊界86定義的顯示圖像84大大約30％。換言之，在優(yōu)選實施例中，大約23％的CCD圖像80沒有顯示在監(jiān)視器38的屏幕上。然而，為了方便說明，在圖2中的CCD圖像80比圖像84大約大100％到200％。如以下詳述，通過使用比CCD圖像小的顯示圖像，處理設(shè)備50可以調(diào)整為順序獲取的圖像定義了與整個CCD圖像相關(guān)的顯示圖像的邊界的位置，以抵消支撐臂振動的影響和攝像機的其他無意移動。
在一段時間之后，改變攝像機22的視野(FOV)以獲取第二四邊CCD圖像88。第二CCD圖像邊界90定義了CCD圖像88的界限。圖2示意性地說明了由攝像機22獲取的兩個具有不同視野的圖像80，88以及二個圖像重疊的范圍。
攝像機22視野的改變可以是因為攝像機22的有意和無意的移動而引起的。攝像機22的有意移動可以是由從頭端單元32發(fā)送到攝像機22的搖攝、傾斜和變焦控制信號而引起的。即，可以通過使用控制信號來改變攝像機22的視野。攝像機22的任何無意的移動可以是由諸如空氣運動或支撐臂振動這樣的外力而引起的。
通過處理設(shè)備50識別由中間的、未調(diào)整的顯示圖像邊界94定義的，來自CCD圖像88的中間的未調(diào)整的顯示圖像92，但是不會在監(jiān)視器38的屏幕上顯示其。未調(diào)整的顯示圖像92包括與包含在顯示圖像84中的部分CCD圖像80對應(yīng)的一部分CCD圖像88。即，顯示圖像92與CCD圖像邊界90的相對位置和顯示圖像84與CCD圖像邊界82的相對位置相同，對于顯示圖像84和92來說，顯示圖像邊界和相應(yīng)的CCD圖像邊界之間的距離大致相等。例如，顯示圖像84和92中的每一個位于它們相應(yīng)的CCD圖像80，88的中心。
圖2和圖3示意性地說明了由攝像機22獲取的二個圖像以及就這二個圖像而言，攝像機的有意移動、攝像機的實際移動與攝像機的無意移動之間的影響和關(guān)系。在這些圖像的每一個中識別共同的固定特征96以闡明發(fā)生在二個圖像的獲取之間的FOV的相對移動。在圖2中的實線和虛線中都顯示了相同的固定特征96以指示特征96在CCD圖像80和CCD圖像88中都存在。圖2中示意性地表示了相對于CCD圖像邊界82，90的特征96的實際水平平移ΔP(通常對應(yīng)于攝像機22的搖攝移動)和垂直平移ΔT(通常對應(yīng)于攝像機22的傾斜移動)，其實際上發(fā)生在獲取二個CCD圖像80，88之間的期間中。
在圖2中，描述了相對于固定特征96的CCD圖像80和88的位置。如圖2所示，圖像80和88重疊了相當(dāng)大的范圍，但是攝像機22的視野已經(jīng)在CCD圖像80到最近捕獲的CCD圖像88之間發(fā)生改變。圖3中更好地顯示了攝像機22的FOV的改變，其中由于在無需為圖像穩(wěn)定的目的來調(diào)整顯示圖像的邊界86，94的情況下，他們將連續(xù)出現(xiàn)在監(jiān)視器38的屏幕上，顯示圖像84，92是相互重疊的，。
相對于顯示圖像邊界86，94的，特征96的垂直(即傾斜方向)的位置改變ΔT以及水平(即搖攝方向)的位置改變ΔP表示攝像機22的垂直(傾斜)移動和水平(搖攝)移動，這些移動發(fā)生在通過攝像機22捕獲CCD圖像80和88之間，并且和相對于CCD圖像邊界82和90的特征96的位置的改變相等。
換言之，ΔT等于垂直距離v0和v1之間的差，垂直距離v0和v1分別為特征96與顯示圖像邊界86和94的相應(yīng)水平邊界之間的距離。即，ΔT＝|v0-v1|。相似地，ΔP等于水平距離h0和h1之間的差，水平距離h0和h1分別為特征96與顯示圖像邊界86和94的相應(yīng)垂直邊界之間的距離。即，ΔP＝|h0-h1|。或者，可以認為ΔT等于垂直距離v2和v3之間的差，垂直距離v2和v3分別為特征96與CCD圖像邊界82和90的相應(yīng)水平邊界之間的距離。即，ΔT＝|v2-v3|。相似地，ΔP等于水平距離h2和h3之間的差，水平距離h2和h3分別為特征96與CCD圖像邊界82和90的相應(yīng)垂直邊界之間的距離。即，ΔP＝|h2-h3|。
基于對二個CCD圖像80，88的內(nèi)容的分析，通過處理設(shè)備50來確定ΔT和ΔP的值?？捎糜趯R或?qū)?zhǔn)具有重疊內(nèi)容的二個圖像的匹配技術(shù)在本技術(shù)領(lǐng)域是眾所周知的，并且被廣泛用于各種計算機版本和視頻處理應(yīng)用程序。二個著名的方法是標(biāo)準(zhǔn)化的基于相互關(guān)系的模板匹配(correlation-based template matching)和特征匹配。例如，固定對象的識別，例如可以使用特征匹配方法來識別二個圖像中的固定對象，例如特征96。一個著名的識別視頻圖像中的特征的方法是角點檢測方法(comer detection method)，該方法分析圖像以識別圖像中的位置，或角點，在這些位置或角點，在鄰近象素的亮度級別方面，有相對明顯的改變。然后在二個分開的圖像中比較和匹配這些角點。
盡管這種特征匹配方法可以在本發(fā)明中使用，但是舉例說明的實施例使用了一種模板匹配方法來代替其。在本技術(shù)領(lǐng)域已知多種模板匹配方法。二個著名的模板匹配方法是差的平方和方法以及標(biāo)準(zhǔn)化交叉相關(guān)方法。差的平方和方法通常依賴于下面的數(shù)學(xué)關(guān)系式 其中E是總誤差，I是圖像，M是模型模板，(x，y)是模型圖像坐標(biāo)，并且(x’，y’)是變換的圖像坐標(biāo)。為了對齊二個圖像，使總誤差E最小化。在圖2的例子中，第一顯示圖像84對應(yīng)于模型模板M，x和x’之間的差對應(yīng)于ΔP并且y和y’之間的差對應(yīng)于ΔT。由移動模型定義變換的圖像坐標(biāo)和模型圖像坐標(biāo)之間的關(guān)系?？梢允褂貌煌囊苿幽Ｐ筒⑶胰缦滤镜姆律渥儞Q對旋轉(zhuǎn)、剪切，和平移進行了建模 本移動模型(2)需要至少三個在當(dāng)前圖像(第二CCD圖像88)和模型圖像(第一顯示圖像84)之間的點對。
盡管差的平方和方法可以在本發(fā)明中使用，舉例說明的實施例使用標(biāo)準(zhǔn)化交叉相關(guān)算法來代替其。使用交叉相關(guān)系數(shù)的模板匹配是基于歐幾里德距離(Euclidean distance)的平方 其中f是圖像，例如第二CCD圖像88，并且在窗口(window)下的x，y上求總和，例如第一顯示圖像84，包含位于(u，v)的特征t。d2的展開式為 項∑t2(x-u，y-v)是常數(shù)。如果項∑f2(x，y)近似為常數(shù)，那么在圖像和特征之間的相似度的測量由剩余的交叉相關(guān)項提供 然而，使用該項用于模板匹配有幾個缺點，通常使用相關(guān)系數(shù)來代替。相關(guān)系數(shù)可以通過將圖像和特征矢量標(biāo)準(zhǔn)化到單位長度來獲得，給定 其中t是特征的平均值并且fu，w是特征下的區(qū)域中的f(x，y)的平均值。本關(guān)系，對于本技術(shù)領(lǐng)域中具有普通技術(shù)的技術(shù)人員來講是已知的，通常稱作標(biāo)準(zhǔn)化交叉相關(guān)。通過將第一顯示圖像84和第二CCD圖像88之間的標(biāo)準(zhǔn)化相關(guān)(normalized correlation)最大化，處理設(shè)備50可以確定ΔT和ΔP的值。
除了確定視野的實際改變以外，如由ΔT和ΔP所指示的，如果在攝像機22的視野(FOV)方面有任何有意的改變，則處理設(shè)備50還確定有意的改變。在圖2中，在FOV中的、在垂直(傾斜)和水平(搖攝)方向的有意的改變分別對應(yīng)于ΔTI和ΔPI。例如，當(dāng)攝像機有意搖攝或傾斜時，將改變攝像機的FOV。在圖2中，攝像機的FOV中的有意改變對應(yīng)于ΔTI和ΔPI，其中ΔTI是與攝像機22的有意傾斜相對應(yīng)的垂直圖像距離，并且ΔPI是與攝像機22的有意的搖攝相對應(yīng)的水平圖像距離。
在舉例說明的實施例中，攝像機22將關(guān)于攝像機22的搖攝，傾斜和變焦位置的基于幀的同步信息以及由攝像機22獲取的每個圖像發(fā)送給處理設(shè)備50。如果攝像機22在搖攝、傾斜和變焦位置上有任何有意的改變，也就是ΔTI和ΔPI在數(shù)量和方向上有任何有意的改變，那么處理設(shè)備50使用與二個圖像80，88中的每一個相關(guān)聯(lián)的搖攝，傾斜和變焦設(shè)置來確定該有意的改變。
在FOV中的有意的改變也可以通過其他方法來確定。例如，處理設(shè)備50可以分析發(fā)送給攝像機22的搖攝、傾斜和變焦控制信號來確定FOV的有意的改變。這樣的控制信號可以由頭端單元32發(fā)起，例如由于操縱桿36的人工操作，以及直接地或通過攝像機22被發(fā)送到處理設(shè)備50?；蛘撸瑪z像機控制信號可以發(fā)源于處理設(shè)備50，例如由自動入侵者跟蹤程序產(chǎn)生的攝像機控制信號?；蛘?，攝像機控制信號可以來自其他來源并且被傳送到處理設(shè)備50，或者處理設(shè)備50可以通過分析從系統(tǒng)20匯集的其他數(shù)據(jù)來確定在顯示圖像中的有意的改變。
一旦已知由ΔT和ΔP表示的攝像機的FOV的實際的改變，以及由ΔTI和ΔPI表示的攝像機的FOV的有意的改變，就可以確定在垂直(傾斜)和水平(搖攝)方向上或者在其中一個方向上是否存在任何無意的移動。值ΔTE和ΔPE代表二個連續(xù)圖像的FOV的實際改變(ΔT和ΔP)與FOV的有意改變(ΔTI和ΔPI)之間的差，即由于攝像機22的無意移動而引起的FOV的改變。處理設(shè)備50基于ΔTE和ΔPE的值，通過調(diào)整顯示圖像在CCD圖像內(nèi)的相對位置來補償這種攝像機22的無意移動。在圖2中，由調(diào)整過的顯示邊界100定義的調(diào)整后的顯示圖像98將在監(jiān)視器38的屏幕上顯示。
當(dāng)發(fā)送圖像到用于在監(jiān)視器38的屏幕上顯示的頭端單元32時，處理設(shè)備50可以修剪圖像并且僅轉(zhuǎn)發(fā)所選的顯示圖像部分，例如顯示圖像84，98，或者可以連同顯示圖像邊界(例如顯示邊界86，100)的坐標(biāo)一起轉(zhuǎn)發(fā)全部CCD圖像，例如CCD圖像80，88。
只要全部調(diào)整后的顯示圖像98在CCD圖像88上是可獲得的，那么調(diào)整后的顯示圖像98就可以在監(jiān)視器38的屏幕上顯示。視頻圖像的所選部分的外邊界，即顯示圖像邊界，以及CCD視頻圖像的外邊界由全部四邊上的邊沿空白部分分開。因此，顯示圖像的調(diào)整限于相應(yīng)的邊沿空白部分的寬度。即，可以在CCD圖像中重新定位的顯示圖像的范圍受限于對應(yīng)于顯示圖像和CCD圖像之間的尺寸差的閾值?？梢曰陬A(yù)期的震動幅度和監(jiān)視攝像機將遭受的其他無意的移動來選擇邊沿空白部分的尺寸。
本發(fā)明的關(guān)鍵特征是，其不僅在攝像機靜止時穩(wěn)定顯示圖像，而且在調(diào)整攝像機的FOV時仍然穩(wěn)定顯示圖像。如上所述，除了攝像機22的可調(diào)整的搖攝和傾斜角度外，攝像機22還具有可調(diào)整的變焦設(shè)置。前面關(guān)于確定ΔT和ΔP；ΔTI和ΔPI；以及ΔTE和ΔPE的討論沒有專門解釋涉及攝像機22的變焦設(shè)置中的改變的FOV的改變的情況，即除了攝像機的搖攝或傾斜移動外，攝像機22的鏡頭的焦距的改變。攝像機22或支撐攝像機22的結(jié)構(gòu)的震動不可能導(dǎo)致攝像機22的變焦設(shè)置的無意改變。因此，假設(shè)從攝像機22發(fā)送到處理設(shè)備50的變焦設(shè)置是正確的。
然而，在獲取圖像80，88之間的變焦設(shè)置中的有意的和精確的改變將通過改變圖像80，88的內(nèi)容的相對尺寸來影響圖像穩(wěn)定處理?；蛘弑景l(fā)明的實施例可以以另一種方式處理這種在攝像機22的變焦設(shè)置中的改變。最簡單的方法是只有在由處理設(shè)備50分析的二個連續(xù)的圖像具有相同的變焦設(shè)置時才執(zhí)行圖像穩(wěn)定處理。當(dāng)攝像機22的焦距實際上改變時，本方法將掛起圖像穩(wěn)定處理的操作。對于其中攝像機的焦距發(fā)生相對較少的改變或者其中攝像機不包含可調(diào)整的焦距這樣的應(yīng)用，本方法不會明顯降低圖像穩(wěn)定系統(tǒng)的價值。此外，當(dāng)焦距實際上正在改變時，圖像正在經(jīng)歷顯而易見的變換，該變換通常是短暫的，而且其中微小的無意的圖像平移將不會像攝像機靜止時或者進行搖攝和/或傾斜移動時那么令人迷惑。
也可以在攝像機22的焦距正在改變時繼續(xù)執(zhí)行圖像穩(wěn)定處理。如果采用該方法，那么至少正在比較的二個圖像(即第一和第二CCD圖像80，88)中的一個必須被變換以使得能夠以共同的比例描繪在每個圖像中描繪的物體并且可以對準(zhǔn)這些物體。為了實現(xiàn)這一點，可以使用幾何變換來修改在圖像中的每個象素的位置。另一種考慮的方法是基于攝像機的移動，看作所有象素從一個位置移動到一個新位置。在名為“Motion-Based Tracking With Pan-Tilt-Zoom Camera”的美國專利申請公開No.2002/0167537A1中，由Trajkovic討論了一種方法，用于變換第一圖像以將其與第二圖像對準(zhǔn)，其中在獲取二個圖像之間調(diào)整攝像機，通過參考將該專利申請公開包含在此。
在不同焦距下獲取的連續(xù)圖像的對準(zhǔn)需要圖像的平移和縮放以及旋轉(zhuǎn)，以將圖像與前一個圖像對準(zhǔn)。在三種操作中，平移是最簡單的。彎曲(warping)，其中每個象素經(jīng)歷通常的用戶指定的變換的處理，在執(zhí)行進一步處理之前，該過程是必須的以減少、擴大，或者修改圖像標(biāo)準(zhǔn)化其尺寸。通過這種幾何操作產(chǎn)生的圖像是原來圖像的近似圖像。二個圖像(當(dāng)前圖像，例如I1和參考圖像，例如I2)之間的映射，定義如下 p’＝sQRQ-1p＝Mp(7) 其中p和p’表示在第一圖像和第二圖像中的相同世界點(world point)的對應(yīng)圖像坐標(biāo)，s表示比例圖像(其對應(yīng)于攝像機的焦距)，Q是內(nèi)部攝像機校準(zhǔn)矩陣，R是在二個攝像機位置之間的旋轉(zhuǎn)矩陣。
或者，二個連續(xù)圖像中的靜止世界點的圖像投影坐標(biāo)p和p’(即象素位置(x，y)和(x’，y’))之間的關(guān)系可以寫成 其中mij3×3是將第一圖像映射(對準(zhǔn))到第二圖像的單應(yīng)矩陣(homography matrix)M。
在這種圖像對準(zhǔn)中的主要任務(wù)是確定矩陣M。從等式(7)，可以清楚看出，如果已知s，Q和R，則理論上可以直接確定矩陣M。然而，實際上s，Q和R的精確值通常是未知的。等式(7)還假設(shè)攝像機中心和旋轉(zhuǎn)中心是相同的，這通常僅僅是近似正確。然而，對于提供圖像穩(wěn)定性來講，該假設(shè)可以是足夠精確的。在舉例說明的實施例中，攝像機22在圖像同步的基礎(chǔ)上提供數(shù)據(jù)，即用于確定R的搖攝和傾斜值以及用于確定s的變焦值，以及發(fā)送給處理設(shè)備50的每個圖像。
使用該圖像特定的數(shù)據(jù)，可以使用上述單應(yīng)方法來執(zhí)行一個圖像的平移，旋轉(zhuǎn)和縮放以將該圖像與第二圖像對準(zhǔn)。在本方法中，平移是沿著x或y方向的移動多個象素的象素移動。正平移是沿著行或列索引增加的方向，負平移相反。正方向的平移將行或列添加到圖像的頂端或左邊，直到達到需要的增加量。圖像旋轉(zhuǎn)是相對于坐標(biāo)原點執(zhí)行的，被限定在移動的原點并且被指定了一個角度。對一個圖像縮放的意思是按照指定的因子使其變大或變小?？梢允褂孟旅娴年P(guān)系式來近似表示這種平移、旋轉(zhuǎn)和縮放 x′＝s(xcosα-ysinα)+tx y′＝s(ysinα+xcosα)+ty (10) 其中 s是縮放(變焦)因子。
α是關(guān)于坐標(biāo)原點的旋轉(zhuǎn)角度； tx是x方向的平移； ty是y方向的平移； 通過引入新的獨立變量a1＝s cos α和a2＝s sin α，等式(10)變?yōu)? x′＝a1x-a2y+tx y′＝a2x+a1y+ty(11) 在確定a1，a2，tx，ty后，可以對準(zhǔn)二個圖像I1和I2。如果使用從攝像機直接獲得的變焦，搖攝和傾斜的值來獲得上述值，那么tx，ty將與ΔPI和ΔTI相對應(yīng)。如果轉(zhuǎn)換的圖像顯示全局圖像移動并且未通過本處理正確地對準(zhǔn)，那么已出現(xiàn)無意的移動并且可以使用標(biāo)準(zhǔn)化交叉相關(guān)來確定這些轉(zhuǎn)換圖像的ΔPE和ΔTE的值。
圖4示意性地顯示了處理設(shè)備50的硬件體系結(jié)構(gòu)。在舉例說明的實施例中，處理設(shè)備50包括與電源/IO板66通信的系統(tǒng)控制板64。電力線42連接電源40與轉(zhuǎn)換器52，以提供電力給處理設(shè)備50。處理設(shè)備50通過視頻線44從攝像機22接收原始模擬視頻供給，并且視頻線路45用于將視頻圖像傳送到頭端單元32。在舉例說明的實施例中，視頻線44，45是1Vp-p，75歐姆同軸電纜并且包括BNC(同軸電纜接插件)連接器，以用于與處理設(shè)備50接合。由攝像機22提供的視頻圖像可以是模擬的并且符合NTSC或PAL標(biāo)準(zhǔn)。當(dāng)處理設(shè)備50處于未激活狀態(tài)，即關(guān)閉狀態(tài)時，來自攝像機22的視頻圖像可以通過模擬視頻線路54，模擬電路68，模擬視頻線路70以及通信插件板72，穿過處理設(shè)備50到達頭端單元32。板72可以是能夠處理雙相信號并且包含同軸消息集成電路(COMIC)的標(biāo)準(zhǔn)通信板，用于允許在視頻鏈路上進行雙向通信。
通過另一個模擬視頻線路56，一個模擬到數(shù)字轉(zhuǎn)換器58從攝像機22接收視頻圖像并且將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號。在數(shù)字視頻信號被存儲在SDRAM 60形式的緩沖器中之后，將數(shù)字化的視頻圖像傳遞到視頻內(nèi)容分析數(shù)字信號處理器(VCADSP)62。以上參考圖2和圖3描述的視頻穩(wěn)定算法是在VCADSP 62中執(zhí)行的。將調(diào)整后的顯示圖像到數(shù)字到模擬轉(zhuǎn)換器74，其中視頻信號被轉(zhuǎn)換為模擬信號。通過模擬視頻線路76和70將得到的帶注釋的模擬視頻信號發(fā)送到通信插件板72，然后該通過視頻線路45將該信號發(fā)送到頭端單元32。
在舉例說明的實施例中，到系統(tǒng)控制板64的視頻輸入被限制為1Vp-p并且如果視頻信號超過1Vp-p，則將被消減為1Vp-p。但是，具有更大或更小能力的其他實施例也可以與本發(fā)明一同使用。處理器62可以是TriMedia TM-1300可編程媒體處理器，可以從“PhilipsElectronics North America Corporation”獲得。在啟動時，處理器62加載引導(dǎo)裝入(bootloader)程序。然后該引導(dǎo)程序從例如閃存78這樣的存儲設(shè)備中將VCA應(yīng)用程序代碼拷貝到SDRAM 60中用于執(zhí)行。在舉例說明的實施例中，閃存78提供1兆字節(jié)的存儲器以及SDRAM60提供8兆字節(jié)的存儲器。由于在啟動之后來自閃存78的應(yīng)用程序代碼被加載到SDRAM 60中，所以SDRAM 60剩余大約7兆字節(jié)存儲器用于存儲視頻幀。
在圖4所示的實施例中，通過雙相數(shù)字數(shù)據(jù)總線102、I2C數(shù)據(jù)總線104，和RS-232數(shù)據(jù)總線106將系統(tǒng)控制板64連接到通信插件板72。通過RS-232數(shù)據(jù)總線110將系統(tǒng)控制板64連接到RS-232/RS-485兼容收發(fā)器108。線路49可以是RS-232調(diào)試數(shù)據(jù)總線的形式，其將來自頭端單元32的信號發(fā)送到處理設(shè)備50。在線路49上的信號可以包括可以在發(fā)送到攝像機22之前由處理設(shè)備50修改的信號?？梢酝ㄟ^與微處理器112通信的線路48將該信號發(fā)送到攝像機22。微處理器112可以操作系統(tǒng)控制軟件并且還可以與VCA組件114進行通信。因此，例如VCA DSP 62這樣的VCA組件可以通過微處理器112和線路48向攝像機22發(fā)送信號。
系統(tǒng)控制板64還可以包括現(xiàn)場可編程門陣列116，該現(xiàn)場可編程門陣列116包含遮蔽存儲器(mask memory)118，字符存儲器(character memory)120，和屏幕上顯示(on screen display，OSD)存儲器122。相似地，VCA組件114可以包括遮蔽存儲器124，字符存儲器126，和OSD存儲器128。這些組件可以用于顯示在屏幕38上的圖像的各個部分或者用于生成屏幕38的文字顯示上。最后，系統(tǒng)控制板64可以包括用于存儲用戶設(shè)置的并行數(shù)據(jù)閃存130。
在舉例說明的實施例中，唯一由人類操作者輸入的傳達到處理設(shè)備50的必要指令是開/關(guān)指令，然而，甚至這些開/關(guān)指令在另一個實施例中也可以自動發(fā)出。通過雙向線路46在頭端單元32和攝像機22之間傳送這種開/關(guān)指令以及其他串行通信，并且通過線路48在處理設(shè)備50和攝像機22之間傳送這些開/關(guān)指令和其他串行通信。在舉例說明的實施例中，處理設(shè)備50裝備有金屬片外罩并且安裝在接近攝像機22的位置，然而，也可以使用其他方法和在其他位置安裝處理設(shè)備50。處理設(shè)備50還可以使用其他硬件體系結(jié)構(gòu)。這種硬件應(yīng)該可以運行軟件并且為了有好結(jié)果至少每秒處理大約5幀。還應(yīng)該注意的是，通過給處理設(shè)備50配備金屬片外罩方便了在PTZ攝像機上或附近安裝其，并且系統(tǒng)20可以由此提供不需要基于個人電腦的圖像穩(wěn)定系統(tǒng)的單獨的嵌入式平臺。但是，如果需要，還可以通過使用基于個人電腦的系統(tǒng)來利用本發(fā)明。
處理設(shè)備50可以執(zhí)行多種功能，包括捕獲由攝像機22獲取的視頻幀，識別圖像幀中的固定特征，基于發(fā)送到攝像機22或者從攝像機22接收到的信號來確定攝像機FOV中的有意的改變，識別固定特征并確定攝像機FOV中的實際的改變，比較攝像機FOV的有意的改變和實際的改變以確定由攝像機的無意移動而導(dǎo)致的圖像變化的幅度，以及選擇顯示圖像坐標(biāo)以抵消由攝像機的無意移動而導(dǎo)致的變化。處理設(shè)備50還可以用于執(zhí)行自動跟蹤功能。例如，處理設(shè)備50還可以提供自動跟蹤系統(tǒng)，其中處理設(shè)備50用于識別在攝像機FOV中的移動的目標(biāo)對象，然后生成控制信號，該控制信號調(diào)整攝像機的搖攝、傾斜和變焦設(shè)置以跟蹤目標(biāo)對象并將目標(biāo)對象保持在攝像機的FOV中。由于攝像機的搖攝、傾斜和變焦設(shè)置被自動調(diào)整以跟蹤目標(biāo)對象，因此通過利用根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)可以穩(wěn)定由系統(tǒng)顯示的圖像。由Sablak等人在2002年11月27日提交的，名為“VIDEOTRACKING SYSTEM AND METHOD”的美國專利申請No.10/306,509中描述了可以由系統(tǒng)20使用的自動跟蹤系統(tǒng)的例子，通過參考將其包含在此。根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)還可以用于穩(wěn)定圖像，其中，正在手動調(diào)整攝像機，例如通過操縱桿36的或其他應(yīng)用程序中的手動操作。
圖5提供了圖形化地說明由如上所述的系統(tǒng)20使用的視頻穩(wěn)定算法的實施例的一般邏輯的流程圖。如圖5中所示，在打開處理設(shè)備50之后，在步驟180，通過將應(yīng)用程序代碼從閃存78拷貝到SDRAM60用于執(zhí)行來進行初始化?？?82表示SDRAM 60的剩余存儲器，其可用做環(huán)形緩沖區(qū)(ring buffer)，以用于存儲視頻圖像幀和從攝像機22接收的并為處理器62的處理存儲的，與每個幀相關(guān)聯(lián)的數(shù)據(jù)。在確定框184，處理器62確定第一標(biāo)志是否為真。只有當(dāng)沒有來自攝像機22的圖像被載入SDRAM 60用于由處理器62執(zhí)行的分析時，第一標(biāo)志才為真。因此，當(dāng)處理設(shè)備50被打開時，首先遭遇確定框184，第一標(biāo)志將為真并且處理器62將進入框186。框186表示了由處理器62獲取二個圖像。然后處理器62進入框188，其中平滑濾波器被應(yīng)用于每個圖像。平滑濾波器的應(yīng)用涉及采用圖像的二個子采樣(sub-sampling)。第一子采樣步驟創(chuàng)建當(dāng)前I1和I2圖像的QCIF分辨率子采樣(即具有四分之一原始NTSC或PAL CIF分辨率圖像的分辨率的圖像)。子采樣處理將鄰近的象素聚合到一起以定義聚合的象素的平均值。子采樣處理的目的是減少分析圖像所涉及的計算處理所消耗的時間。然后，進行第一子采樣的第二子采樣，從而導(dǎo)致產(chǎn)生具有原始CIF分辨率圖像的分辨率的1/16的圖像，由此進一步增加圖像穩(wěn)定處理的速度。框190表示從攝像機獲取每個圖像的搖攝、傾斜和焦距(即變焦)的值(該數(shù)據(jù)表示有意的值并且包括搖攝和傾斜值的無意移動分量)。盡管框190顯示在圖像獲取之后的位置，但是搖攝、傾斜和變焦數(shù)據(jù)可以與圖像同時通過攝像機22發(fā)送到處理設(shè)備50。
隨后，框192表示使用當(dāng)前圖像的搖攝、傾斜和變焦值來計算用于旋轉(zhuǎn)和縮放的單應(yīng)矩陣。然后，在框194中，通過單應(yīng)來執(zhí)行圖像轉(zhuǎn)換以將第二圖像對準(zhǔn)到第一圖像。(如果在獲取二個圖像之間的時間間隔期間，沒有調(diào)整攝像機的搖攝、傾斜或變焦，那么就不需要圖像轉(zhuǎn)換。) 在框196，計算二個對準(zhǔn)的圖像的圖像差別以確定在圖像中是否出現(xiàn)任何移動。因此，在對準(zhǔn)圖像I1和I2之后，根據(jù)以下等式計算圖像差別Δ Δ＝|I2-I1| (12) 然后計算這些差的頻率分布圖。圖像的固定背景通常會導(dǎo)致生成頻率分布圖中的最大峰值。因此，如果最大峰值集中于零周圍，那么二個圖像的背景被對準(zhǔn)，并且在獲取二個圖像之間的間隔期間沒有出現(xiàn)任何無意的攝像機移動。如果是這種情況，處理返回到確定框184。如果在頻率分布圖中的最大峰值不集中于零周圍，那么這表示全局移動，即背景在移動。這被解釋為指示攝像機的無意移動，并且處理進入框198。還可能出現(xiàn)移動的圖像將定位于所獲取的圖像中。如果在圖像中出現(xiàn)這種移動對象，則頻率分布圖通常將具有與它關(guān)聯(lián)的二個峰值，一個對應(yīng)于背景，一個對應(yīng)于移動對象。如果是這種情況，那么假設(shè)圖像的背景比移動對象占據(jù)更多的圖像區(qū)域，以及最大峰值用于做出上述決定。換言之，評估頻率分布圖以確定頻率分布圖的最大峰值是否集中于零，其指示不存在無意的攝像機移動，或者最大峰值是否指示全局移動，表示存在無意的攝像機移動。例如，圖6示意性地描述圖像差別的頻率分布圖，其中第一位的峰值集中于零，表示沒有無意的攝像機移動，還包括第二位的峰值212，其不集中于零，因此表示在圖像中存在移動對象。
如果檢測到無意的攝像機移動并且系統(tǒng)進入框198，則使用標(biāo)準(zhǔn)化的交叉相關(guān)(NCC)來確定二個圖像之間移動的程度。因為二個圖像的轉(zhuǎn)換已經(jīng)以由代表ΔTI和ΔPI的值預(yù)測的方式對準(zhǔn)圖像，所以在框198確定在二個圖像之間發(fā)生的移動的處理步驟對應(yīng)于確定ΔTE和ΔPE的值。
下面，在框200，交換用于圖像I1和I2的數(shù)據(jù)。完成圖像數(shù)據(jù)的交換從而使得如果在完成框202的平移后獲取新圖像并放置在緩沖器中，那么新的圖像和與之關(guān)聯(lián)的數(shù)據(jù)將覆寫圖像以及與存在于緩沖器中的二個圖像中較舊的一個相關(guān)聯(lián)的數(shù)據(jù)。
框202表示按照與ΔTE和ΔPE相同的量，在最近獲取的圖像的CCD圖像上轉(zhuǎn)換顯示圖像邊界，從而提供穩(wěn)定的視頻圖像。
然后，處理返回框184，其中第一標(biāo)志將不再為真，并且處理將進入框208，其中將獲取單獨的新圖像并且將覆寫緩沖器中的圖像I2。然后，處理器62進入框210，其中平滑濾波器被應(yīng)用于新的圖像?？?12表示在通過攝像機獲取新圖像的時候獲取攝像機的搖攝、傾斜和變焦設(shè)置。然后，處理進入框192。
在典型的實施例中，攝像機22連續(xù)地獲取新圖像并且用于將當(dāng)前圖像和之前獲取的圖像進行比較的、由處理設(shè)備50執(zhí)行的計算分析占用的時間比由攝像機22獲取的各個圖像之間的時間間隔更長。當(dāng)處理設(shè)備50完成它的一組圖像的分析時，它獲取最近獲取的圖像用于下一次分析。因此，在由處理設(shè)備50順序地獲取的、用于分析的兩個圖像之間，可以存在一個或多個由攝像機22捕獲和發(fā)送的圖像。因此，當(dāng)在塊198(圖5的流程圖中)中確定當(dāng)前圖像的顯示邊界需要調(diào)整以糾正攝像機的無意移動時，在下一個圖像穩(wěn)定分析完成前，多個額外的圖像將由攝像機22獲取并顯示在監(jiān)視器屏幕38上。在這些額外的未分析的圖像中設(shè)置顯示邊界的位置可以以不同的方式完成。例如，與這些額外圖像一同使用的顯示邊界使用調(diào)整的邊界位置，例如顯示邊界100，其是通過對最后二個獲取的圖像進行的分析而得到的，其可以與未分析的圖像一起使用，直到穩(wěn)定處理肯定地確定顯示邊界應(yīng)該重新調(diào)整?；蛘?，在為了一個被具體地分析的并且被確定為已經(jīng)被無意的攝像機移動影響的圖像改變顯示邊界之后，顯示邊界可以立即返回到在CCD顯示中的它的中心位置。換言之，對于除那些特定圖像外的所有圖像，顯示邊界將仍然在中心位置，所述特定圖像已被獲取、分析并確定為已被無意的攝像機移動影響，并且針對其專門確定了改變的顯示圖像邊界。在已經(jīng)調(diào)整顯示邊界以解決無意的攝像機移動之后，對于多個連續(xù)獲取的圖像，顯示邊界還可能以逐漸增加的量返回CCD圖像邊界中的中心位置。
在大多數(shù)監(jiān)視攝像機應(yīng)用中，可以預(yù)見震動類型和其他類型的作用在攝像機上的外力將引起無意的攝像機移動，其與預(yù)期的位置有非常短暫的偏離，可能相對于攝像機的預(yù)期位置的平衡位置進行擺動。在這種情況下，使顯示邊界立即返回中心位置是有利的。返回中心位置不僅可以反映潛在的無意的攝像機移動，而且可以促進穩(wěn)定圖像的顯示，還可以防止顯示邊界移動到CCD顯示圖像的邊沿，其能夠限制圖像穩(wěn)定處理的效力并可能由一種處理產(chǎn)生，該處理不將顯示圖像邊界返回到CCD圖像的中心位置。
一種自動視頻跟蹤系統(tǒng)，其中可以自動跟蹤一個特征，即無人操作(例如通過操縱桿)的跟蹤，可以稱作“自動跟蹤”。在本發(fā)明的另一個實施例中，自動跟蹤和穩(wěn)定功能被結(jié)合到一個單獨的“穩(wěn)定的自動跟蹤器”(SAT)算法中。SAT可以包括四個集成的軟件組件自動跟蹤器(AT)引擎，穩(wěn)定軟件，虛擬遮蔽(virtual masking，VM)軟件，和SAT執(zhí)行程序。按照SAT執(zhí)行程序所指示的，穩(wěn)定和AT可以單獨工作，或者同時工作。
本發(fā)明的穩(wěn)定的自動跟蹤器的主要優(yōu)點是，它消除了可以用于計算單應(yīng)矩陣的角點匹配。在穩(wěn)定的自動跟蹤器實施例中，幀精確攝像機位置(搖攝、傾斜、變焦)可以用于生成單應(yīng)矩陣。這是非常值得的，因為大約50％的處理執(zhí)行周期可以歸因于角點匹配。因此，僅消除角點匹配，而不考慮CPU速度的差別，可以導(dǎo)致雙倍的處理速率，例如從5幀/秒到10幀/秒。
在圖7中顯示了用于執(zhí)行幀精確PTZ數(shù)據(jù)傳輸?shù)谋景l(fā)明的視頻圖像穩(wěn)定系統(tǒng)720的一個實施例的框圖。PTZ攝像機722可以是“Philips AutoDomeCamera System”牌的攝像機系統(tǒng)的形式，例如“G4 AutoDome”攝像機和外殼，可以從前身為“PhilipsCommunication，Security & Imaging”公司的“Bosch Security System”公司獲得，該公司在賓夕法尼亞州(Pennsylvania)的蘭開斯特市(Lancaster)擁有業(yè)務(wù)處。攝像機722可以具有三個電路板，或者與三個電路板通信，這三個電路板包括通信板、系統(tǒng)控制板，和視頻內(nèi)容分析(VCA)板。VCA板可以包括數(shù)字信號處理器(DSP)，例如可以從德克薩斯(Texas)的“Texas Instruments of Dallas”獲得的DM642 600MHz處理器。更具體地，攝像機722可以發(fā)送捕獲的圖像和/或電動機位置消息到主機750。例如，攝像機722可以執(zhí)行自動變焦并以不超過9600波特的速度報告，并且每個視頻幀可以具有33.33ms(NTSC)或者40ms(PAL)的持續(xù)時間。
一接收到變焦自動報告并計算出所感知的焦距，就可以將感知的變焦數(shù)據(jù)傳送到現(xiàn)場可編程門陣列(FPGA)752?？梢詫⒏兄淖兘箶?shù)據(jù)作為2個16位的字發(fā)送到FPGA 752。
可以通過主機端口接口(HPI)756由FPGA752自動發(fā)送PTZ數(shù)據(jù)到數(shù)字信號處理器(DSP)754。一旦FPGA 752接收到感知的數(shù)據(jù)，該數(shù)據(jù)就可以與搖攝和傾斜數(shù)據(jù)結(jié)合，并被作為6個16位的字而發(fā)送。DSP中斷可以由FPGA 752設(shè)定。DSP 754可以具有與之關(guān)聯(lián)的SDRAM存儲器設(shè)備758。
來自幀的最大幀延時可以是大約6.3毫秒(ms)，主要包括具有大約6.25ms持續(xù)時間的攝像機自動報告。其他幀延時的組成部分可以包括主機750的中斷等待時間(1μs)，主機處理(1μs)，F(xiàn)PGA寫(0.4μs)，F(xiàn)PGA處理程序等待(0.4μs)，F(xiàn)PGA處理時間(1μs)，EDMA共享延時(0.5μs)，以及DSP中斷等待時間(1μs)。
通過FPGA 752，HPI 756可以使視頻內(nèi)容分析(VCA)RAM受到對SC(系統(tǒng)控制器)的讀/寫訪問。這樣，VCA就可以為系統(tǒng)控制器的引用保留和公開固定地址。這些地址可以提供對VCARAM的訪問，使用中斷來指示新數(shù)據(jù)。
在SC和VCA之間最頻繁傳送的數(shù)據(jù)可以包括動態(tài)數(shù)據(jù)，例如攝像機的位置，和狀態(tài)字(具有例如禁止移動檢測的位)。VCA還可以要求大的數(shù)據(jù)表，其由SC在啟動時準(zhǔn)備并且隨后在他們準(zhǔn)備好讀的時候通知VCA。這些表還可以在操作期間更新，在這種情況下可以使用相同的通知技術(shù)。最后，VCA串行I/O，可以通過SC串行端口來驅(qū)動。但是，SC可以不與串行數(shù)據(jù)發(fā)生相互作用，而只是作為穿行的代理。
當(dāng)穩(wěn)定程序關(guān)閉時，自動跟蹤器可以處理四分之一的通用中間格式(QCIF)的圖像，當(dāng)穩(wěn)定程序打開時，自動跟蹤器可以處理85％的QCIF的穩(wěn)定圖像。另外，由于輸入到自動跟蹤器的數(shù)據(jù)可以是“原始的”視頻(即沒有屏幕顯示圖標(biāo))，大多數(shù)圖像可以用于跟蹤，相反頂端的30線不可用，因為被圖標(biāo)、文字等占用。
除了QCIF圖像外，自動跟蹤器算法的輸入還包括攝像機搖攝、傾斜和變焦位置，攝像機高度，和虛擬遮蔽。自動跟蹤器算法的輸出包括攝像機搖攝、傾斜和變焦指令，以及自動跟蹤器狀態(tài)，例如關(guān)閉、查看、跟蹤、重大錯誤。
圖8是本發(fā)明的穩(wěn)定的自動跟蹤器方法800的一個實施例的流程圖。在第一步801中，根據(jù)幀精確位置基于硬件的技術(shù)來計算單應(yīng)矩陣。步驟801的最后的子步驟(Blob_Size＝計算移動遮蔽)對應(yīng)于在圖10中說明的移動檢測方法。
用于執(zhí)行步驟802的軟件模塊的一個實施例如下所示 K＝0； bl_count＝0； global_motion＝FALSE； float MAD[6][8]-initialize all to zero. BlockSize＝10 for(i＝0；I＜CntrdH；i++) { if(i％blockSize＝＝0) k++； l＝0； for(j＝0；j＜CntrdW；j++) { ifj％blockSize＝＝0) j++； imgNdx＝i*CntrdW+j； if(abs(ImgCentroid
.plmg[imgNdx]-ImgCentroid[1].plmg [imgNdx])＞STB-Threshold) if(MM[imgNdx]l＝0)<!-- SIPO <DP n="22"> --><dp n="d22"/> MAD[k-1][1-1]++； } } for(i＝0；i＜6；i++) for(j＝0；j＜8；j++) if(MAD[i][j]＜20) bl_count++； if(bl_count＞10) global-motion＝TRUE；//there is no global motion 用于執(zhí)行步驟804的軟件模塊的一個實施例如下所示 (Basically the end of Compute_Motion_Mask()…… for(i＝top_row；i＜bottom row；i++) { //point to start of each row，then add the left column //offset. offset＝(i*m_cmd-width)+left_col； for(j＝left_col；j＜right_col；j++) { if(MM[offset]) { sum++； vp[i]++； hp[j]++； } //move across the row to the next column. Offset++； )//jindex }//iindex if(sum＞5)<!-- SIPO <DP n="23"> --><dp n="d23"/> { center.x＝GetMedianAndSigmaFromCountingSort(sum，hp，hp 1，<br/>&sgh，m_cmd-width；//160)； center.y＝GetMedianAndSigmaFromCountingSort(sum，vp，vp1，<br/>&sgv，m_cmd_height；//105)； axes.width＝int(sgh)； axes.heigbt＝int(sgv)； //Compute how far the center of motion has moved int xdiff-abs(tempcenter.x-center.x)； int ydiff-abs(tempcenter.y-center.y)； //This computes the“target consistency”. //The target is inconsistent if //1)The target is too big-OR- //2)The target has moved toofar if((axes.width＜el&&axes.height＜e2)&& (xdiff＜e4&&ydiff＜e3) m_Target_Consistency_Flag＝TARGET_IS_CONSISTENT； else m_Target_Consistency_Flag＝TARGET_IS_NOT_CONSISTENT； tempaxes.width＝axes.width； tempaxes.height＝axes.height； tempcenter.x＝center.x； tempoenter.y＝center.y； } //End of Computing Median of the image else {<!-- SIPO <DP n="24"> --><dp n="d24"/> m_Target_Consistency_Flag＝TARGET_S_NOT_CONSISTENT； bilinear_mapping(M.a，center.x，center.y，&cx，&cy)； center.x＝int(cx+.1)； center.y＝int(cy+.1)； } 穩(wěn)定化處理使得全部攝像機的結(jié)構(gòu)移動，即“全局”移動，可以被消除以呈現(xiàn)給用戶。穩(wěn)定化處理可以與自動跟蹤器(AT)共享許多相同的視頻處理，因此，穩(wěn)定化處理和自動跟蹤器可以緊密的集成。AT可以確定是否需要圖像穩(wěn)定處理以及是否能夠進行穩(wěn)定化處理。為了穩(wěn)定圖像，AT可以將“原始的”QCIF圖像傳送給穩(wěn)定化算法，該算法可以用于通過使用交叉相關(guān)技術(shù)來匹配半個尺寸，彎曲的“模板”?？梢酝ㄟ^標(biāo)準(zhǔn)化的交叉相關(guān)(NCC)來生成XY偏移量并將其傳送回AT算法。無論何時NCC分數(shù)低于有效閾值，或者當(dāng)攝像機位置改變到超過固定閾值時，可以根據(jù)最新的QCIF來更新該模板。穩(wěn)定化還可以使用XY偏移量來構(gòu)建穩(wěn)定的D1(720×480象素(NationalTelevision System Committee)或者720×576(Phase Alternating Line))輸出圖像，該圖像可以被修剪以補償XY偏移量。
在穩(wěn)定化處理的一個實施例中，例如，在每個捕獲圖像的相同的、預(yù)定的區(qū)域內(nèi)提供測量160×120象素的模板。在為二個連續(xù)的捕獲圖像之間的攝像機的已知的PTZ移動補償或計算之后，可以假設(shè)在模板中的任何全局移動都是由于抖動，即無意的移動或者震動。為了確定是否在二個模板圖像之間的值中有全局位置移動，可以檢查二個模板圖像中的每一個中的每個象素的顏色、亮度和強度值，以代替在模板圖像中搜索角點或某個類型的固定對象。在二個模板圖像之間的值中，任何這種全局位置移動都可以指示在捕獲二個圖像之間的時間間隔期間有無意的攝像機移動。通過圖像數(shù)據(jù)的操作，本穩(wěn)定化算法可以有效地逆轉(zhuǎn)由于無意的移動而引起的圖像值中的位置移動。在圖像數(shù)據(jù)中的位置移動的逆轉(zhuǎn)可以有效的消除在所顯示的圖像中的任何可感覺到的抖動并且穩(wěn)定顯示圖像。
穩(wěn)定化處理的輸入可以包括D1圖像，YUV色域分量(colorspacecomponent)，QCIF圖像，Y分量以及當(dāng)前PTZ位置。穩(wěn)定化處理的輸出可以包括穩(wěn)定的圖像YUV顏色分量，以及用于自動跟蹤器的穩(wěn)定的Y-分量X/Y偏移量。圖9是本發(fā)明的穩(wěn)定化算法的一個實施例的數(shù)據(jù)流圖。
可以通過自動跟蹤器算法實現(xiàn)移動檢測。當(dāng)檢測到移動時，VCA可以提供移動通知以代替提供PTZ命令給系統(tǒng)控制器。本移動檢測器能夠指定感興趣的區(qū)域并找出在該感興趣區(qū)域(ROI)中專門指定的移動。用于得到感興趣區(qū)域的算法可以與在系統(tǒng)控制器中央處理單元(CPU)上的隱私遮蔽(privacy mask)軟件所使用的算法相似。
ROI移動檢測算法可以與隱私遮蔽在二個重要方面上不同。第一，隱私遮蔽可以直接應(yīng)用于輸入視頻以防止用戶看到遮蔽的后面，ROI移動檢測可以直接應(yīng)用于所計算的移動遮蔽(motion mask)以禁止移動檢測軟件擁有貢獻給檢測到的移動的感興趣區(qū)域。第二，ROI移動遮蔽位置不是彎曲的并且是根據(jù)攝像機位置的改變而動態(tài)地改變。ROI的位置是基于預(yù)設(shè)的攝像機位置被固定在移動遮蔽上。
移動檢測的輸入可以包括由自動跟蹤器計算的移動遮蔽。ROI也可以是移動檢測的輸入。當(dāng)生成ROI時，每個ROI可以包括一組頂點，頂點的數(shù)量以及攝像機預(yù)設(shè)位置號碼。另一個移動檢測的輸入可以是p_Number，即當(dāng)前的攝像機預(yù)設(shè)位置號碼。
移動檢測系統(tǒng)的輸出可以指示在ROI中是否存在移動。不考慮ROI外的移動。關(guān)于移動檢測的數(shù)據(jù)結(jié)構(gòu)，在生成遮蔽時，每個ROI可以由一組頂點、頂點數(shù)量以及攝像機預(yù)設(shè)位置形式。圖10是本發(fā)明的移動檢測方法1000的一個實施例的流程圖。
雖然本發(fā)明已經(jīng)被描述為具有典型的設(shè)計，但是可以在本公開的精神和范圍內(nèi)進一步修改本發(fā)明。因此本申請意圖包括任何使用本發(fā)明的一般原理的本發(fā)明的變形、使用或適應(yīng)性變化。
權(quán)利要求
1.一種視頻圖像穩(wěn)定系統(tǒng)(720)，包括
攝像機(722)，其包括用于捕獲視頻圖像(80)的圖像捕獲設(shè)備，所述攝像機具有可選擇性地調(diào)整的視野；其特征在于
處理設(shè)備(50)，其被可操作地連接到所述攝像機，其中所述處理設(shè)備接收指示所述攝像機的視野的信號以及由所述攝像機捕獲的圖像，所述處理設(shè)備自動地跟蹤所述圖像中的至少一個對象的移動，所述處理設(shè)備確定所述視頻圖像的穩(wěn)定調(diào)整，其為在捕獲第一圖像和捕獲第二圖像之間的時間間隔期間的、所述攝像機視野的無意改變的函數(shù)，所述確定基于指示視野的所述信號以及所述第一和第二圖像的分析。
2.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于選擇由所述攝像機捕獲的每個圖像的顯示部分(84)用于顯示，每個圖像的所述選擇的顯示部分比全部的捕獲圖像更小，并且其中由所述處理設(shè)備確定的所述穩(wěn)定調(diào)整包括調(diào)整所述選擇的顯示部分在所述捕獲的圖像中的相對位置。
3.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述攝像機具有可選擇性地調(diào)整的搖攝位置，可選擇性地調(diào)整的傾斜位置以及可選擇性地調(diào)整的焦距。
4.如權(quán)利要求3所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，在捕獲所述第一和第二圖像之間，有意地調(diào)整所述攝像機的搖攝位置、傾斜位置和焦距中的至少一個。
5.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，對所述第一和第二圖像的分析包括確定在捕獲所述第一圖像和所述第二圖像之間的間隔期間，所述攝像機的視野的無意改變。
6.如權(quán)利要求5所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，對所述第一和第二圖像的分析包括查找所述第一和第二圖像之間的象素到象素的對應(yīng)關(guān)系。
7.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，對所述第一和第二圖像的所述分析包括基于指示視野的所述信號將所述第一和第二圖像中的一個與所述第一和第二圖像中的另一個對準(zhǔn)，以及確定所述對準(zhǔn)的圖像是否指示發(fā)生無意的攝像機移動。
8.如權(quán)利要求7所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，確定所述對準(zhǔn)的圖像是否指示發(fā)生無意的攝像機移動包括確定所述對準(zhǔn)的圖像的圖像差別。
9.如權(quán)利要求8所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述處理設(shè)備生成所述對準(zhǔn)的圖像的所述圖像差別的頻率分布圖，并且基于在所述頻率分布圖中識別最大峰值和所述最大峰值的位置來確定是否已經(jīng)發(fā)生無意的攝像機移動。
10.如權(quán)利要求9所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，當(dāng)所述最大峰值未充分地集中于零時，確定已發(fā)生無意的攝像機移動，并且其中所述穩(wěn)定調(diào)整的確定包括識別減少所述圖像差別的調(diào)整。
11.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，指示視野的所述信號包括對于每個捕獲圖像的所述攝像機的搖攝、傾斜和焦距設(shè)置，基于圖像同步將所述信號從所述攝像機傳送到所述處理設(shè)備。
12.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述攝像機被可移動地安裝在固定支架上。
13.一種視頻圖像穩(wěn)定系統(tǒng)(720)，包括
視頻攝像機(722)，其包括視頻捕獲設(shè)備，該視頻捕獲設(shè)備用于捕獲圖像(80)，每個捕獲的圖像與視野相關(guān)聯(lián)，所述攝像機具有至少一個可選擇性地調(diào)整的參數(shù)，其中所述至少一個攝像機參數(shù)的調(diào)整改變所述攝像機的視野；
顯示設(shè)備(38)，用于顯示由所述攝像機捕獲的圖像的所選擇的部分；并且其特征在于
處理設(shè)備(50)，其被可操作地連接到所述攝像機以及所述顯示設(shè)備，其中所述處理設(shè)備接收由所述攝像機捕獲的圖像，所述處理設(shè)備用于跟蹤所述圖像中的對象的移動，并且通過調(diào)整由所述顯示設(shè)備顯示的圖像的所述選擇的部分來補償所述視頻攝像機的無意運動，所述調(diào)整基于攝像機參數(shù)和對所述圖像的分析。
14.如權(quán)利要求13所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述至少一個攝像機參數(shù)包括搖攝、傾斜和變焦設(shè)置中的至少一個。
15.如權(quán)利要求13所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述圖像的所述選擇的部分包括所述圖像的中央部分。
16.如權(quán)利要求13所述的視頻圖像穩(wěn)定系統(tǒng)，其特征在于，所述圖像的所述選擇的部分包括所述圖像的大約60％到90％。
17.一種穩(wěn)定視頻圖像(80)的方法，所述方法包括
使用視頻攝像機(722)捕獲多個圖像；
識別對象在第一捕獲圖像和第二捕獲圖像中的每一個中的位置；
在捕獲所述第一圖像和捕獲所述第二圖像之間的時間間隔期間調(diào)整所述攝像機的視野；
顯示所述第一捕獲圖像和所述第二捕獲圖像的所選擇的顯示部分(84)，每個圖像的所選擇的顯示部分比全部捕獲圖像更小，所述調(diào)整步驟和所述顯示步驟中的至少一個取決于所述識別步驟；其特征在于
根據(jù)所述調(diào)整步驟以及對所述第一和第二捕獲圖像的分析來為所述第二捕獲圖像確定穩(wěn)定調(diào)整，其中所述穩(wěn)定調(diào)整包括在所述第二捕獲圖像內(nèi)調(diào)整所選擇的顯示部分的相對位置。
18.如權(quán)利要求17所述的方法，其特征在于，所述攝像機定義搖攝位置和傾斜位置，所述調(diào)整步驟包括在捕獲所述第一和第二圖像之間的時間間隔期間，調(diào)整所述攝像機的搖攝位置、傾斜位置和焦距中的至少一個。
19.如權(quán)利要求17所述的方法，其特征在于，所述確定步驟包括查明在捕獲所述第一圖像和第二圖像之間的時間間隔期間的所述攝像機的視野的無意改變。
20.如權(quán)利要求19所述的方法，其特征在于，所述確定步驟包括查找所述第一和第二圖像之間的象素到象素的對應(yīng)關(guān)系。
21.如權(quán)利要求19所述的方法，其特征在于，所述查明子步驟包括
基于指示視野的信號，將所述第一和第二圖像中的一個與所述第一和第二圖像中的另一個對準(zhǔn)；以及
檢測所述對準(zhǔn)的圖像是否指示發(fā)生無意的攝像機移動。
22.如權(quán)利要求21所述的方法，其特征在于，所述檢測所述對準(zhǔn)的圖像是否指示發(fā)生無意的攝像機移動包括確定所述對準(zhǔn)圖像的圖像差別。
23.如權(quán)利要求22所述的方法，其特征在于，生成對準(zhǔn)圖像的圖像差別的頻率分布圖，并基于識別所述頻率分布圖中的最大峰值(210)和所述最大峰值的位置來確定是否已發(fā)生無意的攝像機移動。
24.如權(quán)利要求23所述的方法，其特征在于，當(dāng)所述最大峰值不充分地集中于零時，確定已發(fā)生無意的移動，并且其中所述穩(wěn)定調(diào)整的確定包括識別減少所述圖像差別的調(diào)整。
25.一種穩(wěn)定視頻圖像(80)的方法，所述方法包括
使用視頻攝像機(722)捕獲多個圖像；
跟蹤所述圖像中的對象的移動；
通過使用控制信號來改變所述攝像機的視野；
顯示所述多個圖像中的每一個的所選擇的部分(84)，所述改變步驟和所述顯示步驟中的至少一個取決于所述跟蹤步驟；其特征在于
為所述多個圖像中的至少一個調(diào)整被顯示的所選擇的部分，所述調(diào)整步驟補償視頻攝像機的無意移動并且基于有意的攝像機的視野以及對所述圖像的分析。
全文摘要
視頻圖像穩(wěn)定系統(tǒng)(722)包括具有用于捕獲視頻圖像(80)的圖像捕獲設(shè)備的攝像機(722)。該攝像機具有可選擇性地調(diào)整的視野。處理設(shè)備(50)與攝像機可操作地相連。處理設(shè)備接收指示攝像機視野的信號和由攝像機捕獲的圖像。該處理設(shè)備自動跟蹤圖像中至少一個對象的移動。該處理設(shè)備為視頻圖像確定穩(wěn)定性調(diào)整，其為在捕獲第一圖像和捕獲第二圖像之間的時間間隔期間的攝像機的視野的無意改變的函數(shù)。該確定是基于指示視野的信號和對第一和第二圖像的分析。
文檔編號H04N7/18GK1913590SQ20061011486
公開日2007年2月14日 申請日期2006年8月9日 優(yōu)先權(quán)日2005年8月9日
發(fā)明者塞澤·薩布拉克, 馬克·S·貝爾 申請人:羅伯特·博世有限公司