專利名稱：攝像機的圖像穩(wěn)定系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像機穩(wěn)定系統(tǒng)，尤其涉及一種抵消不需要的和不規(guī)則的圖像運動的攝像機穩(wěn)定系統(tǒng)。
背景技術(shù)：
有多種已知的視頻監(jiān)視系統(tǒng)可用來跟蹤諸如人或車輛這樣的移動對象。一些這樣的系統(tǒng)使用具有固定視野(FOV)的固定攝像機。但是，為了用固定攝像機系統(tǒng)充分覆蓋給定的監(jiān)視場所，經(jīng)常必須使用相當多數(shù)量的固定攝像機。
也可以使用可平搖(pan)、俯仰(tilt)和/或變焦(zoom)的可移動攝像機來跟蹤對象。使用PTZ(平搖、俯仰、變焦)攝像機系統(tǒng)一般會減少給定監(jiān)視地點所需的攝像機的數(shù)量，并因此降低視頻供給裝置(video feed)和系統(tǒng)集成硬件的數(shù)目和成本，如相關(guān)的畫面分割器(multiplexer)和視頻切換器(switcher)。用于表示平搖、俯仰、變焦運動的控制信號一般經(jīng)由操縱桿來自人工操作員或來自自動視頻跟蹤系統(tǒng)。
問題在于，除了PTZ控制信號所導致的有意地移動攝像機之外，外部力量也能無意地移動攝像機，例如空氣流動或支持臂抖動。無意的攝像機運動通常會導致視頻圖像“跳動”，因此觀察起來不舒服。
本領(lǐng)域中所需要的是一種能夠穩(wěn)定圖像以補償攝像機無意運動的視頻系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明提供了一種具有攝像機的視頻圖像穩(wěn)定系統(tǒng)，該攝像機捕獲的圖像比顯示在屏幕上的相關(guān)圖像要大。該系統(tǒng)能夠根據(jù)攝像機視野的預期改變和對兩幅捕獲圖像的分析，通過調(diào)整顯示的選中圖像部分的相對位置，補償無意的攝像機運動，即從顯示的圖像中去除跳動。
在一種形式中，本發(fā)明包括一種視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包括一個攝像機，該攝像機包括一個被配置用于捕獲視頻圖像的圖像捕獲設(shè)備，其中，該攝像機具有可選擇調(diào)整的視野。至少一個處理設(shè)備可操作地連接到該系統(tǒng)，其中，該處理設(shè)備接收表示該攝像機視野的信號和該攝像機捕獲的圖像。該處理設(shè)備順序地抓取這些圖像中的第一幅圖像和第二幅圖像，并將視頻圖像的穩(wěn)定調(diào)整確定為1)根據(jù)表示視野的信號，在捕獲第一幅圖像和第二幅圖像的間隔期內(nèi)，攝像機視野的預期改變，以及2)對第一幅和第二幅圖像的分析的函數(shù)。
可以選擇該攝像機捕獲的每幅圖像的顯示部分進行顯示，其中，每幅圖像的選中顯示部分小于捕獲的整個圖像，并且，該處理設(shè)備確定的穩(wěn)定調(diào)整包括調(diào)整選中顯示部分在捕獲圖像內(nèi)的相對位置。
在另一種形式中，本發(fā)明包括一種視頻圖像穩(wěn)定系統(tǒng)，該系統(tǒng)包括一個攝像機，該攝像機具有一個被配置用于捕獲圖像的圖像捕獲設(shè)備。捕獲的每幅圖像與一個視野有關(guān)，并且，該攝像機具有至少一個可選擇調(diào)整的參數(shù)，其中，調(diào)整所述至少一個攝像機參數(shù)改變該攝像機的視野。該系統(tǒng)還包括一個被配置用于顯示該攝像機捕獲的圖像的選中部分的顯示裝置和一個可操作地連接到該攝像機和顯示設(shè)備的處理設(shè)備。該處理設(shè)備接收表示所述至少一個攝像機參數(shù)的信號和該攝像機捕獲的圖像。該處理設(shè)備根據(jù)表示所述至少一個攝像機參數(shù)的信號和對當前捕獲圖像和以前捕獲圖像的分析，通過調(diào)整該顯示裝置顯示的圖像的選中部分，補償該攝像機的無意運動。
在另一種形式中，本發(fā)明包括一種穩(wěn)定視頻圖像的方法。該方法包括用攝像機捕獲多幅圖像，該攝像機安裝在固定支撐架上并具有可調(diào)整的視野；調(diào)整該攝像機的視野。該方法還包括抓取該攝像機捕獲的第一幅圖像及其后面的第二幅圖像；顯示第一幅和第二幅圖像的選中顯示部分，每幅圖像的選中顯示部分小于捕獲的整個圖像；確定第二幅圖像的穩(wěn)定調(diào)整。將穩(wěn)定調(diào)整確定為在捕獲第一幅圖像和捕獲第二幅圖像之間的間隔期間該攝像機視野的預期改變以及對第一幅和第二幅圖像的分析的函數(shù)，其中，穩(wěn)定調(diào)整包括調(diào)整選中顯示部分在第二幅圖像內(nèi)的相對位置。
對第一幅和第二幅圖像的分析包括變換第一幅和第二幅圖像中的一幅，其中調(diào)整該幅圖像的縮放比例。在一個實施例中，對第一幅和第二幅圖像的分析包括基于從與攝像機通信的系統(tǒng)接收的、表示視野的信號，將第一幅和第二幅圖像中的一副與第一幅和第二幅圖像中的另一幅對準，并判斷對準后的圖像是否表明無意攝像機運動的發(fā)生。使用對準后圖像的圖像差別，判斷對準后的圖像是否表示無意攝像機運動的發(fā)生。產(chǎn)生對準后圖像的圖像差別的直方圖，并通過識別直方圖中的最高峰和最高峰的位置，完成無意攝像機運動是否已發(fā)生的判斷。當最高峰不是基本集中于0時，判定無意運動已發(fā)生，當檢測到這種無意運動時，確定穩(wěn)定調(diào)整包括識別使圖像差別最小化的調(diào)整。
在另一種形式中，本發(fā)明包括一種穩(wěn)定視頻圖像的方法，該方法包括通過使用控制信號，有意地改變攝像機的視野；用該攝像機捕獲多幅圖像，每幅圖像與一個視野有關(guān)；顯示多幅圖像中每一幅的選中部分；對于多幅圖像中至少一幅，調(diào)整顯示的選中部分。調(diào)整步驟補償攝像機的無意運動，并且基于攝像機的預期視野和對多幅圖像中的至少一幅圖像和這些圖像中的第二幅圖像的分析。
本發(fā)明的優(yōu)點在于它提供穩(wěn)定的視頻圖像，從而限制或去除攝像機無意運動引起的煩人和不愉快的影響。
本發(fā)明的另一優(yōu)點在于，它可以穩(wěn)定攝像機在運動時所獲取的圖像。因此，即使攝像機積極且有意地改變視野時，本發(fā)明也可以補償例如由支持臂振動或風對攝像機外殼的影響所引起的平搖、俯仰、變焦攝像機的無意運動。
附圖簡述通過參考下面結(jié)合附圖對本發(fā)明實施例的描述，本發(fā)明的上述和其他特征及目的將變得更加顯而易見，并且發(fā)明本身也將更容易被理解，其中

圖1是根據(jù)本發(fā)明的視頻監(jiān)視系統(tǒng)的示意圖；
圖2是描述圖1中攝像機的視野變化以及該攝像機捕獲得到的圖像的示意圖；圖3是圖2中所捕獲圖像的一部分的示意圖；圖4是圖1的處理設(shè)備的框圖；圖5是表示圖1的視頻監(jiān)視系統(tǒng)操作的一個實施例的流程圖；圖6是對兩幅圖像進行分析時使用的直方圖。
在所有附圖中，相應的參考符號代表相應的部分。雖然這里舉出的例子以一種形式解釋了本發(fā)明的實施例，但下面公開的實施例并不是窮舉的，或者，不應視為將本發(fā)明的保護范圍限制到所公開的精確形式。
具體實施例方式
根據(jù)本發(fā)明，圖1中示出了視頻監(jiān)視系統(tǒng)20。系統(tǒng)20包括位于部分球狀外殼24內(nèi)并裝配在支撐架25上的攝像機22。固定的支撐架25可采用多種形狀，例如從建筑物的外邊緣伸出的向外延伸支持臂，它會使所支持的攝像機受到風、攝像機馬達、附近機器或各種其他來源產(chǎn)生的振動所導致的無意運動。外殼24被染色，以使攝像機獲取外殼24外面環(huán)境的圖像并同時防止該環(huán)境中正被攝像機22觀察的個體確定攝像機22的方位。攝像機22包括一個控制器和多個馬達，它們規(guī)定攝像機22平搖、俯仰和焦距調(diào)整。箭頭26表示攝像機22的平搖運動，箭頭28表示攝像機22的俯仰運動，箭頭30表示攝像機22的鏡頭23的焦距改變，即變焦。如坐標系統(tǒng)21所示，平搖運動可以跟蹤沿著x軸的運動，俯仰運動可以跟蹤沿著y軸的運動，焦距調(diào)整可用于跟蹤沿著z軸的運動。在示出的實施例中，攝像機22和外殼24是Phillips AutoDomeCamera Systems品牌的攝像機系統(tǒng)，例如Bosch Security Systems公司提供的G3 Basic AutoDome攝像機和外殼，這家公司的前身為Phillips Communication，Security & Imaging公司，它在賓夕法尼亞州的蘭開斯特有營業(yè)場所。Sergeant等在題為“Surveillance CameraSystem”的美國專利No.5627616中描述了一種適用于本發(fā)明的攝像機，其并入此處，作為參考。
系統(tǒng)20還包括一頭端單元32。頭端單元32可以包括視頻切換器或視頻復用器33。例如，頭端單元可以包括位于賓夕法尼亞州蘭開斯特、前身為Phillips Communication，Securi & Imaging公司的Bosch Security Systems公司提供的Allegiant品牌的視頻切換器，如LTC8500系列Allegiant視頻切換器，其提供高達64臺攝像機輸入，并且也可提供8個獨立的鍵盤和8臺監(jiān)視器。頭端單元32包括鍵盤34和操縱桿36，以便操作員輸入。頭端單元32還包括由操作員瀏覽的顯示設(shè)備，其形式為監(jiān)視器38。24伏a/c電源40向攝像機22和處理設(shè)備50供電，處理設(shè)備50可操作地連接到攝像機22和頭端單元32。
雖然示出的系統(tǒng)20是單一的攝像機應用，但是，本發(fā)明也可用于具有附加攝像機的較大監(jiān)視系統(tǒng)中，其中的附加攝像機可以是固定的或移動的攝像機或它們的組合，以提供更大或更復雜監(jiān)視區(qū)域的覆蓋范圍。也可以將一個或多個VCR或其他形式的模擬或數(shù)字記錄設(shè)備連接到頭端單元32，以將攝像機22和系統(tǒng)中其他攝像機捕獲的視頻圖像進行記錄。
下面結(jié)合圖2和圖3，討論根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)的操作所基于的一般概念。攝像機22包括諸如電荷耦合器件(CCD)這樣的圖像捕獲設(shè)備，其獲取由CCD圖像邊界82所定義的四邊CCD視頻圖像80。處理設(shè)備50識別或選擇欲在監(jiān)視器38屏幕上顯示的CCD圖像80的中心部分，以供系統(tǒng)20的操作員瀏覽。更具體地說，處理設(shè)備50識別顯示圖像邊界86定義的顯示圖像84，以在監(jiān)視器38的屏幕上瀏覽。在一個實施例中，CCD視頻圖像的選中部分，即顯示圖像84，包括大約60％到90％的CCD視頻圖像。在一個優(yōu)選實施例中，CCD圖像80比由顯示圖像邊界86定義的顯示圖像84大出約30％。換言之，在一個優(yōu)選實施例中，大約23％的CCD圖像80不會顯示在監(jiān)視器38的屏幕上。但是，為便于說明，圖2所示的CCD圖像80比顯示圖像84大出約100％到200％。通過使用一個比該CCD圖像更小的顯示圖像，處理設(shè)備50可以將用于定義顯示圖像的邊界的位置相對于順序獲取的圖像的整個CCD圖像進行調(diào)整，以抵消支持臂振動和攝像機的其他無意運動的影響，下面還將對此進行更詳細的描述。
一段時期之后，攝像機22的視野(FOV)發(fā)生改變，從而獲取第二個四邊CCD圖像88。第二個CCD圖像邊界90定義CCD圖像88的界限。圖2示意性地描述了由攝像機22捕獲的、具有不同視野的兩幅圖像80和88以及這兩幅圖像重疊的程度。
攝像機22的FOV改變可能是因為攝像機22的有意和無意(即不注意的)移動所導致的。所發(fā)生的攝像機22的有意運動可能是因為從頭端單元32發(fā)送到攝像機22的平搖、俯仰和變焦控制信號。也就是說，通過使用控制信號，可以改變攝像機22的視野。攝像機22的任何無意或非有意的運動可能是因為外力所導致的，如空氣流動或支持臂振動。
處理設(shè)備50識別來自CCD圖像88、由中間未調(diào)整顯示圖像邊界94定義的中間未調(diào)整顯示圖像92，但是并不將其顯示在監(jiān)視器38的屏幕上。未調(diào)整顯示圖像92包括CCD圖像88的一部分，該CCD圖像88的一部分與顯示圖像84中包含的CCD圖像80的一部分相對應。也就是說，顯示圖像92和CCD圖像邊界90的相對位置與顯示圖像84與CCD圖像邊界82的相對位置相同，并且，對于顯示圖像84和92，該顯示圖像邊界和對應的CCD圖像邊界之間的距離大約相等。例如，顯示圖像84和92位于各自的CCD圖像80、88的中間。
圖2和3示意性地示出了攝像機22獲取的兩幅圖像以及攝像機有意運動、攝像機實際運動和攝像機無意運動對這兩幅圖像的影響及其之間的關(guān)系。在這些圖像中，識別一個公共靜止特征96，以闡明在獲取這兩幅圖像之間發(fā)生的FOV的相對移動。在圖2中，用實線和虛線表示相同的靜止特征96，以表明特征96出現(xiàn)在CCD圖像80和CCD圖像88中。圖2示意性地示出了在獲取兩幅CCD圖像80、88之間的時段內(nèi)實際發(fā)生的、特征96相對于CCD圖像邊界82、90的實際水平移動ΔP(一般對應于攝像機22的平搖運動)和垂直移動ΔT(一般對應攝像機22的俯仰運動)。
圖2描述了相對于靜止特征96的CCD圖像80和88的位置。如圖2所示，圖像80和88在很大程度上重疊，但是，攝像機22的FOV在獲取CCD圖像80到最近捕獲的CCD圖像88之間已發(fā)生改變。圖3很好地示出了攝像機22的FOV的改變，其中，由于將相繼出現(xiàn)在監(jiān)視器38的屏幕上，顯示圖像84、92互相疊加，而不必為圖像穩(wěn)定目的而調(diào)整顯示圖像的邊界86、94。
特征96相對于顯示圖像邊界86、94在位置ΔT中的垂直(即在俯仰方向的)變化以及在位置ΔP中的水平(即平移方向的)變化表示在攝像機22捕獲CCD圖像80和88之間發(fā)生的攝像機22的垂直(俯仰)運動和水平(平搖)運動，并等同于特征96相對于CCD圖像邊界82和90的位置改變。
換言之，ΔT等于特征96分別和顯示圖像邊界86、94的對應水平邊緣之間的垂直距離v0和v1之間的差距，即ΔT＝|v0-v1|。類似地，ΔP等于特征96分別和顯示圖像邊界86、94的對應垂直邊緣之間的水平距離h0和h1之間的差距，即ΔP＝|h0-h1|。或者也可以說，ΔT等于特征96分別和CCD圖像邊界82、90的對應水平邊緣之間的垂直距離v2和v3之間的差距，即ΔT＝|v2-v3|。類似地，ΔP等于特征96分別和CCD圖像邊界82、90的對應垂直邊緣之間的水平距離h2和h3之間的差距，即ΔP＝|h2-h3|。
處理設(shè)備50根據(jù)對兩幅CCD圖像80、88的內(nèi)容分析，確定ΔT和ΔP的值。將具有重疊內(nèi)容的兩幅圖像配準(register)或?qū)?align)的匹配技術(shù)在本領(lǐng)域中是公知的，并用于多種計算機視覺和視頻處理應用。兩種公知的方法是歸一化的基于相關(guān)性的(normalized correlation-based)模板匹配(template matching)和特征匹配(feature matching)。例如，可以使用特征匹配方法完成在兩幅圖像中的每一幅圖像中對諸如特征96這樣的靜態(tài)對象的識別。識別視頻圖像中的特征的一種公知方法是角檢測(cornerdetection)法，該方法分析圖像，以識別圖像中的位置或角，在位置或角處，附近像素的亮度等級有相對明顯的變化。然后，比較和匹配這兩幅不同圖像中的這些角。
雖然可以在本發(fā)明中使用這樣的特征匹配方法，但示出的實施例使用的是模板匹配方法。在本領(lǐng)域中有多種公知的模板匹配方法。兩種著名的模板匹配方法是方差求和(sum of square differences)法與歸一化互相關(guān)(normalized cross-correlation)法。方差求和法一般根據(jù)下面的數(shù)學關(guān)系E=ΣiΣj||I(xi′,yj′)-M(xi-yj)||2---(1)]]>其中，E是總誤差，I是圖像，M是模型模板，(x，y)是模型圖像坐標，(x′，y′)是變換后的圖像坐標。為了配準這兩幅圖像，將總誤差E最小化。在圖2的示例中，第一顯示圖像84對應模型模板M，x和x′之間的差對應ΔP，y和y ′之間的差對應ΔT。運動模型定義變換后圖像坐標和模型圖像坐標之間的關(guān)系?？梢允褂貌煌倪\動模型，以下所示的仿射變換(affinetransformation)對旋轉(zhuǎn)、剪切和平移模型化x′y′1=a0a1a2a3a4a5001xy1---(2)]]>該運動模型需要當前圖像(第二CCD圖像88)和模型圖像(第一顯示圖像84)之間的至少三對點。
雖然本發(fā)明可以使用方差求和法，但示出的實施例使用了歸一化互相關(guān)法。使用互相關(guān)的模板匹配基于歐式距離平方df,l2(u,v)=Σx,y[f(x,y)-t(x-u,y-v)]2---(3)]]>其中f是圖像，如第二CCD圖像88，求和針對如第一顯示圖像84這樣的包括位于(u，v)的特征t的窗口下的x、y。d2的展開式提供df,l2(u,v)=Σx,y[f2(x,y)-2f(x,y)t(x-u,y-v)+t2(x-u,y-v)]---(4)]]>項∑t2(x-u，y-v)是常量。如果項∑f2(x，y)是近似常量，那么，通過剩余的互相關(guān)項，提供該圖像和特征之間的相似度c(u,v)=Σx,yf(x,y)t(x-u,y-v)---(5)]]>但是，將該項用于模板匹配有許多缺點，所以，經(jīng)常使用一個相關(guān)系數(shù)。通過將該圖像和特征矢量標準化為單元長度，可以獲得該相關(guān)系數(shù)，如下 其中，t是該特征的均值，而fu，v是該特征下該區(qū)域中的f(x，y)的均值。對于本領(lǐng)域普通技術(shù)人員而言，該關(guān)系一般被稱為歸一化互相關(guān)。通過將第一顯示圖像84和第二CCD圖像88之間的歸一化相關(guān)性最大化，處理設(shè)備50可以確定ΔP和ΔT的值。
除了確定如ΔT和ΔP所示的視野的實際改變外，如果存在預期變化的話，處理設(shè)備50還確定在攝像機22的視野FOV的預期變化。在圖2中，垂直(俯仰)和水平(平搖)方向上FOV的預期變化分別對應于ΔT1和ΔP1。例如，當有意地平搖或俯仰攝像機時，攝像機的FOV會發(fā)生改變。在圖2中，攝像機FOV的這種預期改變對應于ΔT1和ΔP1，其中，ΔT1是攝像機22的有意俯仰所對應的垂直圖像距離，而ΔP1是攝像機22的有意平搖所對應的水平圖像距離。
在示出的實施例中，攝像機22將攝像機22獲取的每幅圖像以及攝像機22的平搖、俯仰和變焦位置相關(guān)的、基于幀同步的信息傳送到處理設(shè)備50。如果存在預期變化的話，處理設(shè)備50使用兩幅圖像80、88中每一幅圖像相關(guān)聯(lián)的平搖、俯仰和變焦設(shè)置，確定攝像機22的平搖、俯仰和變焦位置的預期變化，從而確定ΔT1和ΔP1的幅度和方向。
也可以通過其他方法確定FOV的預期變化。例如，處理設(shè)備50可以對發(fā)送到攝像機22的平搖、俯仰和變焦控制信號進行分析，以確定FOV中的預期變化。這種控制信號可以來自頭端單元32，例如由于人工操作操縱桿36，并被直接地或通過攝像機22發(fā)送到處理設(shè)備50?；蛘撸瑪z像機控制信號也可以來自處理設(shè)備50，例如，自動入侵者跟蹤程序產(chǎn)生的攝像機控制信號。或者，攝像機控制信號也可以來自其他來源，并被發(fā)送到處理設(shè)備50，或者，處理設(shè)備50可以通過分析從系統(tǒng)20收集的其他數(shù)據(jù)，來確定顯示圖像的預期變化。
如果ΔT和ΔP表示的攝像機FOV的實際改變以及ΔT1和ΔP1表示的攝像機FOV的預期變化是已知的，那么，就可以確定在垂直(俯仰)和水平(平搖)方向中的一個方向或兩個方向是否有攝像機的無意運動。ΔTE和ΔPE值表示兩幅連續(xù)圖像的FOV的實際變化(ΔT和ΔP)和FOV的預期變化(ΔT1和ΔP1)的差值，即，由于攝像機22的非有意運動而引起的FOV的改變。處理設(shè)備50根據(jù)ΔTE和ΔPE的值，通過調(diào)整該顯示圖像在CCD圖像中的相對位置，補償攝像機22的這種無意運動。在圖2中，由調(diào)整后的顯示邊界100定義的調(diào)整后顯示圖像98將會顯示在監(jiān)視器38的屏幕上。
當將這些圖像傳送到頭端單元32以便將其顯示在監(jiān)視器屏幕38上時，處理設(shè)備50可以修剪這些圖像，并只轉(zhuǎn)發(fā)選中的顯示圖像部分，如顯示圖像84、98，或者，它可以轉(zhuǎn)發(fā)如CCD圖像80、88這樣的整個CCD圖像以及如顯示邊界86、100這樣的顯示圖像邊界的坐標。
只要調(diào)整后的整個顯示圖像98存在于CCD圖像88上，那么，調(diào)整后的顯示圖像98就可以顯示在監(jiān)視器38的屏幕上。所有四側(cè)上的邊沿將該視頻圖像的選中部分的外邊緣(即顯示圖像邊界)和CCD視頻圖像的外邊緣分離開來。因此，對該顯示圖像的調(diào)整只限于對應邊沿的寬度。也就是說，該顯示圖像和CCD圖像尺寸差值對應的門限值限制了該顯示圖像在CCD圖像中的再定位范圍?？梢愿鶕?jù)監(jiān)視攝像機將會遇到的震動或其它無意運動的預期幅度，選擇邊沿的尺寸。
本發(fā)明提供的一個重要特征在于，它不僅在攝像機靜止時穩(wěn)定顯示圖像，并且在調(diào)整攝像機FOV時也提供顯示圖像的穩(wěn)定。如上所述，除了可調(diào)整攝像機22的平搖和俯仰角度，攝像機22還具有可調(diào)整的變焦設(shè)置。除了攝像機的平搖或俯仰運動，前面關(guān)于確定ΔT和ΔP、ΔT1和ΔP1以及ΔTE和ΔPE的討論沒有具體針對FOV的改變包括攝像機22變焦設(shè)置的改變(即攝像機22鏡頭焦距的改變)的情況。攝像機22或支撐攝像機22的結(jié)構(gòu)的振動不可能導致攝像機22變焦設(shè)置的無意改變。所以，從攝像機22到處理設(shè)備50傳送的變焦設(shè)置被認定為正確的。
但是，在獲取圖像80、88之間變焦設(shè)置的有意和精確的改變會通過改變圖像80、88內(nèi)容的相對大小而影響圖像穩(wěn)定處理。本發(fā)明的其他實施例會以其他形式針對攝像機22變焦設(shè)置的改變。最簡單的方法是只有當處理設(shè)備50分析的兩幅連續(xù)圖像具有相同的變焦設(shè)置時，才執(zhí)行圖像穩(wěn)定處理。當積極地改變攝像機22的焦距時，該方法將暫停圖像穩(wěn)定處理的操作。對于某些應用，攝像機的焦距受到相對很少的改變或攝像機不包括可調(diào)整焦距，該方法不會顯著降低圖像穩(wěn)定系統(tǒng)的價值。此外，當積極地改變焦距時，圖像正在進行通常很短暫的顯著變換，并且，其中小的無意圖像移動不像攝像機靜止時或只受到攝像機平搖和/或俯仰運動時那樣煩人。
當正改變攝像機22的焦距時，也可以繼續(xù)執(zhí)行圖像穩(wěn)定處理。如果采用該方法，正被比較的兩幅圖像(即第一CCD圖像80和第二CCD圖像80)中至少一幅必須被變換，從而以通用縮放比例描繪每幅圖像中描繪的對象并可以將其對準。為了完成該處理，可使用幾何變換來修改該圖像中每個像素的位置。想起此的另一種方式是當根據(jù)攝像機運動，所有像素從一個位置移動到一個新位置時。Trajkovic在題為“Motion-Based TrackingWith Pan-Tilt-Zoom Camera”的美國專利申請公開No.2002/0167537 A1中討論了一種這樣的方法，用于變換第一圖像以將其與第二圖像對準，其中，在獲取兩幅圖像之間調(diào)整攝像機，該申請并入此處，作為參考。
對以不同焦距獲取的連續(xù)圖像進行對準需要將一幅圖像進行移動以及縮放和旋轉(zhuǎn)，以將其與前一幅圖像對準。在這三種操作中，移動是最簡單的。在執(zhí)行下一步處理之前，將圖像簡化、擴展、或修改到標準尺寸需要扭曲(warping)，在扭曲處理中，每個像素進行用戶指定的變換。這些幾何操作產(chǎn)生的圖像近似于原始圖像。這兩幅圖像(即如I1這樣的當前圖像和如I2這樣的參考圖像)之間的映射由以下公式定義p′＝sQRQ-1p＝Mp (7)其中，p和p′表示在第一和第二圖像中相同世界點(world point)的同形(homographic)圖像坐標，s表示縮放圖像(其對應于攝像機的焦距)，Q是內(nèi)部攝像機校正矩陣，R是兩個攝像機位置之間的旋轉(zhuǎn)矩陣。
或者，也可以將兩幅連續(xù)圖像中靜態(tài)世界點的圖像投影坐標p和p′(即像素位置(x，y)和(x′，y′))之間的關(guān)系寫為x′=m11x+m12y+m13m31x+m32y+m33---(8)]]>y′=m21x+m22y+m23m31x+m32y+m33---(9)]]>其中， 是將第一幅圖像影射(對準)到第二幅圖像的同形矩陣(homography matrix)M。
該圖像對準中的主要任務(wù)是確定矩陣M。顯然，根據(jù)等式(7)，給定s、Q和R，理論上就能直接確定矩陣M。但實際中，s、Q和R的準確值經(jīng)常是未知的。等式(7)還假設(shè)攝像機中心和旋轉(zhuǎn)中心是相同的，這一般只接近真實，但是，該假設(shè)對于提供圖像穩(wěn)定是足夠正確的。在示出的實施例中，攝像機22在圖像同步基礎(chǔ)上，提供數(shù)據(jù)(即用于確定R的平搖和俯仰值以及用于確定s的變焦值)，并將其與各圖像一起發(fā)送到處理設(shè)備50。
然后，對于該圖像具體數(shù)據(jù)，使用上述同形方法執(zhí)行一幅圖像的平移、旋轉(zhuǎn)和縮放，以將其與第二幅圖像對準。在該方法中，平移是在x或y方向中以某數(shù)量像素的像素運動。正平移處于行索引或列索引遞增的方向，而負平移正好相反。正方向的平移將行或列增加到該圖像的上邊或左邊，直到獲得所需的增加量。相對于原始圖像，執(zhí)行圖像旋轉(zhuǎn)，圖像旋轉(zhuǎn)被定義為處于運動的中心并指定一個角度。對一幅圖像進行縮放意味著將其放大或縮小指定的倍數(shù)。使用下列近似值表示這樣的平移、旋轉(zhuǎn)和縮放x′＝s(xcosa-ysina)+tx(10)y′＝s(ysina+xcosa)+ty其中s是縮放(變焦)因子；a是相對于原始圖像的旋轉(zhuǎn)角度；tx是在x方向的移動；ty是在y方向的移動。
通過引入新的獨立變量a1＝scosα和a2＝ssinα，等式(10)變?yōu)閤′＝a1x-a2y+tx(11)y′＝a2x+a1y+ty在確定a1、a2、tx和ty之后，可以對準這兩幅圖像I1和I2。如果使用直接從攝像機獲得的變焦、平搖和俯仰值來獲得這些值，那么，tx和ty將對應于ΔP1和ΔT1。如果變換后的圖像顯示整體(global)圖像運動并不能由該過程正確對準，則已發(fā)生無意的運動，并且，對于這些轉(zhuǎn)換的圖像，可以使用歸一化互相關(guān)確定ΔPE和ΔTE的值。
圖4示意性地示出了處理設(shè)備50的硬件結(jié)構(gòu)。在示出的實施例中，處理設(shè)備50包括與電源/IO板66通信的系統(tǒng)控制器板64。電線42將電源40連接到轉(zhuǎn)換器52，從而向處理設(shè)備50供電。處理設(shè)備50經(jīng)由視頻線44從攝像機22接收原始模擬視頻輸入信號，視頻線45用于將視頻圖像傳送到頭端單元32。在示出的實施例中，視頻線44、45是同軸、75歐姆、1 Vp-p，并且包括用于接合處理設(shè)備50的BNC連接器。攝像機22提供的視頻圖像可以是模擬的并遵循NTSC或PAL標準。當處理設(shè)備50不工作時，即關(guān)閉時，來自攝像機22的視頻圖像可以經(jīng)過處理設(shè)備50，通過模擬視頻線54、模擬電路68、模擬視頻線70和通信插板72，到達頭端單元32。板72是能夠處理二相(biphase)信號并包括經(jīng)過視頻鏈路進行雙向通信的同軸信息集成電路(COMIC)的標準通信板。
經(jīng)由另一模擬視頻線56，模數(shù)轉(zhuǎn)換器58從攝像機22接收視頻圖像并將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號。數(shù)字視頻信號存儲在SDRAM 60形式的緩沖器之后，數(shù)字化的視頻圖像被傳送到視頻內(nèi)容分析數(shù)字信號處理器(VCA DSP)62。在VCA DSP 62中執(zhí)行上述參考圖2和3所描述的視頻穩(wěn)定算法。調(diào)整后的顯示圖像被發(fā)送到數(shù)模轉(zhuǎn)換器74，在數(shù)模轉(zhuǎn)換器74中，視頻信號被轉(zhuǎn)換為模擬信號。經(jīng)由模擬視頻線76和70，將所得的有注解的模擬視頻信號發(fā)送到通信插板72，然后通信插板72經(jīng)由視頻線45將信號發(fā)送到頭端單元32。
在示出的實施例中，到系統(tǒng)控制器板64的視頻輸入被限制在1 Vp-p，如果視頻信號超過1 Vp-p，則將其修剪為1 Vp-p。但是，本發(fā)明也可以使用具有更多或更少容量的其他實施例。處理器62可以是從Phillips電子北美公司獲得的TriMedia TM-1300可編程媒體處理器。在啟動時，處理器62裝載引導裝入(bootloader)程序。然后，引導程序?qū)CA應用程序代碼從諸如閃存78這樣的存儲器拷貝到SDRAM 60以進行執(zhí)行。在示出的實施例中，閃存78提供1M字節(jié)的存儲量，SDRAM 60提供8M字節(jié)的存儲量。因為啟動時將來自閃存78的應用程序代碼裝載在SDRAM 60上，所以，SDRAM 60為視頻存儲幀留有大約7M字節(jié)的存儲量。
在圖4所示的實施例中，系統(tǒng)控制器板64經(jīng)由二相數(shù)字數(shù)據(jù)總線102、I2C數(shù)據(jù)總線104和RS-232數(shù)據(jù)總線106連接通信插板72。系統(tǒng)控制器板64經(jīng)由RS-232數(shù)據(jù)總線110連接到RS-232/RS-485兼容收發(fā)器108。線49可以是RS-232調(diào)試數(shù)據(jù)總線，其將信號從頭端單元32傳送到處理設(shè)備50。線49上的信號可以包括在發(fā)送到攝像機22之前處理設(shè)備50能修改的信號。可以經(jīng)由與微處理器112通信的線48，將這樣的信號發(fā)送至攝像機22。微處理器112可以操作系統(tǒng)控制器軟件，并且還可以與VCA組件114通信。因此，諸如VCADSP 62這樣的VCA組件可以經(jīng)由微處理器112和線48，將信號發(fā)送到攝像機22。
系統(tǒng)控制器板64還可以包括現(xiàn)場可編程門陣列116，現(xiàn)場可編程門陣列116包括掩膜存儲器118、字符存儲器120和屏幕顯示(OSD)存儲器122。同樣，VCA組件114可以包括掩膜存儲器124、字符存儲器126和屏幕顯示(OSD)存儲器128。這些組件可用于掩蓋顯示在屏幕38上圖像的各種部分，或為屏幕38產(chǎn)生文本顯示。最后，系統(tǒng)控制器板64可以包括用于存儲用戶設(shè)置的并行數(shù)據(jù)閃存130。
在該示出的實施例中，人工操作員輸入的、傳送到處理設(shè)備50的必要命令是開/關(guān)命令，但是，在其他實施例中甚至這些開/關(guān)命令也可以是自動化的。經(jīng)由二相線46在頭端單元32和攝像機22之間以及經(jīng)由線48在處理設(shè)備50和攝像機22之間，傳送這樣的開/關(guān)命令和其他串行通信。在該示出的實施例中，處理設(shè)備50設(shè)置有金屬片狀殼體且安裝在攝像機22附近，但是，也可以使用其他方法和在其他位置安裝處理設(shè)備50。處理設(shè)備50也可以采用其他硬件結(jié)構(gòu)。這樣的硬件應該能夠很好地運行軟件和以最少大約每秒5幀的速度進行處理。還應當注意的是，通過提供具有金屬片狀殼體的處理設(shè)備50，有利于在PTZ攝像機附近或之上安裝處理設(shè)備50，因此，系統(tǒng)20可以提供一個不需要基于個人計算機的圖像穩(wěn)定系統(tǒng)的獨立嵌入式平臺。但是，如果需要的話，本發(fā)明也可以使用基于個人計算機的系統(tǒng)。
處理設(shè)備50可以執(zhí)行多種功能，包括捕獲攝像機22獲取的視頻幀、識別這些視頻幀中的靜止特征、根據(jù)發(fā)送到攝像機22或從攝像機22接收的信號確定攝像機FOV的預期改變、識別靜止特征并確定攝像機FOV中的實際改變、比較攝像機FOV的預期改變和實際改變以確定攝像機無意運動引起的圖像移動幅度以及選擇顯示圖像坐標以抵消攝像機無意運動引起的移動。處理設(shè)備50也可用于執(zhí)行自動跟蹤功能。例如，處理設(shè)備50也可提供一種自動跟蹤系統(tǒng)，其中，處理設(shè)備50用于識別攝像機FOV中運動的目標對象；然后，產(chǎn)生調(diào)整攝像機平搖、俯仰和變焦設(shè)置的控制信號，以跟蹤目標對象，并將該目標對象維持在攝像機的FOV內(nèi)。由于自動調(diào)整攝像機的平搖、俯仰和變焦設(shè)置以跟蹤目標對象，所以，可以使用根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)來穩(wěn)定該系統(tǒng)顯示的圖像。Sablak等在2002年11月27日提交的、序列號為10306509、題目為“VIDEO TRACKING SYSTEMAND METHOD”的美國專利申請中描述了系統(tǒng)20使用的自動跟蹤系統(tǒng)的一個示例，所公開的內(nèi)容并入此處，作為參考。也可以使用根據(jù)本發(fā)明的圖像穩(wěn)定系統(tǒng)來穩(wěn)定圖像，其中，手動地調(diào)整攝像機，例如通過手工操作操縱桿36或在其他應用中。
圖5提供了上述系統(tǒng)20使用的視頻穩(wěn)定算法的實施例的一般邏輯的流程圖。如圖5所示，打開處理設(shè)備50之后，在步驟180中，通過將應用程序代碼從閃存78拷貝到SDRAM 60執(zhí)行，將處理設(shè)備50初始化。模塊182表示SDRAM 60的剩余存儲量，其作為環(huán)形緩沖區(qū)，用于從攝像機22接收并存儲由處理器62進行處理的各幀相關(guān)聯(lián)的視頻圖像幀和數(shù)據(jù)。在判斷模塊184中，處理器62判斷第一標記是否為真。只有當沒有來自攝像機22的圖像已裝載到SDRAM 60以由處理器62分析時，第一標記才為真。因此，打開處理設(shè)備50時，遇到第一次判斷模塊184，第一標記將為真，然后處理器62執(zhí)行到模塊186。模塊186表示處理器62抓到兩幅圖像。然后，處理器62執(zhí)行到模塊188，其中，將平滑濾波器應用到每一幅圖像。平滑濾波器的應用包括取出這些圖像的兩個子采樣。第一子采樣步驟產(chǎn)生當前I1和I2圖像的QCIF分辨率的子采樣(即，具有原始NTSC或PAL CIF分辨率圖像的四分之一分辨率的圖像)。該子采樣處理將鄰近像素組合在一起，從而定義這些成組像素的平均值。該子采樣處理的目的在于降低分析該圖像中涉及的計算處理所消耗的時間。然后，取出第一子采樣的第二子采樣，產(chǎn)生具有原始CIF分辨率圖像的1/16分辨率的圖像，從而進一步提高圖像穩(wěn)定處理的速度。模塊190表示獲取來自攝像機每幅圖像的平搖、俯仰和焦距(即變焦)值(該數(shù)據(jù)表示預期值并包括平搖和俯仰值的無意運動分量)。雖然在獲取圖像之后的位置示出了模塊190，但攝像機22可以將平搖、俯仰和變焦數(shù)據(jù)與圖像同時傳送到處理設(shè)備50。
接下來，模塊192表示使用當前圖像的平搖、俯仰和變焦值，計算旋轉(zhuǎn)和縮放的同形矩陣。然后，在模塊194中，通過同形矩陣執(zhí)行圖像變換，以將第二幅圖像對準到第一幅圖像上(如果在獲取兩幅圖像的時間間隔內(nèi)沒有對攝像機進行平搖、俯仰或變焦調(diào)整，則不需要圖像變換)。
在模塊196中，計算這兩幅對準后圖像的圖像差別，以確定這些圖像中是否存在運動。因此，在對準圖像I1和I2后，根據(jù)以下公式計算圖像差別ΔΔ＝|I2-I1| (12)然后，計算這些差別的直方圖(histogram)。該圖像的靜態(tài)背景通常負責產(chǎn)生直方圖中的最大峰。因此，如果最大峰集中在0附近，對準兩幅圖像的背景，在獲得這兩幅圖像的間隔內(nèi)沒有任何無意的攝像機運動。如果是這種情況，則流程返回判斷框184。如果直方圖中的最大峰沒有集中在0附近，這表示整體運動，即背景在移動。將此解釋為表明攝像機的無意運動，然后流程執(zhí)行到框198。移動對象位于所獲取的圖像中也是有可能的。如果該移動對象存在于這些圖像中，直方圖一般具有與之相關(guān)的兩個峰，一個峰對應于背景，而一個峰對應于移動對象。如果是這種情況，假設(shè)該圖像的背景比該移動對象占據(jù)更多的圖像區(qū)域，最大峰值用于做出上述判斷。換言之，評估直方圖，以判斷直方圖的最大峰是否集中于0，表示沒有無意的攝像機運動，或者判斷最大峰是否表示全局運動，意味著出現(xiàn)無意的攝像機運動。例如，圖6示意性地描述了圖像差別的直方圖，其中，主峰集中于0，表明沒有無意的攝像機運動，并還包括沒有集中于0的第二峰212，因此表明圖像內(nèi)存在移動對象。
如果檢測到無意的攝像機運動并且系統(tǒng)執(zhí)行到模塊198，則使用歸一化互相關(guān)(NCC)確定兩幅圖像間的移動范圍。因為這兩幅圖像的變換已以表示ΔT1和ΔP1的值預測的形式對準了圖像，所以，在框198中確定這兩幅圖像間已發(fā)生運動的處理步驟對應于確定ΔTE和ΔPE的值。
接下來，在模塊200中，對圖像I1和I2交換數(shù)據(jù)。執(zhí)行圖像數(shù)據(jù)的交換，以使得當完成模塊202的移動后抓取一幅新圖像并將其放在緩沖器中時，新圖像和與之相關(guān)的數(shù)據(jù)將覆蓋緩沖器中已經(jīng)存在的兩幅圖像中較老的那幅圖像相關(guān)的圖像和數(shù)據(jù)。
模塊202表示在最近獲取的CCD圖像的圖像上以等于ΔTE和ΔPE的量移動顯示圖像邊界，從而提供穩(wěn)定的視頻圖像。
然后，流程返回到第一標記將不再為真的模塊184，并且，流程將執(zhí)行到模塊208，在模塊208中，抓取一幅單獨的新圖像并覆蓋緩沖器中的圖像I2。然后，處理器62執(zhí)行到模塊210，在模塊210中，對新圖像應用平滑濾波器。模塊212表示在攝像機獲取新圖像時獲取攝像機的平搖、俯仰和變焦設(shè)置。然后，流程執(zhí)行到模塊192。
在該示例性實施例中，攝像機22持續(xù)獲取新圖像，處理設(shè)備50執(zhí)行的、將當前圖像和以前獲取的圖像進行比較的計算分析比攝像機22獲取單獨圖像之間的時間間隔要長。當處理設(shè)備50完成其對一組圖像的分析時，它抓取最近獲取的圖像以進行下一次分析。因此，在處理設(shè)備50順序地抓取兩幅圖像以進行分析之間攝像機22可能捕獲和傳送一幅或更多幅圖像。因此，當在模塊198(在圖5的流程圖中)中判定需要調(diào)整當前圖像的顯示邊界以糾正攝像機的無意運動時，在完成下一次圖像穩(wěn)定分析之前，攝像機22會獲取許多附加圖像并將其顯示在監(jiān)視器屏幕38上。可以通過不同的形式，在這些附加的未分析圖像中設(shè)置顯示邊界的位置。例如，這些附加圖像使用的顯示邊界利用調(diào)整后的邊界位置，例如顯示邊界100，其源自對最后兩幅抓取圖像的分析，可用于未分析的圖像，直到穩(wěn)定處理肯定地判定應重新調(diào)整顯示邊界。或者，在改變一幅具體分析并確定已被攝像機無意運動影響的圖像的顯示邊界之后，該顯示邊界可以立即返回到CCD顯示的中心位置。換言之，除了那些已被抓取、分析并確定已經(jīng)受到無意攝像機運動影響并且特別確定改變后的顯示圖像邊界的圖像以外，對于所有的圖像，顯示邊界都仍保持在中心位置。在已經(jīng)調(diào)整顯示邊界以解決無意的攝像機運動之后，對于許多順序獲取的圖像，顯示邊界以遞增量返回CCD圖像邊界的中心位置也是有可能的。
在大多數(shù)監(jiān)視攝像機應用中，可以預想到的是，施加于攝像機上的各種振動和外力會引起無意的攝像機運動，對于攝像機預期位置對應的平衡位置，這些運動的可能振動使得非常短暫地偏離預期位置。在這種情況下，使顯示邊界立即返回到中心位置是有利的。返回中心位置不僅可以反映出現(xiàn)的無意攝像機運動并因此有利于顯示穩(wěn)定的圖像，而且它還防止顯示邊界移向CCD顯示圖像的邊緣，那會限制圖像穩(wěn)定處理的有效性并導致不將顯示圖像邊界返回CCD圖像中心位置的處理。
雖然上面描述的本發(fā)明具有一個示例性的設(shè)計，但是，可以在本申請公開的精神和范圍內(nèi)進一步修改本發(fā)明。因此，本申請趨向于覆蓋使用本發(fā)明一般原理的任何變體、使用或改進。
權(quán)利要求
1.一種視頻圖像穩(wěn)定系統(tǒng)，包括包括圖像捕獲設(shè)備的攝像機，所述圖像捕獲設(shè)備被配置用于捕獲視頻圖像，所述攝像機具有可選擇調(diào)整的視野；以及至少一個可操作地連接到所述系統(tǒng)的處理設(shè)備，其中，所述處理設(shè)備接收表示所述攝像機視野的信號和所述攝像機捕獲的圖像，所述處理設(shè)備順序地抓取所述圖像中的第一幅和所述圖像中的第二幅，所述處理設(shè)備將所述視頻圖像的穩(wěn)定調(diào)整確定為根據(jù)表示視野的所述信號、在捕獲所述第一幅圖像和所述第二幅圖像之間的間隔期內(nèi)所述攝像機視野的預期改變以及對所述第一幅和第二幅圖像分析的函數(shù)。
2.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，選擇所述攝像機捕獲的每幅圖像的一個顯示部分以顯示，每幅圖像的所述選中顯示部分小于捕獲的整個圖像，并且，所述處理設(shè)備確定的所述穩(wěn)定調(diào)整包括調(diào)整所述選中顯示部分在所述捕獲的圖像內(nèi)的相對位置。
3.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，所述攝像機具有可選擇調(diào)整的平搖位置、可選擇調(diào)整的俯仰位置以及可選擇調(diào)整的焦距。
4.如權(quán)利要求3所述的視頻圖像穩(wěn)定系統(tǒng)，其中，在捕獲所述第一幅和第二幅圖像之間，有意地調(diào)整所述攝像機的平搖位置和俯仰位置中的至少一個位置。
5.如權(quán)利要求3所述的視頻圖像穩(wěn)定系統(tǒng)，其中，在捕獲所述第一幅和第二幅圖像之間，有意地調(diào)整所述攝像機的焦距。
6.如權(quán)利要求5所述的視頻圖像穩(wěn)定系統(tǒng)，其中，對所述第一幅和第二幅圖像的所述分析包括變換所述第一幅和第二幅圖像中的一幅圖像，其中調(diào)整該幅被變換的圖像的縮放比例。
7.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，對所述第一幅和第二幅圖像的所述分析包括根據(jù)表示視野的所述信號，將所述第一幅和第二幅圖像中的一幅與所述第一幅和第二幅圖像中的另一幅對準，以及判斷所述對準后的圖像是否表明有無意的攝像機運動的發(fā)生。
8.如權(quán)利要求7所述的視頻圖像穩(wěn)定系統(tǒng)，其中，判斷所述對準后的圖像是否表明發(fā)生了無意的攝像機運動，該判斷包括確定所述對準后圖像的圖像差別。
9.如權(quán)利要求8所述的視頻圖像穩(wěn)定系統(tǒng)，還包括產(chǎn)生所述對準后圖像的所述圖像差別的直方圖，并基于識別所述直方圖中的最高峰和所述最高峰的位置，判斷無意的攝像機運動是否已發(fā)生。
10.如權(quán)利要求9所述的視頻圖像穩(wěn)定系統(tǒng)，其中，當所述最高峰不是基本集中于0時，判定已發(fā)生無意的運動，并且，其中確定所述穩(wěn)定調(diào)整包括識別出使所述圖像差別最小化的調(diào)整。
11.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，表示視野的所述信號包括所述攝像機對于每幅捕獲圖像的平搖、俯仰和焦距設(shè)置，所述信號在圖像同步的基礎(chǔ)上從所述攝像機傳送到所述處理設(shè)備。
12.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，所述攝像機可移動地安裝在固定支撐架上。
13.一種視頻圖像穩(wěn)定系統(tǒng)，包括包括圖像捕獲設(shè)備的攝像機，所述圖像捕獲設(shè)備被配置用于捕獲圖像，捕獲的每幅圖像與一個視野相關(guān)聯(lián)，所述攝像機具有至少一個可選擇調(diào)整的參數(shù)，其中，調(diào)整所述至少一個攝像機參數(shù)改變所述攝像機的視野；顯示設(shè)備，被配置用于顯示所述攝像機捕獲的圖像的選中部分；以及處理設(shè)備，可操作地連接到所述攝像機和所述顯示設(shè)備，其中，所述處理設(shè)備接收表示所述至少一個攝像機參數(shù)的信號和所述攝像機捕獲的圖像，所述處理設(shè)備用于根據(jù)表示所述至少一個攝像機參數(shù)的信號以及對當前捕獲圖像和以前捕獲圖像的分析，通過調(diào)整所述顯示設(shè)備顯示的圖像的選中部分，補償所述攝像機的無意的運動。
14.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，表示至少一個攝像機參數(shù)的所述信號包括表示平搖、俯仰和變焦設(shè)置的信號。
15.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，所述視頻圖像的選中部分包括所述視頻圖像的中心部分。
16.如權(quán)利要求1所述的視頻圖像穩(wěn)定系統(tǒng)，其中，所述視頻圖像的選中部分包括所述視頻圖像的大約60％到90％。
17.一種穩(wěn)定視頻圖像的方法，所述方法包括用攝像機捕獲多幅圖像，所述攝像機安裝在固定支撐架上并具有可調(diào)整的視野；調(diào)整所述攝像機的視野；抓取所述攝像機捕獲的第一幅圖像及其后面的第二幅圖像；顯示所述第一幅和第二幅圖像中每幅的選中顯示部分，每幅圖像的選中顯示部分小于捕獲的整個圖像；以及將所述第二幅圖像的穩(wěn)定調(diào)整確定為在捕獲所述第一幅圖像和捕獲所述第二幅圖像之間的間隔期間所述攝像機視野的預期改變以及對所述第一幅和第二幅圖像的分析的函數(shù)，其中，穩(wěn)定調(diào)整包括調(diào)整所述選中顯示部分在所述第二幅圖像內(nèi)的相對位置。
18.如權(quán)利要求17所述的方法，其中，所述攝像機定義平搖位置和俯仰位置，并且，在捕獲所述第一幅和第二幅圖像之間，有意地調(diào)整所述攝像機的平搖位置和俯仰位置中的至少一個位置。
19.如權(quán)利要求17所述的方法，其中，在捕獲所述第一幅和第二幅圖像之間，有意地調(diào)整所述攝像機的焦距。
20.如權(quán)利要求19所述的方法，其中，對所述第一幅和第二幅圖像的所述分析包括變換所述第一幅和第二幅圖像中的一幅圖像，其中調(diào)整該幅被變換的圖像的縮放比例。
21.如權(quán)利要求17所述的方法，其中，對所述第一幅和第二幅圖像的所述分析包括基于從與所述攝像機通信的系統(tǒng)接收的、表示視野的信號，將所述第一幅和第二幅圖像中的一幅與所述第一幅和第二幅圖像中的另一幅對準，并判斷所述對準后的圖像是否表明有無意的攝像機運動的發(fā)生。
22.如權(quán)利要求21所述的方法，其中，判斷對準后的圖像是否表明發(fā)生無意的攝像機運動，該判斷包括確定對準后圖像的圖像差別。
23.如權(quán)利要求22所述的方法，還包括產(chǎn)生對準后圖像的圖像差別的直方圖，并基于識別所述直方圖中的最高峰和所述最高峰的位置，判斷無意的攝像機運動是否已發(fā)生。
24.如權(quán)利要求23所述的方法，其中，當所述最高峰不是基本集中于0時，判定已發(fā)生無意的運動，并且，其中確定所述穩(wěn)定調(diào)整包括識別出使所述圖像差別最小化的調(diào)整。
25.一種穩(wěn)定視頻圖像的方法，所述方法包括通過使用控制信號，有意地改變攝像機的視野；用所述攝像機捕獲多幅圖像，每幅圖像和一個視野相關(guān)聯(lián)；顯示所述多幅圖像中每一幅的選中部分；以及對于所述多幅圖像中的至少一幅，調(diào)整顯示的選中部分，所述調(diào)整步驟用于補償攝像機的無意運動并且基于所述攝像機的預期視野和對所述多幅圖像中的至少一幅圖像和所述圖像中的第二幅圖像的分析。
全文摘要
一種包括攝像機的視頻圖像穩(wěn)定系統(tǒng)，該攝像機具有被配置用于捕獲視頻圖像的圖像捕獲設(shè)備。該攝像機具有可選擇調(diào)整的視野，并且，至少一個處理設(shè)備可操作地連接到該系統(tǒng)，其中，該處理設(shè)備接收表示該攝像機視野的信號和該攝像機捕獲的圖像。該處理設(shè)備順序地抓取第一幅和第二幅圖像。該處理設(shè)備將視頻圖像的穩(wěn)定調(diào)整確定為在捕獲第一幅圖像和第二幅圖像之間的間隔期內(nèi)、根據(jù)表示視野的信號、該攝像機視野的預期改變以及對第一幅和第二幅圖像分析的函數(shù)。選擇該攝像機捕獲的每幅圖像的一部分進行顯示。選中的顯示部分小于捕獲的整個圖像，該處理設(shè)備確定的穩(wěn)定調(diào)整包括調(diào)整選中的顯示部分在捕獲的圖像內(nèi)的相對位置。
文檔編號H04N5/232GK1691777SQ20051007626
公開日2005年11月2日 申請日期2005年2月18日 優(yōu)先權(quán)日2004年2月19日
發(fā)明者塞澤·薩布拉克 申請人:羅伯特·博世有限公司