本發(fā)明涉及穩(wěn)像視頻的制作。
背景技術(shù):
由攝像機(jī)拍攝的視頻可能會遇到被稱為攝像機(jī)抖動的問題。例如,安裝在一區(qū)域(用于例如監(jiān)視該區(qū)域)的攝像機(jī)可能會不時地經(jīng)歷由于諸如風(fēng)力、進(jìn)入或離開該區(qū)域的交通工具(如飛機(jī)、火車、卡車等)、施工工程等改變環(huán)境因素而引起的抖動或振動。這種抖動或振動會引發(fā)攝像機(jī)的運(yùn)動,因此使所拍攝的視頻抖動。
用于減少攝像機(jī)抖動影響的圖像穩(wěn)定的現(xiàn)有技術(shù)系統(tǒng)通常包括在顯示視頻之前對由攝像機(jī)拍攝的視頻的電子學(xué)操作。藉此,盡管有攝像機(jī)的誘發(fā)性運(yùn)動,也會將視頻的穩(wěn)定視圖呈獻(xiàn)給觀看者。
照片或圖片的邊緣在四周的紙面上逐漸消失被稱為漸暈。生成這種圖案的方法是有意識的。然而,漸暈這個用語也被用來指示在照片圖像或圖像流即視頻中的圖像角落的無意識的變黑。無意識的和不希望的漸暈是由透鏡、可變光圈和/或圖像傳感器的限制所導(dǎo)致的結(jié)果。
對于在其中執(zhí)行圖像穩(wěn)定的視頻,漸暈可能變得令人討厭。這是因?yàn)橐曨l的圖像幀將對于不同的圖像幀不同地移位和/或裁剪,以使該視頻看起來穩(wěn)定。因此,在執(zhí)行圖像穩(wěn)定之后,漸暈抖動的影響將被體現(xiàn)在視頻中。漸暈去除算法是容易獲得的。但是如果漸暈很嚴(yán)重,那么去除它將會嚴(yán)重地放大受影響區(qū)域中的噪聲。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問題,本發(fā)明的目的在于提供一種用于去除穩(wěn)像視頻中的漸暈移動的煩惱的方法。此外,本發(fā)明的目的在于提供一種用于在穩(wěn)像視頻中去除討厭的漸暈效應(yīng)而不會放大圖像中的噪聲的方法。
根據(jù)第一方面,提供一種用于實(shí)現(xiàn)穩(wěn)像視頻的方法。該方法包括:提供用于定義由攝像機(jī)拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù);確定由攝像機(jī)拍攝的數(shù)字圖像幀的位錯值;基于位錯值來確定數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域;至少在與數(shù) 字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域相對應(yīng)的像素上應(yīng)用漸暈去除處理,其中應(yīng)用基于用于定義漸暈效應(yīng)的數(shù)據(jù);以及基于用于定義漸暈效應(yīng)的數(shù)據(jù)及位錯值,在數(shù)字圖像幀中的將被顯示在視頻中的區(qū)域上再引入漸暈。
根據(jù)以上所討論的,去除和再引入漸暈將由于不同穩(wěn)像數(shù)字圖像幀中的不同漸暈而在穩(wěn)像視頻中產(chǎn)生閃爍效應(yīng),同時噪聲的放大被最小化。
應(yīng)用漸暈去除處理和再引入漸暈可在共同的圖像處理步驟中執(zhí)行。這將節(jié)省處理器所需的功率,并且使處理更快。
該方法可以進(jìn)一步包括基于位錯值對數(shù)字圖像幀進(jìn)行裁剪,以形成裁剪后圖像幀,其中裁剪后圖像幀對應(yīng)于數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域。
應(yīng)用可以包括在裁剪后圖像幀的像素上應(yīng)用漸暈去除處理,其中應(yīng)用基于用于定義漸暈效應(yīng)的數(shù)據(jù)和/或位錯值。再引入可以包括基于用于定義漸暈效應(yīng)的數(shù)據(jù),對裁剪后圖像再引入漸暈。
提供用于定義漸暈效應(yīng)的數(shù)據(jù)可以包括提供表格,該表格用于定義攝像機(jī)的圖像傳感器的不同像素如何受漸暈效應(yīng)的影響。
該表格可以包括用于定義攝像機(jī)的圖像傳感器的所有像素如何受漸暈效應(yīng)的影響的數(shù)據(jù)。
該表格可以包括用于定義僅攝像機(jī)的圖像傳感器的像素子集如何受漸暈效應(yīng)的影響的數(shù)據(jù)。
在使用滾動快門拍攝數(shù)字圖像幀的情況下,確定位錯值可以包括確定傳感器圖像幀的至少兩個不同行的不同位錯值。
在使用全局快門拍攝數(shù)字圖像幀的情況下,確定位錯值可以包括確定傳感器圖像幀的單一位錯值。
根據(jù)第二方面,提供一種在其上記錄有程序的非暫時性計(jì)算機(jī)可讀記錄介質(zhì),當(dāng)在具有處理能力的設(shè)備上執(zhí)行該程序時,實(shí)現(xiàn)上述方法。
根據(jù)第三方面,提供一種圖像處理設(shè)備,該圖像處理設(shè)備被設(shè)置為生成包括由攝像機(jī)拍攝的數(shù)字圖像幀的穩(wěn)像視頻。圖像處理設(shè)備包括:存儲器,包括用于定義由攝像機(jī)拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù);位錯值確定模塊,被設(shè)置為確定由攝像機(jī)拍攝的數(shù)字圖像幀的位錯值;圖像移位模塊,被設(shè)置為基于位錯值來確定數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域;漸暈去除模塊,被設(shè)置為基于用于定義漸暈效應(yīng)的數(shù)據(jù),從至少與數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域相對應(yīng)的像素中去除漸暈;漸暈再引入模塊,被設(shè)置為基于用于定義漸暈效應(yīng)的數(shù)據(jù)及位錯值,在數(shù)字圖像幀中的將被顯示在視頻中的區(qū)域上再引入漸暈;以及視頻模塊,被設(shè)置為將連續(xù)的 數(shù)字圖像幀添加到穩(wěn)像視頻中。
設(shè)備可進(jìn)一步包括:裁剪模塊,被設(shè)置為基于位錯值對數(shù)字圖像幀進(jìn)行裁剪,以形成裁剪后圖像幀,其中裁剪后圖像幀對應(yīng)于數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域。
設(shè)備可以是包括運(yùn)動傳感器的攝像機(jī),運(yùn)動傳感器被設(shè)置為對攝像機(jī)的運(yùn)動進(jìn)行檢測,其中位錯值確定模塊被設(shè)置為基于檢測到的攝像機(jī)的運(yùn)動,來確定由攝像機(jī)拍攝的數(shù)字圖像幀的位錯值。
以上所提到的用于實(shí)現(xiàn)穩(wěn)像視頻的方法的特征,在適用時,還將應(yīng)用于第二和第三方面。為了避免不必要的重復(fù),將參考上述內(nèi)容。
本發(fā)明適用性的進(jìn)一步范圍將根據(jù)下面給出的詳細(xì)描述而變得顯而易見。然而,應(yīng)當(dāng)理解,雖然詳細(xì)描述和具體示例在指示本發(fā)明的優(yōu)選實(shí)施例時,僅通過例證的方式來給出,但是對于本領(lǐng)域技術(shù)人員而言,本發(fā)明的范圍內(nèi)的各種變化和修改按照該詳細(xì)描述將變得顯而易見。
因此,應(yīng)當(dāng)理解,本發(fā)明并不限于所描述的設(shè)備的特定部件或描述為這種設(shè)備的方法的步驟,并且方法可以變化。還應(yīng)當(dāng)理解,本文所使用的術(shù)語僅用于描述具體實(shí)施例的目的,并不旨在進(jìn)行限制。必須指出,如在說明書和所附權(quán)利要求中使用的冠詞“一個”、“一種”、“該”和“所述”意在表示存在一種或多種元件,除非上下文中另有明確說明。因此,例如提及“一單元”或“該單元”可以包括多個設(shè)備和類似物。此外,用語“包括”“、包含”、“含有”以及類似用語并不排除其他元件或步驟。
附圖說明
現(xiàn)在將參照示出本發(fā)明實(shí)施例的附圖來更詳細(xì)地描述本發(fā)明的上述和其他方面。附圖不應(yīng)被認(rèn)為是用于將本發(fā)明限制在具體實(shí)施例,相反它們被用來解釋和理解本發(fā)明。
如圖所示,層和區(qū)域的大小被放大以用作描述的目的,并因此被提供用以說明本發(fā)明實(shí)施例的一般結(jié)構(gòu)。相同的附圖標(biāo)記始終指代相同的元件。
圖1是穩(wěn)像系統(tǒng)的實(shí)施例的框圖。
圖2是穩(wěn)像的概念圖。
圖3和圖4是在穩(wěn)像過程中漸暈的去除和再引入的概念圖。
圖5是用于實(shí)現(xiàn)穩(wěn)像視頻的方法的框圖。
圖6是穩(wěn)像系統(tǒng)的實(shí)施例的框圖。
具體實(shí)施方式
現(xiàn)在將在下文參考附圖來更全面地描述本發(fā)明,在附圖中示出了本發(fā)明的當(dāng)前優(yōu)選實(shí)施例。然而,本發(fā)明可以以很多不同形式來體現(xiàn),并且不應(yīng)被解釋為受限于本文所陳述的實(shí)施例;相反,這些實(shí)施例被提供用于徹底性以及完整性,并且向技術(shù)人員完全傳達(dá)本發(fā)明的范圍。
如本領(lǐng)域技術(shù)人員將意識到的,本發(fā)明的各方面可以被體現(xiàn)為設(shè)備、方法或計(jì)算機(jī)程序產(chǎn)品。因此,本發(fā)明的各方面可以采取完全硬件實(shí)施例、完全軟件實(shí)施例(包括固件、駐留軟件、微代碼等)、或組合了軟件與硬件的實(shí)施例的形式。此外,本發(fā)明可以采取體現(xiàn)在一個或多個計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式,一個或多個計(jì)算機(jī)可讀介質(zhì)具有體現(xiàn)在其上的計(jì)算機(jī)可讀程序代碼。
圖1是圖像穩(wěn)定系統(tǒng)10的框圖。圖像穩(wěn)定系統(tǒng)10包括:攝像機(jī)20、圖像處理設(shè)備30和顯示器40。
攝像機(jī)20被定位以使所關(guān)注的場景位于視場21之內(nèi)。攝像機(jī)20可被設(shè)置用于監(jiān)視該區(qū)域。攝像機(jī)20可以包括可調(diào)節(jié)的聚焦透鏡裝置22。攝像機(jī)20可被設(shè)置為輸出攜帶有與聚焦透鏡裝置22的焦距相關(guān)的信息的信號。攝像機(jī)20也可以是用于監(jiān)視攝像機(jī)前面的區(qū)域的監(jiān)控?cái)z像機(jī)。攝像機(jī)20進(jìn)行操作以生成代表視場21內(nèi)的關(guān)注場景的由攝像機(jī)20拍攝的視頻的圖像幀信息。
攝像機(jī)20會不時地經(jīng)歷由于諸如風(fēng)力、進(jìn)入或離開區(qū)域的交通工具(如飛機(jī)、火車、卡車等)、施工工程等改變環(huán)境因素而引起的抖動或振動。這種抖動或振動會引發(fā)攝像機(jī)20的運(yùn)動,因此使由攝像機(jī)20所拍攝的視頻抖動。
攝像機(jī)20還可包括運(yùn)動傳感器24。運(yùn)動傳感器24被設(shè)置為對攝像機(jī)20的運(yùn)動進(jìn)行檢測。運(yùn)動傳感器24被設(shè)置為輸出與攝像機(jī)20的運(yùn)動相對應(yīng)的信號。
從運(yùn)動傳感器24中輸出的信號可對應(yīng)于攝像機(jī)振動振幅。因攝像機(jī)的抖動或振動而引發(fā)的該攝像機(jī)的運(yùn)動可對應(yīng)于振蕩運(yùn)動,其中每個振蕩具有振蕩振幅。攝像機(jī)振動振幅可以是一個或多個振蕩振幅的度量。攝像機(jī)振動振幅可以例如是預(yù)定的時間間隔期間內(nèi)的平均振蕩振幅的度量或預(yù)定的時間間隔期間內(nèi)的最大振蕩振幅的度量。
此外,攝像機(jī)振動振幅可被劃分為分量。因此,攝像機(jī)振動振幅可以例如具有與攝像機(jī)的水平運(yùn)動相關(guān)的一個分量以及與攝像機(jī)的垂直運(yùn)動相關(guān)的一個分量。
可替代地或組合,從運(yùn)動傳感器24中輸出的信號可對應(yīng)于攝像機(jī)的朝向的瞬時變化。
根據(jù)結(jié)合圖1所公開的實(shí)施例,攝像機(jī)20是數(shù)字?jǐn)z像機(jī)。然而,應(yīng)該認(rèn)識到,模 擬攝像機(jī)也可關(guān)聯(lián)本發(fā)明來使用。在圖像穩(wěn)定系統(tǒng)包括模擬攝像機(jī)的情況下,模擬圖像幀從模擬攝像機(jī)被傳送至模數(shù)轉(zhuǎn)換器(未示出),其進(jìn)行操作以生成模擬圖像幀的數(shù)字表示。
由攝像機(jī)20拍攝的數(shù)字圖像幀被饋送到圖像處理設(shè)備30。圖像處理設(shè)備30包括:存儲器31、位錯值確定模塊32、圖像移位模塊33、漸暈去除模塊34、漸暈再引入模塊35、視頻模塊36以及數(shù)據(jù)總線37。圖像處理設(shè)備30可進(jìn)一步包括裁剪模塊38。圖像處理設(shè)備30的模塊32、33、34、35、36、38可被實(shí)現(xiàn)為由處理單元運(yùn)行的軟件代碼、被實(shí)現(xiàn)為在圖像處理設(shè)備30中實(shí)現(xiàn)的硬件、或被實(shí)現(xiàn)為它們的組合。位錯值確定模塊32、圖像移位模塊33、漸暈去除模塊34、漸暈再引入模塊35、視頻模塊36和/或裁剪模塊38可被設(shè)置為將數(shù)據(jù)存儲在存儲器31上和/或從存儲器31中檢索數(shù)據(jù)。存儲器31、位錯值確定模塊32、圖像移位模塊33、漸暈去除模塊34、漸暈再引入模塊35、視頻模塊36和/或裁剪模塊38被設(shè)置為通過數(shù)據(jù)總線37彼此進(jìn)行通信。
圖像處理設(shè)備30被設(shè)置為接收來自攝像機(jī)20的信號。特別是,圖像處理設(shè)備30被設(shè)置為接收由攝像機(jī)20生成的視頻的數(shù)字圖像幀。圖像處理設(shè)備30也可被設(shè)置為接收從運(yùn)動傳感器24輸出的信號。圖像處理設(shè)備30還可被設(shè)置為接收攜帶有與聚焦透鏡裝置22的焦距相關(guān)的信息的信號。
在圖2(A)中給出在執(zhí)行圖像穩(wěn)定之前受到攝像機(jī)運(yùn)動影響的視頻的數(shù)字圖像幀的示例。更確切而言,給出了描繪有人1與樹2的場景的視頻的多個疊加的數(shù)字圖像幀。攝像機(jī)抖動或振動引發(fā)攝像機(jī)的運(yùn)動。由于攝像機(jī)的運(yùn)動,人1與樹2移動到顯示出的數(shù)字圖像幀內(nèi)的不同位置。代表在攝像機(jī)的不同位置處拍攝的場景的視頻的數(shù)字圖像幀的疊加具有該場景的模糊視覺信息的效果。因此,圖2(A)給出人1與樹2的不穩(wěn)定視頻的表示。
為了減少攝像機(jī)運(yùn)動的影響,在顯示視頻之前,對視頻流的數(shù)字圖像幀進(jìn)行電子操作。位錯值確定模塊32進(jìn)行操作,以針對用于建立由攝像機(jī)拍攝的視頻的每個數(shù)字圖像幀確定位錯值。取決于使用了位錯的圖像讀出技術(shù),因此數(shù)字圖像幀的電子操作的方法可以不同。在使用全局快門的情況下,即整個數(shù)字圖像幀被同時讀出,數(shù)字圖像幀的全部內(nèi)容被移位,以對攝像機(jī)20的運(yùn)動進(jìn)行補(bǔ)償。在使用滾動快門的情況下,即數(shù)字圖像幀一次被讀出一行或幾行,數(shù)字圖像幀中的每行或幾行由于它們在不同時間點(diǎn)被顯露而被單獨(dú)移位。在使用滾動快門的情況下,數(shù)字圖像幀中的每行或幾行也可被單獨(dú)插值,以對攝像機(jī)20的垂直運(yùn)動進(jìn)行補(bǔ)償。為簡單起見,在以下所公開的示例中,全局快門讀出用于解釋電子圖像穩(wěn)定,然而應(yīng)當(dāng)理解,滾動快門讀出也可用于實(shí)現(xiàn)相同的結(jié)果。因此,術(shù)語“位錯值”應(yīng)被理解為完整數(shù)字圖像幀的位錯或數(shù)字圖 像幀中的一行或幾行的位錯。
位錯值確定模塊32可以以各種方式進(jìn)行操作。根據(jù)一個實(shí)施例,位錯值確定模塊32被設(shè)置為使用與從運(yùn)動傳感器24輸出的信號相關(guān)的信息連同聚焦透鏡裝置22的焦距的信息,以便確定在攝像機(jī)20的圖像傳感器上的對應(yīng)位錯值。可替代地或組合,縮放級別即視場也可被用于確定位錯值??商娲?,可以使用圖像處理技術(shù)來跟蹤由視頻流所描繪的場景中的被認(rèn)為在圖像幀之間是靜止的特征。這種圖像處理技術(shù)對本領(lǐng)域技術(shù)人員而言是公知的,將不在這里作進(jìn)一步的討論。位錯值確定模塊32進(jìn)一步被設(shè)置為將所確定的位錯值傳送給圖像處理設(shè)備30的其他模塊。
圖像移位模塊33被設(shè)置為確定將被顯示在穩(wěn)像視頻中的數(shù)字圖像幀的區(qū)域。該確定基于位錯值而進(jìn)行。這是為了對由攝像機(jī)運(yùn)動引起的位錯進(jìn)行補(bǔ)償。因此,圖像移位模塊33被設(shè)置為生成用于描繪攝像機(jī)20前面的場景的視頻流的穩(wěn)定視圖。換言之,對將被顯示在穩(wěn)像視頻中的數(shù)字圖像幀的區(qū)域的確定是通過根據(jù)所確定的位錯值在每個圖像幀上應(yīng)用移位來補(bǔ)償攝像機(jī)20的運(yùn)動來進(jìn)行的。因此,盡管有攝像機(jī)的誘發(fā)性運(yùn)動,也會將視頻的穩(wěn)定視圖呈獻(xiàn)給觀看者。由此,可以向觀看者提供由視頻所描繪的場景的穩(wěn)定顯示視圖。
裁剪模塊33被設(shè)置為基于位錯值對數(shù)字圖像幀進(jìn)行裁剪,以形成裁剪后圖像幀。裁剪后圖像幀對應(yīng)于將被顯示在穩(wěn)像視頻中的數(shù)字圖像幀的區(qū)域。裁剪不一定被視為數(shù)字圖像幀的、去除原始數(shù)字圖像幀的一些像素的實(shí)際裁剪。相反,在一些實(shí)施例中,裁剪應(yīng)被理解為隱藏?cái)?shù)字圖像幀中的、不被顯示在穩(wěn)像視頻中的像素。不需要的像素可通過應(yīng)用掩碼以掩蔽掉不需要的像素來隱藏。然而,在一些實(shí)施例中,裁剪是數(shù)字圖像幀的實(shí)際裁剪,其在顯示作為穩(wěn)像視頻的一部分的數(shù)字圖像幀之前,去除原始數(shù)字圖像幀的一些像素。
裁剪模塊33被設(shè)置為針對相應(yīng)的數(shù)字圖像幀根據(jù)所確定的位錯值來裁剪數(shù)字圖像幀,以對攝像機(jī)20的運(yùn)動進(jìn)行補(bǔ)償。裁剪模塊33也可被設(shè)置為應(yīng)用比例因子。比例因子可被設(shè)置為使得圖像之間的像素?cái)?shù)(像素分辨率)被保持。這可以在例如圖像被裁剪為不同大小的圖像時被應(yīng)用。
在圖2(B)中給出了圖像穩(wěn)定被應(yīng)用于圖2(A)中所呈現(xiàn)的不穩(wěn)定視頻后的視頻的表示。在圖2(B)中,在確定并對每個數(shù)字圖像幀應(yīng)用位錯值之后顯示視頻的圖像幀。因此,圖2(B)是當(dāng)已根據(jù)上述將電子圖像穩(wěn)定應(yīng)用于圖2(A)中所呈現(xiàn)的不穩(wěn)定視頻之后的視頻的表示。在圖2(B)中,穩(wěn)定視頻目前在顯示器內(nèi)位于中央并且是穩(wěn)定的。因此,圖像穩(wěn)定系統(tǒng)10進(jìn)行操作,以使每個圖像幀移位,使得人1與樹2在顯示器中看上去是穩(wěn)定的。然而,由于圖像穩(wěn)定操作以移位整個圖像幀,因此所 顯示的視頻的一部分將不包含任何被顯示的信息,因此將出現(xiàn)空白。此外,如在圖2(B)中由代表每個所顯示的圖像幀的一個邊緣的實(shí)線3、4、5、6、7所指示的,當(dāng)圖像穩(wěn)定系統(tǒng)進(jìn)行操作以呈現(xiàn)場景的穩(wěn)定視頻流時,視頻的邊緣將連續(xù)移動。因此,所顯示的視頻流的周邊區(qū)域?qū)⑹沁B續(xù)移動的,這將分散觀看者的注意力。
上述問題可以例如通過裁剪來解決。在圖2(C)中給出了在對圖2(B)的數(shù)字圖像進(jìn)行裁剪之后的視頻的表示。在圖2(C)中,視頻流的經(jīng)裁切的圖像幀被顯示在彼此的頂部。因此,圖2(C)是已向圖2(A)中所呈現(xiàn)的不穩(wěn)定視頻應(yīng)用根據(jù)上述的圖像穩(wěn)定和裁剪之后的視頻的表示。在圖2(B)中,穩(wěn)定的視頻目前在顯示器內(nèi)位于中央并且是穩(wěn)定的。
正如上面所提到的在應(yīng)用電子圖像穩(wěn)定之后,漸暈可能會變得令人討厭。而且,在視頻的圖像幀之間存在變化的漸暈可能會影響對視頻所執(zhí)行的運(yùn)動檢測。根據(jù)攝像機(jī)的運(yùn)動,圖像幀將被不同地移位和/或剪裁,以使視頻顯得穩(wěn)定。然而,這反而將具有漸暈移動的效果。
針對這個問題的顯而易見的解決方法是數(shù)字化地去除漸暈。然而,因?yàn)閳D像中的噪聲因漸暈的去除而增加,因此這將導(dǎo)致更多接近圖像邊緣的噪聲。
根據(jù)本發(fā)明,這個問題通過首先去除漸暈(圖像穩(wěn)定之前或之后)然后再次對穩(wěn)定圖像重新應(yīng)用均勻漸暈來緩解。均勻是指針對將被顯示在穩(wěn)像視頻中的后續(xù)數(shù)字圖像幀中的區(qū)域的基本上相似的漸暈。這將去除漸暈移動的煩惱,同時使附加噪聲最小化。另一個好處是,當(dāng)攝像機(jī)完全沒有移動時,這些操作甚至相互抵消,導(dǎo)致根本沒有附加噪聲。
因此,漸暈去除模塊34被設(shè)置為至少從與數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域相對應(yīng)的像素中去除漸暈。該去除基于用于定義由攝像機(jī)20拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù)。漸暈的去除可以以本領(lǐng)域技術(shù)人員已知的不同方式來執(zhí)行。但是,常見的漸暈去除處理會放大數(shù)字圖像幀中的噪聲。
用于定義由攝像機(jī)20拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù)被存儲在存儲器31中。如以上所提到的,漸暈效應(yīng)可依賴于各種因素,諸如攝像機(jī)設(shè)置和/或鏡頭限制。因漸暈效應(yīng)而對由攝像機(jī)20拍攝的數(shù)字圖像幀所產(chǎn)生的影響對于本領(lǐng)域技術(shù)人員而言可以以已知的許多不同的方式來確定。因而用于定義由攝像機(jī)20拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù)可以被推導(dǎo)出,并且被存儲在存儲器31中。用于定義漸暈效應(yīng)的數(shù)據(jù)可以例如被提供為表格,該表格用于定義攝像機(jī)的圖像傳感器的不同像素如何受漸暈效應(yīng)影響。該表格可包括用于定義攝像機(jī)的圖像傳感器的所有像素如何受漸暈效應(yīng)影響的數(shù)據(jù)??商娲?,該表格可包括用于定義僅攝像機(jī)的圖像傳感器的像素子集如何受 漸暈效應(yīng)影響的數(shù)據(jù)。漸暈效應(yīng)將如何影響不是該子集一部分的像素可隨后例如通過插值來得到。
漸暈再引入模塊35被設(shè)置為在數(shù)字圖像幀中的將被顯示在視頻中的區(qū)域上再引入漸暈。該再引入基于用于定義漸暈效應(yīng)的數(shù)據(jù)以及位錯值。漸暈去除模塊34和漸暈再引入模塊35可以彼此獨(dú)立地進(jìn)行工作,使得漸暈去除模塊34被設(shè)置為去除漸暈,此后漸暈再引入模塊35被設(shè)置為再引入漸暈。然而,根據(jù)一個實(shí)施例,漸暈去除模塊34和漸暈再引入模塊35被設(shè)置為同時工作,因此漸暈去除和漸暈再引入在共同的圖像處理步驟中被執(zhí)行。
漸暈的去除和再引入現(xiàn)在將結(jié)合圖3和圖4作進(jìn)一步的說明。在圖3(A)中,由攝像機(jī)20拍攝的原始數(shù)字圖像幀100被示出。原始數(shù)字圖像幀100包含漸暈區(qū)域50。在圖3(B)中圖示了其中在使用漸暈去除模塊34應(yīng)用漸暈去除處理后去除漸暈區(qū)域的原始數(shù)字圖像幀。漸暈區(qū)域被去除的原始數(shù)字圖像幀在這里被稱為數(shù)字圖像幀102。在圖3(C)中圖示了數(shù)字圖像幀102中的將被顯示在穩(wěn)像視頻中的確定區(qū)域104。區(qū)域104將根據(jù)以上所討論的來確定。在圖3(D)中,區(qū)域104被示為居中疊加在原始數(shù)字圖像幀100的頂部,這是為了可視化何種漸暈將再引入。因此,欲再引入的漸暈將取決于用于定義由攝像機(jī)拍攝的原始數(shù)字圖像幀100的漸暈效應(yīng)的數(shù)據(jù)以及區(qū)域104的位錯這兩者。在圖3(E)中圖示了將與再引入漸暈52一起被顯示的所得到的數(shù)字圖像幀106。
在結(jié)合圖3所討論的漸暈的去除和再引入中,該去除和再引入被示為單獨(dú)的圖像處理步驟。但是,去除和再引入也可在共同的圖像處理步驟中執(zhí)行,這將在圖4中示出。在圖4(A)中圖示了與圖3(A)中相同的原始數(shù)字圖像幀。另一方面,還圖示了數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的確定區(qū)域104。區(qū)域104將根據(jù)以上所討論的來確定,但是,應(yīng)當(dāng)做出說明,區(qū)域104是在應(yīng)用漸暈去除之前被確定的。另外,區(qū)域104的特定像素60被高亮顯示。高亮顯示的特定像素60當(dāng)然也屬于原始數(shù)字圖像幀100。假設(shè)用于定義如何去除特定像素60的漸暈效應(yīng)的數(shù)據(jù)被設(shè)定為Vremove。在圖4(B)中,區(qū)域104被示出為居中疊加在原始數(shù)字圖像幀100的頂部,這是為了可視化將再引入何種漸暈。區(qū)域104中具有與圖4(A)中的特定像素60相同的位置的像素62被標(biāo)出。如圖4(A)所示,由于區(qū)域的位錯,像素62并不對應(yīng)于原始數(shù)字圖像幀中的特定像素60。相反,像素62對應(yīng)于原始數(shù)字圖像幀的另一像素。假設(shè)用于定義如何對像素62再引入漸暈效應(yīng)的數(shù)據(jù)被設(shè)定為Vreintro。如圖4(C)所示,漸暈的去除和再引入現(xiàn)在可通過向區(qū)域104的像素64的像素?cái)?shù)據(jù)同時應(yīng)用Vremove和Vreintro,來在單個的圖像處理步驟中執(zhí)行。此后,可對區(qū)域的所有像素執(zhí)行相同的步驟。結(jié)果 將與圖3中所示的處理相同,與以上的區(qū)別是,潛在的舍入誤差可以被避免。
根據(jù)以上所討論的,漸暈的去除和再引入因不同穩(wěn)像數(shù)字圖像幀中的不同漸暈,而在穩(wěn)像視頻中具有閃爍效應(yīng),同時最小化視頻中所增加的噪聲。
視頻模塊36被設(shè)置為將連續(xù)的數(shù)字圖像幀添加到穩(wěn)像視頻中。
然后,穩(wěn)像視頻可被輸出到顯示器40。
在圖5中示出用于實(shí)現(xiàn)穩(wěn)像視頻的方法的框圖。該方法包括:S500,提供用于定義由攝像機(jī)拍攝的數(shù)字圖像幀的漸暈效應(yīng)的數(shù)據(jù)。S502,確定由攝像機(jī)拍攝的數(shù)字圖像幀的位錯值。S504,基于位錯值來確定數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域。S506,至少在數(shù)字圖像幀中的與將被顯示在穩(wěn)像視頻中的區(qū)域相對應(yīng)的像素上應(yīng)用漸暈去除處理,其中應(yīng)用基于用于定義漸暈效應(yīng)的數(shù)據(jù)。S508,基于用于定義漸暈效應(yīng)的數(shù)據(jù)及位錯值,在數(shù)字圖像幀中的將被顯示在視頻中的區(qū)域上再引入漸暈。
該方法可以進(jìn)一步包括:S505,基于位錯值對數(shù)字圖像幀進(jìn)行裁剪,以形成裁剪后圖像幀,其中裁剪后圖像幀對應(yīng)于數(shù)字圖像幀中的將被顯示在穩(wěn)像視頻中的區(qū)域。
本領(lǐng)域技術(shù)人員將意識到,本發(fā)明不受以上所描述的優(yōu)選實(shí)施例的限制。相反,在附加的權(quán)利要求的范圍內(nèi),許多修改和變更是可能的。
例如,圖像處理設(shè)備30可在攝像機(jī)20內(nèi)實(shí)現(xiàn)。這在圖6中示出。
在使用滾動快門拍攝數(shù)字圖像幀的情況下,確定位錯值可包括確定傳感器圖像幀的至少兩個不同行的不同位錯值。
在使用全局快門拍攝數(shù)字圖像幀的情況下,確定位錯值可包括確定傳感器圖像幀的單一位錯值。
此外,通過研究附圖、公開和所附權(quán)利要求,本領(lǐng)域技術(shù)人員在實(shí)踐所要求保護(hù)的本發(fā)明時將能夠理解并實(shí)施針對所公開的實(shí)施例的變化。