專利名稱：一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法
技術領域：
本發(fā)明屬于圖像處理技術領域，特別涉及一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法。尤其涉及一種不依賴于特殊硬件設備，可以處理普通攝像機直接拍攝視頻的高動態(tài)范圍(HDR, High Dynamic Range)視頻處理技術。
背景技術：
近年來，隨著數(shù)碼照相機、數(shù)碼攝像機以及各種有拍攝功能的手持電子設備的普及，海量的圖像和視頻正在不間斷地產(chǎn)生。互聯(lián)網(wǎng)上社交網(wǎng)站和圖片視頻分享網(wǎng)站的興起，更是強化了人們對于圖像、視頻的拍攝需求，每天有數(shù)以萬計的媒體信息在互聯(lián)網(wǎng)上被傳輸和分享。但是作為人類視覺系統(tǒng)的輔助工具，攝像設備現(xiàn)在已經(jīng)開始顯露出來它的不足，近些年來許多研究人員不斷地從各個方面改進攝像設備的能力，除了對設備本身的更新以夕卜，還對其輸出的圖像和視頻進行后期處理，以期得到更好的效果。在各種圖像后期處理的研究中，圖像HDR處理能夠在現(xiàn)有的圖像采集設備和顯示設備條件下，盡可能地得到類似于人眼觀察景象的效果，所以成為了當今圖像處理領域研究的熱點。目前圖像HDR處理已經(jīng)比較成熟，不僅有很多成熟的HDR處理軟件，能夠直接將多張不同曝光的圖像處理成HDR圖像，而且不少消費級的數(shù)碼相機和手機上都已經(jīng)內(nèi)置了簡單的HDR處理功能。但是就目前來說，視頻HDR的處理還比較落后，還沒有可以直接商業(yè)化的成果。當前流行的HDR視頻處理方法不僅處理速度慢，而且還需要特殊的視頻采集設備，這樣就大大限制了 HDR視頻應用的范圍。1.HDR圖像處理算法Debevec等人受到傳統(tǒng)攝像機成像原理的啟發(fā),將膠片特征曲線的映射過程應用到了 HDR圖像處理領域，恢復了含有場景的原始亮度的HDR圖像。作者在文章中使用了一個簡化的攝像機模型，用特·征函數(shù)來表示相機拍照時的亮度映射過程:Zij=If (Ei Δ tj)其中:f(.)表示特征函數(shù)，Zij表示在第j張圖像上的第i個像素點的亮度值，Ei表示真實環(huán)境中i對應點的實際亮度，即最終HDR圖像中的亮度值，Λ tj表示第j張圖像拍攝時的曝光時間。作者使用了二次約束函數(shù)來估計特征函數(shù):O= X) — In Ei + In Ati f + λψ^ ^'(ζ):1=l J=IZ-1其中，g(Zij) =Inr1 (Zij) =lnEi+ln Δ tj。特征函數(shù)計算完畢后，便可以通過反向映射得到對應的HDR圖像。2.HDR視頻處理算法視頻與圖像處理的不同之處在于，除了視頻幀內(nèi)部的空間相關性以外，還存在著視頻幀間的時間相關性。所以在視頻處理時，可以充分利用已有的圖像處理方法。在HDR圖像處理中最重要的一個條件就是要獲得不同曝光條件的多張圖像，在圖像處理中，可以通過手動改變曝光值的方法來獲取這些圖像，但是在視頻處理中，這個問題變得比較復雜，因為無法實時有效地在攝像機上完成類似于照相機的曝光控制。目前常用的方法是使用特殊的攝像設備在加上后期處理來解決這個問題，比如采用同時多種曝光設置的攝像設備，或者不斷切換攝像機的曝光模式等等。但是特殊設備的使用極大地影響了視頻HDR的應用范圍。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服已有技術的不足之處，提出了一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，其特征在于，包括:I)利用攝像機內(nèi)置的AGC (自動增益控制)功能，提取視頻畫面的內(nèi)容和整體亮度變化，用于圖像HDR處理中調節(jié)曝光參數(shù)；2)根據(jù)帶有AGC的攝像機的特殊性，提出了綜合增益值(SGV)的概念，并進一步提出了帶有AGC的攝像機模型。按照此模型可以從視頻中恢復出所有關鍵幀的綜合增益值；將視頻HDR的處理轉化為圖像HDR處理的方式，恢復出全局HDR圖像；最終按照幀對齊的逆變換，得到處理后的HDR視頻；并在恢復出關鍵幀的過程中加入關鍵幀選取和關鍵幀分組的步驟，有效地減少了計算量，提高了處理速度；所述高動態(tài)范圍圖像視頻處理方法的流程處理步驟包括從視頻中恢復出所有關鍵幀的綜合增益值；將視頻HDR的處理轉化為圖像HDR處理的過程，恢復出全局HDR圖像(即輸入視頻);在恢復出關鍵巾貞的過程中進行關鍵巾貞選取，將選取的關鍵巾貞的劃分為關鍵中貞和非關鍵幀，然后，關鍵幀和非關鍵幀分別進行對齊，并將關鍵幀對齊的信息輸入非關鍵幀對齊步驟，非關鍵幀對齊后，則生成HDR視頻、結束；在關鍵幀對齊后對關鍵幀分組、計算綜合增益值、關鍵(視頻)幀的插值補償、特征點選取、計算HDR全局圖像及色調映射，最終按照幀對齊的逆變換生成HDR視頻，得到處理后的HDR視頻，程序結束；所述綜合增益值是在攝像機中以感光度的形式存在，較低的增益值產(chǎn)生的感光度較低，使得到的圖像整理較暗；而較高的增益值產(chǎn)生的感光度較高，能夠使圖像的整體變得更亮，但是會帶來更多的噪聲影響。所以，可以把增益值作為對原始輸入亮度的一種補償，以圖像上某像素點Pk為例，當攝像機沒有AGC功能或者AGC功能關閉時，符合一般攝像機模型:Γ 1 (pk) =f (E (pk).ATt)其中，I' t(pk)表示像素點Pk在最終拍攝得到的圖像上的亮度值，f (.)表示攝像機的特征函數(shù)，ATt表示拍攝第t幀時攝像機的曝光時間，E(pk)表示Pk點在真實環(huán)境中對應點的真實亮度值。而當攝像機的AGC功能打開時,則符合得到帶有AGC功能的攝像機模型: Γ 1 (pk) =f (E (pk).Gt Δ Tt)其中，Gt表示拍攝第t幀時攝像機的增益(Gain)值，由于攝像機在拍攝每幀圖像的時候，增益值都在變化，所以不同幀的增益值也不相同。令Sk=Gt ATt,可以得到:I' 1 (pk) =f (E (pk).St)稱St為綜合增益值，用來表示視頻拍攝時AGC和曝光設置共同起作用的效果。

本發(fā)明的有益效果是提出了通用性較強的視頻HDR處理方法，以及從視頻中獲取全局HDR圖像的方法。本發(fā)明具有如下特點:1.本方法不依賴于特殊的視頻拍攝硬件設備，使用常見的攝像機拍攝的視頻即可使用本方法進行處理。2.使用本方法處理視頻后，可以得到一張全景HDR圖像。


圖1是系統(tǒng)整體算法的流程圖，
具體實施例方式本發(fā)明提出的一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，下面結合附圖對本發(fā)明進一步說明。如圖1所示的系統(tǒng)整體算法的流程圖。該方法的流程步驟包括從視頻中恢復出所有關鍵幀的綜合增益值；將視頻HDR的處理轉化為圖像HDR處理的過程，恢復出全局HDR圖像(即輸入視頻)；在恢復出關鍵幀的過程中進行關鍵幀選取，將選取的關鍵幀的劃分為關鍵幀和非關鍵幀，然后，關鍵幀和非關鍵幀分別進行對齊，并將關鍵幀對齊的信息輸入非關鍵幀對齊步驟，非關鍵幀對齊后，則生成HDR視頻、結束；在關鍵幀對齊后對關鍵幀分組、計算綜合增益值、關鍵(視頻)幀的插值補償、特征點選取、計算HDR全局圖像及色調映射，最終按照幀對齊的逆變換生成HDR視頻，得到處理后的HDR視頻，程序結束；實施例圖1所示的系統(tǒng)整體算法的具體步驟如下:(1)在輸入視頻中的選取部分視頻巾貞標記為關鍵巾貞(關鍵巾貞巾貞號的集合表不為uk)，將其余視頻幀標記為非關鍵幀。視頻關鍵幀的選取可以采取固定間隔選取或者其他非固定間隔選取的方式，但需要保證關鍵幀間的物體運動不會過大的同時，盡量減少關鍵幀的數(shù)目。為了簡化處理，采用固定10幀為間隔的關鍵幀選取方式，經(jīng)過實驗驗證這種選取方式在大多數(shù)視頻中都表現(xiàn)良好。為了保證所有視頻幀都被處理，視頻第一幀和最后一幀需要指定為關鍵幀；(2)將步驟(1)中選取出的關鍵幀和非關鍵幀進行圖像對齊，并將所有對齊后的關鍵幀映射到同一個平面。定義所有關鍵幀映射后能夠覆蓋的區(qū)域為全局圖像，全局圖像包含了整個視頻能夠覆蓋的所有像素點；(3)將步驟(2)中已經(jīng)對齊的關鍵幀劃分為關鍵幀組，這樣做的主要目的是為了使同一關鍵巾貞組內(nèi)的關鍵巾貞能夠有一定的重合區(qū)域，并且在計算時能夠大幅減少計算量；(4)在步驟(3)中得到的關鍵幀組內(nèi)計算綜合增益值，并將所有組的綜合增益值進行統(tǒng)一化，得到對應于所有關鍵幀的綜合增益值；(5)每個單獨的關鍵幀并不能包含全局圖像中所有的像素點，所以需要將所有對齊后的關鍵幀中不存在的點進行插值補償，將所有對齊后的關鍵幀按照亮度變化程度進行插值；( 6 )由于攝像機可能存在運動，并且視頻幀數(shù)量較多，所以無法手動從視頻中選擇特征點，所以需要使用自動化的方法從所有關鍵幀中選取特征點；(7)按照全局增益值和特征點計算全局HDR圖像；
(8)利用關鍵幀和非關鍵幀到全局圖像上的對齊變換，在全局HDR圖像上進行逆變換，從全局HDR圖像上恢復HDR視頻幀。上述步驟(2)中將關鍵幀和非關鍵幀進行對齊，具體包含以下步驟:2.1選取任一平面作為全局圖像平面，在本發(fā)明中為了簡化處理，選擇第I個關鍵幀所在的平面作為全局圖像平面；2.2選擇第I個關鍵幀，將此關鍵幀與全局圖像平面對齊并進行變換，映射到全局平面。由于第I個關鍵幀所在平面即為全局圖像平面，則不必進行變換；2.3順序選擇下一個關鍵幀，將此關鍵幀與前一個關鍵幀進行對齊，并映射到全局平面；2.4順序選擇前面兩個關鍵幀間的非關鍵幀，并將此非關鍵幀與兩個關鍵幀進行加權對齊，加權因子使用此非關鍵幀分別距兩個關鍵幀間的距離，記Mm，n為第η幀到第m幀的對齊變換矩陣，并記第t幀為正在進行對齊的非關鍵幀，而第i幀和第j幀為第t幀臨近的兩個關鍵幀，則計算公式如下所示:
權利要求
1.一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，其特征在于，包括: 1)利用攝像機內(nèi)置的AGC功能，提取視頻畫面的內(nèi)容和整體亮度變化，用于圖像HDR處理中調節(jié)曝光參數(shù)； 2)根據(jù)帶有AGC的攝像機的特殊性，并結合了一般的攝像機模型，提出了綜合增益值的概念，并進一步提出了帶有AGC的攝像機模型，按照此模型從視頻中恢復出所有關鍵幀的綜合增益值；將視頻HDR的處理轉化為圖像HDR處理的方式，恢復出全局HDR圖像；最終按照幀對齊的逆變換，得到處理后的HDR視頻；并在恢復出關鍵幀的過程中加入關鍵幀選取和關鍵幀分組的步驟，有效地減少了計算量，提高了處理速度。
2.根據(jù)權利要求1所述一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，其特征在于，所述將視頻HDR的處理轉化為圖像HDR處理，從視頻中恢復出所有關鍵幀的綜合增益值，恢復出全局HDR圖像的過程包括步驟:首先輸入攝像機拍攝的視頻；在恢復出關鍵幀的過程中進行關鍵幀選取，將選取的關鍵幀的劃分為關鍵幀和非關鍵幀，然后，關鍵幀和非關鍵幀分別進行對齊，并將關鍵幀對齊的信息輸入非關鍵幀對齊步驟，非關鍵幀對齊后，則生成HDR視頻、結束；在關鍵幀對齊后對關鍵幀分組、計算綜合增益值、關鍵幀的插值補償、特征點選取、計算HDR全局圖像及色調映射，按照幀對齊的逆變換生成HDR視頻，得到處理后的HDR視頻，程序結束。
3.根據(jù)權利要求1或2所述一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，其特征在于，所述綜合增益值是在攝像機中以感光度的形式存在，較低的增益值產(chǎn)生的感光度較低，使得到的圖像整理較暗；而較高的增益值產(chǎn)生的感光度較高，能夠使圖像的整體變得更亮，但是會帶來更多的噪聲影響，所以，可以把增益值作為對原始輸入亮度的一種補償，以圖像上某像素點Pk為例，當攝像機沒有AGC功能或者AGC功能關閉時，符合一般攝像機模型:
4.根據(jù)權利要求1所述一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，其特征在于，所述按照幀對齊的逆變換生成HDR視頻是利用關鍵幀和非關鍵幀到全局圖像上的對齊變換，在全局HDR圖像上進行逆變換，從全局HDR圖像上恢復HDR視頻幀，將HDR全局圖像進行色調映射，得到色調映射后的HDR全局圖像為
全文摘要
本發(fā)明公開了屬于圖像視頻處理技術領域的一種基于綜合增益的高動態(tài)范圍圖像視頻處理方法，該方法包括根據(jù)攝像機模型對綜合增益值進行估計，計算全局HDR圖像并生成HDR視頻，具體步驟包括1)從輸入視頻中選擇關鍵幀并將所有視頻幀進行對齊；2)將關鍵幀進行分組，在組內(nèi)分別計算綜合增益值；3)從關鍵幀中自動選擇特征點，按照綜合增益值計算全局HDR圖像；4)從全局HDR圖像上按照視頻幀對齊數(shù)據(jù)進行反變換，得到最終的HDR視頻。本發(fā)明具有不依賴特殊硬件設備、應用范圍廣的優(yōu)點，能夠滿足將普通拍攝的視頻轉化為HDR視頻的要求。
文檔編號H04N5/14GK103237168SQ201310113299
公開日2013年8月7日 申請日期2013年4月2日 優(yōu)先權日2013年4月2日
發(fā)明者李迪, 陶品, 溫江濤 申請人:清華大學