用于穩(wěn)定數(shù)字圖像幀的第一序列的方法以及圖像穩(wěn)定單元的制作方法
【專利摘要】本發(fā)明提供用于穩(wěn)定數(shù)字圖像幀的第一序列的方法以及圖像穩(wěn)定單元，其中用于穩(wěn)定數(shù)字圖像幀的第一序列的方法包括：確定所述序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量；確定主運(yùn)動(dòng)矢量中代表所述序列中的預(yù)期運(yùn)動(dòng)的第一部分；確定主運(yùn)動(dòng)矢量中代表所述序列中的非預(yù)期運(yùn)動(dòng)的第二部分；以及基于第二部分從第一序列中生成第二序列。同樣提供相應(yīng)的圖像穩(wěn)定單元。
【專利說(shuō)明】用于穩(wěn)定數(shù)字圖像幀的第一序列的方法以及圖像穩(wěn)定單元
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及用于穩(wěn)定數(shù)字圖像幀的第一序列的方法和相應(yīng)的圖像穩(wěn)定單元。
【背景技術(shù)】
[0002]在過(guò)去幾年中，由于成本降低，性能的顯著改進(jìn)和存儲(chǔ)能力的增加，視頻獲取裝置的使用在迅速地增加?，F(xiàn)在任何人都可以容易地在移動(dòng)裝置上記錄高質(zhì)量的視頻序列。然而視覺(jué)體驗(yàn)上往往是令人失望的。
[0003]與專業(yè)的或者半專業(yè)的電視錄像制作人不同，業(yè)余錄像愛(ài)好者很少使用諸如輪式攝影車、攝影機(jī)穩(wěn)定器乃至三腳架的機(jī)械穩(wěn)定裝置。大多數(shù)時(shí)間，他們只擁有諸如小型數(shù)碼可攜式攝像機(jī)或者智能手機(jī)的輕質(zhì)手持設(shè)備，這些設(shè)備難以保持穩(wěn)定。他們想要捕獲其中計(jì)劃或者重拍理論上是不可能的精彩瞬間(例如，寶寶的第一步)。由于為了保持對(duì)象在畫面上照相機(jī)的移動(dòng)以及震動(dòng)，導(dǎo)致得到的鏡頭很難觀看。然而，因?yàn)榧彝ヒ曨l記錄了寶貴的記憶，所以他們不可能被立刻丟棄。
[0004]視頻震動(dòng)還使諸如視頻壓縮、視頻監(jiān)視和視頻恢復(fù)的應(yīng)用性能劣化。因此，隨著數(shù)字視覺(jué)媒體的日益流行，數(shù)字視頻穩(wěn)定化技術(shù)的重要性在不斷地增加。
[0005]因此，需要提供用于穩(wěn)定圖像的改進(jìn)方法和改進(jìn)的圖像穩(wěn)定單元。

【發(fā)明內(nèi)容】

[0006]提供一種用于穩(wěn)定數(shù)字圖像幀的第一序列的方法，該方法包括:確定所述序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量；確定代表所述序列中的預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第一部分；確定代表所述序列中的非預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第二部分；以及基于第二部分從第一序列中生成第二序列。
[0007]此外，提供了一種用于穩(wěn)定數(shù)字圖像幀的第一序列的圖像穩(wěn)定單元，該單元包括:處理器，被配置為確定所述序列的主運(yùn)動(dòng)的主運(yùn)動(dòng)矢量；確定代表所述序列中的預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第一部分；并且確定代表所述序列中的非預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第二部分；以及幀渲染器，被配置為基于第二部分從第一序列中生成第二序列。
[0008]此外，提供了一種包括計(jì)算機(jī)程序指令的計(jì)算機(jī)程序，其中當(dāng)通過(guò)計(jì)算機(jī)執(zhí)行該計(jì)算機(jī)程序時(shí)，使計(jì)算機(jī)執(zhí)行包括以下步驟的方法:確定數(shù)字圖像序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量；確定代表所述序列中的預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第一部分；確定代表所述序列中的非預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第二部分；以及基于第二部分從第一序列中生成第二序列。
[0009]上述段落以概述的方式提供并且不旨在限制所附權(quán)利要求的范圍。通過(guò)參考以下結(jié)合附圖的詳細(xì)描述，將會(huì)更好地理解所描述的實(shí)施方式以及另外的優(yōu)點(diǎn)。附圖中的元件不必相對(duì)于彼此成比例。
【專利附圖】

【附圖說(shuō)明】
[0010]由于本公開(kāi)的更完整理解及其許多附帶優(yōu)點(diǎn)通過(guò)參照結(jié)合附圖考慮時(shí)的以下詳細(xì)說(shuō)明將變得更好理解，所以將容易獲得本公開(kāi)的更完整理解和其許多附帶的優(yōu)點(diǎn)，其中:
[0011]圖1示意性地示出了根據(jù)本發(fā)明實(shí)施方式的方法的流程圖。
[0012]圖2示意性地示出了根據(jù)本發(fā)明實(shí)施方式的圖像穩(wěn)定單元的框圖。
[0013]圖3示意性地示出了根據(jù)本發(fā)明實(shí)施方式的代表預(yù)期運(yùn)動(dòng)的主運(yùn)動(dòng)矢量的第一部分的確定。
[0014]圖4a和圖4b示意性地示出了根據(jù)本發(fā)明實(shí)施方式如何將運(yùn)動(dòng)歸類為預(yù)期運(yùn)動(dòng)和非預(yù)期運(yùn)動(dòng)。
[0015]圖5示意性地示出了根據(jù)本發(fā)明實(shí)施方式的減少圖像序列中的偏移的實(shí)施方式。
[0016]圖6示意性地示出了根據(jù)本發(fā)明實(shí)施方式的如何從圖像的第一序列中申城圖像的第二穩(wěn)定序列。
[0017]圖7示意性地示出了根據(jù)本發(fā)明實(shí)施方式的檢測(cè)在屏顯示(logo標(biāo)識(shí))的方法。
[0018]圖8示意性地示出了根據(jù)本發(fā)明實(shí)施方式的全幀主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量的確定。
[0019]圖9示意性地示出了針對(duì)滾動(dòng)快門圖像序列的每條線確定內(nèi)插的主運(yùn)動(dòng)矢量。
[0020]圖10示意性地示出了根據(jù)本發(fā)明另一實(shí)施方式的圖像穩(wěn)定單元的框圖。
【具體實(shí)施方式】
[0021]現(xiàn)在參考附圖，其中貫穿幾個(gè)視圖，相同附圖標(biāo)記指定相同的或?qū)?yīng)的部分，在圖1中描述了用于穩(wěn)定數(shù)字圖像幀的第一序列的方法的示意流程圖。
[0022]在步驟SlOO中，確定所述序列的主運(yùn)動(dòng)層(DML)的主運(yùn)動(dòng)矢量(DMV)。
[0023]“主運(yùn)動(dòng)”應(yīng)當(dāng)僅由全局移動(dòng)組成，而不包括局部移動(dòng)。該全局移動(dòng)可被解釋為“攝影機(jī)移動(dòng)”。局部移動(dòng)可能由獨(dú)立移動(dòng)的小目標(biāo)引起的。
[0024]在主運(yùn)動(dòng)層中，僅包括示出足夠量特征的那些圖像部分，因此可以實(shí)現(xiàn)某種程度確定實(shí)際上檢測(cè)到運(yùn)動(dòng)。
[0025]這可通過(guò)使用局部運(yùn)動(dòng)估計(jì)器(LME)的輸出以估計(jì)幀間運(yùn)動(dòng)來(lái)實(shí)現(xiàn)，例如，通過(guò)使用具有整數(shù)像素精確度的3D分層塊匹配(類似于在“Digital video stabilizationsystem by adaptive fuzzy filtering，，，F(xiàn).Mohanna、M.Tanakian、Mr.Rezaei, Journal ofCommunication and Computer, vol.7, n0.1，2010中所描述的算法)。可以米用其他技術(shù),但是量化可被用于保持諸如光流場(chǎng)的子像素值向量的計(jì)算易處理。
[0026]對(duì)視頻穩(wěn)定性的運(yùn)動(dòng)估計(jì)應(yīng)該允許對(duì)源于攝像機(jī)不穩(wěn)定的抖動(dòng)的估計(jì)。然而，攝像機(jī)運(yùn)動(dòng)比主運(yùn)動(dòng)更多地受限于估計(jì)，因?yàn)楹笳呖梢允菙z像機(jī)動(dòng)作和明顯的目標(biāo)動(dòng)作兩者的結(jié)合。
[0027]主運(yùn)動(dòng)確定或估計(jì)反復(fù)進(jìn)行主運(yùn)動(dòng)矢量和主運(yùn)動(dòng)層的計(jì)算以去除諸如運(yùn)動(dòng)目標(biāo)和紋理較少區(qū)域的外點(diǎn)(outliers,無(wú)效塊)。
[0028]2D平移的主運(yùn)動(dòng)矢量可被用于計(jì)算簡(jiǎn)單性和禁止幀失真，如在F.Mohanna (以 cf.)中或者 T.Tajbakhsh 的 “Real-time global motion estimation for video
stabilization，，，in Proc.SPIE, Real-Time Image and Video Processing, 2009, v0.72440B, pp.72440B-72440B-12 中所描述的。
[0029]DML被表示為矩陣DMLt，其各個(gè)元素被定值為外點(diǎn)的0至內(nèi)點(diǎn)的1，允許部分成員。[0030]反向DMV被計(jì)算為基于塊的反向運(yùn)動(dòng)場(chǎng)(從時(shí)間t至?xí)r間t_l)BMVt中的局部反向運(yùn)動(dòng)向量的加權(quán)和:
【權(quán)利要求】
1.一種用于穩(wěn)定數(shù)字圖像幀的第一序列的方法，包括: 確定所述序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量； 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的預(yù)期運(yùn)動(dòng)的第一部分； 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的非預(yù)期運(yùn)動(dòng)的第二部分；以及 基于所述第二部分由第一序列生成第二序列。
2.根據(jù)權(quán)利要求1所述的方法，其中，確定第一部分包括: 向所述主運(yùn)動(dòng)矢量應(yīng)用低通濾波器。
3.根據(jù)權(quán)利要求2所述的方法，其中，應(yīng)用所述低通濾波器包括: 向所述主運(yùn)動(dòng)矢量應(yīng)用移動(dòng)平均。
4.根據(jù)權(quán)利要求2所述的方法，其中，應(yīng)用所述低通濾波器包括: 應(yīng)用自適應(yīng)無(wú)限脈沖響應(yīng)濾波器，其中該濾波器的平滑因子基于被分成兩個(gè)種類的運(yùn)動(dòng)的類別來(lái)調(diào)整，其中第一種類是時(shí)間相關(guān)運(yùn)動(dòng)的表示，并且第二種類是隨機(jī)運(yùn)動(dòng)的表示。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中，生成第二序列包括: 生成從所述序列開(kāi)始至當(dāng)前時(shí)間的所述第二部分的積分值； 使所述當(dāng)前時(shí)間的幀的像素值移動(dòng)所述積分值的反量。
6.根據(jù)權(quán)利要求5所述的方法，還包括: 將移動(dòng)像素值的最大量限制為預(yù)定值。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 檢測(cè)所述第一序列中的在屏顯示；以及 當(dāng)渲染所述第二序列時(shí)保持所述在屏顯示的位置不變。
8.根據(jù)權(quán)利要求7所述的方法，其中，檢測(cè)所述在屏顯示包括: 基于所述主運(yùn)動(dòng)矢量確定所述第一序列的幀之間的幀間運(yùn)動(dòng)；以及 如果所述幀間運(yùn)動(dòng)大于預(yù)定臨界值，那么在沒(méi)有減弱的情況下生成至少兩個(gè)幀的第一累計(jì)幀，并且對(duì)所述累計(jì)幀應(yīng)用邊緣檢測(cè)算法；否則生成所述第一序列的所述幀的減弱幀，則基于所述減弱幀生成第二累計(jì)幀并且對(duì)所述第二累計(jì)幀應(yīng)用邊緣檢測(cè)算法。
9.根據(jù)權(quán)利要求7或8任一項(xiàng)所述的方法，還包括: 針對(duì)已經(jīng)檢測(cè)到所述在屏顯示的每個(gè)幀，確定所述在屏顯示的像素映像； 針對(duì)使用當(dāng)前幀的像素映像的第一配置，針對(duì)使用先前幀的像素映像的第二配置以及針對(duì)不使用像素映像的第三配置，確定當(dāng)前幀和先前幀之間的所述在屏顯示的區(qū)域的平均中貞差； 確定所述第一配置、所述第二配置和所述第三配置的平均幀差中的最小平均幀差；以及 基于所述最小平均幀差更新所述當(dāng)前幀的所述像素映像。
10.根據(jù)權(quán)利要求1所述的方法，還包括: 確定所述第一序列的各個(gè)幀的各個(gè)掃描線的各自主運(yùn)動(dòng)矢量； 確定全局主運(yùn)動(dòng)矢量；其中所述第二序列的生成包括基于各個(gè)掃描線各自的所述主運(yùn)動(dòng)矢量和所述全局主運(yùn)動(dòng)矢量之間的差，移動(dòng)所述幀的掃描線的像素值。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述全局主運(yùn)動(dòng)矢量是全幀的主運(yùn)動(dòng)矢量。
12.根據(jù)權(quán)利要求10所述的方法，其中，所述全局主運(yùn)動(dòng)矢量是所述掃描線的中間線的主運(yùn)動(dòng)矢量。
13.根據(jù)權(quán)利要求10所述的方法，其中，所述第二序列的生成包括內(nèi)插所述掃描線各自的所述主運(yùn)動(dòng)矢量。
14.根據(jù)權(quán)利要求10至13中任一項(xiàng)所述的方法，其中，確定各個(gè)掃描線各自的主運(yùn)動(dòng)矢量包括: 估計(jì)所述幀的重疊片段上的所述主運(yùn)動(dòng)層。
15.一種用于穩(wěn)定數(shù)字圖像幀的第一序列的圖像穩(wěn)定單元，包括: 處理器，被配置為 : 確定所述序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量； 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的預(yù)期運(yùn)動(dòng)的第一部分；以及 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的非預(yù)期運(yùn)動(dòng)的第二部分；以及 幀渲染器，被配置為基于所述第二部分由所述第一序列生成第二序列。
16.根據(jù)權(quán)利要求15所述的圖像穩(wěn)定單元，還包括: 標(biāo)識(shí)檢測(cè)單元，被配置為檢測(cè)所述第一序列中的在屏顯示；其中所述幀渲染器進(jìn)一步被配置為當(dāng)渲染所述第二序列時(shí)保持所述在屏顯示的位置不變。
17.根據(jù)權(quán)利要求15或16中任一項(xiàng)所述的圖像穩(wěn)定單元，還包括: 運(yùn)動(dòng)內(nèi)插單元，被配置為確定所述第一序列的各個(gè)幀的各個(gè)掃描線各自的主運(yùn)動(dòng)矢量；其中所述幀渲染器進(jìn)一步被配置為基于各個(gè)掃描線各自的所述主運(yùn)動(dòng)矢量和全局主運(yùn)動(dòng)矢量之間的差，移動(dòng)所述幀的所述掃描線的像素值。
18.—種包括計(jì)算機(jī)程序指令的計(jì)算機(jī)程序，當(dāng)由計(jì)算機(jī)執(zhí)行所述計(jì)算機(jī)程序指令時(shí)，使所述計(jì)算機(jī)執(zhí)行包括以下步驟的方法: 確定數(shù)字圖像序列的主運(yùn)動(dòng)層的主運(yùn)動(dòng)矢量； 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的預(yù)期運(yùn)動(dòng)的第一部分； 確定所述主運(yùn)動(dòng)矢量中代表所述序列中的非預(yù)期運(yùn)動(dòng)的第二部分；以及 基于所述第二部分由所述第一序列生成第二序列。
【文檔編號(hào)】H04N5/21GK103929568SQ201410012544
【公開(kāi)日】2014年7月16日 申請(qǐng)日期:2014年1月10日 優(yōu)先權(quán)日:2013年1月11日
【發(fā)明者】亞爾金·因杰蘇, 費(fèi)利克斯·蘭博 申請(qǐng)人:索尼公司