視頻穩(wěn)定化的制作方法
【專利摘要】用于使視頻信號(hào)穩(wěn)定的方法、裝置以及計(jì)算機(jī)程序產(chǎn)品。使用相機(jī)捕獲視頻信號(hào)的多個(gè)幀。與相機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器被用來(lái)生成表示該相機(jī)的運(yùn)動(dòng)的多個(gè)樣本。這些樣本被用來(lái)確定所述相機(jī)在第一時(shí)間與第二時(shí)間之間的位移，其中第一時(shí)間對(duì)應(yīng)于視頻信號(hào)的第一幀的曝光時(shí)間中點(diǎn)，而第二時(shí)間對(duì)應(yīng)于視頻信號(hào)的第二幀的曝光時(shí)間中點(diǎn)。所確定的位移被用來(lái)補(bǔ)償由相機(jī)的運(yùn)動(dòng)所引起的在第一與第二幀之間視頻信號(hào)中的運(yùn)動(dòng)，從而使視頻信號(hào)穩(wěn)定。
【專利說(shuō)明】視頻穩(wěn)定化
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻信號(hào)的穩(wěn)定化。特別地，本發(fā)明涉及使用相機(jī)捕獲視頻信號(hào)的幀并且補(bǔ)償相機(jī)的運(yùn)動(dòng)從而使視頻信號(hào)穩(wěn)定。
【背景技術(shù)】
[0002]相機(jī)能夠被用來(lái)捕獲要被用作視頻信號(hào)的幀的圖像序列。相機(jī)可以被固定到穩(wěn)定對(duì)象，例如相機(jī)可以被安裝在諸如三腳架之類(lèi)的臺(tái)上，從而在捕獲視頻幀時(shí)使相機(jī)保持靜止。然而，相機(jī)常?？梢栽谝苿?dòng)裝置中實(shí)現(xiàn)并且不必被安裝到固定對(duì)象，例如相機(jī)可以被握持，或者可以在諸如車(chē)輛之類(lèi)的移動(dòng)對(duì)象上。當(dāng)相機(jī)正在捕獲視頻信號(hào)的幀時(shí)，相機(jī)的移動(dòng)可能導(dǎo)致視頻信號(hào)本身中不想要的移動(dòng)。
[0003]圖像穩(wěn)定化是能夠被用來(lái)補(bǔ)償視頻信號(hào)中不想要的移動(dòng)的方法。一些系統(tǒng)執(zhí)行運(yùn)動(dòng)估計(jì)以便生成運(yùn)動(dòng)矢量以供圖像穩(wěn)定化過(guò)程使用。在Junlan Yang等人的“Online VideoStabilization Based on Particle Filters”中描述了一種這樣的系統(tǒng)。圖像穩(wěn)定化算法可以由三個(gè)主要部分構(gòu)成:運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)平滑化以及運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)估計(jì)塊可以估計(jì)視頻信號(hào)內(nèi)的局部運(yùn)動(dòng)矢量并且在這些局部估計(jì)的基礎(chǔ)上計(jì)算全局運(yùn)動(dòng)矢量。運(yùn)動(dòng)平滑化塊然后可以處理所估計(jì)的全局運(yùn)動(dòng)矢量的濾波，以便使計(jì)算的值平滑并且防止先前計(jì)算的運(yùn)動(dòng)矢量之間的大的且不希望的差異。運(yùn)動(dòng)補(bǔ)償塊然后可以在與經(jīng)濾波的全局運(yùn)動(dòng)矢量相反的方向上使圖像移位，從而使視頻信號(hào)穩(wěn)定。運(yùn)動(dòng)補(bǔ)償塊可以考慮復(fù)雜的變換，例如旋轉(zhuǎn)、翹曲或縮放。
[0004]它可能需要大量的處理資源以基于如上面所描述的運(yùn)動(dòng)矢量來(lái)執(zhí)行圖像穩(wěn)定化。當(dāng)要使視頻信號(hào)實(shí)時(shí)穩(wěn)定時(shí)，即當(dāng)視頻信號(hào)的穩(wěn)定版本在它正被相機(jī)捕獲的同時(shí)將被使用(例如在視頻呼叫中傳輸或者從裝置輸出)時(shí)，這可能是個(gè)問(wèn)題。當(dāng)正在執(zhí)行圖像穩(wěn)定化的裝置是諸如其中處理資源有限的移動(dòng)電話之類(lèi)的小型移動(dòng)裝置時(shí)，這也可能是個(gè)問(wèn)題。
[0005]近年來(lái)，運(yùn)動(dòng)傳感器對(duì)于制`造而言已變得更簡(jiǎn)單且更便宜并且運(yùn)動(dòng)傳感器的尺寸已被顯著降低了。在移動(dòng)裝置中實(shí)現(xiàn)運(yùn)動(dòng)傳感器現(xiàn)在是可行的。運(yùn)動(dòng)傳感器生成表示傳感器的運(yùn)動(dòng)的樣本。兩個(gè)現(xiàn)有技術(shù)文檔:Andy L.Lin的“Using Sensors for EfficientVideo Coding in Hand-held devices ,Martin Drahansky 等人的“Accelerometer BasedDigital Video Stabilization for General Security Surveillance Systems”提至丨』使用來(lái)自運(yùn)動(dòng)傳感器的數(shù)據(jù)以用于視頻信號(hào)的穩(wěn)定化的可能性。

【發(fā)明內(nèi)容】

[0006]發(fā)明人已認(rèn)識(shí)到，使用來(lái)自運(yùn)動(dòng)傳感器的數(shù)據(jù)以用于視頻信號(hào)的穩(wěn)定化的實(shí)現(xiàn)方式與現(xiàn)有技術(shù)的系統(tǒng)相比能夠被改進(jìn)。特別地，發(fā)明人已考慮了諸如下述的因素:處理非均勻采樣的傳感器數(shù)據(jù)；采樣的傳感器數(shù)據(jù)與考慮相機(jī)的快門(mén)速度的視頻信號(hào)的幀的定時(shí)的同步；通過(guò)指針修改，視頻信號(hào)的各幀中的一個(gè)幀的圖像的快速像素移位；以及如何選擇傳感器采樣速率。這些因素在以上【背景技術(shù)】部分中引用的現(xiàn)有技術(shù)中尚未被考慮。[0007]根據(jù)本發(fā)明的第一方面，提供了一種使視頻信號(hào)穩(wěn)定的方法，該方法包括:使用相機(jī)捕獲視頻信號(hào)的多個(gè)幀；使用與相機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器來(lái)生成表示相機(jī)的運(yùn)動(dòng)的多個(gè)樣本；使用這些樣本來(lái)確定相機(jī)在第一時(shí)間與第二時(shí)間之間的位移，其中第一時(shí)間對(duì)應(yīng)于視頻信號(hào)的第一幀的曝光時(shí)間中點(diǎn)，而第二時(shí)間對(duì)應(yīng)于視頻信號(hào)的第二幀的曝光時(shí)間中點(diǎn)；以及使用所確定的位移來(lái)補(bǔ)償由相機(jī)的運(yùn)動(dòng)所引起的在第一與第二幀之間視頻信號(hào)中的運(yùn)動(dòng)，從而使視頻信號(hào)穩(wěn)定。
[0008]由相機(jī)提供用于視頻信號(hào)的幀的時(shí)間戳可能涉及相機(jī)的快門(mén)關(guān)閉的時(shí)間(即幀的結(jié)束時(shí)間)。然而，發(fā)明人已經(jīng)認(rèn)識(shí)到，為了有效地使用來(lái)自運(yùn)動(dòng)傳感器(例如旋轉(zhuǎn)運(yùn)動(dòng)傳感器)的數(shù)據(jù)來(lái)確定視頻信號(hào)的第一和第二幀之間的位移(例如角位移)，有利的是確定在各幀的曝光時(shí)間的中點(diǎn)之間相機(jī)的位移。使用幀的曝光時(shí)間的中點(diǎn)提供了相機(jī)在第一和第二幀之間的位移的更精確的表示。當(dāng)將相機(jī)位移映射到像素位移時(shí)，與使用幀的結(jié)束時(shí)間相比，這個(gè)方法提供了更好的像素位移估計(jì)。
[0009]在優(yōu)選實(shí)施例中，相機(jī)的運(yùn)動(dòng)是旋轉(zhuǎn)運(yùn)動(dòng)，運(yùn)動(dòng)傳感器是旋轉(zhuǎn)運(yùn)動(dòng)傳感器并且相機(jī)的位移是相機(jī)的角位移。使用樣本確定相機(jī)在第一時(shí)間與第二時(shí)間之間的角位移可以包括:使用樣本確定相機(jī)的角速度；以及在從第一時(shí)間到第二時(shí)間的時(shí)間上對(duì)所確定的角速度進(jìn)行積分，從而確定相機(jī)在第一時(shí)間與第二時(shí)間之間的角位移。
[0010]在一個(gè)實(shí)施例中，相機(jī)在第一時(shí)間與第二時(shí)間之間的角位移由以下等式給出:
【權(quán)利要求】
1.一種使視頻信號(hào)穩(wěn)定的方法，所述方法包括: 使用相機(jī)捕獲所述視頻信號(hào)的多個(gè)幀； 使用與所述相機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器生成表示所述相機(jī)的運(yùn)動(dòng)的多個(gè)樣本； 使用這些樣本確定所述相機(jī)在第一時(shí)間與第二時(shí)間之間的位移，其中所述第一時(shí)間對(duì)應(yīng)于所述視頻信號(hào)的第一幀的曝光時(shí)間中點(diǎn)，而所述第二時(shí)間對(duì)應(yīng)于所述視頻信號(hào)的第二幀的曝光時(shí)間中點(diǎn)；以及 使用所確定的位移來(lái)補(bǔ)償由所述相機(jī)的運(yùn)動(dòng)所引起的在所述第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)，從而使所述視頻信號(hào)穩(wěn)定。
2.權(quán)利要求1的方法，其中所述相機(jī)的運(yùn)動(dòng)是旋轉(zhuǎn)運(yùn)動(dòng)，所述運(yùn)動(dòng)傳感器是旋轉(zhuǎn)運(yùn)動(dòng)傳感器并且所述相機(jī)的位移是所述相機(jī)的角位移。
3.權(quán)利要求2的方法，其中所述使用所述樣本確定所述相機(jī)在第一時(shí)間與第二時(shí)間之間的角位移包括: 使用所述樣本確定所述相機(jī)的角速度；以及 在從所述第一時(shí)間到所述第二時(shí)間的時(shí)間上對(duì)所述確定的角速度進(jìn)行積分，從而確定所述相機(jī)在所述第一時(shí)間與所述第二時(shí)間之間的所述角位移。
4.權(quán)利要求3的方法，其中所述相機(jī)在所述第一時(shí)間與所述第二時(shí)間之間的所述角位移可以由以下等式給出:
5.權(quán)利要求3或4的方法，其中所述對(duì)所確定的角速度進(jìn)行積分包括在生成所述各樣本的時(shí)間之間對(duì)所述角速度進(jìn)行內(nèi)插。
6.權(quán)利要求5的方法，進(jìn)一步包括延遲所述視頻信號(hào)，從而允許所述相機(jī)在所述第二時(shí)間的角速度通過(guò)所述對(duì)在生成所述各樣本的時(shí)間之間對(duì)所述角速度進(jìn)行內(nèi)插來(lái)確定。
7.權(quán)利要求3至5中任一項(xiàng)的方法，進(jìn)一步包括對(duì)使用所述樣本確定的角速度進(jìn)行外推，從而確定所述相機(jī)在所述第二時(shí)間的角速度。
8.任一前述權(quán)利要求的方法，其中使用所述運(yùn)動(dòng)傳感器生成的所述樣本的所述采樣速率高于所述視頻信號(hào)的幀速率。
9.任一前述權(quán)利要求的方法，其中所述相機(jī)和所述運(yùn)動(dòng)傳感器位于移動(dòng)裝置內(nèi)。
10.任一前述權(quán)利要求的方法，其中所述使用所確定的位移來(lái)補(bǔ)償由所述相機(jī)的運(yùn)動(dòng)所引起的在所述第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)包括: 確定表示由所確定的所述相機(jī)的位移所引起的在所述第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)的像素位移； 對(duì)所述像素位移進(jìn)行濾波；以及依照所述經(jīng)濾波的像素位移來(lái)移位所述第一和第二幀中至少一個(gè)幀的圖像，從而使所述視頻信號(hào)穩(wěn)定。
11.權(quán)利要求10的方法，其中所述對(duì)所述像素位移進(jìn)行濾波包括: 基于針對(duì)所述第二幀的所確定的像素位移來(lái)確定累積的像素位移；以及基于針對(duì)所述第二幀的所確定的累積的像素位移和針對(duì)所述第一幀的經(jīng)濾波的累積的像素位移的加權(quán)和來(lái)確定針對(duì)所述第二幀的經(jīng)濾波的累積的像素位移。
12.任一前述權(quán)利要求的方法,進(jìn)一步包括: 將時(shí)間偏移加到下述至少之一:(i)所捕獲的多個(gè)幀和(ii)所生成的多個(gè)樣本，使得所述捕獲的多個(gè)幀的定時(shí)與所述生成的多個(gè)樣本的定時(shí)匹配。
13.一種用于使視頻信號(hào)穩(wěn)定的裝置，所述裝置包括: 相機(jī)，其被配置成捕獲所述視頻信號(hào)的多個(gè)幀； 運(yùn)動(dòng)傳感器，其與所述相機(jī)相關(guān)聯(lián)，被配置成生成表示所述相機(jī)的運(yùn)動(dòng)的多個(gè)樣本；位移確定塊，其被配置成使用所述樣本確定所述相機(jī)在第一時(shí)間與第二時(shí)間之間的位移，其中所述第一時(shí)間對(duì)應(yīng)于所述視頻信號(hào)的第一幀的曝光時(shí)間中點(diǎn)，而所述第二時(shí)間對(duì)應(yīng)于所述視頻信號(hào)的第二幀的曝光時(shí)間中點(diǎn)；以及 運(yùn)動(dòng)補(bǔ)償塊，其被配置成使用所確定的位移來(lái)補(bǔ)償由所述相機(jī)的運(yùn)動(dòng)所引起的在所述第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)，從而使所述視頻信號(hào)穩(wěn)定。
14.權(quán)利要求13的裝置，其中所述運(yùn)動(dòng)傳感器是陀螺運(yùn)動(dòng)傳感器。
15.權(quán)利要求13或14的裝置，其中所述裝置是移動(dòng)裝置。
16.—種使視頻信號(hào)穩(wěn)定的方法,所述方法包括: 使用相機(jī)捕獲所述視頻信號(hào)的多個(gè)幀； 確定表示由所述相機(jī)的運(yùn)動(dòng)所引起的在所述視頻信號(hào)的第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)的像素位移；以及 依照所述像素位移來(lái)移位所述第一和第二幀中至少一個(gè)幀的圖像，從而使所述視頻信號(hào)穩(wěn)定，其中所述圖像包括指示所述圖像的存儲(chǔ)器空間的步幅值、多個(gè)像素值、指示所述圖像的第一像素的位置的指針以及指示所述圖像的寬度的寬度值，其中所述圖像的所述移位包括調(diào)整所述指針和所述寬度值而不調(diào)整所述步幅值。
17.權(quán)利要求16的方法，其中所述圖像包括多個(gè)圖像平面，其中每個(gè)圖像平面由相應(yīng)的多個(gè)像素值、指示所述圖像平面的第一像素的位置的相應(yīng)指針以及指示所述圖像平面的寬度的相應(yīng)寬度值來(lái)表示，其中這些圖像平面通過(guò)調(diào)整它們相應(yīng)的指針和寬度值而不調(diào)整所述步幅值而被一起移位。
18.權(quán)利要求16或17的方法，進(jìn)一步包括將所確定的像素位移湊整為整數(shù)像素位移。
19.權(quán)利要求16至18中任一項(xiàng)的方法，進(jìn)一步包括: 使用與所述相機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器生成表示所述相機(jī)的運(yùn)動(dòng)的多個(gè)樣本；以及使用所述樣本確定所述相機(jī)在所述視頻信號(hào)的第一幀與所述視頻信號(hào)的第二幀之間的位移，其中所確定的位移被用來(lái)確定所述像素位移。
20.權(quán)利要求16至19中任一項(xiàng)的方法，進(jìn)一步包括對(duì)所述像素位移進(jìn)行濾波。
21.權(quán)利要求16至20中任一項(xiàng)的方法，其中所述相機(jī)的所述運(yùn)動(dòng)是旋轉(zhuǎn)運(yùn)動(dòng)。
22.權(quán)利要求16至21中任一項(xiàng)的方法，其中所述方法與權(quán)利要求1至12中任一項(xiàng)的方法相結(jié)合地執(zhí)行。
23.一種用于使視頻信號(hào)穩(wěn)定的裝置，所述裝置包括: 相機(jī)，其被配置成捕獲所述視頻信號(hào)的多個(gè)幀； 像素位移確定塊，其被配置成確定表示由所述相機(jī)的運(yùn)動(dòng)所引起的在所述視頻信號(hào)的第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)的像素位移；以及 圖像移位塊，其被配置成依照所述像素位移來(lái)移位所述第一和第二幀中至少一個(gè)幀的圖像，從而使所述視頻信號(hào)穩(wěn)定，其中所述圖像包括指示所述圖像的存儲(chǔ)器空間的步幅值、多個(gè)像素值、指示所述圖像的第一像素的位置的指針以及指示所述圖像的寬度的寬度值，其中所述圖像移位塊被配置成通過(guò)調(diào)整所述指針和所述寬度值而不調(diào)整所述步幅值來(lái)移位所述圖像。
24.一種使視頻信號(hào)穩(wěn)定的方法，所述方法包括: 使用相機(jī)捕獲所述視頻信號(hào)的多個(gè)幀； 確定在所述相機(jī)的快門(mén)被關(guān)閉時(shí)而非在所述相機(jī)的快門(mén)打開(kāi)時(shí)發(fā)生的所述相機(jī)的運(yùn)動(dòng)的一部分； 確定表示由所述相機(jī)的運(yùn)動(dòng)的所述部分所引起并且與其相對(duì)應(yīng)的在所述視頻信號(hào)的第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)的像素位移；以及 依照所述像素位移來(lái)移位所述 第一和第二幀中至少一個(gè)幀的圖像，從而使所述視頻信號(hào)穩(wěn)定。
25.權(quán)利要求24的方法，進(jìn) 一步包括: 使用與所述相機(jī)相關(guān)聯(lián)的運(yùn)動(dòng)傳感器生成表示所述相機(jī)的運(yùn)動(dòng)的所述部分的多個(gè)樣本；以及 使用所述樣本確定所述相機(jī)在所述視頻信號(hào)的所述第一幀與所述視頻信號(hào)的所述第二幀之間的位移，其中所確定的位移被用來(lái)確定所述像素位移。
26.權(quán)利要求25的方法，其中所述相機(jī)的運(yùn)動(dòng)是旋轉(zhuǎn)運(yùn)動(dòng)，所述運(yùn)動(dòng)傳感器是旋轉(zhuǎn)運(yùn)動(dòng)傳感器并且所述相機(jī)的位移是所述相機(jī)的角位移。
27.權(quán)利要求24至26中任一項(xiàng)的方法，進(jìn)一步包括對(duì)所述確定的像素位移進(jìn)行濾波。
28.權(quán)利要求24至27中任一項(xiàng)的方法，其中所述方法與權(quán)利要求1至12或權(quán)利要求16至22中任一項(xiàng)的方法相結(jié)合地執(zhí)行。
29.一種用于使視頻信號(hào)穩(wěn)定的裝置，所述裝置包括: 相機(jī)，其被配置成捕獲所述視頻信號(hào)的多個(gè)幀； 運(yùn)動(dòng)確定塊，其被配置成確定在所述相機(jī)的快門(mén)被關(guān)閉時(shí)而非在所述相機(jī)的快門(mén)打開(kāi)時(shí)發(fā)生的所述相機(jī)的運(yùn)動(dòng)的一部分； 像素位移確定塊，其被配置成確定表示由所述相機(jī)的運(yùn)動(dòng)的所述部分所引起并且與其相對(duì)應(yīng)的在所述視頻信號(hào)的第一和第二幀之間所述視頻信號(hào)中的運(yùn)動(dòng)的像素位移；以及圖像移位塊，其被配置成依照所述像素位移來(lái)移位所述第一和第二幀中至少一個(gè)幀的圖像，從而使所述視頻信號(hào)穩(wěn)定。
30.一種用于使視頻信號(hào)穩(wěn)定的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品被體現(xiàn)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上并且被配置以便當(dāng)在裝置的處理器上被執(zhí)行時(shí)執(zhí)行權(quán)利要求1至12,16至22或24至28中的任一項(xiàng)的操作。
【文檔編號(hào)】H04N5/232GK103563349SQ201280026334
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2012年5月31日 優(yōu)先權(quán)日:2011年5月31日
【發(fā)明者】A.杰弗里莫夫, D.趙, P.卡爾松, S.薩布林 申請(qǐng)人:斯凱普公司