一種視頻處理方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及一種視頻處理方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]為了得到更為清晰的視頻，需要對視頻進(jìn)行防抖處理，在目前主流視頻去抖動系統(tǒng)和相關(guān)視頻處理應(yīng)用中，多數(shù)的幀間運動估計方法都采用了基于圖像的特征匹配來進(jìn)行全局運動估計，例如，可以先通過特征點匹配來找到兩幀間的一系列點的對應(yīng)關(guān)系，然后用一個全局運動模型對這些點的對應(yīng)關(guān)系進(jìn)行擬合，從而得到能夠描述兩幀全局運動的全局運動模型。
[0003]在對現(xiàn)有技術(shù)的研究和實踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，雖然現(xiàn)有的這種方法應(yīng)用較為普遍，但是其魯棒性較差，在某些視頻幀中難以找到足夠的可靠的特征點來進(jìn)行匹配，因此，處理后的視頻質(zhì)量不佳，而且該類方法計算復(fù)雜度也較高，需要占用較多的計算資源，不適用于移動終端如手機等計算能力較差的平臺。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例提供一種視頻處理方法、裝置和系統(tǒng)，不僅可以提高其魯棒性，而且計算復(fù)雜度較低，可以在占用較低計算資源的情況下更好地對視頻進(jìn)行處理，提高視頻質(zhì)量。
[0005]本發(fā)明實施例提供一種視頻處理方法，包括:
[0006]基于羅德里格(Rodrigues’ Rotat1n Matrix,簡稱Rodrigues)旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；
[0007]獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息，所述第一陀螺儀旋轉(zhuǎn)信息為所述第一視頻信息對應(yīng)的陀螺儀旋轉(zhuǎn)信息；
[0008]根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對所述第一視頻信息進(jìn)行去抖動處理；和/或，
[0009]根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對所述第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。
[0010]相應(yīng)的，本發(fā)明實施例還提供一種視頻處理裝置，包括標(biāo)定單元、信息獲取單元和處理單元；
[0011]標(biāo)定單元，用于基于羅德里格旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；
[0012]信息獲取單元，用于獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息，所述第一陀螺儀旋轉(zhuǎn)信息為所述第一視頻信息對應(yīng)的陀螺儀旋轉(zhuǎn)信息；
[0013]處理單元，用于根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對所述第一視頻信息進(jìn)行去抖動處理；和/或，根據(jù)所述標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對所述第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。
[0014]相應(yīng)的，本發(fā)明實施例還提供一種視頻處理系統(tǒng)，包括本發(fā)明實施例提供的任一種視頻處理裝置。
[0015]本發(fā)明實施例可以基于羅德里格旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，然后獲取第一視頻信息和其對應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，并根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對第一視頻信息進(jìn)行去抖動處理，和/或根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理，以實現(xiàn)對視頻的矯正；由于該方案采用了羅德里格旋轉(zhuǎn)矩陣，因此，相對于采用其他旋轉(zhuǎn)矩陣的方案而言，在計算標(biāo)定參數(shù)時，不僅可以更加精確，大大減少誤差，而且，計算也較為簡便，可以大大降低實現(xiàn)的復(fù)雜度；也就是說，采用該方案，不僅可以提高其魯棒性，而且計算復(fù)雜度較低，可以在占用較低計算資源的情況下更好地對視頻進(jìn)行處理，提高視頻質(zhì)量。
【附圖說明】
[0016]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017]圖1是本發(fā)明實施例提供的視頻處理方法的流程圖；
[0018]圖2是本發(fā)明實施例提供的視頻處理方法的另一流程圖；
[0019]圖3是本發(fā)明實施例提供的視頻處理方法的又一流程圖；
[0020]圖4是本發(fā)明實施例提供的視頻處理方法的又一流程圖；
[0021]圖5是本發(fā)明實施例提供的視頻處理裝置的結(jié)構(gòu)示意圖；
[0022]圖6是本發(fā)明實施例提供的移動終端的結(jié)構(gòu)示意圖。
【具體實施方式】
[0023]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0024]本發(fā)明實施例提供一種視頻處理方法、裝置和系統(tǒng)。以下分別進(jìn)行詳細(xì)說明。
[0025]實施例一、
[0026]本發(fā)明實施例將從視頻處理裝置的角度進(jìn)行描述，該視頻處理裝置可以集成在具有陀螺儀的攝像設(shè)備中，該攝像設(shè)備可以為移動終端，比如手機、平板電腦、筆記本電腦、相機或攝像機等設(shè)備。
[0027]—種視頻處理方法，包括:基于羅德里格旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，獲取第一視頻信息和對應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對該第一視頻信息進(jìn)行去抖動處理。
[0028]如圖1所示，該視頻處理方法的具體流程可以如下:
[0029]101、基于羅德里格旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，例如，具體可以采用如下方法來對攝像設(shè)備進(jìn)行標(biāo)定:
[0030](I)獲取該攝像設(shè)備的陀螺儀旋轉(zhuǎn)角速度。
[0031]比如，具體可以從該攝像設(shè)備的陀螺儀中讀出該陀螺儀旋轉(zhuǎn)角速度。
[0032](2)利用羅德里格旋轉(zhuǎn)矩陣對該陀螺儀旋轉(zhuǎn)角速度進(jìn)行建模，得到羅德里格旋轉(zhuǎn)矩陣的運動模型，例如，具體可以如下:
[0033]獲取該陀螺儀旋轉(zhuǎn)角速度對應(yīng)的旋轉(zhuǎn)時間，將該陀螺儀旋轉(zhuǎn)角速度結(jié)合該獲取到的旋轉(zhuǎn)時間，根據(jù)羅德里格旋轉(zhuǎn)矩陣形式構(gòu)造旋轉(zhuǎn)矩陣，得到羅德里格旋轉(zhuǎn)矩陣的運動模型。
[0034](3)獲取第二視頻信息和相應(yīng)的陀螺儀旋轉(zhuǎn)信息，其中，為了描述方便，在本發(fā)明中，將該第二視頻信息對應(yīng)的陀螺儀旋轉(zhuǎn)信息稱為第二陀螺儀旋轉(zhuǎn)信息。
[0035]例如，具體可以通過拍攝視頻來獲取視頻信息，為了描述方便，在本實施例中，將該建模時獲取到的視頻信息稱為第二視頻信息。
[0036]其中，本發(fā)明實施例中的陀螺儀旋轉(zhuǎn)信息包括陀螺儀旋轉(zhuǎn)角速度和/或?qū)?yīng)的旋轉(zhuǎn)時間等信息。
[0037](4)基于該羅德里格旋轉(zhuǎn)矩陣的運動模型，結(jié)合該第二視頻信息和第二陀螺儀旋轉(zhuǎn)信息對該攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，例如，具體可以如下:
[0038]A、對該第二視頻信息中每一幀內(nèi)預(yù)置的特征點進(jìn)行檢測，并在相鄰兩幀間進(jìn)行特征點匹配，得到特征匹配關(guān)系。
[0039]B、基于建立的羅德里格旋轉(zhuǎn)矩陣的運動模型對該第二陀螺儀旋轉(zhuǎn)信息進(jìn)行轉(zhuǎn)換，得到對應(yīng)的三維旋轉(zhuǎn)矩陣。
[0040]C、根據(jù)該三維旋轉(zhuǎn)矩陣和特征匹配關(guān)系對該攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)。例如，具體可以如下:
[0041]根據(jù)預(yù)置的優(yōu)化策略擬合該特征匹配關(guān)系，得到擬合后的特征匹配關(guān)系；利用B步驟中得到的三維旋轉(zhuǎn)矩陣和擬合后的特征匹配關(guān)系計算該攝像設(shè)備的標(biāo)定參數(shù)。
[0042]其中，該標(biāo)定參數(shù)可以包括攝像設(shè)備的內(nèi)部參數(shù)、幀采集時間、以及“陀螺儀時間戳與視頻信息的幀時間戳之間的偏差”等參數(shù)。而優(yōu)化策略可以根據(jù)實際應(yīng)用的需求進(jìn)行設(shè)置。
[0043]需說明的是，計算機視覺的基本任務(wù)之一是從攝像機獲取的圖像信息出發(fā)計算三維空間中物體的幾何信息，并由此重建和識別物體，而空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系是由攝像機成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機參數(shù)，也就是本發(fā)明實施例所說的標(biāo)定參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實驗與計算才能得到，這個過程被稱為攝像機標(biāo)定(或稱為定標(biāo))。也就是說，標(biāo)定過程就是確定攝像機的幾何和光學(xué)參數(shù)、以及攝像機相對于世界坐標(biāo)系的方位。標(biāo)定精度的大小，直接影響著計算機視覺(機器視覺)的精度。
[0044]102、獲取第一視頻信息和相應(yīng)的陀螺儀旋轉(zhuǎn)信息，為了描述方便，在本發(fā)明實施例中，將該第一視頻信息對應(yīng)的陀螺儀旋轉(zhuǎn)信息稱為第一陀螺儀旋轉(zhuǎn)信息。
[0045]例如，具體可以通過拍攝視頻來獲取視頻信息，為了描述方便，在本實施例中，將該需要進(jìn)行去抖動處理和/或矯正(比如進(jìn)行去卷簾快門效應(yīng)處理)的視頻信息稱為第一視頻信息。
[0046]103、根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對該第一視頻信息進(jìn)行去抖動處理；例如，具體可以如下:
[0047](I)對該第一陀螺儀旋轉(zhuǎn)信息進(jìn)行平滑操作，得到第一旋轉(zhuǎn)角速度累積乘積。
[0048](2)根據(jù)該第一視頻信息確定當(dāng)前需要處理的幀。
[0049](3)從該第一陀螺儀旋轉(zhuǎn)信息中獲取從所述第一視頻信息的第一幀開始到所述當(dāng)前需要處理的幀之間的各個幀所對應(yīng)的陀螺儀旋轉(zhuǎn)角速度。
[0050](4)根據(jù)所述各個幀所對應(yīng)的陀螺儀旋轉(zhuǎn)角速度計算旋轉(zhuǎn)角速度累積乘積。
[0051]其中，該第二旋轉(zhuǎn)角速度累積乘積為從所述第一視頻信息的第一幀開始到所述當(dāng)前需要處理的幀的旋轉(zhuǎn)角速度累積乘積。
[0052](5)計算該第二旋轉(zhuǎn)角速度累積乘積和第一旋轉(zhuǎn)角速度累積乘積的差，得到差值，為了描述方便，在本發(fā)明實施例中，將該差值稱為第一差值。
[0053](6)根據(jù)該第一差值和該標(biāo)定參數(shù)得到一個全局運動矩陣，在本發(fā)明實施例中，稱為第一全局運動矩陣。
[0054](7)根據(jù)該第一全局運動矩陣對該第一視頻信息進(jìn)行重新繪制，從而實現(xiàn)去抖動的目的。
[0055]此外，除了可以對第一視頻信息進(jìn)行去抖動處理之外，為了進(jìn)一步提高視頻質(zhì)量，還可以對該第一視頻信息進(jìn)行矯正處理，比如進(jìn)行去卷簾快門效應(yīng)處理。即，在獲取第一視頻信息和第一陀螺儀旋轉(zhuǎn)信息之后，該視頻處理方法還可以包括:
[0056]根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對該第一視頻信息進(jìn)行去卷簾快門效應(yīng)處理。例如，具體可以如下:
[0057]根據(jù)該第一視頻信息確定當(dāng)前需要處理的幀，從該第一陀螺儀旋轉(zhuǎn)信息中獲取當(dāng)前需要處理的幀所對應(yīng)的陀螺儀旋轉(zhuǎn)角速度，根據(jù)該當(dāng)前需要處理的幀所對應(yīng)的陀螺儀旋轉(zhuǎn)角速度分別獲取當(dāng)前需要處理的幀的第一行的旋轉(zhuǎn)角速度和第η行的旋轉(zhuǎn)角速度，計算該第一行的旋轉(zhuǎn)角速度和第η行的旋轉(zhuǎn)角速度的差，得到一個差值，在本發(fā)明實施例中稱為第二差值，根據(jù)該第二差值和標(biāo)定參數(shù)得到一個全局運動矩陣，在本發(fā)明實施例中稱為第二全局運動矩陣，根據(jù)該第二全局運動矩陣對第一視頻信息進(jìn)行重新繪制。
[0058]其中，η為正整數(shù)，η的值可以根據(jù)實際應(yīng)用的需求進(jìn)行設(shè)置。
[0059]由上可知，本實施例可以基于羅德里格旋轉(zhuǎn)矩陣對具有陀螺儀的攝像設(shè)備進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)，然后獲取第一視頻信息和其對應(yīng)的陀螺儀旋轉(zhuǎn)信息(即第一陀螺儀旋轉(zhuǎn)信息)，并根據(jù)該標(biāo)定參數(shù)和第一陀螺儀旋轉(zhuǎn)信息對第一視頻信息進(jìn)行去抖動處理；由于該方案采用了羅德里格旋轉(zhuǎn)矩陣，因此，相對于采用其他旋轉(zhuǎn)矩陣的方案而言，在計算標(biāo)定參數(shù)時，不僅可以更加精確，大大減少誤差，而且，計算也較為簡便，可以大大降低實現(xiàn)的復(fù)雜度；也就是說，