基于移動(dòng)設(shè)備gpu和角速度傳感器的視頻拍攝降噪方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理，尤其涉及一種基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法。
【背景技術(shù)】
[0002]現(xiàn)在手機(jī)或平板電腦等移動(dòng)設(shè)備已經(jīng)成為視頻短片拍攝的常用工具。此類移動(dòng)設(shè)備攝像頭使用的感光器件噪點(diǎn)比較大，尤其是光線較暗需要高ISO的場景下，拍攝出來的視頻噪點(diǎn)非常明顯，使得拍攝效果大打折扣。對高清視頻進(jìn)行實(shí)時(shí)降噪需要比較大的計(jì)算量，常見的拍攝設(shè)備通常使用均值、中值、KNN、NLM等對每一幀圖像進(jìn)行降噪處理，處理速度雖然快但是會(huì)損失一些細(xì)節(jié)。同時(shí)，在性能比較低的移動(dòng)設(shè)備上難以通過幀間運(yùn)動(dòng)補(bǔ)償濾除拍攝場景的噪點(diǎn)。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的就在于提供一種基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，利用角速度傳感器的數(shù)據(jù)，結(jié)合鏡頭和感光器件的物理參數(shù)，算得全局運(yùn)動(dòng)補(bǔ)償參數(shù)，對視頻幀進(jìn)行運(yùn)動(dòng)補(bǔ)償、疊加降噪，能有效解決上述現(xiàn)有技術(shù)中的不足。
[0004]本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了以下技術(shù)方案:
本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，其特征在于，具體步驟如下:
101、利用攝像頭采集獲取高清視頻，緩沖存儲(chǔ)多個(gè)過去視頻幀；
102、將緩沖存儲(chǔ)的當(dāng)前視頻幀進(jìn)行視頻單幀幀內(nèi)降噪；
103、將緩沖存儲(chǔ)的多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，包括以下步驟；
(a)利用角速度傳感器采集獲取角速度數(shù)據(jù)，并將角速度數(shù)據(jù)進(jìn)行積分，計(jì)算得到幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)，
(b)調(diào)取多個(gè)過去視頻幀，根據(jù)全局運(yùn)動(dòng)補(bǔ)償參數(shù)進(jìn)行運(yùn)動(dòng)補(bǔ)償；
104、將多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀進(jìn)行疊加，顏色距離在閾值內(nèi)的像素以閾值計(jì)算選定與前幀的疊加混合比例進(jìn)行疊加，顏色距離較大的像素直接按幀內(nèi)空域降噪的結(jié)果疊加，之后輸出視頻；
具體內(nèi)容如下:
包括高清視頻采集模塊、幀緩沖模塊、角速度采集模塊、角速度積分模塊、GPU幀間運(yùn)動(dòng)補(bǔ)償模塊、GPU幀內(nèi)空域降噪模塊和GPU幀間疊加模塊。
[0005]進(jìn)一步地，所述步驟103采用3軸角速度傳感器采集3個(gè)方向上的角速度數(shù)據(jù)。
[0006]再進(jìn)一步地，所述步驟103將角速度數(shù)據(jù)轉(zhuǎn)換成四元數(shù)數(shù)據(jù)進(jìn)行積分。
[0007]更進(jìn)一步地，所述步驟103根據(jù)角速度數(shù)據(jù)和攝像頭物理參數(shù)計(jì)算幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于: 本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，能在移動(dòng)設(shè)備上實(shí)現(xiàn)高清視頻實(shí)時(shí)處理，利用角速度傳感器和GPU的計(jì)算性能，結(jié)合幀間時(shí)域疊加降噪和幀內(nèi)空域降噪，對靜態(tài)和動(dòng)態(tài)場景均有非常好的降噪效果，實(shí)現(xiàn)大部分場景不損失細(xì)節(jié)，尤其是靜態(tài)場景的降噪過程既不損失畫質(zhì)還增加了細(xì)節(jié)。
[0009]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
[0010]下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
【附圖說明】
[0011]附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中:
圖1是本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法的流程圖；圖2是本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法的系統(tǒng)框圖。
【具體實(shí)施方式】
[0012]下面將結(jié)合附圖對本發(fā)明作進(jìn)一步說明。
[0013]實(shí)施例:
以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
[0014]參見圖1、圖2所示。
[0015]本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法的系統(tǒng)，包括高清視頻采集模塊、幀緩沖模塊、角速度采集模塊、角速度積分模塊、GPU幀間運(yùn)動(dòng)補(bǔ)償模塊、GPU幀內(nèi)空域降噪模塊和GPU幀間疊加模塊，所述高清視頻采集模塊與幀緩沖模塊連接，所述幀緩沖模塊還與GPU幀內(nèi)空域降噪模塊和GPU幀間運(yùn)動(dòng)補(bǔ)償模塊連接，所述角速度積分模塊同時(shí)與角速度采集模塊和GPU幀間運(yùn)動(dòng)補(bǔ)償模塊連接，所述GPU幀間運(yùn)動(dòng)補(bǔ)償模塊和GPU幀內(nèi)空域降噪模塊還均與GPU幀間疊加模塊連接。
[0016]高清視頻采集模塊采集高清視頻并輸出到幀緩沖模塊，幀緩沖模塊存儲(chǔ)多個(gè)過去視頻幀，并將當(dāng)前視頻幀輸出到GPU幀內(nèi)空域降噪模塊進(jìn)行視頻單幀幀內(nèi)降噪，將多個(gè)過去視頻幀輸出到GPU幀間運(yùn)動(dòng)補(bǔ)償模塊，GPU幀間運(yùn)動(dòng)補(bǔ)償模塊根據(jù)角速度采集模塊和角速度積分模塊計(jì)算得到的幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)，對多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償并將結(jié)果輸出到GPU幀間疊加模塊，GPU幀間疊加模塊結(jié)合多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀和已幀內(nèi)降噪的當(dāng)前視頻幀進(jìn)行疊加后輸出視頻。
[0017]本發(fā)明所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法的具體降噪步驟如下:
步驟101、利用攝像頭采集獲取高清視頻，緩沖存儲(chǔ)多個(gè)過去視頻幀；
高清視頻采集模塊負(fù)責(zé)從攝像頭采集高清視頻并輸出到幀緩沖模塊，幀緩沖模塊負(fù)責(zé)保存多個(gè)過去視頻幀，并將當(dāng)前視頻幀輸出到GPU幀內(nèi)空域降噪模塊，將多個(gè)過去視頻幀輸出到GPU幀間運(yùn)動(dòng)補(bǔ)償模塊。
[0018]步驟102、將緩沖存儲(chǔ)的當(dāng)前視頻幀進(jìn)行視頻單幀幀內(nèi)降噪；
GPU幀內(nèi)空域降噪模塊采用均值、中值、KNN和NLM等算法進(jìn)行進(jìn)行視頻單幀幀內(nèi)降噪。
[0019]步驟103、將緩沖存儲(chǔ)的多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，包括以下步驟；
(a)利用角速度傳感器采集獲取角速度數(shù)據(jù)，并將角速度數(shù)據(jù)進(jìn)行積分，計(jì)算得到幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)，
角速度采集模塊實(shí)時(shí)采集角速度傳感器的數(shù)據(jù)，得到3個(gè)方向上的角速度數(shù)據(jù)，并在有必要時(shí)對數(shù)據(jù)進(jìn)行插值。角速度積分模塊得到3個(gè)方向上的角速度信息后，轉(zhuǎn)換成四元數(shù)代表的局部坐標(biāo)系進(jìn)行積分，實(shí)現(xiàn)3個(gè)方向上的幀間運(yùn)動(dòng)方向和角度的預(yù)測，同時(shí)結(jié)合鏡頭和感光器件的物理參數(shù)，最終計(jì)算得到幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)。
[0020](b)調(diào)取多個(gè)過去視頻幀，根據(jù)全局運(yùn)動(dòng)補(bǔ)償參數(shù)進(jìn)行運(yùn)動(dòng)補(bǔ)償；
GPU幀間運(yùn)動(dòng)補(bǔ)償模塊根據(jù)幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)，對多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，以對齊場景。
[0021]步驟104、將多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀進(jìn)行疊加，顏色距離在閾值內(nèi)的像素以閾值計(jì)算選定與前幀的疊加混合比例進(jìn)行疊加，顏色距離較大的像素直接按幀內(nèi)空域降噪的結(jié)果疊加，之后輸出視頻。
[0022]GPU幀間疊加模塊將多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀進(jìn)行疊加，考慮到場景內(nèi)可能有快速運(yùn)動(dòng)的物體無法進(jìn)行全局運(yùn)動(dòng)補(bǔ)償，在疊加時(shí)，需比較像素的顏色距離，將距離在閾值內(nèi)的像素認(rèn)為是噪點(diǎn)產(chǎn)生的，并以此計(jì)算出一個(gè)因子來決定與前幀的疊加混合比例。對于顏色距離較大的像素，則直接疊加幀內(nèi)空域降噪的結(jié)果，最終輸出降噪視頻。
[0023]本發(fā)明利用角速度傳感器的數(shù)據(jù)，實(shí)時(shí)得知兩幀之間鏡頭的運(yùn)動(dòng)角度和方向，結(jié)合鏡頭和感光器件的物理參數(shù)，可以直接算得全局運(yùn)動(dòng)補(bǔ)償參數(shù)，再由GPU運(yùn)動(dòng)補(bǔ)償及疊加平均計(jì)算完成幀間時(shí)域疊加降噪，同時(shí)結(jié)合視頻單幀幀內(nèi)空域降噪，對靜態(tài)和動(dòng)態(tài)場景均有非常好的降噪效果，尤其是靜態(tài)場景的降噪過程既不損失畫質(zhì)還增加了細(xì)節(jié)。
[0024]本發(fā)明能在移動(dòng)設(shè)備上實(shí)現(xiàn)高清視頻實(shí)時(shí)處理，利用角速度傳感器和GPU的計(jì)算性能，結(jié)合幀間時(shí)域疊加降噪和幀內(nèi)空域降噪，對靜態(tài)和動(dòng)態(tài)場景均有非常好的降噪效果，實(shí)現(xiàn)大部分場景不損失細(xì)節(jié)。
[0025]最后說明的是:以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，其特征在于，具體步驟如下: 101、利用攝像頭采集獲取高清視頻，緩沖存儲(chǔ)多個(gè)過去視頻幀； 102、將緩沖存儲(chǔ)的當(dāng)前視頻幀進(jìn)行視頻單幀幀內(nèi)降噪； 103、將緩沖存儲(chǔ)的多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，包括以下步驟； (a)利用角速度傳感器采集獲取角速度數(shù)據(jù)，并將角速度數(shù)據(jù)進(jìn)行積分，計(jì)算得到幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)， (b)調(diào)取多個(gè)過去視頻幀，根據(jù)全局運(yùn)動(dòng)補(bǔ)償參數(shù)進(jìn)行運(yùn)動(dòng)補(bǔ)償； 104、將多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀進(jìn)行疊加，顏色距離在閾值內(nèi)的像素以閾值計(jì)算選定與前幀的疊加混合比例進(jìn)行疊加，顏色距離較大的像素直接按幀內(nèi)空域降噪的結(jié)果疊加，之后輸出視頻； 具體內(nèi)容如下: 包括高清視頻采集模塊、幀緩沖模塊、角速度采集模塊、角速度積分模塊、GPU幀間運(yùn)動(dòng)補(bǔ)償模塊、GPU幀內(nèi)空域降噪模塊和GPU幀間疊加模塊。
2.根據(jù)權(quán)利要求1所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，其特征在于:所述步驟103采用3軸角速度傳感器采集3個(gè)方向上的角速度數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，其特征在于:所述步驟103將角速度數(shù)據(jù)轉(zhuǎn)換成四元數(shù)數(shù)據(jù)進(jìn)行積分。
4.根據(jù)權(quán)利要求3所述基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，其特征在于:所述步驟103根據(jù)角速度數(shù)據(jù)和攝像頭物理參數(shù)計(jì)算幀間全局運(yùn)動(dòng)補(bǔ)償參數(shù)。
【專利摘要】本發(fā)明公開了一種基于移動(dòng)設(shè)備GPU和角速度傳感器的視頻拍攝降噪方法，具體包括，利用攝像頭采集獲取高清視頻，緩沖存儲(chǔ)多個(gè)過去視頻幀；將緩沖存儲(chǔ)的當(dāng)前視頻幀進(jìn)行視頻單幀幀內(nèi)降噪；將緩沖存儲(chǔ)的多個(gè)過去視頻幀進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償；將多個(gè)已運(yùn)動(dòng)補(bǔ)償?shù)倪^去視頻幀進(jìn)行疊加，顏色距離在閾值內(nèi)的像素以閾值計(jì)算選定與前幀的疊加混合比例進(jìn)行疊加，顏色距離較大的像素直接按幀內(nèi)空域降噪的結(jié)果疊加，之后輸出視頻。本發(fā)明能在移動(dòng)設(shè)備上實(shí)現(xiàn)高清視頻實(shí)時(shí)處理，利用角速度傳感器和GPU的計(jì)算性能，結(jié)合幀間時(shí)域疊加降噪和幀內(nèi)空域降噪，對靜態(tài)和動(dòng)態(tài)場景均有非常好的降噪效果。
【IPC分類】H04N5-217
【公開號(hào)】CN104869287
【申請?zhí)枴緾N201510251716
【發(fā)明人】邱俊, 張舒, 陳實(shí)富, 楊斌, 鄧培智
【申請人】成都平行視野科技有限公司
【公開日】2015年8月26日
【申請日】2015年5月18日