本發(fā)明屬于圖像去噪領(lǐng)域，具體涉及一種低光照環(huán)境下的視頻優(yōu)化方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、盡管近年來(lái)攝影傳感器有了顯著的提升，視頻處理仍然需要著重處理降噪，特別是在面對(duì)具有挑戰(zhàn)性的拍攝條件時(shí)，比如低光照或傳感器尺寸偏小等情況。

2、視頻降噪模型的選擇涵蓋了非局部相似性模型法、盲去噪法以及深度學(xué)習(xí)法。非局部相似性模型法在應(yīng)對(duì)實(shí)際環(huán)境中的噪聲分布時(shí)顯得適應(yīng)性不足，因?yàn)樵肼暡⒎强偸欠戏蔷植肯嗨菩砸?guī)律。盲去噪法則常常因?yàn)楹雎詴r(shí)域信息，導(dǎo)致信息利用率不高，競(jìng)爭(zhēng)力相對(duì)較弱，特別是對(duì)于方差較大的噪聲，其效果難以令人滿(mǎn)意。相較之下，深度學(xué)習(xí)法相對(duì)較為出色，但該類(lèi)模型更適用于噪聲分布已確定的情形，如高斯分布等。而對(duì)于時(shí)域變化明顯的噪聲，深度神經(jīng)網(wǎng)絡(luò)需要針對(duì)每一幀噪聲數(shù)據(jù)進(jìn)行重新擬合，操作不僅耗時(shí)耗力，并且模型泛化性較差。

3、因此，在現(xiàn)有技術(shù)中，對(duì)于低光照環(huán)境下的視頻去噪優(yōu)化仍存在較高的技術(shù)挑戰(zhàn)，尤其是現(xiàn)有技術(shù)中對(duì)不同類(lèi)型視頻去噪優(yōu)化的方法泛用性較差，需要開(kāi)發(fā)更加魯棒的噪聲處理算法以及高效的模型壓縮和維護(hù)策略。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)中對(duì)不同類(lèi)型視頻優(yōu)化的方法泛用性較差的問(wèn)題，本發(fā)明提供了一種低光照環(huán)境下的視頻優(yōu)化方法、裝置、設(shè)備及介質(zhì)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、本發(fā)明提供了一種低光照環(huán)境下的視頻優(yōu)化方法，所述方法包括：獲取低光照環(huán)境下目標(biāo)視頻的運(yùn)動(dòng)矢量和連續(xù)幀；將運(yùn)動(dòng)矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進(jìn)一步平滑，得到粗略光流圖；確定所述連續(xù)幀中相鄰兩個(gè)圖像幀的相關(guān)關(guān)系；根據(jù)所述相關(guān)關(guān)系對(duì)粗略光流圖進(jìn)行迭代優(yōu)化。

4、可選地，所述方法還包括對(duì)迭代優(yōu)化后的目標(biāo)視頻進(jìn)行濾波，所述濾波過(guò)程包括：將目標(biāo)視頻的每一幀劃分成不重疊的圖像塊，確定同一位置不同時(shí)間點(diǎn)圖像塊差值圖的方差均值，進(jìn)而通過(guò)方差均值的分布情況確定噪聲閾值；根據(jù)所述噪聲閾值劃分運(yùn)動(dòng)矢量的類(lèi)型，進(jìn)而根據(jù)不同的類(lèi)型對(duì)運(yùn)動(dòng)矢量進(jìn)行重構(gòu)，得到軌跡矢量；根據(jù)軌跡矢量對(duì)目標(biāo)視頻進(jìn)行濾波。

5、可選地，獲取低光照環(huán)境下目標(biāo)視頻的運(yùn)動(dòng)矢量和連續(xù)幀包括：通過(guò)運(yùn)動(dòng)矢量初始化網(wǎng)絡(luò)提取目標(biāo)視頻的初始運(yùn)動(dòng)矢量；根據(jù)最小化鄰域像素范數(shù)修正初始運(yùn)動(dòng)矢量的誤差，得到目標(biāo)視頻的運(yùn)動(dòng)矢量；通過(guò)對(duì)目標(biāo)視頻進(jìn)行解碼，得到目標(biāo)視頻的連續(xù)幀。

6、可選地，所述根據(jù)最小化鄰域像素范數(shù)修正初始運(yùn)動(dòng)矢量的誤差包括：通過(guò)最小化中心圖像塊與8個(gè)相鄰圖像塊之間的l2范數(shù)來(lái)校正運(yùn)動(dòng)矢量場(chǎng)；所述l2范數(shù)包括幅值和相位，即

7、

8、其中，a(c)和p(c)分別代表當(dāng)前圖像塊c的幅值和相位，a(n)和p(n)表示8個(gè)相鄰圖像塊的幅值和相位，(x,y)是空域坐標(biāo)，t是時(shí)域坐標(biāo)，i是鄰域相鄰圖像塊編號(hào)，ω和λ是加權(quán)系數(shù)，分別是中心圖像塊的幅值和相位損失函數(shù)。

9、可選地，所述將運(yùn)動(dòng)矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進(jìn)一步平滑，得到粗略光流圖包括：使用相同的運(yùn)動(dòng)偏移填充每個(gè)塊中的像素，將運(yùn)動(dòng)矢量轉(zhuǎn)換為密集的光流圖；將所述連續(xù)幀中相鄰兩幀的前一幀輸入兩個(gè)不同的編碼器以獲得查詢(xún)矩陣q圖和鍵矩陣k圖，而光流圖則直接作為值矩陣v圖，表示為

10、q＝ea(i1),k＝eb(i1),v＝fmv

11、其中，ea和eb是兩個(gè)編碼器塊，每個(gè)塊由六個(gè)卷積層和相應(yīng)的激活層組成；使用可信度估計(jì)塊來(lái)估計(jì)每個(gè)像素的運(yùn)動(dòng)先驗(yàn)的可信度，通過(guò)以下公式表示：

12、cmv＝ceb(i1,mmv)

13、其中mmv表示存在運(yùn)動(dòng)矢量的區(qū)域，i1是所述連續(xù)幀中相鄰兩幀的前一幀，cmv是一個(gè)范圍在(0,1)之間的權(quán)重圖，ceb是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(cnn)塊；計(jì)算局部窗口中心像素與其他像素之間的相關(guān)性si,j：

14、si,j＝softmax(qi,j·ki+k,j+l)

15、其中k,l∈[-d,d]，k和l是局部窗口的偏移量，表示相對(duì)于中心像素的位置，d表示窗口的半徑，(i,j)是局部窗口中心像素的位置，點(diǎn)·表示點(diǎn)積運(yùn)算，因此計(jì)算得到的相關(guān)性權(quán)重si,j是一個(gè)形狀為(2d+1)2的張量；將像素的可信度與相關(guān)性結(jié)合起來(lái)得到最終的權(quán)重表示為：

16、

17、是從cmv中心像素(i,j)周?chē)崛〉囊粋€(gè)(2d+1)×(2d+1)窗口，⊙標(biāo)記表示逐元素乘法運(yùn)算符；根據(jù)權(quán)重對(duì)局部窗口內(nèi)的運(yùn)動(dòng)進(jìn)行聚合，得到粗略光流圖fi,j：

18、

19、vi+k,j+l表示初始光流圖fmv在(i+k,j+l)處的運(yùn)動(dòng)矢量值。

20、可選地，所述確定所述連續(xù)幀中相鄰兩幀的相關(guān)關(guān)系包括：獲取兩個(gè)連續(xù)幀為i1和i2，使用卷積神經(jīng)網(wǎng)絡(luò)分別從兩個(gè)圖像幀中提取特征圖，記作l1和l2；確定l1和l2的相關(guān)性矩陣c，具體公式如下：

21、c(i,j)＝l1(i)·l2(j)

22、其中，c(i,j)為c的元素，表示特征l1中位置i和特征l2中位置j之間的相似性，·表示點(diǎn)積運(yùn)算。

23、可選地，所述將所述粗略光流圖作為初始值，根據(jù)所述相關(guān)關(guān)系進(jìn)行迭代優(yōu)化包括：

24、在每次迭代中，光流估計(jì)值可以通過(guò)下面公式進(jìn)行更新：

25、δfmv＝u(fmv(k),c)

26、fmv(k+1)＝fmv(k)+δfmv

27、其中，fmv(k)表示第k次迭代的光流估計(jì)值，δfmv表示由當(dāng)前光流估計(jì)值fmv(k)和相關(guān)性矩陣c結(jié)合起來(lái)得到的本次迭代的光流更新量，u(·)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(cnn)塊；在達(dá)到預(yù)設(shè)迭代次數(shù)，或者光流更新量小于或等于預(yù)設(shè)更新值的情況下，停止迭代，得到高精度的光流圖fmv(*)。

28、本發(fā)明還提供了一種低光照環(huán)境下的視頻優(yōu)化裝置，其特征在于，所述裝置包括：

29、獲取模塊，用于獲取低光照環(huán)境下目標(biāo)視頻的運(yùn)動(dòng)矢量和連續(xù)幀；

30、優(yōu)化模塊，用于將運(yùn)動(dòng)矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進(jìn)一步平滑化，得到粗略光流圖；確定所述連續(xù)幀中相鄰兩個(gè)圖像幀的相關(guān)關(guān)系；根據(jù)所述相關(guān)關(guān)系對(duì)粗略光流圖進(jìn)行迭代優(yōu)化。

31、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述低光照環(huán)境下的視頻優(yōu)化方法的步驟。

32、本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述低光照環(huán)境下的視頻優(yōu)化方法的步驟。

33、本發(fā)明提供的低光照環(huán)境下的視頻優(yōu)化方法具有以下有益效果：

34、通過(guò)將運(yùn)動(dòng)矢量轉(zhuǎn)換為光流圖，并通過(guò)圖像連續(xù)幀的上下文信息將光流圖轉(zhuǎn)化為更為平滑的粗略光流圖，進(jìn)而根據(jù)該相關(guān)關(guān)系將粗略光流圖作為初始值進(jìn)行迭代，這樣針對(duì)不同的視頻進(jìn)行相應(yīng)的光流處理，具有較高的泛用性，而且光流處理能夠深入到目標(biāo)視頻的像素層面，進(jìn)而捕捉并記錄每個(gè)像素點(diǎn)的運(yùn)動(dòng)細(xì)節(jié)，具有較高的魯棒性，最后通過(guò)光流處理實(shí)現(xiàn)對(duì)每個(gè)像素的迭代，進(jìn)而完成對(duì)目標(biāo)視頻的優(yōu)化，提高了視頻的清晰度。