一種基于深度信息的多幅圖超分辨方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，特別是涉及一種基于深度信息的多幅圖超分辨方法。
【背景技術(shù)】
[0002] 在很多場(chǎng)合，由于設(shè)備或工作環(huán)境的限制，導(dǎo)致得到的圖像質(zhì)量很低，不利于下一 步的工作開展，因此獲得更高的圖像質(zhì)量是非常必要的。
[0003] 最直接獲取高質(zhì)量圖像的方法是提高圖像獲取設(shè)備的性能，這就要求進(jìn)一步減小 圖像傳感器的尺寸，然而在傳感器技術(shù)中這存在一個(gè)極限，當(dāng)傳感器尺寸小到一定程度同 樣導(dǎo)致圖像質(zhì)量不可避免的降低，這是因?yàn)殡S著傳感器尺寸的降低，而噪聲卻不會(huì)變少，因 此信號(hào)中噪聲的比重就提高了。同時(shí)，這種方法的代價(jià)成本很高。因此，利用軟件上對(duì)圖像 的超分辨技術(shù)就是一個(gè)不錯(cuò)的選擇。
[0004] 超分辨技術(shù)是指利用一組低分辨圖像，克服或補(bǔ)償圖像獲取設(shè)備或惡劣的獲取條 件帶來的限制從而得到更高分辨率的圖像恢復(fù)技術(shù)，超分辨技術(shù)的本質(zhì)是重組或補(bǔ)償圖像 的細(xì)節(jié)信息，尤其是高頻信息，讓這些信息更加系統(tǒng)、全面，有利于圖像的識(shí)別和理解。
[0005] 現(xiàn)有的超分辨技術(shù)仍存在一些基本問題，比如很多文章都限定其算法在某種特定 情形之下性能較好，換一種場(chǎng)合效果可能就顯著降低，因而不具有普適性，而在實(shí)際情形 中，環(huán)境是多變的，算法的局限性就意味著本身存在不合理之處。例如，在多幅圖超分辨中 都有圖像配準(zhǔn)這個(gè)環(huán)節(jié)，現(xiàn)有的方法注意力都集中在如何計(jì)算出的視差計(jì)算方法更準(zhǔn)確， 為此有很多種配準(zhǔn)方法，比如有基于光流法的，有基于單應(yīng)性矩陣的，有基于運(yùn)動(dòng)矢量的， 有在頻域?qū)崿F(xiàn)配準(zhǔn)的，還有其它類似的方法。然而，光流法雖然本質(zhì)上是合理的，但是過于 簡(jiǎn)單粗糙，精度上是不夠的，這就意味著誤差會(huì)很大，因而最終超分辨結(jié)果也不會(huì)令人滿 意；基于單應(yīng)性矩陣的這類方法本質(zhì)上也是計(jì)算視點(diǎn)變換的運(yùn)動(dòng)矢量，這個(gè)方法理論上精 度更高，但是這方法是存在問題的，它假設(shè)場(chǎng)景中所有的像素的視點(diǎn)變換的運(yùn)動(dòng)矢量是一 樣的，這就意味著假定場(chǎng)景中所有像素不存在深度差異，這和實(shí)際場(chǎng)景不一致，實(shí)際情形 是，在場(chǎng)景中深度較?。ㄝ^近）的對(duì)象在視點(diǎn)變換之后的視差較大，深度較大的對(duì)象則視差 較小，這就說明不可以用同一個(gè)運(yùn)動(dòng)矢量來描述視點(diǎn)變換矩陣，最終超分辨結(jié)果必然有錯(cuò) 誤，而運(yùn)動(dòng)估計(jì)的問題也直接影響到最后超分辨率（SR)圖像恢復(fù)的質(zhì)量。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的不足，針對(duì)多幅圖超分辨不同視點(diǎn)之間圖 像配準(zhǔn)提出了基于深度信息配準(zhǔn)的新方法，提供一種基于深度信息的多幅圖超分辨方法。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
[0008] -種基于深度信息的多幅圖超分辨方法，包括以下步驟：
[0009]a.獲取一組同一場(chǎng)景、不同參考視點(diǎn)的低分辨率圖像以及對(duì)應(yīng)的一組同等分辨率 的深度圖；
[0010]b.利用深度信息確定每個(gè)參考視點(diǎn)的圖像中的每個(gè)像素投影到指定視點(diǎn)位置的 視差大小，從而得到該像素在指定視點(diǎn)的位置；
[0011]c.將參考視點(diǎn)的低分辨率圖像投影至指定視點(diǎn)，將每幅圖像中的信息融合在一 起，得到一幅高分辨率圖像。
[0012] 本發(fā)明中，低分辨率圖像和高分辨率圖像，分辨率的高低是兩者之間相比較而言 的。
[0013] 進(jìn)一步地：
[0014] 步驟b包括以下步驟：
[0015] bl.將參考視點(diǎn)的二維坐標(biāo)轉(zhuǎn)換到三維世界坐標(biāo)系中的世界坐標(biāo)；
[0016] b2.將世界坐標(biāo)轉(zhuǎn)換到指定視點(diǎn)的二維坐標(biāo)。
[0017] 步驟bl包括：
[0018] 利用參考視點(diǎn)的深度信息，通過以下公式實(shí)現(xiàn)參考視點(diǎn)中的一個(gè)像素（u,，v,)變 換到世界坐標(biāo)（Xw，Yw，Zw):
[0019]
[0020] 其中，r表示第r個(gè)參考視點(diǎn)，z1?是參考視點(diǎn)在（uuvj位置對(duì)應(yīng)的深度值，其通過 下面的公式計(jì)算得到：
[0021]
[0022] 其中，v是歸一化之后的深度值，Zn_是真實(shí)深度值中距離拍攝低分辨率圖像的相 機(jī)最近的深度，Zfm是真實(shí)深度值中距離相機(jī)最遠(yuǎn)的深度；
[0023] A為相機(jī)內(nèi)部參數(shù)：
[0024]
[0025] 其中，ax=fmx,ay=fmy,f是焦距，nvfPmy是圖像不是正方形時(shí)引入的非等量尺 度因子，X。和是考慮到非等量尺度因子的圖像原點(diǎn)和相機(jī)主點(diǎn)的中心偏移量，xfmxpx， yQ=niyPppjPpy是相機(jī)主點(diǎn)在圖像坐標(biāo)中的坐標(biāo)，即相機(jī)主點(diǎn)在圖像原點(diǎn)的偏移，s是扭 曲參數(shù)；
[0026] R，t屬于相機(jī)外部參數(shù)，R是旋轉(zhuǎn)系數(shù)，為一個(gè)3X3旋轉(zhuǎn)矩陣，t是平移矢量， r= 為一個(gè)平移矩陣，6表示相機(jī)中心在世界坐標(biāo)系中的坐標(biāo)。
[0027] 步驟b2包括：
[0028] 通過以下公式將世界坐標(biāo)（Xw，Yw，Zw)，投影到指定的中心視點(diǎn)（u。，V。）：
[0029]
[0030] 其中，c表示指定的中心視點(diǎn)，z。表示在中心視點(diǎn)處圖像的深度值，A3x3，。表示在中 心視點(diǎn)處相機(jī)坐標(biāo)系轉(zhuǎn)化為二維圖像坐標(biāo)系的相機(jī)內(nèi)部參數(shù)，R3x3，。表示在中心視點(diǎn)處世界 坐標(biāo)系轉(zhuǎn)化為相機(jī)坐標(biāo)系的旋轉(zhuǎn)系數(shù)，t3xl，。是表示相機(jī)中心在世界坐標(biāo)系中的方位的平移 矩陣。
[0031] 步驟b包括：
[0032] 設(shè)定參考視點(diǎn)的低分辨率圖像的分辨率為mXn，對(duì)應(yīng)的高分辨率圖像的分辨率為 MXN，指定中心視點(diǎn)的高分辨率圖像的分辨率為MXN，參考視點(diǎn)的低分辨率圖像中某一不 為零的像素（^，^)經(jīng)放大之后坐標(biāo)為（I，V》，指定中心視點(diǎn)的高分辨率圖像的像素坐標(biāo) 為（U。，V。)，坐標(biāo)對(duì)應(yīng)關(guān)系：(U,.,V,.)^(Uc,Vf),
[0033] 以大小為（MN)X(MN)的視點(diǎn)變換矩陣W描述參考視點(diǎn)的低分辨率圖像對(duì)應(yīng)的高 分辨率圖像乙中每個(gè)像素位置和指定中心視點(diǎn)的高分辨率圖像X。中像素位置的對(duì)應(yīng)關(guān) 系：
[0034]Yr=ffr,cXc (8)
[0035]W。。是視點(diǎn)變換矩陣，X。是指定中心視點(diǎn)的高分辨率圖像中像素坐標(biāo)位置，是低 分辨率圖像對(duì)應(yīng)的高分辨率圖像的像素坐標(biāo)位置，
[0036] 由上面得到的坐標(biāo)對(duì)應(yīng)關(guān)系兄）G(U,.，Ve)，在矩陣W的第（U，VJ行、第 (KXV。）列的位置上值取1，在沒有這種坐標(biāo)對(duì)應(yīng)關(guān)系的位置取零，從而確定視點(diǎn)變換矩陣W；
[0037]利用公式（8)中的視點(diǎn)變換矩陣W并結(jié)合以下公式（2)，以獲得指定中心視點(diǎn)的高 分辨率圖像；
[0038]yi=DBWiX+ei (1)
[0039] 其中，yi是一組低分辨率圖像中第i幅圖像，X是待求的高分辨率圖像，Wi是第i 個(gè)視點(diǎn)轉(zhuǎn)換配準(zhǔn)矩陣，B是模糊矩陣，D是降采樣矩陣，ei是噪聲，將所有視點(diǎn)的低分辨率圖 像代入上面的公式得到：
[0040]y=MX+e(2)
[0041]其中，
[0042]
[0043] 步驟c中采用插值方法得到高分辨率圖像，所述插值方法包括配準(zhǔn)環(huán)節(jié)、插值環(huán) 節(jié)和去模糊環(huán)節(jié)。
[0044] 所述插值方法選自最近鄰插值法、非均勻插值法、運(yùn)動(dòng)最小方差插值法、迭代后向 投影法以及凸集投影法中的任一種。
[0045] 本發(fā)明是一種基于深度信息的多幅圖超分辨方法，輸入對(duì)象是一組低分辨率圖像 以及對(duì)應(yīng)的一組深度圖，利用深度信息計(jì)算出每個(gè)視點(diǎn)圖像中的每個(gè)像素投影到指定視點(diǎn) 位置的視差大小，從而得到該像素在指定中心視點(diǎn)的位置，可實(shí)現(xiàn)不同視點(diǎn)的投影，再通過 圖像恢復(fù)技術(shù)將這些信息融合便得到一幅高分辨率圖像，還可經(jīng)過一些后續(xù)圖像增強(qiáng)技術(shù) 的處理得到最終的高分辨圖像。同一場(chǎng)景不同視點(diǎn)的低分辨率圖像，該場(chǎng)景中的對(duì)象允許 有深度變化。每一個(gè)視點(diǎn)的圖像和深度圖是對(duì)應(yīng)成對(duì)的，有同樣的尺寸，這樣保證每個(gè)像素 位置都有深度信息，這樣可保證每個(gè)像素點(diǎn)都能確定的計(jì)算視點(diǎn)變換之后的位置，同樣也 保證了視點(diǎn)變換的