一種深度圖的超分辨率處理方法
【專利摘要】本發(fā)明公開(kāi)了一種深度圖的超分辨率處理方法，首先，分別獲取第一原始圖像（S1）、第二原始圖像（S2）以及第一原始圖像（S1）的低分辨率深度圖（d），其次，1）將低分辨率深度圖（d）劃分為多個(gè)深度圖像塊；2）對(duì)步驟1）得到的各個(gè)深度圖像塊分別進(jìn)行如下處理：21）采用多種超分辨率處理方法分別對(duì)當(dāng)前塊進(jìn)行超分辨率處理，得到多個(gè)高分辨率深度圖像塊；22）采用圖像合成技術(shù)得到新的合成圖像塊；23）匹配判斷，確定最終的高分辨率深度圖像塊；3）按照各個(gè)深度圖像塊在低分辨率深度圖（d）中的位置，將各個(gè)深度圖像塊的高分辨率深度圖像塊整合成一幅圖像。本發(fā)明的深度圖的超分辨率處理方法，得到的高分辨率深度圖的深度信息更精確。
【專利說(shuō)明】一種深度圖的超分辨率處理方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，特別是涉及一種基于圖像匹配的深度圖的超分
辨率處理方法。
【【背景技術(shù)】】
[0002]超分辨率處理技術(shù)是當(dāng)前計(jì)算機(jī)視覺(jué)、圖像視頻處理等學(xué)科領(lǐng)域的研究熱點(diǎn)之一，用于對(duì)分辨率比較低、細(xì)節(jié)信息較少的自然圖像進(jìn)行處理，生成含有更多細(xì)節(jié)信息的高分辨率圖像，是一種提高原有圖像分辨率的技術(shù)。超分辨率處理技術(shù)已廣泛應(yīng)用于高清影視、圖像壓縮、醫(yī)學(xué)成像、視頻監(jiān)控、衛(wèi)星圖像分析等領(lǐng)域。尤其是近30年來(lái)，超分辨率技術(shù)更是得到廣泛和深入的研究。深度圖包含著場(chǎng)景中物體的三維深度信息，在三維視覺(jué)場(chǎng)景構(gòu)建中有著重要作用。一張良好的高分辨率深度圖，能夠使對(duì)應(yīng)的彩色圖像像素點(diǎn)投影到三維立體場(chǎng)景中顯示出清晰完整的效果，是對(duì)高效優(yōu)質(zhì)的立體場(chǎng)景構(gòu)建的有力支持。因此，獲取高質(zhì)量的高分辨率深度圖在立體視覺(jué)中有著十分重要的意義。
[0003]現(xiàn)有獲取深度圖的方法中，有通過(guò)激光深度掃描方法來(lái)獲取，該方法能獲取高質(zhì)量高分辨率的深度圖，但該獲取方法對(duì)設(shè)備和技術(shù)的要求較高，導(dǎo)致成本代價(jià)高昂，并且大部分都是一次只掃描一個(gè)點(diǎn)，獲取的速度很慢，難以滿足實(shí)時(shí)要求。也有通過(guò)深度相機(jī)，如時(shí)間飛行(time-of-flight,簡(jiǎn)稱T0F)相機(jī)等,直接對(duì)場(chǎng)景進(jìn)行拍攝采集,實(shí)時(shí)快速獲得深度圖，但是該方法只能獲得低分辨率深度圖，要得到高分辨率深度圖還需進(jìn)一步處理?，F(xiàn)有的處理方法中，有采用超分辨率方法直接對(duì)深度圖進(jìn)行超分辨率處理，處理后無(wú)法保證得到的高分辨率深度圖在實(shí)際的場(chǎng)景渲染中的質(zhì)量，因此沒(méi)有多大的實(shí)際意義。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是:彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種深度圖的超分辨率處理方法，處理得到的高分辨率深度圖的深度信息更精確。
[0005]本發(fā)明的技術(shù)問(wèn)題通過(guò)以下的技術(shù)方案予以解決:
[0006]一種深度圖的超分辨率處理方法，包括以下步驟:首先，在第一位置和第二位置對(duì)同一場(chǎng)景進(jìn)行圖像采集，分別獲取第一原始圖像(SI)和第二原始圖像(S2);獲取所述第一原始圖像(SI)的低分辨率深度圖(d);其次，進(jìn)行如下處理:1)將所述低分辨率深度圖(d)劃分為多個(gè)深度圖像塊；2)對(duì)步驟I)得到的各個(gè)深度圖像塊分別進(jìn)行如下處理:21)采用多種超分辨率處理方法分別對(duì)當(dāng)前塊進(jìn)行超分辨率處理，得到多個(gè)與所述第一原始圖像
(SI)相同分辨率的初始的高分辨率深度圖像塊；22)遍歷步驟21)得到的多個(gè)高分辨率深度圖像塊，分別結(jié)合所述第一原始圖像(SI)中對(duì)應(yīng)當(dāng)前塊的相應(yīng)圖像塊，采用圖像合成技術(shù)，根據(jù)所述第一位置和所述第二位置的相對(duì)位置關(guān)系，合成得到多個(gè)對(duì)應(yīng)所述第二原始圖像(S2)的圖像塊，定義為多個(gè)合成圖像塊；23)遍歷步驟22)中得到的多個(gè)合成圖像塊，分別計(jì)算各個(gè)合成圖像塊與所述第二原始圖像(S2)中對(duì)應(yīng)當(dāng)前塊的相應(yīng)塊的匹配程度，確定匹配程度最高的合成圖像塊，將所述匹配程度最高的合成圖像塊對(duì)應(yīng)的高分辨率深度圖像塊確定為當(dāng)前塊的最終的高分辨率深度圖像塊；3)按照各個(gè)深度圖像塊在所述低分辨率深度圖(d)中的位置，將各個(gè)深度圖像塊的高分辨率深度圖像塊整合成一幅圖像，得到所述低分辨率深度圖(d)的超分辨率處理圖像。
[0007]本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是:
[0008]本發(fā)明的深度圖的超分辨率處理方法，通過(guò)采用已有的多種超分辨率方法分別對(duì)深度圖各塊進(jìn)行超分辨率，根據(jù)生成的高分辨率深度圖結(jié)果分別結(jié)合相應(yīng)的第一原始圖像塊，生成對(duì)應(yīng)于第二原始圖像的合成圖像塊，利用生成的合成圖像塊分別和已知的第二原始圖像塊進(jìn)行匹配，通過(guò)最匹配的合成圖像塊得出要找的高分辨率深度圖像塊。方法中基于合成圖像與實(shí)際圖像的匹配程度，確定出高分辨率深度圖，則確定的高分辨率深度圖與實(shí)際情形更匹配，更接近，即高分辨率深度圖的深度信息更精確，從而處理得到的高分辨率深度圖更有實(shí)際意義和使用價(jià)值。
【【專利附圖】

【附圖說(shuō)明】】
[0009]圖1是本發(fā)明【具體實(shí)施方式】的深度圖的超分辨率處理方法的流程圖；
[0010]圖2是本發(fā)明【具體實(shí)施方式】的深度圖的超分辨率處理方法中的投影和還原成像的原理示意圖。
【【具體實(shí)施方式】】
[0011]下面結(jié)合【具體實(shí)施方式】并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。
[0012]本發(fā)明的構(gòu)思是:通過(guò)對(duì)超分辨率技術(shù)和基于深度圖像繪圖(Depth-1mage-Based-Rendering,簡(jiǎn)稱DIBR)技術(shù)的研究,利用合成圖像塊和原始圖像塊匹配的結(jié)果，來(lái)反向驗(yàn)證由超分辨率技術(shù)恢復(fù)出的高分辨率深度圖的質(zhì)量。本【具體實(shí)施方式】中，首先對(duì)圖像進(jìn)行分塊處理，通過(guò)多種已有的超分辨率技術(shù)將深度圖像塊恢復(fù)到和相應(yīng)的彩色圖像相同的分辨率水平，然后利用恢復(fù)的深度圖像塊和相應(yīng)的圖像塊信息投影到三維空間，再通過(guò)虛擬相機(jī)和三維場(chǎng)景獲得新的合成圖像塊，將合成的圖像塊和采集的初始圖像進(jìn)行匹配，通過(guò)匹配效果最好的合成圖像塊，找到需要的其對(duì)應(yīng)的高分辨率深度圖像塊。對(duì)低分辨率深度圖中的各塊均進(jìn)行上述處理，即得到各塊的高分辨率深度圖像塊，最后將各高分辨率深度圖像塊進(jìn)行整合即得到超分辨率處理后高分辨率深度圖。
[0013]本【具體實(shí)施方式】中，提供一種深度圖的超分辨率處理方法，對(duì)第一原始圖像SI的低分辨率深度圖進(jìn)行超分辨率處理。分別在兩個(gè)不同的位置，第一位置和第二位置對(duì)同一場(chǎng)景進(jìn)行圖像采集，即分別獲取第一原始圖像SI和第二原始圖像S2，進(jìn)而獲取第一原始圖像SI的低分辨率深度圖d。獲取低分辨率深度圖d時(shí)，可采用深度相機(jī)，例如(不限于)時(shí)間飛行(time-of-flight,簡(jiǎn)稱T0F)相機(jī),在所述第一位置對(duì)所述場(chǎng)景進(jìn)行圖像采集，即直接獲取到第一原始圖像SI的低 分辨率深度圖d。得到上述處理對(duì)象后，進(jìn)入如圖1所示的處理步驟:
[0014]Pl)將低分辨率深度圖d劃分為多個(gè)深度圖像塊。該步驟中，考慮深度圖的不同區(qū)域有著不同的特征(如梯度情況等)，則各區(qū)域最適應(yīng)的超分辨率方法也會(huì)有所不同，故對(duì)深度圖進(jìn)行分塊處理，分別尋找各塊最適應(yīng)的超分辨率處理方法。分塊處理方法有多種實(shí)現(xiàn)方式，均可適用于本【具體實(shí)施方式】中，在此不具體說(shuō)明。[0015]P2)對(duì)各個(gè)深度圖像塊分別進(jìn)行如下處理:
[0016]P21)采用多種超分辨率處理方法分別對(duì)當(dāng)前塊進(jìn)行超分辨率處理，得到多個(gè)與所述第一原始圖像Si相同分辨率的初始的高分辨率深度圖像塊。
[0017]該步驟中，已有的多種超分辨率處理方法包括雙立方插值，新邊緣方向插值，K鄰域嵌入法和稀疏表示法等，上述處理方法各有特點(diǎn)，均可應(yīng)用于此。例如，利用r種已有的超分辨率方法分別對(duì)當(dāng)前的深度圖像塊進(jìn)行超分辨率處理，處理成與第一原始圖像SI相同分辨率的高分辨率圖像，得到r個(gè)相應(yīng)的高分辨率深度圖像塊。將得到的多個(gè)高分辨率深度圖像塊定義為集合ID，設(shè)AD為其中任意一個(gè)高分辨率深度圖像塊。
[0018]P22)采用圖像合成技術(shù)得到新的合成圖像塊，具體為:遍歷集合ID，分別結(jié)合第一原始圖像Si中對(duì)應(yīng)當(dāng)前塊的相應(yīng)圖像塊，采用圖像合成技術(shù)，根據(jù)所述第一位置和所述第二位置的相對(duì)位置關(guān)系，合成得到多個(gè)對(duì)應(yīng)第二原始圖像S2的圖像塊，定義為多個(gè)合成圖像塊，設(shè)為集合IS。
[0019]該步驟中，采用圖像合成技術(shù)時(shí)，先投影到三維空間，再基于三維場(chǎng)景生成新的圖像塊。具體包括以下步驟:a)采用基于深度圖像繪圖方法，即DIBR方法，根據(jù)高分辨率深度圖像塊的深度信息，使用參考相機(jī)將所述第一原始圖像SI中所述相應(yīng)圖像塊投影到三維空間；b)以參考相機(jī)的中心對(duì)應(yīng)所述第一位置，按照所述第二位置相對(duì)于所述第一位置的相對(duì)位置關(guān)系設(shè)置虛擬相機(jī)的中心，采用所述虛擬相機(jī)將步驟a)得到的三維空間的場(chǎng)景成像到二維平面，從而得到合成圖像塊。還原二維平面過(guò)程中，根據(jù)第二位置與第一位置的相對(duì)位置關(guān)系，設(shè)置參考相機(jī)和虛擬相機(jī)的相對(duì)位置。第二位置處對(duì)應(yīng)的是第二原始圖像，因此合成的圖像塊是對(duì)應(yīng)于第二原始圖像的圖像塊。
[0020]如圖3所示，為圖像合成時(shí)投影以及還原成像的原理示意圖。參考相機(jī)的中心位于點(diǎn)0，虛擬相機(jī)位于點(diǎn)01，點(diǎn)01相對(duì)于點(diǎn)O的相對(duì)位置關(guān)系相當(dāng)于第二位置相對(duì)于第一位置的相對(duì)位置關(guān)系。如箭頭A所示，為投影成三維空間的示意圖，參考相機(jī)將第一原始圖像SI的圖像塊中的像素點(diǎn)P1投影到三維空間中，對(duì)應(yīng)點(diǎn)Pw。如箭頭B所示，為還原成像為二維平面的示意圖，虛擬相機(jī)將三維空間中的點(diǎn)Pw還原到二維平面，對(duì)應(yīng)像素點(diǎn)P2點(diǎn)。
[0021]本具體方式中，具體地，步驟a)中進(jìn)行投影時(shí)，按照如下方程投影到三維空間:
[0022](Xw,.Yw, Zw)r = KrM1P1
[0023]其中，以參考相機(jī)的中心為世界坐標(biāo)系中心，即參考相機(jī)的中心的坐標(biāo)為(0，0，0)τ，從參考相機(jī)觀察的方向?yàn)樽鴺?biāo)系的Z軸方向。P1表示第一原始圖像SI中相應(yīng)圖像塊中的像素點(diǎn)P1的位置信息，取齊次形式，即將第三維度的值取為I。例如像素點(diǎn)P1在第一原始圖像SI中的位置為(xl，yl)，則方程中P1 S(xl，yl，l)。Cl1為所述高分辨率深度圖像塊中對(duì)應(yīng)像素點(diǎn)P1的深度信息，K1為參考相機(jī)的內(nèi)置參數(shù)矩陣，(Xw, Yw, Zw)是像素點(diǎn)P1投影到三維空間中的點(diǎn)的坐標(biāo)，如圖2中所示即為三維場(chǎng)景中Pw點(diǎn)的坐標(biāo)。當(dāng)然，DIBR方法中有多種具體方式實(shí)現(xiàn)二維圖像到三維場(chǎng)景的投影，上述方程僅為列舉的一種，其它投影方式也可適用于步驟a)中。
[0024]具體地，步驟b)中還原成像到二維平面時(shí)，按照如下方程成像到二維平面:
[0025]d2p2 = K2R2Pw-K2R2C2
[0026]其中，以參考相機(jī)的中心為世界坐標(biāo)系中心，即參考相機(jī)的中心的坐標(biāo)為(0，0，0)τ，從參考相機(jī)觀察的方向?yàn)樽鴺?biāo)系的ζ軸方向。C2為虛擬相機(jī)的中心的坐標(biāo)，R2為虛擬相機(jī)的旋轉(zhuǎn)矩陣，K2為虛擬相機(jī)的內(nèi)置參數(shù)矩陣，Pw為步驟a)中得到的三維空間中的點(diǎn)的坐標(biāo)，p2和d2分別為成像到二維平面得到的合成圖像塊中相應(yīng)像素點(diǎn)的位置和深度信息；將方程式右邊的運(yùn)算結(jié)果轉(zhuǎn)化成齊次形式:m (X, y, I), P2即為(X, y), d2即為系數(shù)m。上述方程中，獲取第二原始圖像S2的第二位置相對(duì)于第一位置的相對(duì)位置關(guān)系，影響參數(shù)C2和R2的具體取值，最終還原成像的圖像塊即對(duì)應(yīng)第二原始圖像S2。同樣地，從三維場(chǎng)景中還原出二維圖像也有多種實(shí)現(xiàn)方式，上述方程也僅為列舉的一種，其它還原方式也可適用于步驟b)中。
[0027]經(jīng)過(guò)步驟P22)的圖像合成，即針對(duì)各個(gè)高分辨率圖像塊，均合成了相應(yīng)的新的合成圖像塊，構(gòu)成集合IS。
[0028]P23)匹配判斷，確定最終的高分辨率深度圖像塊。具體為:遍歷集合IS，分別計(jì)算各個(gè)合成圖像塊與第二原始圖像S2中對(duì)應(yīng)當(dāng)前塊的相應(yīng)塊的匹配程度，確定匹配程度最高的合成圖像塊，將所述匹配程度最高的合成圖像塊對(duì)應(yīng)的高分辨率深度圖像塊確定為當(dāng)前塊的最終的高分辨率深度圖像塊。
[0029]該步驟中，基于新的合成圖像塊和原有的圖像塊的匹配結(jié)果，判斷步驟Pl)中得到多個(gè)高分辨率圖像塊中哪一高分辨率圖像塊是與實(shí)際情形最接近的超分辨率處理結(jié)果。合成圖像塊AS與原有的圖像塊最匹配，則合成圖像塊Λ S對(duì)應(yīng)的高分辨率圖像塊即是與實(shí)際情形最接近的超分辨率處理結(jié)果，從而確定出與實(shí)際情形最接近的超分辨率處理后高分辨率圖像塊。其中計(jì)算圖像匹配程度的方法，可以用(但不限于)最小均方誤差(MinimumMean Square Error)的匹配方法。
[0030]經(jīng)過(guò)步驟P22)和步驟P23)，利用DIBR方法將第一原始圖像SI通過(guò)生成的相同分辨率的深度圖像信息投影到三維空間，然后利用此三維場(chǎng)景獲得的新的合成圖像塊和已采集的第二原始圖像進(jìn)行匹配，以這個(gè)匹配結(jié)果作為對(duì)深度圖超分辨率的先驗(yàn)知識(shí)，從而得到合理的有使用價(jià)值的高分辨率深度圖像。
[0031]P3)按照各個(gè)深度圖像塊在低分辨率深度圖d中的位置，將各個(gè)深度圖像塊的高分辨率深度圖像塊整合成一幅圖像，得到所述低分辨率深度圖d的超分辨率處理圖像。
[0032]該步驟，即是將步驟P2)中處理得到的各塊的高分辨深度圖像塊整合成一幅完整的圖像，得到低分辨率深度圖d的高分辨率深度圖。優(yōu)選地，整合后還包括對(duì)完整的高分辨深度圖像進(jìn)行平滑性處理。進(jìn)行平滑處理主要是考慮如有圖像重疊區(qū)域。平滑性處理時(shí)可以(但不限于)使用常用的均值方法。
[0033]本【具體實(shí)施方式】的深度圖的超分辨率處理方法，通過(guò)上述步驟，即最終得到處理結(jié)果，高分辨率深度圖。方法中基于新的合成圖像塊和原有的圖像塊的匹配結(jié)果，是和處理得到的高分辨率深度圖和實(shí)際情形的高分辨率深度圖的匹配結(jié)果正相關(guān)的前提，從而確定出多種超分辨率處理方法得到的多個(gè)高分辨率深度圖像塊中哪一圖像塊最準(zhǔn)確，與實(shí)際情形最接近。即本【具體實(shí)施方式】的處理方法，相對(duì)于現(xiàn)有的對(duì)低分辨率深度圖直接超分辨率處理的方法，得到的高分辨率深度圖與實(shí)際情形更接近，高分辨率深度圖的深度信息更準(zhǔn)確，更具有實(shí)際意義和使用價(jià)值。另外，利用不同的超分辨率方法的優(yōu)勢(shì)和特點(diǎn)，分別對(duì)低分辨深度圖中的各塊進(jìn)行處理，充分保證具有不同特征的深度圖像塊能夠得到最適合自身圖像特性的超分辨率處理方法，確保多個(gè)處理結(jié)果中涵蓋有與實(shí)際情形最接近的一個(gè)處理結(jié)果。本【具體實(shí)施方式】的處理方法，充分發(fā)揮多種超分辨率方法的特點(diǎn)和優(yōu)勢(shì)，很好地將已有的超分辨率方法的優(yōu)點(diǎn)融合到深度圖像的超分辨率處理之中，能夠恢復(fù)出具有實(shí)際意義和使用價(jià)值的高分辨率深度圖。
[0034]以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下做出若干替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種深度圖的超分辨率處理方法，其特征在于:包括以下步驟:首先，在第一位置和第二位置對(duì)同一場(chǎng)景進(jìn)行圖像采集，分別獲取第一原始圖像(SI)和第二原始圖像(S2);獲取所述第一原始圖像(SI)的低分辨率深度圖(d);其次，進(jìn)行如下處理: 1)將所述低分辨率深度圖(d)劃分為多個(gè)深度圖像塊； 2)對(duì)步驟I)得到的各個(gè)深度圖像塊分別進(jìn)行如下處理: 21)采用多種超分辨率處理方法分別對(duì)當(dāng)前塊進(jìn)行超分辨率處理，得到多個(gè)與所述第一原始圖像(SI)相同分辨率的初始的高分辨率深度圖像塊； 22)遍歷步驟21)得到的多個(gè)高分辨率深度圖像塊，分別結(jié)合所述第一原始圖像(SI)中對(duì)應(yīng)當(dāng)前塊的相應(yīng)圖像塊，采用圖像合成技術(shù)，根據(jù)所述第一位置和所述第二位置的相對(duì)位置關(guān)系，合成得到多個(gè)對(duì)應(yīng)所述第二原始圖像(S2)的圖像塊，定義為多個(gè)合成圖像塊； 23)遍歷步驟22)中得到的多個(gè)合成圖像塊，分別計(jì)算各個(gè)合成圖像塊與所述第二原始圖像(S2)中對(duì)應(yīng)當(dāng)前塊的相應(yīng)塊的匹配程度，確定匹配程度最高的合成圖像塊，將所述匹配程度最高的合成圖像塊對(duì)應(yīng)的高分辨率深度圖像塊確定為當(dāng)前塊的最終的高分辨率深度圖像塊； 3)按照各個(gè)深度圖像塊在所述低分辨率深度圖(d)中的位置，將各個(gè)深度圖像塊的高分辨率深度圖像塊整合成一幅圖像，得到所述低分辨率深度圖(d)的超分辨率處理圖像。
2.根據(jù)權(quán)利要求1所述的深度圖的超分辨率處理方法，其特征在于:所述步驟22)中采用圖像合成技術(shù)時(shí)，包括以下步驟:a)采用基于深度圖像繪圖方法，根據(jù)高分辨率深度圖像塊的深度信息，使用參考相機(jī)將所述第一原始圖像(SI)中所述相應(yīng)圖像塊投影到三維空間山)以參考相機(jī)的中心對(duì)應(yīng)所述第一位置，按照所述第二位置相對(duì)于所述第一位置的相對(duì)位置關(guān)系設(shè)置虛擬相機(jī) 的中心，采用所述虛擬相機(jī)將步驟a)得到的三維空間的場(chǎng)景成像到二維平面，從而得到合成圖像塊。
3.根據(jù)權(quán)利要求2所述的深度圖的超分辨率處理方法，其特征在于:所述步驟a)中進(jìn)行投影時(shí)，按照如下方程投影到三維空間:
(Xw, Yw，ZW)T = K1-M1P1 其中，以參考相機(jī)的中心為世界坐標(biāo)系中心，從參考相機(jī)觀察的方向?yàn)樽鴺?biāo)系的z軸方向取表示所述第一原始圖像(SI)中所述相應(yīng)圖像塊中的像素點(diǎn)P1的位置信息，取齊次形式；屯為所述高分辨率深度圖像塊中對(duì)應(yīng)像素點(diǎn)P1的深度信息，K1為參考相機(jī)的內(nèi)置參數(shù)矩陣，(XW，YW，Zw)是像素點(diǎn)P1投影到三維空間中的點(diǎn)的坐標(biāo)。
4.根據(jù)權(quán)利要求2所述的深度圖的超分辨率處理方法，其特征在于:所述步驟b)中將三維空間的場(chǎng)景成像到二維平面時(shí)，按照如下方程成像到二維平面:
d2p2 = K2R2Pw K2R2C2 其中，以參考相機(jī)的中心為世界坐標(biāo)系中心，從參考相機(jī)觀察的方向?yàn)樽鴺?biāo)系的z軸方向;C2為虛擬相機(jī)的中心的坐標(biāo)，R2為虛擬相機(jī)的旋轉(zhuǎn)矩陣，K2為虛擬相機(jī)的內(nèi)置參數(shù)矩陣，Pw為步驟a)中得到的三維空間中的點(diǎn)的坐標(biāo)，P2和d2分別為成像到二維平面得到的合成圖像塊中相應(yīng)像素點(diǎn)的位置和深度信息；將方程式右邊的運(yùn)算結(jié)果轉(zhuǎn)化成齊次形式:m Cx, y, I), p2 即為(x，y)，d2 即為系數(shù) m。
5.根據(jù)權(quán)利要求1所述的深度圖的超分辨率處理方法，其特征在于:所述步驟3)中整合成一幅圖像之后，還包括對(duì)所述圖像進(jìn)行平滑性處理。
6.根據(jù)權(quán)利要求1所述的深度圖的超分辨率處理方法，其特征在于:獲取所述低分辨率深度圖(d)時(shí)，采用深度相機(jī)在所述第一位置對(duì)所述場(chǎng)景進(jìn)行圖像采集，從而獲取所述低分辨率深度圖(d)。
【文檔編號(hào)】G06T5/50GK103810685SQ201410065631
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】張磊, 李陽(yáng)光, 張永兵 申請(qǐng)人:清華大學(xué)深圳研究生院