基于最短聯(lián)合路徑的深度圖上采樣方法
【專利摘要】本發(fā)明給出了一種基于最短聯(lián)合路徑的深度圖上采樣方法，主要解決通過(guò)現(xiàn)有技術(shù)得到的上采樣深度圖像中深度邊緣模糊和深度摻混問(wèn)題。其實(shí)現(xiàn)步驟為：1.輸入高分辨彩色圖像和對(duì)應(yīng)的低分辨深度圖，將低分辨深度圖對(duì)應(yīng)到高分辨網(wǎng)格，得到待填充的高分辨深度圖；2.計(jì)算歐式距離、顏色差異、梯度差異和邊界四個(gè)分量，并通過(guò)對(duì)它們加權(quán)定義最短聯(lián)合路徑；3.采用全局遍歷搜索算法，找出到每個(gè)目標(biāo)點(diǎn)有最短聯(lián)合路徑的種子點(diǎn)；4.將搜索到的種子點(diǎn)的深度值賦給對(duì)應(yīng)目標(biāo)點(diǎn)，完成深度圖的上采樣，得到高分辨的深度圖像。本發(fā)明能夠快速高效的生成邊緣清晰的上采樣深度圖像，在不同放大倍數(shù)下上采樣結(jié)果穩(wěn)定，可用于2D轉(zhuǎn)3D技術(shù)和立體電視。
【專利說(shuō)明】
基于最短聯(lián)合路徑的深度圖上采樣方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種深度圖像上采樣方法，可用于2D轉(zhuǎn) 3D，立體電視。
【背景技術(shù)】
[0002] 由于3D視頻可以提供身臨其境的虛擬環(huán)境，被認(rèn)為是未來(lái)多媒體的主要發(fā)展趨 勢(shì)。深度在人機(jī)交互、三維重建等3D應(yīng)用領(lǐng)域中扮演著重要角色，深度圖像的實(shí)時(shí)捕獲受到 了廣泛關(guān)注。但是，深度傳感器生產(chǎn)成本高，且其分辨率的提升速度遠(yuǎn)遠(yuǎn)低于市場(chǎng)需求，因 此需要通過(guò)一些3D技術(shù)來(lái)獲得高分辨的深度圖。傳統(tǒng)的方法主要有激光掃描法和被動(dòng)立體 視覺(jué)的方法，前者對(duì)設(shè)備要求高且做不到實(shí)時(shí)捕獲，后者在圖像渲染過(guò)程中不能解決遮擋 區(qū)域的信息丟失問(wèn)題，這兩種方法都沒(méi)能得到廣泛應(yīng)用。
[0003] 近年來(lái)，使用深度相機(jī)捕獲深度圖像的方法已廣泛應(yīng)用于立體成像領(lǐng)域，深度相 機(jī)由一個(gè)彩色攝像機(jī)和一個(gè)深度傳感器組成，ToF傳感器和Kinect是兩個(gè)典型的深度傳感 器。深度相機(jī)可以通過(guò)彩色攝像機(jī)和深度傳感器分別捕獲高分辨彩色圖和低分辨深度圖， 由于捕獲的深度圖像分辨率太低，深度上采樣技術(shù)不可或缺并得到廣泛研究。深度圖上采 樣就是基于捕獲的高分辨彩色圖和低分辨深度圖合成高分辨深度圖的過(guò)程。
[0004] 2007年，Kopf等人提出了聯(lián)合雙邊濾波上采樣（JBU)方法（J.K〇pf，M.F.C 〇hen， D.Lischinski and M.Uyttendaele:Joint bilateral upsampling,ACM Trans.Graph,26, (3)，pp. 1-5,2007)，基于物理距離和顏色變化建立雙邊濾波函數(shù)，通過(guò)平滑濾波進(jìn)行深度 圖像上采樣。該算法簡(jiǎn)單易行，但是會(huì)伴隨比較明顯的深度邊緣模糊和摻混現(xiàn)象。針對(duì)這一 問(wèn)題，S · B · Lee等人提出了一種不連續(xù)自適應(yīng)的深度上采樣（JBLM)方法（S · B · Lee，S · Kwon and Y.S.Ho:Discontinuity adaptive depth upsampling for 3D video acquisition, ELECTRONICS LETTERS 5th，49(25)，pp. 1612-1614,2013)，在JBU算法的基礎(chǔ)上，對(duì)深度邊界 上的點(diǎn)采用局部最小濾波函數(shù)，即在其鄰域內(nèi)選取有最小深度值的點(diǎn)并將其替換，這種方 法在一定程度上改善了邊界模糊現(xiàn)象，但是不能解決邊界摻混問(wèn)題。
[0005] Kang等人在2014年提出了基于馬爾科夫隨機(jī)場(chǎng)的深度圖上采樣方法(Y.S.Kang， S.B. Lee and Y.S. Ho:Depth map upsampling using depth local features, Electronics Letters ,50,（3)，pp. 170-171,2014)，利用圖像的局部特征設(shè)計(jì)目標(biāo)函數(shù)，并 通過(guò)優(yōu)化目標(biāo)函數(shù)得到高分辨深度圖。該算法的缺點(diǎn)是，在優(yōu)化過(guò)程中伴有誤差傳遞并隨 之產(chǎn)生鋸齒效應(yīng)。
[0006] 2013年，Ming-Yu Liu等人提出了著名的聯(lián)合距離上采樣（JGU)方法(M.Y.Liu， 0.Tuzel and Y.Taguchi:Joint Geodesic Upsampling of Depth Images,CVPR,pp.169-176,2013.)，該算法給出了一種聯(lián)合距離的定義，并依據(jù)該聯(lián)合距離計(jì)算高分辨網(wǎng)格上每 個(gè)目標(biāo)點(diǎn)到所有種子點(diǎn)的聯(lián)合路徑長(zhǎng)度，通過(guò)對(duì)K個(gè)有最短聯(lián)合路徑的種子點(diǎn)進(jìn)行高斯濾 波，求取目標(biāo)點(diǎn)的深度值。其弊端在于，當(dāng)彩色圖像中被深度邊緣覆蓋的區(qū)域顏色相近或顏 色豐富時(shí)，會(huì)出現(xiàn)明顯的深度摻混現(xiàn)象。
[0007] 上述幾種算法雖說(shuō)在同質(zhì)區(qū)域能得到較好的上采樣結(jié)果，但由于不能充分利用彩 色圖像信息且信息傳遞不具有全局性，導(dǎo)致得到的高分辨深度圖像邊緣不清晰。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的針對(duì)上述已有技術(shù)的不足，提出基于最短聯(lián)合路徑的深度圖上采樣 方法，以得到深度邊緣清晰的高分辨深度圖像。
[0009] 實(shí)現(xiàn)本發(fā)明目的技術(shù)方案是:通過(guò)定義一種新的聯(lián)合距離，全局遍歷搜索出到每 個(gè)目標(biāo)點(diǎn)有最短聯(lián)合路徑的種子點(diǎn)，用搜索到的種子點(diǎn)填充對(duì)應(yīng)的目標(biāo)點(diǎn)，得到邊緣清晰 的高質(zhì)量上采樣深度圖像。其具體步驟包括如下：
[0010] 1)輸入高分辨彩色圖I和低分辨深度圖IX，將低分辨深度圖IX對(duì)應(yīng)到與彩色圖I有 相同分辨率的高分辨網(wǎng)格上，得到高分辨的待填充圖像D u;將待填充圖像Du中缺少深度信息 的點(diǎn)作為待填充的目標(biāo)點(diǎn)，即{x|Du( X)=0}，有深度信息的點(diǎn)作為種子點(diǎn)，即{y|Du(y)乒0};
[0011] 2)在待填充圖像Du中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)p和q之間的歐式距離分量d D(p， q)；
[0012] 3)在高分辨彩色圖I中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)p和q之間的顏色差異分量cUb， q)；
[0013] 4)對(duì)高分辨彩色圖I的灰度圖進(jìn)行求導(dǎo)，得到梯度圖G，在梯度圖G中，計(jì)算任意兩 個(gè)相鄰像素點(diǎn)P和q之間的梯度差異分量d c(p，q);
[0014] 5)采用Sobel算子對(duì)高分辨彩色圖I進(jìn)行邊緣提取，并將邊界像素賦值為1，非邊界 像素賦值為〇,得到邊界圖E，在邊界圖E中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)p和q之間的邊界分量 dE(p，q);
[0015] 6)對(duì)上述四個(gè)分量進(jìn)行加權(quán)，得到相鄰兩點(diǎn)p和q之間的聯(lián)合距離dP,q，
[0016] dP,q = dD(p，q)+a · di(p，q)+P · dc(p，q)+γ · dE(p，q)，
[0017] 其中α，β，γ分別是人為給出的顏色差異分量cU，梯度差異分量dG和邊界分量dE的 權(quán)重系數(shù)；
[0018] 7)在待填充圖像Du中，依據(jù)任意兩點(diǎn)間的聯(lián)合距離dP, q，得出任意目標(biāo)點(diǎn)X到種子 點(diǎn)y的最短聯(lián)合路徑長(zhǎng)Lx,y:
[0019] 8)在待填充圖像Du中，采用由左上至右下的全局遍歷搜索方式，搜索出經(jīng)過(guò)第一 次遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y 1，并將存儲(chǔ)給目標(biāo)點(diǎn)X;
[0020] 9)在待填充圖像Du中，采用由右下至左上的全局遍歷搜索方式，再次搜索出經(jīng)過(guò) 第二次遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y 2,將目標(biāo)點(diǎn)X中存儲(chǔ)的信息更新 為 "Λ.,.:);
[0021] 10)在待填充圖像Du中，重復(fù)循環(huán)全局遍歷搜索，其中奇數(shù)次循環(huán)按步驟8)進(jìn)行， 偶數(shù)次循環(huán)按步驟9)進(jìn)行，直到第t次循環(huán)后任意目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)/，與t-ι次循環(huán) 后目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)yt 1相同時(shí)，停止循環(huán)；
[0022] 11)將任意目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)，的深度值賦給當(dāng)前目標(biāo)點(diǎn)X，完成深度圖的 上采樣，得到最終的高分辨深度圖像Dh。
[0023] 本發(fā)明與現(xiàn)有技術(shù)相比具有以下特點(diǎn)：
[0024] 1.本發(fā)明在聯(lián)合距離的定義中，加入了梯度差異分量和邊界分量，可以更準(zhǔn)確的 判斷鄰域中哪個(gè)點(diǎn)與當(dāng)前目標(biāo)點(diǎn)特征更為相似。
[0025] 2.本發(fā)明通過(guò)對(duì)距離分量、顏色差異分量、梯度差異分量和邊界分量進(jìn)行加權(quán)，定 義一種新的聯(lián)合距離，該聯(lián)合距離能更合理地反映兩點(diǎn)間的真實(shí)距離，因此可直接將到達(dá) 當(dāng)前目標(biāo)點(diǎn)有最短路徑的種子點(diǎn)的深度值賦給該目標(biāo)點(diǎn)，不需要求取前K個(gè)最近點(diǎn)后再平 滑濾波，有效降低了計(jì)算復(fù)雜度。
[0026] 3.本發(fā)明采用由左上至右下、由右下至左上的全局遍歷搜索方式，在整幅圖上搜 索距離目標(biāo)點(diǎn)有最短聯(lián)合路徑的種子點(diǎn)，較局部搜索方法，可以更準(zhǔn)確有效的找到最優(yōu)解。
[0027] 4.本發(fā)明通過(guò)設(shè)置收斂條件，當(dāng)目標(biāo)點(diǎn)中的存儲(chǔ)信息不再變化時(shí)即停止搜索，能 在保證最優(yōu)解的同時(shí)，有效避免重復(fù)操作，節(jié)省時(shí)間。
[0028] 仿真實(shí)驗(yàn)結(jié)果表明，本發(fā)明能更準(zhǔn)確的找出到達(dá)目標(biāo)點(diǎn)有最短聯(lián)合路徑的種子 點(diǎn)，用搜索到的種子點(diǎn)的深度值填充目標(biāo)點(diǎn)，可以得到邊界清晰的高質(zhì)量高分辨深度圖像。
【附圖說(shuō)明】
[0029]圖1是本發(fā)明的實(shí)現(xiàn)總流程圖；
[0030] 圖2是本發(fā)明中由左上至右下、由右下至左上的全局遍歷搜索子流程圖；
[0031] 圖3是仿真實(shí)驗(yàn)中使用的測(cè)試圖像；
[0032]圖4是對(duì)測(cè)試集Laundry，用現(xiàn)有三種典型方法與本發(fā)明將低分辨深度圖進(jìn)行上采 樣的結(jié)果對(duì)比；
[0033]圖5是對(duì)測(cè)試集Doll，用現(xiàn)有三種典型方法與本發(fā)明將低分辨深度圖進(jìn)行上采樣 的結(jié)果對(duì)比；
[0034]圖6是對(duì)測(cè)試集Doll，用現(xiàn)有五種方法與本發(fā)明將低分辨深度圖進(jìn)行上采樣實(shí)驗(yàn) 結(jié)果的數(shù)據(jù)分析。
【具體實(shí)施方式】
[0035]以下結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】和效果做進(jìn)一步詳細(xì)描述：
[0036]參照?qǐng)D1，本發(fā)明的實(shí)現(xiàn)步驟如下：
[0037] 步驟1，輸入高分辨彩色圖I和低分辨深度圖Dl，標(biāo)記種子點(diǎn)與目標(biāo)點(diǎn)。
[0038] 輸入測(cè)試集，包括高分辨彩色圖I和低分辨深度圖IX，將低分辨深度圖IX對(duì)應(yīng)到與 彩色圖I有相同分辨率的高分辨網(wǎng)格上，得到高分辨的待填充圖像D u;
[0039] 將待填充圖像Du中缺少深度信息的點(diǎn)作為待填充的目標(biāo)點(diǎn)，即{x | Du(x) =0}，將有 深度信息的點(diǎn)作為種子點(diǎn)，即{y|Du(y)#0}，上采樣的目的就是用種子點(diǎn)的深度值填充目 標(biāo)點(diǎn)。
[0040] 本實(shí)例用到的測(cè)試集，來(lái)源于明德學(xué)院，Middlebury 2005dataset，http:// vision.middlebury·edu/stereo/data/〇 [0041 ] 步驟2,計(jì)算歐式距離分量dD。
[0042]在高分辨待填充圖像Du中，依據(jù)給定的上采樣倍數(shù)r，計(jì)算任意兩個(gè)相鄰像素點(diǎn)p 和q之間的歐式距離分量：
[0043] 步驟3,計(jì)算顏色差異分量cU。
[0044] 在高分辨彩色圖I中，求取任意兩個(gè)相鄰像素點(diǎn)!)和(1的像素絕對(duì)差值，得到任意兩 個(gè)相鄰像素點(diǎn)P和q之間的顏色差異分量:(!:(？，(!)= | |l(p)-I(q) | |2。
[0045]步驟4,計(jì)算梯度差異分量dG。
[0046]對(duì)高分辨彩色圖I的灰度圖進(jìn)行求導(dǎo)，得到梯度圖G，在梯度圖G中，計(jì)算任意兩個(gè) 相鄰像素點(diǎn)P和q之間的梯度差異分量:dC(p，q)= | |G(p)_G(q) | |2。
[0047] 步驟5,計(jì)算邊界分量dE。
[0048]采用Sobel算子對(duì)高分辨彩色圖進(jìn)行邊緣提取，并將邊界處賦值為1，非邊界處賦 值為〇,得到邊界圖E，計(jì)算相鄰兩點(diǎn)p和q之間的邊界分量:dE(p，q)= | |E(P)-E(q) I |2。
[0049] Sobel算子是通過(guò)濾波的形式提取邊緣的，參考文獻(xiàn):P.E.Danielsson，0. Seger, "Generalized and Separable Sobel Operators Machine vision for three-dimensional scenes,Herbert Freeman(ed),Academic Press,1990.
[0050] 此外邊緣提取算子還有robert算子和prewitt算子。Robert算子是一種梯度算子， 它用交叉的差分表示梯度，是一種利用局部差分算子尋找邊緣的算子，對(duì)具有陡峭的低噪 聲的圖像效果較好;prewitt算子是加權(quán)平均算子，對(duì)噪聲有抑制作用，但是像素平均相當(dāng) 于對(duì)圖像進(jìn)行地同濾波，所以prewitt算子對(duì)邊緣的定位不如robert算子。
[0051 ]步驟6,定義聯(lián)合距離d。
[0052] 對(duì)上述歐式距離分量dD、顏色差異分量cU、梯度差異分量dG和邊界分量d E這四個(gè)分 量進(jìn)行加權(quán)，得到相鄰兩點(diǎn)P和q之間的聯(lián)合距離dP, q:
[0053] dP，q = dD(p，q)+a · di(p，q)+P · dc(p，q)+γ · dE(p，q)，
[0054] 其中α，β，γ分別是依經(jīng)驗(yàn)人為給出的顏色差異分量cU，梯度差異分量dG和邊界分 量dE的權(quán)重系數(shù)，實(shí)驗(yàn)中取α = 10，β = Γ2, γ =100。
[0055] 步驟7,基于聯(lián)合距離定義最短聯(lián)合路徑。
[0056] 7a)在待填充圖像Du中，設(shè)Pj: {X，mi，Π 12，…!^，y}為任意目標(biāo)點(diǎn)X到種子點(diǎn)y的一條路 徑，即從目標(biāo)點(diǎn)X出發(fā)，依次經(jīng)過(guò)第一點(diǎn)m，第二點(diǎn)m2,……，第i點(diǎn)nu，共i個(gè)點(diǎn)可到種子點(diǎn)y， 其中i為自然數(shù)；依據(jù)相鄰兩點(diǎn)間的聯(lián)合距離d P,q，定義路徑P」的聯(lián)合路徑長(zhǎng)度： 4 =4,*, +4,,騎:廠即從目標(biāo)點(diǎn)X逐點(diǎn)到種子點(diǎn)y的聯(lián)合距離之和；
[0057] 7b)設(shè)從目標(biāo)點(diǎn)X到種子點(diǎn)y有{Pi，P2，…，Pj，…，PN}共N條路徑，其中j G [ 1，N]，對(duì) 應(yīng)的聯(lián)合路徑長(zhǎng)度分別為{&,&, ···,&, 則從目標(biāo)點(diǎn)X到種子點(diǎn)y的最短聯(lián)合路徑 長(zhǎng)度:4["，[":，···，&，···，..1?).
[0058] 步驟8，由左上至右下的全局遍歷搜索。
[0059] 在待填充圖像Du中，采用由左上至右下的全局遍歷搜索方式，如圖2(a)中的虛線 箭頭所示，搜索出經(jīng)過(guò)第一次遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y 1，并將 卜存儲(chǔ)給巨標(biāo)點(diǎn)X。
[0060] 8a)找出當(dāng)前點(diǎn)X斜上方，即正上方和左方的四個(gè)鄰域點(diǎn)：{nk| l$k彡4}中的有效 點(diǎn)，有效點(diǎn)nk為已標(biāo)記過(guò)的點(diǎn)，其中存儲(chǔ)的信息是(/a-人)，yk是當(dāng)前遍歷下到有效點(diǎn)nk有 最短聯(lián)合路徑的種子點(diǎn)：
[0061] 參照?qǐng)D2(a)，對(duì)于圖示的4倍上采樣，當(dāng)前點(diǎn)x斜上方的四個(gè)鄰域點(diǎn)ni，n2，n3，ru*， 種子點(diǎn)m和目標(biāo)點(diǎn)n2、n 3為有效點(diǎn)，ru為無(wú)效點(diǎn)；種子點(diǎn)m中存儲(chǔ)的信息是(_>，丨,L"i n )，到種子 點(diǎn)m有最短聯(lián)合路徑的種子點(diǎn)是它本身，即yi = m;目標(biāo)點(diǎn)Π 2中存儲(chǔ)的彳目息是):，是 當(dāng)前遍歷下已經(jīng)標(biāo)記給目標(biāo)點(diǎn)助的有效信息，同理目標(biāo)點(diǎn)n3中存儲(chǔ)的信息是
[0062] 8b)計(jì)算此時(shí)由當(dāng)前點(diǎn)X途經(jīng)有效點(diǎn)nk到達(dá)種子點(diǎn)yk的最短聯(lián)合路徑長(zhǎng)度：
[0063] 參照?qǐng)D2(a)，由當(dāng)前點(diǎn)X途經(jīng)有效點(diǎn)m到達(dá)種子點(diǎn)yi的最短聯(lián)合路徑長(zhǎng)度： 4Λ =A,,,.n ，由當(dāng)前點(diǎn)X途經(jīng)有效點(diǎn)Π2到達(dá)種子點(diǎn)y2的最短聯(lián)合路徑 長(zhǎng)度：=\,,,2 +(,,:，由當(dāng)前點(diǎn)X途經(jīng)有效點(diǎn)n3到達(dá)種子點(diǎn)y3的最短聯(lián)合路徑長(zhǎng)度： Ao, =A,3,v, +d.r."3 ；
[0064] 8c)依據(jù)以下公式找出第一次遍歷后，到達(dá)當(dāng)前目標(biāo)點(diǎn)x有最短聯(lián)合路徑的種子點(diǎn)y1:
[0065] J^argmin^)? l<k<4,
[0066] 參照?qǐng)D2(a)，從途徑有效點(diǎn)m到達(dá)當(dāng)前點(diǎn)x的最短聯(lián)合路徑、途徑有效點(diǎn)Π2到 達(dá)當(dāng)前點(diǎn)X的最短聯(lián)合路徑Λ和途徑有效點(diǎn)η3到達(dá)當(dāng)前點(diǎn)X的最短聯(lián)合路徑4^中，找出最 短的那個(gè)聯(lián)合路徑：
[0067] 若最短的聯(lián)合路徑為久，則到當(dāng)前點(diǎn)X有最短聯(lián)合路徑的點(diǎn)
[0068] 若最短的聯(lián)合路徑為
[0069] 若最短的聯(lián)合路徑為4,,3唄^二乃；
[0070] 8d)將種子點(diǎn)y1和從目標(biāo)點(diǎn)X到種子點(diǎn)y1的最短聯(lián)合路徑長(zhǎng)度即存儲(chǔ) 給目標(biāo)點(diǎn)X。
[0071 ] 步驟9，進(jìn)行由右下至左上的全局遍歷搜索。
[0072]在待填充圖像Du中，采用由右下至左上的全局遍歷搜索方式，如圖2(b)中的虛線 箭頭所示，搜索出經(jīng)過(guò)第二次遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y2,將目標(biāo) 點(diǎn)X中存儲(chǔ)的信息更新為?:
[0073] 9a)參照?qǐng)D2(b)，找出當(dāng)前點(diǎn)X斜下方，即正下方和右方的四個(gè)鄰域點(diǎn)：{nk| 5彡k彡 8}中的有效點(diǎn)；
[0074] 9b)按照步驟8b)和步驟8c)，找出第二次遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑 的種子點(diǎn)y2;
[0075] 9c)將目標(biāo)點(diǎn)X中存儲(chǔ)的信息更新為種子點(diǎn)y2和從目標(biāo)點(diǎn)X到種子點(diǎn)y2的最短聯(lián)合 路徑長(zhǎng)度\,:，即
[0076] 步驟10,重復(fù)循環(huán)至所有目標(biāo)點(diǎn)中的存儲(chǔ)信息均保持不變。
[0077] 10a)在待填充圖像Du中，重復(fù)循環(huán)全局遍歷搜索，其中奇數(shù)次循環(huán)按步驟8)進(jìn)行， 偶數(shù)次循環(huán)按步驟9)進(jìn)行，任意第s次全局遍歷搜索結(jié)束時(shí)，找出當(dāng)前循環(huán)后到達(dá)任意目標(biāo) 點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)ys，并將目標(biāo)點(diǎn)X中的存儲(chǔ)信息更新為(.ν'乂,，)：
[0078] 10b)將經(jīng)過(guò)第t次循環(huán)與t-ι次循環(huán)后結(jié)果相比，若所有目標(biāo)點(diǎn)中存儲(chǔ)的種子點(diǎn)位 置坐標(biāo)均沒(méi)有變化，即ytiyM，則停止循環(huán)，此時(shí)所有目標(biāo)點(diǎn)都已找到全局最優(yōu)解，任意目 標(biāo)點(diǎn)X中都存儲(chǔ)著到其有最短聯(lián)合路徑的種子點(diǎn)y%反之則繼續(xù)循環(huán)。
[0079]步驟11，填充目標(biāo)點(diǎn)。
[0080]將待填充圖像中任意目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)yt的深度值賦給當(dāng)前目標(biāo)點(diǎn)X，并保 持原有種子點(diǎn)y的深度值不變，完成深度圖的上采樣，得到最終的高分辨深度圖像Dh，即：
[0082] 本發(fā)明的效果可以通過(guò)以下實(shí)驗(yàn)進(jìn)一步說(shuō)明：
[0083] 1.仿真條件：
[0084] 在CPU為Core(TM)、3.20GHZ、內(nèi)存4.00G、WIND0WS XP系統(tǒng)，Matlab R2012b平臺(tái)上 進(jìn)行了仿真。
[0085] 本發(fā)明選擇兩組測(cè)試圖像進(jìn)行仿真，這兩組測(cè)試圖像如圖3,其中圖3 (a)是 Laundry測(cè)試集的高分辨彩色圖，圖3(b)是Laundry測(cè)試集的高分辨深度圖，圖3(c)是Doll 測(cè)試集的高分辨彩色圖，圖3(d)是Doll測(cè)試集的高分辨深度圖。
[0086] 實(shí)驗(yàn)開始前，對(duì)測(cè)試集中提供的高分辨深度圖，分別進(jìn)行2倍，4倍，8倍和16倍的降 采樣處理，得到待上采樣的低分辨深度圖像。
[0087]仿真方法:①雙立方插值BC方法
[0088]②Kopf提出的聯(lián)合雙邊濾波上采樣JBU方法
[0089]③S. B. Lee提出的一種不連續(xù)自適應(yīng)的深度圖上采樣JBLM方法
[0090] ④基于馬爾科夫域MRF方法
[0091]⑤Ming-Yu Liu提出的聯(lián)合距離上采樣JGU方法
[0092]⑥本發(fā)明基于最短聯(lián)合路徑的深度圖上采樣方法
[0093] 3.仿真內(nèi)容：
[0094] 仿真1，對(duì)圖3 (a)和圖3 (b)中所示的Laundry測(cè)試集分別利用上述JBU，JBLM，J⑶和 本發(fā)明方法進(jìn)行4倍和16倍的深度圖上采樣，結(jié)果如圖4,其中：
[0095]圖4(a)是通過(guò)JBU方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0096]圖4(b)是通過(guò)JBLM方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0097] 圖4(c)是通過(guò)JGU方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0098] 圖4(d)是通過(guò)本發(fā)明方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0099]圖4(e)是通過(guò)JBU方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0100]圖4(f)是通過(guò)JBLM方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0101] 圖4(g)是通過(guò)JGU方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0102] 圖4(h)是通過(guò)本發(fā)明方法進(jìn)行16倍上采樣得到的高分辨深度圖像。
[0103] 從圖4(a)，圖4(b)，圖4(c)和圖4(d)中可以看出，當(dāng)放大倍數(shù)較小時(shí)，通過(guò)四種方 法中的每一種都可以得到質(zhì)量較高的上采樣圖像；
[0104] 從圖4(e)和圖4(f)中可以看出，基于局部濾波的JBU和JBLM方法，在放大倍數(shù)較大 時(shí)瓶子周圍會(huì)出現(xiàn)明顯的深度模糊現(xiàn)象；
[0105] 圖4(g)所示的JGU方法表明，放大率較大時(shí)，紅色衣物處的深度會(huì)向周邊摻混；
[0106] 從圖4(e)，圖4(f)，圖4(g)和圖4(h)中可以看出隨著放大倍數(shù)增大，本發(fā)明表現(xiàn)出 更明顯的優(yōu)勢(shì)，有效解決了深度邊緣模糊和深度摻混現(xiàn)象。
[0107] 仿真2，對(duì)圖3(C)和圖3 (d)中所示的Do 11測(cè)試集分別利用上述JBU，JBLM，JGU和本 發(fā)明方法進(jìn)行4倍和16倍的深度圖上采樣，結(jié)果如圖5,其中：
[0108] 圖5(a)是通過(guò)JBU方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0109] 圖5(b)是通過(guò)JBLM方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0110] 圖5(c)是通過(guò)JGU方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0111] 圖5(d)是通過(guò)本發(fā)明方法進(jìn)行4倍上采樣得到的高分辨深度圖像；
[0112] 圖5(e)是通過(guò)JBU方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0113] 圖5(f)是通過(guò)JBLM方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0114]圖5(g)是通過(guò)JGU方法進(jìn)行16倍上采樣得到的高分辨深度圖像；
[0115]圖5(h)是通過(guò)本發(fā)明方法進(jìn)行16倍上采樣得到的高分辨深度圖像。
[0116]從圖5(a)，圖5(b)，圖5(c)和圖5(d)中可以看出，當(dāng)放大倍數(shù)較小時(shí)，通過(guò)四種方 法中的每一種都可以得到比較清晰的上采樣圖像；
[0117]從圖5 (e)和圖5 (f)中可以看出，JBU和JBLM方法在放大倍數(shù)較大時(shí)會(huì)出現(xiàn)明顯的 上采樣錯(cuò)誤；
[0118] 圖5(g)所示的JGU方法表明，放大率較大時(shí)，深度邊緣摻混現(xiàn)象嚴(yán)重；
[0119] 從圖5(e)，圖5(f)，圖5(g)和圖5(h)中可以看出，隨著放大倍數(shù)增大，本發(fā)明表現(xiàn) 出更明顯的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果表明上采樣結(jié)果穩(wěn)定。
[0120] 仿真3，對(duì)圖3 (b)所示的Do 11測(cè)試集圖分別利用BC，JBU，JBLM，MRF和JGU方法與本 發(fā)明方法進(jìn)行2倍，4倍和8倍深度圖上采樣，并針對(duì)五個(gè)評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行數(shù)據(jù)分 析。
[0121] 五個(gè)指標(biāo)分別是：
[0122] l)disc，邊界區(qū)域的壞值點(diǎn)率，壞值點(diǎn)指與真實(shí)像素值相差1以上的點(diǎn)；
[0123] 2)RMS，與真值的均方根誤差；
[0124] 3)SRMS，非邊界區(qū)域處與真值的均方根誤差；
[0125] 4)bpr，壞值點(diǎn)率；
[0126] 5) mad，壞值點(diǎn)處與真值的平均絕對(duì)值偏差。
[0127] 針對(duì)所述五個(gè)評(píng)價(jià)指標(biāo)進(jìn)行數(shù)據(jù)分析，結(jié)果如圖6,其中：
[0128] 圖6(a)是針對(duì)disc指標(biāo)的結(jié)果分析；
[0129] 圖6(b)是針對(duì)RMS指標(biāo)的結(jié)果分析；
[0130]圖6(c)是針對(duì)SRMS指標(biāo)的結(jié)果分析；
[0131] 圖6(d)是針對(duì)bpr指標(biāo)的結(jié)果分析；
[0132] 圖6(e)是針對(duì)mad指標(biāo)的結(jié)果分析。
[0133] 從圖6可以看出，本發(fā)明方法不僅能在主觀視覺(jué)上得到較好的上采樣結(jié)果，客觀分 析也表現(xiàn)出明顯的優(yōu)勢(shì)。
【主權(quán)項(xiàng)】
1. 一種基于最短聯(lián)合路徑的深度圖上采樣方法，包括： 1) 輸入高分辨彩色圖巧日低分辨深度圖Dl，將低分辨深度圖化對(duì)應(yīng)到與彩色圖I有相同 分辨率的高分辨網(wǎng)格上，得到高分辨的待填充圖像Du;將待填充圖像Du中缺少深度信息的點(diǎn) 作為待填充的目標(biāo)點(diǎn)，即{x|Du(x)=0}，有深度信息的點(diǎn)作為種子點(diǎn)，即{y|Du(y)^0}; 2) 在待填充圖像Du中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的歐式距離分量cb(p，q); 3) 在高分辨彩色圖I中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的顏色差異分量di(p，q); 4) 對(duì)高分辨彩色圖I的灰度圖進(jìn)行求導(dǎo)，得到梯度圖G，在梯度圖G中，計(jì)算任意兩個(gè)相 鄰像素點(diǎn)P和q之間的梯度差異分量dG(p，q); 5) 采用Sobel算子對(duì)高分辨彩色圖I進(jìn)行邊緣提取，并將邊界像素賦值為1，非邊界像素 賦值為0,得到邊界圖E，在邊界圖E中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的邊界分量dE(p, q); 6) 對(duì)上述四個(gè)分量進(jìn)行加權(quán)，得到相鄰兩點(diǎn)p和q之間的聯(lián)合距離dp,q， dp,q = dD(p，q)+a*di(p,q)+0*dG(p，q)+Y*dE(p，q)， 其中α，β，丫分別是人為給出的顏色差異分量di，梯度差異分量dG和邊界分量dE的權(quán)重 系數(shù)； 7) 在待填充圖像Du中，依據(jù)任意兩點(diǎn)間的聯(lián)合距離dp,q，得出任意目標(biāo)點(diǎn)巧I刷子點(diǎn)y的 最短聯(lián)合路徑長(zhǎng)Lx,y: 8) 在待填充圖像Du中，采用由左上至右下的全局遍歷捜索方式，捜索出經(jīng)過(guò)第一次遍歷 后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)yi，并將(.Vpi、.，,)存儲(chǔ)給目標(biāo)點(diǎn)X; 9) 在待填充圖像Du中，采用由右下至左上的全局遍歷捜索方式，再次捜索出經(jīng)過(guò)第二次 遍歷后，到任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y2,將目標(biāo)點(diǎn)X中存儲(chǔ)的信息更新為 (沁王巧2 ); 10) 在待填充圖像Du中，重復(fù)循環(huán)全局遍歷捜索，其中奇數(shù)次循環(huán)按步驟8)進(jìn)行，偶數(shù)次 循環(huán)按步驟9)進(jìn)行，直到第t次循環(huán)后任意目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)yt，與t-1次循環(huán)后目標(biāo) 點(diǎn)X中存儲(chǔ)的種子點(diǎn)yw相同時(shí)，停止循環(huán)； 11) 將任意目標(biāo)點(diǎn)X中存儲(chǔ)的種子點(diǎn)yt的深度值賦給當(dāng)前目標(biāo)點(diǎn)X，完成深度圖的上采 樣，得到最終的高分辨深度圖像化。2. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟2)中，在待 填充圖像Du中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的歐式距離分量dD(p，q)，是依據(jù)給定上 采樣倍數(shù)r，得到任意兩個(gè)相鄰像素點(diǎn)P和q之間的歐式距離分量：3. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟3)中，在高 分辨彩色圖I中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的顏色差異分量di(p，q)，是在高分辨 彩色圖I中，通過(guò)求取任意兩個(gè)相鄰像素點(diǎn)P和q的像素絕對(duì)差值，得到任意兩個(gè)相鄰像素點(diǎn) P和q之間的顏色差異分量:di(p,q) = I I I(p)-I(q) I |2。4. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟4)中，在梯 度圖G中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的梯度差異分量dG(p，q)，是在梯度圖G中，計(jì) 算任意兩個(gè)相鄰像素點(diǎn)P和q之間的梯度差異分量:dG(p，q)= ||G(p)-G(q) ||2。5. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟5)中，在邊 界圖E中，計(jì)算任意兩個(gè)相鄰像素點(diǎn)P和q之間的邊界分量化(p，q)，是在邊界圖E中，計(jì)算任 意兩個(gè)相鄰像素點(diǎn)P和q之間的邊界分量:dE(p，q)= ||E(p)-E(q)M2。6. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟7)中，在待 填充圖像Du中，依據(jù)任意兩點(diǎn)間的聯(lián)合距離dp,q，得出任意目標(biāo)點(diǎn)X到種子點(diǎn)y的最短聯(lián)合路 徑長(zhǎng)Lx,y，按如下步驟進(jìn)行： 7a)在待填充圖像Du中，設(shè)Pj: {x，mi，m2，···ΠΗ，y}為任意目標(biāo)點(diǎn)X到種子點(diǎn)y的一條路徑，即從 目標(biāo)點(diǎn)礎(chǔ)發(fā)，依次經(jīng)過(guò)第一點(diǎn)mi，第二點(diǎn)Π 12，......，第i點(diǎn)mi，斯個(gè)點(diǎn)可至卿子點(diǎn)y，其中i為自然數(shù)； 依據(jù)相鄰兩點(diǎn)間的聯(lián)合距離dp,q，定義路徑Pj的聯(lián)合路徑長(zhǎng)度:左C =年+4。,.,,,: +屯，一+武; 7b)設(shè)從目標(biāo)點(diǎn)巧I刷子點(diǎn)y有化，P2，…，Pj，…，Pn}共N條路徑，其中j E [ 1，N]，對(duì)應(yīng)的聯(lián) 合路徑長(zhǎng)度分別為1? ,?，…，％，…，，則從目標(biāo)點(diǎn)X到種子點(diǎn)y的最短聯(lián)合路徑長(zhǎng)： ，左."' ....，L/.，...，）。7. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟8)中，在待 填充圖像Du中，采用由左上至右下的全局遍歷捜索方式，捜索出經(jīng)過(guò)第一次遍歷后，到任意 目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)yi，按如下步驟進(jìn)行： 8a)找出當(dāng)前點(diǎn)X斜上方，即正上方和左方的四個(gè)鄰域點(diǎn)：{nk|l《k《4}中的有效點(diǎn)，其中 有效點(diǎn)nk中存儲(chǔ)的信息是，yk是當(dāng)前遍歷下到有效點(diǎn)nk有最短聯(lián)合路徑的種子點(diǎn)； 8b)計(jì)算此時(shí)由當(dāng)前目標(biāo)點(diǎn)X經(jīng)有效點(diǎn)nk到種子點(diǎn)yk的最短聯(lián)合路徑長(zhǎng)度： 二 L"一, + d、'."k ; 8c)依據(jù)W下公式找出第一次遍歷后，到達(dá)當(dāng)前目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)yi:1 < A < 4。8. 根據(jù)權(quán)利要求1所述的基于最短聯(lián)合路徑的深度圖上采樣方法，其中步驟9)中，在待 填充圖像Du中，采用由右下至左上的全局遍歷捜索方式，再次捜索出經(jīng)過(guò)第二次遍歷后，至U 任意目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y2，按如下步驟進(jìn)行： 9a)找出當(dāng)前目標(biāo)點(diǎn)X斜下方，即正下方和右方的四個(gè)鄰域點(diǎn)：{nk|5《k《8}中的有效 點(diǎn)，其中有效點(diǎn)η沖存儲(chǔ)的信息是是當(dāng)前遍歷下到有效點(diǎn)化有最短聯(lián)合路徑的 種子點(diǎn)； 9b)計(jì)算此時(shí)由當(dāng)前目標(biāo)點(diǎn)X經(jīng)有效點(diǎn)η劇種子點(diǎn)yk的最短聯(lián)合路徑長(zhǎng)度+聲Λ ; 9c)依據(jù)W下公式找出經(jīng)過(guò)第二次遍歷后，到達(dá)當(dāng)前目標(biāo)點(diǎn)X有最短聯(lián)合路徑的種子點(diǎn)y2:
【文檔編號(hào)】G06F17/30GK106095773SQ201610334077
【公開日】2016年11月9日
【申請(qǐng)日】2016年5月19日
【發(fā)明人】焦李成, 喬伊果, 侯彪, 楊淑媛, 劉紅英, 曹向海, 馬文萍, 馬晶晶, 張丹, 霍麗娜
【申請(qǐng)人】西安電子科技大學(xué)