一種顯著度驅(qū)動(dòng)的深度圖像壓縮方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于計(jì)算機(jī)圖形圖像領(lǐng)域。
【背景技術(shù)】
[0002] Depth Image Based Rendering(DIBR)技術(shù)已經(jīng)被廣泛應(yīng)用，包括基于圖像的遠(yuǎn) 程繪制系統(tǒng)，基于圖像的交互式三維漫游，三維視頻游戲，3DTV和FTV。這些應(yīng)用都是利用 原始視點(diǎn)下的深度圖像通過三維圖像變換到相鄰的虛擬視點(diǎn)以提供三維沉浸視覺體驗(yàn)。為 了減少網(wǎng)絡(luò)傳輸帶寬或存儲(chǔ)量，大量的深度圖像和顏色圖像都需要壓縮。顏色圖像的壓縮 算法已經(jīng)相當(dāng)成熟，并且存在國(guó)際標(biāo)準(zhǔn)（JPEG-2000和H. 264)。但是，深度圖像的壓縮算法 仍然處于初步階段。
[0003] 深度圖像的獲取來源分為三類：第一類是通過渲染虛擬場(chǎng)景且從Z-Buffer中獲 取高精度浮點(diǎn)深度值；第二類是通過深度相機(jī)從真實(shí)場(chǎng)景中捕獲深度值；第三類是通過雙 目視覺匹配算法計(jì)算視差值估計(jì)深度圖像。本發(fā)明的壓縮對(duì)象為第一類方法獲取的深度圖 像。
[0004] 目前深度圖像的壓縮算法可以分為五類：基于頻域變換的深度圖像壓縮編碼方 法、基于預(yù)測(cè)的幀內(nèi)及幀間的塊匹配方法、基于分段線性函數(shù)逼近擬合的方法、基于規(guī)則網(wǎng) 格的深度表示方法和基于采樣的深度重構(gòu)方法。這些方法在對(duì)深度圖像進(jìn)行壓縮時(shí)都只是 利用二維圖像域的信息，沒有考慮三維幾何信息。本發(fā)明結(jié)合三維網(wǎng)格顯著度和二維深度 不連續(xù)邊緣的信息壓縮原始深度圖像，最終保留深度圖像在網(wǎng)格顯著度區(qū)域的精度和提高 DIBR的繪制效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的：針對(duì)Z-Buffer中獲取的深度圖像的壓縮和解壓縮問題，研究一種 顯著度驅(qū)動(dòng)的深度圖像壓縮方法，有效地融合三維網(wǎng)格幾何信息和二維深度不連續(xù)邊緣信 息以構(gòu)建深度圖像的稀疏表示以達(dá)到壓縮的目的，從而在多尺度上下采樣重構(gòu)深度時(shí)保留 了網(wǎng)格顯著度區(qū)域的精度，提高了 DIBR的繪制效果。
[0006] 本發(fā)明提出的顯著度驅(qū)動(dòng)的深度圖像壓縮方法，其主要步驟如下：
[0007] 步驟（1)、針對(duì)三維網(wǎng)格模型的每一個(gè)頂點(diǎn)利用多尺度融合高斯平均曲率計(jì)算該 頂點(diǎn)的網(wǎng)格顯著值；
[0008] 步驟（2)、渲染步驟（1)計(jì)算的網(wǎng)格顯著度值到一張二維的網(wǎng)格顯著度圖，且利 用植染的二維網(wǎng)格顯著度圖指導(dǎo)并行Poisson Disk Sampling生成隨機(jī)像素采樣點(diǎn)；融合 深度不連續(xù)邊緣和生成的隨機(jī)像素采樣點(diǎn)構(gòu)建生成深度圖像的稀疏表示以達(dá)到壓縮的目 的；
[0009] 步驟（3)、利用多尺度雙邊濾波上下采樣的方式對(duì)步驟（2)的深度圖像稀疏表示 進(jìn)行邊緣擴(kuò)散恢復(fù)原始深度圖像。
[0010] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)勢(shì)：
[0011] 本發(fā)明通過融合三維網(wǎng)格顯著度和二維深度不連續(xù)邊緣信息構(gòu)建深度圖像的稀 疏表示以壓縮原始深度圖像，在重構(gòu)階段，本發(fā)明通過多尺度上下采樣邊緣擴(kuò)散的方法恢 復(fù)深度圖像。本發(fā)明相比于傳統(tǒng)的邊緣擴(kuò)散方法，提高了網(wǎng)格顯著度區(qū)域的重構(gòu)精度，增加 了 DIBR繪制效果。本發(fā)明對(duì)于不同的模型平均的壓縮率小于15%，并且在相同的壓縮率下 比邊緣擴(kuò)散的方法在DIBR繪制質(zhì)量上高0. 2dB。
【附圖說明】
[0012] 圖1為本發(fā)明的基于顯著度驅(qū)動(dòng)的深度圖像壓縮方法的整體過程示意圖；
[0013] 圖2為本發(fā)明的深度圖像稀疏表不不意圖；
[0014] 圖3為上下采樣重構(gòu)深度圖像過程示意圖。
【具體實(shí)施方式】
[0015] 下面結(jié)合附圖與實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述：
[0016] 本發(fā)明實(shí)施過程包括三個(gè)主要步驟：網(wǎng)格顯著度計(jì)算、深度圖像的稀疏表示和深 度重構(gòu)。圖1展示了本發(fā)明的整體過程示意圖。
[0017] 步驟一：網(wǎng)格顯著度計(jì)算：
[0018] 對(duì)于三維網(wǎng)格的每一個(gè)頂點(diǎn)V，定義ζ (V)為網(wǎng)格的在該頂點(diǎn)的平均曲率； Ν(ν, σ )是頂點(diǎn)ν的歐氏距離為σ的領(lǐng)域頂點(diǎn)集合，且Ν(ν, σ ) = {x I I x-v I I〈 σ }，X是一 個(gè)網(wǎng)格頂點(diǎn)。因此，GU (ν)，〇)定義了頂點(diǎn)ν在尺度〇下的高斯權(quán)重平均曲率，其計(jì)算 公式如下：
[0019]
[0020] 通過計(jì)算頂點(diǎn)ν在兩個(gè)不同尺度下的絕對(duì)差，獲取該頂點(diǎn)的網(wǎng)格顯著度ξ (V)，其 計(jì)算公式如下：
[0021] ξ (v) = IG ( ζ (ν), σ ) -G ( ζ (ν), 2 σ
[0022] 因此，頂點(diǎn)ν的多尺度網(wǎng)格顯著度ξ Jv)的計(jì)算公式如下：
[0023] ξ i (v) = IG ( ζ (ν), σ ;) -G ( ζ (ν), 2 σ
[0024] 其中〇 ;是在尺度i下的高斯濾波標(biāo)準(zhǔn)方差σ {2ε，3ε，4ε，5ε，6ε}，ε取 值為模型包圍盒對(duì)角線長(zhǎng)度的〇. 3%。最后，通過融合頂點(diǎn)ν五個(gè)尺度下的網(wǎng)格顯著度得到 最終的網(wǎng)格顯著度值《=Σ在(V)。 i
[0025] 步驟二：深度圖像的稀疏表示：
[0026] 第一階段通過渲染步驟一計(jì)算的網(wǎng)格顯著度值獲取網(wǎng)格顯著度區(qū)域（圖2)，其灰 色部分設(shè)為顯著度區(qū)域D，黑色部分為非顯著度區(qū)域，其中顯著度區(qū)域的閾值設(shè)為0. 3。
[0027] 第二階段通過并行Poisson Disk Sampling指導(dǎo)生成隨機(jī)像素樣本Srandcim，其中采 樣半徑在顯著度區(qū)域和非顯著度區(qū)域之間的值有閾值函數(shù)r(s)定義，其計(jì)算公式如下：
[0028]
[0029] 其中s表示當(dāng)前處理的像素點(diǎn)，Γι是網(wǎng)格顯著度區(qū)域采樣半徑，r2是非網(wǎng)格顯著 度區(qū)域采樣半徑。
[0030] 第三階段通過拉普拉斯邊緣提取獲取原始深度圖像的深度不連續(xù)邊緣最后 融合第二階段生成的隨機(jī)像素樣本S randJ^建深度圖像的稀疏表示S spa_ (圖2)，其計(jì)算公 式如下：
[0031 ] Ssparse S ran(jom+Sedge
[0032] 步驟三：深度重構(gòu)：
[0033] 深度重構(gòu)的過程是通過多尺度上下采樣的過程恢復(fù)原始深度（圖3)。其中每一個(gè) 尺度下的圖像分辨率為上一個(gè)尺度下圖像分辨率的兩倍，定義Width sralew和height
[0034]
[0035] 如圖3所示，深度重構(gòu)的過程分為兩部分：下采樣和上采樣。第一行為稀疏深度表 示的下采樣階段，該過程自底向上遞歸下采樣到尺度5。第二行和第三行表示上采樣階段， 該過程自頂向下插值每一個(gè)尺度下的稀疏深度圖像，最終獲得的尺度〇下的深度圖像為本 步驟三恢復(fù)出來的深度圖像。其中每一個(gè)上采樣過程的平滑操作是雙邊濾波器D(U)，其公 式如下：
[0036]
[0037] N1表示當(dāng)前像素的領(lǐng)域像素，Wv表示歸一化因子，1表示空間濾波核，用高斯函數(shù) 定義且和當(dāng)前尺度相關(guān)，&表示值域?yàn)V波，r表示指數(shù)放大倍數(shù)，公式如下：
[0038]
[0039] 〇 2表示歸一化因子，其值設(shè)為視點(diǎn)遠(yuǎn)近平面距離長(zhǎng)度的5%。此外，空域?yàn)V波核 匕在尺度3、4和5下的〇=1且~=3;在尺度0、1、2下的〇=2且~ = 5。
【主權(quán)項(xiàng)】
1. 一種顯著度驅(qū)動(dòng)的深度圖像壓縮方法，其特征在于該方法步驟如下： 步驟（1)、針對(duì)三維網(wǎng)格模型的每一個(gè)頂點(diǎn)利用多尺度融合高斯平均曲率計(jì)算該頂點(diǎn) 的網(wǎng)格顯著值； 步驟（2)、渲染步驟（1)計(jì)算的網(wǎng)格顯著度值到一張二維的網(wǎng)格顯著度圖，且利用渲染 的二維網(wǎng)格顯著度圖指導(dǎo)并行Poisson Disk Sampling生成隨機(jī)像素采樣點(diǎn)；融合深度不 連續(xù)邊緣和生成的隨機(jī)像素采樣點(diǎn)構(gòu)建生成深度圖像的稀疏表示以達(dá)到壓縮的目的； 步驟（3)、利用多尺度雙邊濾波上下采樣的方式對(duì)步驟（2)的深度圖像稀疏表示進(jìn)行 邊緣擴(kuò)散恢復(fù)原始深度圖像。
【專利摘要】本發(fā)明是一種顯著度驅(qū)動(dòng)的深度圖像壓縮方法，首先對(duì)三維網(wǎng)格模型的每一個(gè)頂點(diǎn)計(jì)算網(wǎng)格顯著度值，并保存計(jì)算的顯著度值到頂點(diǎn)屬性；其次根據(jù)每一個(gè)頂點(diǎn)的顯著度值，渲染到紋理生成一張二維的網(wǎng)格顯著度圖；然后利用渲染的二維網(wǎng)格顯著度圖指導(dǎo)并行Poisson？Disk？Sampling生成隨機(jī)像素采樣點(diǎn)；最后融合通過拉普拉斯邊緣提取出來的深度不連續(xù)邊緣構(gòu)建生成深度圖像的稀疏表示。在重構(gòu)階段，本發(fā)明通過多尺度雙波濾波上下采樣的方式進(jìn)行邊緣擴(kuò)散恢復(fù)原始深度圖像。本發(fā)明的特點(diǎn)是提出了一種針對(duì)Z-Buffer獲取深度值的深度圖像的壓縮方法，通過融合隨機(jī)像素采樣點(diǎn)和深度不連續(xù)邊緣構(gòu)建深度圖像的稀疏表示以達(dá)到壓縮的目的，并利用多尺度雙邊濾波上下采樣的方式進(jìn)行邊緣擴(kuò)散恢復(fù)原始深度圖像。
【IPC分類】G06T9/00
【公開號(hào)】CN105096352
【申請(qǐng)?zhí)枴緾N201510526757
【發(fā)明人】梁曉輝, 顧敏杰, 饒木明, 王曉川
【申請(qǐng)人】北京航空航天大學(xué)
【公開日】2015年11月25日
【申請(qǐng)日】2015年8月25日