一種面向虛擬多視點(diǎn)繪制的深度感知增強(qiáng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于立體圖像處理領(lǐng)域，涉及一種面向虛擬多視點(diǎn)繪制的深度感知增強(qiáng)方 法，來(lái)增強(qiáng)立體顯示的立體效果。 技術(shù)背景
[0002] 立體（3D)技術(shù)是利用雙眼立體視覺(jué)原理，結(jié)合各種深度或視差線(xiàn)索，使觀看者從 顯示設(shè)備上獲得立體感的各種技術(shù)的總稱(chēng)。3D顯示技術(shù)可以分為傳統(tǒng)立體顯示技術(shù)和裸眼 立體顯示技術(shù)。傳統(tǒng)的立體顯示技術(shù)需要佩戴眼鏡才能觀察出3D圖像的立體感。裸眼立 體顯示技術(shù)不需要佩戴眼鏡，裸眼即可觀察出3D圖像的立體感。自由立體顯示技術(shù)，是當(dāng) 前裸眼立體顯示的主要發(fā)展方向之一，能基于多視角視頻實(shí)現(xiàn)多觀看視點(diǎn)的選擇和全方位 的立體顯示，從而帶給人以逼真震撼的觀看效果，滿(mǎn)足人們對(duì)場(chǎng)景真實(shí)再現(xiàn)的要求。分析表 明，自由立體顯示由于發(fā)展時(shí)間較短、難度較高，較傳統(tǒng)立體顯示技術(shù)而言在觀看舒適度、 立體感知效果等方面還有待提高。
[0003] 虛擬視點(diǎn)繪制是自由立體顯示技術(shù)的核心技術(shù)之一，根據(jù)原始視點(diǎn)可產(chǎn)生多個(gè)虛 擬視點(diǎn)。虛擬視點(diǎn)繪制的目的是在原有視點(diǎn)的基礎(chǔ)上，生成物理上不失真的虛擬視點(diǎn)視圖。 虛擬視點(diǎn)繪制技術(shù)主要包括基于模型的繪制（Model Based Rendering，MBR)和基于圖像 的繪制（Image Based Rendering，IBR)?；谀Ｐ偷睦L制需要幾何建模與計(jì)算，在復(fù)雜場(chǎng) 景下通過(guò)MBR成像效果并不是非常理想，無(wú)法滿(mǎn)足用戶(hù)不斷發(fā)展的對(duì)圖像真實(shí)感和沉浸感 的需求。基于圖像的繪制主要研究如何采用已知視點(diǎn)圖像來(lái)直接生成虛擬視點(diǎn)下的對(duì)應(yīng)圖 像，其繪制過(guò)程避免了復(fù)雜的幾何建模與計(jì)算工作，因此具有快速、簡(jiǎn)單、逼真的優(yōu)點(diǎn)，已成 為當(dāng)前最為活躍的研究方向。由于基于深度圖像的虛擬視點(diǎn)繪制技術(shù)（DIBR)將圖像和三 維深度信息進(jìn)行了有效的結(jié)合，提高了對(duì)自然場(chǎng)景的繪制速度，且可以利用少量的參考視 點(diǎn)圖像，高質(zhì)量地繪制任意位置的新視點(diǎn)圖像，節(jié)省了數(shù)據(jù)存儲(chǔ)空間和傳輸帶寬，近年來(lái)受 到廣泛的關(guān)注。但繪制多個(gè)中間虛擬視點(diǎn)時(shí)，會(huì)降低相鄰視點(diǎn)之間的視差，從而降低了 3D 顯示的立體感。因此，深度感知增強(qiáng)在3D顯示方面具有重要作用。
[0004] 從立體的角度來(lái)說(shuō)，人眼在觀看立體圖像時(shí)只能感知大于某個(gè)值的深度變化或色 彩變化，我們稱(chēng)之為立體的恰可察覺(jué)差異。JND模型即是針對(duì)HVS的特征通過(guò)大量實(shí)驗(yàn)推 導(dǎo)出來(lái)的。研究表明，此閾值依賴(lài)于圖像的亮度、對(duì)比度以及局部區(qū)域的空間分辨率等。在 立體顯示領(lǐng)域，JND模型可分為雙目失真恰可察覺(jué)差異（BJND, Binocular Just Noticeable Difference)模型和 JNDD(JJND, Just Noticeable Depth Difference)模型。BJND 表不左 右視圖中人眼可察覺(jué)的最小內(nèi)部差異，如果某立體圖像的左右視圖之間的對(duì)應(yīng)位置及其像 素差異小于BJND，則人眼不能感知其差別。JNDD表示人眼可察覺(jué)的最小深度差異。如果深 度圖中相鄰對(duì)象的深度差異小于JNDD，采用該深度圖合成的立體圖像，人體不能感知其深 度差異。Jung等基于最小可察覺(jué)深度差異（JNDD)模型實(shí)現(xiàn)了深度感知增強(qiáng)，通過(guò)拉伸深 度圖中物體深度差異小于JNDD閾值的部分，以使得人眼能夠察覺(jué)這部分信息。Jung提出 了全局深度感知增強(qiáng)算法，通過(guò)對(duì)JNDD模型的研究，利用深度圖的直方圖估計(jì)和核密度估 計(jì)（KDE)方法把深度圖進(jìn)行分割分層處理，層之間的深度差值小于JNDD閾值的對(duì)象，采用 能量最小化模型進(jìn)行增強(qiáng)。考慮到這種全局增強(qiáng)算法存在諸多不足，Jung等通過(guò)更為細(xì)致 的分析，提出了一種改進(jìn)的基于JNDD模型的深度感知增強(qiáng)算法。改進(jìn)算法包含深度數(shù)據(jù)維 持，深度順序保持和深度層拉伸三個(gè)主要部分。深度數(shù)據(jù)維持項(xiàng)通過(guò)權(quán)重函數(shù)來(lái)控制深度 改變的方向，使得與真實(shí)場(chǎng)景的差異為最小。深度順序保持項(xiàng)限制深度圖中物體之間深度 值的反轉(zhuǎn)，使得對(duì)象邊界信息準(zhǔn)確。深度層拉伸項(xiàng)通過(guò)增加相鄰分割層之間深度差異來(lái)增 強(qiáng)人眼的深度感知能力。

【發(fā)明內(nèi)容】

[0005] 為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在依據(jù)人眼視覺(jué)深度感知原理，提出面向虛擬 多視點(diǎn)繪制的深度感知增強(qiáng)方法，通過(guò)對(duì)視差圖進(jìn)行調(diào)整，實(shí)現(xiàn)面向多虛擬視點(diǎn)繪制的深 度感知增強(qiáng)方法，達(dá)到改善立體顯示效果的目的。為此，本發(fā)明采取的技術(shù)方案是，一種面 向虛擬多視點(diǎn)繪制的深度感知增強(qiáng)方法，包括如下步驟：
[0006] 1)圖像分割
[0007] 采用手動(dòng)分割方法：依據(jù)彩色圖的對(duì)象分布，人工獲得準(zhǔn)確的分割圖；
[0008] 2)面向虛擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型
[0009] 分析出最小可察覺(jué)閾值會(huì)隨著繪制中間虛擬視點(diǎn)數(shù)量變化，推導(dǎo)出面向虛擬多視 點(diǎn)繪制的恰可察覺(jué)深度差異模型MVR jndd;
[0010] 3)面向虛擬多視點(diǎn)繪制的深度感知增強(qiáng)
[0011] 依據(jù)上述推導(dǎo)出的基于虛擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型，將視差圖相鄰 層之間小于MVRindc^部分進(jìn)行拉伸，達(dá)到MVRindd閾值。依據(jù)基于恰可察覺(jué)深度差異的深度 感知增強(qiáng)能量函數(shù)，保證由不同數(shù)量虛擬視點(diǎn)合成的立體圖像的深度效果。
[0012] 4)虛擬多視點(diǎn)繪制
[0013] 利用上述深度感知增強(qiáng)后的視差圖，采用基于深度圖像的虛擬視點(diǎn)繪制方法進(jìn)行 虛擬視點(diǎn)繪制，以8視點(diǎn)自由立體顯示為例繪制7個(gè)虛擬視點(diǎn)，分別是1/7到7/7視點(diǎn)，繪 制的虛擬視點(diǎn)存在空洞，利用空洞填補(bǔ)算法進(jìn)行圖像修復(fù)；
[0014] 5)自由立體顯示
[0015] 最終采用參考視點(diǎn)和上述生成的7個(gè)虛擬視點(diǎn)組成八個(gè)視點(diǎn)并運(yùn)用立體合成算 法生成適合自由立體顯示器顯示的合成圖，并予以顯示。
[0016] 構(gòu)建了面向虛擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型MVR_，表示如下：
[0017]
[0018] 其中N表示繪制的中間虛擬視點(diǎn)的數(shù)量，α是一個(gè)比例因子表示深度和視差之間 的對(duì)應(yīng)關(guān)系，d表示深度像素值，ρ表示視差像素值；α的計(jì)算公式如下：
[0019]
[0020] 其中Pmax和P min分別表不視差的最大值和最小值；
[0021] 恰可察覺(jué)深度差異模型D_D(d)表示如下：
[0022]
[0023] 建立了基于恰可察覺(jué)深度差異的深度感知增強(qiáng)能量函數(shù)，定義如下：
[0024]
[0025] 其中W1是權(quán)重參數(shù)，取值為100,根據(jù)圖像大小進(jìn)行調(diào)節(jié)；x°和^分別表示原始和 拉伸后的視差圖的平均像素值，M表示分割圖的分割層數(shù)，也就是場(chǎng)景中物體的數(shù)量， Xl、X] 對(duì)應(yīng)表示原始視差圖中位于第i、j層的物體的平均像素值。
[0026] 能量函數(shù)采用最優(yōu)化算法求解。
[0027] 能量函數(shù)采用遺傳算法求解。
[0028] 與已有技術(shù)相比，本發(fā)明的技術(shù)特點(diǎn)與效果：
[0029] 發(fā)明通過(guò)調(diào)整用來(lái)合成多視點(diǎn)自由立體圖像的視差圖，增強(qiáng)相鄰分隔層的深度差 異，使得人眼能夠感知到場(chǎng)景中物體之間的層次感，有效的增強(qiáng)了顯示圖像的深度感、改善 了立體顯示效果。
【附圖說(shuō)明】
[0030] 圖1給出了未采用本發(fā)明方法的原始視差圖。
[0031] 圖2給出了采用本發(fā)明方法獲得的增強(qiáng)后的視差圖。
[0032] 圖3給出了原始視差圖繪制虛擬視點(diǎn)的合成圖。
[0033] 圖4給出了為采用本發(fā)明方法增強(qiáng)后視差圖繪制虛擬視點(diǎn)的合成圖。
[0034] 圖5給出了技術(shù)方案的流程圖。
【具體實(shí)施方式】
[0035] 本發(fā)明的目的是依據(jù)人眼視覺(jué)深度感知原理，提出面向虛擬多視點(diǎn)繪制的深度感 知增強(qiáng)方法?；谏疃鹊奶摂M視點(diǎn)繪制技術(shù)是目前應(yīng)用最為廣泛的一項(xiàng)3D生成技術(shù)。但 是繪制的相鄰視點(diǎn)由于視差減小，從而會(huì)降低對(duì)象間的深度差異，導(dǎo)致立體顯示的深度感 減弱。本發(fā)明針對(duì)該問(wèn)題通過(guò)對(duì)視差圖進(jìn)行調(diào)整，實(shí)現(xiàn)了面向多虛擬視點(diǎn)繪制的深度感知 增強(qiáng)方法，達(dá)到了改善立體顯示效果的目的。
[0036] 基于深度圖像的虛擬多視點(diǎn)繪制在進(jìn)行自由立體顯示時(shí)，由于相鄰視點(diǎn)間視差會(huì) 大幅度降低，導(dǎo)致觀測(cè)的立體圖像深度感變差。為增強(qiáng)人眼對(duì)3D圖像或視頻的深度感知能 力，本發(fā)明依據(jù)人眼最小可察覺(jué)深度差異（JNDD)原理，實(shí)現(xiàn)了面向虛擬多視點(diǎn)繪制的深度 感知增強(qiáng)，具體的技術(shù)方案分為下列步驟：
[0037] 1:圖像分割
[0038] 為了準(zhǔn)確的表現(xiàn)本發(fā)明的效果，采用手動(dòng)分割方法。手動(dòng)分割是依據(jù)彩色圖的對(duì) 象分布，人工獲得準(zhǔn)確的分割圖。
[0039] 2 :面向虛擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型
[0040] 本發(fā)明分析出最小可察覺(jué)閾值會(huì)隨著繪制中間虛擬視點(diǎn)數(shù)量變化，推導(dǎo)了面向虛 擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型MVR indd，表示如下：
[0041]
[0042] 其中N表示繪制的中間虛擬視點(diǎn)的數(shù)量，α是一個(gè)比例因子表示深度和視差之間 的對(duì)應(yīng)關(guān)系，d表示深度像素值，ρ表示視差像素值。α的計(jì)算公式如下：
[0043]
[0044] 其中Pmax和P min分別表不視差的最大值和最小值。
[0045] 恰可察覺(jué)深度差異模型D;_ (d)表示如下：
[0046]
[0047] 3 :面向虛擬多視點(diǎn)繪制的深度感知增強(qiáng)
[0048] 依據(jù)上述推導(dǎo)出的基于虛擬多視點(diǎn)繪制的恰可察覺(jué)深度差異模型，將視差圖相鄰 層之間小于MVRind^部分進(jìn)行拉伸，達(dá)到MVRindd閾值，從而保證了由不同數(shù)量的虛擬視點(diǎn) 合成的立體圖像的深度效果。基于恰可察覺(jué)深度差異的深度感知增強(qiáng)能量函數(shù)定義如下：
[0049]
[0050] 其中W1是權(quán)重參數(shù)，取值為100,可以根據(jù)圖像大小進(jìn)行調(diào)節(jié)。x°和^分別表示原 始和拉伸后的視差圖的平均像素值。M表示分割圖的分割層數(shù)，也就是場(chǎng)景中物體的數(shù)量， Xl、\對(duì)應(yīng)表示原始視差圖中位于第i、j層的物體的平均像素值。
[0051] 4:虛擬多視點(diǎn)繪制
[0052] 利用上述深度感知增強(qiáng)后的視差圖，采用DIBR技術(shù)進(jìn)行虛擬視點(diǎn)繪制，以8視點(diǎn) 自由立體顯示為例繪制7個(gè)虛擬視點(diǎn)，分別是1/7到7/7視點(diǎn)。繪制的虛擬視點(diǎn)存在空洞， 利