專利名稱：感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視點(diǎn)繪制方法，特別是一種基于感興趣區(qū)域增強(qiáng)的新視點(diǎn)繪制方
法。
背景技術(shù)：
三維電視系統(tǒng)以其獨(dú)特的立體感、沉浸感及漫游特性而受到越來越多的關(guān)注。而 多視視頻已經(jīng)廣泛的應(yīng)用于三維電視系統(tǒng)，因此基于多視視頻的繪制技術(shù)也受到越來越多 的關(guān)注，根據(jù)繪制技術(shù)所采用幾何量的多少，可以分為三類無幾何信息的表示；隱含幾何 信息的表示；有明確幾何信息的表示。其中最著名的就是光場繪制，它由于不需采用任何幾 何信息，而且能在虛擬視點(diǎn)上生成高質(zhì)量的圖像。采樣定理表明如果我們有更多的場景信 息的話(例如深度)可以獲得更多令人滿意的圖像，因此，如果我們將原始的場景用足夠多 的深度層來繪制的話，將會(huì)得到一個(gè)好的繪制結(jié)果。但是，隨著深度層的增加計(jì)算時(shí)間將線 性上升。因此，在繪制過程中需解決繪制效果和時(shí)間復(fù)雜度的平衡。Isaksen等人在此基礎(chǔ)上引入了可移動(dòng)虛擬焦平面(VFP)的概念，從而將繪制技 術(shù)推進(jìn)到一個(gè)新階段。該方法可以改變攝像機(jī)焦距，合成位于任意焦平面上的場景物體。如 果物體的實(shí)際深度不在虛擬的焦平面上，那么繪制結(jié)果往往不盡如人意，產(chǎn)生模糊和重影。 為了提高繪制效果，研究者們又在此基礎(chǔ)上做出許多改進(jìn)，例如將場景深度信息引入繪制 當(dāng)中，或者離線預(yù)先構(gòu)架場景模型，K. Takahashi等人提出了一種獨(dú)創(chuàng)的測度——聚焦測度 (相當(dāng)于一種代價(jià)函數(shù))來獲得完全聚焦型繪制結(jié)果，Xun Cao等人在此基礎(chǔ)上采用多個(gè)虛 擬焦平面，然后再將各個(gè)合成場景中清晰部分通過清晰度函數(shù)測量，拼合成一個(gè)全清晰的 場景圖。某些研究者也通過簡化幾何模型來減少運(yùn)算所需的時(shí)間，但在實(shí)踐中發(fā)現(xiàn)精確的 幾何信息的計(jì)算非常困難。對于繪制端的重建而言，人眼始終是最終的信號接受者，因此，繪制算法應(yīng)該考慮 到人眼的視覺關(guān)注度，只有這樣才能在解碼端獲得較好主觀質(zhì)量的重建圖像。為了保證在關(guān)注度較高的區(qū)域獲得較好的主觀質(zhì)量，并且在整個(gè)視頻編碼端有較 少的傳輸帶寬，本發(fā)明提供一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法。對于之前的其它方法，本 方法根據(jù)標(biāo)識出的感興趣區(qū)域?qū)ο∈璧纳疃葓D進(jìn)行增強(qiáng)，充分考慮人眼的視覺關(guān)注度，然 后通過增強(qiáng)后的深度圖，根據(jù)相機(jī)參數(shù)和幾何場景進(jìn)行視點(diǎn)繪制，從而得到新的視點(diǎn)圖像。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法。相對于現(xiàn)有的其它方 法，本方法根據(jù)標(biāo)識出的感興趣區(qū)域?qū)ο∈璧纳疃葓D進(jìn)行增強(qiáng)，然后通過增強(qiáng)后的深度圖， 根據(jù)相機(jī)參數(shù)和幾何場景進(jìn)行視點(diǎn)繪制，從而得到新的視點(diǎn)圖像。為達(dá)到上述目的，本發(fā)明的構(gòu)思是首先根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息建立光場相機(jī)采集方式相機(jī)幾何模型，然 后計(jì)算出感興趣區(qū)域，通過標(biāo)識出的感興趣區(qū)域?qū)υ鞠∈璧纳疃葓D進(jìn)行增強(qiáng)，然后通過增強(qiáng)后的深度圖，根據(jù)相機(jī)參數(shù)和幾何場景進(jìn)行光場繪制，從而得到新的視點(diǎn)圖像。根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法。其特征在于首先根據(jù)采集系統(tǒng)參數(shù)，場景 幾何信息，建立相機(jī)的幾何模型。接著根據(jù)光場相機(jī)的幾何模型確定虛擬相機(jī)周圍的各個(gè) 相機(jī)。其次對鄰近的相機(jī)圖像，通過編碼端的塊匹配算法得出初始視差場，然后進(jìn)行感興趣 區(qū)域分析和檢測，接著加強(qiáng)感興趣區(qū)域的原始深度信息。最后用相機(jī)的幾何模型和加強(qiáng)后 的深度信息進(jìn)行虛擬視點(diǎn)的繪制。其具體步驟是(1)建立相機(jī)幾何模型針對采集系 統(tǒng)參數(shù)及場景信息建立相機(jī)幾何模型，并且 根據(jù)光場相機(jī)的幾何模型確定虛擬相機(jī)周圍的各個(gè)相機(jī)；(2)初始視差圖的計(jì)算、感興趣區(qū)域分析和檢測根據(jù)相機(jī)幾何模型得到最鄰近 的相機(jī)圖像，通過塊匹配算法得出初始視差圖；感興趣區(qū)域分析和檢測用經(jīng)典的Itti模 型得到感興趣區(qū)域，并進(jìn)行分析；(3)基于感興趣區(qū)域深度信息的加強(qiáng)利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔?進(jìn)行加強(qiáng)；(4)虛擬視點(diǎn)的繪制方法根據(jù)相機(jī)的幾何模型和加強(qiáng)后的深度信息完成虛擬視 點(diǎn)的繪制，生成新視點(diǎn)。本發(fā)明與已有技術(shù)相比較，具有如下顯而易見的實(shí)質(zhì)性突出特點(diǎn)和顯著優(yōu)點(diǎn)之 前方法大多通過復(fù)雜的深度計(jì)算或者簡化幾何模型的方法來進(jìn)行重建，在實(shí)際應(yīng)用中很難 實(shí)現(xiàn)，而本發(fā)明則通過理論分析，根據(jù)人眼視覺特點(diǎn)采用基于感興趣區(qū)域增強(qiáng)的深度圖的 繪制，大大降低了重建新視點(diǎn)的計(jì)算復(fù)雜度，從而易于應(yīng)用實(shí)現(xiàn)。實(shí)驗(yàn)驗(yàn)證，可以得到良好 的重建質(zhì)量，對多視點(diǎn)系統(tǒng)的視點(diǎn)重建具有參考價(jià)值。


圖1是本發(fā)明的一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法流程框圖。圖2是圖1中的建立相機(jī)幾何模型的程序框圖。圖3是圖1中的感興趣區(qū)域分析和檢測的程序框圖。圖4是圖1中的基于感興趣區(qū)域深度信息增強(qiáng)的程序框圖。圖5是圖1中的虛擬視的繪制方法的程序框圖。圖6是視點(diǎn)重建結(jié)果圖。
具體實(shí)施例方式本發(fā)明的一個(gè)實(shí)施例子結(jié)合附圖詳述如下本感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法的具體步驟如圖1流程框圖所示。對于實(shí)際場 景通過相機(jī)采集及顯示系統(tǒng)進(jìn)行實(shí)驗(yàn)，圖7給出視點(diǎn)重建結(jié)果。參見圖1，其步驟是(1)建立相機(jī)幾何模型針對采集系統(tǒng)參數(shù)及場景信息建立相機(jī)幾何模型，并且 根據(jù)光場相機(jī)的幾何模型確定虛擬相機(jī)周圍的各個(gè)相機(jī)；(2)計(jì)算初始視差圖、感興趣區(qū)域分析和檢測根據(jù)相機(jī)幾何模型得到最鄰近的 相機(jī)圖像，通過編碼端的塊匹配算法得出初始視差圖，并用經(jīng)典的Itti模型得到參考圖像的感興趣區(qū)域，并進(jìn)行分析；(3)基于感興趣區(qū)域深度信息的加強(qiáng)利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔?進(jìn)行加強(qiáng)；(4)虛擬視點(diǎn)的繪制方法根據(jù)相機(jī)的幾何模型和加強(qiáng)后的深度信息完成虛擬視 點(diǎn)繪制，生成新視點(diǎn)。參見圖2，上述步驟(1)的具體過程如下(a)確定相機(jī)系統(tǒng)信息(相機(jī)分辨率、虛擬相機(jī)分辨率、相機(jī)鏡頭焦距、相機(jī)陣列 擺放姿態(tài)和相機(jī)間距)，量化相機(jī)幾何模型參數(shù)；(b)根據(jù)相機(jī)系統(tǒng)參數(shù)信息確定虛擬相機(jī)周圍的各個(gè)相機(jī)；(c)由步驟(a)和步驟(b)所得參數(shù)建立相機(jī)幾何模型，其場景及相機(jī)參數(shù)如表1 所示。表 1 經(jīng)研究發(fā)現(xiàn)，當(dāng)人們?yōu)g覽圖像時(shí)，人眼視覺系統(tǒng)會(huì)對圖像中部分感興趣的區(qū)域做 出響應(yīng)，即與周圍其他部分相比此部分內(nèi)容更具有“顯著性”，顯著部分的區(qū)域稱為顯著區(qū)， 表達(dá)了人們對顯著區(qū)圖像的關(guān)注，這個(gè)過程成為視覺感知。最經(jīng)典的感興趣區(qū)域計(jì)算模型是由美國加州大學(xué)Itti提出，用于目標(biāo)檢測與識 另IJ，根據(jù)相機(jī)幾何模型得到最鄰近的相機(jī)圖像，通過編碼端的塊匹配算法得出初始視差圖， 并用經(jīng)典的Itti模型得到參考圖像的感興趣區(qū)域，并進(jìn)行分析。見圖3，上述步驟(2)中的 的具體過程如下(a)特征顯著度通過計(jì)算視點(diǎn)圖像I (x，y)的區(qū)域中心c和周邊s的高斯差分DOG 得到，公式如下 其中，δ。和δ s分別表示中心c和周邊s的尺度因子，這種中央和周邊的差計(jì)算 用Θ表示。(b)計(jì)算亮度關(guān)注圖I (c，s) = |l(c) Θ I(s)其中，I表示亮度，θ表示中央周邊差。
(c)計(jì)算顏色關(guān)注圖RG (c，s) = |R(c)-G(c) | Θ |G(s)-R (s)BY (c，s) = IB (c) -Y (C) | Θ |Y(s) -B (s)其中，RG表示紅色R和綠色G色差，BY表示藍(lán)色B和黃色Y色差。(d)計(jì)算方向關(guān)注度0(c，s，θ) = 0(c, θ ) 0(s, θ)
其中，0表示方向，θ表示方向角度。(e)將三個(gè)方向上的關(guān)注度進(jìn)行歸一化，得到最終的顯著圖salicy Itti模型從輸入圖像中提取亮度、顏色、方向等特征然后進(jìn)行分析、融合得到最終 顯著圖。在計(jì)算獲取初始視差的過程中，通常在紋理較少或者遮擋區(qū)域內(nèi)容易發(fā)生匹配誤 差，特別是感興趣區(qū)域內(nèi)部更加敏感，因此不容易獲取準(zhǔn)確的感興趣區(qū)域的深度。我們可以 用下面的方法對原始深度信息進(jìn)行增強(qiáng)；參見圖4，上述步驟(3)的具體過程如下(a)利用編碼端的塊匹配算法來計(jì)算出某個(gè)視點(diǎn)相機(jī)拍攝結(jié)果相對于參考視點(diǎn)相 機(jī)拍攝結(jié)果的視差圖，根據(jù)分割算法對參考視點(diǎn)進(jìn)行分割，得到各個(gè)分割塊S1Oc, y)(b)根據(jù)以下公式完成對深度圖的加強(qiáng)DEPTH(Si(Xj))=I Σ DEPTH {SXx, y))其中，DEPTH代表深度值，salicy表示步驟(2)中得到的顯著圖(c)利用步驟(1)確定的場景信息，將視差轉(zhuǎn)成場景深度信息，并利用采樣定理確 定最佳繪制深度 其中Z。pt是理想的繪制深度，Zfflin和Zmax表示最小和最大的景深，這是采樣定理表 明的理想的繪制深度。參見圖5，上述步驟(4)的具體過程如下(a)根據(jù)相機(jī)模型及場景幾何信息，將投影點(diǎn)映射到空間，利用三維圖像變換方 程，已知空間中某點(diǎn)P在圖像平面上的投影點(diǎn)P (x, y)以及P的深度值Z，則可以得到X與Y 的值，從而得到P點(diǎn)的世界坐標(biāo) 其中，(…，力，…與(u2，v2，l)T分別為點(diǎn)在圖像坐標(biāo)系下的齊次坐標(biāo)，(X， Y，Z，1)為點(diǎn)X在世界坐標(biāo)系下的齊次坐標(biāo)，Zcl和Z。2分別表示P點(diǎn)在第一個(gè)和第二個(gè)攝像 機(jī)坐標(biāo)系中的Z坐標(biāo)，P和P’分別為第一個(gè)攝像機(jī)和第二個(gè)攝像機(jī)的投影矩陣。Z代表場景的深度信息，最鄰近相機(jī)用步驟(4)得到的深度，其余鄰域相機(jī)用最佳 景深來代替。(b)那么對于空間中任意一點(diǎn)P，若已知它的世界坐標(biāo)P= (X，Y，Z，1)T，在步驟(a) 中消去Z。，就可以求出P在圖像平面上的像素坐標(biāo)P (u，V) 其中P為3X4的矩陣，稱為投影矩陣，由攝像機(jī)內(nèi)部參數(shù)及攝像機(jī)外部參數(shù)決定。(c)在邊界的背景區(qū)域用鄰域視點(diǎn)的最佳景深進(jìn)行合成。生成新視點(diǎn)，如圖6所示。圖6中(a)、(b)分別為按照本發(fā)明所述方法生成的新視點(diǎn)圖像。其中(a)為相對 世界坐標(biāo)的平移向量為{365. 482469,246. 047360,4066. 908006}的虛擬相機(jī)生成的新視 點(diǎn)圖像，(b)為相對世界坐標(biāo)的平移向量為{365. 482469,200. 047360,4066. 908006}的虛 擬相機(jī)生成的新視點(diǎn)圖像。按照本發(fā)明所述方法，由圖中可以直觀地看出圖像的主觀質(zhì)量 良好，因此驗(yàn)證了本發(fā)明的有效性。
權(quán)利要求
一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法。其特征在于首先針對采集系統(tǒng)參數(shù)、場景幾何信息，建立相機(jī)的幾何模型；接著根據(jù)光場相機(jī)的幾何模型確定虛擬相機(jī)周圍的各個(gè)相機(jī)；其次對鄰近的相機(jī)圖像，通過編碼端塊匹配算法得出視差信息，然后進(jìn)行感興趣區(qū)域分析和檢測，利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔⑦M(jìn)行加強(qiáng)；最后用相機(jī)的幾何模型和加強(qiáng)后的深度信息完成虛擬視點(diǎn)的繪制。其具體步驟是(1)建立相機(jī)幾何模型針對采集系統(tǒng)參數(shù)及場景信息建立相機(jī)幾何模型，并且根據(jù)光場相機(jī)的幾何模型確定虛擬相機(jī)周圍的各個(gè)相機(jī)；(2)計(jì)算初始視差圖、感興趣區(qū)域分析和檢測根據(jù)相機(jī)幾何模型得到最鄰近的相機(jī)圖像，通過編碼端的塊匹配算法得出初始視差圖；并用經(jīng)典的Itti模型對參考圖像分析、檢測、得到感興趣區(qū)域；(3)基于感興趣區(qū)域深度信息的加強(qiáng)利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔⑦M(jìn)行加強(qiáng)；(4)虛擬視點(diǎn)的繪制方法根據(jù)相機(jī)的幾何模型和加強(qiáng)后的深度信息完成虛擬視點(diǎn)的繪制，生成新視點(diǎn)。
2.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法，其特征在于所述步驟(1) 中的相機(jī)幾何模型的建立，具體步驟如下(a)確定相機(jī)系統(tǒng)信息_相機(jī)分辨率、虛擬相機(jī)分辨率、相機(jī)鏡頭焦距、相機(jī)陣列擺放 姿態(tài)和相機(jī)間距，量化相機(jī)幾何模型參數(shù)；(b)根據(jù)相機(jī)系統(tǒng)參數(shù)信息確定虛擬相機(jī)周圍的各個(gè)相機(jī)；(c)由步驟(a)和步驟(b)所得參數(shù)建立相機(jī)幾何模型。
3.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法，其特征在于所述步驟(2) 中的感興趣區(qū)域分析和檢測，具體步驟如下(a)特征顯著度通過計(jì)算視點(diǎn)圖像I(x，y)的區(qū)域中心c和周邊s的高斯差分DOG得 到，這種中央和周邊的差計(jì)算用 表示；(b)計(jì)算亮度關(guān)注圖I(c, s) = I (c) I (s)其中，I表示亮度；(c)計(jì)算顏色關(guān)注圖RG(c, s) = R(c)-G(c) | G(s)-R(s)BY(c, s) = B(c)-Y(c) | Y(s)-B(s)其中，RG表示紅色R和綠色G色差，BY表示藍(lán)色B和黃色Y色差。(d)計(jì)算方向關(guān)注度0(c，s, 0 ) = |0(c，0 ) 0(s, 0 )其中，，0表示方向，0表示方向角度。(e)將三個(gè)方向上的關(guān)注度進(jìn)行歸一化，得到最終的顯著圖salicyI = N(I(c,s))C = N(RG(c,s)) + N(BY(c>S))O = YHN(O(c,s,0))) N代表對函數(shù)進(jìn)行歸一化，/、c. d分別代表亮度、顏色、方向上的歸一化求和后的關(guān) 注度，salicy為最終得到的顯著圖。
4.根據(jù)權(quán)利要求3所述的感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法，其特征在于所述步驟(3) 中的基于感興趣區(qū)域深度信息的加強(qiáng)，具體步驟如下(a)利用編碼端的塊匹配算法來計(jì)算出某個(gè)視點(diǎn)相機(jī)拍攝結(jié)果相對于參考視點(diǎn)相機(jī)拍 攝結(jié)果的視差圖，根據(jù)分割算法對參考視點(diǎn)進(jìn)行分割，得到各個(gè)分割塊31(^ y)；(b)根據(jù)以下公式完成深度圖的加強(qiáng) 其中，DEPTH代表深度值。salicy為權(quán)利3中的顯著圖；(c)根據(jù)步驟(1)確定的場景信息，利用場景信息將視差轉(zhuǎn)成場景深度信息，并利用采 樣定理確定最佳繪制深度 其中d表示該點(diǎn)的視差值，d_表示場景的最大視差值，Z。pt是理想的繪制深度，Zfflin和 Z_表示最小和最大的景深。
5.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法，其特征在于所述步驟(4) 中的虛擬視點(diǎn)的繪制方法，具體步驟如下(a)根據(jù)相機(jī)模型及場景幾何信息將投影點(diǎn)映射到空間，利用三維圖像變換方程，已知 空間中某點(diǎn)P在參考攝像機(jī)(^平面上的投影點(diǎn)(Ul，Vl)Ts以及P的深度值Z，則可以得到P 點(diǎn)的世界坐標(biāo) 其中，(Ui，。1與(u2，v2)T分別為在參考攝像機(jī)Ci平面和目標(biāo)攝像機(jī)C2平面上的圖像 坐標(biāo)系下的齊次坐標(biāo)；(X，Y，z，i)T為點(diǎn)p在世界坐標(biāo)系下的齊次坐標(biāo)；z。i和z。2分別表示 p點(diǎn)在第一個(gè)和第二個(gè)攝像機(jī)坐標(biāo)系中的z坐標(biāo)；p和P’分別為第一個(gè)攝像機(jī)和第二個(gè)攝3像機(jī)的投影矩陣，由攝像機(jī)內(nèi)部參數(shù)及攝像機(jī)外部參數(shù)決定；Z代表場景的深度信息，最鄰近相機(jī)用步驟(4)得到的深度，其余鄰域相機(jī)用最佳景深 來代替；(b)那么對于空間中任意一點(diǎn)P，若已經(jīng)求得它的世界坐標(biāo)P=(X，Y，Z，1)T，在步驟(a) 中消去Z。，就可以求出P在另一圖像平面上的像素坐標(biāo)(u2，v2) (c)在邊界的背景區(qū)域用鄰域視點(diǎn)的最佳景深進(jìn)行合成。
全文摘要
本發(fā)明的目的是提供一種感興趣區(qū)域增強(qiáng)的視點(diǎn)繪制方法。本發(fā)明針對光場相機(jī)的采集方式，首先根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息建立光場相機(jī)采集方式的相機(jī)幾何模型，然后計(jì)算出感興趣區(qū)域，通過標(biāo)識出的感興趣區(qū)域?qū)υ鞠∈璧纳疃葓D進(jìn)行增強(qiáng)；然后利用增強(qiáng)后的深度圖，根據(jù)相機(jī)參數(shù)和幾何場景進(jìn)行光場繪制，從而得到新的視點(diǎn)圖像。對本方法的測試表明，本發(fā)明可以得到良好的視點(diǎn)重建質(zhì)量。
文檔編號H04N13/00GK101883291SQ20101021541
公開日2010年11月10日 申請日期2010年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者安平, 張倩, 張兆楊 申請人:上海大學(xué)