一種用于立體顯示的虛實融合圖像生成方法
【專利摘要】本發(fā)明公開了一種用于立體顯示的虛實融合圖像生成方法，包括：(1)利用單目RGB-D攝像機獲取真實場景的深度圖和彩色圖；(2)重建三維場景表面模型，計算攝像機參數(shù)；(3)映射得到虛擬視點位置的深度圖和彩色圖；(4)完成虛擬物體的三維注冊，渲染得到虛擬物體的深度圖和彩色圖，進行虛實融合，得到用于立體顯示的虛實融合內(nèi)容。本發(fā)明采用單目RGB-D攝像機拍攝，逐幀重建三維場景模型，模型被同時用于攝像機追蹤和虛擬視點映射，能獲取較高的攝像機追蹤精度和虛擬物體注冊精度，能較好的應(yīng)對基于圖像的虛擬視點繪制技術(shù)中出現(xiàn)的空洞，能實現(xiàn)虛實場景的遮擋判斷和碰撞檢測，利用立體顯示設(shè)備可以獲得逼真的立體顯示效果。
【專利說明】-種用于立體顯示的虛實融合圖像生成方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于=維立體成像【技術(shù)領(lǐng)域】，具體設(shè)及一種用于立體顯示的虛實融合圖像 生成方法。

【背景技術(shù)】
[0002] 立體顯示技術(shù)已成為IT、通信、廣電領(lǐng)域的主旋律，也成為人們耳熟能詳?shù)拿~。 隨著立體顯示技術(shù)的日臻完善，人們對3D內(nèi)容的熱情與期待也越來越高。隨著市場需求的 不斷增加，人們正在尋求更加方便快捷低成本的3D內(nèi)容生成方式。虛實融合是指通過電腦 技術(shù)將虛擬信息融入到真實世界的技術(shù)，在醫(yī)學(xué)、娛樂和軍事等領(lǐng)域均有廣泛的應(yīng)用前景。 立體顯示技術(shù)與虛實融合的結(jié)合是大勢所趨，一方面立體顯示技術(shù)為虛實融合提供了更佳 的展示方式，另一方面虛實融合則為3D內(nèi)容制作帶來了新的方法。
[0003] 對于單目攝像機而言，3D內(nèi)容制作的關(guān)鍵在于虛擬視點的生成算法。虛擬視點生 成算法可被分為兩大類：基于模型的虛擬視點繪制技術(shù)和基于圖像的虛擬視點繪制技術(shù)。
[0004] 基于模型的虛擬視點繪制技術(shù)指的是先采用計算機視覺知識重建拍攝場景的= 維模型，然后通過計算機=維圖形擅染技術(shù)繪制得到新的虛擬視點圖像的技術(shù)。該種方法 在結(jié)構(gòu)簡單的場景中可W獲得較好的虛擬視點繪制效果，但是對于復(fù)雜場景，精確=維模 型建立的難度極高，而且所需的運算資源和數(shù)據(jù)量也非常大，因此并不適用于現(xiàn)實世界中 自然場景的虛擬視點繪制。
[0005] 基于圖像的虛擬視點繪制技術(shù)指的是不需要精確的=維場景模型，直接利用攝像 機拍攝的真實圖像，通過雙目或多目攝像機模型，映射出新的虛擬視點圖像的一類技術(shù)。相 比基于模型的虛擬視點繪制技術(shù)，其具有輸入數(shù)據(jù)量小，圖像數(shù)據(jù)獲取簡單，繪制速度快等 諸多優(yōu)點，非常適合自然=維場景的繪制應(yīng)用，但是在視差較大的區(qū)域由于遮擋而產(chǎn)生的 空洞填補問題難W解決。
[0006] 攝像機追蹤技術(shù)是虛實融合中最為關(guān)鍵的技術(shù)，它是指系統(tǒng)應(yīng)該能夠?qū)崟r精確的 計算攝像機所處的位置。在虛實融合系統(tǒng)中，攝像機追蹤技術(shù)直接關(guān)系到虛擬物體能否始 終正確的被安放到正確的位置，將決定虛實融合效果的穩(wěn)定性和真實感。最初的虛實融合 系統(tǒng)采用基于標(biāo)記的方法進行攝像機追蹤，使用特殊圖形作為標(biāo)記來估計攝像機的運動姿 態(tài)，該種方法相對比較簡單，但是由于追蹤依賴特殊標(biāo)記物完成，因此使用場景并不廣泛。
[0007] 上世紀(jì)九十年代，Smith和化eeseman等人給出了即時定位與地圖構(gòu)建（SLAM)的 基于估計理論的解決方案，通過提取圖像特征點構(gòu)建稀疏的特征點云，再利用特征點云進 行攝像機追蹤。在此基礎(chǔ)之上，不斷涌現(xiàn)出許多基于單目RGB攝像機的攝像機追蹤方案，如 化vision提出的MonoSLAM系統(tǒng)，Klein等人提出的PTAM(并行跟蹤和定位）算法，使研究 者可W進行靈活的無需標(biāo)記的=維注冊，但是追蹤精度仍然不夠高。


【發(fā)明內(nèi)容】

[000引針對現(xiàn)有技術(shù)所存在的上述技術(shù)問題，本發(fā)明提供了一種用于立體顯示的虛實融 合圖像生成方法，能獲取較高的攝像機追蹤精度和虛擬物體注冊精度，能較好的應(yīng)對基于 圖像的虛擬視點繪制技術(shù)中出現(xiàn)的空洞。
[0009] 一種用于立體顯示的虛實融合圖像生成方法，包括如下步驟：
[0010] (1)利用單目RGB-D(紅綠藍(lán)S原色加距離深度）攝像機采集獲取單目RGB-D攝像 機視點關(guān)于場景當(dāng)前帖的深度圖Df k和色彩圖C t k;
[0011] (2)利用前一帖的S維場景重建模型確定當(dāng)前帖的單目RGB-D攝像機參數(shù)，并利 用深度圖Df k和色彩圖Cfk對所述的=維場景重建模型進行更新，得到當(dāng)前帖的=維場景 重建模型；
[0012] (3)根據(jù)采集到的深度圖Df k和色彩圖Cf kW當(dāng)前帖的S維場景重建模型作為指 導(dǎo)，利用雙目攝像機模型通過映射得到虛擬攝像機視點關(guān)于場景當(dāng)前帖的深度圖Dy k和色 彩圖CyJ^;
[0013] (4)對虛擬物體進行=維注冊并擅染得到單目RGB-D攝像機視點和虛擬攝像機視 點關(guān)于虛擬物體的深度圖和彩色圖；利用兩個視點關(guān)于場景和虛擬物體的深度圖進行遮擋 判斷和碰撞檢測W對兩個視點關(guān)于場景和虛擬物體的色彩圖進行融合，得到用于立體顯示 的虛實融合圖像。
[0014] 所述步驟（2)的具體過程如下：
[0015] 2. 1從前一帖的S維場景重建模型中提取出單目RGB-D攝像機視點關(guān)于場景前一 帖的深度圖Df k_i;
[0016] 2. 2對當(dāng)前帖深度圖Dr k和前一帖深度圖D r k-進行匹配，計算出當(dāng)前帖的單目 RGB-D攝像機參數(shù)；
[0017] 2. 3從匹配過程的局外點中濾波得到運動物體區(qū)域，W運動物體區(qū)域作為模板從 當(dāng)前帖的深度圖Df k和色彩圖C t k中分離出運動物體和靜態(tài)背景；
[0018] 2. 4根據(jù)當(dāng)前帖的單目RGB-D攝像機參數(shù)利用當(dāng)前帖靜態(tài)場景的深度信息和色彩 信息，采用體集成算法對前一帖的=維場景重建模型進行更新，得到當(dāng)前帖的=維場景重 建模型。
[0019] 優(yōu)選地，利用Raycast算法從前一帖的S維場景重建模型中提取出單目RGB-D攝 像機視點關(guān)于場景前一帖的深度圖Df k_i。
[0020] 優(yōu)選地，采用ICP (迭代最近點）算法對深度圖Df k和深度圖D t k_i進行匹配。
[0021] 所述的局外點為當(dāng)前帖深度圖Df k中與前一帖深度圖D t k_i未匹配上的像素點。
[0022] 所述的步驟2. 3中，從當(dāng)前帖深度圖Df k的局外點中濾除掉屬于場景中物體邊緣 上的局外點、單目RGB-D攝像機無法獲取到深度值的局外點W及零星小塊聚集的局外點， 從而得到運動物體區(qū)域。
[0023] 所述步驟（3)的具體過程如下：
[0024] 3. 1將當(dāng)前帖的單目RGB-D攝像機參數(shù)代入雙目攝像機模型中計算得到當(dāng)前帖的 虛擬攝像機參數(shù)，根據(jù)所述的虛擬攝像機參數(shù)從當(dāng)前帖的=維場景重建模型中提取出虛擬 攝像機視點關(guān)于場景當(dāng)前帖的深度圖Dyl k和色彩圖C YU;
[0025] 3. 2根據(jù)雙目攝像機模型，從當(dāng)前帖深度圖Df k映射得到虛擬攝像機視點關(guān)于場 景當(dāng)前帖的深度圖Dv2 k;
[0026] 3. 3對映射得到的當(dāng)前帖深度圖中的重采樣空洞進行填補；
[0027] 3. 4根據(jù)填補后的深度圖IVk和雙目攝像機模型，從當(dāng)前帖色彩圖C t k映射得到 虛擬攝像機視點關(guān)于場景當(dāng)前帖的色彩圖(；2 k;
[002引 3. 5利用提取得到的當(dāng)前帖深度圖Dyi k和色彩圖Cyu對映射得到的當(dāng)前帖的深度 圖Dy2 k和色彩圖Cy2j^進行遮擋空洞填補，最終得到虛擬攝像機視點關(guān)于場景當(dāng)前帖的深度 圖Dy k和色彩圖Cy k。
[0029] 優(yōu)選地，利用Raycast算法從當(dāng)前帖的S維場景重建模型中提取出虛擬攝像機視 點關(guān)于場景當(dāng)前帖的深度圖Dyl k和色彩圖C YU。
[0030] 本發(fā)明采用單目RGB-D攝像機拍攝，逐帖重建S維場景模型，模型被同時用于攝 像機追蹤和虛擬視點映射，能獲取較高的攝像機追蹤精度和虛擬物體注冊精度，能較好的 應(yīng)對基于圖像映射的虛擬視點繪制技術(shù)中出現(xiàn)的空洞，能實現(xiàn)虛實場景的遮擋判斷和碰撞 檢測，利用3D立體顯示設(shè)備可W獲得逼真的立體顯示效果。

【專利附圖】

【附圖說明】
[0031] 圖1為本發(fā)明攝像機追蹤模塊的處理流程示意圖。
[0032] 圖2為本發(fā)明虛擬視點繪制模塊的處理流程示意圖。

【具體實施方式】
[0033] 為了更為具體地描述本發(fā)明，下面結(jié)合附圖及【具體實施方式】對本發(fā)明的技術(shù)方案 進行詳細(xì)說明。
[0034] 本發(fā)明用于立體顯示的虛實融合圖像生成方法，包括如下步驟：
[0035] (1)利用單目RGB-D攝像機進行場景深度信息和顏色信息的獲取。
[0036] (2)利用攝像機追蹤模塊根據(jù)=維場景重建模型確定每帖的攝像機參數(shù)，同時逐 帖將場景深度信息和顏色信息融入=維場景重建模型中。
[0037] 2. 1利用Raycast算法，根據(jù)保存的上一帖的攝像機姿態(tài)從S維場景重建模型中 提取出上一帖的深度圖；
[003引 2. 2對當(dāng)前帖的深度圖進行預(yù)處理。利用ICP算法，對上一帖和當(dāng)前帖的深度圖進 行匹配，計算從上一帖到當(dāng)前帖的攝像機運動，進而計算出當(dāng)前帖的攝像機參數(shù)；
[0039] 2. 3從匹配過程的局外點中濾波得到運動物體區(qū)域，W運動物體區(qū)域作為模板在 當(dāng)前帖深度圖Df k和當(dāng)前帖色彩圖C t k中分離出運動物體和靜態(tài)背景；
[0040] 2. 4利用體集成算法，根據(jù)當(dāng)前帖的攝像機參數(shù)，將當(dāng)前帖中靜態(tài)場景的深度信息 和彩色信息融入S維場景重建模型。該模型是一個S維空間中的正方體，該模型由許多大 小均勻的小正方體組成，每個小正方體存儲其所代表的空間位置的加權(quán)TSDF值和加權(quán)顏 色值。
[004U 如圖1所示，攝像機追蹤模塊采用的是基于模型的攝像機追蹤方法，利用逐帖重 建的=維場景表面模型作為匹配對象，并從匹配局外點中分離出運動物體，提高攝像機抗 干擾追蹤能力。本實施方式采用單目RGB-D攝像機作為采集設(shè)備，攝像機追蹤過程僅適用 深度信息進行匹配。首先需要對攝像機進行標(biāo)定，W獲取攝像機內(nèi)參。每帖深度信息獲取 之后需要對深度圖進行降噪處理，本實施方式采用雙邊濾波器進行濾波。根據(jù)攝像機內(nèi)參， 可W將深度圖映射成為攝像機坐標(biāo)系下的=維點云。假設(shè)攝像機運動平緩，可W利用ICP 算法對當(dāng)前帖的點云和前一帖的點云進行快速匹配，獲得前一帖和當(dāng)前帖攝像機的相對運 動，進而根據(jù)前一帖攝像機參數(shù)計算出當(dāng)前帖攝像機參數(shù)，其中ICP算法采用的是點面距 能量公式化下：
[0042]

【權(quán)利要求】
1. 一種用于立體顯示的虛實融合圖像生成方法，包括如下步驟： (1) 利用單目RGB-D攝像機采集獲取單目RGB-D攝像機視點關(guān)于場景當(dāng)前幀的深度圖k和色彩圖Cd (2) 利用前一幀的三維場景重建模型確定當(dāng)前幀的單目RGB-D攝像機參數(shù)，并利用深 度圖D, k和色彩圖C , k對所述的三維場景重建模型進行更新，得到當(dāng)前幀的三維場景重建 豐旲型； (3) 根據(jù)采集到的深度圖I\ k和色彩圖C u以當(dāng)前幀的三維場景重建模型作為指導(dǎo)， 利用雙目攝像機模型通過映射得到虛擬攝像機視點關(guān)于場景當(dāng)前幀的深度圖Dv k和色彩圖 Cv-k; (4) 對虛擬物體進行三維注冊并渲染得到單目RGB-D攝像機視點和虛擬攝像機視點關(guān) 于虛擬物體的深度圖和彩色圖；利用兩個視點關(guān)于場景和虛擬物體的深度圖進行遮擋判斷 和碰撞檢測以對兩個視點關(guān)于場景和虛擬物體的色彩圖進行融合，得到用于立體顯示的虛 實融合圖像。
2. 根據(jù)權(quán)利要求1所述的虛實融合圖像生成方法，其特征在于：所述步驟（2)的具體 過程如下： 2. 1從前一幀的三維場景重建模型中提取出單目RGB-D攝像機視點關(guān)于場景前一幀的 深度圖Dm; 2. 2對當(dāng)前幀深度圖D, k和前一幀深度圖D 進行匹配，計算出當(dāng)前幀的單目RGB-D 攝像機參數(shù)； 2. 3從匹配過程的局外點中濾波得到運動物體區(qū)域，以運動物體區(qū)域作為模板從當(dāng)前 幀的深度圖I\ k和色彩圖C^k中分離出運動物體和靜態(tài)背景； 2. 4根據(jù)當(dāng)前幀的單目RGB-D攝像機參數(shù)利用當(dāng)前幀靜態(tài)場景的深度信息和色彩信 息，采用體集成算法對前一幀的三維場景重建模型進行更新，得到當(dāng)前幀的三維場景重建 模型。
3. 根據(jù)權(quán)利要求2所述的虛實融合圖像生成方法，其特征在于：利用Raycast算法從 前一幀的三維場景重建模型中提取出單目RGB-D攝像機視點關(guān)于場景前一幀的深度圖 k-l°
4. 根據(jù)權(quán)利要求2所述的虛實融合圖像生成方法，其特征在于：采用ICP算法對深度 圖Dr_k和深度圖D r ^進行匹配。
5. 根據(jù)權(quán)利要求2所述的虛實融合圖像生成方法，其特征在于：所述的局外點為當(dāng)前 幀深度圖k中與前一幀深度圖L h未匹配上的像素點。
6. 根據(jù)權(quán)利要求2所述的虛實融合圖像生成方法，其特征在于：所述的步驟2. 3中，從 當(dāng)前幀深度圖I\ k的局外點中濾除掉屬于場景中物體邊緣上的局外點、單目RGB-D攝像機 無法獲取到深度值的局外點以及零星小塊聚集的局外點，從而得到運動物體區(qū)域。
7. 根據(jù)權(quán)利要求1所述的虛實融合圖像生成方法，其特征在于：所述步驟（3)的具體 過程如下： 3. 1將當(dāng)前幀的單目RGB-D攝像機參數(shù)代入雙目攝像機模型中計算得到當(dāng)前幀的虛擬 攝像機參數(shù)，根據(jù)所述的虛擬攝像機參數(shù)從當(dāng)前幀的三維場景重建模型中提取出虛擬攝像 機視點關(guān)于場景當(dāng)前幀的深度圖Dvl k和色彩圖C vl k; 3. 2根據(jù)雙目攝像機模型，從當(dāng)前幀深度圖Du映射得到虛擬攝像機視點關(guān)于場景當(dāng) 前幀的深度圖Dv2 k; 3. 3對映射得到的當(dāng)前幀深度圖Dv2 k中的重采樣空洞進行填補； 3. 4根據(jù)填補后的深度圖Dv2 k和雙目攝像機模型，從當(dāng)前幀色彩圖C u映射得到虛擬 攝像機視點關(guān)于場景當(dāng)前幀的色彩圖Cv2 k; 3. 5利用提取得到的當(dāng)前幀深度圖Dvl k和色彩圖Cvl k對映射得到的當(dāng)前幀的深度圖 Dv2 k和色彩圖C v2 k進行遮擋空洞填補，最終得到虛擬攝像機視點關(guān)于場景當(dāng)前幀的深度圖 Dv k和色彩圖C v k。
8.根據(jù)權(quán)利要求7所述的虛實融合圖像生成方法，其特征在于：利用Raycast算法從 當(dāng)前幀的三維場景重建模型中提取出虛擬攝像機視點關(guān)于場景當(dāng)前幀的深度圖Dvl k和色 彩圖Cvl k。
【文檔編號】G06T7/00GK104504671SQ201410765678
【公開日】2015年4月8日 申請日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】張駿飛, 王梁昊, 李東曉, 張明 申請人:浙江大學(xué)