基于背景提取與分區(qū)修復的dibr空洞填補方法
【專利摘要】本發(fā)明涉及一種基于背景提取與分區(qū)修復的DIBR空洞填補方法，首先利用視頻序列重建背景圖像和背景深度圖：利用視頻序列和與之對應的深度圖序列，比較每個像素點在每幀畫面中所對應的深度值，將深度值最大時的像素作為背景圖像的像素，通過逐幀比較獲得真實的背景圖像和與之對應的背景深度圖；其次，計算畫面中前景圖像區(qū)域；最后，針對不同區(qū)域采取不同策略填補空洞。本發(fā)明對不同區(qū)域的空洞采取不同的填充方法，從而獲得較為可靠和真實的填補效果，從實驗結果來看，本文方法獲得的PSNR數(shù)據(jù)優(yōu)于其他算法，并且與真實視點比較的結構相似度達到99.1%，比傳統(tǒng)方法提高超過10%。
【專利說明】基于背景提取與分區(qū)修復的DIBR空洞填補方法
【技術領域】
[0001]本發(fā)明涉及一種基于背景提取與分區(qū)修復的DIBR空洞填補方法。
【背景技術】
[0002]近年來3D顯示技術迅速發(fā)展，其基本原理是通過人的雙眼接收兩幅具有一定視差的圖像，大腦將圖像進行融合而形成立體感。常見的3D視頻的獲取方法是采用兩個攝像機同時進行拍攝，獲得左右兩個視點的圖像信息。另一個方法是采集一幅視頻圖像的同時，采集與之對應的深度圖，深度圖顯示了視頻中每個像素到攝像機的距離，然后通過基于深度圖的繪制技術(DIBR)獲得其他視點的圖像。利用基于深度圖的視點繪制方法可以從一個參考視點和一個對應的深度圖繪制出新的視點圖像。在這個視點繪制的過程中，由于在一個參考視點中無法包含用于繪制新視點的所有像素信息，基于深度圖的視點繪制得到的視點中將會出現(xiàn)空洞區(qū)域，空洞填補是視點繪制的重要步驟。
[0003]目前常見的空洞填補方案可以分為兩個類別:一種是先對深度圖進行預處理，常見的深度圖預處理方法有高斯濾波平滑處理(圖1b為使用高斯平滑方法進行空洞填補的效果圖，圖1a為參考視點)，目的是減小圖像深度的不連續(xù)性，再通過DIBR繪制新視點，就可以得到空洞較小的視點，最后填補空洞；另外一種是直接使用DIBR進行視點繪制，然后再通過各種圖像插值算法恢復空洞區(qū)域圖像紋理(如圖1c為使用插值算法進行空洞填補的效果圖)，一般是利用橫向區(qū)域的像素進行圖像插值，或者根據(jù)周圍區(qū)域圖像紋理進行填充。
[0004]新視點中出現(xiàn)的空洞主要有兩個類型，一種是較小空洞，通常只有一兩個像素的大小，這種空洞出現(xiàn)的原因是圖像在重新投影映射過程中拉伸造成的。由于這種空洞較小，只要利用周圍像素的信息進行填充就可以，不會對圖像質(zhì)量產(chǎn)生太大影響。另外一種空洞較大，這是由于在參考視點中被前景遮擋住的部分圖像內(nèi)容在新的視點中被暴露出來，卻沒有合適的像素可供填充。第二種空洞出現(xiàn)在物體的邊緣，前景和后景的深度差越大，出現(xiàn)的空洞越明顯。這種空洞往往面積較大，很難在不造成圖像模糊的情況下進行填補。針對這些圖像中出現(xiàn)的缺陷，需要一些特殊的空洞填補方法對空洞進行填補。
[0005]目前常見的空洞填補方案可以分為兩個類別:
I)第一類是對深度圖進行預處理的方法，例如先對深度圖進行高斯平滑處理，這樣繪制得到的新視點中將包含較小的空洞，有利于進一步的填補。由于空洞出現(xiàn)在深度不連續(xù)的區(qū)域，因此對深度圖的平滑處理減輕了深度的不連續(xù)程度也就縮小了空洞的尺寸。再利用周圍像素信息對空洞進行填補，由于空洞尺寸較小，所以填充也較為容易。然而對深度圖的平滑預處理也會帶來新的問題，就是改變了圖像的幾何參數(shù)，重新映射的圖像將會產(chǎn)生幾何變形。前景和背景的深度差越大，需要進行平滑處理的程度也越大，也就帶來了更為嚴重的圖像幾何變形。為了緩解這個問題，通常采用的是非對稱平滑過濾，針對不同的區(qū)域進行不同程度的平滑處理，平滑過濾的強度取決深度的不連續(xù)程度，這樣可以一定程度避免不必要的平滑處理。也有采用縮小深度變化范圍的方法，這樣減小了視差也就減小了所產(chǎn)生的空洞尺寸，存在的缺點是減弱了圖像的立體效果。這類方法雖然空洞填補區(qū)域較為平滑，但無法避免對原始圖像整體效果的破壞。
[0006]2)第二類方法是則是先利用DIBR算法進行新視點繪制，再進行空洞填補，可以稱之為后處理方法。后處理的常用方法是在空洞區(qū)域周圍進行搜索獲取可用的像素，搜索范圍一般是背景區(qū)域，利用周圍的像素計算出可用于填充空洞的像素顏色。例如為了填充空洞中的一個像素，先選取空洞邊緣與該像素同行的左右第一個像素作為參考點，然后用橫向插值算法插入像素。有的方法在上述方法基礎上進行的改進，從周圍區(qū)域中提取更多的參考點，或是加入像素的深度值作為參考，以提升填充的可靠性。同樣也可以通過搜索空洞周圍的線性圖像結構，利用周圍的小圖像塊進行空洞填充，使填充區(qū)域與周圍有相同的結構或者紋理。然而插值得到的圖像與真實圖像存在一定偏差，圖像填補的可靠性比較低，填補區(qū)域的圖像產(chǎn)生了一定的失真。
【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種基于背景提取與分區(qū)修復的DIBR空洞填補方法。
[0008]為實現(xiàn)上述目的，本發(fā)明的技術方案是:一種基于背景提取與分區(qū)修復的DIBR空洞填補方法，包括如下步驟，
步驟SOl:利用視頻序列重建背景圖像和背景深度圖:利用視頻序列和與之對應的深度圖序列，比較每個像素點在每幀畫面中所對應的深度值，將深度值最大時的像素作為背景圖像的像素，通過逐幀比較獲得真實的背景圖像和與之對應的背景深度圖；
步驟S02:計算畫面中前景圖像區(qū)域:采用了能量最小化的計算方法，將一個像素與周圍像素之間的深度關系建立能量模型，判斷像素屬于前景區(qū)域還是背景區(qū)域，從而將前景與背景區(qū)域分割開來；
步驟S03:針對不同區(qū)域采取不同策略填補空洞:利用上述獲得的前景區(qū)域，在前景部分的空洞填補采用區(qū)域插值，背景區(qū)域的空洞則利用步驟SOl通過逐幀比較獲得真實的的背景圖像進行填充。
[0009]在本發(fā)明實施例中，所述步驟S02的具體過程如下，
采用能量最小化的方法獲取每幀圖像的前景掩膜圖，并用矩陣爲表示，對于第?幀
圖像，對于圖像上的點/7，當/7點屬于前景圖像時mf =0，否則謂f =1即/7點屬于背景圖像，其中，JZf表達式如下:
【權利要求】
1.一種基于背景提取與分區(qū)修復的DIBR空洞填補方法，其特征在于:包括如下步驟， 步驟SOl:利用視頻序列重建背景圖像和背景深度圖:利用視頻序列和與之對應的深度圖序列，比較每個像素點在每幀畫面中所對應的深度值，將深度值最大時的像素作為背景圖像的像素，通過逐幀比較獲得真實的背景圖像和與之對應的背景深度圖； 步驟S02:計算畫面中前景圖像區(qū)域:采用了能量最小化的計算方法，將一個像素與周圍像素之間的深度關系建立能量模型，判斷像素屬于前景區(qū)域還是背景區(qū)域，從而將前景與背景區(qū)域分割開來； 步驟S03:針對不同區(qū)域采取不同策略填補空洞:利用上述獲得的前景區(qū)域，在前景部分的空洞填補采用區(qū)域插值，背景區(qū)域的空洞則利用步驟SOl通過逐幀比較獲得真實的的背景圖像進行填充。
2.根據(jù)權利要求1所述的基于背景提取與分區(qū)修復的DIBR空洞填補方法，其特征在于:所述步驟S02的具體過程如下， 采用能量最小化的方法獲取每幀圖像的前景掩膜圖，并用矩陣爲表示，對于第?幀圖像，對于圖像上的點/7，當/7點屬于前景圖像時應f =0，否則應f =1即/7點屬于背景圖像，其中，爲表達式如下:
3.根據(jù)權利要求2所述的基于背景提取與分區(qū)修復的DIBR空洞填補方法，其特征在于:所述％的取值范圍通常為4到8個像素。
【文檔編號】H04N13/00GK103905813SQ201410148681
【公開日】2014年7月2日 申請日期:2014年4月15日 優(yōu)先權日:2014年4月15日
【發(fā)明者】郭太良, 林志賢, 葉蕓, 林金堂, 姚劍敏 申請人:福州大學