專利名稱：一種基于圖像清晰度差異的深度估計方法
技術(shù)領(lǐng)域：
本發(fā)明屬于3D圖像處理技術(shù)領(lǐng)域，更為具體地講，涉及一種基于圖像清晰度差異的深度估計方法。
背景技術(shù)：
2010年I月，《阿凡達(dá)》等3D電影的全球熱播引發(fā)了 3D技術(shù)的研究熱潮。2012年I月央視3D頻道開播，促進(jìn)了 3D產(chǎn)業(yè)的進(jìn)一步發(fā)展。3DTV是繼高清電視(HDTV)之后電視技術(shù)領(lǐng)域一場新的技術(shù)革新。3DTV作為下一代視頻廣播系統(tǒng)，還有許多問題需要解決，其中深度估計(dep thestimation)是其關(guān)鍵技術(shù)之一。
·
深度估計是指從景物的一幅或多幅圖像中自動、有效地提取深度信息。根據(jù)是否需要人工控制，深度估計可以分為主動(active)深度估計和被動(passive)深度估計兩種方式。主動深度估計需要人為的對測量環(huán)境進(jìn)行控制來獲取深度，而被動深度估計則不需要控制成像系統(tǒng)與環(huán)境，常用的被動深度估計有雙目(多目)視覺、運(yùn)動三維檢測、單目視覺等方法。雙目視覺將兩個或多個攝像機(jī)拍攝的物體二維圖像進(jìn)行對比匹配，如果在對比中發(fā)現(xiàn)物體上某個特征點存在于圖像的相同位置則說明此點位置在兩攝像機(jī)鏡頭的軸線交點上，通過找到物體特征的不匹配量即可確定該特征點位置。運(yùn)動三維檢測則是使用一個攝像機(jī)在不同的時間和空間對物體拍攝大量序列圖像，利用序列圖像的時空變化情況得到物體的信息。與雙目視覺類似，這種方法也需要找到序列圖像上物體的對應(yīng)特征點。以上兩種方法均需要提取出圖像中的物體特征點，并計算其變化量，而提取物體特征比較復(fù)雜且存在蔽塞以及遮擋等難以解決的問題。蔽塞是指目標(biāo)中的某個特征點檢測到在兩幅圖像中位置是一樣的，說明該特征點正好位于兩攝像機(jī)的中心軸線的交點處，這種情況下立體視覺獲取存在局限性；遮擋是指特征點在一個攝像機(jī)拍攝的場景中可見，在另個攝像機(jī)拍攝的場景中不可見，這時無法找到對應(yīng)的特征點對，此時無法估計目標(biāo)的深度。所以這兩種方法很難做到實時性，滿足實際應(yīng)用和需求可能行小。單目視覺有兩種測量方法聚焦法及散焦法。聚焦法(Depth From Focus,簡稱DFF)通過攝像機(jī)在不同的光學(xué)參數(shù)下獲取大量序列圖像，在對圖像進(jìn)行分析后找到清晰度最大的圖像，然后根據(jù)幾何光學(xué)中物體成像的模型求取物體的深度信息。此方法測量精確度高，但需要調(diào)整攝像機(jī)拍攝大量圖像，比較費(fèi)時，不適用于即時深度估計。散焦法(Depth Form Defocus，簡稱DFD)則是利用兩幅或者多幅散焦程度不同的圖像，通過對比圖像的模糊程度來求取物體的深度信息，此方法回避了雙目視覺中特征點匹配的問題，也不需要對物體拍攝大量的序列圖像，使用比較方便。上述算法均是對于被動視覺的兩幅或多幅圖像的深度估計，而對于單幅圖像，由于無法獲取景物目標(biāo)的視差信息，只能通過圖像自身的一些特征和先驗知識來獲得有限的線索以完成深度估計，因此具有較高的技術(shù)難度。各個國家的許多科研人員對此作了大量和深入的研究。Saxena在Make 3D項目及相關(guān)研究中采用了結(jié)合了高斯和拉普拉斯算子的MPF(馬爾科夫隨機(jī)場模型)來描述圖像中各點的深度及彼此間的深度關(guān)系。并通過監(jiān)督學(xué)習(xí)方法對場景進(jìn)行訓(xùn)練和估計，對非結(jié)構(gòu)化、相機(jī)參數(shù)未知的大范圍復(fù)雜場景深度估計有相對理想的效果。但是此算法計算復(fù)雜耗時，而且每更換一個新的場景，原有的模型將失效，需要重新采集相應(yīng)的深度數(shù)據(jù)進(jìn)行訓(xùn)練，不能滿足即時深度估計且硬件實現(xiàn)十分困難。Hoiem在假設(shè)圖像場景內(nèi)的所有景物對象都是垂直直立于地面的基礎(chǔ)上，提出一套完整的單幅圖像深度估計方法.該方法以像素塊為單位提取顏色、紋理等特征，然后使用adboost分類方法將整個圖像分解為地面、天空、直立景物等，最后對圖像中的地面區(qū)域建立3維模型，并依據(jù)圖像中景物對象和地面的相交位置重構(gòu)出整個三維場景。李樂等人通過分析理解街景圖像內(nèi)景物之間的構(gòu)圖關(guān)系，依據(jù)其中蘊(yùn)含的深度認(rèn) 知線索估計街景圖像的深度信息，對Hoiem的上述算法進(jìn)行了改進(jìn)。以上三種關(guān)于被動視覺單視點單幅圖像的深度估計均有較好的效果，但其計算復(fù)雜，Saxena的算法還需監(jiān)督學(xué)習(xí)，現(xiàn)階段很難做到實時性。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于圖像清晰度差異的深度估計方法，以降低單視點單幅圖像深度估計的計算復(fù)雜性，滿足圖像處理的實時性要求。為實現(xiàn)上述目的，本發(fā)明基于圖像清晰度差異的深度估計方法，其特征在于，包括以下步驟(I)、將彩色的單視點單幅圖像轉(zhuǎn)換為灰度圖像；(2)、首先對灰度圖像進(jìn)行分塊，得到多個圖像塊；然后用圖像清晰度算法對每個圖像塊進(jìn)行清晰度計算，得到圖像塊的清晰度；最后各個圖像塊的清晰度分別作為各自圖像塊中像素點的清晰度，并對清晰度大于255的像素點賦值為255，得到一副深度圖，從而完成單視點單幅圖像深度估計。為消除估計深度圖中的孤立點及平滑圖像，對步驟(2)得到的深度圖還要進(jìn)行采用中值濾波對其做平滑處理。本發(fā)明的發(fā)明目的是這樣實現(xiàn)的為滿足單視點單幅圖像深度估計的實時性要求，降低估計計算的復(fù)雜性，本發(fā)明提出了一種基于圖像清晰度(Image Definition)差異的深度估計方法，該方法首先將彩色的單視點單幅圖像轉(zhuǎn)換為灰度圖，然后進(jìn)行分塊并選擇一種圖像清晰度算法計算出各圖像塊的清晰度并作為各圖像塊中像素點的清晰度，這樣得到單視點單幅圖像的清晰度差異情況。本發(fā)明根據(jù)攝像機(jī)通常聚焦在景物目標(biāo)的前景上，被聚焦景物比較清晰的實際情況，利用清晰度差異對單視點單幅圖像進(jìn)行深度賦值，得到一副深度圖，從而完成單視點單幅圖像深度估計。本發(fā)明只需要分塊計算清晰度，得到單視點單幅圖像深度，相對于現(xiàn)有技術(shù)計算復(fù)雜性低，能夠滿足圖像處理實時性要求。


圖I是圖像小波分解示意圖；圖2是使用TenenGrad函數(shù)得到圖像清晰度圖；圖3是使用Histblock算法函數(shù)得到圖像清晰度圖；圖4是使用小波變換法得到圖像清晰度圖；圖5是本發(fā)明中像素點清晰度計算一種具體實施方式
的示意圖；圖6是圖像塊3x3時得到的深度圖；
圖7是圖像塊5x5時得到的深度圖；圖8是圖像塊7x7時得到的深度圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明的具體實施方式
進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計的詳細(xì)描述也許會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。根據(jù)攝像機(jī)通常聚焦在前景上，而被聚焦景物比較清晰的實際情況，本發(fā)明基于圖像清晰度差異的深度估計方法先估計出單視點單幅圖像中每個像素點的清晰度，然后由像素點的清晰度差異估計出像素點的深度值。在本實施例中，本文中使用公式將彩色的單視點單幅圖像RGB值轉(zhuǎn)換為灰度值Gray Gray= (R*38+G*7 5+B* 15)其中，R、G、B分別為彩色的單視點單幅圖像RGB值。將彩色的單視點單幅圖像、轉(zhuǎn)換為灰度圖像后，對灰度圖像進(jìn)行分塊，在本實施例中，圖像塊大小為7x7，并用基于圖像清晰度算法計算每個圖像塊的清晰度作為該塊內(nèi)像素的清晰度值?，F(xiàn)有的圖像清晰度算法主要用來評價整張圖像的清晰度情況或具有相同內(nèi)容的多張圖像的清晰度情況。圖像清晰度算法主要可以分為以下幾類I、基于時域的圖像清晰度算法當(dāng)圖像清晰時，圖像細(xì)節(jié)豐富，在時域表現(xiàn)為相鄰像素的特征值(如灰度等)變化較大。設(shè)f(x，y)為圖像在點(x，y)處的灰度值，Nx，Ny為圖像的長和寬。s為整幅圖像的清晰度值。下面介紹幾種常用的基于時域特征的圖像清晰度算法算法I :TenenGrad函數(shù)(能量梯度函數(shù))根據(jù)TenenGrad函數(shù)計算出圖像塊的圖像清晰度
Nx-I(J(x +1，V) - f(x, v))2 + {fix, V + 1)-/(X, y)'y}
x~l y=l在圖像處理中，能量梯度函數(shù)常被用來提取邊緣信息，對焦良好的圖像，邊緣更尖銳，有更大的梯度值。該函數(shù)采用橫縱相鄰點的差分計算一個點的梯度值，單峰性好，可靠性高。算法2:灰度方差函數(shù)
對于圖像的灰度方差，定義如下
權(quán)利要求
1.一種基于圖像清晰度差異的深度估計方法，其特征在于，包括以下步驟 (1)、將彩色的單視點單幅圖像轉(zhuǎn)換為灰度圖像； (2)、首先對灰度圖像進(jìn)行分塊，得到多個圖像塊；然后用圖像清晰度算法對每個圖像塊進(jìn)行清晰度計算，得到圖像塊的清晰度；最后各個圖像塊的清晰度分別作為各自圖像塊中像素點的清晰度，并對清晰度大于255的像素點賦值為255，得到一副深度圖，從而完成單視點單幅圖像深度估計。
2.根據(jù)權(quán)利要求I所述的深度估計方法，其特征在于，步驟(2)得到的深度圖還要進(jìn)行采用中值濾波對其做平滑處理。
3.根據(jù)權(quán)利要求I所述的深度估計方法，其特征在于，所述的圖像清晰度算法為根據(jù)TenenGrad函數(shù)計算出圖像塊的圖像清晰度。
4.根據(jù)權(quán)利要求I所述的深度估計方法，其特征在于，圖像塊的大小為7x7。
全文摘要
本發(fā)明公開了一種基于圖像清晰度(Image Definition)差異的深度估計方法，該方法首先將彩色的單視點單幅圖像轉(zhuǎn)換為灰度圖，然后進(jìn)行分塊并選擇一種圖像清晰度算法計算出各圖像塊的清晰度并作為各圖像塊中像素點的清晰度，這樣得到單視點單幅圖像的清晰度差異情況。本發(fā)明根據(jù)攝像機(jī)通常聚焦在景物目標(biāo)的前景上，被聚焦景物比較清晰的實際情況，利用清晰度差異對單視點單幅圖像進(jìn)行深度賦值，得到一副深度圖，從而完成單視點單幅圖像深度估計。本發(fā)明只需要分塊計算清晰度，得到單視點單幅圖像深度，相對于現(xiàn)有技術(shù)計算復(fù)雜性低，能夠滿足圖像處理實時性要求。
文檔編號G06T7/00GK102903098SQ20121031006
公開日2013年1月30日 申請日期2012年8月28日 優(yōu)先權(quán)日2012年8月28日
發(fā)明者劉然, 巫英堅, 田逢春, 譚迎春, 謝輝, 邰國欽, 譚偉敏, 李博樂, 肖迪, 葛亮, 周慶, 陳恒鑫, 黃揚(yáng)帆, 甘平, 葉蓮 申請人:四川虹微技術(shù)有限公司, 重慶大學(xué)