兩視點(diǎn)圖像的深度圖獲取方法及裝置制造方法
【專利摘要】本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，涉及兩視點(diǎn)圖像的深度圖獲取方法及裝置。該方法包括將RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化；將分辨率歸一化后的兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得Y分量圖，其中Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像；將左視點(diǎn)圖像及右視點(diǎn)圖像進(jìn)行相同格式的分割，以在左視點(diǎn)圖像及右視點(diǎn)圖像中形成多個(gè)子圖像對；并行對多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖；分別將左深度圖及右深度圖中的深度值映射到0～255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。本發(fā)明實(shí)施例的兩視點(diǎn)圖像的深度圖獲取方法及裝置，數(shù)據(jù)處理量小，數(shù)據(jù)處理實(shí)時(shí)性高，易于實(shí)現(xiàn)，更能滿足用戶獲取兩視點(diǎn)圖像的深度圖的實(shí)際需求。
【專利說明】兩視點(diǎn)圖像的深度圖獲取方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，具體而言，涉及兩視點(diǎn)圖像的深度圖獲取方法及裝置。
【背景技術(shù)】
[0002]我國3D產(chǎn)業(yè)發(fā)展迅猛，立體頻道的開通更為3D產(chǎn)業(yè)的整體發(fā)展帶來重大機(jī)遇。3D產(chǎn)業(yè)發(fā)展過程中，3D終端顯示的技術(shù)飛速更新，但3D節(jié)目內(nèi)容的發(fā)展卻遠(yuǎn)遠(yuǎn)落后。隨著數(shù)字圖像采集設(shè)備技術(shù)的進(jìn)步，人們獲取了大量的二維視頻、圖像、照片等媒體素材。在利用現(xiàn)有龐大的二維資源來滿足3D產(chǎn)業(yè)發(fā)展需求的過程中，需要采用3D信息恢復(fù)和場景重建等技術(shù)進(jìn)行3D節(jié)目內(nèi)容的制作。研究表明，三維空間中同一物體在左右眼成像時(shí)會有水平方向上的位移，這被稱為“視差”。對人類生理立體視覺要素的研究指出，由于視差的存在，人類左右眼看同一場景時(shí)會產(chǎn)生立體感。場景中物體距離攝像機(jī)位置的遠(yuǎn)近即深度信息是產(chǎn)生視差的主要原因，二者之間存在著對應(yīng)關(guān)系。還原二維圖像原有的立體信息(即垂直于圖像平面的第三維度的深度信息)是二維圖像轉(zhuǎn)換成三維圖像的重要內(nèi)容。同樣的現(xiàn)實(shí)生活中兩視點(diǎn)圖像不斷增多，但兩視點(diǎn)圖像的立體顯示效果遠(yuǎn)遠(yuǎn)不及8視點(diǎn)之類的多視點(diǎn)圖像的顯示效果好，因此提出了將兩視點(diǎn)圖像轉(zhuǎn)換成多視點(diǎn)圖像的實(shí)際需求。在將兩視點(diǎn)圖像轉(zhuǎn)換成多視點(diǎn)圖像的過程中，重要的一項(xiàng)前期工作是獲取兩視點(diǎn)圖像的深度圖。
[0003]目前獲取兩視點(diǎn)圖像的深度圖的方法主要包括:(1)基于幾何透視的方法，具體為利用透視成像中的幾何約束關(guān)系確定目標(biāo)對象的空間三維姿態(tài)和整個(gè)場景的三維深度信息，其主要適用于城市建筑物等含有較為規(guī)則形狀物體的場景；(2)基于幾何光學(xué)的方法，具體為聚焦法或散焦法:聚焦法是在焦距可調(diào)情況下，使圖像中的目標(biāo)點(diǎn)精確聚焦，然后根據(jù)透鏡成像原理求得該點(diǎn)相對于相機(jī)的距離，該方法硬件昂貴、不易實(shí)現(xiàn)，精確聚焦定位不準(zhǔn)會帶來誤差；散焦法根據(jù)模糊程度計(jì)算圖像中各點(diǎn)相對于相機(jī)的距離，但如何準(zhǔn)確建立散焦模型是主要難點(diǎn)；(3)采用機(jī)器學(xué)習(xí)和貝葉斯推斷方法進(jìn)行單視深度估計(jì)和場景重建，此種方法利用多種深度線索和圖像特征，通過訓(xùn)練和學(xué)習(xí)的方法得到待測圖像的深度圖，但是這種方法需要采集訓(xùn)練數(shù)據(jù)、建立樣本庫，計(jì)算的性能也有待進(jìn)一步提高。
[0004]由此看出，現(xiàn)有技術(shù)中獲取兩視點(diǎn)圖像的運(yùn)算量較大，而相關(guān)技術(shù)中多采用單一線程進(jìn)行運(yùn)算，難以及時(shí)得到深度圖，不滿足用戶獲取深度圖的實(shí)際需求。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供兩視點(diǎn)圖像的深度圖獲取方法及裝置，以解決上述的問題。
[0006]在本發(fā)明的實(shí)施例中提供了兩視點(diǎn)圖像的深度圖獲取方法，包括:將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化；將分辨率歸一化后的所述兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中所述Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像；將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，以在所述左視點(diǎn)圖像及所述右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對；并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖；分別將所述左深度圖及所述右深度圖中的深度值映射到O~255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。
[0007]優(yōu)選地，所述提取獲得Y分量圖，包括:所述Y分量圖由Y分量值組成，所述Y分量值由RGB格式的兩視點(diǎn)圖像中轉(zhuǎn)換獲得，其中Y分量值的轉(zhuǎn)換算法為:Y=R*I+G*J+B*K ；
[0008]其中，Y表示Y分量值，R、G及B分別表示GRB格式的兩視點(diǎn)圖像中一像素點(diǎn)的紅色分量R值、綠色分量G值及藍(lán)色分量B值，1、J及K分別表示紅色分量R值、綠色分量G值及藍(lán)色分量B值的權(quán)重值，且滿足:I+J+K=1及1: J: K ^ 1:4.3:2.7。
[0009]優(yōu)選地，并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖包括:對于每一個(gè)子圖像對，以所述左視點(diǎn)圖像的子圖像作為用于當(dāng)前操作的當(dāng)前子圖像；令預(yù)設(shè)的搜索模板的中心位置與所述當(dāng)前子圖像的滿足預(yù)設(shè)規(guī)則的像素點(diǎn)重合；以所述右視點(diǎn)圖像的子圖像為搜索子圖像；在所述搜索子圖像的相同位置設(shè)置所述搜索模板；在所述搜索子圖像中沿所述搜索子圖像的寬度方向移動所述搜索模板的中心位置，每次移動所述搜索模板的中心位置時(shí)均計(jì)算所述搜索子圖像位于所述搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值，當(dāng)所述差值平均值小于預(yù)設(shè)閾值時(shí)停止所述搜索模板的運(yùn)動搜索，并記錄所述搜索模板中心位置移動的距離；所有子圖像對均完成運(yùn)動搜索之后，利用記錄的距離獲取左深度圖；并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到右深度圖包括:對于每一個(gè)子圖像對，以所述右視點(diǎn)圖像的子圖像作為搜索子圖像，按照所述左深度圖的獲取方式得到右深度圖。
[0010]優(yōu)選地，所述差值平均值采用下述方法得到:建立xoy坐標(biāo)系，在所述xoy坐標(biāo)系中，與所述左視點(diǎn)圖像對應(yīng)的函數(shù)記為L(x, y),與所述右視點(diǎn)圖像對應(yīng)的函數(shù)記為R(x, y);每次移動所述搜索模板的中心位置時(shí)計(jì)算所述搜索子圖像位于所述搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值的計(jì)算公式為:
[0011]f (k)= Σ (X e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y)-M(x+k，y)*R(x，y) | ；
`[0012]其中M(x，y)為寬度為9像素，高度為5像素的搜索模板，f(k)為差值平均值，k為所述搜索模板的中心位置移動的距離。
[0013]優(yōu)選地，所述滿足預(yù)設(shè)規(guī)則的像素點(diǎn)包括:像素值不為零的像素點(diǎn)或像素坐標(biāo)值滿足x%2==0&&y%2==0的像素點(diǎn)。
[0014]優(yōu)選地，所述將RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化，包括:對RGB格式的兩視點(diǎn)圖像進(jìn)行縮放，形成分辨率為1280*360的兩視點(diǎn)圖像。
[0015]優(yōu)選地，與所述左視點(diǎn)圖像對應(yīng)的函數(shù)L(x，y)中，X的取值范圍為O~639像素，y的取值范圍為O~359像素；與所述右視點(diǎn)圖像對應(yīng)的函數(shù)R(x，y)中，x的取值范圍為640~1279像素，y的取值范圍為O~359像素。
[0016]優(yōu)選地，將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，包括:將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像分別進(jìn)行分割，得到子圖像，所述子圖像的寬度為160像素，高度為40像素。
[0017]本發(fā)明實(shí)施例還提供了兩視點(diǎn)圖像的深度圖獲取裝置，包括:歸一化模塊，用于將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化；格式轉(zhuǎn)換模塊，用于將分辨率歸一化后的所述兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中所述Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像；分割模塊，用于將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，以在所述左視點(diǎn)圖像及所述右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對；運(yùn)動搜索模塊，用于并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖；深度圖獲取模塊，用于分別將所述左深度圖及所述右深度圖中的深度值映射到O?255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。
[0018]優(yōu)選地，所述裝置采用現(xiàn)場可編程門陣列FPGA器件實(shí)現(xiàn)。
[0019]本發(fā)明實(shí)施例提供的兩視點(diǎn)圖像的深度圖獲取方法及裝置，將提取的亮度信號Y分量圖中的左視點(diǎn)圖像和右視點(diǎn)圖像分割為多個(gè)子圖像，并且左視點(diǎn)圖像中的子圖像與右視點(diǎn)圖像中位置相互對應(yīng)的子圖像形成子圖像對，在獲取兩視點(diǎn)圖像的深度圖過程中，以子圖像對作為搜索范圍，并行對多個(gè)子圖像對進(jìn)行運(yùn)動搜索，形成左深度圖和右深度圖，并利用獲取的深度圖進(jìn)行深度值映射后形成兩視點(diǎn)圖像的深度圖。本發(fā)明實(shí)施例的兩視點(diǎn)圖像的深度圖獲取方法及裝置，與現(xiàn)有技術(shù)中的獲取兩視點(diǎn)圖像的深度圖的方法相比，數(shù)據(jù)處理量小，數(shù)據(jù)處理實(shí)時(shí)性高，易于實(shí)現(xiàn)，更能滿足用戶獲取兩視點(diǎn)圖像的深度圖的實(shí)際需求。
【專利附圖】

【附圖說明】
[0020]圖1示出了本發(fā)明實(shí)施例中兩視點(diǎn)圖像的深度圖獲取方法的流程圖；
[0021]圖2示出了本發(fā)明實(shí)施例中搜索模板的結(jié)構(gòu)示意圖；
[0022]圖3示出了本發(fā)明實(shí)施中像素點(diǎn)的標(biāo)記效果示意圖；
[0023]圖4示出了本發(fā)明實(shí)施例中兩視點(diǎn)圖像的深度圖獲取裝置的結(jié)
[0024]構(gòu)示意圖。
【具體實(shí)施方式】
[0025]下面通過具體的實(shí)施例子并結(jié)合附圖對本發(fā)明做進(jìn)一步的詳細(xì)描述。
[0026]本發(fā)明的實(shí)施例中提供了一種兩視點(diǎn)圖像的深度圖獲取方法，如圖1所示，主要處理步驟包括:
[0027]步驟Sll:將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化；
[0028]步驟S12:將分辨率歸一化后的兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像；
[0029]步驟S13:將左視點(diǎn)圖像及右視點(diǎn)圖像進(jìn)行相同格式的分割，以在左視點(diǎn)圖像及右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對；
[0030]步驟S14:并行對多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖；
[0031]步驟S15:分別將左深度圖及右深度圖中的深度值映射到O?255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。
[0032]本發(fā)明實(shí)施例中將提取的亮度信號Y分量圖中的左視點(diǎn)圖像和右視點(diǎn)圖像分割為多個(gè)子圖像，并且左視點(diǎn)圖像中的子圖像與右視點(diǎn)圖像中位置相互對應(yīng)的子圖像形成子圖像對，在獲取兩視點(diǎn)圖像的深度圖過程中，以子圖像對作為搜索范圍，并行對多個(gè)子圖像對進(jìn)行運(yùn)動搜索，形成左深度圖和右深度圖，并利用獲取的深度圖進(jìn)行深度值映射后形成兩視點(diǎn)圖像的深度圖。本發(fā)明實(shí)施例的兩視點(diǎn)圖像的深度圖獲取方法及裝置，與現(xiàn)有技術(shù)中的獲取兩視點(diǎn)圖像的深度圖的方法相比，數(shù)據(jù)處理量小，數(shù)據(jù)處理實(shí)時(shí)性高，易于實(shí)現(xiàn)，更能滿足用戶獲取兩視點(diǎn)圖像的深度圖的實(shí)際需求。
[0033]本發(fā)明實(shí)施例中將RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化，便于兩視點(diǎn)圖像的后期處理，具體歸一化的分辨率可以根據(jù)實(shí)際需求設(shè)定，優(yōu)選地在將RGB格式的兩視點(diǎn)圖像進(jìn)行分辯歸一化中對RGB格式的兩視點(diǎn)圖像進(jìn)行縮放，形成分辨率為1280*360的兩視點(diǎn)圖像。
[0034]其中形成的分辨率為1280*360的兩視點(diǎn)圖像是指寬度為1280像素，高度為360像素的兩視點(diǎn)圖像。
[0035]在頻率歸一化中，將兩視點(diǎn)圖像縮放至1280*360能夠同時(shí)滿足圖像清晰度及圖像處理速度的需求。
[0036]將欲處理的RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化后，將RGB格式的兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式。
[0037]其中，YUV是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法。在現(xiàn)代彩色電視系統(tǒng)中，通常采用三管彩色攝影機(jī)或彩色CCD攝影機(jī)進(jìn)行取像，然后把取得的彩色圖像信號經(jīng)分色、分別放大校正后得到RGB，再經(jīng)過矩陣變換電路得到亮度信號Y和兩個(gè)色差信號R -Y (即U)、B — Y (即V)，最后發(fā)送端將亮度和色差三個(gè)信號分別進(jìn)行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。
[0038]本發(fā)明實(shí)施例中將分辨率歸一化后的兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式后，提取的Y分量圖的分辨率與分辨率歸一 化后的兩視點(diǎn)圖像的分辨率相同。
[0039]例如，分辨率歸一化后，兩視點(diǎn)圖像的分辨率為1280*360，則YUV格式轉(zhuǎn)換后提取的Y分量圖的分辨率仍為1280*360。
[0040]從轉(zhuǎn)換為YUV格式的兩視點(diǎn)圖像中提取獲得Y分量圖的具體步驟包括:Y分量圖由Y分量值組成，Y分量值由RGB格式的兩視點(diǎn)圖像中轉(zhuǎn)換獲得，其中Y分量值的轉(zhuǎn)換算法為:Y=R*I+G*J+B*K ;其中，Y表示Y分量值，R、G及B分別表示GRB格式的兩視點(diǎn)圖像中一像素點(diǎn)的紅色分量R值、綠色分量G值及藍(lán)色分量B值，1、J及K分別表示紅色分量R值、綠色分量G值及藍(lán)色分量B值的權(quán)重值，且滿足:I+J+K=1及1: J: K ^ 1:4.3:2.7。
[0041]在獲取左視點(diǎn)圖像及右視點(diǎn)圖像后，采用相同格式分別對左視點(diǎn)圖像及右視點(diǎn)圖像進(jìn)行分割，則在左視點(diǎn)圖像及右視點(diǎn)圖像上分別形成多個(gè)子圖像，并且左視點(diǎn)圖像與右視點(diǎn)圖像位置相同的子圖像構(gòu)成子圖像對。
[0042]本發(fā)明實(shí)施例中并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索得到左深度圖包括:對于每一個(gè)子圖像對，以所述左視點(diǎn)圖像的子圖像作為用于當(dāng)前操作的當(dāng)前子圖像；令預(yù)設(shè)的搜索模板的中心位置與所述當(dāng)前子圖像的滿足預(yù)設(shè)規(guī)則的像素點(diǎn)重合；以所述右視點(diǎn)圖像的子圖像為搜索子圖像；在所述搜索子圖像的相同位置設(shè)置所述搜索模板；在所述搜索子圖像中沿所述搜索子圖像的寬度方向移動所述搜索模板的中心位置，每次移動所述搜索模板的中心位置時(shí)均計(jì)算所述搜索子圖像位于所述搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值，當(dāng)所述差值平均值小于預(yù)設(shè)閾值時(shí)停止所述搜索模板的運(yùn)動搜索，并記錄所述搜索模板中心位置移動的距離；所有子圖像對均完成運(yùn)動搜索之后，利用記錄的距離獲取左深度圖；并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到右深度圖包括:對于每一個(gè)子圖像對，以所述右視點(diǎn)圖像的子圖像作為搜索子圖像，按照所述左深度圖的獲取方式得到右深度圖。[0043]本發(fā)明實(shí)施例中進(jìn)一步舉例說明如何通過對左視點(diǎn)圖像及右視點(diǎn)圖像的運(yùn)動搜索獲得左深度圖及右深度圖。
[0044]具體示例為:設(shè)定對RGB格式的兩視點(diǎn)圖像的進(jìn)行頻率歸一化后的兩視點(diǎn)圖像的頻率為1280*360，為獲取的左視點(diǎn)圖像及右視點(diǎn)圖像建立xoy坐標(biāo)系，在xoy坐標(biāo)系中與左視點(diǎn)圖像對應(yīng)的函數(shù)記為L(x，y)，與右視點(diǎn)圖像對應(yīng)的函數(shù)記為R(x，y)，則與左視點(diǎn)圖像對應(yīng)的函數(shù)L(X，y)中，X的取值范圍為O?639像素，y的取值范圍為O?359像素；與右視點(diǎn)圖像對應(yīng)的函數(shù)R(x，y)中，X的取值范圍為640?1279像素，y的取值范圍為O?359像素。
[0045]在對左視點(diǎn)圖像及右視點(diǎn)圖像進(jìn)行相同格式的分割時(shí)，具體地可以將左視點(diǎn)圖像及右視點(diǎn)圖像分別進(jìn)行分割，得到子圖像，子圖像的寬度為160像素，高度為40像素。
[0046]則在左視點(diǎn)圖像中形成36個(gè)子圖像，在右視點(diǎn)圖像中形成36個(gè)子圖像，左視點(diǎn)圖像與右視點(diǎn)圖像的相同位置處的子圖像構(gòu)成子圖像對，例如，左視點(diǎn)圖像中X坐標(biāo)為(O?159)像素,縱坐標(biāo)為(O?39)像素的子圖像與右視點(diǎn)圖像中的X坐標(biāo)為(640?799)像素，縱坐標(biāo)為(O?39)像素的子圖像構(gòu)成子圖像對。
[0047]本發(fā)明實(shí)施例中差值平均值的計(jì)算方法，包括:建立xoy坐標(biāo)系，在所述xoy坐標(biāo)系中，與左視點(diǎn)圖像對應(yīng)的函數(shù)記為L(x, y),與右視點(diǎn)圖像對應(yīng)的函數(shù)記為R(x, y);每次移動搜索模板的中心位置時(shí)計(jì)算搜索子圖像位于搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值的計(jì)算公式為:
[0048]f(k)= Σ (x e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y「M(x+k，y)*R(x，y) | ;其中 M(x’y)為寬度為9像素,高度為5像素的搜索模板，f (k)為差值平均值，k為搜索模板的中心位置移動的距離。
[0049]保存k值到一個(gè)緩沖寄存器buffer中，其中采用的buffer也是160x40,具體k的取值根據(jù)子圖像的大小設(shè)定，例如可以為+/-50個(gè)像素，或者為+/-45個(gè)像素。
[0050]進(jìn)一步地滿足預(yù)設(shè)規(guī)則的像素點(diǎn)包括:像素值不為零的像素點(diǎn)或像素坐標(biāo)值滿足x%2==0&&y%2==0 的像素點(diǎn)。
[0051]如圖2所示，當(dāng)滿足預(yù)設(shè)規(guī)則的像素點(diǎn)為像素值不為零的像素點(diǎn)時(shí)，即在Y分量圖中滿足該規(guī)則的像素點(diǎn)的像素值為1，利用9x5的搜索模板(即寬度為9像素,高度為5像素的搜索模板)，在搜索模板的覆蓋范圍內(nèi)像素值為I的像素點(diǎn)參與計(jì)算，像素值為O的地方不參與計(jì)算。利用9x5的模板，以左視點(diǎn)圖像中的當(dāng)前子圖像的每個(gè)像素值為I的像素點(diǎn)與搜索模板的中心點(diǎn)重合，在右視點(diǎn)圖像的相同位置的子圖像(即為搜索子圖像)的相同位置上放置相同格式的搜索模板，并利用搜索模板沿搜索子圖像的寬度方向移動，當(dāng)搜索模板覆蓋的搜索子圖像中的像素點(diǎn)的差值平均值小于預(yù)設(shè)閾值或判斷計(jì)算得到的差值平均值最小時(shí)，停止搜索，并記錄在右視點(diǎn)圖像中搜索模板的中心位置移動的距離。利用相同的方法對左視點(diǎn)圖像中的所有像素值不為O的像素點(diǎn)對應(yīng)在右視點(diǎn)圖像中進(jìn)行運(yùn)動搜索，并分別記錄搜索模板的中心位置移動的距離。利用左視點(diǎn)圖像中的所有像素值不為零的像素點(diǎn)對應(yīng)的記錄的距離形成左深度圖。
[0052]采用相同的方法，以右視點(diǎn)圖像為主，在左視點(diǎn)圖像中運(yùn)動搜索，記錄搜索模板中心位置記錄的距離，并利用記錄的距離生成右深度圖。
[0053]具體地，每次的距離數(shù)據(jù)記錄在與子圖像格式相同的緩存空間中。[0054]為了更高的提高搜索效率，經(jīng)試驗(yàn)驗(yàn)證后發(fā)現(xiàn)實(shí)際應(yīng)用中并不需要對整個(gè)子圖像都進(jìn)行搜索運(yùn)算，子圖像中的有一些像素點(diǎn)可以不用搜索，通過取前后數(shù)據(jù)的值直接插值就可以了，即滿足預(yù)設(shè)規(guī)則的像素點(diǎn)還可以為像素坐標(biāo)值滿足x%2==0&&y%2==0的像素點(diǎn)，如圖3中只需對標(biāo)記為Y的像素點(diǎn)做搜索，其他標(biāo)記為X的點(diǎn)不做搜索，不做搜索的點(diǎn)，用前后點(diǎn)數(shù)據(jù)平均插值補(bǔ)充出來就可以。
[0055]本發(fā)明實(shí)施例中分別將左深度圖及右深度圖中的深度值映射到O?255具體可以為，設(shè)定得到的深度圖中的深度值為-50?+50，則-50?O對應(yīng)映射到O?127，I?50映射到128?255.[0056]本發(fā)明實(shí)施例中將左視點(diǎn)圖像及右視點(diǎn)圖像分別分割，左視點(diǎn)圖像中的子圖像與右視點(diǎn)圖像中子圖像構(gòu)成多個(gè)子圖像對，在進(jìn)行運(yùn)動搜索時(shí)，并行對多個(gè)子圖像進(jìn)行運(yùn)動搜索，即左視點(diǎn)圖像中的所有子圖像均被確定為當(dāng)前子圖像；確定左深度圖時(shí)，所有當(dāng)前子圖像配合與其分別對應(yīng)的搜索子圖像并行進(jìn)行運(yùn)動搜索。
[0057]在獲取兩視點(diǎn)圖像的深度圖的過程中，可以利用FPGA實(shí)現(xiàn)對多個(gè)子圖像對的并行運(yùn)動搜索，提高獲取深度圖的數(shù)據(jù)處理速度。
[0058]本發(fā)明實(shí)施例中還提供了一種兩視點(diǎn)圖像的深度圖獲取裝置，如圖4所示包括:
[0059]歸一化模塊21，用于將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化；
[0060]格式轉(zhuǎn)換模塊22，用于將分辨率歸一化后的兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像；
[0061]分割模塊23，用于將左視點(diǎn)圖像及右視點(diǎn)圖像進(jìn)行相同格式的分割，以在左視點(diǎn)圖像及右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對；
[0062]運(yùn)動搜索模塊24，用于并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖；
[0063]深度圖獲取模塊25，用于分別將左深度圖及右深度圖中的深度值映射到O?255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。
[0064]優(yōu)選地，本發(fā)明實(shí)施例的深度圖獲取裝置采用現(xiàn)場可編程門陣列FPGA器件實(shí)現(xiàn)，利用FPGA實(shí)現(xiàn)對多個(gè)子圖像對的并行運(yùn)動搜索，提高獲取深度圖的數(shù)據(jù)處理速度。
[0065]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.兩視點(diǎn)圖像的深度圖獲取方法，其特征在于，包括: 將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化； 將分辨率歸一化后的所述兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中所述Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像； 將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，以在所述左視點(diǎn)圖像及所述右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對； 并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖； 分別將所述左深度圖及所述右深度圖中的深度值映射到O~255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取獲得Y分量圖，包括: 所述Y分量圖由Y分量值組成，所述Y分量值由RGB格式的兩視點(diǎn)圖像中轉(zhuǎn)換獲得，其中Y分量值的轉(zhuǎn)換算法為:
Y=R*I+G*J+B*K ； 其中，Y表示Y分量值，R、G及B分別表示GRB格式的兩視點(diǎn)圖像中一像素點(diǎn)的紅色分量R值、綠色分量G值及藍(lán)色分量B值，1、J及K分別表示紅色分量R值、綠色分量G值及藍(lán)色分量B值的權(quán)重值，且滿足:I+J+K=l及1: J: K ^ 1:4.3:2.7。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖包括:對于每一個(gè)子圖像對，以所述左視點(diǎn)圖像的子圖像作為用于當(dāng)前操作的當(dāng)前子圖像；令預(yù)設(shè)的搜索模板的中心位置與所述當(dāng)前子圖像的滿足預(yù)設(shè)規(guī)則的像素點(diǎn)重合；以所述右視點(diǎn)圖像的子圖像為搜索子圖像；在所述搜索子圖像的相同位置設(shè)置所述搜索模板；在所述搜索子圖像中沿所述搜索子圖像的寬度方向移動所述搜索模板的中心位置，每次移動所述搜索模板的中心位置時(shí)均計(jì)算所述搜索子圖像位于所述搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值，當(dāng)所述差值平均值小于預(yù)設(shè)閾值時(shí)停止所述搜索模板的運(yùn)動搜索，并記錄所述搜索模板中心位置移動的距離；所有子圖像對均完成運(yùn)動搜索之后，利用記錄的距離獲取左深度圖； 并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到右深度圖包括:對于每一個(gè)子圖像對，以所述右視點(diǎn)圖像的子圖像作為搜索子圖像，按照所述左深度圖的獲取方式得到右深度圖。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述差值平均值采用下述方法得到: 建立xoy坐標(biāo)系,在所述xoy坐標(biāo)系中，與所述左視點(diǎn)圖像對應(yīng)的函數(shù)記為L(x, y),與所述右視點(diǎn)圖像對應(yīng)的函數(shù)記為R(x，y); 每次移動所述搜索模板的中心位置時(shí)計(jì)算所述搜索子圖像位于所述搜索模板范圍內(nèi)的像素點(diǎn)的差值平均值的計(jì)算公式為:
f(k)= Σ (X e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y)-M(x+k，y)*R(x，y) | ； 其中M(x，y)為寬度為9像素，高度為5像素的搜索模板，f (k)為差值平均值，k為所述搜索模板的中心位置移動的距離。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述滿足預(yù)設(shè)規(guī)則的像素點(diǎn)包括:像素值不為零的像素點(diǎn)或像素坐標(biāo)值滿足x%2==0&&y%2==0的像素點(diǎn)。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化，包括:對RGB格式的兩視點(diǎn)圖像進(jìn)行縮放，形成分辨率為1280*360的兩視點(diǎn)圖像。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，與所述左視點(diǎn)圖像對應(yīng)的函數(shù)L(x，y)中，X的取值范圍為O~639像素，y的取值范圍為O~359像素； 與所述右視點(diǎn)圖像對應(yīng)的函數(shù)R(x，y)中，X的取值范圍為640~1279像素，y的取值范圍為O~359像素。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，包括: 將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像分別進(jìn)行分割，得到子圖像，所述子圖像的寬度為160像素，高度為40像素。
9.兩視點(diǎn)圖像的深度圖獲取裝置，其特征在于，包括: 歸一化模塊，用于將紅綠藍(lán)RGB格式的兩視點(diǎn)圖像進(jìn)行分辨率歸一化； 格式轉(zhuǎn)換模塊，用于將分辨率歸一化后的所述兩視點(diǎn)圖像轉(zhuǎn)換為YUV格式，并提取獲得亮度信號Y分量圖，其中所述Y分量圖包括左視點(diǎn)圖像及右視點(diǎn)圖像； 分割模塊，用于將所述左視點(diǎn)圖像及所述右視點(diǎn)圖像進(jìn)行相同格式的分割，以在所述左視點(diǎn)圖像及所述右視點(diǎn)圖像中形成位置相互對應(yīng)的多個(gè)子圖像對； 運(yùn)動搜索模塊，用于并行對所述多個(gè)子圖像對進(jìn)行運(yùn)動搜索，得到左深度圖及右深度圖； 深度圖獲取模塊，用于分別將所述左深度圖及所述右深度圖中的深度值映射到O~255范圍內(nèi)，得到兩視點(diǎn)圖像的深度圖。`
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置采用現(xiàn)場可編程門陣列FPGA器件實(shí)現(xiàn)。
【文檔編號】H04N15/00GK103780897SQ201410064382
【公開日】2014年5月7日 申請日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】沈威, 張春光, 張濤, 李春 申請人:重慶卓美華視光電有限公司