一種基于zncc算法的實時立體匹配系統(tǒng)和方法
【技術(shù)領域】
[0001] 本發(fā)明屬于計算機視覺技術(shù)領域，尤其涉及一種基于ZNCC算法的實時立體匹配 系統(tǒng)和方法。
【背景技術(shù)】
[0002] 在三維重建過程中，一般需要利用兩個或多個圖像傳感器采集圖像，其類似于人 眼視覺的機制，通過對采集到的同一場景的兩幅或多幅圖像進行立體匹配，通過立體匹配 找出圖像之間的視差，再利用圖像采集的三角關(guān)系確定場景中人物或物體的深度信息。在 立體匹配過程中，通過選擇匹配算法、匹配基元、相似性判斷標準進行，在完成匹配后，可以 得出場景中物體的視差圖。然而，在實際應用過程中，當立體匹配計算量較大時，難以實現(xiàn) 實時的立體匹配效果。

【發(fā)明內(nèi)容】

[0003] 為了解決【背景技術(shù)】中存在的技術(shù)問題，本發(fā)明提出了一種基于ZNCC算法的實時 立體匹配系統(tǒng)和方法，實現(xiàn)了實時的立體匹配效果，其可靠性和準確性高。
[0004] 本發(fā)明提出的一種基于ZNCC算法的實時立體匹配系統(tǒng)，包括：積分圖計算模塊、 ZNCC算子計算模塊、WTA匹配代價計算模塊、深度信息計算模塊；
[0005] 所述積分圖計算模塊，用于計算目標圖像和參考圖像中像素點的像素值和積分 圖；
[0006] 所述ZNCC算子計算模塊，與所述積分圖計算模塊連接，用于根據(jù)目標圖像和參考 圖像中像素點的像素值和積分圖，通過ZNCC算法計算目標圖像中每個像素點與參考圖像 中處于不同視差的像素點進行立體匹配的ZNCC算子；
[0007] 所述WTA匹配代價計算模塊，與所述ZNCC算子計算模塊連接，用于根據(jù)目標圖像 中每個像素點與參考圖像中處于不同視差的像素點進行立體匹配的ZNCC算子，通過卷積 算法計算目標圖像中每個像素點在不同視差下WTA匹配代價，并通過比較不同視差下WTA 匹配代價得到目標圖像中每個像素點的最優(yōu)視差；
[0008] 所述深度信息計算模塊，與所述WTA匹配代價計算模塊連接，用于根據(jù)目標圖像 中像素點的最優(yōu)視差圖結(jié)合投影立體三角關(guān)系計算目標圖像中每個像素點的深度信息，完 成目標圖像的實時立體匹配。
[0009] 優(yōu)選地，所述積分圖計算模塊計算目標圖像和參考圖像中像素點的像素值和積分 圖具體包括：計算目標圖像和參考圖像中每個像素點在第一窗口內(nèi)所有像素點的像素值之 和，得到目標圖像和參考圖像中像素點的像素值和積分圖；
[0010] 優(yōu)選地，所述第一窗口以起始像素點（〇,〇)至當前像素點（X，y)為對角頂點的矩 形窗口；優(yōu)選地，所述起始像素點（〇,〇)為圖像左上角處于頂點位置的像素點；
[0011] 優(yōu)選地，采用行前綴加法和列前綴加法計算目標圖像和參考圖像中每個像素點在 第一窗口內(nèi)所有像素點的像素值之和；
[0012] 優(yōu)選地，先采用行前綴加法計算目標圖像和參考圖像中每個像素點所在行的前綴 和，得到行積分圖并進行矩陣轉(zhuǎn)置，然后采用列前綴加法計算目標圖像和參考圖像中每個 像素點所在列的前綴和，得到列積分圖并進行矩陣轉(zhuǎn)置，從而得到目標圖像和參考圖像中 像素點的像素值和積分圖；
[0013] 或者，先采用列前綴加法計算目標圖像和參考圖像中每個像素點所在列的前綴 和，得到列積分圖并進行矩陣轉(zhuǎn)置然后采用行前綴加法計算目標圖像和參考圖像中每個像 素點所在行的前綴和，得到行積分圖并進行矩陣轉(zhuǎn)置，從而得到目標圖像和參考圖像中像 素點的像素值和積分圖；
[0014] 優(yōu)選地，在計算像素點（X，y)的像素值之和時，按照以下方式進行：
【主權(quán)項】
1. 一種基于ZNCC算法的實時立體匹配系統(tǒng)，其特征在于，包括：積分圖計算模塊、ZNCC 算子計算模塊、WTA匹配代價計算模塊、深度信息計算模塊； 所述積分圖計算模塊，用于計算目標圖像和參考圖像中像素點的像素值和積分圖； 所述ZNCC算子計算模塊，與所述積分圖計算模塊連接，用于根據(jù)目標圖像和參考圖像 中像素點的像素值和積分圖，通過ZNCC算法計算目標圖像中每個像素點與參考圖像中處 于不同視差的像素點進行立體匹配的ZNCC算子； 所述WTA匹配代價計算模塊，與所述ZNCC算子計算模塊連接，用于根據(jù)目標圖像中每 個像素點與參考圖像中處于不同視差的像素點進行立體匹配的ZNCC算子，通過卷積算法 計算目標圖像中每個像素點在不同視差下WTA匹配代價，并通過比較不同視差下WTA匹配 代價得到目標圖像中每個像素點的最優(yōu)視差； 所述深度信息計算模塊，與所述WTA匹配代價計算模塊連接，用于根據(jù)目標圖像中像 素點的最優(yōu)視差圖結(jié)合投影立體=角關(guān)系計算目標圖像中每個像素點的深度信息，完成目 標圖像的實時立體匹配。
2. 根據(jù)權(quán)利要求1所述的基于ZNCC算法的實時立體匹配系統(tǒng)，其特征在于，所述積分 圖計算模塊計算目標圖像和參考圖像中像素點的像素值和積分圖具體包括；計算目標圖像 和參考圖像中每個像素點在第一窗口內(nèi)所有像素點的像素值之和，得到目標圖像和參考圖 像中像素點的像素值和積分圖； 優(yōu)選地，所述第一窗口W起始像素點化0)至當前像素點（X，y)為對角頂點的矩形窗 口；優(yōu)選地，所述起始像素點化0)為圖像左上角處于頂點位置的像素點； 優(yōu)選地，采用行前綴加法和列前綴加法計算目標圖像和參考圖像中每個像素點在第一 窗口內(nèi)所有像素點的像素值之和； 優(yōu)選地，先采用行前綴加法計算目標圖像和參考圖像中每個像素點所在行的前綴和， 得到行積分圖并進行矩陣轉(zhuǎn)置，然后采用列前綴加法計算目標圖像和參考圖像中每個像素 點所在列的前綴和，得到列積分圖并進行矩陣轉(zhuǎn)置，從而得到目標圖像和參考圖像中像素 點的像素值和積分圖； 或者，先采用列前綴加法計算目標圖像和參考圖像中每個像素點所在列的前綴和，得 到列積分圖并進行矩陣轉(zhuǎn)置然后采用行前綴加法計算目標圖像和參考圖像中每個像素點 所在行的前綴和，得到行積分圖并進行矩陣轉(zhuǎn)置，從而得到目標圖像和參考圖像中像素點 的像素值和積分圖； 優(yōu)選地，在計算像素點（x，y)的像素值之和時，按照W下方式進行： 在行前綴加法計算時，其計算公式如下：
根據(jù)行前綴加法計算結(jié) 果，在列前綴加法計算時，其計算公式如下：
'從而得到像素點（x，y)在 第一窗口內(nèi)所有像素點的像素值之和； 優(yōu)選地，在行前綴加法的計算過程中，采用多個線程對多行并行計算，或者，在列前綴 加法的計算過程中，采用多個線程對多列并行計算。
3. 根據(jù)權(quán)利要求1或2所述的基于ZNCC算法的實時立體匹配系統(tǒng)，其特征在于，所述 ZNCC算子計算模塊通過ZNCC算法計算目標圖像中每個像素點與參考圖像中處于不同視差 的像素點進行立體匹配的ZNCC算子，ZNCC算法的計算公式如下；
其中，Z(x，y，d)為目標圖像T中像素點（x，y)與參考圖像R中處于視差d的像素點進 行立體匹配的ZNCC算子，d為參考圖像的視差距離， St(x，y)為目標圖像T上像素點（X，y)在第二窗口內(nèi)所有n個像素點的像素值之和，STT(x，y)為目標圖像T上像素點（X，y)在第二窗口內(nèi)所有n個像素點的像素值平方之和， Sc(x,y,d)為參考圖像R中處于視差d的像素點（x±d，y)在第二窗口內(nèi)所有n個像素點的 像素值之和，Sw(x，y，d)為參考圖像R中處于視差d的像素點（x±d，y)在第二窗口內(nèi)所有 n個像素點的像素值平方之和，S?(x，y，d)為目標圖像T上像素點（X，y)在第二窗口內(nèi)所 有n個像素點和參考圖像R中處于視差d的像素點（x±d，y)在第二窗口內(nèi)所有n個像素 點的對應像素值乘積之和； 優(yōu)選地，所述第二窗口是W像素點（X，y)為基準點，向左、右分別平移kl、k2個像素 點并且向下、上分別平移k3、k4個像素點，W平移得到的像素點作為第二窗口中各邊的中 屯、點，從而得到矩形的第二窗口，其長和寬分別為kl+k2+l和k3+k4+l，在第二窗口中，n= (kl+k化1)X化3+k4+l); 在所述第二窗口中ZNCC算法的各個參數(shù)可表達如下：
優(yōu)選地，1^1、1^2、1^3、1^4的取值與目標圖像的分辨率成正比關(guān)系；優(yōu)選地，^ = 1^2 = 1^3 =k4 ;優(yōu)選地，對于分辨率為1024X768的目標圖像，kl=k2 =k3 =k4 = 10 ; 優(yōu)選地，在計算目標圖像中每個像素點與參考圖像中處于不同視差的像素點進行立體 匹配的ZNCC算子時，采用多個線程對多個像素點并行計算，每個線程對一個像素點在不同 視差下的ZNCC算子進行計算。
4. 根據(jù)權(quán)利要求1-3中任一項所述的基于ZNCC算法的實時立體匹配系統(tǒng)，其特征在 于，所述WTA匹配代價計算模塊通過卷積算法計算目標圖像中每個像素點在不同視差下 WTA匹配代價，具體包括；根據(jù)目標圖像中每個像素點與參考圖像中處于不同視差的像素 點進行立體匹配的ZNCC算子，通過設置卷積矩陣，計算卷積矩陣與目標圖像中每個像素點 在第S窗口內(nèi)所有m個像素點在視差d下的ZNCC算子的對應乘積之和，得到目標圖像中每 個像素點在視差d下的WTA匹配代價，卷積矩陣的行列數(shù)與第S窗口中像素點矩陣的行列 數(shù)分別相等； 優(yōu)選地，在計算目標圖像中像素