1.一種立體匹配方法,適用于對(duì)第一圖像及第二圖像進(jìn)行立體匹配,其特征在于,包括:
將所述第一圖像作為參考圖像,分別計(jì)算所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值,獲得所述不同視差距離對(duì)應(yīng)的代價(jià)圖像;
分別根據(jù)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像,對(duì)所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值進(jìn)行代價(jià)聚合;
根據(jù)代價(jià)聚合后的匹配代價(jià)值以及預(yù)設(shè)的第一懲罰系數(shù)和第二懲罰系數(shù),分別對(duì)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像在預(yù)設(shè)方向上進(jìn)行動(dòng)態(tài)規(guī)劃操作,獲得不同預(yù)設(shè)方向上,各像素點(diǎn)在不同視差距離時(shí)的累計(jì)匹配代價(jià)值,并根據(jù)所述累計(jì)匹配代價(jià)值獲得對(duì)應(yīng)像素點(diǎn)的實(shí)際視差值,其中,所述第一懲罰系數(shù)為所述預(yù)設(shè)方向上像素點(diǎn)按照視差步長(zhǎng)變化時(shí)的懲罰值;所述第二懲罰系數(shù)為所述預(yù)設(shè)方向上像素點(diǎn)按照非視差步長(zhǎng)變化時(shí)的懲罰值,且與所述預(yù)設(shè)方向上像素點(diǎn)的視差距離變化值相關(guān);
對(duì)所獲得的每個(gè)像素點(diǎn)的實(shí)際視差值進(jìn)行求精處理,獲得所述第一圖像及第二圖像的視差估計(jì)圖。
2.如權(quán)利要求1所述的立體匹配方法,其特征在于,根據(jù)代價(jià)聚合后的匹配代價(jià)值以及預(yù)設(shè)的第一懲罰系數(shù)和第二懲罰系數(shù),分別對(duì)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像在預(yù)設(shè)方向上進(jìn)行動(dòng)態(tài)規(guī)劃操作,獲得不同預(yù)設(shè)方向上,各像素點(diǎn)在不同視差距離時(shí)的累計(jì)匹配代價(jià)值,包括:
采用如下公式獲得不同預(yù)設(shè)方向上,各像素點(diǎn)在不同視差距離時(shí)的累計(jì)匹配代價(jià)值:
其中,q表示像素點(diǎn)q(x,y)的位置坐標(biāo);pf(p,d)為進(jìn)行了代價(jià)聚合后的像素點(diǎn)q在視差距離為d時(shí)的代價(jià)值,Cr(q,d)和Cr(q-r,d)是對(duì)r方向動(dòng)態(tài)規(guī)劃過(guò)程中,q和p-r位置處的像素點(diǎn)在視差距離d時(shí)的累計(jì)匹配代價(jià)值;
k表示待搜索的視差距離,且k∈[0,D];
(k-d)表示r方向上像素點(diǎn)的視差距離變化值;
為q-r位置處的像素點(diǎn)在各視差距離時(shí)的累計(jì)匹配代價(jià)值中最小的值;
P1為在r方向上像素點(diǎn)以視差步長(zhǎng)為dstep進(jìn)行變化時(shí)的懲罰值;
κ1|k-d|+κ2表示在r方向上像素點(diǎn)以視差步長(zhǎng)不為dstep進(jìn)行變化時(shí)的懲罰值的增益倍數(shù);
κ1,κ2表示隨著搜索方向相鄰像素點(diǎn)視差差異增加時(shí)懲罰系數(shù)的增加程度,τ為搜索視差差異范圍閾值。
3.如權(quán)利要求1所述的立體匹配方法,其特征在于,所述根據(jù)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像,對(duì)所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值進(jìn)行代價(jià)聚合,包括:
獲取所述第一圖像的灰度圖像,并將所述灰度圖像作為引導(dǎo)圖像;
按照預(yù)設(shè)窗口,在所述引導(dǎo)圖像及代價(jià)圖像的降采樣圖像上,計(jì)算對(duì)所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值進(jìn)行引導(dǎo)性濾波的系數(shù),并在所述第一圖像對(duì)應(yīng)的尺度上進(jìn)行濾波操作,獲得所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)對(duì)應(yīng)的代價(jià)聚合后的匹配代價(jià)值。
4.如權(quán)利要求3所述的立體匹配方法,其特征在于,所述預(yù)設(shè)窗口為4×4或8×8的窗口。
5.如權(quán)利要求1所述的立體匹配方法,其特征在于,所述根據(jù)所述累計(jì)匹配代價(jià)值獲得對(duì)應(yīng)像素點(diǎn)的實(shí)際視差值,包括:
累計(jì)所述第一圖像上每個(gè)像素點(diǎn)在同一視差距離不同方向上的匹配代價(jià)值,獲得所述像素點(diǎn)在同一視差距離的匹配代價(jià)和;
選取所述像素點(diǎn)在不同視差距離的匹配代價(jià)和中的最小值,并將所選取的最小值作為所述像素點(diǎn)的實(shí)際視差值。
6.如權(quán)利要求1-5任一項(xiàng)所述的立體匹配方法,其特征在于,所述對(duì)所獲得 的每個(gè)像素點(diǎn)的視差值進(jìn)行求精處理,獲得相應(yīng)的視差估計(jì)圖,包括:
對(duì)所述各個(gè)像素點(diǎn)的實(shí)際視差值進(jìn)行左右一致性檢查;
對(duì)未滿足左右一致性檢查的像素點(diǎn)以及所在深度塊的面積小于預(yù)設(shè)閾值的像素點(diǎn)進(jìn)行填充處理,獲得填充后的視差估計(jì)圖;
根據(jù)左右一致性檢查的結(jié)果以及所在深度塊的面積大小,對(duì)所述填充后的視差估計(jì)圖中各個(gè)像素點(diǎn)設(shè)置相應(yīng)的權(quán)重系數(shù),獲得對(duì)應(yīng)的權(quán)重圖像;
根據(jù)所述權(quán)重圖像及所述填充后的視差估計(jì)圖,得到不同視差距離下的權(quán)重圖像,并分別對(duì)所述不同視差距離下的權(quán)重圖像進(jìn)行引導(dǎo)性加權(quán)中值濾波,獲得最終的視差估計(jì)圖。
7.如權(quán)利要求1-5任一項(xiàng)所述的立體匹配方法,其特征在于,還包括:根據(jù)所獲得的每個(gè)像素點(diǎn)在不同視差距離時(shí)的實(shí)際視差值估計(jì)對(duì)應(yīng)的亞像素值,獲得具有亞像素級(jí)別的視差估計(jì)圖。
8.一種立體匹配裝置,適于對(duì)第一圖像及第二圖像進(jìn)行立體匹配,其特征在于,包括:
匹配代價(jià)計(jì)算單元,適于將所述第一圖像作為參考圖像,分別計(jì)算所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值,獲得所述不同視差距離對(duì)應(yīng)的代價(jià)圖像;
代價(jià)聚合單元,適于分別根據(jù)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像,對(duì)所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值進(jìn)行代價(jià)聚合;
視差計(jì)算單元,適于根據(jù)代價(jià)聚合后的匹配代價(jià)值以及預(yù)設(shè)的第一懲罰系數(shù)和第二懲罰系數(shù),分別對(duì)所述不同視差距離對(duì)應(yīng)的代價(jià)圖像在預(yù)設(shè)方向上進(jìn)行動(dòng)態(tài)規(guī)劃操作,獲得不同預(yù)設(shè)方向上,各像素點(diǎn)在不同視差距離時(shí)的累計(jì)匹配代價(jià)值,并根據(jù)所述累計(jì)匹配代價(jià)值獲得對(duì)應(yīng)像素點(diǎn)的實(shí)際視差值,其中,所述第一懲罰系數(shù)為所述預(yù)設(shè)方向上像素點(diǎn)按照視差步長(zhǎng)變化時(shí)的懲罰值;所述第二懲罰系數(shù)為所述預(yù)設(shè)方向上像素點(diǎn)按照非視差步長(zhǎng)變化時(shí)的懲罰值,且與所述預(yù)設(shè)方向上像素點(diǎn)的視差距離變化值相關(guān);
求精處理單元,適于對(duì)所獲得的每個(gè)像素點(diǎn)的實(shí)際視差值進(jìn)行求精處理, 獲得所述第一圖像及第二圖像的視差估計(jì)圖。
9.如權(quán)利要求8所述的立體匹配裝置,其特征在于,所述視差計(jì)算單元采用如下公式獲得不同預(yù)設(shè)方向上,各像素點(diǎn)在不同視差距離時(shí)的累計(jì)匹配代價(jià)值:
其中,q表示像素點(diǎn)q(x,y)的位置坐標(biāo);pf(p,d)為進(jìn)行了代價(jià)聚合后的像素點(diǎn)q在視差距離為d時(shí)的代價(jià)值,Cr(q,d)和Cr(q-r,d)是對(duì)r方向動(dòng)態(tài)規(guī)劃過(guò)程中,q和p-r位置處的像素點(diǎn)在視差距離d時(shí)的累計(jì)匹配代價(jià)值;
k表示待搜索的視差距離,且k∈[0,D];
(k-d)表示r方向上像素點(diǎn)的視差距離變化值;
為q-r位置處的像素點(diǎn)在各視差距離時(shí)的累計(jì)匹配代價(jià)值中最小的值;
P1為在r方向上像素點(diǎn)以視差步長(zhǎng)為dstep進(jìn)行變化時(shí)的懲罰值;
κ1|k-d|+κ2表示在r方向上像素點(diǎn)以視差步長(zhǎng)不為dstep進(jìn)行變化時(shí)的懲罰值的增益倍數(shù);
κ1,κ2表示隨著搜索方向相鄰像素點(diǎn)視差差異增加時(shí)懲罰系數(shù)的增加程度,τ為搜索視差差異范圍閾值。
10.如權(quán)利要求8所述的立體匹配裝置,其特征在于,所述代價(jià)聚合單元包括:
獲取子單元,適于獲取所述第一圖像的灰度圖像,并將所述灰度圖像作為引導(dǎo)圖像;
代價(jià)聚合子單元,適于按照預(yù)設(shè)窗口,在所述引導(dǎo)圖像和代價(jià)圖像的降采樣圖像上,對(duì)所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)的匹配代價(jià)值 進(jìn)行引導(dǎo)性濾波,獲得所述第一圖像中各個(gè)像素點(diǎn)在不同視差距離時(shí)對(duì)應(yīng)的代價(jià)聚合后的匹配代價(jià)值。
11.如權(quán)利要求10所述的立體匹配裝置,其特征在于,所述預(yù)設(shè)窗口為4×4或8×8的窗口。
12.如權(quán)利要求8所述的立體匹配裝置,其特征在于,所述視差計(jì)算單元適于累計(jì)所述第一圖像上每個(gè)像素點(diǎn)在同一視差距離不同方向上的匹配代價(jià)值,獲得所述像素點(diǎn)在同一視差距離的匹配代價(jià)和;選取所述像素點(diǎn)在不同視差距離的匹配代價(jià)和中的最小值,并將所選取的最小值作為所述像素點(diǎn)的實(shí)際視差值。
13.如權(quán)利要求8-12任一項(xiàng)所述的立體匹配裝置,其特征在于,所述求精處理單元包括:
一致性檢查子單元,適于對(duì)所述視差估計(jì)圖中各個(gè)像素點(diǎn)的視差進(jìn)行左右一致性檢查;
填充子單元,適于對(duì)未滿足左右一致性檢查的像素點(diǎn)以及所在深度塊的面積小于預(yù)設(shè)閾值的像素點(diǎn)進(jìn)行填充處理,獲得填充后的視差估計(jì)圖;
權(quán)重設(shè)置子單元,適于根據(jù)左右一致性檢查的結(jié)果以及所在深度塊的面積大小,對(duì)所述填充后的視差估計(jì)圖中各個(gè)像素點(diǎn)設(shè)置相應(yīng)的權(quán)重系數(shù),獲得對(duì)應(yīng)的權(quán)重圖像;
濾波子單元,適于對(duì)所述根據(jù)所述權(quán)重圖像及所述填充后的視差估計(jì)圖,得到不同視差距離下的權(quán)重圖像,并分別對(duì)所述不同視差距離下的權(quán)重圖像進(jìn)行引導(dǎo)性加權(quán)中值濾波,獲得最終的視差估計(jì)圖。
14.如權(quán)利要求8-12任一項(xiàng)所述的立體匹配裝置,其特征在于,還包括:亞像素估計(jì)單元,適于根據(jù)所獲得的每個(gè)像素點(diǎn)在不同視差距離時(shí)的視差值估計(jì)對(duì)應(yīng)的亞像素值,獲得具有亞像素級(jí)別的視差估計(jì)圖。