本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種修補(bǔ)視差圖中噪點的方法及裝置。

背景技術(shù)：

雙目立體視覺技術(shù)是一種對雙目攝像機(jī)拍攝的同一場景的深度圖進(jìn)行視差估計，確定三維空間場景深度的技術(shù)。在通過視差估計算法(例如，半全局匹配算法)得到的視差圖中，往往存在大量噪點，這些噪點對后續(xù)操作及分析處理會產(chǎn)生較大干擾，因此，在使用視差圖之前一般需要進(jìn)行噪點修補(bǔ)。

目前普遍采用的修補(bǔ)方式是對視差圖中每一個噪點采用相同的修補(bǔ)方法進(jìn)行修補(bǔ)，但是視差圖中每一個噪點及其周圍像素點的情況不同，采用同一同修補(bǔ)方法進(jìn)行修補(bǔ)，必然導(dǎo)致某些噪點修補(bǔ)的準(zhǔn)確度不高。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種修補(bǔ)視差圖中噪點的方法及裝置，用以提升修補(bǔ)后視差值的準(zhǔn)確度。

為實現(xiàn)上述發(fā)明目的，本發(fā)明提供了如下技術(shù)方案：

本發(fā)明提供一種修補(bǔ)視差圖中噪點的方法，所述方法包括：

采用兩臺深度相機(jī)拍攝同一場景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點的代價函數(shù)，并基于所述代價函數(shù)確定所述場景的視差圖；

若所述視差圖中第一像素點為噪點，統(tǒng)計所述第一像素點的檢測窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點的數(shù)量；

若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點的視差值替換所述第一像素點在所述視差圖中的視差值；

若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點的最優(yōu)代價函數(shù)，并用所述最優(yōu)代價函數(shù)對應(yīng)的視差值替換所述第一像素點在所述視差圖中的視差值。

本發(fā)明還提供一種修補(bǔ)視差圖中噪點的裝置，所述裝置包括：

視差圖確定單元，用于采用兩臺深度相機(jī)拍攝同一場景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點的代價函數(shù)，并基于所述代價函數(shù)確定所述場景的視差圖；

像素點統(tǒng)計單元，用于若所述視差圖中第一像素點為噪點，統(tǒng)計所述第一像素點的檢測窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點的數(shù)量；

第一視差值替換單元，用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點的視差值替換所述第一像素點在所述視差圖中的視差值；

第二視差值替換單元，用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點的最優(yōu)代價函數(shù)，并用所述最優(yōu)代價函數(shù)對應(yīng)的視差值替換所述第一像素點在所述視差圖中的視差值。

由以上描述可以看出，本發(fā)明在檢測為噪點的第一像素點對應(yīng)的檢測窗口中，統(tǒng)計視差值可信度較高(置信度值較小)且灰度值與第一像素點的灰度值接近的第二像素點的數(shù)量，當(dāng)統(tǒng)計的第二像素點的數(shù)量占檢測窗口中像素點總數(shù)量的比例較大時，說明檢測窗口中灰度值與第一像素點的灰度值接近且視差值可信度較高的第二像素點的數(shù)量較多，其中，灰度值接近表明第一像素點與第二像素點位于同一物體上的可能性較大，即具有相同或相近視差值的可能性較大，因此，本發(fā)明利用視差值相同或相近且視差值可信度較高的第二像素點的視差值修補(bǔ)第一像素點的視差值，可提升修補(bǔ)后視差值的準(zhǔn)確度；而當(dāng)統(tǒng)計的第二像素點的數(shù)量占檢測窗口中像素點總數(shù)量的比例較小時，即視差值相同或相近且視差值可信度較高的第二像素點的數(shù)量較少時，基于數(shù)量較少的第二像素點的視差值來修補(bǔ)第一像素點的視差值的準(zhǔn)確度無法保證，因此，本發(fā)明針對第一像素點重新進(jìn)行像素匹配，在原匹配窗口的基礎(chǔ)上，按照預(yù)設(shè)比例放大匹配窗口，即增加匹配窗口中像素點的數(shù)量，提升匹配的準(zhǔn)確度，進(jìn)而利用根據(jù)放大后的匹配窗口確定的最優(yōu)代價函數(shù)對應(yīng)的視差值，來替換第一像素點的視差值，提升修補(bǔ)后視差值的準(zhǔn)確度。

附圖說明

圖1是本發(fā)明實施例示出的一種修補(bǔ)視差圖中噪點的方法流程圖；

圖2是本發(fā)明實施例示出的像素點匹配示意圖；

圖3a是本發(fā)明實施例示出的道路場景的基準(zhǔn)圖；

圖3b是本發(fā)明實施例示出的同一道路場景的匹配圖；

圖3c是采用已有技術(shù)中的sgm算法獲得的同一道路場景的視差圖；

圖3d是本發(fā)明實施例示出的同一道路場景的修補(bǔ)后的視差圖的示意圖；

圖4是本發(fā)明實施例示出的放大匹配窗口后的像素點匹配示意圖；

圖5是本發(fā)明實施例示出的雙目立體視覺平臺設(shè)備的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實施例示出的另一種修補(bǔ)視差圖中噪點的裝置的結(jié)構(gòu)示意圖。

具體實施方式

這里將詳細(xì)地對示例性實施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本發(fā)明相一致的所有實施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

在本發(fā)明使用的術(shù)語是僅僅出于描述特定實施例的目的，而非旨在限制本發(fā)明。在本發(fā)明和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語“和/或”是指并包含一個或多個相關(guān)聯(lián)的列出項目的任何或所有可能組合。

應(yīng)當(dāng)理解，盡管在本發(fā)明可能采用術(shù)語第一、第二、第三等來描述各種信息，但這些信息不應(yīng)限于這些術(shù)語。這些術(shù)語僅用來將同一類型的信息彼此區(qū)分開。例如，在不脫離本發(fā)明范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當(dāng)……時”或“響應(yīng)于確定”。

本發(fā)明提供一種修補(bǔ)視差圖中噪點的方法，該方法在噪點對應(yīng)的檢測窗口中，統(tǒng)計視差值置信度較高且灰度值與噪點的灰度值接近的第二像素點的數(shù)量，根據(jù)第二像素點的數(shù)量占檢測窗口中像素點總數(shù)量的比例，采用不同的修補(bǔ)方式進(jìn)行修補(bǔ)，以提升不同噪點修補(bǔ)后的視差值的準(zhǔn)確度。

參見圖1，為本發(fā)明修補(bǔ)視差圖中噪點的方法的一個實施例流程圖，該實施例對修補(bǔ)視差圖中噪點的過程進(jìn)行描述。

步驟101，采用兩臺深度相機(jī)拍攝同一場景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點的代價函數(shù)，并基于所述代價函數(shù)確定所述場景的視差圖。

通過兩臺深度相機(jī)(亦稱為雙目攝像機(jī))拍攝同一場景的深度圖(包括左深度圖和右深度圖)，對左深度圖和右深度圖進(jìn)行極線校正，得到兩幅平行等位的深度圖，以便后續(xù)像素匹配時在同一掃描線上查找匹配像素點。

以sgm(semi-globalmatching，半全局匹配)算法為例，該算法對校正后的左深度圖和右深度圖(左深度圖和右深度圖中一個為基準(zhǔn)圖，另一個為匹配圖)進(jìn)行像素匹配，參見圖2，基準(zhǔn)圖中像素點p基于預(yù)設(shè)的匹配窗口與匹配圖中與像素點p處于同一掃描線上的各像素點進(jìn)行匹配，以匹配圖中的像素點q為例，匹配過程即建立像素點p與像素點q之間的代價函數(shù)的過程，再利用能量函數(shù)對像素點p的視差值加以優(yōu)化，最終確定基準(zhǔn)圖中像素點p的最優(yōu)視差值。對基準(zhǔn)圖中的每一個像素點執(zhí)行上述匹配及優(yōu)化過程，得到基準(zhǔn)圖對應(yīng)的視差圖。

參見圖3a，為本發(fā)明實施例示出的一種道路場景的基準(zhǔn)圖，圖3b為同一道路場景的匹配圖，圖3c為采用上述sgm算法得到的同一道路場景的視差圖，該視差圖中存在大量噪點。

步驟102，若所述視差圖中第一像素點為噪點，統(tǒng)計所述第一像素點的檢測窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點的數(shù)量。

首先，對視差圖進(jìn)行噪點檢測。作為一實施方式，統(tǒng)計視差圖中第一像素點對應(yīng)檢測窗口中視差值與第一像素點的視差值的差值小于預(yù)設(shè)的視差閾值的像素點的個數(shù)，即視差值與第一像素點的視差值接近的像素點的數(shù)量，當(dāng)統(tǒng)計的視差值接近的像素點的數(shù)量占檢測窗口中所有像素點的總數(shù)量的比例小于預(yù)設(shè)的第一比例閾值時，說明檢測窗口中視差值與第一像素點的視差值接近的像素點比較少，該第一像素點為噪點的可能性非常大，因此，確定該第一像素點為噪點。

當(dāng)確定第一像素點為噪點時，統(tǒng)計第一像素點的檢測窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與第一像素點的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點的數(shù)量，即，統(tǒng)計檢測窗口中視差值可信度高(置信度值越小，視差值的可信度越高)且灰度值與第一像素點的灰度值接近的第二像素點的數(shù)量。

其中，檢測窗口中像素點的視差值的置信度值可通過如下方式確定：

在一種實施方式中，獲取像素點在不同視差值下的代價函數(shù)值，按照函數(shù)值從小到大的順序，從獲取的代價函數(shù)值中選擇函數(shù)值最小的第一代價函數(shù)值(也稱為最優(yōu)代價函數(shù)值)和函數(shù)值次小的第二代價函數(shù)值(也稱為次優(yōu)代價函數(shù)值)，將第一代價函數(shù)值與第二代價函數(shù)值的商，作為像素點的視差值的置信度值，可通過如下公式表示：

其中，p'為待計算視差值置信度值的像素點，為最優(yōu)代價函數(shù)值，為次優(yōu)代價函數(shù)值，m(p')為像素點p'的視差值的置信度值。

在另一種實施方式中，可將第一代價函數(shù)值對應(yīng)的視差值(也稱為最優(yōu)視差值)與第二代價函數(shù)值對應(yīng)的視差值(也稱為次優(yōu)視差值)的差值，作為第二像素點的視差值的置信度值，可通過如下公式表示：

m(p')＝|d1-d2|公式(2)

其中，p'為待計算視差值置信度值的像素點，d1為最優(yōu)視差值，d2為次優(yōu)視差值，m(p')為像素點p'的視差值的置信度值。

當(dāng)最優(yōu)代價函數(shù)值與次優(yōu)代價函數(shù)值比較接近，或者，最優(yōu)視差值與次優(yōu)視差值相差較大時，置信度值m(p')越大，表明像素點的視差值的可信度越低；反之，置信度值m(p')越小，對應(yīng)視差值的可信度就越高。

步驟103，若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點的視差值替換所述第一像素點在所述視差圖中的視差值。

當(dāng)通過步驟102統(tǒng)計的第二像素點的數(shù)量與檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值時，說明檢測窗口中灰度值與第一像素點的灰度值接近且視差值可信度較高的第二像素點的數(shù)量較多，其中，灰度值接近表明第一像素點與第二像素點位于同一物體上的可能性較大，那么第一像素點與第二像素點具有相同或相近視差值的可能性就較大，且由于第二像素點的視差值的可信度較高，因此，基于第二像素點的視差值替換視差圖中第一像素點的視差值的準(zhǔn)度度就會較高。具體替換方式如下：

在第一種實施方式中，可直接利用檢測窗口中視差值的置信度值最小的第二像素點的視差值替換第一像素點的視差值，即利用視差值可信度最高的第二像素點的視差值替換第一像素點的視差值，該替換方式簡單易行，計算量小，但是過于依賴單一像素點的視差值，該可信度最高的第二像素點的視差值未必是與第一像素點的視差值相同或最相近的視差值，因此，不能保證修補(bǔ)后視差值具有較高的準(zhǔn)確度。

在第二種實施方式中，可利用檢測窗口中所有第二像素點的視差值的均值替換第一像素點的視差值，即基于多個第二像素點的視差值來確定第一像素點的視差值，以避免過于依賴單一像素點的視差值，即利用多個第二像素點的視差值的相互制約(視差均值)，避免重新確定的第一像素點的視差值出現(xiàn)嚴(yán)重偏差，在一定程度上可提升修補(bǔ)后第一像素點的視差值的準(zhǔn)確度。

在第三種實施方式中，首先確定第二像素點與第一像素點之間的距離權(quán)重值、灰度權(quán)重值、以及第二像素點的視差值的置信度權(quán)重值。下面分別對各權(quán)重值進(jìn)行介紹：

距離權(quán)重值：是指根據(jù)第二像素點和第一像素點之間的歐氏距離確定的權(quán)重值。該權(quán)重值隨第二像素點和第一像素點之間距離的增大而減小，即距離權(quán)重值與第二像素點和第一像素點之間的歐氏距離呈反相關(guān)關(guān)系。這是由于，距離越近的像素點視差值相同或相近的可能性越大，而距離越遠(yuǎn)的像素點視差值不同的可能性越大，因此，本發(fā)明對距離第一像素點越近的第二像素點設(shè)置越大的距離權(quán)重值，以提高該距離較近的第二像素點的視差值對第一像素點視差值的影響程度，反之，對距離第一像素點越遠(yuǎn)的第二像素點設(shè)置越小的距離權(quán)重值，降低該距離較遠(yuǎn)的第二像素點的視差值對第一像素點視差值的影響程度。

具體地，作為一種實施方式，可通過如下公式確定第二像素點的距離權(quán)重值：

其中，p代表第一像素點，p'代表第二像素點，|l(p)-l(p')|為像素點p'與像素點p之間的歐氏距離，s(p,p')為距離權(quán)重值。

灰度權(quán)重值：是指根據(jù)第二像素點和第一像素點之間灰度值的差值確定的權(quán)重值，該權(quán)重值隨第二像素點和第一像素點之間灰度值的差值的增大而減小，即灰度權(quán)重值與第二像素點和第一像素點之間的灰度值的差值呈反相關(guān)關(guān)系。這是由于，灰度值越接近的像素點位于同一物體上的可能性越大，同一物體上像素點的視差值相同或相近，灰度值相差越大的像素點位于不同物體上的可能性越大，視差值往往相差較大，因此，本發(fā)明對灰度值與第一像素點灰度值越接近的第二像素點設(shè)置越大的灰度權(quán)重值，以提高該灰度值接近的第二像素點的視差值對第一像素點視差值的影響程度，反之，對灰度值與第一像素點灰度值相差越大的第二像素點設(shè)置越小的灰度權(quán)重值，降低該灰度值相差較大的第二像素點的視差值對第一像素點視差值的影響程度。

具體地，作為一種實施方式，可通過如下公式確定第二像素點的灰度權(quán)重值：

其中，p代表第一像素點，p'代表第二像素點，|i(p)-i(p')|為像素點p'與像素點p之間的灰度值的差值，c(p,p')為灰度權(quán)重值。

置信度權(quán)重值：是指根據(jù)第二像素點自身視差值的置信度值確定的權(quán)重值，其中，第二像素點的視差值的置信度值可根據(jù)前述公式(1)或公式(2)得到，在此不再贅述。

在得到第二像素點的置信度值m(p')后，基于該值m(p')確定置信度權(quán)重值，記為b(p')。具體為，置信度權(quán)重值b(p')與第二像素點的視差值的置信度值m(p')呈反相關(guān)關(guān)系。即置信度值m(p')越大，表明第二像素點的視差值的可信度越低，應(yīng)設(shè)置越小的置信度權(quán)重值，以降低可信度低的第二像素點的視差值對第一像素點視差值的影響程度，反之，置信度值m(p')越小，表明第二像素點的視差值的可信度越高，應(yīng)設(shè)置越大的置信度權(quán)重值，以提高可信度高的第二像素點的視差值對第一像素點視差值的影響程度。

基于上述確定的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值和第二像素點的視差值，替換第一像素點在視差圖中的視差值。具體為，獲取多個第二像素點的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值分別與視差值的乘積的第一累加和；獲取多個第二像素點的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值的乘積的第二累加和；利用第一累加和與第二累加和的商，替換第一像素點在視差圖中的視差值。可通過如下公式表示：

其中，p為第一像素點，p'為第二像素點，w(p)代表像素點p對應(yīng)檢測窗口中的多個第二像素點，s(p,p')為距離權(quán)重值，c(p,p')為灰度權(quán)重值，b(p')為視差值的置信度權(quán)重值，dp'為視差圖中像素點p'的視差值，為計算得到的像素點p的視差值，用于替換像素點p在視差圖中的視差值，

本實施方式綜合考慮了第二像素點與第一像素點之間的距離、灰度值的差值以及第二像素點自身視差值的可信度，對于與第一像素點距離較近、灰度值接近、且自身視差值可信度較高的第二像素點通過設(shè)置較大的權(quán)重值，提升對第一像素點視差值的影響程度，而對與第一像素點距離較遠(yuǎn)、灰度值相差較大、且自身視差值可信度較低的第二像素點通過設(shè)置較小的權(quán)重值，降低對第一像素點視差值的影響程度，相較于前兩種實施方式，本實施方式的視差值修補(bǔ)后的準(zhǔn)確度更高。

參考基準(zhǔn)圖圖3a所示的是一臺深度相機(jī)拍攝的道路場景的深度圖，匹配圖圖3b所示的是另一臺深度相機(jī)拍攝的同一道路場景的深度圖，視差圖圖3c是采用現(xiàn)有技術(shù)的sgm算法獲得的該道路場景的視差圖。其中，參考基準(zhǔn)圖圖3a和匹配圖圖3b可以看出，由于兩臺深度相機(jī)針對同一道路場景拍攝角度的不同，造成道路上的汽車對路邊的樹木的遮擋在基準(zhǔn)圖圖3a和匹配圖圖3b中并不相同，而且基準(zhǔn)圖圖3a和匹配圖圖3b中的電線桿對其旁邊的樹木的遮擋也不相同。采用現(xiàn)有技術(shù)的sgm算法，基于基準(zhǔn)圖圖3a和匹配圖圖3b計算該道路場景的視差圖時，利用基準(zhǔn)圖圖3a和匹配圖圖3b中像素點的匹配結(jié)果計算基準(zhǔn)圖圖3a中每一個像素點的視差值，并利用能量函數(shù)傳播得到每一個像素點的最終能量值，確定該像素點的最優(yōu)視差值，視差圖如圖3c所示。參考圖3c所示，由于汽車對路邊的樹木的遮擋和電線桿對其旁邊的樹木的遮擋，使得在最終匹配出來的視差圖中局部存在較多的噪點，示例的，如圖3c中方框框出來的噪點。

但是，參考圖3d所示，圖3d所示的視差圖是采用前述第三種實施方式進(jìn)行噪點修補(bǔ)后的視差圖。參考圖3d所示，由于第三種實施方式的修補(bǔ)視差圖中噪點的方法，基于噪點鄰域內(nèi)灰度值與噪點的灰度值接近且視差值可信度較高的多個像素點與噪點之間的距離、灰度值的差值以及像素點自身視差值的可信度，設(shè)置了不同的權(quán)重值，使得與噪點距離較近、灰度值接近、且自身視差值可信度較高的像素點具有較大的權(quán)重值，提升對噪點視差值的影響程度，而與噪點距離較遠(yuǎn)、灰度值相差較大、且自身視差值可信度較低的像素點具有較小的權(quán)重值，降低對噪點視差值的影響程度，因此，明顯減少了物體邊緣區(qū)域的噪點數(shù)量，降低了由于汽車對路邊的樹木的遮擋和電線桿對其旁邊的樹木的遮擋導(dǎo)致的視差圖中的噪點數(shù)量，提升了修補(bǔ)后的視差值的準(zhǔn)確度。

步驟104，若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點的最優(yōu)代價函數(shù)，并用所述最優(yōu)代價函數(shù)對應(yīng)的視差值替換所述第一像素點在所述視差圖中的視差值。

當(dāng)通過步驟102統(tǒng)計的第二像素點的數(shù)量與檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值時，說明檢測窗口中灰度值與第一像素點的灰度值接近且視差值可信度較高的第二像素點的數(shù)量較少，如果直接利用數(shù)量較少的第二像素點的視差值替換第一像素點的視差值，例如，通過步驟103提到的三種替換方式進(jìn)行替換，視差值的準(zhǔn)確性仍無法保證。

為此，本發(fā)明針對確定為噪點的第一像素點重新執(zhí)行像素匹配，在原匹配窗口的基礎(chǔ)上，按照預(yù)設(shè)的比例放大匹配窗口(增加匹配窗口中像素點的數(shù)量，提升匹配的準(zhǔn)確度)，參見圖4，虛線方框為放大后的匹配窗口，基于放大后的匹配窗口確定第一像素點的最優(yōu)代價函數(shù)(函數(shù)值最小的代價函數(shù))，獲取該最優(yōu)代價函數(shù)對應(yīng)的視差值(記為最優(yōu)視差值)，然后，計算該最優(yōu)視差值的置信度值，若該最優(yōu)視差值的置信度值小于預(yù)設(shè)的第二置信度閾值，說明該最優(yōu)視差值的可信度高，因此，用該可信度高的最優(yōu)視差值替換第一像素點在視差圖中的視差值，以保證替換后視差值的準(zhǔn)確度；若該最優(yōu)視差值的置信度值大于或等于預(yù)設(shè)的第二置信度閾值，說明此次放大匹配窗口后得到的最優(yōu)視差值的可信度不高，不能直接用于替換第一像素點的視差值，為此，本發(fā)明預(yù)設(shè)匹配窗口的放大次數(shù)閾值，在匹配窗口的放大次數(shù)未達(dá)到預(yù)設(shè)的放大次數(shù)閾值時，繼續(xù)按照比例放大匹配窗口，在基于放大后的匹配窗口獲取到可信度高的最優(yōu)視差值時替換視差圖中第一像素點的視差值。

從上述描述可以看出，本發(fā)明針對同一幅視差圖，可基于統(tǒng)計的第一像素點(噪點)周圍視差值置信度高且灰度值與噪點的灰度值接近的第二像素點的數(shù)量的不同，采取不同的修補(bǔ)方式進(jìn)行修補(bǔ)，因此，可提升修補(bǔ)后視差圖的視差值的準(zhǔn)確度。

與前述修補(bǔ)視差圖中噪點的方法的實施例相對應(yīng)，本發(fā)明還提供了修補(bǔ)視差圖中噪點的裝置的實施例。

本發(fā)明修補(bǔ)視差圖中噪點的裝置的實施例可以應(yīng)用在雙目立體視覺平臺設(shè)備上。裝置實施例可以通過軟件實現(xiàn)，也可以通過硬件或者軟硬件結(jié)合的方式實現(xiàn)。以軟件實現(xiàn)為例，作為一個邏輯意義上的裝置，是通過其所在設(shè)備的處理器運(yùn)行存儲器中對應(yīng)的計算機(jī)程序指令形成的。從硬件層面而言，如圖5所示，為本發(fā)明修補(bǔ)視差圖中噪點的裝置所在設(shè)備的一種硬件結(jié)構(gòu)圖，除了圖5所示的處理器以及非易失性存儲器之外，實施例中裝置所在的設(shè)備通常根據(jù)該設(shè)備的實際功能，還可以包括其他硬件，對此不再贅述。

請參考圖6，為本發(fā)明一個實施例中的修補(bǔ)視差圖中噪點的裝置的結(jié)構(gòu)示意圖。該修補(bǔ)視差圖中噪點的裝置包括視差圖確定單元601、像素點統(tǒng)計單元602、第一視差值替換單元603以及第二視差值替換單元604，其中：

視差圖確定單元601，用于采用兩臺深度相機(jī)拍攝同一場景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點的代價函數(shù)，并基于所述代價函數(shù)確定所述場景的視差圖；

像素點統(tǒng)計單元602，用于若所述視差圖中第一像素點為噪點，統(tǒng)計所述第一像素點的檢測窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點的數(shù)量；

第一視差值替換單元603，用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點的視差值替換所述第一像素點在所述視差圖中的視差值；

第二視差值替換單元604，用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點的最優(yōu)代價函數(shù)，并用所述最優(yōu)代價函數(shù)對應(yīng)的視差值替換所述第一像素點在所述視差圖中的視差值。

進(jìn)一步地，

所述第一視差值替換單元603，具體用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例大于預(yù)設(shè)的比例閾值，確定第二像素點與第一像素點之間的距離權(quán)重值、灰度權(quán)重值、以及第二像素點的視差值的置信度權(quán)重值，其中，所述距離權(quán)重值與所述第二像素點和所述第一像素點之間的歐氏距離呈反相關(guān)關(guān)系，所述灰度權(quán)重值與所述第二像素點和所述第一像素點之間的灰度值的差值呈反相關(guān)關(guān)系，所述置信度權(quán)重值與所述第二像素點的視差值的置信度值呈反相關(guān)關(guān)系；基于所述距離權(quán)重值、所述灰度權(quán)重值、所述置信度權(quán)重值和所述第二像素點的視差值，替換所述第一像素點在所述視差圖中的視差值。

進(jìn)一步地，所述第一視差值替換單元603基于所述距離權(quán)重值、所述灰度權(quán)重值、所述置信度權(quán)重值和所述第二像素點的視差值，替換所述第一像素點在所述視差圖中的視差值，包括：

獲取多個第二像素點的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值分別與視差值的乘積的第一累加和；獲取所述多個第二像素點的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值的乘積的第二累加和；利用所述第一累加和與所述第二累加和的商，替換所述第一像素點在所述視差圖中的視差值。

進(jìn)一步地，

所述第二視差值替換單元604，具體用于若所述第二像素點的數(shù)量與所述檢測窗口內(nèi)的像素點數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口；基于放大后的匹配窗口確定所述第一像素點的最優(yōu)代價函數(shù)；若所述最優(yōu)代價函數(shù)對應(yīng)的視差值的置信度值小于預(yù)設(shè)的第二置信度閾值，用所述最優(yōu)代價函數(shù)對應(yīng)的視差值替換所述第一像素點在所述視差圖中的視差值。

進(jìn)一步地，

所述第二視差值替換單元604，還用于若所述最優(yōu)代價函數(shù)對應(yīng)的視差值的置信度值大于或等于預(yù)設(shè)的第二置信度閾值，統(tǒng)計所述匹配窗口的放大次數(shù)；若所述匹配窗口的放大次數(shù)未達(dá)到預(yù)設(shè)的放大次數(shù)閾值，返回執(zhí)行所述按照預(yù)設(shè)的比例放大所述匹配窗口的步驟。

上述裝置中各個單元的功能和作用的實現(xiàn)過程具體詳見上述方法中對應(yīng)步驟的實現(xiàn)過程，在此不再贅述。

對于裝置實施例而言，由于其基本對應(yīng)于方法實施例，所以相關(guān)之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本發(fā)明方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。