本發(fā)明涉及計(jì)算機(jī)視覺與圖像處理，尤其涉及一種改進(jìn)型雙目立體匹配融合算法。

背景技術(shù)：

1、雙目立體視覺技術(shù)是一種通過模擬人類視覺系統(tǒng)來獲取三維信息的關(guān)鍵技術(shù)，廣泛應(yīng)用于自動(dòng)駕駛、機(jī)器人視覺和三維重建等領(lǐng)域。其核心是通過對(duì)左右兩幅圖像中的相應(yīng)像素進(jìn)行匹配，獲取視差圖，從而推算出目標(biāo)物體的深度信息。然而，在實(shí)際應(yīng)用中，準(zhǔn)確且高效的立體匹配算法一直是該領(lǐng)域的研究重點(diǎn)和難點(diǎn)。

2、目前的立體匹配算法可以分為全局匹配、局部匹配和半全局匹配三大類，其中較為常用的有bm(block?matching)算法、sgbm(semi-global?block?matching)算法和gc(graph?cuts)算法等，這些算法在實(shí)際應(yīng)用中各有優(yōu)劣。

3、bm算法：作為一種簡單的塊匹配算法，bm通過在一小塊區(qū)域內(nèi)尋找最優(yōu)匹配塊來計(jì)算視差，然而，該算法對(duì)光照變化和圖像噪聲的魯棒性較差，容易導(dǎo)致匹配錯(cuò)誤，尤其是在電力巡檢機(jī)器人等復(fù)雜環(huán)境下。

4、sgbm算法：sgbm是一種基于塊的半全局匹配算法，結(jié)合了局部和全局信息的優(yōu)勢，能夠在保持較高效率的同時(shí)獲得更好的匹配精度，但該算法計(jì)算復(fù)雜度較高，且在噪聲較多的環(huán)境下仍可能產(chǎn)生誤匹配。

5、gc算法：基于圖割的全局匹配算法，通過能量函數(shù)的全局最小化來求解匹配問題，具有較高的精度。然而，其計(jì)算成本非常高，不適合實(shí)時(shí)應(yīng)用場景。

6、此外，census變換作為一種基于局部區(qū)域的匹配代價(jià)計(jì)算方法，憑借其對(duì)光照變化的魯棒性和較快的運(yùn)行速度，常用于實(shí)際應(yīng)用中，然而，該算法嚴(yán)重依賴于中心像素的灰度值大小，對(duì)噪聲敏感，在復(fù)雜的室外環(huán)境中容易產(chǎn)生誤差，這些不足導(dǎo)致現(xiàn)有立體匹配算法在電力巡檢機(jī)器人平臺(tái)部署時(shí)無法實(shí)現(xiàn)高精度和魯棒的深度估計(jì)。

7、電力巡檢機(jī)器人通常需要在復(fù)雜的戶外環(huán)境中執(zhí)行任務(wù)，圖像中噪聲多、光照變化明顯，這對(duì)傳統(tǒng)立體匹配算法提出了更高的要求，為了解決現(xiàn)有算法在噪聲環(huán)境下匹配精度低、計(jì)算復(fù)雜度高等問題，需要設(shè)計(jì)一種改進(jìn)型雙目立體匹配融合算法來解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡要介紹一些較佳實(shí)施例。在本部分以及本技術(shù)的說明書摘要和發(fā)明名稱中可能會(huì)做些簡化或省略以避免使本部分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

2、鑒于上述現(xiàn)有一種改進(jìn)型雙目立體匹配融合算法存在的問題，提出了本發(fā)明。

3、因此，本發(fā)明目的是提供一種改進(jìn)型雙目立體匹配融合算法，其適用于解決局部特征與全局信息的平衡不佳和視差圖優(yōu)化效果有限的問題。

4、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種改進(jìn)型雙目立體匹配融合算法，包括以下步驟：

5、s1：輸入圖像預(yù)處理；

6、s2：多尺度深度特征提??；

7、s3：基于融合后的多尺度特征，設(shè)計(jì)改進(jìn)匹配代價(jià)函數(shù)；

8、s4：對(duì)計(jì)算出的匹配代價(jià)進(jìn)行聚合和優(yōu)化，根據(jù)優(yōu)化后的匹配結(jié)果生成視差圖；

9、s5：引入自適應(yīng)學(xué)習(xí)機(jī)制，通過實(shí)時(shí)反饋對(duì)深度學(xué)習(xí)模型和多尺度特征融合參數(shù)進(jìn)行微調(diào)，輸出高精度視差圖；

10、構(gòu)建亮度差異匹配代價(jià)計(jì)算公式，所述亮度差異匹配代價(jià)計(jì)算公式如下：

11、

12、其中，c1(x,y,d)表示在像素(x,y)處的亮度差異匹配代價(jià)，衡量左圖和右圖在不同視差假設(shè)d下的亮度差異；il(x,y)和ir(x-d,y)表示左圖和右圖的像素值，分別位于(x,y)和(x-d,y)處，視差d表示左右圖像之間的位移；σs用于歸一化的多尺度參數(shù)，不同尺度下的匹配代價(jià)會(huì)歸一化到相同范圍；p用于控制亮度差異的影響程度。

13、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：根據(jù)亮度差異匹配代價(jià)計(jì)算公式的輸出結(jié)果設(shè)定亮度差異匹配代價(jià)閾值為τ1；

14、當(dāng)c1(x,y,d)＞τ1時(shí)，表示亮度差異過大，該視差d對(duì)應(yīng)的像素點(diǎn)匹配不準(zhǔn)確；

15、當(dāng)c1(x,y,d)≤τ1時(shí)，表示亮度差異小，該視差d對(duì)應(yīng)的像素點(diǎn)匹配準(zhǔn)確。

16、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：根據(jù)設(shè)定的閾值τ1對(duì)亮度差異匹配代價(jià)計(jì)算公式的輸出結(jié)果過濾，選取亮度差異小的亮度差異匹配代價(jià)作為輸入結(jié)果構(gòu)建多尺度特征融合公式，且多尺度特征融合公式如下：

17、

18、其中，fs(x,y,d)表示在像素(x,y)處的多尺度特征融合代價(jià)；和表示左右圖像在不同尺度s下提取的特征值；ws為尺度權(quán)重系數(shù)，不同尺度下的特征有不同的影響權(quán)重；s為多尺度的總數(shù)。

19、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：根據(jù)多尺度特征融合公式輸出結(jié)果設(shè)定多尺度特征融合代價(jià)閾值τ2；

20、當(dāng)fs(x,y,d)＞τ2時(shí)，表示特征差異大，匹配不準(zhǔn)確；

21、當(dāng)fs(x,y,d)≤τ2時(shí)，表示特征差異小，匹配準(zhǔn)確。

22、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：根據(jù)設(shè)定的多尺度特征融合代價(jià)閾值τ2對(duì)多尺度特征融合公式輸出結(jié)果進(jìn)行過濾，選取多尺度特征差異小的多尺度特征融合代價(jià)作為輸入結(jié)果構(gòu)建平滑約束與梯度懲罰公式，且平滑約束與梯度懲罰公式如下：

23、

24、其中，p(x,y,d)表示平滑約束與梯度懲罰后的匹配代價(jià)；表示特征圖在x和y方向上的二階偏導(dǎo)數(shù)，控制視差圖的平滑性；λ表示平滑控制參數(shù)；α為梯度懲罰項(xiàng)的系數(shù)，用于控制深度特征的梯度對(duì)匹配代價(jià)的影響；表示特征梯度的懲罰項(xiàng)，β為學(xué)習(xí)率。

25、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：在平滑約束與梯度懲罰公式的輸出結(jié)果中設(shè)定平滑約束與梯度懲罰后的匹配代價(jià)閾值τ3；

26、當(dāng)p(x,y,d)＞τ3，表示該點(diǎn)匹配代價(jià)高且不平滑，存在噪聲和誤匹配，需要調(diào)整視差；

27、當(dāng)p(x,y,d)≤τ3，表示該點(diǎn)匹配代價(jià)低且平滑，無需調(diào)整視差。

28、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：根據(jù)平滑約束與梯度懲罰公式的輸出結(jié)果構(gòu)建自適應(yīng)學(xué)習(xí)與最終匹配代價(jià)聚合公式，且自適應(yīng)學(xué)習(xí)與最終匹配代價(jià)聚合公式如下：

29、

30、其中，d(x,y)表示像素(x,y)處的最終視差值；γ為自適應(yīng)學(xué)習(xí)控制參數(shù)，決定歷史數(shù)據(jù)對(duì)當(dāng)前匹配結(jié)果的影響；通過自適應(yīng)學(xué)習(xí)機(jī)制對(duì)過去的匹配代價(jià)進(jìn)行加權(quán)處理，其中t為時(shí)間步數(shù)，μt和σt分別是立式代價(jià)的均值和標(biāo)準(zhǔn)差，t為時(shí)刻。

31、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：在自適應(yīng)學(xué)習(xí)與最終匹配代價(jià)聚合公式的輸出結(jié)果中設(shè)定最終視差閾值為τ4；

32、當(dāng)d(x,y)＜τ4,則該像素點(diǎn)的匹配結(jié)果準(zhǔn)確；

33、當(dāng)d(x,y)≥τ4，則該像素點(diǎn)的匹配結(jié)果不準(zhǔn)確，需要調(diào)整匹配代價(jià)或重新評(píng)估視差。

34、作為本發(fā)明所述一種改進(jìn)型雙目立體匹配融合算法的一種優(yōu)選方案，其中：在所述s3中，對(duì)不同尺度下提取的深度特征進(jìn)行融合，使用加權(quán)平均或自適應(yīng)加權(quán)方法，生成統(tǒng)一的多尺度特征圖。

35、本發(fā)明的有益效果：

36、本發(fā)明能夠更全面地捕捉圖像中的關(guān)鍵信息，避免因單一尺度導(dǎo)致的匹配錯(cuò)誤，改進(jìn)匹配代價(jià)函數(shù)能有效減少噪聲干擾，尤其在復(fù)雜戶外環(huán)境中，提升對(duì)光照和噪聲的魯棒性，自適應(yīng)學(xué)習(xí)機(jī)制能夠通過實(shí)時(shí)反饋，動(dòng)態(tài)調(diào)整深度學(xué)習(xí)模型的參數(shù)和特征融合策略，從而根據(jù)環(huán)境變化進(jìn)行自適應(yīng)匹配；

37、匹配代價(jià)的聚合與優(yōu)化步驟能夠有效減少誤匹配，生成的視差圖精度高且噪聲少，相較于現(xiàn)有的census算法，本發(fā)明通過引入多尺度特征與自適應(yīng)學(xué)習(xí)機(jī)制，減少了對(duì)單個(gè)像素灰度值的過度依賴，避免了因中心像素變化而引入的噪聲和誤差。同時(shí)，優(yōu)化后的匹配代價(jià)函數(shù)使得算法在噪聲復(fù)雜的環(huán)境下依然能保持較高的精度和魯棒性，本發(fā)明具有更高的匹配精度、魯棒性和實(shí)時(shí)調(diào)整能力，解決了現(xiàn)有技術(shù)中在復(fù)雜環(huán)境下誤匹配嚴(yán)重、實(shí)時(shí)性不足等問題。