本技術(shù)涉及雙目視覺的，具體而言，涉及基于光照參考的雙目相機(jī)視差計算方法、基于光照參考的雙目相機(jī)視差計算系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、在現(xiàn)代城市的發(fā)展中，智慧城市逐漸成為城市建設(shè)的重要方向。智慧城市可借助云邊端架構(gòu)整合多種先進(jìn)技術(shù)，實現(xiàn)城市管理服務(wù)的智能化和高效化。在智慧城市的框架中，城市信息的采集可借助智慧路燈系統(tǒng)搭建，智慧路燈不僅可承擔(dān)照明功能，還可融合多種傳感器和通信設(shè)備，成為智慧城市的關(guān)鍵節(jié)點(diǎn)。通過在智慧路燈上加裝雙目相機(jī)不僅可以實時采集視野區(qū)域的圖像數(shù)據(jù)，還可以獲取視野區(qū)域內(nèi)各個目標(biāo)的深度信息，進(jìn)而得到各個目標(biāo)的三維信息。

2、光照是影響圖像成像的主要因素，在光照條件不佳時(如光照不足、光照不均、光照太強(qiáng))，雙目相機(jī)獲取到的圖像像素對比度偏低，不僅成像難以分辨，而且在進(jìn)行立體匹配計算時，也會因為像素差異值過小而降低匹配準(zhǔn)確率，進(jìn)而影響視差計算的準(zhǔn)確性。因此，需要對光照不佳時的立體匹配方法進(jìn)行改進(jìn)，例如公開號為cn112150519a的中國發(fā)明專利申請《一種對光照不敏感的局部立體匹配方法》，以保證能夠獲取到準(zhǔn)確的視差圖，進(jìn)而提高智慧城市構(gòu)建的準(zhǔn)確性。

3、而現(xiàn)有技術(shù)中，雙目相機(jī)在光照不佳時的立體匹配方法通常較為復(fù)雜，且并沒有與光照正常時的圖像/視差圖真實值存在關(guān)聯(lián)，只是將其作為真值進(jìn)行試驗驗證，導(dǎo)致需要反復(fù)調(diào)整算法，延長了開發(fā)周期。

技術(shù)實現(xiàn)思路

1、本技術(shù)的目的在于：如何以光照正常時的圖像/視差值作為參考，以降低立體匹配方法的復(fù)雜性，并提高視差計算的準(zhǔn)確性。

2、本技術(shù)第一方面的技術(shù)方案是：提供了一種基于光照參考的雙目相機(jī)視差計算方法，該方法包括：步驟1：獲取第一光照條件下雙目相機(jī)采集到的第一左圖像和第一右圖像，并計算相應(yīng)的第一視差圖；步驟2：基于第一視差圖，對第一左圖像中的靜態(tài)目標(biāo)區(qū)域進(jìn)行標(biāo)注，并提取靜態(tài)目標(biāo)區(qū)域在第一左圖像中對應(yīng)區(qū)域圖像的光照參考特征；步驟3：基于光照參考特征，對第二光照條件下雙目相機(jī)采集到的第二左圖像和第二右圖像進(jìn)行光照校正；步驟4：基于校正后的第二左圖像和校正后的第二右圖像，確定第二視差圖，其中，第二光照條件為弱光照條件和/或強(qiáng)光照條件。

3、上述任一項技術(shù)方案中，進(jìn)一步地，基于第一視差圖，對第一左圖像中的靜態(tài)目標(biāo)區(qū)域進(jìn)行標(biāo)注，具體包括：步驟21：對第一視差圖進(jìn)行聚類，確定聚類區(qū)域；步驟22：當(dāng)判定連續(xù)多幀的第一視差圖中任一聚類區(qū)域的像素坐標(biāo)的變化小于或等于靜態(tài)閾值時，將聚類區(qū)域標(biāo)記為靜態(tài)視差區(qū)域；步驟23：基于靜態(tài)視差區(qū)域的像素坐標(biāo)，在第一左圖像中進(jìn)行標(biāo)注，將標(biāo)注的區(qū)域記作靜態(tài)目標(biāo)區(qū)域。

4、上述任一項技術(shù)方案中，進(jìn)一步地，步驟3中，具體包括：步驟31：基于靜態(tài)目標(biāo)區(qū)域，對第二左圖像相應(yīng)位置處的圖像進(jìn)行光照特征提取，得到當(dāng)前光照特征；步驟32：基于光照參考特征、當(dāng)前光照特征，計算第二光照條件下、各個靜態(tài)目標(biāo)區(qū)域?qū)?yīng)的區(qū)域增量指標(biāo)；步驟33：計算區(qū)域增量指標(biāo)的均值，并利用均值對第二左圖像和第二右圖像進(jìn)行光照校正。

5、上述任一項技術(shù)方案中，進(jìn)一步地，步驟4中，具體包括：

6、步驟41：基于校正后的第二左圖像和校正后的第二右圖像，確定邊緣圖像；

7、步驟42：基于邊緣圖像、校正后的第二左圖像和校正后的第二右圖像，構(gòu)建ad-census代價值；

8、步驟43：基于靜態(tài)目標(biāo)區(qū)域?qū)?yīng)的視差值，對ad-census代價值進(jìn)行優(yōu)化，并基于優(yōu)化后的ad-census代價值，確定固定路徑聚合代價值，其中，優(yōu)化后的ad-census代價值的計算公式為：

9、

10、式中，c(p,d)為優(yōu)化后的ad-census代價值，c0(p,d)為ad-census代價值，p為校正后的第二左圖像中的像素點(diǎn)，d表示像素點(diǎn)p在校正后的第二右圖像中偏移的視差值，d′為靜態(tài)目標(biāo)區(qū)域rtorj對應(yīng)的視差值，λ為優(yōu)化系數(shù)；

11、步驟44：基于固定路徑聚合代價值，構(gòu)建全局能量函數(shù)，并將全局能量函數(shù)取值最小時對應(yīng)的視差值，記作像素點(diǎn)p的視差值；

12、步驟45：遍歷校正后的第二左圖像中的像素點(diǎn)，確定視差圖。

13、上述任一項技術(shù)方案中，進(jìn)一步地，邊緣圖像包括左邊緣圖像、右邊緣圖像，分別由校正后的第二左圖像、校正后的第二右圖像確定，步驟41中，確定左邊緣圖像的方法，具體包括：對校正后的第二左圖像轉(zhuǎn)換為灰度圖，并對灰度圖像進(jìn)行濾波，生成濾波圖像；計算濾波圖像中每個像素點(diǎn)的自適應(yīng)閾值，其中，自適應(yīng)閾值由像素點(diǎn)的灰度值與相應(yīng)的權(quán)值確定，權(quán)值由像素點(diǎn)的灰度值與相應(yīng)像素窗口內(nèi)灰度均值的差值絕對值確定；基于自適應(yīng)閾值，采用sobel邊緣檢測算法，確定左邊緣圖像。

14、上述任一項技術(shù)方案中，進(jìn)一步地，對灰度圖像進(jìn)行濾波，生成濾波圖像，具體包括：基于預(yù)設(shè)濾波窗口，計算當(dāng)前中心點(diǎn)對應(yīng)的最小灰度值、最大灰度值和灰度中值；當(dāng)判定最小灰度值、最大灰度值的差值小于灰度閾值時，將當(dāng)前中心點(diǎn)的灰度值記作中心點(diǎn)灰度值；當(dāng)判定最小灰度值、最大灰度值的差值大于或等于灰度閾值時，判斷灰度中值是否大于最小灰度值、且小于最大灰度值，若是，將灰度中值記作中心點(diǎn)灰度值，若否，按照預(yù)設(shè)步長增大預(yù)設(shè)濾波窗口的大小，重新計算當(dāng)前中心點(diǎn)對應(yīng)的最小灰度值、最大灰度值和灰度中值；基于中心點(diǎn)灰度值，生成濾波圖像。

15、上述任一項技術(shù)方案中，進(jìn)一步地，邊緣圖像包括左邊緣圖像、右邊緣圖像，步驟42中，具體包括：將校正后的第二左圖像、校正后的第二右圖像，轉(zhuǎn)變?yōu)榛叶葓D，分別記作左灰度圖、右灰度圖；分別基于左灰度圖、右灰度圖，采用滑動窗口的方式，將窗口中每個像素的灰度值與窗口中心像素的灰度值進(jìn)行比較，生成窗口中心像素對應(yīng)的左灰度01字符串、右灰度01字符串；分別基于左邊緣圖像、右邊緣圖像，采用滑動窗口的方式，根據(jù)窗口內(nèi)的像素點(diǎn)為邊緣點(diǎn)的分布，生成窗口中心像素的左邊緣01字符串、右邊緣01字符串；分別將左灰度01字符串、右灰度01字符串與左邊緣01字符串、右邊緣01字符串進(jìn)行拼接，生成窗口中心像素的左編碼、右編碼；基于左編碼、右編碼的漢明距離，計算census值，并基于census值、校正后的第二左圖像和校正后的第二右圖像，構(gòu)建ad-census代價值。

16、上述任一項技術(shù)方案中，進(jìn)一步地，ad-census代價值的計算公式為：

17、c0(p,d)＝ρ(ad,λad)+ρ(census，λcensus)

18、

19、式中，c0(p,d)為ad-census代價值，ρ()為映射函數(shù)，ad為像素點(diǎn)絕對值之差，census為census值，表示像素點(diǎn)臨近區(qū)域相對關(guān)系相似性，λad、λcensus為預(yù)設(shè)參數(shù)，為校正后的第二左圖像中的像素點(diǎn)p對應(yīng)的rgb三通道中q通道的取值，為校正后的第二右圖像中對應(yīng)像素點(diǎn)p偏移d視差后的像素點(diǎn)對應(yīng)的rgb三通道中q通道的取值。

20、本技術(shù)第二方面的技術(shù)方案是：提供了一種基于光照參考的雙目相機(jī)視差計算系統(tǒng)，該系統(tǒng)包括：第一視差計算單元，第一視差計算單元被配置為：獲取第一光照條件下雙目相機(jī)采集到的第一左圖像和第一右圖像，并計算相應(yīng)的第一視差圖；特征計算單元，特征計算單元被配置為：基于第一視差圖，對第一左圖像中的靜態(tài)目標(biāo)區(qū)域進(jìn)行標(biāo)注，并提取靜態(tài)目標(biāo)區(qū)域在第一左圖像中對應(yīng)區(qū)域圖像的光照參考特征；校正單元，校正單元被配置為：基于光照參考特征，對第二光照條件下雙目相機(jī)采集到的第二左圖像和第二右圖像進(jìn)行光照校正；第二視差計算單元，第二視差計算單元被配置為：基于校正后的第二左圖像和校正后的第二右圖像，確定第二視差圖，其中，第二光照條件為弱光照條件和/或強(qiáng)光照條件。

21、本技術(shù)第三方面的技術(shù)方案是：提供了一種電子設(shè)備，包括：存儲器，存儲器存儲執(zhí)行指令；處理器，處理器執(zhí)行存儲器存儲的執(zhí)行指令，使得處理器執(zhí)行上述第一方面技術(shù)方案中任一項的基于光照參考的雙目相機(jī)視差計算方法。

22、本技術(shù)的有益效果是：

23、本技術(shù)中的技術(shù)方案，以安裝在智慧燈桿上雙目相機(jī)的視野不會發(fā)生變化為前提，首先通過在光照正常情況下的視差圖中確定靜態(tài)目標(biāo)區(qū)域，然后依據(jù)該區(qū)域的坐標(biāo)，在相應(yīng)的左圖像中提取光照參考特征，最后再利用該光照參考特征對光照異常條件下的左右圖像進(jìn)行校正，以降低立體匹配方法的復(fù)雜性，得到準(zhǔn)確的視差圖。

24、本技術(shù)為了提高視差計算的準(zhǔn)確性，還提出了利用邊緣圖像輔助計算視差圖的方法，在已知靜態(tài)目標(biāo)區(qū)域中特征區(qū)域視差圖的情況下，通過向代價值中增加該區(qū)域中計算視差與已知視差之間的差異，可使得計算結(jié)果向已知標(biāo)準(zhǔn)參考結(jié)果靠攏，以提高其匹配精度進(jìn)而可提高整幅圖像匹配準(zhǔn)確度。