本發(fā)明涉及一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，屬于圖像處理。

背景技術(shù)：

1、現(xiàn)代自動(dòng)駕駛車輛(例如特斯拉生產(chǎn)的車輛)配備了多個(gè)攝像頭，以捕捉完整的360°全景視圖。這一功能催生了一種利用多攝像頭設(shè)置的新型深度估計(jì)方法，以利用微小的跨攝像頭重疊。與雙目下相機(jī)依賴要求雙目校正或廣泛重疊圖像的傳統(tǒng)方法不同，這種創(chuàng)新方法可以利用位置任意的攝像頭之間的最小重疊(低至10％)。目前，已有幾項(xiàng)現(xiàn)有工作正在探索這種創(chuàng)新框架下的自監(jiān)督深度估計(jì)。guizilini等人提出了第一種方法，稱為全方位單目深度，該方法利用跨攝像頭的時(shí)間上下文和時(shí)空光度約束來增加攝像頭之間的重疊。通過利用攝像頭之間已知的外部參數(shù)，全方位單目深度施加姿態(tài)一致性約束，以確保所有攝像頭遵循相同的剛體運(yùn)動(dòng)。

2、然而，這些現(xiàn)有方法通常獨(dú)立估計(jì)每個(gè)視角的深度，無法確保跨攝像頭重疊區(qū)域的一致深度預(yù)測，所示。雖然全向單目深度估計(jì)可以通過利用相鄰視圖中的光度誤差來恢復(fù)深度的尺度，但實(shí)驗(yàn)分析表明光度誤差受光照條件的極大影響，無法重建準(zhǔn)確的幾何形狀。在多攝像頭系統(tǒng)中，這種不一致性會(huì)導(dǎo)致深度預(yù)測精度下降、3d結(jié)構(gòu)解釋錯(cuò)誤以及下游任務(wù)中的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為解決現(xiàn)有技術(shù)中在多攝像頭系統(tǒng)中小重疊區(qū)域的自監(jiān)督深度估計(jì)問題，進(jìn)而提出一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法。

2、本發(fā)明為解決上述問題采取的技術(shù)方案是：本發(fā)明提出一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，包括：

3、步驟1：將相鄰視角的rgb圖像輸入深度估計(jì)網(wǎng)絡(luò)，獲取對(duì)應(yīng)rgb圖像的深度基；

4、步驟2：使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化rgb圖像的深度基權(quán)重；

5、步驟3：對(duì)rgb圖像優(yōu)化后的權(quán)重基權(quán)重和深度基進(jìn)行線性求和，得到初始深度圖；

6、步驟4：以初始深度圖為基礎(chǔ)，將相鄰視角rgb圖像的特征圖像的特征投影到同一視角下，獲取合并后的投影特征；

7、步驟5：將合并后的投影特征輸入權(quán)重更新網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到更新后的被投影特征權(quán)重；

8、步驟6：對(duì)更新后的被投影特征權(quán)重和深度基進(jìn)行線性求和計(jì)算，得到優(yōu)化一次后的深度圖；

9、步驟7：重復(fù)步驟1-步驟6，對(duì)深度圖進(jìn)行迭代優(yōu)化，直至深度基權(quán)重收斂，得到自監(jiān)督多相機(jī)協(xié)同深度預(yù)測結(jié)果。

10、可選的，步驟2中優(yōu)化rgb圖像的深度基權(quán)重具體包括：

11、利用目標(biāo)攝像頭和相鄰攝像頭之間的重疊視圖對(duì)rgb圖像的深度基權(quán)重進(jìn)行優(yōu)化。

12、可選的，步驟4中將相鄰視角rgb圖像的特征圖像的特征投影到同一視角下的步驟包括：

13、步驟4.1：獲取目標(biāo)攝像頭和相鄰攝像頭的外部標(biāo)定參數(shù)和內(nèi)部參數(shù)，外部標(biāo)定參數(shù)包括相機(jī)旋轉(zhuǎn)和平移的6個(gè)自由度參數(shù)，內(nèi)部參數(shù)包括焦距和距光心距離；

14、步驟4.2：結(jié)合目標(biāo)攝像頭和相鄰攝像頭的外部標(biāo)定參數(shù)和內(nèi)部參數(shù)將相鄰圖像的特征投影到同一視角下，獲取合并后的投影特征。

15、可選的，步驟4.2中獲取合并后的投影特征的步驟包括：

16、步驟4.2.1：結(jié)合內(nèi)部參數(shù)和深度估計(jì)網(wǎng)絡(luò)的估計(jì)深度，獲取目標(biāo)攝像頭和相鄰攝像頭之間的像素3d投影操作；

17、步驟4.2.2：基于深度估計(jì)網(wǎng)絡(luò)中的編碼器獲取目標(biāo)攝像頭和相鄰攝像頭的多尺度特征圖，利用差值算法將多尺度特征圖對(duì)齊到相同尺寸并沿通道連接；

18、步驟4.2.3：基于目標(biāo)攝像頭和相鄰攝像頭之間的像素3d投影操作，將目標(biāo)攝像頭的多尺度特征扭曲到相鄰攝像頭中，得到扭曲特征，并將相鄰攝像頭中目標(biāo)攝像頭多尺度特征圖和相鄰攝像頭多尺度特征圖的重疊區(qū)域用0填充；

19、步驟4.2.4：將扭曲特征之間沿通道連接得到合并后的投影特征。

20、可選的，步驟5中更新后的被投影特征權(quán)重的獲取步驟包括：

21、步驟5.1：將目標(biāo)攝像頭和相鄰攝像頭的特征在權(quán)重更新網(wǎng)絡(luò)的通道層進(jìn)行合并；

22、步驟5.2：將合并后的投影特征輸入權(quán)重更新網(wǎng)絡(luò)中的門控循環(huán)單元；

23、步驟5.3：將門控循環(huán)單元輸出送入3×3的卷積層進(jìn)行卷積，將卷積層的輸出輸入池化層，池化層的輸入被拉成n×1的維度，并將池化層的輸出輸入到全連接層；

24、步驟5.4：全連接層的輸出經(jīng)過sigmoid函數(shù)進(jìn)行計(jì)算，完成投影特征權(quán)重的優(yōu)化，得到更新后的被投影特征權(quán)重。

25、本發(fā)明的有益效果是：

26、1.本發(fā)明提供的自監(jiān)督多相機(jī)協(xié)同深度預(yù)測方法，能夠利用相機(jī)之間的小重疊信息，實(shí)現(xiàn)深度預(yù)測的結(jié)構(gòu)一致性。

27、2.本發(fā)明能夠通過循環(huán)細(xì)化策略,提高深度細(xì)化效率，本發(fā)明的提供的權(quán)重網(wǎng)絡(luò)能夠在保持深度預(yù)測精度的同時(shí)減少參數(shù)數(shù)量，同時(shí)添加了深度學(xué)習(xí)的門控網(wǎng)絡(luò)，實(shí)現(xiàn)了多次迭代計(jì)算，能夠有效提升運(yùn)算效率且不損失精度。

28、3.本發(fā)明能夠更合理地利用重疊圖像，并在推理階段利用相鄰攝像頭的信息提高整體深度估計(jì)的準(zhǔn)確性，并且性能提升只需要少量額外參數(shù)，受codeslam的啟發(fā)，密集深度圖可以通過少量基本狀態(tài)進(jìn)行調(diào)整。

技術(shù)特征：

1.一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，其特征在于，所述一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法的步驟包括：

2.根據(jù)權(quán)利要求1所述的一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，其特征在于，步驟2中優(yōu)化rgb圖像的深度基權(quán)重具體包括：

3.根據(jù)權(quán)利要求1所述的一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，其特征在于，步驟4中將相鄰視角rgb圖像的特征圖像的特征投影到同一視角下的步驟包括：

4.根據(jù)權(quán)利要求3所述的一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，其特征在于，步驟4.2中獲取合并后的投影特征的步驟包括：

5.根據(jù)權(quán)利要求1所述的一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，其特征在于，步驟5中更新后的被投影特征權(quán)重的獲取步驟包括：

技術(shù)總結(jié)
本發(fā)明提出一種具有結(jié)構(gòu)一致性的自監(jiān)督多相機(jī)深度預(yù)測方法，包括：S1：將相鄰視角的RGB圖像輸入深度估計(jì)網(wǎng)絡(luò)，獲取對(duì)應(yīng)RGB圖像的深度基；S2：對(duì)RGB圖像的深度基權(quán)重進(jìn)行優(yōu)化，并和深度基進(jìn)行線性求和，得到初始深度圖；S3：以初始深度圖為基礎(chǔ)，將相鄰視角RGB圖像的特征圖像的特征投影到同一視角下，獲取合并后的投影特征；S4：將合并后的投影特征輸入權(quán)重更新網(wǎng)絡(luò)進(jìn)行優(yōu)化；S5：對(duì)更新后的被投影特征權(quán)重和深度基進(jìn)行線性求和計(jì)算，得到優(yōu)化一次后的深度圖；S6：重復(fù)S1?S5，對(duì)深度圖進(jìn)行迭代優(yōu)化，直至深度基權(quán)重收斂，得到自監(jiān)督多相機(jī)協(xié)同深度預(yù)測結(jié)果。本發(fā)明能夠利用相機(jī)之間的小重疊信息，實(shí)現(xiàn)深度預(yù)測的結(jié)構(gòu)一致性。

技術(shù)研發(fā)人員：劉賢明,徐家雷,翟德明,趙文博,江俊君,李曉軍,姚俊萍,季向陽
受保護(hù)的技術(shù)使用者：哈爾濱工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2