1.一種內(nèi)窺圖像的三維重建方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的內(nèi)窺圖像的三維重建方法,其特征在于,所述步驟s2中,根據(jù)不同偏振角度的偏振圖像計(jì)算對(duì)應(yīng)的偏振信息編碼,計(jì)算偏振信息編碼過(guò)程如下:
3.根據(jù)權(quán)利要求1所述的內(nèi)窺圖像的三維重建方法,其特征在于,所述步驟s3中,所述端到端的rgb+偏振的融合網(wǎng)絡(luò)由特征提取、成本量構(gòu)建、成本匯總和深度預(yù)測(cè)四個(gè)部分組成。
4.根據(jù)權(quán)利要求3所述的內(nèi)窺圖像的三維重建方法,其特征在于,所述特征提取具體為:使用一組?3×3?內(nèi)核的卷積層來(lái)對(duì)輸入圖像進(jìn)行下采樣,再分別使用具有十六個(gè)殘差層的卷積層、具有三個(gè)殘差層的兩個(gè)卷積層來(lái)進(jìn)一步擴(kuò)大感受野;輸出特征圖大小為輸入圖像大小的1/?4?×?1?/4;將所有特征圖連接起來(lái),形成320通道的一元特征圖;
5.根據(jù)權(quán)利要求4所述的內(nèi)窺圖像的三維重建方法,其特征在于,偏振相關(guān)體積隱式包含的表面法線信息作為rgb?信息的補(bǔ)充,以增強(qiáng)雙目立體視覺(jué)的深度信息。
6.根據(jù)權(quán)利要求1所述的內(nèi)窺圖像的三維重建方法,其特征在于,所述步驟s4具體為:獲取當(dāng)前圖像的像素坐標(biāo);根據(jù)所述圖像當(dāng)前的位姿參數(shù)和像素坐標(biāo)以及步驟s3得到的對(duì)應(yīng)的深度圖,計(jì)算得到目標(biāo)的世界空間坐標(biāo);獲取所述圖像中的每個(gè)像素點(diǎn)的顏色信息,根據(jù)顏色信息和目標(biāo)的世界空間坐標(biāo)對(duì)點(diǎn)云進(jìn)行重建,得到三維點(diǎn)云。
7.一種內(nèi)窺圖像的三維重建裝置,其特征在于,包括:
8.如權(quán)利要求7所述的內(nèi)窺圖像的三維重建裝置,其特征在于,所述圖像處理模塊包括:
9.如權(quán)利要求7所述的內(nèi)窺圖像的三維重建裝置,其特征在于,所述圖像深度模塊包括:
10.如權(quán)利要求7所述的內(nèi)窺圖像的三維重建裝置,其特征在于,所述圖像顯示模塊還用于根據(jù)用戶需要進(jìn)行不同視角下的觀測(cè),并實(shí)現(xiàn)實(shí)時(shí)凍結(jié)存儲(chǔ)。