本發(fā)明涉及內窺鏡，具體涉及一種內窺圖像的三維重建方法及裝置。

背景技術：

1、在臨床診斷上，高質量的三維內窺圖像能夠提供深度信息（精準尺寸信息），有助于醫(yī)生清晰而快速地識別定位關鍵解剖結構，提升臨床的效率和安全性。此外，高質量的數(shù)字化三維信息也是新一代圖像引導微創(chuàng)手術技術和智能化手術機器人技術的重要前提，術中能提供一個全面的立體視圖感知組織表面形狀，提前規(guī)劃手術路徑，確保手術器械準確達到病變位置，避免對周圍正常組織和神經的損傷。因此研究內窺成像的高質量三維信息重建技術具有重要意義。

2、目前基于內窺成像的三維重建技術主要通過雙目立體視覺算法實現(xiàn)，典型代表算法為半全局塊匹配算法(semi-global?block?matching，sgbm)，需要通過特征匹配的方式獲取左右視圖中差值，并結合三角測量法計算該點的三維坐標。高度依賴紋理的特征決定了其對于紋理豐富的組織效果很好，但在缺少紋理匱乏、鏡面反射和細節(jié)較弱的胃壁等場景下算法會失效；結構光三維重建法和光子飛行時間測量等方法可顯著增加特定的紋理信息，但受限于外部硬件條件，難以嵌入于內窺系統(tǒng)中。陰影重建技術不依賴于紋理信息，利用單幅圖像的光強度變化恢復物體表面各點的相對高度；但其需要對組織表面的反射函數(shù)提前進行假設，而這些假設很難與各個組織真實性質相同，導致重建精度仍然較低。深度學習也被引入到內窺鏡的三維重建，推動了處理弱紋理區(qū)域中重建效果,可以生成平滑的結果。但它僅依靠學到的形狀先驗在弱紋理區(qū)域恢復的深度可能是不可靠的，因為對應關系本質上是不明確的。

技術實現(xiàn)思路

1、針對現(xiàn)有技術的不足，本發(fā)明提供了一種內窺圖像的三維重建方法及裝置，通過一種端到端的rgb+偏振的融合網絡去實現(xiàn)對組織的高質量三維重建；利用偏振模態(tài)攜帶的表面法線信息來增強雙目立體視覺的深度信息，以實現(xiàn)弱紋理下穩(wěn)健的稠密三維重建。

2、本發(fā)明提供一種內窺圖像的三維重建方法，包括如下步驟：

3、s1：搭建偏振計量雙目內窺鏡系統(tǒng)；

4、s2：接收偏振計量雙目內窺鏡系統(tǒng)不同場景下的原始內窺圖像，解耦得到相應的rgb圖像和不同偏振角度的偏振圖像，計算對應的偏振信息編碼；

5、s3：構建一個端到端的rgb+偏振的融合網絡，利用偏振模態(tài)攜帶的稠密的表面法線信息來增強雙目立體視覺的深度信息，并將計算得到的偏振信息編碼與rgb圖像組作為輸入，實時獲取相應的深度圖；

6、s4：利用圖像當前的位姿參數(shù)以及深度圖進行圖像重建，得到三維可視化點云。

7、進一步地，所述步驟s2中，根據(jù)不同偏振角度的偏振圖像計算對應的偏振信息編碼，計算偏振信息編碼過程如下：

8、；

9、其中，i0、i45、i90和i135分別表示偏振片角度為0°、45°、90°和135°的偏振圖像，是平均強度，標量為線偏振度，角度為線偏振角，表示偏振信息編碼。

10、進一步地，所述步驟s3中，所述端到端的rgb+偏振的融合網絡由特征提取、成本量構建、成本匯總和深度預測四個部分組成。

11、進一步地，所述特征提取具體為：使用一組?3×3?內核的卷積層來對輸入圖像進行下采樣，再分別使用具有十六個殘差層的卷積層、具有三個殘差層的兩個卷積層來進一步擴大感受野；輸出特征圖大小為輸入圖像大小的1/?4?×?1?/4；將所有特征圖連接起來，形成320通道的一元特征圖；

12、所述成本量構建具體為：分別為rgb域和偏振域構建相關體積；首先應用兩個卷積將320通道特征圖壓縮為32通道特征圖，然后將每個視差級別的左特征圖與其對應的右特征圖連接起來，構建一個4d體；

13、；

14、其中，表示視差，表示坐標，表示第四維度，表示串聯(lián)；

15、所述成本匯總具體為：將rgb相關體積和偏振相關體積自適應加權融合起來作為3d聚合網絡的輸入，自適應加權融合模塊由若干個3×3卷積層、relu激活函數(shù)層組成；

16、；

17、其中，awf表示自適應加權融合模塊，為融合體積，表示矩陣乘法運算；

18、利用偏振信息三維形狀與立體視覺深度估計的一致性約束指導網絡自適應學習凈化有效深度信息，提高深度估計精度；所述3d聚合網絡由四個具有批量歸一化和relu的3d卷積以及兩個堆疊的3d沙漏網絡組成；每個沙漏網絡由四個3d卷積層和兩個3d反卷積層組成；

19、所述深度預測具體為：在沙漏網絡前和每個沙漏網絡后各對應一個輸出，通過兩個3d卷積生成一個具有1個通道的4d體積；對該體積進行上采樣，并使用softmax函數(shù)將其轉換為概率體積，預測的深度計算為每個深度d按其概率加權的和，表達式為：

20、；

21、其中，表示深度值，表示概率；

22、采用平滑l1損失函數(shù)來訓練網絡，損失函數(shù)的表達式為：

23、；

24、其中，表示第i個視差預測的系數(shù)，表示真實深度圖，表示平滑l1損失函數(shù)；

25、結合損失函數(shù)訓練rgb+偏振的融合網絡，并利用訓練好的網絡實時獲取相應的深度圖。

26、進一步地，偏振相關體積隱式包含的表面法線信息作為rgb?信息的補充，以增強雙目立體視覺的深度信息。

27、進一步地，所述步驟s4具體為：獲取當前圖像的像素坐標；根據(jù)所述圖像當前的位姿參數(shù)和像素坐標以及步驟s3得到的對應的深度圖，計算得到目標的世界空間坐標；獲取所述圖像中的每個像素點的顏色信息，根據(jù)顏色信息和目標的世界空間坐標對點云進行重建，得到三維點云。

28、本發(fā)明還提供一種內窺圖像的三維重建裝置，包括：

29、圖像采集模塊，用于接收偏振計量雙目內窺鏡系統(tǒng)不同場景下的原始內窺圖像；

30、圖像處理模塊，用于對原始內窺圖像進行矯正處理，并對矯正后的圖像進行解耦得到相應的rgb圖像和不同偏振角度的偏振圖像，計算對應的偏振信息編碼；

31、圖像深度模塊，用于將計算得到的偏振信息編碼與rgb圖像組輸入至預訓練好的三維重建網絡模型，實時捕獲相應的深度圖；

32、圖像顯示模塊，用于根據(jù)圖像當前的位姿參數(shù)以及深度圖，計算目標的世界空間坐標，實時顯示目標的三維可視化界面。

33、進一步地，所述圖像處理模塊包括：

34、圖像預處理單元，用于根據(jù)偏振計量雙目內窺鏡系統(tǒng)標定得到的內參和畸變參數(shù)對采集的原始內窺圖像進行矯正處理，并保證雙目圖像在水平方向上保持一致；

35、偏振信息編碼單元，用于解耦獲得不同偏振角度的偏振圖像并計算對應的偏振信息編碼。

36、進一步地，所述圖像深度模塊包括：

37、特征提取單元，用于利用rgb特征編碼器和偏振特征編碼器分別對rgb圖像組和偏振信息編碼圖像組進行深度特征提?。?/p>

38、成本量構建單元，用于分別為rgb域和偏振域構建相關體積；

39、3d聚合單元，用于將rgb相關體積和偏振相關體積自適應加權融合起來，激發(fā)二者有效互補信息進行增強；

40、深度預測單元，用于輸出目標的有效深度信息。

41、進一步地，所述圖像顯示模塊還用于根據(jù)用戶需要進行不同視角下的觀測，并實現(xiàn)實時凍結存儲。

42、與現(xiàn)有技術相比，本發(fā)明的優(yōu)點和有益效果：本發(fā)明提出了一種端到端的rgb+偏振的融合網絡，利用偏振模態(tài)攜帶的稠密的表面法線信息來增強雙目立體視覺的深度信息，利用偏振信息三維形狀與立體視覺深度估計的一致性約束指導網絡自適應學習凈化有效深度信息，有效降低了在內窺鏡系統(tǒng)的復雜工作環(huán)境中的特征點難以匹配的局限性，顯著地提高了弱紋理下三維重建的精度，使醫(yī)生可以在復雜的工作環(huán)境中更容易地定位病變，提高對微小結構的觀察能力，進而提高手術的安全性和準確性。同時本發(fā)明方法時間復雜度和空間復雜度都很低，實現(xiàn)僅需非常低的硬件成本，易于工程化推廣應用。