本技術涉及醫(yī)學領域，尤其涉及一種三維模型構(gòu)建系統(tǒng)及方法、設備、介質(zhì)。

背景技術：

1、在現(xiàn)代醫(yī)學領域，精準醫(yī)療的需求日益增長，特別是在疾病的診斷和治療過程中。因此為了使醫(yī)生能夠更加直觀地觀察患者的身體結(jié)構(gòu)信息，以使醫(yī)生得到更加精準地診斷結(jié)果，各式各樣的成像系統(tǒng)現(xiàn)已逐步在醫(yī)學領域中廣泛應用，以提供患者身體結(jié)構(gòu)的圖像信息供醫(yī)生進行疾病診斷。在成像系統(tǒng)中，熒光成像和彩色成像技術是兩種重要的成像手段，基于熒光成像技術構(gòu)建的成像系統(tǒng)通過特定的熒光標記物，能夠高靈敏度和高特異性地得到目標物體中指定區(qū)域的圖像；基于彩色成像技術構(gòu)建的成像系統(tǒng)拍攝的圖像能夠提供目標物體豐富的結(jié)構(gòu)信息。

2、在成像系統(tǒng)研究工作中，現(xiàn)有的成像系統(tǒng)或基于熒光成像技術構(gòu)建以得到目標物體中指定區(qū)域?qū)臒晒鈭D像，或基于彩色成像技術構(gòu)建以得到目標物體對應的彩色圖像，或基于熒光成像和彩色成像技術分別得到目標物體的熒光圖像和彩色圖像，并將兩者融合得到目標物體中包含熒光區(qū)域的二維圖像。然而，無論是基于單模態(tài)(基于熒光成像技術或彩色成像技術)還是多模態(tài)(基于熒光成像技術和彩色成像技術)成像技術構(gòu)建的成像系統(tǒng)，最終提供的都是目標物體的二維圖像，無法提供目標物體詳細的三維結(jié)構(gòu)信息。因此將現(xiàn)有的成像系統(tǒng)用于獲取患者目標區(qū)域的圖像時，只能得到患者目標區(qū)域的二維圖像，該二維圖像無法提供患者目標區(qū)域更加詳細的結(jié)構(gòu)信息，從而難以輔助醫(yī)生獲得更加準確的疾病診斷結(jié)果。

技術實現(xiàn)思路

1、本技術提供一種三維模型構(gòu)建系統(tǒng)及方法、設備、介質(zhì)，以解決現(xiàn)有的成像系統(tǒng)得到的患者目標區(qū)域的二維圖像無法提供患者目標區(qū)域更加詳細的結(jié)構(gòu)信息，從而難以輔助醫(yī)生獲得更加準確的疾病診斷結(jié)果的問題。

2、本技術的第一方面提供了一種三維模型構(gòu)建系統(tǒng)，所述系統(tǒng)用于構(gòu)建目標物體對應的三維模型，所述系統(tǒng)包括：

3、圖像采集模塊，用于采集目標物體不同視角的彩色圖像和目標物體中目標區(qū)域的熒光圖像；

4、控制模塊，用于對所述圖像采集模塊進行控制，以使所述圖像采集模塊正常完成所述目標物體不同視角的彩色圖像和所述目標物體中目標區(qū)域的熒光圖像的采集；

5、圖像處理模塊，用于基于所述目標物體不同視角的彩色圖像和所述目標物體中目標區(qū)域的熒光圖像，得到所述目標物體對應的三維模型。

6、在本技術的一些實施例中，所述圖像采集模塊包括：

7、熒光相機，用于采集所述目標物體中目標區(qū)域的熒光圖像；

8、彩色相機組件，用于采集所述目標物體不同視角的彩色圖像，其中，所述彩色相機組件包括多個雙目彩色相機，每個所述雙目彩色相機用于采集所述目標物體兩個視角的彩色圖像，且每個所述雙目彩色相機由按照預設距離擺放的兩個彩色相機構(gòu)成，每個所述彩色相機用于采集所述目標物體一個視角的彩色圖像；

9、激光光源，用于對所述目標物體中的目標區(qū)域進行激光照射，以使所述熒光相機采集所述目標物體中目標區(qū)域的熒光圖像。

10、在本技術的一些實施例中，所述圖像采集模塊還包括：

11、濾光片，用于使所述熒光相機采集指定波段的所述目標物體中目標區(qū)域的熒光圖像；

12、照明燈，用于提供光照以輔助所述彩色相機組件采集所述目標物體不同視角的彩色圖像和所述熒光相機采集所述目標物體中目標區(qū)域的熒光圖像。

13、在本技術的一些實施例中，所述圖像處理模塊被配置為采用如下方式得到所述目標物體對應的三維模型：

14、對所述目標物體中目標區(qū)域的熒光圖像進行去噪、和/或偽彩化處理，以得到所述目標物體中目標區(qū)域的第一熒光圖像；

15、任意選擇一個所述雙目彩色相機采集的所述目標物體兩個視角的彩色圖像，并將所述目標物體中目標區(qū)域的第一熒光圖像分別與選擇的所述目標物體每個視角的彩色圖像進行配準，以得到所述目標物體中目標區(qū)域每個視角的第一熒光圖像；

16、將所述目標物體中目標區(qū)域每個視角的第一熒光圖像和所述目標物體該視角的彩色圖像進行融合處理，以得到所述目標物體中包含熒光區(qū)域的每個視角的彩色圖像；

17、對選擇的一個雙目彩色相機進行標定處理，以得到所述雙目彩色相機的內(nèi)參矩陣、相對外參以及畸變參數(shù)；

18、基于所述雙目彩色相機的內(nèi)參矩陣、相對外參以及畸變參數(shù)，對所述目標物體中包含熒光區(qū)域的每個視角的彩色圖像進行立體校正，以及對立體校正后的所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像進行立體匹配，以得到所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的視差圖；

19、基于所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的視差圖和所述雙目彩色相機的內(nèi)參矩陣、相對外參、畸變參數(shù)，得到所述目標物體對應的深度圖；

20、將所述目標物體對應的深度圖進行反投影處理，以得到所述目標物體對應三維點云，以及對所述目標物體對應三維點云進行三維重建，以得到所述目標物體對應的三維模型。

21、在本技術的一些實施例中，所述圖像處理模塊還被配置為：

22、任意選擇一個所述雙目彩色相機采集的所述目標物體兩個視角的彩色圖像，并將所述目標物體中目標區(qū)域的第一熒光圖像分別與選擇的所述目標物體每個視角的彩色圖像進行配準，并對配準后的所述目標物體中目標區(qū)域的每個視角的熒光圖像進行分割、和/或塊提取處理，以得到所述目標物體中目標區(qū)域每個視角的第一熒光圖像。

23、在本技術的一些實施例中，所述圖像處理模塊還被配置為：

24、利用透視變換方法將所述目標物體中目標區(qū)域的第一熒光圖像分別與選擇的所述目標物體每個視角的彩色圖像進行配準，以得到所述目標物體中目標區(qū)域每個視角的第一熒光圖像；

25、利用半全局塊匹配方法對立體校正后的所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像進行立體匹配，以得到所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的初始視差圖，以及利用快速行進方法對所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的初始視差圖進行優(yōu)化處理，以得到所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的視差圖；

26、利用貪婪投影三角化方法對所述目標物體對應三維點云進行三維重建，以得到所述目標物體對應的三維模型。

27、在本技術的一些實施例中，所述系統(tǒng)還包括：

28、定位模塊，用于提取立體校正后的所述目標物體中包含熒光區(qū)域的每個視角的彩色圖像中熒光區(qū)域構(gòu)成的外切矩陣的四個頂點的坐標，并基于四個頂點的坐標計算熒光區(qū)域的長度和寬度。

29、本技術的第二方面提供了一種三維模型構(gòu)建方法，所述方法包括：

30、獲取目標物體兩個視角的彩色圖像和目標物體中目標區(qū)域的熒光圖像，其中，所述目標物體兩個視角的彩色圖像由雙目彩色相機對目標物體進行拍攝得到，所述目標物體中目標區(qū)域的熒光圖像由熒光相機對目標物體進行拍攝得到；

31、對所述目標物體中目標區(qū)域的熒光圖像進行去噪、和/或偽彩化處理，以得到所述目標物體中目標區(qū)域的第一熒光圖像；

32、將所述目標物體中目標區(qū)域的第一熒光圖像分別與選擇的所述目標物體每個視角的彩色圖像進行配準，以得到所述目標物體中目標區(qū)域每個視角的第一熒光圖像；

33、將所述目標物體中目標區(qū)域每個視角的第一熒光圖像和所述目標物體該視角的彩色圖像進行融合處理，以得到所述目標物體中包含熒光區(qū)域的每個視角的彩色圖像；

34、獲取雙目彩色相機的內(nèi)參矩陣、相對外參以及畸變參數(shù)，其中，所述雙目彩色相機的內(nèi)參矩陣、相對外參以及畸變參數(shù)由對雙目彩色相機進行標定處理得到；

35、基于所述雙目彩色相機的內(nèi)參矩陣、相對外參以及畸變參數(shù)，對所述目標物體中包含熒光區(qū)域的每個視角的彩色圖像進行立體校正，以及對立體校正后的所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像進行立體匹配，以得到所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的視差圖；

36、基于所述目標物體中包含熒光區(qū)域的兩個視角的彩色圖像之間的視差圖和所述雙目彩色相機的內(nèi)參矩陣、相對外參、畸變參數(shù)，得到所述目標物體對應的深度圖；

37、將所述目標物體對應的深度圖進行反投影處理，以得到所述目標物體對應三維點云，以及對所述目標物體對應三維點云進行三維重建，以得到所述目標物體對應的三維模型。

38、本技術的第三方面提供了一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述實施例中第二方面任一項所述方法的步驟。

39、本技術的第四方面提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述實施例中第二方面任一項所述方法。

40、本技術有以下有益效果：本技術的三維模型構(gòu)建方案通過采集目標物體不同視角的彩色圖像和目標物體中目標區(qū)域的熒光圖像，并基于所述目標物體不同視角的彩色圖像和所述目標物體中目標區(qū)域的熒光圖像，構(gòu)建所述目標物體對應的三維模型。因此，本技術的三維模型構(gòu)建方案得到目標物體的三維模型，將該方案用于獲取患者目標區(qū)域的圖像時，能夠得到患者目標區(qū)域的三維圖像，該三維圖像能夠提供患者目標區(qū)域更加詳細的結(jié)構(gòu)信息，從而更好地輔助醫(yī)生獲得更加準確的疾病診斷結(jié)果。