本發(fā)明涉及三維建模，尤其涉及一種基于多源異構(gòu)數(shù)據(jù)的三維建模方法與裝置。

背景技術(shù)：

1、當(dāng)前醫(yī)學(xué)成像技術(shù)在醫(yī)療醫(yī)學(xué)等領(lǐng)域獲得了廣泛應(yīng)用，其中以ct（computedtomography，計(jì)算機(jī)斷層掃描）、mri（magnetic?resonance?imaging，磁共振成像）等為代表的成像技術(shù)可以提供無創(chuàng)或微創(chuàng)的方式來觀察患者體內(nèi)的情況，廣泛應(yīng)用于疾病篩查、手術(shù)導(dǎo)航、治療規(guī)劃等方面。其中，不同成像技術(shù)各有優(yōu)劣，例如ct影像具有高空間分辨率，適合查看骨骼和硬組織結(jié)構(gòu)，但對(duì)軟組織的對(duì)比度較差，mri影像適合展示高對(duì)比度的軟組織細(xì)節(jié)，但空間分辨率相對(duì)ct較低。因此，將來自不同成像設(shè)備且成像方式不同的醫(yī)學(xué)影像數(shù)據(jù)整合到同一三維模型中，可以幫助醫(yī)學(xué)人員獲得更加全面的解剖和病理學(xué)信息。

2、目前在整合來自不同成像設(shè)備的醫(yī)學(xué)影像時(shí)，通常利用諸如剛性配準(zhǔn)的配準(zhǔn)技術(shù)將多個(gè)醫(yī)學(xué)影像進(jìn)行配準(zhǔn)，進(jìn)而將配準(zhǔn)后的醫(yī)學(xué)影像進(jìn)行疊加和三維重建形成三維模型。然而，由于不同醫(yī)學(xué)影像的成像原理不同，二者在分辨率、噪聲、扭曲變形等方面可能存在差異，配準(zhǔn)技術(shù)通常難以確保所有解剖細(xì)節(jié)的一致性，因此疊加后的圖像反而會(huì)出現(xiàn)特征信息缺失或模糊的問題，導(dǎo)致三維建模的效果欠佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于多源異構(gòu)數(shù)據(jù)的三維建模方法與裝置，用以解決現(xiàn)有技術(shù)由于不同醫(yī)學(xué)影像的成像原理不同造成融合后圖像特征信息缺失或模糊的現(xiàn)象，從而導(dǎo)致三維建模的效果欠佳的問題。

2、一方面，本發(fā)明提供一種基于多源異構(gòu)數(shù)據(jù)的三維建模方法，包括：

3、獲取目標(biāo)部位的多個(gè)解剖平面對(duì)應(yīng)的圖像組合；其中，任一解剖平面對(duì)應(yīng)的圖像組合至少包括所述任一解剖平面對(duì)應(yīng)的已配準(zhǔn)的二維ct圖像和二維mri圖像；

4、針對(duì)任一解剖平面，基于多源異構(gòu)融合模型對(duì)所述任一解剖平面對(duì)應(yīng)的圖像組合進(jìn)行融合，得到所述任一解剖平面的融合圖像；

5、將多個(gè)解剖平面的融合圖像進(jìn)行三維重建，得到所述目標(biāo)部位的三維模型；

6、其中，所述多源異構(gòu)融合模型是基于生成對(duì)抗網(wǎng)絡(luò)構(gòu)建的；所述多源異構(gòu)融合模型的判別器是基于所述判別器針對(duì)樣本解剖平面對(duì)應(yīng)的樣本圖像組合的輸出概率以及針對(duì)生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率訓(xùn)練得到的；所述多源異構(gòu)融合模型的生成器是基于所述判別器針對(duì)所述生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率、所述生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像分別與所述樣本圖像組合中二維ct圖像和二維mri圖像之間的差異訓(xùn)練得到的。

7、在本技術(shù)的一種可選實(shí)施例中，所述多源異構(gòu)融合模型的生成器是基于如下方式訓(xùn)練的：

8、將樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸入至所述生成器中，得到所述生成器輸出的所述樣本解剖平面的融合圖像；

9、將所述樣本解剖平面的融合圖像輸入至所述判別器中，得到所述判別器輸出的所述樣本解剖平面的融合圖像對(duì)應(yīng)的輸出概率；

10、將所述樣本解剖平面的融合圖像以及所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合分別輸入至圖像分割模型中，得到所述圖像分割模型輸出的相應(yīng)圖像的輪廓；

11、基于數(shù)值1與所述樣本解剖平面的融合圖像對(duì)應(yīng)的輸出概率之間的差異，確定生成損失；

12、基于所述樣本解剖平面的融合圖像的輪廓分別與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像的輪廓和二維mri圖像的輪廓之間的差異，確定輪廓損失；

13、基于所述樣本解剖平面的融合圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維mri圖像之間的結(jié)構(gòu)相似性，確定結(jié)構(gòu)損失；

14、基于所述樣本解剖平面的融合圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像之間的圖像特征差異，確定感知損失；

15、基于所述生成損失、所述輪廓損失、所述結(jié)構(gòu)損失和所述感知損失，調(diào)整所述生成器的參數(shù)。

16、在本技術(shù)的一種可選實(shí)施例中，所述生成器的訓(xùn)練過程還包括：

17、基于相鄰樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維mri圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維mri圖像之間的結(jié)構(gòu)相似性，確定mri結(jié)構(gòu)差異；

18、基于相鄰樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像之間的結(jié)構(gòu)相似性，確定ct結(jié)構(gòu)差異；

19、基于相鄰樣本解剖平面的融合圖像與所述樣本解剖平面的融合圖像之間的結(jié)構(gòu)相似性，確定融合結(jié)構(gòu)差異；

20、基于所述mri結(jié)構(gòu)差異與所述ct結(jié)構(gòu)差異的平均值和所述融合結(jié)構(gòu)差異之間的差值，確定重構(gòu)損失；

21、基于所述生成損失、所述輪廓損失、所述結(jié)構(gòu)損失、所述感知損失和所述重構(gòu)損失，調(diào)整所述生成器的參數(shù)。

22、在本技術(shù)的一種可選實(shí)施例中，基于所述樣本解剖平面的融合圖像的輪廓分別與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像的輪廓和二維mri圖像的輪廓之間的差異，確定輪廓損失，包括：

23、確定相鄰樣本解剖平面的融合圖像的輪廓；

24、確定所述相鄰樣本解剖平面的融合圖像的輪廓與所述樣本解剖平面的融合圖像的輪廓之間的第一差異；

25、確定所述樣本解剖平面的融合圖像的輪廓分別與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像的輪廓和二維mri圖像的輪廓之間的第二差異和第三差異；

26、基于所述第一差異、所述第二差異和所述第三差異，確定所述輪廓損失。

27、在本技術(shù)的一種可選實(shí)施例中，基于所述樣本解剖平面的融合圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維mri圖像之間的結(jié)構(gòu)相似性，確定結(jié)構(gòu)損失，包括：

28、基于ssim指標(biāo)計(jì)算所述樣本解剖平面的融合圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維mri圖像之間的結(jié)構(gòu)相似性；

29、確定數(shù)值1與所述結(jié)構(gòu)相似性的差值，作為所述結(jié)構(gòu)損失。

30、在本技術(shù)的一種可選實(shí)施例中，基于所述樣本解剖平面的融合圖像與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像之間的圖像特征差異，確定感知損失，包括：

31、基于圖像特征提取模型分別提取所述樣本解剖平面的融合圖像的圖像特征以及所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像的圖像特征；

32、基于所述樣本解剖平面的融合圖像的圖像特征與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像的圖像特征之間的圖像特征差異，確定所述感知損失。

33、在本技術(shù)的一種可選實(shí)施例中，所述樣本解剖平面的融合圖像的圖像特征與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像的圖像特征之間的圖像特征差異是基于所述樣本解剖平面的融合圖像的圖像特征與所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中二維ct圖像的圖像特征之間的歐氏距離確定的。

34、在本技術(shù)的一種可選實(shí)施例中，所述多源異構(gòu)融合模型的判別器是基于如下方式訓(xùn)練的：

35、將所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合中的二維ct圖像和二維mri圖像分別輸入至所述判別器中，得到所述判別器輸出的所述樣本圖像組合中二維ct圖像和二維mri圖像對(duì)應(yīng)的輸出概率；

36、將所述生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像輸入至所述判別器中，得到所述判別器輸出的所述樣本解剖平面的融合圖像對(duì)應(yīng)的輸出概率；

37、基于數(shù)值1與所述樣本圖像組合中二維ct圖像對(duì)應(yīng)的輸出概率的第一差值、數(shù)值1與所述樣本圖像組合中二維mri圖像對(duì)應(yīng)的輸出概率的第二差值，以及所述樣本解剖平面的融合圖像對(duì)應(yīng)的輸出概率，確定判別損失；

38、基于所述判別損失調(diào)整所述判別器的參數(shù)。

39、在本技術(shù)的一種可選實(shí)施例中，基于多源異構(gòu)融合模型對(duì)所述任一解剖平面對(duì)應(yīng)的圖像組合進(jìn)行融合，得到所述任一解剖平面的融合圖像，包括：

40、將所述任一解剖平面對(duì)應(yīng)的圖像組合中的二維ct圖像和二維mri圖像拼接，得到拼接圖像；

41、將所述拼接圖像輸入至所述多源異構(gòu)融合模型的生成器中，得到所述任一解剖平面的融合圖像。

42、第二方面，本發(fā)明還提供一種基于多源異構(gòu)數(shù)據(jù)的三維建模裝置，包括：

43、圖像采集單元，用于獲取目標(biāo)部位的多個(gè)解剖平面對(duì)應(yīng)的圖像組合；其中，任一解剖平面對(duì)應(yīng)的圖像組合至少包括所述任一解剖平面對(duì)應(yīng)的已配準(zhǔn)的二維ct圖像和二維mri圖像；

44、二維圖像融合單元，用于針對(duì)任一解剖平面，基于多源異構(gòu)融合模型對(duì)所述任一解剖平面對(duì)應(yīng)的圖像組合進(jìn)行融合，得到所述任一解剖平面的融合圖像；

45、三維建模單元，用于將多個(gè)解剖平面的融合圖像進(jìn)行三維重建，得到所述目標(biāo)部位的三維模型；

46、其中，所述多源異構(gòu)融合模型是基于生成對(duì)抗網(wǎng)絡(luò)構(gòu)建的；所述多源異構(gòu)融合模型的判別器是基于所述判別器針對(duì)樣本解剖平面對(duì)應(yīng)的樣本圖像組合的輸出概率以及針對(duì)生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率訓(xùn)練得到的；所述多源異構(gòu)融合模型的生成器是基于所述判別器針對(duì)所述生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率、所述生成器基于所述樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像分別與所述樣本圖像組合中二維ct圖像和二維mri圖像之間的差異訓(xùn)練得到的。

47、本發(fā)明提供的一種基于多源異構(gòu)數(shù)據(jù)的三維建模方法與裝置，通過獲取目標(biāo)部位的多個(gè)解剖平面對(duì)應(yīng)的圖像組合；其中，任一解剖平面對(duì)應(yīng)的圖像組合至少包括該解剖平面對(duì)應(yīng)的已配準(zhǔn)的二維ct圖像和二維mri圖像；針對(duì)任一解剖平面，基于多源異構(gòu)融合模型對(duì)該解剖平面對(duì)應(yīng)的圖像組合進(jìn)行融合，得到該解剖平面的融合圖像；將多個(gè)解剖平面的融合圖像進(jìn)行三維重建，得到目標(biāo)部位的三維模型；其中，多源異構(gòu)融合模型是基于生成對(duì)抗網(wǎng)絡(luò)構(gòu)建的；多源異構(gòu)融合模型的判別器是基于判別器針對(duì)樣本解剖平面對(duì)應(yīng)的樣本圖像組合的輸出概率以及針對(duì)生成器基于樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率訓(xùn)練得到的；多源異構(gòu)融合模型的生成器是基于判別器針對(duì)生成器基于樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像的輸出概率、生成器基于樣本解剖平面對(duì)應(yīng)的樣本圖像組合輸出的融合圖像分別與樣本圖像組合中二維ct圖像和二維mri圖像之間的差異訓(xùn)練得到的，從而可以利用生成器生成整合和保留了二維ct圖像和二維mri圖像中的圖像信息的融合圖像，進(jìn)而根據(jù)各個(gè)解剖平面的融合圖像生成特征信息更完善、視覺效果更佳的三維模型。