本發(fā)明涉及醫(yī)學(xué)圖像處理，特別涉及一種血管與血管中支架的監(jiān)測(cè)方法、血管與血管中支架的監(jiān)測(cè)裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、冠心病是嚴(yán)重危害人類健康的心血管疾病，且隨著人口老齡化和心血管疾病危險(xiǎn)因素的流行，其發(fā)病率和死亡率仍在呈持續(xù)上升趨勢(shì)。經(jīng)皮冠狀動(dòng)脈介入治療(pci)是冠心病的重要治療手段，該手術(shù)主要通過(guò)x-線冠脈造影(xa)提供的管腔狹窄信息來(lái)明確血運(yùn)重建的必要性以及指導(dǎo)支架植入。具體地，pci手術(shù)通過(guò)擴(kuò)張冠狀動(dòng)脈狹窄或阻塞的部分，恢復(fù)血液流動(dòng)，減輕心肌缺血的癥狀。pci手術(shù)中，醫(yī)生會(huì)在患者腿部或手腕上做小切口，然后將導(dǎo)管通過(guò)血管系統(tǒng)插入心臟。使用醫(yī)學(xué)成像技術(shù)，醫(yī)生定位冠狀動(dòng)脈的狹窄或阻塞部分。接著，醫(yī)生使用球囊擴(kuò)張狹窄的血管，以恢復(fù)血液流動(dòng)。如果需要，醫(yī)生會(huì)在擴(kuò)張后的血管中植入支架，以防止血管再次狹窄或阻塞。

2、盡管xa仍被認(rèn)為是冠心病診斷的“金標(biāo)準(zhǔn)”，但單純的xa對(duì)病變嚴(yán)重程度評(píng)估的準(zhǔn)確性往往受投照體位、病變部位等多重因素影響，且無(wú)法提供局部斑塊成分信息，在指導(dǎo)優(yōu)化pci治療方面存在明顯的局限性。冠脈腔內(nèi)成像技術(shù)雖有助于獲得更精準(zhǔn)的病變解剖形態(tài)及斑塊成分信息，但額外的有創(chuàng)操作將顯著增加手術(shù)時(shí)間和醫(yī)療費(fèi)用支出，并導(dǎo)致潛在的操作相關(guān)并發(fā)癥風(fēng)險(xiǎn)，致使其臨床應(yīng)用受限。

3、冠狀動(dòng)脈ct血管造影(ccta)作為一種無(wú)創(chuàng)的冠脈病變?cè)u(píng)估技術(shù)，可以同時(shí)獲得冠脈血管樹(shù)的三維管腔結(jié)構(gòu)和斑塊成分信息，已被廣泛用于冠心病篩查和預(yù)后評(píng)估。此外，3dccta還可提供最佳xa投照體位信息、輔助制定慢性閉塞性病變介入策略等，在pci手術(shù)規(guī)劃方面已顯示出廣闊的應(yīng)用前景。

4、在pci手術(shù)過(guò)程中，醫(yī)生需要觀察支架在血管內(nèi)的位置情況，以及血管的狀態(tài)，并移動(dòng)支架，將支架調(diào)整到合適的位置。醫(yī)生不僅需要觀察血管內(nèi)的狀況，還需要觀察到支架在血管中的情況。然而，現(xiàn)有技術(shù)中，拍攝到的血管圖像中，血管內(nèi)部的狀態(tài)不夠清晰，難以準(zhǔn)確地觀察到血管內(nèi)的中膜位置形態(tài)情況，也難以觀察到血管內(nèi)的斑塊位置形態(tài)情況。此外，由于拍攝獲得的支架的圖像是x光透射圖像，其本身還存在拍攝出的支架不夠清晰的問(wèn)題。因此，即使將現(xiàn)有技術(shù)拍攝得到的血管圖像與支架的圖像進(jìn)行融合，由于血管圖像本身難以顯示出血管內(nèi)部狀態(tài)，支架的圖像本身液不清晰，依靠現(xiàn)有技術(shù)仍然難以準(zhǔn)確觀察到支架在血管內(nèi)部的實(shí)際位置情況，對(duì)于支架在血管中的位置的估計(jì)不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種血管與血管中支架的監(jiān)測(cè)方法，用以解決現(xiàn)有技術(shù)中血管圖像中血管內(nèi)部特征不夠清晰、支架在血管中的位置估計(jì)不夠準(zhǔn)確、支架在血管內(nèi)與血管中膜的位置關(guān)系不夠清晰且不便觀察的問(wèn)題。

2、第一方面，本發(fā)明的實(shí)施方式公開(kāi)了一種血管與血管中支架的監(jiān)測(cè)方法，包括：

3、在預(yù)設(shè)角度獲取目標(biāo)血管的目標(biāo)血管融合圖像；

4、其中，目標(biāo)血管融合圖像為目標(biāo)血管的冠脈ct血管造影圖像和x線冠脈造影圖像融合后獲得的圖像；目標(biāo)血管融合圖像包含目標(biāo)血管的血管中膜特征，血管中膜特征包括目標(biāo)血管的中膜形態(tài)特征和/或斑塊成分特征；

5、在預(yù)設(shè)角度獲取支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中在不同位置處的支架透射影像圖；

6、對(duì)支架透射影像圖進(jìn)行分割，得到支架分割圖像；其中，支架分割圖像包含支架的形態(tài)信息和支架與目標(biāo)血管的位置關(guān)系的信息；

7、對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行融合顯示，得到目標(biāo)血管與支架的多模態(tài)融合影像；

8、其中，多模態(tài)融合影像用于監(jiān)測(cè)支架在血管中的情況。

9、采用上述技術(shù)方案，本發(fā)明的血管與血管中支架的監(jiān)測(cè)方法充分考慮了血管的血管中膜特征，血管中膜特征包括中膜形態(tài)特征和/或斑塊成分特征，得到的目標(biāo)血管融合圖像能夠準(zhǔn)確顯示出血管內(nèi)的狀態(tài)。此外，通過(guò)在相同的預(yù)設(shè)角度下采集目標(biāo)血管融合圖像與支架透射影像圖，兩張圖像中支架的位置與血管的位置相互對(duì)應(yīng)，便于目標(biāo)血管融合圖像與支架透射影像圖的融合顯示，最終得到的多模態(tài)融合影像中，血管及血管內(nèi)部特征、血管內(nèi)的支架位置情況顯示更準(zhǔn)確。

10、根據(jù)本發(fā)明的另一具體實(shí)施方式，支架通過(guò)導(dǎo)絲被輸送進(jìn)目標(biāo)血管內(nèi)以使支架在目標(biāo)血管內(nèi)移動(dòng)，支架分割圖像還包含導(dǎo)絲的形態(tài)信息、導(dǎo)絲和支架與目標(biāo)血管的位置關(guān)系的信息以及導(dǎo)絲和支架之間的位置關(guān)系的信息。

11、根據(jù)本發(fā)明的另一具體實(shí)施方式，冠脈ct血管造影圖像和x線冠脈造影圖像均在目標(biāo)血管的第一時(shí)相下采集；優(yōu)選的，第一時(shí)相為目標(biāo)血管的舒張期75％時(shí)刻或舒張末期。

12、根據(jù)本發(fā)明的另一具體實(shí)施方式，在預(yù)設(shè)角度獲取目標(biāo)血管的目標(biāo)血管融合圖像，具體包括：

13、根據(jù)冠脈ct血管造影圖像和x線冠脈造影圖像進(jìn)行特征點(diǎn)提取，分別得到目標(biāo)血管的ct分割特征點(diǎn)圖像和x線分割特征點(diǎn)圖像；

14、對(duì)ct分割特征點(diǎn)圖像和x線分割特征點(diǎn)圖像通過(guò)深度圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征點(diǎn)匹配，得到目標(biāo)血管中心線配準(zhǔn)結(jié)果；

15、根據(jù)目標(biāo)血管中心線配準(zhǔn)結(jié)果、ct分割特征點(diǎn)圖像通過(guò)圖像映射方法融合目標(biāo)血管的冠脈ct血管造影圖像和x線冠脈造影圖像，得到目標(biāo)血管融合圖像；

16、其中，ct分割特征點(diǎn)圖像包括目標(biāo)血管的三維血管中心線和三維血管特征點(diǎn)，三維血管特征點(diǎn)包含目標(biāo)血管的半徑信息和/或目標(biāo)血管的分叉位置信息；x線分割特征點(diǎn)圖像包括目標(biāo)的二維血管中心線和二維血管特征點(diǎn)，二維血管特征點(diǎn)包含目標(biāo)血管的半徑信息和/或目標(biāo)血管的分叉位置信息。

17、根據(jù)本發(fā)明的另一具體實(shí)施方式，根據(jù)冠脈ct血管造影圖像和x線冠脈造影圖像進(jìn)行特征點(diǎn)提取，分別得到目標(biāo)血管的ct分割特征點(diǎn)圖像和x線分割特征點(diǎn)圖像，具體包括：

18、對(duì)冠脈ct血管造影圖像和x線冠脈造影圖像分別進(jìn)行圖像分割，分別得到目標(biāo)血管的ct造影血管分割結(jié)果圖像和x線血管分割結(jié)果圖像；

19、對(duì)ct造影血管分割結(jié)果圖像和x線造影血管分割結(jié)果圖像分別進(jìn)行特征點(diǎn)提取，得到目標(biāo)血管的ct分割特征點(diǎn)圖像和x線分割特征點(diǎn)圖像；

20、其中，ct造影血管分割結(jié)果圖像包括目標(biāo)血管的管腔形態(tài)和血管中膜特征；x線血管分割結(jié)果圖像包括目標(biāo)血管的管腔形態(tài)。

21、根據(jù)本發(fā)明的另一具體實(shí)施方式，圖像映射方法為像素映射。

22、根據(jù)本發(fā)明的另一具體實(shí)施方式，血管與血管中支架的監(jiān)測(cè)方法還包括：

23、在第一顯示區(qū)依次顯示當(dāng)前支架在目標(biāo)血管中不同位置對(duì)應(yīng)的多模態(tài)融合影像，以實(shí)時(shí)顯示支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中目標(biāo)血管的狀態(tài)與位于目標(biāo)血管中支架的位置情況。

24、根據(jù)本發(fā)明的另一具體實(shí)施方式，在預(yù)設(shè)角度獲取支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中在不同位置處的支架透射影像圖，具體包括：

25、以預(yù)設(shè)頻率獲取支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中在不同位置處的支架透射影像圖；或者，支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中檢測(cè)支架的移動(dòng)狀態(tài)，當(dāng)檢測(cè)到支架發(fā)生了移動(dòng)時(shí)，獲取支架在所述目標(biāo)血管中的不同位置處的支架透射影像圖。

26、根據(jù)本發(fā)明的另一具體實(shí)施方式，對(duì)支架透射影像圖進(jìn)行分割，得到支架分割圖像，具體包括：通過(guò)圖像分割模型分割支架透射影像圖，得到支架分割圖像；優(yōu)選的，圖像分割模型包括初步分割網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)，初步分割網(wǎng)絡(luò)用于分割支架透射影像圖以獲得初步支架分割結(jié)果圖像，生成對(duì)抗網(wǎng)絡(luò)用于修補(bǔ)初步支架分割結(jié)果圖像以獲得支架分割圖像。

27、根據(jù)本發(fā)明的另一具體實(shí)施方式，圖像分割模型還包括匯聚分發(fā)模塊，匯聚分發(fā)模塊用于連接初步分割網(wǎng)絡(luò)中的編解碼層和/或生成對(duì)抗網(wǎng)絡(luò)中的編解碼層，以融合支架透射影像圖中的支架特征數(shù)據(jù)。

28、根據(jù)本發(fā)明的另一具體實(shí)施方式，還包括對(duì)圖像分割模型的訓(xùn)練，其中，訓(xùn)練圖像分割模型采用的損失函數(shù)包括初步分割網(wǎng)絡(luò)的初步分割損失、生成對(duì)抗網(wǎng)絡(luò)的生成網(wǎng)絡(luò)損失和生成對(duì)抗網(wǎng)絡(luò)的對(duì)抗損失。

29、根據(jù)本發(fā)明的另一具體實(shí)施方式，對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行融合顯示，得到目標(biāo)血管與支架的多模態(tài)融合影像，具體包括：

30、將目標(biāo)血管融合圖像與支架分割圖像進(jìn)行疊加，得到多模態(tài)融合影像；或者，對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行配準(zhǔn)，得到多模態(tài)融合影像。

31、根據(jù)本發(fā)明的另一具體實(shí)施方式，對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行配準(zhǔn)，得到多模態(tài)融合影像，具體包括：

32、通過(guò)剛性點(diǎn)云配準(zhǔn)算法對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行配準(zhǔn)處理，得到多模態(tài)融合影像。

33、第二方面，本發(fā)明的實(shí)施方式公開(kāi)了一種血管與血管中支架的監(jiān)測(cè)裝置，包括：

34、融合圖像獲取模塊，用于在預(yù)設(shè)角度獲取目標(biāo)血管的目標(biāo)血管融合圖像；

35、其中，目標(biāo)血管融合圖像為目標(biāo)血管的ct血管造影圖像和x線冠脈造影圖像融合后獲得的圖像；目標(biāo)血管融合圖像包含目標(biāo)血管的血管中膜特征，血管中膜特征包括目標(biāo)血管的中膜形態(tài)特征和/或斑塊成分特征；

36、支架圖像獲取模塊，用于在預(yù)設(shè)角度獲取支架在目標(biāo)血管內(nèi)移動(dòng)過(guò)程中在不同位置處的支架透射影像圖；

37、支架分割模塊，用于對(duì)支架透射影像圖進(jìn)行分割，得到支架分割圖像；其中，支架分割圖像包含支架的形態(tài)信息和支架與目標(biāo)血管的位置關(guān)系的信息；

38、圖像融合模塊，用于對(duì)目標(biāo)血管融合圖像和支架分割圖像進(jìn)行融合顯示，得到目標(biāo)血管與支架的多模態(tài)融合影像；

39、其中，多模態(tài)融合影像用于觀察支架在血管中的情況。

40、采用上述技術(shù)方案，本發(fā)明的血管與血管中支架的監(jiān)測(cè)裝置充分考慮了血管的血管中膜特征，血管中膜特征包括中膜形態(tài)特征和/或斑塊成分特征，得到的目標(biāo)血管融合圖像能夠準(zhǔn)確顯示出血管內(nèi)的狀態(tài)。此外，通過(guò)在相同的預(yù)設(shè)角度下采集目標(biāo)血管融合圖像與支架透射影像圖，兩張圖像中支架的位置與血管的位置相互對(duì)應(yīng)，便于目標(biāo)血管融合圖像與支架透射影像圖的融合顯示，最終得到的多模態(tài)融合影像中，血管及血管內(nèi)部特征、血管內(nèi)的支架位置情況顯示更準(zhǔn)確。

41、第三方面，本發(fā)明的實(shí)施方式公開(kāi)了一種電子設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器中存儲(chǔ)有至少一條指令，至少一條指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任一實(shí)施方式中的血管與血管中支架的監(jiān)測(cè)方法。

42、采用上述技術(shù)方案，電子設(shè)備充分考慮了血管的血管中膜特征，血管中膜特征包括中膜形態(tài)特征和/或斑塊成分特征，得到的目標(biāo)血管融合圖像能夠準(zhǔn)確顯示出血管內(nèi)的狀態(tài)。此外，通過(guò)在相同的預(yù)設(shè)角度下采集目標(biāo)血管融合圖像與支架透射影像圖，兩張圖像中支架的位置與血管的位置相互對(duì)應(yīng)，便于目標(biāo)血管融合圖像與支架透射影像圖的融合顯示，最終得到的多模態(tài)融合影像中，血管及血管內(nèi)部特征、血管內(nèi)的支架位置情況顯示更準(zhǔn)確。

43、第四方面，本發(fā)明的實(shí)施方式公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令，至少一條指令在被執(zhí)行時(shí)實(shí)現(xiàn)前述任一實(shí)施方式中的血管與血管中支架的監(jiān)測(cè)方法。

44、采用上述技術(shù)方案，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)充分考慮了血管的血管中膜特征，血管中膜特征包括中膜形態(tài)特征和/或斑塊成分特征，得到的目標(biāo)血管融合圖像能夠準(zhǔn)確顯示出血管內(nèi)的狀態(tài)。此外，通過(guò)在相同的預(yù)設(shè)角度下采集目標(biāo)血管融合圖像與支架透射影像圖，兩張圖像中支架的位置與血管的位置相互對(duì)應(yīng)，便于目標(biāo)血管融合圖像與支架透射影像圖的融合顯示，最終得到的多模態(tài)融合影像中，血管及血管內(nèi)部特征、血管內(nèi)的支架位置情況顯示更準(zhǔn)確。

45、需要注意的是，本發(fā)明的一種血管與血管中支架的監(jiān)測(cè)方法不涉及外科手術(shù)方法，而是基于對(duì)醫(yī)學(xué)影像的處理(包括圖像融合與實(shí)時(shí)顯示以展示動(dòng)畫(huà)效果)，即其直接對(duì)象是醫(yī)學(xué)影像，例如ccta圖像和xa圖像。

46、本發(fā)明的血管與血管中支架的監(jiān)測(cè)裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)同樣不是外科手術(shù)方法相關(guān)的裝置，而是基于對(duì)醫(yī)學(xué)影像的處理(包括圖像融合與實(shí)時(shí)顯示以展示動(dòng)畫(huà)效果)的相關(guān)裝置，即其直接對(duì)象是醫(yī)學(xué)影像，例如ccta圖像和xa圖像。

47、本發(fā)明的有益效果：

48、本發(fā)明的血管與血管中支架的監(jiān)測(cè)方法和血管與血管中支架的監(jiān)測(cè)裝置通過(guò)在相同的預(yù)設(shè)角度采集目標(biāo)血管融合圖像和支架透射影像圖，且目標(biāo)血管融合圖像上包含目標(biāo)血管的血管中膜特征，血管中膜特征還包括目標(biāo)血管的中膜形態(tài)特征和/或斑塊成分特征，在目標(biāo)血管融合圖像與支架透射影像圖融合顯示獲得的多模態(tài)融合影像上可以更清晰地觀察到血管的內(nèi)部狀態(tài)以及支架在血管內(nèi)的位置情況。

49、本發(fā)明的血管與血管中支架的監(jiān)測(cè)方法和血管與血管中支架的監(jiān)測(cè)裝置進(jìn)一步還選擇在目標(biāo)血管的同一時(shí)相(即相同的血管運(yùn)動(dòng)狀態(tài))下進(jìn)行采集，以保證目標(biāo)血管融合圖像和支架透射影像圖更準(zhǔn)確的融合。

50、此外，在獲取目標(biāo)血管融合圖像時(shí)，還采用了特征點(diǎn)提取、采用深度圖神經(jīng)網(wǎng)絡(luò)進(jìn)行特征點(diǎn)匹配的方式，以對(duì)血管中膜特征進(jìn)行充分的映射和融合，使目標(biāo)血管融合圖像能更準(zhǔn)確的顯示血管內(nèi)的特征。

51、針對(duì)獲得的多模態(tài)融合影像，還可以進(jìn)行實(shí)時(shí)動(dòng)畫(huà)顯示。在支架移動(dòng)過(guò)程中，實(shí)時(shí)采集支架的圖像，并將采集到的支架的圖像與目標(biāo)血管融合圖像進(jìn)行融合顯示，以便在監(jiān)測(cè)血管形態(tài)及其內(nèi)部情況信息的同時(shí)，實(shí)時(shí)監(jiān)測(cè)觀察到支架在血管內(nèi)部的位置移動(dòng)情況，通過(guò)在第一顯示區(qū)上顯示多模態(tài)融合影像，可以更直觀更清晰地觀察到支架在目標(biāo)血管中實(shí)時(shí)移動(dòng)的位置情況，還能在第一顯示區(qū)進(jìn)行實(shí)時(shí)顯示，在第一顯示區(qū)展現(xiàn)出動(dòng)畫(huà)效果。

52、針對(duì)支架透射影像圖，本發(fā)明還進(jìn)行了圖像分割，通過(guò)圖像分割模型分割出支架，得到支架分割圖像，且分割結(jié)果更準(zhǔn)確。