本技術(shù)涉及圖像分類，具體涉及一種面向ct影像的交互式三維重構(gòu)與分類方法、裝置和設(shè)備。

背景技術(shù)：

1、計算機技術(shù)的發(fā)展，為圖像分類技術(shù)提供了新的方向，基于計算機對圖像進行分析，能夠把圖像或圖像中的每個像元或區(qū)域劃歸為若干個類別中的某一種，以代替人的視覺判讀；圖像分類處理可廣泛應(yīng)用于航空航天、車輛工程、船舶制造和醫(yī)療等領(lǐng)域；在前沿的交叉醫(yī)療研究中，ct影像的分類工作是一個重要的環(huán)節(jié)。

2、相關(guān)技術(shù)中，在對ct影像進行分類時，可以通過體繪制方法對二維的ct影像進行體積渲染，生成3d模型，然后對生成的3d模型進行分析，進而對ct影像進行分類。

3、然而，體積渲染的計算量偏大，需要不斷地對每一個體素進行處理，繪制速度較慢，算法效率低，且體繪制在重建過程中不產(chǎn)生等值面，本質(zhì)仍為三維體數(shù)據(jù)場在二維面的圖像，導(dǎo)致得到的三維模型無法導(dǎo)出進行體積測量，ct影像分類難以做到精確的定量分析，分類結(jié)果的準確性不足。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本技術(shù)提供了一種面向ct影像的交互式三維重構(gòu)與分類方法、裝置和設(shè)備，解決了ct影像分類中存在的準確性不足，定量分析難以實現(xiàn)的問題。

2、為實現(xiàn)以上目的，本技術(shù)通過以下技術(shù)方案予以實現(xiàn)：

3、第一方面，本技術(shù)實施例提供了一種面向ct影像的交互式三維重構(gòu)與分類方法，該方法包括：在第一階段采集的第一ct影像數(shù)量達到預(yù)設(shè)的第一閾值的情況下，采集對應(yīng)第二階段的ct影像數(shù)據(jù)集，ct影像數(shù)據(jù)集包括待分類的多個第二ct影像；將多個第二ct影像輸入預(yù)設(shè)的通用體積醫(yī)學(xué)圖像分割模型；基于通用體積醫(yī)學(xué)圖像分割模型對多個第二ct影像進行交互式分割，得到目標掩膜；對目標掩膜進行三維重建，得到三維的第一目標模型；基于預(yù)設(shè)的測地線活動輪廓方法，對第一目標模型表面的光滑度進行優(yōu)化，得到第二目標模型；將第二目標模型導(dǎo)出，并提取第二目標模型的目標區(qū)域，目標區(qū)域用于表征第二ct影像中的病灶信息；對目標區(qū)域進行體積測量，得到體積數(shù)據(jù)信息以對多個第二ct影像進行分類。

4、根據(jù)本技術(shù)實施例的第一方面，通用體積醫(yī)學(xué)圖像分割模型包括圖像編碼器、空間編碼器、語義編碼器、融合編碼器和掩碼解碼器。

5、根據(jù)本技術(shù)實施例的第一方面，前述基于通用體積醫(yī)學(xué)圖像分割模型對多個第二ct影像進行交互式分割，得到目標掩膜，包括：通過圖像編碼器將第二ct影像分割成一組補丁，并將補丁輸入預(yù)設(shè)的vit網(wǎng)絡(luò)，得到圖像嵌入信息；通過空間編碼器接收輸入的空間提示信息，空間提示信息包括點提示信息和框提示信息，以對第二ct影像進行點狀標記和框狀標記；基于空間提示信息對第二ct影像進行處理，得到空間嵌入信息；通過語義編碼器接收輸入的文本提示信息，并對第二ct影像進行處理，得到文本嵌入信息；將圖像嵌入信息、空間嵌入信息和文本嵌入信息輸入到融合編碼器進行歸一化處理，得到目標圖像信息、目標空間信息和目標文本信息；通過掩碼解碼器對目標圖像信息、目標空間信息和目標文本信息進行處理，生成目標掩膜。

6、根據(jù)本技術(shù)實施例的第一方面，前述通過掩碼解碼器對目標圖像信息、目標空間信息和目標文本信息進行處理，生成目標掩膜，包括：在掩碼解碼器中，基于預(yù)設(shè)的自注意力機制和交叉注意力機制融合目標圖像信息和目標空間信息，通過轉(zhuǎn)置卷積和插值處理來生成初始掩膜；計算轉(zhuǎn)置卷積輸出的上采樣嵌入信息與目標文本信息之間的相似度矩陣；將相似度矩陣與初始掩膜進行逐元素相乘，輸出精細化的目標掩膜。

7、根據(jù)本技術(shù)實施例的第一方面，前述對目標掩膜進行三維重建，得到三維的第一目標模型，包括：對目標掩膜進行堆疊，生成體素數(shù)據(jù)集，其中，一個體素對應(yīng)一個灰度值，相鄰層的一組體素對應(yīng)三維空間中的位置和屬性；對體素進行遍歷，將每個體素8個頂點的屬性特征值與預(yù)設(shè)的第二閾值進行比較；通過索引得到與等值面存在交點的體素邊和三角面片連接結(jié)構(gòu)，由線性插值計算出等值點的位置，并將等值點按照一定的拓撲結(jié)構(gòu)連接成三角面片；基于預(yù)設(shè)的中心差分法計算體素各個頂點的梯度，對體素交邊的兩個端點進行線性插值，得到三角面片各頂點的法向量方向；在體素遍歷完成后，根據(jù)各個三角面片頂點的坐標、頂點的法向量方向進行等值面的繪制，以完成三維重建并得到第一目標模型。

8、根據(jù)本技術(shù)實施例的第一方面，前述基于預(yù)設(shè)的測地線活動輪廓方法，對第一目標模型表面的光滑度進行優(yōu)化，得到第二目標模型，包括：確定等值面為測地線活動輪廓的初始表面；基于初始表面，連續(xù)迭代調(diào)整邊界，以對第一目標模型表面的光滑度進行優(yōu)化，得到第二目標模型。

9、根據(jù)本技術(shù)實施例的第一方面，前述測地線活動輪廓方法滿足表達式：

10、

11、其中，e(c)為曲線c的能量函數(shù)，且用于在圖像梯度較大的邊緣處使能量降低，以吸引輪廓線向邊緣移動，并生成一個平滑的表面模型；α，λ為正值常量，α用于控制表面的平滑度，λ對應(yīng)于物體邊界的近似程度，表示圖像i在輪廓線c(q)上某一點q處的梯度向量；g(i)為邊緣檢測函數(shù)，是圖像i的梯度，是圖像i梯度的幅度。

12、根據(jù)本技術(shù)實施例的第一方面，在前述對目標掩膜進行三維重建，得到三維的第一目標模型之前，該面向ct影像的交互式三維重構(gòu)與分類方法還包括：將第一階段的第一ct影像輸入通用體積醫(yī)學(xué)圖像分割模型；基于通用體積醫(yī)學(xué)圖像分割模型對多個第一ct影像進行交互式分割，得到多個對照掩膜；以多個對照掩膜作為訓(xùn)練集，進行模型訓(xùn)練得到能夠表征掩膜信息的目標監(jiān)測模型；基于目標監(jiān)測模型對目標掩膜進行分析，以判斷生成目標掩膜的過程是否存在操作失誤。

13、第二方面，本技術(shù)實施例提供了一種面向ct影像的交互式三維重構(gòu)與分類裝置，該裝置包括：采集模塊、輸入模塊、分割模塊、三維重建模塊、優(yōu)化模塊、提取模塊和測量模塊；其中，采集模塊用于在第一階段采集的第一ct影像數(shù)量達到預(yù)設(shè)的第一閾值的情況下，采集對應(yīng)第二階段的ct影像數(shù)據(jù)集，ct影像數(shù)據(jù)集包括待分類的多個第二ct影像；輸入模塊用于將多個第二ct影像輸入預(yù)設(shè)的通用體積醫(yī)學(xué)圖像分割模型；分割模塊用于基于通用體積醫(yī)學(xué)圖像分割模型對多個第二ct影像進行交互式分割，得到目標掩膜；三維重建模塊用于對目標掩膜進行三維重建，得到三維的第一目標模型；優(yōu)化模塊用于基于預(yù)設(shè)的測地線活動輪廓方法，對第一目標模型表面的光滑度進行優(yōu)化，得到第二目標模型；提取模塊用于將第二目標模型導(dǎo)出，并提取第二目標模型的目標區(qū)域，目標區(qū)域用于表征第二ct影像中的病灶信息；測量模塊用于對目標區(qū)域進行體積測量，得到體積數(shù)據(jù)信息以對多個第二ct影像進行分類。

14、第三方面，本技術(shù)實施例提供了一種電子設(shè)備，該電子設(shè)備包括：處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序，程序被處理器執(zhí)行時實現(xiàn)前述第一方面中的面向ct影像的交互式三維重構(gòu)與分類方法。

15、第四方面，本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲程序或指令，程序或指令被處理器執(zhí)行時實現(xiàn)前述第一方面中的面向ct影像的交互式三維重構(gòu)與分類方法。

16、本技術(shù)提供了一種面向ct影像的交互式三維重構(gòu)與分類方法、裝置和設(shè)備。與現(xiàn)有技術(shù)相比，具備以下有益效果：

17、本技術(shù)在對第二ct影像進行分類時，使用通用體積醫(yī)學(xué)圖像分割模型對多個第二ct影像進行交互式分割，得到目標掩膜，在對目標掩膜進行三維重建得到第一目標模型之后，為提高模型測算的精確性，本技術(shù)基于測地線活動輪廓方法來優(yōu)化第一目標模型表面的光滑度，進而得到第二目標模型，可以獲得精確且平滑的模型邊界表面，基于該第二目標模型計算表征病灶信息的目標區(qū)域的體積大小，得到體積數(shù)據(jù)信息，進而根據(jù)該體積數(shù)據(jù)信息進行精確的分類，實現(xiàn)了精確的定量分析，解決了當(dāng)前ct影像分類中存在的準確性不足的問題；此外，本技術(shù)在采集第二ct影像之前，采集了大量的第一ct影像進行分析來目標掩膜的可靠性，為第二ct影像的處理提供了參照，保障第二ct影像分類的可靠性。