本發(fā)明涉及機(jī)器人輔助手術(shù)系統(tǒng)，更具體地，涉及一種基于改進(jìn)graf算法的心臟三維重建方法、系統(tǒng)與程序產(chǎn)品。

背景技術(shù)：

1、在心臟手術(shù)機(jī)器人的應(yīng)用領(lǐng)域中，術(shù)前對心臟部位進(jìn)行精確的三維重建是至關(guān)重要的步驟。傳統(tǒng)的技術(shù)通常依賴于計(jì)算機(jī)斷層掃描(ct)來獲取心臟的詳細(xì)結(jié)構(gòu)數(shù)據(jù)。通過ct掃描，可以獲取一系列的二維圖像，進(jìn)而通過圖像處理算法重建出三維模型。然而，傳統(tǒng)的三維重建方法都依賴于連續(xù)的ct圖像輸入，而連續(xù)的ct掃描不僅耗時(shí)，而且伴隨著患者較高的輻射暴露風(fēng)險(xiǎn)，這對人體的健康構(gòu)成了潛在威脅。因此，尋求一種利用低輻射的非連續(xù)ct圖像重建心臟三維模型的高精度方法至關(guān)重要。

2、graf(generative?radiance?field)是利用一個(gè)對抗性框架來訓(xùn)練一個(gè)輻射場的生成模型，其通過引入基于多尺度patch的鑒別器，實(shí)現(xiàn)高分辨率3d-感知圖像的合成(參見k?schwarz,y?liao,m?niemeyer?and?a?geiger,“graf:generative?radiance?fields?for3d-aware?image?synthesis”,neurips2020)。然而，醫(yī)療成像系統(tǒng)與常規(guī)攝影設(shè)備在本質(zhì)上存在顯著差異，并且醫(yī)療領(lǐng)域?qū)ι赡Ｐ偷木纫蟾鼮閲?yán)格。這些因素導(dǎo)致傳統(tǒng)的神經(jīng)輻射場模型及其變體在應(yīng)用于ct圖像的三維重建時(shí)面臨挑戰(zhàn)。為了解決這些問題，需要開發(fā)更先進(jìn)的基于改進(jìn)graf算法的心臟三維重建方法，以克服上述局限性，進(jìn)一步提高心臟手術(shù)術(shù)前心臟三維重建的安全性和有效性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對對心臟部位進(jìn)行ct重建中如何減少ct數(shù)據(jù)輸入的問題，提出一種基于改進(jìn)graf算法的心臟三維重建方法、系統(tǒng)與程序產(chǎn)品，能夠在有限的ct數(shù)據(jù)輸入下，通過先進(jìn)的深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)對心臟三維結(jié)構(gòu)的精確重建。

2、為實(shí)現(xiàn)上述目的，第一方面，本發(fā)明提供一種基于改進(jìn)graf算法的心臟三維重建方法，其特征在于，包括：

3、步驟s1、對心臟ct掃描數(shù)據(jù)進(jìn)行信息采集：采集包含不同患者、不同對比度類型以及正常和異常心臟解剖結(jié)構(gòu)的圖像；

4、步驟s2、將原始ct圖像數(shù)據(jù)進(jìn)行包括去噪、標(biāo)準(zhǔn)化和數(shù)字重建放射圖像生成在內(nèi)的綜合與數(shù)據(jù)化處理，并對處理得到的數(shù)字重建放射圖像進(jìn)行若干數(shù)據(jù)增強(qiáng)變換，以構(gòu)建得到訓(xùn)練集和測試集；

5、步驟s3、構(gòu)建并訓(xùn)練改進(jìn)的graf算法模型：所述改進(jìn)的graf算法模型包括基于生成式輻射場原理的生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)；所述生成器網(wǎng)絡(luò)通過射線采樣從步驟s2獲得的數(shù)字重建放射圖像中采樣射線，并使用定位編碼將3d位置和觀察方向映射到高維特征空間，進(jìn)一步利用形狀編碼和外觀編碼來確定物體的形狀和外觀，再通過全連接層預(yù)測場景中任意點(diǎn)的密度和顏色，最后通過體渲染技術(shù)合成連續(xù)的圖像幀；所述判別器網(wǎng)絡(luò)應(yīng)用與不同的數(shù)據(jù)增強(qiáng)變換相對應(yīng)的多個(gè)判別頭，每個(gè)判別頭專注于提取特定數(shù)據(jù)增強(qiáng)變換下的特征并進(jìn)行預(yù)測，并通過一個(gè)綜合損失函數(shù)結(jié)合判別頭的輸出和數(shù)據(jù)增強(qiáng)的結(jié)果，優(yōu)化模型參數(shù)；訓(xùn)練迭代直至判別器網(wǎng)絡(luò)的損失函數(shù)值趨于穩(wěn)定或達(dá)到預(yù)定的迭代次數(shù)；

6、步驟s4、利用訓(xùn)練完成的graf算法模型和非連續(xù)的心臟ct圖像進(jìn)行心臟結(jié)構(gòu)的三維重建。

7、本發(fā)明通過特定患者特定類型的非連續(xù)ct圖像數(shù)據(jù)訓(xùn)練基于數(shù)據(jù)增強(qiáng)變換的特征判別的改進(jìn)graf算法模型，獲得能很好地從有限ct圖像生成連續(xù)ct圖像以完成心臟三維重建的方法和系統(tǒng)，因此不僅顯著降低了輻射劑量，減少了對人體的潛在傷害，還提高了圖像重建的效率和準(zhǔn)確性,使得整個(gè)重建過程更加高效和經(jīng)濟(jì)。

8、進(jìn)一步地，所述步驟s1中，收集不同年齡、性別、體重和種族的患者數(shù)據(jù)，包括正常心臟和異常心臟的x射線圖像，并在采樣時(shí)使用不同濃度的碘化對比劑，獲取不同對比度的圖像，以增加數(shù)據(jù)集的泛化能力，采用少量數(shù)據(jù)進(jìn)行訓(xùn)練即可達(dá)到良好效果。

9、進(jìn)一步地，所述步驟s2中，對每個(gè)原始ct圖像，首先采用去噪算法減少圖像中的隨機(jī)噪聲，其次增強(qiáng)圖像對比度，再次將圖像進(jìn)行標(biāo)準(zhǔn)化處理和分割，使用閾值分割、區(qū)域生長或深度學(xué)習(xí)方法提取出心臟區(qū)域，進(jìn)一步使用圖像分割結(jié)果生成數(shù)字重建放射圖像(drrs)，最后對生成的drrs進(jìn)行重采樣，使之具有統(tǒng)一的分辨率和尺寸；對采樣的drrs應(yīng)用數(shù)據(jù)增強(qiáng)技術(shù)獲得多樣化的drrs；將增強(qiáng)后的drrs組織成訓(xùn)練集、測試集。

10、進(jìn)一步地，所述數(shù)據(jù)增強(qiáng)技術(shù)包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、平移中的至少兩種，增加drrs的多樣性。

11、進(jìn)一步地，所述生成器與判別器網(wǎng)絡(luò)的總損失函數(shù)計(jì)算公式為：

12、

13、上式中，ld為用于衡量判別頭對真實(shí)數(shù)據(jù)pp和其增強(qiáng)版本pp,k預(yù)測值差異的損失，lr為生成器gθ和判別器之間的對抗損失，k為判別頭的編號，n為判別頭個(gè)數(shù)，λ用于衡量不同損失之間權(quán)重，θ為生成器隨機(jī)權(quán)重或預(yù)訓(xùn)練權(quán)重參數(shù)；為第k個(gè)判別器參數(shù)。

14、進(jìn)一步地，所述步驟s4中，首先選擇少量或單張心臟ct掃描圖像作為改進(jìn)的graf算法模型的輸入，輸入圖像涵蓋所需的解剖結(jié)構(gòu)和對比度類型；其次對輸入的ct圖像進(jìn)行預(yù)處理，以匹配訓(xùn)練時(shí)的數(shù)據(jù)分布；再次加載訓(xùn)練好的生成器網(wǎng)絡(luò)，使用生成器從潛在空間向量生成連續(xù)的圖像幀；最后使用三維重建算法從連續(xù)圖像幀中重建出心臟3d圖像。

15、第二方面，本發(fā)明提供一種基于改進(jìn)graf算法的心臟三維重建系統(tǒng)，其特征在于，用于實(shí)現(xiàn)如上所述的心臟三維重建方法，包括：

16、圖像采集模塊，采集包含不同患者、不同對比度類型以及正常和異常心臟解剖結(jié)構(gòu)的圖像；

17、x射線圖像綜合與數(shù)據(jù)化處理模塊，將原始ct數(shù)據(jù)進(jìn)行包括去噪、標(biāo)準(zhǔn)化和數(shù)字重建放射圖像生成在內(nèi)的綜合與數(shù)據(jù)化處理；

18、改進(jìn)的graf算法模型，包括基于生成式輻射場原理的生成器模塊和判別器模塊；所述生成器模塊包含射線采樣，場景表示，密度預(yù)測網(wǎng)絡(luò)，顏色預(yù)測網(wǎng)絡(luò)，體渲染子模塊；所述判別器模塊包括圖像塊提取，判別器骨干網(wǎng)絡(luò)和多個(gè)數(shù)據(jù)增強(qiáng)變換判別頭，通過一個(gè)綜合損失函數(shù)結(jié)合判別頭的輸出和數(shù)據(jù)增強(qiáng)的結(jié)果，優(yōu)化模型參數(shù)；采用優(yōu)化模型參數(shù)后的graf算法模型從少量或單一視圖的圖像中生成連續(xù)的圖像幀；

19、三維重建模塊，利用三維重建算法將連續(xù)的圖像幀重建出心臟3d圖像。

20、進(jìn)一步地，所述數(shù)據(jù)增強(qiáng)變換判別頭包括翻轉(zhuǎn)判別頭、旋轉(zhuǎn)判別頭和縮放判別頭。

21、進(jìn)一步地，所述生成器與判別器網(wǎng)絡(luò)的總損失函數(shù)計(jì)算公式為：

22、

23、上式中，ld為用于衡量判別頭對真實(shí)數(shù)據(jù)pp和其增強(qiáng)版本pp,k預(yù)測值差異的損失，lr為生成器gθ和判別器之間的對抗損失，k為判別頭的編號，n為判別頭個(gè)數(shù)，λ用于衡量不同損失之間權(quán)重，θ為生成器隨機(jī)權(quán)重或預(yù)訓(xùn)練權(quán)重參數(shù)；為第k個(gè)判別器參數(shù)。

24、最后一方面，本發(fā)明提供一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如上所述的基于改進(jìn)graf算法的心臟三維重建方法。

25、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)效果：

26、(1)本發(fā)明將生成式輻射場原理引入心臟ct重建的問題，通過特定患者特定類型的非連續(xù)ct圖像數(shù)據(jù)訓(xùn)練基于數(shù)據(jù)增強(qiáng)變換的特征判別的改進(jìn)graf算法模型，在模型運(yùn)用階段，可以通過少量或單張ct圖像來獲得連續(xù)幀圖像，有效地解決了ct圖像重建過程中需要長時(shí)間暴露輻射的缺點(diǎn)。

27、(2)本發(fā)明的改進(jìn)graf算法模型提供了一種新的判別器結(jié)構(gòu)，通過數(shù)據(jù)增強(qiáng)方法和多訓(xùn)練頭結(jié)合的方法來提高在數(shù)據(jù)量缺少的情況下的判別器訓(xùn)練性能。

28、(3)本發(fā)明采用的圖像重建方法基于生成式輻射場原理，比傳統(tǒng)的重建方法有多視角一致性，圖像重建的效率和質(zhì)量高等優(yōu)勢。