本申請涉及超聲心動(dòng)圖導(dǎo)航領(lǐng)域，特別是涉及一種用于超聲心動(dòng)圖的超聲切面定位方法、設(shè)備及產(chǎn)品。

背景技術(shù)：

1、超聲切面定位旨在實(shí)際臨床中幫助超聲醫(yī)師快速尋找到所需要的超聲切面，以及在機(jī)器人超聲中，用于為機(jī)器人控制程序提供目標(biāo)切面的控制，進(jìn)而實(shí)現(xiàn)超聲切面的自動(dòng)獲取。超聲心動(dòng)圖由于其實(shí)時(shí)成像、無侵入、低成本、無副作用等優(yōu)勢，是在進(jìn)行心血管疾病診斷時(shí)最常使用的檢查手段。但是超聲心動(dòng)圖的采集存在很多困難，其中最大的困難在于需要超聲醫(yī)師通過移動(dòng)超聲探頭，手動(dòng)尋找到正確的切面位置，在這個(gè)過程中，需要超聲醫(yī)師對于心臟三維結(jié)構(gòu)的理解程度很高，因此超聲醫(yī)師的培訓(xùn)困難，進(jìn)而導(dǎo)致超聲心動(dòng)圖檢查不能推廣到基層醫(yī)療單位。

2、針對上述問題，現(xiàn)有技術(shù)的解決方案分為分為兩類，一種是基于圖像到動(dòng)作回歸的方法，通過訓(xùn)練雙主干網(wǎng)絡(luò)來實(shí)現(xiàn)從超聲圖像到超聲醫(yī)師的下一個(gè)手部動(dòng)作的回歸。這種方法在訓(xùn)練上容易收到訓(xùn)練數(shù)據(jù)中超聲醫(yī)師的個(gè)人主觀偏好的影響；在使用時(shí)用戶需要逐一模仿模型預(yù)測出的動(dòng)作，在人機(jī)交互的體驗(yàn)上存在缺陷。另一種是基于強(qiáng)化學(xué)習(xí)的方法，通過強(qiáng)化學(xué)習(xí)方法，訓(xùn)練雙主干網(wǎng)絡(luò)模型，從當(dāng)前的超聲成像中，預(yù)測出下一步應(yīng)當(dāng)采取的手部動(dòng)作。這一方法存在對于環(huán)境的依賴，受限于強(qiáng)化學(xué)習(xí)方法，其通常在用于訓(xùn)練的環(huán)境中效果較好，而在訓(xùn)練中未出現(xiàn)的患者上表現(xiàn)較差。同時(shí)由于安全性問題，通常無法在真實(shí)的患者身上進(jìn)行在線的強(qiáng)化學(xué)習(xí)訓(xùn)練，限制了算法的性能。此外，目前的方法都是針對特定目標(biāo)切面設(shè)計(jì)的方法與模型，對于任何新增的目標(biāo)切面，需要重新采集相關(guān)數(shù)據(jù)，并重新訓(xùn)練導(dǎo)航算法，各個(gè)切面之間的導(dǎo)航模型不通用。

3、因此，為實(shí)現(xiàn)超聲切面通用的、自動(dòng)的導(dǎo)航定位，亟需提供一種新的超聲切面定位方法。

技術(shù)實(shí)現(xiàn)思路

1、本申請的目的是提供一種用于超聲心動(dòng)圖的超聲切面定位方法、設(shè)備及產(chǎn)品，能夠?qū)崿F(xiàn)超聲切面通用的、自動(dòng)的導(dǎo)航定位。

2、為實(shí)現(xiàn)上述目的，本申請?zhí)峁┝巳缦路桨福?/p>

3、第一方面，本申請?zhí)峁┝艘环N用于超聲心動(dòng)圖的超聲切面定位方法，所述用于超聲心動(dòng)圖的超聲切面定位方法包括：

4、利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型；所述超聲探頭位置旋轉(zhuǎn)模型包括：特征提取器和旋轉(zhuǎn)預(yù)測器；所述特征提取器用于分別提取圖像對的姿態(tài)特征向量；所述旋轉(zhuǎn)預(yù)測器用于根據(jù)圖像對的姿態(tài)特征向量預(yù)測超聲探頭位置的相對旋轉(zhuǎn)；

5、利用包含目標(biāo)切面的超聲心動(dòng)圖視頻數(shù)據(jù)集訓(xùn)練超聲切面定位模型；所述超聲切面定位模型基于訓(xùn)練好的超聲探頭位置旋轉(zhuǎn)模型中的特征提取器構(gòu)建；

6、根據(jù)訓(xùn)練好的超聲切面定位模型進(jìn)行超聲切面定位。

7、可選地，所述利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型，之前還包括：

8、通過視頻采集設(shè)備采集超聲機(jī)輸出同一超聲心動(dòng)圖視頻；

9、利用傳感器獲取超聲心動(dòng)圖視頻所對應(yīng)的探頭姿態(tài)，得到帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻。

10、可選地，所述特征提取器的結(jié)構(gòu)為雙主干網(wǎng)絡(luò)。

11、可選地，所述旋轉(zhuǎn)預(yù)測器為多層級聯(lián)的帶激活函數(shù)的全聯(lián)接網(wǎng)絡(luò)。

12、可選地，超聲探頭位置旋轉(zhuǎn)模型和超聲切面定位模型的損失函數(shù)均為均方誤差函數(shù)mse。

13、第二方面，本申請?zhí)峁┝艘环N用于超聲心動(dòng)圖的超聲切面定位設(shè)備，所述用于超聲心動(dòng)圖的超聲切面定位設(shè)備包括：

14、超聲探頭位置旋轉(zhuǎn)模型訓(xùn)練模塊，用于利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型；所述超聲探頭位置旋轉(zhuǎn)模型包括：特征提取器和旋轉(zhuǎn)預(yù)測器；所述特征提取器用于分別提取圖像對的姿態(tài)特征向量；所述旋轉(zhuǎn)預(yù)測器用于根據(jù)圖像對的姿態(tài)特征向量預(yù)測超聲探頭位置的相對旋轉(zhuǎn)；

15、超聲切面定位模型訓(xùn)練模塊，用于利用包含目標(biāo)切面的超聲心動(dòng)圖視頻數(shù)據(jù)集訓(xùn)練超聲切面定位模型；所述超聲切面定位模型基于訓(xùn)練好的超聲探頭位置旋轉(zhuǎn)模型中的特征提取器構(gòu)建；

16、超聲切面定位模塊，用于根據(jù)訓(xùn)練好的超聲切面定位模型進(jìn)行超聲切面定位。

17、第三方面，本申請?zhí)峁┝艘环N計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)所述的用于超聲心動(dòng)圖的超聲切面定位方法。

18、第四方面，本申請?zhí)峁┝艘环N計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的用于超聲心動(dòng)圖的超聲切面定位方法。

19、根據(jù)本申請?zhí)峁┑木唧w實(shí)施例，本申請公開了以下技術(shù)效果：

20、本申請?zhí)峁┝艘环N用于超聲心動(dòng)圖的超聲切面定位方法、設(shè)備及產(chǎn)品，通過利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型，即從圖像對中提取目標(biāo)切面無關(guān)的特征；進(jìn)而利用訓(xùn)練好的超聲探頭位置旋轉(zhuǎn)模型中的特征提取器構(gòu)建超聲切面定位模型，并進(jìn)行訓(xùn)練；本申請?jiān)谟?xùn)練目標(biāo)切面無關(guān)的特征提取器的過程中使用了包含多個(gè)超聲切面在內(nèi)的超聲心動(dòng)圖數(shù)據(jù)，因此在不同的目標(biāo)切面上，本申請均可以達(dá)到很好的效果。進(jìn)而本申請利用采用少量的包含目標(biāo)切面的超聲心動(dòng)圖視頻數(shù)據(jù)集進(jìn)行訓(xùn)練，能夠在增加少量參數(shù)的情況下，減少訓(xùn)練時(shí)間，并便于超聲切面定位模型在實(shí)際使用場景中的部署，能夠?qū)崿F(xiàn)超聲切面通用的、自動(dòng)的導(dǎo)航定位。

技術(shù)特征：

1.一種用于超聲心動(dòng)圖的超聲切面定位方法，其特征在于，所述用于超聲心動(dòng)圖的超聲切面定位方法包括：

2.根據(jù)權(quán)利要求1所述的用于超聲心動(dòng)圖的超聲切面定位方法，其特征在于，所述利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型，之前還包括：

3.根據(jù)權(quán)利要求1所述的用于超聲心動(dòng)圖的超聲切面定位方法，其特征在于，所述特征提取器的結(jié)構(gòu)為雙主干網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的用于超聲心動(dòng)圖的超聲切面定位方法，其特征在于，所述旋轉(zhuǎn)預(yù)測器為多層級聯(lián)的帶激活函數(shù)的全聯(lián)接網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的用于超聲心動(dòng)圖的超聲切面定位方法，其特征在于，超聲探頭位置旋轉(zhuǎn)模型和超聲切面定位模型的損失函數(shù)均為均方誤差函數(shù)mse。

6.一種用于超聲心動(dòng)圖的超聲切面定位設(shè)備，其特征在于，所述用于超聲心動(dòng)圖的超聲切面定位設(shè)備包括：

7.一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1-5中任一項(xiàng)所述的用于超聲心動(dòng)圖的超聲切面定位方法。

8.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-5中任一項(xiàng)所述的用于超聲心動(dòng)圖的超聲切面定位方法。

技術(shù)總結(jié)
本申請公開了一種用于超聲心動(dòng)圖的超聲切面定位方法、設(shè)備及產(chǎn)品，涉及超聲心動(dòng)圖導(dǎo)航領(lǐng)域，該方法包括利用帶有探頭姿態(tài)信息的同一超聲心動(dòng)圖視頻中任意兩幀圖像構(gòu)成的圖像對訓(xùn)練超聲探頭位置旋轉(zhuǎn)模型；超聲探頭位置旋轉(zhuǎn)模型包括：特征提取器和旋轉(zhuǎn)預(yù)測器；特征提取器用于分別提取圖像對的姿態(tài)特征向量；旋轉(zhuǎn)預(yù)測器用于根據(jù)圖像對的姿態(tài)特征向量預(yù)測超聲探頭位置的相對旋轉(zhuǎn)；利用包含目標(biāo)切面的超聲心動(dòng)圖視頻數(shù)據(jù)集訓(xùn)練超聲切面定位模型；超聲切面定位模型基于訓(xùn)練好的超聲探頭位置旋轉(zhuǎn)模型中的特征提取器構(gòu)建；根據(jù)訓(xùn)練好的超聲切面定位模型進(jìn)行超聲切面定位。本申請能夠?qū)崿F(xiàn)超聲切面通用的、自動(dòng)的導(dǎo)航定位。

技術(shù)研發(fā)人員：朱皞罡,暴明坤,張瑩瑩,王焱,盛浩,程健,范曉林,鹿東
受保護(hù)的技術(shù)使用者：北京航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6