本發(fā)明涉及醫(yī)學(xué)圖像的處理技術(shù)，特別涉及一種在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、肋骨骨折在胸部鈍性和穿透性創(chuàng)傷中較為常見。相較傳統(tǒng)的x線平片，通過計(jì)算機(jī)斷層掃描(ct)、磁共振成像(mri)等方式獲取的三維醫(yī)學(xué)圖像，可以提供更豐富的影像學(xué)信息。目前常見的方式下，臨床醫(yī)師直接通過醫(yī)療影像存儲(chǔ)與傳輸系統(tǒng)的查看器進(jìn)行閱片，可以調(diào)整圖像的對(duì)比度，滾動(dòng)瀏覽軸向切片，尋找與肋骨相關(guān)的模式來對(duì)骨折進(jìn)行定性，報(bào)告受影響的肋骨、骨折的類型及相對(duì)位置等信息。然而，由于肋骨數(shù)量多而形態(tài)不規(guī)則，需要醫(yī)師從采集到的大量圖像中觀察肋骨骨折，工作量大，而且診斷結(jié)論依靠個(gè)人經(jīng)驗(yàn)給出，容易有誤診或漏診的風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，結(jié)合多種圖像處理和人工智能技術(shù)，對(duì)醫(yī)學(xué)圖像中存在的肋骨骨折進(jìn)行自動(dòng)檢測(cè)。

2、本發(fā)明的一個(gè)技術(shù)方案在于提供一種在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法，其包括：

3、接收醫(yī)學(xué)圖像；

4、使用標(biāo)記檢測(cè)算法，對(duì)所述醫(yī)學(xué)圖像中的解剖結(jié)構(gòu)進(jìn)行解析，確定所述醫(yī)學(xué)圖像中的肋骨區(qū)域；

5、使用第一個(gè)深度神經(jīng)網(wǎng)絡(luò)，在所述醫(yī)學(xué)圖像的肋骨區(qū)域中分割肋骨；

6、使用第二個(gè)深度神經(jīng)網(wǎng)絡(luò)，根據(jù)肋骨分割的結(jié)果對(duì)所述醫(yī)學(xué)圖像中的肋骨骨折區(qū)域進(jìn)行分割。

7、本方案中，通過標(biāo)記檢測(cè)算法先對(duì)解剖結(jié)構(gòu)解析，可以將計(jì)算資源集中在確定出的肋骨區(qū)域，提高檢測(cè)效率；使用相應(yīng)的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行肋骨及骨折分割，能夠自動(dòng)、準(zhǔn)確地實(shí)現(xiàn)對(duì)肋骨骨折的檢測(cè)。

8、可選地，使用所述標(biāo)記檢測(cè)算法，在醫(yī)學(xué)圖像上對(duì)解剖結(jié)構(gòu)進(jìn)行解析，得到解剖標(biāo)志的位置信息；

9、使用所述標(biāo)記檢測(cè)算法時(shí)，包括：

10、經(jīng)過訓(xùn)練的人工智能體，基于最佳動(dòng)作值函數(shù)近似器來執(zhí)行一組用于將狀態(tài)空間朝向醫(yī)學(xué)圖像中的解剖標(biāo)志移動(dòng)并使累積未來獎(jiǎng)勵(lì)值最大化的動(dòng)作；

11、所述狀態(tài)空間定義為解剖標(biāo)志的候選位置及候選位置周圍的固定區(qū)域；

12、所執(zhí)行的一組動(dòng)作，是從預(yù)先確定的動(dòng)作集中選擇的；所述動(dòng)作集中的動(dòng)作包括：用于改變狀態(tài)空間的焦點(diǎn)位置的一個(gè)或多個(gè)參數(shù)動(dòng)作，和用于改變狀態(tài)空間的分辨率的一個(gè)或多個(gè)尺度縮放動(dòng)作；根據(jù)動(dòng)作執(zhí)行后狀態(tài)空間與解剖標(biāo)志的接近程度，為動(dòng)作集中的每個(gè)動(dòng)作設(shè)置有相應(yīng)的獎(jiǎng)勵(lì)值；

13、所執(zhí)行的一組動(dòng)作中，包括至少一個(gè)尺度縮放動(dòng)作。

14、本方案中，將目標(biāo)對(duì)象的外觀和搜索策略的建模作為統(tǒng)一的行為任務(wù)，由人工智能體自動(dòng)執(zhí)行，通過與圖像的封閉環(huán)境重復(fù)交互進(jìn)行特征提取，累積的獎(jiǎng)勵(lì)變化量化了人工智能體的行為，便于其優(yōu)化動(dòng)作選擇。所公開的實(shí)施例中，既實(shí)現(xiàn)了通過強(qiáng)化學(xué)習(xí)來優(yōu)化行為學(xué)習(xí)的執(zhí)行，又實(shí)現(xiàn)了通過深度學(xué)習(xí)進(jìn)行有效的分層特征提取的優(yōu)點(diǎn)。

15、可選地，經(jīng)過訓(xùn)練的人工智能體所執(zhí)行的一組動(dòng)作中，包括多個(gè)尺度縮放動(dòng)作，對(duì)應(yīng)于將狀態(tài)空間的分辨率逐級(jí)提高的多個(gè)尺度；每個(gè)尺度下搜索到解剖標(biāo)志時(shí)的收斂點(diǎn)，作為在下一個(gè)尺度進(jìn)行搜索時(shí)的起始位置；分辨率最低一級(jí)的尺度下，是從任意位置或指定位置開始搜索的。

16、本方案中，通過執(zhí)行尺度縮放動(dòng)作來提供具有不同大小和分辨率的搜索窗口；使人工代理在搜索目標(biāo)對(duì)象時(shí)獲得不同的視場(chǎng)，有效地提高了檢測(cè)的速度和準(zhǔn)確性。

17、可選地，所述第一個(gè)深度神經(jīng)網(wǎng)絡(luò)是第一圖像到圖像神經(jīng)網(wǎng)絡(luò)；經(jīng)過訓(xùn)練的第一圖像到圖像神經(jīng)網(wǎng)絡(luò)，基于向其輸入的對(duì)應(yīng)于肋骨區(qū)域的圖像，生成用于分割肋骨的肋骨分割掩模。

18、本方案中，可以直接向圖像到圖像神經(jīng)網(wǎng)絡(luò)輸入圖像來進(jìn)行分割處理，不需要預(yù)先指定特征，提高了檢測(cè)效率；并且，可以利用同一網(wǎng)絡(luò)同時(shí)進(jìn)行多種不同的分割任務(wù)(多標(biāo)簽分割)，或者通過修改網(wǎng)絡(luò)架構(gòu)或訓(xùn)練方法來適應(yīng)不同的數(shù)據(jù)集和任務(wù)。

19、可選地，所述第一圖像到圖像神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，包括將所述第一圖像到圖像神經(jīng)網(wǎng)絡(luò)作為第一生成器與第一鑒別器一起進(jìn)行對(duì)抗性訓(xùn)練；第一鑒別器用于對(duì)第一生成器根據(jù)訓(xùn)練圖像產(chǎn)生的預(yù)測(cè)肋骨分割掩模和地面真實(shí)肋骨分割掩模進(jìn)行區(qū)分；

20、通過學(xué)習(xí)第一生成器和第一鑒別器的損失權(quán)重，以最小化第一圖像到圖像神經(jīng)網(wǎng)絡(luò)具有的第一損失函數(shù)，來降低第一分割損失，增加預(yù)測(cè)肋骨分割掩模被第一鑒別器負(fù)向分類的概率，并增加地面真實(shí)肋骨分割掩模被第一鑒別器正向分類的概率；所述第一分割損失是預(yù)測(cè)肋骨分割掩模和地面真實(shí)肋骨分割掩模之間的二值交叉熵。

21、本方案在訓(xùn)練過程中，采用對(duì)抗性網(wǎng)絡(luò)來對(duì)圖像到圖像神經(jīng)網(wǎng)絡(luò)輸出的預(yù)測(cè)樣本和真實(shí)樣本進(jìn)行區(qū)分，實(shí)現(xiàn)了良好的分割質(zhì)量和更快的處理速度。

22、可選地，所述第二個(gè)深度神經(jīng)網(wǎng)絡(luò)是第二圖像到圖像神經(jīng)網(wǎng)絡(luò)；經(jīng)過訓(xùn)練的第二圖像到圖像神經(jīng)網(wǎng)絡(luò)，輸入有所接收的醫(yī)學(xué)圖像，和第一個(gè)深度神經(jīng)網(wǎng)絡(luò)在所述醫(yī)學(xué)圖像的肋骨區(qū)域中分割肋骨得到的肋骨分割掩模；

23、根據(jù)所述肋骨分割掩模對(duì)具有第二損失函數(shù)的第二圖像到圖像神經(jīng)網(wǎng)絡(luò)的損失權(quán)重進(jìn)行調(diào)整，使肋骨區(qū)域外的損失值為0；使用損失權(quán)重調(diào)整后的圖像到圖像神經(jīng)網(wǎng)絡(luò)基于所接收的醫(yī)學(xué)圖像，生成用于分割肋骨骨折的骨折分割掩模。

24、可選地，第二圖像到圖像神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，包括將所述第二圖像到圖像神經(jīng)網(wǎng)絡(luò)作為第二生成器與第二鑒別器一起進(jìn)行對(duì)抗性訓(xùn)練；第二鑒別器用于對(duì)第二生成器根據(jù)訓(xùn)練圖像產(chǎn)生的預(yù)測(cè)骨折分割掩模和地面真實(shí)骨折分割掩模進(jìn)行區(qū)分；訓(xùn)練期間，使用地面真實(shí)肋骨分割掩模對(duì)第二圖像到圖像神經(jīng)網(wǎng)絡(luò)的第二損失函數(shù)的損失權(quán)重進(jìn)行調(diào)整，使肋骨區(qū)域外的損失值為0；

25、通過學(xué)習(xí)第二生成器和第二鑒別器的損失權(quán)重，以最小化第二損失函數(shù)，來降低第二分割損失，增加預(yù)測(cè)骨折分割掩模被第二鑒別器負(fù)向分類的概率，并增加地面真實(shí)骨折分割掩模被第二鑒別器正向分類的概率；所述第二分割損失是第二圖像到圖像神經(jīng)網(wǎng)絡(luò)根據(jù)訓(xùn)練圖像生成的預(yù)測(cè)的骨折分割掩模和地面真實(shí)骨折分割掩模之間的二值交叉熵。

26、本方案中，通過肋骨分割掩模調(diào)整第二圖像到圖像神經(jīng)網(wǎng)絡(luò)的損失權(quán)重，這樣可以專注于處理肋骨區(qū)域內(nèi)的特征和細(xì)節(jié)，提高檢測(cè)的準(zhǔn)確性，并且可以忽略掉肋骨區(qū)域外的噪聲、干擾等因素對(duì)訓(xùn)練和分割任務(wù)的影響，避免為壓制假陽性而浪費(fèi)計(jì)算資源，提高了檢測(cè)和訓(xùn)練時(shí)的效率。

27、可選地，所述第一圖像到圖像神經(jīng)網(wǎng)絡(luò)與第二圖像到圖像神經(jīng)網(wǎng)絡(luò)具有相同的、用于提取特征的主干網(wǎng)絡(luò)；所述主干網(wǎng)絡(luò)具有卷積編碼器-解碼器架構(gòu)，包括多個(gè)編碼器、多個(gè)解碼器，和將至少一部分解碼器與相應(yīng)的輸出層連接的多個(gè)分支；

28、每個(gè)分支的輸出通道的尺寸與所在圖像到圖像神經(jīng)網(wǎng)絡(luò)的輸入圖像的大小匹配；所有分支對(duì)應(yīng)的輸出層的特征拼接并輸入到一個(gè)最終輸出層；所在圖像到圖像神經(jīng)網(wǎng)絡(luò)的分割損失，對(duì)應(yīng)于所有分支的輸出層和最終輸出層的損失項(xiàng)的加權(quán)。本方案中，基于深度監(jiān)督網(wǎng)絡(luò)可以提高圖像到圖像神經(jīng)網(wǎng)絡(luò)的性能，實(shí)現(xiàn)良好的邊界檢測(cè)和分割結(jié)果。

29、可選地，所述方法還包括：

30、在所述醫(yī)學(xué)圖像上使用肋骨分割掩模得到肋骨圖像，使用追蹤肋骨中心線的算法，對(duì)肋骨圖像中每個(gè)肋骨的中心線進(jìn)行追蹤，并生成用于提取肋骨中心線的中心線分割掩模；

31、使用所述追蹤肋骨中心線的算法時(shí)，包括：

32、通過各向異性濾波來濾除圖像噪聲，將肋骨圖像中數(shù)值大于設(shè)定閾值的體素確定為前景；

33、對(duì)分割出的前景使用灰度加權(quán)距離變換法，獲得加權(quán)距離圖；將加權(quán)距離圖中對(duì)應(yīng)于最大值的點(diǎn)作為源點(diǎn)進(jìn)行快速行進(jìn)法，來計(jì)算3d距離估計(jì)值；

34、使用rk4梯度下降法迭代追蹤當(dāng)前最長的分支，每次追蹤從當(dāng)前剩余的前景中測(cè)距最遠(yuǎn)的位置開始回溯，并且在到達(dá)源點(diǎn)時(shí)或者在到達(dá)先前追蹤到的分支時(shí)停止追蹤；

35、為每個(gè)被追蹤的分支計(jì)算置信度分?jǐn)?shù)，所述置信度分?jǐn)?shù)表示當(dāng)前的被跟蹤分支遇到前景體素的比例；將置信度分?jǐn)?shù)高于設(shè)定閾值的被跟蹤分支保留；

36、根據(jù)保留的被跟蹤分支來生成所述中心線分割掩模，對(duì)肋骨圖像應(yīng)用所述中心線分割掩模以提取每個(gè)肋骨的中心線。

37、本方案中用于追蹤肋骨中心線的算法，結(jié)合快速行進(jìn)和梯度下降方法，可以追蹤不連續(xù)的區(qū)域，通過回溯迭代可以尋找到受噪聲影響較小的分支；通過多模板快速行進(jìn)法可以獲得更精確的具有亞體素精度的測(cè)地距離估計(jì)值，使追蹤的曲線不需要后平滑處理；通過置信度分?jǐn)?shù)可以剔除因噪聲點(diǎn)或間隙引起的嚴(yán)重錯(cuò)誤跟蹤的分支。本方案可以快速、準(zhǔn)確地檢出肋骨中心線，魯棒性好，時(shí)間復(fù)雜度低。

38、可選地，所述方法還包括：

39、將骨折分割掩模的每一處連通域，定義為骨折區(qū)域；

40、對(duì)每個(gè)骨折區(qū)域，使用第三個(gè)深度神經(jīng)網(wǎng)絡(luò)來確定骨折類型；

41、計(jì)算每個(gè)骨折區(qū)域的中心點(diǎn)，確定該處骨折所在肋骨上與該中心點(diǎn)最接近的點(diǎn)，以所述最接近的點(diǎn)的肋骨相對(duì)位置作為該處骨折的相對(duì)位置；

42、根據(jù)每個(gè)骨折區(qū)域與肋骨分割掩模的交集來確定受該處骨折影響的肋骨。

43、本方案中，根據(jù)肋骨分割、肋骨骨折分割的結(jié)果，可以方便地獲取到生成肋骨骨折信息相關(guān)報(bào)告所需的信息，以及將與肋骨及肋骨骨折相關(guān)的可視化結(jié)果(例如但不限于將肋骨、肋骨骨折、肋骨中心線的輪廓、對(duì)應(yīng)骨折的感興趣區(qū)域等進(jìn)行高級(jí)渲染)疊加到相關(guān)圖像上顯示，以便臨床醫(yī)師觀察發(fā)生骨折或病變的部位。

44、可選地，所述醫(yī)學(xué)圖像是通過計(jì)算機(jī)斷層掃描或磁共振成像獲得的三維醫(yī)學(xué)圖像。三維醫(yī)學(xué)圖像可以提供更豐富的影像學(xué)信息；本方案可以直接與獲取和/或存儲(chǔ)三維醫(yī)學(xué)圖像的系統(tǒng)的工作流兼容，以便接收?qǐng)D像，或是將疊加有可視化結(jié)果的圖像、填充有肋骨骨折信息的報(bào)告等檢測(cè)結(jié)果提供給這些系統(tǒng)，不需要另外設(shè)置專門的工作站來進(jìn)行處理。

45、本發(fā)明的另一個(gè)技術(shù)方案是提供一種在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的系統(tǒng)，所述系統(tǒng)包括用于實(shí)現(xiàn)上述任意一項(xiàng)在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法的模塊；所述模塊包括：

46、用于接收醫(yī)學(xué)圖像的模塊；

47、用于以標(biāo)記檢測(cè)算法解析醫(yī)學(xué)圖像中的解剖結(jié)構(gòu)來確定肋骨區(qū)域的模塊；

48、用于通過第一個(gè)深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像的肋骨區(qū)域中分割肋骨的模塊；

49、用于通過第二個(gè)深度神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像中的肋骨骨折區(qū)域進(jìn)行分割的模塊。

50、本發(fā)明的又一個(gè)技術(shù)方案是提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有計(jì)算機(jī)程序指令；所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述任意一項(xiàng)在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法。

51、綜上所述，本發(fā)明所述在醫(yī)學(xué)圖像中進(jìn)行肋骨骨折檢測(cè)的方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，結(jié)合了多種圖像處理和人工智能技術(shù)，可以對(duì)醫(yī)學(xué)圖像中存在的肋骨骨折進(jìn)行快速、準(zhǔn)確的自動(dòng)檢測(cè)，幫助臨床醫(yī)師診斷決策，有效地節(jié)省了時(shí)間，減輕了工作負(fù)擔(dān)。