所屬的技術(shù)人員能夠理解,本發(fā)明的各個方面可以實(shí)現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此,本發(fā)明的各個方面可以具體實(shí)現(xiàn)為以下形式,即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、微代碼等),或硬件和軟件方面結(jié)合的實(shí)施方式,這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。下面參照圖9來描述根據(jù)本發(fā)明的這種實(shí)施方式的電子設(shè)備900。圖9顯示的電子設(shè)備900僅僅是一個示例,不應(yīng)對本發(fā)明實(shí)施例的功能和使用范圍帶來任何限制。如圖9所示,電子設(shè)備900以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備900的組件可以包括但不限于:上述至少一個處理單元910、上述至少一個存儲單元920、連接不同系統(tǒng)組件(包括存儲單元920和處理單元910)的總線930、顯示單元940。其中,存儲單元存儲有程序代碼,程序代碼可以被處理單元910執(zhí)行,使得處理單元910執(zhí)行本說明書上述醫(yī)學(xué)影像的分割方法中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。例如,處理單元910可以執(zhí)行如圖1中所示的步驟s110:對待處理醫(yī)學(xué)影像進(jìn)行特征提取,以得到待處理醫(yī)學(xué)影像的第一特征圖;步驟s120:對第一特征圖進(jìn)行基于圖的卷積處理,以得到第二特征圖;對第一特征圖進(jìn)行基于注意力機(jī)制的空間特征提取,以得到第三特征圖;步驟s130:根據(jù)第二特征圖和第三特征圖進(jìn)行圖重建,以獲得重建特征圖;步驟s140:對重建特征圖進(jìn)行上采樣處理,以獲得分割結(jié)果。存儲單元920可以包括易失性存儲單元形式的可讀介質(zhì),例如隨機(jī)存取存儲單元(ram)9201和/或高速緩存存儲單元9202,還可以進(jìn)一步包括只讀存儲單元(rom)9203。存儲單元920還可以包括具有一組(至少一個)程序模塊9205的程序/實(shí)用工具9204,這樣的程序模塊9205包括但不限于:操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù),這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實(shí)現(xiàn)??偩€930可以為表示幾類總線結(jié)構(gòu)中的一種或多種,包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備900也可以與一個或多個外部設(shè)備(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信,還可與一個或者多個使得觀眾能與該電子設(shè)備900交互的設(shè)備通信,和/或與使得該電子設(shè)備900能與一個或多個其它計算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口950進(jìn)行。并且,電子設(shè)備900還可以通過網(wǎng)絡(luò)適配器960與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(lan),廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò),例如因特網(wǎng))通信。如圖所示,網(wǎng)絡(luò)適配器960通過總線930與電子設(shè)備900的其它模塊通信。應(yīng)當(dāng)明白,盡管圖中未示出,可以結(jié)合電子設(shè)備900使用其它硬件和/或軟件模塊,包括但不限于:微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員易于理解,這里描述的示例實(shí)施方式可以通過軟件實(shí)現(xiàn),也可以通過軟件結(jié)合必要的硬件的方式來實(shí)現(xiàn)。因此,根據(jù)本公開實(shí)施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是cd-rom,u盤,移動硬盤等)中或網(wǎng)絡(luò)上,包括若干指令以使得一臺計算設(shè)備(可以是個人計算機(jī)、服務(wù)器、終端裝置、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本公開實(shí)施方式的方法。在本示例性實(shí)施方式中,還提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有能夠?qū)崿F(xiàn)本說明書上述方法的程序產(chǎn)品。在一些可能的實(shí)施方式中,本發(fā)明的各個方面還可以實(shí)現(xiàn)為一種程序產(chǎn)品的形式,其包括程序代碼,當(dāng)程序產(chǎn)品在終端設(shè)備上運(yùn)行時,程序代碼用于使終端設(shè)備執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。根據(jù)本發(fā)明的實(shí)施方式的用于實(shí)現(xiàn)上述方法的程序產(chǎn)品,其可以采用便攜式緊湊盤只讀存儲器(cd-rom)并包括程序代碼,并可以在終端設(shè)備,例如個人電腦上運(yùn)行。然而,本發(fā)明的程序產(chǎn)品不限于此,在本文件中,可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。程序產(chǎn)品可以采用一個或多個可讀介質(zhì)的任意組合??勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)??勺x存儲介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合??勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。計算機(jī)可讀信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號,其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式,包括但不限于電磁信號、光信號或上述的任意合適的組合??勺x信號介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì),該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于無線、有線、光纜、rf等等,或者上述的任意合適的組合??梢砸砸环N或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的程序代碼,程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等,還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算設(shè)備的情形中,遠(yuǎn)程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò),包括局域網(wǎng)(lan)或廣域網(wǎng)(wan),連接到用戶計算設(shè)備,或者,可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。此外,上述附圖僅是根據(jù)本公開示例性實(shí)施例的方法所包括的處理的示意性說明,而不是限制目的。易于理解,上述附圖所示的處理并不表明或限制這些處理的時間順序。另外,也易于理解,這些處理可以是例如在多個模塊中同步或異步執(zhí)行的。本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后,將容易想到本公開的其他實(shí)施例。本技術(shù)旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化,這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本中的公知常識或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的,本公開的真正范圍和精神由權(quán)利要求指出。應(yīng)當(dāng)理解的是,本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu),并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限。
背景技術(shù):
1、對人體醫(yī)學(xué)影像進(jìn)行器官分割能夠?yàn)樾g(shù)前評估和指導(dǎo)手術(shù)提供重要依據(jù),具有重要的現(xiàn)實(shí)意義。相關(guān)技術(shù)中,醫(yī)學(xué)影像分割在保留圖像的高分辨率細(xì)節(jié)信息的同時,無法提取完整的體素語義特征,導(dǎo)致分割結(jié)果準(zhǔn)確性低;同時,由于醫(yī)學(xué)影像的對比度低,且器官間存在重疊、器官大小差異較大等原因,給分割過程帶來較大干擾,影響分割精度。
2、需要說明的是,在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對本公開的背景的理解,因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。
技術(shù)實(shí)現(xiàn)思路
1、本公開的目的在于提供一種醫(yī)學(xué)影像的分割方法和裝置、電子設(shè)備、存儲介質(zhì),進(jìn)而至少在一定程度上提高了醫(yī)學(xué)影像的分割準(zhǔn)確性和精度。
2、本公開的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然,或部分地通過本公開的實(shí)踐而習(xí)得。
3、根據(jù)本公開的第一方面,提供一種醫(yī)學(xué)影像的分割方法,方法包括:對待處理醫(yī)學(xué)影像進(jìn)行特征提取,以得到待處理醫(yī)學(xué)影像的第一特征圖;對第一特征圖進(jìn)行基于圖的卷積處理,以得到第二特征圖;對第一特征圖進(jìn)行基于注意力機(jī)制的空間特征提取,以得到第三特征圖;根據(jù)第二特征圖和第三特征圖進(jìn)行圖重建,以獲得重建特征圖;對重建特征圖進(jìn)行上采樣處理,以獲得分割結(jié)果。
4、可選地,對待處理醫(yī)學(xué)影像進(jìn)行特征提取,包括:通過n個依次串聯(lián)的編碼單元對待處理醫(yī)學(xué)影像進(jìn)行特征提??;其中,每個編碼單元對應(yīng)的特征提取,包括:對當(dāng)前編碼單元的輸入進(jìn)行深度可分離卷積;對深度可分離卷積結(jié)果進(jìn)行第一通道卷積和下采樣,以獲得當(dāng)前編碼單元對應(yīng)的輸出;其中,第一個編碼單元的輸入為待處理醫(yī)學(xué)影像,第2個編碼單元至第n個編碼單元的輸入為與其串聯(lián)的上一個編碼單元的輸出,第n個編碼單元的輸出為第一特征圖。
5、可選地,對當(dāng)前編碼單元的輸入進(jìn)行深度可分離卷積,包括:對當(dāng)前編碼單元的輸入進(jìn)行多個尺度和多個膨脹率下的空洞可分離卷積,對應(yīng)獲得多個空洞卷積結(jié)果;對多個空洞卷積結(jié)果進(jìn)行融合處理,獲得當(dāng)前編碼單元對應(yīng)的深度可分離卷積結(jié)果。
6、可選地,對第一特征圖進(jìn)行基于圖的卷積處理,包括:對第一特征圖進(jìn)行不同特征空間的圖交互處理,以構(gòu)建鄰接矩陣;對第一特征圖進(jìn)行第二通道卷積,獲得第三特征矩陣;利用鄰接矩陣對第三特征矩陣進(jìn)行圖卷積處理。
7、可選地,對第一特征圖進(jìn)行不同特征空間的圖交互處理,包括:對第一特征圖進(jìn)行通道壓縮,獲得第一特征空間對應(yīng)的第一特征矩陣和第二特征空間對應(yīng)的第二特征矩陣;對第一特征矩陣和第二特征矩陣進(jìn)行矩陣運(yùn)算,獲得交互矩陣;對交互矩陣進(jìn)行非線性處理,獲得鄰接矩陣。
8、可選地,圖卷積處理包括:通過依次串聯(lián)的m個圖卷積單元,基于鄰接矩陣對第三特征矩陣進(jìn)行圖卷積處理;其中,對于第一個圖卷積單元,利用鄰接矩陣和第一個圖卷積單元的權(quán)重參數(shù)對第三特征矩陣進(jìn)行一次圖卷積處理;對于第二個圖卷積單元至第m個圖卷積單元,利用鄰接矩陣和當(dāng)前圖卷積單元的權(quán)重參數(shù),對與當(dāng)前圖卷積單元串聯(lián)的上一個圖卷積單元的圖卷積結(jié)果進(jìn)行二次圖卷積處理。
9、可選地,對第一特征圖進(jìn)行基于注意力機(jī)制的空間特征提取,包括:對第一特征圖進(jìn)行基于注意力機(jī)制的三維卷積處理,以獲得注意力矩陣;對注意力矩陣進(jìn)行維度調(diào)整,以獲得第三特征圖,第三特征圖的維度與第二特征圖的維度相同。
10、可選地,方法還包括:根據(jù)分割結(jié)果計算損失函數(shù);以最小化損失函數(shù)為目標(biāo),對特征提取、基于圖的卷積處理、基于注意力機(jī)制的空間特征提取和上采樣處理的參數(shù)進(jìn)行調(diào)整。
11、根據(jù)本公開的第二方面,提供一種醫(yī)學(xué)影像的分割裝置,包括圖像確定模塊、相似度確定模塊和傳輸模塊,其中:圖像確定模塊,被配置為根據(jù)用戶注視區(qū)域從當(dāng)前幀的原始圖像中確定對應(yīng)的第一圖像;并基于當(dāng)前幀的原始圖像,確定當(dāng)前幀對應(yīng)的第二圖像,第二圖像的分辨率低于第一圖像;相似度確定模塊,被配置為確定當(dāng)前幀對應(yīng)的第二圖像與上一幀對應(yīng)的第二圖像之間的相似度;傳輸模塊,被配置為根據(jù)相似度,傳輸目標(biāo)圖像;其中,在相似度大于等于預(yù)設(shè)閾值的情況下,目標(biāo)圖像為第一圖像。
12、根據(jù)本公開的第三方面,提供了一種計算機(jī)可讀介質(zhì),其上存儲有計算機(jī)程序,程序被處理器執(zhí)行時實(shí)現(xiàn)如上述實(shí)施例中醫(yī)學(xué)影像的分割方法。
13、根據(jù)本公開的第四方面,提供了一種電子設(shè)備,包括:一個或多個處理器;存儲裝置,用于存儲一個或多個程序,當(dāng)一個或多個程序被一個或多個處理器執(zhí)行時,使得一個或多個處理器實(shí)現(xiàn)如上述實(shí)施例中醫(yī)學(xué)影像的分割方法。
14、由上述技術(shù)方案可知,本公開示例性實(shí)施例中的醫(yī)學(xué)影像的分割方法和裝置至少具備以下優(yōu)點(diǎn)和積極效果:
15、本公開的醫(yī)學(xué)影像的分割方法,一方面,可以對提取的第一特征圖進(jìn)行基于圖的卷積處理,得到第二特征圖,通過基于圖的卷積處理能夠聚集待處理醫(yī)學(xué)影像的局部信息和全局信息,在保留細(xì)節(jié)信息的同時考慮全局分布信息,提高了分割準(zhǔn)確性。另一方面,對提取的第一特征圖進(jìn)行基于注意力機(jī)制的空間特征提取,以得到第三特征圖,根據(jù)第二特征圖和第三特征圖進(jìn)行圖重建,以獲得重建特征圖;考慮到醫(yī)學(xué)影像中目標(biāo)空間位置的不變性,引入注意力機(jī)制提取空間位置信息,能夠抑制分割類別之間誤差,進(jìn)一步提高分割精度。
16、本公開應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開。