本發(fā)明涉及醫(yī)學(xué)細(xì)胞圖像處理領(lǐng)域，具體涉及一種可解釋性的宮頸細(xì)胞圖像快速分級(jí)識(shí)別方法及系統(tǒng)。

背景技術(shù)：

現(xiàn)有的臨床診斷過(guò)程中宮頸細(xì)胞影像的分析方法，如tct、surepath等主流的篩查影像技術(shù)，完全依賴(lài)于閱片醫(yī)生的個(gè)人經(jīng)驗(yàn)進(jìn)行涂片判讀，其通常僅能得出病變存在與否的定性結(jié)論。由于宮頸液基涂片制片染色質(zhì)量不同、閱片醫(yī)生的經(jīng)驗(yàn)不同、高強(qiáng)度的閱片工作造成的視覺(jué)疲勞等因素，宮頸細(xì)胞影像的結(jié)果表現(xiàn)為陽(yáng)性檢出率低、癌變細(xì)胞的易漏診和閱片的工作效率低下。從分割后的宮頸細(xì)胞圖像中針對(duì)單個(gè)細(xì)胞和不可分的細(xì)胞團(tuán)簇區(qū)域進(jìn)行快速分級(jí)識(shí)別，是實(shí)現(xiàn)宮頸細(xì)胞人工智能輔助閱片的重要部分。

針對(duì)分割后的宮頸細(xì)胞如何進(jìn)行分析是一個(gè)值得探討的問(wèn)題，選取的細(xì)胞特征應(yīng)該能夠反映出正常細(xì)胞與癌變細(xì)胞之間的差異。一般的識(shí)別系統(tǒng)通常從細(xì)胞圖像的顏色、形狀和紋理中獲取有效判別特征，從而實(shí)現(xiàn)細(xì)胞病變的度量。當(dāng)前應(yīng)用到宮頸細(xì)胞圖像的分類(lèi)的一些主要分類(lèi)器，像基于貝葉斯規(guī)則的分類(lèi)器、基于模糊邏輯的分類(lèi)器、支持向量機(jī)等都屬于一般的識(shí)別系統(tǒng)，其直接針對(duì)輸入的細(xì)胞圖像給出個(gè)不可解釋的輸出結(jié)果，并且這些分類(lèi)器在針對(duì)大量數(shù)據(jù)容易過(guò)擬合，在細(xì)胞圖像的細(xì)粒度分級(jí)識(shí)別上效果不理想。目前世界各地的醫(yī)學(xué)圖像分析組正在迅速進(jìn)入深度學(xué)習(xí)領(lǐng)域，并將卷積神經(jīng)網(wǎng)絡(luò)和醫(yī)學(xué)圖像處理方法廣泛的應(yīng)用于醫(yī)療影像領(lǐng)域，例如國(guó)外研究學(xué)者將深度卷積神經(jīng)網(wǎng)絡(luò)用在乳腺癌病理切片的研究上并得到了理想的識(shí)別結(jié)果，其中卷積神經(jīng)網(wǎng)絡(luò)作為一種深度學(xué)習(xí)模型，可以直接從輸入數(shù)據(jù)中提取圖像特征。一方面在醫(yī)學(xué)圖像處理領(lǐng)域一般需要給出模型可讀性的判讀結(jié)果，模型的輸出類(lèi)別無(wú)法解析分級(jí)識(shí)別的依據(jù)與過(guò)程，另一方面由于宮頸細(xì)胞的特殊性，其形態(tài)具有多變性，并存在不同分化時(shí)期的細(xì)胞，直接使用卷積神經(jīng)網(wǎng)絡(luò)模型是無(wú)法得到有效的分級(jí)識(shí)別結(jié)果。

目前任何單一一種細(xì)胞分級(jí)識(shí)別模型都難以獲得滿(mǎn)意的結(jié)果，并且直接使用分類(lèi)器得到識(shí)別結(jié)果都不具備判讀過(guò)程的可解釋性，亟待針對(duì)實(shí)際應(yīng)用研究建立針對(duì)宮頸癌細(xì)胞的可解釋的快速分級(jí)識(shí)別系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種可解釋性的宮頸細(xì)胞圖像快速分級(jí)識(shí)別方法，能夠解決宮頸細(xì)胞快速分級(jí)識(shí)別的問(wèn)題，同時(shí)又具備模型判讀過(guò)程的可解釋性。該發(fā)明充分解析宮頸細(xì)胞知識(shí)，利用深度學(xué)習(xí)、圖像理解技術(shù)，通過(guò)融合數(shù)據(jù)驅(qū)動(dòng)方法和宮頸細(xì)胞領(lǐng)域知識(shí)的機(jī)制，最終實(shí)現(xiàn)宮頸癌細(xì)胞快速分級(jí)識(shí)別；該發(fā)明另一關(guān)注點(diǎn)在于分類(lèi)模型的可解釋性，通過(guò)知識(shí)圖譜、深度學(xué)習(xí)技術(shù)，最終實(shí)現(xiàn)了細(xì)胞的判讀識(shí)別結(jié)果的可解釋性和判讀識(shí)別過(guò)程的可讀性，為宮頸細(xì)胞人工智能輔助閱片提供重要的分級(jí)識(shí)別系統(tǒng)框架。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種可解釋性的宮頸癌細(xì)胞圖像快速分級(jí)識(shí)別方法，所述方法包括：

步驟1)對(duì)分割后的宮頸細(xì)胞圖像進(jìn)行預(yù)處理操作；

步驟2)判斷預(yù)處理后的細(xì)胞圖像是否為單個(gè)細(xì)胞，如果是，轉(zhuǎn)入步驟3)，否則，該圖像為不可分的細(xì)胞團(tuán)簇，轉(zhuǎn)入步驟7)；

步驟3)確定可計(jì)算的細(xì)胞參數(shù)，然后計(jì)算細(xì)胞參數(shù)特征；

步驟4)建立細(xì)胞知識(shí)圖譜推理判斷模型，并將細(xì)胞參數(shù)特征輸入該模型，得到細(xì)胞的第一種分級(jí)結(jié)果；

步驟5)構(gòu)建附加領(lǐng)域知識(shí)的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，將細(xì)胞參數(shù)特征和細(xì)胞圖像輸入雙流卷積神經(jīng)網(wǎng)絡(luò)模型，得到細(xì)胞的第二種分級(jí)結(jié)果；

步驟6)結(jié)合第一種分級(jí)結(jié)果和第二種分級(jí)結(jié)果進(jìn)行判讀，得到單細(xì)胞的分級(jí)結(jié)果；

步驟7)構(gòu)建細(xì)胞團(tuán)簇的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，并使用該模型對(duì)不可分細(xì)胞團(tuán)簇進(jìn)行團(tuán)簇細(xì)胞的分級(jí)識(shí)別，得到團(tuán)簇細(xì)胞的分級(jí)結(jié)果。

上述技術(shù)方案中，所述方法進(jìn)一步包括：

步驟8)利用知識(shí)圖譜和類(lèi)活動(dòng)映射的方法實(shí)現(xiàn)宮頸細(xì)胞識(shí)別過(guò)程的可讀性、宮頸細(xì)胞識(shí)別結(jié)果的可解釋性。

上述技術(shù)方案中，所述步驟1)的預(yù)處理操作為：掃描分割后的宮頸細(xì)胞區(qū)域，并進(jìn)行細(xì)胞邊界像素值填充，將細(xì)胞邊界外的像素值填充為0，然后將填充像素值后的細(xì)胞圖像統(tǒng)一歸一化至256*256的像素值大小。

上述技術(shù)方案中，所述步驟2)的判斷上述細(xì)胞圖像是否為單個(gè)細(xì)胞，采用圖像處理中的分水嶺算法實(shí)現(xiàn)，若細(xì)胞圖像中的細(xì)胞核數(shù)目為1，則判斷是單個(gè)細(xì)胞。

上述技術(shù)方案中，所述步驟3)的細(xì)胞參數(shù)包括細(xì)胞核的大小、深度、形狀，細(xì)胞質(zhì)的大小、形狀和核漿比。

上述技術(shù)方案中，所述附加領(lǐng)域知識(shí)的雙流卷積神經(jīng)網(wǎng)絡(luò)的一路輸入為步驟3)得到的細(xì)胞參數(shù)特征，另外一路輸入為單個(gè)細(xì)胞圖像，大小統(tǒng)一歸一化為256*256像素值，經(jīng)過(guò)5個(gè)級(jí)聯(lián)的卷積池化組合模塊隱式地提取到細(xì)胞圖像的特征；其中最重要的卷積操作的卷積核大小采用7*7大小，步長(zhǎng)選擇大小為1，特征圖個(gè)數(shù)選取為96個(gè)，該卷積操作為：

上式中，m表示選擇的輸入特征圖的集合，wij表示權(quán)重，bj為每一個(gè)特征圖輸出加上的一個(gè)額外偏置，然后將提取的1096維特征加上細(xì)胞領(lǐng)域知識(shí)可計(jì)算的20維特征拼接到一起，輸入到雙流卷積神經(jīng)網(wǎng)絡(luò)的全連接層和分類(lèi)層。

上述技術(shù)方案中，所述細(xì)胞團(tuán)簇的雙流卷積神經(jīng)網(wǎng)絡(luò)的一路輸入為：細(xì)胞核之間的排列規(guī)則的特征，另外一路輸入是與該細(xì)胞參數(shù)對(duì)應(yīng)的細(xì)胞團(tuán)簇的宮頸細(xì)胞，宮頸細(xì)胞輸入大小統(tǒng)一歸一化為512*512像素值，經(jīng)過(guò)8個(gè)級(jí)聯(lián)的卷積池化組合模塊隱式地提取到細(xì)胞圖像的特征；其中最重要的卷積操作的卷積核大小采用5*5大小，步長(zhǎng)選擇大小為2，特征圖個(gè)數(shù)選取為108個(gè)。

一種可解釋性的宮頸細(xì)胞圖像快速分級(jí)識(shí)別系統(tǒng)，包括存儲(chǔ)器、處理器和存儲(chǔ)在存儲(chǔ)器上的并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法的步驟。

本發(fā)明的有益效果是：

1、提出了基于領(lǐng)域知識(shí)的深度卷積神經(jīng)網(wǎng)絡(luò)和知識(shí)圖譜的雙重判讀方法，使得宮頸癌細(xì)胞的分級(jí)識(shí)別最終達(dá)到了實(shí)時(shí)性和癌變細(xì)胞的高敏感性，降低了癌細(xì)胞誤識(shí)別和漏識(shí)別情況的發(fā)生。該快速分級(jí)識(shí)別方法可以用做醫(yī)療影像中液基涂片細(xì)胞圖像分級(jí)識(shí)別的通用框架，適用于各種質(zhì)量的宮頸細(xì)胞液基涂片。根據(jù)不同種類(lèi)和不同廠家的液基涂片只需對(duì)模型的超參數(shù)進(jìn)行調(diào)整，即可得到理想的判讀結(jié)果；

2、鑒于不可分的細(xì)胞團(tuán)簇區(qū)域容易誤診以及漏診的情況，本發(fā)明給出了妥善的處理方式，一方面是訓(xùn)練針對(duì)細(xì)胞團(tuán)簇專(zhuān)有的卷積神經(jīng)網(wǎng)絡(luò)模型，從而完成細(xì)胞團(tuán)簇癌變的分級(jí)識(shí)別；另一方面考慮到宮頸癌變的發(fā)生不只是存在單個(gè)細(xì)胞上，將細(xì)胞團(tuán)簇區(qū)域與單個(gè)細(xì)胞的判讀結(jié)果的進(jìn)行合并，從而實(shí)現(xiàn)癌細(xì)胞的高敏感性以及非癌變細(xì)胞的高特異性；

3、一般識(shí)別系統(tǒng)模型不具備的可解釋性，本發(fā)明利用知識(shí)圖譜和cam的方法實(shí)現(xiàn)了宮頸癌細(xì)胞識(shí)別過(guò)程的可讀性、宮頸細(xì)胞識(shí)別結(jié)果的可解釋。本發(fā)明的宮頸癌細(xì)胞快速分級(jí)識(shí)別完全依據(jù)tbs標(biāo)準(zhǔn)診斷的判讀規(guī)則，可隨時(shí)查閱任意某個(gè)細(xì)胞的審讀過(guò)程，為宮頸細(xì)胞人工智能輔助閱片提供重要的可視化判讀框架。

附圖說(shuō)明

圖1為本發(fā)明的可解釋性的宮頸細(xì)胞圖像快速分級(jí)識(shí)別方法的流程圖；

圖2為本發(fā)明的附加領(lǐng)域知識(shí)的雙流卷積神經(jīng)網(wǎng)絡(luò)模型的示意圖；

圖3為本發(fā)明的宮頸細(xì)胞知識(shí)圖譜分級(jí)判讀的示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。

如圖1所示，一種可解釋性的宮頸細(xì)胞圖像快速分級(jí)識(shí)別方法，所述方法包括：

步驟1)對(duì)分割后的宮頸細(xì)胞圖像進(jìn)行預(yù)處理操作：為了與雙流卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)格式相匹配，首先掃描分割后的宮頸細(xì)胞區(qū)域，并進(jìn)行細(xì)胞邊界像素值填充的方式，將細(xì)胞邊界外的像素值填充為0，然后將填充像素值后的細(xì)胞圖像統(tǒng)一歸一化至256*256的像素值大??；

步驟2)判斷上述細(xì)胞圖像是否為單個(gè)細(xì)胞，如果是，轉(zhuǎn)入步驟3)，否則，該圖像為不可分的細(xì)胞團(tuán)簇，轉(zhuǎn)入步驟7)；

此處的判斷主要依靠圖像中細(xì)胞核的數(shù)目，而檢測(cè)細(xì)胞核數(shù)目的方法采用圖像處理中的分水嶺算法，若細(xì)胞圖像中的細(xì)胞核數(shù)目為1，則判斷是單個(gè)細(xì)胞。

步驟3)確定可計(jì)算的細(xì)胞參數(shù)，包括細(xì)胞核的大小、深度、形狀，細(xì)胞質(zhì)的大小、形狀和核漿比，然后計(jì)算細(xì)胞參數(shù)特征；

以細(xì)胞核的大小為例，細(xì)胞核的大小參數(shù)是通過(guò)直接計(jì)算細(xì)胞核區(qū)域邊界內(nèi)的像素的總和來(lái)表示：

其中f(x,y)為二值圖像上某點(diǎn)(x,y)的像素值,取值為1時(shí)表示該像素點(diǎn)屬于目標(biāo)區(qū)域,取值為0時(shí)表示該像素點(diǎn)屬于背景區(qū)域,其面積就是統(tǒng)計(jì)f(x,y)為1的像素個(gè)數(shù)。

步驟4)建立細(xì)胞知識(shí)圖譜推理判斷模型，并將細(xì)胞參數(shù)特征輸入該模型，得到細(xì)胞的第一種分級(jí)結(jié)果；

步驟5)構(gòu)建附加領(lǐng)域知識(shí)的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，將細(xì)胞參數(shù)特征和細(xì)胞圖像輸入雙流卷積神經(jīng)網(wǎng)絡(luò)模型，得到細(xì)胞的第二種分級(jí)結(jié)果；

如圖2所示，雙流卷積神經(jīng)網(wǎng)絡(luò)的一路輸入為步驟3)得到的細(xì)胞參數(shù)特征，另外一路輸入為單個(gè)細(xì)胞圖像，大小統(tǒng)一歸一化為256*256像素值，經(jīng)過(guò)5個(gè)級(jí)聯(lián)的卷積池化組合模塊隱式地提取到細(xì)胞圖像的特征。其中最重要的卷積操作的卷積核大小采用7*7大小，步長(zhǎng)選擇大小為1，特征圖個(gè)數(shù)選取為96個(gè)，該卷積操作為：

m表示選擇的輸入特征圖的集合，wij表示權(quán)重，bj為每一個(gè)特征圖輸出加上的一個(gè)額外偏置，然后將提取的1096維特征加上細(xì)胞領(lǐng)域知識(shí)可計(jì)算的20維特征拼接到一起，輸入到雙流卷積神經(jīng)網(wǎng)絡(luò)的全連接層和分類(lèi)層。根據(jù)tbs標(biāo)準(zhǔn)診斷，將不同細(xì)胞的分級(jí)識(shí)別結(jié)合在一起，一共分為9類(lèi)。

如圖3所示，細(xì)胞學(xué)特征完全根據(jù)tbs判斷標(biāo)準(zhǔn)，抽取是采用判斷標(biāo)準(zhǔn)的語(yǔ)言。細(xì)胞可以在不同抽象層次上進(jìn)行多種分類(lèi)，從是否存在病變的層次上，細(xì)胞主要分為正常細(xì)胞和異常細(xì)胞兩大類(lèi)，正常細(xì)胞，包括柱狀細(xì)胞、中層細(xì)胞、表層細(xì)胞；異常細(xì)胞包括輕度鱗狀上皮內(nèi)病變細(xì)胞、中度鱗狀上皮內(nèi)病變細(xì)胞、重度鱗狀上皮內(nèi)病變細(xì)胞、鱗狀細(xì)胞癌細(xì)胞。

判讀規(guī)則庫(kù)也完全依據(jù)閱片醫(yī)生的判讀過(guò)程與思想，例如細(xì)胞質(zhì)的顏色特征映射，對(duì)于宮頸病變有判讀意義的顏色有藍(lán)色、粉紅色、橘黃色，細(xì)胞學(xué)術(shù)語(yǔ)通常稱(chēng)為嗜堿性、嗜酸性、嗜橘黃色，即嗜堿性的細(xì)胞細(xì)胞質(zhì)表現(xiàn)為藍(lán)色、嗜酸性細(xì)胞細(xì)胞質(zhì)表現(xiàn)為粉紅色、嗜橘黃色細(xì)胞細(xì)胞質(zhì)表現(xiàn)為橘黃色。

步驟6)結(jié)合第一種分級(jí)結(jié)果和第二種分級(jí)結(jié)果，得到單細(xì)胞的分級(jí)結(jié)果；

判讀合并主要綜合分析單個(gè)細(xì)胞的判讀、卷積神經(jīng)網(wǎng)絡(luò)模型分級(jí)識(shí)別結(jié)果等因素，作出單個(gè)細(xì)胞最終的分級(jí)識(shí)別判讀結(jié)果。例如某個(gè)細(xì)胞的第一種分級(jí)結(jié)果和第二種分級(jí)結(jié)果都為鱗狀細(xì)胞癌的結(jié)果，那么則判讀該細(xì)胞為鱗狀細(xì)胞癌。

沖突處理主要解決各種特征指向不同的判讀結(jié)果時(shí)，綜合各種因素，消除沖突，做出明確可靠的判讀。例如某個(gè)細(xì)胞經(jīng)過(guò)第一分級(jí)(雙流卷積神經(jīng)網(wǎng)絡(luò)模型)得到的結(jié)果為鱗狀細(xì)胞癌，而經(jīng)過(guò)第二分級(jí)(知識(shí)圖譜模型)得到的結(jié)果為低級(jí)別鱗狀上皮內(nèi)病變，此種情況屬于結(jié)果沖突，針對(duì)沖突的處理本發(fā)明采用的方式是將該細(xì)胞標(biāo)注出來(lái)，最終的結(jié)果可由閱片醫(yī)師來(lái)決定。

步驟7)構(gòu)建細(xì)胞團(tuán)簇的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，并使用該模型對(duì)不可分細(xì)胞團(tuán)簇進(jìn)行團(tuán)簇細(xì)胞的分級(jí)識(shí)別；

細(xì)胞團(tuán)簇的雙流卷積神經(jīng)網(wǎng)絡(luò)的一路輸入為：細(xì)胞核之間的排列規(guī)則的特征，另外一路輸入是與該細(xì)胞參數(shù)對(duì)應(yīng)的細(xì)胞團(tuán)簇的宮頸細(xì)胞，本發(fā)明將宮頸細(xì)胞輸入大小統(tǒng)一歸一化為512*512像素值，經(jīng)過(guò)8個(gè)級(jí)聯(lián)的卷積池化組合模塊隱式地提取到細(xì)胞圖像的特征。其中最重要的卷積操作的卷積核大小采用5*5大小，步長(zhǎng)選擇大小為2，特征圖個(gè)數(shù)選取為108個(gè)。

步驟8)利用知識(shí)圖譜和cam(classactivationmapping，類(lèi)活動(dòng)映射)的方法實(shí)現(xiàn)宮頸細(xì)胞識(shí)別過(guò)程的可讀性、宮頸細(xì)胞識(shí)別結(jié)果的可解釋性。

采用cam的方法在得到識(shí)別結(jié)果后給出其對(duì)應(yīng)的熱度圖，從而實(shí)現(xiàn)宮頸細(xì)胞識(shí)別結(jié)果的可解釋性。

如圖3所示，整個(gè)判讀過(guò)程的可解釋性具體采用了知識(shí)圖譜的技術(shù)，本發(fā)明構(gòu)建了圖像特征的本體表示以及細(xì)胞特征的本體表示，采用推理規(guī)則進(jìn)行判讀。

以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。