一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法和系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明的目的是提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法和系統(tǒng)，針對(duì)通過(guò)常規(guī)設(shè)備獲取的低分辨率涂片圖像，先對(duì)其進(jìn)行超分辨率放大重建，使其更為清晰，為后續(xù)的分類(lèi)奠定基礎(chǔ)，再應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)重建后的高分辨率圖像進(jìn)行圖像判斷和識(shí)別，并一步輸出微生物的種類(lèi)和密度，以實(shí)現(xiàn)對(duì)陰道微生態(tài)形態(tài)學(xué)進(jìn)行自動(dòng)分析和計(jì)算機(jī)輔助識(shí)別的目的，從而可以對(duì)陰道微生態(tài)系統(tǒng)進(jìn)行客觀準(zhǔn)確的臨床評(píng)價(jià)。
【專(zhuān)利說(shuō)明】
一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及微生態(tài)形態(tài)學(xué)分析方法和系統(tǒng)，尤其涉及一種對(duì)陰道微生態(tài)形態(tài)學(xué)圖 像進(jìn)行自動(dòng)分析和計(jì)算機(jī)輔助識(shí)別的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 女性生殖道感染和性傳播感染是女性常見(jiàn)疾病，也是全球性的社會(huì)及公共衛(wèi)生問(wèn) 題，具有發(fā)病率高、復(fù)發(fā)率高、流行范圍廣的特點(diǎn)。感染是多種疾病的源頭，如果生殖道感染 得不到及時(shí)診斷和正確治療，可引起艾滋病感染和發(fā)生宮頸癌的風(fēng)險(xiǎn)增加、不孕癥、異位妊 娠、流產(chǎn)、死胎、死產(chǎn)、早產(chǎn)、先天感染及新生兒感染、慢性腹痛等并發(fā)癥，影響兩代人的健 康。
[0003] 建立陰道微生態(tài)臨床評(píng)價(jià)體系是陰道感染診斷治療思路的新突破。它能夠指導(dǎo)婦 產(chǎn)科臨床醫(yī)師從微生態(tài)角度重新審視婦科感染性疾病，全面評(píng)價(jià)感染及治療后的陰道微生 態(tài)狀況，指導(dǎo)臨床不僅追求治療病原，而且以達(dá)到恢復(fù)陰道微生態(tài)環(huán)境正常這一最終目標(biāo)。 [0004]建立陰道微生態(tài)臨床評(píng)價(jià)體系，需要對(duì)陰道微生態(tài)中的微生物進(jìn)行識(shí)別、半定量 和分析，而目前微生物種類(lèi)、數(shù)量的識(shí)別主要依賴(lài)于人類(lèi)專(zhuān)家的主觀閱讀，這個(gè)過(guò)程耗時(shí)且 易于出錯(cuò)。由于微生物學(xué)數(shù)據(jù)天然的模糊性，對(duì)相同領(lǐng)域內(nèi)的或跨領(lǐng)域的專(zhuān)家之間，人工微 生物讀片的結(jié)果容易產(chǎn)生很大的可變性，且培訓(xùn)閱片人員需要時(shí)間，且基層醫(yī)院無(wú)法配備 有資質(zhì)的檢驗(yàn)人員進(jìn)行閱片，而使常見(jiàn)的生殖道感染性疾病誤診誤治。為了應(yīng)付不斷增加 的數(shù)據(jù)量，實(shí)現(xiàn)更加客觀和定量化的精確測(cè)量，以及獲得可重復(fù)的結(jié)果，減少數(shù)據(jù)分析過(guò)程 中的人為干預(yù)非常重要。
[0005] 現(xiàn)有的計(jì)算機(jī)圖像識(shí)別技術(shù)，例如Wavelet PCA方法(即基于小波變換的主成分分 析，Wavelet Principal Component Analysis)，能夠比較快的進(jìn)行圖像特征的提取，但是 該方法對(duì)圖像的處理較為簡(jiǎn)單，只是依靠先驗(yàn)的細(xì)菌特征知識(shí)進(jìn)行分類(lèi)，對(duì)于變化多樣的 細(xì)菌涂片圖像則識(shí)別能力極為有限。而使用人工智能的方法進(jìn)行圖像識(shí)別，雖然有較高的 準(zhǔn)確率，但是運(yùn)算復(fù)雜，往往需要有大型的并行運(yùn)算能力才能完成，且現(xiàn)有獲取患者涂片的 設(shè)備所獲得的圖像分辨率都相對(duì)較低，無(wú)法有效進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)等人工智能的運(yùn)算，而 獲取高分辨率圖像的設(shè)備成本較高，處理時(shí)間較長(zhǎng)，不適合于臨床面對(duì)大量病人的涂片檢 查。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法和系統(tǒng)，針對(duì)通過(guò)常規(guī) 設(shè)備獲取的低分辨率涂片圖像，先對(duì)其進(jìn)行超分辨率放大重建，使其更為清晰，為后續(xù)的分 類(lèi)奠定基礎(chǔ)，再應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)重建后的高分辨率圖像進(jìn)行圖像判斷和識(shí)別，并一步 輸出微生物的種類(lèi)和密度，以實(shí)現(xiàn)對(duì)陰道微生態(tài)形態(tài)學(xué)進(jìn)行自動(dòng)分析和計(jì)算機(jī)輔助識(shí)別的 目的，從而可以對(duì)陰道微生態(tài)系統(tǒng)進(jìn)行客觀準(zhǔn)確的臨床評(píng)價(jià)。
[0007] 本發(fā)明一方面提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，所述方法包括:先對(duì)待 檢測(cè)患者涂片的圖像進(jìn)行超分辨率放大重建，再應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)重建后的所 述圖像進(jìn)行圖片識(shí)別。
[0008] 進(jìn)一步的，本發(fā)明提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，所述方法包括：
[0009] (1)利用基于稀疏表示的超分辨率重構(gòu)算法，對(duì)低分辨率的待檢測(cè)患者涂片的圖 像進(jìn)行放大重建，形成高分辨率的待檢測(cè)患者涂片的圖像；
[0010] (2)通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，對(duì)步驟(1)中得到的所述高分辨率的圖像進(jìn)行特 征數(shù)據(jù)提取和圖像識(shí)別，獲得圖像中陰道微生物的位置和類(lèi)別信息。
[0011] 進(jìn)一步的，本發(fā)明提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，所述方法包括：
[0012] -、對(duì)待檢測(cè)患者涂片進(jìn)行超分辨率放大重建，包括：
[0013] 預(yù)先收集高分辨率圖像，將其分割為高分辨率圖像塊Xh，同時(shí)通過(guò)對(duì)所述高分辨 率圖像進(jìn)行模糊采樣和插值運(yùn)算，得到其相對(duì)應(yīng)的低分辨率圖像塊Xi;利用字典訓(xùn)練算法 訓(xùn)練上述高分辨率圖像塊Xh及其所對(duì)應(yīng)的低分辨率圖像塊X!，分別獲得高分辨率字典D h和 低分辨率字典Di;
[0014] 將待檢測(cè)患者涂片的圖像進(jìn)行分塊和特征提取，得到所述圖像的特征圖像塊Xa; 將所述特征圖像塊乂3通過(guò)上述高分辨率字典Dh和低分辨率字典0:進(jìn)行稀疏表示和稀疏表示 系數(shù)提取，經(jīng)過(guò)反向投影濾波器得到重建后的待檢測(cè)患者涂片圖像。
[0015] 二、應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)待檢測(cè)患者涂片進(jìn)行圖片識(shí)別，包括搭建框架、 訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)、重疊矩形框合并、圖像識(shí)別4個(gè)步驟，具體為：
[0016] 1.搭建框架：
[0017]預(yù)先收集已知細(xì)菌的高分辨率圖像，并將圖像分割成S*S的單元格;每個(gè)單元格輸 出B個(gè)矩形框，每個(gè)所述矩形框帶有4個(gè)位置信息和1個(gè)物體概率信息PHGerms);每個(gè)單元 格再輸出C個(gè)類(lèi)別條件概率信息PHClasslGerms)，其中C為細(xì)菌類(lèi)別的數(shù)量;最終輸出層具 有S*S*(B*5+C)個(gè)單元;每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr(Class)信息為：
[0018] Pr(Class = Pr(Class |Germs)*Pr(Germs)
[0019] 另外，如果一個(gè)細(xì)菌的中心落入一個(gè)單元格中，則該單元格上的B個(gè)矩形框的位置 信息均為該細(xì)菌的位置信息。
[0020] 2.訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)：
[0021] 1)整個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的最終輸出層為線(xiàn)性激活，其他層都是Leaky Rectified Linear激活：
[0022]
[0023] 引入兩個(gè)參數(shù)A_rd = 5，XnQger = 〇 . 5，整個(gè)網(wǎng)絡(luò)的代價(jià)函數(shù)為：
[0024]
[0025] 2)建立樣本訓(xùn)練集，并將訓(xùn)練集數(shù)據(jù)進(jìn)行標(biāo)注，之后將標(biāo)注好的訓(xùn)練集投入到網(wǎng) 絡(luò)中對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
[0026] 3.重疊矩形框合并：
[0027]對(duì)于重疊區(qū)域進(jìn)行優(yōu)化，即對(duì)同一個(gè)物體識(shí)別出的多個(gè)有重疊的矩形框進(jìn)行優(yōu) 化，刪除并合并重疊的矩形框，具體步驟為：根據(jù)每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr (Class)大小進(jìn)行排序;取概率最大的矩形框?yàn)橐粋€(gè)細(xì)菌的框，記為A;在剩下的矩形框中， 去掉與框A重疊率大于特定閾值的矩形框，保留其他矩形框;在保留的其它矩形框中，重復(fù) 上述步驟，直到?jīng)]有矩形框?yàn)橹?之后選出合適的矩形框。
[0028] 4.圖像識(shí)別：
[0029] 將步驟一經(jīng)過(guò)超分辨率重建的高分辨率的待測(cè)患者涂片圖像，輸入到上述步驟二 2建立的深度卷積神經(jīng)網(wǎng)絡(luò)中，得到包含細(xì)菌的多個(gè)待定矩形框，然后對(duì)矩形框進(jìn)行上述步 驟二3的矩形框優(yōu)化，得到最終的細(xì)菌種類(lèi)和位置，進(jìn)而統(tǒng)計(jì)細(xì)菌的密度，輸出圖片識(shí)別結(jié) 果。
[0030] 另一方面，本發(fā)明提供一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)，所述系統(tǒng)包含數(shù)據(jù) 分析模塊，所述數(shù)據(jù)分析模塊采用上述陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法對(duì)所采集的陰道分 泌物染片進(jìn)行微生態(tài)數(shù)據(jù)檢測(cè)分析，并對(duì)微生態(tài)檢測(cè)指標(biāo)進(jìn)行保存。
[0031] 進(jìn)一步的，本發(fā)明所述陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)還包含人工識(shí)別模塊，所 述人工識(shí)別模塊用于對(duì)不能通過(guò)上述陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法進(jìn)行識(shí)別的染色片， 如染色后比較模糊的圖片，實(shí)現(xiàn)專(zhuān)業(yè)檢驗(yàn)醫(yī)師的人工識(shí)別及識(shí)別結(jié)果的數(shù)據(jù)庫(kù)保存。
[0032] 在一個(gè)優(yōu)選的方案中，本發(fā)明所述陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)包含患者信息 錄入模塊、病例采集模塊、數(shù)據(jù)分析模塊、人工識(shí)別模塊、打印表單模塊，所述患者信息模塊 用于實(shí)現(xiàn)患者身份、檢查情況等信息的錄入;所述病例采集模塊用于輸入需分析的油鏡下 熒光染色圖片;所述數(shù)據(jù)分析模塊用于對(duì)所采集的陰道分泌物染片進(jìn)行微生態(tài)數(shù)據(jù)檢測(cè)分 析，并對(duì)微生態(tài)檢測(cè)指標(biāo)進(jìn)行保存;所述人工識(shí)別模塊用于對(duì)不能自動(dòng)識(shí)別的染色片，進(jìn)行 人工識(shí)別;所述打印表單模塊用于對(duì)檢測(cè)完數(shù)據(jù)進(jìn)行報(bào)表的打印。
[0033] 本發(fā)明的有益效果主要有以下幾個(gè)方面：
[0034] 本發(fā)明的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法和系統(tǒng)能夠減輕臨床工作人員的勞動(dòng) 強(qiáng)度，縮短人員培養(yǎng)周期，減少主觀誤差，使陰道微生態(tài)檢測(cè)客觀化、系統(tǒng)化、規(guī)范化，它的 推廣，能夠填補(bǔ)微生態(tài)診治領(lǐng)域的空白，提高對(duì)于婦科感染這一臨床常見(jiàn)病、多發(fā)病的診治 水平，規(guī)范化的診治將會(huì)減輕群眾醫(yī)藥費(fèi)用負(fù)擔(dān)，帶來(lái)巨大的經(jīng)濟(jì)效益和社會(huì)效應(yīng)。
【附圖說(shuō)明】
[0035] 圖1:實(shí)施例1中識(shí)別圖片中的細(xì)菌是滴蟲(chóng)的示意圖。其中右上圖的矩形框?yàn)闄z測(cè) 到的細(xì)菌，矩形框右上角漢字標(biāo)注細(xì)菌的類(lèi)別，矩形框左上角數(shù)字標(biāo)注細(xì)菌的位置編號(hào)。
[0036] 圖2:實(shí)施例2的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)的主界面和打印表單界面。
【具體實(shí)施方式】
[0037] 下面實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)意識(shí)到在不脫離本發(fā) 明的范圍和精神的情況下所作的改動(dòng)，均屬于本發(fā)明的范圍。
[0038] 本發(fā)明所述的高分辨圖像和低分辨圖像是相對(duì)概念，其中高分辨率圖像的分辨率 是低分辨率圖像的4倍以上。
[0039] 實(shí)施例1:本發(fā)明的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法
[0040] -、對(duì)待檢測(cè)患者涂片進(jìn)行超分辨率放大重建 [0041 ] 1.獲得高分辨率字典Dh和低分辨率字典Di:
[0042] 預(yù)先收集若干(例如10-1000張)高分辨率圖像，針對(duì)每一張圖像，將其分割為高分 辨率圖像塊Xh;另外，通過(guò)對(duì)所述高分辨率圖像進(jìn)行模糊采樣和插值運(yùn)算，得到其相對(duì)應(yīng)的 低分辨率圖像塊Xi。然后，利用字典訓(xùn)練算法例如K-SVD算法，訓(xùn)練上述高分辨率圖像塊X h及 其所對(duì)應(yīng)的低分辨率圖像塊Χι，分別獲得高分辨率字典Dh和低分辨率字典Di。
[0043] 2.獲得患者涂片的高分辨率圖像：
[0044]通過(guò)臨床采樣，獲得待檢測(cè)患者涂片的圖像(低分辨率圖像），將其進(jìn)行分塊和特 征提取，得到所述圖像的特征圖像塊Xa;將所述特征圖像塊乂3通過(guò)上述高分辨率字典Dh和低 分辨率字典 Dl進(jìn)行稀疏表示和稀疏表示系數(shù)提取，經(jīng)過(guò)反向投影濾波器得到重建后的高分 辨率的待檢測(cè)患者涂片的圖像。
[0045] 二、應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)待檢測(cè)患者涂片進(jìn)行圖片識(shí)別
[0046] 1.搭建框架：
[0047] (1)預(yù)先收集已知細(xì)菌的高分辨率圖像，并將圖像分割成S*S的單元格；
[0048] (2)每個(gè)單元格輸出B個(gè)矩形框，每個(gè)所述矩形框帶有4個(gè)位置信息（用x，y，w，h表 示），以及1個(gè)物體概率信息（用PKGerms)表示），所述物體概率是指矩形框圖像是細(xì)菌的概 率；
[0049] (3)每一個(gè)單元格再輸出C個(gè)類(lèi)別條件概率，用PHClasslGerms)表示，其中C為細(xì) 菌類(lèi)別的數(shù)量；
[0050] (4)最終輸出層（output layer)具有S*S*(B*5+C)個(gè)單元(unit)。
[0051]其中，x，y表示中心相對(duì)于單元格左上角的位置偏移，單元格左上角為(0,0)，右下 角為（1，1)，w，h表示矩形框的寬和高，其為相對(duì)于整個(gè)圖片的相對(duì)值，例如與整個(gè)圖片大小 一樣則為(1，1)，長(zhǎng)寬都是整個(gè)圖像的一半就是(〇.5,0.5)。
[0052] 每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr(Class)(即矩形框內(nèi)圖像是某種細(xì)菌的概率） 等于上述類(lèi)別條件概率Pr(Class |Germs)乘以上述物體概率Pr(Germs)，即：
[0053] Pr(Class)=Pr(Class|Germs)*Pr(Germs)
[0054] 另外，如果一個(gè)細(xì)菌的中心落入一個(gè)單元格中，則該單元格上的B個(gè)矩形框的位置 信息均為該細(xì)菌的位置信息。
[0055]其中細(xì)菌類(lèi)別可按表1所示分類(lèi)。
[0056] 表1細(xì)菌類(lèi)別
[0057]
[0058] 2.訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)
[0059] 1)整個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的最終輸出層(Output Layer)為L(zhǎng)inear激活（線(xiàn)性激 活），其他層都是Leaky Rectified Linear激活方式，即：
[0060]
[0061] 因?yàn)橐粡垐D片中大部分單元格都沒(méi)有落入細(xì)菌中心，所以引入兩個(gè)參數(shù)A_rd = 5， λΜ?^ = 0.5，整個(gè)網(wǎng)絡(luò)的代價(jià)函數(shù)變成：
[0062]
[0063]其中，
[0064] x:激勵(lì)函數(shù)自變量。
[0065] A_rd:矩形框位置預(yù)測(cè)信息的損失權(quán)重。
[0066] Ancige3r :不包含細(xì)菌矩形框的置信度損失權(quán)重。
[0067] J:損失函數(shù)。
[0068] i:第i個(gè)網(wǎng)格。
[0069] j:第j個(gè)矩形框。
[0070] 丫指示第i個(gè)網(wǎng)格的第j個(gè)矩形框是否包含細(xì)菌，包含細(xì)菌則該參數(shù)為1，否則 為〇〇
[0071] S2:指網(wǎng)格的個(gè)數(shù)。
[0072] B:指每個(gè)網(wǎng)格產(chǎn)生B個(gè)矩形框。
[0073] 11，71，《1，111:分別指包含細(xì)菌的第1個(gè)網(wǎng)格的標(biāo)準(zhǔn)矩形框的坐標(biāo)^ 7以及寬度和高 度w，h〇
[0074] C1:指第i個(gè)網(wǎng)格的置信概率。
[0075] Pl(c):指第i個(gè)網(wǎng)格的類(lèi)別預(yù)測(cè)概率。
[0076] 胃:指示第i個(gè)網(wǎng)格的第j個(gè)矩形框是否不含細(xì)菌，不包含細(xì)菌則該參數(shù)為1，否 則為0。
[0077] 指示是否有細(xì)菌出現(xiàn)在第i個(gè)網(wǎng)格，有則該參數(shù)為1，否則為0。
[0078] 巧,只氏(C):含有'的參數(shù)均表示對(duì)應(yīng)參數(shù)的估計(jì)值。
[0079] 2)建立樣本訓(xùn)練集，并將訓(xùn)練集數(shù)據(jù)進(jìn)行標(biāo)注，之后將標(biāo)注好的訓(xùn)練集投入到網(wǎng) 絡(luò)中對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
[0080] 3.重疊矩形框合并：
[0081] 對(duì)于重疊區(qū)域進(jìn)行優(yōu)化，即對(duì)同一個(gè)物體識(shí)別出的多個(gè)有重疊的矩形框進(jìn)行優(yōu) 化，刪除并合并重疊的矩形框，具體步驟為：
[0082]①根據(jù)每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr(Class)大小進(jìn)行排序；
[0083]②取概率最大的矩形框?yàn)橐粋€(gè)細(xì)菌的框，記為A;
[0084] ③在剩下的矩形框中，去掉與框A重疊率大于某個(gè)閾值(根據(jù)實(shí)際情況設(shè)置）的矩 形框，保留其他矩形框；
[0085] ④在保留的其它矩形框中，重復(fù)上面的步驟，直到?jīng)]有矩形框?yàn)橹梗?br>[0086]⑤選出合適的矩形框。
[0087] 4.圖像識(shí)別
[0088] 將步驟一經(jīng)過(guò)超分辨率重建的高分辨率的待測(cè)患者涂片圖像，輸入到上述步驟二 2建立的深度卷積神經(jīng)網(wǎng)絡(luò)中，得到包含細(xì)菌的多個(gè)待定矩形框，然后對(duì)矩形框進(jìn)行上述步 驟二3的矩形框優(yōu)化，得到最終的細(xì)菌種類(lèi)和位置，進(jìn)而統(tǒng)計(jì)細(xì)菌的密度，輸出圖片識(shí)別結(jié) 果，并根據(jù)細(xì)菌種類(lèi)、密度計(jì)算Nugent評(píng)分和AV評(píng)分。
[0089] 圖1為識(shí)別圖片中的細(xì)菌是滴蟲(chóng)的一個(gè)實(shí)例:待測(cè)患者涂片圖像進(jìn)行超分辨率重 建，放大為原圖的4倍;將重建后的待測(cè)圖片輸入到訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)將 圖像分割成7*7個(gè)單元格，每個(gè)單元格輸出2個(gè)矩形框，共輸出98個(gè)具有類(lèi)別識(shí)別概率的待 定矩形框;對(duì)待定矩形框優(yōu)化合并后最終得到1個(gè)矩形框，其類(lèi)別為滴蟲(chóng)，統(tǒng)計(jì)個(gè)數(shù)為1。
[0090] 實(shí)施例2:本發(fā)明的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)
[0091] 1.系統(tǒng)框架
[0092] 根據(jù)上述本發(fā)明的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，在 Microsoft .Visual · Studio · Team. System. 2008環(huán)境下，對(duì)陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng) 進(jìn)行開(kāi)發(fā)，實(shí)現(xiàn)患者信息錄入、陰道微生態(tài)油鏡下圖片選取、選取圖片的自動(dòng)數(shù)據(jù)分析、未 能自動(dòng)識(shí)別圖片的人工識(shí)別及打印患者微生態(tài)檢測(cè)報(bào)告等功能。
[0093] 軟件開(kāi)發(fā)系統(tǒng)整體構(gòu)架及功能包含患者信息模塊、病例采集模塊、數(shù)據(jù)分析模塊、 人工識(shí)別模塊、打印表單模塊，所述患者信息模塊用于實(shí)現(xiàn)患者身份、檢查情況等信息的錄 入;所述病例采集模塊用于輸入需分析的油鏡下熒光染色圖片;所述數(shù)據(jù)分析模塊用于對(duì) 所采集的陰道分泌物染片進(jìn)行微生態(tài)數(shù)據(jù)檢測(cè)分析，并對(duì)微生態(tài)檢測(cè)指標(biāo)進(jìn)行保存;所述 人工識(shí)別模塊用于對(duì)不能自動(dòng)識(shí)別的染色片，進(jìn)行人工識(shí)別;所述打印表單模塊用于對(duì)檢 測(cè)完數(shù)據(jù)進(jìn)行報(bào)表的打印。
[0094] 2.各模塊功能
[0095]陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)主要包括患者信息、采集病例、數(shù)據(jù)分析、人工識(shí) 另|J、打印表單五大模塊，系統(tǒng)主界面如圖2所示。
[0096] (1)患者信息模塊
[0097] 主要實(shí)現(xiàn)患者信息的錄入，包括患者信息手工輸出和自動(dòng)輸入兩級(jí)菜單。
[0098] 手工輸入部分包括患者姓名、性別、年齡、樣本種類(lèi)、檢測(cè)地點(diǎn)、病例號(hào)、科別、床位 號(hào)、采樣時(shí)間、送檢藥師、樣品編號(hào)等。該部分信息錄入后，自動(dòng)送往文件名為 "Pat ient.mdb"數(shù)據(jù)庫(kù)文件中的patient表，將患者的上述信息進(jìn)行數(shù)據(jù)的保存，以方便日 后醫(yī)療人員對(duì)該數(shù)據(jù)庫(kù)中大規(guī)模的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)。
[0099]自動(dòng)輸入部分為本系統(tǒng)預(yù)留輸入接口，為了后續(xù)與醫(yī)院HIS系統(tǒng)對(duì)接而設(shè)置，以幫 助醫(yī)師快速利用醫(yī)院HIS系統(tǒng)完成患者條形碼掃描而自動(dòng)獲取患者信息，從而減少因人工 手動(dòng)輸入帶來(lái)的耗時(shí)長(zhǎng)、手工錄入信息準(zhǔn)確性下降等弊端。（2)采集病例模塊
[0100] 主要實(shí)現(xiàn)患者陰道分泌物染片的選取。
[0101] 進(jìn)入采集病例模塊后，可根據(jù)油鏡下拍攝的患者圖片的存放位置進(jìn)行文件的查 找，當(dāng)選定了某患者陰道微生態(tài)染片后，可根據(jù)需要選擇"文件名"及類(lèi)型(JPG或BMP)，然后 "打開(kāi)"該染片。
[0102] (3)數(shù)據(jù)分析模塊
[0103] 主要實(shí)現(xiàn)患者陰道分泌物染片的自動(dòng)微生態(tài)數(shù)據(jù)檢測(cè)。
[0104] 利用實(shí)施例1的本發(fā)明的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，對(duì)"采集病例"模塊選 取的患者染色圖片進(jìn)行密集度、多樣性、孢子、菌絲、WBC/油鏡>10等微生態(tài)檢測(cè)指標(biāo)的報(bào)告 及輸出。另外，患者姓名、病歷號(hào)等信息可通過(guò)調(diào)用"Patient .mdb"數(shù)據(jù)庫(kù)文件中patient表 的相應(yīng)字段報(bào)告在數(shù)據(jù)分析結(jié)果中，并將檢測(cè)出的密集度、多樣性、孢子、菌絲、WBC/油鏡〉 10等微生態(tài)檢測(cè)指標(biāo)保存在"Patient.mdb"數(shù)據(jù)庫(kù)文件AnalyseResult表中，以方便日后醫(yī) 療人員對(duì)該數(shù)據(jù)庫(kù)中大規(guī)模的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)。
[0105] (4)人工識(shí)別模塊
[0106] 主要實(shí)現(xiàn)專(zhuān)業(yè)檢驗(yàn)醫(yī)師的人工識(shí)別及識(shí)別結(jié)果的數(shù)據(jù)庫(kù)保存。
[0107]此模塊作為數(shù)據(jù)分析模塊的按需補(bǔ)充，對(duì)于少量不能自動(dòng)識(shí)別的染色片，如染色 后比較模糊的圖片，可在"數(shù)據(jù)分析模塊"報(bào)告出"計(jì)算機(jī)無(wú)法自動(dòng)識(shí)別，建議人工識(shí)別!"信 息時(shí)，可將該圖片通過(guò)"另存為人工庫(kù)"按鈕，存入人工識(shí)別庫(kù)。然后進(jìn)入主界面的"人工識(shí) 另IJ"模塊進(jìn)行檢驗(yàn)醫(yī)師的人工識(shí)別。
[0108] 由專(zhuān)業(yè)檢測(cè)醫(yī)師對(duì)密集度、多樣性、優(yōu)勢(shì)菌等檢測(cè)指標(biāo)進(jìn)行人工識(shí)別錄入，并通過(guò) "保存"按鈕將人工識(shí)別結(jié)果保存至"Patient .mdb"數(shù)據(jù)庫(kù)文件Identify表中，以方便日后 醫(yī)療人員對(duì)該數(shù)據(jù)庫(kù)中大規(guī)模的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和統(tǒng)計(jì)。
[0109] (5)打印表單模塊
[0110] 主要實(shí)現(xiàn)患者陰道微生態(tài)檢驗(yàn)報(bào)告單的打印功能，可實(shí)現(xiàn)自動(dòng)識(shí)別結(jié)果打印和人 工識(shí)別結(jié)果打印的選取。
[0111] 根據(jù) "Patient .mdb" 數(shù)據(jù)庫(kù)文件中 Patient表、AnalyseResult表、Identify表中的 患者信息字段值，直接提取到打印報(bào)告單中。
【主權(quán)項(xiàng)】
1. 一種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，包括:對(duì)待檢測(cè)圖像進(jìn)行超分辨率放大重建， 并應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)重建后的所述圖像進(jìn)行圖片識(shí)別。2. 根據(jù)權(quán)利要求1所述的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，包括： (1) 利用基于稀疏表示的超分辨率重構(gòu)算法，對(duì)低分辨率的待檢測(cè)圖像進(jìn)行放大重建， 形成高分辨率的待檢測(cè)圖像； (2) 通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，對(duì)步驟(1)中得到的所述高分辨率的圖像進(jìn)行特征數(shù) 據(jù)提取和圖像識(shí)別，獲得圖像中陰道微生物的位置和類(lèi)別信息。3. 根據(jù)權(quán)利要求1或2所述的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，其中所述對(duì)待檢測(cè)圖像 進(jìn)行超分辨率放大重建的步驟包括： 預(yù)先收集高分辨率圖像，將其分割為高分辨率圖像塊抽，同時(shí)通過(guò)對(duì)所述高分辨率圖像 進(jìn)行模糊采樣和插值運(yùn)算，得到其相對(duì)應(yīng)的低分辨率圖像塊Xi;利用字典訓(xùn)練算法訓(xùn)練上 述高分辨率圖像塊Xh及其所對(duì)應(yīng)的低分辨率圖像塊XI，分別獲得高分辨率字典Dh和低分辨 率字典化； 將待檢測(cè)圖像進(jìn)行分塊和特征提取，得到所述圖像的特征圖像塊Xa;將所述特征圖像塊 Xa通過(guò)上述高分辨率字典Dh和低分辨率字典化進(jìn)行稀疏表示和稀疏表示系數(shù)提取，經(jīng)過(guò)反 向投影濾波器得到重建后的待檢測(cè)圖像。4. 根據(jù)權(quán)利要求1或2所述的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法，其中所述應(yīng)用深度卷積 神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)重建后的所述圖像進(jìn)行圖片識(shí)別的步驟包括搭建框架、訓(xùn)練深度卷積神經(jīng) 網(wǎng)絡(luò)、重疊矩形框合并、圖像識(shí)別4個(gè)子步驟： 1) 搭建框架： 預(yù)先收集已知細(xì)菌的高分辨率圖像，并將圖像分割成S巧的單元格;每個(gè)單元格輸出B 個(gè)矩形框，每個(gè)所述矩形框帶有4個(gè)位置信息和1個(gè)物體概率信息Pr(Germs);每個(gè)單元格再 輸出C個(gè)類(lèi)別條件概率信息Pr(ClasslGerms),其中C為細(xì)菌類(lèi)別的數(shù)量;最終輸出層具有S* S*(B*5+C)個(gè)單元;每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr(Class)信息為： Pr(Class)=Pr(Class|Germs)^Pr(Germs)； 如果一個(gè)細(xì)菌的中屯、落入一個(gè)單元格中，則該單元格上的B個(gè)矩形框的位置信息均為 該細(xì)菌的位置信息； 2) 訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)： 整個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的最終輸出層為線(xiàn)性激活，其他層為L(zhǎng)eaky Rectified Linear 激活：引入兩個(gè)參數(shù)、?；?lt;1 = 5，^呵6, = 0.5，整個(gè)網(wǎng)絡(luò)的代價(jià)函數(shù)為：建立樣本訓(xùn)練集，并將訓(xùn)練集數(shù)據(jù)進(jìn)行標(biāo)注，并將標(biāo)注好的訓(xùn)練集投入到網(wǎng)絡(luò)中對(duì)網(wǎng) 絡(luò)進(jìn)行訓(xùn)練； 3) 重疊矩形框合并： 根據(jù)每個(gè)矩形框的細(xì)菌類(lèi)別識(shí)別概率Pr(Class)大小進(jìn)行排序;取概率最大的矩形框 為一個(gè)細(xì)菌的框，記為A;在剩下的矩形框中，去掉與框A重疊率大于特定闊值的矩形框，保 留其他矩形框;在保留的其它矩形框中，重復(fù)上述步驟，直到?jīng)]有矩形框?yàn)橹?之后選出合 適的矩形框； 4) 圖像識(shí)別： 將所述高分辨率的待檢測(cè)圖像輸入到上述子步驟2)建立的深度卷積神經(jīng)網(wǎng)絡(luò)中，得到 包含細(xì)菌的多個(gè)待定矩形框，然后對(duì)矩形框進(jìn)行上述子步驟3)的矩形框優(yōu)化，得到最終的 細(xì)菌種類(lèi)和位置，進(jìn)而統(tǒng)計(jì)細(xì)菌的密度，輸出圖片識(shí)別結(jié)果。5. -種陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)，所述系統(tǒng)包含數(shù)據(jù)分析模塊，所述數(shù)據(jù)分析 模塊采用權(quán)利要求1-4的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析方法。6. 根據(jù)權(quán)利要求5的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)，所述系統(tǒng)還包含人工識(shí)別模塊。7. 根據(jù)權(quán)利要求6的陰道微生態(tài)形態(tài)學(xué)自動(dòng)分析系統(tǒng)，所述系統(tǒng)包含患者信息錄入模 塊、病例采集模塊、數(shù)據(jù)分析模塊、人工識(shí)別模塊、打印表單模塊，所述患者信息模塊用于實(shí) 現(xiàn)患者身份、檢查情況等信息的錄入;所述病例采集模塊用于輸入需分析的油鏡下巧光染 色圖片;所述數(shù)據(jù)分析模塊用于對(duì)所采集的陰道分泌物染片進(jìn)行微生態(tài)數(shù)據(jù)檢測(cè)分析，并 對(duì)微生態(tài)檢測(cè)指標(biāo)進(jìn)行保存;所述人工識(shí)別模塊用于對(duì)不能自動(dòng)識(shí)別的染色片，進(jìn)行人工 識(shí)別;所述打印表單模塊用于對(duì)檢測(cè)完數(shù)據(jù)進(jìn)行報(bào)表的打印。
【文檔編號(hào)】G06T7/00GK106033540SQ201610363093
【公開(kāi)日】2016年10月19日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】肖冰冰, 劉朝暉, 張岱
【申請(qǐng)人】北京大學(xué)第醫(yī)院, 北京大學(xué)第一醫(yī)院