本發(fā)明屬于醫(yī)學(xué)圖像后處理技術(shù)領(lǐng)域，具體涉及一種融合深度特征的乳腺圖像檢索系統(tǒng)與方法。

背景技術(shù)：

乳腺癌是女性最常見(jiàn)的腫瘤之一，且發(fā)病率逐年增加。很多人因?yàn)榇_診時(shí)間晚，耽誤了治療的最佳時(shí)期。早期乳腺病的診斷主要依據(jù)放射科醫(yī)生的主觀經(jīng)驗(yàn)，醫(yī)生把以前確診的病歷和當(dāng)前病人的病歷進(jìn)行比對(duì)，幫助當(dāng)前病人確診。

由于醫(yī)學(xué)圖像數(shù)據(jù)的快速增長(zhǎng)，人工手動(dòng)尋找相似圖像變得越來(lái)越困難，無(wú)法快速的檢索出與當(dāng)前病人的病歷相似的確診病歷。基于內(nèi)容的圖像檢索開(kāi)始于90年代，發(fā)展至今，在特征提取方面取得了很多的進(jìn)展。但由于乳腺鉬鈀圖像包含很多的信息，傳統(tǒng)的基于內(nèi)容的特征提取不能滿足檢索性能的要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種融合深度特征的乳腺圖像檢索系及方法，增加了深度特征能夠有效的代表檢索圖像，提高乳腺鉬靶x線圖像的檢索的準(zhǔn)確率。

本發(fā)明提供一種融合深度特征的乳腺圖像檢索系統(tǒng)，包括：

圖像批處理單元，用于對(duì)乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行批處理；

特征提取單元，用于分別對(duì)批處理之后的檢索圖像和圖像集進(jìn)行特征提取以獲得檢索圖像和圖像集的傳統(tǒng)融合特征以及檢索圖像和圖像集的深度特征；

相似性度量單元，用于對(duì)檢索圖像和圖像集的傳統(tǒng)融合特征進(jìn)行相似性度量，對(duì)檢索圖像和圖像集的深度特征進(jìn)行相似性度量，并將傳統(tǒng)融合特征度量結(jié)果和深度特征度量結(jié)果進(jìn)行融合得到最高相似性圖像集。

本發(fā)明還提供一種融合深度特征的乳腺圖像檢索方法，包括如下步驟：

步驟1：獲取乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集；

步驟2：分別對(duì)乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行批處理；

步驟3：分別對(duì)批處理之后的檢索圖像和圖像集進(jìn)行特征提取以獲得檢索圖像和圖像集的傳統(tǒng)融合特征以及檢索圖像和圖像集的深度特征；

步驟4：對(duì)檢索圖像和圖像集的傳統(tǒng)融合特征進(jìn)行相似性度量，對(duì)檢索圖像和圖像集的深度特征進(jìn)行相似性度量，并將傳統(tǒng)融合特征度量結(jié)果和深度特征度量結(jié)果進(jìn)行融合得到最高相似性圖像集。

本發(fā)明的融合深度特征的乳腺圖像檢索系統(tǒng)及方法至少具有以下有益效果：

本發(fā)明提出深度特征的乳腺圖像檢索系統(tǒng)與方法，在提取乳腺鉬鈀x線圖像的傳統(tǒng)的紋理、灰度的基礎(chǔ)上，增加了深度特征能夠有效的代表檢索圖像，提高乳腺鉬靶x線圖像的檢索的準(zhǔn)確率，從而為乳腺癌的輔助診斷提供了幫助。

附圖說(shuō)明

圖1為本發(fā)明具體實(shí)施方式中一種融合深度特征的乳腺圖像檢索系統(tǒng)的結(jié)構(gòu)框圖；

圖2為本發(fā)明具體實(shí)施方式中一種融合深度特征的乳腺圖像檢索方法的流程圖；

圖3為本發(fā)明具體實(shí)施方式中利用神經(jīng)網(wǎng)絡(luò)提取深度特征的流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明具體實(shí)施方式加以詳細(xì)的說(shuō)明。

如圖1所示本發(fā)明的融合深度特征的乳腺圖像檢索系統(tǒng)包括：圖像批處理單元1、特征提取單元2以及相似性度量單元3。圖像批處理單元1用于對(duì)乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行批處理。特征提取單元2用于分別對(duì)批處理之后的檢索圖像和圖像集進(jìn)行特征提取以獲得檢索圖像和圖像集的傳統(tǒng)融合特征以及檢索圖像和圖像集的深度特征。相似性度量單元3用于對(duì)檢索圖像和圖像集的傳統(tǒng)融合特征進(jìn)行相似性度量，對(duì)檢索圖像和圖像集的深度特征進(jìn)行相似性度量，并將傳統(tǒng)融合特征度量結(jié)果和深度特征度量結(jié)果進(jìn)行融合得到最高相似性圖像集。

圖像批處理單元1包括噪聲處理器11、對(duì)比度增強(qiáng)器12以及胸線去除器13。噪聲處理器11用于對(duì)乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行去噪處理。對(duì)比度增強(qiáng)器12用于將去除噪聲后的乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行對(duì)比度增強(qiáng)處理。胸線去除器13用于將對(duì)比度增強(qiáng)之后的乳腺鉬靶x線檢索圖像和乳腺鉬鈀x線圖像集進(jìn)行去胸壁線處理。

特征提取單元2包括傳統(tǒng)特征提取器21、特征融合器22以及深度特征提取器23。傳統(tǒng)特征提取器21用于對(duì)批處理之后的檢索圖像和圖像集進(jìn)行傳統(tǒng)特征提取以分別獲得檢索圖像和圖像集的灰度共生矩陣特征、灰度直方圖的特征、tamura紋理特征以及幾何不變矩特征。特征融合器22用于將檢索圖像的灰度共生矩陣特征、灰度直方圖的特征、tamura紋理特征以及幾何不變矩特征進(jìn)行融合以獲得檢索圖像的傳統(tǒng)融合特征，將圖像集的灰度共生矩陣特征、灰度直方圖的特征、tamura紋理特征以及幾何不變矩特征進(jìn)行融合以獲得圖像集的傳統(tǒng)融合特征。深度特征提取器23用于對(duì)批處理之后的檢索圖像和圖像集進(jìn)行深度特征提取以獲得檢索圖像的深度特征和圖像集的深度特征。

相似性度量單元3包括第一相似性度量器31、第二相似性度量器32以及相似性度量融合器33。第一相似性度量器31用于將檢索圖像的傳統(tǒng)融合特征和圖像集的傳統(tǒng)融合特征進(jìn)行相似度量。第二相似性度量器32用于將檢索圖像的深度特征和圖像集的深度特征進(jìn)行相似度量。相似性度量融合器33用于將傳統(tǒng)融合特征的相似度量結(jié)果和深度特征的相似度量結(jié)果相融合以獲得乳腺鉬鈀x線圖像集中與乳腺鉬靶x線檢索圖像的相似性最高的最高相似性圖像集。

如圖2所示為本發(fā)明的融合深度特征的乳腺圖像檢索方法的流程圖，本發(fā)明的檢索方法包括如下步驟：

步驟1：獲取乳腺鉬靶x線檢索圖像p0和乳腺鉬鈀x線圖像集(p1,p2,…,pn)；其中，n表示圖像集中圖像的數(shù)量且n>1。

步驟2：分別對(duì)乳腺鉬靶x線檢索圖像p0和乳腺鉬鈀x線圖像集(p1,p2,…,pn)進(jìn)行批處理，得到批處理之后的檢索圖像s0和圖像集(s1,s2,…,sn)；

步驟3：分別對(duì)批處理之后的檢索圖像s0和圖像集(s1,s2,…,sn)進(jìn)行特征提取以獲得檢索圖像的傳統(tǒng)融合特征f0和圖像集的傳統(tǒng)融合特征(f1,f2,…,fn)，以及檢索圖像的深度特征g0和圖像集的深度特征(g1,g2,…,gn)；

步驟4：對(duì)檢索圖像的傳統(tǒng)融合特征f0和圖像集的傳統(tǒng)融合特征(f1,f2,…,fn)進(jìn)行相似性度量，對(duì)檢索圖像的深度特征g0和圖像集的深度特征(g1,g2,…,gn)進(jìn)行相似性度量，將傳統(tǒng)融合特征相似性度量結(jié)果和深度特征相似性度量結(jié)果進(jìn)行融合得到最高相似性圖像集(t1,t2,…,tm)。其中，m表示最高相似性圖像集中圖像的數(shù)量。

步驟2具體包括：

步驟2.1：對(duì)乳腺鉬靶x線檢索圖像p0和乳腺鉬鈀x線圖像集(p1,p2,…,pn)進(jìn)行去噪處理，得到去噪后的檢索圖像z0和去噪后的圖像集(z1,z2,…,zn)；

本實(shí)施方式中，采用典型的非線性濾波技術(shù)—中值濾波器對(duì)檢索圖像p0和圖像集(p1,p2,…,pn)圖像進(jìn)行噪聲處理，抑制脈沖噪聲，徹底濾除尖波干擾噪聲，同時(shí)很好的保護(hù)了乳腺鉬鈀x線圖像的邊緣，減少檢索圖像p0和乳腺鉬鈀圖像集(p1,p2,…,pn)的噪聲。

步驟2.2：對(duì)去除噪聲后的檢索圖像z0和圖像集(z1,z2,…,zn)進(jìn)行對(duì)比度增強(qiáng)處理，得到對(duì)比度增強(qiáng)的檢索圖像e0和對(duì)比度增強(qiáng)的圖像集(e1,e2,…,en)；

本實(shí)施方式中，采用空間域圖像增強(qiáng)對(duì)去噪后的檢索圖像z0和去噪后的圖像集(z1,z2,…,zn)進(jìn)行圖像增強(qiáng)處理，選取的分段線性變換函數(shù)進(jìn)行對(duì)比拉伸變換，設(shè)置的線性函數(shù)的拐點(diǎn)為(0，0)，(70，30)，(180，230)，(255，255)。

步驟2.3：將對(duì)比度增強(qiáng)之后的乳腺鉬靶x線檢索圖像e0和乳腺鉬鈀x線圖像集(e1,e2,…,en)進(jìn)行去胸壁線處理，得到去胸壁線之后的檢索圖像s0和去胸壁線之后的圖像集(s1,s2,…,sn)。

本實(shí)施方案中，采用霍夫特變換得到胸壁線，并將圖像中把胸壁線以左的位置的像素點(diǎn)設(shè)為0。

步驟3具體包括：

步驟3.1：對(duì)批處理之后的檢索圖像s0和圖像集(s1,s2,…,sn)進(jìn)行傳統(tǒng)特征提取以分別獲得檢索圖像的灰度共生矩陣特征a0、灰度直方圖的特征b0、tamura紋理特征c0以及幾何不變矩特征d0；獲得圖像集的灰度共生矩陣特征(a1,a2,…,an)、灰度直方圖的特征(b1,b2,…,bn)、tamura紋理特征(c1,c2,…,cn)以及幾何不變矩特征(d1,d2,…,dn)；

本實(shí)施方案中，采用灰度共生矩陣的反差、能量、熵、相關(guān)性等，采用的tamura紋理指標(biāo)為粗糙度、對(duì)比度和方向度，采用幾何不變矩的二階和三階歸一化中心矩構(gòu)造了7個(gè)不變矩。

步驟3.2：將檢索圖像的灰度共生矩陣特征a0、灰度直方圖的特征b0、tamura紋理特征c0以及幾何不變矩特征d0進(jìn)行融合以獲得檢索圖像的傳統(tǒng)融合特征f0；將圖像集的灰度共生矩陣特征(a1,a2,…,an)、灰度直方圖的特征(b1,b2,…,bn)、tamura紋理特征(c1,c2,…,cn)以及幾何不變矩特征(d1,d2,…,dn)進(jìn)行融合以獲得圖像集的傳統(tǒng)融合特征(f1,f2,…,fn)；

步驟3.3：對(duì)批處理之后的檢索圖像s0和圖像集(s1,s2,…,sn)進(jìn)行深度特征提取以獲得檢索圖像的深度特征g0和圖像集的深度特征(g1,g2,…,gn)。圖3為深度提取過(guò)程的流程圖，深度提取過(guò)程具體包括如下步驟：

步驟3.3.1：構(gòu)造第一組的3個(gè)自編碼器以組成深度神經(jīng)網(wǎng)絡(luò)的編碼部分。選取圖像集中的一部分圖像作為訓(xùn)練集，將訓(xùn)練集作為整個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入，即作為第一個(gè)自編碼器的輸入，經(jīng)過(guò)自編碼器的前向傳播和反向傳播過(guò)程，得到權(quán)值w1。將第一個(gè)自編碼器的隱藏層結(jié)果作為第二個(gè)自編碼器的輸入，經(jīng)過(guò)自編碼器的前向傳播和反向傳播過(guò)程，得到權(quán)值w2。將第二個(gè)自編碼器的隱藏層結(jié)果作為第三個(gè)自編碼器的輸入，經(jīng)過(guò)自編碼器的前向傳播和反向傳播過(guò)程，得到權(quán)值w3。

在本實(shí)施方式中，第一個(gè)自編碼器的輸入層為16384個(gè)神經(jīng)元，隱藏層為7000個(gè)神經(jīng)元，輸出層為16384個(gè)神經(jīng)元。第二個(gè)自編碼器的輸入層為7000個(gè)神經(jīng)元，隱藏層為3000個(gè)神經(jīng)元，輸出層為7000個(gè)神經(jīng)元。第三個(gè)自編碼器的輸入層位3000個(gè)神經(jīng)元，隱藏層為1000個(gè)神經(jīng)元，輸出層位3000個(gè)神經(jīng)元。

步驟3.3.2：利用第二組3個(gè)自編碼器組成深度網(wǎng)絡(luò)的解碼部分，第二組3個(gè)自編碼器的權(quán)重是第一組3個(gè)自編碼器的權(quán)重的逆，將第一組第三個(gè)自編碼器的隱藏層單元結(jié)果作為第二組第一個(gè)自編碼器的輸入，仿照步驟3.3.1的過(guò)程，得到第二組第三個(gè)自編碼器的隱藏層單元結(jié)果，即為整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出；

本實(shí)施方式中，深度神經(jīng)網(wǎng)絡(luò)的解碼部分，第二組第一個(gè)自編碼器的輸入層為1000個(gè)神經(jīng)元，此輸入層為深度神經(jīng)網(wǎng)絡(luò)的編碼部分的第三個(gè)自編碼器的隱藏層，隱藏層為3000，權(quán)重為w′3。第二組第二個(gè)自編碼器的輸入層為3000個(gè)神經(jīng)元，隱藏層個(gè)數(shù)為7000個(gè)神經(jīng)元，權(quán)重為w′2。第二組第三個(gè)自編碼器的輸入層為7000個(gè)神經(jīng)元，隱藏層為16384個(gè)神經(jīng)元，權(quán)重為w′1。

步驟3.3.3：利用整個(gè)深度神經(jīng)網(wǎng)絡(luò)的輸入和輸出進(jìn)行深度神經(jīng)網(wǎng)絡(luò)微調(diào)，此時(shí)深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建完成；

本實(shí)施方式中，經(jīng)調(diào)整后編碼部分第一個(gè)自編碼器的權(quán)重為w1+ε1，第二個(gè)自編碼器的權(quán)重w2+ε2，第三個(gè)自編碼器的權(quán)重為w3+ε3；解碼部分第一個(gè)自編碼器的權(quán)重為w′3+ε4，第二個(gè)自編碼器的權(quán)重w′2+ε5，第三個(gè)自編碼器的權(quán)重為w′1+ε6。

步驟3.3.4將待檢索圖像和圖像集作為微調(diào)后深度神經(jīng)網(wǎng)絡(luò)的輸入，微調(diào)后第一組第三個(gè)自編碼器的隱藏層單元的結(jié)果即為檢索圖像的深度特征g0和圖像集的深度特征(g1,g2,…,gn)。

步驟4具體包括：

步驟4.1：采用歐式距離計(jì)算，將檢索圖像的傳統(tǒng)融合特征f0和圖像集的傳統(tǒng)融合特征(f1,f2,…,fn)進(jìn)行相似度量，獲得傳統(tǒng)融合特征相似性度量結(jié)果(c1,c2,…,cn)；

步驟4.2：將檢索圖像的深度特征g0和圖像集的深度特征(g1,g2,…,gn)進(jìn)行相似度量，獲得深度特征相似性度量結(jié)果(d1,d2,…,dn)；

步驟4.3：將傳統(tǒng)融合特征的相似度量結(jié)果(c1,c2,…,cn)和深度特征的相似度量結(jié)果(d1,d2,…,dn)相融合以獲得乳腺鉬鈀x線圖像集中與乳腺鉬靶x線檢索圖像的相似性最高的最高相似性圖像集(t1,t2,…,tm)。

步驟4.3具體包括：

步驟4.3.1：根據(jù)傳統(tǒng)融合特征的相似性度量結(jié)果為圖像集中的每幅圖像賦予第一組鼓勵(lì)分(w1,w2,…,wn)，根據(jù)深度特征的相似性度量結(jié)果為圖像集中的每幅圖像賦予第二組鼓勵(lì)分(v1,v2,…,vn)，相似性度量結(jié)果越小，即圖像的返回位置越靠前，鼓勵(lì)分值越??；

本實(shí)施方案中，按照?qǐng)D像集中圖像的返回順序，第一個(gè)返回的賦予鼓勵(lì)分1，第二個(gè)返回的賦予鼓勵(lì)分2，依次類(lèi)推。例如：(w1,w2,…,wn)＝(89,4,…,230)，(v1,v2,…,vn)＝(98,2,…,330)。

步驟4.3.2：為第一組鼓勵(lì)分(w1,w2,…,wn)賦予權(quán)重h，則第二組鼓勵(lì)分(v1,v2,…,vn)的權(quán)重為1-h，將第一組鼓勵(lì)分(w1,w2,…,wn)和第二組鼓勵(lì)分(v1,v2,…,vn)融合得出圖像融合相似性權(quán)重，將圖像融合相似性權(quán)重進(jìn)行排序，根據(jù)排序結(jié)果找到相似性最高的多幅圖像，即構(gòu)成最高相似性圖像集(t1,t2,…,tm)。

本實(shí)施方案中，為(w1,w2,…,wn)賦予權(quán)重h為0.7，為(v1,v2,…,vn)賦予的權(quán)重為0.3，根據(jù)返回的結(jié)果，值越小說(shuō)明相似度越高，越優(yōu)先返回。

本發(fā)明提出深度特征的乳腺圖像檢索系統(tǒng)與方法，在提取乳腺鉬鈀x線圖像傳統(tǒng)的紋理、灰度的基礎(chǔ)上，增加了深度特征能夠有效的代表檢索圖像，提高乳腺鉬靶x線線圖像的檢索的準(zhǔn)確率，從而為乳腺癌的輔助診斷提供了幫助。

以上所述僅為本發(fā)明的較佳實(shí)施實(shí)例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改，等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。