基于視覺詞匯和局部描述符的膠囊內(nèi)鏡圖像檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于醫(yī)學(xué)圖像檢索領(lǐng)域，具體來說涉及一種基于視覺詞匯和局部描述符的 膠囊內(nèi)鏡圖像檢索方法。
【背景技術(shù)】
[0002] 消化道疾病，如腫瘤、潰瘍和出血等極大地威脅著人體的健康。傳統(tǒng)的消化道檢查 方式對人體有著不同程度的損傷，且無法對小腸部位進(jìn)行檢查。膠囊內(nèi)鏡，是一種新型的消 化道疾病檢測技術(shù)?；颊咄谭z囊，膠囊利用胃腸蠕動提供的動力向前運(yùn)動，并對人體消化 道進(jìn)行連續(xù)拍攝，拍攝到的圖片由閱片醫(yī)生進(jìn)行檢查與診斷。檢測過程無痛苦，且能對整個 消化道進(jìn)行診斷。
[0003] 膠囊內(nèi)鏡擴(kuò)展了消化道檢查的視野，克服了傳統(tǒng)消化道疾病檢查的缺陷，成為消 化道疾病尤其是小腸疾病診斷的首選方法。但是，由于膠囊內(nèi)鏡在整個檢測過程中會產(chǎn)生 約55000張的膠囊內(nèi)鏡圖像，醫(yī)生一般需要2小時才能完成一個完整病例的診斷，診斷效率 低下，難于應(yīng)對較大的檢查量。因此，利用圖像處理技術(shù)進(jìn)行膠囊內(nèi)鏡病變圖像快速檢測成 為研究的熱點(diǎn)。
[0004] 膠囊內(nèi)鏡檢測病癥主要包括出血、腫瘤、潰瘍和息肉等。病變組織周圍常伴有出血 和紅腫癥狀，因此顏色信息在辨識異常圖像和正常圖像時有著重要的應(yīng)用價值。紋理是膠 囊內(nèi)鏡圖像重要的全局信息，是醫(yī)生診斷內(nèi)鏡圖像重要的視覺特性之一。對于腫瘤、潰瘍等 組織形變癥狀，通常會形成其病癥獨(dú)特的局部細(xì)節(jié)特征?；诖?，本發(fā)明綜合利用內(nèi)鏡圖像 的視覺感官特性和局部細(xì)節(jié)信息實(shí)現(xiàn)圖像檢索工作。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對膠囊內(nèi)鏡圖像，提出一種基于視覺詞匯和局部描述符的圖像檢索方 法。
[0006] 首先，提取膠囊內(nèi)鏡圖像兩個重要的視覺特征，分別為顏色直方圖和LBP(Local Binary Patterns)紋理直方圖，通過融合得到膠囊內(nèi)鏡圖像的視覺詞匯；然后，提取膠囊內(nèi) 鏡圖像的Sift(Scale invariant feature transform)特征描述符作為圖像的局部細(xì)節(jié)特 征；最后，進(jìn)行圖像相似度測定，得到檢索結(jié)果。具體的操作流程如下：
[0007] 1?視覺詞匯的獲取
[0008] 視覺詞匯描述的是膠囊內(nèi)鏡圖像視覺特征。對于膠囊內(nèi)鏡圖像，顏色特征和紋理 特征是其最重要的視覺特征。因此，本發(fā)明提取并融合膠囊內(nèi)鏡圖像的顏色直方圖和LBP 紋理直方圖，作為圖像的視覺詞匯。
[0009] (1)提取膠囊內(nèi)鏡圖像顏色直方圖
[0010] 顏色信息是醫(yī)生診斷膠囊內(nèi)鏡病例圖像的重要參考依據(jù)之一，如出血癥狀所呈現(xiàn) 的紅色信息、膽汁異常胃部出現(xiàn)黃色物體等。為了讓膠囊內(nèi)鏡病例圖像更加符合醫(yī)生的視 覺特性，本發(fā)明將膠囊內(nèi)鏡圖像由RGB顏色空間轉(zhuǎn)換到HSI顏色空間。具體轉(zhuǎn)換公式如下：
[0014] 上式中，R，G，B分別表示RGB顏色空間的三分量紅色（Red)、綠色（Green)和藍(lán)色 (Blue)。H，S，I分別表示HSI顏色空間的三分量色調(diào)（Hue)、飽和度（Saturation)和亮度 (Intensity)〇
[0015] 為了簡化運(yùn)算，同時根據(jù)HSI顏色空間色彩的特征，本發(fā)明將H，S，I三個分量分 別進(jìn)行量化。具體的量化方式為：將色調(diào)H的[0, 360]區(qū)間量化成非等間隔的8個子區(qū) 間，[316, 360]和[0, 20]量化成 0, [21，40]量化成 1，[41，75]量化成 2, [76, 155]量化 成 3, [156, 190]量化成 4, [191，270]量化成 5, [271，295]量化成 6, [296, 315]量化成 7 ;飽和度S和亮度I的[0, 1]都非等間隔量化成3個子區(qū)間，S，I G [0, 0. 2)量化成0， S，I G [0? 2, 0? 7)量化成 1，S，I G [0? 7, 1]量化成 2。
[0016] 膠囊內(nèi)鏡圖像色彩信息豐富，而且很多病變伴隨著出血變紅現(xiàn)象，這決定了膠囊 內(nèi)鏡圖像的色調(diào)H對醫(yī)生的判讀起到重要作用，所以在膠囊內(nèi)鏡圖像顏色特征獲取時，對 色調(diào)分量設(shè)置較大的權(quán)重，對其他兩個設(shè)置較小的權(quán)重，具體的權(quán)值數(shù)由S，I的量化級數(shù) 確定。
[0017] 假設(shè)獲取的膠囊內(nèi)鏡圖像顏色特征為F。，飽和度S和亮度I的量化級數(shù)分別為Qs 和Q1，由量化過程可知，Qs= Q 1= 3。所以，顏色特征F。的數(shù)學(xué)表達(dá)式如下：
[0018] Fc= QsQjH+QjS+I
[0019] = 9H+3S+I
[0020] 上式中，H，S，I分別表示HSI顏色空間的三分量。
[0021] (2)提取膠囊內(nèi)鏡圖像LBP紋理直方圖
[0022] 紋理是物體表面的固有特征之一，對于膠囊內(nèi)鏡圖像，表面的紋理信息對于醫(yī)生 診斷有著重要的參考價值，如病變形成的裂紋、點(diǎn)刺等。本發(fā)明提取內(nèi)鏡圖像的LBP紋理直 方圖來描述圖像紋理信息。
[0023] LBP紋理直方圖的提取步驟為：首先將檢測窗口劃分為16*16的小區(qū)域（cell)。 對于每個cell中的每個像素，將相鄰的8個像素的灰度值與其進(jìn)行比較，若周圍像素值大 于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為〇。這樣，3*3鄰域內(nèi)的8個點(diǎn)經(jīng)比較 可產(chǎn)生8位二進(jìn)制數(shù)，即得到該窗口中心像素點(diǎn)的LBP值；然后計算每個cell的直方圖，即 每個數(shù)字（十進(jìn)制數(shù)LBP值）出現(xiàn)的頻率，并對該直方圖進(jìn)行歸一化處理；最后將得到的每 個cell的統(tǒng)計直方圖進(jìn)行連接成為一個特征向量，也就是整幅圖的LBP紋理直方圖F t;
[0024] (3)視覺詞匯的獲取
[0025]融合⑴和⑵得到的顏色特征F。和紋理特征Ft，形成膠囊內(nèi)鏡圖像的視覺詞匯 Fv，具體公式如下：
[0026] Fv= w c*Fc+wt*Ft
[0027] 式中，《。和w t分別表示內(nèi)鏡圖像顏色特征F。和紋理特征F ,的權(quán)重。
[0028] 采用實(shí)驗(yàn)的方式來確定w。和w t;具體如下：實(shí)驗(yàn)中w。和w t任意選擇多種組合，得 到每種組合平均檢索精度；得到最大的平均檢索精度，對應(yīng)的w。和^即為最優(yōu)的權(quán)值組合。
[0029] 為了讓權(quán)值《。和w t更好地反映膠囊內(nèi)鏡的圖像特征，本發(fā)明采用實(shí)驗(yàn)的方式來確 定權(quán)值。具體的方法如下：
[0030] 現(xiàn)有0幅待檢索圖像，以視覺詞匯為索引，利用視覺詞匯的歐式距離來進(jìn)行圖像 相似度測定。假設(shè)Wjw t= 1，那么，實(shí)驗(yàn)中《。和《,可選擇如下表格中的9種組合，得到平 均檢索精度。
[0031]
[0032] 上表中，Z表示0次檢索精度的平均值，Zi~Z 9分別表示9種組合平均檢索精度。 根據(jù)實(shí)驗(yàn)得到21~29值，對比得到最大的平均檢索精度，對應(yīng)的（w。，w t)即為最優(yōu)的權(quán)值組 合。
[0033]針對不同的實(shí)驗(yàn)樣本，本發(fā)明利用實(shí)驗(yàn)的方式獲取最優(yōu)的權(quán)值組合（w。，wt)，這樣 有效地增加了視覺詞匯的針對性和有效性。
[0034] 2.提取膠囊內(nèi)鏡圖像的Sift描述符
[0035] 尺度不變特征轉(zhuǎn)換（Scale invariant feature transform)簡稱 Sift，是一種基 于尺度空間，對圖像平移、旋轉(zhuǎn)、縮放等保持不變的圖像局部描述子。對于膠囊內(nèi)鏡圖像，不 同患者、不同位置的不同組織形態(tài)圖像，由于形態(tài)本身的差異性導(dǎo)致其Sift特征描述符匹 配對較少。而具有相同病理特征的內(nèi)鏡圖像，由于其局部特征的相似性導(dǎo)致其局部Sift特 征具有一定的相似性，如腫瘤形成的局部肉球和潰瘍形成的凹陷坑等，且這些特征對縮放、 平移和旋轉(zhuǎn)都非常敏感，而Sift特征恰好對于圖像局部特征的縮放、平移和旋轉(zhuǎn)有著很好 的魯棒性。因此，本發(fā)明提取膠囊內(nèi)鏡圖像的Sift特征描述符用于描述圖像的局部特征。
[0036] Sift特征描述符的提取過程如下：
[0037] (1)尺度空間構(gòu)造；
[0038] (2)局部極值點(diǎn)檢測；
[0039] (3)精確確定極值點(diǎn)位置；
[0040] (4)特征點(diǎn)方向分配；
[0041] (5)生成特征描述符。
[0042] 3.相似度測定
[0043] 為了更好地描述膠囊內(nèi)鏡圖像特征，本發(fā)明提取了圖像的顏色特征、紋理特征和 Sift特征，并根據(jù)膠囊內(nèi)鏡圖像特征，將顏色特征和紋理特征融合形成圖像的視覺詞匯。最 后，結(jié)合內(nèi)鏡圖像的視覺詞匯和Sift特征來實(shí)現(xiàn)圖像相似度測定。
[0044] 針對得到的視覺詞匯Fv，本發(fā)明采用歐氏距離的方式來測定圖像之間的相似度。 假設(shè)現(xiàn)有兩幅膠囊內(nèi)鏡圖像，分別為M、P，那么它們之間視覺詞匯的歐氏距離為：
[0046] 上式中，DisMP表示兩幅圖像視覺詞匯的歐氏距離，N為視覺詞匯的維度，if和if 分別表示圖像M、P的視覺詞匯特征。DisMP值越小，表示兩幅圖像之間的相似度越大；反之， DisMP值越大，表示兩幅圖像之間的相似度越小。
[0047] 根據(jù)2可得到膠囊內(nèi)鏡圖像M、P的sift特征描述符。得到特征描述符后，進(jìn)行 膠囊內(nèi)鏡圖像M、P特征描述符匹配。計算匹配的特征描述符之間歐氏距離，并找出最小值 D_用于匹配對的篩選。若匹配的特征描述符之間的歐氏距離小于2D_，認(rèn)為此匹配是符合 要求的。最終得到圖像M、P的匹配對數(shù)，假設(shè)值為L MP。兩幅圖像匹配對數(shù)越多，即Lmp值越 大，圖像相似度越高；反之，Lmp值越小，圖像相似度越低。
[0048] 得到膠囊內(nèi)鏡圖像M、P的視覺詞匯歐式距離DisMP和Sift特征匹配對數(shù)L MP后， 本發(fā)明采用比值法來描述膠囊內(nèi)鏡圖像之間相似度差異。假設(shè)兩幅圖像M、P之間的差異值 為R，那么
[0050] 由于，DisMP值越小，圖像之間的相似度越大，Lmp值越大，圖像之間的相似度越大， 且Dis MP和Lmp的值與相似度呈現(xiàn)單調(diào)關(guān)系。因此，R值反映的是圖像差異性大小，R值越小， 圖像之間