本發(fā)明涉及用于改變圖像(特別是包括多個種類的圖像元素的圖像)的表象的方法、裝置以及計算機程序產(chǎn)品。本發(fā)明還涉及用于確定在改變包括多個種類的圖像元素的源圖像和目標(biāo)圖像之間的顏色變換的方法、裝置以及計算機程序產(chǎn)品。
發(fā)明背景
當(dāng)拍攝場景的數(shù)碼圖片時,表示場景的像素的顏色取決于環(huán)境的變化,例如,拍攝圖片的照明條件的類型以及拍攝所使用的圖像傳感器和/或光學(xué)器件的類型。此外,圖片中的顏色還取決于場景中的物體的光譜功率分布。物體的光譜功率分布描述了由物體以每個可見波長發(fā)射的、透射的、或者反射的全部光的比例。
這可能在相同場景中、但處于不同照明條件下或者使用不同類型的圖像傳感器和/或光學(xué)器件拍攝兩個圖像的情況下造成問題,并且期望改變第一圖像的表象,使得其看起來像其他圖像。
US 2012/201451 A1(蘋果公司)提供了用于將第一圖像的顏色匹配于第二圖像的顏色的計算機程序。該計算機程序識別了用于將第一圖像轉(zhuǎn)換為設(shè)備無關(guān)的顏色空間的一組變換。該計算機程序修改了該組變換,使得它們將第一圖像的顏色分割成為一組分段的顏色。計算機程序?qū)Φ谝粓D像的像素值應(yīng)用修改的該組變換,以便將第一圖像的像素分割成為該組分段的顏色。在451'應(yīng)用中,圖像因此基于圖像的顏色而被分割,并且應(yīng)用于第一圖像以用于將顏色匹配于第二圖像的變換是基于這個分割的。
然而,如果場景包括具有不同光譜功率分布的物體,則基于像素的顏色而變換每個像素可能給出不正確的結(jié)果。這個問題也被稱為同色異譜。
發(fā)明概述
鑒于上述,本發(fā)明的目標(biāo)是解決或者至少降低以上論述的缺陷中的一個或多個。通常,以上目標(biāo)是通過附加的獨立專利權(quán)利要求實現(xiàn)的。
本發(fā)明是基于這種實現(xiàn):使用基于分割的算法,可以有利于改變包括多個種類的圖像元素的圖像的表象。此外,本發(fā)明基于這種實現(xiàn):可能難以以100%的確定性對這一圖像中的每個像素分配多個圖像種類中的指定的一個種類。因此,基于概率的方法可以是有益的。
根據(jù)第一方面,本發(fā)明是通過一種用于改變包括N>1個種類的圖像元素的原圖像的表象的方法實現(xiàn)的,該方法包括以下步驟:對于原圖像中的每個像素以及對于原圖像中的至少一個子集:計算N個概率值,每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率,通過使用圖像元素的N個種類中的每個種類的預(yù)先確定的顏色變換以及像素的N個概率值,變換像素的顏色,以及將作為結(jié)果的顏色變換后的圖像儲存為編輯過的圖像。
一種用于改變原圖像的表象的基于概率的算法,是通過計算每個像素的N個概率值以及在變換像素的顏色時使用這些值來實現(xiàn)的。這在改變不能以100%的確定性判定多個圖像種類中的指定的一個圖像種類的像素的表象時是有益的。這種像素的示例可以是在兩個圖像元素之間的邊界附近的像素。此外,使用將原圖像分割成為N個圖像種類的這個基于概率的方法,可以實現(xiàn)在兩個相鄰的圖像元素之間的較平滑的過渡,這可以被理解為對于作為結(jié)果的顏色變換后的圖像的觀察者來說更好看。
在本說明書的上下文中,術(shù)語“變換像素的顏色”應(yīng)被理解為例如像素的RGB值從第一集合的值改變到第二集合的值。
在本說明書的上下文中,術(shù)語“將作為結(jié)果的顏色變換后的圖像儲存為編輯過的圖像”應(yīng)被理解為將作為結(jié)果的顏色變換后的圖像儲存在任何類型的計算機存儲器(例如,主存儲器(諸如,RAM)或者輔助存儲器(諸如,磁帶、磁盤以及光盤))中。此外,應(yīng)注意到,當(dāng)改變數(shù)字圖像的表象時,具有改變過的表象的圖像或者編輯過的圖像在改變表象的過程期間以及在過程結(jié)束之后必然儲存在一些類型的存儲器中。
根據(jù)一些實施例,每個概率值在0至1的范圍中,并且,像素的N個概率值的總和等于1。換句話說,每個像素的概率值被規(guī)范化。
根據(jù)一些實施例,變換像素的顏色的步驟包括以下步驟:針對圖像元素的N個種類中的圖像元素的每個種類,通過將像素屬于圖像元素的種類的概率值乘以對圖像元素的種類提供的顏色變換,并且將N個乘法運算的N個乘積相加來計算要用于像素的指定的顏色變換,以及通過將像素的原顏色乘以像素的指定顏色變換來變換像素的顏色。
這在變換像素的顏色時,例如,在對圖像元素的種類提供的顏色變換由32位值來表示同時像素的顏色值由64位值來表示時,可以降低計算的復(fù)雜性。
根據(jù)一些實施例,原圖像描繪了血樣。因為血樣的結(jié)構(gòu),圖像元素的N個種類的顏色變換(即,血樣中的不同的物質(zhì))可能大幅度變化。
因此,用于改變血樣的圖像的表象的基于分割的方法可以是有益的。此外,可能難以以100%的確定性將這一圖像中的每個像素標(biāo)記為N個圖像種類中的一個圖像種類,這可以使得基于概率的方法特別地有益。
根據(jù)一些實施例,圖像元素的N個種類包括用于白血球的細(xì)胞質(zhì)的種類以及用于白血球的細(xì)胞核的種類。在這種情況下,該方法還可以包括以下步驟:將原圖像的副本變換成HSL顏色空間中的HSL圖像,將HSL圖像的高通濾波的L通道的像素值儲存為L圖像,并且將L圖像中的每個像素值與屬于用于細(xì)胞質(zhì)的種類或者屬于用于細(xì)胞核的種類的概率關(guān)聯(lián),并且,在將顏色變換后的原圖像儲存為編輯過的圖像的步驟之后,將儲存的編輯過的圖像變換到HSL顏色空間,并且將L圖像中的對應(yīng)的像素值添加到儲存的編輯過的圖像的L通道的像素的像素值,其中,對應(yīng)的像素值是基于其相關(guān)的屬于細(xì)胞質(zhì)種類或者細(xì)胞核種類的概率而被加權(quán)的,并且儲存編輯過的圖像。
相比于如以上描述的作為結(jié)果的顏色變換后的圖像,可以使得拍攝圖像所采用的照明條件可以改善原圖像中的某些圖像元素的焦點或者清晰度。在這些情況下,在編輯過的圖像中保留這些清晰和焦點對準(zhǔn)的元素可以是有益的。例如,原圖像可以包含圖像元素,在這種情況下,像素屬于用于細(xì)胞質(zhì)的種類或者用于細(xì)胞核的種類特別有益于保持其清晰度。因為這個原因,可以將原圖像的副本變換成HSL顏色空間中的HSL圖像。這一HSL圖像的亮度通道(L通道)可以包括這種圖像元素中的很多以上提到的清晰度。通過將高通濾波版本的L通道乘以大于1的數(shù),可以更加改善清晰度。
通過基于每個像素屬于細(xì)胞質(zhì)種類或者細(xì)胞核種類的相關(guān)概率,對儲存的高通濾波的L通道的像素值加權(quán),并且將加權(quán)后的值加到編輯過的圖像,可以改善編輯過的圖像中的屬于細(xì)胞質(zhì)種類或者細(xì)胞核種類的像素的清晰度。例如,可以使用屬于細(xì)胞質(zhì)種類的概率和屬于細(xì)胞核種類的概率的總和。此外,為了降低計算復(fù)雜性,只有具有屬于細(xì)胞質(zhì)種類或者細(xì)胞核種類的相關(guān)概率超過某個閾值的像素被加權(quán),并且被加到編輯過的圖像。這一閾值的示例是1%、5%、10%或者50%。有益的閾值可以是1%。
根據(jù)一些實施例,圖像元素的N個種類包括用于白血球的細(xì)胞核的種類。
根據(jù)這個實施例,在通過使用預(yù)先確定的顏色變換來變換像素的顏色的步驟之后,該方法還包括通過使用對比度增強函數(shù)來增加作為結(jié)果的顏色變換后的圖像中的對比度的步驟。在作為結(jié)果的顏色變換后的圖像中的指定像素的對比度增強函數(shù)可以基于屬于細(xì)胞核種類的概率以及像素的亮度。在對比度增強之后,可以儲存編輯過的圖像。
因為白血球的細(xì)胞核經(jīng)常是暗的,所以可能難以區(qū)分細(xì)胞核中的細(xì)節(jié)。本實施例可以增加圖像中的較暗區(qū)域(例如,細(xì)胞核)的動態(tài)范圍。
因此,在對比度增強之前最難見到的細(xì)節(jié)是增強得最多的。
根據(jù)一些實施例,圖像元素的N個種類包括用于紅血球的種類以及用于圖像的背景的種類,并且該方法還包括以下步驟:使用平滑濾波器降低儲存的編輯過的圖像中的具有屬于用于紅血球的種類或者用于血樣背景的種類的、高于閾值的概率的像素的噪聲,以及儲存編輯過的圖像。
當(dāng)執(zhí)行以上提到的顏色變換時,在一些情況下,增加了某些圖像元素的噪聲。例如,如果圖像包括紅血球和背景,則在執(zhí)行顏色變換時可能增加這種區(qū)域中的噪聲。因為這個原因,可以有益地對這種圖像元素執(zhí)行噪聲降低操作。為了降低操作的計算復(fù)雜性,并且為了不將具有屬于用于紅血球的種類或者用于血樣背景的種類的低概率或者非常低概率的像素平滑掉,使用平滑濾波器僅平滑掉具有屬于用于紅血球的種類或者用于血樣背景的種類的、高于閾值的概率的像素。這一閾值的示例是1%、5%、10%或者50%。有益的閾值可以是5%。平滑濾波器可以是雙邊濾波器,這是有益的,因為雙邊濾波器是邊緣保留的并且降低噪聲的平滑濾波器。
然而,可以使用任何其他類型的平滑濾波器,諸如引導(dǎo)濾波器或者各向異性擴散濾波器。
根據(jù)實施例,該方法還包括通過將儲存的編輯過的圖像變換至HSL顏色空間以及將編輯過的圖像的S通道中的每個像素乘以大于1的值,來增加儲存的編輯過的圖像的顏色飽和度的步驟。該值可以例如是1.1,1.2或者1.3或者大于一的任何其他值。
在第二方面中,本發(fā)明提供了一種計算機程序產(chǎn)品,包括計算機可讀介質(zhì),該計算機可讀介質(zhì)具有用于執(zhí)行根據(jù)本發(fā)明的第一方面的方法的指令。
在第三方面中,本發(fā)明提供了一種用于改變包括N>1個種類的圖像元素的原圖像的表象的設(shè)備,該設(shè)備包括:處理器,其被配置成對于原圖像中的每個像素以及對于原圖像中的至少一個子集:計算N個概率值,每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率,通過使用圖像元素的N個種類中的每個種類的預(yù)先確定的顏色變換以及像素的N個概率值,使像素的顏色變換;以及存儲器,其適用于將作為結(jié)果的顏色變換后的圖像儲存為編輯過的圖像。
第二和第三方面大體上可以具有與第一方面相同的特征和優(yōu)點。
在第四方面中,本發(fā)明提供了一種用于確定在包括N>1個種類的圖像元素的源圖像和目標(biāo)圖像之間的顏色變換的方法,該方法包括以下步驟:對于在源圖像和目標(biāo)圖像中的每個像素以及在源圖像和目標(biāo)圖像中的至少一個子集:計算N個概率值,每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率,對于圖像元素的N個種類中的每個指定的圖像元素種類,通過使用下列各項來識別在源圖像和目標(biāo)圖像之間的顏色變換:對于源圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素,像素的顏色值以及像素屬于圖像元素的指定種類的概率,以及,對于目標(biāo)圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素,像素的顏色值以及像素屬于圖像元素的指定種類的概率。
通過對于在源圖像和目標(biāo)圖像中的每個像素以及在源圖像和目標(biāo)圖像中的至少一個子集計算N個概率值,以及通過在識別在源圖像和目標(biāo)圖像之間的顏色變換時使用這些值,提供了一種用于識別這一顏色變換的基于概率的算法。因為難以以100%的確定性決定圖像之一中的某個像素是否屬于多個圖像種類中指定的一個圖像種類,所以使用這種分割源圖像和目標(biāo)圖像的基于概率的方法可以是有益的。
因為顏色變換是針對每個指定的圖像元素來確定的,所以算法可以產(chǎn)生對于描繪包括具有如上所述的不同光譜功率分布的物體的場景的圖像來說較可靠的結(jié)果。
根據(jù)一些實施例,用于確定在源圖像和目標(biāo)圖像之間的顏色變換的方法包括在確定顏色變換時,使用多個源圖像和多個目標(biāo)圖像。因為可以將在源圖像或者目標(biāo)圖像之中的異常值的影響降低,所以這樣可以實現(xiàn)用于確定顏色變換的較可靠的算法。
根據(jù)一些實施例,源圖像和目標(biāo)圖像是在不同照明條件下和/或使用不同的圖像傳感器和/或不同的光學(xué)器件采集的。如以上描述的,確定用于變換在可以是在不同照明條件下和/或使用不同的圖像傳感器和/或不同的光學(xué)器件采集的源圖像中的像素的顏色的單一顏色變換以較密切地遵循在目標(biāo)圖像中的像素的顏色,可能因為同色異譜的問題而產(chǎn)生不令人滿意的結(jié)果。
根據(jù)一些實施例,源圖像和目標(biāo)圖像描繪了血樣,并且,其中,圖像元素的N個種類包括以下至少兩者:用于白血球的細(xì)胞質(zhì)的種類、用于白血球的細(xì)胞核的種類、用于紅血球的種類以及用于圖像的背景的種類。
因為血樣的結(jié)構(gòu),在源圖像和目標(biāo)圖像之間的圖像元素的N個種類(即,血樣中的不同的物質(zhì))的顏色變換可能大幅度變化。因此,用于確定在描述血樣的源圖像和目標(biāo)圖像之間的顏色變換的基于分割的方法可以是有益的。
此外,可能難以以100%的確定性將這種圖像中的每個像素標(biāo)記為N個圖像種類中的一個圖像種類,這可以在確定顏色變換時使得基于概率的方法特別地有益。
在第五方面中,本發(fā)明提供了一種計算機程序產(chǎn)品,包括計算機可讀介質(zhì),該計算機可讀介質(zhì)具有用于執(zhí)行根據(jù)第四方面的方法的指令。
在第六方面中,本發(fā)明提供了一種用于確定在包括N>1個種類的圖像元素的源圖像和目標(biāo)圖像之間的顏色變換的設(shè)備,該設(shè)備包括:處理器,其被配置成對于在源圖像和目標(biāo)圖像中的每個像素以及對于在源圖像和目標(biāo)圖像中的至少一個子集:計算N個概率值,每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率,對于圖像元素的N個種類中的每個指定的圖像元素種類,通過使用下列各項來識別在源圖像和目標(biāo)圖像之間的顏色變換:對于源圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素,像素的顏色值以及像素屬于圖像元素的指定種類的概率,以及對于在目標(biāo)圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素,像素的顏色值以及像素屬于圖像元素的指定種類的概率。
第五以及第六方面大體上可以具有與第四方面相同的特征和優(yōu)點。
通常,權(quán)利要求中使用的所有術(shù)語將根據(jù)它們在技術(shù)領(lǐng)域中的普通含義來解釋,除非本文另有明確定義。除非另有明確聲明,否則所有對“一(a)/一(an)/該(the)[元件、設(shè)備、部件、裝置、步驟等等]”的引用都被開放地解釋為指元件、設(shè)備、部件、裝置、步驟等等的至少一個實例。
附圖簡述
本發(fā)明的以上的以及另外的目的、特征和優(yōu)點,將通過如下本發(fā)明的實施例的說明性且非限制性的詳細(xì)描述,參照附圖來被更好地理解,在附圖中相同的參考標(biāo)號將用于類似的元件,其中:
圖1示出一種用于通過變換原圖像中的像素的顏色來改變原圖像的表象的方法,
圖2根據(jù)實施例,示出了用于改變原圖像的表象的流程圖,
圖3根據(jù)實施例,示意性地示出了一種用于改變原圖像的表象的設(shè)備,
圖4示出了一種用于確定在源圖像和目標(biāo)圖像之間的顏色變換的方法。
發(fā)明詳述
本發(fā)明現(xiàn)在將在下文參照附圖進行更全面地描述,附圖中示出本發(fā)明的當(dāng)前優(yōu)選實施例。然而本發(fā)明能夠以許多不同形式實施,且不應(yīng)被解釋為限于本文所闡述的實施例;相反,這些實施例出于徹底性和完整性被提供,并將本發(fā)明的范圍充分傳達給本領(lǐng)域技術(shù)人員。
以下描述的方法將會使用血樣的圖像來舉例說明。由于同色異譜的問題,可能要求復(fù)雜的顏色變換,以便將原圖像的顏色變換,使得原圖像的顏色匹配于在不同照明條件下和/或使用不同的圖像傳感器和/或不同的光學(xué)器件采集的圖像的顏色。以下描述的發(fā)明性方法正在將變換原圖像的顏色空間的龐大并且復(fù)雜的問題分解成為較小的可解決的問題。這種將圖像的表象改變成匹配另一圖像的表象的方式當(dāng)然可以用于其他種類的圖像而不只是血樣的圖像,諸如,人像、風(fēng)景的圖像、內(nèi)部圖像等等。
圖1描述了用于改變原圖像的表象的方法。該方法可以開始于在S102設(shè)備接收要變換的圖像(例如,原圖像)。原圖像包括N>1個圖像元素的種類。在S104,從該圖像中選擇出至少一個子集。在S106,針對在該至少一個子集中的每個像素,計算出N個概率值。每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率。每個概率值可以從0至1的范圍變化,并且像素的N個概率值的總和可以在此情況下等于1。
也就是說,如果(x,y)是像素的位置,則通過函數(shù)pi(x,y)描述第i個(i∈{1,...,N})圖像種類的概率,其中,0≤pi(x,y)≤1并且在圖1中描述的方法的最后的步驟,是在S108通過使用針對圖像元素的N個種類中的每個種類以及每個選擇出的像素的N個概率值的預(yù)先確定的顏色變換來變換每個選擇出的像素的顏色的步驟。這個步驟可以包括計算要用于每個像素的指定的顏色變換。針對圖像元素的N個種類中的圖像元素的每個種類,該針對指定像素的指定的顏色變換可以通過將像素屬于圖像元素的種類的概率值乘以對該圖像元素的種類提供的顏色變換,并且將N個乘法運算的N個乘積相加來計算。然后通過將像素的原顏色乘以該像素的指定顏色變換來執(zhí)行像素的顏色變換。
用于改變在圖像中的位置(x,y)上的某個像素的顏色的函數(shù)可以描述為:
其中,表示像素的原顏色,v′(x,y)表示像素的變換的顏色,fi是圖像種類i的預(yù)先確定的顏色變換,并且θi是fi的預(yù)先確定的參數(shù)向量。
顏色變換的示例是每個單獨的顏色分量的簡單仿射變換:
其中,θi1,θi2,…,θi6是實數(shù)。顏色變換的較復(fù)雜的示例是
即,在此θi是可以被組織成3*3矩陣Ai的九個實數(shù)的向量。甚至更加復(fù)雜的示例可以是在fi是它的參數(shù)的非線性函數(shù)時。
通過示例的方式,圖像種類的數(shù)量可以是四,并且圖像種類包括用于白血球的細(xì)胞質(zhì)的種類、用于白血球的細(xì)胞核的種類、用于紅血球的種類以及用于圖像的背景的種類。如以上描述的,那些種類的光譜功率分布可以大幅度變化,導(dǎo)致預(yù)先確定的顏色變換Ai,iε{1,...,N}也可能大幅度變化。因此,用于變換原圖像的顏色的單一顏色變換將會產(chǎn)生不令人滿意的作為結(jié)果的顏色變換后的圖像。
在下面,將會簡要概述將原圖像分割成為N個圖像種類的基于概率的方法。這僅是可以執(zhí)行這一分割的方法的示例。計算圖像中的每個像素的N個概率值的其他方法(其中,每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率)留給技術(shù)人員去實施。
下列示例涉及將血樣的圖像分割成為四個圖像種類,稱為用于白血球的細(xì)胞質(zhì)的種類、用于白血球的細(xì)胞核的種類、用于紅血球的種類以及用于圖像的背景的種類。在示例中,計算了定義屬于用于白血球的細(xì)胞質(zhì)的種類的像素的概率的概率值,但是該方法當(dāng)然可被用于以類似的方式計算剩下的圖像種類的概率值。
示例性方法的梗概如下:首先,閾值方法用于檢測在原圖像中存在的白血球的細(xì)胞核。將定義細(xì)胞核的區(qū)域放大,使得在檢測的細(xì)胞核周圍的細(xì)胞質(zhì)最可能也被包括在該區(qū)域中。然后這些區(qū)域被反相,從而定義僅包括背景和紅血球的區(qū)域。這些區(qū)域用于估計原圖像中的背景的顏色分布和紅血球的顏色分布。這些分布用于找到白血球的粗略分割(初步細(xì)胞蒙片)。使用閾值方法將初步細(xì)胞蒙片分成細(xì)胞核和細(xì)胞質(zhì)。這提供了細(xì)胞核的分割,并且使得有可能估計細(xì)胞質(zhì)的顏色分布以及細(xì)胞核的顏色分布。已經(jīng)建立圖像中所有四個區(qū)域的估計值,可以計算出屬于白血球的像素的概率。
當(dāng)檢測到在原圖像中存在白血球的細(xì)胞核時(示例性方法的第一個步驟),計算出原圖像的顏色柱狀圖。因為細(xì)胞核被良好地定義,并且細(xì)胞核在血樣的圖像中可見,所以在原圖像中存在的細(xì)胞核的顏色將會在柱狀圖中被看見,例如,顯示細(xì)胞核比在原圖像中存在的其他圖像種類更藍(lán)。
當(dāng)估計背景的顏色分布和紅血球的顏色分布時,首先,通過計算原圖像中的綠色分量的柱狀圖計算出在兩個圖像種類之間的閾值。將獲得的閾值用于將紅血球與背景分離,針對背景的平均值μb和協(xié)方差矩陣Cb,以及紅血球的平均值μr和協(xié)方差矩陣Cr而計算出估計值。估計出的平均值和協(xié)方差矩陣用在概率密度函數(shù)hb(v)和hr(v)中,顯示像素顏色v分別與背景和紅血球的顏色相關(guān)性。
背景的由RGB向量定義的像素顏色v的概率密度函數(shù)計算如下:
以類似方式計算紅血球的概率密度函數(shù)。
下個步驟包括將白血球的細(xì)胞核與白血球的細(xì)胞質(zhì)分離。首先,從原圖像中計算既不類似于背景也不類似于紅血球的像素的集合(W)。計算出在集合W中的像素中的每個八連通區(qū)域的面積。每個具有比閾值更大的面積的區(qū)域被認(rèn)為足夠大到成為白血球,并且每個這種區(qū)域均構(gòu)成初步細(xì)胞蒙片。閾值取決于原圖像的縮放級別。
然后使用用于分割白血球的細(xì)胞核的任何適當(dāng)?shù)姆椒?例如,使用閾值)從細(xì)胞質(zhì)分割圖像中的細(xì)胞核??梢允褂迷谑纠苑椒ǖ牡谝粋€步驟中計算出的面積。這樣可以通過消除具有比一定數(shù)量的像素面積更小的片段以及填充具有比另一些像素面積更小的孔來清理計算出的細(xì)胞核蒙片。
在屬于細(xì)胞核蒙片的像素上估計出細(xì)胞核的平均值μn以及協(xié)方差矩陣Cn。對于在原圖像中的像素的細(xì)胞質(zhì)μc和Cc,其與背景和紅血球并不類似且還沒有定義為細(xì)胞核。估計出的平均值和協(xié)方差矩陣用在表示細(xì)胞質(zhì)和細(xì)胞核的顏色分布概率密度函數(shù)hc(v)和hn(v)中。
細(xì)胞質(zhì)的概率密度函數(shù)和細(xì)胞核的概率密度函數(shù)根據(jù)等式2被計算出。
具有顏色v的像素屬于白血球的細(xì)胞質(zhì)的概率pc(v)由下式給出:
可以注意到,這種計算概率值的方式可以在如以下描述的確定在源圖像和目標(biāo)圖像之間的顏色變換時被使用。
圖2根據(jù)實施例,示出了用于改變原圖像的表象的流程圖。
在流程圖中的第一步S202概括了圖1中描述的步驟S102-S108。但是除了結(jié)合圖1描述的產(chǎn)生顏色變換后的圖像之外,改變原圖像的表象的方法還可以包括另外的圖像編輯步驟,以便改善顏色變換后的圖像。在圖2中顯示并在以下描述的另外的步驟可以以任何適當(dāng)?shù)捻樞騺韴?zhí)行,并且任何另外的步驟可以被排除。
如以上提到的,原圖像可以包含大量細(xì)節(jié),其可能在產(chǎn)生顏色變換后的圖像S202時消失。因為這個原因,該方法可以包含保持原圖像的某些圖像元素的大量細(xì)節(jié)的步驟。
根據(jù)實施例,圖像元素的N個種類包括用于白血球的細(xì)胞質(zhì)的種類以及用于白血球的細(xì)胞核的種類。在這種情況下,可以執(zhí)行步驟S204,以用于保持在編輯過的圖像中的這些圖像元素的原圖像的細(xì)節(jié)上的焦點。首先,將原圖像的副本變換成HSL顏色空間中的HSL圖像。HSL圖像的亮度通道包括有益地被包括在編輯過的圖像中的細(xì)節(jié)。因此,將HSL圖像的高通濾波的L通道的像素值儲存為L圖像,并且L圖像中的每個像素值與屬于用于細(xì)胞質(zhì)的種類或者屬于用于細(xì)胞核的種類的概率關(guān)聯(lián)。根據(jù)實施例,L圖像可以是高通濾波的,用于在L圖像中增加大量細(xì)節(jié)。最后,將儲存的編輯過的圖像(例如,通過步驟S202產(chǎn)生的顏色變換后的圖像)變換到HSL顏色空間,并且將儲存的編輯過的圖像的L通道的像素的像素值與在L圖像中的對應(yīng)的像素值相加在一起。對應(yīng)的像素值是基于其屬于細(xì)胞質(zhì)種類或者細(xì)胞核種類的相關(guān)概率而加權(quán)的。
在S202產(chǎn)生顏色變換后的圖像之后,一部分編輯過的圖像中的一些可能是暗的,并且,因此,在這種區(qū)域中的細(xì)節(jié)可能丟失。原則上這僅是發(fā)生在白血球的細(xì)胞核的某些事情。因此,根據(jù)實施例,該方法包括另外的對比度增強步驟S205。根據(jù)這個實施例,在通過使用預(yù)先確定的顏色變換使像素的顏色變換的步驟之后,該方法還包括通過使用對比度增強函數(shù)來增加作為結(jié)果的顏色變換后的圖像中的對比度的步驟。要增強的細(xì)節(jié)可以根據(jù)一些實施例而在編輯過的圖像的綠色通道(可能是包含較少噪聲的通道)中被檢測到。這可以有益于降低增強噪聲的風(fēng)險。然而,在將編輯過的圖像變換為HSL顏色空間之后,可以在編輯過的圖像的亮度通道中執(zhí)行檢測到的細(xì)節(jié)的增強。在編輯過的圖像中的指定像素(例如,檢測到的細(xì)節(jié))的對比增強函數(shù)可以基于屬于細(xì)胞核種類的概率以及像素的亮度。這意味著增強的量是由像素的亮度決定的,像素具有越多的亮度,像素增強得越多。屬于細(xì)胞核種類的概率被用作進一步的加權(quán)因數(shù)。
根據(jù)實施例,圖像元素的N個種類包括用于紅血球的種類以及用于圖像中的背景的種類。對于這些類型的圖像元素,在根據(jù)上述來執(zhí)行顏色變換時可能增加噪聲的級別。此外,對于某些類型的分析來說,感知在這些類型的圖像元素中每個細(xì)節(jié)的重要性可以不如感知其他類型的圖像元素中的細(xì)節(jié)的重要性一樣大。因此,為了改善編輯過的圖像的感知質(zhì)量,可以有益地對屬于這些圖像元素的像素執(zhí)行噪聲降低。這樣,根據(jù)實施例,改變原圖像的表象的方法還包括降低儲存的編輯過的圖像中的像素的噪聲的步驟S206。根據(jù)一些實施例,可以僅對具有屬于用于紅血球的種類或者用于血樣的背景的種類的、高于閾值的概率的像素執(zhí)行噪聲降低??梢酝ㄟ^使用平滑濾波器(例如,雙邊濾波器)來執(zhí)行噪聲降低。根據(jù)一些實施例,如果像素具有屬于用于紅血球的種類或者用于血樣中的背景的種類的概率高于閾值,那么相鄰的像素也需要具有屬于這些種類的高于閾值的概率,以便對像素執(zhí)行噪聲降低。像素的閾值可以不同于相鄰的像素的閾值,或者閾值可以相同。
根據(jù)實施例,改變原圖像的表象的方法還包括增加儲存的編輯過的圖像中的顏色飽和度的步驟S208。這可以通過將儲存的編輯過的圖像變換至HSL顏色空間以及將編輯過的圖像的S通道中(現(xiàn)在是在HLS顏色空間中)的每個像素乘以大于1的值來完成。
以上結(jié)合圖1-2描述的方法可以以軟件、固件、硬件或者在具有處理能力302的設(shè)備300上的軟件、固件、硬件或其組合來實施。設(shè)備300被配置用于改變包括N>1個種類的圖像元素的原圖像的表象。
在硬件實施方式中,在在以下描述中指出的功能單元之間的任務(wù)的分工不必對應(yīng)于物理單元的分割;相反,一個物理部件可以具有多個功能,并且一個任務(wù)可以由幾個物理部件(例如,處理器)協(xié)同執(zhí)行。某些部件或者全部部件可以實現(xiàn)為由數(shù)字信號處理器或者微處理器執(zhí)行的軟件,或者實現(xiàn)為硬件,或者實現(xiàn)為專用集成電路。這種軟件可以分布在可以包括計算機存儲介質(zhì)(或者非暫態(tài)介質(zhì))以及通信介質(zhì)(或者暫態(tài)介質(zhì))的計算機可讀介質(zhì)上。
對于原圖像中的每個像素以及對于原圖像的至少一個子集來說,設(shè)備300的處理器302可以被配置成計算N個概率值。每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率。處理器302還可以被配置成通過使用圖像元素的N個種類中的每個種類的預(yù)先確定的顏色變換以及像素中的每個像素的N個概率值,使每個像素的顏色空間變換。N個預(yù)先確定的顏色變換是處理器302可以以任何適當(dāng)?shù)姆绞酱嫒〉?。例如,N個預(yù)先確定的顏色變換可以儲存在設(shè)備300的存儲器304中。
如本領(lǐng)域技術(shù)人員所熟知的,術(shù)語“存儲器”同時包括易失的和非易失的、可移除和不可移除存儲器,其以任何方法或技術(shù)被實現(xiàn),以便用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的信息。計算機存儲介質(zhì)包括但不限于RAM、ROM、EEPROM、閃存或者其他存儲技術(shù)、CD-ROM、數(shù)字通用光盤(DVD)或者其他光盤儲存器、磁盒、磁帶、磁盤儲存器或者其他磁存儲設(shè)備、或者可用于儲存期望的信息并且可由計算機存取的任何其他介質(zhì)。
存儲器304還可以適用于將作為結(jié)果的顏色變換后的圖像儲存為編輯過的圖像。在改變原圖像的表象的過程期間,如以上結(jié)合圖1-2描述的,圖像或者圖像中的像素持續(xù)儲存在一些類型的存儲器中,為了從處理器302容易且快速地存取,存儲器優(yōu)選為RAM。于是,作為結(jié)果的顏色變換后的圖像必然儲存在設(shè)備300的一些類型的存儲器中。
下面,結(jié)合圖4描述提供N個預(yù)先確定的顏色變換的實施例。在圖4中描述的方法僅使用一個源圖像以及一個目標(biāo)圖像,即,描繪相同場景的但在不同照明條件下和/或使用不同的圖像傳感器和/或不同的光學(xué)器件采集的一個圖像對。后面,下面將描述相同的但用于多個這種圖像對的方法。
該方法以在S402接收目標(biāo)圖像和源圖像來開始。對于兩個圖像,在S404將選擇出每個圖像中的至少一個子集。優(yōu)選地,以相同的方式剪裁圖像,使得相同的場景在兩個圖像中均被描繪。
對于在源圖像和目標(biāo)圖像中的選擇出的至少一個子集中的每一個像素,在S406計算N個概率值。每個概率值定義了像素屬于圖像元素的N個種類中的對應(yīng)的一個種類的概率。針對圖像元素的N個種類中的每個指定圖像元素種類,該方法通過識別在源圖像和目標(biāo)圖像之間的顏色變換來繼續(xù)。在S408使用在源圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素的像素的顏色值以及像素屬于圖像元素的指定種類的概率、以及在目標(biāo)圖像中的已經(jīng)有N個概率值被計算過的像素中的至少一些像素的像素的顏色值以及像素屬于圖像元素的指定種類的概率,來識別指定圖像元素的顏色變換。根據(jù)實施例,在識別對于圖像元素的指定種類的在源圖像和目標(biāo)圖像之間的顏色變換時,使用在源圖像和目標(biāo)圖像中的已經(jīng)有N個概率值被計算過的所有像素。
根據(jù)實施例,在識別圖像元素的N個種類的顏色變換時,使用多個圖像對。如以上提到的,每個圖像對描繪相同場景但在不同照明條件下和/或使用不同的圖像傳感器和/或不同的光學(xué)器件采集的兩個圖像,即,源圖像和目標(biāo)圖像。在多個圖像對中的所有源圖像是在相同(或者差不多相同)的照明條件下并且使用相同的圖像傳感器和相同的光學(xué)器件采集的。這對多個目標(biāo)圖像同樣有效。然后,識別的顏色變換可以用于變換在與源圖像相同的條件(或者差不多相同的條件)下采集的圖像的顏色,使得好像采集的圖像是在與目標(biāo)圖像相同的條件下采集的。如果Z+表示所有正數(shù),則是在圖像j中的所有像素坐標(biāo)(或者如以上描述的至少一個子集中的所有像素坐標(biāo))的集合。如果i表示不同的圖像種類(i∈{1,...,N}),則是在某個像素坐標(biāo)(x,y)的圖像種類i和圖像j的概率值。概率值可以從0至1的范圍內(nèi)變化,并且像素的N個概率值的總和在這個情況下可以等于1。rj(x,y)、gj(x,y)、bj(x,y)是在源圖像j中的位置(x,y)中的紅色、綠色和藍(lán)色的值。值可以是從0至255范圍內(nèi)變化的實數(shù)。在圖像j的圖像種類i中的紅色的平均值被表示為同樣對于綠色是以及藍(lán)色是
然后通過下式計算出像素屬于種類I的源圖像j中的紅色的加權(quán)平均值:
并且以相同方式計算出源圖像j中的綠色的平均值和藍(lán)色的平均值
以相同方式計算出目標(biāo)圖像j的對應(yīng)的平均值,并且表示為和
在僅使用一個圖像對的情況下,可以計算出每個顏色只有一個參數(shù)的顏色變換,例如,
如果使用至少三個圖像對,則使用如以下的最小二乘估計可以計算出圖像種類i的矩陣顏色變換Ai。
圖像對的數(shù)量是n。則具有源圖像的圖像種類i的所有顏色平均值的矩陣是:
并且具有目標(biāo)圖像的圖像種類i的所有顏色平均值的矩陣是
然后,使用最小二乘方法可以計算出以上在等式1中使用的圖像種類i的顏色變換矩陣A(Ai)(i∈{1,…,N})。理論上,這可以計算為:
但是實際上,有更好的數(shù)值算法可用。
如以上描述的,根據(jù)實施例,源圖像和目標(biāo)圖像描繪了血樣并且圖像元素的N個種類包括以下至少兩者:用于白血球的細(xì)胞質(zhì)的種類、用于白血球的細(xì)胞核的種類、用于紅血球的種類以及用于圖像的背景的種類。
本領(lǐng)域的技術(shù)人員意識到,本發(fā)明決不限于以上描述的優(yōu)選實施例。相反地,在所附的權(quán)利要求的范圍內(nèi),許多修改和變化是可能的。例如,如果圖像元素種類中的物體具有類似的光譜功率分布,則圖像元素種類可以包括多于一個類型的物體。