專(zhuān)利名稱(chēng)：經(jīng)由多重波長(zhǎng)光改善圖像質(zhì)量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體來(lái)說(shuō)涉及一種用于改善經(jīng)由單色攝像機(jī)捕獲的圖像的圖像質(zhì)量的方法。
背景技術(shù)：
有一類(lèi)以平面及鏡面(平坦且光亮)為主的半導(dǎo)體產(chǎn)品，且其經(jīng)常需要以以下方 式來(lái)對(duì)這些裝置進(jìn)行成像甚至從平面及鏡面的細(xì)微偏差仍用足夠的對(duì)比度來(lái)進(jìn)行成 像。 一種此類(lèi)產(chǎn)品包括半導(dǎo)體晶片，其可具有指示(除其它以外)晶片編號(hào)及制造商 的標(biāo)記。所述標(biāo)記是所述晶片表面中的缺陷且通常是經(jīng)激光蝕刻的凹坑矩陣。其便是 所屬技術(shù)領(lǐng)域中熟知的"軟記號(hào)"或"基準(zhǔn)標(biāo)記"。需要在制造過(guò)程中的各步驟處將 這些標(biāo)記成像，以便讀取代碼。
另一類(lèi)使用激光功率材料移除方案來(lái)進(jìn)行例行處理的產(chǎn)品包括經(jīng)電解質(zhì)涂布的 導(dǎo)電金屬襯底，其用作半導(dǎo)體裝置的芯片載體或用作電子裝置的印刷線(xiàn)路板。這些也 以平面及鏡面(平坦且閃亮)為主，且經(jīng)常需要以足夠的對(duì)比度來(lái)成像表面及/或次表 面特征的方式來(lái)對(duì)這些裝置進(jìn)行成像。 一種此類(lèi)產(chǎn)品包括半導(dǎo)體芯片載體，其可具有 指示(除其它以外)過(guò)程資料的標(biāo)記。所述標(biāo)記通常為所述工件的表面上方或下方的 導(dǎo)電金屬(通常為銅或銅合金)且通常具有在早期處理步驟期間通過(guò)化學(xué)蝕刻所述金 屬導(dǎo)電層而產(chǎn)生的圓形、正方形或其它幾何形狀。但這些標(biāo)記可包括穿過(guò)整個(gè)工件的 機(jī)械鉆孔或穿孔。其便是所屬技術(shù)領(lǐng)域中所熟知的"工具孔"、"基準(zhǔn)記號(hào)"，或簡(jiǎn) 稱(chēng)為"對(duì)準(zhǔn)目標(biāo)"。需要在制造過(guò)程中的各步驟處成像這些記號(hào)，以將所述工件對(duì)準(zhǔn) 機(jī)器并按比例調(diào)整。
在處理過(guò)所述裝置之后(通常通過(guò)將其鋸割為個(gè)別矩形裝置的方式進(jìn)行切割)， 便可能需要檢查邊緣是否有可隨著時(shí)間而增生且導(dǎo)致過(guò)早裝置故障的小碎片或裂痕， 或是針對(duì)裝飾性或功能性理由來(lái)檢查所述經(jīng)過(guò)激光處理的特征。這些檢查過(guò)程是自動(dòng) 的且結(jié)合經(jīng)編程以執(zhí)行必要檢查、測(cè)量及識(shí)別的數(shù)字電子計(jì)算機(jī)使用電子成像攝像機(jī)。
為正確地對(duì)這些物體進(jìn)行成像(包括突出這些非常細(xì)微的特征)，會(huì)用到多個(gè)照
明系統(tǒng)及攝像機(jī)。舉例來(lái)說(shuō)，標(biāo)題為"襯底上的標(biāo)記的OCR的照明系統(tǒng)(Illumination System for OCR of Indicia on a Substrate)"的第5,737,122號(hào)共同受讓美國(guó)專(zhuān)利，其以 引用的方式整體并入本文中。'122專(zhuān)利說(shuō)明一種系統(tǒng)，其中攝像機(jī)的軸線(xiàn)與照明模塊 的軸線(xiàn)對(duì)稱(chēng)于鏡面物體的法線(xiàn)，從而處于互補(bǔ)的銳角。窄角暗場(chǎng)的光靠近所述光軸而
4定位且被阻止通過(guò)所述攝像機(jī)來(lái)直接成像，通過(guò)放置在成像路徑中的檔板來(lái)避免此。 所述檔板的位置限制成像器的視場(chǎng)，但此被視為可接受的折衷。
在另一實(shí)例中，共同受讓的第6,870,949號(hào)美國(guó)專(zhuān)利揭示一種同軸的窄角暗場(chǎng)成 像系統(tǒng)，其使用遠(yuǎn)心透鏡以對(duì)稱(chēng)的同軸窄角暗場(chǎng)照明來(lái)照射物體。所述照明技術(shù)特別 適于突出平面鏡面物體上的細(xì)微特征或缺陷。特定來(lái)說(shuō)，所述同軸光源將光線(xiàn)導(dǎo)向遠(yuǎn) 心透鏡，所述遠(yuǎn)心透鏡將所述光線(xiàn)重新導(dǎo)向所述大致為平面的鏡面物體。所述光線(xiàn)通 過(guò)所述遠(yuǎn)心透鏡反射回到攝像機(jī)。就所述光線(xiàn)被從所述物體的平面鏡面部分反射來(lái)說(shuō)， 所述光線(xiàn)被遠(yuǎn)心光闌阻擋。從所述平面鏡面物體中的缺陷或特征反射的光線(xiàn)將穿過(guò)所 述光闌中的孔徑到達(dá)攝像機(jī)。第6,870,949號(hào)美國(guó)專(zhuān)利也以引用的方式整體并入本文 中。
通過(guò)這些及其它系統(tǒng)，使用單色攝像機(jī)獲得的圖像通常以灰階顯示。所使用的光 為白光或單色光，例如白光或單波長(zhǎng)LED。使用這些圖像，針對(duì)檢查及部件對(duì)準(zhǔn)目的
而進(jìn)行的工件上的基準(zhǔn)標(biāo)記的自動(dòng)識(shí)別為加工工業(yè)中廣為接受的實(shí)踐。已研發(fā)各種算 法且其可容易地用于處理所述圖像以實(shí)現(xiàn)此識(shí)別。然而，不論算法多么地復(fù)雜，在目
標(biāo)與周?chē)尘爸g具有高對(duì)比度水平的"良好"圖像仍是其成功的關(guān)鍵。

發(fā)明內(nèi)容
本文所揭示的方法及設(shè)備通過(guò)改善經(jīng)由單色攝像機(jī)捕獲的圖像的圖像對(duì)比度來(lái) 改善圖像質(zhì)量?？蓪⑦@些經(jīng)改善圖像饋入目標(biāo)識(shí)別例行程序或算法，以確定表面上的 記號(hào)(包括但不限于標(biāo)記)的識(shí)別。
本文所教示的一種用以改善經(jīng)由單色攝像機(jī)捕獲的表面的圖像的圖像質(zhì)量的方 法包括(舉例來(lái)說(shuō))使用多重波長(zhǎng)照明來(lái)獲得多個(gè)圖像并基于所述多個(gè)圖像來(lái)優(yōu)化所 述表面的部分之間的對(duì)比度。
本文所教示的一種用以改善經(jīng)由單色攝像機(jī)捕獲的表面的圖像的圖像質(zhì)量的設(shè) 備包括(舉例來(lái)說(shuō))用于使用多重波長(zhǎng)照明來(lái)獲得多個(gè)圖像的構(gòu)件及基于所述多個(gè)圖 像來(lái)優(yōu)化所述表面的部分之間的對(duì)比度的構(gòu)件。
下文將進(jìn)一步詳細(xì)論述本發(fā)明的這些及其它獨(dú)特特征。


圖1為典型單色CCD攝像機(jī)的光譜響應(yīng)的實(shí)例； 圖2為目標(biāo)區(qū)域的反射率Br ("的實(shí)例；
圖3為背景區(qū)域的反射率HB a)的實(shí)例；
圖4為根據(jù)本發(fā)明的一個(gè)方面的對(duì)比度優(yōu)化的流程圖； 圖5為圖4中所示的對(duì)比度優(yōu)化的塊50的細(xì)節(jié)的流程圖； 圖6為根據(jù)本發(fā)明的另一方面的有源噪聲消除的流程圖；圖7為顯示兩個(gè)圖像的合成的流程圖8為顯示本文所說(shuō)明的多色led的典型光譜輸出的曲線(xiàn)圖9a為在藍(lán)光led照明下由單色攝像機(jī)捕獲的實(shí)際對(duì)準(zhǔn)目標(biāo)的原始圖像及所述
圖像的"目標(biāo)"區(qū)域及"背景"區(qū)域的定界框；
圖9b為在綠光led照明下由同一單色攝像機(jī)捕獲的同一對(duì)準(zhǔn)目標(biāo)的原始圖像 圖9c為在紅光led照明下由同一單色攝像機(jī)捕獲的同一對(duì)準(zhǔn)目標(biāo)的原始圖像； 圖9d為在紅外光(ir) led照明下由同一單色攝像機(jī)捕獲的同一對(duì)準(zhǔn)目標(biāo)的原 始圖像；
圖10為將圖8a-8d中所提供的四個(gè)原始圖像的平均背景像素值、目標(biāo)像素值及 對(duì)比度度量相比較的表格；及
圖11為通過(guò)以代數(shù)方式組合圖9a及9d的原始圖像獲得的合成對(duì)比度圖像，9a 及9d的原始圖像根據(jù)圖7的流程圖在藍(lán)光及ir led照明下獲得。
具體實(shí)施例方式
使用本發(fā)明可實(shí)現(xiàn)改善經(jīng)由單色攝像機(jī)捕獲的圖像的圖像對(duì)比度及目標(biāo)識(shí)別質(zhì) 量的目的。 一般來(lái)說(shuō)，執(zhí)行使用多重波長(zhǎng)照明的對(duì)比度優(yōu)化算法。使用程序來(lái)確定所 述照明系統(tǒng)中可用波長(zhǎng)中的哪一特定波長(zhǎng)最適合便可通過(guò)使用單一波長(zhǎng)來(lái)獲得最大對(duì) 比度。其次，通過(guò)采用所述對(duì)比度優(yōu)化算法來(lái)確定提供目標(biāo)與背景之間的最大對(duì)比度 與最小對(duì)比度的照明方案便可通過(guò)有源噪聲消除來(lái)進(jìn)一步改善將被饋入所述目標(biāo)識(shí)別 例行程序的圖像的質(zhì)量。然后，可通過(guò)逐像素地以最大對(duì)比度圖像除以最小對(duì)比度圖 像來(lái)實(shí)現(xiàn)所需圖像紋理數(shù)據(jù)(即，噪聲)消除的目的。第三，可通過(guò)減去被兩個(gè)或更 多個(gè)個(gè)別波長(zhǎng)照射的所關(guān)心區(qū)域的圖像來(lái)產(chǎn)生在目標(biāo)與背景之間具有高對(duì)比度的合成 圖像。然后，可將所得的組合圖像饋入多個(gè)已知目標(biāo)識(shí)別算法中的任一者中。
可根據(jù)本文的說(shuō)明使用通常包含控制器、攝像機(jī)及照明系統(tǒng)的任何已知圖像獲取 系統(tǒng)。本文所說(shuō)明的算法可被編程到所述標(biāo)準(zhǔn)控制器中或可由所述標(biāo)準(zhǔn)控制器執(zhí)行或 可由耦合到存儲(chǔ)器(其存儲(chǔ)所述算法)的通用微控制器執(zhí)行或由所屬技術(shù)領(lǐng)域中已知 的具有機(jī)載存儲(chǔ)器的微控制器執(zhí)行。
通過(guò)首先研發(fā)用于圖像上的目標(biāo)(例如，標(biāo)記)與背景之間的對(duì)比度的數(shù)學(xué)模型
來(lái)最好地說(shuō)明細(xì)節(jié)。用到以下定義。單色攝像機(jī)的光譜響應(yīng)g a)定義為依據(jù)入射光 波長(zhǎng)的攝像機(jī)量子效率。其次，平坦表面的反射光譜h a)定義為當(dāng)通過(guò)平坦光譜光 源(即，在所述攝像機(jī)/透鏡系統(tǒng)正確響應(yīng)并聚焦的波長(zhǎng)范圍中提供不變的照射水平的 光源)照射所述表面時(shí)，來(lái)自所述表面的反射的規(guī)范化光譜。
圖1為典型單色電荷耦合裝置(ccd)攝像機(jī)的光譜響應(yīng)的實(shí)例。圖2及3分別
為實(shí)例性目標(biāo)區(qū)域及背景區(qū)域的反射率(ht a)及Hb a))的實(shí)例。應(yīng)注意，圖2
顯示銅的法線(xiàn)入射反射率對(duì)波長(zhǎng)，因?yàn)殂~為上文所說(shuō)明的共用目標(biāo)。實(shí)例性背景為rcf
6樹(shù)脂，因此在圖3中顯示RCF樹(shù)脂的法線(xiàn)入射反射率對(duì)波長(zhǎng)。
假設(shè)存在iV個(gè)不同光源，其對(duì)應(yīng)于波長(zhǎng)^，其中hl，...,W。第it個(gè)光源的光譜響 應(yīng)& (;u的方程式(1)如下
聰-a膝Xk); (l)
其中，(Xk指示第A個(gè)光源的強(qiáng)度，而5指示狄拉克A函數(shù)(Dirac-Delta function)。假 設(shè)一空間均勻的目標(biāo)，那么所述目標(biāo)區(qū)域中像素的攝像機(jī)輸出(Co"^)如下
c崎 =g a*〖。。c (，r -a* 〉<a (2)
應(yīng)注意，方程式(2)假設(shè)所述攝像機(jī)輸出并未飽和。以類(lèi)似方式，所述背景區(qū)
域的攝像機(jī)輸出(C0UtB)如下
<formula>formula see original document page 7</formula>
此也假設(shè)所述攝像機(jī)輸出并未飽和。
現(xiàn)在，人們可根據(jù)方程式(4)來(lái)定義"對(duì)比度度量"(CM):
上文所定義的對(duì)比度度量Cm具有多個(gè)重要特征。首先，所述度量不因總強(qiáng)度的 全局改變而變化。 一般來(lái)說(shuō)，通過(guò)同一因子來(lái)改變所有光源的相對(duì)強(qiáng)度將不會(huì)改變圖 像對(duì)比度。此與常識(shí)一致；人們將不會(huì)預(yù)期僅通過(guò)將每一像素值乘以常數(shù)因子來(lái)改善 灰階圖像中的真實(shí)對(duì)比度。還應(yīng)注意，此定義暗示人們應(yīng)使用"規(guī)范化的"算法來(lái)進(jìn) 行目標(biāo)識(shí)別，例如所屬技術(shù)領(lǐng)域中已知的規(guī)范化相關(guān)。人們也可在選用所述目標(biāo)識(shí)別 法之前對(duì)所有所捕獲圖像應(yīng)用直方圖均衡化法。
第二重要特征是，對(duì)比度度量Cw相對(duì)于所述目標(biāo)及背景而對(duì)稱(chēng)。也就是說(shuō)，交 換被視為"目標(biāo)"者與被視為"背景"者將不會(huì)改變對(duì)比度度量Cw。此也與所屬技術(shù) 領(lǐng)域中的技術(shù)人員所普遍了解的"目標(biāo)與背景之間的對(duì)比度" 一詞的常識(shí)相當(dāng)一致。
相對(duì)于"背景"具有高對(duì)比度的"目標(biāo)"自動(dòng)地暗示相對(duì)于所述目標(biāo)具有高對(duì)比度的
祖且 S豕。
對(duì)比度度量Cw的第三重要特征是，其最大值為一 (1)。當(dāng)所述攝像機(jī)對(duì)目標(biāo)或
背景的響應(yīng)同樣為零時(shí)便會(huì)達(dá)到此目的。通過(guò)正確地縮放總強(qiáng)度，此情景便對(duì)應(yīng)于以 白色背景為背景的完美黑色目標(biāo)，或反之亦然。所述度量會(huì)在此特殊情況中產(chǎn)生最高 對(duì)比度的事實(shí)同樣與常識(shí)相當(dāng)一致。
給出以上觀(guān)察的前提下，以上方程式(4)中所定義的對(duì)比度度量Cw便是用于本 文所說(shuō)明的分析的適當(dāng)工具。將來(lái)自方程式(2)及(3)的CoM^及Co"^的表達(dá)式代入方程式(4)中，人們
便可獲得對(duì)比度度量CM的以下方程式(5):
其中n
(5)
在將攝像機(jī)的飽和水平定義為Co"^^之后，人們現(xiàn)在準(zhǔn)備以精確的數(shù)學(xué)項(xiàng)來(lái)提
出對(duì)比度優(yōu)化問(wèn)題。對(duì)于給定的集rLr^9r(^ =1,...，^來(lái)說(shuō)，發(fā)現(xiàn)^使受到以下限
制的方程式(5)最大化
1>*「/"卯/鵬及
初次看見(jiàn)時(shí)，要解決此對(duì)比度優(yōu)化問(wèn)題似乎很困難。然而，略作觀(guān)察便會(huì)獲得簡(jiǎn) 單的算法來(lái)解決所述問(wèn)題。首先，對(duì)^的限制產(chǎn)生由W+2超平面限定的一可行解的凸
集ocfO, 1，…,yv; r^c^r:= CowMAX; iz^'a*rkfl= cowM/U。本文中將最后這兩 個(gè)超平面稱(chēng)作"飽和超平面"。
其次，在對(duì)應(yīng)于形成可行解的所述集的邊界的所述W+2個(gè)超平面中的一者的表面
上會(huì)存在最佳解。此為先前所說(shuō)明的對(duì)比度度量c^不會(huì)因總強(qiáng)度改變而變化的事實(shí)
的直接結(jié)果。舉例來(lái)說(shuō)，假設(shè)存在不在邊界表面上的最佳解a:。在此情況下，人們便 可使用適當(dāng)?shù)脑鲆嬉蜃覻簡(jiǎn)單地縮放所有"，從而使得，位于邊界表面上。由于對(duì) 強(qiáng)度進(jìn)行此類(lèi)總縮放并不改變對(duì)比度度量CM，因此解Y"將產(chǎn)生與原始解相同的最佳 對(duì)比度度量，且因而本身便是最佳解。
得出最佳解將存在于邊界表面上的結(jié)論，便可進(jìn)行額外觀(guān)察。第三觀(guān)察是所述解 將不沿形成所述飽和超平面之間的相交的超線(xiàn)。原因是沿此線(xiàn)所述對(duì)比度度量將為零， 其不能成為最佳(最大)解。第四，可顯示出最佳解不能位于所述飽和超平面所形成 的邊界表面中的任一者的中間。對(duì)任一此種可行解來(lái)說(shuō)，人們可以數(shù)學(xué)方式顯示出通 過(guò)在正確方向且仍在所述表面上移動(dòng)所述解點(diǎn)，便會(huì)有更好的解。此更好解的存在暗 示原始解不可能是最佳解。
將所有這些觀(guān)察放在一起，最佳解肯定位于所述兩個(gè)飽和超平面中的一者與^=0， hi,...，TV超平面中的yv-i形成的"角"中的一者處。此意指所述最佳解將具有
以下方程式(6)的形式。
0如果'ifc tw (6)
此方程式不僅提供簡(jiǎn)單的算法來(lái)確定將產(chǎn)生最佳對(duì)比度的照明配置，其還提供對(duì) 所述問(wèn)題的重要見(jiàn)解。換句話(huà)說(shuō)，在所述7V個(gè)光源中的僅一者有效的情況下獲得最大 對(duì)比度。下文將更詳細(xì)地論述此觀(guān)察的含意。
接下來(lái)，便是用于確定照明條件的算法，在所述照明條件下實(shí)現(xiàn)由方程式(4) 的對(duì)比度度量CM所定義的最大對(duì)比度。對(duì)每一A =1,...，^來(lái)說(shuō)，如下式找到單個(gè)源對(duì) 比度C風(fēng)jt。
「 、(r"r/)' 岸 G)l
然后，選擇對(duì)應(yīng)于在先前步驟中所計(jì)算的最大的CM,k值的波長(zhǎng)、且將其用于照射所述 表面。
應(yīng)注意，以上算法并未規(guī)定將要用于最大對(duì)比度的強(qiáng)度&的絕對(duì)值。此同樣與對(duì) 比度度量CM的數(shù)學(xué)定義一致，其不會(huì)隨著總強(qiáng)度水平而變化。然而，對(duì)于實(shí)際的實(shí) 施方案來(lái)說(shuō)，將C^設(shè)為其最大許可值
A :min《CoW贈(zèng)/r/",Onrf腐/r, }
將改善原始圖像(即，在進(jìn)行優(yōu)化之前由單色攝像機(jī)捕獲的圖像)的信號(hào)與量化噪聲 比。
實(shí)際上，對(duì)于以上算法的實(shí)例來(lái)說(shuō)，假設(shè)通過(guò)紅光、綠光及藍(lán)光(RGB)照明來(lái)
照射表面的目標(biāo)及背景，且會(huì)觀(guān)察到以下r值'
rc、3,rGfl=5;及1 rflr=8,ras-5.
采用本文的教示，人們可獲得用于個(gè)別光(僅紅光、僅綠光及僅藍(lán)光)方案的以下對(duì)
比度度量
Cw/l-|5~2i/(5+2)=3/7; Cw,<H3"5(/(3+5)=2/8;及1 Cw,a-|8"5i/(8+5)=3/-13.
在此特定實(shí)例中，僅紅光照明將在背景與目標(biāo)之間產(chǎn)生最高對(duì)比度。如果Cm^MX 為255，那么應(yīng)將對(duì)應(yīng)的強(qiáng)度因子％設(shè)為0^=255/5=51。
用于確定最大對(duì)比度的最佳照明條件的算法需要知道多重波長(zhǎng)照明配置中所有可用波長(zhǎng)的目標(biāo)及背景的攝像機(jī)輸出?？赏ㄟ^(guò)執(zhí)行參照?qǐng)D4所說(shuō)明的以下算法來(lái)滿(mǎn)足 這些條件。
針對(duì)所述光配置中的每一可用波長(zhǎng)，在10處捕獲包含所述目標(biāo)及所述背景的圖 像。在12處，在這些圖像中，識(shí)別兩個(gè)小的"僅目標(biāo)"或"僅背景"區(qū)域。實(shí)際上， 進(jìn)行此操作的最簡(jiǎn)單方式是針對(duì)每一區(qū)域畫(huà)出兩個(gè)定界框。接下來(lái)，在14處，通過(guò)對(duì) 在12處識(shí)別的對(duì)應(yīng)區(qū)域的像素值進(jìn)行平均且析出在捕獲所述圖像時(shí)所用的特定強(qiáng)度 水平(a)來(lái)計(jì)算每一波長(zhǎng)處的背景與目標(biāo)的攝像機(jī)輸出。如果任一數(shù)據(jù)集的攝像機(jī)輸 出在16處飽和，那么在18處降低所述圖像的照明強(qiáng)度，且在20處重新捕獲所述圖像。 然后，所述算法返回以在12處識(shí)別新圖像的區(qū)域，且繼續(xù)前進(jìn)到14處的計(jì)算，或視 需要直接返回到14處的計(jì)算。在22處，釆用對(duì)比度優(yōu)化算法來(lái)確定將產(chǎn)生最大對(duì)比 度以及正確強(qiáng)度水平(其會(huì)將攝像機(jī)輸出驅(qū)動(dòng)到背景或目標(biāo)區(qū)域的飽和限制)的照明 波長(zhǎng)。應(yīng)注意，如上所述，此將有助于改善原始圖像的信噪比。
在22處所執(zhí)行的對(duì)比度優(yōu)化算法已說(shuō)明于前文中且可如圖5中所示的那樣對(duì)其 進(jìn)行總結(jié)。更具體來(lái)說(shuō)，在24處計(jì)算單個(gè)源的單個(gè)源對(duì)比度Qa。在26處，作出是 否已計(jì)算每一源的單個(gè)源對(duì)比度Qa的詢(xún)問(wèn)。24處的計(jì)算重復(fù)直到完成所有計(jì)算為止。 在28處，選擇最大的單個(gè)源對(duì)比度Qva。在30處，選擇對(duì)應(yīng)于所述最大單個(gè)源對(duì)比 度CM,fe的波長(zhǎng)、來(lái)照射所述表面以獲得圖像來(lái)進(jìn)行額外處理。
至此，本揭示內(nèi)容聚焦于確定將產(chǎn)生在目標(biāo)與背景之間具有最高對(duì)比度的單個(gè)圖 像的照明方案。通過(guò)使用多個(gè)圖像來(lái)基于在不同照明方案下收集的數(shù)據(jù)產(chǎn)生"組合" 圖像以改善后續(xù)目標(biāo)識(shí)別算法的性能便可獲得額外益處，也就是說(shuō)，從現(xiàn)有技術(shù)中得 知的使用圖像(例如，經(jīng)優(yōu)化或本文中所說(shuō)明的組合圖像)來(lái)識(shí)別目標(biāo)(例如，標(biāo)記) 的算法。接下來(lái)說(shuō)明一種使用這些多重圖像的方法。
首先，如果人們?cè)诳臻g中具有完全均勻的目標(biāo)及背景，那么人們實(shí)際上可在任何 照明條件下產(chǎn)生具有完美對(duì)比度的圖像。將確定落在目標(biāo)的攝像機(jī)輸出與背景的攝像 機(jī)輸出之間的閾值，且然后將二值取閾用于原始圖像，以產(chǎn)生具有完美對(duì)比度的黑白 圖像。實(shí)際上此過(guò)分簡(jiǎn)單的方法經(jīng)常失敗的主要原因有二。 一個(gè)原因是背景或目標(biāo)或 兩者很少在空間中會(huì)完全均勻。大多時(shí)候是其具有紋理/斑點(diǎn)，此使確定用以明確"劃 分"目標(biāo)與背景的閾值相當(dāng)困難。另一原因是，由于光學(xué)限制或用來(lái)產(chǎn)生與背景對(duì)比 度的目標(biāo)的過(guò)程的空間分辨率，邊緣處總是存在模糊。
對(duì)這些問(wèn)題的一種響應(yīng)是改善此種不完美圖像的信噪比(SNR)。進(jìn)行此操作的 一種方式是通過(guò)選擇一種讓目標(biāo)與背景會(huì)有不同響應(yīng)的照明波長(zhǎng)，以挑選一種使目標(biāo) 圖像與背景圖像之間的差異最大化的照明方案。此便是上文所論述的對(duì)比度優(yōu)化方法 所要做的。
改善SNR的另一種方法是有源噪聲消除。在從圖像進(jìn)行目標(biāo)識(shí)別的上下文中， 此對(duì)應(yīng)于從原始圖像消除紋理信息，以便以"平滑"的目標(biāo)及背景結(jié)束。為了解此在 單波長(zhǎng)照明下可能引發(fā)的狀況，可將以上攝像機(jī)輸出模型一般化以包括如下紋理信息:
10<formula>formula see original document page 11</formula>其中函數(shù)r 6c， .W表示整個(gè)圖像中的紋理信息，而f/r 6c， .W及^ 6c， W分別是在
除目標(biāo)區(qū)域及背景區(qū)域上方以外的任何地方均為零的遮蔽函數(shù)。
為使用此方法，人們獲得兩個(gè)圖像而非一個(gè)。如圖6中的40處所示，如上文在 用于確定最佳照明條件的方法中所詳述的那樣使用使對(duì)比度最大化的波長(zhǎng)來(lái)捕獲第一 圖像。在42處，使用用于解決以上對(duì)比度最大化問(wèn)題的相同程序以具有使對(duì)比度最小 化的波長(zhǎng)的照明方案來(lái)捕獲第二圖像。
根據(jù)定義，在經(jīng)由使目標(biāo)(或基準(zhǔn))與背景之間的對(duì)比度最小化的照明方案捕獲 的圖像中存在最小目標(biāo)-背景差異信息。因此，最小對(duì)比度圖像主要包含此方法試圖消 除的紋理數(shù)據(jù)。因此，在44處，具有最大對(duì)比度的圖像"除以"具有最小對(duì)比度的圖 像，以便從方程式(7)及(8)有效地消除r 6c,3;J項(xiàng)。也就是說(shuō)，所述圖像的每一 像素的亮度值除以所述圖像中具有最小對(duì)比度的對(duì)應(yīng)像素的亮度值。此產(chǎn)生更平滑 (即，相對(duì)無(wú)噪聲)的背景及目標(biāo)圖像。然后，可在46處將此所謂的"組合"圖像饋 入下游目標(biāo)識(shí)別算法中，以進(jìn)行前文所述的處理。
用以改善圖像的SNR的第三種方法是從在目標(biāo)及背景由兩個(gè)或更多個(gè)波長(zhǎng)中的 每一者照射時(shí)所捕獲的多個(gè)圖像形成所關(guān)心區(qū)域的合成圖像。在此實(shí)例中，從一個(gè)圖 像中減去另一圖像，以產(chǎn)生在目標(biāo)與背景之間具有增強(qiáng)的對(duì)比度的合成圖像。
更具體來(lái)說(shuō)，使用以下所觀(guān)察的r值，考慮上文就RGB照明所論述的情景
r J=5，r^=2i rj-3，rj=5; rj=8，r|=5,
根據(jù)先前論述，單獨(dú)的紅光將給出最高對(duì)比度的原始圖像。然而，考慮通過(guò)從在藍(lán)色 照明下所獲得的圖像中減去在綠色照明下所獲得的圖像而獲得的合成圖像。此等同于
將強(qiáng)度設(shè)為OCR-O、 ccG=-1及《8=+1。將這些值代入方程式(5)中，我們發(fā)現(xiàn)所述合成
圖像的對(duì)比度度量為1，其遠(yuǎn)遠(yuǎn)高于使用僅用紅色照明所獲得的最佳原始圖像可實(shí)現(xiàn) 的對(duì)比度度量。
以上實(shí)例的兩個(gè)重要方面值得強(qiáng)調(diào)。首先，從一個(gè)原始圖像中減去另一原始圖像 所產(chǎn)生的圖像是真正的"合成"。嘗試通過(guò)照明修改以物理的方式來(lái)產(chǎn)生此種圖像將 需要"負(fù)"強(qiáng)度，此在物理上是不可能的。其次，通過(guò)縮放及減去原始圖像來(lái)獲得具
有均勻?qū)Ρ榷榷攘康暮铣蓤D像通常將是可能的人們所需要做的是縮放個(gè)別圖像，使
得其在目標(biāo)區(qū)域或背景區(qū)域上"匹配"，且隨后從一個(gè)圖像中減去另一 (經(jīng)縮放的) 圖像。
參照?qǐng)D7-ll顯示以上教示的實(shí)際實(shí)例。在此實(shí)例中，使用藍(lán)光、綠光、紅光及紅 外光LED來(lái)照射PCB板上的對(duì)準(zhǔn)目標(biāo)，且在48處通過(guò)單色攝像機(jī)來(lái)捕獲對(duì)應(yīng)的四個(gè)"原始"圖像。圖8顯示所說(shuō)明的多色LED的光譜輸出?？稍趫D9A到9D中看到所 得的原始圖像，其中圖9A顯示在藍(lán)光LED照明下的目標(biāo)及背景，而圖9B-9D分別顯 示在綠光LED照明、紅光LED照明及紅外光(IR) LED照明下的同一 目標(biāo)及背景。
接下來(lái)，在50處為每一原始圖像確定所述圖像的"目標(biāo)"及"背景"區(qū)域的定 界框。這些定界框的實(shí)例顯示于圖9A中。在52處為所有四個(gè)圖像計(jì)計(jì)算這些定界框 內(nèi)的平均像素值且確定對(duì)應(yīng)的對(duì)比度度量。圖10總結(jié)這些計(jì)算的結(jié)果。根據(jù)這些結(jié)果， 在藍(lán)光LED照明下所獲得的原始圖像具有目標(biāo)與背景之間的最高對(duì)比度。此與所述四 個(gè)圖像的視覺(jué)比較一致。
可以以下方式來(lái)獲得"合成的"圖像。首先，在54處選擇將要使用代數(shù)操作來(lái) 用于合成圖像的圖像。在此實(shí)例中，所選擇的第一圖像是在藍(lán)光LED照明下所獲得的 原始圖像，而所選擇的第二圖像是在IR LED照明下所獲得的原始圖像。這些原始圖 像在其相應(yīng)背景平均像素值與目標(biāo)平均像素值之間具有彼此相反的比率。接下來(lái)，在 56處縮放所述圖像中的一者，使得可"零化"所述背景或所述目標(biāo)的平均像素值。舉 例來(lái)說(shuō)，在此情況下，在IR LED照明下所獲得的原始圖像的每一像素乘以在藍(lán)光LED 照明下所獲得的原始圖像的目標(biāo)平均像素值與在IR LED照明下所獲得的原始圖像的 目標(biāo)平均像素值的比率，即144.1300/125.7639。
在58處，逐像素地從另一經(jīng)選定的圖像(在此為在藍(lán)光LED照明下所獲得的原 始圖像)減去經(jīng)縮放的圖像。此產(chǎn)生使目標(biāo)區(qū)域具有實(shí)際為零(0)的平均像素值的圖 像。接下來(lái)，針對(duì)所得的圖像，在60處計(jì)算未被零化的區(qū)域的平均像素值。對(duì)于此實(shí) 例性圖像來(lái)說(shuō)，計(jì)算平均背景像素值。然后，在62處，通過(guò)正確因子來(lái)縮放所述圖像 的每一像素，以讓所述平均像素值(在此為所述背景區(qū)域的平均像素值)增大到最大 像素值(例如，255)。
圖11圖解說(shuō)明在執(zhí)行這些步驟之后的合成圖像。此圖像的對(duì)比度度量經(jīng)計(jì)算為 0.9624，其非常接近理論上的最大值1。與圖10中所示的四個(gè)原始圖像相比較，此對(duì) 比度度量標(biāo)志著對(duì)比度的顯著改善。還可通過(guò)視覺(jué)檢查如圖11中所示的圖像而容易地 驗(yàn)證此改善。
已說(shuō)明上文所說(shuō)明的實(shí)施例，以便允許容易地了解本發(fā)明，而非限制本發(fā)明。相 反，本發(fā)明既定涵蓋所附權(quán)利要求書(shū)的精神及范圍內(nèi)所包括的各種修改及等效布置， 所述范圍與最廣義的解釋一致，以便在法律的許可下涵蓋所有此類(lèi)修改及等效結(jié)構(gòu)。
權(quán)利要求
1、一種用以改善經(jīng)由單色攝像機(jī)捕獲的表面的圖像的圖像質(zhì)量的方法，所述表面包括目標(biāo)及背景，所述方法包含使用多重波長(zhǎng)照明來(lái)獲得多個(gè)圖像；及基于所述多個(gè)圖像來(lái)優(yōu)化所述表面的部分之間的對(duì)比度。
2、 如權(quán)利要求l所述的方法，其中使用多重波長(zhǎng)照明進(jìn)一步包含 在多個(gè)波長(zhǎng)之間改變所述多重波長(zhǎng)照明；且其中優(yōu)化對(duì)比度進(jìn)一步包括確定所述多個(gè)波長(zhǎng)中的哪一波長(zhǎng)產(chǎn)生具有最佳對(duì)比度的圖像。
3、 如權(quán)利要求1或權(quán)利要求2所述的方法，其進(jìn)一步包含確定所述多重波長(zhǎng)照明的每一波長(zhǎng)的所述目標(biāo)及所述背景的相應(yīng)攝像機(jī)輸出；及 在優(yōu)化對(duì)比度時(shí)使用所述目標(biāo)及所述背景的所述相應(yīng)攝像機(jī)輸出。
4、 如權(quán)利要求1-3中任一權(quán)利要求所述的方法，其進(jìn)一步包含 捕獲所述多重波長(zhǎng)照明的一波長(zhǎng)的圖像；識(shí)別僅目標(biāo)區(qū)域內(nèi)的至少兩個(gè)目標(biāo)區(qū)域；識(shí)別僅背景區(qū)域內(nèi)的至少兩個(gè)背景區(qū)域；將所述至少兩個(gè)目標(biāo)區(qū)域的像素值求平均；將所述至少兩個(gè)背景區(qū)域的像素值求平均；析出在捕獲所述圖像時(shí)所使用的強(qiáng)度水平；及在優(yōu)化對(duì)比度時(shí)使用所述目標(biāo)及所述背景的所述相應(yīng)攝像機(jī)輸出。
5、 如權(quán)利要求1-4中任一權(quán)利要求所述的方法，其中優(yōu)化所述表面的部分之間 的對(duì)比度進(jìn)一步包含針對(duì)在所述多重波長(zhǎng)照明中可用的所述多個(gè)波長(zhǎng)中的每一波長(zhǎng)計(jì)算所述表面的 單個(gè)源對(duì)比度；及選擇對(duì)應(yīng)于最大單個(gè)源對(duì)比度值的波長(zhǎng)。
6、 如權(quán)利要求1-5中任一權(quán)利要求所述的方法，其進(jìn)一步包含執(zhí)行將最大對(duì)比度圖像逐像素地除以最小對(duì)比度圖像以產(chǎn)生具有降低的信噪比 的組合圖像。
7、 如權(quán)利要求6所述的方法，其進(jìn)一步包含使用在優(yōu)化所述多重波長(zhǎng)照明的對(duì)比度時(shí)所獲得的所述對(duì)比度來(lái)捕獲第一圖像，所述第一圖像為所述最大對(duì)比度圖像；使用所述多個(gè)圖像使所述多重波長(zhǎng)照明的對(duì)比度最小化；及 使用在使所述多重波長(zhǎng)照明的對(duì)比度最小化時(shí)所獲得的所述對(duì)比度來(lái)捕獲第二圖像，所述第二圖像為所述最小對(duì)比度圖像。
8、 如權(quán)利要求1-7中任一權(quán)利要求所述的方法，其進(jìn)一步包含以代數(shù)方式組合至少兩個(gè)圖像以合成高對(duì)比度組合圖像。
9、 如權(quán)利要求8所述的方法，其中以代數(shù)方式組合至少兩個(gè)圖像進(jìn)一步包含 選擇所述圖像中的第一者；選擇所述圖像中的第二者；縮放所述圖像中的所述第一者以獲得經(jīng)縮放的圖像；從所述圖像中的所述第二者中減去所述經(jīng)縮放的圖像以獲得第三圖像，其中所述 第三圖像的所述背景及所述目標(biāo)中的一者的對(duì)比度約為零；及縮放所述第三圖像的每一像素以獲得最大平均像素值，其中所得圖像為所述高對(duì) 比度組合圖像。
10、 一種用于執(zhí)行如權(quán)利要求1-9中任一權(quán)利要求所述的方法的設(shè)備。
全文摘要
本發(fā)明揭示一種使用多重波長(zhǎng)照明來(lái)改善經(jīng)由單色攝像機(jī)所捕獲的圖像的圖像質(zhì)量的方法及設(shè)備。對(duì)比度優(yōu)化算法確定那些可用波長(zhǎng)中的哪一特定波長(zhǎng)最適于使對(duì)比度最大化?？赏ㄟ^(guò)確定提供目標(biāo)與背景之間的最大對(duì)比度及最小對(duì)比度的照明方案通過(guò)有源噪聲消除進(jìn)一步改善所述圖像的質(zhì)量。然后，通過(guò)逐像素地將最大對(duì)比度圖像除以最小對(duì)比度圖像便可實(shí)現(xiàn)圖像紋理數(shù)據(jù)(即，噪聲)的消除。另一選擇為，可以代數(shù)方式組合使用至少兩個(gè)波長(zhǎng)獲得的圖像以減小噪聲?？蓪⑺媒M合圖像饋入任何已知的目標(biāo)識(shí)別算法中。
文檔編號(hào)H04N1/40GK101536483SQ200780014754
公開(kāi)日2009年9月16日 申請(qǐng)日期2007年4月27日 優(yōu)先權(quán)日2006年4月28日
發(fā)明者布賴(lài)恩·約翰森, 穆罕默德·E·阿爾帕伊 申請(qǐng)人:Esi電子科技工業(yè)公司