專利名稱：一種數(shù)顯儀表判讀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及工業(yè)計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種數(shù)顯儀表判讀方法。
背景技術(shù)：
以下技術(shù)文獻(xiàn)與本發(fā)明相關(guān)F. Correa Alegria and A. Cruz Serra, “Automaic Calibration of Analog and Digital Measuing Instruments Using Computer Vision, ” IEEE Transaction on Instrumentation and Measurement, VOL. 49， NO. 1， 2000， pp. 94-99.Huiying Shen and James Coughlan, "Reading LCD/LED Displays with a Camera Cell Phone, ” CVPRW06.Rakhi P. Ghugardare, Sandip P. Narote, P. Mukherji, and Prathamesh M. Kulkarni, “Optical Character Recognition System for Seven Segment Display Image of Measuring Instruments,，，TENCON 2009.尹傳歷等，基于視頻圖像的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別.微計(jì)算機(jī)信息，2008，M卷 10-1 期:219-221.
文獻(xiàn)[1]提出的基于計(jì)算機(jī)視覺的自動(dòng)判讀方法缺乏智能性，同時(shí)也要求LCD顯示屏區(qū)域在圖像中占據(jù)主要部分，對(duì)一些IXD顯示屏區(qū)域相對(duì)較小的儀表而言，這一點(diǎn)實(shí)際上很難通過調(diào)整圖像采集裝置做到。文獻(xiàn)[2]的方法存在的問題是，邊緣檢測(cè)和聚類不一定能得到很清晰的用于字符識(shí)別的邊緣束，在受到光照或者陰影影響的圖像中，字符邊緣通常難以順利提取。另外，一些儀表其表面有英文和數(shù)字字符，或者是一些標(biāo)識(shí)、圖案，它們的邊緣會(huì)對(duì)后續(xù)的邊緣束分類構(gòu)成干擾。最后其用模板識(shí)別字符無法應(yīng)對(duì)字體的變化和部分筆畫的缺損的狀況。文獻(xiàn)[3]的方法的缺陷十分明顯，首先處理的圖像局限于IXD顯示屏，這一點(diǎn)不足類似于文獻(xiàn)[1]。其次方法的二值化過程十分粗糙，用的是傳統(tǒng)的最大類間方差法，但在圖像受到噪聲、光照、陰影等多方面因素的影響下，圖像的直方圖通常不是雙峰結(jié)構(gòu)，不滿足 Otsu方法使用條件，因此無法確保得到理想的二值化結(jié)果。文獻(xiàn)W]的方法的主要問題是存在一個(gè)預(yù)處理過程，給通常的檢定過程增加了一步，不符合傳統(tǒng)的使用習(xí)慣。另外，考慮字符結(jié)構(gòu)上的包含關(guān)系，比如“0”包含了 “1”，則必須積累足夠多的幀間差異才能得到完整的字符串的精確邊界，這給檢定操作增加了負(fù)擔(dān)。 同文獻(xiàn)[3]，其二值化方法也存在缺陷。上述方法的魯棒性和識(shí)別率均有待改進(jìn)和提高。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種新的數(shù)顯儀表判讀方法。一種數(shù)顯儀表判讀方法，包括如下步驟
Al、分別提取數(shù)顯儀表圖像的水平邊緣和豎直邊緣，判斷出顯示屏區(qū)域的水平邊緣和豎直邊緣，進(jìn)而提取出顯示屏區(qū)域圖像厶；
A2、用卷積模板對(duì)提取的顯示屏區(qū)域圖像Zi進(jìn)行卷積和量化，并對(duì)量化結(jié)果進(jìn)行二值
化處理，得到二值化顯示屏圖像iV ；
A3、提取二值化顯示屏圖像中的字符串，確定字符串的上下、左右邊界后將每個(gè)字符分割出來；
A4、利用根據(jù)字符所處的矩形設(shè)定的直線與字符的相交次數(shù)和相交位置進(jìn)行識(shí)別字符。優(yōu)選地，在所述步驟Al中，分別用水平Sobel算子和豎直Sobel算子提取數(shù)顯儀表圖像的水平邊緣和豎直邊緣。優(yōu)選地，所述步驟Al中，通過如下方法判斷顯示屏區(qū)域的水平邊緣
在提取出來的數(shù)顯儀表圖像的水平邊緣中，排除與圖像邊界粘連的連通域后，在水平方向上對(duì)剩余的水平邊緣進(jìn)行形態(tài)學(xué)的膨脹操作，再排除長(zhǎng)度小于數(shù)顯儀表圖像寬度的一定比例的連通域，得到水平連通域?qū)⑺鏊竭B通域圖投影到豎直坐標(biāo)上得到水平投影曲線，提取水平投影曲線中所有特定寬度以上的且兩端均有非零值的零區(qū)間；
若所述零區(qū)間只有一個(gè)，則將所述零區(qū)間的兩個(gè)端點(diǎn)對(duì)應(yīng)到顯示屏區(qū)域的兩個(gè)水平邊緣的豎直坐標(biāo)；
若所述零區(qū)間多于一個(gè)，則將對(duì)稱性最好的一對(duì)連通域?qū)?yīng)的零區(qū)間的兩個(gè)端點(diǎn)對(duì)應(yīng)到顯示屏區(qū)域的兩個(gè)水平邊緣的豎直坐標(biāo)。優(yōu)選地，通過如下步驟找出對(duì)稱性最好的一對(duì)連通域
對(duì)于每個(gè)零區(qū)間相應(yīng)的一對(duì)連通域，計(jì)算該對(duì)連通域的左端點(diǎn)之間的差的絕對(duì)值，與該對(duì)連通域的右端點(diǎn)之間的差的絕對(duì)值之和，并將該和最小的一對(duì)連通域判斷為對(duì)稱性最好的一對(duì)連通域。優(yōu)選地，所述步驟Al中，通過如下方法判斷顯示屏區(qū)域的豎直邊緣
在經(jīng)過豎直Sobel算子提取豎直邊緣的數(shù)顯儀表圖像中，利用顯示屏區(qū)域的水平邊緣分割出第一感興趣區(qū)域；
排除第一感興趣區(qū)域中長(zhǎng)度小于一定閾值的連通域，將剩下的豎直邊緣投影到水平坐標(biāo)上，分別將離投影區(qū)域豎直方向的對(duì)稱線兩邊的第一個(gè)零點(diǎn)的水平坐標(biāo)作為顯示屏區(qū)域兩個(gè)豎直邊緣的水平坐標(biāo)。優(yōu)選地，采用如下算法對(duì)顯示屏區(qū)域圖像4進(jìn)行卷積和量化 Ic = cH11 *M1)-max(/x ^M2J1 *M3))；
其中，4為卷積量化結(jié)果，C為以確保4的最大值在255以內(nèi)的常數(shù)，M1、M2和Ai3 是卷積模板，
權(quán)利要求
1.一種數(shù)顯儀表判讀方法，其特征是，包括如下步驟Al、分別提取數(shù)顯儀表圖像的水平邊緣和豎直邊緣，判斷出顯示屏區(qū)域的水平邊緣和豎直邊緣，進(jìn)而提取出顯示屏區(qū)域圖像厶；A2、用卷積模板對(duì)提取的顯示屏區(qū)域圖像4進(jìn)行卷積和量化，并對(duì)量化結(jié)果進(jìn)行二值化處理，得到二值化顯示屏圖像八；A3、提取二值化顯示屏圖像/F中的字符串，確定字符串的上下、左右邊界后再將每個(gè)字符分割出來；A4、利用根據(jù)字符所處的矩形設(shè)定的直線與字符的相交次數(shù)和相交位置進(jìn)行識(shí)別字符。
2.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，所述步驟Al中，通過如下方法判斷顯示屏區(qū)域的水平邊緣在提取出來的數(shù)顯儀表圖像的水平邊緣中，排除與圖像邊界粘連的連通域后，在水平方向上對(duì)剩余的水平邊緣進(jìn)行形態(tài)學(xué)的膨脹操作，再排除長(zhǎng)度小于數(shù)顯儀表圖像寬度的一定比例的連通域，得到水平連通域圖；將所述水平連通域圖投影到豎直坐標(biāo)上得到水平投影曲線，提取水平投影曲線中所有特定寬度以上的且兩端均有非零值的零區(qū)間；若所述零區(qū)間只有一個(gè)，則將所述零區(qū)間的兩個(gè)端點(diǎn)對(duì)應(yīng)到顯示屏區(qū)域的兩個(gè)水平邊緣的豎直坐標(biāo)；若所述零區(qū)間多于一個(gè)，則將對(duì)稱性最好的一對(duì)連通域?qū)?yīng)的零區(qū)間的兩個(gè)端點(diǎn)對(duì)應(yīng)到顯示屏區(qū)域的兩個(gè)水平邊緣的豎直坐標(biāo)。
3.如權(quán)利要求2所述的數(shù)顯儀表判讀方法，其特征是，通過如下步驟找出對(duì)稱性最好的一對(duì)連通域?qū)τ诿總€(gè)零區(qū)間相應(yīng)的一對(duì)連通域，計(jì)算該對(duì)連通域的左端點(diǎn)之間的差的絕對(duì)值，與該對(duì)連通域的右端點(diǎn)之間的差的絕對(duì)值之和，并將該和最小的一對(duì)連通域判斷為對(duì)稱性最好的一對(duì)連通域。
4.如權(quán)利要求2所述的數(shù)顯儀表判讀方法，其特征是，所述步驟Al中，數(shù)顯儀表圖像的水平邊緣和豎直邊緣分別用水平Sobel算子和豎直Sobel算子提取，并通過如下方法判斷顯示屏區(qū)域的豎直邊緣在經(jīng)過豎直Sobel算子提取豎直邊緣的數(shù)顯儀表圖像中，利用顯示屏區(qū)域的水平邊緣分割出第一感興趣區(qū)域；排除第一感興趣區(qū)域中長(zhǎng)度小于一定閾值的連通域，將剩下的豎直邊緣投影到水平坐標(biāo)上，分別將離投影區(qū)域豎直方向的對(duì)稱線兩邊的第一個(gè)零點(diǎn)的水平坐標(biāo)作為顯示屏區(qū)域兩個(gè)豎直邊緣的水平坐標(biāo)。
5.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，采用如下算法對(duì)顯示屏區(qū)域圖像厶進(jìn)行卷積和量化Ic = CiiIl * M1)-TnaxiIl * M2r I1 *M3))；其中，4為卷積量化結(jié)果力以確保4的最大值在255以內(nèi)的常數(shù)，M1、M2和Μ , 是卷積模板，
6.如權(quán)利要求5所述的數(shù)顯儀表判讀方法，其特征是尺度因子巧通過以下步驟進(jìn)行動(dòng)態(tài)調(diào)整若字符串中面積最大的筆畫連通域的平均寬度小于第一設(shè)定值，則增大P,,若大于第二設(shè)定值，則減小巧；若對(duì)r的增大或減小操作次數(shù)超出設(shè)定閾值，則停止對(duì)巧的調(diào)整。
7.如權(quán)利要求5所述的數(shù)顯儀表判讀方法，其特征是，在所述步驟A2中，在經(jīng)過二值化處理后，得到二值化顯示屏圖像4之前，還包括如下步驟用卷積模板對(duì)經(jīng)過二值化處理的顯示屏區(qū)域圖像進(jìn)行卷積，得到包含字符串的豎直筆畫的豎直筆畫圖像；用卷積模板的轉(zhuǎn)置對(duì)經(jīng)過二值化處理的顯示屏區(qū)域圖像進(jìn)行卷積，得到包含字符串的水平筆畫的水平筆畫圖像；對(duì)所述豎直筆畫圖像和水平筆畫圖像進(jìn)行疊加后，再進(jìn)行二值化處理。
8.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，通過如下步驟確定字符串的上下邊界A3. 1、用特定長(zhǎng)度和水平傾角的直線作為開運(yùn)算模板對(duì)所述二值化顯示屏圖像~進(jìn)行開運(yùn)算后，投影到豎直坐標(biāo)上；A3. 2、將豎直坐標(biāo)相隔小于一定值的相鄰的非零區(qū)間當(dāng)成連續(xù)的非零區(qū)間； A3. 3、將豎直坐標(biāo)寬度最大的非零區(qū)間的兩個(gè)端點(diǎn)對(duì)應(yīng)的豎直坐標(biāo)作為字符串的上下邊界的基準(zhǔn)。
9.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，通過如下步驟確定字符串的左邊界A3. 4、在所述二值化顯示屏圖像“中，利用字符串的上下邊界分割出第二感興趣區(qū)域^ ；A3. 5、將所述第二感興趣區(qū)域咎的一定高度以下部分的像素置零，并進(jìn)行豎直投影到水平坐標(biāo)；A3. 6、找出水平寬度大于一定值的非零區(qū)間，將此非零區(qū)間的左端點(diǎn)的水平坐標(biāo)作為對(duì)應(yīng)字符串的左邊界。
10.如權(quán)利要求9所述的數(shù)顯儀表判讀方法，其特征是，通過如下步驟確定字符串的右邊界A3. 7、將第二感興趣區(qū)域4·進(jìn)行豎直投影到水平坐標(biāo)上，形成一系列非零區(qū)間滬，非零區(qū)間^的左端點(diǎn)和右端點(diǎn)分別為Γ和一，其中η為自然數(shù)，η表示f是第η個(gè)非零區(qū)間； 八3.8、將廣-/ 小于一定值的非零區(qū)間嚴(yán)剔除，或者將非零區(qū)間f內(nèi)最大縱坐標(biāo)值小于一定值的非零區(qū)間f剔除；A3. 9、將最右端的非零區(qū)間的右端點(diǎn)坐標(biāo)作為字符串的右邊界坐標(biāo)。
11.如權(quán)利要求10所述的數(shù)顯儀表判讀方法，其特征是在步驟A3. 7之前還包括將所述第二感興趣區(qū)域4·中特定高度以下部分的像素置零后形成圖像4 ；所述步驟A3.7為對(duì)所述圖像#進(jìn)行豎直投影到水平坐標(biāo)上，形成一系列非零區(qū)間廠，非零區(qū)間的左端點(diǎn)和右端點(diǎn)分別為Γ和其中η為自然數(shù)，η表示廣是第η個(gè)非零區(qū)間。
12.如權(quán)利要求11所述的數(shù)顯儀表判讀方法，其特征是在步驟A3.8與A3. 9之間，若不存在的值大于特定值，則在所述顯示屏區(qū)域圖像中，利用字符串的上下邊界分割出第三感興趣區(qū)域/1 ； 計(jì)算所述第三感興趣區(qū)域4的特定高度之間、非零區(qū)間^的端點(diǎn)Γ和廣之間的圖像的灰度均值；在第三感興趣區(qū)域/i中，計(jì)算⑶所有像素點(diǎn)對(duì)應(yīng)點(diǎn)的灰度均值,其中，CW^表示圖像4中水平方向從Γ到滬的范圍內(nèi)的所有連通域中的第 個(gè)連通域，i為自然數(shù)；若對(duì)于所有i使得膽^乏Mm xO.5 ,則將對(duì)應(yīng)的非零區(qū)間f置零；若存在對(duì)應(yīng)的i使<Meanx x0.5 ,則不對(duì)對(duì)應(yīng)的非零區(qū)間嚴(yán)進(jìn)行置零操作。
13.如權(quán)利要求10所述的數(shù)顯儀表判讀方法，其特征是，在步驟A3.7之前還包括以下步驟在所述第三感興趣區(qū)域/i的設(shè)定高度之間，分割出第四感興趣區(qū)域g ；計(jì)算所述第四感興趣區(qū)域邛的灰度期望值，在所述第四感興趣區(qū)域遼內(nèi)，將灰度值小于所述灰度期望值的像素置為1，將灰度值大于所述灰度期望值的像素置為0，得到反二值化圖像并進(jìn)行豎直投影到水平坐標(biāo)上；判斷反二值化圖像的投影曲線中特定位置往右是否存在零點(diǎn)，若存在，則將該特定位置往右的第一個(gè)零點(diǎn)的坐標(biāo)減去特定值作為字符串的右邊界初始坐標(biāo)，并在所述圖像 rF中將右邊界初始坐標(biāo)右邊部分置零。
14.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，通過以下步驟分割字符串的字符用字符串的上下、左右邊界在顯示屏區(qū)域圖像A中分割出圖像Ce ； 用字符串的上下、左右邊界在二值化顯示屏圖像4中分割出圖像Cjfr ； 對(duì)圖像05『進(jìn)行排除非筆畫連通域的精細(xì)化處理；對(duì)經(jīng)過精細(xì)化處理的圖像Cipr進(jìn)行豎直投影；將間隔小于特定值的相鄰的非零區(qū)間當(dāng)作成連續(xù)的非零區(qū)間；剔除寬度小于特定值的非零區(qū)間或者區(qū)間內(nèi)最大的縱坐標(biāo)值小于一定值的非零區(qū)間；利用每個(gè)非零區(qū)間分割對(duì)應(yīng)的字符。
15.如權(quán)利要求14所述的數(shù)顯儀表判讀方法，其特征是，所述精細(xì)化處理包括如下步驟在圖像C13和C^pf的特定高度之間分別取出圖像Rq和圖像及·； 在圖像S,的特定高度之間取出圖像思》-；對(duì)圖像i^r進(jìn)行如下處理在圖像S^r中剔除面積小于特定值的連通域或者高度小于一定值的連通域，在及·中的非零點(diǎn)中，若在&中的對(duì)應(yīng)點(diǎn)的灰度值低于設(shè)定閾值，則在召·中該點(diǎn)灰度值保持為1，否則在圖像Si中將改點(diǎn)的灰度值置為0 ；用圖像AW替換經(jīng)過處理的圖像Sar中的相應(yīng)部分，并用特定長(zhǎng)度的水平直線作為形態(tài)學(xué)運(yùn)算模板，對(duì)經(jīng)過替換的圖像及經(jīng)進(jìn)行膨脹。
16.如權(quán)利要求1所述的數(shù)顯儀表判讀方法，其特征是，所述步驟A4中在矩形高度的l/4h處作水平直線，穿越筆畫的區(qū)間法，區(qū)間塔的左端點(diǎn)和右端點(diǎn)分別為珞和g，其中U表示區(qū)間珞處于矩形高度的l/4h處，η表示區(qū)間嗒是第η個(gè)區(qū)間，η為1或2，h表示矩形的高度；在矩形高度的3/4h處作水平直線，穿越筆畫的區(qū)間巧，區(qū)間$的左端點(diǎn)和右端點(diǎn)分別為^和《，其中D表示區(qū)間$處于矩形高度的3/4h處，m表示區(qū)間^是第m個(gè)區(qū)間，m為 1或2 ；在矩形寬度的1在l/2w處作豎直直線，穿越筆畫的區(qū)間盜，區(qū)間4的左端點(diǎn)和右端點(diǎn)分別為《和^ ,其中M表示區(qū)間 處于矩形寬度的1/ 處，N表示區(qū)間‘是第N個(gè)區(qū)間，N為自然數(shù)，w表示矩形的水平寬度；若n=2且m=2且N>2，則將對(duì)應(yīng)字符判決為8 ；若n=l且m=2，則將對(duì)應(yīng)字符判決為6。
17.如權(quán)利要求16所述的數(shù)顯儀表判讀方法，其特征是當(dāng)n=2且m=2且N=L', t'H > 2h / 3 ,則將對(duì)應(yīng)字符判決為0，否則判決為8 ；當(dāng)n=2且m=2且N=I，將對(duì)應(yīng)的字符判決為0 ；當(dāng)n=2且m=l，若‘ <8 ,則將對(duì)應(yīng)字符判決為9，否則判決為4 ；當(dāng)n=l且m=l且丨珞-iil + k丨-rl陣w ,若4 < w/3,則將對(duì)應(yīng)字符判決為2，否則判決為5;當(dāng)！^且??！^且丨硌-名丨+丨嗞-^卜沖且凡-^，若硌^，將對(duì)應(yīng)字符判決為？，否則判決為1 ；當(dāng)n=l且m=2且丨路-41丨+ |4-4丨<評(píng)且凡>似3,若硌>11且名>11,將對(duì)應(yīng)字符判決為3，否則判決為1 ；其中·) 是步驟A3中經(jīng)過提取字符串后的圖像的左邊第一列像素中從下往上的第一個(gè)非零像素點(diǎn)的水平坐標(biāo)。
全文摘要
本發(fā)明公開了一種數(shù)顯儀表判讀方法，包括如下步驟分別提取數(shù)顯儀表圖像的水平邊緣和豎直邊緣，判斷出顯示屏區(qū)域的水平邊緣和豎直邊緣，進(jìn)而提取出顯示屏區(qū)域圖像；用卷積模板對(duì)提取的顯示屏區(qū)域圖像進(jìn)行卷積和量化，并對(duì)量化結(jié)果進(jìn)行二值化處理，得到二值化顯示屏圖像；提取二值化顯示屏圖像中的字符串，確定字符串的上下、左右邊界后再將每個(gè)字符分割出來；利用根據(jù)字符所處的矩形設(shè)定的直線與字符的相交次數(shù)和相交位置進(jìn)行識(shí)別字符。本發(fā)明有很好的魯棒性和很高的識(shí)別準(zhǔn)確率。
文檔編號(hào)G06K9/00GK102254159SQ201110189650
公開日2011年11月23日 申請(qǐng)日期2011年7月7日 優(yōu)先權(quán)日2011年7月7日
發(fā)明者傅翼, 廖慶敏, 楊文明, 梁超 申請(qǐng)人:清華大學(xué)深圳研究生院