本發(fā)明屬于數(shù)字圖像處理、光學字符識別(ocr)技術領域，涉及一種能對儀表圖像中液晶數(shù)字進行切分并識別的方法，具體涉及一種煤氣表液晶數(shù)字的切分和識別方法及系統(tǒng)。

背景技術：

隨著現(xiàn)代化城市建設的迅速發(fā)展，智能工廠和智能城市的建設已經(jīng)呈現(xiàn)出必然的趨勢，各類儀表如電表、水表、煤氣表等大量地出現(xiàn)在人民的生活之中。然而，我國目前許多地方的水費、煤氣費等的計量方式仍然主要依靠抄表人員的現(xiàn)場操作，進入小區(qū)抄收，再錄入電腦中，這樣不僅存在因人為因素造成的誤差，還造成了人力、物力的浪費。隨著計算機和電子通信技術的發(fā)展，針對不同場合的各種遠程自動抄表系統(tǒng)不斷涌現(xiàn)，替代繁瑣的手工勞動，方便查表，還不干擾用戶，具有良好的經(jīng)濟和社會效益。當前遠程抄表系統(tǒng)多種多樣，其中一種是通過在儀表前放置一個攝像頭為儀表拍照，再通過ocr識別技術獲取儀表上的數(shù)值。這種方式對于那些還在使用較老的非智能的儀表的工廠或小區(qū)是一種較為廉價有效的改造方式。相比之下，這種一次性的投入比長期的人力投入明顯要劃算得多；而如果為這些地方更換為新的智能表，那么需要的器械及拆裝費用也明顯高得多，且對生產(chǎn)生活有一定的影響。本發(fā)明就是主要面向上述儀表的遠程自動抄表系統(tǒng)中的液晶數(shù)字切分與識別的問題。

儀表液晶數(shù)字的切分與識別主要使用的技術是光學字符識別(ocr)技術。通?，F(xiàn)有的ocr軟件一般由圖像的輸入和預處理、版面分析、字符切割、字符識別及后處理等幾部分組成，其中：圖像輸入主要利用光學儀器如掃描儀、傳真機等對目標進行掃描或者用數(shù)碼相機拍照得到數(shù)字圖像數(shù)據(jù)，圖像生成時的光照條件、分辨率等因素會影響到后續(xù)的識別效果和正確率；預處理包括圖像二值化、噪聲去除、傾斜矯正等過程；版面分析是將文檔的圖片按段落分割，由于文檔的多樣性目前沒有固定的最優(yōu)切割模型；由于拍照條件的限制，經(jīng)常造成字符粘連、斷筆，再加上漢字本身的特點，文字識別軟件需要復雜的字符切分功能，將一行字符切分成單個的字符；字符識別技術屬于統(tǒng)計學習，早期的方法為模板匹配，后來則以特征提取為主；后處理包括版面恢復、根據(jù)特定語言上下文的聯(lián)系糾正等。

將光學字符識別技術應用于儀表將面臨新的挑戰(zhàn)。文檔文件的圖像一般都能按段落或按行切割成單行文字的圖像，而儀表圖像液晶數(shù)字所處的環(huán)境則要復雜得多，表盤等部件以及顯示屏上不重要的字符等內(nèi)容都會對版面分析造成影響，因此不能方便地將目標字符串區(qū)域切割出來，需要針對不同的儀表設計合理的處理方法。另一個重要的問題是儀表在拍照時受光照影響較大，使得圖像的亮度不均勻，經(jīng)常會遇到局部區(qū)域過亮的問題，這對圖像的分析及字符的識別都有較大的影響，而對文檔掃描或拍照時則不會出現(xiàn)這類問題，因此在處理儀表圖像時排除光照的影響是一個重要的工作。此外，對于多數(shù)液晶數(shù)字儀表來說，小數(shù)點的位置對識別結(jié)果是有重要意義的，提高小數(shù)點識別的準確率也應該是重要的內(nèi)容。顯然，光學字符識別技術應用于儀表時需要考慮許多新的問題，需要尋找更為合理方法。

曾仲杰等發(fā)表的基于字符切割拼接的字段式液晶數(shù)字識別(計算機工程與應用，2013，49(12)：110-112)如圖1所示，主要包括預處理、字符切割和字符識別三個步驟，首先通過對原始圖像進行預處理，實現(xiàn)液晶屏的定位、傾斜校正、目標增強以及二值化；然后根據(jù)字符串的垂直投影實現(xiàn)字符的分割；最后借助投影特征進行字符識別。該方法存在以下不足之處：

1、對于光照變化較大的圖，該方法并不能得到較好的二值圖。

2、缺少小數(shù)點的識別，而在很多高精度儀表中會出現(xiàn)小數(shù)點且小數(shù)點位置是不固定的，因此小數(shù)點的識別是不可或缺的。

3、字符識別使用的是較為簡單的投影的峰值等特征進行判斷，由于預處理方法及閾值設置，以及圖像本身的扭曲歪斜等因素的影響，仍然會有部分字符識別錯誤，比如0與8這樣形態(tài)接近的字符。

技術實現(xiàn)要素：

本發(fā)明針對上述方法存在的問題，提供了一種儀表液晶數(shù)字自動切分和識別的方法及系統(tǒng)。

本發(fā)明的目的是通過以下技術方案實現(xiàn)的：

一種儀表液晶數(shù)字自動切分和識別的方法，包括圖像預處理、小數(shù)點識別、字符切分、字符識別四個步驟，具體步驟如下：

一、圖像預處理

(1)使用log算子對原始圖像進行濾波處理；

(2)將濾波后的圖像二值化，得到二值圖；

(3)通過hough變換檢測液晶屏的邊緣并進行傾斜矯正；

(4)在檢測出液晶屏邊緣的基礎上，結(jié)合字符的高度與液晶屏的高度成固定比例這一約束條件，截取目標字符串大致區(qū)域；

(5)對上述截取區(qū)域的二值圖進行膨脹、腐蝕，然后計算連通分量，去掉較小的和過大的分量，得到連通圖，最后對連通圖做水平、垂直投影，得到字符區(qū)域的準確位置。

二、小數(shù)點識別

(1)用一個較大的閾值對log算子濾波后的圖像二值化，得到一個僅包含小數(shù)點及少數(shù)噪聲的二值圖；

(2)分別計算每個連通分量外接矩形的幾何中心在圖中的相對坐標(x，y)；

(3)與圖像預處理過程中得到的連通圖作對比，計算每個連通分量的中心坐標在該圖中對應的坐標(x′，y′)，如果(x′，y′)位于數(shù)字上，則認為是數(shù)字的一部分而不是小數(shù)點，將該坐標去掉；篩選所有的坐標(x′，y′)，如果還剩下一個，則認為該坐標就是小數(shù)點在原圖中的相對位置，否則原圖不存在小數(shù)點。

三、字符切分

(1)采用垂直投影對圖像過切分，將圖像分割為若干個單個數(shù)字的圖像；

(2)對于相鄰的兩張較窄的圖像，增加一個合并兩張圖像的備選切分方案，得到一個識別路徑圖。

四、字符識別

(1)使用已有的單字識別庫，對識別路徑圖中每段弧線對應的所有可能單字圖像進行識別；

(2)對于存在多條路徑的識別路徑圖，計算不同路徑下識別的平均距離；

(3)輸出最優(yōu)路徑上的單字識別結(jié)果作為字符串的識別結(jié)果。

一種實現(xiàn)上述方法的儀表液晶數(shù)字自動切分和識別的系統(tǒng)，包括圖像預處理模塊、小數(shù)點識別模塊、字符切分模塊、字符識別模塊，其中：

所述預處理模塊使用log算子對原始圖像進行處理，然后通過hough變換檢測液晶屏的邊緣并進行傾斜矯正和目標定位。

所述小數(shù)點識別模塊對預處理模塊中l(wèi)og算子濾波后的圖像進行二值化，得到僅包含小數(shù)點及少數(shù)噪聲的二值圖，再通過對位置合理性檢驗得到小數(shù)點的位置。

所述字符切分模塊采用垂直投影及過切分將圖像分割為若干個單個數(shù)字的圖像，對于寬度明顯較窄的圖像，增加一個將相鄰兩個較窄的圖像合并的備選切分方案。

所述字符識別模塊使用已有的單字識別庫對字符切分模塊得到的所有可能的單字圖像進行識別，對于存在較窄圖像合并的部分進行相似距離對比，得到最佳的切分方案。

相對于現(xiàn)有技術，本發(fā)明具有如下優(yōu)點：

1、預處理部分對于亮度變化較大的圖像具有很高的魯棒性，能很好地將液晶數(shù)字與背景區(qū)分開來；

2、對于圖像中的小數(shù)點能夠準確地識別出來；

3、單個液晶數(shù)字識別率為98％，而整串完全識別正確的成功率達到97％。

附圖說明

圖1為基于字符切割拼接的字段式液晶數(shù)字識別算法框架；

圖2為hough變換算法示意圖，(a)用參數(shù)θ和r表示坐標(x，y)所在直線，(b)統(tǒng)計每對參數(shù)θ和r對應直線上的前景點的個數(shù)；

圖3為膨脹、腐蝕使用的兩種結(jié)構(gòu)元素，(a)正方形的結(jié)構(gòu)元素，(b)十字型的結(jié)構(gòu)元素；

圖4為連通分量的提取，(a)含有2個連通分量的圖像a，(b)a的連通分量標注圖像，(c)3×3結(jié)構(gòu)元素s；

圖5為識別路徑示意圖；

圖6為儀表圖像(以煤氣表為例)；

圖7為識別儀表圖像中液晶數(shù)字的過程的流程圖；

圖8為預處理部分處理圖像時使用的拉普拉斯高斯算子；

圖9為使用log算子對原圖像濾波后得到的圖像；

圖10為對圖9膨脹、腐蝕、去掉較大及較小的連通分量后得到的連通圖；

圖11為經(jīng)預處理后截取到的目標液晶數(shù)字所在區(qū)域的圖像；

圖12為字符切分的示意圖；

圖13為增加了將字符切分中相鄰較窄的塊組合起來的切分方案后形成的多種字符切分方案的示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的技術方案作進一步的說明，但并不局限于此，凡是對本發(fā)明技術方案進行修改或者等同替換，而不脫離本發(fā)明技術方案的精神和范圍，均應涵蓋在本發(fā)明的保護范圍中。

具體實施方式一：本實施方式提供了一種儀表液晶數(shù)字自動切分和識別的系統(tǒng)，所述系統(tǒng)由圖像預處理、小數(shù)點識別、字符切分、字符識別四個模塊組成，其中：

所述預處理模塊主要使用拉普拉斯高斯算子(log)處理，對亮度差異較大的圖片能達到有效的降噪處理的效果，獲得較好的二值圖；然后通過hough變換檢測液晶屏的邊緣并進行傾斜矯正和目標定位。

所述小數(shù)點識別模塊對預處理模塊中l(wèi)og算子濾波后的圖像使用一個較大的閾值進行二值化，得到僅包含小數(shù)點及少數(shù)噪聲的二值圖，再通過對位置合理性檢驗等方式得到小數(shù)點的位置。

所述字符切分模塊采用垂直投影及過切分將圖像分割為若干個單個數(shù)字的圖像，對于寬度明顯較窄的圖像，增加一個將相鄰兩個較窄的圖像合并的備選切分方案。

所述字符識別模塊使用已有的單字識別庫對字符切分模塊得到的所有可能的單字圖像進行識別，對于存在較窄圖像合并的部分進行相似距離對比，得到最佳的切分方案。

具體實施方式二：本實施方式提供了一種儀表液晶數(shù)字自動切分和識別的方法，所述方法包括以下四個步驟：圖像預處理、小數(shù)點識別、字符切分、字符識別。每個步驟的詳細過程如下：

1、圖像預處理

(1)使用拉普拉斯高斯算子(log)對圖像濾波。

log函數(shù)的定義如下：

gσ(x，y)是二維的高斯函數(shù)(也叫做正態(tài)分布函數(shù))，定義如下：

其中，x，y是二維直角坐標系中函數(shù)的變量，參數(shù)σ是高斯函數(shù)的標準差，且σ＞0，其決定了高斯函數(shù)的作用范圍(或正態(tài)分布的集中程度)。σ越大，則高斯函數(shù)及l(fā)og函數(shù)的作用范圍越大。

當2σ＝圖中小數(shù)點直徑或液晶數(shù)字筆畫寬度，卷積核大?。?6σ，6σ)時效果最好。

(2)將濾波后的圖像二值化得到二值圖。閾值通過大津算法(otsu)計算。大津法又叫做最大類間方差法，類間方差計算公式：

w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²。

其中，t為分類的閾值，w0為背景比例，u0為背景均值，w1為前景比例，u1為前景均值，u為整幅圖像的均值。對灰度圖像灰度級是l、灰度范圍為[0，l-1]的圖像，計算當以每個灰度級為閾值時上式的結(jié)果，使上式取得最大值的閾值t就是最佳的閾值。

(3)通過hough變換檢測液晶屏邊緣。通過限定所檢測直線的最小長度及傾斜角范圍，可以剔除由于噪聲干擾造成的誤檢。

hough變換檢測直線的算法思想：

二維直角坐標系中經(jīng)過點(x，y)的直線簇滿足下面的約束方程：

x*cosθ+y*sinθ＝r。

其中，r為原點到直線的幾何垂直距離，角度θ為垂線r與x軸之間的夾角。如圖2(a)所示。

將θ角在-90度到90度的范圍里劃分為若干個區(qū)間，計算圖像中所有前景像素點(x，y)的每個θ角對應直線的r的值，統(tǒng)計每條直線(θ，r)上的前景點的個數(shù)，如圖2(b)所示。當個數(shù)高于某個閾值t時就認為圖像中有一條明顯的直線(θ，r)。

(4)根據(jù)檢測出的直線的傾斜角度θ進行傾斜校正。當液晶屏的傾斜角度太大時，字符串經(jīng)過傾斜校正后會發(fā)生嚴重變形。因此為了保證識別準確率，該算法對傾斜角度作了限制，當傾斜角度超過限定時就拒絕識別，例如限定水平方向直線傾斜角區(qū)間為(-15，+15)，垂直方向直線傾斜角區(qū)間為[-90，-75)∪(75，90)。

(5)在定位出液晶屏邊緣的基礎上，結(jié)合字符的高度與液晶屏的高度成固定比例這一約束條件，截取目標字符串大致區(qū)域。

(6)對上述截取區(qū)域的二值圖進行膨脹、腐蝕。膨脹的目的是將液晶數(shù)字的筆畫連接起來，然后通過腐蝕使筆畫恢復為原來的粗細，膨脹應使用正方形的結(jié)構(gòu)元素，腐蝕應使用十字型結(jié)構(gòu)元素，如圖3所示。然后計算連通分量，去掉較小的和過大的分量，得到連通圖。其中最小連通分量的閾值應大于小數(shù)點的大小，最大連通分量的閾值應至少大于數(shù)字“8”的大小。最后對連通圖做水平、垂直投影，得到字符區(qū)域的準確位置。

這里簡要介紹一種基于形態(tài)學膨脹操作的提取連通分量的方法。

如圖4(a)所示的含有多個連通分量的圖像a，從僅為連通分量a1內(nèi)部某個點的圖像b開始，不斷采用圖4(c)所示的結(jié)構(gòu)元素s進行膨脹，由于a1與其他連通分量至少有一條1個像素寬的空隙(圖4(a)中的虛線)，這樣能保證每次膨脹不會產(chǎn)生位于其他連通區(qū)域內(nèi)的點，這樣就只需用每次膨脹后的結(jié)果與原圖a相交，就能把膨脹限制在a1內(nèi)部，直到最終b充滿整個連通分量a1，提取連通分量a1完畢。算法概要如下：

初始化：b0＝連通分量a1中的某個點

循環(huán)：

untilbi+1＝bi

2、小數(shù)點識別

小數(shù)點識別使用的是預處理過程中用log算子濾波后的圖像。

(1)用一個較大的閾值對圖像二值化，得到一個僅包含小數(shù)點及少數(shù)噪聲的二值圖?？梢灾苯舆x取圖像像素最大值的0.8倍作閾值，或者使用以大津法閾值與圖像像素最大值的平均值作閾值。

(2)計算二值圖的連通分量，其中某個連通分量就有可能對應的是小數(shù)點，分別計算每個連通分量外接矩形的幾何中心在圖中的相對坐標(x，y)。

(3)與預處理過程中得到的連通圖作對比，計算每個連通分量的中心坐標在該圖中對應的坐標(x′，y′)，如果(x′，y′)位于數(shù)字上，則認為是數(shù)字的一部分而不是小數(shù)點，將該坐標去掉。篩選所有的坐標(x′，y′)，如果還剩下一個，則認為該坐標就是小數(shù)點在原圖中的相對位置，否則原圖不存在小數(shù)點。

3、字符切分

(1)采用垂直投影對圖像過切分，將圖像分割為若干個單個數(shù)字的圖像，如圖12所示。切分的閾值應小于液晶數(shù)字筆畫的寬度。

(2)切分后寬度明顯較窄的圖像可能不是一個完整的字符，故對于相鄰的兩張較窄的圖像，應增加一個合并兩張圖像的切分方案，得到一個識別路徑圖，如圖13所示。

由于將完整字符切割成兩塊后每張圖像的寬度約為0.5倍字距(字距是指相鄰兩個字符中心點之間的距離)，故判斷其是否完整的閾值可以設為0.75倍字距。而字距又明顯是與字符高度成固定比例的，故在實際操作中，閾值＝字符高度×字距與字符高度的比例×0.75。此處注意還需找到小數(shù)點所在的切分塊，應將其視為完整的字符塊。

4、字符識別

(1)使用已有的單字識別庫，對識別路徑圖中每段弧線對應的所有可能單字圖像進行識別。所使用的識別方法為，先對圖像提取100維梯度特征，然后采用矢量量化方法進行分類。

(2)對于存在多條路徑的識別路徑圖，計算不同路徑下識別的平均距離。

圖5所示的路徑圖一共有3條識別路徑，d1，d2，...，d6為每段弧線對應切分圖像的識別距離。3條路徑分別為{0，1，2，3，4}，{0，1，3，4}，{0，2，3，4}。計算每條路徑的平均識別距離(d1+d2+d3+d4)/4，(d1+d6+d4)/3，(d5+d3+d4)/3。這三個值中最小的值所對應的路徑就是最佳的切分方案。

(3)輸出最優(yōu)路徑上的單字識別結(jié)果作為字符串的識別結(jié)果。

具體實施方式三：本實施方式以煤氣表圖像為例，對本發(fā)明的儀表液晶數(shù)字自動切分和識別方法進行詳細說明。

本實施方式中處理的煤氣表圖像如圖6所示。識別程序的開發(fā)平臺為vs2013，識別程序用c++編寫。

采集的煤氣表圖像需要具備以下特征：

1、圖像分辨率為50dpi以上的彩色圖像；

2、圖像存儲格式為24位的jpg格式；

3、圖像應包含完整的液晶顯示屏區(qū)域，傾斜小于±10°。

如果輸入的煤氣表影像沒有達到上述標準可能會降低識別率。

在具體的實施過程中，按照圖7所示的流程對煤氣表圖像進行處理，具體過程如下：

1、圖像預處理

拉普拉斯高斯算子(log)的大小根據(jù)液晶數(shù)字的高度確定。圖6中煤氣表圖像液晶數(shù)字高度為30，筆畫寬度約為3，使用的log算子大小為9×9，σ＝1.5，如圖8所示。

(1)使用log算子對煤氣表圖像進行濾波處理，濾波后的處理效果如圖9所示。

(2)通過對濾波后的圖像二值化，得到二值圖。

(3)通過hough變換檢測液晶屏邊緣，并進行傾斜矯正，根據(jù)檢測到的液晶屏區(qū)域，按比例得到液晶數(shù)字的大致位置。

(4)通過膨脹、腐蝕，計算連通分量，去掉較小的和過大的，得到連通圖如圖10所示。

(5)在第(3)步得到的大致位置中通過水平、垂直投影，得到字符區(qū)域的準確位置，如圖11所示。

2、小數(shù)點識別

(1)使用預處理模塊用log算子濾波后的圖像(圖9)，用一個較大的閾值(0.8*圖像像素點最大灰度值)進行二值化，得到一個僅包含小數(shù)點及少數(shù)噪點的二值圖。

(2)通過計算連通域中心得到小數(shù)點可能出現(xiàn)的幾個坐標。

(3)通過與圖10中的連通圖作對比(由于小數(shù)點較小，在去除較小的連通分量時小數(shù)點會被去掉，因此圖10不會出現(xiàn)小數(shù)點)，如果點出現(xiàn)在數(shù)字上，則認為是數(shù)字的一部分而不是小數(shù)點并去掉該點坐標。對所有備選坐標篩選，如果剩下一個，則認為小數(shù)點出現(xiàn)在該坐標位置，否則不存在小數(shù)點。

3、字符切分

(1)采用垂直投影對圖像過切分，將圖像分割為若干個單個數(shù)字的圖像，如圖12所示。

(2)對于寬度明顯較窄的圖像，增加一個將相鄰兩個較窄的圖像合并的備選切分方案，得到一個識別路徑圖，如圖13所示，圖中每個節(jié)點代表一個切分點，每條弧線代表一個單字圖像，弧的兩端分別代表該切分的起始和結(jié)束位置，每條路徑代表一種切分方案。例如：圖10的第一個“4”被切割成了兩塊，則有0-＞1-＞2和0-＞2兩種切分方案，而5-＞6雖然也很窄但在第(2)步已經(jīng)識別出為小數(shù)點，故不算在內(nèi)。

4、字符識別

(1)使用已有的單字識別庫，對識別路徑圖中指定的所有可能單字圖像(即圖10每條弧線對應的圖像)進行識別；

(2)對于存在多條路徑的識別路徑圖，計算不同路徑下識別的平均距離，得到最佳的切分路徑；

(3)輸出最優(yōu)路徑上的單字識別結(jié)果作為字符串的識別結(jié)果。

上述方法在427張煤氣表圖像上進行實驗，其中包括129張3型表，298張z型表。識別結(jié)果為：z型表完全正確，3型表僅3個錯誤，其中一個為把7識別成1，一個為投影時錯誤的丟掉了最后兩位數(shù)字，還有一個為把5識別成了9?？梢姳景l(fā)明對于符合條件的煤氣表圖像具有較高的識別率。