基于機(jī)器視覺的矩陣計(jì)算器及矩陣識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于基于模式識別和圖像處理技術(shù)的智能計(jì)算器領(lǐng)域，特別是一種基于機(jī) 器視覺的矩陣計(jì)算器及實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002] 計(jì)算器是工程技術(shù)人員、科研人員和理工科學(xué)生們進(jìn)行工程實(shí)踐、從事科學(xué)研宄 工作等所必需的利器。矩陣分析與計(jì)算在科學(xué)計(jì)算中有著重要的地位。
[0003] 然而，通過分析現(xiàn)有市場不難發(fā)現(xiàn)，具有矩陣計(jì)算能力的計(jì)算器和計(jì)算型軟件并 不多見，更重要的是，它們?nèi)狈`活性與易用性。它們一般需要先將計(jì)算器/計(jì)算軟件設(shè)置 為矩陣計(jì)算模式，然后從僅有的幾種預(yù)定義尺寸的矩陣中選擇一個(gè)，之后便需要將矩陣元 素一個(gè)個(gè)小心翼翼地輸入進(jìn)去，這種方式效率低下，尤其是當(dāng)矩陣的階數(shù)為三階及其以上 時(shí)，用戶在矩陣輸入上浪費(fèi)了大量的寶貴時(shí)間。
[0004] 中國實(shí)用新型專利CN 202916831 U公開了一種多功能矩陣計(jì)算器，通過輸入矩 陣實(shí)現(xiàn)矩陣運(yùn)算，該矩陣運(yùn)算器需要手動(dòng)輸入矩陣元素，不僅效率低下，還容易出現(xiàn)輸入錯(cuò) 誤，影響使用效果。

【發(fā)明內(nèi)容】

[0005] 針對當(dāng)前具有矩陣計(jì)算能力的計(jì)算器和計(jì)算型軟件并不多見，且僅有的這些計(jì)算 器和計(jì)算軟件靈活性與易用性較差這一現(xiàn)象，為了變繁為簡，提高矩陣計(jì)算器的易用性，大 幅度改善用戶體驗(yàn)，本發(fā)明給出的基于機(jī)器視覺的矩陣計(jì)算器同傳統(tǒng)計(jì)算器相比，特色鮮 明地解決了這些問題。矩陣圖像識別技術(shù)讓矩陣的輸入便捷高效，而傳統(tǒng)鍵盤輸入可以在 矩陣識別有誤時(shí)進(jìn)行局部修改。本發(fā)明旨在實(shí)現(xiàn)一種"即拍即算"的全新設(shè)計(jì)，讓計(jì)算器使 用起來更加方便。
[0006] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為：一種基于機(jī)器視覺的矩陣計(jì)算器，包括攝像頭、圖 像處理模塊、用戶界面、顯示器、鍵盤和運(yùn)算模塊；
[0007] 所述攝像頭與圖像處理模塊相連，將采集的矩陣圖像傳輸給圖像處理模塊，圖像 處理模塊識別矩陣的行數(shù)、列數(shù)和矩陣元素；所述圖像處理模塊與運(yùn)算模塊相連，運(yùn)算模塊 加載并執(zhí)行矩陣運(yùn)算算法，對接受到的矩陣元素進(jìn)行運(yùn)算，所述運(yùn)算模塊與用戶界面相連， 用戶界面將矩陣的行數(shù)、列數(shù)和矩陣元素繪制出來，所述用戶界面與顯示器相連，顯示器顯 示用戶界面上繪制的內(nèi)容；所述鍵盤與用戶界面相連，用于輸入數(shù)據(jù)和選擇功能。
[0008] 一種基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，包括以下步驟：
[0009] 步驟1、輸入矩陣圖像，將矩陣圖像轉(zhuǎn)換為灰度圖像A ;
[0010] 步驟2、使用自適應(yīng)二值化方法對灰度圖像A進(jìn)行二值化處理，得到二值圖像B ;
[0011] 步驟3、對二值圖像B進(jìn)行連通域提取和面積濾波；
[0012] 步驟4、使用投影法對矩陣元素進(jìn)行聚類；所述矩陣元素為矩陣中的數(shù)據(jù)項(xiàng)；
[0013] 步驟5、使用卷積神經(jīng)網(wǎng)絡(luò)識別矩陣元素；
[0014] 步驟6、輸出矩陣的行數(shù)、列數(shù)和所有矩陣元素值。
[0015] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)為：（1)本發(fā)明通過數(shù)字圖像分析和模式識別技 術(shù)，可以直接從數(shù)字圖像中獲得手寫體矩陣元素或者印刷體矩陣元素，這同傳統(tǒng)計(jì)算器的 數(shù)據(jù)輸入方式相比，大大提高了矩陣數(shù)據(jù)的輸入效率；（2)本發(fā)明從理念上改變了計(jì)算器 的數(shù)據(jù)輸入方式，旨在實(shí)現(xiàn)一種"即拍即算"的全新設(shè)計(jì)，讓計(jì)算器使用起來更加簡單與高 效；（3)本發(fā)明不僅可以通過攝像頭采集矩陣圖像信息，還可以通過鍵盤手動(dòng)輸入，提高了 數(shù)據(jù)輸入的準(zhǔn)確性。
[0016] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述。
【附圖說明】
[0017] 圖1是本發(fā)明實(shí)施例1的結(jié)構(gòu)示意圖。
[0018] 圖2是本發(fā)明實(shí)施例2的結(jié)構(gòu)示意圖。
[0019] 圖3是本發(fā)明實(shí)施例的矩陣識別算法流程和中間結(jié)果圖。
【具體實(shí)施方式】
[0020] 結(jié)合圖1、圖2,本發(fā)明的一種基于機(jī)器視覺的矩陣計(jì)算器，包括攝像頭、圖像處理 模塊、用戶界面、顯示器、鍵盤和運(yùn)算模塊；
[0021] 所述攝像頭與圖像處理模塊相連，將采集的矩陣圖像傳輸給圖像處理模塊，圖像 處理模塊識別矩陣的行數(shù)、列數(shù)和各個(gè)矩陣元素；所述圖像處理模塊與運(yùn)算模塊相連，運(yùn) 算模塊加載并執(zhí)行矩陣運(yùn)算算法，對接受到的矩陣元素進(jìn)行運(yùn)算，所述運(yùn)算模塊與用戶界 面相連，用戶界面將矩陣的行數(shù)、列數(shù)和各個(gè)矩陣元素繪制出來，所述用戶界面與顯示器相 連，顯示器顯示用戶界面上繪制的內(nèi)容；所述鍵盤與用戶界面相連，用于輸入數(shù)據(jù)和選擇功 能。
[0022] 所述圖像處理模塊包括矩陣圖像預(yù)處理模塊、數(shù)字字符提取模塊，矩陣元素聚類 模塊和數(shù)字字符識別模塊。
[0023] 所述功能函數(shù)模塊中的算法包括對矩陣的加法、減法、乘法、乘方、行列式、秩、逆 矩陣、特征值和特征向量。
[0024] 所述攝像頭為微型的、可自動(dòng)快速聚焦的攝像頭，分辨率不低于640x480像素；所 述顯示器為LCD液晶顯示器或者觸摸屏；所述鍵盤為實(shí)體鍵盤或應(yīng)用于觸摸屏的電子虛擬 鍵盤。
[0025] 結(jié)合圖3, 一種基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，包括以下步驟：
[0026] 步驟1、輸入矩陣圖像，將矩陣圖像轉(zhuǎn)換為灰度圖像A ;
[0027] 步驟2、使用自適應(yīng)二值化方法對灰度圖像A進(jìn)行二值化處理，得到二值圖像B ;具 體為：
[0028] 步驟2-1、計(jì)算圖像中的每一個(gè)像素值的閾值：
[0029]
【主權(quán)項(xiàng)】
1. 一種基于機(jī)器視覺的矩陣計(jì)算器，其特征在于，包括攝像頭、圖像處理模塊、用戶界 面、顯示器、鍵盤和運(yùn)算模塊； 所述攝像頭與圖像處理模塊相連，將采集的矩陣圖像傳輸給圖像處理模塊，圖像處理 模塊識別矩陣的行數(shù)、列數(shù)和矩陣元素；所述圖像處理模塊與運(yùn)算模塊相連，運(yùn)算模塊加載 并執(zhí)行矩陣運(yùn)算算法，對接受到的矩陣元素進(jìn)行運(yùn)算，所述運(yùn)算模塊與用戶界面相連，用戶 界面將矩陣的行數(shù)、列數(shù)和矩陣元素繪制出來，所述用戶界面與顯示器相連，顯示器顯示用 戶界面上繪制的內(nèi)容；所述鍵盤與用戶界面相連，用于輸入數(shù)據(jù)和選擇功能。
2. 根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的矩陣計(jì)算器，其特征在于，所述攝像頭為微 型的、可自動(dòng)快速聚焦的攝像頭，分辨率不低于640x480像素；所述顯示器為LCD液晶顯示 器或者觸摸屏。
3. 根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的矩陣計(jì)算器，其特征在于，所述鍵盤為實(shí)體 鍵盤或應(yīng)用于觸摸屏的電子虛擬鍵盤。
4. 一種基于權(quán)利要求1所述的基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，其特征在 于，包括以下步驟： 步驟1、輸入矩陣圖像，將矩陣圖像轉(zhuǎn)換為灰度圖像A ; 步驟2、使用自適應(yīng)二值化方法對灰度圖像A進(jìn)行二值化處理，得到二值圖像B ; 步驟3、對二值圖像B進(jìn)行連通域提取和面積濾波； 步驟4、使用投影法對矩陣元素進(jìn)行聚類，所述矩陣元素為矩陣中的數(shù)據(jù)項(xiàng)； 步驟5、使用卷積神經(jīng)網(wǎng)絡(luò)識別矩陣元素； 步驟6、輸出矩陣的行數(shù)、列數(shù)和所有矩陣元素值。
5. 根據(jù)權(quán)利要求4所述的基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，其特征在于， 步驟2所述的使用自適應(yīng)二值化方法對灰度圖像A進(jìn)行二值化操作，得到二值圖像B，具體 為： 擊3娶笪圖俛由的鉺一個(gè)俛麥值的閾值：
Txy= V- xy_C 其中，Sxy表示灰度圖像A中位于坐標(biāo)（x，y)處的點(diǎn)的灰度值，Txy表示（x，y)點(diǎn)處的閾 值，dxy表示二值圖像B中（x，y)處的像素值，μ xy表示（x，y)坐標(biāo)鄰域內(nèi)的均值，C為設(shè)定 的參數(shù)，〇 < C < 255 ;如果當(dāng)前像素的灰度值大于Txy，則將其標(biāo)記為前景1，否則標(biāo)記為背 景〇 ; 步驟2-2、對灰度圖像A二值化，得到二值圖像B。
6. 根據(jù)權(quán)利要求4所述的基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，其特征在于， 步驟3所述的在二值圖像B中進(jìn)行連通域提取和面積濾波，具體為： 步驟3-1、根據(jù)基于輪廓的連通域標(biāo)記算法在二值圖像B中提取連通域，得到各個(gè)連通 域的中心坐標(biāo)、寬度和高度； 步驟3-2、根據(jù)各個(gè)連通域相對于整體圖像的面積對連通域進(jìn)行篩選，只保留符合要求 的連通域，面積太小的可以視為噪聲； 篩選的規(guī)則為：設(shè)整幅圖像的寬度為Width，高度為Height，共有N個(gè)連通域；其中，第 i個(gè)連通域的寬度為Wi,高度為比（I < i < N)，則第i個(gè)連通域面積占整幅圖像面積的比 例h為：
當(dāng)!^時(shí)，第i個(gè)連通域?yàn)樵肼?；而?dāng)t i> Ttl時(shí)，第i個(gè)連通域有效，保留該連通 域；參數(shù)Ttl根據(jù)實(shí)驗(yàn)結(jié)果設(shè)定。
7. 根據(jù)權(quán)利要求4所述的基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，其特征在于， 步驟4所述使用投影法對矩陣元素進(jìn)行聚類具體為： 步驟4-1、根據(jù)中心點(diǎn)的y坐標(biāo)對所有連通域由小到大進(jìn)行排序； 步驟4-2、使用閾值Ty，根據(jù)每相鄰兩個(gè)連通域y坐標(biāo)之間的絕對差值對連通域進(jìn)行聚 類，得到矩陣的行數(shù)和每一個(gè)連通域的行號；聚類的方法為：
上式中，yi表示升序排序后第i個(gè)連通域的y坐標(biāo)，C i表示升序排序后第i個(gè)連通域 的類別標(biāo)簽，并且初始條件下C1= 1 ;當(dāng)相鄰兩個(gè)連通域的y坐標(biāo)之間的絕對差值小于閾值 1；時(shí)，這兩個(gè)連通域?qū)儆谕?，否則屬于不同的類。閾值Ty由下式給出：
其中，N表示連通域的總個(gè)數(shù)Ai表示第i個(gè)連通域的高度，參數(shù)α為可調(diào)的經(jīng)驗(yàn)參數(shù)， 0· 8 彡 α 彡 2. 5 ; 步驟4-3、在上一步的基礎(chǔ)上，根據(jù)中心點(diǎn)X坐標(biāo)對所有連通域再次進(jìn)行由小到大排 序； 步驟4-4、在同一行上，使用閾值Tx，根據(jù)每相鄰兩個(gè)連通域X坐標(biāo)之間的絕對差值 對連通域進(jìn)行聚類，得到矩陣的列數(shù)和每一個(gè)連通域的列號；ΤΧ表達(dá)式為：
其中，Wi表示第i個(gè)連通域的寬度，參數(shù)β為可調(diào)的經(jīng)驗(yàn)參數(shù)，1. 2彡β彡2. 5 ; 步驟4-5、將行號和列號相同的連通域組合在一起，構(gòu)成一個(gè)完整的矩陣元素。
8. 根據(jù)權(quán)利要求4所述的基于機(jī)器視覺的矩陣計(jì)算器的矩陣識別方法，其特征在于， 步驟5所述使用卷積神經(jīng)網(wǎng)絡(luò)識別矩陣元素具體為： 步驟5-1、對一個(gè)完整的矩陣元素進(jìn)行分割，得到字符圖像； 步驟5-2、將每一個(gè)字符圖像縮放到32x32像素； 步驟5-3、使用卷積神經(jīng)網(wǎng)絡(luò)對各個(gè)字幅圖像進(jìn)行識別； 步驟5-4、根據(jù)字符的左右順序，將識別結(jié)果組織成字符串后轉(zhuǎn)換成浮點(diǎn)數(shù)。
【專利摘要】本發(fā)明公開了一種基于機(jī)器視覺的矩陣計(jì)算器及實(shí)現(xiàn)方法，矩陣計(jì)算器包括攝像頭、圖像處理模塊、用戶界面、顯示器、鍵盤和能夠執(zhí)行矩陣運(yùn)算的運(yùn)算模塊；本發(fā)明從手寫/印刷矩陣圖像中直接分離并識別出矩陣中的元素，然后使用內(nèi)置的函數(shù)根據(jù)用戶選擇進(jìn)行矩陣運(yùn)算；通過數(shù)字圖像分析和模式識別技術(shù)，改變了傳統(tǒng)計(jì)算器的數(shù)據(jù)輸入方式，實(shí)現(xiàn)即拍即算，讓計(jì)算器的使用更加簡單與高效。
【IPC分類】G06F15-02, G06K9-00
【公開號】CN104636309
【申請?zhí)枴緾N201510065308
【發(fā)明人】鄒城, 茅耀斌, 郭唐儀, 劉康, 張夏清, 許晉河, 穆志洋, 吳中山, 王建博, 徐茜, 徐杰, 劉思源, 姚怡超, 邢成歡, 程聰, 陳國豐
【申請人】南京理工大學(xué)
【公開日】2015年5月20日
【申請日】2015年2月6日