一種基于紅外攝像頭三維成像的觸摸識別方法
【專利摘要】本發(fā)明公開了一種基于紅外攝像頭三維成像的觸摸識別方法，包括將本發(fā)明裝置的紅外攝像頭附著安裝在屏幕的任意邊框上，再通過攝像頭對屏幕進(jìn)行標(biāo)定，通過安裝在屏幕邊框上的裝置的攝像頭采集手指或觸摸筆在屏上點(diǎn)擊、觸摸、滑動(dòng)等動(dòng)作的圖像，再由裝置上的專用處理器進(jìn)行圖像處理，對手指或者觸摸筆進(jìn)行三維成像，并判斷手指或者觸摸筆的觸摸點(diǎn)在屏幕上的位置和動(dòng)作。本發(fā)明實(shí)現(xiàn)了任意屏幕上實(shí)現(xiàn)觸摸屏的功能，本發(fā)明使用簡單，定位準(zhǔn)確，便于安裝和攜帶。
【專利說明】一種基于紅外攝像頭三維成像的觸摸識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)人工智能【技術(shù)領(lǐng)域】，更具體地，涉及一種基于紅外攝像頭三維成像的觸摸識別方法。
【背景技術(shù)】
[0002]技術(shù)的進(jìn)步使人與計(jì)算機(jī)之間的交互越來越接近自然方式的交互，也就是人們大力倡導(dǎo)的“自然交互”。觸摸技術(shù)這種輕松的人機(jī)交互方式已經(jīng)被推向了眾多的領(lǐng)域，除了應(yīng)用在個(gè)人便攜式數(shù)碼產(chǎn)品之外，它還被廣泛地應(yīng)用在信息家電、公共信息、電子游戲、辦公室自動(dòng)化設(shè)備以及工業(yè)設(shè)備等領(lǐng)域。利用觸摸技術(shù)，用戶只需要用手指輕輕觸碰屏幕上的文字或圖標(biāo)就能夠?qū)崿F(xiàn)與計(jì)算機(jī)的交互，使得人與機(jī)器之間的交互更加直觀便捷。
[0003]目前，由于種種原因，這種具有良好用戶體驗(yàn)的交互技術(shù)還沒能大規(guī)模地普及在大型顯示屏或PC顯示器上，其中一個(gè)很大的原因就是目前絕大多數(shù)的大型顯示屏或PC顯示器等都無法支持觸摸，而更換帶有觸摸功能的顯示器將花費(fèi)不小的資金。與之相對應(yīng)的是，現(xiàn)有的觸摸技術(shù)有的很難將尺寸做大，有的無法應(yīng)用在現(xiàn)有的顯示器上，有的因成本過高而無法大規(guī)模應(yīng)用。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于紅外攝像頭三維成像的觸摸識別方法，其目的在于，能夠?qū)θ我饩哂衅聊惶匦缘钠聊焕珉娔X液晶屏、普通液晶屏、投影儀屏幕、大型顯示器等成為具有觸摸特性的觸摸屏，大大減小了觸摸屏的成本，提聞了實(shí)用性。
[0005]為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于紅外攝像頭三維成像的觸摸識別方法，包括以下步驟:
[0006](I)將多個(gè)紅外攝像頭放置在屏幕邊框的左右任意位置；
[0007](2)對放置有紅外攝像頭的屏幕進(jìn)行參數(shù)標(biāo)定，以分別獲得左、右攝像頭的投影矩陣Ml和Mr ；
[0008](3)左右紅外攝像頭分別采集用戶手指指尖或觸摸筆尖觸摸屏幕的圖像，對采集的圖像進(jìn)行預(yù)處理，包括圖像相減、圖像去噪、邊緣提取、指尖或筆尖圖像識別，以獲取用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(U1F，V1F)以及在右攝像頭上的成像坐標(biāo)
(U2F，V2f)；
[0009](4)根據(jù)用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(u1F，v1F)以及在右攝像頭上的成像坐標(biāo)(U2F，V2F)、以及左攝像頭的投影矩陣Ml和右攝像頭的投影矩陣Mr通過以下等式獲得用戶的手指指尖或觸摸筆尖在屏幕上的三維空間坐標(biāo)(xf，yf，zf):
【權(quán)利要求】
1.一種基于紅外攝像頭三維成像的觸摸識別方法，其特征在于，包括以下步驟: (1)將多個(gè)紅外攝像頭放置在屏幕邊框的左右任意位置； (2)對放置有紅外攝像頭的屏幕進(jìn)行參數(shù)標(biāo)定，以分別獲得左、右攝像頭的投影矩陣Ml 和 Mr ； (3)左右紅外攝像頭分別采集用戶手指指尖或觸摸筆尖觸摸屏幕的圖像，對采集的圖像進(jìn)行預(yù)處理，包括圖像相減、圖像去噪、邊緣提取、指尖或筆尖圖像識別，以獲取用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(u1F，v1F)以及在右攝像頭上的成像坐標(biāo)(u2F，V2F); (4)根據(jù)用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(u1F，v1F)以及在右攝像頭上的成像坐標(biāo)(u2F，v2F)、以及左攝像頭的投影矩陣Ml和右攝像頭的投影矩陣Mr通過以下等式獲得用戶的手指指尖或觸摸筆尖在屏幕上的三維空間坐標(biāo)(xf，yf，zf):
2.根據(jù)權(quán)利要求1所述的觸摸識別方法，其特征在于，步驟(2)包括以下子步驟: (2-1)以屏幕的右上角作為參考坐標(biāo)原點(diǎn)，橫向?yàn)樽鴺?biāo)X軸，縱向?yàn)閥軸，在屏幕上參考坐標(biāo)為(X1, YijO) , (x2, y2,0),..., (x8, y8,0)的位置分別放置長寬高為L*L*H的標(biāo)定物，并利用兩個(gè)紅外攝像頭分別對8個(gè)標(biāo)定物進(jìn)行拍照，其中(xm，yffl,0)分別為將屏幕劃分為2*4等分后每個(gè)等分的三維參考坐標(biāo)，(xm，ym，H)分別為將屏幕劃分為2*4等分后每個(gè)等分的三維空間坐標(biāo)，I≤m≤8 ; (2-2)利用邊緣提取和梯度算法獲取每個(gè)標(biāo)定物的左右邊緣在左紅外攝像頭上的像素坐標(biāo)uln1、ulmE,以及上下邊緣在該左紅外攝像頭上的像素坐標(biāo)ν1ιΛ、vlmE,并獲取每個(gè)標(biāo)定物在該紅外攝像頭上的像素坐標(biāo)(ulm, vlm),其中ulm=ulmI+ulmK/2, vlm=vlmI+vlmK/2,利用邊緣提取和梯度算法獲取每個(gè)標(biāo)定物的左右邊緣在右紅外攝像頭上的像素坐標(biāo)ιι2Λ、u2niK，以及上下邊緣在該右紅外攝像頭上的像素坐標(biāo)ν2ιΛ、v2fflE,并獲取每個(gè)標(biāo)定物在該右紅外攝像頭上的像素坐標(biāo)(U2ni，V2J，其中 u2ni=u2ni+u2niK/2，v2m=v2mL+v2mE/2 ； (2-3)分別根據(jù)上述獲得的(xm，ym，H)以及每個(gè)標(biāo)定物在左右紅外攝像頭上的像素坐標(biāo)(ulm，vim)、(u2m，v2m)并利用以下等式分別獲得左攝像頭的投影矩陣Ml和右攝像頭的投影矩陣Mr:
3.根據(jù)權(quán)利要求1所述的觸摸識別方法，其特征在于，步驟(3)包括以下子步驟: (3-1)圖像相減，將左攝像頭采集到的圖像與初始化幀的圖像對應(yīng)點(diǎn)上像素點(diǎn)相減組成新的圖像，右攝像頭的處理與上述相同；
4.根據(jù)權(quán)利要求3所述的觸摸識別方法，其特征在于，步驟(3-4)具體為，根據(jù)(3-3)中得到的邊緣檢測圖可以提取出手指的邊緣圖像，每一個(gè)邊緣坐標(biāo)點(diǎn)向量為泛，以該點(diǎn)為起始點(diǎn)按邊緣的順時(shí)針方向數(shù)到的第K點(diǎn)設(shè)為丙,按逆時(shí)針方向數(shù)到的第K點(diǎn)設(shè)為丙Mf
5.一種基于紅外攝像頭三維成像的觸摸識別方法，其特征在于，包括以下步驟: (1)將多個(gè)紅外攝像頭放置在屏幕邊框的左右任意位置； (2)對放置有紅外攝像頭的屏幕進(jìn)行參數(shù)標(biāo)定，以分別獲得左、右攝像頭的投影矩陣Ml 和 Mr ； (3)左右紅外攝像頭分別采集用戶手指指尖或觸摸筆尖觸摸屏幕的圖像，對采集的圖像進(jìn)行預(yù)處理，包括圖像相減、圖像去噪、邊緣提取、指尖或筆尖圖像識別，以獲取用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(U1F，V1F)以及在右攝像頭上的成像坐標(biāo)(U2F，V2F); (4)根據(jù)用戶的手指指尖或觸摸筆尖在左攝像頭上的成像坐標(biāo)(u1F，v1F)以及在右攝像頭上的成像坐標(biāo)(u2F，v2F)、以及左攝像頭的投影矩陣Ml和右攝像頭的投影矩陣Mr通過以下等式獲得用戶的手指指尖或觸摸筆尖在屏幕上的三維空間坐標(biāo)(xf，yf，zf):

6.根據(jù)權(quán)利要求5所述的觸摸識別方法，其特征在于，步驟(2)包括以下子步驟: (2-1)以屏幕的右上角作為參考坐標(biāo)原點(diǎn)，橫向?yàn)樽鴺?biāo)X軸，縱向?yàn)閥軸，在屏幕上參考坐標(biāo)為(X1, Yi, O), (x2, y2,0),..., (x8, y8,0)的位置分別放置長寬高為L*L*H的標(biāo)定物,并利用兩個(gè)紅外攝像頭分別對8個(gè)標(biāo)定物進(jìn)行拍照，其中(xm，ym，0)分別為將屏幕劃分為2*4等分后每個(gè)等分的三維參考坐標(biāo)，(xm，ym，H)分別為將屏幕劃分為2*4等分后每個(gè)等分的三維空間坐標(biāo)，Im8 ; (2-2)利用邊緣提取和梯度算法獲取每個(gè)標(biāo)定物的左右邊緣在左紅外攝像頭上的像素坐標(biāo)uln1、ulmE,以及上下邊緣在該左紅外攝像頭上的像素坐標(biāo)ν1ιΛ、vlmE,并獲取每個(gè)標(biāo)定物在該紅外攝像頭上的像素坐標(biāo)(ulm, vlm),其中ulm=ulmI+ulmK/2, vlm=vlmI+vlmK/2,利用邊緣提取和梯度算法獲取每個(gè)標(biāo)定物的左右邊緣在右紅外攝像頭上的像素坐標(biāo)ιι2Λ、u2niK，以及上下邊緣在該右紅外攝像頭上的像素坐標(biāo)ν2ιΛ、v2fflE,并獲取每個(gè)標(biāo)定物在該右紅外攝像頭上的像素坐標(biāo)(U2ni，V2J，其中 u2ni=u2ni+u2niK/2，v2m=v2mL+v2mE/2 ； (2-3)分別根據(jù)上述獲得的(xm，ym，H)以及每個(gè)標(biāo)定物在左右紅外攝像頭上的像素坐標(biāo)(ulm，vim)、(u2m，v2m)并利用以下等式分別獲得左攝像頭的投影矩陣Ml和右攝像頭的投影矩陣Mr:
7.根據(jù)權(quán)利要求5所述的觸摸識別方法，其特征在于，步驟(3)包括以下子步驟: (3-1)圖像相減，將左攝像頭采集到的圖像與初始化幀的圖像對應(yīng)點(diǎn)上像素點(diǎn)相減組成新的圖像，右攝像頭的處理與上述相同；
8.根據(jù)權(quán)利要求7所述的觸摸識別方法，其特征在于，步驟(3-4)具體為，根據(jù)(3-3)中得到的邊緣檢測圖可以提取出手指的邊緣圖像，每一個(gè)邊緣坐標(biāo)點(diǎn)向量為以該點(diǎn)為起始點(diǎn)按邊緣的順時(shí)針方向數(shù)到的第K點(diǎn)設(shè)為Π，按逆時(shí)針方向數(shù)到的第K點(diǎn)設(shè)為F5，則F的K向量計(jì)算公式為?=|ρ|3η? plfjj，當(dāng)上述計(jì)算α大于O并且大于設(shè)定閥值β，則當(dāng)前向量F對應(yīng)的像素坐標(biāo)即為手指指尖在左攝像頭上的成像坐標(biāo)(u1F，v1F);右攝像頭的處理與上述相同，得到指尖的像素坐標(biāo)為(u2F，v2F)。
【文檔編號】G06F3/042GK103488356SQ201310492768
【公開日】2014年1月1日 申請日期:2013年10月18日 優(yōu)先權(quán)日:2013年10月18日
【發(fā)明者】汪志冰, 何輝, 李磊, 李建軍 申請人:武漢拓寶電子系統(tǒng)有限公司