專利名稱：基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法與裝置的制作方法
技術(shù)領域：
本發(fā)明涉及觸摸屏技術(shù)領域，具體涉及一種基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法與裝置。
背景技術(shù)：
觸摸屏作為一種最新的計算機輸入設備，是目前最簡單、方便、自然的一種人機交互方式。它賦予了多媒體以嶄新的面貌，是極富吸引力的全新多媒體交互設備。在目前的市場應用中，觸摸屏主要有電阻式、電容式、表面聲波式、紅外線式觸摸屏四大類型。電阻式、 電容式觸摸屏由于成本原因，只能應用在中小尺寸觸摸屏中。紅外線式觸摸屏雖然價格低廉，響應快，但是分辨率低，易受到外界強光干擾。表面聲波式觸摸屏解決了紅外線式觸摸屏的問題，但容易受灰塵和水滴、油污等影響。隨著圖像顯示技術(shù)的發(fā)展以及人類對信息交換的方便性及舒適性的要求越來越高，市場對大尺寸、價格不高且交互自然的觸摸屏需求越來越強烈?；谟嬎銠C視覺技術(shù)的觸摸屏有著價格低廉、分辨率高、可以利用任何平面作為觸摸平面、不易受外界環(huán)境的干擾、應用范圍廣等優(yōu)勢，因此是觸摸屏未來發(fā)展的方向。但是目前市場出現(xiàn)的相關(guān)技術(shù)的觸摸屏都對背景界面要求較高，只能是一些簡單的黑白界面，或者要求有配套的觸摸筆或觸摸手套，不能自然友好地實現(xiàn)人機交互，使用場合非常有限。同時，現(xiàn)有的相關(guān)技術(shù)觸摸屏在同一時間僅能夠識別一個觸點，實現(xiàn)的動作信息比較單調(diào)。隨著觸摸技術(shù)的廣泛應用，多點觸控逐漸受到關(guān)注。多點觸控能夠同時接收來自屏幕上多個點的輸入信息，使得動作信息大大增加，令觸摸操作更加簡潔方便。但是當前的觸摸屏技術(shù)大多都不能識別多個觸點， 因此限制了多點觸控技術(shù)的發(fā)展。公告號為CN1912816A的中國發(fā)明專利公開了 “一種基于攝像頭的虛擬觸摸屏系統(tǒng)”，該系統(tǒng)首先通過兩個或兩個以上攝像頭從不同視角指向顯示屏，并確定兩個攝像頭的成像平面與顯示屏之間的映射關(guān)系；然后通過圖像差分得到粗略的人手區(qū)域并建立膚色模型，以獲得灰度圖像和粗略指尖位置；之后再使用重要的采樣粒子濾波器對單個手指進行跟蹤以獲得手指輪廓曲線，并根據(jù)指尖所在控制點得到指尖的位置；最后根據(jù)兩幀圖像中的指尖點在顯示屏上的對應位置確定指尖點擊動作。然而上述系統(tǒng)由于上述系統(tǒng)是通過粒子濾波器算法來計算指尖的位置及對指尖點進行跟蹤，以實現(xiàn)在普通顯示屏的觸摸功能， 因此只能對單個手指進行跟蹤和指尖提取，不能實現(xiàn)多點觸摸功能。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法與裝置，其能夠使任意顯示屏具有多點觸摸的功能，同時具有成本低、性能穩(wěn)定、 可用于大尺寸屏幕等優(yōu)點。為解決上述問題，本發(fā)明是通過以下方案實現(xiàn)的—種基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，包括如下步驟
(I)在顯示屏的左右兩端各放置一組指向顯示屏邊框的水平攝像機來獲取指尖觸摸的動作圖像，在顯示屏前方放置一組指向顯示屏且整個顯示屏處于其取景范圍內(nèi)的垂直攝像機來指尖觸摸點的位置圖像，2個水平攝像機和I個垂直攝像機的輸出端均與圖像處理裝置的輸入端相連；(2)圖像處理裝置預先對置于顯示屏前方的垂直攝像機進行系統(tǒng)標定，獲得成像平面坐標與顯示屏平面坐標的映射關(guān)系；(3)圖像處理裝置發(fā)出控制信號啟動2個水平攝像機，在系統(tǒng)初始化時顯示屏左右兩端的水平攝像機記錄下顯示屏邊框在圖像中的位置；當手指進入水平攝像機取景范圍后，采用背景差分法和膚色分割算法獲取手指的輪廓，根據(jù)手指指尖與顯示屏邊框的距離判斷是否產(chǎn)生觸摸；(4)當產(chǎn)生觸摸時，圖像處理裝置發(fā)出控制信號啟動垂直攝像機，并采用背景差分法和膚色分割算法獲取手指的輪廓，并通過基于向量的實時指尖定位算法實時準確地獲取指尖的像素點；(5)圖像處理裝置根據(jù)成像平面坐標與顯示屏平面坐標的映射關(guān)系，將指尖的像素點轉(zhuǎn)換為顯示屏對應的坐標；(6)圖像處理裝置根據(jù)指尖坐標和指尖停留時間進行點擊檢測，若符合點擊條件， 則轉(zhuǎn)換為相應的指令完成觸摸操作；若不符合，則觸摸操作未完成，采用卡爾曼濾波器對指尖點進行跟蹤，預測下一幀圖像指尖點位置；(7)在下一幀圖像中以預測的指尖點為中心點劃出感興趣(ROI)區(qū)域進行步驟
(4)膚色分割和指尖定位，不斷循環(huán)直至觸摸操作結(jié)束。上述方案中，步驟(4)中所述基于向量的實時指尖定位算法具體步驟如下(a)確定鄰域半徑r的值該鄰域半徑r的取值需大于手指在圖像中的寬度、且小于手指在圖像中的長度，即
權(quán)利要求
1.基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是包括如下步驟(1)在顯示屏的左右兩端各放置一組指向顯示屏邊框的水平攝像機來獲取指尖觸摸的動作圖像，在顯示屏前方放置一組指向顯示屏且整個顯示屏處于其取景范圍內(nèi)的垂直攝像機來指尖觸摸點的位置圖像，2個水平攝像機和I個垂直攝像機的輸出端均與圖像處理裝置的輸入端相連；(2)圖像處理裝置預先對置于顯示屏前方的垂直攝像機進行系統(tǒng)標定，獲得成像平面坐標與顯示屏平面坐標的映射關(guān)系；(3)圖像處理裝置發(fā)出控制信號啟動2個水平攝像機，在系統(tǒng)初始化時顯示屏左右兩端的水平攝像機記錄下顯示屏邊框在圖像中的位置；當手指進入水平攝像機取景范圍后， 采用背景差分法和膚色分割算法獲取手指的輪廓，根據(jù)手指指尖與顯示屏邊框的距離判斷是否產(chǎn)生觸摸；(4)當產(chǎn)生觸摸時，圖像處理裝置發(fā)出控制信號啟動垂直攝像機，并采用背景差分法和膚色分割算法獲取手指的輪廓，并通過基于向量的實時指尖定位算法實時準確地獲取指尖的像素點；(5)圖像處理裝置根據(jù)成像平面坐標與顯示屏平面坐標的映射關(guān)系，將指尖的像素點轉(zhuǎn)換為顯示屏對應的坐標；(6)圖像處理裝置根據(jù)指尖坐標和指尖停留時間進行點擊檢測，若符合點擊條件，則轉(zhuǎn)換為相應的指令完成觸摸操作；若不符合，則觸摸操作未完成，采用卡爾曼濾波器對指尖點進行跟蹤，預測下一幀圖像指尖點位置；(7)在下一幀圖像中以預測的指尖點為中心點劃出感興趣區(qū)域進行步驟(4)膚色分割和指尖定位，不斷循環(huán)直至觸摸操作結(jié)束。
2.根據(jù)權(quán)利要求I所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是步驟(4)中所述基于向量的實時指尖定位算法具體步驟如下(a)確定鄰域半徑r的值該鄰域半徑r的取值需大于手指在圖像中的寬度、且小于手指在圖像中的長度，即finger .width x image width finger .length x image.length screen.widthscreen.length上式中，finger, width和finger, length分別為手指的寬度和長度，image, width和 image, length分別為圖像寬和長的像素點數(shù)，screen, width和screen, length分別為觸摸屏幕的寬度和長度；(b)計算人手區(qū)域輪廓閉合曲線S中各點的彎曲度，得到彎曲度的集合C= {Ci； i = 1,2, . . .，η}，其中人手區(qū)域輪廓閉合曲線S中的某一點Pi的彎曲度Ci為C1 = sgn(H X P,_rPr)* Pt_rPl+r ②上式中，Ph和Pi+r是點Pi的r領域集合Ω i上的2個端點X為向量和向量P JD的外積，為向量P P的模；i-r ii-r i+r(c)在集合C中取IciI值最小且為正的元素，該元素所對應的點Pi即為指尖點；(d)設手指的寬度差閾值為常數(shù)d，在集合c中取出APi的鄰域外符合條件IckI< I CiI+d且為正的所有元素，得到新的集合Cr。(e)根據(jù)步驟(d)得到的結(jié)果，若在Cr對應的點集合中有連通集合，則保留連通集合中 Ci值最小的點，去除其余的點；最后剩余的點即為所有手指的指尖點。
3.根據(jù)權(quán)利要求2所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是步驟(a)中鄰域半徑r值取手指在圖像中的寬度和長度的中間值。
4.根據(jù)權(quán)利要求I所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是步驟(6)中所述采用卡爾曼濾波器對指尖點進行跟蹤，預測下一幀圖像指尖點位置的具體步驟為采用之+5%進行指尖位置的預測，在下一幀圖像中以預測的指尖點為中心點劃出ROI區(qū)域進行膚色分割和指尖定位，隨后將獲取的準確手指指尖坐標作為系統(tǒng)狀態(tài)向量Zk，代入；=1, +H -丑尤)進行濾波器校正，校正后再進行指尖位置的預測， 不斷循環(huán)直至觸摸操作結(jié)束；上述兩式中，;^即為預測的狀態(tài)向量，A為狀態(tài)轉(zhuǎn)移矩陣，Xk^1為時刻k-Ι的系統(tǒng)狀態(tài)向量，B為控制矩陣，Uk為控制向量，Xk為時刻k的系統(tǒng)狀態(tài)向量，Kk為卡爾曼增益矩陣，Zk 為時刻k的系統(tǒng)狀態(tài)測量向量，H為觀測矩陣。
5.根據(jù)權(quán)利要求I所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是步驟(3)和(4)中所述采用背景差分法和膚色分割算法獲取手指的輪廓的具體步驟如下(a)在手指進入攝像區(qū)域前，水平攝像機和垂直攝像機首先存儲若干圖片并做灰度轉(zhuǎn)換，隨后計算其均值作為背景灰度圖像，即^bkimg(X，y) = avg(^ G1 (x,少))③i=\上式中，Gi為存儲的第i張圖片，η為存儲的圖片數(shù)量，Gbkimg為得到的背景灰度圖像；(b)選擇在YCbCr彩色空間上建立合適的膚色模型，對手指區(qū)域進行膚色分割；SP(b. I)將水平攝像機和垂直攝像機或得的RGB圖像轉(zhuǎn)換為YCbCr圖像，其中RGB空間到 YCbCr空間的轉(zhuǎn)換公式為'Y = 0.299 xR + 0.587 x G + 0.114 x 5< Cr = 0.713 x(R-Y) +δ④= 0.564 X (5-F) +<5上式中，Y、Cb、Cr為YCbCr空間的亮度分量、藍色色度分量、紅色色度分量值；R、G、B為·128,圖像為8位RGB空間的紅色、綠色、藍色分量值P = 32768，圖像為16位·0.5，圖像為浮點 L ；(b. 2)利用式④中得到的Y分量與式③得到的背景灰度圖像作差后，得到背景差分值 D(x, y),即D (X, y) = abs (Yftimg (x, y) -Gbkimg (x, y))⑤上式中，Yftimg為前景圖像的Y分量，D(x，y)為背景差分值；(b. 3)根據(jù)式④和式⑤建立YCbCr彩色空間膚色檢測模型為Min，Max] · D >T上式中，Cb、Cr為YCbCr空間的藍色色度分量、紅色色度分量值；D為背景差分值；常數(shù) MiruMax為Cr與Cb比值的最大和最小閾值，常數(shù)T為背景差分閾值；該膚色檢測模型通過設定Cr和Cb比值的最大和最小閾值以及背景差分閾值來判定膚色區(qū)域；當result為I時，表示該像素點為膚色區(qū)域；當result為O時，表示為非膚色區(qū)域。
6.根據(jù)權(quán)利要求5所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法，其特征是: 還進一步包括根據(jù)式⑦對背景進行自動更新的步驟，Iacc (x，y)=(卜 α) xD，y) + a xiftimg(x，y) ⑦上式中，Ia。。為更新后的背景圖像，Iftimg為前景圖像，α為更新常系數(shù)。
7.基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)裝置，其特征在于其主要由顯示屏、2個水平攝像機、I個垂直攝像機和圖像處理裝置組成；其中2個水平攝像機分別放置在顯示屏的左右兩端、并同時指向顯示屏邊框；垂直攝像機則放置在顯示屏的前方、并指向顯示屏且整個顯示屏處于其取景范圍內(nèi)；2個水平攝像機和I個垂直攝像機的輸出端均與圖像處理裝置的輸入端相連；上述圖像處理裝置包括系統(tǒng)標定模塊、觸摸判斷模塊、觸摸控制點提取模塊、坐標轉(zhuǎn)換模塊、點擊檢測模塊和卡爾曼跟蹤模塊；其中2個水平攝像機的輸出端與觸摸判斷模塊的輸入端相連；垂直攝像機的輸出端和觸摸判斷模塊的輸出端分別連接觸摸控制點提取模塊的2個輸入端；觸摸控制點提取模塊的輸出端和系統(tǒng)標定模塊的輸出端分別連接坐標轉(zhuǎn)換模塊的2個輸入端；坐標轉(zhuǎn)換模塊的輸出端與點擊檢測模塊的輸出端相連；點擊檢測模塊的輸出端分為兩路，一路經(jīng)由卡爾曼跟蹤模塊接至觸摸控制點提取模塊的又一個輸入端， 另一路作為基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)裝置的輸出端。
8.根據(jù)權(quán)利要求7所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)裝置，其特征在于所述觸摸判斷模塊包括水平攝像機背景差分單元、水平攝像機膚色分割單元和觸摸判斷單元；水平攝像機背景差分單元的輸入端連接2個水平攝像機的輸出端，水平攝像機背景差分單元的輸出端經(jīng)由水平攝像機膚色分割單元與觸摸判斷單元的輸入端相連，觸摸判斷單元的輸出端連接觸摸控制點提取模塊。
9.根據(jù)權(quán)利要求7所述基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)裝置，其特征在于所述觸摸控制點提取模塊包括垂直攝像機背景差分單元、垂直攝像機膚色分割單元和指尖定位單元；垂直攝像機背景差分單元的輸入端連接垂直攝像機的輸出端，垂直攝像機背景差分單元的輸出端經(jīng)由垂直攝像機膚色分割單元與指尖定位單元的輸入端相連，指尖定位單元的輸出端連接坐標轉(zhuǎn)換模塊。
全文摘要
本發(fā)明公開一種基于計算機視覺技術(shù)的多點觸摸屏系統(tǒng)實現(xiàn)方法與裝置，系統(tǒng)裝置由3組攝像機、1個圖像處理裝置和1個普通顯示屏組成。3組攝像機的輸出端都接在圖像處理裝置上。在顯示屏的左右兩端各放置一組指向顯示屏邊框的水平攝像機，當手指進入攝像機取景范圍時，可根據(jù)手指指尖與顯示屏距離判斷是否產(chǎn)生觸摸。顯示屏前方放置一組指向顯示屏且整個顯示屏處于其取景范圍內(nèi)的垂直攝像機，當產(chǎn)生觸摸時，可根據(jù)該攝像機拍攝的圖像獲取指尖點位置，同時對手指進行跟蹤。圖像處理裝置通過對攝像機采集的圖像進行處理，得到指尖觸摸點的位置和手指動作信息，轉(zhuǎn)換為相應的指令完成觸摸操作。
文檔編號G06F3/042GK102591533SQ201210051470
公開日2012年7月18日 申請日期2012年3月1日 優(yōu)先權(quán)日2012年3月1日
發(fā)明者葉進, 吳阿沛, 張全君, 張向利, 張紅梅, 陳俊彥 申請人:桂林電子科技大學