專利名稱：紅外線攝像定位檢測觸摸屏系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型屬于計算機多媒體技術(shù)領(lǐng)域，具體涉及一種電子計算機多媒體技術(shù)用的、 基于紅外線攝像的觸摸屏系統(tǒng)。
背景技術(shù)：
隨著多媒體信息査詢的與日俱增，人們越來越多地使用到觸摸屏。觸摸屏作為一種最 新的電腦輸入設(shè)備，是目前最簡單、方便、自然而且又適用于中國國情的輸入設(shè)備。觸摸 屏具有堅固耐用、反應(yīng)速度快、節(jié)省空間、易于交流等許多優(yōu)點。利用這種技術(shù)，用戶只 要手指輕輕觸碰計算機顯示屏上的圖標(biāo)或文字就能實現(xiàn)對主機操作，從而使人機交互更為 直截了當(dāng)。
目前，觸摸屏按照技術(shù)原理來區(qū)別，可分為五個基本種類矢量壓力傳感技術(shù)觸摸屏、 電阻技術(shù)觸摸屏、電容技術(shù)觸摸屏、紅外線技術(shù)觸摸屏、表面聲波技術(shù)觸摸屏。其中矢量 壓力傳感技術(shù)觸摸屏已退出歷史舞臺。傳統(tǒng)的紅外線技術(shù)觸摸屏由裝在屏幕外框的紅外線 發(fā)射與接收感測元件構(gòu)成，在屏幕表面上，形成紅外線探測網(wǎng)，任何觸摸物體可阻擋該點 上的紅外線接收從而實現(xiàn)觸摸屏操作。其主要的優(yōu)點是價格低廉、安裝方便、響應(yīng)速度快， 但是分辨率較低，容易損壞。 發(fā)明內(nèi)容
本實用新型的目的在于提供一種分辨率高、不易損壞的紅外線定位檢測觸摸屏系統(tǒng)。 本實用新型所采用的技術(shù)方案是，根據(jù)光的逆反射特性，使用反光條，使紅外線發(fā)射 管發(fā)出的光近似按原路返回，并由紅外攝像頭拍攝返回的紅外線光強圖。如發(fā)生觸摸，會 減弱觸摸區(qū)域返回的紅外光的強度，對比無觸摸和有觸摸的圖像，將得到的被遮擋的紅外 圖像與未被遮擋的紅外圖像相減，得到光強變化絕對值最大的位置即可得到被遮擋的坐 標(biāo)。這樣一側(cè)角上的紅外攝像頭可以確定一根過觸摸點的射線，兩個攝像頭就可以根據(jù)同 時經(jīng)過觸摸點的兩根射線相交確定遮擋的位置。
本實用新型提出的紅外線定位檢測觸摸屏系統(tǒng)，由圖像采集模塊l、控制電路板2、計 算機6組成，如圖1所示。其中，圖像采集模塊l由分別裝在顯示屏屏幕邊框同側(cè)兩角的 兩個紅外線攝像頭3、放置在紅外線攝像頭3兩側(cè)的紅外發(fā)射管4，以及圍貼于屏幕邊框 另外三邊的反光條7組成?？刂齐娐钒?將紅外線攝像頭3采集到的圖像數(shù)據(jù)采用USB數(shù)據(jù)形式傳送給計算機主 機6，由用戶應(yīng)用程序負(fù)責(zé)將接收到的數(shù)據(jù)與未觸摸的標(biāo)準(zhǔn)圖像比對，確定坐標(biāo)，返回給 操作系統(tǒng)，從而構(gòu)建一個紅外線攝像定位觸摸屏系統(tǒng)。
控制電路板2由USB控制傳輸芯片9、數(shù)字圖像傳感器芯片(CMOS) 10、可編程式 邏輯芯片(CPLO) 11和靜態(tài)存儲器12經(jīng)電路連接組成；原理框圖如圖8所示。其中， USB控制傳輸芯片9通過修改寄存器設(shè)置對CMOS數(shù)字圖像傳感器芯片10的窗口設(shè)置等 參數(shù)進行配置，紅外光線通過光學(xué)透鏡以及紅外光濾色鏡在CMOS數(shù)字傳感器芯片10上 成像，數(shù)字圖像傳感器芯片10對其進行空間采樣，并按照一定的幀頻連續(xù)輸出8位的數(shù) 字圖像數(shù)據(jù)Y[7: 0]。為了實現(xiàn)數(shù)字圖像傳感器芯片輸出數(shù)據(jù)與USB控制傳輸芯片9器讀 取數(shù)據(jù)速度與時序的匹配，使用了靜態(tài)存儲器(SRAM) 12和可編程邏輯芯片(CPLD) ll構(gòu)成高速緩沖區(qū)，利用此高速緩沖區(qū)將數(shù)字圖像傳感器IO采集的圖像數(shù)據(jù)緩存。最后 USB控制傳輸芯片9實現(xiàn)與主機的USB接口通信，將高速緩沖區(qū)數(shù)據(jù)傳輸?shù)絇C機進行后 續(xù)的圖像處理。
計算機主機模塊6主要包括固件程序、USB設(shè)備驅(qū)動程序和客戶端應(yīng)用程序三個部分。 固件程序代碼通過裝載存于USB控制傳輸芯片9的RAM中，由片內(nèi)加強型8051單 片機來處理，可采用匯編或C語言編寫，主要用來響應(yīng)各種來自系統(tǒng)的USB設(shè)備請求， 完成各種數(shù)據(jù)交換工作和事件處理。采集系統(tǒng)的固件程序基于CYPRESS公司提供的 EZ-USB固件程序框架進行開發(fā)，添加完成快速塊傳輸?shù)墓δ艽a，并鏈接設(shè)備描述符即 可。
USB設(shè)備驅(qū)動程序為系統(tǒng)提供了應(yīng)用軟件與USB設(shè)備的接口，主要作用是使操作系 統(tǒng)能夠識別USB設(shè)備，并建立起主機端和設(shè)備之間的通信。USB驅(qū)動程序必須基于WDM (Windows Driver Model),采用分層的體系結(jié)構(gòu)，主要分為3層，高層的USB設(shè)備驅(qū)動程 序、中間層USB核心驅(qū)動程序(USB Driver)及底層USB主控制器驅(qū)動程序(USB Host Controller Driver)
用戶應(yīng)用程序的編寫采用visual studio C++6.0開發(fā)環(huán)境，系統(tǒng)應(yīng)用程序的功能主要分 為人機界面初始化、固件裝載、圖像數(shù)據(jù)處理、校正測試、數(shù)據(jù)存儲與讀取幾個部分。其 中圖像數(shù)據(jù)處理和校正測試是本系統(tǒng)的重點。圖像數(shù)據(jù)處理程序的任務(wù)是將讀取到的圖像 與標(biāo)準(zhǔn)無觸摸的圖像比對，建立直線方程，計算出觸摸點的位置的工作。校正測試則是在 初始狀態(tài)或是出現(xiàn)錯誤之后自檢狀態(tài)下的校對程序，為圖像數(shù)據(jù)處理程序提供當(dāng)前操作環(huán) 境以及照明條件下的標(biāo)準(zhǔn)無觸摸圖像，并給出觸摸屏的各個數(shù)據(jù)參數(shù)，以供調(diào)試。
本實用新型中，所述紅外線發(fā)射管4、紅外線攝像頭3，數(shù)據(jù)傳輸線5和控制電路板2均固定在顯示屏的外框內(nèi)。
本實用新型采用模塊化設(shè)計，擴展性強，能夠?qū)崿F(xiàn)紅外線攝像觸摸屏的功能，安裝方 便，原理簡單，成本低，分辨率高。

圖1、系統(tǒng)模塊組成結(jié)構(gòu)。
圖2、逆反射原理圖。
圖3、無觸摸圖像的灰度統(tǒng)計圖。橫坐標(biāo)是屏幕X軸的坐標(biāo)，縱坐標(biāo)是相對應(yīng)的灰度 值。可以看到圖像上的灰度分布較均勻。
圖4、有觸摸圖像的灰度圖。橫坐標(biāo)是屏幕X軸的坐標(biāo)，縱坐標(biāo)是相對應(yīng)的灰度值。 可以看到圖像上有明顯的波峰，和無觸摸的圖像灰度圖比對，可以說明這個坐標(biāo)位置附近 有明顯的光強變化。
圖5、有觸摸與無觸摸圖像的差值取絕對值之后的圖。由差值圖像可以更加清楚地看 到，波峰的出現(xiàn)說明光強發(fā)生強烈變化，與實際測量到的手指觸摸位置比對，非常接近。 圖6、是控制電路板結(jié)構(gòu)框圖。 圖7、用戶端應(yīng)用程序功能框圖。 圖8、數(shù)據(jù)計算及顯示模塊程序流程圖。
圖中標(biāo)號l是圖像采集模塊，2是控制電路板，3是紅外線攝像頭，4是紅外線發(fā)射 管，5是USB數(shù)據(jù)傳輸線，6是計算機主機，7是反光條，ct是紅外線攝像頭和光源張成 的角度，即觀測角，6是紅外線發(fā)射管和發(fā)射體軸張成的角度，即入射角，8是發(fā)射體軸， 9是USB控制芯片，IO是CMOS數(shù)字圖像傳感器芯片，ll是可編程邏輯芯片，12是靜態(tài) 存儲器。
具體實施方式

本實用新型設(shè)計的觸摸屏系統(tǒng)如圖1所示。由圖像采集模塊l、控制電路板2和計算 機6組成，圖像采集模塊1是一個圖像顯示屏，顯示屏同側(cè)兩角分別設(shè)置攝像頭3，每個 攝像頭3的兩側(cè)設(shè)置紅外發(fā)射管4，顯示屏的另三邊分別設(shè)置反光條7。
放置在紅外攝像頭3兩側(cè)的兩個紅外線發(fā)射管4的光束張角在40° ~60°之間，使兩 個紅外發(fā)射管4發(fā)出的紅外光線能夠覆蓋整個屏幕，照射到對角的反光條7。
紅外線攝像頭3采用普通的30萬-50萬像素數(shù)碼攝像頭,攝像頭上裝有紅外線濾色鏡， 紅外線濾色鏡的作用是接收紅外光，濾出大部分的可見光，這樣可使操作環(huán)境的光線變化 對觸摸屏的影響減到最低，只要紅外線發(fā)射管發(fā)出的紅外光線穩(wěn)定，對比用的無觸摸圖像 就可以在初次安裝系統(tǒng)的時候一次確定，不會發(fā)生由于環(huán)境光線的變化造成的無觸摸圖像隨之變化的情況。圖像采集模塊1的兩個攝像頭3要求能夠觀測到圍貼于屏幕三邊的反光 條7，為此攝像頭視角要大，故需采用廣角鏡頭，以增加視角范圍。
反光條7是利用光學(xué)原理，能把光線逆反射回到光源處的一種PVC條。為耐候性能良 好的薄膜層，依次由小玻璃珠層、聚焦層、反射層、粘膠層及剝離層構(gòu)成。逆反射原理圖 見圖2。紅外攝像頭3采集到的遮擋的圖像見圖5。
控制電路板2主要包括數(shù)字圖像傳感器芯片(CMOS) 10、 Cypress公司的內(nèi)部集成了 增強型的51內(nèi)核的USB控制傳輸芯片(EZ-USBAN2131QC)9、可編程邏輯芯片(CPLD) 11和靜態(tài)存儲器(SRAM) 12。由于數(shù)字圖像傳感器輸出數(shù)據(jù)的速率(27Mb/s)與USB 控制芯片(AN2131QC)9數(shù)據(jù)傳輸速率(12Mb/s)的不匹配，故系統(tǒng)采用了 SRAM和CPLD 構(gòu)成中間高速緩沖區(qū)。
CMOS數(shù)字圖像傳感器芯片10實時記錄圖像采集模塊1中經(jīng)過反光條7原路反射回 來的紅外線圖像，該芯片將CMOS光感應(yīng)核心與外圍電路集成在了一起，具有可編程控制 與視頻模/數(shù)混合輸出等功能，輸出的視頻格式與CCIR標(biāo)準(zhǔn)兼容。CMOS數(shù)字圖像傳感器 芯片將圖像數(shù)據(jù)傳送給USB控制傳輸芯片。USB控制傳輸芯片作為系統(tǒng)的核心控制芯片， 完成將CMOS圖像采集芯片采集到的圖像數(shù)據(jù)轉(zhuǎn)換成為標(biāo)準(zhǔn)的USB總線形式的功能。 CMOS圖像傳感器芯片要輸出數(shù)字視頻流，必須通過對傳感器芯片內(nèi)的數(shù)據(jù)端口寄存器進 行讀寫操作才能實現(xiàn)，這就要使用到可編程邏輯芯片來產(chǎn)生地址總線信號、片選信號、輸 出使能信號，并配合CMOS圖像采集芯片的時鐘信號使上述這些信號有效，從而讀取數(shù)據(jù) 端口寄存器。系統(tǒng)讀取圖像并處理的過程為
(1) 可編程邏輯芯片11初始化，并設(shè)置CMOS數(shù)字圖像傳感器芯片10的內(nèi)部控制 寄存器，如曝光控制、增益控制、窗口大小控制等。
(2) 可編程邏輯芯片11設(shè)置地址信號，選擇數(shù)字圖像傳感器芯片10的視頻數(shù)據(jù)端口。
(3) 可編程邏輯芯片11產(chǎn)生數(shù)字圖像傳感器芯片的片選信號，通知圖像采集芯片10 開始采集圖像。
(4) 可編程邏輯芯片11根據(jù)CMOS數(shù)字圖像傳感器芯片10輸出的控制信號，產(chǎn)生 靜態(tài)存儲器12的片選信號、寫信號、地址信號，這樣采集到的數(shù)字圖像即可以連續(xù)的方 式存入存儲器中。
(5) 可編程邏輯芯片11向CMOS數(shù)字圖像傳感器芯片10發(fā)出信號，通知停止采集 圖像，并通知USB控制傳輸芯片9開始準(zhǔn)備讀取靜態(tài)存儲器12中的數(shù)據(jù)到數(shù)據(jù)緩沖區(qū)。
(6) USB控制傳輸芯片9將采集到的數(shù)據(jù)轉(zhuǎn)換成USB格式輸入到計算機主機中。流 程圖見圖6。圖像數(shù)據(jù)經(jīng)USB控制傳輸芯片傳送到計算機主機的同時，計算機主機端的用戶應(yīng)用主 程序的流程如下
(1) 用戶端應(yīng)用程序初始化系統(tǒng)，開啟人機互動顯示功能，設(shè)置系統(tǒng)的基本參數(shù)。
(2) 安裝USB驅(qū)動，呼叫USB控制傳輸芯片。
(3) 通知CMOS數(shù)字圖像傳感器的采集芯片開始采集，并進行數(shù)據(jù)轉(zhuǎn)換，輸出數(shù) 字視頻信號。
(4) 啟動校正測試程序，由用戶根據(jù)當(dāng)前室內(nèi)環(huán)境調(diào)整系統(tǒng)參數(shù)，以取得當(dāng)前照明 條件下的未觸摸圖像。
(5) 在正常模式下，啟動數(shù)據(jù)計算及顯示子程序，將計算返回的觸摸位置傳送給計 算機系統(tǒng)，給出鼠標(biāo)的新位置并顯示。流程圖見圖7。
用戶端應(yīng)用主程序中最核心的就是數(shù)據(jù)計算及顯示子程序，其流程如下
(1) 載入新的一幀圖像。
(2) 與校正測試之后的標(biāo)準(zhǔn)未觸摸圖像相減，并取其絕對值，顯示差值的灰度圖。
(3) 將得到的灰度圖上的每個像素與校正測試得到的閥值比較，如果差值絕對值小 于閥值，說明兩幅圖像的變化不明顯，被認(rèn)為是無觸摸，反之則認(rèn)為可能是有觸摸。將大 于閥值的像素點的灰度值置為灰度最高，即為白色前景，而小于閥值的置為灰度最低，即 為黑色背景，將灰度圖像轉(zhuǎn)化為只有兩種顏色的二值圖像。
(4) 上一步得到的二值圖像中不僅包含了有用的觸摸信息，也有可能包含了無用的 噪聲，可以根據(jù)噪聲發(fā)生的隨機性，不連續(xù)性，對二值圖像再進行形態(tài)學(xué)濾波處理，也就 是腐蝕化，將噪聲去除。
(5) 由于用戶觸摸時手指擺放的隨意性，有可能在反光條上出現(xiàn)好幾個手指的遮擋 情況，可以根據(jù)手指大小的經(jīng)驗值，將白色前景面積明顯不在正常范圍的前景剔除不予考慮。
(6) 考慮到用戶可能不止一個手指觸摸，需要判斷個個手指的觸摸位置就需要將白 色前景按位置分類，用的是經(jīng)典的聚類Kmeans算法。
(7) 對分好的類分別計算類中心，從而得到各個手指的觸摸位置，并將此數(shù)據(jù)傳送 給系統(tǒng)，以給出鼠標(biāo)的移動。流程圖見圖8。
權(quán)利要求1、一種紅外線攝像定位檢測觸摸屏系統(tǒng)，其特征在于由圖像采集模塊(1)、控制電路板(2)、計算機(6)組成，其中，圖像采集模塊(1)由分別裝在顯示屏屏幕邊框同側(cè)兩角的兩個紅外線攝像頭(3)、放置在紅外線攝像頭(3)兩側(cè)的紅外發(fā)射管(4)，以及圍貼于屏幕邊框另外三邊的反光條(7)組成；控制電路板(2)將紅外線攝像頭(3)采集到的圖像數(shù)據(jù)采用USB數(shù)據(jù)形式傳送給計算機主機(6)，由用戶應(yīng)用程序負(fù)責(zé)將接收到的數(shù)據(jù)與未觸摸的標(biāo)準(zhǔn)圖像比對，確定坐標(biāo)，返回給操作系統(tǒng)，從而構(gòu)建一個紅外線攝像定位觸摸屏系統(tǒng)。
2. 根據(jù)權(quán)利要求1所述的紅外線攝像定位檢測觸摸屏系統(tǒng)，其特征在于所述放置在 紅外攝像頭(3)兩側(cè)的兩個紅外發(fā)射管(4)的光束張角為40。 -60° 。
3. 根據(jù)權(quán)利要求1所述的紅外線攝像定位檢測觸摸屏系統(tǒng)，其特征在于所述紅外攝 像頭(3)采用30萬一50萬像素的數(shù)碼攝像頭，攝像頭上裝有紅外線濾光鏡。
4. 根據(jù)權(quán)利要求1所述的紅外線攝像定位檢測觸摸屏系統(tǒng)，其特征在于所述的反光 條(7)采用PVC條，依次由玻璃珠層、聚焦層、反射層、粘膠層和剝離層構(gòu)成。
專利摘要本實用新型屬于計算機多媒體技術(shù)領(lǐng)域，具體為一種紅外線攝像檢測定位觸摸屏系統(tǒng)。它包括圖像采集模塊、控制電路板、主機三個部分。圖像采集模塊由裝在顯示屏屏幕邊框上側(cè)兩角的紅外線發(fā)射管、紅外線攝像頭以及圍貼于屏幕邊框另外三邊的反光條組成。控制電路板對紅外線攝像頭采集到的數(shù)據(jù)進行處理并轉(zhuǎn)換成USB數(shù)據(jù)形式傳送給操作系統(tǒng)。主機則對接收到的圖像數(shù)據(jù)進行分析，計算出手指觸摸的位置，從而控制鼠標(biāo)跟隨手指移動。本實用新型結(jié)構(gòu)簡單、體積小、成本低。
文檔編號G03B11/00GK201145890SQ200720076340
公開日2008年11月5日 申請日期2007年11月1日 優(yōu)先權(quán)日2007年11月1日
發(fā)明者研 孫, 王力超, 陸起涌, 熙 陳 申請人:復(fù)旦大學(xué)