專利名稱：帶有圖像傳感器和信號處理器的觸摸輸入的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及交互式輸入系統(tǒng)。
背景技術(shù)：
以下交互式輸入系統(tǒng)是公知的允許用戶使用有源指示器(例如，發(fā)射光、聲或其它信號的指示器)、無源指示器(例如，手指、圓柱體或其它對象)或者諸如鼠標(biāo)或跟蹤球的其它適當(dāng)?shù)妮斎朐O(shè)備將輸入(例如，數(shù)字墨水、鼠標(biāo)事件等)注入應(yīng)用程序中。這些交互式輸入系統(tǒng)包括但不限于包括采用模擬電阻或機(jī)器視覺技術(shù)來注冊指示器輸入的觸摸板的觸摸系統(tǒng)，諸如在轉(zhuǎn)讓給本申請的受讓人加拿大亞伯達(dá)省卡爾加里的 SMART Technologies ULC 的美國專利 No. 5，448，263 ；6，141，000 ；6，337，681 ；6，747，636 ； 6，803，906 ；7, 232，986 ；7, 236，162 ；以及7，274，356中所公開的那些，通過引用的方式將其內(nèi)容合并于此；包括采用電磁、電容、聲或其它技術(shù)注冊指示器輸入的觸摸板的觸摸系統(tǒng)； 平板個人計算機(jī)(PC)；膝上型PC;個人數(shù)字助理(PDA)；或其它相似設(shè)備。上述合并的Morrison等人的美國專利No. 6，803，906公開了一種采用機(jī)器視覺來檢測與在其上呈現(xiàn)計算機(jī)生成的圖像的觸摸表面的指示器交互的觸摸系統(tǒng)。矩形邊框或框架圍繞觸摸表面并且支撐在其角落處的數(shù)字相機(jī)。數(shù)字相機(jī)具有包圍并且一般地掃視觸摸表面的重疊視場。數(shù)字相機(jī)從不同視點(diǎn)獲取掃視觸摸表面的圖像并且生成圖像數(shù)據(jù)。數(shù)字相機(jī)所獲取的圖像數(shù)據(jù)由自帶的(on-board)數(shù)字信號處理器來進(jìn)行處理，以確定在已捕捉到的圖像數(shù)據(jù)中是否存在指示器。當(dāng)確定在已捕捉到的圖像數(shù)據(jù)中存在指示器時，數(shù)字信號處理器將指示器特性數(shù)據(jù)傳遞到主控制器，該主控制器進(jìn)而處理該指示器特性數(shù)據(jù)， 以使用三角測量法來確定指示器相對于觸摸表面在(x，y)坐標(biāo)系中的位置。將該指示器坐標(biāo)傳遞到執(zhí)行一個或多個應(yīng)用程序的計算機(jī)。計算機(jī)使用指示器坐標(biāo)來更新在觸摸表面上呈現(xiàn)的計算機(jī)生成的圖像。因此，觸摸表面上的指示器接觸能夠被記錄為寫入或繪制或用于控制由計算機(jī)執(zhí)行的應(yīng)用程序的執(zhí)行。Morrison等人的美國專利申請公開No. 2004/0179001公開了一種觸摸系統(tǒng)和方法，該觸摸系統(tǒng)和方法區(qū)分用于接觸觸摸表面的無源指示器，使得可以根據(jù)用于接觸觸摸表面的指示器的類型來處理響應(yīng)于與觸摸表面的指示器接觸而生成的指示器位置數(shù)據(jù)。該觸摸系統(tǒng)包括待由無源指示器接觸的觸摸表面和具有一般地沿著觸摸表面查看的視場的至少一個成像設(shè)備。至少一個處理器與至少一個成像設(shè)備通信并且分析由至少一個成像設(shè)備獲取的圖像，以確定用于接觸觸摸表面的指示器的類型以及在進(jìn)行指示器接觸的觸摸表面上的位置。所確定的指示器類型和進(jìn)行指示器接觸的觸摸表面上的位置由計算機(jī)使用以控制由計算機(jī)執(zhí)行的應(yīng)用程序的執(zhí)行。盡管存在許多不同類型的交互式輸入系統(tǒng)，但是不斷尋求對這樣的交互式輸入系統(tǒng)的改進(jìn)。因此，本發(fā)明的目的是提供一種新穎的交互式輸入系統(tǒng)。

發(fā)明內(nèi)容
因此，在一個方面中，提供了一種交互式輸入系統(tǒng)，包括至少兩個成像配件，所述至少兩個成像配件從不同視點(diǎn)捕捉感興趣區(qū)域的圖像幀；以及處理結(jié)構(gòu)，所述處理結(jié)構(gòu)處理由所述成像配件捕捉到的圖像幀以確定指示器在感興趣區(qū)域內(nèi)的位置，其中每一個成像配件包括圖像傳感器和集成信號處理電路。根據(jù)另一個方面，提供了一種交互式輸入系統(tǒng)，包括至少一個成像設(shè)備，所述至少一個成像設(shè)備具有查看感興趣區(qū)域的視場；以及至少一個輻射源，所述至少一個輻射源將輻射散發(fā)到所述感興趣區(qū)域中，其中在圖像幀由所述至少一個成像設(shè)備捕捉期間，對至少一個輻射源的操作與所述至少一個成像設(shè)備的曝光時間同步。


現(xiàn)在將參考附圖更全面地描述實(shí)施例，在附圖中圖1是交互式輸入系統(tǒng)的立體圖；圖2是圖1的交互式輸入系統(tǒng)的框圖視圖；圖3是圖1的交互式輸入系統(tǒng)的一部分的立體概念圖；圖4A是形成圖1的交互式輸入系統(tǒng)的一部分的圖像傳感器和關(guān)聯(lián)信號處理電路的框圖；圖4B是用于圖1的交互式輸入系統(tǒng)的圖像傳感器和關(guān)聯(lián)信號處理電路的另一個實(shí)施例的框圖；圖5是圖4A的圖像傳感器和關(guān)聯(lián)信號處理電路的另一個示意框圖；圖6A和6B是用于圖1的交互式輸入系統(tǒng)的進(jìn)一步替代圖像傳感器和關(guān)聯(lián)信號處理電路的框圖，以及圖7A和7B是用于圖1的交互式輸入系統(tǒng)的又一替代圖像傳感器和關(guān)聯(lián)信號處理電路的框圖。
具體實(shí)施例方式現(xiàn)在轉(zhuǎn)向圖1至3，示出了允許用戶將輸入(例如，數(shù)字墨水、鼠標(biāo)事件等)注入應(yīng)用程序中的交互式輸入系統(tǒng)，并且其通常通過附圖標(biāo)記20來標(biāo)識。在該實(shí)施例中，交互式輸入系統(tǒng)20包括配件22，配件22接合諸如等離子電視、液晶顯示(IXD)設(shè)備、平板顯示設(shè)備、電子射線管等的顯示單元(未示出)，并且環(huán)繞顯示單元的顯示表面對。配件22采用機(jī)器視覺來檢測與顯示表面M接近的、帶入感興趣區(qū)域的指示器，并且經(jīng)由通信線路觀與中央集線器26通信。在該實(shí)施例中，通信線路觀被具體化為串行總線。中央集線器沈還經(jīng)由USB電纜32與執(zhí)行一個或多個應(yīng)用程序的通用計算設(shè)備30通信。計算設(shè)備30包括例如處理單元、系統(tǒng)存儲器(易失性和/或非易失性)、其它不可移動或可移動存儲器(硬盤驅(qū)動器、RAM、ROM、EEPROM、CD-ROM、DVD、閃速存儲器等)以及將各種計算設(shè)備組件耦接到處理單元的系統(tǒng)總線。計算設(shè)備30處理經(jīng)由中央集線器沈接收到的配件22的圖像數(shù)據(jù)輸出，并且調(diào)整輸出到顯示單元的圖像數(shù)據(jù)，使得在顯示表面M上呈現(xiàn)的圖像反映指示器活動。以這種方式，配件22、中央集線器沈和計算設(shè)備30允許接近顯示表面M并且在感興趣區(qū)域內(nèi)的指示器活動被記錄為寫入或繪制或用于控制由計算設(shè)備 30執(zhí)行的一個或多個應(yīng)用程序的執(zhí)行。配件22包括機(jī)械地附設(shè)到顯示單元并且環(huán)繞顯示表面M的框架配件?？蚣芘浼ň哂腥齻€邊框段40、42和44、四個彎角46以及工具托盤段48的邊框。邊框段40和 42沿著顯示表面M的相對側(cè)邊緣延伸，而邊框段44沿著顯示表面M的頂邊緣延伸。工具托盤段48沿著顯示表面M的底邊緣延伸并且支撐一個或多個筆工具P。與顯示表面M 的左上角和右上角相鄰的彎角46將邊框段40和42耦接到邊框段44。與顯示表面M的左下角和右下角相鄰的彎角46將邊框段40和42耦接到工具托盤段48。在該實(shí)施例中，與顯示表面M的左下角和右下角相鄰的彎角46還容納一般地從不同視點(diǎn)掃視整個顯示表面 24的成像配件60。使邊框段40、42和44定向，使得成像配件60看見其面朝內(nèi)的表面。在該實(shí)施例中，每一個邊框段40、42、44的面朝向的表面包括單個反向反光材料條或帶。為了最好地利用反向反光材料的屬性，使邊框段40、42和44定向，使得其面朝內(nèi)的表面位于通常與顯示表面M的平面垂直的平面中。替代地，邊框段40、42和44可以是在以上合并的Hansen等人的美國專利申請序列號No. 12/118，545中公開的類型?，F(xiàn)在轉(zhuǎn)向圖4A和5，更好地圖示了成像配件60中的一個。如可以看出的，每一個成像配件60包括與信號處理電路72通信的圖像傳感器70。在該實(shí)施例中，每一個成像配件60的圖像傳感器70是由Micron根據(jù)型號No. MT9V023制造的類型，并且裝配有由Boowon 根據(jù)型號No.BW25B制造的類型的880nm透鏡，給予圖像傳感器70大于九十(90)度的視場。 當(dāng)然，本領(lǐng)域技術(shù)人員將理解的是，可以采用其它市售或定制圖像傳感器。在該實(shí)施例中，如圖4A中所示，信號處理電路72在諸如現(xiàn)場可編程門陣列(FPGA) 芯片的集成電路上實(shí)現(xiàn)，并且與圖像傳感器70 —起被裝配在印刷電路板上。替代地，如圖 4B中所示，圖像傳感器70和信號處理電路72可以被制備在單個集成電路模(die) 102上。 信號處理電路72包括向邊框處理器82以及向聚光燈處理器84提供圖像數(shù)據(jù)的傳感器接口 80。傳感器接口 80還向照明控制器88和輸出緩沖器90提供同步信息。輸出緩沖器90 被耦接到串行接口 92，串行接口 92自身被相應(yīng)地耦接到串行總線觀的時鐘和數(shù)據(jù)線路 9 和92b。傳感器接口 80包括控制在圖像傳感器70和信號處理電路72之間的數(shù)據(jù)傳輸?shù)? 總線接口 80a。圖像傳感器70的所有輸入/輸出和時鐘線路被直接接線到信號處理電路72，使得不需要支持硬件。通過串行接口 92進(jìn)入、被尋址到圖像傳感器70的數(shù)據(jù)由 I2C總線接口 80a重新格式化并且直接發(fā)送到圖像傳感器70。信號處理電路72還包括4Mbit (兆比特)的閃速存儲器94、邊框文件96和控制寄存器98。閃速存儲器94包含充足空間用于兩個FPGA芯片配置文件，以及大約IMbit用于用戶信息。一個配置文件用于對FPGA芯片重編程序用于故障保險或工廠診斷模式。用戶信息存儲器用于存儲圖像傳感器參數(shù)、序列號以及與圖像傳感器相關(guān)的其它信息。照明控制器88被連接到輻射源，諸如包括多個頂發(fā)光二極管(LED)和關(guān)聯(lián)透鏡
6配件的紅外(IR)光源100。在該實(shí)施例中JR光源100的總功率是300mW。IR光源100只有在圖像傳感器70的曝光時間期間才被打開，導(dǎo)致大約8%的占空比以及大約25mW的平均功耗。頂光源100的控制信號由照明控制器88響應(yīng)于從圖像傳感器70輸出的同步信號而供給，所述同步信號由照明控制器88經(jīng)由傳感器接口 80接收到。在該實(shí)施例中，F(xiàn)PGA芯片包括安全系統(tǒng)，該安全系統(tǒng)包括FPGA芯片的獨(dú)特標(biāo)識符 (64字節(jié))和一次性可編程安全寄存器(64字節(jié))。安全寄存器可以在工廠被編碼有解鎖 FPGA芯片的獨(dú)特代碼。將配置文件從一個FPGA芯片復(fù)制到另一個FPGA芯片的任何嘗試造成FPGA芯片關(guān)閉。FPGA芯片還包括多個片上或內(nèi)部時鐘。圖像傳感器70的時鐘和所有FPGA內(nèi)部時鐘從由串行接口 92經(jīng)由串行總線28的時鐘線路9 接收到的時鐘輸入合成，而不需要外部晶體。在成像配件60上本地生成高頻時鐘幫助減少電磁干擾(EMI)。在該實(shí)施例中，F(xiàn)PGA芯片還包括大約200，000個門、288Kbit (千比特)片上靜態(tài)存儲器以及 195個I/O管腳。例如，可以使用Xilinx XC3S200AN FPGA芯片。可以如下分配靜態(tài)存儲器。邊框文件96使用161ibit的靜態(tài)存儲器，邊框處理器92的內(nèi)部寄存器使用161ibit的靜態(tài)存儲器、聚光燈處理器84的內(nèi)部寄存器使用ieicbit的靜態(tài)存儲器、以及被雙緩沖的輸出緩沖器90使用321Ait的靜態(tài)存儲器。信號處理電路72提供多種用途。信號處理電路72的主要功能是執(zhí)行對由圖像傳感器70生成的圖像數(shù)據(jù)的預(yù)處理，并且將結(jié)果流送(stream)到中央集線器沈。信號處理電路72還執(zhí)行其它功能，包括對頂光源100、透鏡配件參數(shù)存儲、反復(fù)制的安全保護(hù)、時鐘生成、串行接口以及圖像傳感器同步和控制的控制。中央集線器沈包括通用串行總線(USB)微控制器，該USB微控制器用于維持到成像配件60的串行鏈路、將從成像配件60接收到的圖像信息封裝成USB分組并且通過USB 電纜32將USB分組發(fā)送給計算設(shè)備30用于進(jìn)一步處理。通過串行總線28在中央集線器沈和成像配件60之間的通信是雙向的，并且在每一個方向上以2Mbit/s的速率同步執(zhí)行。如果期望的話，則可以增加通信速率以減少等待時間。串行總線觀的時鐘和數(shù)據(jù)線路9 或92b分別攜帶不同的時鐘和數(shù)據(jù)信號對。時鐘線路9 從中央集線器沈驅(qū)動，并且用于為圖像數(shù)據(jù)連續(xù)計時以及為成像配件60提供基準(zhǔn)時鐘的雙重用途。當(dāng)數(shù)據(jù)在串行總線觀的數(shù)據(jù)線路92b上時，時鐘和數(shù)據(jù)線路9 和 92b由中央集線器沈以相反極性驅(qū)動。當(dāng)釋放串行總線觀時，上拉電阻(未示出)將時鐘和數(shù)據(jù)線路兩者均拉高。中央集線器26將時鐘和數(shù)據(jù)線路兩者同時拉低以重置成像配件 60。因此，中央集線器沈能夠一起重置和釋放所有印刷電路板以使成像配件60同步。串行總線觀對于短距離是帶狀電纜的形式，并且對于較長距離是cat-5電纜的形式。中央集線器沈還包括開關(guān)式電壓調(diào)節(jié)器，用于向每一個成像配件60提供輸入 3. 3V邏輯電源電壓，其用于向圖像傳感器70提供電力。用于FPGA芯片的1. 2V邏輯電源電壓由單個線性電壓調(diào)節(jié)器(未示出)從每一個成像配件60中的3. 3V邏輯電源電壓生成。 用于運(yùn)行頂光源100的外部電流調(diào)節(jié)器、儲能電容器以及開關(guān)式電容器也可以被包含在中央集線器26中。用來運(yùn)行頂光源100的開關(guān)式電壓調(diào)節(jié)器高于LED正向偏壓大約0. 5V。交互式輸入系統(tǒng)20被設(shè)計成檢測無源指示器，諸如用戶的手指F、圓柱體或被帶入與顯示表面M接近并且在成像配件60的視場內(nèi)的其它適當(dāng)?shù)膶ο蟆，F(xiàn)在將描述交互式輸入系統(tǒng)20的一般操作。每一個成像配件60獲取以由信號處
7理電路時鐘信號建立的幀速率一般地掃視在其圖像傳感器60的視場內(nèi)的顯示表面M的圖像幀。當(dāng)頂光源100打開時，IR光源的LED使顯示表面M上的感興趣區(qū)域充滿紅外光照明。對邊框段40、42和44的反向反光帶有影響的紅外光照明被返回給成像配件60。結(jié)果， 當(dāng)不存在指示器時，每一個成像配件60看到越過其長度的具有基本上均衡亮度的亮帶。當(dāng)指示器被帶入與顯示表面M接近時，指示器擋住邊框段40、42和44的反向反光帶所反射的紅外光照明。結(jié)果，指示器顯現(xiàn)為中斷已捕捉到的圖像幀中的亮帶的暗區(qū)。信號處理電路72處理圖像幀以確定在圖像幀中是否捕捉到一個或多個指示器，以及如果是的話，則生成指示器數(shù)據(jù)。中央集線器沈?yàn)橹甘酒鲾?shù)據(jù)以設(shè)定頻率(在該實(shí)施例中，由于960幀每秒(fps) 的圖像捕捉頻率，故為120次每秒)輪詢成像配件60，并且對指示器數(shù)據(jù)執(zhí)行三角測量法以確定指示器位置數(shù)據(jù)。中央集線器26進(jìn)而將指示器位置數(shù)據(jù)和/或圖像配件狀態(tài)信息傳送給計算設(shè)備30。以這種方式，傳送給計算設(shè)備30的指示器位置數(shù)據(jù)可以被記錄為寫入或繪制，或可以用于控制由計算設(shè)備30執(zhí)行的應(yīng)用程序的執(zhí)行。計算設(shè)備30還更新傳遞給顯示單元的顯示輸出，使得所呈現(xiàn)的圖像反映指示器活動。中央集線器沈還從計算設(shè)備 30接收命令，并且相應(yīng)地作出響應(yīng)以及生成診斷信息并向成像配件60傳遞診斷信息。最初，執(zhí)行對準(zhǔn)例程以使圖像傳感器70對準(zhǔn)。在對準(zhǔn)例程期間，指示器保持在顯示表面M的近似中心中。在圖像幀捕捉以后，然后選擇圖像傳感器70的像素的子集，直到對于每一個圖像傳感器70，找到捕捉指示器和顯示表面M上的指示器尖端的像素的子集。 該對準(zhǔn)例程允許放寬圖像傳感器70的機(jī)械安裝。對在顯示表面M上的指示器尖端的識別還給出校準(zhǔn)信息，用于確定每一個圖像傳感器70的對應(yīng)于與顯示表面M進(jìn)行的實(shí)際指示器接觸的像素行。知道這些像素行允許容易地確定指示器懸停與指示器接觸之間的差異。在該實(shí)施例中，由于計算設(shè)備顯示被投射到顯示表面M上，所以在對準(zhǔn)例程期間，若干已知的坐標(biāo)位置也在顯示表面M上顯示，以及向用戶提示使用指示器順次觸摸這些坐標(biāo)位置，使得圖像傳感器70的每一個的像素的子集還包括所有這些觸摸坐標(biāo)位置。然后存儲校準(zhǔn)數(shù)據(jù)用于參考，使得在顯示表面M上的指示器接觸可以被映射到計算機(jī)顯示上的對應(yīng)區(qū)域。如前所述，每一個成像配件60獲取一般地掃視其視場內(nèi)的顯示表面M的圖像幀。 圖像幀由圖像傳感器70響應(yīng)于從信號處理電路72接收到的時鐘信號而不時獲取。信號處理電路72進(jìn)而從圖像傳感器70讀取每一個圖像幀，并且處理圖像幀以確定指示器是否位于圖像幀中，以及如果是的話，則從圖像幀提取指示器和相關(guān)的指示器統(tǒng)計信息。如將描述的，為了避免處理包含無用信息的大量像素，信號處理電路72的若干組件預(yù)處理圖像幀數(shù)據(jù)。由每一個成像配件60的信號處理電路72生成的指示器數(shù)據(jù)僅在中央集線器沈輪詢成像配件60時才被發(fā)送給中央集線器26。信號處理電路72比中央集線器沈輪詢成像配件60更快地創(chuàng)建指示器數(shù)據(jù)。然而，中央集線器沈可以以與對已處理的圖像數(shù)據(jù)的創(chuàng)建同步的速率來輪詢成像配件60。未被發(fā)送給中央集線器沈的已處理的圖像數(shù)據(jù)被覆寫。當(dāng)中央集線器沈輪詢成像配件60時，幀同步脈沖被發(fā)送給成像配件60以發(fā)起由信號處理電路72創(chuàng)建的指示器數(shù)據(jù)的傳輸。一旦接收到幀同步脈沖，則每一個信號處理電路72通過串行總線觀的數(shù)據(jù)線路92b將指示器數(shù)據(jù)傳送給中央集線器沈。由中央集線器 26接收到的指示器數(shù)據(jù)被自動緩沖到中央集線器處理器中。在中央集線器處理器已經(jīng)從成像配件60中的每一個接收到指示器數(shù)據(jù)之后， 中央集線器處理器處理所接收到的指示器數(shù)據(jù)，來以公知的方式，諸如在以上合并的 Morrison等人的美國專利No. 6，803，906中所描述的，使用三角測量法來計算指示器相對于顯示表面對在(x，y)坐標(biāo)系中的位置。所計算的指示器坐標(biāo)然后被傳遞給計算設(shè)備30。 計算設(shè)備30進(jìn)而處理所接收到的指示器坐標(biāo)，并且如果需要的話，則更新提供給顯示單元的圖像輸出，使得在顯示表面M上呈現(xiàn)的圖像反映指示器活動。以這種方式，與顯示表面 24的指示器交互可以被記錄為寫入或繪制，或用于控制在計算設(shè)備沈上運(yùn)行的一個或多個應(yīng)用程序的執(zhí)行。如上所述，信號處理電路72的若干組件對圖像數(shù)據(jù)進(jìn)行預(yù)處理以創(chuàng)建指示器數(shù)據(jù)。邊框處理器82執(zhí)行預(yù)處理步驟以提高交互式輸入系統(tǒng)信號處理操作的效率。這些預(yù)處理步驟中的一個是環(huán)境光(ambient light)減少。圖像傳感器70以比所需要的幀速率高得多的幀速率運(yùn)行，并且頂光源100在交替圖像幀期間被打開。邊框處理器82從在頂光源100關(guān)閉時捕捉到的圖像幀減去在頂光源100打開時捕捉到的圖像幀。環(huán)境光跨圖像幀是相對恒定的，因此環(huán)境光在該處理期間被取消，并且沒有在差額圖像幀中出現(xiàn)。在該實(shí)施例中，圖像傳感器70以8倍于期望輸出速率的幀速率運(yùn)行。對于所捕捉到的每一八個圖像幀，四個圖像幀在頂光源100打開時被捕捉，并且四個幀在頂光源100關(guān)閉時被捕捉。 然后從在頂光源100打開時捕捉到的四個幀減去在頂光源100關(guān)閉時捕捉到的四個幀， 并且加上作為結(jié)果的差額幀以產(chǎn)生一個圖像。邊框處理器82還執(zhí)行信號處理操作以捕捉以及跟蹤顯示表面M上的一個或多個指示器。對于指示指示器的存在的圖像數(shù)據(jù)的每一列，邊框處理器82的輸出是單個數(shù)字。 在該實(shí)施例中，邊框處理器82執(zhí)行連續(xù)計算來識別圖像數(shù)據(jù)中的指示器。邊框處理器82 將多個像素加入與邊框的亮部相對應(yīng)的圖像數(shù)據(jù)中的列中，并且然后從與邊框正上方的暗部相對應(yīng)的圖像數(shù)據(jù)減去相同數(shù)目的像素。如果不存在指示器，則這將示出非常高的對比度。如果存在指示器，則無論是亮還是暗，在兩個區(qū)域中照明近似相等，并且對比度將較低。 邊框的位置以及加上/減去的點(diǎn)數(shù)目被存儲在邊框文件96中。不考慮所使用的邊框和指示器的類型，由邊框處理器82完成誤差校驗(yàn)。邊框處理器監(jiān)視圖像傳感器70以確定是否非常強(qiáng)的光源已經(jīng)使圖像傳感器飽和。如果圖像傳感器是飽和的，則設(shè)置標(biāo)志。該標(biāo)志觸發(fā)警示消息被顯示，使得用戶可以采取措施來移除或減弱非常強(qiáng)的光源。雖然邊框處理器82是捕捉以及跟蹤顯示表面M上的對象的主要裝置，但是聚光燈處理器84是允許可能包含指示器的圖像數(shù)據(jù)中的區(qū)域被提取的次級機(jī)制。與邊框處理器不同，聚光燈處理器84采用來自中央集線器沈的反饋。如果反饋延遲或不正確，則仍然可以在減少功能性/精確度的情況下檢測指示器。聚光燈處理器84采用可移動窗口，優(yōu)選地3h32像素或6虹16像素，其從圖像數(shù)據(jù)提取并且在光處理和縮放之后被發(fā)送回中央集線器沈。中央集線器沈可以為聚光燈選擇獨(dú)立于邊框處理器82的若干照明模式。這些照明模式包括環(huán)境光抑制、邊框光抑制以及正常曝射(環(huán)境和邊框光)。中央集線器沈還可以指定聚光燈被縮小以查看較大目標(biāo)。例如，為了捕捉150像素寬的目標(biāo)，中央集線器指定圖像在水平方向上被縮小為原來的1/4，以便適合64x16的像素窗口。通過將多個像素混合 (bin)在一起來實(shí)現(xiàn)縮放。為了跟蹤移動的指示器，中央集線器沈指定指示器在其當(dāng)前圖像幀中的估計的位置和速度，并且將其報告回聚光燈處理器84。聚光燈處理器84觀察剛由圖像傳感器70 獲取的圖像幀的幀數(shù)，并且相應(yīng)地調(diào)整聚光燈位置以說明源自中央集線器26的任何等待時間。如果必要的話，則可以用聚光燈掃描完整圖像數(shù)據(jù)，以用非常慢的速率來獲得全幀查看。在初始化交互式輸入系統(tǒng)20時完成該慢掃描以確定邊框的位置。聚光燈的輸出格式是8比特塊浮點(diǎn)(一個指數(shù)用于整個圖像)，以允許大的動態(tài)范圍。除被制備為FPGA芯片外，信號處理電路可以采用其它形式。例如，在圖6A和6B 中所示的實(shí)施例中，信號處理電路是數(shù)字信號處理器(DSP)的形式。如圖6A中所示，DSP 可以與圖像傳感器一起被裝配在印刷電路板上，或替代地，如圖6B中所示，數(shù)字信號處理器可以與圖像傳感器一起被組裝在單個集成電路模上。在圖7A和7B的實(shí)施例中，信號處理電路可以是專用集成電路(ASIC)上的定制電路和微型DSP的組合的形式。如圖7A中所示，定制電路和微型DSP可以與圖像傳感器一起被裝配在印刷電路板上，或替代地，如圖7B 中所示，定制電路和微型DSP可以與圖像傳感器一起被制備在單個集成電路模上。微型DSP 還可以被包含在ASIC中。在圖6A至7B的實(shí)施例中，除了上述功能外，信號處理電路還執(zhí)行附加功能，包括從由圖像傳感器生成的圖像數(shù)據(jù)生成指示器數(shù)據(jù)以及確定指示器懸停和接觸狀態(tài)。在以上合并的Morrison等人的美國專利No. 6，803，906中描述了這些附加功能。盡管圖像傳感器70被示出為鄰近顯示表面M的底角放置，但是本領(lǐng)域技術(shù)人員將理解的是，圖像傳感器可以位于相對于顯示表面的不同位置處。并且，盡管照明源52被描述為頂光源，但是本領(lǐng)域技術(shù)人員將理解的是，可以采用其它適當(dāng)?shù)妮椛湓?。?dāng)然，交互式輸入系統(tǒng)可以采用其它形式。例如，可以用發(fā)光邊框段替代反向反光邊框段。發(fā)光邊框段可以如在轉(zhuǎn)讓給本申請的受讓人SMART Technologies ULC的、Akitt 等人的美國專利No. 6，972，401中所描述的，通過引用的方式將其內(nèi)容合并于此。如在 McGibney等人的美國專利申請序列號No. 12/118，521中所描述的輻射調(diào)制技術(shù)一通過引用的方式將其內(nèi)容合并于此一也可以用來減少干擾，以及允許分離與各種頂光源相關(guān)聯(lián)的信息。如果期望的話，則可以獨(dú)立于圖像傳感器70的曝光時間來控制頂光源100的打開時間(on-time)，以便創(chuàng)建環(huán)境和有源照明的平衡。例如，可以增加圖像傳感器曝光時間， 同時保持頂光源100打開的時間不變，以讓更多環(huán)境光進(jìn)入。還可以獨(dú)立地控制每一個頂光源的打開時間。這允許動態(tài)地均衡頂光源的輸出功率以獲得一致的照明。盡管在上面將交互式輸入系統(tǒng)20描述為檢測無源筆工具，諸如手指，但是本領(lǐng)域技術(shù)人員將理解的是，交互式輸入系統(tǒng)還可以檢測當(dāng)在顯示表面M附近時散發(fā)光或其它信號的有源指示器、或與吸收光的邊框結(jié)合，可能具有反向反光或高反光尖端的指示筆。當(dāng)在沒有發(fā)光邊框的情況下使用有源指示器、或當(dāng)將反光無源指示器與吸收光的邊框一起使用時，在捕捉以及跟蹤顯示表面上的一個或多個指示器的信號處理操作期間， 邊框處理器82執(zhí)行垂直強(qiáng)度分布計算以識別圖像數(shù)據(jù)中的指示器。垂直強(qiáng)度分布是與邊框相對應(yīng)的圖像數(shù)據(jù)中的垂直列中的多個像素的總和。邊框在每一列處的位置和合計的點(diǎn)數(shù)由中央集線器26事先確定，并且被加載到FPGA芯片自帶的邊框文件96中。本領(lǐng)域技術(shù)人員將理解的是，中央集線器沈的功能可以被合并到成像配件60中
10的一個或多個的電路中，一個益處是總成本減少。在這樣的配置中，將帶有中央集線器功能的成像配件視為主要配件。替代地，每一個成像配件可能具有這樣的集線器功能，以及投票協(xié)議被用來確定成像配件中的哪些將作為中央或主要集線器來操作。替代地，連接到PC的成像配件將默認(rèn)為主要配件。本領(lǐng)域技術(shù)人員將理解的是，配件、中央集線器沈和計算設(shè)備30可以被合并到單個設(shè)備中，并且信號處理電路可以在圖形處理單元(GPU)上實(shí)現(xiàn)或包括基于單元 (cell-based)的處理器。將理解的是，雖然以上將中央集線器沈描述為對于960fps的圖像捕捉頻率，以 120次每秒輪詢成像配件60，但是可以根據(jù)實(shí)現(xiàn)的需求和/或限制而采用其它圖像捕捉速率。并且，盡管通信線路觀被描述為被具體化為串行總線，但是本領(lǐng)域技術(shù)人員將理解的是，還可以將通信總線具體化為并行總線、通用串行總線(USB)、以太網(wǎng)連接或其它適當(dāng)?shù)挠芯€連接。替代地，配件22可以使用諸如藍(lán)牙、WiFi、ZigBee、ANT、IEEE 802. 15. 4,Z-Wave 等的適當(dāng)?shù)臒o線協(xié)議通過無線連接與中央集線器沈通信。另外，盡管中央集線器沈被描述為經(jīng)由USB電纜32與計算設(shè)備30通信，替代地，中央集線器沈可以通過諸如并行總線、 RS-232連接、以太網(wǎng)連接等的另一個有線連接與計算設(shè)備30通信、或可以使用諸如藍(lán)牙、 WiFi, ZigBee, ANT, IEEE 802. 15. 4、Z-Wave等的適當(dāng)?shù)臒o線協(xié)議通過無線連接與計算設(shè)備 30通信。雖然以上已經(jīng)闡述了使圖像傳感器對準(zhǔn)的對準(zhǔn)例程，但是可以采用替代對準(zhǔn)例程。例如，在一些實(shí)施例中，標(biāo)志可以被放置在邊框(多個)上或在其它位置處并且被檢測， 以便使得交互式輸入系統(tǒng)能夠在沒有大量用戶交互的情況下自校準(zhǔn)。替代地，反向反光邊框自身可以被檢測，并且所捕捉到的包含反向反光邊框的像素被用來確定每一個圖像傳感器70的像素行。通常，由于可以減少行數(shù)，所以可以增加圖像處理的幀速率。盡管已經(jīng)參考附圖描述了實(shí)施例，但是本領(lǐng)域技術(shù)人員將理解的是，在沒有背離如由所附權(quán)利要求限定的精神和范圍的情況下，可以進(jìn)行變化和修改。
權(quán)利要求
1.一種交互式輸入系統(tǒng)，包括至少兩個成像配件，所述至少兩個成像配件從不同視點(diǎn)捕捉感興趣區(qū)域的圖像幀；以及處理結(jié)構(gòu)，所述處理結(jié)構(gòu)處理由所述成像配件捕捉到的圖像幀，以確定指示器在所述感興趣區(qū)域內(nèi)的位置，其中每一個成像配件包括圖像傳感器和集成信號處理電路。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述每一個成像配件的信號處理電路和圖像傳感器被安裝在共用印刷電路板上。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述每一個成像配件的信號處理電路和圖像傳感器被制備在集成電路模上。
4.根據(jù)權(quán)利要求1至3中的任何一個所述的系統(tǒng)，其中，所述信號處理電路在現(xiàn)場可編程門陣列(FPGA)上實(shí)現(xiàn)。
5.根據(jù)權(quán)利要求1至3中的任何一個所述的系統(tǒng)，其中，所述信號處理電路在數(shù)字信號處理器(DSP)上實(shí)現(xiàn)。
6.根據(jù)權(quán)利要求1至3中的任何一個所述的系統(tǒng)，其中，所述信號處理電路至少部分地在專用集成電路(ASIC)上實(shí)現(xiàn)。
7.根據(jù)權(quán)利要求1至3中的任何一個所述的系統(tǒng)，其中，所述信號處理電路包括在專用集成電路(ASIC)上實(shí)現(xiàn)的電路。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述信號處理電路包括微型DSP。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述微型DSP在所述ASIC上實(shí)現(xiàn)。
10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述ASIC、微型DSP以及圖像傳感器被安裝在共用印刷電路板上。
11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述ASIC、微型DSP以及圖像傳感器被制備在單個集成電路模上。
12.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述每一個成像配件的信號處理電路從由相關(guān)聯(lián)的圖像傳感器生成的圖像數(shù)據(jù)來生成指示器數(shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述每一個成像配件的信號處理電路從所述圖像數(shù)據(jù)來確定指示器懸停和接觸狀態(tài)。
14.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理結(jié)構(gòu)包括照明控制器，所述照明控制器用于驅(qū)動照亮所述感興趣區(qū)域的輻射源。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理結(jié)構(gòu)包括聚光燈處理器，所述聚光燈處理器用于提取包含指示器的圖像幀的區(qū)域。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理結(jié)構(gòu)包括邊框處理器，所述邊框處理器用于跟蹤圖像幀中的指示器。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述照明控制器在所述成像配件不活動時停用所述輻射源。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中，所述照明控制器使所述輻射源的操作與所述成像配件的圖像幀捕捉速率同步。
19.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述邊框處理器處理捕捉到的圖像幀以減少環(huán)境光的影響。
20.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理結(jié)構(gòu)是基于單元的處理器。
21.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理結(jié)構(gòu)是圖形處理器。
22.—種交互式輸入系統(tǒng)，包括至少一個成像設(shè)備，所述至少一個成像設(shè)備具有查看感興趣區(qū)域的視場；以及至少一個輻射源，所述至少一個輻射源將輻射散發(fā)到所述感興趣區(qū)域中，其中在由所述至少一個成像設(shè)備捕捉圖像幀期間，對所述至少一個輻射源的操作與所述至少一個成像設(shè)備的曝光時間同步。
全文摘要
一種交互式輸入系統(tǒng)，包括至少兩個成像配件，所述至少兩個成像配件從不同視點(diǎn)捕捉感興趣區(qū)域的圖像幀；以及處理結(jié)構(gòu)，所述處理結(jié)構(gòu)處理由成像配件捕捉到的圖像幀，以確定指示器在感興趣區(qū)域內(nèi)的位置，其中每一個成像配件包括圖像傳感器和集成信號處理電路。
文檔編號H05B37/02GK102216890SQ200980145279
公開日2011年10月12日 申請日期2009年9月15日 優(yōu)先權(quán)日2008年9月15日
發(fā)明者克林頓·拉姆, 格蘭特·麥克吉布尼 申請人:智能技術(shù)無限責(zé)任公司