專利名稱：智能型紅外熱像儀的裝置和系統(tǒng)的制作方法
技術領域：
本實用新型涉及一種紅外熱像儀的裝置和系統(tǒng)。具體涉及一種使用FPGA同時采集紅外熱圖像和可見光圖像，并在安裝智能Android操作系統(tǒng)的DM3730嵌入式平臺中實現(xiàn)可見光和熱紅外視頻融合顯示和多點觸控人機交互功能。
背景技術：
目前，大多數(shù)紅外熱像儀都只有紅外熱圖像顯示，并沒有結(jié)合可見光圖像；然而具有可見光融合的紅外熱像儀往往能夠更好地幫助定位潛在問題的位置。雖然已經(jīng)有一部分紅外熱像儀具有可見光與紅外熱圖像的融合顯示功能，但是他們的熱紅外融合圖像都只顯示在中間一個局部區(qū)域或整幅圖像進行融合，不能任意指定區(qū)域進行熱紅外融合顯示，并且實現(xiàn)縮放功能，缺乏靈活度。FPGA(Field Programmable Gate Array)具有體系結(jié)構(gòu)和邏輯單兀靈活、集成度高以及適用范圍寬等特點。而同時具備采集兩路數(shù)字視頻的嵌入式設備少之又少，通常嵌入式處理器包括DSP等都只有一個標準的camera Interface數(shù)字視頻接口。這是因為數(shù)字視頻接口往往需要較多的引腳數(shù)目，占據(jù)了大量嵌入式處理器的引腳空間。然而由于FPGA的I/O接口多而且可靈活性配置，同時具備一定的圖像處理能力，能夠預先處理好輸入嵌入式處理器的可見光圖像和紅外熱圖像，將大大減輕嵌入式處理器對視頻圖像的處理負擔。美國德州儀器公司的DM3730數(shù)字多媒體處理器，它包含I個主頻高達到IGHz的ARM Cortex-A8處理器，I個主頻可達800MHz的TMS320C64x+DSP Core。強大的硬件結(jié)構(gòu)能夠處理復雜的更高級的用戶應用，如多點觸控、絢麗的界面顯示等。加上美國德州儀器公司專用的DSP處理器，解決了運算密集型的特定算法，如可見光圖像和熱紅外圖像的配準算法及其融合算法的計算問題。DM3730是一顆專門為移動便攜式設備設計的嵌入式處理器，提供高水平的性能外同時帶來更低的功耗。這種處理器非常適合便攜式的紅外熱像儀。一般的紅外熱像儀用戶輸入都只采用按鍵，極少采用觸摸屏輸入觸控界面。而且即使有，其設計也只是使用電阻式觸控面板，只能支持單點輸入、清晰度低、操作不靈活?，F(xiàn)在便攜式設備幾經(jīng)愈來愈多地轉(zhuǎn)用電容式觸控面板，因電容式觸控面板更耐用、視覺清晰度更高。此外，電容式觸控面板能實現(xiàn)多觸式應用系統(tǒng)，這將大幅改變?nèi)藗儗τ|控面板界面的理解。電容式觸控面板勢將成為主流觸控技術，同時為市場帶來無數(shù)創(chuàng)意極高的觸控界面設計。2010年末數(shù)據(jù)顯示,僅正式推出兩年的操作系統(tǒng)的Android已經(jīng)超越稱霸十年的諾基亞Symbian系統(tǒng),躍居全球最受歡迎的智能手機平臺。Android是以Linux為核心的嵌入式操作平臺，它允許開發(fā)者使用多種編程語言來開發(fā)Android應用程序，同時由于它是開放式操作系統(tǒng)，Android的應用得到了前所未有的快速發(fā)展。它能夠?qū)崿F(xiàn)層出不窮、更具用戶體驗的嵌入式應用。Android能夠輕易支持多點觸摸電容屏，實現(xiàn)多點觸控，提高操控便捷性，進一步貼近用戶體驗。能夠集成全球衛(wèi)星定位系統(tǒng)(GPS)、W1-Fi無線網(wǎng)絡、3G無線網(wǎng)絡等系統(tǒng)應用。現(xiàn)在的紅外熱像儀基本都使用簡單的Π界面，操作繁瑣、復雜、不夠人性化；而且功能單一，不具備無線網(wǎng)絡功能、定位功能等，將Android系統(tǒng)應用于紅外熱像儀將有廣泛的應用前景，讓紅外熱像儀成為真正的智能型檢測設備。

實用新型內(nèi)容本實用新型提供了一種采用美國德州儀器公司的雙核處理器DM3730和Altera公司的CycloneII系列FPGA芯片EP2C35F672C6構(gòu)建的智能型紅外熱像儀的裝置和系統(tǒng)。該裝置實現(xiàn)了在Android操作系統(tǒng)上通過多點觸控用戶界面，實現(xiàn)紅外熱像儀多種功能，如融合顯示可見光圖像和熱紅外圖像，人臉檢測功能等。本實用新型提出的智能型紅外熱像儀的裝置和系統(tǒng)包括嵌入式處理器(9);與嵌入式處理器(9)的視頻輸入接口連接的FPGA芯片(4);與FPGA芯片(4)通用I/O接口連接的CMOS傳感器(2)和紅外熱成像機芯(I);與嵌入式處理器(9)的I2C接口連接的多觸點電容觸摸屏控制芯片(12);與多觸點電容觸摸屏控制芯片(12)連接的投射電容式觸摸屏
(10)芯片(4)連接的同步動態(tài)隨機存儲器模組(3、6、5、7);與嵌入式處理器(9)連接的低電壓雙倍速率同步動態(tài)隨機存儲器(11)、液晶顯示屏(15)、NAND型快閃存貯器(8)、USB-OTG 接口 (13)、SD CARD 接口 (14)和電源管理模塊(16)。所述的嵌入式處理器(9)為美國德州儀器公司的雙核處理器DM3730，包含一顆ARMCortex-A8核和一顆TMS320C64x+DSP核，負責操作系統(tǒng)和主應用程序的運行，包括配準融合算法、人臉檢測算法的運算。所述的FPGA芯片(4)負責接收CMOS傳感器(2)采集得到的可見光數(shù)字視頻信號和IR113熱紅外機芯(I)輸出的熱紅外數(shù)字視頻信號，并將可見光視頻信號和熱紅外視頻信號的每幀圖像組合成一幀圖像，最后通過ITU-R BT656信號格式傳輸?shù)街魈幚砥鱀M3730 (9)的視頻輸入接口。
所述的投射電容式觸摸屏(10)與多觸點電容觸摸屏控制芯片(12)相連接，并通過I2C總線與嵌入式處理器(9)DM3730通信，用戶在投射電容式觸摸屏(10)上通過多點觸控方式輸入手勢信號，經(jīng)多觸點電容觸摸屏控制芯片(12)傳入嵌入式處理器(9)。本實用新型提供的裝置實現(xiàn)一個紅外熱像儀的裝置和系統(tǒng)，堪比一臺先進的智能手機，能夠使用人性化的多點觸控，操控方便快捷、顯示流暢自然。DM3730(9)內(nèi)的ARMCortex-AS核心運行Android操作系統(tǒng)，DSP運行可見光圖像與熱紅外圖像的配準和融合算法、人臉檢測算法?？梢姽鈭D像與熱紅外圖像的配準采用一種改進的SIFT特征配準算法，融合算法采用基于改進的YCbCk顏色傳遞的方法，可利用可見光Adaboost人臉檢測算法定位熱紅外圖像人臉位置。本項目提供的智能型紅外熱像儀的裝置和系統(tǒng)的優(yōu)點是顯而易見的，主要優(yōu)點可以歸納如下: 本實用新型采用DM3730作為主處理器，是因為DM3730能夠在較高運行頻率下達到非常低的功耗，能滿足Android操作系統(tǒng)運行所需要的資源。同時我們采用了前端FPGA采集并組合了可見光圖像和熱紅外圖像，這樣將大大降低DM3730在視頻采集處理上的負擔；同時DM3730擁有一顆高達800MHz的TMS320C64x+DSP處理器，能夠為高密集計算的算法提供處理，解決了本項目中的圖像配準和融合、人臉檢測算法的運算問題。所以在本項目中DM3730處理器能夠以較低的成本達到資源得到充分、合理利用，發(fā)揮了其最大效倉泛。 本實用新型所采用的DM3730處理器只有一個獨立的Camera接口，而通過DM3730上的其它接口(如通用I/O)模擬camera Interface來輸入另一路視頻明顯將會占用CPU大量資源，并不明智。所以本實用新型采用FPGA分別采集數(shù)字格式的可見光視頻圖像的熱紅外視頻圖像，通過內(nèi)存乒乓操作，經(jīng)過一定的算法處理組合到一幅圖像中，最后按照標準的ITU-R BT656格式輸出到DM3730，DM3730通過CameraInterface接收視頻數(shù)據(jù)后送入ARM處理器作進一步處理。這樣不僅降低了 DM3730主處理器的工作負擔，而且增加了靈活性，如FPGA可以作更多的視頻前處理，給DM3730降低計算負擔；而且FPGA能夠方便地再接入更多視頻信號，為以后更多的擴展應用提供了平臺。 本實用新型利用DM3730處理器上的TMS320C64x+DSP處理器處理可見光和熱紅外圖像的配準、融合算法，人臉檢測算法。其中利用高效可靠的可見光圖像人臉檢測算法先檢測人臉在可見光中的位置，結(jié)合可見光與熱紅外圖像配準算法從而定位熱紅外人臉位置。使某些特殊應用有更高的效率和準確度。如人群中體溫檢測，它可以減少某些不是人體而溫度較高的物體的干擾。 本實用新型首次采用目前流行的Android操作系統(tǒng)作為系統(tǒng)開發(fā)的主系統(tǒng)，并提供了支持多點觸控的電容觸摸屏，具有多種在紅外熱像儀中基于多點觸控的新操作方法，使本實用新型不僅操作直觀、快捷、人性化，而且顯示流暢自然。

圖1是本實用新型發(fā)明的智能型紅外熱像儀的裝置和系統(tǒng)的結(jié)構(gòu)示意圖。圖2是本實用新型發(fā)明的圖1中的FPGA芯片內(nèi)部視頻采集方案示意圖。圖3是本 實用新型發(fā)明圖1中FPGA芯片實現(xiàn)的圖像組合示意圖。圖4是本實用新型發(fā)明的程序模塊圖。
具體實施方式
以下結(jié)合附圖對本實用新型作進一步描述。參見圖1，本實用新型提供的智能型紅外熱像儀的裝置和系統(tǒng)所述IR113機芯(I)和CMOS傳感器(2)經(jīng)過簡單的光學配準后，通過并行數(shù)字視頻接口與FPGA芯片EP2C35F672C6 (4)連接；所述 SDRAMl (3)、SDRAM2 (6)、SDRAM3 (5)、SDRAM4 (7)內(nèi)存模組與FPGA (4)連接，所述 FPGA 芯片 EP2C35F672C6(4)通過與 DM3730 (9)的 Camera Interface 接口連接；所述IGB NAND FLASH模塊⑶通過EMIF接口與DM3730 (9)連接；所述512MB低電壓雙倍數(shù)率同步動態(tài)隨機存貯器(LPDDR) (11)與DM3730(9)的SDRAM內(nèi)存控制器接口連接；所述USB-OTG模塊(13)為DM3730(9)芯片提供的USB通信接口，通過OTG技術可以和各種USB主(host)、從(slave)設備或移動設備通信；所述SD CARD模塊(14)為DM3730 (9)芯片提供的SD卡通信接口，可以將紅外熱像儀截獲得到的圖像等信息保存到SD卡中；所述多點電容觸摸屏控制芯片模塊(12)使用晶門科技的SSD2531通過I2C總線與DM3730 (9)連接，它能夠驅(qū)動投射式電容觸摸屏(10)，最大能夠同時匯報4點絕對坐標；所述投射電容式觸摸屏(10)和所述多點電容觸摸屏控制芯片模塊SSD2531 (12)連接；所述液晶顯示屏(15)通過并行數(shù)字視頻接口與DM3730 (9)連接，用于顯示用戶操作界面；所述電源管理模塊TPS65930(16)為DM3730 (9)提供各種電源，并進行電源管理，優(yōu)化系統(tǒng)工作的性能與功耗。圖像采集是本實用新型的一個核心部分，需要將兩路視頻信號經(jīng)由FPGA同時采集并匯合成一幅圖像通過DM3730 (9)的Camera Interface送入ARM核作進一步處理。參見圖2，F(xiàn)PGA視頻采集模塊通過兩組SDRAM存儲模塊實現(xiàn)乒乓存儲，從而使視頻能夠流暢運行。首先FPGA (4)的通過I2C控制器初始化CMOS傳感器(2)。然后通過兩組SDRAM緩存進行乒乓操作。第一組SDRAM緩存包括SDRAMl (3)和SDRAM2 (6)，第二組SDRAM緩存包括SDRAM3(5)和SDRAM4(7)，它們都使用獨立的總線，能夠同時并行存儲和提取數(shù)據(jù)。兩組SDRAM緩存是交替工作的，當SDRAMl (3)和SDRAM2 (6)分別同時接收CMOS傳感器采集到的可見光視頻信號和熱紅外機芯傳送過來的熱紅外視頻信號時，視頻預處理模塊將同時從SDRAM3(5)和SDRAM4(7)中讀取上一幀采集到的視頻圖像數(shù)據(jù)；當兩組SDRAM緩存都完成上述工作后則進行切換，SDRAM3 (5)和SDRAM4(7)接收視頻，SDRAMl (3)和SDRAM2 (6)將數(shù)據(jù)送到視頻預處理模塊；如此循環(huán)，從而實現(xiàn)視頻流暢輸出。視頻處理模塊是對視頻圖像進行重組，視頻預處理模塊將一幀熱紅外視頻圖像和一幀可見光視頻圖像組合成一幀圖像數(shù)據(jù)，然后通過視頻輸出模塊將組合后的視頻數(shù)據(jù)按照ITU-RBT656視頻制式送出到DM3730 (9)的 CameraInterface 接 口。視頻組合方式如圖3所示，因為本實用新型的FPGA(4)視頻輸出ITU-R BT656視頻制式采用720x576分辨率，而熱紅外圖像和可見光圖像的是兩幀大小不一樣的圖像，則需要一種組合出在一幅720x576大小的圖像上盡可能多地保存可見光和熱紅外圖像細節(jié)的數(shù)據(jù)圖像的方法。IR113紅外熱成像機芯(I)輸出的數(shù)字圖像分辨率最大為384x288，并且數(shù)據(jù)位寬為16，為得到最好的圖像質(zhì)量，熱紅外視頻采用這個最大分辨率。然而CMOS傳感器MT9M111(2)可以支持最大1280x1024分辨率的圖像輸出，并且可以配置輸出圖像的分辨率大小。同時它是一款集成片上系統(tǒng)SOC的CMOS傳感器，支持多種數(shù)字視頻輸出格式如ITU-R BT.656 (YCbCr)，565RGB，555RGB等。為使圖像數(shù)據(jù)存儲和后續(xù)處理的便捷性，本系統(tǒng)選擇了 CMOS傳感器(2)視頻輸出模式為ITU-R BT.656數(shù)據(jù)格式，Y、Cb、Cr三分量樣點之間比例為4: 2: 2 ;這樣得到的每個像素位寬剛好為16bits，和熱紅外圖像的像素位寬一致。同時因為熱紅外圖像的16位數(shù)據(jù)都是像素點上的溫度信息，這相當于只有灰度值而沒有顏色的灰度圖像。當可見光圖像同時采用亮度和色度分開的數(shù)據(jù)模式時，更有利于后面采用的基于YCbCk顏色傳遞的可見光圖像與熱紅外圖像的融合方法。確定了可見光CMOS傳感器的數(shù)據(jù)輸出模式后，我們可以確定可見光視頻輸出的分辨率大小了。由于像素位寬一致所以，在一個每個數(shù)據(jù)都是16位的720x576的矩陣位中按順序存放了 384x288數(shù)據(jù)(如圖3中的熱紅外圖像像素填充區(qū)域)后剩下的空間是720x576-384x288 = 304128(像素個數(shù))，為了盡量使用剩下的空間，又盡量保持圖像比例和熱紅外圖像一致，我們配置CMOS傳感器(2)輸出圖像分辨率為QSXGA(640x512)輸出，然后利用圖2中的圖像預處理模塊將可見光圖像選取中間區(qū)域，切割為636x477分辨率大小，則所占用空間為303372，剛好小于并很接近304128。隨后將切割的數(shù)據(jù)按逐行排列填寫到720x576的矩陣剩余的空間中，如圖3中的可見光圖像像素填充區(qū)域；最后剩下的像素點填寫為0，如圖3中的其余區(qū)域。最后圖2中的視頻輸出模塊將組合后的數(shù)據(jù)按照ITU-R BT656制式送出。[0026]參見圖4，是本實用新型的DM3730內(nèi)部主要軟件功能模塊圖。DM3730的ARM核運行Android操作系統(tǒng)。用戶通過電容觸摸屏來進行輸入操作，輸入操作經(jīng)過手勢識別模塊識別不同的手勢操作，最后將輸入命令送入應用程序模塊。應用程序用于顯示整個操作界面，并按照用戶的輸入操作執(zhí)行相應的任務。應用程序?qū)⒏鶕?jù)需要，將FPGA采集到的組合幀視頻并經(jīng)過運行在ARM核的視頻預處理模塊重新分開成為兩幅圖像，并存儲在系統(tǒng)的共享LPDDRSDRAM(ll) (DSP和ARM核的共享存儲地址段)中作為緩存；需要融合顯示時，應用程序?qū)错樞蛘{(diào)用DSP核內(nèi)的可見光圖像和熱紅外圖像配準算法、融合算法模塊，處理完畢的數(shù)據(jù)將在共享DDR SDRAM中取得。應用程序?qū)⑵滹@示到TFT顯示屏中。本系統(tǒng)創(chuàng)新性的實現(xiàn)了在紅外熱像儀上的多點觸摸屏操作功能。系統(tǒng)將按照用戶的手勢操作實現(xiàn)以下顯示功能；1.手勢旋轉(zhuǎn)可見光、熱紅外圖像；當系統(tǒng)顯示捕捉到的紅外或可見光視頻或可見光和紅外融合視頻時，用戶可以使用兩個手指放在視頻圖像上，然后作逆時針或順時針旋轉(zhuǎn)操作，所選視頻圖像即按照旋轉(zhuǎn)方向旋轉(zhuǎn)90°。同時在使用系統(tǒng)瀏覽圖片功能時，圖片也能夠?qū)崿F(xiàn)旋轉(zhuǎn)功能。2.手勢放大縮小可見光、熱紅外圖像；當系統(tǒng)顯示捕捉到的紅外或可見光視頻或可見光和紅外融合視頻時，用戶可使用兩個手指放到視頻圖像上，當兩個手指相互靠近或遠離時，系統(tǒng)將以手指選擇的矩形框為中心，縮放視頻畫面。同時可以使用手指拖動畫面顯示圖像的不同部分。同樣在使用系統(tǒng)瀏覽圖片功能時，也能實現(xiàn)該縮放功能。3.手勢拖動可見光、熱紅外圖像；當系統(tǒng)顯示捕捉到的熱紅外或可見光視頻或可見光和熱紅外融合視頻時，當畫面沒有完全顯示所捕捉到的視頻圖像時，如實現(xiàn)了放大功能，可以使用單個手指拖動畫面，以顯示需要觀察的圖像部分。同樣在使用系統(tǒng)瀏覽圖片功能時，也能實現(xiàn)該功能。4.滑動瀏覽可見光、熱紅外圖像。當系統(tǒng)使用系統(tǒng)瀏覽圖片功能時，可以采用單個手指滑動手勢功能實現(xiàn)熱紅外圖片、可見光圖片、融合圖片的翻頁功能。
權利要求1.智能型紅外熱像儀的裝置和系統(tǒng)，其特征在于:包括嵌入式處理器(9);與嵌入式處理器(9)的視頻輸入接口連接的FPGA芯片(4);與FPGA芯片(4)通用I/O接口連接的CMOS傳感器(2)和紅外熱成像機芯(I);與嵌入式處理器(9)的I2C接口連接的多觸點電容觸摸屏控制芯片(12);與多觸點電容觸摸屏控制芯片(12)連接的投射電容式觸摸屏(10)；與FPGA芯片(4)連接的同步動態(tài)隨機存儲器模組(3、6、5、7);與嵌入式處理器(9)連接的低電壓雙倍速率同步動態(tài)隨機存儲器(11)、液晶顯示屏(15)、NAND型快閃存貯器(8)、USB-OTG 接口 (13)、SD CARD 接口 (14)和電源管理模塊(16)。
2.如權利I所述的智能型紅外熱像儀的裝置和系統(tǒng)，其特征在于:所述的嵌入式處理器(9)為美國德州儀器公司的雙核處理器DM3730，包含一顆ARM Cortex-A8核和一顆TMS320C64X+DSP核，負責操作系統(tǒng)和主應用程序的運行，包括配準融合算法、人臉檢測算法的運算。
3.如權利I所述的智能型紅外熱像儀的裝置和系統(tǒng)，其特征在于:所述的FPGA芯片(4)負責接收CMOS傳感器⑵采集得到的可見光數(shù)字視頻信號和IR113熱紅外機芯⑴輸出的熱紅外數(shù)字視頻信號，并將可見光視頻信號和熱紅外視頻信號的每幀圖像組合成一幀圖像，最后通過ITU-RBT656信號格式傳輸?shù)街魈幚砥鱀M3730 (9)的視頻輸入接口。
4.如權利I所述的智能型紅外熱像儀的裝置和系統(tǒng)，其特征在于:所述的投射電容式觸摸屏(10)與多觸點電容觸摸屏控制芯片(12)相連接，并通過I2C總線與嵌入式處理器(9)DM3730通信，用戶在投射電容式觸摸屏(10)上通過多點觸控方式輸入手勢信號，經(jīng)多觸點電容觸摸屏控制芯片(12)傳入嵌入式處理器(9)。
專利摘要本實用新型提供一種智能型紅外熱像儀的裝置和系統(tǒng)。它采用高速FPGA和SDRAM存儲系統(tǒng)，通過將不同分辨率的可見光視頻幀和熱紅外視頻幀組合成一幀視頻圖像，并采用標準視頻格式ITU-R BT656將視頻送出到德州儀器公司的雙核數(shù)字多媒體處理器DM3730的Camera Interface接口。DM3730的ARM核運行Android操作系統(tǒng)，DSP核運行可見光圖像和熱紅外圖像的配準和融合算法，并通過在可見光圖像中運行人臉檢測算法，結(jié)合前面所述的配準算法，從而獲得人臉在熱紅外圖像中的具體位置。在Android操作系統(tǒng)上通過投射電容式觸摸屏的多點觸控輸入，實現(xiàn)了手勢旋轉(zhuǎn)可見光、熱紅外圖像，手勢放大縮小可見光、熱紅外圖像，手勢拖動可見光、熱紅外圖像，滑動瀏覽可見光、熱紅外圖像功能。
文檔編號G06F3/044GK202956192SQ201220104230
公開日2013年5月29日 申請日期2012年3月16日 優(yōu)先權日2012年3月16日
發(fā)明者馬爭鳴, 譚恒良, 張武, 田軍, 楊曉峰 申請人:東莞華儀儀表科技有限公司, 中山大學