本發(fā)明涉及一種高速實(shí)時(shí)圖像處理系統(tǒng)電路，是基于cameralink接口和雙dsp+fpga架構(gòu)的高幀頻圖像處理電路。

背景技術(shù)：

在現(xiàn)代化的戰(zhàn)爭(zhēng)中，圖像處理技術(shù)極大的提高了軍事戰(zhàn)斗能力，在對(duì)物體識(shí)別、目標(biāo)定位、實(shí)時(shí)跟蹤、快速摧毀以及地形偵測(cè)、情報(bào)獲取等方面發(fā)揮著非常重要的作用。隨著科學(xué)技術(shù)的日新月異和信息技術(shù)的快速進(jìn)步，人們對(duì)圖像處理的速度和質(zhì)量的要求愈加提高。以ccd器件作為感光器件的工業(yè)數(shù)字相機(jī)發(fā)展迅速，現(xiàn)階段ccd器件正在朝高幀頻寬視角的方向發(fā)展，其結(jié)果是數(shù)據(jù)量的不斷提升，具體體現(xiàn)在圖像像素的提升和幀頻的增加，一幀圖像的像素由幾十萬發(fā)展到幾千萬，圖像的幀頻也得到了量的提升，由幾十幀發(fā)展到上百幀，甚至幾百幀上千幀的級(jí)別。眾相機(jī)接口協(xié)議中，cameralink接口由于工作效率高、協(xié)議標(biāo)準(zhǔn)簡(jiǎn)單、性能優(yōu)越、通信距離遠(yuǎn)、成本低廉的優(yōu)點(diǎn)，在新型圖像處理系統(tǒng)中具有非常廣泛的發(fā)展空間。目前，常規(guī)的cameralink接口的圖像處理電路已經(jīng)不能滿足高速處理的要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種高速實(shí)時(shí)圖像處理系統(tǒng)，用于解決上述現(xiàn)有技術(shù)的問題。

本發(fā)明一種高速實(shí)時(shí)圖像處理系統(tǒng)，其特征在于，包括：主控處理電路、圖像解碼電路、數(shù)據(jù)存儲(chǔ)電路、模擬顯示電路以及串口通信電路；其中主控處理電路包括：采用fpga和兩dsp，fpga用于協(xié)調(diào)控制各電路工作和圖像數(shù)據(jù)的預(yù)處理，兩dsp用于運(yùn)行圖像算法；圖像解碼電路，用于將外部攝像機(jī)的圖像信息進(jìn)行解碼，并發(fā)送給fpga；數(shù)據(jù)存儲(chǔ)電路，用于進(jìn)行fpga和兩dsp的數(shù)據(jù)存儲(chǔ)；模擬顯示電路，用于將fpga的視頻信號(hào)輸出顯示；串口通信電路，用于fpga與外部進(jìn)行串口通信；其中，fpga在激活攝像機(jī)之后，接收?qǐng)D像數(shù)據(jù)，fpga的控制仲裁設(shè)定了圖像解碼數(shù)據(jù)的存儲(chǔ)具有最高優(yōu)先級(jí)，以保證不能丟幀；dsp芯片的接口置為第二優(yōu)先級(jí)，模擬顯示電路設(shè)為第三優(yōu)先級(jí)；在圖像存儲(chǔ)的行間隙和幀間隙時(shí)，響應(yīng)第二和第三優(yōu)先級(jí)的讀數(shù)據(jù)請(qǐng)求。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，數(shù)據(jù)存儲(chǔ)電路包括：四顆ddr3芯片以及兩顆ddr2芯片；四顆ddr3芯片與fpga連接，分別存儲(chǔ)解碼后的所有幀圖像數(shù)據(jù)，其中每一組兩顆ddr3芯片內(nèi)的數(shù)據(jù)再分別提供給一個(gè)dsp和vga模擬顯示使用；另外兩顆ddr2芯片分別掛接在兩dsp上，供dsp芯片作跟蹤識(shí)別算法時(shí)暫存圖像用。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，圖像解碼電路采用5片圖像解碼芯片搭配電容隔直濾波和電阻，組成視頻解碼芯片組。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，模擬顯示電路包括da轉(zhuǎn)換器以及外圍電容電阻。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，攝像機(jī)的信號(hào)包括：圖像數(shù)據(jù)信號(hào)、相機(jī)控制信號(hào)、串行通信信號(hào)和電源信號(hào)。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，fpga向模擬顯示電路提供10位的r、g、b分量數(shù)字信號(hào)和消隱信號(hào)，轉(zhuǎn)換成模擬的三基色信號(hào)，通過d-sub電纜連接到vga顯示器的接口上；而行同步信號(hào)和場(chǎng)同步信號(hào)由fpga產(chǎn)生后直接接入d-sub電纜，模擬顯示電路產(chǎn)生時(shí)序匹配的行場(chǎng)同步以及消隱信號(hào)。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，串口通信電路包含一片電平轉(zhuǎn)換芯片和一個(gè)rs62驅(qū)動(dòng)芯片，rs62驅(qū)動(dòng)芯片用于將ttl電平轉(zhuǎn)換為rs62電平，電平轉(zhuǎn)換芯片用于fpga與rs62驅(qū)動(dòng)芯片之間的電平轉(zhuǎn)換。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，fpga的型號(hào)為xc6vlx130t-2ffg1156；dsp的型號(hào)為tms320c6455。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，圖像解碼電路包括5片解碼芯片，3片cameralink接口lvds至cmos/ttl轉(zhuǎn)換芯片，1片coms/ttl至lvds轉(zhuǎn)換芯片將控制信號(hào)轉(zhuǎn)換為lvds信號(hào)，1片包含coms/ttl至lvds和lvds至coms/ttl的雙向轉(zhuǎn)換芯片。

根據(jù)本發(fā)明的高速實(shí)時(shí)圖像處理系統(tǒng)的一實(shí)施例，其中，模擬視頻顯示電路選用的da轉(zhuǎn)換器的型號(hào)為adv7123jst芯片。

本發(fā)明高速實(shí)時(shí)圖像處理系統(tǒng)中，fpga是在asic中應(yīng)用比較廣泛的可編程邏輯器件，其豐富的資源和優(yōu)秀的并行處理能力對(duì)大量高速數(shù)據(jù)信號(hào)的處理比較有優(yōu)勢(shì)，dsp擅長(zhǎng)處理結(jié)構(gòu)復(fù)雜的算法，并具有運(yùn)算速度快、尋址方式靈活和通信性能強(qiáng)大等優(yōu)點(diǎn)，可以輕松處理高速信號(hào)。

附圖說明

圖1所示為本發(fā)明一種高速實(shí)時(shí)圖像處理系統(tǒng)的模塊圖；

圖2所示為一種高速實(shí)時(shí)圖像處理系統(tǒng)的硬件電路示意圖；

圖3所示為fpga數(shù)據(jù)流控制與仲裁程序控制流程圖；

圖4所示圖像解碼電路原理圖；

圖5所示為數(shù)據(jù)緩存電路示意圖；

圖6所示為模擬顯示電路示意圖；

圖7所示為串口通信電路示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、內(nèi)容、和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。

圖1所示為本發(fā)明一種高速實(shí)時(shí)圖像處理系統(tǒng)的模塊圖，圖2所示為一種高速實(shí)時(shí)圖像處理系統(tǒng)的硬件電路示意圖，高速實(shí)時(shí)圖像處理系統(tǒng)包括：主控處理電路1、圖像解碼電路2、數(shù)據(jù)存儲(chǔ)電路3、模擬顯示電路4以及串口通信電路5。其中主控處理電路1采用fpga11兩雙dsp12和13的方式實(shí)現(xiàn)。圖像解碼電路2采用5片專用圖像解碼芯片搭配電容隔直濾波、電阻端接，組成視頻解碼芯片組21，并配合camera-link攝像機(jī)7工作。數(shù)據(jù)存儲(chǔ)電路3采用兩組四顆ddr3芯片31，以及兩顆ddr2芯片32和33實(shí)現(xiàn)；模擬顯示電路4采用da轉(zhuǎn)換器41配合外圍電容電阻實(shí)現(xiàn)。

如圖1以及圖2所示，主控處理電路1的fpga11作主控芯片，負(fù)責(zé)協(xié)調(diào)控制各電路工作和圖像數(shù)據(jù)的預(yù)處理，dsp12和13作主處理芯片，負(fù)責(zé)運(yùn)行圖像算法。

圖3所示為fpga數(shù)據(jù)流控制與仲裁程序控制流程圖，如圖1至圖3所示，為滿足視頻實(shí)時(shí)性的要求，fpga11最重要的是完成對(duì)高幀頻數(shù)據(jù)流的控制與仲裁。fpga11在激活cameralink攝像機(jī)之后便會(huì)收到大量圖像數(shù)據(jù)，一方面，fpga11需要整合解碼數(shù)據(jù)，提取圖像數(shù)據(jù)和控制信息，并將圖像幀行列像素點(diǎn)及時(shí)寫入ddr3芯片31，另一方面，dsp處理器12和13需要實(shí)時(shí)讀取每一幀圖像數(shù)據(jù)，da轉(zhuǎn)換器41需要完成指定幀頻的視頻輸出，所以fpga11又要分別完成從ddr3芯片31中讀取有效圖像數(shù)據(jù)的任務(wù)，所以fpga11對(duì)數(shù)據(jù)流的控制與仲裁非常重要。因各個(gè)接口對(duì)圖像數(shù)據(jù)的需求，fpga11的控制仲裁程序設(shè)定了對(duì)ddr3芯片31的操作的優(yōu)先級(jí)，設(shè)定圖像解碼數(shù)據(jù)的存儲(chǔ)具有最高優(yōu)先級(jí)，以保證不能丟幀；dsp芯片12和13的接口因需要做識(shí)別跟蹤算法運(yùn)算，也不能丟幀故置為第二優(yōu)先級(jí)，da轉(zhuǎn)換器41對(duì)應(yīng)的vga顯示器因6可控制顯示幀頻(當(dāng)前設(shè)置顯示每秒60幀，遠(yuǎn)低于相機(jī)的500幀)，數(shù)據(jù)量可控且較小，故設(shè)為第三優(yōu)先級(jí)。視頻解碼芯片組21在解析數(shù)據(jù)的同時(shí)會(huì)產(chǎn)生幀號(hào)和行號(hào)，以此作為存儲(chǔ)地址的參考，根據(jù)圖像解碼的時(shí)序，按行將圖像數(shù)據(jù)存入ddr3芯片31。只有在存儲(chǔ)的行間隙、幀間隙時(shí)，仲裁程序才會(huì)響應(yīng)第二和第三優(yōu)先級(jí)的讀數(shù)據(jù)請(qǐng)求。即利用ddr3芯片31的高速存取速度優(yōu)勢(shì)換取多個(gè)接口實(shí)時(shí)視頻流處理功能的完整實(shí)現(xiàn)。

圖4所示圖像解碼電路原理圖，如圖4所示，cameralink攝像機(jī)7的信號(hào)主要分為：圖像數(shù)據(jù)信號(hào)、相機(jī)控制信號(hào)、串行通信信號(hào)和電源信號(hào)，對(duì)應(yīng)其硬件接口電路所實(shí)現(xiàn)的功能為：1)視頻解碼芯片組21進(jìn)行，lvds信號(hào)至cmos/ttl信號(hào)的轉(zhuǎn)換；2)fpga11對(duì)相機(jī)端的控制；3)fpga11與cameralink攝像機(jī)7進(jìn)行異步串行通信。因此可以將視頻解碼芯片組21劃分為3個(gè)部分：數(shù)據(jù)接收電路、控制信號(hào)電路和串口通信電路。cameralink攝像機(jī)7標(biāo)準(zhǔn)的信號(hào)需要通過解碼電路解析之后才能使用，且cameralink攝像機(jī)7提供的信號(hào)全部是差分信號(hào)。cameralink攝像機(jī)7接口進(jìn)來的差分對(duì)信號(hào)經(jīng)過視頻解碼芯片組21的一、二、三解碼后轉(zhuǎn)變成3.3v單端數(shù)字信號(hào)，再由電平轉(zhuǎn)換芯片23將3.3v信號(hào)轉(zhuǎn)換成本fpga11的io口所需的2.5v信號(hào)。其中視頻解碼芯片組21一、二、三分別解碼cameralink攝像機(jī)7數(shù)據(jù)信號(hào)，控制信號(hào)和串口通信信號(hào)。另外，cameralink攝像機(jī)7的lvds信號(hào)的pcb總線是要保證差分阻抗100ω，并在fpga11的接收端管腳接100ω的匹配電阻以減小信號(hào)反射，保證信號(hào)完整性，另外需為視頻解碼芯片組21添加退偶電容，以減小噪聲，提高信號(hào)質(zhì)量。

圖5所示為數(shù)據(jù)緩存電路示意圖，如圖1、圖2以及圖5所示，數(shù)據(jù)緩存電路共由4組ddr組成，其中兩組ddr3芯片31與fpga11連接，分別存儲(chǔ)解碼后的所有幀圖像數(shù)據(jù)，其中每一組ddr3芯片31內(nèi)的數(shù)據(jù)再分別提供給一個(gè)dsp12或13和vga模擬顯示使用；另外兩組ddr2芯片32和33則分別掛接在dsp芯片12或13上，供dsp芯片12或13作跟蹤識(shí)別算法時(shí)暫存圖像用。

圖6所示為模擬顯示電路示意圖，如圖1、圖2以及圖6所示，模擬顯示電路4由da轉(zhuǎn)換器41和電平轉(zhuǎn)換模塊43組成。vga接口顯示時(shí)序中最少需要給vga顯示器6提供五個(gè)信號(hào)，即紅綠藍(lán)三個(gè)基色信號(hào)和行、場(chǎng)同步信號(hào)。設(shè)計(jì)中，fpga11向da轉(zhuǎn)換器41提供10位的r、g、b分量數(shù)字信號(hào)和消隱信號(hào)，轉(zhuǎn)換成模擬的三基色信號(hào)，該信號(hào)需要通過d-sub電纜連接到vga顯示器6的接口上；而行同步信號(hào)和場(chǎng)同步信號(hào)(數(shù)字信號(hào))可以由fpga11產(chǎn)生后直接接入d-sub電纜，因此在da轉(zhuǎn)換器41中要產(chǎn)生時(shí)序匹配的行場(chǎng)同步以及消隱信號(hào)。在電路設(shè)計(jì)中需要注意以下幾個(gè)問題：comp信號(hào)用于da轉(zhuǎn)換器41的參考運(yùn)放補(bǔ)償，應(yīng)通過一個(gè)0.1μf的陶瓷電容將da轉(zhuǎn)換器41的管腳連到其模擬電源上；vref時(shí)電壓參考輸出管腳，應(yīng)通過一個(gè)0.1μf的陶瓷電容將該管腳連到模擬電源上；rset管腳用來控制視頻信號(hào)的滿幅度，可以在該管腳上經(jīng)一個(gè)560ω電阻或者可調(diào)變阻器連到模擬地端，如果在該管腳上接的是可調(diào)變阻器，加電測(cè)試之前應(yīng)該線測(cè)量rset的對(duì)地電阻值，該值不能過小；為提高圖像質(zhì)量，需要在ior、iog、iob輸出管腳處分別接一個(gè)75ω的端接電阻，并且離芯片盡可能近，以減少反射。另外，da轉(zhuǎn)換器41屬于模擬器件，供電和地信號(hào)都應(yīng)與數(shù)字部分區(qū)別開。3.3va模擬電壓可以通過在pcb的3.3v上添加磁珠獲得，模擬地信號(hào)也是同樣的處理方法，同時(shí)為了得到干凈的模擬電源，應(yīng)該在da轉(zhuǎn)換器41的電源端和模擬地間添加退耦電容。

圖7所示為串口通信電路示意圖，如圖7所示，串口通信電路包含一片電平轉(zhuǎn)換芯片53和一個(gè)rs62驅(qū)動(dòng)芯片51。rs62驅(qū)動(dòng)芯片51可以將ttl電平轉(zhuǎn)換為rs62電平，其工作電壓是3.3v，所以需要添加電平轉(zhuǎn)換芯片55以連接fpga11的通信。

如圖1以及圖2所示，對(duì)于一實(shí)施例，主控處理電路1中，fpga11采用xilinx公司的xc6vlx130t-2ffg1156。fpga11內(nèi)部使用編寫的視頻解碼、vga顯示和ddr3的ip核進(jìn)行控制；dsp12和13選用了ti公司推出的高性能處理器tms320c6455，內(nèi)核峰值頻率可達(dá)1.0ghz，峰值處理能力為8000mips，且具備高速通信接口srio可以滿足圖像數(shù)據(jù)的實(shí)時(shí)讀取。

如圖1、圖2以及圖4所示，對(duì)于一實(shí)施例，圖像解碼電路2正常工作在full模式,同時(shí)兼容base模式，因此需要3種解碼芯片共計(jì)5片：3片cameralink接口lvds至cmos/ttl轉(zhuǎn)換芯片，1片coms/ttl至lvds轉(zhuǎn)換芯片將控制信號(hào)轉(zhuǎn)換為lvds信號(hào)，1片包含coms/ttl至lvds和lvds至coms/ttl的雙向轉(zhuǎn)換芯片。根據(jù)cameralink接口標(biāo)準(zhǔn)的推薦，三種芯片分別選擇ds90cr288a、ds90lv047和fin1019芯片，其中ds90cr288a實(shí)現(xiàn)lvds信號(hào)轉(zhuǎn)換，速度可以達(dá)到85mhz。另外由于cameralink轉(zhuǎn)換芯片為3.3v接口電平，而實(shí)施例中的v6fpga11最高支持到2.5v接口電平，因此在cameralink攝像機(jī)7和fpga11的io管腳之間加入ti公司的sn74alvc16645芯片實(shí)現(xiàn)2.5v和3.3v之間的電平轉(zhuǎn)換。cameralink攝像機(jī)7的lvds信號(hào)的pcb總線是要保證差分阻抗100ω，并在接收端端接100ω的匹配電阻以減小信號(hào)反射，保證信號(hào)完整性，另外需為ds90cr288a芯片添加退偶電容，以減小噪聲，提高信號(hào)質(zhì)量。經(jīng)過上述電路解析出的信號(hào)分為三種，分別是圖像數(shù)據(jù)信號(hào)、相機(jī)控制信號(hào)和串行通信信號(hào)。圖像數(shù)據(jù)信號(hào)分為幀有效信號(hào)fval、行有效信號(hào)lval、數(shù)據(jù)有效信號(hào)dval、保留信號(hào)和數(shù)據(jù)信號(hào)。數(shù)據(jù)信號(hào)可以根據(jù)相機(jī)工作模式的不同(base、medium、full三種模式)有不同的通道分配方法。base模式下，數(shù)據(jù)信號(hào)只占用a、b、c三個(gè)通道，medium模式下，數(shù)據(jù)信號(hào)占用a～f六個(gè)通道，full模式下，數(shù)據(jù)信號(hào)占用a～h八個(gè)通道。

如圖1以及圖2所示，數(shù)據(jù)存儲(chǔ)電路3選用ddr顆粒芯片，其中fpga11外掛兩組獨(dú)立的ddr3芯片31，每組采用兩片鎂光公司生產(chǎn)的16位存儲(chǔ)位寬4gb容量的mt41k256m16ha-125it芯片，組成32bits，設(shè)計(jì)工作速率可達(dá)1066mhz，理論讀寫帶寬可達(dá)4.16gb每秒，完全可以滿足高幀頻圖像的讀寫要求。fpga11中使用了migip核作為ddr3控制器。為了盡可能增加dsp12和13的外掛存儲(chǔ)器的存儲(chǔ)容量，必須充分利用ddr2控制器的尋址能力，所以系統(tǒng)的設(shè)計(jì)是掛接512mb、32bit數(shù)據(jù)寬度的ddr2-sdram，采用兩片16bit的芯片級(jí)聯(lián)進(jìn)行位擴(kuò)展，每片的存儲(chǔ)容量為256mb。兩片ddr2芯片32和33的數(shù)據(jù)線分別連到dsp12和13的ddr2控制器的高16位和低16位，ldm和udm分別連到dsddqm[1:0]和dsddqm[3:2]，ldqs/ldqs#和udqs/udqs#分別連到dsddqs[1:0]/dsddqs#[1:0]和dsddqs[3:2]/dsddqs#[3:2]。其他控制線兩片ddr2sdram共用。dsp12和13內(nèi)部集成ddr2控制器，編寫代碼配置好ddr控制器后，就可以正常訪問ddr2芯片了。

如圖1、圖2以及圖6所示，模擬視頻顯示電路4選擇的是美國(guó)ad公司的adv7123jst芯片，作為視頻da轉(zhuǎn)換器41，該芯片是一款高速數(shù)模轉(zhuǎn)換器件，具有三路10位相互獨(dú)立的高速數(shù)模轉(zhuǎn)換輸入口，分別是r[0～9]、g[0～9]、b[0～9]，并且可以實(shí)現(xiàn)互補(bǔ)輸出。單電源可選+5v或+3.3v供電,為降低功耗，系統(tǒng)中使用+3.3v模擬電壓供電。由于前述所選cameralink攝像機(jī)7輸出的像素是10位，剛好可以滿足adv7123芯片的3路10位像素的輸入。復(fù)位引腳通過一個(gè)電阻連接到地來控制滿量程視頻信號(hào)的大小，當(dāng)標(biāo)稱圖像電平兩端接75ω負(fù)載時(shí)，rset＝560ω。相應(yīng)vga接口釆用的是標(biāo)準(zhǔn)15針d-sub定義。

如圖1、圖2以及圖7所示，串口通信電路5采用max3490芯片作為rs62的驅(qū)動(dòng)芯片51，ti公司的sn74alvc16645芯片作為3.3v與2.5v的電平轉(zhuǎn)換芯片53。

本發(fā)明的一種高幀頻的實(shí)時(shí)圖像處理電路，相機(jī)幀頻可達(dá)500幀每秒，圖像像素1280x1024，像素點(diǎn)深度10bits，實(shí)際帶寬781.25mb/s，處理電路將會(huì)對(duì)每一幀圖像進(jìn)行識(shí)別跟蹤處理，處理結(jié)果會(huì)立即發(fā)送給外部系統(tǒng)設(shè)備和可以實(shí)時(shí)顯示圖像與追蹤信息的vga顯示器上，vga輸出像素1280x1024，60幀每秒。采用高幀頻工業(yè)相機(jī)，圖像帶寬781.25mb/s，多組ddr緩存圖像數(shù)據(jù)，fpga加雙dsp進(jìn)行圖像處理，vga顯示器實(shí)時(shí)顯示相機(jī)捕捉的圖像，并實(shí)時(shí)疊加目標(biāo)物體的追蹤信息，突破了速率瓶頸。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。