專利名稱：一種基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)模糊圖像復(fù)原技術(shù)領(lǐng)域，特別是一種基于多核的運(yùn)動(dòng)模糊圖像復(fù) 原系統(tǒng)，完成運(yùn)動(dòng)模糊圖像補(bǔ)償，適用于高速運(yùn)動(dòng)模糊圖像復(fù)原研究。
背景技術(shù)：
高精度實(shí)時(shí)光學(xué)遙感運(yùn)動(dòng)成像要求平臺(tái)理想運(yùn)動(dòng)，但平臺(tái)在外部環(huán)境與內(nèi)部擾動(dòng) 影響下會(huì)形成復(fù)雜多模的非理想運(yùn)動(dòng)，導(dǎo)致光學(xué)遙感運(yùn)動(dòng)成像發(fā)生模糊、散焦、變形、像素 混疊，而導(dǎo)致嚴(yán)重降質(zhì)。遙感運(yùn)動(dòng)成像信息量多，分辨率高，而且圖像復(fù)原算法一般比較復(fù) 雜，計(jì)算量很大。因此高速圖像復(fù)原系統(tǒng)的研究和研制顯得尤為重要，具有很高的科學(xué)價(jià)值 和巨大的社會(huì)經(jīng)濟(jì)效益。圖像處理的硬件單元一般用數(shù)字圖像處理器DSP (Digital SignalProcessor)來 實(shí)現(xiàn)。DSP不僅具有可編程性，而且其實(shí)時(shí)運(yùn)行速度可達(dá)每秒數(shù)以千萬條復(fù)雜指令程序， 它的強(qiáng)大數(shù)據(jù)處理能力和高運(yùn)行速度遠(yuǎn)遠(yuǎn)超過通用微處理器；FPGA(Field-Programmable Gate Array)，即現(xiàn)場可編程門陣列，它是作為專用集成電路(ASIC)領(lǐng)域中的一種半定制 電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點(diǎn)； DDR SDRAM (Double Data Rate SDRAM)即雙倍速率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器，相比于單數(shù)據(jù)速 率(SDR，Single Data Rate) SDRAM只在一個(gè)時(shí)鐘周期的上升沿傳輸一次數(shù)據(jù)，它能在一個(gè) 時(shí)鐘周期內(nèi)的上升沿和下降沿傳輸兩次數(shù)據(jù)。DDR內(nèi)存可以在與SDRAM相同的總線頻率下 達(dá)到更高的數(shù)據(jù)傳輸率。采用FPGA預(yù)處理、DDR SDRAM高速緩存和雙DSP核心并行計(jì)算的 架構(gòu)有利于構(gòu)建高效的數(shù)據(jù)處理流程和方便處理任務(wù)的分配，提高系統(tǒng)的并行程度和資源 利用率。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有技術(shù)的不足，提供一種基于多核的運(yùn)動(dòng)模糊 圖像補(bǔ)復(fù)原系統(tǒng)，能夠提高圖像復(fù)原處理的效率。本發(fā)明的技術(shù)解決方案是一種基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，包括視頻采集和解碼模塊、預(yù)處理和邏 輯中轉(zhuǎn)模塊、由η個(gè)并聯(lián)的數(shù)字信號(hào)處理器DSP組成的雙核處理模塊、由η個(gè)雙數(shù)據(jù)速率同 步動(dòng)態(tài)隨機(jī)訪問存儲(chǔ)器DDR SDRAM組成的高速數(shù)據(jù)緩存模塊，以及視頻編碼和回放模塊，η 個(gè)DDR SDRAM對(duì)應(yīng)η個(gè)數(shù)字信號(hào)處理器DSP ；η為大于或等于2的整數(shù)；上述各模塊的連接關(guān)系為視頻采集和解碼模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模 塊；所述預(yù)處理和邏輯中轉(zhuǎn)模塊采用現(xiàn)場可編程邏輯門陣列FPGA實(shí)現(xiàn)，連接DSP的外部存 儲(chǔ)器接口 EMIF和DDR SDRAM ；所述雙核處理模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊，該雙核 處理模塊中的η個(gè)DSP采用并行處理方式，η個(gè)DSP相互之間的握手通過連到FPGA上的各 個(gè)DSP的中斷、通用I/O管腳來實(shí)現(xiàn)；所述高速數(shù)據(jù)緩存模塊中的η個(gè)DDR SDRAM連接所述 預(yù)處理和邏輯中轉(zhuǎn)模塊；所述視頻編碼和回放模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊；
上述各模塊的工作流程為①所述視頻采集和解碼模塊將采集并解碼的每幀圖像數(shù)據(jù)發(fā)送給預(yù)處理和邏輯 中轉(zhuǎn)模塊；②預(yù)處理和邏輯中轉(zhuǎn)模塊對(duì)視頻采集和解碼模塊輸出的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處 理，將預(yù)處理后的圖像數(shù)據(jù)分為η部分，通過FPGA實(shí)現(xiàn)的DDR控制器以突發(fā)模式將η部分 的圖像數(shù)據(jù)分別存儲(chǔ)在η個(gè)DDR SDRAM中；其中，DDR控制器在時(shí)鐘的上升沿和下降沿傳輸 數(shù)據(jù)；
③每個(gè)DSP通過所述預(yù)處理和邏輯中轉(zhuǎn)模塊從自身對(duì)應(yīng)的DDRSDRAM獲取中圖像 數(shù)據(jù)，并進(jìn)行圖像復(fù)原，將復(fù)原后的圖像發(fā)送給預(yù)處理和邏輯中轉(zhuǎn)模塊；④預(yù)處理和邏輯中轉(zhuǎn)模塊將各DSP復(fù)原的圖像合并成完整的一幀圖像并輸出給 視頻編碼和回放模塊；⑤視頻編碼和回放模塊編碼和回放預(yù)處理和邏輯中轉(zhuǎn)模塊合并成的完整圖像。較佳地，該系統(tǒng)進(jìn)一步包括一控制模塊；該控制模塊基于嵌入WinCE的ARM控制器，通過主機(jī)接口 HPI總線與其中一個(gè)DSP 相連，在用戶選擇算法后，改變HPI共享存儲(chǔ)區(qū)中指示復(fù)原算法類型的數(shù)據(jù)；與控制模塊相連的DSP，進(jìn)一步檢測到所述HPI共享存儲(chǔ)區(qū)中指示復(fù)原算法類型 的數(shù)據(jù)改變后，通過所述預(yù)處理和邏輯中轉(zhuǎn)模塊改變其他DSP的復(fù)原算法類型，然后各個(gè) DSP開始用改變后的復(fù)原算法進(jìn)行圖像復(fù)原。較佳地，該系統(tǒng)進(jìn)一步包括連接在DDR SDRAM和預(yù)處理和邏輯中轉(zhuǎn)模塊之間的η 個(gè)雙向先入先出存儲(chǔ)器FIFO控制器，雙向FIFO控制器和DDRSDRAM為一對(duì)一的關(guān)系。較佳地，所述預(yù)處理和邏輯中轉(zhuǎn)模塊包括用FPGA實(shí)現(xiàn)的預(yù)處理單元、數(shù)據(jù)分配單 元、DDR控制器；預(yù)處理單元對(duì)來自視頻采集和解碼模塊的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理后的 數(shù)據(jù)等候數(shù)據(jù)分配模塊處理；數(shù)據(jù)分配模塊將預(yù)處理后的圖像數(shù)據(jù)分為η部分；在DDR控制器的讀寫時(shí)序控制下，以突發(fā)模式將數(shù)據(jù)分配模塊劃分的η部分圖像 數(shù)據(jù)分別存儲(chǔ)到η個(gè)DDR SDRAM中；其中，DDR控制器在時(shí)鐘的上升沿和下降沿傳輸數(shù)據(jù)；在DDR控制器的讀寫時(shí)序控制下，DDR SDRAM中的圖像數(shù)據(jù)不斷地傳遞到對(duì)應(yīng)的 DSP ；最后，數(shù)據(jù)分配模塊從各DSP獲取復(fù)原的圖像，并合并成完整的一幀圖像后輸出 給視頻編碼和回放模塊。由以上所述可以看出，本發(fā)明將對(duì)視頻的處理工作分配給兩部分，由FPGA的預(yù)處 理進(jìn)行預(yù)處理，由并行的DSP進(jìn)行圖像補(bǔ)償，從而提高了圖像補(bǔ)償和復(fù)原的效率。而且， 本發(fā)明采用DDR SDRAM作為圖像數(shù)據(jù)的緩存區(qū)，能夠滿足大量數(shù)據(jù)緩存的需求，而且DDR SDRAM能夠在時(shí)鐘的上升沿和下降沿傳輸數(shù)據(jù)，這與SDR SDRAM只能在時(shí)鐘周期的下降沿 傳輸數(shù)據(jù)相比，能夠大大提高數(shù)據(jù)傳輸速率?？梢姡捎肍PGA預(yù)處理、DDR SDRAM高速緩存和雙DSP核心并行計(jì)算的架構(gòu)有利 于構(gòu)建高效的數(shù)據(jù)處理流程和方便處理任務(wù)的分配，提高系統(tǒng)的并行程度和資源利用率。其次，本發(fā)明采用控制模塊選擇復(fù)原算法，大大增加了本系統(tǒng)的靈活性。
此外，本發(fā)明還在FPGA和DDR SDRAM之間加入雙向FIFO控制器，這使得在向DDR SDRAM中寫入數(shù)據(jù)和讀取數(shù)據(jù)的時(shí)候能夠有序?qū)懭牒妥x取。


圖1為本發(fā)明的基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)結(jié)構(gòu)示意圖；圖2為本發(fā)明的組成結(jié)構(gòu)框圖；圖3為本發(fā)明預(yù)處理和邏輯中轉(zhuǎn)模塊的功能框圖；圖4為雙核處理模塊的松耦合結(jié)構(gòu)圖。
具體實(shí)施例方式本發(fā)明提供了一種基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，如圖1和圖2所示，本發(fā)明的圖像復(fù)原系統(tǒng)包括視頻采集和解碼模塊1、預(yù)處理和邏輯中轉(zhuǎn)模塊2、由η個(gè)并聯(lián)的DSP 組成的雙核處理模塊3、由η個(gè)DDR SDRAM組成的高速數(shù)據(jù)緩存模塊4以及視頻編碼和回放 模塊6。其中，η個(gè)DDRSDRAM對(duì)應(yīng)η個(gè)DSP ;η為大于或等于2的整數(shù)。本發(fā)明實(shí)施例與η =2為例。視頻采集和解碼模塊1，與預(yù)處理和邏輯中轉(zhuǎn)模塊2相連，將采集和解碼后的視頻 發(fā)送至預(yù)處理和邏輯中轉(zhuǎn)模塊2。預(yù)處理和邏輯中轉(zhuǎn)模塊2，采用FPGA實(shí)現(xiàn)，該模塊首先承擔(dān)著對(duì)視頻采集和解碼 模塊1輸出的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處理的任務(wù)，如視頻圖像二值化、濾波等核心計(jì)算前必 須的圖像處理算法；其次，F(xiàn)PGA實(shí)現(xiàn)的DDR控制器邏輯在雙核處理模塊3和高速數(shù)據(jù)緩存 模塊4之間起一個(gè)橋梁的作用，即把DSP的外部存儲(chǔ)器接口(EMIF)和高速數(shù)據(jù)緩存模塊4 的DDRSDRAM連接起來。在此連接情況下，F(xiàn)PGA將處理后的圖像數(shù)據(jù)分為η = 2部分，通過 DDR控制器以突發(fā)模式將這兩部分的圖像數(shù)據(jù)分別存儲(chǔ)在2個(gè)DDR SDRAM中；從DDR SDRAM 讀取DSP請(qǐng)求的圖像數(shù)據(jù)，將各DSP復(fù)原的圖像合并成完整的一幀圖像并發(fā)送給視頻編碼 和回放模塊6。雙核處理模塊3中的η個(gè)DSP采用并行處理方式；每個(gè)DSP通過預(yù)處理和邏輯中 轉(zhuǎn)模塊2從自身對(duì)應(yīng)的DDR SDRAM獲取中圖像數(shù)據(jù)，并進(jìn)行圖像復(fù)原；兩個(gè)DSP相互之間的 握手通過連到FPGA上的各個(gè)DSP的中斷、通用I/O管腳來實(shí)現(xiàn)。高速數(shù)據(jù)緩存模塊4中的兩個(gè)DDR SDRAM，用于DSP對(duì)各分塊圖像進(jìn)行復(fù)原的時(shí)候 緩存圖像數(shù)據(jù)。視頻編碼和回放模塊，用于編碼和回放預(yù)處理和邏輯中轉(zhuǎn)模塊合并成的完整圖像。上述各模塊的工作流程為①視頻采集和解碼模塊將采集并解碼的每幀圖像數(shù)據(jù)發(fā)送給預(yù)處理和邏輯中轉(zhuǎn) 模塊。②預(yù)處理和邏輯中轉(zhuǎn)模塊對(duì)視頻采集和解碼模塊輸出的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處 理，將預(yù)處理后的圖像數(shù)據(jù)分為兩部分，通過FPGA實(shí)現(xiàn)的DDR控制器以突發(fā)模式將兩部分 的圖像數(shù)據(jù)分別存儲(chǔ)在兩個(gè)DDR SDRAM中；其中，DDR控制器在時(shí)鐘的上升沿和下降沿傳輸 數(shù)據(jù)。
③每個(gè)DSP通過所述預(yù)處理和邏輯中轉(zhuǎn)模塊從自身對(duì)應(yīng)的DDRSDRAM獲取中圖像 數(shù)據(jù)，并進(jìn)行圖像復(fù)原，將復(fù)原后的圖像發(fā)送給預(yù)處理和邏輯中轉(zhuǎn)模塊；④預(yù)處理和邏輯中轉(zhuǎn)模塊將各DSP復(fù)原的圖像合并成完整的一幀圖像并輸出給 視頻編碼和回放模塊；⑤視頻編碼和回放模塊編碼和回放預(yù)處理和邏輯中轉(zhuǎn)模塊合并成的完整圖像。由本發(fā)明圖像復(fù)原系統(tǒng)可以看出，本發(fā)明采用FPGA預(yù)處理、DDRSDRAM高速緩存和 雙DSP核心并行計(jì)算的架構(gòu)有利于構(gòu)建高效的數(shù)據(jù)處理流程和方便處理任務(wù)的分配，提高 系統(tǒng)的并行程度和資源利用率。下面對(duì)各重要模塊的功能進(jìn)行詳細(xì)描述。預(yù)處理和邏輯中轉(zhuǎn)模塊2，負(fù)責(zé)除圖像復(fù)原算法外的所有邏輯控制和圖像預(yù)處理任務(wù)，如圖3所示，這主要包括視頻的輸入輸出、視頻幀在進(jìn)行復(fù)原之前必需的圖像預(yù)處 理算法、高速數(shù)據(jù)緩存模塊4核心器件DDRSDRAM與雙核處理模塊3存儲(chǔ)器接口的時(shí)序控制 和圖像并行處理前的數(shù)據(jù)分配等。DDR SDRAM的引入大大提高了雙核處理模塊3處理和存 儲(chǔ)圖像的效率。具體來說，如圖3所示，預(yù)處理和邏輯中轉(zhuǎn)模塊包括用FPGA實(shí)現(xiàn)的預(yù)處理單元、數(shù) 據(jù)分配單元和DDR控制器；預(yù)處理單元對(duì)來自視頻采集和解碼模塊的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理后的 數(shù)據(jù)等候數(shù)據(jù)分配模塊處理。數(shù)據(jù)分配模塊將預(yù)處理后的圖像數(shù)據(jù)分為η部分。DDR控制器用于控制DDR SDRAM數(shù)據(jù)讀寫的時(shí)序。在DDR控制器的讀寫時(shí)序控制 下，以突發(fā)模式將η = 2部分的圖像數(shù)據(jù)分別存儲(chǔ)到2個(gè)DDRSDRAM中。其中，DDR控制器 在時(shí)鐘的上升沿和下降沿傳輸數(shù)據(jù)。當(dāng)DSP從DDR SDRAM獲取數(shù)據(jù)時(shí)，在DDR控制器讀寫時(shí)序控制下，DDR SDRAM中的 圖像數(shù)據(jù)不斷地傳遞到對(duì)應(yīng)的DSP。最后數(shù)據(jù)分配模塊從各DSP獲取復(fù)原的圖像，并合并成完整的一幀圖像后輸出給 視頻編碼和回放模塊。雙核處理模塊3，由兩個(gè)并聯(lián)的DSP核心協(xié)同完成模糊圖像復(fù)原算法。如圖2所 示，兩個(gè)DSP稱為DSP-A和DSP-B，兩個(gè)DSP相互之間的握手通過連到FPGA上的各個(gè)DSP的 中斷、通用I/O管腳來實(shí)現(xiàn)。雙核處理模塊3中的兩個(gè)核心是基于MIMD(多指令流多數(shù)據(jù) 流)系統(tǒng)的，這種系統(tǒng)一般由緊耦合系統(tǒng)和松耦合系統(tǒng)兩種結(jié)構(gòu)來描述。緊耦合系統(tǒng)通過 共享的存儲(chǔ)器來實(shí)現(xiàn)處理器之間的通信，處理器之間的聯(lián)系比較緊密。松耦合系統(tǒng)中每個(gè) 處理器節(jié)點(diǎn)帶有存儲(chǔ)器，處理器之間通過消息傳遞的方式來相互通信。本發(fā)明采用基于松 耦合的結(jié)構(gòu)，其體系結(jié)構(gòu)如圖4所示，每個(gè)DSP通過緩存連接外部總線，該外部總線接入預(yù) 處理和邏輯中轉(zhuǎn)模塊2。每個(gè)DSP帶有存儲(chǔ)器，該存儲(chǔ)器即為圖2中的DDR SDRAM, DSP不 與DDR SDRAM直接通信，而是通過外部總線和預(yù)處理和邏輯中轉(zhuǎn)模塊2相互通信。可見，本發(fā)明采用雙DSP并行處理系統(tǒng)，多DSP通信方式不受DSP通信控制接口的 限制、各DSP間沒有耦合作用而且支持突發(fā)式、海量數(shù)據(jù)高速通信，在數(shù)據(jù)吞吐量大、數(shù)字 運(yùn)算復(fù)雜的場合得到廣泛的應(yīng)用。本發(fā)明采用DDR SDRAM作為圖像數(shù)據(jù)的緩存區(qū)。由于在圖像處理等高速數(shù)據(jù)場合下，需要高速緩存大量的數(shù)據(jù)，傳統(tǒng)的SDRAM已不能滿足這種大量數(shù)據(jù)緩存的需求，而DDR SDRAM(DoubIe Data Rage，雙數(shù)據(jù)速率)由于其速度快、容量大的特點(diǎn)能很好的滿足這種需 求，因此，如圖2所示，本發(fā)明的高速數(shù)據(jù)緩存模塊4使用了兩塊DDR SDRAM作為圖像數(shù)據(jù)的 緩存區(qū)。與SDR SDRAM只能在時(shí)鐘周期的下降沿傳輸數(shù)據(jù)不同，這種DDRSDRAM在時(shí)鐘的上 升沿和下降沿都能傳輸數(shù)據(jù)。因此DDR SDRAM的傳輸速率是SDR SDRAM傳輸速率的兩倍。 但是本發(fā)明中采用的DSP處理器的接口不能直接和DDR存儲(chǔ)器接口相連，因此兩者之間的 數(shù)據(jù)交換需要通過預(yù)處理和邏輯中轉(zhuǎn)模塊2實(shí)現(xiàn)的DDR控制器來完成。 控制模塊5的核心基于嵌入WinCE的ARM控制器，控制模塊5包括一觸摸屏，用 戶通過觸摸屏能選擇不同的圖像復(fù)原算法，并能實(shí)時(shí)預(yù)覽當(dāng)前采集視頻和算法處理后的視 頻。為了便于演示和比較各種圖像復(fù)原算法的優(yōu)劣，本發(fā)明圖像復(fù)原系統(tǒng)進(jìn)一步包括 控制模塊5來完成算法的選擇。控制模塊5基于嵌入WinCE的ARM控制器完成，它通過主 機(jī)接口(HPI，Host Port Interface)總線與其中一個(gè)DSP例如DSP-A相連，以完成兩者間 的通訊。當(dāng)用戶選定某種算法時(shí)，控制模塊5改變HPI共享存儲(chǔ)區(qū)中指示復(fù)原算法類型的 數(shù)據(jù)，當(dāng)DSP-A檢測到HPI共享存儲(chǔ)區(qū)中該數(shù)據(jù)發(fā)生變化時(shí)，通過FPGA改變DSP-B的復(fù)原 算法類型，然后兩個(gè)DSP開始用改變后的復(fù)原算法進(jìn)行圖像復(fù)原。較佳地，控制模塊5含一個(gè)電阻式觸摸屏，打開算法設(shè)定程序后用戶可以方便地 通過觸摸屏選擇不同的圖像復(fù)原算法。控制模塊5還可以進(jìn)一步實(shí)時(shí)預(yù)覽當(dāng)前采集視頻和 算法處理后的視頻，在這種情況下，預(yù)處理和邏輯中轉(zhuǎn)模塊2復(fù)原前后的數(shù)據(jù)通過某一個(gè) DSP發(fā)送給控制模塊5。在實(shí)際中，為了保證圖像數(shù)據(jù)的有序性，在FPGA和兩個(gè)DDR SDRAM之間各加入一 個(gè)雙向FIFO是很有必要的，這使得在向DDR SDRAM中寫入數(shù)據(jù)和讀取數(shù)據(jù)的時(shí)候能夠有序 寫入和讀取。該FIFO并未在圖4中示出，如果需要增加，則在圖4中存儲(chǔ)器與外部總線之 間增加FIFO。本發(fā)明圖像復(fù)原系統(tǒng)的工作過程為從視頻采集和解碼模塊輸出的每幀圖像信號(hào)首先送到FPGA進(jìn)行圖像預(yù)處理，處 理后的數(shù)據(jù)等分為兩部分，通過FPGA實(shí)現(xiàn)的DDR控制器以突發(fā)模式將其存儲(chǔ)在分別對(duì)應(yīng)兩 個(gè)DSP核心的兩個(gè)DDR SDRAM中。在DSP-A和DSP-B的DMA控制器作用下，DDR SDRAM中 存儲(chǔ)的數(shù)據(jù)通過FIFO不斷地轉(zhuǎn)移到DSP片內(nèi)RAM中，然后兩個(gè)DSP對(duì)各自分配到的圖像進(jìn) 行圖像復(fù)原。兩路復(fù)原后的圖像數(shù)據(jù)由FPGA的邏輯時(shí)序控制并重構(gòu)成單幀圖像，由預(yù)處理 和邏輯中轉(zhuǎn)模塊2控制輸出回放。綜上所述，以上僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的 保護(hù)范圍之內(nèi)。
權(quán)利要求
一種基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，其特征在于該系統(tǒng)包括視頻采集和解碼模塊、預(yù)處理和邏輯中轉(zhuǎn)模塊、由n個(gè)并聯(lián)的數(shù)字信號(hào)處理器DSP組成的雙核處理模塊、由n個(gè)雙數(shù)據(jù)速率同步動(dòng)態(tài)隨機(jī)訪問存儲(chǔ)器DDR SDRAM組成的高速數(shù)據(jù)緩存模塊，以及視頻編碼和回放模塊，n個(gè)DDR SDRAM對(duì)應(yīng)n個(gè)數(shù)字信號(hào)處理器DSP；n為大于或等于2的整數(shù)；上述各模塊的連接關(guān)系為視頻采集和解碼模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊；所述預(yù)處理和邏輯中轉(zhuǎn)模塊采用現(xiàn)場可編程邏輯門陣列FPGA實(shí)現(xiàn)，連接DSP的外部存儲(chǔ)器接口EMIF和DDR SDRAM；所述雙核處理模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊，該雙核處理模塊中的n個(gè)DSP采用并行處理方式，n個(gè)DSP相互之間的握手通過連到FPGA上的各個(gè)DSP的中斷、通用I/O管腳來實(shí)現(xiàn)；所述高速數(shù)據(jù)緩存模塊中的n個(gè)DDR SDRAM連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊；所述視頻編碼和回放模塊連接所述預(yù)處理和邏輯中轉(zhuǎn)模塊；上述各模塊的工作流程為①所述視頻采集和解碼模塊將采集并解碼的每幀圖像數(shù)據(jù)發(fā)送給預(yù)處理和邏輯中轉(zhuǎn)模塊；②預(yù)處理和邏輯中轉(zhuǎn)模塊對(duì)視頻采集和解碼模塊輸出的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處理，將預(yù)處理后的圖像數(shù)據(jù)分為n部分，通過FPGA實(shí)現(xiàn)的DDR控制器以突發(fā)模式將n部分的圖像數(shù)據(jù)分別存儲(chǔ)在n個(gè)DDR SDRAM中；其中，DDR控制器在時(shí)鐘的上升沿和下降沿傳輸數(shù)據(jù)；③每個(gè)DSP通過所述預(yù)處理和邏輯中轉(zhuǎn)模塊從自身對(duì)應(yīng)的DDRSDRAM獲取中圖像數(shù)據(jù)，并進(jìn)行圖像復(fù)原，將復(fù)原后的圖像發(fā)送給預(yù)處理和邏輯中轉(zhuǎn)模塊；④預(yù)處理和邏輯中轉(zhuǎn)模塊將各DSP復(fù)原的圖像合并成完整的一幀圖像并輸出給視頻編碼和回放模塊；⑤視頻編碼和回放模塊編碼和回放預(yù)處理和邏輯中轉(zhuǎn)模塊合并成的完整圖像。
2.如權(quán)利要求1所述的基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一 步包括一控制模塊；該控制模塊基于嵌入WinCE的ARM控制器，通過主機(jī)接口 HPI總線與其中一個(gè)DSP相 連，在用戶選擇算法后，改變HPI共享存儲(chǔ)區(qū)中指示復(fù)原算法類型的數(shù)據(jù)；與控制模塊相連的DSP，進(jìn)一步檢測到所述HPI共享存儲(chǔ)區(qū)中指示復(fù)原算法類型的數(shù) 據(jù)改變后，通過所述預(yù)處理和邏輯中轉(zhuǎn)模塊改變其他DSP的復(fù)原算法類型，然后各個(gè)DSP開 始用改變后的復(fù)原算法進(jìn)行圖像復(fù)原。
3.如權(quán)利要求1所述的基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，其特征在于，該系統(tǒng)進(jìn)一 步包括連接在DDR SDRAM和預(yù)處理和邏輯中轉(zhuǎn)模塊之間的η個(gè)雙向先入先出存儲(chǔ)器FIFO 控制器，雙向FIFO控制器和DDR SDRAM為一對(duì)一的關(guān)系。
4.如權(quán)利要求1所述的基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，其特征在于，所述預(yù)處理 和邏輯中轉(zhuǎn)模塊包括用FPGA實(shí)現(xiàn)的預(yù)處理單元、數(shù)據(jù)分配單元、DDR控制器；預(yù)處理單元對(duì)來自視頻采集和解碼模塊的每幀圖像數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理后的數(shù)據(jù) 等候數(shù)據(jù)分配模塊處理；數(shù)據(jù)分配模塊將預(yù)處理后的圖像數(shù)據(jù)分為η部分；在DDR控制器的讀寫時(shí)序控制下，以突發(fā)模式將數(shù)據(jù)分配模塊劃分的η部分圖像數(shù)據(jù) 分別存儲(chǔ)到η個(gè)DDR SDRAM中；其中，DDR控制器在時(shí)鐘的上升沿和下降沿傳輸數(shù)據(jù)；在DDR控制器的讀寫時(shí)序控制下，DDR SDRAM中的圖像數(shù)據(jù)不斷地傳遞到對(duì)應(yīng)的DSP ；最后，數(shù)據(jù)分配模塊從各DSP獲取復(fù)原的圖像，并合并成完整的一幀圖像后輸出給視 頻編碼和回放模塊。
全文摘要
本發(fā)明公開了一種基于多核的運(yùn)動(dòng)模糊圖像復(fù)原系統(tǒng)，該系統(tǒng)中的預(yù)處理和邏輯中轉(zhuǎn)模塊將視頻采集和解碼模塊采集到的視頻幀進(jìn)行預(yù)處理后暫存在高速數(shù)據(jù)緩存模塊，預(yù)處理模塊核心計(jì)算采用FPGA完成，高速數(shù)據(jù)緩存模塊基于DDR SDRAM；雙核處理模塊通過預(yù)處理和邏輯中轉(zhuǎn)模塊讀取高速數(shù)據(jù)緩存中的視頻幀并進(jìn)行圖像補(bǔ)償，雙核處理模塊采用兩個(gè)DSP構(gòu)建，并行處理后的視頻在回放模塊中回放。本系統(tǒng)把對(duì)視頻的處理工作分配給兩部分，經(jīng)FPGA的預(yù)處理加上基于DDR SDRAM數(shù)據(jù)緩存的高速讀寫，雙DSP核心并行計(jì)算的高效性能夠更有效的完成圖像補(bǔ)償和復(fù)原的任務(wù)。
文檔編號(hào)G11B20/10GK101882302SQ201010189839
公開日2010年11月10日 申請(qǐng)日期2010年6月2日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者倪國強(qiáng), 馮亮, 梁炯, 石明珠, 許廷發(fā) 申請(qǐng)人:北京理工大學(xué)