專利名稱：基于arm和dsp異構雙核處理器的圖像融合系統(tǒng)和方法
技術領域：
本發(fā)明涉及的是一種圖像處理技術領域的裝置及其方法，具體是一種基于 ARM(高級精簡指令集計算機)和DSP(數(shù)字信號處理)異構雙核處理器的圖像融合系統(tǒng)和 方法。
背景技術：
圖像融合技術在醫(yī)學、軍工和航天領域的嵌入式應用中前景廣闊，一般的圖像融 合技術都使用臺式計算機或者圖形工作站實現(xiàn)，由于這些臺式設備不能滿足空間、功耗、性 能和成本的綜合要求，導致圖像融合技術難以廣泛應用。 經(jīng)對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，中國專利申請?zhí)枮?1133782. 6，名稱為基于
DSP的嵌入式人臉自動檢測裝置和方法，該申請案可從復雜的場景中自動檢測出標準化的 人臉用于執(zhí)行各種身份確認、識別操作，也可應用于只需對人臉進行檢測而不需要進行確 認、識別的應用場合。但是，該技術是在DSP的單核處理器上實現(xiàn)的，DSP在處理控制語句 時的低效率極大的限制了該技術的檢測速度。 另經(jīng)檢索發(fā)現(xiàn)，中國專利申請?zhí)枮?00810048425，名稱為一種基于ARM的便攜 式圖像實時采集和顯示終端，該申請案采用嵌入式Li皿x(林納克思操作系統(tǒng))技術，利用 Linux內(nèi)核的相應編程接口函數(shù)編寫圖像采集程序，使用圖像數(shù)據(jù)的雙緩沖存儲技術和將 LCD (液晶顯示器)模塊的顯示緩沖區(qū)映射到用戶內(nèi)存區(qū)的方法，實現(xiàn)LCD顯示模塊圖像的 實時顯示。但由于受到ARM核處理矩陣速度不快的限制，該終端運行速度緩慢。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術中存在的不足，提供一種基于ARM和DSP異構雙 核處理器的圖像融合系統(tǒng)和方法。利用ARM和DSP處理程序時各自的優(yōu)異性能，將原本在 通用計算機上運行的圖像融合處理的程序移植到ARM和DSP上，通過對程序的各個任務的 分配，利用ARM善于處理分支預測和控制語句與DSP善于進行乘法運算的特點，高效率的運 行圖像融合的程序。 本發(fā)明是通過以下技術方案實現(xiàn)的 本發(fā)明所涉及的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，包括運算處理
模塊和用戶終端，其中用戶終端與運算處理模塊相連傳輸用戶終端交叉編譯的信息和運
算處理模塊的輸出信息。 所述用戶終端是桌面計算機。 所述的運算處理模塊，包括硬盤驅動模塊、ARM、共享存儲器和DSP，其中ARM和
DSP集成在同一芯片內(nèi)，硬盤驅動模塊與用戶終端相連傳輸交叉編譯信息和運算處理模塊 的輸出信息，ARM與硬盤驅動模塊相連傳輸二進制文件系統(tǒng)和ARM的運算結果，ARM與DSP 通過共享存儲器相連傳輸復雜運算的矩陣和DSP的運算結果。 所述的硬盤驅動模塊包括硬盤驅動器、RS-232(串行數(shù)據(jù)通信的接口標準)接口和Ethernet MAC接口，其中RS_232接口輸入端與用戶終端相連，RS-232接口輸出端與硬 盤驅動器相連，Ethernet MAC接口輸入端與硬盤驅動器相連，Ethernet MAC接口輸出端與 ARM相連。 所述的硬盤驅動器為ATA(高級工藝附件)接口的硬盤驅動器。所述的ARM是ARM 926EJ-S,包括16KB的指令cache (高速緩沖存儲器)、8KB的
數(shù)據(jù)cache、16KB的RAM(隨機存儲器)和16KB的R0M(只讀存儲器)。利用ARM核內(nèi)運行
的Li皿x操作系統(tǒng)對ARM進行控制和管理，包括進程控制和文件系統(tǒng)的管理。所述的DSP是DSP TMS320C64x，擁有八個高度獨立的定點乘法運算單元，支持不
對齊的存取結構，支持64個32位的通用寄存器、32KB的一級程序cache、80KB的一級數(shù)據(jù)
cache禾口 64KB的二級cache。 所述的共享存儲器包括片內(nèi)共享緩存和片外共享內(nèi)存，其中片內(nèi)共享緩存與 ARM和DSP處于同一芯片內(nèi)，片外共享內(nèi)存位于芯片外。 本發(fā)明涉及上述基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)的圖像融合方 法，包括以下步驟 第一步，用戶終端通過交叉編譯工具將圖像融合的算法代碼生成硬盤驅動器可執(zhí) 行的二進制文件系統(tǒng)，并通過RS-232接口將生成的二進制文件系統(tǒng)傳輸?shù)接脖P驅動器；
第二步，硬盤驅動器利用網(wǎng)絡文件系統(tǒng)技術通過Ethernet MAC接口將二進制文件 系統(tǒng)映射到ARM核內(nèi)的Li皿x操作系統(tǒng)的根目錄下； 第三步，ARM核會從Li皿x操作系統(tǒng)的文件系統(tǒng)中讀入需要進行融合的兩幅圖像 的灰度值，并以矩陣的形式進行組織和存儲； 第四步，ARM執(zhí)行圖像融合程序的過程中，在需要進行復雜運算時，將需要處理的 矩陣存入共享的緩沖器，并調用DSP ; 第五步，DSP從共享緩沖器中讀入需要處理的矩陣，進行矩陣運算，并且在計算結 束后把計算結果存入共享的緩沖器； 第六步，ARM從共享的緩沖器讀入DSP的運算結果，繼續(xù)執(zhí)行圖像融合程序，在此 期間，只要遇到復雜的運算，ARM就會調用DSP來進行運算； 第七步，待ARM運算結束后，通過Ethernet MAC接口將最后的運算結果映射回硬 盤驅動器； 第八步，硬盤驅動器將結果通過RS-232接口傳輸給用戶終端，最后經(jīng)用戶終端處 理得到融合后的圖像。 所述的共享緩存器的物理實現(xiàn)是以片內(nèi)的共享緩存為主，只有當片內(nèi)的共享緩存
發(fā)生缺失或者替換時，緩存器的物理實現(xiàn)才會延伸到片外的共享內(nèi)存。 與現(xiàn)有技術相比，本發(fā)明具有如下優(yōu)點采用ARM調用DSP的嵌入式系統(tǒng)來實現(xiàn)異
構雙核共同完成圖像融合的功能，ARM善于處理分支預測而DSP善于進行乘法運算，因此該
技術的圖像融合速度明顯提高。


圖1為實施例的結構連接圖； 圖2為實施例中ARM調用DSP的過程。
具體實施例方式
下面結合附圖對本發(fā)明的實施例作詳細說明，本實施例在以本發(fā)明技術方案為前 提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下 述的實施例。 如圖1所示，本實施例所涉及的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)， 包括運算處理模塊1和用戶終端2，其中用戶終端2與運算處理模塊1相連。
所述用戶終端2是桌面計算機，該計算機與運算處理模塊1相連傳輸用戶終端2 交叉編譯的信息和運算處理模塊1的輸出信息。 所述的運算處理模塊1，包括硬盤驅動模塊3、 ARM 4、共享存儲器5和DSP 6，其
中ARM 4和DSP 6集成在同一芯片內(nèi)，硬盤驅動模塊3與用戶終端2相連，ARM 4與硬盤驅
動模塊3相連，共享存儲器5與ARM 4相連，DSP 6與共享存儲器5相連。 所述的硬盤驅動模塊3包括硬盤驅動器7、 RS-232接口 8和Ethernet MAC接口
9，其中RS-232接口 8輸入端與用戶終端2相連，RS-232接口 8輸出端與硬盤驅動器7相
連，Ethernet MAC接口 9輸入端與硬盤驅動器7相連，EthernetMAC接口 9輸出端與ARM 4相連。 所述的硬盤驅動器7為ATA接口的硬盤驅動器。 所述的ARM 4是ARM926EJ-S，包括16KB的指令cache、8KB的數(shù)據(jù)cache、16KB的 RAM和16KB的R0M。利用ARM 4核內(nèi)運行的Linux操作系統(tǒng)對ARM4進行控制和管理，包括 進程控制和文件系統(tǒng)的管理。 所述的DSP 6是DSP TMS320C64x，擁有八個高度獨立的定點乘法運算單元，支持 不對齊的存取結構，支持64個32位的通用寄存器、32KB的一級程序cache、80KB的一級數(shù) 據(jù)cache和64KB的二級cache。
所述的共享存儲器5包括片內(nèi)共享緩存10和片外共享內(nèi)存11，其中片內(nèi)共享 緩存10與ARM 4和DSP 6處于同一芯片內(nèi)，片外共享內(nèi)存ll位于芯片外。
本實施例中用戶終端2的操作系統(tǒng)采用TI公司的DaVinci (達芬奇)平臺， 包括ARM和DSP的雙核架構，該平臺具有豐富的外設，便于進行程序開發(fā)和設計。根據(jù)
圖像信號具有二維性的特點，本實施例采取了能夠更加有效地捕獲圖像中二維特性的 Contourlet (輪廓小波)變換的圖像融合算法，將兩幅圖像分別進行Contourlet變換之后， 對低頻分量進行平均處理，高頻分量取絕對值最大，再利用Contourlet反變換得到融合之 后的圖像。 本實施例涉及上述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)的圖像融合 方法，其實施步驟為 第一步，用戶終端2通過交叉編譯工具將圖像融合的算法代碼生成硬盤驅動器7 可執(zhí)行的二進制文件系統(tǒng)，并通過RS-232接口 8將生成的二進制文件系統(tǒng)傳輸?shù)接脖P驅動 器7 ; 第二步，硬盤驅動器7利用網(wǎng)絡文件系統(tǒng)技術通過Ethernet MAC接口 9將二進制 文件系統(tǒng)映射到ARM 4核內(nèi)的Li皿x操作系統(tǒng)的根目錄下； 第三步，ARM 4核會從Li皿x操作系統(tǒng)的文件系統(tǒng)中讀入需要進行融合的兩幅圖像的灰度值，并以矩陣的形式進行組織和存儲； 第四步，ARM 4執(zhí)行圖像融合程序的過程中，在需要進行復雜運算時，將需要處理 的矩陣存入共享存儲器5，并調用DSP 6 ; 第五步，DSP 6從共享存儲器5中讀入需要處理的矩陣，進行矩陣運算，并且在計 算結束后把計算結果存入共享存儲器5 ; 第六步，ARM 4從共享存儲器5讀入DSP 6的運算結果，繼續(xù)執(zhí)行圖像融合程序， 在此期間，只要遇到復雜的運算，ARM 4就會調用DSP 6來進行運算； 第七步，待ARM 4運算結束后，通過Ethernet MAC接口 9將最后的運算結果映射 回硬盤驅動器7 ; 第八步，硬盤驅動器7將結果通過RS-232接口 8傳輸給用戶終端2，最后經(jīng)用戶終 端2處理得到融合后的圖像。 圖2所示是ARM 4調用DSP 6的過程，圖像融合的過程是在ARM 4核和DSP 6核上 完成的。程序的入口是在ARM 4核中，在ARM 4核上運行的Linux操作系統(tǒng)中，運行圖像融 合程序的二進制文件，ARM 4核會從Li皿x操作系統(tǒng)的文件系統(tǒng)中讀入需要進行融合的兩 幅圖像的灰度值，并以矩陣的形式進行組織和存儲；ARM 4核執(zhí)行圖像融合程序的過程中， 在需要進行復雜運算時，將需要處理的矩陣存入共享存儲器5，并調用DSP 6;DSP 6從共享 存儲器5中讀入需要處理的矩陣，進行矩陣運算，并且在計算結束后把計算結果存入共享 存儲器5 ;ARM再從共享存儲器5讀入運算結果。在本實施例中，共享緩存器5的物理實現(xiàn) 是以片內(nèi)共享緩存10為主。只有當片內(nèi)共享緩存10發(fā)生缺失或者替換時，共享存儲器5 的物理實現(xiàn)才會延伸到片外共享內(nèi)存11。 本實施例采用ARM 4調用DSP 6的嵌入式系統(tǒng)來實現(xiàn)異構雙核共同完成圖像融合 的功能，ARM 4善于處理分支預測而DSP 6善于進行乘法運算，因此本實施例的圖像融合速 度明顯加快。
權利要求
一種基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征在于，包括運算處理模塊和用戶終端，運算處理模塊，包括硬盤驅動模塊、ARM、共享存儲器和DSP，其中ARM和DSP集成在同一芯片內(nèi)，硬盤驅動模塊與用戶終端相連傳輸交叉編譯信息和運算處理模塊的輸出信息，ARM與硬盤驅動模塊相連傳輸二進制文件系統(tǒng)和ARM的運算結果，ARM與DSP通過共享存儲器相連傳輸運算矩陣和DSP的運算結果。
2. 根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述用戶終端是桌面計算機。
3. 根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述的硬盤驅動模塊，包括硬盤驅動器、RS-232接口和EthernetMAC接口 ，其中RS_232 接口輸入端與用戶終端相連，RS-232接口輸出端與硬盤驅動器相連，Ethernet MAC接口輸 入端與硬盤驅動器相連，Ethernet MAC接口輸出端與ARM相連。
4. 根據(jù)權利要求3所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述的硬盤驅動器為ATA接口的硬盤驅動器。
5. 根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述的ARM是ARM926EJ-S，其操作系統(tǒng)是Linux操作系統(tǒng)。
6. 根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述的DSP是DSP TMS320C64x。
7. 根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)，其特征是， 所述的共享存儲器包括片內(nèi)共享緩存和片外共享內(nèi)存，其中片內(nèi)共享緩存與ARM和DSP 處于同一芯片內(nèi)，片外共享內(nèi)存位于芯片外。
8. —種根據(jù)權利要求l所述的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)的圖像 融合方法，其特征在于，包括以下步驟第一步，用戶終端通過交叉編譯工具將圖像融合的算法代碼生成硬盤驅動器可執(zhí)行的 二進制文件系統(tǒng)，并通過RS-232接口將生成的二進制文件系統(tǒng)傳輸?shù)接脖P驅動器；第二步，硬盤驅動器利用網(wǎng)絡文件系統(tǒng)技術通過Ethernet MAC接口將二進制文件系統(tǒng) 映射到ARM核內(nèi)的Li皿x操作系統(tǒng)的根目錄下；第三步，ARM核會從Li皿x操作系統(tǒng)的文件系統(tǒng)中讀入需要進行融合的兩幅圖像的灰 度值，并以矩陣的形式進行組織和存儲；第四步，ARM執(zhí)行圖像融合程序的過程中，在需要進行復雜運算時，將需要處理的矩陣 存入共享的緩沖器，并調用DSP ;第五步，DSP從共享緩沖器中讀入需要處理的矩陣，進行矩陣運算，并且在計算結束后 把計算結果存入共享的緩沖器；第六步，ARM從共享的緩沖器讀入DSP的運算結果，繼續(xù)執(zhí)行圖像融合程序，在此期間， 只要遇到復雜的運算，ARM就會調用DSP來進行運算；第七步，待ARM運算結束后，通過Ethernet MAC接口將最后的運算結果映射回硬盤驅 動器；第八步，硬盤驅動器將結果通過RS-232接口傳輸給用戶終端，最后經(jīng)用戶終端處理得 到融合后的圖像。
9. 根據(jù)權利要求8所述的基于ARM和DSP異構雙核處理器的圖像融合方法，其特征是，所述的共享緩存器的物理實現(xiàn)是以片內(nèi)的共享緩存為主，當片內(nèi)的共享緩存發(fā)生缺失或者 替換時，緩存器的物理實現(xiàn)延伸到片外的共享內(nèi)存。
10.根據(jù)權利要求8所述的基于ARM和DSP異構雙核處理器的圖像融合方法，其特征 是，所述的用戶終端的操作系統(tǒng)是TI公司的Da Vinci平臺。
全文摘要
本發(fā)明涉及的是一種圖像處理技術領域的基于ARM和DSP異構雙核處理器的圖像融合系統(tǒng)和方法，所述的系統(tǒng)包括運算處理模塊和用戶終端，其中用戶終端與運算處理模塊相連傳輸用戶終端交叉編譯的信息和運算處理模塊的輸出信息；所述的圖像融合方法通過采用ARM調用DSP的嵌入式系統(tǒng)來實現(xiàn)異構雙核共同完成圖像融合的功能，最后經(jīng)用戶終端處理得到融合后的圖像。本發(fā)明發(fā)揮了ARM善于處理分支預測而DSP善于進行乘法運算的特性，使得本發(fā)明的圖像融合速度明顯加快。
文檔編號G06T1/20GK101697225SQ200910196270
公開日2010年4月21日 申請日期2009年9月24日 優(yōu)先權日2009年9月24日
發(fā)明者劉平平, 施躍華, 祝永新, 趙峰, 魏弋彭 申請人:上海交通大學;