本發(fā)明涉及一種圖像處理方法，特別涉及一種基于波像差校正的圖像快速計算處理方法。

背景技術：

1、圖像存儲與讀取是指將接收到的待處理數(shù)據按照規(guī)則轉化為矩陣等數(shù)據流，存儲在介質中，之后按照規(guī)則讀出數(shù)據進行圖像處理。常用的存儲介質有nor?flash、ddr等。將圖像的存儲與讀取看作一條流水線，則不同的存儲介質之間需要數(shù)據格式的轉化才能完成數(shù)據傳遞。

2、隨著空間目標探測的要求日益提高，以空間目標為背景的圖像高速存儲與讀取技術對實時性的要求也越來越高，集成電路技術的高速發(fā)展為解決這一問題提供了硬件支撐；而如何巧妙地利用先進的集成電路硬件資源，實現(xiàn)實時性高的圖像高速存儲與讀取則成為了一項挑戰(zhàn)性的工作。近年來基于fpga和ddr技術的高速實時傳感器圖像處理系統(tǒng)受到了廣泛關注。這些系統(tǒng)能夠實現(xiàn)高速的圖像采集、預處理和存儲，為各種應用提供了強大的支持。

3、目前常見的存儲方案有以下幾種：（1）基于lvds的高速遠程圖像數(shù)據存儲系統(tǒng)。該系統(tǒng)以fpga芯片作為控制核心，采用低壓差分信號技術（lvds）接口解串和驅動芯片相結合，保證了有效接收遠程數(shù)據；采用交替雙平面的flash編程方式來控制圖像數(shù)據的存儲。（2）針對高速圖像數(shù)據fpga大容量存儲的需求，有學者提出了基于高速并行化flash大容量數(shù)據存儲結構的無效塊管理策略。（3）還有學者提出了一種定制圖像編碼的方法，用于近似存儲基底。他們發(fā)現(xiàn)，無差別地將編碼圖像存儲在近似內存中，會產生不可接受且無法控制的質量問題。（4）有研究者探討了使用ddr進行圖像存儲的問題。（5）也有論文提出了一種基于ddr2的高速圖像數(shù)據傳輸系統(tǒng)設計方法。該設計方法設計的系統(tǒng)采用了fpga內部fifo資源與片外ddr2分層緩存機制，以滿足圖像的高吞吐率要求和數(shù)據緩存的大容量要求。上述這些存儲方案都關注了圖像數(shù)據的高速存儲問題，并分別給出了具體的解決方法；這些方案的共同點是他們都強調了高速、大容量和可靠性的重要性，并且都采用?fpga作為存儲系統(tǒng)的控制核心，都利用fpga并行處理能力和靈活性來實現(xiàn)高速、大容量的數(shù)據存儲；不同點在于他們針對的應用需求和問題不同，所采用的具體技術和方法不同。上述這些方案的不足之處在于：一是存儲與讀取的速度雖有所提高，但仍較慢，實時性仍較差，不能滿足波像差校正對實時性的要求；二是其大多用于地面設備，需要大容量gpu服務器，而衛(wèi)星平臺上硬件資源有限，能分配給圖像存儲、讀取與計算的容量有限，因而其不能滿足衛(wèi)星平臺上應用時要求的低功耗性和低延時性，難以直接應用在衛(wèi)星平臺上；個別雖能夠直接應用在衛(wèi)星平臺上，但也由于速度慢、實時性差，不能滿足波像差校正的要求。

4、另外，也有學者提出了一種基于fpga控制nand?flash陣列實現(xiàn)高速流水線式存儲的存儲方案。該方案通過cameralink輸入通信接口將圖像數(shù)據寫入flash存儲陣列中，并采用dma傳輸技術將存儲后的圖像文件上傳至計算機硬盤中作進一步處理；同時，利用sdram顯存實時刷新數(shù)據，fpga構造相應的vga信號，最終實現(xiàn)100mb/s圖像的實時顯示。但該方案僅是實現(xiàn)了對圖像的實時顯示，并未對圖像數(shù)據進行計算、解讀。

5、也有人提出圍繞基于ddr4的光電圖像實時存儲技術，對圖像存儲與讀取展開研究。他們首先介紹了?ddr4關鍵技術和工作原理；然后，在接口模塊中，研究了三緩存接口技術，實現(xiàn)了多設備實時讀寫數(shù)據的功能；并且，在讀操作和寫操作模塊，提出了周期分散刷新算法，解決了指令滯后問題。但是，該方案只是提高了開始時的響應速度，對后續(xù)存儲、讀取以及計算的速度并未加快。

6、綜上所述，研發(fā)一種能夠快速進行存儲、讀取以及計算的圖像快速計算處理方法，使其能夠同時滿足波像差校正對實時性的要求以及衛(wèi)星平臺上使用時對存儲、讀取和計算的高可靠性、低功耗性、低延時性要求，是目前亟需解決的問題。

7、下面是涉及的英語詞匯的解釋說明：

8、nor?flash：一種非易失性存儲器，具有快速讀取能力，通常用于存儲固件和操作系統(tǒng)；

9、ddr：double?data?rate?sdram，雙倍數(shù)據速率同步動態(tài)隨機存取存儲器；

10、ddr2：double?data?rate?2?sdram，雙倍數(shù)據速率二代同步動態(tài)隨機存取存儲器；

11、ddr3：double?data?rate?3?sdram，雙倍數(shù)據速率三代同步動態(tài)隨機存取存儲器；

12、ddr4：double?data?rate?4?sdram，雙倍數(shù)據速率四代同步動態(tài)隨機存取存儲器；

13、fpga：field?programmable?gate?array，現(xiàn)場可編程邏輯門陣列；

14、lvds：low?voltage?differential?signaling，低壓差分信號；

15、flash：一種非易失性存儲器，可以快速讀取和寫入數(shù)據；

16、fifo：first?in?first?out，一種數(shù)據緩存器，主要特點是數(shù)據順序寫入后按同樣的順序輸出，即先進去的數(shù)據先被取出；

17、gpu：graphics?processing?unit，圖形處理單元；

18、nand?flash：nand快閃存儲器，一種非易失性存儲器技術，主要用于數(shù)據存儲；

19、cameralink：一種專門針對機器視覺應用領域的串行通信協(xié)議；

20、dma：direct?memory?access，是一種硬件特性，它允許某些硬件子系統(tǒng)在不經過中央處理器（cpu）的情況下，直接訪問系統(tǒng)的內存；

21、sdram：synchronous?dynamic?random-access?memory，同步動態(tài)隨機存取存儲器；

22、vga：video?graphics?array，視頻圖形陣列，使用模擬信號進行視頻傳輸?shù)臉藴省?/p>

技術實現(xiàn)思路

1、本發(fā)明的目的是為了解決采用現(xiàn)有的圖像存儲與讀取方案，存儲與讀取的速度較慢，實時性差，不能同時滿足波像差校正對實時性的要求以及衛(wèi)星平臺上使用時對存儲、讀取和計算的高可靠性、低功耗性、低延時性要求的技術問題，而提供一種基于波像差校正的圖像快速計算處理方法。

2、為解決上述技術問題，本發(fā)明所采用的技術方案是：

3、一種基于波像差校正的圖像快速計算處理方法，該方法基于波像差校正系統(tǒng)實現(xiàn)，其特殊之處在于，包括以下步驟：

4、步驟1：波像差校正控制系統(tǒng)參數(shù)初始化，具體包括：

5、1.1）根據校正電壓回路個數(shù)n和波像差校正系統(tǒng)標定結果，在nor?flash中設定波像差控制電壓初始矩陣，所述波像差控制電壓初始矩陣為的矩陣；

6、1.2）根據哈特曼的子孔徑個數(shù)a和校正電壓回路個數(shù)n，設定質心偏移量與波像差控制電壓調整量的響應函數(shù)系數(shù)矩陣，所述響應函數(shù)系數(shù)矩陣的大小為，；然后將其每c列為一組依次拆分為n個的并列系數(shù)矩陣，所述；接著再并行將各并列系數(shù)矩陣中，每h列中行號相同的系數(shù)進行拼接，一一對應地依次存入ddr3一行中的相應存儲單元中，在ddr3中存儲為n組每組z行每行存儲m個系數(shù)的形式；所述2≤h≤c；所述z為c除以h的商值向上取整得到的值；

7、1.3）根據波像差校正系統(tǒng)實際的硬件環(huán)境，在nor?flash中設定電壓增益矩陣，所述電壓增益矩陣的大小為；

8、步驟2：讀取波前圖像；

9、步驟3：根據哈特曼的子孔徑個數(shù)a，對讀取的波前圖像，進行開窗處理并分包，得到b個開窗圖像包，每個開窗圖像包包含a/b個開窗圖像，所述b為設定分包數(shù)，所述a/b的值為整數(shù)；

10、步驟4：對步驟3中得到的各所述開窗圖像包，并行計算各包中每個開窗圖像在x方向和y方向的質心偏移量，得到質心偏移量矩陣，所述質心偏移量矩陣的大小為；

11、步驟5：fpga從ddr3中讀取步驟1.2）中存儲的所述響應函數(shù)系數(shù)矩陣；定義ddr3中每豎組包括a/b個系數(shù)，則讀取時，先讀完第1組z行的第1豎組，再讀取第1組z行的第2豎組，依次類推，讀完第1組z行，再依次類推，讀取第2組z行，直至讀取到所述響應函數(shù)系數(shù)矩陣中的所有系數(shù)；并且每讀取一組z行中的1個豎組，即刻對其基于求取質心偏移量矩陣和響應函數(shù)系數(shù)矩陣的乘積矩陣，與步驟4中得到的質心偏移量矩陣中對應位置的元素進行相應運算，最終計算得到乘積矩陣；

12、步驟6：根據步驟1.1）中設定的波像差控制電壓初始矩陣、步驟1.3）中設定的電壓增益矩陣以及步驟5中計算得到的乘積矩陣，采用式[1]，計算本次的波像差控制電壓矩陣，式[1]為：

13、

14、式[1]中：表示本次的波像差控制電壓矩陣，為的矩陣；表示與本次相鄰的上一次計算得到的波像差控制電壓矩陣，當本次為第1次計算時，取步驟1.1）中設定的波像差控制電壓初始矩陣；表示乘積矩陣與電壓增益矩陣的哈達瑪積；

15、步驟7：根據步驟6中計算得到的本次的波像差控制電壓矩陣，調整光學系統(tǒng)中變形鏡的面型，然后再獲取調整變形鏡面型后的波前圖像；

16、步驟8：fpga執(zhí)行程序判斷是否接收到設定的波像差校正結束指令；若否，則返回步驟2；若是，則波像差校正結束，完成圖像計算處理。

17、進一步地，所述波像差校正系統(tǒng)包括依次連接構成回路的波前傳感器、波像差校正控制系統(tǒng)、n個校正電壓回路以及光學系統(tǒng)；所述波前傳感器包括多個哈特曼的子孔徑；所述波前傳感器用于獲取所述光學系統(tǒng)生成的波前圖像，并將其傳輸給波像差校正控制系統(tǒng)；所述波像差校正控制系統(tǒng)用于根據傳輸?shù)牟ㄇ皥D像，計算并調整每個所述校正電壓回路中的波像差控制電壓，使所述光學系統(tǒng)中變形鏡的面型發(fā)生改變，以實現(xiàn)對波像差的校正，并生成調整變形鏡面型后的波前圖像。

18、進一步地，步驟1.2）中，并行將各并列系數(shù)矩陣中，每h列中行號相同的系數(shù)進行拼接，一一對應地依次存入ddr3一行中的相應存儲單元中，在ddr3中存儲為n組每組z行每行存儲m個系數(shù)的形式時，先將各并列系數(shù)矩陣并行存入nor?flash中，然后再從nor?flash中并行拼接存儲至ddr3中；

19、所述h等于ddr3存儲單元字長與nor?flash存儲單元字長的比值。

20、進一步地，步驟1.2）中，所述先將各并列系數(shù)矩陣并行存入nor?flash中，然后再從nor?flash中并行拼接存儲至ddr3中，具體為：

21、先按并列系數(shù)矩陣中一列系數(shù)對應存入nor?flash中一行的方式，將n個的并列系數(shù)矩陣中的各列系數(shù)，一一對應地依次存入nor?flash中的n行中，在nor?flash中存儲為n組每組c行每行m個系數(shù)的形式；

22、然后再并行對存儲在nor?flash中的各組每組c行每行m個系數(shù)，按每h行系數(shù)拼接存入ddr3中一行的方式，將每h行中列排序相同的存儲單元中存儲的系數(shù)，按行序號依次拼接存儲至ddr3一行中對應存儲單元的高位至低位中，并且每組c行每行m個系數(shù)，按每h行系數(shù)為一組拼接時，若最后一組少于h行，則將缺少的行中對應的存儲單元標記為無效數(shù)據補齊h行，進行拼接，最終在ddr3中存儲為n組每組z行每行存儲m個系數(shù)的形式。將缺少的行中對應的存儲單元標記為無效數(shù)據補齊h行，進行拼接，可以防止存儲、讀取過程中出現(xiàn)數(shù)據錯亂，保證存儲、讀取數(shù)據的準確性。

23、進一步地，所述nor?flash存儲單元字長為32位存儲，所述ddr3存儲單元字長為128位存儲，步驟1.2）中，所述h等于4。

24、進一步地，為了在提高并行處理速度的同時，不浪費過多的硬件資源，步驟3中，所述設定分包數(shù)b應符合以下條件：使得a/b的值能夠整除ddr3中每行能夠存儲的數(shù)據長度d。

25、本發(fā)明的有益效果是：

26、（1）本發(fā)明基于波像差校正的圖像快速計算處理方法，在ddr3中存儲響應函數(shù)系數(shù)矩陣時，先將該矩陣每c列為一組依次拆分為n個的并列系數(shù)矩陣，接著將各并列系數(shù)矩陣并行存入nor?flash中，在nor?flash中存儲為n組每組c行每行m個系數(shù)的形式；然后再并行對存儲在norflash中的各組每組c行每行m個系數(shù)，按每h行系數(shù)拼接存入ddr3中一行的方式，將每h行中列排序相同的存儲單元中存儲的系數(shù)，按行序號依次拼接存儲至ddr3一行中對應存儲單元的高位至低位中，在ddr3中存儲為n組每組z行每行存儲m個系數(shù)的形式，由于進行了分組，存儲的速度大幅度提高；并且本發(fā)明中，在計算質心偏移量矩陣前，先對讀取的波前圖像進行了開窗處理并分包，對得到的b個開窗圖像包，并行計算各包中每個開窗圖像在x方向和y方向的質心偏移量，也提高了計算質心偏移量矩陣的計算速度；

27、同時，由于本發(fā)明中將響應函數(shù)系數(shù)矩陣在ddr3中存儲為n組每組z行每行存儲m個系數(shù)的形式，并且在步驟5中，fpga從ddr3中讀取響應函數(shù)系數(shù)矩陣時，定義ddr3中每豎組包括a/b個系數(shù)，采用按先讀完第1組z行的第1豎組，再讀取第1組z行的第2豎組，依次類推，讀完第1組z行，再依次類推，讀取第2組z行，直至讀取到響應函數(shù)系數(shù)矩陣中的所有系數(shù)的方式讀取。這樣，在計算乘積矩陣時，每讀取一組z行中的1個豎組，就可以即刻對其與步驟4中得到的質心偏移量矩陣中對應位置的元素進行相應運算，因而其提高了計算波像差控制電壓矩陣過程中矩陣運算的速度；并且，在步驟5中，fpga從ddr3中讀取響應函數(shù)系數(shù)矩陣時，可以一次尋址讀取到z行數(shù)據，縮減了ddr3每次跳變地址時尋址過程中耗費的大量時間，減少了ddr3尋址時間，因而也提高了從ddr3中讀出數(shù)據的速度；因此，采用本發(fā)明基于波像差校正的圖像快速計算處理方法對波前圖像進行圖像計算處理時，對響應函數(shù)系數(shù)矩陣存儲、讀取以及計算波像差控制電壓矩陣過程中的矩陣運算速度均有提高，其實時性更好，能夠滿足波像差校正對實時性的要求；

28、另外，采用本發(fā)明基于波像差校正的圖像快速計算處理方法，功耗低，需要分配給其存儲、讀取和計算的容量較小，降低了對硬件的算力要求，本發(fā)明中通過nor?flash、ddr3、fpga三種硬件協(xié)作完成基于波像差校正的圖像快速計算處理，因而其能夠滿足衛(wèi)星平臺上使用時對存儲、讀取和計算的高可靠性、低功耗性、低延時性要求；

29、綜上所述，本發(fā)明解決了采用現(xiàn)有的圖像存儲與讀取方案，存儲與讀取的速度較慢，實時性差，不能同時滿足波像差校正對實時性的要求以及衛(wèi)星平臺上使用時對存儲、讀取和計算的高可靠性、低功耗性、低延時性要求的技術問題。

30、（2）本發(fā)明中優(yōu)選地在步驟3中設定分包數(shù)時，使得a/b的值能夠整除ddr3中每行能夠存儲的數(shù)據長度d，這樣在提高并行處理速度的同時，也不會浪費過多的硬件資源。

31、（3）采用本發(fā)明基于波像差校正的圖像快速計算處理方法，將單次計算波像差控制電壓矩陣的時間由原來的160ms縮短至10.3ms，幀頻也提升至每秒100幀，大幅度提高了圖像計算處理的效率。

32、（4）本發(fā)明基于波像差校正的圖像快速計算處理方法，存儲、讀取和計算速度快，實時性好，功耗低，可靠性高，為星上波像差校正提供了技術支撐，也為其他領域的星上圖像快速計算處理提供了參考。