本發(fā)明涉及成像技術(shù)領(lǐng)域，尤其涉及一種基于面陣CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)圖像傳感器的運動場景成像方法及系統(tǒng)。

背景技術(shù)：

在航天、航空遙感等研究和應用領(lǐng)域中要重點解決的問題包括高速運動場景成像和高動態(tài)范圍成像。所謂運動場景，是成像主體即相機與成像客體即目標間相對運動的統(tǒng)稱。以航天遙感應用為例，無論是早期的返回式膠片相機，還是如今占據(jù)主導地位的傳輸型數(shù)字相機，像移模糊都是遙感成像中最突出的問題之一。存在像移模糊的原因為：在相機曝光時間內(nèi)，目標場景通過光學鏡頭在焦面處所成的像相對于膠片或圖像探測器發(fā)生位移，使之與像元失去一對一映射關(guān)系，從而導致圖像中目標物體的拖影現(xiàn)象，定量表現(xiàn)為推掃方向調(diào)制傳遞函數(shù)(MTF)的下降。遙感成像場景中高層建筑陰影處地面反射輻照度低，由于相機動態(tài)范圍受限，陰影中的暗目標與其他區(qū)域的亮目標難以被同時分辨，制約了遙感相機的觀測能力。

目前面陣CMOS圖像傳感器已經(jīng)廣泛應用在星敏感器、深空探測等領(lǐng)域，但將其應用到高速運動場景成像領(lǐng)域并保證高動態(tài)范圍觀測能力，還沒有相應的解決方案。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種基于面陣CMOS圖像傳感器的運動場景成像方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中CMOS圖像傳感器在高速運動場景成像中同樣存在像移模糊的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于面陣CMOS圖像傳感器的運動場景成像方法，包括：

預設編碼脈沖序列，所述編碼脈沖序列包括多個脈沖；

根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像；

對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像；

將多個所述單次曝光圖像進行錯位疊加，得到混疊的編碼曝光圖像；

根據(jù)所述編碼脈沖序列對應的模糊化函數(shù)，對所述編碼曝光圖像進行反卷積運算，得到清晰化的目標圖像。

優(yōu)選地，所述根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像具體包括：

根據(jù)所述編碼脈沖序列，及目標場景與CMOS圖像傳感器的相對運動速度，控制面陣CMOS圖像傳感器以卷簾式電子快門工作方式，并以所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向移動一個像元的位移量所用時間作為幀周期，進行曝光成像。

優(yōu)選地，所述對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像，具體包括：

根據(jù)所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光時長、根據(jù)目標場景與CMOS圖像傳感器的相對運動速度，計算在所述單次曝光時長內(nèi)，所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向所移動的像元數(shù)；

將所述像元數(shù)作為所述數(shù)字域時間延遲積分的級數(shù)，對所述多個數(shù)字圖像進行沿所述推掃方向的移位累加，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像。

優(yōu)選地，在所述根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像步驟之后，還包括：

將所述多個數(shù)字圖像存儲到寄存器中。

本發(fā)明還提供一種基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)，包括：

編碼脈沖序列預設模塊，用于預設編碼脈沖序列，所述編碼脈沖序列包括多個脈沖；

CMOS圖像傳感器，用于根據(jù)所述編碼脈沖序列進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像；

數(shù)字域時間延遲積分處理模塊，用于對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像；

曝光圖像疊加模塊，用于將多個所述單次曝光圖像進行錯位疊加，得到混疊的編碼曝光圖像；

反卷積模塊，用于根據(jù)所述編碼脈沖序列對應的模糊化函數(shù)，對所述編碼曝光圖像進行反卷積運算，得到清晰化的目標圖像。

優(yōu)選地，所述數(shù)字域時間延遲積分處理模塊包括：

計算單元，用于根據(jù)所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光時長、根據(jù)目標場景與CMOS圖像傳感器的相對運動速度，計算在所述單次曝光時長內(nèi)，所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向所移動的像元數(shù)；

累加單元，用于將所述像元數(shù)作為所述數(shù)字域時間延遲積分的級數(shù)，對所述多個數(shù)字圖像進行沿所述推掃方向的移位累加，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像。

優(yōu)選地，還包括存儲模塊，用于存儲所述多個數(shù)字圖像。

優(yōu)選地，所述存儲模塊為位于所述CMOS圖像傳感器外部的寄存器。

經(jīng)由上述的技術(shù)方案可知，本發(fā)明提供的基于面陣CMOS圖像傳感器的運動場景成像方法，通過融合編碼曝光和數(shù)字域TDI(Time Delay Integration，時間延遲積分)技術(shù)，以編碼曝光時序為框架，在每個單次曝光過程中進行數(shù)字域TDI，即本發(fā)明提供的基于面陣CMOS圖像傳感器的運動場景成像方法的整體框架是面陣CMOS圖像傳感器對目標場景的編碼曝光，而每個單次曝光開窗成像則采用數(shù)字域TDI技術(shù)對CMOS圖像傳感器所成的數(shù)字圖像進行處理，得到像移補償后的單次曝光圖像，將多個像移補償后的單次曝光圖像疊加后得到編碼曝光圖像，再進行反卷積運算，最終得到清晰化的目標圖像。

一方面采用數(shù)字域TDI技術(shù)對CMOS圖像傳感器所成的數(shù)字圖像進行處理，能夠避免編碼曝光過程中的單次曝光像移模糊，使編碼曝光的應用成為可能；另一方面通過編碼曝光過程中先后多次以不同曝光時間、對應不同積分級數(shù)的數(shù)字域TDI成像，可得到對同一場景以特定編碼格式的、沒有單次曝光像移模糊的、不同曝光度的錯位疊加圖像，在良態(tài)反卷積得到清晰圖像的同時，對不同曝光度圖像分量的融合使得圖像的動態(tài)范圍得以提升。

本發(fā)明提供的基于面陣CMOS圖像傳感器的運動場景成像方法可以避免編碼曝光在高速運動場景成像中的單次曝光像移模糊和數(shù)字域TDI動態(tài)范圍受限的問題，從而使得面陣CMOS圖像傳感器可以適用于高速運動場景成像，消除像移模糊，提高成像質(zhì)量。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種基于面陣CMOS圖像傳感器的運動場景成像方法流程圖；

圖2為本發(fā)明實施例提供的一種基于面陣CMOS圖像傳感器的運動場景成像方法原理示意圖；

圖3為傳統(tǒng)相機拍攝到的圖像；

圖4為編碼相機拍攝的圖像；

圖5為本發(fā)明實施例提供的一種基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

CMOS圖像傳感器屬有源像素傳感器(Active Pixel Sensor，簡稱APS)，與CCD(Charge-coupled Device，電荷耦合元件)圖像傳感器的不同在于CMOS圖像傳感器的外圍電路可集成到芯片內(nèi)部，除光子轉(zhuǎn)電子、電荷測量外，其相關(guān)雙采樣、A/D轉(zhuǎn)換、圖像處理甚至壓縮編碼等電路都可以與光敏單元一起封裝在同一芯片中，這使得基于CMOS圖像傳感器的成像電子學系統(tǒng)的集成化優(yōu)勢明顯，進而可以有效減小相機的體積、重量和功耗，大幅降低遙感相機的研制和發(fā)射成本。此外，CMOS圖像傳感器還具有抗輻照能力強、可靠性高等優(yōu)點，特別適用于航天遙感任務中。但CMOS圖像傳感器無法利用不同相位電極極性的交替變化，驅(qū)動光生電荷沿推掃方向轉(zhuǎn)移，使電荷移動與焦面上上的像移同步，抵消相對運動，從而實現(xiàn)消除像移模糊的功能。

發(fā)明人經(jīng)過研究發(fā)現(xiàn)，面陣CMOS圖像傳感器用于運動場景成像，通常有兩種可選擇的技術(shù)：編碼曝光技術(shù)和數(shù)字域TDI技術(shù)。

但要在航天、航空遙感高速推掃成像中應用編碼曝光技術(shù)，則要求快門編碼的時間分辨率，也就是面陣探測器的幀轉(zhuǎn)移周期與行間圖像像移的周期在量級上相當。但受面陣探測器幀頻(百萬像素級的面陣CMOS幀頻一般不超過1kfps，對應為1ms幀周期)的限制，遙感相機幾十甚至十幾微秒的行轉(zhuǎn)移周期使得編碼曝光方法難以直接應用。因為如果快門編碼的周期較大地超出圖像行間像移周期，則編碼曝光過程中的一次曝光期間，目標景物在探測器靶面上所成的像就會跨越多個像元，從而出現(xiàn)像移模糊——單次曝光像移模糊，而這種模糊是難以修復的。換句話說，編碼曝光拍攝運動物體只適用于速度較低的目標，速度過高后會因產(chǎn)生單次曝光拖影而不適用。

而利用FPGA(Field-Programmable Gate Array，現(xiàn)場可編程門陣列)或DSP(數(shù)字信號處理)等芯片對CMOS圖像傳感器輸出的數(shù)字圖像信號進行處理，可通過對多幀圖像的移位、累加和存儲等操作在數(shù)字域中實現(xiàn)CMOS圖像傳感器的TDI功能。但在實際應用中發(fā)現(xiàn)，由于數(shù)字域TDI技術(shù)是在光電成像鏈路即“光子->電荷->電壓->數(shù)字碼值”中的最后一個階段對圖像信號進行時間延遲累加，無可避免地將鏈路中此之前的讀出噪聲、量化噪聲等一系列噪聲也以積分級數(shù)倍進行累加，且積分級數(shù)越高，累加噪聲越大，使得成像系統(tǒng)的噪聲等效曝光量較大，從而減小系統(tǒng)的動態(tài)范圍，具體表現(xiàn)為對低照度目標的成像效果較差。受此限制，在遙感相機實際應用中，由于對地觀測目標的對比度通常較大，即輸入的動態(tài)范圍較大，基于數(shù)字域TDI技術(shù)的CMOS圖像傳感器難以給出理想的大動態(tài)范圍圖像。

基于此，請參考圖1和圖2，其中，圖1為本發(fā)明實施例提供的一種基于面陣CMOS圖像傳感器的運動場景成像方法流程圖，圖2為本發(fā)明實施例提供的一種基于面陣CMOS圖像傳感器的運動場景成像方法原理示意圖。如圖1所示，本發(fā)明實施例提供的基于面陣CMOS圖像傳感器的運動場景成像方法，包括：

步驟S101：預設編碼脈沖序列，所述編碼脈沖序列包括多個脈沖；

需要說明的是，本實施例中所述編碼脈沖序列為在拍攝過程中按照特定的具有良好頻域特性的離散序列，通過離散的脈沖序列，實現(xiàn)相機多次開啟快門，使圖像的高頻成分更多地得以保留，并避免頻域上的零點。因此，可選的本實施例中所述編碼脈沖序列具有良態(tài)頻域特性，即對高頻分量保留較高響應，且頻譜中沒有零點的編碼脈沖序列。

運動模糊可以用一個模糊函數(shù)和清晰圖像的卷積過程來描述，而模糊圖像的清晰化則是一個反卷積的過程。在圖像復原過程中，編碼曝光相機由于具有良好的頻域特性，可以復原出相對清晰的圖像，如圖3所示，為傳統(tǒng)相機拍攝到的圖像，其上方的箭頭表示快門曝光時間；如圖4所示，為編碼相機拍攝的圖像，其上方的箭頭表示快門曝光時間，編碼相機的曝光時間為具有良好頻域特性的離散序列。

步驟S102：根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像；

本實施例中，所述根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像具體包括：

根據(jù)所述編碼脈沖序列，及目標場景與CMOS圖像傳感器的相對運動速度，控制面陣CMOS圖像傳感器以卷簾式電子快門工作方式，并以所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向移動一個像元的位移量所用時間作為幀周期，進行曝光成像。

需要說明的是，相比于同步式電子快門，卷簾式電子快門工作方式結(jié)合數(shù)字域TDI時，能夠在很大程度上緩解因幀頻較高給CMOS圖像傳感器的數(shù)據(jù)讀出帶來過重的負擔，使得數(shù)字域TDI技術(shù)應用于時下已有的航天級面陣CMOS圖像傳感器件上時，效果更好，因此，優(yōu)選地，本實施例中根據(jù)所述編碼脈沖序列，控制面陣CMOS圖像傳感器以卷簾式電子快門工作方式間歇進行曝光成像。

本實施例中，得到多個數(shù)字圖像之后，可以將所述多個數(shù)字圖像存儲在存儲單元中，所述存儲單元為位于CMOS圖像傳感器外部的寄存器。后續(xù)對對多個數(shù)字圖像進行數(shù)字域TDI處理，可以在所述寄存器中進行，并將經(jīng)過數(shù)字域TDI像移補償后的圖像數(shù)據(jù)存儲在所述寄存器中。

步驟S103：對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像；

本實施例中，對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像，具體包括：根據(jù)所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光時長、根據(jù)目標場景與CMOS圖像傳感器的相對運動速度，計算在所述單次曝光時長內(nèi)，所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向所移動的像元數(shù)；將所述像元數(shù)作為所述數(shù)字域TDI的級數(shù)，對所述多個數(shù)字圖像進行沿所述推掃方向的移位累加，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像。

需要說明的是，還可以將累加得到的所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像進行存儲。

步驟S104：將多個所述單次曝光圖像進行錯位疊加，得到混疊的編碼曝光圖像；

步驟S105：根據(jù)所述編碼脈沖序列對應的模糊化函數(shù)，對所述編碼曝光圖像進行反卷積運算，得到清晰化的目標圖像。

現(xiàn)有技術(shù)中編碼曝光技術(shù)在高速運動場景成像的特殊應用中：編碼曝光對圖像傳感器的幀頻要求過高，該過程中的一次曝光期間，目標景物在探測器靶面上所成的像就會跨越多個像元，從而出現(xiàn)像移模糊，即單次曝光像移模糊的問題，使得編碼曝光技術(shù)僅可以適用于低速運動場景成像中；另一方面，數(shù)字域TDI技術(shù)將光電成像鏈路中的讀出噪聲、量化噪聲等一系列噪聲也以積分級數(shù)倍進行累加，且積分級數(shù)越高，累加噪聲越大，使得成像系統(tǒng)的噪聲等效曝光量較大，存在減小系統(tǒng)的動態(tài)范圍的問題。

本發(fā)明提供的基于面陣CMOS圖像傳感器的運動場景成像方法，是融合了編碼曝光和數(shù)字域TDI的新方法，通過高精度時鐘保證編碼曝光快門和數(shù)字圖像疊加過程中行轉(zhuǎn)移的同步性，一方面以較低的積分級數(shù)保證了較長卷簾式快門行積分時間，從而提高了響應度；另一方面以較低的像元讀出速度完成數(shù)字碼值的移位累加從而抵消運動像移。解決了編碼曝光適用運動目標速度受限和數(shù)字域TDI技術(shù)動態(tài)范圍受限的問題，能夠?qū)⒚骊嘋MOS圖像傳感器應用于高速運動場景成像。

具體的，本發(fā)明提供的基于面陣CMOS圖像傳感器的運動場景成像方法整體框架是面陣CMOS對目標場景的編碼曝光，而每次開窗成像則采用不同級數(shù)的卷簾式數(shù)字域TDI。一方面通過卷簾式快門實現(xiàn)數(shù)字域TDI以降低圖像信號讀出壓力，避免了編碼曝光過程中的單次曝光像移模糊，使編碼曝光的應用成為可能；另一方面通過編碼曝光過程中先后多次以不同曝光時間、對應不同積分級數(shù)的數(shù)字域TDI成像，可得到對同一場景以特定編碼格式的、沒有單次曝光像移模糊的、不同曝光度的錯位疊加圖像，在良態(tài)反卷積得到清晰圖像的同時，對不同曝光度圖像分量的融合使得圖像的動態(tài)范圍得以提升。

本發(fā)明另外實施例提供一種基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)，如圖5所示，包括：編碼脈沖序列預設模塊1，用于預設編碼脈沖序列，所述編碼脈沖序列包括多個脈沖；CMOS圖像傳感器2，用于根據(jù)所述編碼脈沖序列進行曝光成像，在每個編碼脈沖時間內(nèi)，均得到多個數(shù)字圖像；數(shù)字域時間延遲積分處理模塊3，用于對所述多個數(shù)字圖像進行數(shù)字域時間延遲積分處理，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像；曝光圖像疊加模塊4，用于將多個所述單次曝光圖像進行錯位疊加，得到混疊的編碼曝光圖像；反卷積模塊5，用于根據(jù)所述編碼脈沖序列對應的模糊化函數(shù)，對所述編碼曝光圖像進行反卷積運算，得到清晰化的目標圖像。

其中，數(shù)字域時間延遲積分處理模塊3包括：計算單元31，用于根據(jù)所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光時長、根據(jù)目標場景與CMOS圖像傳感器的相對運動速度，計算在所述單次曝光時長內(nèi)，所述目標場景中任意一點所成像在所述CMOS圖像傳感器像面上沿推掃方向所移動的像元數(shù)；累加單元32，用于將所述像元數(shù)作為所述數(shù)字域TDI的級數(shù)，對所述多個數(shù)字圖像進行沿所述推掃方向的移位累加，得到所述多個數(shù)字圖像所在編碼脈沖對應的單次曝光圖像。

本實施例中提供的基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)，還包括存儲模塊，用于存儲所述多個數(shù)字圖像。本實施例中對所述存儲模塊不做限定，可選的，所述存儲模塊為位于所述CMOS圖像傳感器外部的寄存器。

本實施例中提供的基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)相對于現(xiàn)有技術(shù)中的TDI CCD系統(tǒng)，本發(fā)明提供的融合了編碼曝光技術(shù)和TDI技術(shù)的基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)，無需大規(guī)模外圍電路支持，如驅(qū)動單元、量化單元等，從而能夠滿足航空航天遙感中輕量化、集成化的要求，更加適用于航天、航空遙感等研究和應用領(lǐng)域。

相對于現(xiàn)有技術(shù)中的機械式像移補償系統(tǒng)，本發(fā)明提供的融合了編碼曝光技術(shù)和TDI技術(shù)的基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)對結(jié)構(gòu)的制造及運行精度要求不高，并且無需大功率傳動裝置，不會大幅增加航空相機的重量及體積，更加適用于航天、航空遙感領(lǐng)域。

相對于現(xiàn)有技術(shù)中光學式像移補償系統(tǒng)，本發(fā)明提供的融合了編碼曝光技術(shù)和TDI技術(shù)的基于面陣CMOS圖像傳感器的運動場景成像系統(tǒng)無需附加光學系統(tǒng)，從而不用對光學元件進行精度要求較高的控制。

需要說明的是，本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。