專利名稱：高時(shí)空分辨率視頻去模糊方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于雙目立體間插變曝光的高時(shí)空 分辨率視頻去模糊方法及系統(tǒng)。
背景技術(shù)：
針對(duì)高速運(yùn)動(dòng)場(chǎng)景采集，計(jì)算攝像學(xué)領(lǐng)域相關(guān)的研究正如火如荼的展開(kāi)，國(guó)際上 一些頂級(jí)實(shí)驗(yàn)室和研究機(jī)構(gòu)已經(jīng)設(shè)計(jì)并實(shí)現(xiàn)了多個(gè)采集系統(tǒng)和對(duì)應(yīng)算法。2005年，斯坦福大學(xué)的Bennett實(shí)現(xiàn)了一個(gè)由52個(gè)緊密排列的低速相機(jī)間插采集 以虛擬單視角高速相機(jī)的采集系統(tǒng)，若每個(gè)低速相機(jī)的幀率為20幀每秒，那么該采集系統(tǒng) 的采集幀率可以達(dá)到52*20 = 1040幀每秒。但該系統(tǒng)利用大規(guī)模相機(jī)陣列僅實(shí)現(xiàn)單視角高 速視頻采集，并且每一幀采集都是短曝光，間插的相機(jī)越多，虛擬幀率越高曝光時(shí)間越短， 采集圖像的信噪比越低。2006年，麻省理工大學(xué)的Raskar等人設(shè)計(jì)并實(shí)現(xiàn)了編碼曝光采集 系統(tǒng)，通過(guò)在一次圖像采集內(nèi)，按照特定規(guī)則開(kāi)閉快門(mén)，獲取頻譜無(wú)零點(diǎn)的卷積核函數(shù)。但 是，該系統(tǒng)只能對(duì)勻速直線運(yùn)動(dòng)和簡(jiǎn)單背景的場(chǎng)景進(jìn)行采集。2009年Raskar等人又提出了 連續(xù)變曝光的運(yùn)動(dòng)去模糊算法，該方法只需要采集視頻的連續(xù)幀之間曝光時(shí)間發(fā)生變化， 使得聯(lián)合頻譜無(wú)零點(diǎn)即可，但是，該方法針對(duì)單視角，并且只對(duì)直線運(yùn)動(dòng)和非太高速的場(chǎng)景 有效。2009年Sellent等人提出了交替長(zhǎng)短曝光的采集方法實(shí)現(xiàn)單視角高速場(chǎng)景采集和場(chǎng) 景運(yùn)動(dòng)場(chǎng)信息估計(jì)，但是該方法受限于“短-長(zhǎng)-短”的采集模式，對(duì)高速場(chǎng)景在時(shí)間域上 的信息捕獲不連續(xù)，信息丟失較大。2008年MIT的Levin等人，設(shè)計(jì)并搭建了相機(jī)做拋物線 運(yùn)動(dòng)以實(shí)現(xiàn)和運(yùn)動(dòng)無(wú)關(guān)的場(chǎng)景采集系統(tǒng)，該系統(tǒng)利用相機(jī)的運(yùn)動(dòng)，改變采集圖像，使其各處 都有完全相同的運(yùn)動(dòng)模糊，從而將空間各異的運(yùn)動(dòng)模糊求解問(wèn)題轉(zhuǎn)換為空間相同的一個(gè)運(yùn) 動(dòng)核反卷積問(wèn)題，但是該方法單視角，并且采集場(chǎng)景運(yùn)動(dòng)受限于相機(jī)運(yùn)動(dòng)速度和方向。現(xiàn)有技術(shù)存在的缺點(diǎn)是，這些系統(tǒng)都不能實(shí)現(xiàn)多視角高速運(yùn)動(dòng)場(chǎng)景高時(shí)空分辨率 采集。

發(fā)明內(nèi)容
本發(fā)明的目的旨在解決上述技術(shù)缺陷，特別是解決現(xiàn)有技術(shù)無(wú)法實(shí)現(xiàn)多視角高速 運(yùn)動(dòng)場(chǎng)景高時(shí)空分辨率采集的缺陷。為達(dá)到上述目的，本發(fā)明一方面提出一種高時(shí)空分辨率視頻去模糊方法，包括以 下步驟通過(guò)多個(gè)攝像機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像采集；和根 據(jù)所述多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨率視頻圖像。本發(fā)明再一方面還提出了一種高時(shí)空分辨率視頻去模糊系統(tǒng)，包括多個(gè)攝像機(jī)， 與所述多個(gè)攝像機(jī)相連的觸發(fā)信號(hào)控制單元，與所述多個(gè)攝像機(jī)和所述觸發(fā)信號(hào)控制單元 分別相連的控制中心計(jì)算機(jī)，所述多個(gè)攝像機(jī)，用于根據(jù)所述觸發(fā)信號(hào)控制單元的控制對(duì) 目標(biāo)場(chǎng)景進(jìn)行圖像采集；所述觸發(fā)信號(hào)控制單元，用于接收所述控制中心計(jì)算機(jī)的控制信 號(hào)，對(duì)所述多個(gè)攝像機(jī)進(jìn)行同步觸發(fā)；和所述控制中心計(jì)算機(jī)，用于對(duì)所述多個(gè)攝像機(jī)的采集策略進(jìn)行控制以使所述多個(gè)攝像機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖 像采集，以及根據(jù)所述多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨 率視頻圖像。本發(fā)明采用高同步精度，高可控雙目或多目相機(jī)系統(tǒng)，采用高精度的間插和/或 變曝光采集機(jī)制，對(duì)運(yùn)動(dòng)場(chǎng)景的時(shí)間信息高密度采樣，并且采用通過(guò)對(duì)場(chǎng)景運(yùn)動(dòng)系統(tǒng)提取 和融合實(shí)現(xiàn)對(duì)其高時(shí)空分辨率的重構(gòu)。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的采集系統(tǒng)結(jié)構(gòu)圖；圖2為本發(fā)明實(shí)施例的高時(shí)空分辨率視頻去模糊方法的流程圖；圖3為本發(fā)明實(shí)施例的間插采集示意圖；圖4為本發(fā)明實(shí)施例的變曝光采集示意圖；圖5為本發(fā)明實(shí)施例的間插變曝光采集示意圖；圖6為本發(fā)明實(shí)施例的系統(tǒng)實(shí)采一組高速運(yùn)動(dòng)場(chǎng)景在曝光時(shí)間內(nèi)產(chǎn)生運(yùn)動(dòng)模糊 效果的圖像；圖7為本發(fā)明實(shí)施例的重構(gòu)方法流程圖；和圖8為本發(fā)明實(shí)施例的控制中心計(jì)算機(jī)結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。在本發(fā)明實(shí)施例中，采集系統(tǒng)需要具備高精度同步性和攝像機(jī)的高可控性，為了 滿足這個(gè)要求，本發(fā)明實(shí)施例提出了圖1所示的采集系統(tǒng)結(jié)構(gòu)。為了便于描述，本發(fā)明以下 實(shí)施例以雙目攝像機(jī)為例進(jìn)行描述，但是需要說(shuō)明的是，本發(fā)明不僅可應(yīng)用于雙目攝像機(jī)， 還可用于多目攝像機(jī)。如圖所示，本發(fā)明的采集系統(tǒng)包括雙目攝像機(jī)，與雙目攝像機(jī)相連 的觸發(fā)信號(hào)控制單元，具體地，觸發(fā)信號(hào)控制單元通過(guò)觸發(fā)線與雙目攝像機(jī)的GPIO接口相 連以實(shí)現(xiàn)對(duì)雙目攝像機(jī)的外觸發(fā)控制，使得雙目攝像機(jī)在收到觸發(fā)信號(hào)的瞬間開(kāi)始采集圖 像。在本發(fā)明的一個(gè)實(shí)施例中，觸發(fā)信號(hào)控制單元是單片機(jī)控制的高精度觸發(fā)信號(hào)生 成單元，通過(guò)串行口連接主控機(jī)并接受控制策略，其中，控制策略主要針對(duì)各個(gè)相機(jī)的觸發(fā) 采集信號(hào)時(shí)序。本發(fā)明實(shí)施例通過(guò)外觸發(fā)實(shí)現(xiàn)對(duì)相機(jī)同步控制，這樣采集同步性取決于硬件控制 電路的精度，因此可以通過(guò)提到單片機(jī)的主頻實(shí)現(xiàn)高于Ius的控制精度。該方法的魯棒性 和精度性遠(yuǎn)高于軟件同步方法。因此，實(shí)際采集系統(tǒng)中，使用觸發(fā)信號(hào)控制單元實(shí)現(xiàn)高精度同步。具體地，在本發(fā)明的優(yōu)選實(shí)施例中，觸發(fā)信號(hào)控制單元是由22M主頻的單片機(jī)控制產(chǎn) 生高精度觸發(fā)信號(hào)，觸發(fā)信號(hào)頻率可達(dá)1M，誤差小于lus。單片機(jī)通過(guò)RS232串行口連接主 控計(jì)算機(jī)機(jī)并接受控制策略，控制策略主要針對(duì)各個(gè)相機(jī)的觸發(fā)采集信號(hào)時(shí)序。當(dāng)然在本 發(fā)明實(shí)施例中，也可以采用軟件同步的方式，即采用相機(jī)驅(qū)動(dòng)程序自帶的軟件同步控制，對(duì) 于同一塊采集卡上連接的兩個(gè)相機(jī)，同步性能可以達(dá)到0. Ims-Ims量級(jí)，但是當(dāng)兩個(gè)相機(jī) 分布在同一個(gè)主控機(jī)上連接的兩塊采集卡上時(shí)，軟件同步性能受限于采集卡差異而失效。 因此，對(duì)于高精度的同步控制要求，軟件同步僅對(duì)同一采集卡上的兩個(gè)相機(jī)有效。在該系統(tǒng)中，雙目攝像機(jī)與控制中心計(jì)算機(jī)相連，具體地，通過(guò)1394總線與控制 中心計(jì)算機(jī)的采集卡相連，控制中心計(jì)算機(jī)通過(guò)相機(jī)驅(qū)動(dòng)API接口對(duì)雙目攝像機(jī)進(jìn)行精確 控制，主要包括雙目相機(jī)的采集機(jī)制，曝光時(shí)間長(zhǎng)度，軟件同步，存儲(chǔ)控制等等。如圖2所示，為本發(fā)明實(shí)施例的高時(shí)空分辨率視頻去模糊方法的流程圖，包括以 下步驟步驟S201，通過(guò)雙目攝像機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像 采集。在本發(fā)明實(shí)施例中，雙目攝像機(jī)采用的采集機(jī)制可包括間插采集、變曝光采集、間插 變曝光采集和其他采集機(jī)制等，其中，間插采集和變曝光采集也可實(shí)現(xiàn)本發(fā)明，但優(yōu)選采用 間插變曝光采集，以下圖像重構(gòu)也以間插變曝光采集為例進(jìn)行描述。下面就對(duì)本發(fā)明的幾種采集機(jī)制進(jìn)行簡(jiǎn)單介紹1)間插采集如圖3所示，為本發(fā)明實(shí)施例的間插采集示意圖。間插采集是指兩個(gè)相機(jī)的曝光 起始時(shí)刻在時(shí)間軸上有相位差A(yù)t，在時(shí)間軸上的不同采樣點(diǎn)對(duì)連續(xù)的場(chǎng)景信號(hào)進(jìn)行采樣。 間插采集相對(duì)同步采集的兩個(gè)相機(jī)在時(shí)間軸上同一個(gè)采樣點(diǎn)進(jìn)行采集，可以將采樣率提高一倍。將對(duì)場(chǎng)景信號(hào)f (t)在時(shí)刻t進(jìn)行一次采樣描述為<K/(0),由于相機(jī)1和相機(jī)2視 角不同，設(shè)相機(jī)ι采樣函數(shù)為釣(/ω),相機(jī)2采樣函數(shù)為灼(/(ο)。間插采樣模式下，對(duì)于連續(xù)信號(hào)f(t)，相機(jī)1采樣為妁(/ft))，相機(jī)2采樣函數(shù)為 朽(/…))，其中ItJ，{tj}是時(shí)間軸上不同的采樣點(diǎn)。同步采樣情況下，對(duì)于連續(xù)信號(hào)f(t)，相機(jī)1采樣為釣(/(G) ’相機(jī)2采樣函數(shù)為
%(/(0)，其中僅對(duì)時(shí)間軸按照{(diào)ti}采樣點(diǎn)進(jìn)行采樣，相比較間插采樣，時(shí)間軸采樣率降 低了一倍。2)變曝光采集如圖4所示，為本發(fā)明實(shí)施例的變曝光采集示意圖。變曝光采集是指采集圖像每 連續(xù)幀之間都可能發(fā)生曝光時(shí)間長(zhǎng)短的變化，這種變化是可以編程控制，按照特性模式變 化曝光時(shí)間。實(shí)際拍攝的圖像都必須要一定長(zhǎng)度的曝光時(shí)間才能在采集傳感器上接收到一 定幅度的成像信號(hào)，長(zhǎng)曝光時(shí)間對(duì)應(yīng)高信噪比，大運(yùn)動(dòng)模糊，短曝光時(shí)間對(duì)應(yīng)低信噪比，小 運(yùn)動(dòng)模糊，一次采集實(shí)際上是場(chǎng)景信號(hào)在傳感器位置上在曝光時(shí)間內(nèi)的積分值。本采集系 統(tǒng)可以實(shí)現(xiàn)0.01ms精度的曝光時(shí)間控制精度。最長(zhǎng)曝光時(shí)間受限于觸發(fā)信號(hào)的周期以及 相機(jī)的讀出時(shí)間。
3)間插變曝光采集如圖5所示，為本發(fā)明實(shí)施例的間插變曝光采集示意圖。間插變曝光采集是在間 插采集模式下，每個(gè)相機(jī)的連續(xù)采集使用變化曝光控制，獲取對(duì)連續(xù)場(chǎng)景信號(hào)起始時(shí)刻間 插，積分長(zhǎng)度變化的采樣圖像。這種采集模式能夠?qū)r(shí)間軸進(jìn)行有交疊的全覆蓋式采集。4)針對(duì)其它特殊應(yīng)用，在間插變曝光的框架下設(shè)計(jì)符合要求的采集策略。步驟S202，根據(jù)所述多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí) 空分辨率視頻圖像。如圖6所示，為本發(fā)明實(shí)施例的系統(tǒng)實(shí)采一組高速運(yùn)動(dòng)場(chǎng)景在曝光時(shí) 間內(nèi)產(chǎn)生運(yùn)動(dòng)模糊效果的圖像，從圖中可以看出高速運(yùn)動(dòng)場(chǎng)景在曝光時(shí)間內(nèi)會(huì)產(chǎn)生運(yùn)動(dòng)模 糊，同時(shí)該模糊圖像中也包含了運(yùn)動(dòng)信息，可以通過(guò)motion from blur算法，或者長(zhǎng)短交替 曝光的模式求解運(yùn)動(dòng)信息。如圖7所示，為本發(fā)明實(shí)施例的重構(gòu)方法流程圖，包括以下步 驟步驟S701，提取各視角中所述目標(biāo)場(chǎng)景在曝光時(shí)間內(nèi)的運(yùn)動(dòng)場(chǎng)信息。具體地，從一 幅運(yùn)動(dòng)模糊的圖像中，提取場(chǎng)景在曝光時(shí)間內(nèi)的運(yùn)動(dòng)場(chǎng)信息。有兩種已有方法可以實(shí)現(xiàn)上 述目標(biāo)，一是基于單幅運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)場(chǎng)估計(jì)，參考戴聲揚(yáng)等人在2008年CVI^R會(huì)議上 發(fā)表的文章”motion from blur” ；二是基于連續(xù)長(zhǎng)短曝光變化的長(zhǎng)曝光圖像運(yùn)動(dòng)場(chǎng)估計(jì)， 基于相鄰短曝光約束求解長(zhǎng)曝光下的運(yùn)動(dòng)場(chǎng)信息。在該步驟中重構(gòu)算法獲取采集視頻中每 一幅長(zhǎng)曝光圖像在曝光時(shí)間內(nèi)的每個(gè)像素從曝光起始時(shí)刻到曝光結(jié)束時(shí)刻的運(yùn)動(dòng)向量。步驟S702，根據(jù)各視角中所述目標(biāo)場(chǎng)景的運(yùn)動(dòng)場(chǎng)信息恢復(fù)出所述目標(biāo)場(chǎng)景在長(zhǎng)曝 光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像。具體地，該步驟基于上述提取的運(yùn)動(dòng)模糊圖像中場(chǎng)景的 運(yùn)動(dòng)場(chǎng)，利用如下算法恢復(fù)出該場(chǎng)景在曝光起始時(shí)刻的沒(méi)有運(yùn)動(dòng)模糊的圖像。本系統(tǒng)要捕 獲的高速運(yùn)動(dòng)場(chǎng)景不限于勻速直線運(yùn)動(dòng)，或者全局不變的場(chǎng)景運(yùn)動(dòng)，而是可以面向任意復(fù) 雜的運(yùn)動(dòng)場(chǎng)景，做空間各異的運(yùn)動(dòng)。首先，基于像素級(jí)的場(chǎng)景運(yùn)動(dòng)信息，對(duì)經(jīng)典的RL迭代優(yōu)化反卷積算法進(jìn)行簡(jiǎn)單的 改進(jìn)，認(rèn)為場(chǎng)景運(yùn)動(dòng)可以局部線性化，將其用MRF建模；接著，將運(yùn)動(dòng)場(chǎng)結(jié)合表面紋理的約束，對(duì)圖像進(jìn)行分割，在分割的每一個(gè)超像素塊 上，將運(yùn)動(dòng)場(chǎng)描述為圖像模糊的卷積核；最后，利用RL算法進(jìn)行反卷積以恢復(fù)出所述目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn) 動(dòng)模糊的圖像。在本發(fā)明實(shí)施例中提到的RL算法，只要知道每個(gè)點(diǎn)的模糊核就可以直接進(jìn) 行迭代，求解出對(duì)應(yīng)的清晰圖像。因此基于上面利用運(yùn)動(dòng)場(chǎng)得到的每個(gè)點(diǎn)的卷積核(模糊 核)，就可以直接使用RL算法，這是一個(gè)很經(jīng)典的算法，現(xiàn)在matlab軟件已經(jīng)有封裝好的函 數(shù)可以直接調(diào)用。因此，本發(fā)明主要貢獻(xiàn)點(diǎn)是前面的運(yùn)動(dòng)場(chǎng)估計(jì)，以及運(yùn)動(dòng)場(chǎng)到各點(diǎn)模糊核 的轉(zhuǎn)化。在該步驟中，本系統(tǒng)的重構(gòu)算法獲取長(zhǎng)曝光起始曝光時(shí)刻對(duì)應(yīng)的無(wú)運(yùn)動(dòng)模糊圖 像，圖像質(zhì)量取決于場(chǎng)景運(yùn)動(dòng)模型和RL算法。步驟S703，基于恢復(fù)的各視角中在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像，通過(guò) SIFT特征點(diǎn)匹配和過(guò)分割算法實(shí)現(xiàn)雙目立體匹配?；谏弦徊将@取的無(wú)運(yùn)動(dòng)模糊圖像，該 步驟分別對(duì)兩幅圖像進(jìn)行SIFT特征點(diǎn)提取和匹配，同時(shí)對(duì)兩幅圖像進(jìn)行過(guò)分割，基于優(yōu)化 目的，將具有相同紋理和運(yùn)動(dòng)的相鄰像素聚為一個(gè)超像素塊，在兩幅圖像之間尋找超像素 塊的匹配。在該步驟中，本系統(tǒng)的重構(gòu)算法獲取兩個(gè)相機(jī)在同一個(gè)采集周期內(nèi)圖像的超像
7素級(jí)匹配，每個(gè)超像素塊具有相似的運(yùn)動(dòng)和紋理。步驟S704，基于匹配信息，對(duì)兩個(gè)視角的運(yùn)動(dòng)場(chǎng)信息進(jìn)行融合以獲得所述目標(biāo)場(chǎng) 景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息。具體地，基于兩個(gè)視角相鄰曝光圖像的匹配信息，將這兩 幅圖在步驟S701中提取出來(lái)的運(yùn)動(dòng)信息進(jìn)行融合，由于相機(jī)采用長(zhǎng)短曝光結(jié)合，并且連續(xù) 幀采集之間存在著必要的讀出時(shí)間間隔，步驟S701中提取出來(lái)的單個(gè)視角運(yùn)動(dòng)信息，一方 面不能覆蓋對(duì)應(yīng)的時(shí)間軸，另一方面運(yùn)動(dòng)信息估計(jì)精度不高。而本步驟提出的融合方法將 兩個(gè)相機(jī)間插采集的運(yùn)動(dòng)信息融合到同一個(gè)時(shí)間軸上，既可以填補(bǔ)相鄰曝光之間的空白， 又可以互相約束，提高運(yùn)動(dòng)場(chǎng)的精度。步驟S705，根據(jù)目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息以及目標(biāo)場(chǎng)景在每個(gè)長(zhǎng)曝 光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像進(jìn)行圖像重構(gòu)。有了上述步驟得到的時(shí)間軸上連續(xù)的運(yùn)動(dòng) 場(chǎng)信息，以及步驟S202中計(jì)算得到的每個(gè)長(zhǎng)曝光起始時(shí)刻對(duì)應(yīng)的無(wú)運(yùn)動(dòng)模糊圖像，可以對(duì) 圖像進(jìn)行任意時(shí)間精度的插值，從而將視頻的時(shí)間分辨率大大提高；另一方面，雙目采集圖 像具有空間冗余性，利用多個(gè)視角可以提高視頻的空間分辨率。本步驟獲取時(shí)空分辨率增 強(qiáng)的去模糊視頻結(jié)果。步驟S706，進(jìn)行迭代優(yōu)化，重復(fù)步驟S702-S705，直至重構(gòu)結(jié)果不再發(fā)生變化，從 而得到最終的重構(gòu)結(jié)果。如圖8所示，為本發(fā)明實(shí)施例的控制中心計(jì)算機(jī)結(jié)構(gòu)圖。該控制中心計(jì)算機(jī)800 包括運(yùn)動(dòng)場(chǎng)信息提取模塊810、無(wú)運(yùn)動(dòng)模糊圖像恢復(fù)模塊820、立體匹配模塊830、融合模塊 840和圖像重構(gòu)模塊850。運(yùn)動(dòng)場(chǎng)信息提取模塊810用于提取各視角中目標(biāo)場(chǎng)景在曝光時(shí) 間內(nèi)的運(yùn)動(dòng)場(chǎng)信息。無(wú)運(yùn)動(dòng)模糊圖像恢復(fù)模塊820用于根據(jù)各視角中目標(biāo)場(chǎng)景的運(yùn)動(dòng)場(chǎng)信 息恢復(fù)出目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像。立體匹配模塊830用于基于恢 復(fù)的各視角中在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像，對(duì)各視角通過(guò)SIFT特征點(diǎn)匹配和 過(guò)分割算法實(shí)現(xiàn)立體匹配。融合模塊840用于基于各個(gè)視角之間的匹配信息，對(duì)各個(gè)視角 的運(yùn)動(dòng)場(chǎng)信息進(jìn)行融合以獲得所述目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息。圖像重構(gòu)模塊 850用于根據(jù)目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息以及目標(biāo)場(chǎng)景在每個(gè)長(zhǎng)曝光起始時(shí)刻 的無(wú)運(yùn)動(dòng)模糊的圖像進(jìn)行圖像重構(gòu)。本發(fā)明采用高同步精度，高可控雙目或多目相機(jī)系統(tǒng)，采用高精度的間插和/或 變曝光采集機(jī)制，對(duì)運(yùn)動(dòng)場(chǎng)景的時(shí)間信息高密度采樣，并且采用通過(guò)對(duì)場(chǎng)景運(yùn)動(dòng)系統(tǒng)提取 和融合實(shí)現(xiàn)對(duì)其高時(shí)空分辨率的重構(gòu)。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種高時(shí)空分辨率視頻去模糊方法，其特征在于，包括以下步驟通過(guò)多個(gè)攝像機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像采集；和根據(jù)所述多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨率視頻圖像。
2.如權(quán)利要求1所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述多個(gè)攝像機(jī) 通過(guò)GPIO接口與觸發(fā)信號(hào)控制單元相連，及并通過(guò)1394總線和API接口與控制中心計(jì)算 機(jī)相連，其中，所述觸發(fā)信號(hào)控制單元與所述控制中心計(jì)算機(jī)相連，并受所述控制中心計(jì)算 機(jī)的控制。
3.如權(quán)利要求2所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述觸發(fā)信號(hào)控 制單元為22M主頻的單片機(jī)構(gòu)成，所述單片機(jī)通過(guò)RS232串行接口與所述控制中心計(jì)算機(jī) 相連。
4.如權(quán)利要求1或2所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述間插采集 機(jī)制包括所述多個(gè)攝像機(jī)的曝光起始時(shí)刻在時(shí)間軸上分別有相位差A(yù)t，在時(shí)間軸上的 不同采樣點(diǎn)對(duì)所述目標(biāo)場(chǎng)景信號(hào)進(jìn)行采樣。
5.如權(quán)利要求1或2所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述變曝光采 集機(jī)制包括所述多個(gè)攝像機(jī)在采集圖像的每連續(xù)幀之間可發(fā)生曝光時(shí)間長(zhǎng)短的變化。
6.如權(quán)利要求1或2所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述間插變曝 光采集機(jī)制包括所述多個(gè)攝像機(jī)在間插采集模式下，所述多個(gè)攝像機(jī)的連續(xù)采集使用變 化曝光控制以獲取對(duì)連續(xù)的目標(biāo)場(chǎng)景信號(hào)的起始時(shí)刻間插的，積分長(zhǎng)度變化的采樣圖像。
7.如權(quán)利要求1所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述根據(jù)所述 多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨率視頻圖像進(jìn)一步包 括提取各視角中所述目標(biāo)場(chǎng)景在曝光時(shí)間內(nèi)的運(yùn)動(dòng)場(chǎng)信息；根據(jù)各視角中所述目標(biāo)場(chǎng)景的運(yùn)動(dòng)場(chǎng)信息恢復(fù)出所述目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的 無(wú)運(yùn)動(dòng)模糊的圖像；基于恢復(fù)的各視角中在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像，對(duì)各視角通過(guò)SIFT特 征點(diǎn)匹配和過(guò)分割算法實(shí)現(xiàn)立體匹配；基于各個(gè)視角之間的匹配信息，對(duì)各個(gè)視角的運(yùn)動(dòng)場(chǎng)信息進(jìn)行融合以獲得所述目標(biāo)場(chǎng) 景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息；和根據(jù)所述目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息以及所述目標(biāo)場(chǎng)景在每個(gè)長(zhǎng)曝光起 始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像進(jìn)行圖像重構(gòu)。
8.如權(quán)利要求7所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，還包括對(duì)重構(gòu)結(jié) 果進(jìn)行迭代優(yōu)化，直至所述重構(gòu)結(jié)果不再發(fā)生變化。
9.如權(quán)利要求7所述的高時(shí)空分辨率視頻去模糊方法，其特征在于，所述根據(jù)各視角 中所述目標(biāo)場(chǎng)景的運(yùn)動(dòng)場(chǎng)信息恢復(fù)出所述目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖 像包括根據(jù)目標(biāo)場(chǎng)景運(yùn)動(dòng)場(chǎng)信息進(jìn)行MRF建模；將所述運(yùn)動(dòng)場(chǎng)信息結(jié)合表面紋理的約束，對(duì)圖像進(jìn)行分割，并在分割的每一個(gè)超像素 塊上，將運(yùn)動(dòng)場(chǎng)信息描述為圖像模糊的卷積核；和利用RL算法進(jìn)行反卷積以恢復(fù)出所述目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像。
10.一種高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，包括多個(gè)攝像機(jī)，與所述多個(gè)攝 像機(jī)相連的觸發(fā)信號(hào)控制單元，與所述多個(gè)攝像機(jī)和所述觸發(fā)信號(hào)控制單元分別相連的控 制中心計(jì)算機(jī)，所述多個(gè)攝像機(jī)，用于根據(jù)所述觸發(fā)信號(hào)控制單元的控制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像采集； 所述觸發(fā)信號(hào)控制單元，用于接收所述控制中心計(jì)算機(jī)的控制信號(hào)，對(duì)所述多個(gè)攝像 機(jī)進(jìn)行同步觸發(fā)；和所述控制中心計(jì)算機(jī)，用于對(duì)所述多個(gè)攝像機(jī)的采集策略進(jìn)行控制以使所述多個(gè)攝像 機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像采集，以及根據(jù)所述多個(gè)攝像機(jī)對(duì) 目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨率視頻圖像。
11.如權(quán)利要求10所述的高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，所述多個(gè)攝像 機(jī)通過(guò)GPIO接口與觸發(fā)信號(hào)控制單元相連，及并通過(guò)1394總線和API接口與控制中心計(jì) 算機(jī)相連。
12.如權(quán)利要求10所述的高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，所述間插采集 機(jī)制包括所述多個(gè)攝像機(jī)的曝光起始時(shí)刻在時(shí)間軸上分別有相位差A(yù)t，在時(shí)間軸上的 不同采樣點(diǎn)對(duì)所述目標(biāo)場(chǎng)景信號(hào)進(jìn)行采樣。
13.如權(quán)利要求10所述的高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，所述變曝光采 集機(jī)制包括所述多個(gè)攝像機(jī)在采集圖像的每連續(xù)幀之間可發(fā)生曝光時(shí)間長(zhǎng)短的變化。
14.如權(quán)利要求10所述的高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，所述間插變曝 光采集機(jī)制包括所述多個(gè)攝像機(jī)在間插采集模式下，所述多個(gè)攝像機(jī)的連續(xù)采集使用變 化曝光控制以獲取對(duì)連續(xù)的目標(biāo)場(chǎng)景信號(hào)的起始時(shí)刻間插的，積分長(zhǎng)度變化的采樣圖像。
15.如權(quán)利要求10所述的高時(shí)空分辨率視頻去模糊系統(tǒng)，其特征在于，所述控制中心 計(jì)算機(jī)包括運(yùn)動(dòng)場(chǎng)信息提取模塊、無(wú)運(yùn)動(dòng)模糊圖像恢復(fù)模塊、立體匹配模塊、融合模塊和圖 像重構(gòu)模塊，所述運(yùn)動(dòng)場(chǎng)信息提取模塊，用于提取各視角中所述目標(biāo)場(chǎng)景在曝光時(shí)間內(nèi)的運(yùn)動(dòng)場(chǎng)信息；所述無(wú)運(yùn)動(dòng)模糊圖像恢復(fù)模塊，用于根據(jù)各視角中所述目標(biāo)場(chǎng)景的運(yùn)動(dòng)場(chǎng)信息恢復(fù)出 所述目標(biāo)場(chǎng)景在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像；所述立體匹配模塊，用于基于恢復(fù)的各視角中在長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖 像，對(duì)各視角通過(guò)SIFT特征點(diǎn)匹配和過(guò)分割算法實(shí)現(xiàn)立體匹配；所述融合模塊，用于基于各個(gè)視角之間的匹配信息，對(duì)各個(gè)視角的運(yùn)動(dòng)場(chǎng)信息進(jìn)行融 合以獲得所述目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息；和所述圖像重構(gòu)模塊，用于根據(jù)所述目標(biāo)場(chǎng)景在時(shí)間軸上連續(xù)的運(yùn)動(dòng)場(chǎng)信息以及所述目 標(biāo)場(chǎng)景在每個(gè)長(zhǎng)曝光起始時(shí)刻的無(wú)運(yùn)動(dòng)模糊的圖像進(jìn)行圖像重構(gòu)。
全文摘要
本發(fā)明提出一種高時(shí)空分辨率視頻去模糊方法，包括以下步驟通過(guò)多個(gè)攝像機(jī)采用間插和/或變曝光采集機(jī)制對(duì)目標(biāo)場(chǎng)景進(jìn)行圖像采集；和根據(jù)所述多個(gè)攝像機(jī)對(duì)目標(biāo)場(chǎng)景采集的圖像進(jìn)行圖像重構(gòu)以獲得高時(shí)空分辨率視頻圖像。本發(fā)明采用高同步精度，高可控雙目或多目相機(jī)系統(tǒng)，采用高精度的間插和/或變曝光采集機(jī)制，對(duì)運(yùn)動(dòng)場(chǎng)景的時(shí)間信息高密度采樣，并且采用通過(guò)對(duì)場(chǎng)景運(yùn)動(dòng)系統(tǒng)提取和融合實(shí)現(xiàn)對(duì)其高時(shí)空分辨率的重構(gòu)。
文檔編號(hào)G06T7/20GK101917550SQ201010223988
公開(kāi)日2010年12月15日 申請(qǐng)日期2010年7月1日 優(yōu)先權(quán)日2010年7月1日
發(fā)明者戴瓊海, 武迪 申請(qǐng)人:清華大學(xué)