一種基于外部傳感器的多攝像機(jī)視頻同步裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像機(jī)視頻同步領(lǐng)域，特別涉及一種通過標(biāo)記外部傳感器信號，實(shí)現(xiàn)多路攝像機(jī)視頻同步的裝置及方法。
[0002]在計(jì)算機(jī)視覺尤其是全景成像系統(tǒng)中，為了獲得較大視角圖像、檢測運(yùn)動物體和構(gòu)建物體三維信息，人們往往需要多臺攝像機(jī)協(xié)同工作。在實(shí)際的多攝像機(jī)應(yīng)用中，一旦攝像機(jī)出現(xiàn)丟幀或設(shè)備拍攝不一致等問題，輕則會帶來匹配誤差影響檢測、拼接質(zhì)量，重則產(chǎn)生錯(cuò)誤結(jié)果，所以各攝像機(jī)間的視頻同步是一個(gè)關(guān)鍵步驟?，F(xiàn)階段常見的多攝像機(jī)同步方法有以下兩類:
(一)攝像機(jī)一體化。在多攝像機(jī)系統(tǒng)中，各攝像機(jī)采用同一塊處理芯片，根據(jù)該芯片發(fā)出的時(shí)鐘信號各攝像機(jī)進(jìn)行同步采集。也可采用高精度同步信號發(fā)生器，在外觸發(fā)信號的驅(qū)動下各攝像機(jī)同步工作。這類方法往往要求攝像機(jī)的位置相對集中，如果攝像機(jī)位置較遠(yuǎn)或者相對分散，考慮到中間導(dǎo)線的傳輸誤差，該方法往往不能滿足實(shí)際要求。
[0003](二)基于攝像機(jī)圖像內(nèi)容的特征匹配。一種方法是獲取目標(biāo)特征點(diǎn)運(yùn)動過程中，第一攝像機(jī)和第二攝像機(jī)拍攝得到的位置信息，包括第一攝像機(jī)得到的第一特征點(diǎn)位置序列和第二攝像機(jī)得到的第二特征點(diǎn)位置序列。根據(jù)第一特征點(diǎn)位置序列以及單應(yīng)矩陣，得到目標(biāo)特征點(diǎn)的第二特征點(diǎn)估計(jì)位置序列，由第二特征點(diǎn)估計(jì)位置序列和第二特征點(diǎn)位置的序列差異值確定幀同步位置。另一種方法是在兩個(gè)攝像機(jī)圖像中分別檢測運(yùn)動物體的運(yùn)動信息，通過設(shè)置閾值分別建立事件發(fā)生序列，利用兩個(gè)事件序列相關(guān)性來幫助尋找兩段視頻序列中的對應(yīng)幀，通過全局投票的方法尋求最優(yōu)幀偏移量。
[0004]這類方法大多利用攝像機(jī)之間的特征點(diǎn)匹配來建立視頻中的單組對應(yīng)幀的對應(yīng)關(guān)系，但該方法以精度要求高、實(shí)施困難的對應(yīng)特征點(diǎn)檢測和跟蹤為基礎(chǔ)，這大大地限制了它們的運(yùn)行速度和實(shí)用價(jià)值。

【發(fā)明內(nèi)容】

[0005]為解決上述問題，本發(fā)明提供一種基于外部傳感器的多攝像機(jī)視頻同步裝置及方法。
[0006]具體的；該裝置包括圖像采集組件、偏移量求取模塊、視頻同步模塊；圖像采集組件包括多個(gè)圖像采集單元；圖像采集單元包括攝像機(jī)；圖像采集單元還包括傳感器組件、數(shù)據(jù)整合模塊及數(shù)據(jù)存儲模塊；傳感器組件包括一個(gè)或者多個(gè)傳感器；圖像采集組件連接至偏移量求取模塊及視頻同步模塊，偏移量求取模塊還與視頻同步模塊連接；圖像采集單元中攝像機(jī)和傳感器組件連接至數(shù)據(jù)整合模塊，數(shù)據(jù)整合模塊連接至數(shù)據(jù)存儲模塊。
[0007]優(yōu)選的，在車載系統(tǒng)等運(yùn)動場景，所述傳感器可采用微機(jī)械加速度傳感器。
[0008]優(yōu)選的，在多攝像機(jī)監(jiān)視系統(tǒng)等靜態(tài)場景，所述傳感器可采用微機(jī)械聲學(xué)傳感器。
[0009]優(yōu)選的，所述傳感器可采用微機(jī)械陀螺。
[0010]基于外部傳感器的多攝像機(jī)視頻同步方法，包括步驟:
圖像采集及環(huán)境采樣:所述圖像采集模塊中，各圖像采集單元在控制信號的控制下，控制攝像機(jī)與傳感器組件以一定頻率分別進(jìn)行圖像視頻的采集及環(huán)境采樣，并將攝像機(jī)采集到的圖像幀及傳感器組件對環(huán)境采樣的采樣點(diǎn)輸入對應(yīng)的數(shù)據(jù)整合模塊；
建立幀對應(yīng)關(guān)系；數(shù)據(jù)整合模塊將同一采樣時(shí)刻攝像機(jī)采集得到的圖像幀和傳感器組件采集到的采樣點(diǎn)確定為一種幀對應(yīng)關(guān)系；
數(shù)據(jù)存儲；將攝像機(jī)采集到的圖像幀與傳感器采樣點(diǎn)的幀對應(yīng)關(guān)系連同傳感器采樣點(diǎn)序列一起存儲在數(shù)據(jù)存儲模塊中，在計(jì)算需要時(shí)取出。
[0011]偏移量求取；所述偏移量求取模塊從數(shù)據(jù)存儲模塊中取出不同圖像采集單元中的傳感器采樣點(diǎn)序列，根據(jù)序列間的相關(guān)性，求取各個(gè)圖像采集單元中傳感器采樣點(diǎn)序列間的偏移量，并將偏移量輸入視頻同步單兀;
視頻同步；所述視頻同步單元收到不同圖像采集單元中傳感器的采樣點(diǎn)序列間的偏移量時(shí)，從數(shù)據(jù)存儲模塊中取出不同圖像采集單元中的攝像機(jī)采集到的圖像幀序列及同一圖像采集單元內(nèi)攝像機(jī)采集得到的圖像幀和傳感器采樣點(diǎn)的對應(yīng)關(guān)系，計(jì)算出各個(gè)圖像采集單元內(nèi)攝像機(jī)圖像幀的偏移關(guān)系，并根據(jù)圖像幀的偏移關(guān)系對各個(gè)圖像采集單元內(nèi)的攝像機(jī)視頻進(jìn)行同步。
[0012]作為視頻同步的一種方法，視頻同步模塊根據(jù)圖像幀的偏移關(guān)系，通過控制數(shù)據(jù)整合模塊，在圖像采集及環(huán)境采樣時(shí)直接配準(zhǔn)相關(guān)攝像機(jī)當(dāng)前采集到的圖像幀，對各個(gè)圖像采集單元內(nèi)的攝像機(jī)視頻進(jìn)行同步。
[0013]作為視頻同步的另一種方法，視頻同步模塊在圖像采集及環(huán)境采樣結(jié)束之后，根據(jù)各攝像機(jī)圖像幀序列間的偏移關(guān)系，重新配準(zhǔn)各攝像機(jī)視頻中不同步的圖像幀，對各個(gè)圖像采集單元內(nèi)的攝像機(jī)視頻進(jìn)行同步。
[0014]本發(fā)明提供的多攝像機(jī)視頻同步裝置及方法，無需對特征點(diǎn)進(jìn)行檢測和跟蹤，且對攝像機(jī)的擺放和分布沒有顯著要求，不需要通過精度要求高、實(shí)施困難、運(yùn)算復(fù)雜的特征點(diǎn)檢測和跟蹤算法來進(jìn)行，簡單有效的解決了多攝像機(jī)視頻丟幀、錯(cuò)幀、及攝像機(jī)視頻不同步等問題。
【附圖說明】
[0015]圖1是車載系統(tǒng)多攝像機(jī)視頻同步裝置結(jié)構(gòu)示意圖。
[0016]圖2是同一圖像采集單元內(nèi)攝像機(jī)圖像幀和傳感器采樣點(diǎn)的對應(yīng)關(guān)系示意圖。
[0017]圖3是不同圖像采集單元中傳感器I采樣序列示意圖。
[0018]圖4是不同圖像采集單元中傳感器2采樣序列示意圖。
[0019]圖5是不同圖像采集單元中傳感器I和傳感器2的采樣序列間的偏移量求取示意圖。
【具體實(shí)施方式】
[0020]為便于本領(lǐng)域技術(shù)人員更好的理解本發(fā)明，下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的說明。
[0021]在圖1所示實(shí)施例中，該裝置包括圖像采集組件1、偏移量求取模塊2、視頻同步模塊3，圖像采集組件包括第一圖像采集單元11、第二圖像采集單元12 ;第一圖像采集單元包括第一攝像機(jī)111，還包括第一傳感器組件112、第一數(shù)據(jù)整合模塊113及第一數(shù)據(jù)存儲模塊114 ;第二圖像采集單元包括第二攝像機(jī)121，還包括第二傳感器組件122、第二數(shù)據(jù)整合模塊123及第二數(shù)據(jù)存儲模塊124 ;每個(gè)傳感器組件包括多個(gè)微機(jī)械加速度傳感器；
圖像采集組件I連接至偏移量求取模塊2及視頻同步模塊3，偏移量求取模塊2還與視頻同步模塊3連接。第一圖像采集單元11中，第一攝像機(jī)111和第一傳感器組件112連接至第一數(shù)據(jù)整合模塊113，第一數(shù)據(jù)整合模塊113連接至第一數(shù)據(jù)存儲模塊114。第二圖像采集單元12中，第二攝像機(jī)121和第二傳感器組件122連接至第二數(shù)據(jù)整合模塊123，第二數(shù)據(jù)整合模塊123連接至第二數(shù)據(jù)存儲模塊124。
[0022]圖像采集模塊I中，第一圖像采集單元11及第二圖像采集單元12在控制信號的控制下，分別控制第一攝像機(jī)111、第一傳感器組件112及第二攝像機(jī)121、第二傳感器組件122，以一定頻率分別進(jìn)行圖像視頻的采集及車載系統(tǒng)加速度