專利名稱：利用單攝像機(jī)實(shí)時(shí)生成360°無(wú)縫全景視頻圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像機(jī)采集的視頻圖像的處理方法，特別是一種利用單攝像機(jī) 實(shí)時(shí)生成360°無(wú)縫全景視頻圖像的方法。
技術(shù)背景實(shí)時(shí)生成36(T無(wú)縫全景視頻圖像對(duì)于在安防監(jiān)控系統(tǒng)中的應(yīng)用有著非常重 要的意義，同時(shí)也可用于其它使用，現(xiàn)有技術(shù)中，生成360°無(wú)縫全景視頻圖像 的方法有在"中國(guó)安防"年2006年12月出版的第3期中，介紹了一種全景智能球 實(shí)現(xiàn)360°全景的方法。文中介紹其"全景視頻監(jiān)控"是指只用一只攝像頭不用 機(jī)械移動(dòng)部件，也不用圖像拼接，能捕捉涵蓋整個(gè)半球(180° X360° )，但文 中并未給出具體的實(shí)現(xiàn)方法。現(xiàn)有技術(shù)中還記載有一種使用全景環(huán)形透鏡(Panoramic Annular Lens, PAL) 相機(jī)。PAL是一塊具有兩個(gè)反射面及兩個(gè)投射面的折返透鏡，是全景相機(jī)的關(guān) 鍵元件。另外，該相機(jī)提高全景圖的分辨率的途徑是使用高分辨率的傳感器陣 列。小型微型計(jì)算機(jī)系統(tǒng)，1999年12月出版的第20期中，介紹了一種數(shù)碼照 相機(jī)繞垂直軸360。旋轉(zhuǎn)，得到一組帶有一定程度重疊的照片，利用柱面透視投 影算法和基于相鄰幀兩列像素相關(guān)的匹配算法生產(chǎn)全景圖像的方法。用光線漸 變過(guò)渡技術(shù)進(jìn)行光線一致性調(diào)整。由該方法構(gòu)建的系統(tǒng)是一種非實(shí)時(shí)、交互式 全景圖像生成系統(tǒng)。大連理工大學(xué)學(xué)報(bào)，2005年2月出版的第45期，介紹了一種基于輪廓相位相關(guān)的圖像拼接方法。該方法首先計(jì)算出兩幅圖像重疊區(qū)域的二值輪廓圖，然 后利用付立葉變換法計(jì)算相位相關(guān)得到初始匹配位置，最后利用迭代優(yōu)化算法 計(jì)算圖像間的投影變換矩陣。用光線漸變過(guò)渡技術(shù)進(jìn)行光線一致性調(diào)整。合肥工業(yè)大學(xué)學(xué)報(bào)，2007年1月出版的第30期，介紹了一種基于相位相關(guān) 的全景圖拼接技術(shù)。該技術(shù)首先將相機(jī)拍攝的實(shí)景照片投影到柱面上，然后對(duì) 相鄰圖像的重疊部分采用付立葉互功率譜中的相位信息進(jìn)行配準(zhǔn)，最后用光線 漸變過(guò)渡技術(shù)進(jìn)行光線一致性調(diào)整。綜上所述，現(xiàn)有技術(shù)中，對(duì)于利用單攝像機(jī)實(shí)時(shí)生成360°無(wú)縫全景視頻圖 像的方法處于空白。 發(fā)明目的本發(fā)明的目的是，利用現(xiàn)使用的普通單攝像機(jī)，在360°旋轉(zhuǎn)的云臺(tái)上，隨 云臺(tái)的旋轉(zhuǎn)進(jìn)行連續(xù)的視頻采集，將連續(xù)采集的多幀視頻圖像，經(jīng)計(jì)算機(jī)實(shí)時(shí) 合成為360°無(wú)縫全景視頻圖像。本發(fā)明實(shí)現(xiàn)發(fā)明目的采用的技術(shù)方案是，該方法是采用下列步驟實(shí)現(xiàn)的-A將即時(shí)采集的每幀視頻圖像預(yù)處理，預(yù)處理包括視頻奇偶場(chǎng)鋸齒消減， 刪除每幀視頻圖像中，柱面投影坐標(biāo)中變形較大的視頻圖像左、右邊界垂直條 帶，保留變形較小的視頻圖像中間垂直條帶B將預(yù)處理的每幀視頻圖像嵌入全景視頻圖像，根據(jù)幀間相關(guān)距離(d)和 全景視頻圖圓周周期(D)，計(jì)算出每幀視頻圖像保留變形較小的中間垂直條帶 在全景視頻圖像中的嵌入位置，將其嵌入計(jì)算出的位置C全景視頻圖像后處理，對(duì)當(dāng)前嵌入的每幀視頻圖像，在與全景視頻圖像中 左、右?guī)丿B區(qū)域進(jìn)行光線一致性調(diào)整。本發(fā)明的有益效果是，實(shí)時(shí)生成360°無(wú)縫全景視頻圖像，計(jì)算、拼接和成 像速度快，設(shè)備簡(jiǎn)單，成本低，可廣泛用于機(jī)場(chǎng)候機(jī)廳、車站候車廳等大場(chǎng)面 場(chǎng)景視頻監(jiān)控及交通監(jiān)控、全景安防監(jiān)控等使用。 下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)描述。 附圖l本發(fā)明的硬件裝置的組成框圖。 附圖2本發(fā)明中的360。全景圖實(shí)時(shí)生成技術(shù)方案框圖。 附圖3本發(fā)明中相鄰幀間相關(guān)距離d的計(jì)算方法方案框圖。 附圖4本發(fā)明中360°全景圖圓周周長(zhǎng)D的計(jì)算方法方案框圖。
具體實(shí)施方式
參考附
圖1，附圖2，利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景視頻圖像的方法， 該方法是由單攝像機(jī)在可360°勻速轉(zhuǎn)動(dòng)的云臺(tái)上，隨云臺(tái)的旋轉(zhuǎn)進(jìn)行連續(xù)的視 頻采集，將連續(xù)采集的多幀視頻圖像，經(jīng)計(jì)算機(jī)合成為360°實(shí)時(shí)無(wú)縫全景視頻 圖像，該方法是采用下列步驟實(shí)現(xiàn)的A、將即時(shí)采集的每幀視頻圖像預(yù)處理，預(yù)處理包括視頻奇偶場(chǎng)鋸齒消減， 刪除每幀視頻圖像中，柱面投影坐標(biāo)中變形較大的視頻圖像左、右邊界垂直條 帶，保留變形較小的視頻圖像中間垂直條帶。視頻奇偶場(chǎng)鋸齒消減的具體方案和目的是對(duì)于逐行掃描的攝像機(jī)可以省 略這一步驟；對(duì)于隔行掃描的攝像機(jī)，只取每一幀視頻圖像的奇數(shù)場(chǎng)，對(duì)奇數(shù) 場(chǎng)的每一行，計(jì)算每一個(gè)奇數(shù)列像素與后續(xù)相鄰偶數(shù)列像素的平均值，然后將 偶數(shù)列像素丟棄。該步驟的目的是為了消除某些攝像機(jī)由于運(yùn)動(dòng)帶來(lái)的圖像奇 偶場(chǎng)鋸齒偏移。保留變形較小的視頻圖像中間垂直條帶的標(biāo)準(zhǔn)是， 一般攝像機(jī)會(huì)在邊界處有一些非成像的黑條帶，并在四周邊界處變形較大。根據(jù)攝像機(jī)質(zhì)量的差異，剪切掉視頻圖像每幀左右各10至30個(gè)像素寬度的垂直條帶，保留中間垂直條 帶圖像。 一般默認(rèn)剪切視頻圖像左右各20個(gè)像素寬度的垂直條帶。B、 將預(yù)處理的每幀視頻圖像嵌入全景視頻圖像，根據(jù)幀間相關(guān)距離(d) 和全景視頻圖圓周周期(D)，計(jì)算出每幀視頻圖像保留變形較小的中間垂直條 帶在全景視頻圖像中的嵌入位置，將其嵌入計(jì)算出的位置。C、 全景視頻圖像后處理，對(duì)當(dāng)前嵌入的每幀視頻圖像，在與全景視頻圖像 中左、右?guī)丿B區(qū)域進(jìn)行光線一致性調(diào)整。本發(fā)明的技術(shù)關(guān)鍵在于，利用幀間相關(guān)距離(d)和全景視頻圖圓周周期(D) 對(duì)將連續(xù)采集的多幀視頻圖像進(jìn)行360°實(shí)時(shí)無(wú)縫全景視頻圖像無(wú)縫拼接，采用 上述技術(shù)方案，大大加快了無(wú)縫拼接時(shí)的計(jì)算，極大提高了成像速度，降低設(shè) 備的制造成本。參看附圖3，本發(fā)明的技術(shù)內(nèi)容中，利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景 視頻圖像的方法，該方法步驟B中，幀間相關(guān)距離(d)是采用下列步驟取得A、 獲取當(dāng)前視頻圖像幀，計(jì)算沿?cái)z像機(jī)運(yùn)動(dòng)方向的該幀圖像梯度，得到平 行梯度圖。計(jì)算沿?cái)z像機(jī)運(yùn)動(dòng)方向的該幀圖像梯度的目的是，將該幀圖像中的圖像特 征用數(shù)學(xué)模型表示，便于幀圖像之間的相關(guān)性判斷。發(fā)明中的平行梯度圖為 對(duì)圖像使用水平梯度算子(如Sobel算子[l， 0， -1; 2， 0， -2; 1， 0， -l]等) 進(jìn)行巻積運(yùn)算得到的圖。B、 對(duì)步驟A平行梯度圖，進(jìn)行垂直方向的梯度投影，得梯度垂直投影直方圖。發(fā)明中的梯度垂直投影直方圖為對(duì)梯度圖中每一像素點(diǎn)處的值沿列方累加起來(lái)，形成的一個(gè)沿行方向的一維信號(hào)序列。c、在相鄰幀重疊區(qū)域內(nèi)，取相關(guān)的一段投影直方圖。D、對(duì)步驟C取相關(guān)的一段投影直方圖，在相鄰的上一幀視頻圖像的投影直 方圖中的相關(guān)位置，計(jì)算前后相鄰的兩幀圖像的相關(guān)距離(d)。參看附圖4，本發(fā)明利用單攝像機(jī)實(shí)現(xiàn)360。實(shí)時(shí)無(wú)縫全景視頻圖像的方法, 該方法步驟B中，全景視頻圖圓周周期(D)是采用下列步驟取得A、 獲取云臺(tái)勻速轉(zhuǎn)動(dòng)三到四個(gè)周期期間采集的視頻圖像序列。B、 根據(jù)幀間相關(guān)距離(d)，對(duì)步驟A采集的視頻圖像序列進(jìn)行全景拼接。C、 對(duì)步驟B獲得的拼接多周期全景圖像，計(jì)算其灰度圖的梯度投影直方圖 p (t)。D、 對(duì)步驟C獲得的梯度投影直方圖，進(jìn)行一維低通濾波，計(jì)算濾波信號(hào)的 局部極大位置(t0)。一維低通濾波的目的和技術(shù)方案是在低通濾波后的信號(hào)中可以獲得更準(zhǔn)確的最大值位置，該位置一般為圖像中垂直邊界最強(qiáng)的位置。 一種技術(shù)實(shí)現(xiàn)方 案為，首先對(duì)梯度垂直投影直方圖的每個(gè)值取絕對(duì)值，得到一個(gè)非負(fù)的一維序列信號(hào)，將該信號(hào)與一個(gè)一維低通濾波器(如長(zhǎng)度為7的低通濾波器[1, 1， 1， 1， 1， 1， l])作巻積運(yùn)算后的信號(hào)。E、 以局部極大位置(t0)為中心，取適當(dāng)長(zhǎng)度直方信號(hào)圖，以此作為待相 關(guān)的局部信號(hào)L (t)。F、 在梯度投影直方圖p (t)中，找出與相關(guān)的局部信號(hào)L (t)相關(guān)系數(shù)大 于0.9的3個(gè)點(diǎn)位置，3個(gè)點(diǎn)分別為tl點(diǎn)、t2點(diǎn)和t3點(diǎn)。G、 驗(yàn)算tl點(diǎn)、t2點(diǎn)和t3點(diǎn)之間距離，tl點(diǎn)與t2點(diǎn)之間的距離應(yīng)等于t2點(diǎn)與t3點(diǎn)之間的距離，tl點(diǎn)與t2點(diǎn)、t2點(diǎn)與t3點(diǎn)點(diǎn)之間的距離既為全景視頻圖 圓周周期(D)。
權(quán)利要求
1、利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景視頻圖像的方法，該方法是由單攝像機(jī)在可360°勻速轉(zhuǎn)動(dòng)的云臺(tái)上，隨云臺(tái)的旋轉(zhuǎn)進(jìn)行連續(xù)的視頻采集，將連續(xù)采集的多幀視頻圖像，經(jīng)計(jì)算機(jī)合成為360°實(shí)時(shí)無(wú)縫全景視頻圖像，其特征在于該方法是采用下列步驟實(shí)現(xiàn)的A、將即時(shí)采集的每幀視頻圖像預(yù)處理，預(yù)處理包括視頻奇偶場(chǎng)鋸齒消減，刪除每幀視頻圖像中，柱面投影坐標(biāo)中變形較大的視頻圖像左、右邊界垂直條帶，保留變形較小的視頻圖像中間垂直條帶；B、將預(yù)處理的每幀視頻圖像嵌入全景視頻圖像，根據(jù)幀間相關(guān)距離(d)和全景視頻圖圓周周期(D)，計(jì)算出每幀視頻圖像保留變形較小的中間垂直條帶在全景視頻圖像中的嵌入位置，將其嵌入計(jì)算出的位置；C、全景視頻圖像后處理，對(duì)當(dāng)前嵌入的每幀視頻圖像，在與全景視頻圖像中左、右?guī)丿B區(qū)域進(jìn)行光線一致性調(diào)整。
2、 根據(jù)權(quán)利要求1所述的利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景視頻圖像的 方法，其特征在于該方法步驟B中，幀間相關(guān)距離(d)是采用下列步驟取得-A、 獲取當(dāng)前視頻圖像幀，計(jì)算沿?cái)z像機(jī)運(yùn)動(dòng)方向的該幀圖像梯度，得到平 行梯度圖；B、 對(duì)步驟A平行梯度圖，進(jìn)行垂直方向的梯度投影，得梯度垂直投影直方圖；C、 在相鄰幀重疊區(qū)域內(nèi)，取相關(guān)的一段投影直方圖；D、 對(duì)步驟C取相關(guān)的一段投影直方圖，在相鄰的上一幀視頻圖像的投影直 方圖中的相關(guān)位置，計(jì)算前后相鄰的兩幀圖像的相關(guān)距離(d)。
3、 根據(jù)權(quán)利要求1所述的利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景視頻圖像的方法，其特征在于該方法步驟B中，全景視頻圖圓周周期(D)是采用下列步 驟取得A、 獲取云臺(tái)勻速轉(zhuǎn)動(dòng)三到四個(gè)周期期間采集的視頻圖像序列；B、 根據(jù)幀間相關(guān)距離(d)，對(duì)步驟A采集的視頻圖像序列進(jìn)行全景拼接；C、 對(duì)步驟B獲得的拼接多周期全景圖像，計(jì)算其灰度圖的梯度投影直方圖P (t);D、 對(duì)步驟C獲得的梯度投影直方圖，進(jìn)行一維低通濾波，計(jì)算濾波信號(hào)的局部極大位置(t0);E、 以局部極大位置(t0)為中心，取適當(dāng)長(zhǎng)度直方信號(hào)圖，以此作為待相關(guān)的局部信號(hào)L (t);F、 在梯度投影直方圖p (t)中，找出與相關(guān)的局部信號(hào)L (t)相關(guān)系數(shù)大 于0.9的3個(gè)點(diǎn)位置，3個(gè)點(diǎn)分別為tl點(diǎn)、t2點(diǎn)和t3點(diǎn)；G、 驗(yàn)算tl點(diǎn)、t2點(diǎn)和t3點(diǎn)之間距離，tl點(diǎn)與t2點(diǎn)之間的距離應(yīng)等于t2 點(diǎn)與t3點(diǎn)之間的距離，tl點(diǎn)與t2點(diǎn)、t2點(diǎn)與t3點(diǎn)點(diǎn)之間的距離既為全景視頻圖 圓周周期(D)。
全文摘要
利用單攝像機(jī)實(shí)現(xiàn)360°實(shí)時(shí)無(wú)縫全景視頻圖像的方法，解決單攝像機(jī)隨云臺(tái)的旋轉(zhuǎn)進(jìn)行連續(xù)的視頻采集，將連續(xù)采集的多幀視頻圖像，經(jīng)計(jì)算機(jī)合成為360°實(shí)時(shí)無(wú)縫全景視頻圖像的技術(shù)問(wèn)題，該方法先將即時(shí)采集的每幀視頻圖像預(yù)處理，將預(yù)處理的每幀視頻圖像嵌入全景視頻圖像，根據(jù)幀間相關(guān)距離和全景視頻圖圓周周期，計(jì)算出每幀視頻圖像保留變形較小的中間垂直條帶在全景視頻圖像中的嵌入位置，將其嵌入計(jì)算出的位置，對(duì)當(dāng)前嵌入的每幀視頻圖像，在與全景視頻圖像中左、右?guī)丿B區(qū)域進(jìn)行光線一致性調(diào)整。本發(fā)明的優(yōu)點(diǎn)是，實(shí)時(shí)生成全景視頻圖像，計(jì)算、拼接和成像速度快，設(shè)備簡(jiǎn)單，成本低，可廣泛用于機(jī)場(chǎng)候機(jī)廳等大場(chǎng)面及交通、安防監(jiān)控等使用。
文檔編號(hào)G03B37/00GK101247513SQ200710125400
公開(kāi)日2008年8月20日 申請(qǐng)日期2007年12月25日 優(yōu)先權(quán)日2007年12月25日
發(fā)明者裴繼紅, 謝維信 申請(qǐng)人:謝維信;裴繼紅