專利名稱：全景視頻生成方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景;f見頻生成方法及系統(tǒng)。
背景技術(shù)：
多攝像機(jī)全景視頻是指將兩個(gè)或多于兩個(gè)視角配置的攝像機(jī)獲取的視頻圖 像，經(jīng)過拼接融合形成的一個(gè)包含各視角內(nèi)容的大視場(chǎng)視頻。 目前多攝像機(jī)全景視頻的生成一般采取兩類方式
第一類方式，將各個(gè)視角不同的攝像機(jī)置于空間單視點(diǎn)位置，然后將各個(gè) 攝像機(jī)一見頻拼接融合為一個(gè)廣角、環(huán)形或半J求狀一見場(chǎng)的全景纟見頻。在單視點(diǎn)方 式下，對(duì)不同攝像機(jī)視場(chǎng)中的場(chǎng)景和運(yùn)動(dòng)目標(biāo)，它們距各攝像機(jī)的空間距離差 異很小，即在兩個(gè)攝像機(jī)重疊視場(chǎng)中的同一個(gè)對(duì)象針對(duì)不同攝像機(jī)的視場(chǎng)深度 差異很小，對(duì)不同攝像機(jī)視場(chǎng)基本滿足相同的仿射變換的條件。基于單視點(diǎn)多 視角的技術(shù)，由于不同運(yùn)動(dòng)目標(biāo)的視場(chǎng)深度差異對(duì)全景視場(chǎng)影響較小，實(shí)現(xiàn)的 技術(shù)難度小，已有較為成熟的產(chǎn)品。加拿大PointGrey公司的全景視覺系統(tǒng) Ladybug是一種六個(gè)攝像機(jī)的單視點(diǎn)全景視覺產(chǎn)品。北京大學(xué)深圳研究院和安 防科技公司聯(lián)合開發(fā)了與國外PointGrey公司的全景3見覺產(chǎn)品Ladybug相類似 的演示系統(tǒng)等。
第二類方式，各個(gè)視角不同的攝像機(jī)位于空間不同視點(diǎn)位置，將各攝像機(jī) 的視頻拼接融合為一個(gè)大視場(chǎng)的全景視頻。由于各攝像機(jī)處的空間位置不同， 不同攝像機(jī)的視場(chǎng)不滿足簡(jiǎn)單仿射變換條件。在兩個(gè)攝像機(jī)的重疊視場(chǎng)中，不 同景物和運(yùn)動(dòng)目標(biāo)在各攝像機(jī)中的視場(chǎng)深度不同，特別是運(yùn)動(dòng)目標(biāo)，由于其運(yùn) 動(dòng)的形式無任何約束，其視場(chǎng)深度隨著運(yùn)動(dòng)在不停地發(fā)生變化。在這種條件下， 全景視頻在視場(chǎng)重疊區(qū)域中，運(yùn)動(dòng)目標(biāo)的重影和虛影問題一般比較嚴(yán)重，解決的技術(shù)難度大。另外在這類全景視頻系統(tǒng)中，多攝像機(jī)在空間布設(shè)的方式不同， 實(shí)現(xiàn)的技術(shù)方法 一般也是不同的。
根據(jù)文獻(xiàn)報(bào)道，美國德州A&M大學(xué)利用多攝像機(jī)研制了用于自動(dòng)導(dǎo)航的 實(shí)時(shí)全景視覺系統(tǒng)；新加坡國立大學(xué)開發(fā)了 一套多攝像機(jī)實(shí)時(shí)全景視頻會(huì)議系 統(tǒng)；美國Carnegie Mellon大學(xué)開發(fā)了 一套四個(gè)攝像機(jī)構(gòu)成的全景會(huì)議視頻系統(tǒng)。 上述的系統(tǒng)或產(chǎn)品在報(bào)道中基本都是功能介紹或演示介紹，并未給出具體的實(shí) 現(xiàn)技術(shù)。
總體來看，基于多視點(diǎn)多視角的全景視頻技術(shù)，各攝像機(jī)空間布點(diǎn)位置的 方式不同，全景-見頻的實(shí)現(xiàn)方式也不同。特別，在不同掘/f象^L的一見場(chǎng)交疊區(qū)域 中，運(yùn)動(dòng)目標(biāo)的視場(chǎng)深度差異對(duì)全景視場(chǎng)影響大，實(shí)現(xiàn)的技術(shù)難度大。目前多 視點(diǎn)多視角全景視頻技術(shù)還存在不少技術(shù)空白?，F(xiàn)有技術(shù)通過多攝像機(jī)多視點(diǎn) 生成全景視頻時(shí)，存在全景視頻視場(chǎng)重疊區(qū)域的運(yùn)動(dòng)目標(biāo)有重影和虛影的問題。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種全景視頻生成方法，旨在解決現(xiàn)有全景 視頻生成技術(shù)中，全景視頻的視場(chǎng)重疊區(qū)域的運(yùn)動(dòng)目標(biāo)存在重影和虛影的問題。
本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的， 一種全景視頻生成方法，所述方法包括以下 步驟
通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻；
分離每路視頻中的背景和運(yùn)動(dòng)前景，得到多路背景視頻和多路運(yùn)動(dòng)前景視
頻；
根據(jù)所述多路背景視頻獲取投影變換矩陣；
根據(jù)所迷投影變換矩陣和多路背景視頻生成背景全景視頻，根據(jù)所述投影 變換矩陣和多路運(yùn)動(dòng)前景視頻生成前景全景視頻；
將所述背景全景視頻和前景全景視頻進(jìn)行融合，生成全景視頻。
本發(fā)明實(shí)施例的另 一 目的在于提供一種全景視頻生成系統(tǒng)，所述系統(tǒng)包括
7多路祝頻采集單元，用于通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻； 分離單元，用于分離所述多路視頻采集單元采集的每路視頻中的背景和運(yùn)
動(dòng)前景，得到多路背景視頻和多路運(yùn)動(dòng)前景視頻；
投影變換矩陣計(jì)算單元，用于根據(jù)所述分離單元獲取的多路背景視頻獲取
投影變換矩陣；
背景全景視頻生成單元，用于根據(jù)所述投影變換矩陣計(jì)算單元計(jì)算得到的 投影變換矩陣和所述分離單元獲取的多路背景視頻生成背景全景視頻；
前景全景視頻生成單元，用于根據(jù)所述投影變換矩陣計(jì)算單元計(jì)算得到的 投影變換矩陣和所述分離單元獲取的多路運(yùn)動(dòng)前景視頻生成前景全景視頻；
全景視頻生成單元，用于將所述背景全景視頻生成單元生成的背景全景視 頻和前景全景視頻生成單元生成的前景全景視頻進(jìn)行融合，生成全景視頻。
本發(fā)明實(shí)施例通過將多路攝像機(jī)的視頻分別分解為視頻背景數(shù)據(jù)和視頻運(yùn) 動(dòng)前景數(shù)據(jù)，利用兩路視頻背景數(shù)據(jù)自動(dòng)計(jì)算兩個(gè)攝像機(jī)之間的視場(chǎng)投影變換 矩陣。將背景視頻進(jìn)行投影變換，將變換后的視頻嵌入全景視場(chǎng)中，并對(duì)視場(chǎng) 重疊區(qū)域進(jìn)行無縫融合處理；對(duì)視頻運(yùn)動(dòng)前景數(shù)據(jù)進(jìn)行投影變換，檢測(cè)視場(chǎng)重 疊區(qū)的前景運(yùn)動(dòng)目標(biāo)，對(duì)目標(biāo)進(jìn)行視差校正和前景全景融合；最后對(duì)視頻背景 全景和視頻前景全景進(jìn)行融合，實(shí)現(xiàn)了將具有部分重疊視場(chǎng)的多路攝像機(jī)的動(dòng) 態(tài)視頻自動(dòng)生成為全景動(dòng)態(tài)視頻，較好地解決了在全景視頻視場(chǎng)重疊區(qū)域的運(yùn) 動(dòng)目標(biāo)的重影和虛影問題，以及攝像機(jī)投影變換矩陣自動(dòng)計(jì)算中穩(wěn)定性差的問 題。


圖1是本發(fā)明實(shí)施例提供的全景視頻生成方法的流程圖； 圖2是本發(fā)明實(shí)施例提供的計(jì)算拍:影變換矩陣的流程圖； 圖3是本發(fā)明實(shí)施例提供的計(jì)算特征點(diǎn)集合的算法流程圖; 圖4是本發(fā)明實(shí)施例提供的128維特征向量描述示意圖；圖5是本發(fā)明實(shí)施例提供的三角形面積加權(quán)的融合系數(shù)計(jì)算示意圖； 圖6是本發(fā)明實(shí)施例提供的視場(chǎng)重疊區(qū)域成<|^見差示意圖； 圖7是本發(fā)明實(shí)施例提供的全景視頻生成系統(tǒng)的結(jié)構(gòu)圖。
具體實(shí)施例方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí) 施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅 僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
本發(fā)明實(shí)施例通過將多路攝像機(jī)采集的多路3見頻分別分解為多路背景視頻 和多路運(yùn)動(dòng)前景視頻，利用其中的多路背景視頻自動(dòng)計(jì)算多路視頻視場(chǎng)之間的 投影變換矩陣，根據(jù)投影變換矩陣對(duì)多路背景視頻進(jìn)行投影變換，將投影變換 后的多路背景視頻嵌入全景視場(chǎng)中，并進(jìn)行無縫融合處理，根據(jù)投影變換矩陣 對(duì)運(yùn)動(dòng)前景視頻進(jìn)行投影變換，對(duì)檢測(cè)到的視場(chǎng)重疊區(qū)域的運(yùn)動(dòng)前景視頻進(jìn)行 視差校正，并完成全景視場(chǎng)中的運(yùn)動(dòng)前景全景視頻融合，最后背景全景視頻和 前景全景視頻進(jìn)行融合，實(shí)現(xiàn)了全景動(dòng)態(tài)視頻的自動(dòng)生成。
圖1示出了本發(fā)明實(shí)施例提供的全景視頻生成方法的流程圖，詳述如下。 在步驟S101中，通過多臺(tái)攝#4幾釆集不同視點(diǎn)的多路視頻。 在步驟S102中，分離每路視頻中的背景和運(yùn)動(dòng)前景，得到多路背景視頻 和多路運(yùn)動(dòng)前景3見頻。
分別對(duì)多臺(tái)攝像機(jī)釆集的多路視頻進(jìn)行背景估計(jì)和運(yùn)動(dòng)檢測(cè)，得到多路背 景視頻和多路運(yùn)動(dòng)前景-見頻?，F(xiàn)有技術(shù)中，3見頻背景估計(jì)方法和運(yùn)動(dòng)前景才企測(cè) 方法有多種，其中基于多高斯混合模型的背景估計(jì)和運(yùn)動(dòng)檢測(cè)是較佳的一種， 此處不再——列舉。
在步驟S103中，根據(jù)多路背景視頻獲取投影變換矩陣。 根據(jù)多路背景視頻獲取投影變換矩陣的具體包括獲取每路背景視頻的特 征點(diǎn)；根據(jù)每路背景視頻的特征點(diǎn)和最近鄰、次近鄰距離判決函數(shù)獲取候選匹配點(diǎn)集合；對(duì)候選匹配點(diǎn)集合進(jìn)行提純；根據(jù)提純后的匹配點(diǎn)集合獲取投影變
換矩陣。
為了更好的解釋本發(fā)明，請(qǐng)參閱圖2，為以兩路視頻為例，根據(jù)兩路背景 視頻獲取投影變換矩陣的過程詳述如下 '
在步驟S21中，分別計(jì)算兩路背景視頻的特征點(diǎn)集D1、 D2,以及D1、 D2 中每個(gè)特征點(diǎn):f又128維特征向量為例，計(jì)算流程見圖3，具體詳述如下。
在步驟S211中，由每路背景視頻，計(jì)算并構(gòu)建高斯尺度金字塔圖像，計(jì)算 并構(gòu)建高斯尺度差分金字塔圖像。具體如下
假設(shè)背景^L頻對(duì)應(yīng)的函數(shù)為A(x,力，高斯核函數(shù)G(x,y,o")如公式(l)
、
2cr2 乂
(1)
公式(l)中，(j為方差， 一般可取經(jīng)驗(yàn)值o=1.5， exp()表示指數(shù)函數(shù)。則高斯尺 度金字塔圖像/c(x,ja)如公式(2)
/G (xjA) = /s(x,力*G(x，7，2*cr), k 二 0， 1， 2， . . . ( 2 )
公式(2)中，*為巻積運(yùn)算。高斯尺度差分金字塔圖像^(;c,^a)如公式(3)
^(^^"-^(^^"-^(^ja —1)， k= 1,2，... (3)
在步驟S212中，計(jì)算高斯差分金字塔圖像中的局部極值點(diǎn)集合。假設(shè)差分 金字塔共有s層，s>3。局部極值點(diǎn)具體如下
設(shè)(x,y)為高斯差分金字塔圖像的像素點(diǎn)空間位置，(1,2，...,s)為差分金
字塔的層位置。令
i7 〖 &、 j\ /D(x,y,A:)〈/D(x + w，y + w,A: + Z),Vm,w,/e(—1,0,1},|w| + |w| + |/|#0 n ,y， jo, otherwise
F 〖 A:、 I1，/o(:x，y，^:)>/D(x + WJ，>; + n,& + ,)'Vw，n,Ze{_1,0,l},|m| + |"| + W^0 max ， ， [0, otherwise
則局部極值點(diǎn)集合D1如式(4)所示
￡ / = {/> = "，>a)|Fm,n",>a) + Fmax(x,>^)^0，(>:,>;)eZ2,"2,3"..s —寸 (4)在步驟S213中，計(jì)算局部極值點(diǎn)集合Dl中的每一個(gè)點(diǎn)P = (x, y, k)的一個(gè) U8維特征向量。具體如下對(duì)極值點(diǎn)P-(x，y，k)，在原始背景視頻函數(shù)A(x,力 中，以(x,y)為中心取16x16的窗口 W16,計(jì)算窗口 Ww中每一個(gè)像素點(diǎn)處函數(shù) A(x，"的梯度幅度和方向。將W^切成大小為4x4的子窗口 ，共有4x4=16個(gè) 這樣的子窗口，如圖4所示。在每個(gè)子窗口中按8個(gè)方向統(tǒng)計(jì)計(jì)算每個(gè)方向的 梯度累加值，形成一個(gè)8維子向量；由于共有4x4=16個(gè)這樣的子窗口，則在 特征點(diǎn)P處就產(chǎn)生了一個(gè)16x8= 128維的特征向量。
在步驟S22中，計(jì)算特征點(diǎn)集D1中的點(diǎn)在特征點(diǎn)集D2中的匹配點(diǎn)，得到 Dl、 D2的候選匹配點(diǎn)集合D。具體為取D1中的特征點(diǎn)Pi，在D2中計(jì)算與 P,i的特征距離最近的點(diǎn)和特征距離次近的點(diǎn)P加，p2n2，它們特征向量之間的距 離分別如式(5)所示
<formula>formula see original document page 11</formula>
若則點(diǎn)對(duì)(P^P2nO是一對(duì)候選匹配點(diǎn)，閾值5—般取值在0.5 0.7之間較佳。
對(duì)D1、 D2中的每一個(gè)點(diǎn)進(jìn)行上述判別，得到候選匹配點(diǎn)集合D。 在步驟S23中，對(duì)候選匹配點(diǎn)集合D采用RANSAC算法進(jìn)行提純，得到 提純后的匹配點(diǎn)集合Dc。
其中，RANSAC提純算法的步驟如下
Stepl:在D中隨機(jī)抽取4對(duì)匹配點(diǎn)，其中任意三點(diǎn)不共線，否則重新抽取 樣本。
Step2:根據(jù)抽取的4對(duì)匹配點(diǎn)，計(jì)算投影變換矩陣M。
Step3:由投影變換矩陣M,計(jì)算D中每一個(gè)匹配點(diǎn)對(duì)在投影變換下的距
離，若距離小于給定門限值，則該對(duì)匹配點(diǎn)稱為M下的內(nèi)點(diǎn)。D中的所有內(nèi)點(diǎn)
組成的集合為Di， Di的內(nèi)點(diǎn)個(gè)數(shù)Ni。
Step4:對(duì)Stepl-Step3的隨機(jī)抽樣試驗(yàn)進(jìn)行m次。選取內(nèi)點(diǎn)最多的那次抽
樣試驗(yàn)，如式(6)所示，令c = argmax{iV,,z'-l，2".. M} (6) 則Dc為經(jīng)過RANSAC算法提純后的匹配點(diǎn)對(duì)集合。
在上面的Step2中由4對(duì)匹配點(diǎn)計(jì)算投影變換矩陣M的方法，在多視幾何 中有成熟的技術(shù)，此處不再贅述。
根據(jù)提純后的匹配點(diǎn)集合獲取投影變換矩陣的步驟之后，全景視頻生成方 法還包括根據(jù)預(yù)設(shè)的誤差函數(shù)獲取最優(yōu)投影變換矩陣，即步驟S24。
在步驟S24中，利用提純后的匹配點(diǎn)對(duì)集合Dc，使用匹配點(diǎn)對(duì)稱互投影位 置誤差優(yōu)化算法計(jì)算^^殳影變換矩陣M。具體方法為
設(shè)視場(chǎng)A, B之間的沖殳影變換矩陣為M，匹配點(diǎn)對(duì)集合Dc共有n個(gè)匹配 點(diǎn)對(duì)，任取匹配點(diǎn)對(duì)(PA(k),PB(k))EDc， PA(k)EA， PB(k)EB, k=l".n。假設(shè)在 M矩陣作用下，PA(k)在視場(chǎng)B中的投影點(diǎn)為QB(k), PB(k)在視場(chǎng)A中的投影點(diǎn) 為QA(k)，如式(7)所示。
訓(xùn)^副，(7)
則在投影變換矩陣M的作用下，匹配點(diǎn)對(duì)集合Dc的對(duì)稱互投影位置誤差 函數(shù)定義為式(8)所示。
五(M， Dc)=它(||PA (/c) - 2A (&)『+ ||PB (/t) - 2B (《) (8 )
則最優(yōu)投影變換矩陣M承可通過對(duì)E(M，"c)的優(yōu)化得到，即式(9)所示。 M* =argmin￡(M，Dc) (9)
A/
具體實(shí)現(xiàn)時(shí)，基于目標(biāo)函數(shù)的尋優(yōu)方法有多種，其中最小二乘迭代法，遺 傳算法等都是可行的方法，此處不再一一列舉。
應(yīng)當(dāng)理解，當(dāng)多^4見頻至少包括三^^見頻時(shí)，其實(shí)現(xiàn)原理與兩3各^L頻相同， 可靈活調(diào)用各種算法實(shí)現(xiàn)，由于過程相對(duì)復(fù)雜，在此不再詳述。
在步驟S104中，根據(jù)投影變換矩陣和多路背景視頻生成背景全景視頻，根 據(jù)投影變換矩陣和多路運(yùn)動(dòng)前景視頻生成前景全景視頻。
根據(jù)投影變換矩陣和多路背景視頻生成背景全景^L頻的步驟具體為根據(jù)投影變換矩陣將多路背景視頻投影到統(tǒng)一視場(chǎng)；根據(jù)同一視場(chǎng)中的多路背景視 頻獲取視場(chǎng)重疊區(qū)域；根據(jù)視場(chǎng)重疊區(qū)域?qū)y(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)行無 縫融合處理。
在本發(fā)明實(shí)施例中，每?jī)陕芬曨l之間的視場(chǎng)重疊區(qū)域?yàn)橥顾倪呅螀^(qū)域，根 據(jù)視場(chǎng)重疊區(qū)域?qū)y(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)^f亍無縫融合處理的步驟具體 為根據(jù)視場(chǎng)重疊區(qū)域中的任意一點(diǎn)將視場(chǎng)重疊區(qū)域劃分為四個(gè)三角形；根據(jù) 三角形的面積確定融合權(quán)值；根據(jù)任意一點(diǎn)的位置和融合權(quán)值對(duì)統(tǒng)一視場(chǎng)中的 視場(chǎng)重疊區(qū)域的多路背景視頻進(jìn)行融合。
在具體實(shí)現(xiàn)中，同樣以兩路視頻為例，設(shè)兩臺(tái)攝像機(jī)采集的兩路視頻之間 的投影變換矩陣M，投影后的統(tǒng)一視場(chǎng)為C,兩個(gè)攝像機(jī)的背景視頻函數(shù)分別 為4(x,:m:)、 /^G，:m),雙攝像機(jī)的背景全景視頻生成步驟具體為
Stepl:用投影變換矩陣M對(duì)/^(;c，:M)、 /^(x,少力進(jìn)行投影變換，投影到 統(tǒng)一視場(chǎng)C下，變換后的圖像函數(shù)分別為A^xj,0、 /MS0c,y，/)，變換后的兩個(gè) 攝像機(jī)對(duì)應(yīng)視場(chǎng)分別為A、 B。計(jì)算A、 B的視場(chǎng)重疊區(qū)域abcd =ADB,如圖 5所示。
Step2:計(jì)算視場(chǎng)重疊區(qū)域abcd內(nèi)的像素融合系數(shù)wl，w2。具體如下， 如圖5所示，令P-(x,y) 6AriB是A、 B的3見場(chǎng)重疊區(qū)域abcd中的點(diǎn)，P 與重疊區(qū)的四個(gè)邊界分別組成四個(gè)三角形abP、 acP、 cdP、 bdP，這四個(gè)三角形 的面積分別為S1、 S2、 S3、 S4。令Sm!2-min(Sl,S2)為Sl和S2中的最小值， Sm34=min(S3， S4)為S3和S4中的最小值，則融合系數(shù)如公式(IO)
wl = _^2i_, W2 = ~^_ = i — wi (10)
Step3:設(shè)P-(x，y，t) 6AUB為全景視場(chǎng)中的一個(gè)點(diǎn)，則全景背景/c(;c,jM) 的融合如公式(ll)所示。
/樸U。
wl丄(尸)+ w2丄(尸)P"n仏 (11)其中，公式(l)中A-B是指集合A與集合B的差集，B-A是指集合B與集合 A的差集。 一旦投影變換矩陣確定后，則全景視場(chǎng)重疊區(qū)域就確定了，融合系 數(shù)wl，w2也就確定了 。因此融合系數(shù)wl，w2可以在計(jì)算才殳影變換矩陣后只計(jì)算 一次，并存儲(chǔ)為查找表的形式，后續(xù)融合時(shí)通過查找表方式獲取。
其中，根據(jù)投影變換矩陣和多路運(yùn)動(dòng)前景視頻生成前景全景視頻具體為 根據(jù)投影變換矩陣將多路運(yùn)動(dòng)前景視頻投影到統(tǒng)一視場(chǎng)；對(duì)統(tǒng)一視場(chǎng)中的多路 運(yùn)動(dòng)前景纟見頻進(jìn)行融合。
與背景數(shù)據(jù)投影變換方式相同，首先根據(jù)投影變換矩陣M對(duì)運(yùn)動(dòng)前景數(shù)據(jù) 進(jìn)行投影變換，將多路運(yùn)動(dòng)前景數(shù)據(jù)投影到統(tǒng)一視場(chǎng)。
由于雙攝像機(jī)處在不同視點(diǎn)，同一 目標(biāo)在不同攝像機(jī)之間的視場(chǎng)深度一般 存在差異，變換以后不同視場(chǎng)中的同一目標(biāo)在重疊視場(chǎng)區(qū)域(由步驟S104得出) 一般存在一定的視差。如圖6所示，ObjecU和Objects為在兩個(gè)視場(chǎng)中的同一 目標(biāo)對(duì)應(yīng)的運(yùn)動(dòng)前景在變換后的統(tǒng)一視場(chǎng)即全景視場(chǎng)中的視場(chǎng)重疊區(qū)域中的位 置，M為兩者的位移差。
在本發(fā)明實(shí)施例中，前景全景視頻融合生成之前，需要檢測(cè)視場(chǎng)重疊區(qū)域 中的視場(chǎng)A和B中的運(yùn)動(dòng)前景是否為同一目標(biāo)，當(dāng)兩者為同一目標(biāo)時(shí)，需要先 對(duì)視場(chǎng)重疊區(qū)域中的視場(chǎng)A和B進(jìn)行視差校正，否則無需進(jìn)行視差校正。
在本發(fā)明實(shí)施例中，同一目標(biāo)的判斷方法具體是判斷兩個(gè)視場(chǎng)中分離出 的運(yùn)動(dòng)前景視頻的單連通區(qū)域的質(zhì)心是否處在視場(chǎng)重疊區(qū)域中。對(duì)處在視場(chǎng)重 疊區(qū)域中的運(yùn)動(dòng)前景視頻進(jìn)行匹配關(guān)聯(lián)。具體為
設(shè)視場(chǎng)A中在重疊視場(chǎng)區(qū)域的運(yùn)動(dòng)目標(biāo)為<9"/), / = 1，2,L w ,視場(chǎng)B中在重 疊視場(chǎng)區(qū)域的運(yùn)動(dòng)目標(biāo)為, _/ = 1,2,L w 。在本發(fā)明實(shí)施例中，運(yùn)動(dòng)目標(biāo)一般 為一個(gè)單連通區(qū)域，不是一個(gè)點(diǎn)。
計(jì)算A(/)的面積&(/)(像素?cái)?shù)之和)，/ = l,2,Lw;計(jì)算Os(力的面積S力')，
y' = 1,2，L w 。
計(jì)算0力')的外接矩形框的長(zhǎng)寬比、(0， ！、l,2，Lm;計(jì)算O力)的外接矩形框的長(zhǎng)寬比^(力，y' = l,2,L "。
計(jì)算0//)的RGB顏色直方圖矢量A(/)， ,' = l,2，Lm;計(jì)算A(/)的RGB顏 色直方圖矢量/^C/), _/ = l,2，L"。其中，A(/)和/^(/)均為3 x 256=768維矢量。
設(shè)定權(quán)重值Ws 、 w￡ 、 。計(jì)算A(/)和的匹配距離，如公式(12 )所示。
"(A (0, 。s (力)=ws . ||& (/) — & (/)|| + Wi.(,)-丄8 (力l + .|A (/) - //s (力l (12)
計(jì)算A中重疊視場(chǎng)區(qū)域的運(yùn)動(dòng)目標(biāo)(9力')，/ = 1,2，L m與B中重疊視場(chǎng)區(qū)域的 運(yùn)動(dòng)目標(biāo)<98(/), / = l,2，L "的關(guān)聯(lián)距離，如乂>式(13 )所示。
乙= (/),Os(*)) = mi屮(A(力)，乂 = 1，2".."} ( 13 )
其中如式(14)所示；
A = "gmin{6/(0"/),Os = 1,2,..."} ( 14)
即Os ("是在B中與(9,(0匹配距離最小的運(yùn)動(dòng)目標(biāo)。 計(jì)算匹配關(guān)聯(lián)的運(yùn)動(dòng)目標(biāo)對(duì)，規(guī)則為
若7;<《，/ = l,2,Lw，則(^(!')與<98(/1)匹配，為兩個(gè)^L場(chǎng)A、 B中的同一個(gè) 目標(biāo)；否則，則在視場(chǎng)B中沒有與A(/)匹配的目標(biāo)。
確定了匹配的同一目標(biāo)后，在重疊視場(chǎng)區(qū)域中的視差校正具體如下， 將視場(chǎng)A和視場(chǎng)B投影到公共坐標(biāo)系C下，可選擇其中一個(gè)視場(chǎng)的坐標(biāo) 系與公共坐標(biāo)系C重合。假設(shè)B視場(chǎng)作為投影的基準(zhǔn)視場(chǎng)，B視場(chǎng)目標(biāo)投影到 C中的目標(biāo)位置為融合視場(chǎng)的基準(zhǔn)位置，全景視場(chǎng)中不同目標(biāo)位置的確定問題 轉(zhuǎn)為A^L場(chǎng)中的目標(biāo)對(duì)應(yīng)于B中的匹配目標(biāo)所進(jìn)行的位置才交正。當(dāng)目標(biāo)由非重 疊的B視場(chǎng)區(qū)域進(jìn)入A、 B視場(chǎng)重疊區(qū)域時(shí)，視場(chǎng)A投影到公共坐標(biāo)系C中目 標(biāo)位置減去zW,即為；^-h-相反，當(dāng)目標(biāo)由非重疊的A一見場(chǎng)進(jìn)入A、 B 視場(chǎng)重疊區(qū)域時(shí)，；現(xiàn)場(chǎng)A投影到公共坐標(biāo)系C中目標(biāo)位置加上Ad,即 XM =力+ A么其中，力為^L場(chǎng)A中的目標(biāo)的質(zhì)心到3見場(chǎng)A的幾何中心的水平 坐標(biāo)，Ac/為匹配的A、 B視場(chǎng)的同一目標(biāo)的質(zhì)心水平視差。同理ys為視場(chǎng)B中的目標(biāo)的質(zhì)心到一見場(chǎng)B的幾4可中心的水平坐標(biāo)，不再詳述。如圖6所示。垂
直視差的校正方法與水平視差的校正方法類似。 — 由上述內(nèi)容可以得知，視場(chǎng)重疊區(qū)域?qū)?yīng)的不同運(yùn)動(dòng)前景視頻為同 一 目標(biāo)
的條件是不同運(yùn)動(dòng)前景-見頻的運(yùn)動(dòng)目標(biāo)質(zhì)心處于^L場(chǎng)重疊區(qū)域。當(dāng)A^L場(chǎng)中的 運(yùn)動(dòng)前景視頻的運(yùn)動(dòng)質(zhì)心在統(tǒng)一3見場(chǎng)的一見場(chǎng)重疊區(qū)域出現(xiàn)，而B一見場(chǎng)的運(yùn)動(dòng)前 景目標(biāo)質(zhì)心并未在統(tǒng)一視場(chǎng)的視場(chǎng)重疊區(qū)域出現(xiàn)時(shí)，同一目標(biāo)不能進(jìn)行匹配關(guān) 聯(lián)運(yùn)算，而此時(shí)直接融合時(shí)則會(huì)出現(xiàn)同一目標(biāo)覆蓋現(xiàn)象。這時(shí)需要在視場(chǎng)重疊 區(qū)域中的未進(jìn)行匹配的運(yùn)動(dòng)前景視頻與另 一視場(chǎng)重疊區(qū)域中的運(yùn)動(dòng)前景視頻進(jìn) 4亍匹配，若匹配成功，則相互一見為同一目標(biāo)，否則一見為非同一目標(biāo)。
當(dāng)同 一 目標(biāo)匹配成功且其在融合^L場(chǎng)中的位置確定以后，由于匹配目標(biāo)輪
廓大小常具有不一致性，使得融合目標(biāo)出現(xiàn)輪廓重影?；蛘弋?dāng)兩個(gè)視場(chǎng)的同一 目標(biāo)一個(gè)完整而另一個(gè)不完整時(shí)，多路運(yùn)動(dòng)前景3見頻進(jìn)4亍融合時(shí)也會(huì)因?yàn)樾螤?差異而導(dǎo)致融合效果欠佳。此時(shí)需要根據(jù)預(yù)設(shè)的前景融合模板獲取前景全景視 頻。其中前景融合才莫板可以是用如下方式獲得
在A、 B視場(chǎng)的非重疊區(qū)域中，則前景融合模板區(qū)域就是前景區(qū)域，模板 位置在各自的視場(chǎng)中保持不變；
在A、 B^L場(chǎng)的重疊區(qū)域中，對(duì)A、 B ^L場(chǎng)匹配的同一目標(biāo)的運(yùn)動(dòng)前景朝L 頻，通過視差校正計(jì)算的結(jié)果，將兩個(gè)區(qū)域平移到質(zhì)心重合，取這兩個(gè)區(qū)域的 并集作為前景融合模板Mab。
在獲得前景融合模板后，前景全景視頻的融合可通過如下方式得到
在A、 B視場(chǎng)的非重疊區(qū)域中，直接使用A、 B視場(chǎng)各自分別獲取的全景 區(qū)域作為前景全景^L頻；
在A、 B視場(chǎng)的重疊區(qū)域中，將獲取的前景融合模板mab的質(zhì)心分別放置 在A、 B視場(chǎng)未校正的運(yùn)動(dòng)目標(biāo)的質(zhì)心位置，并分別計(jì)算該模板與A、 B視場(chǎng) 的交集Ma-MabDA， Mb-MabOB;若ma的面積大于mb的面積，將模板Mab 放置在視場(chǎng)A的未經(jīng)過背景前景分離的原始視頻中的對(duì)應(yīng)目標(biāo)的質(zhì)心位置處，取出模板覆蓋的原始視頻區(qū)域作為全景前景目標(biāo)；反之，若MA的面積小于Me 的面積，則在視場(chǎng)B的原始視頻中進(jìn)行上述運(yùn)算；將通過上述運(yùn)算得到的視頻 重疊區(qū)域的前景通過視差校正放置到全景視場(chǎng)合適的位置。通過上述前景融合， 可以實(shí)現(xiàn)將面積大和輪廓比較完整的貝標(biāo)嵌入前景全景中，這樣不僅可解決重 影問題，而且當(dāng)同一 目標(biāo)的形體具有一定差異時(shí)也可4艮好融合。
現(xiàn)有技術(shù)中，由于運(yùn)動(dòng)目標(biāo)與背景之間視場(chǎng)深度和視角的不同，無法使用 統(tǒng)一的投影變換對(duì)圖像中的目標(biāo)和背景同時(shí)配準(zhǔn)，從而使融合后的全景圖像容 易產(chǎn)生重影和虛影問題，而本發(fā)明實(shí)施例有效的克服了這些問題。
在步驟S105中，將背景全景視頻和前景全景視頻進(jìn)行融合，生成全景視頻。
將背景全景視頻和前景全景視頻進(jìn)行融合，得到完整全景視頻。具體為， 設(shè)/,(x，少力為計(jì)算生成的背景全景，厶(xj力為計(jì)算生成的前景全景，完整全景
視頻A(x，;M)由式(15)得到。
本發(fā)明實(shí)施例提供的全景視頻生成系統(tǒng)的結(jié)構(gòu)圖請(qǐng)參閱圖7，為了便于說 明僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，該系統(tǒng)可以是內(nèi)置于移動(dòng)終端或者其 他終端設(shè)備的軟件單元、硬件單元或者軟硬件相結(jié)合的單元。
在本發(fā)明實(shí)施例中，系統(tǒng)包括多路視頻采集單元71、分離單元72、投影變 換矩陣計(jì)算單元73、背景全景^L頻生成單元74、前景全景^L頻生成單元75和 全景視頻生成單元76。
多路視頻采集單元71通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻；分離單元 72分離多路視頻采集單元71采集的每路3見頻中的背景和運(yùn)動(dòng)前景，得到多路 背景視頻和多路運(yùn)動(dòng)前景視頻；投影變換矩陣計(jì)算單元73根據(jù)分離單元72獲 取的多路背景視頻獲取投影變換矩陣；背景全景視頻生成單元74根據(jù)投影變換 矩陣計(jì)算單元73計(jì)算得到的投影變換矩陣和分離單元72獲取的多路背景視頻生成背景全景視頻；前景全景視頻生成單元75根據(jù)投影變換矩陣計(jì)算單元73 計(jì)算得到的投影變換矩陣和分離單元72獲取的多路運(yùn)動(dòng)前景視頻生成前景全 景視頻；金景視頻生成單元76將背景全景視頻生成單元74生成的背景全景視 頻和前景全景視頻生成單元75生成的前景全景視頻進(jìn)行融合，生成全景視頻。 其中，投影變換矩陣計(jì)算單元73包括
特征點(diǎn)獲取模塊，用于獲取分離單元72獲取的每路背景視頻的特征點(diǎn)； 候選匹配點(diǎn)集合獲取模塊，用于根據(jù)特征點(diǎn)獲取模塊獲取的每路背景視頻 的特征點(diǎn)和預(yù)設(shè)的最近鄰、次近鄰距離判決函數(shù)獲取候選匹配點(diǎn)集合；
提純模塊，用于對(duì)候選匹配點(diǎn)集合獲取才莫塊獲取的候選匹配點(diǎn)集合進(jìn)行提
純；
投影變換矩陣獲取模塊，用于根據(jù)提純模塊提純后的匹配點(diǎn)集合獲取投影 變換矩陣。
具體實(shí)施方式
如上所述，不再贅述。
本發(fā)明通過在多路背景視頻中進(jìn)行特征點(diǎn)提取與特征點(diǎn)自動(dòng)匹配，并進(jìn)而 由匹配的特征點(diǎn)計(jì)算出多路視場(chǎng)之間的投影變換矩陣。該方法較直接在原始視 頻上提取特征點(diǎn)并計(jì)算投影變換矩陣的方法相比，計(jì)算精度高，穩(wěn)定性好。
為了得到優(yōu)化的投影變換矩陣，投影變換矩陣計(jì)算單元73還包括
最優(yōu)投影變換矩陣獲取模塊，用于根據(jù)投影變換矩陣獲取模塊獲取的至少 一個(gè)投影變換矩陣和預(yù)設(shè)的誤差函數(shù)獲取最優(yōu)投影變換矩陣。
背景全景視頻生成單元74包括
背景視頻投影模塊，根據(jù)投影變換矩陣計(jì)算單元73計(jì)算的投影變換矩陣將 分離單元72獲取的多路背景視頻投影到統(tǒng)一視場(chǎng)；
視場(chǎng)重疊區(qū)域獲取模塊，用于根據(jù)背景視頻投影模塊投影得到的統(tǒng)一視場(chǎng) 中的多路背景視頻獲取視場(chǎng)重疊區(qū)域；
背景視頻融合模塊，用于融合根據(jù)視場(chǎng)重疊區(qū)域獲取模塊獲取的視場(chǎng)重疊 區(qū)域?qū)Ρ尘耙曨l投影模塊投影得到的統(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)行無縫融合處理。
其中，背景全景視頻融合中采用三角形面積比值法確定融合權(quán)值，有效地 消除了公共視場(chǎng)過渡區(qū)域的拼接痕跡，實(shí)現(xiàn)了快速無縫融合。
具體實(shí)施方式
如上所述，不再贅述。
同時(shí)，前景全景一見頻生成單元75包括
運(yùn)動(dòng)前景視頻投影模塊，根據(jù)投影變換矩陣計(jì)算單元73計(jì)算的投影變換矩 陣將分離單元72獲取的多路運(yùn)動(dòng)前景視頻投影到統(tǒng)一視場(chǎng)；
運(yùn)動(dòng)前景視頻融合模塊，用于對(duì)運(yùn)動(dòng)前景視頻投影模塊投影得到的統(tǒng)一視 場(chǎng)中的多路運(yùn)動(dòng)前景3見頻進(jìn)4亍融合。
其中運(yùn)動(dòng)前景視頻融合模塊進(jìn)一步包括
同 一 目標(biāo)判斷模塊，用于當(dāng)運(yùn)動(dòng)前景視頻投影模塊投影得到的統(tǒng)一視場(chǎng)中 的多路運(yùn)動(dòng)前景視頻的單連通區(qū)域的質(zhì)心均處于視場(chǎng)重疊區(qū)域獲取模塊獲取的 視場(chǎng)重疊區(qū)域時(shí)，對(duì)統(tǒng)一一見場(chǎng)中的多路運(yùn)動(dòng)前景視頻的3見場(chǎng)重疊區(qū)域進(jìn)行關(guān)聯(lián) 運(yùn)算，根據(jù)關(guān)聯(lián)運(yùn)算結(jié)果判斷統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻的視場(chǎng)重疊區(qū)域 是否為同一目標(biāo)；
視差校正模塊，用于當(dāng)同一 目標(biāo)判斷模塊判斷統(tǒng)一^L場(chǎng)中的多路運(yùn)動(dòng)前景 視頻的視場(chǎng)重疊區(qū)域?yàn)橥?一 目標(biāo)時(shí)，對(duì)統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻的視場(chǎng) 重疊區(qū)域進(jìn)行視差校正，并根據(jù)預(yù)設(shè)的前景融合模板對(duì)統(tǒng)一視場(chǎng)中視差校正后 的多路運(yùn)動(dòng)前景視頻進(jìn)行融合，生成前景全景視頻。
具體實(shí)施方式
如上所述，不再贅述。本發(fā)明實(shí)施例通過多路攝像機(jī)采集得 到不同視點(diǎn)的多路3見頻，將多路視頻分別分解得到多路背景一見頻和多路運(yùn)動(dòng)前 景視頻，利用多路背景視舉自動(dòng)計(jì)算投影變換矩陣，并獲取視場(chǎng)重疊區(qū)域，根 據(jù)投影變換矩陣將背景視頻進(jìn)行投影變換，將變換后的背景視頻嵌入全景視場(chǎng) 中，并對(duì)視場(chǎng)重疊區(qū)域進(jìn)行無縫融合處理，根據(jù)投影變換矩陣對(duì)運(yùn)動(dòng)前景視頻 進(jìn)行投影變換，對(duì)檢測(cè)到的視場(chǎng)重疊區(qū)域?qū)?yīng)的運(yùn)動(dòng)前景視頻數(shù)據(jù)進(jìn)行視差校 正和前景全景^L頻融合；最后背景全景^L頻和前景全景4見頻進(jìn)行融合得到全景視頻，實(shí)現(xiàn)了將具有部分重疊視場(chǎng)的多路動(dòng)態(tài)視頻自動(dòng)生成為全景動(dòng)態(tài)視頻， 較好地解決了在全景視頻視場(chǎng)重疊區(qū)域運(yùn)動(dòng)目標(biāo)的重影和虛影問題，由于投影 變換矩陣的獲取排除了運(yùn)動(dòng)前景的干擾，大大提高了攝像機(jī)之間投影變換矩陣 自動(dòng)計(jì)算和應(yīng)用的準(zhǔn)確性和穩(wěn)定性。以上所述僅為本發(fā)明的較佳實(shí)施例而已， 并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替 換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種全景視頻生成方法，其特征在于，所述方法包括以下步驟通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻；分離每路視頻中的背景和運(yùn)動(dòng)前景，得到多路背景視頻和多路運(yùn)動(dòng)前景視頻；根據(jù)所述多路背景視頻獲取投影變換矩陣；根據(jù)所述投影變換矩陣和多路背景視頻生成背景全景視頻，根據(jù)所述投影變換矩陣和多路運(yùn)動(dòng)前景視頻生成前景全景視頻；將所述背景全景視頻和前景全景視頻進(jìn)行融合，生成全景視頻。
2、 如權(quán)利要求l所述的方法，其特征在于，所述才艮據(jù)所述多路背景視頻獲 取投影變換矩陣的步驟具體為獲取每路背景視頻的特征點(diǎn)；根據(jù)所述每路背景視頻的特征點(diǎn)和預(yù)設(shè)的最近鄰、次近鄰距離判決函數(shù)獲 取候選匹配點(diǎn)集合；對(duì)所述候選匹配點(diǎn)集合進(jìn)行提純； 根據(jù)提純后的匹配點(diǎn)集合獲取投影變換矩陣。
3、 如權(quán)利要求2所述的方法，其特征在于，所述才艮據(jù)提純后的匹配點(diǎn)集合 獲取投影變換矩陣的步驟之后，所述方法還包括根據(jù)預(yù)設(shè)的誤差函數(shù)獲取最優(yōu)投影變換矩陣；所述多路視頻為兩路視頻，分別對(duì)應(yīng)視場(chǎng)A、 B,在投影變換矩陣M的作 用下，所述多路背景視頻的候選匹配點(diǎn)集合包括n個(gè)匹配點(diǎn)對(duì)(PA(k), PB(k))， PA(k)eA， PB(k)GB, k=l~n， n為整數(shù)，其中，PA(k)在視場(chǎng)B中的投影點(diǎn)為 QB(k), PB(k)在視場(chǎng)A中的投影點(diǎn)為QA(k)，則所述誤差函數(shù)為S(|PA("-2A("|2+|PB0O-2B("|f)，所述誤差函數(shù)的值最小的投影變換矩陣為最優(yōu)投影變換矩陣。
4、 如權(quán)利要求l所述的方法，其特征在于，所述根據(jù)所述投影變換矩陣和 多路背景視頻生成背景全景視頻的步驟具體為根據(jù)所述投影變換矩陣將多路背景視頻投影到統(tǒng)一視場(chǎng)； 根據(jù)所述統(tǒng)一一見場(chǎng)中的多路背景一見頻獲取-見場(chǎng)重疊區(qū)域； 根據(jù)所述視場(chǎng)重疊區(qū)域?qū)λ鼋y(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)行無縫融合處理。
5、 如權(quán)利要求4所述的方法，其特征在于，所述一見場(chǎng)重疊區(qū)域?yàn)橥顾倪呅?區(qū)域，所述根據(jù)所述視場(chǎng)重疊區(qū)域?qū)λ鼋y(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)行無縫 融合處理的步驟具體為根據(jù)所述視場(chǎng)重疊區(qū)域中的任意一點(diǎn)將所述視場(chǎng)重疊區(qū)域劃分為四個(gè)三角形；根據(jù)所述三角形的面積確定融合權(quán)值；才艮據(jù)所述任意一點(diǎn)的位置和融合權(quán)值對(duì)所述統(tǒng)一—見場(chǎng)中的多路背景視頻進(jìn) 行融合。
6、 如權(quán)利要求l所述的方法，其特征在于，所述根據(jù)所述投影變換矩陣和 多路運(yùn)動(dòng)前景視頻生成前景全景視頻的步驟具體為根據(jù)所述投影變換矩陣將多路運(yùn)動(dòng)前景視頻投影到所述統(tǒng)一視場(chǎng)； 對(duì)所述統(tǒng)一^見場(chǎng)中的多路運(yùn)動(dòng)前景-見頻進(jìn)行融合； 所述對(duì)所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻進(jìn)行融合的步驟包括 當(dāng)所述統(tǒng)一^見場(chǎng)中的多路運(yùn)動(dòng)前景3見頻的單連通區(qū)域的質(zhì)心均處于所述桶L 場(chǎng)重疊區(qū)域時(shí)，對(duì)所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻的所述視場(chǎng)重疊區(qū)域進(jìn) 行關(guān)聯(lián)運(yùn)算，根據(jù)關(guān)聯(lián)運(yùn)算結(jié)果判斷所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻的所 述視場(chǎng)重疊區(qū)域是否為同一目標(biāo)；當(dāng)所述統(tǒng)一一見場(chǎng)中的多^各運(yùn)動(dòng)前景一見頻的所述-見場(chǎng)重疊區(qū)域?yàn)橥荒繕?biāo) 時(shí)，對(duì)所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景視頻的所述S見場(chǎng)重疊區(qū)域進(jìn)行視差校正； 并根據(jù)預(yù)設(shè)的前景融合模板對(duì)所述統(tǒng)一視場(chǎng)中視差校正后的多路運(yùn)動(dòng)前景視頻進(jìn)行融合，生成所述前景全景視頻。
7、 一種全景視頻生成系統(tǒng)，其特征在于，所述系統(tǒng)包括 多路視頻采集單元，用于通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻；分離單元，用于分離所述多路一見頻采集單元采集的每^各視頻中的背景和運(yùn) 動(dòng)前景，得到多路背景視頻和多路運(yùn)動(dòng)前景視頻；投影變換矩陣計(jì)算單元，用于根據(jù)所述分離單元獲取的多路背景視頻獲取 投影變換矩陣；背景全景視頻生成單元，用于根據(jù)所述投影變換矩陣計(jì)算單元計(jì)算得到的 投影變換矩陣和所述分離單元獲取的多路背景視頻生成背景全景視頻；前景全景視頻生成單元，用于根據(jù)所述"t殳影變換矩陣計(jì)算單元計(jì)算得到的 投影變換矩陣和所述分離單元獲取的多路運(yùn)動(dòng)前景^L頻生成前景全景視頻；全景視頻生成單元，用于將所述背景全景視頻生成單元生成的背景全景視 頻和前景全景視頻生成單元生成的前景全景視頻進(jìn)行融合，生成全景視頻。
8、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述^:影變換矩陣計(jì)算單元包括特征點(diǎn)獲取模塊，用于獲取所述分離單元獲取的每路背景視頻的特征點(diǎn)； 候選匹配點(diǎn)集合獲取模塊，用于根據(jù)所述特征點(diǎn)獲取模塊獲取的每路背景, 視頻的特征點(diǎn)和預(yù)設(shè)的最近鄰、次近鄰距離判決函數(shù)獲取候選匹配點(diǎn)集合； 提純模塊，用于對(duì)所述候選匹配點(diǎn)集合獲取模塊獲取的候選匹配點(diǎn)集合進(jìn)行提純；投影變換矩陣獲取模塊，用于根據(jù)所述提純模塊提純后的匹配點(diǎn)集合獲取 投影變換矩陣；所述投影變換矩陣計(jì)算單元還包括最優(yōu)投影變換矩陣獲取模塊，用于根據(jù)所述投影變換矩陣獲取模塊獲取的 至少 一個(gè)投影變換矩陣和預(yù)設(shè)的誤差函數(shù)獲取最優(yōu)投影變換矩陣。
9、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述背景全景視頻生成單元包括背景視頻投影模塊，根據(jù)所述投影變換矩陣計(jì)算單元計(jì)算的投影變換矩陣將所述分離單元獲取的多路背景視頻投影到統(tǒng)一視場(chǎng)；視場(chǎng)重疊區(qū)域獲取模塊，用于根據(jù)所述背景視頻投影模塊投影得到的統(tǒng)一 視場(chǎng)中的多路背景視頻獲取視場(chǎng)重疊區(qū)域；背景視頻融合模塊，用于融合根據(jù)所述視場(chǎng)重疊區(qū)域獲取模塊獲取的視場(chǎng) 重疊區(qū)域?qū)λ霰尘耙曨l投影模塊投影得到的統(tǒng)一視場(chǎng)中的多路背景視頻進(jìn)行 無縫融合處理。
10、如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述前景全景視頻生成單元 包括運(yùn)動(dòng)前景視頻投影模塊，根據(jù)所述投影變換矩陣計(jì)算單元計(jì)算的投影變換 矩陣將所述分離單元獲取的多路運(yùn)動(dòng)前景視頻投影到所述統(tǒng)一視場(chǎng)；運(yùn)動(dòng)前景視頻融合模塊，用于對(duì)所述運(yùn)動(dòng)前景視頻投影模塊投影得到的統(tǒng) 一視場(chǎng)中的多路運(yùn)動(dòng)前景^L頻進(jìn)行融合；其中，所述運(yùn)動(dòng)前景視頻融合模塊進(jìn)一步包括同一目標(biāo)判斷模塊，用于當(dāng)所述運(yùn)動(dòng)前景視頻投影模塊投影得到的統(tǒng)一視 場(chǎng)中的多路運(yùn)動(dòng)前景^L頻的單連通區(qū)域的質(zhì)心均處于所述^L場(chǎng)重疊區(qū)域獲取模 塊獲取的視場(chǎng)重疊區(qū)域時(shí)，對(duì)所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前景3見頻的所述視場(chǎng) 重疊區(qū)域進(jìn)行關(guān)聯(lián)運(yùn)算，根據(jù)關(guān)聯(lián)運(yùn)算結(jié)果判斷所述統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng)前 景視頻的所述視場(chǎng)重疊區(qū)域是否為同 一 目標(biāo)；視差校正模塊，用于當(dāng)所述同 一 目標(biāo)判斷模塊判斷統(tǒng)一視場(chǎng)中的多路運(yùn)動(dòng) 前景-見頻的所述一見場(chǎng)重疊區(qū)域?yàn)橥?一 目標(biāo)時(shí)，對(duì)所述統(tǒng)一一見場(chǎng)中的多路運(yùn)動(dòng)前 景視頻的所述視場(chǎng)重疊區(qū)域進(jìn)行視差校正，并根據(jù)預(yù)設(shè)的前景融合模板對(duì)所述 統(tǒng)一視場(chǎng)中視差校正后的多路運(yùn)動(dòng)前景視頻進(jìn)行融合，生成所述前景全景視頻。
全文摘要
本發(fā)明適用于視頻圖像處理技術(shù)領(lǐng)域，提供了一種全景視頻生成方法及系統(tǒng)，所述方法包括通過多臺(tái)攝像機(jī)采集不同視點(diǎn)的多路視頻；分離每路視頻中的背景和運(yùn)動(dòng)前景，得到多路背景視頻和多路運(yùn)動(dòng)前景視頻；根據(jù)所述多路背景視頻獲取投影變換矩陣；根據(jù)所述投影變換矩陣和多路背景視頻生成背景全景視頻，根據(jù)所述投影變換矩陣和多路運(yùn)動(dòng)前景視頻生成前景全景視頻；將所述背景全景視頻和前景全景視頻進(jìn)行融合，生成全景視頻。本發(fā)明實(shí)現(xiàn)了將有部分重疊視場(chǎng)的多個(gè)攝像機(jī)的視頻自動(dòng)生成為全景動(dòng)態(tài)視頻，較好地解決了在全景視頻視場(chǎng)重疊區(qū)域運(yùn)動(dòng)目標(biāo)的重影和虛影問題，以及攝像機(jī)投影變換矩陣自動(dòng)計(jì)算中穩(wěn)定性差的問題。
文檔編號(hào)H04N9/09GK101626513SQ20091010904
公開日2010年1月13日 申請(qǐng)日期2009年7月23日 優(yōu)先權(quán)日2009年7月23日
發(fā)明者何巧珍, 裴繼紅, 謝維信 申請(qǐng)人:深圳大學(xué)