本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻拼接方法及裝置。

背景技術(shù)：

隨著視頻監(jiān)控技術(shù)、農(nóng)業(yè)信息化技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)逐漸在農(nóng)業(yè)信息化方面得到了應(yīng)用。一般的視頻監(jiān)控技術(shù)多采用一個(gè)固定的攝像頭對(duì)單個(gè)場(chǎng)景進(jìn)行監(jiān)控，對(duì)于比較大的區(qū)域如羊場(chǎng)等，就需要20個(gè)以上的攝像頭才能覆蓋整個(gè)視場(chǎng)范圍，而多攝像機(jī)監(jiān)控需要各個(gè)攝像機(jī)的視場(chǎng)范圍具有一定的重疊區(qū)域，這就需要一種視頻拼接技術(shù)，將多個(gè)攝像機(jī)采集的分辨率有限的視頻通過計(jì)算機(jī)技術(shù)進(jìn)行拼接后形成一個(gè)高分辨率大視場(chǎng)視頻。而視頻是由幀圖像構(gòu)成的，所以視頻拼接歸根結(jié)底還是圖像的拼接。視頻拼接工作也是通過將視頻分解為幀圖像，對(duì)相應(yīng)的幀圖像進(jìn)行圖像融合，再將拼接后的幀圖像壓縮為視頻完成的。

普通的視頻拼接算法只能適應(yīng)小場(chǎng)景或者運(yùn)動(dòng)對(duì)象不是太多的情況，無法解決大場(chǎng)景(即比較大的區(qū)域)、大量運(yùn)動(dòng)對(duì)象的全景視頻流暢播放的問題。

鑒于此，如何對(duì)全景視頻進(jìn)行拼接，以實(shí)現(xiàn)大場(chǎng)景、大量運(yùn)動(dòng)對(duì)象的全景視頻的流暢播放成為目前需要解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

為解決上述的技術(shù)問題，本發(fā)明提供一種全景視頻拼接方法及裝置，可以對(duì)全景視頻進(jìn)行拼接，實(shí)現(xiàn)大場(chǎng)景、大量運(yùn)動(dòng)對(duì)象的全景視頻的流暢播放。

第一方面，本發(fā)明提供一種全景視頻拼接方法，包括：

獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像；

提取所述兩個(gè)視頻單幀圖像的重疊區(qū)域；

在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)；

將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)；

基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)；

將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配；

將所述目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取所述目標(biāo)區(qū)域的單幀全景圖像。

可選地，所述在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)，包括：

將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，每一子區(qū)域選取一對(duì)種子點(diǎn)。

可選地，所述每一子區(qū)域選取一對(duì)種子點(diǎn)，包括：

通過第一公式計(jì)算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對(duì)種子點(diǎn)q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計(jì)算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

可選地，所述將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)，包括：

通過第三公式，將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)(x,y)轉(zhuǎn)換為柱面坐標(biāo)(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}$

其中，f為視頻傳感器的焦距。

可選地，所述基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)，包括：

基于轉(zhuǎn)換后的柱面坐標(biāo)，通過第四公式匹配圖像塊d_x，d_y的種子點(diǎn)，獲得所述兩個(gè)視頻單幀圖像的特征點(diǎn)E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標(biāo)為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標(biāo)為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計(jì)算得到的，所述第五公式為：

w_i,j＝d_i,j/D

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標(biāo)為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計(jì)算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}.$

可選地，所述將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，包括：

通過第七公式，分別計(jì)算所述兩個(gè)視頻單幀圖像中第一幅圖像的每一個(gè)特征點(diǎn)與所述兩個(gè)視頻單幀圖像中第二幅圖像的各個(gè)特征點(diǎn)的預(yù)設(shè)大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對(duì)應(yīng)的所述第二幅圖像的特征點(diǎn)與所述最小的SSD所對(duì)應(yīng)的所述第一幅圖像的特征點(diǎn)相匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2$

其中，w為鄰域的預(yù)設(shè)大小，I₁為所述兩個(gè)視頻單幀圖像中第一幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值，I₂為所述兩個(gè)視頻單幀圖像中第二幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值。

第二方面，本發(fā)明提供一種全景視頻拼接裝置，包括：

獲取模塊，用于獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像；

第一提取模塊，用于提取所述兩個(gè)視頻單幀圖像的重疊區(qū)域；

選取模塊，用于在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)；

轉(zhuǎn)換模塊，用于將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)；

第二提取模塊，用于基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)；

第一匹配模塊，用于將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配；

第二匹配模塊，用于將所述目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取所述目標(biāo)區(qū)域的單幀全景圖像。

可選地，所述選取模塊，具體用于

將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，每一子區(qū)域選取一對(duì)種子點(diǎn)。

可選地，所述選取模塊，具體用于

將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，通過第一公式計(jì)算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對(duì)種子點(diǎn)q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計(jì)算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

可選地，所述轉(zhuǎn)換模塊，具體用于

通過第三公式，將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)(x,y)轉(zhuǎn)換為柱面坐標(biāo)(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}$

其中，f為視頻傳感器的焦距；

和/或，

所述第二提取模塊，具體用于

基于轉(zhuǎn)換后的柱面坐標(biāo)，通過第四公式匹配圖像塊d_x，d_y的種子點(diǎn)，獲得所述兩個(gè)視頻單幀圖像的特征點(diǎn)E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標(biāo)為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標(biāo)為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計(jì)算得到的，所述第五公式為：

w_i,j＝d_i,j/D

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標(biāo)為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計(jì)算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2};$

和/或，

所述第一匹配模塊，具體用于

通過第七公式，分別計(jì)算所述兩個(gè)視頻單幀圖像中第一幅圖像的每一個(gè)特征點(diǎn)與所述兩個(gè)視頻單幀圖像中第二幅圖像的各個(gè)特征點(diǎn)的預(yù)設(shè)大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對(duì)應(yīng)的所述第二幅圖像的特征點(diǎn)與所述最小的SSD所對(duì)應(yīng)的所述第一幅圖像的特征點(diǎn)相匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2$

其中，w為鄰域的預(yù)設(shè)大小，I₁為所述兩個(gè)視頻單幀圖像中第一幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值，I₂為所述兩個(gè)視頻單幀圖像中第二幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值。

由上述技術(shù)方案可知，本發(fā)明的全景視頻拼接方法及裝置，通過獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像，提取重疊區(qū)域，在重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)，將兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)，基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)提取兩個(gè)視頻單幀圖像的特征點(diǎn)，將兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將兩個(gè)視頻單幀圖像進(jìn)行匹配，將目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取目標(biāo)區(qū)域的單幀全景圖像，可以對(duì)全景視頻進(jìn)行拼接，實(shí)現(xiàn)大場(chǎng)景、大量運(yùn)動(dòng)對(duì)象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

附圖說明

圖1為本發(fā)明一實(shí)施例提供的全景視頻拼接方法的流程示意圖；

圖2為本發(fā)明一實(shí)施例提供的全景視頻拼接裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他的實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

應(yīng)說明的是，本發(fā)明實(shí)施例中全景視頻拼接是指將多幅在不同時(shí)刻、從不同視角或者由不同攝像頭獲得的視頻圖像經(jīng)過預(yù)處理、對(duì)齊然后無縫地融合在一起，從而得到一幅大視場(chǎng)、高分辨率圖像的處理過程，該圖像被稱為全景圖；種子點(diǎn)是指兩幅基準(zhǔn)圖像重疊區(qū)域的最高的紋理像素點(diǎn)；圖像的特征點(diǎn)是指圖像中具有明顯特征的并能把圖像中的物體標(biāo)識(shí)出的點(diǎn)。

圖1示出了本發(fā)明一實(shí)施例提供的全景視頻拼接方法的流程示意圖，如圖1所示，本實(shí)施例的全景視頻拼接方法如下所述。

101、獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像。

在具體應(yīng)用中，所述視頻傳感器可以優(yōu)選為攝像頭。

102、提取所述兩個(gè)視頻單幀圖像的重疊區(qū)域。

103、在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)。

在具體應(yīng)用中，所述步驟103可以將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，每一子區(qū)域選取一對(duì)種子點(diǎn)。

舉例來說，所述預(yù)設(shè)數(shù)量可以為4、或8、或16等，本實(shí)施例并不對(duì)其進(jìn)行限制，也可以為其他數(shù)量。

進(jìn)一步地，所述每一子區(qū)域選取一對(duì)種子點(diǎn)，可以包括：

通過第一公式計(jì)算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對(duì)種子點(diǎn)q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3---\left(1\right)$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計(jì)算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2---\left(2\right)$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

104、將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)。

可以理解的是，通過將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)，可以使目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器所采集的兩個(gè)視頻單幀圖像投影在同一柱面上。

在具體應(yīng)用中，所述步驟104可以具體包括：

通過第三公式，將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)(x,y)轉(zhuǎn)換為柱面坐標(biāo)(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}---\left(3\right)$

其中，f為視頻傳感器的焦距。

具體地，所述第三公式的推導(dǎo)過程包括：

世界坐標(biāo)P(X,Y,Z)轉(zhuǎn)換為柱坐標(biāo)(θ,v)的方程式如下：

其中θ表示視頻傳感器的搖頭角度，v表示視頻傳感器的掃描線；

由于視頻傳感器采集的圖像坐標(biāo)是屏幕坐標(biāo)(x,y)，假設(shè)焦距為f，

根據(jù)視頻傳感器的對(duì)應(yīng)的方程式x＝f·X/Z,y＝f·Y/Z

將以上兩個(gè)方程組聯(lián)合求解，可以得到屏幕坐標(biāo)轉(zhuǎn)換為柱坐標(biāo)的轉(zhuǎn)換公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}.$

105、基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)。

可以理解的是，圖像的特征點(diǎn)是圖像中具有明顯特征的并能把圖像中的物體標(biāo)識(shí)出的點(diǎn)。通過提取特征點(diǎn)，然后用特征點(diǎn)來標(biāo)識(shí)圖像中的對(duì)象，可以減少圖像的存儲(chǔ)量，在視頻拼接這種每秒多幀的圖像中尤為有用。特征點(diǎn)的特點(diǎn)是它們不會(huì)隨著圖像的旋轉(zhuǎn)、縮放、投影等操作而改變的，所以通過提取多幅視頻圖像中的特征點(diǎn)，并找出對(duì)應(yīng)的特征點(diǎn)可以實(shí)現(xiàn)多幅圖像配準(zhǔn)，形成全景圖像。

在具體應(yīng)用中，所述步驟105可以具體包括：

基于轉(zhuǎn)換后的柱面坐標(biāo)，通過第四公式匹配圖像塊d_x，d_y的種子點(diǎn)，獲得所述兩個(gè)視頻單幀圖像的特征點(diǎn)E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}---\left(4\right)$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標(biāo)為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標(biāo)為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計(jì)算得到的，所述第五公式為：

w_i,j＝d_i,j/D (5)

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標(biāo)為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計(jì)算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}---\left(6\right)$

可以理解的是，基于轉(zhuǎn)換后的柱面坐標(biāo)，通過第四公式匹配圖像塊d_x，d_y的種子點(diǎn)，獲得所述兩個(gè)視頻單幀圖像的特征點(diǎn)E(d_x,d_y)的算法是帶權(quán)的塊匹配算法，這里考慮了視頻傳感器旋轉(zhuǎn)而產(chǎn)生的圖像扭曲。

106、將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配。

在具體應(yīng)用中，所述步驟106中的“將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配”，可以具體包括：

通過第七公式，分別計(jì)算所述兩個(gè)視頻單幀圖像中第一幅圖像的每一個(gè)特征點(diǎn)與所述兩個(gè)視頻單幀圖像中第二幅圖像的各個(gè)特征點(diǎn)的預(yù)設(shè)大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對(duì)應(yīng)的所述第二幅圖像的特征點(diǎn)與所述最小的SSD所對(duì)應(yīng)的所述第一幅圖像的特征點(diǎn)相匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2---\left(7\right)$

其中，w為鄰域的預(yù)設(shè)大小，I₁為所述兩個(gè)視頻單幀圖像中第一幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值，I₂為所述兩個(gè)視頻單幀圖像中第二幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值。

可以理解的是，上述是以圖像的每一個(gè)特征點(diǎn)為中心，將其w大小的鄰域窗口的像素值作為該特征點(diǎn)的描述符，通過第七公式，分別計(jì)算所述兩個(gè)視頻單幀圖像中第一幅圖像的每一個(gè)特征點(diǎn)與所述兩個(gè)視頻單幀圖像中第二幅圖像的各個(gè)特征點(diǎn)的預(yù)設(shè)大小鄰域的像素值差的平方和SSD，選取最小的SSD，所述最小的SSD所對(duì)應(yīng)的所述第二幅圖像的特征點(diǎn)與所述最小的SSD所對(duì)應(yīng)的所述第一幅圖像的特征點(diǎn)相匹配。該方法直接利用圖像的灰度信息值，是進(jìn)行特征點(diǎn)圖像匹配的一種高效可行的方法。

107、將所述目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取所述目標(biāo)區(qū)域的單幀全景圖像。

應(yīng)說明的是，本實(shí)施例的全景視頻拼接方法，可以應(yīng)用于羊場(chǎng)等區(qū)域范圍比較大、運(yùn)動(dòng)對(duì)象比較多的場(chǎng)景。以羊場(chǎng)為例，羊場(chǎng)的羊圈至少有30多個(gè)，總面積能達(dá)到3000平米以上，羊只眾多，利用本實(shí)施例的全景視頻拼接方法可以將一棟羊場(chǎng)內(nèi)部的30多個(gè)攝像頭采集的視頻拼接成覆蓋整棟羊舍的大分辨率全景視頻。

本實(shí)施例的全景視頻拼接方法，通過獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像，提取重疊區(qū)域，在重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)，將兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)，基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)提取兩個(gè)視頻單幀圖像的特征點(diǎn)，將兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將兩個(gè)視頻單幀圖像進(jìn)行匹配，將目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取目標(biāo)區(qū)域的大分辨率單幀全景圖像，可以對(duì)全景視頻進(jìn)行拼接，實(shí)現(xiàn)大場(chǎng)景、大量運(yùn)動(dòng)對(duì)象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

圖2示出了本發(fā)明一實(shí)施例提供的全景視頻拼接裝置的結(jié)構(gòu)示意圖，如圖2所示，本實(shí)施例的全景視頻拼接裝置，包括：獲取模塊21、第一提取模塊22、選取模塊23、轉(zhuǎn)換模塊24、第二提取模塊25、第一匹配模塊26和第二匹配模塊27；其中：

獲取模塊21用于獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像；

第一提取模塊22用于提取所述兩個(gè)視頻單幀圖像的重疊區(qū)域；

選取模塊23用于在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)；

轉(zhuǎn)換模塊24用于將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)；

第二提取模塊25用于基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)；

第一匹配模塊26用于將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配；

第二匹配模塊27用于將所述目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取所述目標(biāo)區(qū)域的單幀全景圖像。

在具體應(yīng)用中，所述選取模塊23，可具體用于

將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，每一子區(qū)域選取一對(duì)種子點(diǎn)。

舉例來說，所述預(yù)設(shè)數(shù)量可以為4、或8、或16等，本實(shí)施例并不對(duì)其進(jìn)行限制，也可以為其他數(shù)量。

進(jìn)一步地，所述選取模塊23，可具體用于

將所述重疊區(qū)域劃分為預(yù)設(shè)數(shù)量個(gè)子區(qū)域，通過第一公式計(jì)算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對(duì)種子點(diǎn)q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3---\left(1\right)$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計(jì)算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2---\left(2\right)$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

在具體應(yīng)用中，所述轉(zhuǎn)換模塊24，可具體用于

通過第三公式，將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)(x,y)轉(zhuǎn)換為柱面坐標(biāo)(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}---\left(3\right)$

其中，f為視頻傳感器的焦距。

在具體應(yīng)用中，所述第二提取模塊25，可具體用于

基于轉(zhuǎn)換后的柱面坐標(biāo)，通過第四公式匹配圖像塊d_x，d_y的種子點(diǎn)，獲得所述兩個(gè)視頻單幀圖像的特征點(diǎn)E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}---\left(4\right)$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標(biāo)為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標(biāo)為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計(jì)算得到的，所述第五公式為：

w_i,j＝d_i,j/D (5)

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標(biāo)為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計(jì)算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}---\left(6\right)$

在具體應(yīng)用中，所述第一匹配模塊26，可具體用于

通過第七公式，分別計(jì)算所述兩個(gè)視頻單幀圖像中第一幅圖像的每一個(gè)特征點(diǎn)與所述兩個(gè)視頻單幀圖像中第二幅圖像的各個(gè)特征點(diǎn)的預(yù)設(shè)大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對(duì)應(yīng)的所述第二幅圖像的特征點(diǎn)與所述最小的SSD所對(duì)應(yīng)的所述第一幅圖像的特征點(diǎn)相匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2---\left(7\right)$

其中，w為鄰域的預(yù)設(shè)大小，I₁為所述兩個(gè)視頻單幀圖像中第一幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值，I₂為所述兩個(gè)視頻單幀圖像中第二幅圖像的特征點(diǎn)的預(yù)設(shè)大小鄰域內(nèi)像素的灰度值。

本實(shí)施例的全景視頻拼接裝置，可以應(yīng)用于羊場(chǎng)等區(qū)域范圍比較大、運(yùn)動(dòng)對(duì)象比較多的場(chǎng)景，通過獲取模塊獲取目標(biāo)區(qū)域內(nèi)相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像，第一提取模塊提取所述兩個(gè)視頻單幀圖像的重疊區(qū)域，選取模塊在所述重疊區(qū)域選取預(yù)設(shè)數(shù)量對(duì)種子點(diǎn)，轉(zhuǎn)換模塊將所述兩個(gè)視頻單幀圖像的坐標(biāo)由屏幕坐標(biāo)轉(zhuǎn)換為柱面坐標(biāo)，第二提取模塊基于轉(zhuǎn)換后的柱面坐標(biāo)，根據(jù)選取的種子點(diǎn)，提取所述兩個(gè)視頻單幀圖像的特征點(diǎn)，第一匹配模塊將所述兩個(gè)視頻單幀圖像的所有特征點(diǎn)進(jìn)行匹配，進(jìn)而將所述兩個(gè)視頻單幀圖像進(jìn)行匹配，第二匹配模塊將所述目標(biāo)區(qū)域內(nèi)所有相鄰兩個(gè)視頻傳感器采集的兩個(gè)視頻單幀圖像進(jìn)行匹配，獲取所述目標(biāo)區(qū)域的大分辨率單幀全景圖像，可以對(duì)全景視頻進(jìn)行拼接，實(shí)現(xiàn)大場(chǎng)景、大量運(yùn)動(dòng)對(duì)象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

本實(shí)施例的全景視頻拼接裝置，可以用于執(zhí)行前述圖1所示方法實(shí)施例的技術(shù)方案，其實(shí)現(xiàn)原理和技術(shù)效果類似，此處不再贅述。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。術(shù)語(yǔ)“上”、“下”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

本發(fā)明的說明書中，說明了大量具體細(xì)節(jié)。然而能夠理解的是，本發(fā)明的實(shí)施例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說明書的理解。類似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開的方法解釋呈反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。因此，遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。本發(fā)明并不局限于任何單一的方面，也不局限于任何單一的實(shí)施例，也不局限于這些方面和/或?qū)嵤├娜我饨M合和/或置換。而且，可以單獨(dú)使用本發(fā)明的每個(gè)方面和/或?qū)嵤├蛘吲c一個(gè)或更多其他方面和/或其實(shí)施例結(jié)合使用。

最后應(yīng)說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當(dāng)中。