本實(shí)用新型涉及圖像通信技術(shù)領(lǐng)域，具體是一種高清多相機(jī)全景立體成像系統(tǒng)及方法。

背景技術(shù)：

隨著相機(jī)技術(shù)的不斷發(fā)展，傳統(tǒng)的視頻監(jiān)控只能采用單相機(jī)對特定的方向進(jìn)行監(jiān)視，這樣很容易存在監(jiān)控死角，帶來較大的安全隱患。采用全景相機(jī)，對周圍環(huán)境進(jìn)行全向無死角監(jiān)視，大大的提高了監(jiān)控范圍，減小安全隱患，是下一代安防監(jiān)控的趨勢。

現(xiàn)有的全向視覺產(chǎn)品主要包括以下幾類：魚眼式、折反式、旋轉(zhuǎn)拼接式和多相機(jī)拼接式。其中，魚眼式和折反式全向視覺系統(tǒng)拍攝的圖像存在極大的幾何畸變，一方面導(dǎo)致圖像理解困難，另一方面導(dǎo)致圖像分辨率不一致，中間分辨率高、邊緣處分辨率大幅降低；旋轉(zhuǎn)拼接式拍攝的全向圖像質(zhì)量最高，但是由于其機(jī)械結(jié)構(gòu)復(fù)雜，獲取一景圖像所需拍攝和幾何校正時(shí)間較長，難以適應(yīng)移動(dòng)機(jī)器人實(shí)時(shí)的要求。多相機(jī)拼接方式獲取全景圖像，雖然能避免畸變，大大提高全景圖像分辨率，但會存在多幅圖像拼縫問題，并且由于多相機(jī)拍攝圖像帶來的數(shù)據(jù)量大，給視頻的壓縮和傳輸帶來巨大負(fù)擔(dān)，并且相機(jī)成本較高。

現(xiàn)有的全景相機(jī)基本上都只是獲取圖像，進(jìn)行簡單視頻監(jiān)控，不能對周圍環(huán)境進(jìn)行三維建模及三維量測，對環(huán)境建圖，實(shí)現(xiàn)對機(jī)器人的定位與導(dǎo)航。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型為了克服現(xiàn)有技術(shù)中存在的上述缺陷，提供了一種高清多相機(jī)全景立體成像系統(tǒng)及方法，采用6相機(jī)環(huán)形排列構(gòu)架，采用高清模擬相機(jī)，配備6路圖像采集卡，采集以環(huán)形框架為中心的360°環(huán)境圖像，并對圖像進(jìn)行壓縮傳輸，實(shí)現(xiàn)遠(yuǎn)端實(shí)時(shí)對周圍環(huán)境無死角監(jiān)控。另一方面主要是利用相機(jī)之間拍攝圖像的重疊區(qū)域以及聯(lián)合每兩幀圖像之間的重疊區(qū)域基于SFM的三維重建，以實(shí)現(xiàn)全景相機(jī)的周圍環(huán)境的三維重建功能。

為解決上述問題，本實(shí)用新型提出的高清多相機(jī)全景立體成像系統(tǒng)，包括：六個(gè)模擬相機(jī)模組、相機(jī)固定架、六路圖像采集卡、六個(gè)鏡頭、電源、主機(jī)、服務(wù)器、客戶端，所述模擬相機(jī)模組呈環(huán)形排列構(gòu)架在所述相機(jī)固定架上，所述圖像采集卡分別與所述模擬相機(jī)模組電性相連，所述鏡頭分別固定在所述模擬相機(jī)模組上，所述電源與模擬相機(jī)模組均電性相連，所述主機(jī)上安裝有圖像采集卡驅(qū)動(dòng)，采用圖像采集卡配套的SDK開發(fā)接口，編程同步獲取六個(gè)模擬相機(jī)模組的采集圖像，所述主機(jī)與服務(wù)器相連，所述服務(wù)器與客戶端相連。

上述技術(shù)方案中，所述模擬相機(jī)模組采用索尼super hard 1/3英寸CCD，額定電壓為12V，額定電流為50mA，有效像素為720(H)*576(V)。

上述技術(shù)方案中，所述電源的輸出電壓為12V，輸出電流為1A。

上述技術(shù)方案中，所述主機(jī)的CPU為酷睿雙核或以上，內(nèi)存等于或大于2G，硬盤等于或大于256G，主機(jī)的系統(tǒng)為Windows 10、windows7以及windows xp中的任意一種。

上述技術(shù)方案中，所述相機(jī)固定架包括六個(gè)環(huán)形分布的固定板，相鄰固定板之間呈120°固定相連，所述固定板的中心均設(shè)置有一相機(jī)安裝孔。

上述技術(shù)方案中，所述相機(jī)固定架采用3D打印機(jī)打印。

上述技術(shù)方案中，所述主機(jī)采用快速的jpeg壓縮編碼庫JPEG-turbo編碼，對獲取的圖像幀進(jìn)行壓縮編碼，所述服務(wù)器采用boost asio TCP進(jìn)行圖像傳輸，將壓縮后的圖像傳輸?shù)娇蛻舳?，所述客戶端采用對?yīng)的boost asio TCP接收壓縮圖像，并采用JPEG-turbo解碼顯示，boost asio TC是指boost庫中的TCP網(wǎng)絡(luò)通信接口。

本實(shí)用新型提出的基于高清多相機(jī)全景立體成像系統(tǒng)的高清多相機(jī)全景立體成像方法，包括以下步驟：

步驟一、通過全景相機(jī)獲取以環(huán)形框架為中心的360°環(huán)境圖像，并對圖像進(jìn)行壓縮傳輸；

步驟二、采用SFM算法對多相機(jī)從不同角度拍攝的圖像重疊區(qū)域進(jìn)行單幀全景圖像三維重建；

步驟三、對相鄰兩幀全景圖像進(jìn)行特征點(diǎn)匹配，獲得同名點(diǎn)，采用SFM算法進(jìn)行多幀全景圖像的三維重建，獲得多幀全景圖像的三維點(diǎn)云；

步驟四、根據(jù)單幀全景圖像中各個(gè)相機(jī)匹配獲得的同名點(diǎn)與多幀全景圖像匹配獲得的同名點(diǎn)進(jìn)行比較，進(jìn)而獲得單幀全景圖像的同名點(diǎn)對應(yīng)的到多幀全景圖像的同名點(diǎn)，找出同名點(diǎn)對應(yīng)的三維坐標(biāo)，解出單幀三維點(diǎn)云與多幀三維點(diǎn)云坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)單幀三維點(diǎn)云與多幀三維點(diǎn)云的點(diǎn)云融合；

步驟五、將全局的表面二維圖像分割成一個(gè)個(gè)較小的連續(xù)而不重疊的三角片面，貼到三維模型表面，實(shí)現(xiàn)全景圖像的三維模型表面渲染。

所述步驟二具體包括以下子步驟：

子步驟S21、首先采用SIFT算法對六個(gè)相機(jī)拍攝的六幅圖像提取出SIFT特征點(diǎn)，并對SIFT特征點(diǎn)采用SIFT特征描述，用于下一步的特征匹配；

子步驟S22、找出第一幅圖像中的特征點(diǎn)與第二幅圖像中對應(yīng)特征向量歐式距離最近的兩個(gè)特征點(diǎn)，計(jì)算最近距離與次近距離的比值，將所述比值與設(shè)定的比例閾值進(jìn)行對比，如果這個(gè)比值小于比例閾值，則這一對點(diǎn)為一對匹配點(diǎn)，否則不視為匹配點(diǎn)；

子步驟S23、利用同名像對的像素坐標(biāo)，根據(jù)公式x'^T Fx＝0求解出基礎(chǔ)矩陣F，再根據(jù)正規(guī)化系數(shù)矩陣還原基礎(chǔ)矩陣F；

子步驟S24、根據(jù)公式E＝K'^T FK以及事先標(biāo)定出的相機(jī)的內(nèi)部參數(shù)矩陣K和K’計(jì)算出本質(zhì)矩陣E；

子步驟S25、根據(jù)公式E＝T_×R，利用本質(zhì)矩陣分解得到旋轉(zhuǎn)參數(shù)R和平移參數(shù)T，根據(jù)P＝K[I|0]，P'＝K[R|T]得到相機(jī)的投影矩陣；

子步驟S26、獲得準(zhǔn)確的投影矩陣后，聯(lián)立方程x＝PX和x'＝P'X求解出X；其中x＝λ[u_i,v_i,1]^T，x'＝λ[u_i',v_i',1]^T，λ為比例系數(shù)。

所述子步驟S22中SIFT算法特征點(diǎn)匹配時(shí)使用KD樹加快匹配計(jì)算速度，并且采用RANSAC算法進(jìn)行優(yōu)化，去除粗匹配，精確匹配結(jié)果。

本實(shí)用新型與現(xiàn)有技術(shù)方案相比具有以下有益效果和優(yōu)點(diǎn)：

本實(shí)用新型不僅能夠獲取實(shí)時(shí)的高清全景圖像，實(shí)現(xiàn)基本的全景監(jiān)控功能，并且利用對相機(jī)之間的重疊區(qū)域進(jìn)行基于單幀全景圖像基于SFM算法的三維重建，進(jìn)而聯(lián)合相鄰兩幀或多幀圖像的重疊區(qū)域基于SFM算法的三維重建，實(shí)現(xiàn)對周圍環(huán)境全景立體感知，全景相機(jī)拍攝的圖像具有更高的分辨率，多幀之間重疊度極高，能獲取稠密點(diǎn)云，表面紋理渲染效果更加精細(xì)。

附圖說明

圖1是本實(shí)用新型中相機(jī)固定架的結(jié)構(gòu)示意圖。

圖2是本實(shí)用新型中由本質(zhì)矩陣分解得到的四種可能相機(jī)投影位姿示意圖。

圖中編號說明：1、固定板；2、安裝孔。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施例對本實(shí)用新型作進(jìn)一步的詳細(xì)描述：

本實(shí)施例中，本實(shí)用新型提出的高清多相機(jī)全景立體成像系統(tǒng)，包括：六個(gè)模擬相機(jī)模組、相機(jī)固定架、六路圖像采集卡、六個(gè)鏡頭、電源、主機(jī)、服務(wù)器、客戶端，模擬相機(jī)模組呈環(huán)形排列構(gòu)架在相機(jī)固定架上，圖像采集卡分別與模擬相機(jī)模組電性相連，鏡頭分別固定在模擬相機(jī)模組上，電源與模擬相機(jī)模組均電性相連，主機(jī)上安裝有圖像采集卡驅(qū)動(dòng)，采用圖像采集卡配套的SDK開發(fā)接口，編程同步獲取六個(gè)模擬相機(jī)模組的采集圖像，主機(jī)與服務(wù)器相連，服務(wù)器與客戶端相連。

模擬相機(jī)模組采用索尼super hard 1/3英寸CCD，額定電壓為12V，額定電流為50mA，有效像素為720(H)*576(V)。

電源的輸出電壓為12V，輸出電流為1A。

主機(jī)的CPU為酷睿雙核或以上，內(nèi)存等于或大于2G，硬盤等于或大于256G，主機(jī)的系統(tǒng)為Windows 10、windows7以及windows xp中的任意一種。

相機(jī)固定架包括六個(gè)環(huán)形分布的固定板1，相鄰固定板1之間呈120°固定相連，固定板1的中心均設(shè)置有一相機(jī)安裝孔2。

相機(jī)固定架采用3D打印機(jī)打印。

主機(jī)采用快速的jpeg壓縮編碼庫JPEG-turbo編碼，對獲取的圖像幀進(jìn)行壓縮編碼，服務(wù)器采用boost asio TCP進(jìn)行圖像傳輸，將壓縮后的圖像傳輸?shù)娇蛻舳?，客戶端采用對?yīng)的boost asio TCP接收壓縮圖像，并采用JPEG-turbo解碼顯示。

本實(shí)用新型提出的基于高清多相機(jī)全景立體成像系統(tǒng)的高清多相機(jī)全景立體成像方法，包括以下步驟：

步驟一、通過全景相機(jī)獲取以環(huán)形框架為中心的360°環(huán)境圖像，并對圖像進(jìn)行壓縮傳輸；

步驟二、采用SFM算法對多相機(jī)從不同角度拍攝的圖像重疊區(qū)域進(jìn)行單幀全景圖像三維重建；

步驟三、對相鄰兩幀全景圖像進(jìn)行特征點(diǎn)匹配，獲得同名點(diǎn)，采用SFM算法進(jìn)行多幀全景圖像的三維重建，獲得多幀全景圖像的三維點(diǎn)云；

步驟四、根據(jù)單幀全景圖像中各個(gè)相機(jī)匹配獲得的同名點(diǎn)與多幀全景圖像匹配獲得的同名點(diǎn)進(jìn)行比較，進(jìn)而獲得單幀全景圖像的同名點(diǎn)對應(yīng)的到多幀全景圖像的同名點(diǎn)，找出同名點(diǎn)對應(yīng)的三維坐標(biāo)，解出單幀三維點(diǎn)云與多幀三維點(diǎn)云坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)單幀三維點(diǎn)云與多幀三維點(diǎn)云的點(diǎn)云融合；

步驟五、將全局的表面二維圖像分割成一個(gè)個(gè)較小的連續(xù)而不重疊的三角片面，貼到三維模型表面，實(shí)現(xiàn)全景圖像的三維模型表面渲染。

步驟二具體包括以下子步驟：

子步驟S21、因六個(gè)相機(jī)拍攝的圖像之間具有較明顯的角度變化，需要采用具有旋轉(zhuǎn)不變形的特征，所以本實(shí)用新型采用的圖像特征提取方法是SIFT算法，首先采用SIFT算法對六個(gè)相機(jī)拍攝的六幅圖像提取出SIFT特征點(diǎn)，并對SIFT特征點(diǎn)采用SIFT特征描述，用于下一步的特征匹配；

子步驟S22、找出第一幅圖像中的特征點(diǎn)與第二幅圖像中對應(yīng)特征向量歐式距離最近的兩個(gè)特征點(diǎn)，計(jì)算最近距離與次近距離的比值，將所述比值與設(shè)定的比例閾值進(jìn)行對比，如果這個(gè)比值小于比例閾值，則這一對點(diǎn)為一對匹配點(diǎn)，否則不視為匹配點(diǎn)，降低這個(gè)閾值，SIFT算法提取出的匹配點(diǎn)會越來越少，但匹配點(diǎn)會更加穩(wěn)定。另外SIFT算法特征點(diǎn)匹配時(shí)使用KD樹加快匹配計(jì)算速度，并且采用RANSAC算法進(jìn)行優(yōu)化，去除粗匹配，精確匹配結(jié)果；

子步驟S23、利用同名像對的像素坐標(biāo)，根據(jù)公式x'^T Fx＝0求解出基礎(chǔ)矩陣F，再根據(jù)正規(guī)化系數(shù)矩陣還原基礎(chǔ)矩陣F，八點(diǎn)法計(jì)算基礎(chǔ)矩陣具體描述如下：

給定匹配點(diǎn)x(u,v,1)和x'(u',v',1)，均已轉(zhuǎn)換為其次坐標(biāo)。令則依據(jù)公式x'^T Fx＝0，可得：u'uf₁+u'vf₂+u'f₃+v'uf₄+v'vf₅+v'f₆+uf₇+vf₈+f₉＝0，其中f₁、f₂、f₃、f₄、f₅、f₆、f₇、f₈、f₉均為未知數(shù)，令fx＝[f₁,f₂,f₃,f₄,f₅,f₆,f₇,f₈,f₉]^T為未知數(shù)矩陣，令A(yù)＝[u'u,u'v,u',v'u,v'v,v',u,v,1]為系數(shù)矩陣，即是解方程A*fx＝0。當(dāng)匹配點(diǎn)數(shù)目大于或等于8時(shí)，即對系數(shù)矩陣A進(jìn)行奇異值分解A＝USV^T，取出V矩陣的最后一列，即令fv＝V(:,9)，利用列向量fv中的九個(gè)元素構(gòu)造一個(gè)3*3矩陣，令對矩陣Fv進(jìn)行奇異值分解，即Fv＝U_vS_vV_v^T，令列正交矩陣Sv的最后一個(gè)元素為零，以保證計(jì)算出的基礎(chǔ)矩陣行列式的值為零，即S_v(3,3)＝0。則可由獲得的Uv、Sv、Vv計(jì)算出基礎(chǔ)矩陣F，F(xiàn)＝U_vS_vV_v^T。

通常首先需對匹配點(diǎn)x和x’(至少包含8對匹配點(diǎn))進(jìn)行歸一化處理：首先對點(diǎn)集去中心化，將點(diǎn)集中心平移至原點(diǎn)；對點(diǎn)集進(jìn)行縮放處理，使其到遠(yuǎn)點(diǎn)的平均距離為分別對x和x’進(jìn)行歸一化處理，由此歸一化得到的歸一化矩陣TD和TD'，如公式

和

根據(jù)歸一化后的x和x’計(jì)算基礎(chǔ)矩陣F，最終需要將F去歸一化得到最終的基礎(chǔ)矩陣FT＝TD'*F*TD。

通過歸一化八點(diǎn)法計(jì)算基礎(chǔ)矩陣通常會引入RANSAC算法來求得較準(zhǔn)確地基礎(chǔ)矩陣。

子步驟S24、根據(jù)公式E＝K'^T FK以及事先標(biāo)定出的相機(jī)的內(nèi)部參數(shù)矩陣K和K’計(jì)算出本質(zhì)矩陣E；

子步驟S25、根據(jù)公式E＝T_×R，利用本質(zhì)矩陣分解得到旋轉(zhuǎn)參數(shù)R和平移參數(shù)T，根據(jù)P＝K[I|0]，P'＝K[R|T]得到相機(jī)的投影矩陣，在采用E進(jìn)行奇異值分解求解旋轉(zhuǎn)和平移參數(shù)時(shí)，采用的是SVD分解,分解公式為E＝T_×R和E＝USV^T，其中

由于是進(jìn)行的SVD分解所以無法判斷平移矩陣的正負(fù)，并且旋轉(zhuǎn)矩陣只是獲得的一種相對的旋轉(zhuǎn)量，旋轉(zhuǎn)方向亦無法確定，所以旋轉(zhuǎn)矩陣和平移矩陣均會產(chǎn)生兩種不同的分解結(jié)果：T＝U(:,3)或T＝-U(:,3)，R＝UWV^T或R＝UW^TV^T，其中

在獲得旋轉(zhuǎn)和平移參數(shù)后，通常是以其中最開始拍攝時(shí)相機(jī)的像空間輔助坐標(biāo)系為全局的世界坐標(biāo)系，將后來拍攝時(shí)相機(jī)的像空間輔助坐標(biāo)系轉(zhuǎn)換到最先拍攝時(shí)的像空間輔助坐標(biāo)系，其旋轉(zhuǎn)和平移量即為估計(jì)出的相對于最先拍攝時(shí)相機(jī)的旋轉(zhuǎn)和平移位姿變化參數(shù)。所以在獲得位姿參數(shù)后，令P＝K[I|0]，P'＝K[R|T]，而有E分解得到的旋轉(zhuǎn)和平移矩陣分別有兩種可能取值，所以構(gòu)造的投影矩陣就有四種可能，如圖2所示，其中只有(a)中的結(jié)果才能保證計(jì)算出來的三維點(diǎn)在相機(jī)C和C’的前方，才是正確的結(jié)果，所以通常依此來判斷計(jì)算出來的四種結(jié)果中那種結(jié)果是正確的。判斷方法通常是將同名點(diǎn)代入依次計(jì)算四種結(jié)果對應(yīng)的三維坐標(biāo)的Z值(深度值)，然后判斷在兩次拍攝中是否均大于0；

子步驟S26、獲得準(zhǔn)確的投影矩陣后，聯(lián)立方程x＝PX和x'＝P'X求解出X；其中x＝λ[u_i,v_i,1]^T，x'＝λ[u_i',v_i',1]^T，λ為比例系數(shù)，令P＝[p₁,p₂,p₃]^T，P'＝[p₁',p₂',p₃']^T，則有：和經(jīng)化簡可得：次方程中只有三個(gè)未知數(shù)，但有四個(gè)方程，即可用最小二乘法來求解X。令A(yù)為系數(shù)矩陣，即對A進(jìn)行歸一化處理，即利用每行除以該行的模，得到A_norm，將公式的求解問題轉(zhuǎn)化為求解歸一化系數(shù)矩陣A_norm^TA_norm的最小特征值和特征向量，對A_norm進(jìn)行奇異值分解，A_norm＝USV^T，則：X＝V(:,4)，至此我們已經(jīng)可以實(shí)現(xiàn)利用兩個(gè)不同視角拍攝圖像計(jì)算同名點(diǎn)的三維坐標(biāo)，三維坐標(biāo)是以第一次拍攝時(shí)相機(jī)的像空間輔助坐標(biāo)系為基準(zhǔn)的，要實(shí)現(xiàn)多幅序列圖的三維重建，即SFM算法，需要經(jīng)過迭代過程，迭代過程中不斷引入新的圖像，并且可引入RANSAC和相應(yīng)的優(yōu)化函數(shù)，排除錯(cuò)誤匹配點(diǎn)，求得更精確的三維模型。其具體算法如下：計(jì)算第一幅圖像與第二幅圖像的同名點(diǎn)M_1,2，第二幅圖像的投影矩陣P₂，同名點(diǎn)M_1,2對應(yīng)的的三維坐標(biāo)X_1,2；當(dāng)i大于等于3時(shí)，計(jì)算第i幅圖像與第i+1幅圖像的同名點(diǎn)M_i,i+1，找出M_i-1,i與M_i,i+1中圖像i共同的特征點(diǎn)S_i及S_i在X_i-1,i中對應(yīng)的三維坐標(biāo)XS_i，找出M_i,i+1中與S_i對應(yīng)的第i+1幅圖像的特征點(diǎn)MS_i+1，采用RANSAC計(jì)算XS_i投影成MS_i+1的投影矩陣P_i+1，即為第i+1幅圖像的投影矩陣，由第i幅圖像的投影矩陣P_i，即可計(jì)算出M_i,i+1中剩余的匹配點(diǎn)的三維坐標(biāo)X_i,i+1，更新三維點(diǎn)云，以此循環(huán)，直至所有圖像均已處理完畢。

由以上SFM算法可以由不同視角拍攝的圖像序列，得到重疊區(qū)域匹配點(diǎn)的三維點(diǎn)云，迭代過程中加入RANSAC可有效剔除誤匹配點(diǎn)的干擾，提高三維重建精度。

最后說明的是，以上實(shí)施例僅用以說明本實(shí)用新型的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對本實(shí)用新型進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本實(shí)用新型的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本實(shí)用新型技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本實(shí)用新型的權(quán)利要求范圍中。