本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)和計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種可共光心的攝像機(jī)裝置、全景無縫拼接組件及方法。
背景技術(shù)：
近年來，虛擬現(xiàn)實(shí)技術(shù)熱潮席卷全球，它可以被廣泛應(yīng)用于娛樂、教育、通訊、科研、軍事、醫(yī)療等多個(gè)行業(yè)，不僅帶來了大規(guī)模的技術(shù)革命，而且改變了人們的思維習(xí)慣和生活方式。全球各大公司紛紛進(jìn)軍虛擬現(xiàn)實(shí)領(lǐng)域，大批創(chuàng)業(yè)團(tuán)隊(duì)也涌入了虛擬現(xiàn)實(shí)行業(yè)，出現(xiàn)了各式各樣的虛擬現(xiàn)實(shí)設(shè)備。但是，優(yōu)質(zhì)的虛擬現(xiàn)實(shí)內(nèi)容依然十分缺乏，這使得虛擬現(xiàn)實(shí)技術(shù)空有一身本領(lǐng)卻無用武之地。
全景視頻是虛擬現(xiàn)實(shí)的主要內(nèi)容之一。目前，用于拍攝全景視頻的多個(gè)攝像機(jī)大都沒有共光心，所以拍攝的各個(gè)視頻之間存在著視差，導(dǎo)致拼接而成的全景視頻并非完全無縫的。小的視差會(huì)導(dǎo)致圖像模糊，大的視差則會(huì)出現(xiàn)對不齊和重影的問題。特別地，當(dāng)有運(yùn)動(dòng)物體穿過全景視頻的拼接縫時(shí)，這些問題會(huì)變得更加嚴(yán)重，給用戶帶來非常糟糕的體驗(yàn)。
以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價(jià)本申請的新穎性和創(chuàng)造性。
技術(shù)實(shí)現(xiàn)要素：
為解決上述技術(shù)問題，本發(fā)明提出一種可共光心的攝像機(jī)裝置、全景無縫拼接組件及方法，可以使得多個(gè)攝像機(jī)的光心重疊在一起，從而拍攝無視差的視頻，進(jìn)而進(jìn)行無縫的全景拼接。
為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：
本發(fā)明公開了一種可共光心的攝像機(jī)裝置，包括攝像機(jī)、第一平面鏡和第二平面鏡，所述第一平面鏡和第二平面鏡的鏡面相互平行，均垂直于所述攝像機(jī)的主光軸；其中：所述第一平面鏡位于所述攝像機(jī)的前方的預(yù)設(shè)距離處，鏡面朝向所述攝像機(jī)；所述第二平面鏡位于所述攝像機(jī)的鏡頭位置處，鏡面朝向所述第一平面鏡，在所述第二平面鏡上設(shè)有孔洞，用于供所述攝像機(jī)拍攝圖像。
優(yōu)選地，所述第一平面鏡的鏡面大小剛好完全覆蓋所述攝像機(jī)的成像的視野。
優(yōu)選地，所述第二平面鏡的鏡面大小完全覆蓋所述攝像機(jī)通過所述第一平面鏡反射所拍攝的視野。
優(yōu)選地，所述孔洞設(shè)置在所述第二平面鏡的中心處，所述孔洞的尺寸大于或等于所述攝像機(jī)的主透鏡的尺寸。
優(yōu)選地，所述第二平面鏡的背面緊貼所述攝像機(jī)的鏡頭位置處，所述孔洞的尺寸為剛好不遮擋所述攝像機(jī)的拍攝視野。
本發(fā)明還公開了一種全景無縫拼接組件，包括多個(gè)上述的攝像機(jī)裝置，多個(gè)所述攝像機(jī)裝置背對設(shè)置圍成一個(gè)圈，各個(gè)所述攝像機(jī)裝置中的所述攝像機(jī)的光心到所述圈的中心的距離分別等于相應(yīng)的所述攝像機(jī)的光心到所述第一平面鏡的距離與所述第一平面鏡到所述第二平面鏡的距離之和。
優(yōu)選地，包括5～10個(gè)所述攝像機(jī)裝置。
優(yōu)選地，各個(gè)所述攝像機(jī)裝置中的所述攝像機(jī)的光心位于同一個(gè)圓上，且各個(gè)所述攝像機(jī)分別等間距排列。
本發(fā)明另外還公開了一種全景無縫拼接方法，包括以下步驟：
s1：采用上述的全景無縫拼接組件拍攝視頻，對所述全景無縫拼接組件中的各個(gè)所述攝像機(jī)裝置拍攝的視頻的第一幀分別進(jìn)行特征提取與特征匹配；
s2：對各個(gè)視頻的第一幀進(jìn)行單應(yīng)性對齊，分別計(jì)算出各個(gè)所述攝像機(jī)裝置的參數(shù)；
s3：根據(jù)各個(gè)所述攝像機(jī)裝置的參數(shù)，分別將各個(gè)攝像機(jī)裝置拍攝的圖像投影至以所述圈的中心為球心的球面上；
s4：對投影后的圖像進(jìn)行融合，將多個(gè)圖像融合為單個(gè)全景圖像；
重復(fù)步驟s3和步驟s4，依次投影和融合每一幀圖像，得到無縫的全景圖像幀，生成無縫的全景視頻。
優(yōu)選地，步驟s1中具體包括：采用sift、surf或orb特征提取算法，提取出各個(gè)所述攝像機(jī)裝置拍攝的視頻的第一幀圖像的特征點(diǎn)，并對各個(gè)視頻的第一幀圖像的特征點(diǎn)進(jìn)行匹配；優(yōu)選地，步驟s4中對投影后的圖像進(jìn)行融合采用多頻段融合方法。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明公開的可共光心的攝像機(jī)裝置通過在攝像機(jī)的前方和鏡頭位置處分別設(shè)置相互平行的第一平面鏡和第二平面鏡，使得攝像機(jī)的光心通過兩次反射移動(dòng)至攝像機(jī)的物理尺寸以外，從而使得多個(gè)攝像機(jī)的光心重合成為可能，進(jìn)而可以在此基礎(chǔ)上形成本發(fā)明的基于多個(gè)攝像機(jī)共光心的全景無縫拼接組件，讓該全景無縫拼接組件中的各個(gè)攝像機(jī)拍攝的視頻之間不會(huì)存在視差，并且擁有共同的重疊區(qū)域，可以進(jìn)行無縫拼接，并且實(shí)現(xiàn)拼接后重疊區(qū)域處沒有模糊或重影問題，拼接縫處也沒有對不齊的問題，大大改善全景視頻的拼接效果；更進(jìn)一步實(shí)現(xiàn)拍攝無視差的視頻，進(jìn)而進(jìn)行無縫的全景拼接。與此同時(shí)，通過基于攝像機(jī)裝置的全景無縫拼接組件拍攝的多個(gè)圖像之間沒有視差，無需進(jìn)行接縫尋找等步驟，可以提高拼接速度，進(jìn)而提高全景視頻的幀率，從而可以提升虛擬現(xiàn)實(shí)的體驗(yàn)。
附圖說明
圖1是本發(fā)明優(yōu)選實(shí)施例的可共光心的攝像機(jī)裝置的結(jié)構(gòu)示意圖；
圖2是圖1中攝像機(jī)的圖像傳感器的非中心區(qū)域的成像光路示意圖；
圖3是圖1中攝像機(jī)的圖像傳感器的非中心區(qū)域的成像光路的等效圖；
圖4是圖1中攝像機(jī)的圖像傳感器的中心區(qū)域的成像光路示意圖；
圖5是本發(fā)明優(yōu)選實(shí)施例的全景無縫拼接組件的結(jié)構(gòu)示意圖；
圖6是本發(fā)明優(yōu)選實(shí)施例的全景無縫拼接方法的流程圖。
具體實(shí)施方式
下面對照附圖并結(jié)合優(yōu)選的實(shí)施方式對本發(fā)明作進(jìn)一步說明。
如圖1所示，是本發(fā)明優(yōu)選實(shí)施例的可共光心的攝像機(jī)裝置的結(jié)構(gòu)示意圖，該攝像機(jī)裝置包括攝像機(jī)a1、第一平面鏡a2、第二平面鏡a3，第一平面鏡a2和第二平面鏡a3相互平行，均垂直于攝像機(jī)a1的主光軸，其中：第一平面鏡a2位于攝像機(jī)a1的前方的預(yù)設(shè)距離處，其鏡面朝向攝像機(jī)a1；第二平面鏡a3位于攝像機(jī)a1的鏡頭位置處，其鏡面朝向第一平面鏡a2，在第二平面鏡a3上開設(shè)有孔洞，用于供攝像機(jī)a1拍攝圖像。
進(jìn)一步地，第一平面鏡a2的鏡面大小剛好完全覆蓋攝像機(jī)a1的成像的視野范圍，也就是說，進(jìn)入攝像機(jī)a1內(nèi)部進(jìn)行成像的光線只能來自于第一平面鏡a2反射的光線。第二平面鏡a3的鏡面大小完全覆蓋攝像機(jī)a1通過第一平面鏡a2反射所拍攝的視野，也就是說，進(jìn)入攝像機(jī)a1內(nèi)部進(jìn)行成像的光線只能是經(jīng)過第二平面鏡a3和第一平面鏡a2兩次反射的光線；其中第二平面鏡a3上的孔洞開設(shè)在其中心處，該孔洞的尺寸越小越小，以不遮擋攝像機(jī)a1的拍攝視野為前提，其中第二平面鏡a3的背面可以緊貼在攝像機(jī)a1的鏡頭位置處，孔洞的尺寸可以等于或稍大于攝像機(jī)a1的主透鏡的尺寸。
攝像機(jī)a1的光心位于主透鏡的中心，在不采用特殊裝置的情況下是無法使得多個(gè)攝像機(jī)的光心重疊在一起的，而且，由于攝像機(jī)的感光元件具有一定的大小，只能對一定視野范圍進(jìn)行成像。而本發(fā)明優(yōu)選實(shí)施例中的可共光心的攝像機(jī)裝置中的攝像機(jī)a1經(jīng)過兩個(gè)平面鏡的反射，相當(dāng)于移動(dòng)至正后方進(jìn)行拍攝，讓攝像機(jī)a1的光心往后移，從而可以使得多個(gè)攝像機(jī)能夠同時(shí)位于空間中同一點(diǎn)對多個(gè)不同方向進(jìn)行拍攝，使多路視頻的無縫拼接成為可能。
如圖2所示，光線經(jīng)過兩次鏡面反射，在攝像機(jī)a1的圖像傳感器a5的非中心區(qū)域上進(jìn)行成像，其中，經(jīng)過第一平面鏡a2的邊緣反射的光線剛好落于圖像傳感器a5的邊緣，即第一平面鏡a2剛好完全覆蓋了攝像機(jī)a1的拍攝視野。凸透鏡a4代表攝像機(jī)a1的主透鏡，攝像機(jī)a1的光心位于凸透鏡a4的中心，第二平面鏡a3的所有入射光線的延長線剛好相交于一點(diǎn)，這正好是攝像機(jī)a1的光心移動(dòng)至正后方的位置，即為虛擬光心。
如圖3所示，移開第一平面鏡a2和第二平面鏡a3，將凸透鏡a4移動(dòng)至后方的虛擬光心的位置處，同時(shí)保持圖像傳感器a5與凸透鏡a4的相對位置不變。和圖2對比可以看出，圖像傳感器a5的非中心區(qū)域接收的光線與圖2中的完全一致，所成的像也完全一致；也就是說，第一平面鏡a2和第二平面鏡a3的作用正是將攝像機(jī)a1移動(dòng)到正后方的虛擬光心的位置處進(jìn)行拍攝。
如圖4所示，圖像傳感器a5的中心區(qū)域接收的光線，則經(jīng)過多于兩次的鏡面反射，越靠近圖像傳感器a5中心的光線，反射的次數(shù)越多，可能會(huì)出現(xiàn)德羅斯特效應(yīng)；而由于中心區(qū)域不是相鄰攝像機(jī)的重疊區(qū)域，因此不會(huì)對拼接產(chǎn)生影響。
結(jié)合圖1至圖4，攝像機(jī)a1的光心通過兩次鏡面反射移動(dòng)至正后方的虛擬光心處，從成像原理可以得出，攝像機(jī)a1的光心到虛擬光心的距離等于攝像機(jī)a1的光心到第一平面鏡a2的距離與第一平面鏡a2到第二平面鏡a3的距離之和。
如圖5所示，本發(fā)明的全景無縫拼接組件包括多個(gè)上述的攝像機(jī)裝置，多個(gè)攝像機(jī)裝置背對著圍成一個(gè)圈，各個(gè)攝像機(jī)裝置的虛擬光心均位于該圈的中心處，即各個(gè)攝像機(jī)裝置中的攝像機(jī)的光心到該圈的中心的距離分別等于相應(yīng)的攝像機(jī)的光心到第一平面鏡的距離與第一平面鏡到第二平面鏡的距離之和，從而使得各個(gè)攝像機(jī)裝置共光心設(shè)置。
進(jìn)一步，各個(gè)攝像機(jī)裝置中的攝像機(jī)的光心位于同一個(gè)圓上，通過調(diào)整每組平面鏡之間的距離，使各個(gè)攝像機(jī)裝置的光心后移的距離等于該圓的半徑大小，即可使得所有攝像機(jī)裝置的虛擬光心位于該圓的圓心(即前述的圈的中心)上，此時(shí)，相當(dāng)于所述攝像機(jī)移動(dòng)至該圓心處對多個(gè)不同方向進(jìn)行拍攝，從而獲得多路無視差的視頻。在一些實(shí)施例中，該全景無縫拼接組件可以包括5～10個(gè)攝像機(jī)裝置，各個(gè)攝像機(jī)裝置分別等間距排列。
在圖5所示的硬件裝置保證輸入視頻質(zhì)量的基礎(chǔ)上，本發(fā)明優(yōu)選實(shí)施例公開了一種全景無縫拼接方法，如圖6所示，包括以下步驟：
s1：采用如圖5所示的全景無縫拼接組件拍攝視頻，對全景無縫拼接組件中的各個(gè)攝像機(jī)裝置拍攝的視頻的第一幀(首幀)進(jìn)行特征提取與特征匹配，具體地，可以采用sift(尺寸不變特征變換)、surf(加速穩(wěn)健特征)或orb特征提取算法，提取出各個(gè)所述攝像機(jī)裝置拍攝的視頻的第一幀圖像的特征點(diǎn)，并對各個(gè)視頻的第一幀圖像的特征點(diǎn)進(jìn)行匹配；
s2：對各個(gè)視頻的第一幀(首幀)進(jìn)行單應(yīng)性對齊，具體地，使用一個(gè)全局的單應(yīng)性變換矩陣，將匹配上的特征點(diǎn)進(jìn)行對齊，從而計(jì)算出各個(gè)攝像機(jī)裝置的內(nèi)參數(shù)和外參數(shù)；
s3：根據(jù)各個(gè)攝像機(jī)裝置的內(nèi)參數(shù)和外參數(shù)，分別將各個(gè)攝像機(jī)裝置拍攝的圖像投影至以虛擬光心為球心的球面上，由于各個(gè)攝像機(jī)裝置已經(jīng)共光心了，所以各攝像機(jī)裝置拍攝的圖像將會(huì)投影至同一球面上，并且是無視差的；
s4：對投影后的圖像進(jìn)行融合，將多個(gè)圖像融合為單個(gè)全景圖像，具體地，可以采用多頻段融合方法，由于各圖像之間是無視差的，所以融合而成的全景圖也是無縫的；
重復(fù)步驟s3和步驟s4，依次投影和融合每一幀圖像，得到無縫的全景圖像幀，進(jìn)而生成無縫的全景視頻。
采用圖5所示的全景無縫拼接組件拍攝的圖像視頻經(jīng)過上述步驟后合成的全景圖像或視頻是完全無縫的，其中由于多個(gè)圖像之間沒有視差，無需進(jìn)行接縫尋找等步驟，從而可以提高拼接速度，進(jìn)而提高全景視頻的幀率，這對虛擬現(xiàn)實(shí)的體驗(yàn)至關(guān)重要。
本發(fā)明的可共光心的攝像機(jī)裝置通過在攝像機(jī)的前方和鏡頭位置處增加一組平面鏡，使得攝像機(jī)的光心后移至攝像機(jī)的物理尺寸以外，從而使得多個(gè)攝像機(jī)的光心重合成為可能，進(jìn)而設(shè)計(jì)了一種共光心的全景無縫拼接組件。由于共光心的全景無縫拼接組件獲取的視頻具有無視差的優(yōu)點(diǎn)，所以不僅可以改善全景視頻的拼接效果，獲得無縫的全景視頻，而且可以簡化視頻拼接的算法，提高視頻拼接的速度和全景視頻的幀率。
以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。