本發(fā)明涉及攝像技術(shù)領(lǐng)域，具體是一種用靜態(tài)和動態(tài)攝像機相結(jié)合對運動物體逐幀三維重構(gòu)方法。

背景技術(shù)：

現(xiàn)有的視頻節(jié)目主要通過平面顯示器來播放，通過佩戴3D眼鏡播放3D視頻可實現(xiàn)3D視覺效果，但其視角和機位是由節(jié)目制作方設(shè)定的，用戶只能被動接受固定機位和鏡頭所拍攝的視頻內(nèi)容?，F(xiàn)有技術(shù)中，傳統(tǒng)的視頻錄播/直播系統(tǒng)通過導(dǎo)播選擇拍攝機位來切換不同的視角。

近幾年來，隨著虛擬現(xiàn)實技術(shù)的普及，虛擬現(xiàn)實視頻節(jié)目也在逐漸普及，用戶通過佩戴VR頭戴顯示器，通過將虛擬攝像頭與VR頭戴顯示器的角度同步一致的方法，可以實現(xiàn)類似于環(huán)幕效果的沉浸式視頻體驗。但這種VR全景視頻的體驗依然是由一臺或多臺攝影機，在某一個固定位置向不同方向所拍攝的視頻拼接而成，用戶只能在一個固定的觀看位置(viewpoint)觀看視頻內(nèi)容。

無論是普通的視頻節(jié)目還是VR視頻節(jié)目，均無法提供給用戶全方位的沉浸式的臨場體驗，普通視頻節(jié)目只能讓用戶通過屏幕窗口觀看，而VR視頻節(jié)目也只能夠讓用戶在固定的觀看位置(viewpoint)來觀看，這樣的視頻技術(shù)無法讓用戶產(chǎn)生真正的身臨其境的現(xiàn)場感，通過現(xiàn)有的這些方式觀看節(jié)目無法全面地獲得現(xiàn)場的信息。而普通的基于多個固定位置和固定角度的攝像機的三維重構(gòu)方案無法對重點區(qū)域和非重點區(qū)域進行區(qū)分（例如足球場上帶球運動的球員所在位置），也無法對重點區(qū)域進行追蹤拍攝獲取高清數(shù)據(jù)，因此靜態(tài)相陣列的三維重構(gòu)方案在重點區(qū)域的分辨率和重構(gòu)精度與本方案有很大差距。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種用靜態(tài)和動態(tài)攝像機相結(jié)合對運動物體逐幀三維重構(gòu)方法，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種用靜態(tài)和動態(tài)攝像機相結(jié)合對運動物體逐幀三維重構(gòu)方法，包括如下步驟：

（1）首先在節(jié)目拍攝區(qū)域周圍部署靜態(tài)相機陣列，相機捕捉預(yù)先固定角度和方向的節(jié)目拍攝區(qū)域中圖像數(shù)據(jù),同時，還在節(jié)目拍攝區(qū)域周圍部署動態(tài)相機陣列，相機可在拍攝過程中遙控調(diào)整方向和鏡頭參數(shù)捕捉場上的圖像數(shù)據(jù)，相機所拍攝到的圖像每一幀都實時地傳遞給中央計算設(shè)備；

（2）中央計算設(shè)備以靜態(tài)相機陣列在同一時間內(nèi)所拍攝到的多幅圖像為一幀，進行三維重構(gòu)，生成拍攝現(xiàn)場在某一時刻的點云或者三維模型及貼圖，接著中央計算設(shè)備按照設(shè)定的頻率重復(fù)地進行三維重構(gòu)，得到點云數(shù)據(jù)；

（3）中央計算設(shè)備根據(jù)上述步驟（2）中得到的點云數(shù)據(jù)每一幀進行物體識別，計算出節(jié)目拍攝區(qū)域內(nèi)的重點區(qū)域，并遙控動態(tài)相機陣列調(diào)整拍攝方向和鏡頭參數(shù)以跟隨拍攝重點區(qū)域，獲取捕捉到的圖像信息；

（4）中央計算設(shè)備將上述步驟（3）中捕捉到的圖像信息與上述步驟（2）中捕捉到的圖像信息與得到的點云數(shù)據(jù)合并進行第二次三維重構(gòu)。

作為本發(fā)明進一步的方案：步驟（1）中所述靜態(tài)相機陣列具體為多個固定位置和固定角度的攝像機。

作為本發(fā)明進一步的方案：步驟（1）中所述動態(tài)相機陣列具體為多個可遙控控制視角的攝像機。

作為本發(fā)明進一步的方案：步驟（2）中所述點云數(shù)據(jù)具體為隨著拍攝物體隨時間變化而變化的一系列點云數(shù)據(jù)。

作為本發(fā)明進一步的方案：步驟（3）中所述節(jié)目拍攝區(qū)域內(nèi)的重點區(qū)域，其中重點區(qū)域為節(jié)目中的重要事件發(fā)生的區(qū)域。

作為本發(fā)明進一步的方案：步驟（4）中動態(tài)相機陣列所拍攝的區(qū)域是步驟（3）根據(jù)步驟（2）的三維重構(gòu)數(shù)據(jù)進行物體識別后計算出來的重點區(qū)域。

作為本發(fā)明進一步的方案：步驟（4）中所述第二次三維重構(gòu)中包括基于第一次三維重構(gòu)的圖像數(shù)據(jù)和結(jié)果進行提高重構(gòu)精度和降低噪音。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明通過多個攝像機采集場景內(nèi)多個角度的視頻數(shù)據(jù)，并以此進行逐幀三維重構(gòu)，從而生成場景的三維模型。本發(fā)明可逐幀復(fù)原整個節(jié)目現(xiàn)場的三維數(shù)據(jù)，并以高精度重構(gòu)重點區(qū)域三維數(shù)據(jù)，在重點區(qū)域生成高精度模型，從而使得玩家可以隨意變換觀看角度、在虛擬場景中任意移動位置，使用戶可有更大的自由度和更強的沉浸感觀看比賽，本發(fā)明能夠為體育賽事、綜藝節(jié)目、演唱會、發(fā)布會等有特定表演區(qū)域的節(jié)目的觀看體驗帶來極大的提升。

附圖說明

圖1為本發(fā)明的方法原理圖；

圖2為本發(fā)明的靜態(tài)相機陣列和動態(tài)相機陣列的示意圖；

圖3為本發(fā)明的節(jié)目拍攝區(qū)域內(nèi)的重點區(qū)域的示意圖；

圖中：1-靜態(tài)相機陣列、2-動態(tài)相機陣列、3-節(jié)目拍攝區(qū)域、4-重點區(qū)域。

具體實施方式

下面將結(jié)合本發(fā)明實施例，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

一種用靜態(tài)和動態(tài)攝像機相結(jié)合對運動物體逐幀三維重構(gòu)方法，包括如下步驟：

（1）結(jié)合圖2來看，首先在節(jié)目拍攝區(qū)域周圍部署靜態(tài)相機陣列，相機捕捉預(yù)先固定角度和方向的節(jié)目拍攝區(qū)域中圖像數(shù)據(jù),同時，還在節(jié)目拍攝區(qū)域周圍部署動態(tài)相機陣列，相機可在拍攝過程中遙控調(diào)整方向和鏡頭參數(shù)捕捉場上的圖像數(shù)據(jù)，相機所拍攝到的圖像每一幀都實時地傳遞給中央計算設(shè)備；

（2）中央計算設(shè)備以靜態(tài)相機陣列在同一時間內(nèi)所拍攝到的多幅圖像為一幀，進行三維重構(gòu)，生成拍攝現(xiàn)場在某一時刻的點云或者三維模型及貼圖，接著中央計算設(shè)備按照設(shè)定的頻率重復(fù)地進行三維重構(gòu)，得到點云數(shù)據(jù)；

（3）結(jié)合圖3來看，中央計算設(shè)備根據(jù)上述步驟（2）中得到的點云數(shù)據(jù)每一幀進行物體識別，計算出節(jié)目拍攝區(qū)域內(nèi)的重點區(qū)域，并遙控動態(tài)相機陣列調(diào)整拍攝方向和鏡頭參數(shù)以跟隨拍攝重點區(qū)域，獲取捕捉到的圖像信息；

（4）中央計算設(shè)備將上述步驟（3）中捕捉到的圖像信息與上述步驟（2）中捕捉到的圖像信息與得到的點云數(shù)據(jù)合并進行第二次三維重構(gòu)。

其中：

步驟（1）中所述靜態(tài)相機陣列具體為多個固定位置和固定角度的攝像機。

步驟（1）中所述動態(tài)相機陣列具體為多個可遙控控制視角的攝像機。

步驟（2）中所述點云數(shù)據(jù)具體為隨著拍攝物體隨時間變化而變化的一系列點云數(shù)據(jù)。

步驟（3）中所述節(jié)目拍攝區(qū)域內(nèi)的重點區(qū)域，其中重點區(qū)域為節(jié)目中的重要事件發(fā)生的區(qū)域，例如控球球員在場上的位置和主角在舞臺上的位置。

步驟（4）中動態(tài)相機陣列所拍攝的區(qū)域是步驟（3）根據(jù)步驟（2）的三維重構(gòu)數(shù)據(jù)進行物體識別后計算出來的重點區(qū)域。

步驟（4）中所述第二次三維重構(gòu)中包括基于第一次三維重構(gòu)的圖像數(shù)據(jù)和結(jié)果進行提高重構(gòu)精度和降低噪音。

由圖1所示的方法原理圖可知：本發(fā)明通過多個攝像機采集節(jié)目現(xiàn)場多個角度的數(shù)據(jù)進行三維重構(gòu)，在虛擬現(xiàn)實設(shè)備中為用戶復(fù)原整個節(jié)目現(xiàn)場的三維數(shù)據(jù)，從而使得玩家可以隨意變換觀看角度、在虛擬場景中任意移動位置，使玩家可以沉浸在虛擬的節(jié)目現(xiàn)場之中，產(chǎn)生身臨其境的臨場觀看體驗，本發(fā)明能夠為體育賽事、綜藝節(jié)目、演唱會、發(fā)布會等有特定表演區(qū)域的節(jié)目的觀看體驗帶來極大的提升。

本發(fā)獨創(chuàng)二次三維重構(gòu)方法，根據(jù)靜態(tài)相機陣列的數(shù)據(jù)構(gòu)建中等分辨率的三維數(shù)據(jù)，然后以此為基礎(chǔ)來識別重點區(qū)域，控制動態(tài)相機陣列進行追蹤，并將動態(tài)相機陣列捕捉的數(shù)據(jù)進行第二次三維重構(gòu)，由此提升重點區(qū)域的重構(gòu)精度、降低噪音，極大地提高重點區(qū)域的三維重構(gòu)精度。

對于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實施例的細節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實現(xiàn)本發(fā)明。因此，無論從哪一點來看，均應(yīng)將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。

此外，應(yīng)當理解，雖然本說明書按照實施方式加以描述，但并非每個實施方式僅包含一個獨立的技術(shù)方案，說明書的這種敘述方式僅僅是為清楚起見，本領(lǐng)域技術(shù)人員應(yīng)當將說明書作為一個整體，各實施例中的技術(shù)方案也可以經(jīng)適當組合，形成本領(lǐng)域技術(shù)人員可以理解的其他實施方式。