本發(fā)明涉及一種VR顯示方法，特別是一種VR環(huán)境中特寫鏡頭的運用及顯示方法和系統(tǒng)。

背景技術：

通常VR應用于非直播的情況，采用多個專業(yè)級攝像機，按照固定的空間位置擺放，相對位置關系保持不變，對360度全方位的現場信號進行拍攝，每個設備將拍攝的視頻內容以文件的形式記錄到設備本地的存儲介質。整個現場拍攝工作結束后，將所有機位錄制下來的文件導入統(tǒng)一的編輯設備，例如一臺專業(yè)級計算機，其具備很高圖像處理性能，再使用商業(yè)軟件進行拍攝內容的離線拼接處理，根據拍攝時的位置關系，手動對機位順序、拼縫等作出調整。經過后期拼接處理之后，使用VR顯示終端，例如VR頭盔或VR眼鏡，就能夠觀看制作好的VR全景視頻，給體驗者帶來置身于拍攝現場的沉浸式感受。用于播放VR全景視頻的專業(yè)工作站，通過獲取VR顯示終端的水平、垂直、角度等實時姿態(tài)參數，經過復雜的運算處理，隨后在VR顯示終端的視野中顯示當前姿態(tài)對應視角的現場畫面，這樣足不出戶就能夠實現置身拍攝現場的沉浸式體驗。但是，如果要實現VR全景視頻的現場直播及互動，就要解決現場不同機位拍攝信號的實時拼接處理，以及后續(xù)全景視頻信號的直播發(fā)布等問題。

在直播現場，為了獲取最佳的現場氛圍及完整的現場畫面，VR全景視頻拍攝裝置通常放置于直播現場的中央。但是，由于拍攝裝置使用的鏡頭無法改變焦距，帶來的好處是拍攝范圍更加寬闊，適合進行不同機位拍攝信號的拼接處理；存在的問題也顯而易見，無法對鏡頭進行控制，對重點區(qū)域的局部細節(jié)進行展現。這樣，體驗者佩戴VR顯示終端后，雖然可以看到直播現場的全景視頻畫面，但是無法捕捉到重點區(qū)域的局部細節(jié)，例如演唱會演員的表情，沉浸于現場直播氛圍之余，難免產生些許的遺憾。

綜上，現階段VR技術在實際應用中，還有很多問題亟待解決，從業(yè)務需求的角度出發(fā)，還有很大完善的空間。

技術實現要素：

本發(fā)明的目的是通過以下技術方案實現的。

為解決現有技術的問題，本發(fā)明提出了一種VR環(huán)境中特寫鏡頭的運用及顯示系統(tǒng)，包括：全向音頻拾取模塊，全景信號拍攝模塊，拼接服務器，信號監(jiān)看終端，后臺管理服務器，特寫信號拍攝模塊，發(fā)布服務器，接收服務器，VR顯示終端，互動服務器，互動顯示終端。其中，全向音頻拾取模塊和全景信號拍攝模塊采集的信號發(fā)送到拼接服務器，拼接服務器處理后的信號發(fā)送給發(fā)布服務器和信號監(jiān)看終端，特寫信號拍攝模塊采集的信號發(fā)送給發(fā)布服務器，發(fā)布服務器處理后的信號發(fā)送給接收服務器，接收服務器分別與VR顯示終端、互動服務器、后臺管理服務器互相交互信號，互動服務器還分別與拼接服務器、后臺管理服務器互相交互信號，互動服務器的信息可以通過互動顯示終端進行顯示；

拼接服務器,用于對全景信號拍攝模塊采集的信號進行實時拼接處理，與全向音頻拾取模塊采集的現場全向音頻信號進行合成；

特寫信號拍攝模塊，用于實時捕捉特寫鏡頭，并將拍攝的特寫視頻信號輸出至發(fā)布服務器；

發(fā)布服務器，同時接收兩路信號，一路來自特寫信號拍攝模塊的特寫鏡頭視頻信號，一路來自拼接服務器的VR全景視頻信號，發(fā)布服務器分別對這兩路現場信號進行實時壓縮編碼，經過壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號；

接收服務器，用于通過訪問兩個直播發(fā)布地址，對接收到的直播內容同時進行實時解碼，其中一路為VR全景視頻信號，另外一路為現場特寫鏡頭，并把3D物件植入VR環(huán)境中的虛擬大屏，然后，通過接收服務器的渲染合成單元，對解碼后的直播內容，進行實時合成渲染，將特寫鏡頭直接在植入的虛擬大屏上面顯示。

根據本發(fā)明的一個方面，VR顯示終端,連接到接收服務器，體驗者通過VR顯示終端觀看VR全景視頻信號，當佩戴的VR顯示終端姿態(tài)發(fā)生改變時，即觀看角度、空間位置發(fā)生變化時，字幕始終保持在視野中央偏下的位置，位于當前顯示視頻圖像的前面。

根據本發(fā)明的一個方面，VR顯示終端,連接到接收服務器，體驗者佩戴VR顯示終端以后，通過植入的虛擬大屏，可以觀看虛擬大屏上面播放的特寫鏡頭，將VR全景視頻和特寫鏡頭兩種直播相結合。

根據本發(fā)明的一個方面，互動顯示終端，連接到互動服務器，互動服務器連接到接收服務器，當通過網頁收看直播時自動播放特寫鏡頭的畫面進行現場直播。

根據本發(fā)明的一個方面，互動顯示終端，連接到互動服務器，互動服務器連接到接收服務器，體驗者可輸入登錄信息與后臺管理數據庫的用戶信息進行核驗，驗證通過后，位于現場的互動服務器就可以看到遠程登錄的用戶信息，從而，直接和現場互動服務器建立連接，進行直播互動。

本發(fā)明還提出了一種采用上述VR環(huán)境中特寫鏡頭的運用及顯示系統(tǒng)的方法，包括如下步驟：

采用全景信號拍攝模塊中的若干專業(yè)級攝像機，對直播現場進行360度全方位拍攝，并通過專業(yè)視頻輸出接口，將不同視角的拍攝信號輸出至拼接服務器；

拼接服務器按照預設的校準參數，對拍攝信號進行實時拼接處理，并將合成的VR全景視頻信號輸出至發(fā)布服務器；

特寫信號拍攝模塊實時捕捉特寫鏡頭，并將拍攝的特寫視頻信號輸出至發(fā)布服務器；

發(fā)布服務器同時接收來自特寫信號拍攝模塊的特寫鏡頭視頻信號和拼接服務器的VR全景視頻信號，并對這兩路現場信號進行實時壓縮編碼，然后，將經過壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號；

通過接收服務器訪問兩個直播發(fā)布地址，實時解碼兩路直播內容，其中一路為VR全景視頻信號，另外一路為現場特寫鏡頭，并把3D物件植入VR環(huán)境中的虛擬大屏，然后，通過接收服務器的渲染合成單元，對解碼后的直播內容，進行實時合成渲染，將特寫鏡頭直接在植入的虛擬大屏上面顯示。

根據本發(fā)明的一個方面，體驗者通過VR顯示終端觀看VR全景視頻信號，當佩戴的VR顯示終端姿態(tài)發(fā)生改變時，即觀看角度、空間位置發(fā)生變化時，字幕始終保持在視野中央偏下的位置，位于當前顯示視頻圖像的前面。

根據本發(fā)明的一個方面，體驗者佩戴VR顯示終端以后，通過植入的虛擬大屏，可以觀看虛擬大屏上面播放的特寫鏡頭，將VR全景視頻和特寫鏡頭兩種直播相結合。

根據本發(fā)明的一個方面，當通過網頁收看直播時自動播放特寫鏡頭的畫面進行現場直播。

根據本發(fā)明的一個方面，體驗者可輸入登錄信息與后臺管理數據庫的用戶信息進行核驗，驗證通過后，位于現場的互動服務器就可以看到遠程登錄的用戶信息，從而，直接和現場互動服務器建立連接，進行直播互動。

本發(fā)明產生的有益效果是：在直播現場增加特寫鏡頭拍攝機位，對直播現場的局部細節(jié)進行實時捕捉，并與拼接后的VR全景視頻信號同時進行直播發(fā)布，遠程的接收服務器，對上述直播內容以及導入的虛擬大屏進行渲染合成，通過植入的虛擬大屏顯示特寫鏡頭，然后使用專用VR播放器對最終的合成信號進行解碼控制。若配備了VR顯示終端，佩戴VR顯示終端后體驗者就可以觀看直播內容，除了現場360度全方位的全景視頻圖像以外，還能夠在植入的虛擬大屏上觀看特寫鏡頭，捕捉重點區(qū)域的細節(jié)畫面，例如教室黑板的板書、電子白板顯示的PPT，亦或綜藝直播的演員特寫，從而提升VR現場直播的綜合體驗，在沉浸于現場氛圍的同時兼顧細節(jié)。當然，若沒有配備專業(yè)的VR顯示終端，也可以在接收服務器上面通過網頁方式收看以特寫鏡頭為主的現場直播。此外，在直播過程中，通過語音或文字的方式，與現場進行直播互動。

本發(fā)明的優(yōu)點在于：本發(fā)明將現場拍攝的全方位視頻信號實時拼接成VR全景視頻信號，并運用特寫鏡頭展現直播現場局部細節(jié)的方案，是一種通過專用VR播放器，實現全景視頻信號和特寫鏡頭混合播放的方案，通過佩戴VR顯示終端，體驗者所觀看的直播內容，除了現場360度全方位的全景視頻畫面，還能夠觀看虛擬植入的特寫鏡頭，捕捉重點區(qū)域的細節(jié)畫面，是一種保證現場沉浸感，且支持特寫鏡頭顯示的方案。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了根據本發(fā)明實施方式的VR環(huán)境中特寫鏡頭的運用及顯示的系統(tǒng)示意圖；

圖2示出了根據本發(fā)明實施方式的全景信號拍攝模塊的邏輯關系示意圖；

圖3示出了根據本發(fā)明實施方式的拼接服務器的邏輯關系示意圖；

圖4示出了根據本發(fā)明實施方式的發(fā)布服務器的邏輯關系示意圖；

圖5示出了根據本發(fā)明實施方式的接收服務器的邏輯關系示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施方式。雖然附圖中顯示了本公開的示例性實施方式，然而應當理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。

圖1示出了本發(fā)明VR環(huán)境中特寫鏡頭的運用及顯示系統(tǒng)的結構框圖。所述系統(tǒng)包括：全向音頻拾取模塊，全景信號拍攝模塊，拼接服務器，信號監(jiān)看終端，后臺管理服務器，特寫信號拍攝模塊，發(fā)布服務器，接收服務器，VR顯示終端，互動服務器，互動顯示終端；其中，拼接服務器對現場不同機位拍攝的信號進行實時拼接處理，與采集的現場全向音頻進行合成；發(fā)布服務器，負責對拼接后的VR全景視頻進行壓縮編碼，隨后進行直播發(fā)布；此處，為了兼顧直播現場的局部細節(jié)畫面，即特寫鏡頭的捕捉，專門在現場增加了特寫信號拍攝模塊，拍攝的特寫鏡頭輸出至發(fā)布服務器，后者進行壓縮編碼，隨后進行直播發(fā)布；遠程的接收服務器，訪問以上兩個直播地址，對直播內容進行實時解碼，然后將這兩路直播信號與虛擬大屏進行渲染合成，并將特寫鏡頭在虛擬大屏上顯示。如果接收服務器上面連接了VR顯示終端，體驗者佩戴VR顯示終端之后，就能夠觀看360度全方位的VR全景視頻，并通過虛擬大屏觀看特寫鏡頭，捕捉重點區(qū)域的局部細節(jié)畫面；通過耳機收聽現場的全向聲音，使用麥克通過語音進行直播互動。以上，兩種直播內容相結合的方式，兼顧了VR環(huán)境中的沉浸式體驗與局部細節(jié)畫面的展現。

根據本發(fā)明的實施方式，VR環(huán)境中特寫鏡頭的運用及顯示方法的實現步驟描述如下：

圖2示出了根據本發(fā)明實施方式的全景信號拍攝模塊的邏輯關系示意圖。在前端的直播現場，全景信號拍攝模塊由若干專業(yè)級攝像機組成，按照一定的空間位置關系排列，固定于相應的設備支架上面，彼此之間的位置關系保持不變。例如，水平方向360度均勻放置6個鏡頭沖外的專業(yè)級攝像機，相鄰鏡頭中心的夾角為60°；垂直方向上、下分別放置一個專業(yè)級攝像機，鏡頭分別沖上和沖下，鏡頭中心與水平攝像機的鏡頭夾角成90°，且位于水平放置攝像機的中央。原則上，無論攝像機的機位怎樣擺放，相鄰機位的攝像機所拍攝到的圖像，彼此之間必須有交集，即相鄰機位拍攝圖像的邊緣部分有重疊的圖像信息，否則無法實現視頻圖像拼接。而且，彼此之間拍攝圖像的重疊區(qū)域越大，那么拼接之后的效果也越好，處理之后的拼縫越不明顯。相關技術與本發(fā)明的方法關系不大，在此不做過多說明。全景信號拍攝模塊內部的若干專業(yè)級攝像機，將拍攝的1080p60高清信號通過專業(yè)視頻接口，例如Micro HDMI，直接輸出至拼接服務器，用于后續(xù)面向VR現場直播的實時拼接處理。

圖3示出了根據本發(fā)明實施方式的拼接服務器的邏輯關系示意圖。其中，拼接服務器，包含信號輸入單元、拼接處理單元、時鐘發(fā)生單元、CG控制單元，以及信號輸出單元。全景信號拍攝模塊將不同機位拍攝的現場信號輸出至拼接服務器內部的信號輸入單元，由拼接處理單元按照預先校準好的模板進行實時拼接處理。由于直播現場的空間大小、周圍環(huán)境的特征點不盡相同，因此需要根據全景信號拍攝模塊在現場拍攝的實際信號，進行特征點匹配、拼接邊緣優(yōu)化等校準操作，然后保存為該環(huán)境下的拼接模板。與此同時，全向音頻拾取模塊，負責拾取現場的全向聲音，通過相應的接口，例如USB通用接口，將拾取的全向聲音送給信號輸入單元，完成音頻的采集工作。接下來，拼接處理單元將采集進來的音頻與拼接后的全景視頻信號進行合成，由于全景視頻拼接處理需要使用顯卡的GPU資源，通過復雜的算法進行圖像變換及融合，因此會產生一定的處理延時，在與音頻合成的時候，可以通過調整音頻輸出延時保證拼接后的全景視頻與音頻同步。由于實時視頻拼接和實時音頻采集，都涉及時碼的同步，所以拼接服務器基于本地操作系統(tǒng)，例如Windows 10，所提供的高精度時間片，創(chuàng)建時鐘發(fā)生單元，產生的同步時鐘可以達到毫秒級，遠高于前端高清視頻信號1080p60的幀率，即每秒60幀1920*1080的圖像，從而實現不同機位的攝像機信號實時拼接及全向聲音的同步處理。然后，通過信號輸出單元，將拼接后的VR全景視頻信號，其中一路4Kp60信號，輸出至信號監(jiān)看終端，用于對拼接效果的專業(yè)監(jiān)看；另外一路1080p60信號，用于全景視頻現場直播，輸出至后面的發(fā)布服務器。輸出信號的分辨率和幀率可以根據應用需求進行設置，為了保證最終觀看的畫質，理想情況下輸出信號為4Kp60，即分辨率為3840*2160，每秒60幀，逐行掃描；考慮到實際的VR全景拼接圖像的分辨率只有3840*1920，圖像的寬高比為2：1，余下分辨率為3840*240的圖像區(qū)域，交給CG控制單元，隨時疊加字幕，例如跑馬，等附加信息，充分利用4K分辨率的圖像資源。但實際的網絡帶寬，尚無法支撐4Kp60信號的直播，因此退而求其次采用1080p60的全景視頻信號，保證后續(xù)的直播內容的流暢播放。

圖4示出了根據本發(fā)明實施方式的發(fā)布服務器的邏輯關系示意圖。其中，發(fā)布服務器，包含信號輸入單元、編碼處理單元，以及發(fā)布處理單元。在直播現場，增加特寫信號拍攝模塊對局部細節(jié)進行拍攝，即特寫鏡頭的實時捕捉，將拍攝的1080p60信號輸出至發(fā)布服務器的信號輸入單元。特寫信號拍攝模塊，主要指具備變焦功能的專業(yè)級攝像機或廣播級攝像機，通過專用視頻輸出接口，例如Micro HDMI或BNC，將通過調整鏡頭焦距拍攝的特寫鏡頭輸出至發(fā)布服務器。這樣，信號輸入單元同時接收到兩路信號，一路來自特寫信號拍攝模塊的特寫鏡頭圖像，一路來自拼接服務器的VR全景視頻圖像；接著，編碼處理單元分別對這兩路現場信號進行實時壓縮編碼，壓縮碼率可以根據清晰度的要求適當調整；經過壓縮處理的視頻流，通過發(fā)布處理單元分別發(fā)布到指定的直播地址和端口號。由于目前的網絡傳輸帶寬支撐不了4K分辨率的壓縮圖像的傳輸，因此暫時采用1080p60分辨率的特寫鏡頭信號、VR全景視頻信號，未來一旦帶寬瓶頸得到很好的解決，將采用畫質更佳的4K分辨率的前端信號。以上，兩種直播信號相結合，360度全方位VR全景視頻帶給體驗者現場的沉浸感；特寫鏡頭作為補充，捕捉到更多現場的精彩畫面。

圖5示出了根據本發(fā)明實施方式的接收服務器的邏輯關系示意圖。接收服務器，包含解碼處理單元、3D導入單元、合成渲染單元、交互處理單元，以及信號輸出單元。通過訪問兩個直播發(fā)布地址，解碼處理單元對接收到的直播內容同時進行實時解碼，其中一路為VR全景視頻信號，對于每一幀1920*1080的圖像包含兩部分內容，其中1920*960分辨率為VR全景拼接圖像，余下的1920*120分辨率為疊加字幕信息，解碼處理單元按照此原則進行圖像拆分，此外對直播內容的全向聲音進行解碼；另外一路為現場特寫鏡頭，對每幀1920*1080的圖像進行實時解碼。使用其他商業(yè)軟件制作好3D物件，即后續(xù)植入VR環(huán)境中的虛擬大屏，提前由3D導入單元導入進來，設置好虛擬植入的物理尺寸、空間位置等參數；然后，通過接收服務器的渲染合成單元，對解碼后的直播內容，即VR全景視頻、特寫鏡頭視頻，以及導入的3D物件，即虛擬大屏進行實時合成渲染，將特寫鏡頭直接在植入的虛擬大屏上面顯示。最終的合成信號，由接收服務器上面的專用VR播放器進行解碼控制。存在以下兩種情況：

第一、接收服務器連接了可佩戴的VR顯示終端。VR顯示終端，包含LCD顯示單元、耳機麥克單元，以及感應控制單元。最終的合成信號，通過信號輸出單元送給連接在接收服務器上面的VR顯示終端，由內部的LCD顯示單元來顯示?？紤]到目前VR顯示終端的所支持的分辨率為高清1920*1080，因此輸出信號采用1080p60的高清信號，后續(xù)隨著技術的發(fā)展，輸出信號的分辨率也可以與之適配。體驗者佩戴VR顯示終端以后，就可以觀看360度全方位的VR全景視頻直播，沉浸在現場熱烈的氛圍當中；同時，還可以通過植入的虛擬大屏，觀看虛擬大屏上面播放的特寫鏡頭，將兩種直播相結合。對于植入的虛擬大屏，可以通過VR顯示終端上面的按鍵進行控制，根據體驗者的觀看需求選擇是否顯示，實現兩種直播內容的混合播放。VR顯示終端內部的耳機麥克單元，耳機用于收聽直播現場的全向聲音，麥克用于與現場的互動服務器通過語音方式實現直播交互。當體驗者佩戴的VR顯示終端的姿態(tài)發(fā)生改變，顯示終端內部的感應控制單元，通過連接在接受服務器上面的數據傳輸線，例如USB數據線，將終端設備的水平、垂直，及角度等空間姿態(tài)參數傳送給接收服務器，由交互處理單元進行終端設備姿態(tài)的運算處理，隨后在VR顯示終端的視野中顯示當前視角的現場畫面，即分辨率為1920*960全景拼接圖像中視覺焦點觀看的區(qū)域；經過解碼處理單元拆分后，分辨率為1920*240的字幕信息，始終顯示于視野的正前方，相對人眼位于全景視頻圖像、植入虛擬大屏的前一層，這樣即使VR顯示終端的姿態(tài)發(fā)生改變，觀看到的現場畫面隨之發(fā)生了變化，但是字幕始終位于視野的中央偏下的位置，不會遮擋到重要的直播內容，相關空間位置參數也可以根據需要進行設置。

第二、接收服務器上面未連接VR顯示終端。這種情況下，只能通過網頁收看直播；此時，網頁內嵌的VR播放器未檢測到終端設備，則自動播放特寫鏡頭的畫面進行現場直播，體驗者將無法獲得VR全景視頻直播的沉浸感。

當然，在VR現場直播的過程中也不能缺少直播互動，參見圖1VR環(huán)境中特寫鏡頭的運用及顯示方法的系統(tǒng)示意圖。位于遠程的接收服務器通過網絡連接后臺管理服務器，輸入登錄信息與后臺管理數據庫的用戶信息進行核驗。驗證通過后，位于現場的互動服務器就可以看到遠程登錄的用戶信息。對于遠程的接收服務器，若連接了VR顯示終端，登錄用戶佩戴VR顯示終端后即可觀看直播內容，包括VR全景視頻及特寫鏡頭，使用耳機收聽現場全向聲音；并基于網絡，直接和現場互動服務器建立連接，通過VR顯示終端內部耳機麥克單元的麥克，通過語音的方式進行直播互動。若接收服務器未連接VR顯示終端，那么登錄用戶可以通過網頁觀看以特寫鏡頭為主的直播內容，使用耳機接收現場的全向聲音；并基于網絡，直接與現場互動服務器建立連接，通過網頁輸入文字進行直播互動。

位于直播現場的互動服務器，通過互動顯示終端，面向直播現場展示遠程登錄的用戶信息，例如ID、頭像、狀態(tài)、語音，及留言等。針對語音直播互動，可以設置具體的交互方式，例如廣播方式或一對一方式。所有遠程登錄的信息和相關的操作日志，都會記錄在后臺管理服務器本地，便于日常統(tǒng)計和歸檔。另外，現場的互動服務器還可以基于網絡，直接向拼接服務器發(fā)送即時信息，例如通知或作業(yè)，后者以疊加字幕的方式在VR全景視頻直播中進行廣播，保證相關信息準確傳達給遠程的登錄用戶。

為解決現有技術中的問題，本發(fā)明還提出一種VR環(huán)境中特寫鏡頭的運用及顯示方法。所述方法涉及的功能模塊包括：信號采集類的全景信號拍攝模塊、全向音頻拾取模塊、特寫信號拍攝模塊；業(yè)務處理類的拼接服務器、發(fā)布服務器、接收服務器、后臺管理服務器、互動服務器；信號監(jiān)看類的信號監(jiān)看終端；終端顯示類的VR顯示終端、互動顯示終端。

所述方法是這樣實現的：通過前端由若干專業(yè)級攝像機組成的全景信號拍攝模塊，對直播現場進行360度全方位拍攝，并通過專業(yè)視頻輸出接口，例如Micro HDMI，將不同視角的拍攝信號輸出至拼接服務器。其中，若干專業(yè)級攝像機分別拍攝水平、上方、下方等不同視角的畫面，其相對空間位置關系是固定的，相鄰兩個攝像機的拍攝畫面彼此有重疊的區(qū)域。經過校準之后其位置關系不能發(fā)生改變，以免影響后續(xù)實時拼接的精度。有關攝像機機位的擺放結構，不是本發(fā)明的重點，不做過多討論。

全向音頻拾取模塊，負責拾取現場的聲音，通過相應的傳輸接口，例如USB通用接口，將拾取的聲音送給拼接服務器，完成音頻的采集工作。接下來，拼接服務器按照調試好的校準參數，對前端現場的拍攝信號進行實時拼接處理，同時將采集音頻與拼接后的全景視頻信號進行合成。由于實時視頻拼接和實時音頻采集，都涉及時碼的同步，拼接服務器基于本地操作系統(tǒng)，例如Windows 10，所提供的高精度時間片(毫秒級)，能夠對視頻和音頻進行同步處理。此外，拼接服務器還可以在拼接后的VR全景視頻圖像上面疊加字幕，作為附加信息。經過后續(xù)的編碼、傳輸等環(huán)節(jié)，最終渲染合成輸出至VR顯示終端。當體驗者佩戴的VR顯示終端姿態(tài)發(fā)生改變，即觀看角度、空間位置發(fā)生變化，字幕卻始終保持在視野中央偏下的位置，位于當前顯示視頻圖像的前面。最后，拼接服務器輸出兩路VR全景視頻信號：一路4Kp60的信號，輸出至信號監(jiān)看終端，對拼接效果進行專業(yè)監(jiān)看；一路1080p60的信號，用于現場信號的直播發(fā)布，輸出至發(fā)布服務器。

本發(fā)明的重點還在于：在直播現場，增加特寫信號拍攝模塊對局部細節(jié)畫面進行拍攝，即特寫鏡頭的實時捕捉，將拍攝的1080p60信號輸出至發(fā)布服務器。這樣，發(fā)布服務器同時接收兩路信號，一路來自特寫信號拍攝模塊的特寫鏡頭，一路來自拼接服務器的VR全景視頻信號；然后，發(fā)布服務器分別對這兩路現場信號進行實時壓縮編碼，碼率可以根據需要進行設置；經過壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號。由于，目前的網絡帶寬支撐不了4K分辨率的視頻流傳輸，因此暫時采用1080p60分辨率的特寫信號、VR全景視頻信號，未來一旦帶寬瓶頸得到很好的解決，將采用畫質更佳的4K分辨率的前端信號。兩種直播信號相結合，360度全方位的VR全景視頻直播帶給體驗者現場的沉浸感；特寫鏡頭作為補充，捕捉更多現場的精彩畫面。

接收服務器通過訪問以上兩個直播發(fā)布地址，對接收到的直播內容進行實時解碼，一路是VR全景視頻信號，一路是特寫鏡頭信號。此外，接收服務器提前將使用其他商業(yè)軟件設計好的3D物件，例如虛擬大屏，導入進來，設置好3D物件后續(xù)植入VR環(huán)境中的大小、位置等參數。接著，接收服務器對解碼后的VR全景視頻圖像、特寫鏡頭圖像，以及虛擬植入的3D物件進行實時合成渲染，其中，特寫鏡頭的視頻圖像直接在植入的虛擬大屏上面顯示。最終的合成信號，由接收服務器上面的專用VR播放器進行解碼控制。存在以下兩種情況：第一、接收服務器連接了VR顯示終端，那么最終的合成信號將輸出至終端設備。體驗者佩戴VR顯示終端以后，就可以觀看360度全方位的VR全景視頻直播，沉浸在現場熱烈的氛圍當中；同時，還可以通過植入的虛擬大屏，觀看虛擬大屏顯示的特寫鏡頭畫面；通過耳機收聽現場采集的全向聲音，提升VR直播的綜合體驗。對于VR顯示終端，通過連接在接收服務器上的數據傳輸線，例如USB數據線，將其自身的傳感數據，包括位置、角度等空間姿態(tài)參數，傳送給接收服務器，后者對終端設備的姿態(tài)進行實時運算處理，隨后將相應視角的圖像顯示于VR顯示終端視野的中央。關于植入的虛擬大屏，可以通過VR顯示終端上面的按鍵進行控制，根據體驗者的觀看需求選擇是否顯示，實現混合播放的效果。第二、接收服務器未連接VR顯示終端，這種情況，只能通過網頁的形式收看直播；此時，網頁內嵌的VR播放器檢測不到終端設備，則僅播放特寫鏡頭的視頻畫面進行現場直播，用戶將無法獲得VR全景視頻直播的沉浸式體驗。

當然，在VR現場直播的過程中也不能缺少直播互動，位于遠程的接收服務器通過網絡連接后臺管理服務器，輸入登錄信息與后臺管理數據庫的用戶信息進行核驗。驗證通過后，位于拍攝現場的互動服務器就可以看到遠程登錄的用戶信息了。對于遠程的接收服務器，若連接了VR顯示終端，登錄用戶佩戴VR顯示終端后即可觀看直播內容，包括VR全景視頻及特寫鏡頭，使用耳機收聽現場全向音頻；并基于網絡，直接和現場互動服務器建立連接，通過麥克采用語音的方式進行直播互動。若接收服務器未連接VR顯示終端，那么登錄用戶可以通過網頁觀看特寫鏡頭的現場直播，使用耳機收聽現場的全向聲音；并基于網絡，直接和現場互動服務器建立連接，通過輸入文字的方式進行直播互動。

位于現場的互動服務器，通過互動顯示終端，面向直播現場展示遠程登錄的用戶信息，例如ID、頭像、狀態(tài)、語音，及留言等。針對語音直播互動，可以設置具體的交互方式，例如廣播方式或一對一方式。所有遠程登錄的信息和相關的操作日志，都會記錄在后臺管理服務器本地，便于日常統(tǒng)計和歸檔。另外，現場的互動服務器還可以基于網絡，直接向拼接服務器發(fā)送即時信息，例如通知或作業(yè)，后者以疊加字幕的方式在VR全景視頻直播中進行廣播，保證了信息的快速、準確傳達。

本實施例所述方法和系統(tǒng)帶來的益處非常明顯：面向不同的應用場景，VR全景視頻直播可以用于綜藝節(jié)目的現場直播，例如大型演唱會，終端用戶在VR環(huán)境中感受直播現場熱烈氛圍的同時，運用特寫鏡頭來捕捉演員細致入微的表情。VR全景視頻直播可以用于教育領域的遠程教學，處在遠程的同學可以在專門建設的沉浸式教室，利用若干的接收服務器及VR顯示終端，觀看現場授課的VR全景視頻直播，運用特寫鏡頭顯示講師的板書、電子白板的PPT，還可以進行互動問答，真正作到優(yōu)質教育資源的共享。VR全景視頻直播可以用于醫(yī)療領域的實踐觀摩，實習醫(yī)生通過接收服務器及VR顯示終端，觀看學科帶頭人主刀手術的現場直播，親身感受手術室的現場氛圍、聽到醫(yī)生交談的內容，運用特寫鏡頭觀察手術部位的處置細節(jié)，達到觀摩、學習的目的，提高手術過程中的應急處置能力。其他應用就不一一贅述，采用本實施例所述的方法，在獲得VR沉浸感、現場感的同時，兼顧了局部細節(jié)的展示，全局固然震撼，細節(jié)同樣珍貴。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應所述以權利要求的保護范圍為準。