本發(fā)明涉及一種虛擬現(xiàn)實(shí)交互系統(tǒng)及其控制方法，尤其涉及一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)及其控制方法，屬于視頻處理技術(shù)領(lǐng)域。
背景技術(shù)：
虛擬現(xiàn)實(shí)技術(shù)（vr）是一種由計(jì)算機(jī)系統(tǒng)仿真創(chuàng)建虛擬世界的技術(shù)。它利用計(jì)算機(jī)生成三維動(dòng)態(tài)虛擬場(chǎng)景，提供實(shí)體與虛擬環(huán)境行為交互的機(jī)制，具有極強(qiáng)的真實(shí)性和交互性，能夠使用戶沉浸到該環(huán)境中。通過(guò)虛擬現(xiàn)實(shí)技術(shù)，用戶能夠獲得與在實(shí)景現(xiàn)場(chǎng)的其他用戶幾乎相同的環(huán)境體驗(yàn)。虛擬現(xiàn)實(shí)技術(shù)既豐富了用戶獲取的場(chǎng)景、環(huán)境信息，又大大提高了用戶的體驗(yàn)。多人虛擬現(xiàn)實(shí)交互技術(shù)，是虛擬現(xiàn)實(shí)技術(shù)的高級(jí)應(yīng)用，可以實(shí)現(xiàn)多人、同場(chǎng)景、協(xié)同操作和交互。在娛樂(lè)、教育培訓(xùn)、軍事訓(xùn)練、工業(yè)仿真、等項(xiàng)目中具有廣泛的應(yīng)用。
目前的多人虛擬現(xiàn)實(shí)交互技術(shù)的實(shí)現(xiàn)方式如圖1所示，每個(gè)用戶攜帶一套場(chǎng)景定位裝置、佩戴一套帶空間定位裝置的頭顯，頭顯與高性能渲染計(jì)算機(jī)有線連接。環(huán)繞場(chǎng)景布設(shè)的一組攝像頭用于實(shí)時(shí)采集場(chǎng)景視頻，場(chǎng)景視頻含有各用戶的場(chǎng)景定位裝置內(nèi)容。各攝像頭均與服務(wù)器連接。服務(wù)器從場(chǎng)景視頻中解算各用戶在場(chǎng)景中的位置，并將位置信息下發(fā)到相應(yīng)用戶的渲染計(jì)算機(jī)。渲染計(jì)算機(jī)同時(shí)還接收用戶頭顯的空間定位裝置采集的用戶姿態(tài)信息，為相應(yīng)用戶渲染特定視角下的全景畫面。頭顯的空間定位裝置可以基于光學(xué)、電磁、或慣性的定位原理實(shí)現(xiàn)。多人虛擬現(xiàn)實(shí)交互技術(shù)使每個(gè)用戶擁有自己的虛擬空間位置，畫面效果好。
然而，它的缺點(diǎn)也非常明顯：首先，受限于場(chǎng)地面積和用戶間的互相遮擋，系統(tǒng)只能允許少數(shù)人進(jìn)行虛擬交互，不能滿足諸如教學(xué)、培訓(xùn)等高密度人群的應(yīng)用場(chǎng)景需求；其次，使用人數(shù)增加需要增加相應(yīng)的空間定位裝置和高性能渲染計(jì)算機(jī)，成本高昂；另外，現(xiàn)有的虛擬現(xiàn)實(shí)應(yīng)用機(jī)制，僅生成用戶的視角信息，不能保存下整個(gè)場(chǎng)景信息，不利于后期的使用。
因此，一種支持無(wú)限級(jí)聯(lián)的超多人交互、全景內(nèi)容直播和錄制的虛擬現(xiàn)實(shí)應(yīng)用方法和系統(tǒng)是迫切需要的。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)及其控制方法。
為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是：
技術(shù)方案一：
一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)，其特征在于：包括攝像頭1-攝像頭n、服務(wù)器、用戶子系統(tǒng)1-用戶子系統(tǒng)m和虛擬人用戶子系統(tǒng)；虛擬人用戶子系統(tǒng)包括音頻采集裝置、渲染存儲(chǔ)計(jì)算機(jī)和頭顯一體機(jī)1-頭顯一體機(jī)p；m、n和p為大于或等于1的整數(shù)；所述攝像頭1-攝像頭n環(huán)繞場(chǎng)景布設(shè)，所采集的場(chǎng)景視頻傳輸至服務(wù)器；所述各用戶子系統(tǒng)結(jié)構(gòu)相同，均由帶空間定位裝置的頭顯、手柄、剛體標(biāo)記球組、渲染計(jì)算機(jī)組成；所述手柄用于用戶與虛擬場(chǎng)景交互；所述各用戶的渲染計(jì)算機(jī)與服務(wù)器通過(guò)局域網(wǎng)連接；所述剛體標(biāo)記球組包括1個(gè)以上剛體標(biāo)記球；所述場(chǎng)景視頻包含各用戶的剛體標(biāo)記球組，所述服務(wù)器基于場(chǎng)景視頻中各用戶的剛體標(biāo)記球組中的剛體標(biāo)記球坐標(biāo)解算相應(yīng)用戶的位置信息，并將各用戶的位置信息下發(fā)到相應(yīng)用戶的渲染計(jì)算機(jī)；渲染計(jì)算機(jī)與頭顯雙向有線連接，接收頭顯中空間定位裝置采集的用戶姿態(tài)信息，根據(jù)用戶位置信息和姿態(tài)信息渲染相應(yīng)視角的視頻，并將相應(yīng)視角的視頻傳送至頭顯；所述各頭顯一體機(jī)與渲染存儲(chǔ)計(jì)算機(jī)有線雙向連接；虛擬人用戶的位置信息由主控用戶在服務(wù)器上設(shè)定；所述服務(wù)器將虛擬人用戶的位置信息傳輸至渲染存儲(chǔ)計(jì)算機(jī)；渲染存儲(chǔ)計(jì)算機(jī)根據(jù)虛擬人用戶的位置信息渲染全景視頻并保存；所述渲染存儲(chǔ)計(jì)算機(jī)將其渲染的全景視頻傳輸至各頭顯一體機(jī)；所述各頭顯一體機(jī)帶空間定位裝置；各頭顯一體機(jī)采集的相應(yīng)虛擬用戶的姿態(tài)信息，根據(jù)姿態(tài)信息渲染相應(yīng)視角的視頻；所述音頻采集裝置用于錄制場(chǎng)景音頻，并將其傳輸至渲染存儲(chǔ)服務(wù)器存儲(chǔ)。
所述渲染存儲(chǔ)計(jì)算機(jī)與各頭顯一體機(jī)采用hdmi協(xié)議雙向有線連接。
所述剛體標(biāo)記球組包括兩個(gè)剛體標(biāo)記球分組，分別安裝在頭顯和手柄上。
技術(shù)方案二：
一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)的控制方法，其特征在于：包括以下具體步驟：
步驟1：場(chǎng)景視頻采集：服務(wù)器接收各攝像頭采集的場(chǎng)景視頻，所述場(chǎng)景視頻包含各用戶的剛體標(biāo)記球組；
步驟2：用戶位置信息解算：由以下具體步驟組成：
步驟2-1：服務(wù)器提取場(chǎng)景視頻中各用戶的剛體標(biāo)記球組中各剛體標(biāo)記球的坐標(biāo)；
步驟2-2：服務(wù)器根據(jù)各剛體標(biāo)記球的坐標(biāo)解算各用戶的頭和手柄的位置信息和姿態(tài)信息；
步驟3：用戶子系統(tǒng)的用戶視角視頻渲染：由以下具體步驟組成：
步驟3-1：服務(wù)器發(fā)送的所有用戶的位置信息和姿態(tài)信息至各渲染計(jì)算機(jī)；
步驟3-2：各渲染計(jì)算機(jī)根據(jù)相應(yīng)用戶的頭的位置信息和姿態(tài)信息，渲染視頻，將其發(fā)送到相應(yīng)頭顯；所述視頻中包括與其他用戶對(duì)應(yīng)的虛擬對(duì)象；所述各虛擬對(duì)象的位置和姿態(tài)由相應(yīng)子用戶的頭和手柄的位置信息和姿態(tài)信息決定；
步驟4：虛擬人用戶子系統(tǒng)的全景視頻渲染：包括以下具體步驟：
步驟4-1：主控用戶在服務(wù)器上設(shè)定虛擬用戶的位置信息；
步驟4-2：服務(wù)器將虛擬用戶的位置信息發(fā)送到渲染存儲(chǔ)計(jì)算機(jī)；
步驟4-2：渲染存儲(chǔ)計(jì)算機(jī)根據(jù)虛擬用戶的位置信息渲染對(duì)應(yīng)的全景視頻并存儲(chǔ)；
步驟4-3：音頻采集裝置錄制場(chǎng)景音頻，并將其傳輸至渲染存儲(chǔ)服務(wù)器存儲(chǔ)；
步驟4-4：渲染存儲(chǔ)計(jì)算機(jī)使用hdmi協(xié)議將全景視頻和場(chǎng)景音頻發(fā)送到各頭顯一體機(jī)；
步驟4-5：各頭顯一體機(jī)根據(jù)其采集的姿態(tài)信息，渲染相應(yīng)視角的視頻播放。
所述的多人虛擬現(xiàn)實(shí)交互系統(tǒng)的控制方法中，所述步驟4中存儲(chǔ)計(jì)算機(jī)渲染存儲(chǔ)的全景視頻是3d全景視頻。
采用上述技術(shù)方案所取得的技術(shù)效果在于：
1、本發(fā)明采用有線傳輸方式，穩(wěn)定且滿足超大分辨率（4k）圖像的傳輸；可方便和實(shí)時(shí)接入任意設(shè)備進(jìn)行觀看體驗(yàn)；可方便的實(shí)現(xiàn)統(tǒng)一管理與控制；
2、本發(fā)明使用更低的成本，實(shí)現(xiàn)更多人的同時(shí)虛擬現(xiàn)實(shí)效果的體驗(yàn)；
3、本發(fā)明讓更多的人同時(shí)以沉浸感方式接受課堂教育；
4、本發(fā)明存儲(chǔ)了虛擬人用戶的全景視頻，支持錄播回放。
附圖說(shuō)明
下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
圖1是現(xiàn)有技術(shù)的多人虛擬交互系統(tǒng)的原理框圖；
圖2是本發(fā)明的多人虛擬交互系統(tǒng)的原理框圖；
圖3是本發(fā)明的多人虛擬交互方法的流程圖。
具體實(shí)施方式
實(shí)施例1：
一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)，其特征在于：包括攝像頭1-攝像頭n、服務(wù)器、用戶子系統(tǒng)1-用戶子系統(tǒng)m和虛擬人用戶子系統(tǒng)；虛擬人用戶子系統(tǒng)包括音頻采集裝置、渲染存儲(chǔ)計(jì)算機(jī)和頭顯一體機(jī)1-頭顯一體機(jī)p；m、n和p為大于或等于1的整數(shù)；所述攝像頭1-攝像頭n環(huán)繞場(chǎng)景布設(shè)，所采集的場(chǎng)景視頻傳輸至服務(wù)器；所述各用戶子系統(tǒng)結(jié)構(gòu)相同，均由帶空間定位裝置的頭顯、手柄、剛體標(biāo)記球組、渲染計(jì)算機(jī)組成；所述手柄用于用戶與虛擬場(chǎng)景交互；所述各用戶的渲染計(jì)算機(jī)與服務(wù)器通過(guò)局域網(wǎng)連接；所述剛體標(biāo)記球組包括1個(gè)以上剛體標(biāo)記球；所述場(chǎng)景視頻包含各用戶的剛體標(biāo)記球組，所述服務(wù)器基于場(chǎng)景視頻中各用戶的剛體標(biāo)記球組中的剛體標(biāo)記球坐標(biāo)解算相應(yīng)用戶的位置信息，并將各用戶的位置信息下發(fā)到相應(yīng)用戶的渲染計(jì)算機(jī)；渲染計(jì)算機(jī)與頭顯雙向有線連接，接收頭顯中空間定位裝置采集的用戶姿態(tài)信息，根據(jù)用戶位置信息和姿態(tài)信息渲染相應(yīng)視角的視頻，并將相應(yīng)視角的視頻傳送至頭顯；所述各頭顯一體機(jī)與渲染存儲(chǔ)計(jì)算機(jī)有線雙向連接；虛擬人用戶的位置信息由主控用戶在服務(wù)器上設(shè)定；所述服務(wù)器將虛擬人用戶的位置信息傳輸至渲染存儲(chǔ)計(jì)算機(jī)；渲染存儲(chǔ)計(jì)算機(jī)根據(jù)虛擬人用戶的位置信息渲染全景視頻并保存；所述渲染存儲(chǔ)計(jì)算機(jī)將其渲染的全景視頻傳輸至各頭顯一體機(jī)；所述各頭顯一體機(jī)帶空間定位裝置；各頭顯一體機(jī)采集的相應(yīng)虛擬用戶的姿態(tài)信息，根據(jù)姿態(tài)信息渲染相應(yīng)視角的視頻；所述音頻采集裝置用于錄制場(chǎng)景音頻，并將其傳輸至渲染存儲(chǔ)服務(wù)器存儲(chǔ)。
所述渲染存儲(chǔ)計(jì)算機(jī)與各頭顯一體機(jī)采用hdmi協(xié)議雙向有線連接。
所述剛體標(biāo)記球組包括兩個(gè)剛體標(biāo)記球分組，分別安裝在頭顯和手柄上。
實(shí)施例2：
一種多人虛擬現(xiàn)實(shí)交互系統(tǒng)的控制方法，其特征在于：包括以下具體步驟：
步驟1：場(chǎng)景視頻采集：服務(wù)器接收各攝像頭采集的場(chǎng)景視頻，所述場(chǎng)景視頻包含各用戶的剛體標(biāo)記球組；
步驟2：用戶位置信息解算：由以下具體步驟組成：
步驟2-1：服務(wù)器提取場(chǎng)景視頻中各用戶的剛體標(biāo)記球組中各剛體標(biāo)記球的坐標(biāo)；
步驟2-2：服務(wù)器根據(jù)各剛體標(biāo)記球的坐標(biāo)解算各用戶的頭和手柄的位置信息和姿態(tài)信息；
步驟3：用戶子系統(tǒng)的用戶視角視頻渲染：由以下具體步驟組成：
步驟3-1：服務(wù)器發(fā)送的所有用戶的位置信息和姿態(tài)信息至各渲染計(jì)算機(jī)；
步驟3-2：各渲染計(jì)算機(jī)根據(jù)相應(yīng)用戶的頭的位置信息和姿態(tài)信息，渲染視頻，將其發(fā)送到相應(yīng)頭顯；所述視頻中包括與其他用戶對(duì)應(yīng)的虛擬對(duì)象；所述各虛擬對(duì)象的位置和姿態(tài)由相應(yīng)子用戶的頭和手柄的位置信息和姿態(tài)信息決定；
步驟4：虛擬人用戶子系統(tǒng)的全景視頻渲染：包括以下具體步驟：
步驟4-1：主控用戶在服務(wù)器上設(shè)定虛擬用戶的位置信息；
步驟4-2：服務(wù)器將虛擬用戶的位置信息發(fā)送到渲染存儲(chǔ)計(jì)算機(jī)；
步驟4-2：渲染存儲(chǔ)計(jì)算機(jī)根據(jù)虛擬用戶的位置信息渲染對(duì)應(yīng)的全景視頻并存儲(chǔ)；
步驟4-3：音頻采集裝置錄制場(chǎng)景音頻，并將其傳輸至渲染存儲(chǔ)服務(wù)器存儲(chǔ)；
步驟4-4：渲染存儲(chǔ)計(jì)算機(jī)使用hdmi協(xié)議將全景視頻和場(chǎng)景音頻發(fā)送到各頭顯一體機(jī)；
步驟4-5：各頭顯一體機(jī)根據(jù)其采集的姿態(tài)信息，渲染相應(yīng)視角的視頻播放。
所述的多人虛擬現(xiàn)實(shí)交互系統(tǒng)的控制方法中，所述步驟4中存儲(chǔ)計(jì)算機(jī)渲染存儲(chǔ)的全景視頻是3d全景視頻。