本發(fā)明涉及通信技術領域，特別涉及一種呈現(xiàn)目標增強信息的實現(xiàn)方法和裝置。

背景技術：

近年來，隨著顯示設備以及顯卡性能的提升，物理追蹤技術的日益精確以及互動方式的更加豐富，虛擬現(xiàn)實(virtualreality，vr)技術得到了飛速的發(fā)展。越來越多的虛擬現(xiàn)實技術被應用到了娛樂，社交，教育，醫(yī)療以及旅游等領域。

虛擬現(xiàn)實是集合仿真技術、計算機圖形學、人機接口技術、多媒體技術傳感技術以及網(wǎng)絡技術等多種領域技術而開發(fā)出來的一種計算機仿真系統(tǒng)，能夠創(chuàng)建并讓用戶感受到原本只有在真實世界才會擁有的體驗。簡單來說，虛擬現(xiàn)實技術能夠?qū)⒂脩舻母兄獛胗伤鼊?chuàng)建的虛擬世界，并讓用戶以為眼前的以前一切都是真實的。

目前市場上很多企業(yè)推出各自的vr產(chǎn)品，最具代表性的分別是谷歌、三星、oculus、htc以及索尼，它們分別研發(fā)推出了各自的vr頭顯，移動端的googledaydream、samsunggearvr，sonypsvr，以及pc端的oculusrift和htcvive。

vr最大的特色在于能夠給用戶提供了沉浸式的體驗，讓用戶有一種身臨其境的感受。目前國內(nèi)外有很多的內(nèi)容供應商提供了vr內(nèi)容服務，國外有facebook、youtube、amazon等,國內(nèi)有愛奇藝、樂視、優(yōu)酷等。

沉浸式體驗意味著在虛擬世界里，用戶體驗任何虛擬事物都需要自己獨立完成，無法從外界獲得任何幫助。如果用戶在虛擬世界里對某個事物特別感興趣，希望了解該虛擬目標的詳細信息時，vr設備通常無法提供交互幫助。

技術實現(xiàn)要素：

有鑒于此，本申請?zhí)峁┮环N呈現(xiàn)目標增強信息的實現(xiàn)方法和裝置，能夠在虛擬場景中，與虛擬目標交互信息。

為解決上述技術問題，本申請的技術方案是這樣實現(xiàn)的：

一種呈現(xiàn)目標增強信息的實現(xiàn)方法，應用于vr客戶端上，該方法包括：

當確定一區(qū)域為用戶的roi區(qū)域時，將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器確定該roi區(qū)域的位置信息所對應的目標的增強信息，并反饋給本客戶端；

接收到呈現(xiàn)服務器反饋的增強信息時，將該增強信息疊加在該roi區(qū)域，并顯示。

一種呈現(xiàn)目標增強信息的實現(xiàn)方法，應用于呈現(xiàn)服務器上，該方法包括：

接收到vr客戶端發(fā)送的roi區(qū)域的位置信息時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；

通過深度學習的方法識別該目標，并獲取該目標的增強信息，反饋給vr客戶端，使所述vr客戶端在所述roi區(qū)域顯示所述增強信息。

一種呈現(xiàn)目標增強信息的實現(xiàn)裝置，應用于vr客戶端上，該裝置包括：確定單元、發(fā)送單元、接收單元和顯示單元；

所述確定單元，用于確定用戶的roi區(qū)域；

所述發(fā)送單元，用于當所述確定單元確定一區(qū)域為用戶的roi區(qū)域時，將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器確定該roi區(qū)域的位置信息所對應的目標的增強信息，并反饋給本客戶端；

所述接收單元，用于接收增強信息；

所述顯示單元，用于當所述接收單元接收到呈現(xiàn)服務器反饋的增強信息時，將該增強信息疊加在該roi區(qū)域，并顯示。

一種呈現(xiàn)目標增強信息的實現(xiàn)裝置，應用于呈現(xiàn)服務器上，該裝置包括：接收單元、獲取單元、處理單元和發(fā)送單元；

所述接收單元，用于接收vr客戶端發(fā)送的位置信息；

所述獲取單元，用于當所述接收單元接收到vr客戶端發(fā)送的roi區(qū)域的位置信息時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；獲取所述處理單元識別的目標的增強信息；

所述處理單元，用于根據(jù)所述獲取單元獲取的目標的輪廓和數(shù)據(jù)通過深度學習的方法識別該目標；

所述發(fā)送單元，用于將所述獲取單元獲取的增強信息反饋給vr客戶端，使所述vr客戶端在所述roi區(qū)域顯示所述增強信息。

由上面的技術方案可知，本申請中客戶端實時監(jiān)控，當確定用戶感興趣的區(qū)域時，將該區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器確定該區(qū)域?qū)哪繕说脑鰪娦畔ⅲ⒎答伣o本客戶端在該區(qū)域上疊加顯示。該方案能夠在虛擬場景中，與虛擬目標交互信息。

附圖說明

圖1為本申請實施例中vr客戶端呈現(xiàn)增強信息的流程示意圖；

圖2為本申請實施例中呈現(xiàn)服務器實現(xiàn)呈現(xiàn)目標增強信息流程示意圖；

圖3為本申請實施例中應用于vr客戶端上的裝置結構示意圖；

圖4為本申請實施例中應用于呈現(xiàn)服務器上的裝置結構示意圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，下面結合附圖并舉實施例，對本發(fā)明的技術方案進行詳細說明。

本申請實施例中提供一種呈現(xiàn)目標增強信息的實現(xiàn)方法，應用于包括vr客戶端、呈現(xiàn)服務器的和內(nèi)容分發(fā)服務器的系統(tǒng)中，vr客戶端確定用戶的感興趣區(qū)域(regionofinteresting，roi)區(qū)域時，將該區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，呈現(xiàn)服務器根據(jù)該區(qū)域的位置信息獲取對應目標的增強信息，并反饋給vr客戶端在該roi區(qū)域進行顯示。能夠在虛擬場景中，與虛擬目標交互信息，極大的增強了虛擬世界的用戶體驗度。

本申請實施例中，內(nèi)容分發(fā)服務器用于向呈現(xiàn)服務器和vr客戶端推送全景內(nèi)容；在具體實現(xiàn)時，呈現(xiàn)服務器和內(nèi)容分發(fā)服務器可以使用一個服務器實現(xiàn)，也可以使用不同的服務器實現(xiàn)。

下文描述以呈現(xiàn)服務器和內(nèi)容分發(fā)服務器為不同服務器為例，且為了描述方便，在下文的描述中vr客戶端簡稱為客戶端。

客戶端、呈現(xiàn)服務器，分別與內(nèi)容分發(fā)服務器之間建立會話連接，如rtp會話連接；客戶端與呈現(xiàn)服務器之間建立會話連接，如tcp會話連接。

內(nèi)容分發(fā)服務器分別向客戶端和呈現(xiàn)服務器以組播報文的方式，如rtp組播，發(fā)送全景內(nèi)容，在報文中攜帶全景內(nèi)容的時間戳及編碼數(shù)據(jù)。一個全景內(nèi)容的數(shù)據(jù)幀可能由一個或者多個rtp報文組成。

其中，全景內(nèi)容可是視頻、游戲等。

客戶端以及呈現(xiàn)服務器接收到的全景內(nèi)容，在時間上需要保持同步。

客戶端接收到全景內(nèi)容后，將視角范圍內(nèi)的全景內(nèi)容顯示給用戶，用于給用戶進行身臨其境的觀看、操作。

下面結合附圖，詳細描述本申請實施例中呈現(xiàn)目標增強信息的實現(xiàn)過程。即用戶在觀看、操作全景內(nèi)容時，實時監(jiān)控用戶所注視的區(qū)域，如果對某一區(qū)域的內(nèi)容感興趣時，進行如下處理。

參見圖1，圖1為本申請實施例中vr客戶端呈現(xiàn)增強信息的流程示意圖。具體步驟為：

步驟101，當確定一區(qū)域為用戶的roi區(qū)域時，客戶端將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器確定該roi區(qū)域的位置信息所對應的目標的增強信息，并反饋給本客戶端。

本申請實施例中的目標即為一個對象，可以為：人、動物、植物、城鎮(zhèn)等。

本步驟中確定一區(qū)域為用戶的roi區(qū)域，具體包括：

每隔第一預設時間，確定用戶當前視線停留區(qū)域；并統(tǒng)計用戶視線停留在每個區(qū)域內(nèi)的次數(shù)；

在確定用戶實現(xiàn)停留區(qū)域時，客戶端輸出用戶實現(xiàn)停留，也就是注視某一點的位置坐標，再根據(jù)劃分的區(qū)域坐標，確定當前實現(xiàn)停留的區(qū)域。

每確定一次實現(xiàn)停留區(qū)域，統(tǒng)計一次用戶視線停留在每個區(qū)域的次數(shù)，也可以每次只統(tǒng)計新增停留次數(shù)的區(qū)域。

當?shù)诙A設時間內(nèi)，停留在一區(qū)域的次數(shù)達到預設次數(shù)時，確定該區(qū)域為用戶的roi區(qū)域。即用戶頻繁注視某一目標，即視線落入某一區(qū)域的次數(shù)達到預設次數(shù)，則確定該區(qū)域為用戶的roi區(qū)域。

在具體實現(xiàn)時第二預設時間應大于第一預設時間，第一時間如可以配置為50ms，或100ms。

本申請實施例中的區(qū)域是預先劃分的，劃分的區(qū)域的大小可以根據(jù)實際需要確定。

本客戶端接收內(nèi)容分發(fā)服務器發(fā)送的全景內(nèi)容，與呈現(xiàn)服務器上接收相同的全景內(nèi)容時，在時間上保持同步。

本步驟中將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器時，同時將當前用戶的視角位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器在查找到視角位置信息所對應的范圍中確定該roi區(qū)域的位置信息所對應的目標的增強信息。

在具體是現(xiàn)實，可以但不限于通過眼球追蹤儀確定roi區(qū)域的位置信息，該位置信息為二維坐標信息；該二維坐標信息包括二維坐標系上水平方向和垂直方向的位置坐標。

如果用戶在虛擬世界中長時間注視某一位置，客戶端中的眼球追蹤儀檢測到用戶視線停留的位置，進而提取出roi坐標信息。

可以但不限于通過陀螺儀確定視角位置信息，該位置信息為三維坐標信息；該三維坐標信息包含三維坐標系上水平方向和垂直方向的角度坐標。

本步驟中當確定一區(qū)域為用戶的roi區(qū)域時，進一步包括：

提示用戶是否需要顯示增強信息；

當接收到用戶輸入的需要顯示增強信息的指令，或預設時間到時未接收到用戶輸入的指令時，將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器。

當接收到用戶輸入的不需要顯示增強信息的指令時，結束處理，即不將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器。

呈現(xiàn)服務器接收到客戶端發(fā)送的roi區(qū)域的位置信息時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；

通過深度學習的方法識別該目標，并獲取該目標的增強信息，反饋給vr客戶端；使所述客戶端在所述roi區(qū)域顯示所述增強信息。

目標的增強信息可以為目標的屬性信息，包括下述參數(shù)之一或任意組合：

目標的名稱、顏色、產(chǎn)地、背景、價值、歷史。

即增強信息可以包括但不限于目標的名稱、顏色、產(chǎn)地、背景、價值、歷史等屬性信息，也可以是根據(jù)目標的具體情況確定要顯示的屬性信息。

增強信息也可以為用戶基于所述目標作出的評價或交互信息。

增強信息還可以同時包括目標的屬性信息和針對目標作出的評價、交互信息等。

針對增強信息所包含的內(nèi)容，本申請實施例中不限于上述給出的信息，可以根據(jù)實際應用配置要顯示的參數(shù)，進而獲取對應的參數(shù)的信息作為增強信息。

步驟102，客戶端接收到呈現(xiàn)服務器反饋的增強信息時，將該增強信息疊加在該roi區(qū)域，并顯示。

增強信息在roi區(qū)域顯示的位置可以預先配置，也可以根據(jù)要顯示的信息內(nèi)容的多少進行適當調(diào)整。

在具體實現(xiàn)時，還可以配置增強信息顯示的時間，時間到時，自動關閉增強信息的顯示。

也可以先顯示增強信息的同時顯示關閉增強信息的選項，由用戶選擇是否關閉當前顯示的增強信息。

參見圖2，圖2為本申請實施例中呈現(xiàn)服務器實現(xiàn)呈現(xiàn)目標增強信息流程示意圖。具體步驟為：

步驟201，呈現(xiàn)服務器接收到客戶端發(fā)送的roi區(qū)域的位置信息時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)。

本步驟呈現(xiàn)服務器接收vr客戶端發(fā)送的roi區(qū)域的位置信息時，同時接收到vr客戶端發(fā)送的當前用戶的視角位置信息。

本步驟中，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)之前，進一步包括：

確定roi區(qū)域的位置信息和視角位置信息是否有效；

當roi區(qū)域的位置信息和視角位置信息均有效時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；

當roi區(qū)域的位置信息和視角位置信息中任一信息存在無效時，不進行進一步處理，也可以向客戶端發(fā)送錯誤提示信息。

針對視覺位置信息是否有效，即確定對應視覺坐標是否處于0-360度數(shù)據(jù)范圍內(nèi)，若在0-360度數(shù)據(jù)范圍內(nèi)，則確定該視覺位置信息有效；否則，確定無效。

針對roi位置信息是否有效，即確定roi位置信息對應的坐標是否在對應的視覺位置信息所對應的位置坐標范圍內(nèi)，如果是，確定roi位置信息有效；否則，確定roi位置信息無效。

本步驟中，呈現(xiàn)服務器獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)，具體包括：

對本地存儲的全景內(nèi)容進行處理，生成所述視角位置信息所對應范圍內(nèi)的數(shù)據(jù)，并去畸變；

在去畸變的數(shù)據(jù)所對應的內(nèi)容中獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)。

步驟202，該呈現(xiàn)服務器通過深度學習的方法識別該目標，并獲取該目標的增強信息，反饋給客戶端，使所述客戶端在所述roi區(qū)域顯示所述增強信息。

本步驟中，呈現(xiàn)服務器通過深度學習的方法識別該目標，并生成一系列可能的參考目標及可靠度。

通常默認可靠度最高并可靠比率超過80％的目標為最終識別目標，如果未能滿足該條件，則認為識別失敗，處理過程直接結束。

在識別成功的前提下，呈現(xiàn)服務器通過大數(shù)據(jù)搜索，獲得該目標的一系列信息，并通過預定義的方式，將該目標的某些屬性生成增強信息。

基于同樣的發(fā)明構思，本申請實施例中還提出一種呈現(xiàn)目標增強信息的實現(xiàn)裝置，應用于vr客戶端上。參見圖3，圖3為本申請實施例中應用于vr客戶端上的裝置結構示意圖。該裝置包括：確定單元301、收發(fā)單元302、和顯示單元303；

確定單元301，用于確定用戶的roi區(qū)域；

收發(fā)單元302，用于當確定單元301確定一區(qū)域為用戶的roi區(qū)域時，將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器確定該roi區(qū)域的位置信息所對應的目標的增強信息，并反饋給本客戶端；接收增強信息；

顯示單元303，用于當收發(fā)單元302接收到呈現(xiàn)服務器反饋的增強信息時，將該增強信息疊加在該roi區(qū)域，并顯示。

較佳地，

確定單元301，具體用于確定一區(qū)域為用戶的roi區(qū)域時，每隔第一預設時間，確定用戶當前視線停留區(qū)域；并統(tǒng)計用戶視線停留在每個區(qū)域內(nèi)的次數(shù)；當?shù)诙A設時間內(nèi)，停留在一區(qū)域的次數(shù)達到預設次數(shù)時，確定該區(qū)域為用戶的roi區(qū)域。

較佳地，

收發(fā)單元302，用于接收內(nèi)容分發(fā)服務器發(fā)送的全景內(nèi)容，與呈現(xiàn)服務器上接收相同的全景內(nèi)容時，在時間上保持同步。

較佳地，

收發(fā)單元302，進一步用于將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器時，同時將當前用戶的視角位置信息發(fā)送給呈現(xiàn)服務器，使呈現(xiàn)服務器在查找到視角位置信息所對應的范圍中確定該roi區(qū)域的位置信息所對應的目標的增強信息。

較佳地，

確定單元301，進一步用于通過眼球追蹤儀確定roi區(qū)域的位置信息，所述位置信息為二維坐標信息；通過陀螺儀確定視角位置信息，所述位置信息為三維坐標信息。

較佳地，

顯示單元303，進一步用于當確定單元301確定一區(qū)域為用戶的roi區(qū)域時，提示用戶是否需要顯示增強信息；

收發(fā)單元302，進一步用于接收用戶輸入的指令；接收到用戶輸入的需要顯示增強信息的指令，或預設時間到時未接收到用戶輸入的指令時，將該roi區(qū)域的位置信息發(fā)送給呈現(xiàn)服務器。

基于同樣的發(fā)明構思，本申請實施例中還提出一種呈現(xiàn)目標增強信息的實現(xiàn)裝置，應用于呈現(xiàn)服務器上。參見圖4，圖4為本申請實施例中應用于呈現(xiàn)服務器上的裝置結構示意圖。該裝置包括：接收單元401、獲取單元402、處理單元403和發(fā)送單元404；

接收單元401，用于接收vr客戶端發(fā)送的位置信息；

獲取單元402，用于當接收單元401接收到vr客戶端發(fā)送的roi區(qū)域的位置信息時，獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；獲取處理單元403識別的目標的增強信息；

處理單元403，用于根據(jù)獲取單元402獲取的目標的輪廓和數(shù)據(jù)通過深度學習的方法識別該目標；

發(fā)送單元404，用于將獲取單元402獲取的增強信息反饋給vr客戶端，使所述vr客戶端在所述roi區(qū)域顯示所述增強信息。

較佳地，

接收單元401，進一步用于在接收到vr客戶端發(fā)送的roi區(qū)域的位置信息時，同時接收到vr客戶端發(fā)送的當前用戶的視角位置信息。

較佳地，該裝置進一步包括：確定單元405；

確定單元405，用于確定接收到的roi區(qū)域的位置信息和視角位置信息是否有效；當roi區(qū)域的位置信息和視角位置信息均有效時，觸發(fā)獲取單元402獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)。

較佳地，

獲取單元402，具體用于獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)時，對本地存儲的全景內(nèi)容進行處理，生成所述視角位置信息所對應范圍內(nèi)的數(shù)據(jù)，并去畸變；在去畸變的數(shù)據(jù)所對應的內(nèi)容中獲取該roi區(qū)域的位置信息對應的目標的輪廓和數(shù)據(jù)；其中，roi區(qū)域的位置信息為二維坐標信息；視角位置信息為三維坐標信息。

上述實施例的單元可以集成于一體，也可以分離部署；可以合并為一個單元，也可以進一步拆分成多個子單元。

綜上所述，本申請通過內(nèi)容分發(fā)服務器用來向呈現(xiàn)服務器以及所有的客戶端推送全景內(nèi)容；客戶端定時獲取用戶的視角位置信息和感興趣區(qū)域的位置信息，并上傳給呈現(xiàn)服務器；呈現(xiàn)服務器在獲取到用戶的視角位置信息和感興趣區(qū)域的位置信息的情況下，對感興趣區(qū)域內(nèi)的目標進行識別，并將識別出來的增強信息反饋給客戶端，使客戶端在感興趣區(qū)域顯示該增強信息。用戶對虛擬世界里的目標感興趣時，能夠及時獲取到該目標的詳細信息，極大的增強了虛擬世界的用戶體驗度。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明保護的范圍之內(nèi)。