與本公開一致的裝置和方法涉及主設備、從設備及其控制方法，更具體地，涉及提供虛擬現(xiàn)實(vr)服務的主設備和從設備及其控制方法。

背景技術(shù)：

通常，虛擬現(xiàn)實(vr)技術(shù)指這樣一種技術(shù)，該技術(shù)根本目的在于通過允許人體的所有感覺(視覺、聽覺、嗅覺、味覺和觸覺)通過它們之間在通過計算機圖形(cg)技術(shù)創(chuàng)建的且類似于真實環(huán)境的三維(3d)虛擬環(huán)境中的相互作用而沉浸于虛擬創(chuàng)建的世界中，以最大化信息的利用，從而以三維的方式向參與者再現(xiàn)虛擬空間并且使人沉浸到虛擬空間中。

例如，當用戶穿戴vr頭顯時，覆蓋有白雪的滑雪場出現(xiàn)在他/她的眼前。即使他/她把頭轉(zhuǎn)向各個方向，他/她仍在滑雪場的中間。他/她的腳所在的滑雪板開始滑動，然后突然出現(xiàn)懸崖。此時，空的空間出現(xiàn)在腳下。盡管他/她的頭腦意識到這是虛擬現(xiàn)實的事實，但由于非常真實，所以他/她感覺好像頭顯中的虛擬滑雪場是真實的。

如上所述，vr服務向用戶提供了新的體驗，但針對內(nèi)容的購買和消費未進行商業(yè)上的服務。

技術(shù)實現(xiàn)要素：

技術(shù)問題

本公開提供了能夠基于每個從設備的運動信息向每個從設備提供適當圖像的主設備、從設備及其控制方法。

技術(shù)方案

根據(jù)本公開的方面，向提供虛擬現(xiàn)實服務的從設備提供圖像的主設備包括：內(nèi)容輸入部，配置成接收輸入的立體圖像；通信器，配置成執(zhí)行與提供虛擬現(xiàn)實服務的從設備的通信；以及處理器，配置成基于自從設備接收的運動信息來識別輸入的立體圖像中與對應的從設備的運動狀態(tài)對應的視點區(qū)域，并且控制通信器將所識別的視點區(qū)域的圖像傳輸至從設備。

處理器可將包括在輸入的立體圖像中的左眼圖像和右眼圖像投射到虛擬立體空間中以提供左眼立體空間圖像和右眼立體空間圖像，獲得所提供的左眼立體空間圖像和所提供的右眼立體空間圖像中與從設備的運動狀態(tài)對應的視點區(qū)域，以及將所獲得的視點區(qū)域傳輸至從設備。

處理器可基于自從設備接收的設備顯示信息將圖像緩沖區(qū)的一個區(qū)域確立為傳輸緩沖區(qū)，對傳輸緩沖區(qū)中與從設備的運動信息對應的圖像進行緩沖，以及將緩沖的圖像傳輸至對應的從設備。

主設備還可包括感測主設備的運動狀態(tài)的傳感器，其中，處理器基于所感測的運動狀態(tài)來校正自從設備接收的運動信息以提供與從設備對應的相對運動信息，并且基于所提供的相對運動信息來識別與從設備的運動狀態(tài)對應的視點區(qū)域。

處理器可基于當前接收的從設備的運動信息來預測從設備的未來運動信息，并且基于所預測的運動信息將輸入的立體圖像中與從設備的未來運動狀態(tài)對應的視點區(qū)域的圖像傳輸至從設備。

處理器可在自多個從設備接收的運動信息屬于預定閾值范圍的情況下將所述多個從設備分組成一組，并且將同一視點區(qū)域的圖像傳輸至屬于同一組的多個從設備。

根據(jù)本公開的另一方面，提供虛擬現(xiàn)實服務的從設備包括：通信器，配置成執(zhí)行與基于輸入的立體圖像來提供虛擬現(xiàn)實服務的主設備的通信；傳感器，配置成感測從設備的運動狀態(tài)；以及處理器，配置成控制通信器將與所感測的運動狀態(tài)有關的信息傳輸至所述主設備，并且從所述主設備接收與所感測的運動狀態(tài)對應的視點區(qū)域的圖像并輸出所接收的圖像。

當從主設備接收到主設備的運動信息時，處理器可基于所接收到的運動信息來校正所感測的運動狀態(tài)以提供與從設備對應的相對運動信息，并且將所提供的相對運動信息傳輸至主設備。

當從主設備接收到與基于所傳輸?shù)男畔⒍A測的未來運動狀態(tài)對應的視點區(qū)域的圖像時，處理器可輸出所接收到的圖像中基于實時運動狀態(tài)識別的視點區(qū)域的圖像。

處理器可將從設備的設備信息以及與所感測的運動狀態(tài)有關的信息傳輸至主設備，并且基于設備信息從主設備接收與所感測的運動狀態(tài)對應的視點區(qū)域的圖像。

根據(jù)本公開的又一方面，包括提供虛擬現(xiàn)實服務的主設備和從設備的圖像系統(tǒng)，包括：從設備，配置成感測運動狀態(tài)并將與所感測的運動狀態(tài)有關的運動信息傳輸至所述主設備；以及主設備，配置成基于自從設備接收的運動信息來識別輸入的立體圖像中與對應的從設備的運動狀態(tài)對應的視點區(qū)域并將所識別的視點區(qū)域的圖像傳輸至從設備。

根據(jù)本公開的再一方面，向提供虛擬現(xiàn)實服務的從設備提供圖像的主設備的控制方法，包括：接收輸入的立體圖像；基于自從設備接收的運動信息確定輸入的立體圖像中與對應的從設備的運動狀態(tài)對應的視點區(qū)域；以及將所識別的視點區(qū)域的圖像傳輸至從設備。

控制方法還可包括：將包括在輸入的立體圖像中的左眼圖像和右眼圖像投射到虛擬立體空間中以提供左眼立體空間圖像和右眼立體空間圖像；以及獲得所提供的左眼立體空間圖像和所提供的右眼立體空間圖像中與從設備的運動狀態(tài)對應的視點區(qū)域。

在將所識別的視點區(qū)域的圖像傳輸至從設備時，基于自從設備接收的設備顯示信息將圖像緩沖區(qū)的一個區(qū)域確立為傳輸緩沖區(qū)，且在傳輸緩沖區(qū)中對與從設備的運動信息對應的圖像進行緩沖，然后將所緩沖的圖像傳輸至對應從設備。

控制方法還可包括感測主設備的運動狀態(tài)，其中，在確定視點區(qū)域時，基于所感測的運動狀態(tài)來校正自從設備接收的運動信息以提供與從設備對應的相對運動信息，并且基于所提供的相對運動信息來識別與從設備的運動狀態(tài)對應的視點區(qū)域。

控制方法還可包括：基于當前自從設備接收的運動信息來預測從設備的未來運動信息，并且基于預測的運動信息來傳輸輸入的立體圖像中與從設備的未來運動狀態(tài)對應的視點區(qū)域的圖像。

此外，在將所識別的視點區(qū)域的圖像傳輸至從設備時，在自多個從設備接收的運動信息屬于預定閾值范圍的情況中，所多個從設備可分組成一組，并且可將同一視點區(qū)域的圖像傳輸至屬于同一組的多個從設備。

根據(jù)本公開的再一方面，用于提供虛擬現(xiàn)實服務的從設備的控制方法包括：感測從設備的運動狀態(tài)；基于輸入的立體圖像將與感測的運動狀態(tài)有關的信息傳輸至提供虛擬現(xiàn)實服務的主設備；以及從主設備接收與感測的運動狀態(tài)對應的視點區(qū)域的圖像并且輸出接收的圖像。

在將與所感測的運動狀態(tài)有關的信息傳輸至主設備過程中，當從主設備接收到主設備的運動信息時，可基于所接收的運動信息來校正所感測的運動狀態(tài)以提供與從設備對應的相對運動信息，并且所提供的相對運動信息可被傳輸?shù)街髟O備。

控制方法還可包括當接收到與未來運動狀態(tài)對應的視點區(qū)域的圖像時，輸出與基于從主設備傳輸?shù)倪\動信息而預測的未來運動狀態(tài)對應的視點區(qū)域的圖像中基于實時運動狀態(tài)而識別的視點區(qū)域的圖像。有益效果

如上所述，根據(jù)本公開的不同示例性實施方式，多個用戶可分別接收能夠提供最優(yōu)沉浸感的適當圖像，同時彼此分享一個內(nèi)容。

附圖說明

圖1為示出根據(jù)本公開示例性實施方式的用戶終端裝置的實施例的視圖。

圖2a和圖2b為用于描述根據(jù)本公開不同示例性實施方式的場景的視圖。

圖3a到圖3c為示出根據(jù)本公開示例性實施方式的主設備的組件的框圖。

圖4為示出根據(jù)本公開示例性實施方式的從設備的組件的框圖。

圖5為根據(jù)本公開示例性實施方式用于詳細描述主設備與從設備之間操作的順序圖。

圖6a和圖6b為根據(jù)本公開示例性實施方式用于詳細描述運動信息校正方法的視圖。

圖7為根據(jù)本公開示例性實施方式用于詳細描述基于運動信息的圖像分割方法的視圖。

圖8為根據(jù)本公開示例性實施方式用于描述生成和輸出全景虛擬現(xiàn)實(vr)內(nèi)容的方法的視圖。

圖9為根據(jù)本公開示例性實施方式用于描述主設備的控制方法的流程圖。

圖10為根據(jù)本公開示例性實施方式用于描述從設備的控制方法的流程圖。

具體實施方式

圖1為示出根據(jù)本公開示例性實施方式的用戶終端裝置的實施例的視圖。

如圖1所示，根據(jù)本公開示例性實施方式的虛擬現(xiàn)實(vr)設備100、200-1、200-2和200-3可實施為提供虛擬現(xiàn)實服務的頭部可穿戴終端(即頭顯)的形式。

詳細地，vr設備100、200-1、200-2和200-3可實施為跟蹤用戶頭部的移動以立即更新視場圖像，并且可實施為提供三維(3d)圖像和三維(2d)圖像。例如，當用戶佩戴頭顯時，vr設備完全支配用戶的視場以提供立體圖像和360°的聲音，并且vr設備的陀螺儀傳感器、加速度傳感器等可實施為感測用戶上下或左右移動他們的頭部以提供適合于頭部的移動方向的視覺效果。在廣義上，vr可以為包括用屏幕且在屏幕上使信息重疊并且三維地顯示信息的增強現(xiàn)實(ar)的概念。

此外，由于智能電話連接至vr設備100、200-1、200-2和200-3且用作顯示器并且因此智能電話的處理器或電池按照其本來的樣子使用，所以vr設備100、200-1、200-2和200-3可實施為它們完全無線地使用的形式。然而，vr設備不必限制于此，而是還可通過與顯示器成一體的vr設備實現(xiàn)。

此外，vr設備100、200-1、200-2和200-3的頭顯主體可安裝有操作跟蹤板、返回按鈕、音量調(diào)節(jié)鍵等，且vr設備100、200-1、200-2和200-3可實施使得眼前的圖像利用智能電話后表面的攝像頭投射到屏幕上。此外，vr設備100、200-1、200-2和200-3可實施為使用嵌入在智能電話中的陀螺儀傳感器和加速度傳感器以及頭顯主體的傳感器來跟蹤移動。

同時，根據(jù)本公開的示例性實施方式，主vr設備100(在下文中，被稱為主設備)可執(zhí)行與從設備200-1、200-2和200-3(在下文中，被稱為從設備)的通信以將輸入的內(nèi)容流傳輸?shù)綇脑O備200-1、200-2和200-3。在下文中，將參照附圖詳細描述本公開。

圖2a和圖2b為用于描述根據(jù)本公開不同示例性實施方式的場景的視圖。

圖2a中所示的根據(jù)本公開示例性實施方式的場景可以為僅主設備100對內(nèi)容具有訪問權(quán)限并且從設備200-1、200-2和200-3接收從主設備100流傳輸?shù)膬?nèi)容的形式。在這樣的情況下，主設備100可購買付費內(nèi)容，決定是否授權(quán)從設備200-1、200-2和200-3的訪問，然后與從設備200-1、200-2和200-3分享所購買的內(nèi)容。詳細地，其訪問被授權(quán)的從設備200-1、200-2和200-3可將它們的運動信息傳輸至主設備100，且主設備100可基于從設備200-1、200-2和200-3中的每個的運動信息傳輸與從設備200-1、200-2和200-3對應的子內(nèi)容。

圖2b中所示的根據(jù)另一示例性實施方式的場景可以為當佩戴主設備的用戶游覽著名博物館、歷史遺跡等時，他/她接收虛擬游覽向?qū)Р@得的虛擬游覽向?qū)峁┲翉脑O備200-1、200-2和200-3。在這樣的情況下，位于長距離處的從設備200-1、200-2和200-3的用戶可接收與主設備的用戶相同的游覽體驗。

在下文中，將描述實施以上所述的不同場景的本公開的不同示例性實施方式。

圖3a至圖3c為示出根據(jù)本公開示例性實施方式的主設備的組件的框圖。

如圖3a所示，根據(jù)本公開示例性實施方式的主設備100包括圖像輸入部110、通信器120和處理器130。這里，主設備100提供虛擬現(xiàn)實服務，并且用來向提供虛擬現(xiàn)實服務的從設備提供vr圖像。

圖像輸入部110接收輸入圖像。這里，輸入圖像可以為包括用于提供vr服務的左眼圖像和右眼圖像的3d圖像，但不限于此。也就是，輸入圖像可以為全景vr內(nèi)容、普通2d圖像等。例如，在通過圖像輸入部110接收到包括左眼圖像和右眼圖像的3d圖像的情況下，將在下文描述的處理器130可基于所接收到的3d圖像提供全景vr圖像。然而，在一些情況下，可利用預先存儲在主設備100本身中的內(nèi)容提供全景vr圖像或者全景vr圖像本身可以被預存儲。

通信器120執(zhí)行與從設備200-1、200-2和200-3的通信。這里，通信器120可通過諸如藍牙(bt)方式、無線保真(wi-fi)方式、無線個域網(wǎng)方式、紅外(ir)方式、串行接口方式、通用串行總線(usb)方式、近場通信(nfc)方式等的多種通信方式執(zhí)行與從設備200-1、200-2和200-3或外部服務器(未示出)的通信。例如，通信器120可通過流傳輸或下載的方式從外部服務器接收的3d圖像內(nèi)容。

詳細地，當預定事件發(fā)生時，通信器120可根據(jù)預定通信方式執(zhí)行與從設備200-1、200-2和200-3的通信以成為交互工作狀態(tài)。這里，交互工作狀態(tài)可意指通信的所有可能狀態(tài)，例如使主設備100與從設備200-1、200-2和200-3之間的通信初始化的操作、形成網(wǎng)絡的操作、執(zhí)行設備配對的操作等。例如，可將從設備200-1、200-2和200-3的設備識別信息提供到主設備100，并且相應地可執(zhí)行從設備200-1、200-2和200-3與主設備100之間的配對過程。例如，當在主設備100或從設備200-1、200-2和200-3中發(fā)生預定事件時，通信器120可通過數(shù)字生活網(wǎng)絡聯(lián)盟(dlna)技術(shù)搜索外圍設備，并執(zhí)行與搜索到的設備的配對以成為交互工作狀態(tài)。

處理器130控制主設備100的總體操作。

具體地，處理器130可基于自從設備200-1、200-2和200-3接收的運動信息識來別輸入的3d圖像中與相應的從設備200-1、200-2和200-3的運動狀態(tài)對應的視點(或方向)區(qū)域。然后，處理器130可控制通信器120將所識別的視點區(qū)域的圖像傳輸至從設備。這里，運動信息可以為與從設備200-1、200-2和200-3的所有方向有關的實時方向信息、角度信息等，但不限于此。也就是，運動信息可包括移動速度信息、旋轉(zhuǎn)信息等。此外，在自從設備200-1、200-2和200-3接收初始方向信息和角度信息后，可以接收基于先前接收到的方向和角度信息的移動方向和角度信息。然而，本公開不限于此。

在這樣的情況下，處理器130可基于自從設備200-1、200-2和200-3接收的設備信息(例如，設備id)將與從設備200-1、200-2和200-3對應的圖像傳輸至相應的從設備200-1、200-2和200-3。此外，處理器130可基于自從設備200-1、200-2和200-3接收到的設備顯示信息將圖像緩沖區(qū)的一個區(qū)域確立為傳輸緩沖區(qū)，對傳輸緩沖區(qū)中的與從設備的運動信息對應的圖像進行緩沖，并將所緩沖的圖像傳輸至對應的從設備200-1、200-2和200-3。在這樣的情況下，處理器130可分別確立與從設備200-1、200-2和200-3中的每個對應的傳輸緩沖區(qū)。

在這樣的情況下，處理器130可：將包括在輸入的立體圖像中的左眼圖像和右眼圖像投射到虛擬立體空間中以提供左眼立體空間圖像和右眼立體空間圖像；在所提供的左眼立體空間圖像和右眼立體空間圖像中獲得與從設備200-1、200-2和200-3中的每個的運動狀態(tài)對應的視點區(qū)域；以及將獲得的視點區(qū)域傳輸至相應的從設備200-1、200-2和200-3。

處理器130可：將輸入的圖像解壓縮(或解碼)；將解壓縮(或解碼)的圖像存儲在圖像緩沖區(qū)中；從存儲在圖像緩沖區(qū)中的圖像獲得與從設備200-1、200-2和200-3的運動信息對應的區(qū)域；壓縮(或編碼)所獲得的圖像；然后將所壓縮(或所編碼)的圖像傳輸?shù)綇脑O備200-1、200-2和200-3。

可選地，處理器130可：獲得與從設備200-1、200-2和200-3的運動信息對應的區(qū)域；解碼所獲得的區(qū)域并且然后將經(jīng)解碼的區(qū)域傳輸至從設備200-1、200-2和200-3或可僅解碼與運動信息對應的區(qū)域中的除了先前傳輸?shù)膱D像之外的邊緣區(qū)域然后傳輸經(jīng)解碼的邊緣區(qū)域。

可選地，處理器130可利用編碼解碼器將基于從設備200-1、200-2和200-3的運動信息確定的區(qū)域的邊緣圖像以及當前從主設備100輸出的經(jīng)解碼的主圖像作為低圖像質(zhì)量圖像或經(jīng)編碼的圖像傳輸至從設備200-1、200-2和200-3。這里，邊緣圖像可以為基于從設備200-1、200-2和200-3的運動信息確定的區(qū)域中除了經(jīng)解碼的主圖像之外的圖像。在這樣的情況下，從設備200-1、200-2和200-3可解碼所接收到的邊緣區(qū)域、將經(jīng)解碼的邊緣圖像與接收到的主圖像進行合成，并且然后輸出所合成的圖像，從而最小化由于圖像傳輸產(chǎn)生的延遲。

此外，處理器130可基于當前接收到的從設備200-1、200-2和200-3的運動信息預測從設備200-1、200-2和200-3的未來運動信息，并且基于所預測的運動信息將輸入圖像中的與從設備200-1、200-2和200-3的未來運動狀態(tài)對應的視點區(qū)域的圖像傳輸至從設備200-1、200-2和200-3。例如，處理器130可利用濾波方法(例如現(xiàn)有的卡爾曼濾波器)跟蹤并預測從設備200-1、200-2和200-3的未來運動狀態(tài)。

此外，在從多個從設備接收到的運動信息屬于預定閾值范圍的情況下，處理器130可將多個從設備分組到一個組，并將同一視點區(qū)域的圖像傳輸至屬于同一組的多個從設備。例如，處理器130可將在右側(cè)方向上的具有10°到15°之間的運動信息的第一從設備和第二從設備分組到一組，并將與相應運動信息對應的同一視點區(qū)域的圖像傳輸至第一從設備和第二從設備。

圖3b為示出圖3a中所示的主設備的詳細組件的框圖。如圖3b中所示，主設備100’包括圖像輸入部110、通信器120、處理器130、傳感器140、圖像處理器150、顯示器160和存儲器170。將省略對圖3b中所示的組件之中與圖3a中所示組件重疊的組件的詳細描述。

傳感器140感測主設備的運動狀態(tài)。

詳細地，傳感器140包括用于感測運動狀態(tài)的磁傳感器、陀螺儀傳感器、加速度傳感器等。磁傳感器為主設備100’的用于感測旋轉(zhuǎn)狀態(tài)、移動方向等的傳感器。陀螺儀傳感器為用于感測主設備100’的旋轉(zhuǎn)角度的傳感器。傳感器140可包括磁傳感器和陀螺儀傳感器兩者。然而，即使傳感器僅包括磁傳感器和陀螺儀傳感器之一，主設備100’的旋轉(zhuǎn)狀態(tài)也可被感測。加速度傳感器為用于感測主設備100’的傾斜水平的傳感器。

此外，傳感器140還可包括用于通過附接至設備的觸摸板感測觸摸或懸停操作的觸摸傳感器、接近傳感器等。

在這樣的情況下，處理器130可基于傳感器140中感測到的運動狀態(tài)校正自從設備接收到的運動信息以提供與從設備對應的相對運動信息，并且可基于所提供的相對運動信息識別與從設備的運動狀態(tài)對應的視點區(qū)域。然而，這只是示例，且在一些情況下，處理器130還可將與感測到的運動狀態(tài)對應的運動信息傳輸?shù)綇脑O備并自從設備接收經(jīng)校正的相對運動信息。也就是，可以在主設備和從設備中的任一者中執(zhí)行校正過程。這里，例如，在主設備100的方向信息為在右側(cè)方向上的10°且從設備的方向信息為在右側(cè)方向中的13°的情況下，基于主設備100的方向信息，從設備的相對運動信息可以為在右側(cè)方向中的3°。

圖像處理器150可用來渲染與傳感器140中感測到的運動狀態(tài)對應的圖像并將所渲染的圖像提供至顯示器160。

顯示器160顯示通過圖像處理器150渲染的圖像。在這樣的情況下，顯示器160可以通過液晶顯示(lcd)面板、有機發(fā)光二極管(oled)等實現(xiàn)，但不限于此。此外，在一些情況下，顯示器160還可通過柔性顯示器、透明顯示器等實現(xiàn)。同時，在智能電話連接至主設備并用作如參照圖1描述的顯示屏的情況下，顯示器160可通過智能電話的顯示器來實現(xiàn)。

在本文中，存儲器170在其中存儲各種數(shù)據(jù)(例如用于驅(qū)動主設備100’的操作系統(tǒng)(o/s)軟件模塊)、各種多媒體內(nèi)容等。

具體地，參照圖3c，諸如感測模塊171、圖像獲取模塊172、運動預測模塊173、組管理模塊174等程序可存儲在存儲器170中。

感測模塊171為從各種傳感器采集信息并分析和管理所采集的信息的模塊。例如，感測模塊171可包括運動識別模塊、觸摸識別模塊、和音頻識別模塊等。

圖像獲取模塊172用于確定并獲得與通過感測模塊171采集/分析的運動信息或自從設備接收的運動信息對應的圖像。

運動預測模塊173用于基于當前接收到的從設備的運動信息預測從設備的未來運動信息以提供預測運動信息。

組管理模塊174用于在自多個從設備接收到的運動信息屬于預定閾值范圍的情況下將多個從設備分組并管理成一組。

同時，可由存儲在存儲器170中的程序執(zhí)行上文描述的處理器130的操作。

詳細地，處理器130包括隨機存取存儲器(ram)131、只讀存儲器(rom)132、主中央處理單元(cpu)133、圖形處理器134、第一到第n接口135-1至135-n和總線136。

ram131、rom132、主cpu133、圖形處理器134、第一到第n接口135-1至135-n等可通過總線136連接至彼此。

第一到第n接口135-1至135-n連接至上文所述的各種組件。接口中的一個可以為通過網(wǎng)絡連接至外部裝置的網(wǎng)絡接口。

主cpu133訪問存儲器170以使用存儲在存儲器170中的o/s執(zhí)行啟動。此外，主cpu133使用存儲在存儲器170中的各種程序、內(nèi)容、數(shù)據(jù)等執(zhí)行各種操作。例如，主cpu133可使用感測模塊171來采集/分析運動信息，并使用圖像獲取模塊172來確定和獲得與所分析的運動信息或自從設備接收的運動信息對應的圖像。

用于啟動系統(tǒng)的指令集等存儲在rom132中。當輸入開啟命令以向主cpu133供應電力時，主cpu133根據(jù)存儲在rom132中的指令將存儲在存儲器170中的操作系統(tǒng)(o/s)復制到ram131，并執(zhí)行o/s以啟動系統(tǒng)。當啟動完成時，主cpu133將存儲在存儲器170中的各種應用程序復制到ram131，并執(zhí)行復制到ram131的應用程序以執(zhí)行各種操作。

圖形處理器134利用計算器(未示出)和渲染器(未示出)渲染包括諸如圖標、圖像、文本等各種對象的屏幕。計算器(未示出)基于所接收的控制命令根據(jù)屏幕布局計算相應對象的諸如將顯示相應對象的位置的坐標值、形式、尺寸、顏色等屬性值。渲染器(未示出)基于計算器(未示出)中計算的屬性值渲染包括對象的各種布局的屏幕。

圖4為根據(jù)本公開示例性實施方式的從設備的組件的框圖。

如圖4所示，根據(jù)本公開示例性實施方式的從設備200包括通信器210、傳感器220和處理器230。這里，從設備200用于從主設備100接收vr內(nèi)容并提供虛擬現(xiàn)實服務。同時，由于從設備200的基本結(jié)構(gòu)和操作與參照圖3a至圖3c描述的主設備100的基本結(jié)構(gòu)和操作相同，因此將僅描述從設備200的獨有操作。

通信器210執(zhí)行與主設備100的通信。例如，通信器210可從主設備100以流傳輸?shù)男问浇邮张c從設備的運動狀態(tài)對應的3d圖像。

傳感器220感測從設備200的運動狀態(tài)。

處理器230控制通信器210以將與由傳感器220感測的運動狀態(tài)有關的信息傳輸至主設備100，并從主設備100接收與感測的運動狀態(tài)對應的視點區(qū)域的圖像并通過顯示器輸出圖像。

詳細地，當從主設備100接收到主設備100的運動信息時，處理器230可基于接收到的運動信息校正由傳感器220感測的運動狀態(tài)以提供與從設備200對應的相對運動信息，并將所提供的相對運動信息傳輸至主設備100。

此外，當從主設備100接收到與預測的未來運動狀態(tài)對應的視點區(qū)域的圖像時，處理器230可輸出所接收到的圖像中的基于實時運動狀態(tài)而識別的視點區(qū)域的圖像。

此外，當從設備200接收當前經(jīng)由主設備100提供的經(jīng)解碼的主圖像基于從設備200的運動信息確定的區(qū)域的邊緣圖像作為低圖像質(zhì)量圖像或經(jīng)編碼的圖像的時，處理器230可對接收到的邊緣圖像解碼、將經(jīng)解碼的圖像與所接收到的主圖像進行合成、然后輸出經(jīng)合成的圖像。

此外，處理器230可向主設備100傳輸從設備200的設備信息(例如設備id)，并從主設備100接收與運動狀態(tài)對應的視點區(qū)域的圖像。

此外，處理器230可向主設備100傳輸從設備200的設備顯示信息(例如，分辨率信息)，并從主設備100接收與分辨率信息對應的圖像。

同時，由于從設備200的詳細組件與圖3b中所示的主設備100’的詳細組件類似，因此將省略對其詳細描述。

圖5為詳細描述根據(jù)本公開示例性實施方式的主設備與從設備之間操作的順序圖。

如圖5的順序圖所示，從設備200可搜索外圍主設備100(s511)，然后執(zhí)行對外圍主設備100的訪問請求(s512)。在這樣的情況下，從設備200可將其設備id傳輸?shù)街髟O備100。

隨后，主設備100確認自從設備200接收到的設備id(s513)，并輸出設備id以請求用戶確認設備id(s514)。

當用戶許可從設備200的訪問時(s515:y)，主設備100可請求從設備200傳輸從設備的信息(s517)。然而，當用戶未許可從設備200的訪問時(s515：n)，主設備100可通知從設備200拒絕訪問(s516)。

同時，從自主設備100接收信息請求的從設備200確認其設備信息(s518)，然后將設備顯示信息(例如，分辨率信息)傳輸至主設備100(s519)。

隨后，主設備100確立初始圖像待基于所接收到的顯示信息而傳輸?shù)膱D像緩沖區(qū)(s520)。例如，主設備100可確立與所接收的從設備200的分辨率信息對應的緩沖區(qū)域。

隨后，主設備100確認其運動信息(s521)，并將運動信息傳輸至從設備200(s522)。

在這樣的情況下，從設備200基于從主設備100接收到的運動信息校正自身的運動信息(s523)。

同時，主設備確定內(nèi)容再現(xiàn)是否結(jié)束(s524)，并在內(nèi)容再現(xiàn)結(jié)束的情況下(s524:y)通知從設備200傳輸結(jié)束(s525)，并且在內(nèi)容再現(xiàn)繼續(xù)的情況下(s524：y)請求從設備200傳輸運動信息(s526)。

在這樣的情況下，從設備200基于運動信息校正結(jié)果提供實時運動信息，并將實時運動信息傳輸至主設備100(s528)。

主設備100基于自從設備200傳輸?shù)倪\動信息分組并管理多個從設備(s529)。

此外，主設備100跟蹤從設備200的運動信息以預測未來運動信息(s530)，然后更新用于傳輸?shù)木彌_區(qū)。

隨后，主設備100將用于傳輸?shù)木彌_區(qū)的圖像傳輸至從設備200，且從設備200基于s527中提供的實時運動信息將接收到的圖像分割(s533)，并渲染所分割的圖像(s534)。

圖6a和圖6b為用于詳細描述根據(jù)本公開示例性實施方式的運動信息校正方法的視圖。

在圖6a和圖6b中，將描述從設備接收主設備的運動信息并基于主設備的運動信息校正從設備的運動信息的方法。然而，在一些情況下，主設備可接收從設備的運動信息并基于主設備的運動信息來校正從設備的運動信息。

圖6a示出了在從設備200中使主設備100的用戶的視場和從設備200的用戶的視場互相對準的功能關閉的情況，其中圖6a示出了根據(jù)本公開示例性實施方式示出視場對準功能關閉的情況。

在視場對準功能關閉的情況中，當從設備200最初訪問主設備100時，可基于從設備200自身的運動信息執(zhí)行運動校正。在這樣的情況下，從設備200可在最初訪問主設備100的同時接收視點與提供至主設備的圖像的視點不同的圖像。

圖6b示出了在從設備200中使主設備100的用戶的視場和從設備200的用戶的視場相互對準功能開啟的情況，其中圖6b示出根據(jù)本公開另一示例性實施方式視場對準功能開啟的情況。

在視場對準功能打開的情況中，當從設備200最初訪問主設備100時，可在從設備200的視場與主設備100的視場對準之后計算運動信息。例如，可以通過θslave＝θslave+(θmaster-θslave)計算從設備200的校正運動信息。在這樣的情況下，從設備200可在最初訪問主設備100的同時接收視點與提供至主設備100的圖像的視點相同的圖像。

圖7為詳細描述根據(jù)本公開示例性實施方式的基于運動信息的圖像分割方法的視圖。

圖7示出從主設備100傳輸至從設備200的圖像710，且主設備100可基于從設備200的運動信息將包括額外鄰近圖像和根據(jù)基于運動的參考位置711計算的圖像712的圖像710傳輸至從設備200。

在這樣的情況下，從設備200可根據(jù)基于運動的參考位置711來分割接收到的圖像710以渲染所分割的圖像712并輸出渲染的圖像。

圖8為根據(jù)本公開示例性實施方式描述用于生成和輸出全景vr內(nèi)容的視圖。

如圖8中所示，當從外部源輸入3d圖像時，主設備100將3d圖像分離成左圖像和右圖像(810)，然后將左圖像和右圖像投射到虛擬立體環(huán)形空間中以提供左眼立體圖像和右眼立體圖像(820)。在這樣的情況下，提供的立體圖像可以為全景vr圖像，且主設備100可利用諸如現(xiàn)有的基于三維的替身、對象、情景、基于實際圖像的全景vr、照片對象vr等各種vr方法來提供全景vr圖像。

然而，在接收到左眼圖像和右眼圖像彼此分離的立體圖像的情況下，主設備100可按照原樣使用相應的左圖像和右圖像，或提供并使用可基于根據(jù)2d到3d轉(zhuǎn)換方法的2d圖像來提供的3d圖像，但將省略其詳細描述。

隨后，主設備100可通過虛擬攝像頭引擎選擇理想的視點圖像并輸出所選擇的視點圖像分別作為左圖像和右圖像(840)以提供3dvr圖像。

同時，在運動改變的情況下，主設備100可分析運動信息(850)，基于分析的運動信息調(diào)整虛擬攝像頭的方向(860)，并通過虛擬攝像頭引擎830獲得與相應運動信息對應的視點區(qū)域的左圖像和右圖像，然后輸出所獲得的左圖像和右圖像(840)。也就是，在假設環(huán)形立體空間中存在虛擬攝像頭的情況下，主設備100可將虛擬攝像頭的方向調(diào)整成與主設備100的運動對應的方向，獲得映射到環(huán)形立體空間中的圖像中的由方向已經(jīng)調(diào)節(jié)的虛擬攝像頭所捕獲的圖像，并輸出獲得的圖像。

此外，在主設備100將圖像流傳輸?shù)綇脑O備200的情況中，主設備可基于自從設備200接收到的運動信息調(diào)整虛擬攝像頭的方向(860)，并通過虛擬攝像頭引擎830獲得與相應運動信息對應的視點區(qū)域的左圖像和右圖像，并將獲得的左圖像和右圖像傳輸?shù)綇脑O備200。

隨后，主設備100可通過虛擬攝像頭引擎選擇理想的視點圖像并提供所選擇的視點圖像分別作為左圖像和右圖像以提供3dvr圖像。

同時，當從設備200接收與來自主設備100的運動信息對應的3d圖像時，從設備200可以以與主設備100相同的方式來處理接收到的3d圖像并提供經(jīng)處理的3d圖像。

圖9為描述根據(jù)本公開示例性實施方式的主設備的控制方法的流程圖。

按照根據(jù)本公開示例性實施方式向提供虛擬現(xiàn)實服務的從設備提供圖像的主設備的控制方法，當首先輸入立體圖像(s910)時，基于自從設備接收到的運動信息識別輸入圖像中與對應從設備的運動狀態(tài)對應的視點區(qū)域(s920)。然后，將識別的視點區(qū)域的圖像傳輸?shù)綇脑O備(s930)。

此外，主設備的控制方法還可包括：將包括在輸入立體圖像中的右眼圖像和左眼圖像投射到虛擬立體空間中以提供左眼立體空間圖像和右眼立體空間圖像；以及獲得所提供的左眼立體空間圖像和右眼立體空間圖像中的與從設備的運動狀態(tài)對應的視點區(qū)域。

此外，在將所識別的視點區(qū)域的圖像傳輸至從設備的s930中，可基于自從設備接收的設備顯示信息將圖像緩沖區(qū)的一個區(qū)域確立為傳輸緩沖區(qū)，并且可在傳輸緩沖區(qū)中緩沖與從設備的運動信息對應的圖像然后傳輸?shù)綄膹脑O備。

此外，主設備的控制方法還可包括感測主設備的運動狀態(tài)，其中在識別視點區(qū)域的s920中，可基于感測的運動狀態(tài)來校正自從設備接收的運動信息以提供與從設備對應的相對運動信息并且可以基于提供的相對運動信息識別與從設備的運動狀態(tài)對應的視點區(qū)域。

此外，主設備的控制方法還可包括基于當前接收到的從設備的運動信息預測從設備的未來運動信息并基于預測的運動信息將輸入的立體圖像中的與從設備的未來運動信息對應的視點區(qū)域的圖像傳輸至從設備。

此外，在將所識別的視點區(qū)域的圖像傳輸至從設備的s930中，在自多個從設備接收的運動信息屬于預定閾值范圍的情況下，可將所述多個從設備分成一組，并且可將相同視點區(qū)域的圖像傳輸至屬于同一組的多個從設備。

圖10為根據(jù)本公開示例性實施方式用于描述從設備的控制方法的流程圖。

依照圖10中所示的根據(jù)本公開示例性實施方式的用于提供虛擬現(xiàn)實服務的從設備的控制方法，首先感測從設備的運動狀態(tài)(s1010)。

隨后，將與所感測的運動狀態(tài)有關的信息傳輸至基于輸入的立體圖像來提供虛擬現(xiàn)實服務的主設備(s1020)。

隨后，從主設備接收與所感測的運動狀態(tài)對應的視點區(qū)域的圖像，然后輸出所接收的圖像(s1030)。

此外，在將與所感測到的運動狀態(tài)有關的信息傳輸至主設備的s1020中，當從主設備接收到主設備的運動信息時，可基于所接收到的運動信息校正所感測到的運動狀態(tài)以提供與從設備對應的相對運動信息，并且可以將所提供的相對運動信息傳輸至主設備。

此外，從設備的控制方法還可包括：當接收到與基于自主設備傳輸?shù)倪\動信息預測的未來運動狀態(tài)對應的視點區(qū)域的圖像時，輸出所接到到的圖像中基于實時運動狀態(tài)而識別的視點區(qū)域的圖像。

如上所述，根據(jù)本公開不同示例性實施方式，多個用戶可接收分別能夠提供最佳沉浸感的適當圖像，同時互相共享一個內(nèi)容。

同時，根據(jù)上文所述的不同示例性實施方式的方法可被編程并存儲在各種存儲介質(zhì)中。因此，根據(jù)上文所述的不同示例性實施方式的方法可實現(xiàn)為執(zhí)行存儲介質(zhì)的多種電子裝置。

詳細地，根據(jù)本公開的示例性實施方式，可提供非暫時性計算機可讀介質(zhì)，該非暫時性計算機可讀介質(zhì)中存儲有程序，該程序順序執(zhí)行：基于自從設備中接收的運動信息確定輸入圖像中與對應從設備的運動狀態(tài)對應的視點區(qū)域；以及從輸入圖像獲得所識別的視點區(qū)域的圖像。

非暫時性計算機可讀介質(zhì)不是諸如寄存器、緩存、存儲器等將數(shù)據(jù)存儲一段時間的介質(zhì)，而是意指半永久地將數(shù)據(jù)存儲在其中并且可由設備讀取的介質(zhì)。詳細地，上文所述的各種應用或程序可存儲并設置在諸如高密度磁盤(cd)、數(shù)字通用光盤(dvd)、硬盤、藍光光盤、通用串行總線(usb)、存儲卡、只讀存儲器(rom)等非暫時性計算機可讀介質(zhì)。

此外，雖然在上文已示出并描述本公開的示例性實施方式，但是本公開不限于上文提到的具體示例性實施方式，而是，在不背離所附權(quán)利要求中公開的本公開的范圍和精神的情況下，本公開可由本公開所屬領域的技術(shù)人員進行各種修改。這些修改也應理解為落入本公開的范圍內(nèi)。