本發(fā)明實施例涉及一種通信技術(shù)領(lǐng)域,特別是一種增強(qiáng)現(xiàn)實處理方法、終端、云端服務(wù)器和邊緣服務(wù)器。
背景技術(shù):
增強(qiáng)現(xiàn)實技術(shù)(augmentedrealitytechnique,ar技術(shù)),它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術(shù),是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息、聲音、味道或觸覺等),通過電腦等科學(xué)技術(shù),模擬仿真后再疊加,將虛擬的信息應(yīng)用到真實世界,真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在,被人類感官所感知,從而達(dá)到超越現(xiàn)實的感官體驗。
增強(qiáng)現(xiàn)實技術(shù)包含了多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等新技術(shù)與新手段。由于增強(qiáng)現(xiàn)實是一種需要與用戶在線交互的實時計算技術(shù),對帶寬和時延有著極高的要求。
增強(qiáng)現(xiàn)實具體實現(xiàn)過程簡述如下:首先,需要捕獲現(xiàn)實世界中的目標(biāo)物體,并進(jìn)行快速識別、提取特征,其次,計算三維坐標(biāo)信息。然后,需要根據(jù)計算得到的信息匹配圖像庫,最后,進(jìn)行渲染,即將相應(yīng)虛擬的物體在用戶界面疊加到現(xiàn)實場景中。其中的圖像捕獲、識別、計算和渲染涉及到大量復(fù)雜的矩陣運(yùn)算,并且隨著圖像分辨率和大小的增加,其計算復(fù)雜度也會增加。
由于實時性和計算復(fù)雜性的限制,現(xiàn)有技術(shù)中增強(qiáng)現(xiàn)實方法多數(shù)是基于專用設(shè)備(如計算機(jī)、頭盔等)來實現(xiàn)的:利用計算機(jī)或穿戴設(shè)備(如頭盔、手柄等)實現(xiàn)圖像采集、特征提取、識別、計算和渲染等操作。雖然能提供較強(qiáng)的計算能力并滿足交互的實時性,用戶體驗較好,但由于設(shè)備龐大、不便攜,此外設(shè)備的價格還比較昂貴,現(xiàn)有技術(shù)中增強(qiáng)現(xiàn)實的方法太重量級,只適合于特定應(yīng)用場景(如游戲、固定場所中特定場景的體驗),因此,大大限制了增強(qiáng)現(xiàn)實技術(shù)的大規(guī)模普適化應(yīng)用。
近幾年,隨著移動通信技術(shù)發(fā)展和智能移動終端處理能力的提高,智能終端逐漸成為了一種ar應(yīng)用普適化的終端,基于智能移動終端的增強(qiáng)現(xiàn)實技術(shù)開始得到重視。
應(yīng)當(dāng)說明的是,現(xiàn)有技術(shù)中基于智能移動終端的增強(qiáng)現(xiàn)實應(yīng)用多數(shù)是通過在智能終端安裝app(application,應(yīng)用程序)的方式來實現(xiàn),這種實現(xiàn)增強(qiáng)現(xiàn)實的過程中,圖像采集、特征提取、識別、計算和渲染等操作均是通過app在終端本地完成,未下載app的用戶無法使用增強(qiáng)現(xiàn)實服務(wù),可以理解的是,app計算能力是有限的,難以適應(yīng)計算增強(qiáng)現(xiàn)實中復(fù)雜度較高的計算,通常計算所需時間較長。
目前還有一類基于云計算的增強(qiáng)現(xiàn)實實現(xiàn)方案,將特征提取、識別、計算等復(fù)雜的運(yùn)算部分或全部放在云端,終端負(fù)責(zé)必要的圖像采集、渲染和呈現(xiàn)。這種方式提高了運(yùn)算能力,減輕了終端的壓力。但終端和云端之間的傳輸延遲確是一個影響增強(qiáng)現(xiàn)實體驗的重要因素。
目前,現(xiàn)有技術(shù)還沒有相應(yīng)的方法來解決通過終端實現(xiàn)增強(qiáng)現(xiàn)實延時的問題。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)的缺陷,本發(fā)明實施例提供一種增強(qiáng)現(xiàn)實處理方法、終端、云端服務(wù)器和邊緣服務(wù)器。
一方面,本發(fā)明實施例提供一種增強(qiáng)現(xiàn)實處理方法,包括:
終端根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器;
接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
另一方面,本發(fā)明實施例還提供一種增強(qiáng)現(xiàn)實處理方法,包括:
云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù);
根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
另一方面,本發(fā)明實施例還提供一種增強(qiáng)現(xiàn)實處理方法,包括:
邊緣服務(wù)器接收終端發(fā)送的圖像,所述圖像是終端獲知所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器后發(fā)送的;
根據(jù)所述圖像,進(jìn)行增強(qiáng)現(xiàn)實運(yùn)算,得到對應(yīng)所述圖像的虛擬信息;
將所述虛擬信息發(fā)送至所述終端,以供終端根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
另一方面,本發(fā)明實施例還提供一種終端,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述程序時實現(xiàn)如下方法:
終端根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器;
接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址之前,所述方法還包括:
向云端服務(wù)器發(fā)送服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù):
接收云端服務(wù)器發(fā)送的邊緣服務(wù)器的地址,所述地址是云端服務(wù)器確定所述邊緣服務(wù)器后得到的,所述邊緣服務(wù)器是云端服務(wù)器根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較后確定的。
所述終端根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,具體為:
應(yīng)用程序或web模塊將采集的圖像發(fā)送至邊緣服務(wù)器;
相應(yīng)地,所述接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,具體為應(yīng)用程序或web模塊接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染。
另一方面,本發(fā)明實施例還提供一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述程序被處理器執(zhí)行時實現(xiàn)如下步驟:
終端根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器;
接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址之前,所述方法還包括:
向云端服務(wù)器發(fā)送服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù):
接收云端服務(wù)器發(fā)送的邊緣服務(wù)器的地址,所述地址是云端服務(wù)器確定所述邊緣服務(wù)器后得到的,所述邊緣服務(wù)器是云端服務(wù)器根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較后確定的。
所述終端根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,具體為:
應(yīng)用程序或web模塊將采集的圖像發(fā)送至邊緣服務(wù)器;
相應(yīng)地,所述接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,具體為應(yīng)用程序或web模塊接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染。
另一方面,本發(fā)明實施例還提供一種云端服務(wù)器,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述程序時實現(xiàn)如下步驟:
云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù);
根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
另一方面,本發(fā)明實施例還提供一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述程序被處理器執(zhí)行時實現(xiàn)如下步驟:
云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù);
根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
另一方面,本發(fā)明實施例還提供一種邊緣服務(wù)器,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述程序時實現(xiàn)如下步驟:
邊緣服務(wù)器接收終端發(fā)送的圖像,所述圖像是終端獲知所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器后發(fā)送的;
根據(jù)所述圖像,進(jìn)行增強(qiáng)現(xiàn)實運(yùn)算,得到對應(yīng)所述圖像的虛擬信息;
將所述虛擬信息發(fā)送至所述終端,以供終端根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
由上述技術(shù)方案可知,本發(fā)明實施例提供的增強(qiáng)現(xiàn)實處理方法、終端、云端服務(wù)器和邊緣服務(wù)器,所述方法通過終端將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至距離所述終端最近的邊緣服務(wù)器,使邊緣服務(wù)器獲取對應(yīng)所述圖像的虛擬信息,并返回終端,由終端與邊緣服務(wù)器進(jìn)行交互實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),將復(fù)雜的增強(qiáng)現(xiàn)實計算交給由邊緣服務(wù)器完成,使終端可迅速、實時地實現(xiàn)增強(qiáng)現(xiàn)實服務(wù)。
附圖說明
圖1為本發(fā)明實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖;
圖2為本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖;
圖3為本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖;
圖4為本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖;
圖5為本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理系統(tǒng)的結(jié)構(gòu)示意圖;
圖6為本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理系統(tǒng)的結(jié)構(gòu)示意圖;
圖7為本發(fā)明又一實施例提供的一種終端的結(jié)構(gòu)示意圖;
圖8為本發(fā)明又一實施例提供的一種云端服務(wù)器的結(jié)構(gòu)示意圖;
圖9為本發(fā)明又一實施例提供的一種邊緣服務(wù)器的結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚地描述,顯然,所描述的實施例是本發(fā)明實施例一部分實施例,而不是全部的實施例。
本發(fā)明實施例提供的一種增強(qiáng)現(xiàn)實處理方法,可基于邊緣計算或者移動邊緣計算進(jìn)行展開。
邊緣計算是最近發(fā)展出的一種技術(shù),它在位置上是云網(wǎng)融合的邊緣,更靠近用戶、數(shù)據(jù)和業(yè)務(wù),能智能感知并就近處理業(yè)務(wù)和數(shù)據(jù)。其應(yīng)用在邊緣側(cè)發(fā)起,產(chǎn)生更快的網(wǎng)絡(luò)服務(wù)響應(yīng),滿足實時業(yè)務(wù)、應(yīng)用智能、安全與隱私保護(hù)等方面的基本需求。
第5代移動通信技術(shù)(5g)將引入移動邊緣計算,將云計算和云存儲拉近到網(wǎng)絡(luò)邊緣,創(chuàng)造高性能、低延遲與高帶寬的服務(wù)環(huán)境。
圖1示出了本發(fā)明實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖。
參照圖1,本發(fā)明實施例提供的方法具體包括以下步驟:
步驟11、根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器。
在本實施例中,終端安裝有可提供增強(qiáng)現(xiàn)實服務(wù)的應(yīng)用程序app或web模塊。
可選地,終端向處理器發(fā)送調(diào)用攝像頭請求,以申請調(diào)用攝像頭,獲得授權(quán)許可后,控制打開攝像頭,并進(jìn)行圖像采集。
將采集到的圖像進(jìn)行壓縮、編碼等預(yù)處理操作,再發(fā)送至對應(yīng)所述地址的邊緣服務(wù)器。
所述邊緣服務(wù)器可提供增強(qiáng)現(xiàn)實服務(wù),具體可提供增強(qiáng)現(xiàn)實的相關(guān)計算,以及基本通信功能。
步驟12、接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像,從預(yù)設(shè)的虛擬信息數(shù)據(jù)庫中查找與所述圖像匹配的虛擬物,并進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端。
終端接收所述虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,將所述虛擬信息疊加至所述圖像,得到所述增強(qiáng)現(xiàn)實信息。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過終端將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至距離所述終端最近的邊緣服務(wù)器,使邊緣服務(wù)器獲取對應(yīng)所述圖像的虛擬信息,并返回終端,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),由于將復(fù)雜的增強(qiáng)現(xiàn)實計算交給由邊緣服務(wù)器完成,使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延,滿足當(dāng)下增強(qiáng)現(xiàn)實業(yè)務(wù)所需的高帶寬性與高實時性。
圖2示出了本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖。
圖3示出了本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖。
參照圖2和圖3,在上述實施例的基礎(chǔ)上,所述步驟11之前,獲取的邊緣服務(wù)器的地址的方式可有多種,本發(fā)明實施例舉其中一種來說明。
步驟11之前,所述方法還包括:
步驟101、向云端服務(wù)器發(fā)送服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù)。
可選地,用戶操作終端的顯示設(shè)備,生成服務(wù)請求,并通過互聯(lián)網(wǎng)向云端服務(wù)器發(fā)送服務(wù)請求,以請求提供增強(qiáng)現(xiàn)實服務(wù)。
所述云端服務(wù)器是對應(yīng)終端的增強(qiáng)現(xiàn)實服務(wù)的應(yīng)用程序app的服務(wù)器,或者對應(yīng)終端的web模塊的服務(wù)器。
步驟102、接收云端服務(wù)器發(fā)送的邊緣服務(wù)器的地址,所述地址是云端服務(wù)器確定所述邊緣服務(wù)器后得到的,所述邊緣服務(wù)器是云端服務(wù)器根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較后確定的。
可選地,云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息后,根據(jù)所述位置信息,獲取距離所述終端最近的邊緣服務(wù)器,并獲取邊緣服務(wù)器的服務(wù)入口信息。
可選地,所述服務(wù)入口信息是距離所述邊緣服務(wù)器的地址,如網(wǎng)頁鏈接。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過終端預(yù)先與云端服務(wù)器其進(jìn)行交互以獲得距離所述終端最近的邊緣服務(wù)器的地址,并將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至邊緣服務(wù)器,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
在上述實施例的基礎(chǔ)上,所述步驟11,將采集的圖像發(fā)送至邊緣服務(wù)器的方式可有多種,本發(fā)明實施例舉其中一種來說明。
步驟11具體為:
應(yīng)用程序或web模塊將采集的圖像發(fā)送至邊緣服務(wù)器。
在本實施例中,由終端的應(yīng)用程序或web模塊進(jìn)行增強(qiáng)現(xiàn)實的圖像采集。
可選地,所述web模塊是終端的web(worldwideweb,全球廣域網(wǎng))部件,為用戶在網(wǎng)絡(luò)上查找和瀏覽信息提供了圖形化的、易于訪問的直觀界面,在終端中具有廣泛的應(yīng)用,如瀏覽器具有web模塊,微信具有瀏覽器內(nèi)核,同樣具有web模塊。
具體地,web模塊可為用戶呈現(xiàn)增強(qiáng)現(xiàn)實請求的按鈕,用戶訪問所述web模塊的網(wǎng)頁時,操作web模塊與終端進(jìn)行交互,web模塊將采集的圖像發(fā)送至所述邊緣服務(wù)器。
在本步驟中,web模塊進(jìn)行圖像采集操作,具體為調(diào)用攝像頭進(jìn)行拍攝,并由web模塊捕獲攝像頭拍攝的圖像,將所述圖像保存在web模塊中。
可選地,web模塊調(diào)用攝像頭進(jìn)行拍攝,捕獲攝像頭拍攝的視頻流,所述視頻流為包括多個有序的圖像的視頻。
相應(yīng)地,所述步驟12,具體為:
web模塊接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染。
具體地,所述邊緣服務(wù)器接收所述web模塊發(fā)送的所述圖像,識別所述web模塊的標(biāo)識是否與預(yù)先設(shè)定的增強(qiáng)現(xiàn)實服務(wù)列表中的web模塊的標(biāo)識匹配,若匹配,自虛擬信息數(shù)據(jù)庫中獲取對應(yīng)所述圖像的虛擬信息,采用現(xiàn)有技術(shù)中的算法,計算得到對應(yīng)所述圖像的虛擬信息。
在本步驟中,所述web模塊接收所述虛擬信息,對所述虛擬信息進(jìn)行渲染,將所述虛擬信息疊加在所述圖像上,得到增強(qiáng)現(xiàn)實信息,并顯示得到的第一增強(qiáng)現(xiàn)實信息。
可以理解的是,絕大多數(shù)的終端均具有瀏覽器、微信、微博,也就是說,絕大多數(shù)的終端均具有所述web模塊,在本實施例中,通過所述web模塊進(jìn)行圖像采集步驟,將采集的圖像發(fā)送至邊緣服務(wù)器,由邊緣服務(wù)器進(jìn)行虛擬信息獲取步驟,在本實施例中,由終端的web模塊與邊緣服務(wù)器交互共同實現(xiàn)增強(qiáng)現(xiàn)實,使得無需為實現(xiàn)增強(qiáng)現(xiàn)實另下載一個app,利用終端已有的app與邊緣服務(wù)器,即可實現(xiàn)增強(qiáng)現(xiàn)實。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過web模塊將采集的圖像發(fā)送至邊緣服務(wù)器,由邊緣服務(wù)器進(jìn)行虛擬信息的獲取,利用終端已有的web模塊與邊緣服務(wù)器進(jìn)行交互,可降低實現(xiàn)增強(qiáng)現(xiàn)實的成本。
在上述實施例的基礎(chǔ)上,本實施例提供的增強(qiáng)現(xiàn)實處理方法。所述方法步驟11,web模塊捕獲攝像頭的方式可有多種,本實施例舉例說明其中一種。
上述步驟11,具體為:web模塊調(diào)用攝像頭進(jìn)行拍攝,并捕獲攝像頭拍攝的視頻流,所述視頻流包括多個有序的圖像。
可選地,web模塊調(diào)用攝像頭進(jìn)行拍攝,捕獲攝像頭拍攝的視頻流,所述視頻流為包括多個有序的圖像的視頻。
所述web模塊將所述視頻流發(fā)送至邊緣服務(wù)器,以供邊緣服務(wù)器根據(jù)所述第一張圖像,獲取對應(yīng)所述第一張圖像的虛擬信息。
步驟12、所述web模塊接收所述虛擬信息。
在步驟12之后,所述方法還包括:
所述web模塊接收邊緣服務(wù)器發(fā)送的角度變換矩陣,所述角度變換矩陣用于指示所述虛擬信息在所述圖像中的形態(tài)的角度變換。
其中,所述角度變換矩陣是邊緣服務(wù)器跟蹤所述真實物在連續(xù)兩張圖像中的坐標(biāo)信息的變化來確定的,所述虛擬信息是邊緣服務(wù)器判斷獲知所述圖像中具有與預(yù)設(shè)的真實物數(shù)據(jù)庫中真實物匹配的真實物,則根據(jù)所述真實物獲取得到的。
可選地,邊緣服務(wù)器對所述圖像進(jìn)行檢測,判斷獲知所述圖像中是否具有與預(yù)設(shè)的真實物數(shù)據(jù)庫中真實物匹配的真實物,若有,則從預(yù)設(shè)的虛擬信息數(shù)據(jù)庫中獲取對應(yīng)所述真實物的所述虛擬信息。
可選地,邊緣服務(wù)器對所述真實物的位置進(jìn)行跟蹤,跟蹤可以使用kcf(kernerlizedcorrelationfilter,相關(guān)濾波器)等圖像處理的跟蹤算法,獲得所述真實物在第一張和第二張圖像中的坐標(biāo)信息的變化,對跟蹤到的坐標(biāo)信息的變化做相應(yīng)的變換,求解變換矩陣可以使用仿射變換等求解方式,得到所述,并將發(fā)送至所述web模塊。
也就是說,圖像中真實物的位置發(fā)生變化,邊緣服務(wù)器獲取對應(yīng)的虛擬信息,使所述虛擬信息的角度也會發(fā)生變化,所述虛擬信息在所述圖像中的形態(tài)的角度變換可為虛擬信息角度變化的方向和位置。
相應(yīng)地,所述web模塊根據(jù)所述,對所述虛擬信息的形態(tài)進(jìn)行渲染,在所述真實物上疊加所述虛擬信息。
可選地,所述web模塊根據(jù)所述,對所述虛擬信息的形態(tài)進(jìn)行渲染。
具體地,所述web模塊在渲染過程中在所述真實物的位置對所述虛擬信息進(jìn)行渲染,并進(jìn)行角度變換,其中,渲染可以使用webgl(webgraphicslibrary,網(wǎng)絡(luò)圖形庫)相關(guān)技術(shù),使得所述虛擬信息在所述視頻流中可進(jìn)行角度變換。
可以理解的是,在終端拍攝所述視頻流的過程中,攝像頭任何微小的移動都將導(dǎo)致視頻流的各圖像產(chǎn)生變化,邊緣服務(wù)器實時跟蹤所述真實物在連續(xù)圖像中的位置變化,實時根據(jù)位置變化計算得到相應(yīng)的,使得所述虛擬信息可根據(jù)所述真實物的變化而變化,實現(xiàn)更強(qiáng)大的增強(qiáng)現(xiàn)實效果。
若判斷獲知所述圖像中沒有與預(yù)設(shè)的真實物數(shù)據(jù)庫中真實物匹配的真實物,則所述邊緣服務(wù)器向所述web模塊返回反饋信息,以提示所述web模塊重新捕獲攝像頭拍攝的圖像。
舉例來說,所述圖像是餐桌上一瓶酒,所述邊緣服務(wù)器判斷獲知所述圖像完整呈現(xiàn)了酒廠的商標(biāo),則所述邊緣服務(wù)器獲取對應(yīng)的所述商標(biāo)的彩蛋,計算得到彩蛋在圖像的坐標(biāo)信息,并發(fā)送至所述web模塊,使所述web模塊在所述圖像中進(jìn)行渲染,呈現(xiàn)所述彩蛋。
所述邊緣服務(wù)器判斷獲知所述圖像中沒有酒廠的商標(biāo),則所述邊緣服務(wù)器可根據(jù)所述虛擬信息數(shù)據(jù)庫中存儲的反饋信息,獲取反饋信息在圖像的坐標(biāo)信息,并發(fā)送至所述web模塊,使所述web模塊在所述圖像中進(jìn)行渲染,呈現(xiàn)所述反饋信息,所述反饋信息可以是提示用戶移動攝像頭的圖片。
本實施例提供增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過所述web模塊采集視頻流,并將采集的視頻流發(fā)送至邊緣服務(wù)器,由邊緣服務(wù)器對虛擬信息進(jìn)行實時的角度變換,使得所述web模塊顯示的所述虛擬信息可進(jìn)行角度變換,實現(xiàn)更強(qiáng)大的增強(qiáng)現(xiàn)實效果。
圖4示出了本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖。
參照圖4,在上述實施例的基礎(chǔ)上,本實施例提供的增強(qiáng)現(xiàn)實處理方法。所述方法包括:
步驟41、云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù)。
可選地,用戶操作終端的顯示設(shè)備,生成服務(wù)請求,并通過互聯(lián)網(wǎng)向云端服務(wù)器發(fā)送服務(wù)請求,以請求提供增強(qiáng)現(xiàn)實服務(wù)。
所述云端服務(wù)器是對應(yīng)終端的增強(qiáng)現(xiàn)實服務(wù)的app的服務(wù)器。
步驟42、根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
可選地,云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息后,根據(jù)所述位置信息,獲取距離所述終端最近的邊緣服務(wù)器,并獲取邊緣服務(wù)器的服務(wù)入口信息。
可選地,所述服務(wù)入口信息是距離所述邊緣服務(wù)器的地址,如網(wǎng)頁鏈接。
在本步驟之后,所述終端根據(jù)邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端,也就是說,由所述終端進(jìn)行圖像采集,所述邊緣服務(wù)器進(jìn)行增強(qiáng)現(xiàn)實計算,二者合作實現(xiàn)增強(qiáng)現(xiàn)實。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過終端預(yù)先與云端服務(wù)器其進(jìn)行交互以獲得距離所述終端最近的邊緣服務(wù)器的地址,并將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至邊緣服務(wù)器,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
圖5示出了本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理方法的流程示意圖。
參照圖5,在上述實施例的基礎(chǔ)上,本實施例提供的增強(qiáng)現(xiàn)實處理方法。所述方法包括:
步驟51、邊緣服務(wù)器接收終端發(fā)送的圖像,所述圖像是終端獲知所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器后發(fā)送的。
在本實施例中,終端安裝有可提供增強(qiáng)現(xiàn)實服務(wù)的app。
可選地,終端需使用增強(qiáng)現(xiàn)實服務(wù),預(yù)先獲取可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器的地址,且所述邊緣服務(wù)器是距離所述終端最近的服務(wù)器,可以理解的是,增強(qiáng)現(xiàn)實服務(wù)對計算能力要求較高,若可獲得距離所述終端最近的服務(wù)器,使所述邊緣服務(wù)器進(jìn)行復(fù)雜的增強(qiáng)現(xiàn)實服務(wù)計算,可減少增強(qiáng)現(xiàn)實服務(wù)對實現(xiàn)的延時。
步驟52、根據(jù)所述圖像,進(jìn)行增強(qiáng)現(xiàn)實運(yùn)算,得到對應(yīng)所述圖像的虛擬信息。
所述邊緣服務(wù)器可采用現(xiàn)有技術(shù)中的ar算法,得到對應(yīng)所述圖像的虛擬信息。
步驟53、將所述虛擬信息發(fā)送至所述終端,以供終端根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
在另一種實施方式中,所述步驟51,邊緣服務(wù)器接收終端發(fā)送的視頻流,所述視頻流包括多個有序的圖像。
可選地,終端調(diào)用攝像頭進(jìn)行拍攝,捕獲攝像頭拍攝的視頻流,所述視頻流為包括多個有序的圖像的視頻。
所述邊緣服務(wù)器根據(jù)所述第一張圖像,獲取對應(yīng)所述第一張圖像的虛擬信息,發(fā)送至所述終端。
接下來,邊緣服務(wù)器跟蹤所述真實物在連續(xù)兩張圖像中的坐標(biāo)信息的變化,所述真實物是邊緣服務(wù)器判斷獲知所述圖像中具有與預(yù)設(shè)的真實物數(shù)據(jù)庫中真實物匹配的真實物。
可選地,邊緣服務(wù)器對所述圖像進(jìn)行檢測,判斷獲知所述圖像中是否具有與預(yù)設(shè)的真實物數(shù)據(jù)庫中真實物匹配的真實物,若有,則從預(yù)設(shè)的虛擬信息數(shù)據(jù)庫中獲取對應(yīng)所述真實物的所述虛擬信息。
可選地,邊緣服務(wù)器對所述真實物的位置進(jìn)行跟蹤,跟蹤可以使用kcf(kernerlizedcorrelationfilter,相關(guān)濾波器)等圖像處理的跟蹤算法,獲得所述真實物在第一張和第二張圖像中的坐標(biāo)信息的變化,對跟蹤到的坐標(biāo)信息的變化做相應(yīng)的變換,求解變換矩陣可以使用仿射變換等求解方式,得到所述,并將發(fā)送至所述web模塊。
也就是說,圖像中真實物的位置發(fā)生變化,邊緣服務(wù)器獲取對應(yīng)的虛擬信息,使所述虛擬信息的角度也會發(fā)生變化,所述虛擬信息在所述圖像中的形態(tài)的角度變換可為虛擬信息角度變化的方向和位置。
相應(yīng)地,所述web模塊根據(jù)所述,對所述虛擬信息的形態(tài)進(jìn)行渲染,在所述真實物上疊加所述虛擬信息。
可選地,根據(jù)所述,對所述虛擬信息的形態(tài)進(jìn)行渲染。
具體地,在渲染過程中在所述真實物的位置對所述虛擬信息進(jìn)行渲染,并進(jìn)行角度變換,其中,渲染可以使用webgl(webgraphicslibrary,網(wǎng)絡(luò)圖形庫)相關(guān)技術(shù),使得所述虛擬信息在所述視頻流中可進(jìn)行角度變換。
可以理解的是,在終端拍攝所述視頻流的過程中,攝像頭任何微小的移動都將導(dǎo)致視頻流的各圖像產(chǎn)生變化,邊緣服務(wù)器實時跟蹤所述真實物在連續(xù)圖像中的位置變化,實時根據(jù)位置變化計算得到相應(yīng)的,使得所述虛擬信息可根據(jù)所述真實物的變化而變化,實現(xiàn)更強(qiáng)大的增強(qiáng)現(xiàn)實效果。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過由距離所述終端最近的邊緣服務(wù)器,與終端進(jìn)行交互以實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
圖6示出了本發(fā)明又一實施例提供的一種增強(qiáng)現(xiàn)實處理系統(tǒng)的結(jié)構(gòu)示意圖。
參閱圖6,在上述實施例的基礎(chǔ)上,本發(fā)明提供的增強(qiáng)現(xiàn)實處理系統(tǒng),包括云端服務(wù)器、邊緣服務(wù)器和移動終端。
其中,云端服務(wù)器是ar服務(wù)入口,負(fù)責(zé)用戶的接入、注冊、登錄和服務(wù)路由,存儲用戶相關(guān)數(shù)據(jù),備份邊緣服務(wù)器的ar算法和模板數(shù)據(jù),持久化存儲邊緣服務(wù)器的運(yùn)行日志和用戶訪問日志。
邊緣服務(wù)器一般部署在靠近用戶位置的地方,接收來自云端服務(wù)器路由來的ar處理請求,負(fù)責(zé)ar相關(guān)的運(yùn)算,并將處理的結(jié)果直接發(fā)送給用戶的移動終端。
用戶的移動終端,控制移動終端攝像頭的打開與關(guān)閉、圖像或視頻的采集、壓縮、編碼等操作,發(fā)送給邊緣服務(wù)器做ar相關(guān)的運(yùn)算,接收來自邊緣服務(wù)器的處理結(jié)果和指令,并將虛擬信息在移動終端顯示設(shè)備上進(jìn)行渲染和呈現(xiàn)。
本發(fā)明實施例的增強(qiáng)現(xiàn)實處理系統(tǒng)實現(xiàn)一次業(yè)務(wù)處理流程如下:
首先,移動終端向云端服務(wù)器發(fā)送服務(wù)請求和通過自身gps定位系統(tǒng)獲取的地理位置信息,如過程①。
所述云端服務(wù)器在接收到所述移動終端的服務(wù)請求和地理位置信息后,通過檢索ar服務(wù)入口,根據(jù)得到的地理位置信息選擇一個距所述移動終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的服務(wù)入口信息返回所述移動終端。如過程②。
所述移動終端在接收到所述云端服務(wù)器返回的所述邊緣服務(wù)器的服務(wù)入口信息后,將服務(wù)所需數(shù)據(jù)發(fā)送給所述邊緣服務(wù)器。如過程③。
所述邊緣服務(wù)器在接收到所述移動終端發(fā)送來的數(shù)據(jù)后,進(jìn)行ar相關(guān)的運(yùn)算,并將處理的結(jié)果直接發(fā)送給用戶的移動終端。如過程④。
所述移動終端在接收到來自所述邊緣服務(wù)器發(fā)來的處理結(jié)果,進(jìn)行本地渲染顯示,完成本次業(yè)務(wù)處理。
本實施例提供增強(qiáng)現(xiàn)實處理系統(tǒng),至少具有以下技術(shù)效果:
(1)高帶寬,高實時性。將帶寬大的數(shù)據(jù)如視頻圖片交付給距離近的邊緣服務(wù)器處理,大大降低數(shù)據(jù)的傳輸時延,滿足當(dāng)下增強(qiáng)現(xiàn)實業(yè)務(wù)所需的高帶寬性與高實時性。
(2)輕量級,可擴(kuò)展性強(qiáng)。將增強(qiáng)現(xiàn)實技術(shù)所需的復(fù)雜的計算放在邊緣服務(wù)器的云計算平臺中,智能終端只包含必要的復(fù)雜度較低的功能組件。
本發(fā)明實施例提供的增強(qiáng)現(xiàn)實處理方法,可應(yīng)用至多種場景,為了更清楚的說明本發(fā)明實施例提供的增強(qiáng)現(xiàn)實處理方法,以包含三個用戶和兩個邊緣服務(wù)器的場景為例進(jìn)行說明。
云端服務(wù)器可以部署在公有云中,負(fù)責(zé)用戶的接入、注冊、登錄和服務(wù)路由,存儲用戶相關(guān)數(shù)據(jù),備份邊緣服務(wù)器的ar算法和模板數(shù)據(jù),持久化存儲邊緣服務(wù)器的運(yùn)行日志和用戶訪問日志。
如圖3所示,s1和s2分別是兩臺邊緣服務(wù)器,分別部署在1#和2#兩個不同地理位置,接收來自云端服務(wù)器路由來的ar處理請求,負(fù)責(zé)ar相關(guān)的運(yùn)算,并將處理的結(jié)果直接發(fā)送給用戶的移動終端。
當(dāng)在地理位置1#的用戶甲使用移動終端m1使用增強(qiáng)現(xiàn)實服務(wù)時,移動終端m1向云端服務(wù)器發(fā)送服務(wù)請求和通過自身gps定位系統(tǒng)獲取的地理位置信息。
所述云端服務(wù)器在接收到所述移動終端的服務(wù)請求和地理位置信息后,通過檢索ar服務(wù)入口,根據(jù)得到的地理位置信息,判斷距離移動終端m1最近的邊緣服務(wù)器是s1,將邊緣服務(wù)器s1的服務(wù)入口信息返回所述移動終端m1。
所述移動終端m1在接收到所述云端服務(wù)器返回的所述邊緣服務(wù)器s1的服務(wù)入口信息后,將服務(wù)所需數(shù)據(jù)發(fā)送給所述邊緣服務(wù)器s1。
所述邊緣服務(wù)器s1在接收到所述移動終端m1發(fā)送來的數(shù)據(jù)后,進(jìn)行ar相關(guān)的運(yùn)算,并將處理的結(jié)果直接發(fā)送給用戶的移動終端m1。
所述移動終端m1在接收到來自所述邊緣服務(wù)器s1發(fā)來的處理結(jié)果,進(jìn)行本地渲染顯示,給學(xué)用戶提供相應(yīng)的增強(qiáng)現(xiàn)實內(nèi)容。
同理,同樣在地理位置1#的用戶乙使用移動終端m2觀看互動課堂云平臺上的授課直播時,移動終端m2向云端服務(wù)器發(fā)送服務(wù)請求和通過自身gps定位系統(tǒng)獲取的地理位置信息。
由于使用移動終端m2的用戶乙也位于地理位置1#。此時,所述云端服務(wù)器向移動終端m2返回的也是距離最近的邊緣服務(wù)器s1。之后,移動終端m2再向邊緣服務(wù)器s1發(fā)送服務(wù)所需數(shù)據(jù),邊緣服務(wù)器s1處理后將結(jié)果返回移動終端m2,m2進(jìn)行本地渲染顯示,給用戶乙提供相應(yīng)的增強(qiáng)現(xiàn)實內(nèi)容。
而位于地理位置2#的用戶丙使用移動終端m3使用增強(qiáng)現(xiàn)實服務(wù)時,所述云端服務(wù)器則將距離m3最近的邊緣服務(wù)器s3的服務(wù)入口返回給所述移動終端m3。之后,移動終端m3再向邊緣服務(wù)器s2發(fā)送服務(wù)所需數(shù)據(jù),邊緣服務(wù)器s2處理后將結(jié)果返回移動終端m3,m3進(jìn)行本地渲染顯示,給用戶丙提供相應(yīng)的增強(qiáng)現(xiàn)實內(nèi)容。
可以理解的是,若部署更多的邊緣服務(wù)器,可以使邊緣計算的實現(xiàn)精度更高,為用戶提供延遲更低的ar計算服務(wù)。
本實施例提供的增強(qiáng)現(xiàn)實處理方法,至少具有以下技術(shù)效果:
通過終端將增強(qiáng)現(xiàn)實服務(wù)所需數(shù)據(jù)發(fā)送至距離所述終端最近的邊緣服務(wù)器,使邊緣服務(wù)器進(jìn)行ar相關(guān)運(yùn)算,并返回終端,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),由于將復(fù)雜的增強(qiáng)現(xiàn)實計算交給由邊緣服務(wù)器完成,使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
圖7示出了本發(fā)明又一實施例提供的一種終端的結(jié)構(gòu)示意圖。
參閱圖7,本實施例提供的終端,所述終端包括存儲器71、處理器72以及存儲在存儲器71上并可在處理器上運(yùn)行的計算機(jī)程序。
所述處理器執(zhí)行所述程序時實現(xiàn)如下步驟:
根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器;
接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
在本實施例中,終端安裝有可提供增強(qiáng)現(xiàn)實服務(wù)的app。
可選地,終端向處理器發(fā)送調(diào)用攝像頭請求,以申請調(diào)用攝像頭,獲得授權(quán)許可后,控制打開攝像頭,并進(jìn)行圖像采集。
將采集到的圖像進(jìn)行壓縮、編碼等預(yù)處理操作,再發(fā)送至對應(yīng)所述地址的邊緣服務(wù)器。
所述邊緣服務(wù)器可提供增強(qiáng)現(xiàn)實服務(wù),具體可提供增強(qiáng)現(xiàn)實的相關(guān)計算,以及基本通信功能。
所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端。
終端接收所述虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,將所述虛擬信息疊加至所述圖像,得到所述增強(qiáng)現(xiàn)實信息。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址之前,還包括:
向云端服務(wù)器發(fā)送服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù):
接收云端服務(wù)器發(fā)送的邊緣服務(wù)器的地址,所述地址是云端服務(wù)器確定所述邊緣服務(wù)器后得到的,所述邊緣服務(wù)器是云端服務(wù)器根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較后確定的。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,具體為:
web模塊將采集的圖像發(fā)送至邊緣服務(wù)器;
相應(yīng)地,所述接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,具體為web模塊接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染。
本實施例提供的終端,可用于執(zhí)行上述方法實施例的方法對應(yīng)的程序,本實施不再贅述。
本實施例提供的終端,至少具有以下技術(shù)效果:
通過所述處理器執(zhí)行所述程序時實現(xiàn)將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至距離所述終端最近的邊緣服務(wù)器,使邊緣服務(wù)器獲取對應(yīng)所述圖像的虛擬信息,并返回終端,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),由于將復(fù)雜的增強(qiáng)現(xiàn)實計算交給由邊緣服務(wù)器完成,使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延,滿足當(dāng)下增強(qiáng)現(xiàn)實業(yè)務(wù)所需的高帶寬性與高實時性。
本發(fā)明又一實施例提供的一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序,所述程序被處理器執(zhí)行時實現(xiàn)如下步驟:
根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器;
接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
在本實施例中,終端安裝有可提供增強(qiáng)現(xiàn)實服務(wù)的app。
可選地,終端向處理器發(fā)送調(diào)用攝像頭請求,以申請調(diào)用攝像頭,獲得授權(quán)許可后,控制打開攝像頭,并進(jìn)行圖像采集。
將采集到的圖像進(jìn)行壓縮、編碼等預(yù)處理操作,再發(fā)送至對應(yīng)所述地址的邊緣服務(wù)器。
所述邊緣服務(wù)器可提供增強(qiáng)現(xiàn)實服務(wù),具體可提供增強(qiáng)現(xiàn)實的相關(guān)計算,以及基本通信功能。
所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端。
終端接收所述虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,將所述虛擬信息疊加至所述圖像,得到所述增強(qiáng)現(xiàn)實信息。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址之前,還包括:
向云端服務(wù)器發(fā)送服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù):
接收云端服務(wù)器發(fā)送的邊緣服務(wù)器的地址,所述地址是云端服務(wù)器確定所述邊緣服務(wù)器后得到的,所述邊緣服務(wù)器是云端服務(wù)器根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較后確定的。
所述根據(jù)預(yù)先獲取的邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,具體為:
web模塊將采集的圖像發(fā)送至邊緣服務(wù)器;
相應(yīng)地,所述接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染,具體為web模塊接收所述邊緣服務(wù)器發(fā)送的虛擬信息,并根據(jù)所述虛擬信息進(jìn)行渲染。
本實施例提供的計算機(jī)可讀存儲介質(zhì),所述程序被處理器執(zhí)行時實現(xiàn)上述方法實施例的方法,本實施不再贅述。
本實施例提供的計算機(jī)可讀存儲介質(zhì),至少具有以下技術(shù)效果:
通過所述程序被處理器執(zhí)行將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至距離所述終端最近的邊緣服務(wù)器,使邊緣服務(wù)器獲取對應(yīng)所述圖像的虛擬信息,并返回終端,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),由于將復(fù)雜的增強(qiáng)現(xiàn)實計算交給由邊緣服務(wù)器完成,使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延,滿足當(dāng)下增強(qiáng)現(xiàn)實業(yè)務(wù)所需的高帶寬性與高實時性。
圖8示出了本發(fā)明又一實施例提供的一種云端服務(wù)器的結(jié)構(gòu)示意圖。
參閱圖8,發(fā)明又一實施例提供的一種云端服務(wù)器,所述云端服務(wù)器包括存儲器81、處理器82以及存儲在存儲器81上并可在處理器上運(yùn)行的計算機(jī)程序。
所述處理器執(zhí)行所述程序時實現(xiàn)如下步驟:
接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù);
根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
可選地,用戶操作終端的顯示設(shè)備,生成服務(wù)請求,并通過互聯(lián)網(wǎng)向云端服務(wù)器發(fā)送服務(wù)請求,以請求提供增強(qiáng)現(xiàn)實服務(wù)。
所述云端服務(wù)器是對應(yīng)終端的增強(qiáng)現(xiàn)實服務(wù)的app的服務(wù)器。
可選地,云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息后,根據(jù)所述位置信息,獲取距離所述終端最近的邊緣服務(wù)器,并獲取邊緣服務(wù)器的服務(wù)入口信息。
可選地,所述服務(wù)入口信息是距離所述邊緣服務(wù)器的地址,如網(wǎng)頁鏈接。
在本步驟之后,所述終端根據(jù)邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端,也就是說,由所述終端進(jìn)行圖像采集,所述邊緣服務(wù)器進(jìn)行增強(qiáng)現(xiàn)實計算,二者合作實現(xiàn)增強(qiáng)現(xiàn)實。
本實施例提供的云端服務(wù)器,可用于執(zhí)行上述方法實施例的方法對應(yīng)的程序,本實施不再贅述。
本實施例提供的云端服務(wù)器,至少具有以下技術(shù)效果:
通過所述處理器執(zhí)行所述程序時實現(xiàn)云端服務(wù)器預(yù)先與終端進(jìn)行交互以獲得距離所述終端最近的邊緣服務(wù)器的地址,并將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至邊緣服務(wù)器,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
本發(fā)明又一實施例提供的一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序,所述程序被處理器執(zhí)行時實現(xiàn)如下步驟:
接收終端發(fā)送的服務(wù)請求和位置信息,所述服務(wù)請求用于請求提供增強(qiáng)現(xiàn)實服務(wù);
根據(jù)所述位置信息與預(yù)設(shè)的數(shù)據(jù)庫中存儲的邊緣服務(wù)器的位置信息進(jìn)行比較,確定距離所述終端最近的邊緣服務(wù)器,并將所述邊緣服務(wù)器的地址發(fā)送至所述終端,以使所述終端與所述邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實。
可選地,用戶操作終端的顯示設(shè)備,生成服務(wù)請求,并通過互聯(lián)網(wǎng)向云端服務(wù)器發(fā)送服務(wù)請求,以請求提供增強(qiáng)現(xiàn)實服務(wù)。
所述云端服務(wù)器是對應(yīng)終端的增強(qiáng)現(xiàn)實服務(wù)的app的服務(wù)器。
可選地,云端服務(wù)器接收終端發(fā)送的服務(wù)請求和位置信息后,根據(jù)所述位置信息,獲取距離所述終端最近的邊緣服務(wù)器,并獲取邊緣服務(wù)器的服務(wù)入口信息。
可選地,所述服務(wù)入口信息是距離所述邊緣服務(wù)器的地址,如網(wǎng)頁鏈接。
在本步驟之后,所述終端根據(jù)邊緣服務(wù)器的地址,將采集的圖像發(fā)送至邊緣服務(wù)器,所述邊緣服務(wù)器接收終端發(fā)送的所述圖像,并根據(jù)所述圖像進(jìn)行增強(qiáng)現(xiàn)實的相關(guān)計算,得到對應(yīng)所述圖像的虛擬信息,發(fā)送至所述終端,也就是說,由所述終端進(jìn)行圖像采集,所述邊緣服務(wù)器進(jìn)行增強(qiáng)現(xiàn)實計算,二者合作實現(xiàn)增強(qiáng)現(xiàn)實。
本實施例提供的計算機(jī)可讀存儲介質(zhì),所述程序被處理器執(zhí)行時實現(xiàn)上述方法實施例的方法,本實施不再贅述。
本實施例提供的計算機(jī)可讀存儲介質(zhì),至少具有以下技術(shù)效果:
通過所述程序被處理器執(zhí)行預(yù)先與終端進(jìn)行交互以獲得距離所述終端最近的邊緣服務(wù)器的地址,并將增強(qiáng)現(xiàn)實所需的圖像發(fā)送至邊緣服務(wù)器,由終端與邊緣服務(wù)器進(jìn)行交互,實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
圖9示出了本發(fā)明又一實施例提供的一種邊緣服務(wù)器的結(jié)構(gòu)示意圖。
參閱圖9,本發(fā)明又一實施例提供的一種邊緣服務(wù)器,所述邊緣服務(wù)器包括存儲器91、處理器92以及存儲在存儲器91上并可在處理器上運(yùn)行的計算機(jī)程序。
所述處理器執(zhí)行所述程序時實現(xiàn)如下步驟:
邊緣服務(wù)器接收終端發(fā)送的圖像,所述圖像是終端獲知所述邊緣服務(wù)器是距離所述終端最近的可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器后發(fā)送的;
根據(jù)所述圖像,進(jìn)行增強(qiáng)現(xiàn)實運(yùn)算,得到對應(yīng)所述圖像的虛擬信息;
將所述虛擬信息發(fā)送至所述終端,以供終端根據(jù)所述虛擬信息進(jìn)行渲染,得到增強(qiáng)現(xiàn)實信息,所述增強(qiáng)現(xiàn)實信息是根據(jù)所述圖像和所述虛擬信息疊加得到的。
在本實施例中,終端安裝有可提供增強(qiáng)現(xiàn)實服務(wù)的app。
可選地,終端需使用增強(qiáng)現(xiàn)實服務(wù),預(yù)先獲取可提供增強(qiáng)現(xiàn)實服務(wù)的服務(wù)器的地址,且所述邊緣服務(wù)器是距離所述終端最近的服務(wù)器,可以理解的是,增強(qiáng)現(xiàn)實服務(wù)對計算能力要求較高,若可獲得距離所述終端最近的服務(wù)器,使所述邊緣服務(wù)器進(jìn)行復(fù)雜的增強(qiáng)現(xiàn)實服務(wù)計算,可減少增強(qiáng)現(xiàn)實服務(wù)對實現(xiàn)的延時。
所述邊緣服務(wù)器可采用現(xiàn)有技術(shù)中的ar算法,得到對應(yīng)所述圖像的虛擬信息。
本實施例提供的邊緣服務(wù)器,可用于執(zhí)行上述方法實施例的方法對應(yīng)的程序,本實施不再贅述。
本實施例提供的邊緣服務(wù)器,至少具有以下技術(shù)效果:
通過執(zhí)行由距離所述終端最近的邊緣服務(wù)器,與終端進(jìn)行交互以實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),使終端可實時實現(xiàn)增強(qiáng)現(xiàn)實服務(wù),大大降低數(shù)據(jù)的傳輸時延。
最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明實施例的技術(shù)方案,而非對其限制;盡管參照前述實施例對本發(fā)明實施例進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改,或者對其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例各實施例技術(shù)方案的精神和范圍。