本披露涉及增強(qiáng)現(xiàn)實(shí)系統(tǒng)領(lǐng)域。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)是物理現(xiàn)實(shí)世界環(huán)境的生動直接觀看或間接觀看，其元素由計(jì)算機(jī)生成的感覺輸入(如聲音、視頻、圖形或GPS數(shù)據(jù))增強(qiáng)。常規(guī)地，實(shí)時地并且在具有多個環(huán)境元素的語義上下文中使用增強(qiáng)。增強(qiáng)現(xiàn)實(shí)的示例是當(dāng)在取景器中實(shí)時地觀看對象時使用裝置如智能電話或平板計(jì)算機(jī)顯示對象的信息。

如果為了稍后播放而記錄增強(qiáng)現(xiàn)實(shí)，其中，增強(qiáng)現(xiàn)實(shí)附加與取景器中的原始圖像合并，結(jié)果無非是經(jīng)編輯的視頻流。當(dāng)這確實(shí)將信息而不是原始取景器內(nèi)容自身存在給取景器時，在播放過程中幾乎不存在選項(xiàng)，使得增強(qiáng)現(xiàn)實(shí)附加比其可能在其他情況下更加無用。

因此，期望在增強(qiáng)現(xiàn)實(shí)領(lǐng)域中的進(jìn)一步發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

提供本概述以便引入以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征也不旨在用作限定所要求保護(hù)的主題的范圍的輔助內(nèi)容。

為解決上述問題，本公開的各種實(shí)施例涉及一種用于加強(qiáng)型增強(qiáng)現(xiàn)實(shí)多媒體的電子裝置，包括：照相機(jī)傳感器；顯示器；非易失性存儲單元；處理器，所述處理器被配置成用于：從所述照相機(jī)傳感器采集視頻數(shù)據(jù)；標(biāo)識在所述視頻數(shù)據(jù)中的至少一個興趣區(qū)；在沒有接收到用戶輸入的情況下針對所述至少一個興趣區(qū)生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)，所述增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)根據(jù)上下文與所述至少一個興趣區(qū)相關(guān)；在所述顯示器上顯示所述視頻數(shù)據(jù)，其中，在從所述照相機(jī)傳感器采集所述視頻數(shù)據(jù)時，所述增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)實(shí)時地疊加于其上；并且將所述視頻數(shù)據(jù)和所述增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)存儲在所述非易失性存儲單元中。

根據(jù)本公開的實(shí)施例，所述處理器將所述視頻數(shù)據(jù)存儲在所述非易失性存儲單元中的視頻文件中，并且其中，所述處理器將所述增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)存儲在所述視頻文件的元數(shù)據(jù)部分中。

將元數(shù)據(jù)存儲在單獨(dú)的增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)文本文件中的優(yōu)點(diǎn)是通過或者更改或者替換數(shù)據(jù)以及增添新數(shù)據(jù)字段在稍后的時間點(diǎn)處對其更新容易。

根據(jù)本公開的實(shí)施例，所述至少一個興趣區(qū)包括多個興趣區(qū)；并且其中，所述處理器進(jìn)一步被配置成用于：確定與同一對象相關(guān)的多個興趣區(qū)；確定至少一個起止時間戳，所述至少一個起止時間戳包含所述視頻文件中的所述多個興趣區(qū)的連續(xù)存在；針對與不同對象相關(guān)的多個興趣區(qū)確定至少一個起止時間戳；并且將包含所述視頻文件中的所述多個興趣區(qū)的所述連續(xù)存在的所述至少一個起止時間戳和針對與不同對象相關(guān)的多個興趣區(qū)的所述至少一個起止時間戳存儲在所述非易失性存儲單元中的所述視頻文件的所述元數(shù)據(jù)部分中。

根據(jù)本公開的實(shí)施例，所述視頻數(shù)據(jù)存儲在視頻文件中；并且其中，所述增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)存儲在與所述視頻文件分離但是相關(guān)聯(lián)的元數(shù)據(jù)文件中。

根據(jù)本公開的實(shí)施例，所述至少一個興趣區(qū)包括多個興趣區(qū)；并且其中，所述處理器進(jìn)一步被配置成用于：確定與同一對象相關(guān)的多個興趣區(qū)；確定至少一個起止時間戳，所述至少一個起止時間戳包含所述視頻文件中的所述多個興趣區(qū)的連續(xù)存在；針對與不同對象相關(guān)的多個興趣區(qū)確定至少一個起止時間戳；并且將包含所述視頻文件中的所述多個興趣區(qū)的所述連續(xù)存在的所述至少一個起止時間戳和針對與不同對象相關(guān)的多個興趣區(qū)的所述至少一個起止時間戳存儲在所述非易失性存儲單元中的與所述視頻文件分離但是相關(guān)聯(lián)的所述元數(shù)據(jù)文件中。

通過本公開的各種實(shí)施例所述的電子裝置，使得增強(qiáng)現(xiàn)實(shí)在視頻播放方面得以加強(qiáng)。

附圖說明

圖1是可以在其上執(zhí)行本披露的增強(qiáng)現(xiàn)實(shí)處理技術(shù)的電子裝置的示意框圖。

圖2是根據(jù)本披露的增強(qiáng)現(xiàn)實(shí)處理技術(shù)的流程圖。

圖3是根據(jù)本披露的增強(qiáng)現(xiàn)實(shí)生成和顯示技術(shù)的流程圖。

圖4是根據(jù)本披露展示了播放視頻數(shù)據(jù)和可選地增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的流程圖。

具體實(shí)施方式

將在下文描述一個或多個實(shí)施例。這些所描述的實(shí)施例僅是如由所附權(quán)利要求來單獨(dú)限定的實(shí)現(xiàn)技術(shù)的示例。此外，為了提供集中的描述，可能不會在說明書中描述實(shí)際實(shí)現(xiàn)的不相關(guān)特征。

初始參照圖1，現(xiàn)在描述可以用于執(zhí)行增強(qiáng)現(xiàn)實(shí)技術(shù)的電子裝置100。電子裝置100可以是智能電話、平板計(jì)算機(jī)、增強(qiáng)現(xiàn)實(shí)頭戴式耳機(jī)或者其他合適的電子裝置。電子裝置100包括處理器112，具有可選顯示器114、可選非易失性存儲單元116、可選照相機(jī)傳感器118、可選收發(fā)器120、可選GPS收發(fā)器122、可選加速計(jì)124、可選羅盤126、可選氣壓計(jì)128、可選藍(lán)牙收發(fā)器133以及耦接于其上的可選音頻轉(zhuǎn)換器135。顯示器114在一些情況下可以是觸敏的，并且非易失性存儲單元116可以是磁或固態(tài)存儲單元，如硬盤驅(qū)動器、固態(tài)驅(qū)動器或者閃存RAM。照相機(jī)傳感器118可以是CMOS照相機(jī)傳感器，并且收發(fā)器120可以是蜂窩收發(fā)器、WiFi收發(fā)器或藍(lán)牙收發(fā)器。

此外參照圖2，現(xiàn)在描述增強(qiáng)現(xiàn)實(shí)處理技術(shù)。處理器112可選地從照相機(jī)傳感器118可選地實(shí)時地收集視頻數(shù)據(jù)幀(框202)，并且可以可選地操作音頻轉(zhuǎn)換器135以獲得與視頻數(shù)據(jù)幀同時發(fā)生的音頻記錄。處理器112也可以從所記錄的內(nèi)容收集視頻數(shù)據(jù)。當(dāng)收集每個視頻數(shù)據(jù)幀時，處理器112操作以便標(biāo)識那個幀中的興趣區(qū)(ROI)(框204)。示例ROI包括人臉、對象、地形部分、天空部分等。

處理器112然后在沒有接收到用戶輸入的情況下或者在一些實(shí)例中在接收到用戶輸入的情況下針對ROI生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)(框206)。通過在沒有接收到用戶輸入的情況下針對ROI生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)，意味著數(shù)據(jù)或者來自傳感器或者來自數(shù)據(jù)庫，而不是手動輸入的(如由人聽語音并經(jīng)由鍵盤手動地輸入適當(dāng)?shù)淖帜?。盡管可以以此方式輸入針對ROI的一些增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)，一些增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)將不會被輸入。

例如，處理器112可以通過從內(nèi)部傳感器讀取或采集數(shù)據(jù)來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)。因此，處理器112可以通過以下方式來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)：讀取照相機(jī)傳感器118的定向、在從GPS接收機(jī)122采集視頻數(shù)據(jù)時讀取電子裝置100的位置的GPS坐標(biāo)、在從氣壓計(jì)128捕獲圖像時讀取與ROI或者電子裝置100的位置相關(guān)聯(lián)的天氣狀況、讀取來自加速計(jì)124的數(shù)據(jù)或者讀取來自羅盤126的數(shù)據(jù)。處理器112還可以通過經(jīng)由收發(fā)器120如從提供了針對給定的GPS坐標(biāo)位置的實(shí)時天氣數(shù)據(jù)的源通過互聯(lián)網(wǎng)接收以上數(shù)據(jù)來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)。

此外，處理器122可以通過分析視頻數(shù)據(jù)自身或者通過分析與視頻數(shù)據(jù)同時捕獲的音頻數(shù)據(jù)來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)。例如，處理器112可以通過對源自視頻數(shù)據(jù)的聲音執(zhí)行音頻分析來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)，或者可以通過對ROI執(zhí)行圖像分析、對ROI執(zhí)行字符識別、對ROI執(zhí)行對象識別以及對ROI的圖像數(shù)據(jù)執(zhí)行圖像搜索來生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)。這可以通過處理器112在本地完成，或者處理器112可以為了這些目的通過互聯(lián)網(wǎng)采用遠(yuǎn)端源。此外，為了這個分析，處理器112可以組合本地源和遠(yuǎn)端源(非易失性存儲器116和遠(yuǎn)端數(shù)據(jù)源130)。

每一項(xiàng)增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)根據(jù)上下文與其對應(yīng)的ROI相關(guān)。上下文關(guān)系意味著在ROI自身中示出的圖像的信息，或者與在ROI自身中示出的圖像的捕獲相關(guān)的信息。上下文關(guān)系不意味著如時間戳/日期戳或者針對語音或者聲音的字幕的信息。

處理器112可選地實(shí)時地在顯示器114上顯示視頻數(shù)據(jù)和增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)(框208)。增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)覆蓋在視頻數(shù)據(jù)的頂部上。例如，視頻數(shù)據(jù)中的個體的名字可以漂浮于其對應(yīng)的頭部之上或者與其相鄰地以文本顯示，或者對象的信息可以漂浮于對象之上或者與其相鄰地以文本顯示。

當(dāng)視頻數(shù)據(jù)和增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)被處理器112顯示在顯示器114上時，其被處理器112以非合并的方式存儲在非易失性存儲器116中(框210)。通過被以非合并的方式存儲，意味著增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)并非簡單地被存儲為替換其覆蓋的視頻數(shù)據(jù)的多個部分的視頻數(shù)據(jù)，而是反而被存儲或者為視頻文件自身的元數(shù)據(jù)(框212)或者為單獨(dú)的元數(shù)據(jù)文件(框214)。例如，增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)可以被存儲為針對使用H.264或者HEVC算法編碼或壓縮的視頻文件的補(bǔ)充增強(qiáng)信息(SEI)，或者被存儲在與視頻文件相關(guān)聯(lián)的單獨(dú)的增強(qiáng)現(xiàn)實(shí)文本文件(即，.art)中。在一些實(shí)例中，增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)還可以被存儲在容器用戶數(shù)據(jù)中。在一些實(shí)例中，視頻數(shù)據(jù)和增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的此存儲不需要在播放的時候完成，并且可以或者在播放之前或者不存在播放時完成。

針對每個ROI，在增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)被存儲為視頻文件自身的元數(shù)據(jù)或者為增強(qiáng)現(xiàn)實(shí)文本文件的情況下，元數(shù)據(jù)字段可以包括以下各項(xiàng)：

開始->停止時間戳

結(jié)構(gòu)/數(shù)據(jù)的長度

給定ROI的數(shù)量[N]

ROI類型[N]

ROI[N]

對象ROI的縮略圖(可選)

緯度(可選)

經(jīng)度(可選)

用戶評論(可選)

也可以包括其他字段。示例元數(shù)據(jù)可以是：

00:04:25，166-->00:04:28，625//起止PTS

52//結(jié)構(gòu)/數(shù)據(jù)的長度

1//Rect數(shù)量

1//ROI字體

400 400 600 600//ROI

0.8//緯度

1.2//經(jīng)度

歐巡賽是如此有趣//用戶評論

00:04:29，751→00:04:31，044

<參數(shù)>

#索引

偏移0

偏移53

---

偏移12802

#CNT

98 12804//AR結(jié)構(gòu)的Cout索引的偏移

#VER

V2.0

ART#

將元數(shù)據(jù)存儲在單獨(dú)的增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)文本文件中的優(yōu)點(diǎn)是通過或者更改或者替換數(shù)據(jù)以及增添新數(shù)據(jù)字段在稍后的時間點(diǎn)處對其更新容易。因此，例如，如果給定的ROI是電影中的演員，可以更新在稍后的時間點(diǎn)處那個電影的AR播放以包括在當(dāng)前時間處的演員信息的播放，而不僅僅按照原始記錄的時間播放。作為另一個示例，如果給定的ROI是著名的旅游勝地或者地標(biāo)，可以更新AR播放以包括那個旅游勝地或者地標(biāo)的當(dāng)前信息。

在一些實(shí)例中，非易失性存儲器116可能針對電子裝置100不是本地的，并且可能反而針對經(jīng)由局域網(wǎng)或互聯(lián)網(wǎng)連接到電子裝置100的服務(wù)器是本地的。在其他實(shí)例中，非易失性存儲器116可能針對電子裝置100不是本地的，但是可能反而是經(jīng)由有線連接而連接的遠(yuǎn)端非易失性存儲器134或者經(jīng)由藍(lán)牙連接而連接的非易失性存儲器132。

由于視頻數(shù)據(jù)和增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)被存儲，它們?nèi)缓罂梢员惶幚砥?12在顯示器114上非實(shí)時地播放(框216)。應(yīng)當(dāng)理解的是，由于增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)和視頻數(shù)據(jù)被以非合并的方式存儲，在沒有顯示增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的情況下，甚至可以通過不支持播放增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的硬件和軟件播放視頻數(shù)據(jù)。

另外地參照圖4，現(xiàn)在描述在一個實(shí)施例中播放增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)和視頻數(shù)據(jù)。視頻數(shù)據(jù)和AR數(shù)據(jù)(框400)被緩沖(框402)，并且然后被發(fā)送到或者支持AR的視頻播放器(框404)或者不支持AR的普通視頻播放器(框406)。如果利用支持AR的視頻播放器(框404)，那么在智能電話(框410)、平板計(jì)算機(jī)(框411)、膝上計(jì)算機(jī)(框412)或者TV(框413)上播放視頻數(shù)據(jù)和AR數(shù)據(jù)。如果利用普通視頻播放器(框406)，那么在智能電話(框410)、平板計(jì)算機(jī)(框411)、膝上計(jì)算機(jī)(框412)或者TV(框413)上播放視頻數(shù)據(jù)。

在一些實(shí)例中，多個ROI可能與同一對象或人相關(guān)，并且可能令人期望的是元數(shù)據(jù)包括針對包含那個對象或人的連續(xù)存在的視頻數(shù)據(jù)的起止時間的時間戳。因此，處理器112可以確定與同一對象或人相關(guān)的多個興趣區(qū)，并且確定包含那個對象或人的連續(xù)存在的起止時間戳。處理器112還可以確定針對與不同對象或人相關(guān)的ROI的起止時間。因此，處理器112可以確定針對視頻數(shù)據(jù)中的某個或者每個人和/或?qū)ο蟮钠鹬箷r間。這些起止時間可以由處理器112根據(jù)增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)被存儲的位置被存儲在或者視頻文件的元數(shù)據(jù)部分中或者單獨(dú)的視頻文件中。

在處理器112非實(shí)時地播放視頻數(shù)據(jù)和增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)的過程中，根據(jù)上下文與增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)相關(guān)的新增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)在其被非實(shí)時地顯示時可以在增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)上疊加地顯示。例如，增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)可以包括在墻上疊加顯示的廣告以便廣告產(chǎn)品A。新增強(qiáng)現(xiàn)實(shí)可以因此是針對在產(chǎn)品A上疊加的產(chǎn)品B的廣告。

另外地參照圖3的流程圖300，現(xiàn)在描述由處理器112生成增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)。首先，從或者照相機(jī)傳感器118或者非易失性存儲器116采集視頻數(shù)據(jù)(框302)。將視頻數(shù)據(jù)與AR數(shù)據(jù)(如來自框304的裝置100的定向、GPS坐標(biāo)或者用戶輸入)一起發(fā)送至在處理器112上執(zhí)行的AR引擎(框306)。AR引擎(框306)執(zhí)行圖像分析、人臉識別、對象識別并且生成來自這些對象或人臉的ROI。AR引擎(框306)將從框304接收的AR數(shù)據(jù)與所生成的ROI和其他數(shù)據(jù)(圖像分析、人臉識別、對象識別的結(jié)果)進(jìn)行組合并且將其發(fā)送至在處理器112上執(zhí)行的AR記錄器(框308)。

AR記錄器(框308)獲得AR數(shù)據(jù)、其他數(shù)據(jù)和ROI并且將其處理成對記錄有用的數(shù)據(jù)。在該過程中，AR記錄器(框308)可以記錄針對以上描述的ROI的開始和停止時間戳。AR記錄器(框308)將這些結(jié)果發(fā)送至在處理器112上執(zhí)行的AR格式器(框310)。AR格式器(框310)使用所接收的數(shù)據(jù)并將其格式化成期望的格式，并且然后將其發(fā)送至將AR數(shù)據(jù)存儲在增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)文件(如，.art文件)中的AR文件寫入器(框314)。另外或替代性地，AR格式器(框310)將格式化的AR數(shù)據(jù)發(fā)送至轉(zhuǎn)碼器/編碼器(框312)，該轉(zhuǎn)碼器/編碼器也接收來自視頻源(框302)的視頻數(shù)據(jù)。轉(zhuǎn)碼器/編碼器(框312)將視頻數(shù)據(jù)與格式化的AR數(shù)據(jù)進(jìn)行組合以創(chuàng)造具有嵌入式AR元數(shù)據(jù)的視頻。

如所解釋的，以上披露的意圖是將AR ROI和來自任何合適的傳感器的數(shù)據(jù)存儲為元數(shù)據(jù)，從而使得在不存在附加處理時所述元數(shù)據(jù)的稍后檢索是有可能的。也就是說，應(yīng)當(dāng)注意的是，在此所描述和使用的增強(qiáng)現(xiàn)實(shí)元數(shù)據(jù)不包括針對語音或者聲音的隱藏字幕或者視覺時間戳和日期戳。

本披露已經(jīng)關(guān)于有限數(shù)量的實(shí)施例來描述，得益于本披露的本領(lǐng)域的技術(shù)人員將理解的是，可以設(shè)想其他實(shí)施例而不脫離如本文中所披露的本披露的范圍。因此，本披露的范圍應(yīng)僅由所附的權(quán)利要求來限定。