本發(fā)明涉及虛擬現(xiàn)實(shí)領(lǐng)域，具體涉及全景視頻信息交互領(lǐng)域。

背景技術(shù)：

虛擬現(xiàn)實(shí)技術(shù)是一種計(jì)算機(jī)仿真系統(tǒng)，在該系統(tǒng)中可以創(chuàng)建和體驗(yàn)虛擬世界。本質(zhì)上，該系統(tǒng)利用計(jì)算機(jī)生成一種模擬環(huán)境，該模擬環(huán)境是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和對(duì)實(shí)體行為的系統(tǒng)仿真，可以達(dá)到沉浸式體驗(yàn)。

虛擬現(xiàn)實(shí)涉及的多源信息包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)、廣角(寬視野)立體顯示技術(shù)、對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺/力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出技術(shù)等。除此之外，還涉及雙目立體視覺，雙目立體視覺起了較大的作用。在雙目立體視覺技術(shù)中，兩只眼睛看到的不同圖像是分別產(chǎn)生的，分別顯示在兩個(gè)不同的顯示器上。另外，也有虛擬現(xiàn)實(shí)系統(tǒng)采用單個(gè)顯示器，但帶上特殊的眼鏡后，一只眼睛只能看到奇數(shù)幀圖像，另一只眼睛只能看到偶數(shù)幀圖像，由于奇、偶幀之間不同即存在視差，從而產(chǎn)生了立體感。

全景圖片和全景視頻是虛擬現(xiàn)實(shí)技術(shù)中常見的表現(xiàn)形式，尤其是全景視頻，由于其本身的動(dòng)態(tài)特性，能夠給用戶帶來更加真實(shí)的沉浸式體驗(yàn)，已經(jīng)成為虛擬現(xiàn)實(shí)設(shè)備中常見的信息載體。很多廠家都已經(jīng)拍攝或正在拍攝自己的全景視頻，從而通過全景視頻向用戶傳達(dá)更加豐富的信息，如全景視頻廣告、全景視頻旅游宣傳片等等。但是目前而言，由于視頻時(shí)刻處于運(yùn)動(dòng)狀態(tài)，不像圖片那樣處于靜止?fàn)顟B(tài)，用戶無法很好地實(shí)時(shí)跟蹤視頻中的信息載體，進(jìn)而無法與其形成像全景圖片那樣的交互，故無法很好地獲取動(dòng)態(tài)全景視頻上有用的信息。

比如全景視頻運(yùn)動(dòng)鞋廣告中所包含的運(yùn)動(dòng)鞋的相關(guān)信息。當(dāng)用戶佩戴上虛擬現(xiàn)實(shí)設(shè)備(如VR眼鏡)，全景視頻在用戶面前動(dòng)態(tài)展開，用戶沉浸在全景視頻中，此時(shí)，用戶想了解有關(guān)此運(yùn)動(dòng)鞋的信息(如售價(jià)、顏色、材質(zhì)等)，于是凝視運(yùn)動(dòng)鞋，這時(shí)候光標(biāo)對(duì)準(zhǔn)運(yùn)動(dòng)鞋，但是由于視頻中的運(yùn)動(dòng)鞋處于不斷運(yùn)動(dòng)狀態(tài)，光標(biāo)無法很好地實(shí)時(shí)跟蹤運(yùn)動(dòng)鞋，而要求用戶眼睛一直盯著運(yùn)動(dòng)鞋從而實(shí)現(xiàn)光標(biāo)對(duì)運(yùn)動(dòng)鞋的實(shí)時(shí)跟蹤顯然是不太現(xiàn)實(shí)的。這樣一來，運(yùn)動(dòng)鞋的相關(guān)信息就無法通過光標(biāo)和運(yùn)動(dòng)鞋的交互顯示出來，用戶便無法得知運(yùn)動(dòng)鞋的相關(guān)信息，這對(duì)于一些想通過全景視頻廣告來宣傳自己產(chǎn)品的經(jīng)銷商是不利的。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述存在的現(xiàn)實(shí)問題，本發(fā)明提供了一種全景視頻信息交互方法及系統(tǒng)，用以解決當(dāng)前全景視頻中存在的無法實(shí)時(shí)跟蹤信息載體進(jìn)而與其形成交互獲取信息載體上所包含信息的問題。

本發(fā)明提供了一種全景視頻信息交互方法，該方法步驟包括：

用戶上傳全景視頻；

采用OpenGL技術(shù)結(jié)合曲面函數(shù)、球面函數(shù)計(jì)算球體內(nèi)表面的曲率，把全景視頻繪制到球體內(nèi)表面；

將使用曲面函數(shù)、球面函數(shù)構(gòu)造且完全適配球體內(nèi)表面弧度的內(nèi)嵌模塊框選全景視頻中的待框選運(yùn)動(dòng)目標(biāo)；

采用TLD算法將內(nèi)嵌模塊與已框選運(yùn)動(dòng)目標(biāo)進(jìn)行像素匹配，于視頻每一幀中判斷已框選運(yùn)動(dòng)目標(biāo)像素位置，實(shí)現(xiàn)內(nèi)嵌模塊對(duì)已框選運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤；

于內(nèi)嵌模塊中設(shè)置或選擇點(diǎn)擊事件命令；

將資源打包成APK映射到虛擬現(xiàn)實(shí)設(shè)備中；

激活點(diǎn)擊事件命令，針對(duì)點(diǎn)擊事件命令做出相應(yīng)交互響應(yīng)。

本發(fā)明提供的方法，首先用戶將拍攝的全景視頻上傳到Unity軟件或者瀏覽器中，Unity軟件采用OpenGL技術(shù)結(jié)合曲面函數(shù)、球面函數(shù)計(jì)算球體內(nèi)表面的曲率，將用戶上傳的全景視頻繪制到球體內(nèi)表面；此后用戶于球體內(nèi)的全景視頻中拖入若干完全適配球體內(nèi)表面弧度的內(nèi)嵌模塊，用于框選待框選運(yùn)動(dòng)目標(biāo)。被內(nèi)嵌模塊框選后的運(yùn)動(dòng)目標(biāo)此時(shí)為已框選運(yùn)動(dòng)目標(biāo)，由于已框選運(yùn)動(dòng)目標(biāo)處于不間斷的運(yùn)動(dòng)狀態(tài)中，而內(nèi)嵌模塊仍處于靜止?fàn)顟B(tài)，無法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤從而實(shí)現(xiàn)交互，所以采用TLD算法將內(nèi)嵌模塊與已框選運(yùn)動(dòng)目標(biāo)進(jìn)行像素匹配，于視頻每一幀中判斷已框選運(yùn)動(dòng)目標(biāo)像素位置，從而實(shí)現(xiàn)內(nèi)嵌模塊對(duì)已框選運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤，這樣便可以在內(nèi)嵌模塊中設(shè)置或者選擇點(diǎn)擊事件命令，從而對(duì)全景視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行信息交互。此后將資源打包成APK映射到需擬現(xiàn)實(shí)設(shè)備中，用戶佩戴上虛擬現(xiàn)實(shí)設(shè)備，在需擬現(xiàn)實(shí)設(shè)備中激活所設(shè)置或選擇的點(diǎn)擊事件命令，需擬現(xiàn)實(shí)設(shè)備針對(duì)用戶所激活的點(diǎn)擊事件命令給出相應(yīng)的交互響應(yīng)。

本發(fā)明還提供了一種全景視頻交互系統(tǒng)，包括全景視頻還原系統(tǒng)、目標(biāo)跟蹤系統(tǒng)和全景視頻顯示系統(tǒng)，其中所述全景視頻還原系統(tǒng)包括：

視頻接收單元，用于接收、存儲(chǔ)全景視頻；

視頻繪制單元，用于將全景視頻繪制與球體內(nèi)表面；

命令設(shè)置單元，用于儲(chǔ)存用戶設(shè)置或選擇的點(diǎn)擊事件命令；

所述目標(biāo)跟蹤系統(tǒng)包括：

目標(biāo)框選單元，用于框選全景視頻中需要交互的信息載體；

像素匹配單元，用于匹配播放中的全景視頻信息載體的移動(dòng)位置，進(jìn)行像素匹配和跟蹤；

所述全景視頻顯示系統(tǒng)包括：

命令判斷單元，用于判斷用戶激發(fā)的點(diǎn)擊事件命令；

顯示單元，用于顯示用戶激發(fā)的點(diǎn)擊事件命令相應(yīng)的交互響應(yīng)。

本發(fā)明提供的系統(tǒng)，包括全景視頻還原系統(tǒng)、目標(biāo)跟蹤系統(tǒng)和全景視頻顯示系統(tǒng)，其中全景視頻還原系統(tǒng)包括視頻接收單元、視頻繪制單元和命令設(shè)置單元，目標(biāo)跟蹤系統(tǒng)包括目標(biāo)框選單元和像素匹配單元，全景視頻顯示系統(tǒng)包括命令判斷單元和顯示單元。全景視頻還原系統(tǒng)用于將全景視頻在Unity軟件中還原，視頻接收單元接收并儲(chǔ)存用戶上傳的全景視頻，視頻繪制單元將全景視頻繪制于球體內(nèi)表面，然后命令設(shè)置單元保存用戶設(shè)置或選擇的點(diǎn)擊事件命令。目標(biāo)跟蹤系統(tǒng)用于實(shí)現(xiàn)內(nèi)嵌模塊對(duì)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤，從而可以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的信息交互，目標(biāo)框選單元可以實(shí)現(xiàn)內(nèi)嵌模塊對(duì)待框選運(yùn)動(dòng)目標(biāo)的框選，使其成為已框選運(yùn)動(dòng)目標(biāo)，像素匹配單元可以實(shí)現(xiàn)對(duì)動(dòng)態(tài)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。全景視頻顯示系統(tǒng)用于將Unity軟件中還原的全景視頻在虛擬現(xiàn)實(shí)設(shè)備中呈現(xiàn)給用戶，并顯示用戶于內(nèi)嵌模塊中設(shè)置或選擇的交互信息。因?yàn)樘摂M現(xiàn)實(shí)設(shè)備中已經(jīng)儲(chǔ)存有用戶所設(shè)置或選擇的點(diǎn)擊事件命令，此時(shí)用戶佩戴上虛擬現(xiàn)實(shí)設(shè)備，命令判斷單元可以判斷用戶激發(fā)的點(diǎn)擊事件命令，顯示單元可以顯示用戶激發(fā)的點(diǎn)擊事件命令相應(yīng)的交互響應(yīng)，從而用戶可以感受到Unity軟件中所設(shè)置或選擇的點(diǎn)擊事件命令在眼前所給出的相應(yīng)的點(diǎn)擊事件命令交互響應(yīng)，進(jìn)而可以獲取信息載體上的相應(yīng)信息。

附圖說明

圖1是本發(fā)明提供的一種全景視頻信息交互方法流程圖。

圖2是本發(fā)明提供的一種全景視頻信息交互系統(tǒng)結(jié)構(gòu)圖。

圖3是本發(fā)明提供的一種全景視頻信息交互應(yīng)用場景圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域的普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明提供的一種全景視頻信息交互方法流程圖，該方法步驟包括：

步驟S101：用戶上傳全景視頻；

步驟S102：采用OpenGL技術(shù)結(jié)合曲面函數(shù)、球面函數(shù)計(jì)算球體內(nèi)表面的曲率，把全景視頻繪制到球體內(nèi)表面；

步驟S103：將使用曲面函數(shù)、球面函數(shù)構(gòu)造且完全適配球體內(nèi)表面弧度的內(nèi)嵌模塊框選全景視頻中的待框選運(yùn)動(dòng)目標(biāo)；

步驟S104：采用TLD算法將內(nèi)嵌模塊與已框選運(yùn)動(dòng)目標(biāo)進(jìn)行像素匹配，于視頻每一幀中判斷已框選運(yùn)動(dòng)目標(biāo)像素位置，實(shí)現(xiàn)內(nèi)嵌模塊對(duì)已框選運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤；

步驟S105：于內(nèi)嵌模塊中設(shè)置或選擇點(diǎn)擊事件命令；

步驟S106：將資源打包成APK映射到虛擬現(xiàn)實(shí)設(shè)備中；

步驟S107：激活點(diǎn)擊事件命令，針對(duì)點(diǎn)擊事件命令做出相應(yīng)交互響應(yīng)。

本發(fā)明實(shí)施例中，在步驟S101中，用戶將自己采用全景拍攝設(shè)備拍攝的全景視頻上傳到Unity軟件中，Unity軟件接收此全景視頻并保存。

在步驟S102中，Unity軟件采用OpenGL技術(shù)，結(jié)合全面函數(shù)、球面函數(shù)計(jì)算出球體內(nèi)表面的曲率，把接收并保存的全景視頻繪制到球體內(nèi)表面。這樣一來，用戶在使用全景拍攝設(shè)備進(jìn)行拍攝時(shí)的立體影像就完全還原在Unity軟件中的球體內(nèi)表面上。試想一下，當(dāng)用戶處于Unity軟件中的球體球心處，他可以完全體驗(yàn)到其拍攝全景視頻時(shí)候的場景.

在步驟S103中，用戶對(duì)Unity軟件中的全景視頻設(shè)置若干內(nèi)嵌模塊，這些內(nèi)嵌模塊使用同樣的曲面函數(shù)和球面函數(shù)，可以完全適配Unity軟件球體內(nèi)表面的弧度。同時(shí)，用戶用這些若干內(nèi)嵌模塊對(duì)全景視頻中的若干待框選運(yùn)動(dòng)目標(biāo)進(jìn)行框選選中，這些運(yùn)動(dòng)目標(biāo)成為已框選運(yùn)動(dòng)目標(biāo)。

在步驟S104中，由于已框選運(yùn)動(dòng)目標(biāo)處于實(shí)時(shí)運(yùn)動(dòng)狀態(tài)下，需要采用TLD算法將內(nèi)嵌模塊與已框選運(yùn)動(dòng)目標(biāo)進(jìn)行像素匹配，于視頻每一幀中判斷已框選運(yùn)動(dòng)目標(biāo)像素位置，從而實(shí)現(xiàn)內(nèi)嵌模塊對(duì)已框選運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。

在步驟S105中，用戶于內(nèi)嵌模塊中設(shè)置點(diǎn)擊事件命令，比如可以設(shè)置激活此內(nèi)嵌模塊時(shí)候讀取內(nèi)嵌模塊所框選的運(yùn)動(dòng)目標(biāo)的信息。

在步驟S106中，將上述Unity軟件中的資源打包成APK映射到虛擬現(xiàn)實(shí)設(shè)備中，各種命令操作設(shè)置也隨著資源打包到虛擬現(xiàn)實(shí)設(shè)備中。

當(dāng)然，將APK映射到虛擬現(xiàn)實(shí)設(shè)備中的方式有多種，如傳統(tǒng)的使用數(shù)據(jù)線進(jìn)行數(shù)據(jù)傳輸?；蛘邔PK上傳到互聯(lián)網(wǎng)，虛擬現(xiàn)實(shí)設(shè)備可以鏈接到包含此APK的網(wǎng)址進(jìn)行下載，或者通過掃描包含此APK網(wǎng)址鏈接的二維碼進(jìn)行下載。當(dāng)然，目前還有一些資源共享云應(yīng)用也可以實(shí)現(xiàn)對(duì)此APK映射到虛擬現(xiàn)實(shí)設(shè)備中，如百度云、有道云筆記等，此APK可以上傳到網(wǎng)絡(luò)版的百度云中，然后虛擬現(xiàn)實(shí)設(shè)備可以通過在手機(jī)版的百度云中進(jìn)行資源共享獲取從而得以下載，實(shí)現(xiàn)在虛擬現(xiàn)實(shí)設(shè)備中的重現(xiàn)。

在步驟S107中，此時(shí)用戶可以佩戴虛擬現(xiàn)實(shí)設(shè)備，在虛擬現(xiàn)實(shí)設(shè)備中進(jìn)行命令設(shè)置操作，激活在Unity軟件中所設(shè)置的點(diǎn)擊事件命令，虛擬現(xiàn)實(shí)設(shè)備針對(duì)用戶所激活的點(diǎn)擊事件命令做出相應(yīng)的交互響應(yīng)，從而可以與全景視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行信息交互。

圖2為本發(fā)明提供的一種全景視頻信息交互系統(tǒng)結(jié)構(gòu)示意圖，其中201為全景視頻還原系統(tǒng)，202為目標(biāo)跟蹤系統(tǒng)，203為全景視頻顯示系統(tǒng)，204為視頻接收單元，205為視頻繪制單元，206為命令設(shè)置單元，207為目標(biāo)框選單元，208為像素匹配單元，209為命令判斷單元，210為顯示單元。

下面結(jié)合圖1提出的方法和圖2提出的系統(tǒng)對(duì)本發(fā)明進(jìn)行詳細(xì)描述。在全景視頻還原系統(tǒng)201中，視頻接收單元204接收并存儲(chǔ)全景視頻拍攝設(shè)備拍攝的全景視頻，視頻繪制單元205采用OpenGL技術(shù)結(jié)合曲面函數(shù)、球面函數(shù)計(jì)算球體內(nèi)表面的曲率，把視頻接收單元204中的全景視頻繪制到球體內(nèi)表面，命令設(shè)置單元206儲(chǔ)存用戶設(shè)置或者選擇的點(diǎn)擊事件命令，全景視頻的還原和相應(yīng)的點(diǎn)擊事件命令在全景視頻還原系統(tǒng)201中完成。在目標(biāo)跟蹤系統(tǒng)202中，目標(biāo)框選單元207可以框選全景視頻中需要交互的信息載體，像素匹配單元208可以匹配播放中的全景視頻信息載體的移動(dòng)位置，對(duì)信息載體進(jìn)行像素匹配和實(shí)時(shí)跟蹤。在全景視頻顯示系統(tǒng)203中，命令判斷單元209判斷用戶激活的點(diǎn)擊事件命令，顯示單元210可以顯示根據(jù)命令判斷單元209的判斷結(jié)果所做出的相應(yīng)的點(diǎn)擊事件命令交互響應(yīng)結(jié)果。

圖3是本發(fā)明提供的一種全景視頻信息交互應(yīng)用場景圖，即為一段全景視頻運(yùn)動(dòng)鞋廣告，其中301為全景視頻廣告，302為運(yùn)動(dòng)鞋，303為內(nèi)嵌模塊，304為信息交互結(jié)果，“+”為光標(biāo)。下面結(jié)合圖3對(duì)本發(fā)明的應(yīng)用場景作說明。

在全景視頻廣告301中，運(yùn)動(dòng)鞋302為本實(shí)施例中的運(yùn)動(dòng)目標(biāo)，內(nèi)嵌模塊303框選此運(yùn)動(dòng)鞋302，將其從待框選運(yùn)動(dòng)目標(biāo)狀態(tài)轉(zhuǎn)變成已框選運(yùn)動(dòng)目標(biāo)狀態(tài)。用戶可以在內(nèi)嵌模塊303中設(shè)置或選擇點(diǎn)擊事件命令，本實(shí)施例中，點(diǎn)擊事件命令設(shè)置為：當(dāng)運(yùn)動(dòng)鞋302被光標(biāo)擊中，則會(huì)在運(yùn)動(dòng)鞋302附近的適當(dāng)位置顯示此運(yùn)動(dòng)鞋的相關(guān)信息，包括價(jià)格、顏色、產(chǎn)地等。運(yùn)動(dòng)鞋302上的“+”表示光標(biāo)，意味著運(yùn)動(dòng)鞋302被擊中，此時(shí)點(diǎn)擊事件命令被激活，信息交互結(jié)果304顯示運(yùn)動(dòng)鞋302的相關(guān)信息。

最后應(yīng)說明的是：以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。