本發(fā)明涉及社交技術(shù)領(lǐng)域，特別是涉及一種用戶生成內(nèi)容處理方法和裝置。

背景技術(shù)：

社交應(yīng)用是目前廣泛應(yīng)用的一種應(yīng)用程序?；谏缃粦?yīng)用，用戶之間能夠建立基于社交網(wǎng)絡(luò)的社交關(guān)系，從而基于社交關(guān)系進行交互，如發(fā)送即時消息、語音通話、視頻通話以及在線會議等，為人們的生活和工作提供了極大便利。目前，社交應(yīng)用能夠展示用戶生成內(nèi)容(ugc，usergeneratedcontent)。

目前，用戶之間在建立社交關(guān)系后，才能夠找到對方的個人主頁，或者彼此出現(xiàn)在對方的好友共享頁面，彼此的用戶生成內(nèi)容將展示在個人主頁或者好友共享頁面，因此目前用戶生成內(nèi)容的展示須依賴于社交關(guān)系，限制了用戶生成內(nèi)容的傳播。

技術(shù)實現(xiàn)要素：

基于此，有必要針對目前用戶生成內(nèi)容的展示須依賴于社交關(guān)系，限制了用戶生成內(nèi)容的傳播的問題，提供一種用戶生成內(nèi)容處理方法和裝置。

一種用戶生成內(nèi)容處理方法，包括：

從現(xiàn)實世界采集圖像幀；

將采集的圖像幀按照采集的時序逐幀播放；

從采集的圖像幀中選取圖像幀；

獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容；

獲取所述用戶生成內(nèi)容在所述匹配的模板圖像中的展示位置；

按照所述展示位置，在播放的圖像幀中渲染所述用戶生成內(nèi)容。

一種用戶生成內(nèi)容處理裝置，包括：

采集模塊，用于從現(xiàn)實世界采集圖像幀；

播放模塊，用于將采集的圖像幀按照采集的時序逐幀播放；

選取模塊，用于從采集的圖像幀中選取圖像幀；

數(shù)據(jù)獲取模塊，用于獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容；獲取所述用戶生成內(nèi)容在所述匹配的模板圖像中的展示位置；

渲染模塊，用于按照所述展示位置，在播放的圖像幀中渲染所述用戶生成內(nèi)容。

上述用戶生成內(nèi)容處理方法和裝置，從現(xiàn)實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容，并進行展示。能夠通過現(xiàn)實世界中拍攝的圖像幀定位到用戶生成內(nèi)容并展示，可以不必依賴社交關(guān)系，擴展了用戶生成內(nèi)容的傳播方式。而且，按照用戶生成內(nèi)容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內(nèi)容，將虛擬世界中的用戶生成內(nèi)容與播放的視頻幀所反映的現(xiàn)實世界融合，提供了用戶生成內(nèi)容的新互動方式。

附圖說明

圖1為一個實施例中用戶生成內(nèi)容處理方法的應(yīng)用環(huán)境圖；

圖2為一個實施例中移動終端的內(nèi)部結(jié)構(gòu)示意圖；

圖3為一個實施例中用戶生成內(nèi)容處理方法的流程示意圖；

圖4為一個具體應(yīng)用場景中用戶生成內(nèi)容處理方法的流程示意圖；

圖5為一個實施例中社交應(yīng)用的主頁面的示意圖；

圖6為一個實施例中在主頁面中展示工具菜單的示意圖；

圖7為一個實施例中通過功能入口進入的虛擬世界頁面和現(xiàn)實世界物體的對比圖；

圖8為一個實施例中展示內(nèi)容創(chuàng)建者頭像列表的虛擬世界頁面和現(xiàn)實世界物體的對比圖；

圖9為一個實施例中具有評論頁面的虛擬世界頁面和現(xiàn)實世界物體的對比圖；

圖10為一個實施例中具有內(nèi)容創(chuàng)建入口的虛擬世界頁面和現(xiàn)實世界物體的對比圖；

圖11為一個實施例中具有圖片編輯頁面的虛擬世界頁面和現(xiàn)實世界物體的對比圖；

圖12為一個實施例中用戶生成內(nèi)容處理裝置的結(jié)構(gòu)框圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為一個實施例中用戶生成內(nèi)容處理方法的應(yīng)用環(huán)境圖。參照圖1，該應(yīng)用環(huán)境包括移動終端110和服務(wù)器120，移動終端110能夠通過網(wǎng)絡(luò)與服務(wù)器120連接通信。其中，移動終端110可用于從現(xiàn)實世界采集圖像幀；將采集的圖像幀按照采集的時序逐幀播放；從采集的圖像幀中選取圖像幀；從服務(wù)器120拉取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容，以及用戶生成內(nèi)容在匹配的模板圖像中的展示位置；按照展示位置，在播放的圖像幀中渲染用戶生成內(nèi)容。服務(wù)器120可用于存儲模板圖像、用戶生成內(nèi)容以及用戶生成內(nèi)容在匹配的模板圖像中的展示位置之間的對應(yīng)關(guān)系。

圖2為一個實施例中移動終端110的內(nèi)部結(jié)構(gòu)示意圖。參照圖2，該移動終端110包括通過系統(tǒng)總線連接的處理器、非易失性存儲介質(zhì)、內(nèi)存儲器、網(wǎng)絡(luò)接口、顯示屏、攝像頭和輸入裝置。其中，移動終端110的非易失性存儲介質(zhì)存儲有操作系統(tǒng)，還存儲有一種用戶生成內(nèi)容處理裝置，該用戶生成內(nèi)容處理裝置用于實現(xiàn)一種用戶生成內(nèi)容處理方法。移動終端110的處理器用于提供計算和控制能力，支撐整個移動終端110的運行。移動終端110中的內(nèi)存儲器為非易失性存儲介質(zhì)中的用戶生成內(nèi)容處理裝置的運行提供環(huán)境。該內(nèi)存儲器中可存儲有計算機可讀指令，該計算機可讀指令被處理器執(zhí)行時，可使得處理器執(zhí)行一種用戶生成內(nèi)容處理方法。移動終端110的網(wǎng)絡(luò)接口用于與服務(wù)器120進行網(wǎng)絡(luò)通信，如上傳圖像幀、上傳創(chuàng)建的用戶生成內(nèi)容或者拉取用戶生成內(nèi)容等。移動終端110的攝像頭用于采集圖像幀。移動終端110的顯示屏可以是液晶顯示屏或者電子墨水顯示屏，移動終端110的輸入裝置可以是顯示屏上覆蓋的觸摸層，也可以是移動終端110外殼上設(shè)置的按鍵、軌跡球或觸控板，還可以是外接的鍵盤、觸控板或鼠標(biāo)等。該移動終端110包括手機、平板電腦、個人數(shù)字助理和穿戴式設(shè)備等中的一種或幾種的組合。本領(lǐng)域技術(shù)人員可以理解，圖2中示出的結(jié)構(gòu)，僅僅是與本申請方案相關(guān)的部分結(jié)構(gòu)的框圖，并不構(gòu)成對本申請方案所應(yīng)用于其上的終端110的限定，具體的終端110可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。

如圖3所示，在一個實施例中，提供了一種用戶生成內(nèi)容處理方法。本實施例主要以該方法應(yīng)用于上述圖1和圖2中的移動終端110來舉例說明。參照圖3，該用戶生成內(nèi)容處理方法具體包括如下步驟：

s302，從現(xiàn)實世界采集圖像幀。

其中，現(xiàn)實世界是自然存在的世界，也是人類所處的世界。圖像幀是能夠形成動態(tài)畫面的圖像幀序列中的單元，用來記錄某時刻現(xiàn)實世界中的物體。

在一個實施例中，移動終端具體可按照固定或動態(tài)的幀率，從現(xiàn)實世界采集圖像幀。其中，固定或動態(tài)的幀率能夠使圖像幀按照該固定或動態(tài)的幀率播放時形成連續(xù)的動態(tài)畫面。

在一個實施例中，移動終端可通過攝像頭，在攝像頭當(dāng)前的視野下，采集現(xiàn)實世界的圖像幀。其中，攝像頭的視野可因移動終端的姿態(tài)和位置的變化而變化。

在一個實施例中，移動終端可通過社交應(yīng)用，提供ar(augmentedreality，增強現(xiàn)實)拍攝模式，并在選定該ar拍攝模式后，從現(xiàn)實世界采集圖像幀。其中，社交應(yīng)用是能夠基于社交網(wǎng)絡(luò)進行網(wǎng)絡(luò)社交互動的應(yīng)用。社交應(yīng)用包括即時通信應(yīng)用、sns(socialnetworkservice，社交網(wǎng)站)應(yīng)用、直播應(yīng)用或者拍照應(yīng)用等。

s304，將采集的圖像幀按照采集的時序逐幀播放。

其中，采集的時序是指采集圖像幀時的時間順序，可通過圖像幀在采集時記錄的時間戳的大小關(guān)系來表示。逐幀播放是指逐圖像幀播放。

移動終端具體可按照采集圖像幀的幀率，按照時間戳升序，逐個播放采集的圖像幀。移動終端可以將采集的圖像幀直接播放，也可以將采集的圖像幀按照采集的時序存入緩存區(qū)，并按采集的時序從緩存區(qū)取出圖像幀播放。

s306，從采集的圖像幀中選取圖像幀。

其中，選取的圖像幀，可以是采集的圖像幀中的關(guān)鍵幀。

在一個實施例中，移動終端可接收用戶選擇指令，根據(jù)該用戶選擇指令，從采集的圖像幀中選取圖像幀。

在一個實施例中，移動終端可在播放的圖像幀符合畫面穩(wěn)定條件時，從采集的圖像幀中選取當(dāng)前采集或當(dāng)前正播放的圖像幀。畫面穩(wěn)定條件可以是播放的圖像幀在預(yù)設(shè)時長內(nèi)的差異在設(shè)定的范圍內(nèi)。

s308，獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容。

其中，用戶生成內(nèi)容是指由用戶產(chǎn)生的內(nèi)容。用戶生成內(nèi)容可以包括文本、圖片、音頻或者視頻中的至少一種。用戶生成內(nèi)容可以是用戶發(fā)表的內(nèi)容，也可以是用戶對發(fā)表的內(nèi)容的評論內(nèi)容，還可以是用戶對評論內(nèi)容的回復(fù)內(nèi)容。

模板圖像與用戶生成內(nèi)容關(guān)聯(lián)，用于標(biāo)記用戶生成內(nèi)容。通過模板圖像可以定位到相關(guān)聯(lián)的用戶生成內(nèi)容。一個模板圖像可以關(guān)聯(lián)一個或多個用戶生成內(nèi)容。一個模板圖像可以關(guān)聯(lián)一個或多個用戶所發(fā)表的用戶生成內(nèi)容。發(fā)表用戶生成內(nèi)容的用戶可以稱為內(nèi)容創(chuàng)建者。

在一個實施例中，在判斷選取的圖像幀和模板圖像是否匹配，具體可先計算選取的圖像幀和模板圖像之間的相似度，進而判斷該相似度是否大于等于預(yù)設(shè)相似度；若是，則匹配；若否，則不匹配。

計算選取的圖像幀和模板圖像之間的相似度時，可先提取選取的圖像幀和模板圖像各自的特征，從而計算兩特征之間的差異，特征之間的差異越大則相似度越低，特征之間的差異越小則相似度越高。具體可通過經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型來提取特征，具體可以提取顏色特征、紋理特征和形狀特征中的一種或幾種的組合。相似度可采用余弦相似度或者圖像間各自感知哈希值的漢明距離。

在一個實施例中，移動終端可先從本地緩存區(qū)查詢與選取的圖像幀匹配的模板圖像，當(dāng)查詢到匹配的模板圖像時，再從本地緩存區(qū)或服務(wù)器拉取該模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容。當(dāng)本地緩存區(qū)中未查詢到匹配的模板圖像時，移動終端可進一步從服務(wù)器查詢與選取的圖像幀匹配的模板圖像，當(dāng)本地緩存區(qū)中查詢到匹配的模板圖像時，移動終端可從服務(wù)器拉取該模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容。移動終端從服務(wù)器查詢到匹配的模板圖像后，可將匹配的模板圖像存儲在本地緩存區(qū)。

在一個實施例中，移動終端可獲取用戶生成內(nèi)容，該用戶生成內(nèi)容所關(guān)聯(lián)的模板圖像與選取的圖像幀匹配，該模板圖像對應(yīng)的地理位置與當(dāng)前地理位置滿足相近條件。相近條件是量化的表示兩個地理位置接近的條件，相近條件如地理位置之間的距離小于或等于預(yù)設(shè)值。本實施例中，結(jié)合地理位置，可以進行更加準(zhǔn)確的匹配。

s310，獲取用戶生成內(nèi)容在匹配的模板圖像中的展示位置。

其中，用戶生成內(nèi)容在匹配的模板圖像中的展示位置，該展示位置表示用戶生成內(nèi)容在模板圖像中所占的區(qū)域。展示位置可以由用戶生成內(nèi)容在模板圖像中所占的區(qū)域在模板圖像的坐標(biāo)系中的坐標(biāo)表示。

在一個實施例中，移動終端可在獲取用戶生成內(nèi)容時，一并獲取該用戶生成內(nèi)容的展示位置。移動終端具體可從本地緩存區(qū)或者服務(wù)器獲取該展示位置。

s312，按照展示位置，在播放的圖像幀中渲染用戶生成內(nèi)容。

具體地，移動終端可在當(dāng)前播放的圖像幀中，在獲取的展示位置處渲染用戶生成內(nèi)容。移動終端可獲取用戶生成內(nèi)容對應(yīng)的樣式數(shù)據(jù)，從而按照該樣式數(shù)據(jù)和獲取的展示位置，在播放的圖像幀中渲染用戶生成內(nèi)容。

在一個實施例中，展示位置可以是用戶生成內(nèi)容相對于模板圖像中物體區(qū)域的位置；移動終端可在播放的圖像幀中追蹤板圖像中的物體區(qū)域，從而按照該展示位置和追蹤到的物體區(qū)域，確定當(dāng)前播放的圖像幀中用戶生成內(nèi)容相對于追蹤到的物體區(qū)域的位置，從而按照確定的位置渲染用戶生成內(nèi)容。

其中，物體區(qū)域是圖像中可表示現(xiàn)實世界物體的區(qū)域，該物體可以是生物或者非生物，生物如人體、動物體或者植物體，非生物如建筑物、工業(yè)產(chǎn)品或者自然景觀。

上述用戶生成內(nèi)容處理方法，從現(xiàn)實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容，并進行展示。能夠通過現(xiàn)實世界中拍攝的圖像幀定位到用戶生成內(nèi)容并展示，可以不必依賴社交關(guān)系，擴展了用戶生成內(nèi)容的傳播方式。而且，按照用戶生成內(nèi)容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內(nèi)容，將虛擬世界中的用戶生成內(nèi)容與播放的視頻幀所反映的現(xiàn)實世界融合，提供了用戶生成內(nèi)容的新互動方式。

在一個實施例中，在步驟s306之后，該用戶生成內(nèi)容處理方法還包括：判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征；當(dāng)選取的圖像幀的特征符合模板圖像特征時，執(zhí)行步驟s308；當(dāng)選取的圖像幀的特征不符合模板圖像特征時，返回至步驟s306。

其中，預(yù)設(shè)的模板圖像特征，是預(yù)先設(shè)置的作為模板圖像的圖像應(yīng)當(dāng)具備的特征。模板圖像可具備良好的區(qū)分性，避免不同的模板圖像關(guān)聯(lián)的用戶生成內(nèi)容相混淆。

在一個實施例中，判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征包括：提取選取的圖像幀的特征點，判斷提取的特征點的數(shù)量是否達到預(yù)設(shè)的模板圖像特征點數(shù)量閾值。本實施例中，預(yù)設(shè)的模板圖像特征為特征點的數(shù)量達到預(yù)設(shè)的模板圖像特征點數(shù)量閾值。

其中特征點是選取的圖像幀中具有鮮明特性并能夠有效反映圖像本質(zhì)特征的點，該特征點具有標(biāo)識圖像幀中的物體的能力。模板圖像特征點數(shù)量閾值可根據(jù)需要設(shè)置。模板圖像特征點數(shù)量閾值越高，能夠作為模板圖像的圖像幀的區(qū)分性越好。

在一個實施例中，判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征包括：獲取選取的圖像幀的分辨率，判斷分辨率是否達到預(yù)設(shè)的模板圖像分辨率閾值。本實施例中，預(yù)設(shè)的模板圖像特征為分辨率達到預(yù)設(shè)的模板圖像分辨率閾值。

其中，選取的圖像幀的分辨率，表示圖像幀的寬度和高度，預(yù)設(shè)的模板圖像分辨率閾值包括預(yù)設(shè)的模板圖像寬度和模板圖像高度。移動終端具體可獲取選取的圖像幀的寬度和高度，判斷獲取的寬度和高度是否均分別達到了預(yù)設(shè)的模板圖像寬度和模板圖像高度。

在一個實施例中，判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征包括：獲取選取的圖像幀的清晰度，判斷清晰度是否達到預(yù)設(shè)的模板圖像清晰度閾值。本實施例中，預(yù)設(shè)的模板圖像特征為清晰度達到預(yù)設(shè)的模板圖像清晰度閾值。

其中，清晰度與分辨率不同，是指相應(yīng)圖像幀上各細部影紋及其邊界的清晰程度。移動終端可將選取的圖像幀轉(zhuǎn)化為灰度圖像，檢測灰度圖像中的邊緣，從而判斷邊緣處的灰度變化率，根據(jù)灰度變化率確定清晰度。邊緣處灰度變化越快，表示清晰度越高；邊緣處灰度變化越慢，表示清晰度越低。

在一個實施例中，判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征包括：獲取選取的圖像幀中的物體區(qū)域占選取的圖像幀的占比，判斷占比是否達到預(yù)設(shè)的模板圖像物體占比。本實施例中，預(yù)設(shè)的模板圖像特征為物體區(qū)域占選取的圖像幀的占比達到預(yù)設(shè)的模板圖像物體占比。

具體地，移動終端可檢測選取的圖像幀的邊緣，將由檢測到的邊緣構(gòu)成的面積達到預(yù)設(shè)面積的封閉區(qū)域作為物體區(qū)域，判斷物體區(qū)域的面積占選取的圖像幀的總面積的占比是否達到預(yù)設(shè)的模板圖像物體占比。圖像或區(qū)域的面積，可由該圖像或區(qū)域所含像素點的數(shù)量表示。

上述各個實施例中判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征的條件可自由組合；當(dāng)組合的條件均滿足時，判定符合預(yù)設(shè)的模板圖像特征；當(dāng)組合的條件至少一個不滿足時，判定不符合預(yù)設(shè)的模板圖像特征。

上述實施例中，當(dāng)選取的圖像幀的特征符合模板圖像特征時，獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容，可以直接過濾掉難以匹配到模板圖像的圖像幀，提高處理效率。

在一個實施例中，步驟s308包括：將選取的圖像幀上傳至服務(wù)器；接收服務(wù)器反饋的表示查詢到與上傳的圖像幀匹配的模板圖像的第一通知；根據(jù)第一通知，獲取與模板圖像關(guān)聯(lián)的用戶生成內(nèi)容。

其中，第一通知和下述的第二通知都是通知，第一和第二的描述用于區(qū)分不同的通知。通知可以是獨立的消息，也可以是混合了多種類型信息的消息。

具體地，移動終端將選取的圖像幀上傳至服務(wù)器，由服務(wù)器查詢與上傳的圖像幀匹配的模板圖像。當(dāng)查詢到該模板圖像時，服務(wù)器向移動終端返回第一通知，該第一通知表示查詢到與上傳的圖像幀匹配的模板圖像。

在一個實施例中，移動終端可將本地登陸所用的用戶賬號和選取的圖像幀上傳至服務(wù)器，接收服務(wù)器反饋的第一通知，該第一通知表示查詢到與上傳的圖像幀匹配的模板圖像，且該模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容對上傳的用戶賬號開放了訪問權(quán)限。移動終端可進一步根據(jù)第一通知，獲取與模板圖像關(guān)聯(lián)的、對上傳的用戶賬號開放了訪問權(quán)限的用戶生成內(nèi)容。

其中，訪問權(quán)限可在用戶生成內(nèi)容創(chuàng)建時設(shè)置。比如，若內(nèi)容創(chuàng)建者在創(chuàng)建用戶生成內(nèi)容時，設(shè)置了僅對好友可見的訪問權(quán)限，則當(dāng)上傳的用戶賬號與創(chuàng)建者的用戶賬號存在好友關(guān)系時，上傳的用戶賬號對該用戶生成內(nèi)容具有訪問權(quán)限。若內(nèi)容創(chuàng)建者在創(chuàng)建用戶生成內(nèi)容時，設(shè)置了對所有人可見的訪問權(quán)限，則任意合法的用戶賬號對該用戶生成內(nèi)容具有訪問權(quán)限。

移動終端可根據(jù)第一通知，獲取匹配的模板圖像，并將該模板圖像緩存到本地的緩存區(qū)。移動終端還可以獲取與用戶生成內(nèi)容相關(guān)的用戶信息，該用戶信息比如用戶賬號、用戶頭像或者用戶昵稱等。

在一個實施例中，移動終端可直接從第一通知中獲取與模板圖像關(guān)聯(lián)的用戶生成內(nèi)容，還可以從第一通知中獲取模板圖像和/或與用戶生成內(nèi)容相關(guān)的用戶信息。

在一個實施例中，移動終端可從第一通知獲取匹配的模板圖像的圖像編號，從而向服務(wù)器發(fā)送攜帶該圖像編號的查詢請求，從而接收由服務(wù)器查詢到并反饋的與該圖像編號關(guān)聯(lián)的用戶生成內(nèi)容。移動終端還可以從服務(wù)器查詢與該圖像編號對應(yīng)的模板圖像和/或用戶信息。

上述實施例中，服務(wù)器實現(xiàn)對上傳的圖像幀和模板圖像的匹配，這樣基于服務(wù)器，各個用戶都可以針對現(xiàn)實世界中相同或相似的場景進行基于用戶生成內(nèi)容的交互，實現(xiàn)了基于現(xiàn)實世界、虛擬世界和社交網(wǎng)絡(luò)的社交互動。

在一個實施例中，步驟s308包括：將選取的圖像幀上傳至服務(wù)器；接收服務(wù)器反饋的表示未查詢到與上傳的圖像幀匹配的模板圖像的第二通知；根據(jù)第二通知展示內(nèi)容創(chuàng)建入口；根據(jù)對內(nèi)容創(chuàng)建入口的操作創(chuàng)建用戶生成內(nèi)容；將創(chuàng)建的用戶生成內(nèi)容上傳至服務(wù)器，使得服務(wù)器將上傳的用戶生成內(nèi)容與由上傳的圖像幀注冊而成的模板圖像關(guān)聯(lián)存儲。

其中，未查詢到與上傳的圖像幀匹配的模板圖像，可以是服務(wù)器上不存在與上傳的圖像幀匹配的模板圖像；或者可以是雖然服務(wù)器上存在與上傳的圖像幀匹配的模板圖像，但該模板圖像對應(yīng)的用戶生成內(nèi)容均未對觸發(fā)圖像幀上傳的用戶賬號開放訪問權(quán)限。

內(nèi)容創(chuàng)建入口用于觸發(fā)創(chuàng)建用戶生成內(nèi)容。內(nèi)容創(chuàng)建入口可以是可視的能夠觸發(fā)事件的控件，如圖標(biāo)或者按鈕。內(nèi)容創(chuàng)建入口具體可以是觸發(fā)創(chuàng)建全新用戶生成內(nèi)容的入口。其中全新用戶生成內(nèi)容是指與已有的用戶生成內(nèi)容在內(nèi)容上相獨立的用戶生成內(nèi)容。內(nèi)容創(chuàng)建入口也可以是觸發(fā)創(chuàng)建與已有的用戶生成內(nèi)容關(guān)聯(lián)的用戶生成內(nèi)容的入口。其中，與已有的用戶生成內(nèi)容關(guān)聯(lián)的用戶生成內(nèi)容比如評論內(nèi)容或者對評論內(nèi)容的回復(fù)內(nèi)容。

具體地，移動終端將選取的圖像幀上傳至服務(wù)器，由服務(wù)器查詢與選取的圖像幀匹配的模板圖像。服務(wù)器在查詢到匹配的模板圖像時，向移動終端反饋第一通知；服務(wù)器在未查詢到匹配的模板圖像時，將上傳的圖像幀注冊為模板圖像，并向移動終端反饋第二通知。移動終端接收到第二通知后，展示內(nèi)容創(chuàng)建入口。

進一步地，移動終端檢測對內(nèi)容創(chuàng)建入口的操作，根據(jù)檢測到的操作獲取用戶輸入的內(nèi)容，從而創(chuàng)建用戶生成內(nèi)容，將該用戶生成內(nèi)容上傳至服務(wù)器，由服務(wù)器將上傳的用戶生成內(nèi)容與由上傳的圖像幀注冊而成的模板圖像關(guān)聯(lián)并存儲。服務(wù)器若在將上傳的圖像幀注冊為模板圖像起的預(yù)設(shè)時長內(nèi)未接收到創(chuàng)建的用戶生成內(nèi)容，或者接收到移動終端反饋的取消注冊請求，則將對上傳的圖像幀的注冊取消。

上述實施例中，針對現(xiàn)實世界的某一場景，當(dāng)還未存在相關(guān)聯(lián)的用戶生成內(nèi)容時，可以創(chuàng)建與該場景關(guān)聯(lián)的用戶生成內(nèi)容，下次就能夠以本次上傳的圖像幀作為模板圖像進行匹配，不斷豐富用戶生成內(nèi)容，為用戶提供基于現(xiàn)實世界和虛擬世界的更加便利的互動方式。

在一個實施例中，在步驟s312之前，該用戶生成內(nèi)容處理方法還包括：獲取在創(chuàng)建用戶生成內(nèi)容時配置的立體旋轉(zhuǎn)參數(shù)。步驟s312包括：按照展示位置，在播放的圖像幀中渲染按照立體旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)后的用戶生成內(nèi)容。

其中，立體旋轉(zhuǎn)參數(shù)是指將用戶生成內(nèi)容在虛擬世界的立體坐標(biāo)系中旋轉(zhuǎn)的參數(shù)。立體旋轉(zhuǎn)參數(shù)比如水平旋轉(zhuǎn)角度和/或垂直旋轉(zhuǎn)角度。其中水平旋轉(zhuǎn)角度是指將用戶生成內(nèi)容沿著虛擬世界的立體坐標(biāo)系中的水平面進行旋轉(zhuǎn)時所旋轉(zhuǎn)的角度。垂直旋轉(zhuǎn)角度則是用戶生成內(nèi)容沿著虛擬世界的立體坐標(biāo)系中的垂直面進行旋轉(zhuǎn)時所旋轉(zhuǎn)的角度。立體旋轉(zhuǎn)參數(shù)可在用戶生成內(nèi)容被創(chuàng)建時一并配置，并對應(yīng)于該用戶生成內(nèi)容存儲。

上述實施例中，用戶可以在創(chuàng)建用戶生成內(nèi)容時配置用戶生成內(nèi)容的立體旋轉(zhuǎn)參數(shù)，從而在播放反映現(xiàn)實世界的圖像幀時，就可以展示按照該立體旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)后的用戶生成內(nèi)容，提供了新的互動方式。

在一個實施例中，步驟s312包括：在播放的圖像幀中追蹤模板圖像中的物體區(qū)域；根據(jù)展示位置和追蹤到的物體區(qū)域確定追蹤渲染位置；在播放的圖像幀中按照追蹤渲染位置渲染用戶生成內(nèi)容。

其中，追蹤是指在連續(xù)播放的圖像幀中定位物體區(qū)域的變化。物體區(qū)域的變化如位置的變化和/或形態(tài)的變化。追蹤渲染位置是指用戶生成內(nèi)容在播放的圖像幀中的實時渲染位置。選取的圖像幀與模板圖像匹配，移動終端可以將模板圖像的圖像區(qū)域作為選取的圖像幀中的物體區(qū)域，進而在播放的圖像幀中追蹤物體區(qū)域。

展示位置可以表示待顯示的用戶生成內(nèi)容在展示時相對于模板圖像中的物體區(qū)域的位置，根據(jù)該展示位置和追蹤到的物體區(qū)域的位置變化，就可以確定用戶生成內(nèi)容的追蹤渲染位置。

進一步地，根據(jù)展示位置和蹤到的物體區(qū)域的形態(tài)變化，便可以確定用戶生成內(nèi)容的追蹤渲染形態(tài)，從而可在播放的圖像幀中，按照追蹤渲染位置和追蹤渲染形態(tài)，渲染用戶生成內(nèi)容。追蹤渲染形態(tài)可以用實時的立體旋轉(zhuǎn)參數(shù)表示。

上述實施例中，在播放的圖像幀中追蹤模板圖像中的物體區(qū)域，從而在播放的圖像幀中根據(jù)追蹤到的物體區(qū)域?qū)τ脩羯蓛?nèi)容進行追蹤渲染，實現(xiàn)了虛擬世界中的用戶生成內(nèi)容和現(xiàn)實世界中物體的強關(guān)聯(lián)，實現(xiàn)了虛擬世界和現(xiàn)實世界之間基于用戶生成內(nèi)容的全新互動方式。

在一個實施例中，移動終端可在播放的圖像幀中追蹤模板圖像中的物體區(qū)域；檢測追蹤到的物體區(qū)域相對于模板圖像中的物體區(qū)域的形態(tài)變化；根據(jù)形態(tài)變化確定表示觀察方向的參數(shù)；根據(jù)展示位置，在播放的圖像幀中渲染按照表示觀察方向的參數(shù)變形后的用戶生成內(nèi)容。

本實施例中，當(dāng)對現(xiàn)實世界中的物體的觀察方向發(fā)生變化時，通過檢測追蹤到的物體區(qū)域相對于模板圖像中的物體區(qū)域的形態(tài)變化，可以確定表示該觀察方向的參數(shù)。按照該參數(shù)對用戶生成內(nèi)容進行變形，使得變形后的用戶生成內(nèi)容可以表示出觀察方向的變化，實現(xiàn)了虛擬世界中的用戶生成內(nèi)容和現(xiàn)實世界中物體的強關(guān)聯(lián)，實現(xiàn)了虛擬世界和現(xiàn)實世界之間基于用戶生成內(nèi)容的全新互動方式。

在一個實施例中，步驟s308包括：獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的多個內(nèi)容創(chuàng)建者信息及相對應(yīng)的用戶生成內(nèi)容。步驟s312包括：展示多個內(nèi)容創(chuàng)建者信息；選中多個內(nèi)容創(chuàng)建者信息中的一個；按照選中的一個內(nèi)容創(chuàng)建者信息相對應(yīng)的展示位置，在播放的圖像幀中渲染相對應(yīng)的用戶生成內(nèi)容。

其中，內(nèi)容創(chuàng)建者信息是指用戶生成內(nèi)容的內(nèi)容創(chuàng)建者的身份信息，可以是相應(yīng)內(nèi)容創(chuàng)建者的用戶頭像、用戶昵稱或者用戶賬號等。同一個模板圖像可以關(guān)聯(lián)多于一個的用戶生成內(nèi)容，每個用戶生成內(nèi)容對應(yīng)一個內(nèi)容創(chuàng)建者信息，于是一個用戶生成內(nèi)容可以關(guān)聯(lián)多個內(nèi)容創(chuàng)建者信息。

多個內(nèi)容創(chuàng)建者信息的數(shù)量取決于同一個模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容的內(nèi)容創(chuàng)建者的數(shù)量。每個內(nèi)容創(chuàng)建者信息對應(yīng)一個用戶生成內(nèi)容，每個用戶生成內(nèi)容對應(yīng)一個展示位置，移動終端可按照選中的用戶生成內(nèi)容對應(yīng)的展示位置，在播放的圖像幀中渲染相對應(yīng)的用戶生成內(nèi)容。

上述實施例中，一個模板圖像可以關(guān)聯(lián)多個內(nèi)容創(chuàng)建者所創(chuàng)建的用戶生成內(nèi)容，擴充了現(xiàn)實世界中的物體所能夠關(guān)聯(lián)的用戶生成內(nèi)容的數(shù)量；用戶可以在多個內(nèi)容創(chuàng)建者所創(chuàng)建的用戶生成內(nèi)容之間切換，擴展了用于基于虛擬世界和現(xiàn)實世界進行交互的維度。

參照圖4，下面用一個具體應(yīng)用場景來說明上述用戶生成內(nèi)容處理方法的原理。用戶可進入社交應(yīng)用，社交應(yīng)用展示如圖5所示的主頁面。用戶可以點擊主頁面中的工具菜單觸發(fā)按鈕502，使得社交應(yīng)用在如圖6所示的主頁面中展示工具菜單601，工具菜單601包括功能入口602。用戶點擊功能入口602，使得社交應(yīng)用開始從現(xiàn)實世界采集圖像幀，并將采集的圖像幀按照采集的時序逐幀播放，參照圖7左，移動終端形成反映現(xiàn)實世界的實時動態(tài)畫面。

移動終端在播放圖像幀時，若圖像幀在預(yù)設(shè)時長內(nèi)基本未發(fā)生變化，則選取當(dāng)前播放的圖像幀，判斷選取的圖像幀是否符合預(yù)設(shè)的模板圖像特征。當(dāng)選取的圖像幀不符合模板圖像特征時，提示用戶未識別到物體，繼續(xù)采集并播放圖像幀。當(dāng)選取的圖像幀符合模板圖像特征時，移動終端進一步判斷本地是否緩存有與選取的圖像幀匹配的模板圖像。

當(dāng)本地緩存有與選取的圖像幀匹配的模板圖像時，移動終端拉取與該模板圖像關(guān)聯(lián)的由多個內(nèi)容創(chuàng)建者各自創(chuàng)建的用戶生成內(nèi)容、相應(yīng)的內(nèi)容創(chuàng)建者頭像以及相應(yīng)的展示位置，從而如圖8左所示，在當(dāng)前播放的視頻幀上，展示內(nèi)容創(chuàng)建者頭像列表801。用戶選中內(nèi)容創(chuàng)建者頭像列表中的一個內(nèi)容創(chuàng)建者頭像801a，使得社交應(yīng)用按照與該選中的內(nèi)容創(chuàng)建者頭像相應(yīng)的展示位置，展示相應(yīng)的用戶生成內(nèi)容802和803。

如果模板圖像配置了立體旋轉(zhuǎn)角度，則移動終端會按照該立體旋轉(zhuǎn)角度將用戶生成內(nèi)容802和803按照該立體旋轉(zhuǎn)角度變形后展示。當(dāng)物體區(qū)域(如酒杯和水杯)在播放的圖像幀中變化時，用戶生成內(nèi)容802和803會跟著變化。當(dāng)物體區(qū)域的觀察角度變化時，用戶生成內(nèi)容802和803也會進行相應(yīng)的旋轉(zhuǎn)。

用戶可以在如圖8左所示的頁面中進行向上滑動的操作，進入對于當(dāng)前所展示的用戶生成內(nèi)容的評論頁面，如圖9所示，用戶可在該評論頁面中添加評論內(nèi)容或者評論回復(fù)內(nèi)容。

當(dāng)本地未緩存與選取的圖像幀匹配的模板圖像時，移動終端將選取的圖像幀上傳至服務(wù)器，由服務(wù)器為上傳的圖像幀匹配模板圖像。若服務(wù)器查詢到匹配的模板圖像，移動終端可拉取與該模板圖像關(guān)聯(lián)的由多個內(nèi)容創(chuàng)建者各自創(chuàng)建的用戶生成內(nèi)容、相應(yīng)的內(nèi)容創(chuàng)建者頭像以及相應(yīng)的展示位置，從而如圖8左所示，在當(dāng)前播放的視頻幀上，展示內(nèi)容創(chuàng)建者頭像列表801。用戶選中內(nèi)容創(chuàng)建者頭像列表中的一個內(nèi)容創(chuàng)建者頭像801a，使得社交應(yīng)用按照與該選中的內(nèi)容創(chuàng)建者頭像相應(yīng)的展示位置，展示相應(yīng)的用戶生成內(nèi)容802和803。

若服務(wù)器未查詢到匹配的模板圖像，移動終端可展示如圖10所示的內(nèi)容創(chuàng)建入口1001，用戶點擊內(nèi)容創(chuàng)建入口1001后，用戶可選擇圖片和/或輸入文字，還可以在如圖11所示的圖片編輯頁面中對圖片進行編輯，如進行立體旋轉(zhuǎn)，還可以設(shè)定是否僅對好友可見的訪問權(quán)限，確認后創(chuàng)建用戶生成內(nèi)容，并將用戶生成內(nèi)容上傳至服務(wù)器，由服務(wù)器將上傳的用戶生成內(nèi)容與由上傳的圖像幀注冊而成的模板圖像關(guān)聯(lián)存儲。如果上傳用戶生成內(nèi)容失敗，則社交應(yīng)用將提示出錯，并進入用于重新上傳用戶生成內(nèi)容的發(fā)件箱。

圖12為一個實施例中用戶生成內(nèi)容處理裝置1200的結(jié)構(gòu)框圖。參照圖12，該用戶生成內(nèi)容處理裝置1200包括：采集模塊1201、播放模塊1202、選取模塊1203、數(shù)據(jù)獲取模塊1204和渲染模塊1205。

采集模塊1201，用于從現(xiàn)實世界采集圖像幀。

播放模塊1202，用于將采集的圖像幀按照采集的時序逐幀播放。

選取模塊1203，用于從采集的圖像幀中選取圖像幀。

數(shù)據(jù)獲取模塊1204，用于獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容；獲取用戶生成內(nèi)容在匹配的模板圖像中的展示位置。

渲染模塊1205，用于按照展示位置，在播放的圖像幀中渲染用戶生成內(nèi)容。

在一個實施例中，選取模塊1203還用于判斷選取的圖像幀的特征是否符合預(yù)設(shè)的模板圖像特征；當(dāng)選取的圖像幀的特征符合模板圖像特征時，通知獲取模塊，使獲取模塊工作；當(dāng)選取的圖像幀的特征不符合模板圖像特征時，繼續(xù)從采集的圖像幀中選取圖像幀。

在一個實施例中，數(shù)據(jù)獲取模塊1204還用于將選取的圖像幀上傳至服務(wù)器；接收服務(wù)器反饋的表示查詢到與上傳的圖像幀匹配的模板圖像的第一通知；根據(jù)第一通知，獲取與模板圖像關(guān)聯(lián)的用戶生成內(nèi)容。

在一個實施例中，數(shù)據(jù)獲取模塊1204還用于將選取的圖像幀上傳至服務(wù)器；接收服務(wù)器反饋的表示未查詢到與上傳的圖像幀匹配的模板圖像的第二通知；根據(jù)第二通知展示內(nèi)容創(chuàng)建入口；根據(jù)對內(nèi)容創(chuàng)建入口的操作創(chuàng)建用戶生成內(nèi)容；將創(chuàng)建的用戶生成內(nèi)容上傳至服務(wù)器，使得服務(wù)器將上傳的用戶生成內(nèi)容與由上傳的圖像幀注冊而成的模板圖像關(guān)聯(lián)存儲。

在一個實施例中，數(shù)據(jù)獲取模塊1204還用于獲取在創(chuàng)建用戶生成內(nèi)容時配置的立體旋轉(zhuǎn)參數(shù)。渲染模塊1205還用于按照展示位置，在播放的圖像幀中渲染按照立體旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)后的用戶生成內(nèi)容。

在一個實施例中，渲染模塊1205還用于在播放的圖像幀中追蹤模板圖像中的物體區(qū)域；檢測追蹤到的物體區(qū)域相對于模板圖像中的物體區(qū)域的形態(tài)變化；根據(jù)形態(tài)變化確定表示觀察方向的參數(shù)；根據(jù)展示位置，在播放的圖像幀中渲染按照表示觀察方向的參數(shù)變形后的用戶生成內(nèi)容。

在一個實施例中，數(shù)據(jù)獲取模塊1204還用于獲取與選取的圖像幀匹配的模板圖像所關(guān)聯(lián)的多個內(nèi)容創(chuàng)建者信息及相對應(yīng)的用戶生成內(nèi)容。渲染模塊1205還用于展示多個內(nèi)容創(chuàng)建者信息；選中多個內(nèi)容創(chuàng)建者信息中的一個；按照選中的一個內(nèi)容創(chuàng)建者信息相對應(yīng)的展示位置，在播放的圖像幀中渲染相對應(yīng)的用戶生成內(nèi)容。

上述用戶生成內(nèi)容處理裝置1200，從現(xiàn)實世界采集圖像幀并按照采集的時序播放，通過從采集的圖像幀中選取的圖像幀，就能夠確定該圖像幀所匹配的模板圖像所關(guān)聯(lián)的用戶生成內(nèi)容，并進行展示。能夠通過現(xiàn)實世界中拍攝的圖像幀定位到用戶生成內(nèi)容并展示，可以不必依賴社交關(guān)系，擴展了用戶生成內(nèi)容的傳播方式。而且，按照用戶生成內(nèi)容在匹配的模板圖像中的展示位置，在播放的圖像幀中追蹤渲染用戶生成內(nèi)容，將虛擬世界中的用戶生成內(nèi)容與播放的視頻幀所反映的現(xiàn)實世界融合，提供了用戶生成內(nèi)容的新互動方式。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，該計算機程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，前述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(read-onlymemory，rom)等非易失性存儲介質(zhì)，或隨機存儲記憶體(randomaccessmemory，ram)等。

以上實施例的各技術(shù)特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術(shù)特征所有可能的組合都進行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認為是本說明書記載的范圍。

以上實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。