本發(fā)明實施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置和終端設(shè)備。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，直播越來越受大眾的喜愛。主播通過豐富的表演、多樣化的道具以及多樣化的信息來吸引觀眾，滿足觀眾對視頻播放的多樣化需求。

隨著直播過程的多樣化和復(fù)雜化，主播可以通過配置較高的終端設(shè)備來實現(xiàn)直播的正常運行，觀看直播的用戶的終端設(shè)備的配置往往遠低于主播端的配置，這就使得用戶端在播放直播時因硬件配置較低，而不能有效處理直播信息和數(shù)據(jù)，達不到理想的觀看效果；而僅僅因為觀看直播更換更高配置的終端設(shè)備，又會造成不必要的開銷。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種數(shù)據(jù)處理技術(shù)方案。

根據(jù)本發(fā)明實施例的第一方面，提供了一種數(shù)據(jù)處理方法，包括：提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，所述視頻圖像包括原始視頻圖像和在所述原始視頻圖像上采用計算機繪圖方式繪制的所述第一素材；根據(jù)所述原始視頻圖像和所述素材屬性信息生成傳輸流；向至少一個第二設(shè)備端發(fā)送所述傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述根據(jù)所述原始視頻圖像和所述素材屬性信息生成傳輸流，包括：按照設(shè)定的視頻編碼格式對所述原始視頻圖像進行編碼，并將編碼后的所述原始視頻圖像和所述第一素材的素材屬性信息生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述按照設(shè)定的視頻編碼格式對所述原始視頻圖像進行編碼，并將編碼后的所述原始視頻圖像和所述第一素材的素材屬性信息生成傳輸流，包括：按照h.264編碼格式對所述原始視頻圖像進行編碼，將所述素材屬性信息攜帶在編碼后的網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述將所述素材屬性信息攜帶在編碼后的網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成傳輸流，包括：將所述素材屬性信息攜帶在所述rbsp的補充增強信息單元sei中生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述傳輸流還攜帶第一設(shè)備端當(dāng)前播放的視頻圖像的視頻屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述向至少一個第二設(shè)備端發(fā)送所述傳輸流，包括：將所述傳輸流轉(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個第二設(shè)備端發(fā)送。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述第一素材包括：業(yè)務(wù)對象，所述視頻圖像包括直播平臺中的視頻圖像?？蛇x地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述業(yè)務(wù)對象包括：包含有語義信息的特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

根據(jù)本發(fā)明實施例的第二方面，提供了一種數(shù)據(jù)處理裝置，包括：提取模塊，用于提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，所述視頻圖像包括原始視頻圖像和在所述原始視頻圖像上采用計算機繪圖方式繪制的所述第一素材；生成模塊，用于根據(jù)所述原始視頻圖像和所述素材屬性信息生成傳輸流；發(fā)送模塊，用于向至少一個第二設(shè)備端發(fā)送所述傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述生成模塊，用于按照設(shè)定的視頻編碼格式對所述原始視頻圖像進行編碼，并將編碼后的所述原始視頻圖像和所述第一素材的素材屬性信息生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述生成模塊，用于按照h.264編碼格式對所述原始視頻圖像進行編碼，將所述素材屬性信息攜帶在編碼后的網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述生成模塊，用于將所述素材屬性信息攜帶在所述rbsp的補充增強信息單元sei中生成傳輸流。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述傳輸流還攜帶第一設(shè)備端當(dāng)前播放的視頻圖像的視頻屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述第一素材包括：業(yè)務(wù)對象，所述視頻圖像包括直播平臺中的視頻圖像。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述業(yè)務(wù)對象包括：包含有語義信息的特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

根據(jù)本發(fā)明實施例的第三方面，提供了一種終端設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述任一項所述數(shù)據(jù)處理方法。

根據(jù)本發(fā)明實施例的第四方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有：用于提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息的可執(zhí)行指令；其中，所述視頻圖像包括原始視頻圖像和在所述原始視頻圖像上采用計算機繪圖方式繪制的所述第一素材，用于根據(jù)所述原始視頻圖像和所述素材屬性信息生成傳輸流的可執(zhí)行指令；用于向至少一個第二設(shè)備端發(fā)送所述傳輸流的可執(zhí)行指令。

本發(fā)明實施例通過提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，所述視頻圖像包括原始視頻圖像和在所述原始視頻圖像上采用計算機繪圖方式繪制的所述第一素材；根據(jù)所述原始視頻圖像和所述素材屬性信息生成傳輸流；向至少一個第二設(shè)備端發(fā)送所述傳輸流。待傳輸?shù)膫鬏斄鲾y帶有第一素材的素材屬性信息，使得在另一端顯示傳輸流時，通過素材屬性信息以確定視頻幀圖像中的第一素材，進而進行相應(yīng)的處理和繪制，有效的減輕了另一端顯示視頻圖像的壓力。

根據(jù)本發(fā)明實施例的第五方面，還提供了一種數(shù)據(jù)處理方法，包括：接收傳輸流，所述傳輸流包括原始視頻圖像和素材屬性信息；確定與素材屬性信息匹配的第二素材；根據(jù)所述素材屬性信息在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述確定與素材屬性信息匹配的第二素材，包括：按照與所述原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對所述傳輸流進行解碼；從解碼后的所述傳輸流中確定原始視頻圖像和素材屬性信息；根據(jù)所述素材屬性信息確定相匹配的第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述按照與所述原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對所述傳輸流進行解碼，包括：當(dāng)所述傳輸流的視頻編碼格式為h.264編碼格式時，按照h.264視頻解碼格式對所述傳輸流進行解碼。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述傳輸流還攜帶所述原始視頻的視頻屬性信息；所述從解碼后的所述傳輸流中確定原始視頻圖像和素材屬性信息，包括：從解碼后的所述傳輸流中確定原始視頻圖像；從網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中確定素材屬性信息；以及，從所述從解碼后的所述傳輸流中確定所述原始視頻的視頻屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述從網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中確定素材屬性信息，包括：從所述rbsp的補充增強信息單元sei中確定素材屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述根據(jù)所述素材屬性信息在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材，包括：根據(jù)所述原始視頻的視頻屬性信息將所述原始視頻圖像在第二設(shè)備端進行顯示；根據(jù)所述素材屬性信息確定第二素材在所述原始視頻圖像中的繪制位置；根據(jù)所述繪制位置在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述第二素材包括：業(yè)務(wù)對象，所述原始視頻圖像包括直播平臺中的視頻圖像。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述業(yè)務(wù)對象包括：包含有語義信息的特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理方法，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

根據(jù)本發(fā)明實施例的第六方面，還提供了一種數(shù)據(jù)處理裝置，包括：接收模塊，用于接收傳輸流，所述傳輸流包括原始視頻圖像和素材屬性信息；確定模塊，用于確定與素材屬性信息匹配的第二素材；繪制模塊，用于根據(jù)所述素材屬性信息在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述確定模塊包括：解碼子模塊，用于按照與所述原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對所述傳輸流進行解碼；信息確定子模塊，用于從解碼后的所述傳輸流中確定原始視頻圖像和素材屬性信息；匹配子模塊，用于根據(jù)所述素材屬性信息確定相匹配的第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述解碼子模塊，用于當(dāng)所述傳輸流的視頻編碼格式為h.264編碼格式時，按照h.264視頻解碼格式對所述傳輸流進行解碼。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述傳輸流還攜帶所述原始視頻的視頻屬性信息；所述解碼子模塊，用于從解碼后的所述傳輸流中確定原始視頻圖像；從網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中確定素材屬性信息；以及，從所述從解碼后的所述傳輸流中確定所述原始視頻的視頻屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述解碼子模塊，用于從所述rbsp的補充增強信息單元sei中確定素材屬性信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述繪制模塊，包括：顯示子模塊，用于根據(jù)所述原始視頻的視頻屬性信息將所述原始視頻圖像在第二設(shè)備端進行顯示；位置確定子模塊，用于根據(jù)所述素材屬性信息確定第二素材在所述原始視頻圖像中的繪制位置；素材繪制子模塊，用于根據(jù)所述繪制位置在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述第二素材包括：業(yè)務(wù)對象，所述原始視頻圖像包括直播平臺中的視頻圖像。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述業(yè)務(wù)對象包括：包含有語義信息的特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種數(shù)據(jù)處理裝置，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

根據(jù)本發(fā)明實施例的第七方面，還提供了一種終端設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述任一項所述數(shù)據(jù)處理方法。

根據(jù)本發(fā)明實施例的第八方面，還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有：用于接收傳輸流的可執(zhí)行指令，所述傳輸流包括原始視頻圖像和素材屬性信息；用于確定與素材屬性信息匹配的第二素材的可執(zhí)行指令；用于根據(jù)所述素材屬性信息在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材的可執(zhí)行指令。

本發(fā)明實施例通過接收傳輸流，確定與素材屬性信息匹配的第二素材，根據(jù)所述素材屬性信息在所述原始視頻圖像上采用計算機繪圖方式繪制所述第二素材。依據(jù)素材屬性信息可以快速完成對素材的繪制，無需通過復(fù)雜的算法分析一方面減輕了數(shù)據(jù)處理負擔(dān)，另一方面因無需運行算法，也減低了對終端配置的要求，有效實現(xiàn)了直播視頻的流暢觀看，增強了用戶的體驗。

附圖說明

圖1是本發(fā)明實施例一提供的一種數(shù)據(jù)處理方法的步驟流程圖；

圖2是本發(fā)明實施例二提供的一種數(shù)據(jù)處理方法的步驟流程圖；

圖3是本發(fā)明實施例三提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；

圖4是本發(fā)明實施例四提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；

圖5是本發(fā)明實施例五提供的一種終端設(shè)備的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實施例六還提供的一種數(shù)據(jù)處理方法的步驟流程圖；

圖7是本發(fā)明實施例七還提供的一種數(shù)據(jù)處理方法的步驟流程圖；

圖8是本發(fā)明實施例八還提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；

圖9是本發(fā)明實施例九還提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；

圖10是本發(fā)明實施例十還提供的一種終端設(shè)備的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號表示相同的元素)和實施例，對本發(fā)明實施例的具體實施方式作進一步詳細說明。以下實施例用于說明本發(fā)明實施例，但不用來限制本發(fā)明實施例的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明實施例中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實施例一

參照圖1，示出了本發(fā)明實施例一提供的一種數(shù)據(jù)處理方法的步驟流程圖。

本實施例以直播場景下的主播所在的目標(biāo)用戶端(第一設(shè)備端，如主播端)為例，對本發(fā)明實施例的數(shù)據(jù)處理方法進行說明。本實施例的數(shù)據(jù)處理方法具體包括如下步驟：

步驟102、提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息。

目標(biāo)用戶端(第一設(shè)備端，如主播端)可以通過相應(yīng)的應(yīng)用與一個或多個其它用戶端建立視頻通信，在視頻通信建立后，目標(biāo)用戶端可以對目標(biāo)用戶的行為動作、背景等進行視頻錄制，并通過設(shè)定的傳輸協(xié)議將錄制的視頻向一個或多個其它用戶端(第二設(shè)備端，如粉絲)端同時傳輸，如目標(biāo)用戶端通過在花椒或斗魚等直播應(yīng)用中申請自己的房間，當(dāng)目標(biāo)用戶端開啟直播時，進入該房間的用戶端與目標(biāo)用戶端建立視頻通信。

在目標(biāo)用戶端目標(biāo)用戶通過對第一素材的點擊操作觸發(fā)繪制指令，采用計算機繪制的方式將第一素材繪制到目標(biāo)用戶端的視頻圖像中。目標(biāo)用戶端(如主播所在的客戶端)通過圖像采集裝置(如攝像頭)采集目標(biāo)用戶(如主播)的行為動作、目標(biāo)用戶直播時的背景信息以及第一素材等目標(biāo)用戶端當(dāng)前播放的視頻圖像。其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材，原始視頻圖像如目標(biāo)用戶的行為動作目標(biāo)用戶直播時的背景等，第一素材可以包括但不限于業(yè)務(wù)對象，如包含有語義信息的特效。

從采集到的當(dāng)前播放的視頻圖像中提取第一素材的素材屬性信息，其中，屬性信息可以包括但不限于：素材的標(biāo)識信息、位置信息和素材的鏈接信息等。

步驟104、根據(jù)原始視頻圖像和素材屬性信息生成傳輸流。

根據(jù)第一設(shè)備端當(dāng)前播放的視頻圖像確定對應(yīng)的原始視頻圖像，并將原始視頻圖像按照設(shè)定的視頻編碼格式進行編碼，將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流。

步驟106、向至少一個第二設(shè)備端發(fā)送傳輸流。

基于目標(biāo)用戶端(第一設(shè)備端)和其它用戶端(第二設(shè)備端)建立的視頻通信關(guān)系，目標(biāo)用戶端將傳輸流向至少一個其它用戶端發(fā)送。

其中，用于傳輸視頻幀圖像的傳輸流根據(jù)傳輸協(xié)議的不同而不同，本發(fā)明實施例中，無論采用何種協(xié)議的傳輸流，只需能夠攜帶素材屬性信息即可。

本發(fā)明實施例通過提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材；根據(jù)原始視頻圖像和素材屬性信息生成傳輸流；向至少一個第二設(shè)備端發(fā)送傳輸流。待傳輸?shù)膫鬏斄鲾y帶有第一素材的素材屬性信息，使得在另一端顯示傳輸流時，通過素材屬性信息以確定視頻幀圖像中的第一素材，進而進行相應(yīng)的處理和繪制，有效的減輕了另一端顯示視頻圖像的壓力。

實施例二

參照圖2，示出了本發(fā)明實施例二提供的一種數(shù)據(jù)處理方法的步驟流程圖。

本實施例以直播場景下的主播所在的目標(biāo)用戶端(第一設(shè)備端)為例，對本發(fā)明實施例的數(shù)據(jù)處理方法進行說明。本實施例的數(shù)據(jù)處理方法具體包括如下步驟：

步驟202、提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息。

目標(biāo)用戶可以在目標(biāo)用戶端進行素材展示，如，目標(biāo)用戶通過對第一素材的點擊操作觸發(fā)繪制指令，采用計算機繪制的方式將第一素材繪制到目標(biāo)用戶端的視頻圖像中。其中，在本發(fā)明實施例目標(biāo)用戶端和其它用戶端設(shè)置有相同的素材庫，兩端的素材庫可以通過后臺服務(wù)器進行同步更新，即目標(biāo)用戶端和其它用戶端中的素材庫均存儲有相同的素材，其中，具體素材的繪制位置確定可參照如下步驟：

如以素材是業(yè)務(wù)對象為例進行介紹。

方式一，從視頻中確定目標(biāo)用戶的特征點根據(jù)目標(biāo)用戶的特征點，使用預(yù)先訓(xùn)練的、用于確定業(yè)務(wù)對象在視頻圖像中的展示位置的卷積網(wǎng)絡(luò)模型，確定待繪制的業(yè)務(wù)對象在視頻圖像中的繪制位置信息；方式二，從視頻中確定目標(biāo)用戶的類型，根據(jù)目標(biāo)用戶的特征點，確定目標(biāo)用戶的類型；根據(jù)目標(biāo)用戶的類型，確定待繪制的業(yè)務(wù)對象的繪制位置信息；根據(jù)繪制位置信息，確定待繪制的業(yè)務(wù)對象在視頻圖像中的展示位置。

以下，分別對上述兩種方式進行詳細說明。

方式一

在使用方式一確定待繪制的業(yè)務(wù)對象在視頻圖像中的展示位置時，需要預(yù)先訓(xùn)練一個卷積網(wǎng)絡(luò)模型，訓(xùn)練完成的該卷積網(wǎng)絡(luò)模型具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能；或者，也可以直接使用第三方已訓(xùn)練完成的、具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能的卷積網(wǎng)絡(luò)模型。

需要說明的是，本實施例中，著重對業(yè)務(wù)對象的訓(xùn)練進行說明對目標(biāo)用戶部分的訓(xùn)練可以參照相關(guān)技術(shù)實現(xiàn)，本發(fā)明實施例對此僅做簡要說明。

當(dāng)需要預(yù)先訓(xùn)練卷積網(wǎng)絡(luò)模型時，一種可行的訓(xùn)練方式包括以下過程：

(1)獲取待訓(xùn)練的業(yè)務(wù)對象樣本圖像的特征向量。

其中，特征向量中包含有業(yè)務(wù)對象樣本圖像中的目標(biāo)用戶的信息，以及，業(yè)務(wù)對象的位置信息和/或置信度信息。其中，目標(biāo)用戶的信息指示了目標(biāo)用戶的圖像信息；業(yè)務(wù)對象的位置信息指示了業(yè)務(wù)對象的位置，可以是業(yè)務(wù)對象中心點的位置信息，也可以是業(yè)務(wù)對象所在區(qū)域的位置信息；業(yè)務(wù)對象的置信度信息指示了業(yè)務(wù)對象展示在當(dāng)前位置時，能夠達到的效果(如被關(guān)注或被點擊或被觀看)的概率，該概率可以根據(jù)對歷史數(shù)據(jù)的統(tǒng)計分析結(jié)果設(shè)定，也可以根據(jù)仿真實驗的結(jié)果設(shè)定，還可以根據(jù)人工經(jīng)驗進行設(shè)定。在實際應(yīng)用中，在對目標(biāo)用戶進行訓(xùn)練的同時，可以根據(jù)實際需要，僅對業(yè)務(wù)對象的位置信息進行訓(xùn)練，也可以僅對業(yè)務(wù)對象的置信度信息進行訓(xùn)練，還可以對二者均進行訓(xùn)練。對二者均進行訓(xùn)練，能夠使得訓(xùn)練后的卷積網(wǎng)絡(luò)模型更為有效和精準(zhǔn)地確定業(yè)務(wù)對象的位置信息和置信度信息，以便為業(yè)務(wù)對象的展示提供依據(jù)。

卷積網(wǎng)絡(luò)模型通過大量的樣本圖像進行訓(xùn)練，本發(fā)明實施例中的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象可以被預(yù)先標(biāo)注位置信息，或者置信度信息，或者二種信息都有。當(dāng)然，在實際應(yīng)用中，這些信息也可以通過其它途徑獲取。而通過預(yù)先在對業(yè)務(wù)對象進行相應(yīng)信息的標(biāo)注，可以有效節(jié)約數(shù)據(jù)處理的數(shù)據(jù)和交互次數(shù)，提高數(shù)據(jù)處理效率。

將具有目標(biāo)用戶信息，以及，業(yè)務(wù)對象的位置信息和/或置信度信息的業(yè)務(wù)對象樣本圖像作為訓(xùn)練樣本，對其進行特征向量提取，獲得包含有目標(biāo)用戶信息，以及業(yè)務(wù)對象的位置信息和/或置信度信息的特征向量。

其中，對特征向量的提取可以采用相關(guān)技術(shù)中的適當(dāng)方式實現(xiàn)，本發(fā)明實施例在此不再贅述。

(2)對特征向量進行卷積處理，獲取特征向量卷積結(jié)果。

獲取的特征向量卷積結(jié)果中包含有目標(biāo)用戶的信息，以及，業(yè)務(wù)對象的位置信息和/或置信度信息。

對特征向量的卷積處理次數(shù)可以根據(jù)實際需要進行設(shè)定，也即，卷積網(wǎng)絡(luò)模型中，卷積層的層數(shù)根據(jù)實際需要進行設(shè)置，最終的特征向量卷積結(jié)果滿足誤差在一定范圍內(nèi)(如為圖像長或?qū)挼?/20～1/5，優(yōu)選地，可以為圖像長或?qū)挼?/10)的標(biāo)準(zhǔn)即可。

卷積結(jié)果是對特征向量進行了特征提取后的結(jié)果，該結(jié)果能夠有效表征視頻圖像中各相關(guān)對象的特征和分類。

本發(fā)明實施例中，當(dāng)特征向量中既包含業(yè)務(wù)對象的位置信息，又包含業(yè)務(wù)對象的置信度信息時，也即，對業(yè)務(wù)對象的位置信息和置信度信息均進行了訓(xùn)練的情況下，該特征向量卷積結(jié)果在后續(xù)分別進行收斂條件判斷時共享，無須進行重復(fù)處理和計算，減少了由數(shù)據(jù)處理引起的資源損耗，提高了數(shù)據(jù)處理速度和效率。

(3)分別判斷特征向量卷積結(jié)果中對應(yīng)的目標(biāo)用戶的信息，以及，業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足收斂條件。

其中，收斂條件由本領(lǐng)域技術(shù)人員根據(jù)實際需求適當(dāng)設(shè)定。當(dāng)信息滿足收斂條件時，可以認為卷積網(wǎng)絡(luò)模型中的參數(shù)設(shè)置適當(dāng)；當(dāng)信息不能滿足收斂條件時，可以認為卷積網(wǎng)絡(luò)模型中的參數(shù)設(shè)置不適當(dāng)，需要對其進行調(diào)整，該調(diào)整是一個迭代的過程，直至使用調(diào)整后的參數(shù)對特征向量進行卷積處理的結(jié)果滿足收斂條件。

一種可行方式中，收斂條件可以根據(jù)預(yù)設(shè)的標(biāo)準(zhǔn)位置和/或預(yù)設(shè)的標(biāo)準(zhǔn)置信度進行設(shè)定，如，將特征向量卷積結(jié)果中業(yè)務(wù)對象的位置信息指示的位置與該預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的距離是否滿足一定閾值作為業(yè)務(wù)對象的位置信息的收斂條件；將特征向量卷積結(jié)果中業(yè)務(wù)對象的置信度信息指示的置信度與該預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的差別是否滿足一定閾值作為業(yè)務(wù)對象的置信度信息的收斂條件等。

其中，優(yōu)選地，預(yù)設(shè)的標(biāo)準(zhǔn)位置可以是對待訓(xùn)練的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象的位置進行平均處理后獲得的平均位置；預(yù)設(shè)的標(biāo)準(zhǔn)置信度可以是對待訓(xùn)練的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象的置信度進行平均處理后獲取的平均置信度。依據(jù)待訓(xùn)練的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象的位置和/或置信度設(shè)定標(biāo)準(zhǔn)位置和/或標(biāo)準(zhǔn)置信度，因樣本圖像為待訓(xùn)練樣本且數(shù)據(jù)量龐大，因而設(shè)定的標(biāo)準(zhǔn)位置和標(biāo)準(zhǔn)置信度也更為客觀和精確。

在具體進行特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足收斂條件的判斷時，一種可行的方式包括：

獲取特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息；使用第一損失函數(shù)，計算對應(yīng)的業(yè)務(wù)對象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的第一距離；根據(jù)第一距離判斷對應(yīng)的業(yè)務(wù)對象的位置信息是否滿足收斂條件；

和/或，

獲取特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的置信度信息；使用第二損失函數(shù)，計算對應(yīng)的業(yè)務(wù)對象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的第二距離；根據(jù)第二距離判斷對應(yīng)的業(yè)務(wù)對象的置信度信息是否滿足收斂條件。

在一種可選的實施方式中，第一損失函數(shù)可以為計算對應(yīng)的業(yè)務(wù)對象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的歐式距離的函數(shù)；和/或，第二損失函數(shù)可以為計算對應(yīng)的業(yè)務(wù)對象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的歐式距離的函數(shù)。采用歐式距離的方式，實現(xiàn)簡單且能夠有效指示收斂條件是否被滿足。但不限于此，其它方式，如馬式距離，巴式距離等也同樣適用。

優(yōu)選地，如前，預(yù)設(shè)的標(biāo)準(zhǔn)位置為對待訓(xùn)練的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象的位置進行平均處理后獲得的平均位置；和/或，預(yù)設(shè)的標(biāo)準(zhǔn)置信度為對待訓(xùn)練的業(yè)務(wù)對象樣本圖像中的業(yè)務(wù)對象的置信度進行平均處理后獲取的平均置信度。

對于特征向量卷積結(jié)果中的目標(biāo)用戶的信息，對目標(biāo)用戶的信息是否收斂的判斷可以參照相關(guān)使用卷積網(wǎng)絡(luò)模型的收斂條件進行判斷，在此不再贅述。若目標(biāo)用戶的信息滿足收斂條件，則可對目標(biāo)用戶進行分類，明確目標(biāo)用戶的所屬類別，以為后續(xù)業(yè)務(wù)對象的展示位置確定提供參考和依據(jù)。

(4)若滿足收斂條件，則完成對卷積網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足收斂條件，則根據(jù)特征向量卷積結(jié)果，調(diào)整卷積網(wǎng)絡(luò)模型的參數(shù)并根據(jù)調(diào)整后的卷積網(wǎng)絡(luò)模型的參數(shù)對卷積網(wǎng)絡(luò)模型進行迭代訓(xùn)練，直至迭代訓(xùn)練后的特征向量卷積結(jié)果滿足收斂條件。

通過對卷積網(wǎng)絡(luò)模型進行上述訓(xùn)練，卷積網(wǎng)絡(luò)模型可以對基于目標(biāo)用戶進行展示的業(yè)務(wù)對象的展示位置進行特征提取和分類，從而具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能。其中，當(dāng)展示位置包括多個時，通過上述業(yè)務(wù)對象置信度的訓(xùn)練，卷積網(wǎng)絡(luò)模型還可以確定出多個展示位置中的展示效果的優(yōu)劣順序，從而確定最優(yōu)的展示位置。在后續(xù)應(yīng)用中，當(dāng)需要展示業(yè)務(wù)對象時，根據(jù)視頻中的當(dāng)前圖像即可確定出有效的展示位置。

此外，在對卷積網(wǎng)絡(luò)模型進行上述訓(xùn)練之前，還可以預(yù)先對業(yè)務(wù)對象樣本圖像進行預(yù)處理，包括：獲取多個業(yè)務(wù)對象樣本圖像，其中，每個業(yè)務(wù)對象樣本圖像中包含有業(yè)務(wù)對象的標(biāo)注信息；根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的位置，判斷確定的業(yè)務(wù)對象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值；將小于或等于設(shè)定閾值的業(yè)務(wù)對象對應(yīng)的業(yè)務(wù)對象樣本圖像，確定為待訓(xùn)練的業(yè)務(wù)對象樣本圖像。其中，預(yù)設(shè)位置和設(shè)定閾值均可以由本領(lǐng)域技術(shù)人員采用任意適當(dāng)方式進行適當(dāng)設(shè)置，如根據(jù)數(shù)據(jù)統(tǒng)計分析結(jié)果或者相關(guān)距離計算公式或者人工經(jīng)驗等，本發(fā)明實施例對此不作限制。

在一種可行方式中，根據(jù)標(biāo)注信息確定的業(yè)務(wù)對象的位置可以是業(yè)務(wù)對象的中心位置。在根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的位置，判斷確定的業(yè)務(wù)對象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值時，可以根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的中心位置；進而判斷該中心位置與預(yù)設(shè)位置的方差是否小于或等于設(shè)定閾值。

通過預(yù)先對業(yè)務(wù)對象樣本圖像進行預(yù)處理，可以過濾掉不符合條件的樣本圖像，以保證訓(xùn)練結(jié)果的準(zhǔn)確性。

通過上述過程實現(xiàn)了卷積網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練完成的該卷積網(wǎng)絡(luò)模型可以用來確定業(yè)務(wù)對象在視頻圖像中的展示位置。例如，在視頻直播過程中，若主播點擊業(yè)務(wù)對象指示進行業(yè)務(wù)對象展示時，在卷積網(wǎng)絡(luò)模型獲得了直播的視頻圖像中主播的面部特征點后，可以指示出展示業(yè)務(wù)對象的最優(yōu)位置如主播的額頭位置，進而移動終端控制直播應(yīng)用在該位置展示業(yè)務(wù)對象；或者，在視頻直播過程中，若主播點擊業(yè)務(wù)對象指示進行業(yè)務(wù)對象展示時，卷積網(wǎng)絡(luò)模型可以直接根據(jù)直播的視頻圖像確定業(yè)務(wù)對象的繪制位置。

方式二

在方式二中，首先需要根據(jù)目標(biāo)用戶的特征點，確定目標(biāo)用戶的類型；再根據(jù)目標(biāo)用戶的類型，確定待繪制的業(yè)務(wù)對象的繪制位置信息；然后根據(jù)繪制位置信息，確定待繪制的業(yè)務(wù)對象在視頻圖像中的展示位置。

其中，目標(biāo)用戶的類型包括但不限于：人臉類型、背景類型、手部類型和動作類型。其中，人臉類型用于指示人臉在視頻圖像中占據(jù)主要部分，背景類型用于指示背景在視頻圖像中占據(jù)較大部分，手部類型用于指示手部在視頻圖像中占據(jù)主要部分，而動作類型則用于指示人物進行了某種動作。

其中，在獲取了目標(biāo)用戶的特征點之后，可以采用已有的相關(guān)檢測、分類或?qū)W習(xí)方法確定目標(biāo)用戶的類型。在確定了目標(biāo)用戶的類型之后，可以按照設(shè)定的規(guī)則確定待繪制的業(yè)務(wù)對象的繪制位置信息，包括：

當(dāng)目標(biāo)用戶的類型為人臉類型時，確定待繪制的業(yè)務(wù)對象的繪制位置信息包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域；和/或，

當(dāng)目標(biāo)用戶的類型為背景類型時，確定待繪制的業(yè)務(wù)對象的繪制位置信息包括：視頻圖像中的背景區(qū)域；和/或，

當(dāng)目標(biāo)用戶的類型為手部類型時，確定待繪制的業(yè)務(wù)對象的繪制位置信息包括：視頻圖像中以手部所在的區(qū)域為中心的、設(shè)定范圍內(nèi)的區(qū)域；和/或，

當(dāng)目標(biāo)用戶的類型為動作類型時，確定待繪制的業(yè)務(wù)對象的繪制位置信息包括：視頻圖像中預(yù)先設(shè)定的區(qū)域。

其中，視頻圖像中預(yù)先設(shè)定的區(qū)域可以包括：視頻圖像中人物之外的任一區(qū)域，對于預(yù)先設(shè)定的區(qū)域可以由本領(lǐng)域技術(shù)人員根據(jù)實際情況適當(dāng)設(shè)置，如，以動作生成部位為中心的設(shè)定范圍內(nèi)的區(qū)域，或者，動作生成部位以外的設(shè)定范圍內(nèi)的區(qū)域，或者背景區(qū)域等等，本發(fā)明實施例對此不作限制。

在一種可選的實施方式中，動作類型對應(yīng)的動作包括以下至少之一：眨眼、張嘴、點頭、搖頭、親吻、微笑、揮手、剪刀手、握拳、托手、豎大拇指、擺手槍姿勢、擺v字手、擺ok手。

在確定了繪制位置信息后，可以進一步確定待繪制的業(yè)務(wù)對象在視頻圖像中的展示位置。例如，以繪制位置信息的中心點為業(yè)務(wù)對象的展示位置中心點進行業(yè)務(wù)對象的繪制；再例如，將繪制位置信息中的某一坐標(biāo)位置確定為繪制位置的中心點等，本發(fā)明實施例對此不作限制。在本發(fā)明實施例中視頻圖像中預(yù)先設(shè)定的區(qū)域可以包括：視頻圖像中人物的區(qū)域或視頻圖像中人物之外的任一區(qū)域。

在本發(fā)明實施例中目標(biāo)用戶端(如主播所在的客戶端)通過圖像采集裝置(如攝像頭)采集目標(biāo)用戶(如主播)的行為動作、目標(biāo)用戶直播時的背景信息以及第一素材等目標(biāo)用戶端當(dāng)前播放的視頻圖像，其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材，原始視頻圖像如目標(biāo)用戶的行為動作目標(biāo)用戶直播時的背景等，原始視頻圖像可以包括但不限于：包括直播平臺中的視頻圖像；第一素材可以包括但不限于業(yè)務(wù)對象，如業(yè)務(wù)對象包含有語義信息的特效，又如業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。如使用貼紙形式展示的廣告(即廣告貼紙)；或者，用于展示廣告的特效，如3d廣告特效。但不限于此，其它形式的業(yè)務(wù)對象也同樣適用本發(fā)明實施例提供的業(yè)務(wù)統(tǒng)計方案，如app或其它應(yīng)用的文字說明或介紹，或者一定形式的與視頻觀眾交互的對象(如電子寵物)等。

從采集到的當(dāng)前播放的視頻圖像中提取第一素材的素材屬性信息，其中，屬性信息可以包括但不限于：素材的標(biāo)識信息、位置信息和素材的鏈接信息等，如業(yè)務(wù)對象的id、業(yè)務(wù)對象的位置、和業(yè)務(wù)對象的鏈接。

步驟204、按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流。

在目標(biāo)用戶端向多個其它用戶端傳輸視頻數(shù)據(jù)前，需要基于傳輸協(xié)議，確定對視頻圖像設(shè)定的編碼格式，再按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將素材屬性信息和編碼后的原始視頻圖像生成傳輸流。

編碼格式可以包括任意視頻的編碼格式，如h.264、h.265等。若設(shè)定按照h.264編碼格式對原始視頻圖像進行編碼，則可以通過視頻編碼層vcl(videocodinglayer)對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像映射到網(wǎng)絡(luò)抽象層nal(netabstractionlayer)單元中；其中，編碼完成后的原始視頻圖像由多個nal單元組成，nal單元包括nal字頭和原始字節(jié)序列負荷rbsp。

在nal單元中可以包括多種類型的數(shù)據(jù)段，以及每個數(shù)據(jù)段對應(yīng)的重要性指標(biāo)，如表1所示：

表1

在本發(fā)明實施例的一種可選方案中，將素材屬性信息攜帶在網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成待傳輸?shù)膫鬏斄鳌?/p>

作為改進，本發(fā)明實施例還可以將素材屬性信息攜帶在rbsp的補充增強信息單元sei中，在本發(fā)明實施例中，除將屬性信息攜帶在rbsp的補充增強信息單元sei中，還可以將其攜帶于rbsp的其它單元中，如將屬性信息和特征信息攜帶在表1中所示13..23字段和24..31中；對此本發(fā)明不作具體限定。

在本發(fā)明實施例的另一種可選方案中，可以在對原始視頻圖像編碼過程中將素材屬性信息一同進行編碼，生成待傳輸?shù)膫鬏斄鳌?/p>

步驟206、將傳輸流轉(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個第二設(shè)備端發(fā)送。

將待傳輸?shù)膫鬏斄鬓D(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個客戶端(粉絲端)傳輸。

視頻數(shù)據(jù)幀傳輸?shù)木唧w實例可以如下：

其中，version為當(dāng)前json格式的版本信息，類型：字符串，格式為x.y，x為大版本號，本結(jié)構(gòu)有大的調(diào)整，如果json結(jié)構(gòu)變化比較大，或者增加、修改的內(nèi)容很多的情況下加1，y為小版本號，在本結(jié)構(gòu)中小的修改，包括增加刪除少量字段，則可加1。

id為當(dāng)前業(yè)務(wù)對象用到的素材的唯一標(biāo)示，類型：int或者字符串。

w為原始video的寬度，類型：int。

h為原始video的高度，類型：int。

url為業(yè)務(wù)對象下載的url，類型：字符串。

parts為業(yè)務(wù)對象中的子素材信息，名稱：數(shù)組子素材的名稱應(yīng)該和業(yè)務(wù)對象包中一致，每個子素材名稱為parts數(shù)組元素的key。

cur_frame為當(dāng)前業(yè)務(wù)對象的序列幀的幀號，類型：int

mode為渲染方式，類型：字符串?，F(xiàn)有polygon類型，渲染方式代表了后續(xù)pos中點的連線順序：左下-》右下-》左上；左上-》右上-》右下。

z-order為業(yè)務(wù)對象的z軸方向的順序，類型：int。

pos為標(biāo)識所有的點，關(guān)鍵字以1、2、3……自增排序即可，值為點數(shù)組，例如[12,23]。

通過上述實例，對于一個素材(業(yè)務(wù)對象)可以清楚的分析出素材的標(biāo)識、鏈接、位置坐標(biāo)、素材的所有關(guān)鍵點以及素材對應(yīng)的序列幀號，當(dāng)解碼后只要分析該實例，就可以快速完成對該素材的繪制，大大降低了普通繪制依賴算法、依賴終端配置的問題。

本發(fā)明實施例通過，提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流，將傳輸流轉(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個第二設(shè)備端發(fā)送。待傳輸?shù)膫鬏斄髦袛y帶有第一素材的素材屬性信息息，使得在另一端顯示原始視頻圖像時，通過素材屬性信息可以確定原始視頻圖像中的素材，進而進行相應(yīng)的處理和繪制，有效的減輕了另一端顯示視頻圖像的壓力。

本領(lǐng)域技術(shù)人員可以理解，在本發(fā)明實施例具體實施方式的上述方法中，各步驟的序號大小并不意味著執(zhí)行順序的先后，各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對本發(fā)明實施例具體實施方式的實施過程構(gòu)成任何限定。

實施例三

參照圖3，示出了本發(fā)明實施例三提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖，具體可以包括如下模塊：

提取模塊302，用于提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材。

生成模塊304，用于根據(jù)原始視頻圖像和素材屬性信息生成傳輸流。

發(fā)送模塊306，用于向至少一個第二設(shè)備端發(fā)送傳輸流。

本發(fā)明實施例提供的數(shù)據(jù)處理裝置，可以實現(xiàn)實施例一中數(shù)據(jù)處理方法的各個步驟，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

實施例四

參照圖4，示出了本發(fā)明實施例四提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖，具體可以包括如下模塊：

提取模塊302，用于提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材。

生成模塊304，用于按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流。

其中，素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

第一素材包括：業(yè)務(wù)對象，視頻圖像包括直播平臺中的視頻圖像。

業(yè)務(wù)對象包括：包含有語義信息的特效。業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

生成模塊304，用于按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流

作為改進，生成模塊304，用于按照h.264編碼格式對原始視頻圖像進行編碼；將素材屬性信息攜帶在網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成傳輸流。

作為改進，生成模塊304，還用于將素材屬性信息攜帶在rbsp的補充增強信息單元sei中。

其中，傳輸流還攜帶第一設(shè)備端當(dāng)前播放的視頻圖像的視頻屬性信息。

發(fā)送模塊306，用于將傳輸流轉(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個第二設(shè)備端發(fā)送。

本發(fā)明實施例的數(shù)據(jù)處理裝置用于實現(xiàn)前述多個方法實施例中相應(yīng)的數(shù)據(jù)處理方法，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

實施例五

參照圖5，示出了根據(jù)本發(fā)明實施例五的一種終端設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明具體實施例并不對終端設(shè)備的具體實現(xiàn)做限定。

如圖5所示，該終端設(shè)備500可以包括：

處理器(processor)502、通信接口(communicationsinterface)504、存儲器(memory)506、以及通信總線508。其中：

處理器502、通信接口504、以及存儲器506通過通信總線508完成相互間的通信。

通信接口504，用于服務(wù)器和客戶端之間的通信。

處理器502，用于執(zhí)行程序510，具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。

具體地，程序510可以包括程序代碼，程序代碼包括計算機操作指令。

處理器502可能是一個中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實施本發(fā)明實施例的一個或多個集成電路。

存儲器506，用于存放程序510。存儲器506可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatilememory)，例如至少一個磁盤存儲器。程序510具體可以用于使得處理器502執(zhí)行以下操作：提取第一設(shè)備端當(dāng)前播放的視頻圖像中第一素材的素材屬性信息，其中，視頻圖像包括原始視頻圖像和在原始視頻圖像上采用計算機繪圖方式繪制的第一素材；根據(jù)原始視頻圖像和素材屬性信息生成傳輸流；向至少一個第二設(shè)備端發(fā)送傳輸流。

在一種可選的實施方式中，程序510還用于使得處理器502按照設(shè)定的視頻編碼格式對原始視頻圖像進行編碼，并將編碼后的原始視頻圖像和第一素材的素材屬性信息生成傳輸流。

在一種可選的實施方式中，程序510還用于使得處理器502按照h.264編碼格式對原始視頻圖像進行編碼，將素材屬性信息攜帶在編碼后的網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中生成傳輸流。

在一種可選的實施方式中，程序510還用于使得處理器502將素材屬性信息攜帶在rbsp的補充增強信息單元sei中生成傳輸流。

在一種可選的實施方式中，程序510還用于使得處理器502傳輸流還攜帶第一設(shè)備端當(dāng)前播放的視頻圖像的視頻屬性信息。

在一種可選的實施方式中，程序510還用于使得處理器502將傳輸流轉(zhuǎn)換為json格式的數(shù)據(jù)，并將轉(zhuǎn)換后的數(shù)據(jù)向至少一個第二設(shè)備端發(fā)送。

在一種可選的實施方式中，程序510還用于使得處理器502配置素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

在一種可選的實施方式中，程序510還用于使得處理器502配置第一素材包括：業(yè)務(wù)對象，視頻圖像包括直播平臺中的視頻圖像。

在一種可選的實施方式中，程序510還用于使得處理器502配置業(yè)務(wù)對象包括：包含有語義信息的特效。

在一種可選的實施方式中，程序510還用于使得處理器502配置業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。本發(fā)明實施例的終端設(shè)備，可以實現(xiàn)實施例一、二、三或四中數(shù)據(jù)處理方案的各個步驟，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

實施例六

參照圖6，示出了本發(fā)明實施例六還提供的一種數(shù)據(jù)處理方法的步驟流程圖。

本實施例以直播場景下的粉絲所在的其它用戶端(第二設(shè)備端，如粉絲端)為例，對本發(fā)明實施例的數(shù)據(jù)處理方法進行說明。本實施例的數(shù)據(jù)處理方法具體包括如下步驟：

步驟602、接收傳輸流。

在目標(biāo)用戶端(第一設(shè)備端，如主播端)與一個或多個其它用戶端(第二設(shè)備端，如粉絲端)建立視頻連接后，目標(biāo)用戶端實時向用戶端發(fā)送傳輸流，傳輸流為目標(biāo)用戶端錄制的視頻圖像，其中，傳輸流包括原始視頻圖像和素材屬性信息。

步驟604、確定與素材屬性信息匹配的第二素材。

在接收到傳輸流后，對其進行解碼，并從解碼后的傳輸流中獲取素材屬性信息，根據(jù)屬性信息從素材庫中匹配出與素材屬性相對應(yīng)的第二素材。

步驟606、根據(jù)素材屬性信息在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

解碼后的傳輸流包括原始視頻圖像和素材屬性信息，其中，原始視頻圖像為目標(biāo)用戶端(第一設(shè)備端)當(dāng)前直播的視頻圖像。解碼完成后，原始視頻圖像自動在其它用戶端(第二設(shè)備端)顯示，根據(jù)素材屬性信息調(diào)用素材庫中的第二素材，采用計算機繪圖方式在其它用戶端顯示的原始視頻圖像上繪制第二素材。

本發(fā)明實施例通過接收傳輸流，確定與素材屬性信息匹配的第二素材，根據(jù)素材屬性信息在原始視頻圖像上采用計算機繪圖方式繪制第二素材。依據(jù)素材屬性信息可以快速完成對素材的繪制，無需通過復(fù)雜的算法分析一方面減輕了數(shù)據(jù)處理負擔(dān)，另一方面因無需運行算法，也減低了對終端配置的要求，有效實現(xiàn)了直播視頻的流暢觀看，增強了用戶的體驗。

實施例七

參照圖7，示出了本發(fā)明實施例七還提供的一種數(shù)據(jù)處理方法的步驟流程圖。

本實施例以直播場景下的粉絲所在的其它用戶端(第二設(shè)備端)為例，對本發(fā)明實施例的數(shù)據(jù)處理方法進行說明。本實施例的數(shù)據(jù)處理方法具體包括如下步驟：

步驟702、接收傳輸流。

目標(biāo)用戶端(第一設(shè)備端，如主播端)在進行直播過程中，一個或多個其它用戶端(第二設(shè)備端，如粉絲端)會通過訪問該目標(biāo)用戶直播間的方式獲取當(dāng)前目標(biāo)用戶的直播，目標(biāo)用戶端和用戶端的視頻數(shù)據(jù)是同步的，即目標(biāo)用戶端實時向用戶端發(fā)送傳輸流，傳輸流為目標(biāo)用戶端錄制的視頻圖像，其中，傳輸流包括原始視頻圖像和素材屬性信息，原始視頻圖像即當(dāng)前目標(biāo)用戶在目標(biāo)用戶端進行視頻直播的視頻圖像。

步驟704、按照與原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對傳輸流進行解碼。

接收到視頻數(shù)據(jù)幀后，確定目標(biāo)用戶端對該傳輸流的編碼格式，編碼格式由目標(biāo)用戶端確定，其中可以包括任意的視頻編碼格式，如h.264、h.265等。在本發(fā)明實施例中可以基于傳輸協(xié)議確定統(tǒng)一的編碼解碼格式，如，當(dāng)傳輸流的視頻編碼格式為h.264編碼格式時，按照h.264視頻解碼格式對傳輸流進行解碼。

步驟706、從解碼后的傳輸流中確定原始視頻圖像和素材屬性信息。

在本發(fā)明實施例的一種可選方案中，傳輸流還攜帶原始視頻的視頻屬性信息，如目標(biāo)用戶端直播視頻的分辨率信息。依次從解碼后的傳輸流中確定原始視頻圖像、素材屬性信息和視頻屬性信息。在本發(fā)明實施例的一種可選方案中，具體可以從解碼后的傳輸流中的網(wǎng)絡(luò)抽象層nal單元中的始字節(jié)序列負荷rbsp中，獲取素材的素材屬性信息。

作為改進，還可以從解碼后的傳輸流中的nal單元中的rbsp的補充增強信息單元sei中，獲取素材的素材屬性信息。

在本發(fā)明實施例中，對于從編碼后的傳輸流中獲取素材的素材屬性數(shù)據(jù)可以根據(jù)在目標(biāo)用戶端如何將素材屬性數(shù)據(jù)攜帶于編碼后的原始視頻圖像中確定，對此本發(fā)明不作具體限定。

步驟708、根據(jù)素材屬性信息確定相匹配的第二素材。

在本發(fā)明實施例中，從解碼后的視頻數(shù)據(jù)幀中確定素材屬性，進而確定與素材屬性對應(yīng)的第二素材，其中，材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息，第二素材包括：業(yè)務(wù)對象，原始視頻圖像包括直播平臺中的視頻圖像，業(yè)務(wù)對象包括：包含有語義信息的特效，如業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。但不限于此，其它形式的業(yè)務(wù)對象也同樣適用本發(fā)明實施例提供的視頻數(shù)據(jù)處理方案，如app或其它應(yīng)用的文字說明或介紹，或者一定形式的與視頻觀眾交互的對象(如電子寵物)等。

步驟710、根據(jù)原始視頻的視頻屬性信息將原始視頻圖像在第二設(shè)備端進行顯示。

根據(jù)確定的原始視頻圖像的視頻屬性信息在其它用戶端(第二設(shè)備端)顯示原始視頻圖像，如根據(jù)原始視頻圖像的分辨率確定原始視頻圖像在其它用戶端顯示時的分辨率。

步驟712、根據(jù)素材屬性信息確定第二素材在原始視頻圖像中的繪制位置。

根據(jù)素材屬性信息確定第二素材對應(yīng)的位置信息和鏈接信息，如根據(jù)素材屬性信息中的位置信息確定第二素材在原始視頻圖像中的繪制位置。

步驟714、根據(jù)繪制位置在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

根據(jù)位置信息在其它用戶端的顯示界面中繪制確定的第二素材，具體可采用計算機繪圖方式繪制信息展示對象，如可以通過適當(dāng)?shù)膱D形圖像繪制或渲染等方式實現(xiàn)，包括但不限于：基于opengl圖形繪制引擎進行繪制等。opengl定義了一個跨編程語言、跨平臺的編程接口規(guī)格的專業(yè)的圖形程序接口，其與硬件無關(guān)，可以方便地進行2d或3d圖形圖像的繪制。通過opengl，不僅可以實現(xiàn)2d效果如2d貼紙的繪制，還可以實現(xiàn)3d特效的繪制及粒子特效的繪制等等。

在第二素材繪制完成后，根據(jù)素材屬性中的鏈接信息為第二素材素添加對應(yīng)的鏈接信息，以使其它用戶端的用戶通過點擊第二素材進入鏈接信息對應(yīng)的界面，如第二素材的淘寶店鋪、官方網(wǎng)站等。

本發(fā)明實施例通過接收傳輸流，按照與原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對傳輸流進行解碼，從解碼后的傳輸流中確定原始視頻圖像和素材屬性信息，根據(jù)素材屬性信息確定相匹配的第二素材，根據(jù)原始視頻的視頻屬性信息將原始視頻圖像在第二設(shè)備端進行顯示，根據(jù)素材屬性信息確定第二素材在原始視頻圖像中的繪制位置，根據(jù)繪制位置在原始視頻圖像上采用計算機繪圖方式繪制第二素材。依據(jù)素材屬性信息可以快速完成對素材的繪制，無需通過復(fù)雜的算法分析，一方面減輕了數(shù)據(jù)處理負擔(dān)，另一方面因無需運行算法，也減低了對終端配置的要求，有效實現(xiàn)了直播視頻的流暢觀看，同時用戶還可以通過素材的點擊操作，跳轉(zhuǎn)其對應(yīng)的鏈接頁面，方便了用戶對素材的進一步了解，增強了用戶的體驗。

本領(lǐng)域技術(shù)人員可以理解，在本發(fā)明實施例具體實施方式的上述方法中，各步驟的序號大小并不意味著執(zhí)行順序的先后，各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對本發(fā)明實施例具體實施方式的實施過程構(gòu)成任何限定。

實施例八

參照圖8，示出了本發(fā)明實施例八還提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；具體可以包括如下模塊：

接收模塊802，用于接收傳輸流，傳輸流包括原始視頻圖像和素材屬性信息。

確定模塊804，用于確定與素材屬性信息匹配的第二素材。

繪制模塊806，用于根據(jù)素材屬性信息在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

本發(fā)明實施例提供的圖像處理裝置用于實現(xiàn)前述多個方法實施例中相應(yīng)的數(shù)據(jù)處理方法，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

實施例九

參照圖9，示出了本發(fā)明實施例九還提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖，具體可以包括如下模塊：

接收模塊802，用于接收傳輸流，傳輸流包括原始視頻圖像和素材屬性信息。

確定模塊804包括：解碼子模塊8042，用于按照與原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對傳輸流進行解碼；信息獲取子模塊8044，用于從解碼后的傳輸流中確定原始視頻圖像和素材屬性信息；匹配子模塊8046，用于根據(jù)素材屬性信息確定相匹配的第二素材。

作為改進，解碼子模塊8042，用于當(dāng)傳輸流的視頻編碼格式為h.264編碼格式時，按照h.264視頻解碼格式對傳輸流進行解碼。

其中，傳輸流還攜帶原始視頻的視頻屬性信息。

作為改進，解碼子模塊8042，用于從解碼后的傳輸流中確定原始視頻圖像；從網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中確定素材屬性信息；以及，從解碼后的傳輸流中確定原始視頻的視頻屬性信息。

作為改進，解碼子模塊8042，用于從rbsp的補充增強信息單元sei中確定素材屬性信息。

繪制模塊806，包括：顯示子模塊8062，用于根據(jù)原始視頻的視頻屬性信息將原始視頻圖像在第二設(shè)備端進行顯示；位置確定子模塊8064，用于根據(jù)素材屬性信息確定第二素材在原始視頻圖像中的繪制位置；素材繪制子模塊8066，用于根據(jù)繪制位置在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

其中，素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。第二素材包括：業(yè)務(wù)對象，原始視頻圖像包括直播平臺中的視頻圖像。業(yè)務(wù)對象包括：包含有語義信息的特效。業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

本發(fā)明實施例的數(shù)據(jù)處理裝置用于實現(xiàn)前述多個方法實施例中相應(yīng)的數(shù)據(jù)處理方法，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

實施例十

參照圖10，示出了根據(jù)本發(fā)明實施例十的一種終端設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明具體實施例并不對終端設(shè)備的具體實現(xiàn)做限定。

如圖10所示，該終端設(shè)備1000可以包括：

處理器(processor)1002、通信接口(communicationsinterface)1004、存儲器(memory)1006、以及通信總線1008。其中：

處理器1002、通信接口1004、以及存儲器1006通過通信總線1008完成相互間的通信。

通信接口1004，用于服務(wù)器和客戶端之間的通信。

處理器1002，用于執(zhí)行程序1010，具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。

具體地，程序1010可以包括程序代碼，程序代碼包括計算機操作指令。

處理器1002可能是一個中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實施本發(fā)明實施例的一個或多個集成電路。

存儲器1006，用于存放程序1010。存儲器1006可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatilememory)，例如至少一個磁盤存儲器。程序1010具體可以用于使得處理器1002執(zhí)行以下操作：接收傳輸流，傳輸流包括原始視頻圖像和素材屬性信息；確定與素材屬性信息匹配的第二素材；根據(jù)素材屬性信息在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

在一種可選的實施方式中，程序1010還用于使得處理器1002按照與原始視頻圖像的視頻編碼格式相對應(yīng)的視頻解碼格式，對傳輸流進行解碼；從解碼后的傳輸流中確定原始視頻圖像和素材屬性信息；根據(jù)素材屬性信息確定相匹配的第二素材。

在一種可選的實施方式中，程序1010還用于使得處理器100當(dāng)傳輸流的視頻編碼格式為h.264編碼格式時，按照h.264視頻解碼格式對傳輸流進行解碼。

在一種可選的實施方式中，程序1010還用于使得處理器1002配置傳輸流還攜帶原始視頻的視頻屬性信息，從解碼后的傳輸流中確定原始視頻圖像；從網(wǎng)絡(luò)抽象層nal單元的原始字節(jié)序列負荷rbsp中確定素材屬性信息；以及，從解碼后的傳輸流中確定原始視頻的視頻屬性信息。

在一種可選的實施方式中，程序1010還用于使得處理器1002從rbsp的補充增強信息單元sei中確定素材屬性信息。

在一種可選的實施方式中，程序1010還用于使得處理器1002根據(jù)原始視頻的視頻屬性信息將原始視頻圖像在第二設(shè)備端進行顯示；根據(jù)素材屬性信息確定第二素材在原始視頻圖像中的繪制位置；根據(jù)繪制位置在原始視頻圖像上采用計算機繪圖方式繪制第二素材。

在一種可選的實施方式中，程序1010還用于使得處理器1002配置素材屬性信息包括以下至少之一：素材的標(biāo)識信息、位置信息或素材的鏈接信息。

在一種可選的實施方式中，程序1010還用于使得處理器1002配置第二素材包括：業(yè)務(wù)對象，原始視頻圖像包括直播平臺中的視頻圖像。

在一種可選的實施方式中，程序1010還用于使得處理器1002配置第二素材包括：業(yè)務(wù)對象，原始視頻圖像包括直播平臺中的視頻圖像。

在一種可選的實施方式中，程序1010還用于使得處理器1002配置業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

本發(fā)明實施例的終端設(shè)備，可以實現(xiàn)實施例六、七、八或九中數(shù)據(jù)處理方案的各個步驟，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

需要指出，根據(jù)實施的需要，可將本發(fā)明實施例中描述的各個部件/步驟拆分為更多部件/步驟，也可將兩個或多個部件/步驟或者部件/步驟的部分操作組合成新的部件/步驟，以實現(xiàn)本發(fā)明實施例的目的。

上述根據(jù)本發(fā)明實施例的方法可在硬件、固件中實現(xiàn)，或者被實現(xiàn)為可存儲在記錄介質(zhì)(諸如cdrom、ram、軟盤、硬盤或磁光盤)中的軟件或計算機代碼，或者被實現(xiàn)通過網(wǎng)絡(luò)下載的原始存儲在遠程記錄介質(zhì)或非暫時機器可讀介質(zhì)中并將被存儲在本地記錄介質(zhì)中的計算機代碼，從而在此描述的方法可被存儲在使用通用計算機、專用處理器或者可編程或?qū)Ｓ糜布?諸如asic或fpga)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫猓嬎銠C、處理器、微處理器控制器或可編程硬件包括可存儲或接收軟件或計算機代碼的存儲組件(例如，ram、rom、閃存等)，當(dāng)所述軟件或計算機代碼被計算機、處理器或硬件訪問且執(zhí)行時，實現(xiàn)在此描述的處理方法。此外，當(dāng)通用計算機訪問用于實現(xiàn)在此示出的處理的代碼時，代碼的執(zhí)行將通用計算機轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計算機。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認為超出本發(fā)明實施例的范圍。

以上實施方式僅用于說明本發(fā)明實施例，而并非對本發(fā)明實施例的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明實施例的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明實施例的范疇，本發(fā)明實施例的專利保護范圍應(yīng)由權(quán)利要求限定。