本申請涉及視頻領(lǐng)域,特別是涉及視頻標(biāo)簽生成方法、系統(tǒng)、裝置、電子裝置和存儲介質(zhì)。
背景技術(shù):
1、伴隨著傳媒行業(yè)不斷快速發(fā)展以及短視頻的興起,融媒體視頻種類和細(xì)分區(qū)域越來越多,并增長的越來越快,為了更好的在各個細(xì)分領(lǐng)域快速檢索,需要對融媒體視頻進(jìn)行歸類標(biāo)記,有了歸類標(biāo)記,人們就能夠在此基礎(chǔ)上進(jìn)行資源的開發(fā),結(jié)合當(dāng)前大數(shù)據(jù)的技術(shù)進(jìn)步,令這些視頻媒體數(shù)據(jù)產(chǎn)生更多價值。
2、視頻標(biāo)簽是指用于描述視頻特征的特定短語,給視頻打上標(biāo)簽可以幫助用戶對視頻內(nèi)容進(jìn)行快速而高效的檢索。目前視頻標(biāo)簽的生成方法主要是靠人工打標(biāo),對于在線的視頻標(biāo)簽生成方法,主要基于對圖像、視頻或語音文本理解等方面入手。從圖像角度出發(fā),主要是從視頻中提取幀,得到圖片,然后對圖片進(jìn)行打標(biāo),最后將視頻的圖像標(biāo)簽進(jìn)行整合,得到視頻標(biāo)簽。從視頻角度出發(fā),主要是運用視頻理解的方法得到視頻標(biāo)簽。從語音文本角度出發(fā),主要是先提取視頻的語音或字幕等信息,運用對語音文本的分析方法得到視頻標(biāo)簽。
3、現(xiàn)有技術(shù)中主要是通過元數(shù)據(jù)自帶標(biāo)簽方式,當(dāng)融媒體視頻入庫時,自帶了視頻相關(guān)的元數(shù)據(jù)信息,在元數(shù)據(jù)信息中包含了分類、標(biāo)簽等數(shù)據(jù),根據(jù)標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)簽分離和匹配,但這種方式比較粗放和不全,標(biāo)簽數(shù)據(jù)比較單一,且很多新的標(biāo)簽出來后不能自動適配和關(guān)聯(lián)。
4、又或者通過人工審閱的方式,通過視頻播放平臺的管理人員手動添加標(biāo)簽,由于管理人員的數(shù)量有限,且人工審核存在很多不確定性,通過人力的方式來審閱和打標(biāo)簽,時間周期比較長,人力比較多,且每個人的審閱標(biāo)準(zhǔn)不一樣,打的標(biāo)簽準(zhǔn)備存在很大的差異,對于新出的標(biāo)簽如果想再次打標(biāo)還得重新審閱,耗時耗力且慢。
5、又或者通過cnn神經(jīng)網(wǎng)絡(luò)機器理解視頻內(nèi)容,然后給視頻打標(biāo)簽,如常規(guī)的神經(jīng)網(wǎng)絡(luò)例如resnet50等,但這種方式存在識別誤差率以及精細(xì)度不夠高,新的標(biāo)簽需要重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型等問題。
6、針對相關(guān)技術(shù)中存在視頻標(biāo)簽準(zhǔn)確度和效率低的問題,目前還沒有提出有效的解決方案。
技術(shù)實現(xiàn)思路
1、在本實施例中提供了一種視頻標(biāo)簽生成方法、系統(tǒng)、裝置、電子裝置和存儲介質(zhì),以解決相關(guān)技術(shù)中視頻標(biāo)簽準(zhǔn)確度和效率低的問題。
2、第一個方面,在本實施例中提供了一種視頻標(biāo)簽生成方法,包括:
3、構(gòu)建視頻標(biāo)簽庫,將視頻標(biāo)簽庫中的標(biāo)簽轉(zhuǎn)換成標(biāo)簽向量;
4、抽取目標(biāo)視頻的視頻幀,并將視頻幀轉(zhuǎn)換成視頻幀向量;
5、計算標(biāo)簽向量與視頻幀向量的向量相似度,將向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽。
6、在其中的一些實施例中,抽取目標(biāo)視頻的視頻幀,包括:
7、將目標(biāo)視頻分割為單位情節(jié)視頻片段;
8、根據(jù)單位情節(jié)視頻片段抽取視頻幀。
9、在其中的一些實施例中,抽取目標(biāo)視頻的視頻幀,包括:
10、根據(jù)預(yù)定的時間間隔抽取目標(biāo)視頻的視頻幀;或根據(jù)目標(biāo)視頻的總長度,采用平均幀的方式抽取視頻幀。
11、在其中的一些實施例中,向量相似度為通過計算標(biāo)簽向量與視頻幀向量的歐式距離對比得到。
12、在其中的一些實施例中,計算標(biāo)簽向量與視頻幀向量的向量相似度,將向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽,包括:
13、根據(jù)計算得到的向量相似度的大小,對向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的標(biāo)簽向量對應(yīng)的標(biāo)簽進(jìn)行排序,采用top參數(shù)選取排序在前的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽。
14、在其中的一些實施例中,當(dāng)有新的標(biāo)簽增加時,在視頻標(biāo)簽庫中新增新的標(biāo)簽,并將新的標(biāo)簽轉(zhuǎn)換成新的標(biāo)簽向量;
15、計算新的標(biāo)簽向量與視頻幀向量的向量相似度,將向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的新的標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽。
16、第二個方面,在本實施例中提供了一種視頻標(biāo)簽生成系統(tǒng),應(yīng)用上述第一個方面所述的視頻標(biāo)簽生成方法,系統(tǒng)包括:接入終端、api接入層、業(yè)務(wù)服務(wù)層、數(shù)據(jù)處理層、數(shù)據(jù)庫以及運行環(huán)境層,其中,
17、接入終端用于采集目標(biāo)視頻,并將目標(biāo)視頻通過api接入層輸入至業(yè)務(wù)服務(wù)層;
18、api接入層包括api網(wǎng)關(guān)和負(fù)載均衡,用于統(tǒng)一入口和均衡流量;
19、業(yè)務(wù)服務(wù)層,用于將目標(biāo)視頻根據(jù)視頻標(biāo)簽生成方法打上對應(yīng)的標(biāo)簽;
20、數(shù)據(jù)層,用于數(shù)據(jù)的處理、存儲和管理;
21、數(shù)據(jù)庫包括消息隊列、緩存數(shù)據(jù)和關(guān)系型存儲數(shù)據(jù);
22、運行環(huán)境層使用python語言和fastapi框架構(gòu)建。
23、第三個方面,在本實施例中提供了一種視頻標(biāo)簽生成裝置,包括:第一轉(zhuǎn)換模塊、第二轉(zhuǎn)換模塊以及標(biāo)簽?zāi)K,其中,
24、第一轉(zhuǎn)換模塊,用于構(gòu)建視頻標(biāo)簽庫,將視頻標(biāo)簽庫中的標(biāo)簽轉(zhuǎn)換成標(biāo)簽向量;
25、第二轉(zhuǎn)換模塊,用于抽取目標(biāo)視頻的視頻幀,并將視頻幀轉(zhuǎn)換成視頻幀向量;
26、標(biāo)簽?zāi)K,用于計算標(biāo)簽向量與視頻幀向量的向量相似度,將向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽。
27、第四個方面,在本實施例中提供了一種電子裝置,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序,處理器執(zhí)行計算機程序時實現(xiàn)上述第一個方面所述的視頻標(biāo)簽生成方法。
28、第五個方面,在本實施例中提供了一種存儲介質(zhì),其上存儲有計算機程序,該程序被處理器執(zhí)行時實現(xiàn)上述第一個方面所述的視頻標(biāo)簽生成方法。
29、與相關(guān)技術(shù)相比,在本實施例中提供的視頻標(biāo)簽生成方法,通過構(gòu)建視頻標(biāo)簽庫,將視頻標(biāo)簽庫中的標(biāo)簽轉(zhuǎn)換成標(biāo)簽向量;抽取目標(biāo)視頻的視頻幀,并將視頻幀轉(zhuǎn)換成視頻幀向量;計算標(biāo)簽向量與視頻幀向量的向量相似度,將向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為視頻幀向量對應(yīng)的目標(biāo)視頻的標(biāo)簽,提高了視頻標(biāo)簽準(zhǔn)確度和效率。
30、本申請的一個或多個實施例的細(xì)節(jié)在以下附圖和描述中提出,以使本申請的其他特征、目的和優(yōu)點更加簡明易懂。
1.一種視頻標(biāo)簽生成方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的視頻標(biāo)簽生成方法,其特征在于,抽取目標(biāo)視頻的視頻幀,包括:
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的視頻標(biāo)簽生成方法,其特征在于,所述抽取目標(biāo)視頻的視頻幀,包括:
4.根據(jù)權(quán)利要求1所述的視頻標(biāo)簽生成方法,其特征在于,所述向量相似度為通過計算所述標(biāo)簽向量與所述視頻幀向量的歐式距離對比得到。
5.根據(jù)權(quán)利要求1所述的視頻標(biāo)簽生成方法,其特征在于,計算所述標(biāo)簽向量與所述視頻幀向量的向量相似度,將所述向量相似度符合預(yù)設(shè)標(biāo)準(zhǔn)的所述標(biāo)簽向量對應(yīng)的標(biāo)簽,認(rèn)定為所述視頻幀向量對應(yīng)的所述目標(biāo)視頻的標(biāo)簽,包括:
6.根據(jù)權(quán)利要求1所述的視頻標(biāo)簽生成方法,其特征在于,所述方法還包括:
7.一種視頻標(biāo)簽生成系統(tǒng),應(yīng)用上述權(quán)利要求1至權(quán)利要求6中任一項所述的視頻標(biāo)簽生成方法,其特征在于,所述系統(tǒng)包括:接入終端、api接入層、業(yè)務(wù)服務(wù)層、數(shù)據(jù)層、數(shù)據(jù)庫以及運行環(huán)境層,其中,
8.一種視頻標(biāo)簽生成裝置,其特征在于,包括:第一轉(zhuǎn)換模塊、第二轉(zhuǎn)換模塊以及標(biāo)簽?zāi)K,其中,
9.一種電子裝置,包括存儲器和處理器,其特征在于,所述存儲器中存儲有計算機程序,所述處理器被設(shè)置為運行所述計算機程序以執(zhí)行權(quán)利要求1至權(quán)利要求6中任一項所述的視頻標(biāo)簽生成方法。
10.一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至權(quán)利要求6中任一項所述的視頻標(biāo)簽生成方法的步驟。