一種基于云電視的足球視頻摘要生成方法及裝置制造方法
【專利摘要】本發(fā)明提出一種基于云電視的足球視頻摘要生成方法及裝置，其中方法包括：對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分析，確定精彩視頻片段，將精彩視頻片段上傳至云端，形成視頻摘要。本發(fā)明能夠?qū)?shí)時(shí)視頻摘要與Cloud?PVR技術(shù)結(jié)合起來，減輕網(wǎng)絡(luò)及云端壓力。
【專利說明】-種基于云電視的足球視頻摘要生成方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云電視【技術(shù)領(lǐng)域】，尤其涉及一種基于云電視的足球視頻摘要生成方法 及裝置。

【背景技術(shù)】
[0002] 隨著市場(chǎng)對(duì)具備個(gè)人視頻錄像（PVR,Personal Video Recorder)功能的智能電視 產(chǎn)品的需求逐步增強(qiáng)，對(duì)PVR功能的要求也不再是簡(jiǎn)單的錄制和回放，而需要更加有特色 的功能。
[0003] 基于硬盤（HDD)的PVR功能雖受到用戶的歡迎，但隨著錄制視頻質(zhì)量越高，有限的 硬盤空間無法錄入太多的視頻，將云（Cloud)服務(wù)與PVR結(jié)合起來，則沒有這方面的限制， 并且Cloud PVR能使得用戶通過其他終端自由的觀看錄制的節(jié)目，從而可以帶來更好的用 戶體驗(yàn)。
[0004] 足球作為世界上最為廣泛的體育運(yùn)動(dòng)之一，每年都會(huì)有數(shù)千場(chǎng)各類聯(lián)賽、杯賽，每 場(chǎng)比賽都至少持續(xù)90分鐘，如果將所有的比賽錄制下來，那么這個(gè)視頻庫(kù)將會(huì)十分的龐 大，同時(shí)人們大多數(shù)情況下只是欣賞相關(guān)比賽的精彩片段，因此只存儲(chǔ)足球比賽中的精彩 片段，可以在滿足人們需求的同時(shí)，極大的節(jié)省存儲(chǔ)成本；這種精彩片段稱為視頻摘要。
[0005] 但是，現(xiàn)有的視頻摘要生成技術(shù)沒有與Cloud PVR技術(shù)結(jié)合起來，智能電視的 Cloud PVR功能相對(duì)簡(jiǎn)單，未考慮實(shí)時(shí)的視頻摘要生成并存于云端、隨時(shí)取用、實(shí)時(shí)分享的 應(yīng)用場(chǎng)景。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種基于云電視的足球視頻摘要生成方法，能夠?qū)?shí)時(shí)視頻摘要與 Cloud PVR技術(shù)結(jié)合起來，減輕網(wǎng)絡(luò)及云端壓力。
[0007] 本發(fā)明還提供了一種基于云電視的足球視頻摘要生成裝置，能夠?qū)?shí)時(shí)視頻摘要 與Cloud PVR技術(shù)結(jié)合起來，減輕網(wǎng)絡(luò)及云端壓力。
[0008] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0009] -種基于云電視的足球視頻摘要生成方法，包括：對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分 析，確定精彩視頻片段，將精彩視頻片段上傳至云端，形成視頻摘要。
[0010] 一種基于云電視的足球視頻摘要生成裝置，包括：
[0011] 精彩視頻識(shí)別模塊，用于對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分析，確定精彩視頻片段；
[0012] 精彩視頻上傳模塊，用于將精彩視頻片段上傳至云端，形成視頻摘要。
[0013] 可見，本發(fā)明提出的基于云電視的足球視頻摘要生成方法和裝置，實(shí)時(shí)地確定足 球視頻的精彩片段，并將確定出的精彩片段上傳至云端，形成足球視頻的視頻摘要，從而減 輕了網(wǎng)絡(luò)及云端壓力。

【專利附圖】

【附圖說明】
[0014] 圖1為本發(fā)明生成足球視頻摘要的方法實(shí)例的整體流程示意圖；
[0015] 圖2為本發(fā)明實(shí)施例一的實(shí)現(xiàn)流程圖；
[0016] 圖3為本發(fā)明提出的基于云電視的足球視頻摘要生成裝置結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0017] 本發(fā)明提出一種基于云電視的足球視頻摘要生成方法，包括：對(duì)足球視頻進(jìn)行實(shí) 時(shí)精彩度分析，確定精彩視頻片段，將精彩視頻片段上傳至云端，形成視頻摘要。
[0018] 本發(fā)明實(shí)現(xiàn)了足球視頻摘要的實(shí)時(shí)生成，對(duì)正在錄制的視頻流，以幀為單位，進(jìn)行 場(chǎng)地檢測(cè)、主色提取及區(qū)域分割，在畫面組（G0P，Group of Pictures)間相似性的基礎(chǔ)上進(jìn) 行禁區(qū)線判定；并對(duì)該視頻片段進(jìn)行音頻抽取，使用訓(xùn)練好的支持向量機(jī)分類器對(duì)音頻特 征分析，以確定該音頻是否為精彩音頻段，通過音頻及視頻精彩度來確定該視頻是否為精 彩視頻片段。
[0019] 如圖1為本發(fā)明生成足球視頻摘要的方法實(shí)例的整體流程示意圖。整體流程包 括：實(shí)時(shí)接收視頻流、視頻精彩度分析、音頻精彩度分析、生成視頻精彩片段、實(shí)時(shí)上傳云 端。
[0020] 其中，在視頻精彩度分析階段，主要包括以下步驟：
[0021] 1)足球比賽場(chǎng)地篩選：通過Canny算子提取關(guān)鍵幀的圖像邊緣，依據(jù)特定的規(guī)則 確定該圖像是否為比賽場(chǎng)地圖。
[0022] 2)進(jìn)行足球比賽場(chǎng)地的主色提取：對(duì)關(guān)鍵幀進(jìn)行低級(jí)視覺特征提取，通過創(chuàng)建基 于BGR(Blue-Green-Red)顏色空間的二維直方圖，取其比重較高的BGR通道色彩值；通過若 干關(guān)鍵幀的BGR通道顏色值歸并獲取該比賽的球場(chǎng)主色信息。
[0023] 3)比賽場(chǎng)地區(qū)域分割：在獲取視頻主色的基礎(chǔ)上，對(duì)需要分析的幀進(jìn)行子塊分 害IJ，對(duì)各個(gè)子塊進(jìn)行二維直方圖分析獲取子塊的主色信息，然后與視頻主色信息進(jìn)行對(duì) t匕，若信息一致則認(rèn)為是比賽場(chǎng)地圖；否則認(rèn)為是額外場(chǎng)景（如觀眾席或其他鏡頭），通過 BGR(0,0,0)色對(duì)該塊進(jìn)行填充；將處理后的原圖進(jìn)行腐蝕膨脹去噪，然后與原圖進(jìn)行掩碼 處理，獲取最終場(chǎng)地圖。
[0024] 4)基于感知哈希算法來定位G0P之間的相似性：使用感知哈希算法對(duì)場(chǎng)地區(qū)域分 割后的幀序列進(jìn)行相似性分析，若相似性持續(xù)時(shí)間在兩個(gè)G0P以上，則可在此基礎(chǔ)上進(jìn)行 禁區(qū)線識(shí)別。
[0025] 5)禁區(qū)線識(shí)別：在場(chǎng)地分割的基礎(chǔ)上，使用自適應(yīng)的Canny算子進(jìn)行邊緣檢測(cè)，得 到邊緣明顯的二值圖形；利用霍夫線性變換擬合圖中出現(xiàn)的所有直線，并通過直線與直線 之間的線性約束關(guān)系來確定圖中是否含有禁區(qū)線。
[0026] 通過上述過程，確定視頻G0P相似、并且包含禁區(qū)線的視頻片段為符合視頻精彩 度的視頻片段；之后，對(duì)該視頻的音頻進(jìn)行精彩度分析，具體方式為：事先收集精彩度高、 低不同的音頻，進(jìn)行特征提取，經(jīng)過訓(xùn)練生產(chǎn)SVM分類器，輔助視頻分析生成精彩視頻摘 要。
[0027] 進(jìn)一步地，由于錄制的視頻為TS流封裝格式，為保證生成的視頻摘要無卡頓，需 進(jìn)行各個(gè)精彩片段的音視頻PTS、DTS以及TS層的PCR、CC修正。
[0028] 基于一邊錄制一邊分析的策略，對(duì)實(shí)時(shí)接收的視頻流，依據(jù)上述步驟進(jìn)行精彩度 分析，生成視頻摘要片段并調(diào)用云平臺(tái)自身的SDK，進(jìn)行視頻摘要的實(shí)時(shí)上傳。
[0029] 從上述過程可見，本發(fā)明降低了足球視頻分析的復(fù)雜度，實(shí)時(shí)性高；本發(fā)明把 Cloud PVR與視頻摘要結(jié)合起來，把實(shí)時(shí)生成的摘要傳送云端，降低網(wǎng)絡(luò)及云端壓力，有利 于用戶體驗(yàn)，增加了產(chǎn)品功能，提高了產(chǎn)品競(jìng)爭(zhēng)力。
[0030] 以下結(jié)合附圖，舉具體的實(shí)施例詳細(xì)介紹。
[0031] 實(shí)施例一：
[0032] 本實(shí)施例介紹生成足球視頻摘要的一個(gè)具體示例，如圖2為本實(shí)施例的實(shí)現(xiàn)流程 圖，對(duì)于實(shí)時(shí)接收的足球視頻，執(zhí)行以下步驟：
[0033] 步驟201 :完成比賽場(chǎng)地的主色提取。包括以下2步：
[0034] 1)進(jìn)行足球視頻的場(chǎng)地檢測(cè)
[0035] 足球視頻的主色為足球場(chǎng)地色，在主色提取中，需要對(duì)目標(biāo)幀進(jìn)行過濾，去掉不符 合規(guī)則的幀。具體的過濾規(guī)則是，使用Canny算法提取圖像的邊緣信息，將圖像劃分成N*N 塊，統(tǒng)計(jì)每個(gè)小塊中的邊緣點(diǎn)個(gè)數(shù)；將塊中邊緣點(diǎn)個(gè)數(shù)的閾值?\設(shè)為經(jīng)驗(yàn)值，設(shè)圖中邊緣點(diǎn) 個(gè)數(shù)小于閾值?\的比率為R，當(dāng)R大于閾值Τ 2時(shí)，認(rèn)為該圖含有一定比率的場(chǎng)地圖，可進(jìn)行 主色提取；其中Τ2為自適應(yīng)閾值。
[0036] 2)對(duì)檢測(cè)到的比賽場(chǎng)地進(jìn)行主色提取
[0037] 對(duì)檢測(cè)到的比賽場(chǎng)地圖，進(jìn)行降低維度處理，建立二維直方圖，在該直方圖均衡化 的基礎(chǔ)上，獲取該圖的主色信息；通過若干張球場(chǎng)的主色信息匯集篩選，得到該場(chǎng)比賽的球 場(chǎng)主色。
[0038] 步驟202 :從當(dāng)前G0P開始進(jìn)行視頻的相似性分析，如果相似性高，則繼續(xù)執(zhí)行步 驟203 ;否則，將下一個(gè)G0P作為當(dāng)前G0P，返回執(zhí)行本步驟。
[0039] 具體地，視頻相似性分析的目標(biāo)為G0P中的關(guān)鍵幀及該G0P中的第Ν(通常為 fps/5)個(gè)非關(guān)鍵幀，對(duì)該非關(guān)鍵幀分析后，后續(xù)的Β、Ρ幀不進(jìn)行分析，等待下一個(gè)G0P數(shù)據(jù) 的到來。
[0040] 若當(dāng)前G0P的關(guān)鍵幀與非關(guān)鍵幀很相似（即漢明距離〈=3)，且與下一個(gè)G0P的 幀（關(guān)鍵幀及第Ν個(gè)非關(guān)鍵幀）很相似，則認(rèn)為相似性高。
[0041] 另外，在進(jìn)行相似性分析之前，可以將需要分析的幀進(jìn)行場(chǎng)地區(qū)域分割，從而降低 計(jì)算復(fù)雜度?？梢砸罁?jù)球場(chǎng)主色進(jìn)行場(chǎng)地區(qū)域分割，具體方式為：
[0042] 對(duì)需要分析的幀進(jìn)行Ν*Ν分割，分割后的子塊同樣進(jìn)行BGR二維直方圖分析，從而 獲取各個(gè)子塊的主色信息；將子塊的主色與視頻的主色序列信息進(jìn)行對(duì)比，若滿足一定的 邏輯條件，則認(rèn)為該子塊是比賽場(chǎng)地圖，否則認(rèn)為是干擾信息（指向觀眾席或其他場(chǎng)景）， 使用BGR(0,0,0)對(duì)該子塊進(jìn)行填充，減少后續(xù)分析的干擾。在區(qū)域分割后，進(jìn)行腐蝕、膨脹 去噪，與原圖進(jìn)行掩碼處理，便為最終場(chǎng)地圖。
[0043] 步驟203 :在第三個(gè)G0P的I幀進(jìn)行Hough線性變換，確定是否有禁區(qū)線，如果有， 則確定第一個(gè)G0P到第三個(gè)G0P的片段滿足視頻精彩度，且該滿足視頻精彩度的片段將持 續(xù)到禁區(qū)線消失為止；否則，將下一個(gè)G0P作為當(dāng)前G0P，返回執(zhí)行步驟202。
[0044] 其中，依據(jù)Hough線性變換進(jìn)行禁區(qū)線判定的方式可以為：
[0045] 對(duì)分割好的場(chǎng)地區(qū)域圖像做平滑處理，腐蝕、膨脹來消除噪聲；依賴圖像的低級(jí)視 覺特征建立自適應(yīng)的Canny邊緣算子，得到明顯的二值圖像；然后基于概率的霍夫變換擬 合圖中出現(xiàn)的所有直線。由于禁區(qū)線在進(jìn)行場(chǎng)地分割時(shí)可能被截?cái)?，需?duì)擬合后的直線數(shù) 據(jù)進(jìn)行歸并，并依據(jù)禁區(qū)線之間的相互約束關(guān)系來確定是否為禁區(qū)線；禁區(qū)線的約束關(guān)系 具體表現(xiàn)在有兩組禁區(qū)線平行或近似平行，且斜率滿足一定的邏輯關(guān)系。
[0046] 步驟204 :對(duì)滿足視頻精彩度的判斷進(jìn)行音頻精彩度分析，判斷該片段是否滿足 音頻精彩度，如果滿足，則確定該片段為精彩視頻；否則。將下一個(gè)G0P作為當(dāng)前G0P，返回 執(zhí)行步驟202。
[0047] 其中，音頻精彩度的分析的方式可以為：
[0048] 預(yù)先從準(zhǔn)備好的音頻庫(kù)中抽取梅爾倒譜系數(shù)（MFCC)、色彩特征（Chroma-based feature)、過零率等音頻特征，利用支持向量機(jī)分類器來進(jìn)行音頻精彩度分析。
[0049] 步驟205 :將精彩視頻片段合并成視頻摘要，并上傳至云端。
[0050] 具體地，視頻摘要由精彩視頻片段組成，每個(gè)視頻片段的起始幀都是關(guān)鍵幀，從第 二個(gè)視頻片段開始修改TS層的CC、PCR及ES層的PTS、DTS信息，對(duì)修改后的精彩視頻片段 調(diào)用云平臺(tái)的SDK進(jìn)行實(shí)時(shí)上傳。
[0051] 以上介紹了本發(fā)明提出的基于云電視的足球視頻摘要生成方法，本發(fā)明還提出一 種基于云電視的足球視頻摘要生成裝置，如圖3為該裝置的結(jié)構(gòu)示意圖，包括：
[0052] 精彩視頻識(shí)別模塊310,用于對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分析，確定精彩視頻片 段；
[0053] 精彩視頻上傳模塊320,用于將精彩視頻片段上傳至云端，形成視頻摘要。
[0054] 上述精彩視頻識(shí)別模塊310可以包括：
[0055] 視頻精彩度判斷模塊311，用于基于邊緣算法及邊緣點(diǎn)的分布信息進(jìn)行足球視頻 的場(chǎng)地檢測(cè)，確定可以用于球場(chǎng)主色提取的關(guān)鍵幀；對(duì)所述可以用于球場(chǎng)主色提取的關(guān)鍵 幀依據(jù)顏色直方圖及多幀信息匯總進(jìn)行球場(chǎng)主色提??；依據(jù)球場(chǎng)主色信息進(jìn)行場(chǎng)地區(qū)域分 害I];在場(chǎng)地區(qū)域分割的基礎(chǔ)上，依據(jù)感知哈希算法對(duì)足球視頻的G0P相似性進(jìn)行分析；在視 頻G0P相似的基礎(chǔ)上，依據(jù)Hough線變換及禁區(qū)線的線性特征進(jìn)行禁區(qū)線判定，確定符合視 頻精彩度的視頻片段；
[0056] 音頻精彩度判斷模塊312,用于對(duì)于符合視頻精彩度的視頻片段，判斷相應(yīng)的音頻 是否符合音頻精彩度；如果符合，則確定該視頻片段為精彩視頻片段。
[0057] 上述視頻精彩度判斷模塊311基于邊緣算法及邊緣點(diǎn)的分布信息進(jìn)行足球視頻 的場(chǎng)地檢測(cè)，確定可以用于球場(chǎng)主色提取的關(guān)鍵幀的方式可以為：
[0058] 使用Canny算子提取關(guān)鍵幀的邊緣信息，將關(guān)鍵幀分成N*N塊，統(tǒng)計(jì)每個(gè)塊中邊緣 點(diǎn)的個(gè)數(shù)，其中，N為預(yù)先設(shè)定的整數(shù)；
[0059] 當(dāng)所含邊緣點(diǎn)小于預(yù)先設(shè)定的門限的塊占所有塊的比率大于預(yù)先設(shè)定的比率時(shí)， 判定該關(guān)鍵幀可以用于球場(chǎng)主色提取。
[0060] 上述視頻精彩度判斷模塊311對(duì)可以用于球場(chǎng)主色提取的關(guān)鍵幀依據(jù)顏色直方 圖及多幀信息匯總進(jìn)行球場(chǎng)主色提取的方式可以為：
[0061] 對(duì)于可以用于球場(chǎng)主色提取的關(guān)鍵幀，創(chuàng)建基于BGR顏色空間的二維直方圖，取 比重最高的多個(gè)BGR顏色值，并記錄該顏色所占比重；對(duì)多關(guān)鍵幀進(jìn)行主色提取，歸并BGR 顏色值及該顏色所占比重；取比重高的多個(gè)BRG顏色值作為球場(chǎng)主色。
[0062] 上述視頻精彩度判斷模塊311依據(jù)球場(chǎng)主色信息進(jìn)行場(chǎng)地區(qū)域分割的方式可以 為：
[0063] 對(duì)視頻幀分成N*N塊，其中，N為預(yù)先設(shè)定的整數(shù)；
[0064] 將各個(gè)塊進(jìn)行BGR二維直方圖分析，獲取各個(gè)塊的主色信息；將各個(gè)塊的主色信 息分別與視頻幀的主色序列信息進(jìn)行對(duì)比；如果滿足預(yù)先設(shè)定的邏輯條件，則判定該塊是 比賽場(chǎng)地圖；否則，判定該塊是干擾信息；
[0065] 使用BGR(0,0,0)對(duì)判定為干擾信息的塊進(jìn)行填充。
[0066] 上述視頻精彩度判斷模塊311在視頻G0P相似的基礎(chǔ)上，依據(jù)Hough線變換及禁 區(qū)線的線性特征進(jìn)行禁區(qū)線判定的方式可以為：
[0067] 對(duì)分割好的場(chǎng)地區(qū)域圖像做平滑處理，腐蝕、膨脹來消除噪聲；依賴圖像的低級(jí)視 覺特征建立自適應(yīng)的Canny邊緣算子，得到明顯的二值圖像；基于概率的霍夫變換擬合圖 中出現(xiàn)的所有直線；對(duì)擬合后的直線數(shù)據(jù)進(jìn)行歸并，并依據(jù)禁區(qū)線之間的線性約束關(guān)系來 確定是否為禁區(qū)線。
[0068] 上述音頻精彩度判斷模塊312判斷相應(yīng)的音頻是否符合音頻精彩度的方式為：
[0069] 預(yù)先保存音頻樣本庫(kù)，從音頻樣本庫(kù)中抽取音頻特征，所述音頻特征包括梅爾倒 譜系數(shù)MFCC、色彩特征及過零率；利用支持向量機(jī)分類器進(jìn)行訓(xùn)練和分類，判定音頻是否 符合音頻精彩度。
[0070] 綜上可見，本發(fā)明提出的基于云電視的足球視頻摘要生成方法和裝置，Cloud PVR 與實(shí)時(shí)視頻摘要生成結(jié)合起來，減少網(wǎng)絡(luò)及云端壓力。針對(duì)足球視頻摘要逐幀分析、計(jì)算復(fù) 雜度高的缺點(diǎn)，本發(fā)明只對(duì)G0P中的關(guān)鍵幀及若干非關(guān)鍵幀進(jìn)行分析，在有限的信息源中 充分的挖掘事件信息，并在提取圖像的視覺特征上，通過降維等方式減少計(jì)算復(fù)雜度。本發(fā) 明針對(duì)正在錄制的視頻流，以幀為單位，進(jìn)行場(chǎng)地檢測(cè)、主色提取及區(qū)域分割，在G0P間相 似性的基礎(chǔ)上進(jìn)行禁區(qū)線判定；并對(duì)該視頻片段進(jìn)行音頻抽取，使用訓(xùn)練好的支持向量機(jī) 分類器對(duì)音頻特征分析，以確定該音頻是否為精彩音頻段，通過音頻及視頻精彩度來確定 該視頻是否為精彩視頻片段。
[0071] 以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【權(quán)利要求】
1. 一種基于云電視的足球視頻摘要生成方法，其特征在于，該方法包括：對(duì)足球視頻 進(jìn)行實(shí)時(shí)精彩度分析，確定精彩視頻片段，將精彩視頻片段上傳至云端，形成視頻摘要。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分析，確 定精彩視頻片段的方式為： 基于邊緣算法及邊緣點(diǎn)的分布信息進(jìn)行足球視頻的場(chǎng)地檢測(cè)，確定可以用于球場(chǎng)主色 提取的關(guān)鍵巾貞； 對(duì)所述可以用于球場(chǎng)主色提取的關(guān)鍵幀依據(jù)顏色直方圖及多幀信息匯總進(jìn)行球場(chǎng)主 色提取； 依據(jù)球場(chǎng)主色信息進(jìn)行場(chǎng)地區(qū)域分割； 在場(chǎng)地區(qū)域分割的基礎(chǔ)上，依據(jù)感知哈希算法對(duì)足球視頻的畫面組GOP相似性進(jìn)行分 析；在視頻GOP相似的基礎(chǔ)上，依據(jù)Hough線變換及禁區(qū)線的線性特征進(jìn)行禁區(qū)線判定，確 定符合視頻精彩度的視頻片段； 對(duì)于符合視頻精彩度的視頻片段，判斷相應(yīng)的音頻是否符合音頻精彩度；如果符合，則 確定該視頻片段為精彩視頻片段。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于邊緣算法及邊緣點(diǎn)的分布信息 進(jìn)行足球視頻的場(chǎng)地檢測(cè)，確定可以用于球場(chǎng)主色提取的關(guān)鍵幀的方式為： 使用Canny算子提取關(guān)鍵幀的邊緣信息，將關(guān)鍵幀分成N*N塊，統(tǒng)計(jì)每個(gè)塊中邊緣點(diǎn)的 個(gè)數(shù)，其中，N為預(yù)先設(shè)定的整數(shù)； 當(dāng)所含邊緣點(diǎn)小于預(yù)先設(shè)定的門限的塊占所有塊的比率大于預(yù)先設(shè)定的比率時(shí)，判定 該關(guān)鍵幀可以用于球場(chǎng)主色提取。
4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)可以用于球場(chǎng)主色提取的關(guān)鍵幀 依據(jù)顏色直方圖及多幀信息匯總進(jìn)行球場(chǎng)主色提取的方式為： 對(duì)于可以用于球場(chǎng)主色提取的關(guān)鍵幀，創(chuàng)建基于BGR顏色空間的二維直方圖，取比重 最高的多個(gè)BGR顏色值，并記錄該顏色所占比重；對(duì)多關(guān)鍵幀進(jìn)行主色提取，歸并BGR顏色 值及該顏色所占比重；取比重高的多個(gè)BRG顏色值作為球場(chǎng)主色。
5. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依據(jù)球場(chǎng)主色信息進(jìn)行場(chǎng)地區(qū)域分 割的方式為： 對(duì)視頻幀分成N*N塊，其中，N為預(yù)先設(shè)定的整數(shù)； 將各個(gè)塊進(jìn)行BGR二維直方圖分析，獲取各個(gè)塊的主色信息；將各個(gè)塊的主色信息分 別與視頻幀的主色序列信息進(jìn)行對(duì)比；如果滿足預(yù)先設(shè)定的邏輯條件，則判定該塊是比賽 場(chǎng)地圖；否則，判定該塊是干擾信息； 使用BGR(0,0,0)對(duì)判定為干擾信息的塊進(jìn)行填充。
6. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在視頻G0P相似的基礎(chǔ)上，依據(jù) Hough線變換及禁區(qū)線的線性特征進(jìn)行禁區(qū)線判定的方式為： 對(duì)分割好的場(chǎng)地區(qū)域圖像做平滑處理，腐蝕、膨脹來消除噪聲；依賴圖像的低級(jí)視覺特 征建立自適應(yīng)的Canny邊緣算子，得到明顯的二值圖像；基于概率的霍夫變換擬合圖中出 現(xiàn)的所有直線；對(duì)擬合后的直線數(shù)據(jù)進(jìn)行歸并，并依據(jù)禁區(qū)線之間的線性約束關(guān)系來確定 是否為禁區(qū)線。
7. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述判斷相應(yīng)的音頻是否符合音頻精彩 度的方式為： 預(yù)先保存音頻樣本庫(kù)，從音頻樣本庫(kù)中抽取音頻特征，所述音頻特征包括梅爾倒譜系 數(shù)MFCC、色彩特征及過零率；利用支持向量機(jī)分類器進(jìn)行訓(xùn)練和分類，判定音頻是否符合 音頻精彩度。
8. -種基于云電視的足球視頻摘要生成裝置，其特征在于，該裝置包括： 精彩視頻識(shí)別模塊，用于對(duì)足球視頻進(jìn)行實(shí)時(shí)精彩度分析，確定精彩視頻片段； 精彩視頻上傳模塊，用于將精彩視頻片段上傳至云端，形成視頻摘要。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述精彩視頻識(shí)別模塊包括： 視頻精彩度判斷模塊，用于基于邊緣算法及邊緣點(diǎn)的分布信息進(jìn)行足球視頻的場(chǎng)地檢 測(cè)，確定可以用于球場(chǎng)主色提取的關(guān)鍵幀；對(duì)所述可以用于球場(chǎng)主色提取的關(guān)鍵幀依據(jù)顏 色直方圖及多幀信息匯總進(jìn)行球場(chǎng)主色提??；依據(jù)球場(chǎng)主色信息進(jìn)行場(chǎng)地區(qū)域分割；在場(chǎng) 地區(qū)域分割的基礎(chǔ)上，依據(jù)感知哈希算法對(duì)足球視頻的GOP相似性進(jìn)行分析；在視頻GOP相 似的基礎(chǔ)上，依據(jù)Hough線變換及禁區(qū)線的線性特征進(jìn)行禁區(qū)線判定，確定符合視頻精彩 度的視頻片段； 音頻精彩度判斷模塊，用于對(duì)于符合視頻精彩度的視頻片段，判斷相應(yīng)的音頻是否符 合音頻精彩度；如果符合，則確定該視頻片段為精彩視頻片段。
10. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述視頻精彩度判斷模塊基于邊緣算法 及邊緣點(diǎn)的分布信息進(jìn)行足球視頻的場(chǎng)地檢測(cè)，確定可以用于球場(chǎng)主色提取的關(guān)鍵幀的方 式為： 使用Canny算子提取關(guān)鍵幀的邊緣信息，將關(guān)鍵幀分成N*N塊，統(tǒng)計(jì)每個(gè)塊中邊緣點(diǎn)的 個(gè)數(shù)，其中，N為預(yù)先設(shè)定的整數(shù)； 當(dāng)所含邊緣點(diǎn)小于預(yù)先設(shè)定的門限的塊占所有塊的比率大于預(yù)先設(shè)定的比率時(shí)，判定 該關(guān)鍵幀可以用于球場(chǎng)主色提取。
11. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述視頻精彩度判斷模塊對(duì)可以用于球 場(chǎng)主色提取的關(guān)鍵幀依據(jù)顏色直方圖及多幀信息匯總進(jìn)行球場(chǎng)主色提取的方式為： 對(duì)于可以用于球場(chǎng)主色提取的關(guān)鍵幀，創(chuàng)建基于BGR顏色空間的二維直方圖，取比重 最高的多個(gè)BGR顏色值，并記錄該顏色所占比重；對(duì)多關(guān)鍵幀進(jìn)行主色提取，歸并BGR顏色 值及該顏色所占比重；取比重高的多個(gè)BRG顏色值作為球場(chǎng)主色。
12. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述視頻精彩度判斷模塊依據(jù)球場(chǎng)主色 信息進(jìn)行場(chǎng)地區(qū)域分割的方式為： 對(duì)視頻幀分成N*N塊，其中，N為預(yù)先設(shè)定的整數(shù)； 將各個(gè)塊進(jìn)行BGR二維直方圖分析，獲取各個(gè)塊的主色信息；將各個(gè)塊的主色信息分 別與視頻幀的主色序列信息進(jìn)行對(duì)比；如果滿足預(yù)先設(shè)定的邏輯條件，則判定該塊是比賽 場(chǎng)地圖；否則，判定該塊是干擾信息； 使用BGR(0,0,0)對(duì)判定為干擾信息的塊進(jìn)行填充。
13. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述視頻精彩度判斷模塊在視頻G0P相 似的基礎(chǔ)上，依據(jù)Hough線變換及禁區(qū)線的線性特征進(jìn)行禁區(qū)線判定的方式為： 對(duì)分割好的場(chǎng)地區(qū)域圖像做平滑處理，腐蝕、膨脹來消除噪聲；依賴圖像的低級(jí)視覺特 征建立自適應(yīng)的Canny邊緣算子，得到明顯的二值圖像；基于概率的霍夫變換擬合圖中出 現(xiàn)的所有直線；對(duì)擬合后的直線數(shù)據(jù)進(jìn)行歸并，并依據(jù)禁區(qū)線之間的線性約束關(guān)系來確定 是否為禁區(qū)線。
14.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述音頻精彩度判斷模塊判斷相應(yīng)的音 頻是否符合音頻精彩度的方式為： 預(yù)先保存音頻樣本庫(kù)，從音頻樣本庫(kù)中抽取音頻特征，所述音頻特征包括梅爾倒譜系 數(shù)MFCC、色彩特征及過零率；利用支持向量機(jī)分類器進(jìn)行訓(xùn)練和分類，判定音頻是否符合 音頻精彩度。
【文檔編號(hào)】G06F17/30GK104123396SQ201410401744
【公開日】2014年10月29日 申請(qǐng)日期:2014年8月15日 優(yōu)先權(quán)日:2014年8月15日
【發(fā)明者】閆瑋, 白文寶, 夏候耀紅 申請(qǐng)人:三星電子（中國(guó)）研發(fā)中心, 三星電子株式會(huì)社