Score>Threshold，則新建單桿高分事件，規(guī)則如O中所示，Start = Record,frameld, FormerRecord = Record，轉(zhuǎn)O ;如果局分未變化，比分增加且擊球權(quán)交換，若這時(shí)Score>Threshold，則新建單桿高分事件，規(guī)則如O中所示，Start = Record, frameld，F(xiàn)ormerRecord = Record，車專 0。
[0189]步驟5:如果Score>Threshold，則取比分序列中最后一條記錄LastRecord，新建單桿高分事件，規(guī)則如下:
[0190]高分分?jǐn)?shù)=Score；
[0191]開始時(shí)刻=Start;
[0192]結(jié)束時(shí)刻=LastRecord.frameld ；
[0193]擊出該高分的球員=LastRecord.turn。
[0194](4-1-4)防守大戰(zhàn)事件檢測
[0195]防守大戰(zhàn)事件通過雙方在一段時(shí)間內(nèi)(如5分鐘)未能得分(犯規(guī)造成的對方比分增加除外)、擊球權(quán)不斷交換這一特征來進(jìn)行判斷，檢測算法步驟如下:
[0196]步驟1:判斷比分記錄的總條數(shù)是否小于2，若小于2，則退出算法；否則繼續(xù)下一步。
[0197]步驟2:設(shè)置防守大戰(zhàn)的時(shí)間長度閾值Threshold，大于該長度的防守過程才被記錄為防守大戰(zhàn)事件，初始化事件開始時(shí)刻Start，并初始化一條空的比分記錄FormerRecord0
[0198]步驟3:從完整比分序列中取出下一條比分記錄Record，如已無記錄可取，則防守大戰(zhàn)檢測結(jié)束，退出算法；否則根據(jù)以下情況進(jìn)行處理:
[0199]如果Record 是第一條記錄，則 Start = Record, frameld，F(xiàn)ormerRecord =Record，轉(zhuǎn) 0 ;
[0200]如果Record 中局分與 FormerRecord 相比發(fā)生變化，則 Start = Record, frameld，F(xiàn)ormerRecord = Record，車專 0 ；
[0201]如果Reocrd中比分與FormerRecord相比未變化，而擊球權(quán)交換，說明處于防守中，F(xiàn)ormerRecord = Record，轉(zhuǎn) O ；
[0202]如果Record相較上一記錄比分變化且擊球權(quán)變化，這時(shí)通過犯規(guī)事件的檢測方法判斷是否有球員犯規(guī)，若出現(xiàn)犯規(guī)，貝1J仍處于防守大戰(zhàn)中，F(xiàn)ormerRecord = Record，轉(zhuǎn)O ;若沒有球員犯規(guī)，說明是正常得分，防守大戰(zhàn)結(jié)束，判斷這時(shí)Record, frameld與Start之差對應(yīng)的時(shí)間是否大于5分鐘，若滿足，則按以下規(guī)則新建犯規(guī)事件:
[0203]開始時(shí)刻=Start；
[0204]結(jié)束時(shí)刻=FormerRecord.frameldo
[0205]保存事件后，Start= Record, frameld，F(xiàn)ormerRecord = Record，轉(zhuǎn) 0 ;
[0206]如果Record與FormerRecord比分不同，但未交換擊球權(quán)，說明是正常得分，防守大戰(zhàn)結(jié)束，判斷這時(shí)Record, frameld與Start之差對應(yīng)的時(shí)間是否大于5分鐘，若滿足，貝Ij按以下規(guī)則新建犯規(guī)事件:
[0207]開始時(shí)刻=Start；
[0208]結(jié)束時(shí)刻=FormerRecord.frameld ;
[0209]保存事件后，Start= Record, frameld，F(xiàn)ormerRecord = Record，轉(zhuǎn) O0
[0210](4-1-5)長考事件檢測
[0211]長考事件(球員陷入長時(shí)間思考的狀態(tài))依據(jù)比分條信息序列中處于同一局范圍內(nèi)相鄰記錄的時(shí)間間隔來判定，該時(shí)間間隔就是球員當(dāng)時(shí)擊球所用的時(shí)間，這里將擊球時(shí)間大于80秒的情況判定為長考事件，長考事件的開始時(shí)刻與結(jié)束時(shí)刻分別對應(yīng)于擊球前后的比分條記錄的時(shí)刻，長考事件涉及的球員就是前一條比分條記錄中正在擊球的球員。
[0212](4-2)推斷回放鏡頭的事件類型
[0213]本步驟使用以下步驟推斷回放鏡頭所屬的事件類型:
[0214]步驟1:根據(jù)該回放鏡頭的開始時(shí)刻與結(jié)束時(shí)刻，檢查該時(shí)間范圍是否在已經(jīng)檢測到的局事件范圍內(nèi)，若在范圍內(nèi)則繼續(xù)步驟2 ;否則忽略該回放鏡頭。
[0215]步驟2:確定回放鏡頭的開始時(shí)刻對應(yīng)的視頻幀號η。
[0216]步驟3:在比分序列中找到η之后的一條記錄，記為LatterRecord。
[0217]步驟4:找到LatterRecord的前一條比分記錄，記為FormerRecord。
[0218]步驟5:根據(jù)FormerRecord與LatterRecord判定事件類型和涉及的球員:若為得分，則事件類型是精彩進(jìn)球；若失誤或安全球，則將其作為臨時(shí)事件暫時(shí)予以記錄；若犯規(guī)，則忽略。
[0219](4-3)結(jié)合音頻分類結(jié)果與其他兩個(gè)模態(tài)的信息進(jìn)行事件檢測
[0220]在每個(gè)局事件時(shí)間范圍內(nèi)，分別從每局球的開始時(shí)刻開始遍歷音頻特征序列，對遇到的各種不同的音頻類型分別進(jìn)行事件的判定。根據(jù)音頻信息的出現(xiàn)時(shí)刻確定更新前后的比分記錄并判斷事件類型的過程如下:
[0221]步驟1:將以秒為單位的音頻特征出現(xiàn)時(shí)刻轉(zhuǎn)換為視頻對應(yīng)的幀號η。
[0222]步驟2:在比分序列中找到兩條比分記錄(Recordl、Record2)，分別使它們的幀號滿足 Recordl.frameNum η Record2.frameNum0
[0223]步驟3:如果 Recordl.frameNum = = n，則 LatterRecord = Recordl，轉(zhuǎn)步驟 7。
[0224]步驟4:如果 Record2.frameNum = = n，則 LatterRecord = Record2，轉(zhuǎn)步驟 7。
[0225]步驟5:Recordl.frameNum<n<Record2.frameNum,分別計(jì)算 η 與前后兩個(gè)比分序列之間的距離dl、d2。
[0226]步驟6:如果dl〈d2且dl對應(yīng)的秒數(shù)小于2秒，貝丨J LatterRecord = rl，否貝丨JLatterRecord = Record2。
[0227]步驟1:找到 LatterRecord 的前一條比分記錄 FormerRecord。
[0228]步驟8:根據(jù)FormerRecord與LatterRecord判定事件類型(得分、犯規(guī)、“失誤或安全球”)。如果音頻類型為掌聲，統(tǒng)計(jì)掌聲的持續(xù)時(shí)間。長度小于3秒的掌聲常常是誤檢的結(jié)果，予以忽略；對于長度大于或等于3秒的情況，將掌聲的時(shí)長(單位為秒)作為該事件的精彩度評分。對于掌聲，前面檢測出的事件類型一定只有兩種情況:得分和“失誤或安全球”。如果是得分，那么可以得到精彩進(jìn)球事件；如果是“失誤或安全球”，則斷定該事件一定是精彩安全球。精彩進(jìn)球事件與精彩安全球事件的開始與結(jié)束時(shí)刻設(shè)為掌聲的開始時(shí)刻前10秒至后2秒。當(dāng)音頻類型是嘆息聲時(shí)，通過前后比分的變化檢測出的事件類型如果是“失誤或安全球”，則事件類型一定是失誤，其開始時(shí)刻與結(jié)束時(shí)刻取為嘆息聲開始時(shí)刻的前10秒至后2秒。笑聲是一類特殊的音頻信息，笑聲的出現(xiàn)預(yù)示著有趣的事件。同樣，為了降低誤檢率，只對持續(xù)時(shí)間大于或等于3秒的笑聲進(jìn)行處理。由于斯諾克比賽中的笑聲并不一定是由球員擊球所引起，所以沒必要結(jié)合比分條記錄進(jìn)行事件判定，可以直接取笑聲開始時(shí)刻的前10秒至后2秒作為有趣事件列入本系統(tǒng)最終檢測出的事件之一。
[0229] 步驟9:對于每個(gè)“失誤或安全球”事件，將事件開始時(shí)刻的前5秒至事件的結(jié)束時(shí)刻作為音頻特征檢查的范圍，在該范圍內(nèi)，如果出現(xiàn)了掌聲(長度在3秒及以上)，則該事件的類型一定是安全球；若沒有出現(xiàn)掌聲，那么該事件就歸為失誤事件。
【主權(quán)項(xiàng)】
1.一種斯諾克比賽視頻事件檢測與語義標(biāo)注方法，其特征在于，所述斯諾克比賽視頻包括全臺面鏡頭、音頻，所述全臺面鏡頭中包括比分條信息，包括以下步驟: (1)對斯諾克比賽視頻中的比分條信息進(jìn)行提取，具體包括以下子步驟: (1-1)對所述全臺面鏡頭進(jìn)行檢測； (1-2)根據(jù)比分條的位置特點(diǎn)及文字的邊緣特征確定出比分條的精確位置； (1-3)根據(jù)比分條區(qū)域圖像的灰度之差對當(dāng)前擊球球員指示符進(jìn)行定位； (1-4)利用比分條與當(dāng)前擊球球員指示符的位置信息，進(jìn)一步分割出比分條中的各個(gè)信息字段，其包括局?jǐn)?shù)、參賽者姓名以及比分； (1-5)使用光學(xué)字符識別技術(shù)對分割出的信息字段進(jìn)行文字識別； (1-6)針對識別過程中球員名可能出現(xiàn)的錯(cuò)誤，將識別結(jié)果與官方球員數(shù)據(jù)庫進(jìn)行模糊匹配，以獲得準(zhǔn)確的球員名； (2)通過使用隱馬爾可夫模型對正式對局過程中的音頻流進(jìn)行音頻分類，定位出掌聲、笑聲和嘆息聲三類對事件檢測有價(jià)值的音頻類型； (3)使用回放鏡頭檢測算法進(jìn)行回放鏡頭的檢測； (4)通過所述文字識別的文字、音頻、視頻三種模態(tài)信息的融合，對各類語義事件進(jìn)行檢測及標(biāo)注。2.如權(quán)利要求1所述的方法，其特征在于，所述步驟(4)具體包括以下步驟: (4-1)從比分條信息變化序列推斷事件； (4-2)根據(jù)比分條信息序列推斷回放鏡頭的事件類型； (4-3)結(jié)合音頻分類結(jié)果與其他兩個(gè)模態(tài)的信息檢測事件。
【專利摘要】本發(fā)明公開一種斯諾克比賽視頻事件檢測與語義標(biāo)注方法，包括：全臺面鏡頭的檢測；比分條信息提取；利用隱馬爾可夫模型進(jìn)行音頻分類；對回放鏡頭進(jìn)行檢測；融合多模態(tài)的信息并結(jié)合斯諾克的領(lǐng)域知識實(shí)現(xiàn)斯諾克比賽視頻的事件檢測與語義標(biāo)注。本發(fā)明方法融合視頻內(nèi)在的多種模態(tài)信息，實(shí)現(xiàn)了斯諾克比賽視頻內(nèi)容的事件檢測與語義標(biāo)注，為建立基于語義的視頻索引打下堅(jiān)實(shí)的基礎(chǔ)。
【IPC分類】G06F17/30
【公開號】CN105183849
【申請?zhí)枴緾N201510564255
【發(fā)明人】于俊清, 黃易欣, 何云峰
【申請人】華中科技大學(xué)
【公開日】2015年12月23日
【申請日】2015年9月6日