一種基于視頻的籃球進(jìn)球檢測方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻檢測技術(shù)，更具體地涉及一種基于視頻的籃球進(jìn)球檢測方法和裝 置。
【背景技術(shù)】
[0002] 隨著科學(xué)技術(shù)的急速發(fā)展，過往只有專業(yè)攝像機(jī)能拍攝的視頻，如今用隨身攜帶 的智能手機(jī)也可以完成，基于此，近些年上傳到網(wǎng)絡(luò)上的各種類型的視頻呈現(xiàn)井噴的狀態(tài)， 而伴隨著互聯(lián)網(wǎng)技術(shù)和數(shù)字媒體技術(shù)的不斷發(fā)展，如何針對某個特定類型的視頻進(jìn)行分析 逐漸成為研究的熱點(diǎn)。
[0003] 現(xiàn)今網(wǎng)絡(luò)上存有大量的體育類視頻，其中很大一部分是籃球視頻，針對籃球視頻 有一些研究展開，但多數(shù)集中在球員檢測或者球場事件分析，比如對球員或者球場的觀眾 進(jìn)行分析，而針對籃球視頻中的進(jìn)球檢測則很少，很大一部分原因是因為籃球視頻中的進(jìn) 球是一個連續(xù)動態(tài)的過程，而不像球員檢測或者觀眾分析，是一個相對靜態(tài)的過程。
[0004] 如何準(zhǔn)確地針對籃球視頻進(jìn)行進(jìn)球檢測是一個有待解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0005] 鑒于此，本發(fā)明的一個目的是提供一種基于視頻的籃球進(jìn)球檢測方法和裝置，以 基本上消除因現(xiàn)有技術(shù)的局限性和缺點(diǎn)而造成的一個或更多個問題。
[0006] 為了實現(xiàn)本發(fā)明的目的，在本發(fā)明的一方面，提供了一種基于視頻的籃球進(jìn)球檢 測方法，該方法包括以下步驟：
[0007] 構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的遞歸卷積神經(jīng)網(wǎng)絡(luò)模型；
[0008] 構(gòu)建籃球視頻的圖片庫樣本集，所述圖片庫中的圖片具有標(biāo)簽，所述標(biāo)簽包括時 序信息和進(jìn)球標(biāo)識信息；
[0009] 基于所述樣本集對所述遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；
[0010] 從處理待檢測的籃球視頻中提取圖像，使用訓(xùn)練后的遞歸卷積神經(jīng)網(wǎng)絡(luò)模型處理 提取出的圖像，得到輸出向量；
[0011] 根據(jù)遞歸卷積神經(jīng)網(wǎng)絡(luò)的輸出向量來判斷當(dāng)前籃球視頻中是否出現(xiàn)了進(jìn)球。
[0012] 進(jìn)一步地，構(gòu)建籃球視頻的圖片庫樣本集的步驟可包括:從籃球視頻中提取出每 一幀圖像，分類為進(jìn)球圖片或非進(jìn)球圖片并在圖片中添加標(biāo)簽;在圖片中劃定籃筐位置，截 取出預(yù)定大小的彩色圖像塊，時序上相鄰并具有同樣的進(jìn)球標(biāo)識信息的兩個彩色圖像塊組 成單個樣本，從而基于從籃球視頻中提取出的幀圖像得到預(yù)定比例的進(jìn)球樣本集合和非進(jìn) 球樣本集合。
[0013] 進(jìn)一步地，所述遞歸卷積神經(jīng)網(wǎng)絡(luò)模型包括三層并行的遞歸卷積神經(jīng)網(wǎng)絡(luò)，每層 并行的遞歸卷積神經(jīng)網(wǎng)絡(luò)包括6個串行的卷積神經(jīng)網(wǎng)絡(luò)層，該6個串行的卷積神經(jīng)網(wǎng)絡(luò)層依 序包括:第一遞歸卷積層、第一池化層、第二遞歸卷積層、第二池化層、全連接層和輸出層， 所述三層并行遞歸卷積神經(jīng)網(wǎng)絡(luò)共用全連接層和輸出層，所述三層并行遞歸卷積神經(jīng)網(wǎng)絡(luò) 中的第一、二層并行遞歸卷積神經(jīng)網(wǎng)絡(luò)的輸入為樣本中前一時序的彩色圖像，第三層并行 遞歸卷積神經(jīng)網(wǎng)絡(luò)的輸入為樣本中后一時序的彩色圖像，并且前一層并行遞歸卷積神經(jīng)網(wǎng) 絡(luò)中各卷積神經(jīng)網(wǎng)絡(luò)層的輸出作為后一層并行遞歸卷積神經(jīng)網(wǎng)絡(luò)中相應(yīng)卷積神經(jīng)網(wǎng)絡(luò)層 的部分輸入。
[0014] 進(jìn)一步地，所述第一遞歸卷積層有10張?zhí)卣鲌D，所述第一池化層有10張?zhí)卣鲌D，所 述第二遞歸卷積層有30張?zhí)卣鲌D，所述第二池化層有30張?zhí)卣鲌D，所述第一遞歸卷積層的 輸出為所述第一池化層的輸入，所述第一池化層的輸出為所述第二遞歸卷積層的輸入，所 述第二遞歸卷積層的輸出為所述第二池化層的輸入，并行的前后兩個時序的第二池化層的 輸出為所述全連接層的輸入，所述全連接層有30個節(jié)點(diǎn)，所述輸出層有2個節(jié)點(diǎn)。
[0015] 進(jìn)一步地，基于所述樣本集對所述遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟可包 括:將樣本集當(dāng)中的進(jìn)球樣本和非進(jìn)球樣本輸入到所述遞歸卷積神經(jīng)網(wǎng)絡(luò)中，采用負(fù)對數(shù) 似然作為損失函數(shù)，利用隨時間展開的反向傳播算法，來優(yōu)化所述遞歸卷積神經(jīng)網(wǎng)絡(luò)，使得 所述損失函數(shù)的值越來越小，從而完成遞歸卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。
[0016] 進(jìn)一步地，基于所述樣本集對所述遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟可包括 以下步驟：
[0017] A.對所述遞歸卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，其中，記單個神經(jīng)元的扇出和扇入數(shù)分 別為€&11。^和€&11111，則卷積神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元的初始化權(quán)值以在區(qū)間
均勻分布的形式產(chǎn)生，遞歸神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元 的初始化權(quán)值以在區(qū)間[-0. 1，0. 1 ]均勻分布的形式產(chǎn)生；
[0018] B.將樣本集當(dāng)中的進(jìn)球樣本和非進(jìn)球樣本輸入到初始化后的遞歸卷積神經(jīng)網(wǎng)絡(luò)， 得到遞歸卷積神經(jīng)網(wǎng)絡(luò)的實際輸出；
[0019] C.使用負(fù)對數(shù)似然損失函數(shù)，利用反向傳播算法計算網(wǎng)絡(luò)連接權(quán)重的梯度，利用 梯度對權(quán)重優(yōu)化所述遞歸卷積神經(jīng)網(wǎng)絡(luò)，使得損失函數(shù)的值越來越小，從而完成遞歸卷積 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。
[0020] 所述負(fù)對數(shù)似然損失函數(shù)為：
[0022] 其中，Θ是指當(dāng)前神經(jīng)網(wǎng)絡(luò)的參數(shù)，D是指當(dāng)前的樣本集合，包括進(jìn)球樣本集合和非 進(jìn)球樣本集合，ID |是指當(dāng)前樣本集合的大小，P(Y = y(1) | x(1)，Θ)是指樣本在當(dāng)前參數(shù)Θ下以 及在給定輸入X(1)的情況下輸出y (1)的概率，log表示對數(shù)運(yùn)算；
[0023] 所述輸出層所用的公式為：
[0025]其中，X是指輸入向量，χτ是指該輸入向量的轉(zhuǎn)置，Θ是指輸出層的參數(shù)，K是指當(dāng)前 輸出層有幾類輸出，P(y = j IX)表示給定當(dāng)前輸入X，輸出y的概率。
[0026]進(jìn)一步得，從處理待檢測的籃球視頻中提取圖像，使用訓(xùn)練后的遞歸卷積神經(jīng)網(wǎng) 絡(luò)模型處理提取出的圖像的步驟可包括：
[0027] D.在籃球視頻中劃定待檢測的區(qū)域，將視頻中待檢測區(qū)域提取成每幀圖像；
[0028] E.將圖像按照連續(xù)數(shù)據(jù)流的形式輸入訓(xùn)練好的遞歸卷積神經(jīng)網(wǎng)絡(luò)，逐層計算直到 輸出層；
[0029] F.在輸出層得到進(jìn)球和不進(jìn)球的概率，如果進(jìn)球的概率大于不進(jìn)球的概率，則判 斷當(dāng)前視頻中出現(xiàn)進(jìn)球，否則，判斷當(dāng)前視頻中沒有出現(xiàn)進(jìn)球。
[0030] 根據(jù)另一方面，還提供了一種基于視頻的籃球進(jìn)球檢測裝置，該裝置包括：
[0031] 該裝置包括訓(xùn)練樣本獲取模塊、遞歸卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊以及進(jìn)球檢測模塊， 其中：
[0032] 所述訓(xùn)練樣本獲取模塊構(gòu)建籃球視頻的圖片庫樣本集，所述圖片庫中的圖片具有 標(biāo)簽，所述標(biāo)簽包括時序信息和進(jìn)球標(biāo)識信息；
[0033] 所述遞歸卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的遞歸 卷積神經(jīng)網(wǎng)絡(luò)模型，并基于所述樣本集對所述遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練;并且
[0034] 所述進(jìn)球檢測模塊從處理待檢測的籃球視頻中提取圖像，使用訓(xùn)練后的遞歸卷積 神經(jīng)網(wǎng)絡(luò)模型處理提取出的圖像，得到輸出向量，并根據(jù)遞歸卷積神經(jīng)網(wǎng)絡(luò)的輸出向量來 判斷當(dāng)前籃球視頻中是否出現(xiàn)了進(jìn)球。
[0035] 根據(jù)本發(fā)明的實施方式，能夠基于視頻準(zhǔn)確地檢測籃球是否進(jìn)球。
[0036] 本發(fā)明的附加優(yōu)點(diǎn)、目的，以及特征將在下面的描述中將部分地加以闡述，且將對 于本領(lǐng)域普通技術(shù)人員在研究下文后部分地變得明顯，或者可以根據(jù)本發(fā)明的實踐而獲 知。本發(fā)明的目的和其它優(yōu)點(diǎn)可以通過在書面說明及其權(quán)利要求書以及附圖中具體指出的 結(jié)構(gòu)實現(xiàn)到并獲得。
[0037] 本領(lǐng)域技術(shù)人員將會理解的是，能夠用本發(fā)明實現(xiàn)的目的和優(yōu)點(diǎn)不限于以上具體