所述，并且根據(jù)以下詳細(xì)說明將更清楚地理解本發(fā)明能夠?qū)崿F(xiàn)的上述和其他目的。
【附圖說明】
[0038]參照以下附圖，將更好地理解本發(fā)明的許多方面。附圖中：
[0039] 圖1為本發(fā)明實(shí)施例中基于視頻進(jìn)行籃球進(jìn)球檢測(cè)的方法示意圖；
[0040] 圖2為本發(fā)明的遞歸卷積神經(jīng)網(wǎng)絡(luò)的示意圖；
[0041 ]圖3為本發(fā)明的遞歸卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖；
[0042] 圖4為本發(fā)明實(shí)施例中訓(xùn)練遞歸卷積神經(jīng)網(wǎng)絡(luò)的流程圖；
[0043] 圖5為本發(fā)明實(shí)施例中檢測(cè)是否進(jìn)球的過程的流程圖；
[0044] 圖6為本發(fā)明的偵彳視結(jié)果接收機(jī)測(cè)試曲線(R0C)圖；以及
[0045] 圖7為本發(fā)明實(shí)施例中基于視頻的籃球進(jìn)球檢測(cè)裝置的示例性框圖。
【具體實(shí)施方式】
[0046] 下面，對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說明。這些優(yōu)選實(shí)施方式的示例在附圖 中進(jìn)行了例示。附圖中所示和根據(jù)附圖描述的本發(fā)明的實(shí)施方式僅僅是示例性的，并且本 發(fā)明的技術(shù)精神及其主要操作不限于這些實(shí)施方式。
[0047] 在此，還需要說明的是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅 示出了與根據(jù)本發(fā)明的方案密切相關(guān)的結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大 的其他細(xì)節(jié)。
[0048] 機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)重要的分支學(xué)科。近年來，隨著機(jī)器學(xué)習(xí)中的一 個(gè)分支一一神經(jīng)網(wǎng)絡(luò)的迅速崛起，神經(jīng)網(wǎng)絡(luò)中的很多模型已經(jīng)成功的應(yīng)用到了多個(gè)領(lǐng)域， 其中，卷積神經(jīng)網(wǎng)絡(luò)成功的應(yīng)用于計(jì)算機(jī)視覺的相關(guān)方面，比如人臉識(shí)別，行人檢測(cè)等，取 得了令人驚艷的效果，遞歸神經(jīng)網(wǎng)絡(luò)也成功的應(yīng)用于語(yǔ)音識(shí)別領(lǐng)域，有效的提升了識(shí)別的 準(zhǔn)確率。
[0049] 在本發(fā)明中，是利用卷積神經(jīng)網(wǎng)絡(luò)來基于視頻進(jìn)行籃球進(jìn)球檢測(cè)。
[0050] 本發(fā)明的基于視頻的籃球進(jìn)球檢測(cè)方法是基于以下構(gòu)思來實(shí)現(xiàn):首先從籃球視頻 提取出圖片并對(duì)圖片標(biāo)記有目標(biāo)信息和時(shí)序信息，以構(gòu)建樣本庫(kù)(其中目標(biāo)信息可以是用 于標(biāo)識(shí)是否進(jìn)球的進(jìn)球標(biāo)識(shí)信息），接著構(gòu)造遞歸卷積神經(jīng)網(wǎng)絡(luò)，然后使用樣本庫(kù)對(duì)遞歸卷 積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后使用訓(xùn)練完成后的遞歸卷積神經(jīng)網(wǎng)絡(luò)處理籃球視頻，根據(jù)遞歸 卷積神經(jīng)網(wǎng)絡(luò)的輸出向量判斷當(dāng)前時(shí)刻視頻中是否有出現(xiàn)進(jìn)球。本發(fā)明中構(gòu)建樣本庫(kù)和構(gòu) 建遞歸卷積神經(jīng)網(wǎng)絡(luò)的先后順序并無(wú)限制。
[0051] 具體地，如圖1所示，本發(fā)明的基于視頻的籃球進(jìn)球檢測(cè)包括以下步驟：
[0052] 步驟S130,構(gòu)建籃球視頻的圖片庫(kù)樣本集，該圖片庫(kù)中的圖片具有標(biāo)簽，該標(biāo)簽可 包括時(shí)序信息和進(jìn)球標(biāo)識(shí)信息。
[0053]具體地，可從若干籃球視頻中提取出每一幀圖像，針對(duì)某一個(gè)視頻的所有幀圖像， 可標(biāo)記對(duì)應(yīng)的時(shí)序信息，根據(jù)當(dāng)前圖像幀中是否出現(xiàn)了進(jìn)球，可用進(jìn)球標(biāo)識(shí)信息分別標(biāo)記 為進(jìn)球圖片和非進(jìn)球圖片，在圖像中添加時(shí)序信息和進(jìn)球標(biāo)識(shí)信息可以手動(dòng)進(jìn)行，此外，時(shí) 序信息也可以為幀圖像中自動(dòng)生成的時(shí)間標(biāo)簽。通過劃定籃筐位置，截取出預(yù)定大小的彩 色圖像塊(例如大小為32*40像素的彩色圖像塊，本發(fā)明并不限于此），針對(duì)進(jìn)球圖片的進(jìn)球 標(biāo)識(shí)可以為正，針對(duì)非進(jìn)球圖片的進(jìn)球標(biāo)識(shí)可以為負(fù)。根據(jù)時(shí)序信息，對(duì)得到的進(jìn)球圖片和 非進(jìn)球圖片進(jìn)行組合，時(shí)序上相鄰的并且擁有同樣進(jìn)球標(biāo)識(shí)的兩個(gè)彩色圖像塊組成單個(gè)訓(xùn) 練樣本，組成單個(gè)訓(xùn)練樣本是指將兩個(gè)彩色圖像塊分成前一幀和后一幀保存。最終可得到 預(yù)定數(shù)量比例的進(jìn)球樣本集合和非進(jìn)球樣本集合，例如得到數(shù)量大致為1比50的正樣本集 合和負(fù)樣本集合，其中，正樣本集合是指所有正樣本的集合，每個(gè)正樣本中包含兩個(gè)彩色圖 像塊，分為前一幀和后一幀，這兩幀分別是從時(shí)序上相鄰的進(jìn)球圖片中截取出來的，正樣本 的數(shù)量可大致接近900,而負(fù)樣本是指所有負(fù)樣本的集合，每個(gè)負(fù)樣本包含兩個(gè)彩色圖像 塊，分為前一幀和后一幀，這兩幀是從時(shí)序上相鄰的非進(jìn)球圖片中截取出來的，負(fù)樣本的數(shù) 量可大致接近44000。在此，900和44000的樣本數(shù)量?jī)H為示例，并非用于限制本發(fā)明。
[0054] 步驟SI 10，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的遞歸卷積神經(jīng)網(wǎng)絡(luò)模型。 [0055] 構(gòu)建的遞歸卷積神經(jīng)網(wǎng)絡(luò)可以包括6個(gè)串行的卷積神經(jīng)網(wǎng)絡(luò)層，包括:兩個(gè)遞歸卷 積層，兩個(gè)池化層，一個(gè)全連接層和一個(gè)softmax回歸層。其中，前后兩個(gè)時(shí)序的向神經(jīng)網(wǎng)絡(luò) 的輸入是連續(xù)前后兩幀32*40像素的三通道彩色圖像(如RGB彩色圖像）。遞歸卷積層RC1有 10張?zhí)卣鲌D，池化層M2有10張?zhí)卣鲌D，遞歸卷積層RC3有30張?zhí)卣鲌D，池化層M4有30張?zhí)卣?圖，全連接層F5的輸入為前后兩個(gè)時(shí)序的池化層M4的輸出，有30個(gè)節(jié)點(diǎn)，輸出層L6有2個(gè)節(jié) 點(diǎn)。原始圖像作為第一個(gè)遞歸卷積層RC1的輸入，第一個(gè)遞歸卷積層RC1的輸出為10張?zhí)卣?圖，這10張?zhí)卣鲌D作為第一個(gè)池化層M2的輸入，池化層M2的輸入也為10張?zhí)卣鲌D，其作為第 二個(gè)遞歸卷積層RC3的輸入，第二個(gè)遞歸卷積層RC3的輸出為30張?zhí)卣鲌D，其作為第二個(gè)池 化層M4的輸入，第二個(gè)池化層M4的輸出也為30張?zhí)卣鲌D，其展開成向量形式作為全連接層 F5的輸入，全連接層F5輸出一個(gè)30維的向量，其作為sof tmax回歸層L6的輸入，sof tmax層L6 的輸出為2維向量，其分別代表了該原始圖像是進(jìn)球或者未進(jìn)球的概率。其中遞歸卷積層起 到提取特征的作用，它是通過濾波器在輸入上進(jìn)行滑動(dòng)卷積，從而提取輸入的特征，其本質(zhì) 上是濾波器起到了提取特征的作用，其中，濾波器指的是一個(gè)固定大小的矩陣，該矩陣對(duì)輸 入卷積層的圖像以從左到右、從上到下的次序，每次滑動(dòng)若干像素，進(jìn)行卷積，其中，卷積指 的是將相同大小的濾波器和圖像上的圖像塊中的每個(gè)對(duì)應(yīng)位置的像素值相乘之后進(jìn)行求 和，將該和值輸入一個(gè)非線性函數(shù)(如tanh函數(shù)），將輸出作為卷積圖像中的一個(gè)像素點(diǎn)的 值，完成整張輸入圖像的卷積并且按像素計(jì)算tanh函數(shù)的過程，稱為提取特征過程。池化層 能通過選取特征值的局部最大值的方式，不僅能減少特征維度，還能保持對(duì)輸入的微小變 形魯棒。全連接層能將多個(gè)特征圖的特征進(jìn)行匯合，從而得到原始圖像的整體特征。輸出層 利用全連接層的輸出特征計(jì)算進(jìn)球與非進(jìn)球的可能性。
[0056]本發(fā)明中，采用6層的卷積神經(jīng)網(wǎng)絡(luò)是綜合考慮要達(dá)到的進(jìn)球檢測(cè)精度和計(jì)算復(fù) 雜度而選擇的，本發(fā)明并不限于此，也可以選擇更多層或更少的層。
[0057]如圖2所示為本發(fā)明單條卷積神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)圖，其中該單條卷積神經(jīng)網(wǎng)絡(luò)的第 一個(gè)遞歸卷積層RC1下面的（10,3,5,9)表示輸入的特征圖的數(shù)量為3張，輸出的特征圖的數(shù) 量為10張，輸出特征圖所需的10個(gè)濾波器(一般輸出幾張?zhí)卣鲌D就需要幾個(gè)濾波器)中每個(gè) 濾波器的尺寸為5*9,其中，濾波器的尺寸是指用于卷積計(jì)算的矩陣塊大小。第一個(gè)池化層 M2下面的（2,2)表示使用的池化層M2的濾波器尺寸為2*2。第二個(gè)遞歸卷積層RC2下面的 (30，10,5,5)表示輸入的特征圖的數(shù)量為10張，輸出的特征圖的數(shù)量為30張，濾波器的尺寸 為5*5。第二個(gè)池化層M4下面的（2,2)表示使用的池化層的濾波器尺寸為2*2。全連接層F5下 面的（2700，1)表示F5的尺寸為2700*1 ^of tmax層下面的（2，1)表示該層的尺寸為2*1。 [0058]如圖3所示為本發(fā)明的遞歸卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)圖，其包含三層并行的卷積神經(jīng) 網(wǎng)絡(luò)，每層卷積神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)如圖2所示，三層之間加入循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)連接步驟時(shí) 序關(guān)系，過程為:將前一個(gè)時(shí)序的遞歸卷積層的輸出作為下