本技術(shù)涉及圖像處理，應(yīng)用于運(yùn)動(dòng)員技術(shù)動(dòng)作打分場(chǎng)景中，尤其涉及一種視頻動(dòng)作評(píng)分方法、裝置、設(shè)備及其存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、準(zhǔn)確追蹤行為發(fā)生期間的身體運(yùn)動(dòng)部位是運(yùn)動(dòng)科學(xué)的一項(xiàng)重要內(nèi)容。但是，目前主要研究方向是在研究對(duì)象身體的預(yù)定點(diǎn)上放置標(biāo)記物，但是標(biāo)記物可能會(huì)干擾研究目標(biāo)的行為，而且適合的運(yùn)動(dòng)類型非常有限。運(yùn)動(dòng)捕捉一直是對(duì)運(yùn)動(dòng)員表現(xiàn)進(jìn)行分析的關(guān)鍵一環(huán)。

2、由于運(yùn)動(dòng)捕捉成本消耗較大，因此，目前的運(yùn)動(dòng)比賽打分方式還嚴(yán)重依賴于人工評(píng)分的方式，這種人工評(píng)分方式極易引入個(gè)人評(píng)判因素，既不利于公平評(píng)分，也不夠智能化；而且，對(duì)運(yùn)動(dòng)員表現(xiàn)進(jìn)行分析也依賴于分析人員反復(fù)觀看和標(biāo)注，較為費(fèi)時(shí)費(fèi)力，不夠智能化和科學(xué)化。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提出一種視頻動(dòng)作評(píng)分方法、裝置、設(shè)備及其存儲(chǔ)介質(zhì)，以解決現(xiàn)有的運(yùn)動(dòng)比賽打分方式和對(duì)運(yùn)動(dòng)員表現(xiàn)進(jìn)行分析方式，不夠智能化，不利于公平評(píng)分和費(fèi)時(shí)費(fèi)力的問題。

2、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例提供視頻動(dòng)作評(píng)分方法，采用了如下所述的技術(shù)方案：

3、一種視頻動(dòng)作評(píng)分方法，包括下述步驟：

4、獲取目標(biāo)視頻；

5、將所述目標(biāo)視頻輸入到預(yù)訓(xùn)練完成的第一切分處理模型，獲得所述第一切分處理模型輸出的第一切分視頻片段；

6、將所述第一切分視頻片段輸入到預(yù)設(shè)的第二切分處理模型，獲得所述第二切分處理模型輸出的時(shí)序化的幀級(jí)切割處理結(jié)果；

7、將所述時(shí)序化的幀級(jí)切割處理結(jié)果輸入到預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型，預(yù)測(cè)每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，獲得預(yù)測(cè)結(jié)果；

8、根據(jù)所述預(yù)測(cè)結(jié)果，統(tǒng)計(jì)所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率；

9、基于所述所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率和預(yù)設(shè)的評(píng)分公式，對(duì)所述目標(biāo)視頻進(jìn)行評(píng)分，獲得評(píng)分結(jié)果。

10、進(jìn)一步的，在執(zhí)行所述將所述目標(biāo)視頻輸入到預(yù)訓(xùn)練完成的第一切分處理模型，獲得所述第一切分處理模型輸出的第一切分視頻片段的步驟之前，所述方法還包括：

11、獲取與所述目標(biāo)視頻為相同運(yùn)動(dòng)類型的批量運(yùn)動(dòng)視頻，并對(duì)所述批量運(yùn)動(dòng)視頻中每個(gè)運(yùn)動(dòng)視頻分別所包含的視頻級(jí)動(dòng)作標(biāo)簽進(jìn)行標(biāo)注，獲得標(biāo)注結(jié)果；

12、根據(jù)人工經(jīng)驗(yàn)預(yù)先設(shè)置所述運(yùn)動(dòng)類型中的所有視頻級(jí)動(dòng)作標(biāo)簽以及每個(gè)視頻級(jí)動(dòng)作標(biāo)簽分別對(duì)應(yīng)的標(biāo)準(zhǔn)視頻片段；

13、將所述運(yùn)動(dòng)類型中的所有視頻級(jí)動(dòng)作標(biāo)簽以及每個(gè)視頻級(jí)動(dòng)作標(biāo)簽分別對(duì)應(yīng)的標(biāo)準(zhǔn)視頻片段作為切分參考樣本部署到待訓(xùn)練的第一切分處理模型中，獲得切分參考樣本部署完成的待訓(xùn)練第一切分處理模型；

14、將所述批量運(yùn)動(dòng)視頻輸入到所述切分參考樣本部署完成的待訓(xùn)練第一切分處理模型中，對(duì)所述第一切分處理模型進(jìn)行切分處理訓(xùn)練，獲得預(yù)訓(xùn)練完成的第一切分處理模型。

15、進(jìn)一步的，所述將所述批量運(yùn)動(dòng)視頻輸入到所述切分參考樣本部署完成的待訓(xùn)練第一切分處理模型中，對(duì)所述第一切分處理模型進(jìn)行切分處理訓(xùn)練，獲得預(yù)訓(xùn)練完成的第一切分處理模型的步驟，具體包括：

16、步驟401，獲得所述第一切分處理模型根據(jù)所述批量運(yùn)動(dòng)視頻所輸出的所有視頻級(jí)動(dòng)作標(biāo)簽，以及每個(gè)視頻級(jí)動(dòng)作標(biāo)簽分別對(duì)應(yīng)的切分片段，作為預(yù)訓(xùn)練輸出結(jié)果；

17、步驟402，將所述預(yù)訓(xùn)練輸出結(jié)果與所述標(biāo)注結(jié)果進(jìn)行對(duì)比，獲得對(duì)比結(jié)果；

18、步驟403，根據(jù)所述對(duì)比結(jié)果和預(yù)設(shè)的損失函數(shù)，計(jì)算所述預(yù)訓(xùn)練輸出結(jié)果相較于所述標(biāo)注結(jié)果的損失值；

19、步驟404，若所述損失值不滿足預(yù)設(shè)的損失條件，則調(diào)整所述第一切分處理模型的超參數(shù)，并重新執(zhí)行步驟401至步驟403；

20、步驟405，若所述損失值滿足預(yù)設(shè)的損失條件，則所述第一切分處理模型預(yù)訓(xùn)練完成，獲得預(yù)訓(xùn)練完成的第一切分處理模型。

21、進(jìn)一步的，在執(zhí)行所述將所述第一切分視頻片段輸入到預(yù)設(shè)的第二切分處理模型，獲得所述第二切分處理模型輸出的時(shí)序化的幀級(jí)切割處理結(jié)果的步驟之前，所述方法還包括：

22、獲取目標(biāo)配置文件中預(yù)設(shè)的分幀窗口和分幀步長(zhǎng)；

23、將所述分幀窗口和所述分幀步長(zhǎng)作為幀級(jí)切割參數(shù)部署到預(yù)構(gòu)建的第二切分處理模型，獲得幀級(jí)切割參數(shù)部署完成的第二切分處理模型作為所述預(yù)設(shè)的第二切分處理模型；

24、整理所述第一切分處理模型根據(jù)所述批量運(yùn)動(dòng)視頻所輸出的所有切分片段，作為所述預(yù)設(shè)的第二切分處理模型的輸入樣本；

25、將所述輸入樣本輸入到所述預(yù)設(shè)的第二切分處理模型中，獲得所述第二切分處理模型輸出的所述輸入樣本對(duì)應(yīng)的時(shí)序化的幀級(jí)切割處理結(jié)果。

26、進(jìn)一步的，所述整理所述第一切分處理模型根據(jù)所述批量運(yùn)動(dòng)視頻所輸出的所有切分片段，作為所述預(yù)設(shè)的第二切分處理模型的輸入樣本的步驟，具體包括：

27、根據(jù)所述批量運(yùn)動(dòng)視頻的區(qū)別標(biāo)識(shí)信息，從所述所有切分片段中整理出同一視頻分別所包含的切分片段；

28、采用圖像信息提取技術(shù)，對(duì)同一視頻所包含的所有切分片段分別進(jìn)行錄制時(shí)間戳信息提取，獲得錄制時(shí)間戳信息；

29、根據(jù)所述錄制時(shí)間戳信息對(duì)同一視頻所包含的所有切分片段進(jìn)行時(shí)序化整理，獲得時(shí)序化整理后的切分片段；

30、將所述時(shí)序化整理后的切分片段作為所述預(yù)設(shè)的第二切分處理模型的輸入樣本。

31、進(jìn)一步的，在執(zhí)行所述將所述時(shí)序化的幀級(jí)切割處理結(jié)果輸入到預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型，預(yù)測(cè)每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，獲得預(yù)測(cè)結(jié)果的步驟之前，所述方法還包括：

32、根據(jù)人工經(jīng)驗(yàn)預(yù)先設(shè)置所述運(yùn)動(dòng)類型中的所有關(guān)鍵動(dòng)作以及每個(gè)關(guān)鍵動(dòng)作分別對(duì)應(yīng)的示例圖像；

33、將所述運(yùn)動(dòng)類型中的所有關(guān)鍵動(dòng)作以及每個(gè)關(guān)鍵動(dòng)作分別對(duì)應(yīng)的示例圖像作為預(yù)測(cè)參考知識(shí)部署到待訓(xùn)練的幀級(jí)別動(dòng)作預(yù)測(cè)模型中，獲得預(yù)測(cè)參考知識(shí)部署完成的待訓(xùn)練的幀級(jí)別動(dòng)作預(yù)測(cè)模型；

34、整理所述第二切分處理模型輸出的時(shí)序化的幀級(jí)切割處理結(jié)果作為所述待訓(xùn)練的幀級(jí)別動(dòng)作預(yù)測(cè)模型的輸入樣本；

35、將所述輸入樣本輸入到所述待訓(xùn)練的幀級(jí)別動(dòng)作預(yù)測(cè)模型中，對(duì)所述待訓(xùn)練的幀級(jí)別動(dòng)作預(yù)測(cè)模型進(jìn)行學(xué)習(xí)訓(xùn)練，獲得預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型；

36、所述將所述時(shí)序化的幀級(jí)切割處理結(jié)果輸入到預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型，預(yù)測(cè)每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，獲得預(yù)測(cè)結(jié)果的步驟，具體包括：

37、根據(jù)所述運(yùn)動(dòng)類型中的所有關(guān)鍵動(dòng)作以及每個(gè)關(guān)鍵動(dòng)作分別對(duì)應(yīng)的示例圖像，預(yù)測(cè)當(dāng)前幀切割處理結(jié)果分別屬于不同關(guān)鍵動(dòng)作的概率值；

38、對(duì)當(dāng)前幀切割處理結(jié)果分別屬于不同關(guān)鍵動(dòng)作的概率值，進(jìn)行大小關(guān)系比較，篩選出最大概率值時(shí)所對(duì)應(yīng)的關(guān)鍵動(dòng)作作為當(dāng)前幀切割處理結(jié)果對(duì)應(yīng)的關(guān)鍵動(dòng)作；

39、獲取每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，作為所述預(yù)測(cè)結(jié)果。

40、進(jìn)一步的，所述根據(jù)所述預(yù)測(cè)結(jié)果，統(tǒng)計(jì)所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率的步驟，具體包括：

41、根據(jù)所述預(yù)測(cè)結(jié)果，獲得所有關(guān)鍵動(dòng)作分別對(duì)應(yīng)的幀切割處理結(jié)果；

42、基于所有關(guān)鍵動(dòng)作分別對(duì)應(yīng)的幀切割處理結(jié)果，統(tǒng)計(jì)所有關(guān)鍵動(dòng)作分別對(duì)應(yīng)的切割圖像數(shù)量以及所有關(guān)鍵動(dòng)作所對(duì)應(yīng)的切割圖像總數(shù)量；

43、根據(jù)所有關(guān)鍵動(dòng)作分別對(duì)應(yīng)的切割圖像數(shù)量以及所有關(guān)鍵動(dòng)作所對(duì)應(yīng)的切割圖像總數(shù)量，進(jìn)行比例值計(jì)算，獲得所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率；

44、所述基于所述所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率和預(yù)設(shè)的評(píng)分公式，對(duì)所述目標(biāo)視頻進(jìn)行評(píng)分，獲得評(píng)分結(jié)果的步驟，具體包括：

45、采用所述預(yù)設(shè)的評(píng)分公式：

46、

47、計(jì)算所述目標(biāo)視頻的評(píng)分結(jié)果，其中，score表示所述目標(biāo)視頻的評(píng)分結(jié)果，k表示關(guān)鍵動(dòng)作的類別數(shù)量，αk表示當(dāng)前關(guān)鍵動(dòng)作對(duì)應(yīng)的相對(duì)占比率，sk表示當(dāng)前關(guān)鍵動(dòng)作對(duì)應(yīng)的評(píng)分參考值。

48、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供視頻動(dòng)作評(píng)分裝置，采用了如下所述的技術(shù)方案：

49、一種視頻動(dòng)作評(píng)分裝置，包括：

50、目標(biāo)視頻獲取模塊，用于獲取目標(biāo)視頻；

51、第一切分處理模塊，用于將所述目標(biāo)視頻輸入到預(yù)訓(xùn)練完成的第一切分處理模型，獲得所述第一切分處理模型輸出的第一切分視頻片段；

52、第二切分處理模塊，用于將所述第一切分視頻片段輸入到預(yù)設(shè)的第二切分處理模型，獲得所述第二切分處理模型輸出的時(shí)序化的幀級(jí)切割處理結(jié)果；

53、關(guān)鍵動(dòng)作預(yù)測(cè)模塊，用于將所述時(shí)序化的幀級(jí)切割處理結(jié)果輸入到預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型，預(yù)測(cè)每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，獲得預(yù)測(cè)結(jié)果；

54、相對(duì)占比率統(tǒng)計(jì)模塊，用于根據(jù)所述預(yù)測(cè)結(jié)果，統(tǒng)計(jì)所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率；

55、目標(biāo)視頻評(píng)分模塊，用于基于所述所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率和預(yù)設(shè)的評(píng)分公式，對(duì)所述目標(biāo)視頻進(jìn)行評(píng)分，獲得評(píng)分結(jié)果。

56、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，采用了如下所述的技術(shù)方案：

57、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)上述所述的視頻動(dòng)作評(píng)分方法的步驟。

58、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，采用了如下所述的技術(shù)方案：

59、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的視頻動(dòng)作評(píng)分方法的步驟。

60、與現(xiàn)有技術(shù)相比，本技術(shù)實(shí)施例主要有以下有益效果：

61、本技術(shù)實(shí)施例所述視頻動(dòng)作評(píng)分方法，通過獲取目標(biāo)視頻；將所述目標(biāo)視頻輸入到預(yù)訓(xùn)練完成的第一切分處理模型，獲得所述第一切分處理模型輸出的第一切分視頻片段；將所述第一切分視頻片段輸入到預(yù)設(shè)的第二切分處理模型，獲得所述第二切分處理模型輸出的時(shí)序化的幀級(jí)切割處理結(jié)果；將所述時(shí)序化的幀級(jí)切割處理結(jié)果輸入到預(yù)訓(xùn)練完成的幀級(jí)別動(dòng)作預(yù)測(cè)模型，預(yù)測(cè)每一幀切割處理結(jié)果分別對(duì)應(yīng)的不同關(guān)鍵動(dòng)作，獲得預(yù)測(cè)結(jié)果；根據(jù)所述預(yù)測(cè)結(jié)果，統(tǒng)計(jì)所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率；基于所述所有關(guān)鍵動(dòng)作分別在所述目標(biāo)視頻中的相對(duì)占比率和預(yù)設(shè)的評(píng)分公式，對(duì)所述目標(biāo)視頻進(jìn)行評(píng)分，獲得評(píng)分結(jié)果。將本技術(shù)所述的評(píng)分方式應(yīng)用到運(yùn)動(dòng)比賽評(píng)分場(chǎng)景中，能夠根據(jù)比賽過程中錄制的視頻，識(shí)別出視頻中所包含的不同關(guān)鍵動(dòng)作，根據(jù)雙方運(yùn)動(dòng)員技術(shù)性動(dòng)作的統(tǒng)計(jì)結(jié)果，進(jìn)行公正評(píng)分，也能夠輔助教練人員對(duì)目標(biāo)運(yùn)動(dòng)員進(jìn)行戰(zhàn)略性分析，從而制定出相關(guān)對(duì)戰(zhàn)策略。