本發(fā)明總體涉及人工智能領(lǐng)域，具體涉及運(yùn)動質(zhì)量評估。

背景技術(shù)：

1、動作質(zhì)量評估在體育、健身、娛樂等多個領(lǐng)域具有重要應(yīng)用。與僅需辨別動作的類別的動作識別任務(wù)不同，動作質(zhì)量評估任務(wù)需要深入分析動作執(zhí)行的細(xì)微差別，包括動作的速度、強(qiáng)度和時機(jī)等，這使得任務(wù)更復(fù)雜且挑戰(zhàn)更大。

2、現(xiàn)有的用于動作質(zhì)量評估的數(shù)據(jù)集主要涵蓋了跳水(參見[1]paritosh?parmarand?brendan?morris.action?quality?assessment?across?multiple?actions.in2019ieee?winter?conference?on?applications?of?computer?vision(wacv),pages1468–1476,2019.doi:10.1109/wacv.2019.00161；[2]paritosh?parmar?and?brendantran?morris.learning?to?score?olympic?events.in?2017ieee?conference?oncomputer?vision?and?pattern?recognition?workshops(cvprw),2017；[3]paritoshparmar?and?brendan?tran?morris.what?and?how?well?you?performed？a?multitasklearning?approach?to?action?quality?assessment.in?proceedings?of?the?ieee/cvfconference?on?computer?vision?and?pattern?recognition,pages?304–313,2019；[4]jinglin?xu,yongming?rao,xumin?yu,guangyi?chen,jie?zhou,and?jiwenlu.finediving:a?fine-grained?dataset?for?procedure-aware?action?qualityassessment.in2022ieee/cvf?conference?on?computer?vision?and?patternrecognition(cvpr),pages?2939–2948.ieee,2022)、花樣滑冰(參見[5]shunli?wang,dingkang?yang,peng?zhai,chixiao?chen,and?lihua?zhang.tsa-net:tube?self-attention?network?for?action?quality?assessment.in?proceedings?of?the?29thacm?international?conference?on?multimedia,pages?4902–4910,2021；[6]jingfeixia,mingchen?zhuge,tiantian?geng,shun?fan,yuantai?wei,zhenyu?he,and?fengzheng.skating-mixer:long-term?sport?audio-visual?modeling?with?mlps.inproceedings?of?the?thirty-seventh?aaai?conference?on?artificial?intelligenceand?thirty-fifth?conference?on?innovative?applications?of?artificialintelligence?and?thirteenth?symposium?on?educational?advances?in?artificialintelligence,volume37of?aaai’23/iaai’23/eaai’23,pages?2901–2909.aaaipress,2023)等領(lǐng)域。通常，這些數(shù)據(jù)集僅提供單視角的大賽視頻錄像與其對應(yīng)的評分，而缺乏詳細(xì)的評分過程和多模態(tài)數(shù)據(jù)的支持，導(dǎo)致訓(xùn)練出的模型在泛化性和適應(yīng)性方面存在較大的局限性。此外，盡管動作質(zhì)量評估任務(wù)本質(zhì)上與人體動作密切相關(guān)，但現(xiàn)有數(shù)據(jù)集均沒有包含姿態(tài)數(shù)據(jù)。

3、計算機(jī)能夠通過分析圖像和視頻來準(zhǔn)確地識別并跟蹤對象，并已被廣泛應(yīng)用于各個領(lǐng)域。在體育運(yùn)動分析中，計算機(jī)視覺技術(shù)能夠提供一種高效、客觀的手段支持對運(yùn)動員表現(xiàn)的監(jiān)測與分析。具體而言，基于計算機(jī)視覺的人體姿態(tài)檢測與跟蹤關(guān)鍵技術(shù)使得從視頻中提取運(yùn)動員的人體姿態(tài)進(jìn)行動作質(zhì)量評估成為可能。一些研究考慮從單視角視頻中提取二維(two-dimensional，2d)姿態(tài)特征，但這些特征往往受限于攝像機(jī)視角的移動和攝像機(jī)真實(shí)位姿的缺失，導(dǎo)致估計得到的三維(three-dimensional，3d)姿態(tài)屬性的模糊性，這不僅影響了姿態(tài)的估計，也影響了動作質(zhì)量評估的結(jié)果的準(zhǔn)確性。

4、本領(lǐng)域中需要一種提供更有助于訓(xùn)練模型以更好地執(zhí)行動作質(zhì)量評估任務(wù)的數(shù)據(jù)集的方法。

技術(shù)實(shí)現(xiàn)思路

1、為了提供一種更有助于訓(xùn)練模型以更好地執(zhí)行動作質(zhì)量評估任務(wù)的數(shù)據(jù)集，提供本發(fā)明。

2、根據(jù)本發(fā)明的一個方面，提供一種構(gòu)建用于對運(yùn)動員的運(yùn)動進(jìn)行動作質(zhì)量評估的數(shù)據(jù)集的方法，其包括：提供從多個視角采集的針對要進(jìn)行動作質(zhì)量評估的場景的多個視頻，其中，所述多個視頻經(jīng)同步時間校準(zhǔn)；估計用于采集所述多個視頻的多個相機(jī)的相機(jī)參數(shù)；從所述多個視頻的多個視頻幀確定運(yùn)動員的二維姿態(tài)；基于所述二維姿態(tài)和所述相機(jī)參數(shù)確定運(yùn)動員的三維姿態(tài)；以及組合所述多個視頻幀和所述三維姿態(tài)以形成所述數(shù)據(jù)集。

3、如上所述的方法，其中，提供從多個視角采集的針對要進(jìn)行動作質(zhì)量評估的場景的多個視頻包括：從所述多個視角采集針對要進(jìn)行動作質(zhì)量評估的場景的多個視頻；以及在時域上對齊所述多個視頻。

4、如以上任一項(xiàng)所述的方法，其中，在時域上對齊所述多個視頻包括：在所述多個相機(jī)采集所述多個視頻時播放音樂；確定所述多個相機(jī)分別采集到的多個音頻的偏移量；基于所述偏移量在時域上對齊所述多個音頻；以及通過所述多個音頻的對齊來使所述多個視頻在時域上被對齊。

5、如以上任一項(xiàng)所述的方法，其中，確定所述多個相機(jī)分別采集到的多個音頻的偏移量包括：通過使所述多個音頻中的第一音頻和第二音頻的標(biāo)準(zhǔn)化的梅爾頻率倒譜系數(shù)的互相關(guān)最大化，確定所述第一音頻在所述第二音頻中的偏移量。

6、如以上任一項(xiàng)所述的方法，其中，所述相機(jī)參數(shù)包括相機(jī)內(nèi)參，并且估計用于采集所述多個視頻的多個相機(jī)的相機(jī)參數(shù)包括：通過拍攝移動的陣列式布置的棋盤來校準(zhǔn)所述多個相機(jī)的相機(jī)內(nèi)參。

7、如以上任一項(xiàng)所述的方法，其中，所述相機(jī)參數(shù)包括相機(jī)外參，并且估計用于采集所述多個視頻的多個相機(jī)的相機(jī)參數(shù)包括：在注釋系統(tǒng)中標(biāo)注位置和距離關(guān)系已知的標(biāo)記點(diǎn)；基于三維物體點(diǎn)和二維圖像點(diǎn)、使用pnp算法來估計所述多個相機(jī)的相機(jī)外參。

8、如以上任一項(xiàng)所述的方法，其中，從所述多個視頻的多個視頻幀確定運(yùn)動員的二維姿態(tài)信息包括：使用目標(biāo)檢測算法識別視頻幀中的所有可檢測的人體目標(biāo)；對檢測到的人體目標(biāo)、使用二維跟蹤算法生成運(yùn)動員的包圍框序列；以及對所述包圍框序列內(nèi)的包圍框內(nèi)的圖像使用二維姿態(tài)估計以確定運(yùn)動員的二維姿態(tài)。

9、如以上任一項(xiàng)所述的方法，其中，基于所述二維姿態(tài)和所述相機(jī)參數(shù)確定運(yùn)動員的三維姿態(tài)包括：基于運(yùn)動員的所述二維姿態(tài)和所述相機(jī)參數(shù)，執(zhí)行三角測量以確定運(yùn)動員的三維姿態(tài)。

10、如以上任一項(xiàng)所述的方法，其中，基于所述二維姿態(tài)和所述相機(jī)參數(shù)確定運(yùn)動員的三維姿態(tài)還包括：基于已確定的當(dāng)前時刻的運(yùn)動員的三維姿態(tài)和所述相機(jī)參數(shù)、通過反投影技術(shù)估計下一時刻運(yùn)動員在所述多個視頻幀中出現(xiàn)的位置范圍；在所述位置范圍內(nèi)跳過目標(biāo)檢測而直接估計所述下一時刻運(yùn)動員的二維姿態(tài)；以及對所估計的所述下一時刻的運(yùn)動員的二維姿態(tài)，跳過匹配任務(wù)而直接進(jìn)行針對運(yùn)動員的三角測量。

11、如以上任一項(xiàng)所述的方法，還包括：對所述數(shù)據(jù)集的至少一部分進(jìn)行標(biāo)注，以形成包括多個層級的層級式數(shù)據(jù)集。

12、如以上任一項(xiàng)所述的方法，其中，對所述數(shù)據(jù)集的至少一部分進(jìn)行標(biāo)注包括：對至少一些視頻幀標(biāo)注課程信息，以形成包括課程層級的數(shù)據(jù)集，其中，所述課程信息指示要評估的動作的難度等級。

13、如以上任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)集根據(jù)難度等級的等級順序被組織，以用于對執(zhí)行動作質(zhì)量評估任務(wù)進(jìn)行訓(xùn)練。

14、如以上任一項(xiàng)所述的方法，其中，所述課程信息在記錄所述至少一些視頻幀時被記錄。

15、如以上任一項(xiàng)所述的方法，其中，對所述數(shù)據(jù)集的至少一部分進(jìn)行標(biāo)注還包括：對至少一些視頻幀標(biāo)注動作信息，以形成包括動作層級的數(shù)據(jù)集，其中，每個課程包括多個動作。

16、如以上任一項(xiàng)所述的方法，其中，對至少一些視頻幀標(biāo)注動作信息包括：將所述至少一些視頻幀分割為多個視頻片段，其中，每個視頻片段對應(yīng)于一個動作；以及基于課程信息為每個視頻片段賦予動作類別。

17、如以上任一項(xiàng)所述的方法，其中，對至少一些視頻幀標(biāo)注動作信息還包括：針對每個視頻幀中的動作，通過將視頻幀中運(yùn)動員的動作與示范動作進(jìn)行比較來對動作打分，其中，所述示范動作至少部分地基于運(yùn)動項(xiàng)目的打分標(biāo)準(zhǔn)。

18、如以上任一項(xiàng)所述的方法，其中，對動作打分包括：基于視頻中運(yùn)動員的動作與示范動作的比較結(jié)果反映的執(zhí)行質(zhì)量，確定扣分分值。

19、如以上任一項(xiàng)所述的方法，其中，每個動作被賦予多個扣分項(xiàng)目，其中，每個扣分項(xiàng)目指示對應(yīng)的執(zhí)行錯誤，并且每個扣分項(xiàng)目被賦予多個錯誤嚴(yán)重性分值，并且確定扣分分值包括：針對每個動作，基于視頻中運(yùn)動員的動作與示范動作的比較結(jié)果，確定每個扣分項(xiàng)目的錯誤嚴(yán)重性分值；以及累加各個扣分項(xiàng)目的錯誤嚴(yán)重性分值，以確定所述扣分分值。

20、如以上任一項(xiàng)所述的方法，其中，對所述數(shù)據(jù)集的至少一部分進(jìn)行標(biāo)注還包括：對至少一些視頻幀標(biāo)注運(yùn)動事件信息，以形成包括運(yùn)動事件層級的數(shù)據(jù)集，所述運(yùn)動事件與要評估的動作所屬的運(yùn)動項(xiàng)目相關(guān)聯(lián)，其中，每個運(yùn)動事件包括多個課程。

21、如以上任一項(xiàng)所述的方法，其中，所述運(yùn)動事件信息在記錄所述至少一些視頻幀時被記錄。

22、根據(jù)本發(fā)明的另一方面，提供一種計算機(jī)設(shè)備，其包括存儲器、處理器以及存儲在所述存儲器上的計算機(jī)程序，其中，所述處理器執(zhí)行所述計算機(jī)程序以實(shí)現(xiàn)如以上任一項(xiàng)所述的方法的步驟。

23、根據(jù)本發(fā)明的另一方面，提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如以上任一項(xiàng)所述的方法的步驟。

24、根據(jù)本發(fā)明的另一方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如以上任一項(xiàng)所述的方法的步驟。

25、通過根據(jù)本發(fā)明的實(shí)施例獲得的數(shù)據(jù)集能夠促使在訓(xùn)練模型以執(zhí)行動作質(zhì)量評估時模型更好地理解動作，從而取得更好的任務(wù)執(zhí)行結(jié)果。