本發(fā)明屬于模式識別與智能系統(tǒng)，主要涉及一種對發(fā)展性協(xié)調(diào)障礙dcd單手精細動作技能的評估方法，可用于dcd的大規(guī)模篩查，有助于dcd早期輔助診斷和干預，避免癥狀的進一步惡化。

背景技術：

1、發(fā)展協(xié)調(diào)障礙，又名動作協(xié)調(diào)障礙，是一類影響兒童運動技能發(fā)展的發(fā)育障礙，學齡前及學齡期兒童中的患病率大約在2％至10％之間。患病兒童通常表現(xiàn)出動作笨拙、手腳不協(xié)調(diào)，無法像同齡人一樣順利完成特定的動作任務。若不及時診斷和干預，大多數(shù)患病兒童的癥狀將持續(xù)到青春期或成年期，嚴重影響患者的社交、學業(yè)和情感發(fā)育，并帶來一些繼發(fā)性健康問題，如肥胖和抑郁等。

2、目前，dcd臨床診斷是由醫(yī)生依據(jù)診斷工具書，通過觀察被測試者完成特定任務的正確性，速度以及流暢性，對被測試者的表現(xiàn)進行評分，較低的分數(shù)表示可能存在運動協(xié)調(diào)問題。目前，主流的診斷工具書有movementassessmentbatteryfor?children-secondedition(movement?abc-2)、bruininks-oseretsky?test?ofmotor?proficiency-second?edition(bot-2)、developmental?coordination?disorder?questionnaire(dcdq)等，其中，movementabc-2是目前應用最為廣泛的標準化dcd診斷性評估工具，被認為是判定兒童運動表現(xiàn)的“黃金標準”。依據(jù)movement?abc-2工具書，精細運動技能評估任務包括單手操作任務，雙手協(xié)調(diào)任務以及手寫軌跡繪制任務。其中，單手操作是其他精細動作的基礎，兒童精細動作的發(fā)展通常從簡單的單手動作開始，然后再逐漸發(fā)展更復雜的雙手動作和軌跡繪制技能，因此，單手精細動作的練習和掌握是精細運動技能發(fā)展的關鍵。

3、單手操作任務的主要作用在于評估兒童或個體使用單只手完成特定任務的精細運動技能和手眼協(xié)調(diào)能力。這些任務可以幫助了解個體的手部靈活性、力量控制和精準度。例如，在movementabc-2工具書規(guī)定的插釘子任務中，被試者需要將黃色釘子依次插入藍色板中，評估員記錄完成全部12顆釘子插入的總時間以評定技能水平。每位被試者對每只手進行兩輪正式測試，并有一輪限定插入三顆釘子的預練習。任務旨在細致評估被試者的單手精細動作技能及其執(zhí)行效率。通常來說，完整的單手操作任務的流程包含重復性的動作，通過重復完成相同動作，可避免單次操作可能出現(xiàn)的偶然性，準確評估個體手部肌肉的記憶能力和在一定時間內(nèi)保持動作一致性的能力。

4、在現(xiàn)有技術中，評估單手精細動作的方式通常有兩種方法：基于人工評估的方法和基于計算機視覺的方法。

5、基于人工評估的方法，是由醫(yī)療專業(yè)人員或醫(yī)療師通過肉眼觀察并根據(jù)診斷工具書和自身經(jīng)驗對被測試者的表現(xiàn)打分。這種方式需要一對一的進行記錄，耗費人力，效率低，并且具有極大的主觀性，容易造成監(jiān)督者疲勞使得可能出現(xiàn)判斷標準不一致導致評分誤差過大，從而出現(xiàn)評估結(jié)果不準確的現(xiàn)象，同時由于被測試人員的數(shù)據(jù)均靠紙筆記錄，存在數(shù)據(jù)缺失的風險。

6、隨著現(xiàn)代計算機技術和人工智能技術的發(fā)展，基于計算機視覺的方法得到極大的應用。這類方法首先通過無接觸式的數(shù)據(jù)采集方式，采集單手精細動作過程的視頻、圖像等信息，然后設計智能算法對影像信息進行智能處理與分析，從而實現(xiàn)單手精細動作的評估。li等人在文章《automatedfinemotorevaluationfordevelopmental?coordinationdisorder》提出了一種基于模板匹配的方法。針對插釘子任務，其提取釘子的外觀作為模板圖，在插釘子視頻中進行匹配，獲得視頻每一幀釘子的個數(shù)，并通過濾波策略，得到視頻中插釘子任務完成的總時間，進而依據(jù)movementabc-2工具書的標準得到插釘子任務的評分。然而，該方法的泛化性不足，僅可用于插釘子任務，無法推廣至其他單手精細動作的評估任務。

7、cui等人在文章《study?on?assessment?methods?ofdevelopmentalcoordination?disorder?in?children》中提出了一種基于骨骼數(shù)據(jù)的單手精細動作的評估方法，其首先使用姿態(tài)估計算法提取人體整體骨骼數(shù)據(jù)，再將手部骨骼坐標數(shù)據(jù)提取出來，經(jīng)過三維卷積神經(jīng)網(wǎng)絡和長短期記憶網(wǎng)絡直接進行單手精細動作的評估。然而，該方法忽略了單手精細動作重復性的性質(zhì)，而直接評估完整動作執(zhí)行過程，缺乏對精細動作細節(jié)的處理，除此之外，由于該方法只使用了骨骼數(shù)據(jù)，缺少了自然圖像的信息，因而對于與物交互的單手動作難以提取手物的聯(lián)合特征，導致評估的準確度較低。

技術實現(xiàn)思路

1、本發(fā)明的目的在于針對上述現(xiàn)有技術的不足，提出一種基于重復動作定位和時序區(qū)域增強的發(fā)展協(xié)調(diào)障礙單手精細動作評估方法，以提升單手精細動作評估客觀性，泛化性以及準確性。

2、為實現(xiàn)上述目的，本發(fā)明的技術方案包括如下：

3、1.一種基于視覺行為分析的發(fā)展協(xié)調(diào)障礙單手精細動作評估方法，其特征在于，包括如下步驟：

4、(1)構建基于發(fā)展協(xié)調(diào)障礙評測工具書movementabc-2的單手精細動作評估任務數(shù)據(jù)集dpeg：

5、數(shù)據(jù)采集。招募7至10歲兒童進行數(shù)據(jù)采集，通過相機錄制兒童進行單手精細動作評估任務中插釘子任務的視頻，根據(jù)movementabc-2工具書對視頻進行標注。

6、數(shù)據(jù)劃分。將dpeg數(shù)據(jù)集按照8：2的比例劃分為訓練集dt和測試集dv；

7、(2)構建包括重復動作定位網(wǎng)絡f1和時空區(qū)域增強網(wǎng)絡f2的發(fā)展協(xié)調(diào)障礙單手精細動作評估網(wǎng)絡f；

8、所述重復動作定位網(wǎng)絡f1，用于在第一階段對輸入視頻v中重復動作的起止時間區(qū)域進行定位，得到每個重復動作的開始幀和結(jié)束幀位置組成的動作定位集合s：

9、s＝{[b1,e1],[b2,e2],…[bn,en],…,[bn,en]}

10、其中為，bn和en分別為輸入視頻v中第n個動作的開始幀和結(jié)束幀，n的大小是從1到n；

11、所述時空區(qū)域增強網(wǎng)絡f2，用于在第二階段對視頻片段集合vs中每個視頻片段vn包含的單手動作技能進行評估，得到重復動作評估結(jié)果集合rs：

12、rs＝{r1,r2,…rn,…,rn}；

13、其中，vs＝{v1,v2,…vn,…,vn}為根據(jù)重復動作定位階段的結(jié)果集s分割得到的視頻片段集合，vn為分割后的第n個視頻片段，rn為第n個視頻片段的評估結(jié)果，其值為0：不標準動作，或1：標準動作，n的大小是從1到n；

14、(3)使用訓練集dt通過梯度下降法對單手精細評估網(wǎng)絡中的重復動作定位網(wǎng)絡f1和時空區(qū)域增強網(wǎng)絡f2分別進行迭代訓練，直至各自損失函數(shù)收斂，得到訓練后的單手精細動作評估網(wǎng)絡f；

15、(4)將測試數(shù)據(jù)集dv輸入到訓練好的單手精細動作評估網(wǎng)絡，得到測試數(shù)據(jù)對應的估計結(jié)果。

16、2.一種基于視覺行為分析的發(fā)展協(xié)調(diào)障礙單手精細動作評估系統(tǒng)，其特征在于，其基于發(fā)展性協(xié)調(diào)障礙評測工具書movementabc-2建立，包括：信息錄入單元、數(shù)據(jù)采集單元、自動評估單元、結(jié)果反饋單元和顯示單元；

17、所述信息錄入單元，用于錄入被測試者的基本信息，包括姓名、編號、生日、身高、體重、優(yōu)勢手以及性別，并將信息持久化保存在數(shù)據(jù)庫中；

18、所述數(shù)據(jù)采集單元，用于自動調(diào)用azurekinect相機，采集被測試者執(zhí)行單手任務的過程，并保存到指定文件夾下；

19、所述自動評估單元，用于自動調(diào)用評估算法，對視頻數(shù)據(jù)進行兩階段的評估：

20、在第一階段對視頻數(shù)據(jù)進行重復動作定位，在第二階段根據(jù)重復定位結(jié)果將視頻分割成視頻片段，再對視頻片段進行評估，得到包含每個視頻片段評估結(jié)果的集合；

21、根據(jù)結(jié)果集合中是否包含不標準動作得到完整視頻的評估結(jié)果；

22、若結(jié)果集合中不包含不標準動作，完整視頻的評估結(jié)果為合格，記錄為1，并根據(jù)視頻中單手任務的完成時長，按照movementabc-2工具書的標準進行評分，

23、否則，為不合格，記錄為0，

24、將評估結(jié)果保存到數(shù)據(jù)庫中；

25、所述結(jié)果反饋單元，用于獲取數(shù)據(jù)庫中記錄的視頻評估結(jié)果并反饋給被測試者；

26、所述顯示單元，用于顯示各功能單元的結(jié)果。

27、本發(fā)明與現(xiàn)有技術相比具有以下優(yōu)點：

28、第一，提高了單手精細動作細粒度評估的客觀性：

29、本發(fā)明使用基于計算機視覺的自動化評估方法，輸入待評估的單手精細動作視頻，經(jīng)過自動化評估，輸出該視頻的評估結(jié)果，不需要人工參與評估，消除了基于人工評估的方法造成的主觀性和評分不準確的問題。

30、第二，提高了單手精細動作細粒度評估的準確度和泛化性：

31、本發(fā)明利用單手精細動作重復性的性質(zhì)，提出了一種發(fā)展協(xié)調(diào)障礙單手精細動作的細粒度評估方法，即在第一階段進行重復動作定位，找到每個動作的時間區(qū)間，在第二階段先根據(jù)定位結(jié)果將完整視頻分解成只包含單個動作的片段，再將重復動作定位得到的每個動作片段作為一個樣本進行單獨評估，并對時空特征進行增強獲得更多手部變化的細節(jié)特征，通過這兩個階段可得到更準確的評估結(jié)果。此外，本方法還可推廣至其他具有重復性質(zhì)的單手精細動作評估任務，提高了單手精細動作評估的泛化性。

32、第三，提高了單手精細動作評估的效率：

33、本發(fā)明構建了一種基于視覺行為分析的發(fā)展協(xié)調(diào)障礙單手精細動作評估系統(tǒng)，實現(xiàn)了自動化基本信息采集，視頻數(shù)據(jù)采集和動作評估，提高了單手精細動作評估的效率，此外，通過將采集到的基本信息和視頻保存在數(shù)據(jù)庫中，實現(xiàn)了數(shù)據(jù)的可溯源。