本發(fā)明涉及醫(yī)療，具體為一種智能化膝關(guān)節(jié)功能的步態(tài)分析輔診系統(tǒng)。

背景技術(shù)：

1、步態(tài)分析是疾病監(jiān)測(cè)和輔助診療的重要醫(yī)學(xué)檢測(cè)手段，能輔助診斷多種疾病，如中風(fēng)、帕金森病、大腦麻痹等，并預(yù)測(cè)老年人摔倒風(fēng)險(xiǎn)、生活質(zhì)量和疾病死亡率，而目前臨床步態(tài)分析系統(tǒng)存在著諸多問(wèn)題，嚴(yán)重限制其在臨床中的廣泛應(yīng)用。

2、目前臨床上廣泛使用的步態(tài)分析系統(tǒng)，如英國(guó)vi?con公司的系統(tǒng)，包含多臺(tái)高精度的紅外光動(dòng)作捕捉相機(jī)，其系統(tǒng)價(jià)格昂貴，且要專業(yè)醫(yī)護(hù)人員在患者全身各處準(zhǔn)確粘貼反光標(biāo)記點(diǎn)，整體操作流程繁瑣復(fù)雜，導(dǎo)致系統(tǒng)的部署和維護(hù)成本極高，無(wú)法在中小醫(yī)院推廣和應(yīng)用；

3、現(xiàn)有的臨床步態(tài)分析系統(tǒng)對(duì)數(shù)據(jù)獲取和測(cè)量的精準(zhǔn)度要求極高，且系統(tǒng)依賴于昂貴的精密設(shè)備和復(fù)雜的操作，數(shù)據(jù)采集過(guò)程中易受到環(huán)境和人為因素的影響，導(dǎo)致測(cè)量精度不足，影響步態(tài)分析的準(zhǔn)確性；

4、臨床步態(tài)分析研究缺乏大規(guī)模、多視角的臨床步態(tài)數(shù)據(jù)集，限制步態(tài)分析模型的訓(xùn)練和驗(yàn)證，無(wú)高質(zhì)量的數(shù)據(jù)集作為基礎(chǔ)，步態(tài)分析的研究和應(yīng)用難以取得突破性進(jìn)展；

5、步態(tài)分析技術(shù)涉及計(jì)算機(jī)視覺(jué)、人工智能、醫(yī)學(xué)等多學(xué)科領(lǐng)域，技術(shù)融合和應(yīng)用推廣困難，導(dǎo)致現(xiàn)有技術(shù)較為分散，難以形成完整的解決方案，限制步態(tài)分析技術(shù)的應(yīng)用普及。

6、因此，本領(lǐng)域技術(shù)人員提供一種智能化膝關(guān)節(jié)功能的步態(tài)分析輔診系統(tǒng)，以解決上述背景技術(shù)中提出的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種智能化膝關(guān)節(jié)功能的步態(tài)分析輔診系統(tǒng)，以解決背景技術(shù)中的問(wèn)題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：一種智能化膝關(guān)節(jié)功能的步態(tài)分析輔診系統(tǒng)，包括數(shù)據(jù)采集模塊、3d人體姿態(tài)建模模塊、步態(tài)特征提取模塊、步態(tài)特征測(cè)量與分析模塊、深度學(xué)習(xí)分析與診斷模塊、解釋性模型與用戶交互模塊、系統(tǒng)集成模塊、數(shù)據(jù)管理與存儲(chǔ)模塊；

3、所述數(shù)據(jù)采集模塊通過(guò)多視角相機(jī)系統(tǒng)采集人體步態(tài)錄像數(shù)據(jù)；所述3d人體姿態(tài)建模模塊將2d圖像中的人體關(guān)鍵點(diǎn)數(shù)據(jù)轉(zhuǎn)換為3d坐標(biāo)，構(gòu)建3d人體姿態(tài)模型；所述步態(tài)特征提取模塊由多視角視頻數(shù)據(jù)中提取步態(tài)相關(guān)的多維度特征；所述步態(tài)特征測(cè)量與分析模塊對(duì)提取到的步態(tài)特征進(jìn)行精確的量化測(cè)量和分析；所述深度學(xué)習(xí)分析與診斷模塊利用深度學(xué)習(xí)模型對(duì)步態(tài)數(shù)據(jù)進(jìn)行分析，輔助醫(yī)護(hù)人員進(jìn)行精準(zhǔn)診斷；所述解釋性模型與用戶交互模塊提供模型推理過(guò)程及證據(jù)的可解釋性，為醫(yī)護(hù)人員提供理解和驗(yàn)證診斷結(jié)果的工具；所述系統(tǒng)集成模塊整合各模塊，形成完整的步態(tài)分析輔診系統(tǒng)，進(jìn)行功能驗(yàn)證；所述數(shù)據(jù)管理與存儲(chǔ)模塊管理和存儲(chǔ)采集到的步態(tài)數(shù)據(jù)和分析結(jié)果。

4、優(yōu)選的，所述數(shù)據(jù)采集模塊包括多視角攝像單元、標(biāo)記點(diǎn)參考單元、時(shí)間對(duì)齊單元；所述多視角攝像單元通過(guò)多角度拍攝人體步態(tài)視頻，可在不同視角下捕捉到完整的步態(tài)信息；所述標(biāo)記點(diǎn)參考單元在初次數(shù)據(jù)采集時(shí)，利用醫(yī)療專家指導(dǎo)下在人體關(guān)鍵點(diǎn)上粘貼標(biāo)記，為關(guān)鍵點(diǎn)的人工數(shù)據(jù)標(biāo)注提供參照；所述時(shí)間對(duì)齊單元對(duì)不同攝像頭拍攝的圖像幀進(jìn)行時(shí)間對(duì)齊；

5、所述3d人體姿態(tài)建模模塊包括2d關(guān)鍵點(diǎn)標(biāo)定單元、視差測(cè)量單元、3d建模單元；所述2d關(guān)鍵點(diǎn)標(biāo)定單元在2d圖像中精準(zhǔn)標(biāo)定人體骨骼的關(guān)鍵點(diǎn)；所述視差測(cè)量單元利用多視角圖像的視差信息，計(jì)算重建3d坐標(biāo)；所述3d建模單元基于核面幾何理論和相機(jī)成像原理，生成人體的3d姿態(tài)模型。

6、優(yōu)選的，所述步態(tài)特征提取模塊包括關(guān)節(jié)角度提取單元、步態(tài)參數(shù)提取單元、時(shí)空特征提取單元；所述關(guān)節(jié)角度提取單元由3d姿態(tài)模型中提取膝關(guān)節(jié)角度變化數(shù)據(jù)；所述步態(tài)參數(shù)提取單元提取步幅、步頻、行走速度等步態(tài)特征參數(shù)；所述時(shí)空特征提取單元基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)技術(shù)，提取步態(tài)的時(shí)空特征，捕捉步態(tài)隨時(shí)間的動(dòng)態(tài)變化；

7、所述步態(tài)特征測(cè)量與分析模塊包括步態(tài)參數(shù)測(cè)量單元、特征分析單元、醫(yī)療分析單元；所述步態(tài)參數(shù)測(cè)量單元對(duì)提取的步態(tài)參數(shù)進(jìn)行精確的量化測(cè)量；所述特征分析單元分析步態(tài)特征的數(shù)據(jù)，提供的步態(tài)特征變化報(bào)告；所述醫(yī)療分析單元結(jié)合臨床知識(shí)，分析步態(tài)數(shù)據(jù)的醫(yī)學(xué)意義，為診斷提供支持。

8、優(yōu)選的，所述深度學(xué)習(xí)分析與診斷模塊包括模型訓(xùn)練單元、特征建模單元、診斷推理單元；所述模型訓(xùn)練單元利用大規(guī)模步態(tài)數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型；所述特征建模單元由步態(tài)數(shù)據(jù)中建模特征，識(shí)別異常步態(tài)模式；所述診斷推理單元基于訓(xùn)練的模型，對(duì)新步態(tài)數(shù)據(jù)進(jìn)行診斷分析；

9、所述解釋性模型與用戶交互模塊包括推理解釋單元、用戶交互界面單元、反饋與調(diào)整單元；所述推理解釋單元提供診斷結(jié)果的推理過(guò)程和依據(jù)，增強(qiáng)模型的可解釋性；所述用戶交互界面單元設(shè)計(jì)友好的用戶界面，展示步態(tài)分析結(jié)果和解釋，支持用戶查詢和交互；所述反饋與調(diào)整單元接收用戶反饋，調(diào)整模型和分析策略。

10、優(yōu)選的，所述系統(tǒng)集成模塊包括接口集成單元、系統(tǒng)界面單元、性能驗(yàn)證單元；所述接口集成單元整合各功能模塊，確保數(shù)據(jù)和功能的無(wú)縫連接；所述系統(tǒng)界面單元構(gòu)建完整的系統(tǒng)界面，支持?jǐn)?shù)據(jù)采集、處理、分析和結(jié)果展示；所述性能驗(yàn)證單元對(duì)系統(tǒng)進(jìn)行整體性能測(cè)試和驗(yàn)證；

11、所述數(shù)據(jù)管理與存儲(chǔ)模塊包括數(shù)據(jù)存儲(chǔ)單元、數(shù)據(jù)檢索單元、數(shù)據(jù)安全單元；所述數(shù)據(jù)存儲(chǔ)單元安全存儲(chǔ)步態(tài)視頻、3d姿態(tài)模型、步態(tài)特征數(shù)據(jù)和診斷結(jié)果；所述數(shù)據(jù)檢索單元提供高效的數(shù)據(jù)檢索和查詢功能，支持用戶快速訪問(wèn)；所述數(shù)據(jù)安全單元確保數(shù)據(jù)的安全性和隱私性，防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪問(wèn)。

12、優(yōu)選的，所述2d關(guān)鍵點(diǎn)標(biāo)定單元的任務(wù)是由圖像中識(shí)別并標(biāo)定人體的關(guān)鍵點(diǎn)坐標(biāo)，算法包括基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵點(diǎn)檢測(cè)方法，其主要公式和步驟如下：

13、輸入圖像i，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征并生成關(guān)鍵點(diǎn)熱力圖h，各關(guān)鍵點(diǎn)對(duì)應(yīng)的熱力圖：hi＝cnn(i)，其中，hi是第i個(gè)關(guān)鍵點(diǎn)的熱力圖；

14、通過(guò)熱力圖的峰值位置提取關(guān)鍵點(diǎn)坐標(biāo)(xi,yi)：

15、公式表示在熱力圖hi中峰值位置，即關(guān)鍵點(diǎn)的坐標(biāo)。

16、優(yōu)選的，所述視差測(cè)量單元的任務(wù)是根據(jù)多視角的圖像計(jì)算出關(guān)鍵點(diǎn)的視差，而進(jìn)行3d重建，其主要公式和步驟如下：

17、基本矩陣f用于描述視角間的幾何關(guān)系：

18、其中，p1＝[x1,y1,1]t，p2＝[x2,y2,1]t是視角下的對(duì)應(yīng)點(diǎn)坐標(biāo)；

19、視差計(jì)算基于極線約束，在視角圖像中，某點(diǎn)的對(duì)應(yīng)點(diǎn)必須位于極線上：l2＝fp1，l1＝ftp2，其中，l2和l1是點(diǎn)p1和p2的極線。

20、優(yōu)選的，所述步態(tài)參數(shù)提取單元的任務(wù)是由3d姿態(tài)數(shù)據(jù)中提取與步態(tài)相關(guān)的參數(shù)，步幅是相鄰?fù)荒_觸地間的距離，假設(shè)左腳觸地的時(shí)刻t1和t2對(duì)應(yīng)的3d坐標(biāo)為l1(xl1，yl1，zl1)和l2(xl2，yl2，zl2)，步幅計(jì)算公式為：

21、步幅＝∥l2-l1∥,

22、

23、步頻是單位時(shí)間內(nèi)完成的步數(shù)，假設(shè)在時(shí)間t內(nèi)完成n步，步頻計(jì)算公式為：步頻＝n/t*60。

24、優(yōu)選的，所述模型訓(xùn)練單元基于損失函數(shù)，假設(shè)模型的預(yù)測(cè)結(jié)果為真實(shí)標(biāo)簽為y，損失函數(shù)l可采用均方誤差或交叉熵?fù)p失；

25、均方誤差：

26、交叉熵?fù)p失：

27、優(yōu)選的，所述診斷推理單元的任務(wù)是利用訓(xùn)練好的模型對(duì)新步態(tài)數(shù)據(jù)進(jìn)行診斷分析，預(yù)測(cè)結(jié)果；

28、假設(shè)模型的輸入為x，權(quán)重為w和偏置為b，輸出層的計(jì)算公式為：z＝wx+b，其中，z是未激活的輸出；

29、對(duì)輸出進(jìn)行軟最大激活，得到類別概率分布p：

30、其中，pi是第i類的概率；

31、根據(jù)概率分布p，概率最大的類別作為診斷結(jié)果：

32、本發(fā)明提供一種智能化膝關(guān)節(jié)功能的步態(tài)分析輔診系統(tǒng)。具備以下有益效果：

33、1、本發(fā)明采用非接觸式、多視角攝像技術(shù)和人工智能算法，降低對(duì)昂貴設(shè)備和專業(yè)操作的依賴，降低系統(tǒng)的部署和維護(hù)成本，以實(shí)現(xiàn)中小醫(yī)院均能開展步態(tài)分析相關(guān)的醫(yī)療服務(wù)，且通過(guò)非接觸式的數(shù)據(jù)采集方式，免去在患者身上粘貼標(biāo)記點(diǎn)的步驟，簡(jiǎn)化操作流程，減少對(duì)專業(yè)醫(yī)護(hù)人員的依賴，提高工作效率。

34、2、本發(fā)明利用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)，在2d圖像中精準(zhǔn)標(biāo)定亞像素級(jí)別的人體關(guān)鍵點(diǎn)，重建3d坐標(biāo)，確保步態(tài)參數(shù)的精確測(cè)量，且通過(guò)深度學(xué)習(xí)模型自動(dòng)提取和分析步態(tài)特征，提供精準(zhǔn)和客觀的診斷結(jié)果，提升診斷準(zhǔn)確性。

35、3、本發(fā)明結(jié)合醫(yī)療專家知識(shí)，設(shè)計(jì)可解釋的深度學(xué)習(xí)模型，提供診斷結(jié)果的推理過(guò)程和證據(jù)，增強(qiáng)系統(tǒng)的透明度和可審核性，使醫(yī)護(hù)人員能理解和驗(yàn)證診斷結(jié)果，提高系統(tǒng)的可信度，并率先構(gòu)建包含跨視角人體關(guān)鍵點(diǎn)標(biāo)注、疾病標(biāo)簽和專家解釋的大規(guī)模臨床步態(tài)數(shù)據(jù)集，為步態(tài)分析研究提供高質(zhì)量的數(shù)據(jù)支持，推動(dòng)步態(tài)分析領(lǐng)域的研究。

36、4、本發(fā)明綜合計(jì)算機(jī)視覺(jué)、人工智能和臨床醫(yī)學(xué)等多學(xué)科技術(shù)，形成完整的步態(tài)分析解決方案，推動(dòng)技術(shù)融合與應(yīng)用，提升步態(tài)分析技術(shù)的普及和應(yīng)用水平，并通過(guò)生物力學(xué)和運(yùn)動(dòng)學(xué)手段，揭示步態(tài)異常的關(guān)鍵環(huán)節(jié)及影響因素，指導(dǎo)康復(fù)評(píng)估和治療，輔助臨床診斷和療效評(píng)估，提供自動(dòng)生成的步態(tài)分析報(bào)告，幫助醫(yī)護(hù)人員更快更準(zhǔn)確地進(jìn)行診斷和制定治療方案。