本發(fā)明屬于人工智能性能分析，尤其涉及一種基于性能分析工具pytorch?profiler的amd兼容性擴(kuò)展方法。

背景技術(shù)：

1、現(xiàn)如今，大規(guī)模深度學(xué)習(xí)模型不斷迭代演進(jìn)，已廣泛應(yīng)用于自然語言處理、圖像識(shí)別和智能語音等領(lǐng)域，推動(dòng)了人工智能行業(yè)的快速發(fā)展。然而，在實(shí)際應(yīng)用場(chǎng)景中，這些算法模型通常面臨著計(jì)算資源受限、訓(xùn)練推理速度慢以及內(nèi)存不足等問題，無法滿足用戶實(shí)際使用需求。為了解決上述問題，既有方式是使用人工智能性能評(píng)測(cè)工具對(duì)其進(jìn)行性能分析以識(shí)別相應(yīng)瓶頸，從而進(jìn)行優(yōu)化以提高效率，提升用戶體驗(yàn)和競(jìng)爭(zhēng)優(yōu)勢(shì)。

2、目前，常用的人工智能性能評(píng)測(cè)工具主要有兩種。第一種是硬件廠商直接提供的性能分析工具，如：nvida提供的?nvprof?以及amd提供的?rocprof?等。此類工具提供關(guān)于執(zhí)行時(shí)間、內(nèi)存使用情況、核函數(shù)調(diào)用統(tǒng)計(jì)、內(nèi)存事務(wù)等關(guān)鍵指標(biāo)用于識(shí)別cuda或hip應(yīng)用程序中的性能瓶頸。第二種是人工智能框架內(nèi)置的性能分析器，如：pytorch?profiler，此類工具可以包裝整個(gè)模型訓(xùn)練或推理過程，自動(dòng)收集相關(guān)執(zhí)行的統(tǒng)計(jì)信息，并將收集到的性能數(shù)據(jù)寫入到人工智能框架可視化工具tensorboard可以讀取的格式文件中，以便后續(xù)可視化分析性能。

3、現(xiàn)有人工智能性能分析領(lǐng)域技術(shù)中，硬件廠商提供的性能分析工具功能定位不清晰，對(duì)于大文件，剖析速度較慢。人工智能框架內(nèi)置的性能分析器與框架集成度高，剖析效率更高，不僅能分析?cpu?和?gpu?的性能情況，還能結(jié)合tensorboard提供可視化功能，彌補(bǔ)了廠商提供的性能分析工具的不足，成為了在人工智能性能分析領(lǐng)域廣受歡迎的一款工具。

4、但人工智能框架內(nèi)置性能分析器主要支持基于nvidia?cuda的詳細(xì)性能剖析和優(yōu)化，而對(duì)于?amd?顯卡的支持有限。實(shí)際應(yīng)用場(chǎng)景下，在國(guó)產(chǎn)平臺(tái)、x86及其他平臺(tái)上搭載amd顯卡使用性能分析工具pytorch?profiler剖析大模型程序性能時(shí)，得到的性能數(shù)據(jù)缺少關(guān)鍵屬性和信息，這限制了tensorboard的后續(xù)可視化分析，進(jìn)而妨礙用戶深入剖析性能，難以精準(zhǔn)定位程序性能瓶頸。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明在于提供一種基于性能分析工具pytorch?profiler的amd兼容性擴(kuò)展方法，通過對(duì)性能分析庫(kù)kineto中的功能進(jìn)行擴(kuò)展，并使用性能分析功能擴(kuò)展完善后的pytorch?profiler重新剖析大模型性能，對(duì)缺少的性能數(shù)據(jù)進(jìn)行補(bǔ)全，從而使pytorchprofiler能夠兼容amd?gpu性能數(shù)據(jù)分析并能夠使用tensorboard可視化，解決了現(xiàn)有技術(shù)中存在的問題。

2、為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、本發(fā)明提供一種基于性能分析工具pytorch?profiler的amd兼容性擴(kuò)展方法，包括：

4、根據(jù)性能分析需求，對(duì)性能分析工具pytorch?profiler中的性能分析庫(kù)kineto進(jìn)行功能擴(kuò)展；

5、對(duì)性能分析庫(kù)kineto中的擴(kuò)展功能進(jìn)行驗(yàn)證；

6、響應(yīng)于驗(yàn)證通過的性能分析工具pytorch?profiler抓取到大模型程序性能數(shù)據(jù)，對(duì)大模型程序性能數(shù)據(jù)進(jìn)行可視化分析驗(yàn)證；

7、響應(yīng)于可視化分析驗(yàn)證通過，完成性能分析工具pytorch?profiler的amd兼容性擴(kuò)展。

8、可選地，所述根據(jù)性能分析需求，對(duì)性能分析工具pytorch?profiler中的性能分析庫(kù)kineto進(jìn)行功能擴(kuò)展之前，還包括：為基礎(chǔ)硬件環(huán)境提供開源計(jì)算平臺(tái)rocm底層環(huán)境支持。

9、可選地，所述為基礎(chǔ)硬件環(huán)境提供開源計(jì)算平臺(tái)rocm底層環(huán)境支持，包括：在國(guó)產(chǎn)平臺(tái)架構(gòu)下，安裝定制的rocm軟件包，和/或，在x86架構(gòu)下，查閱amd官方提供的安裝文檔，按照文檔步驟配置環(huán)境并安裝相應(yīng)軟件包。

10、可選地，所述性能分析需求為完善性能分析工具pytorch?profiler在amd上剖析大模型程序性能缺少的關(guān)鍵屬性和信息；

11、所述根據(jù)性能分析需求，對(duì)性能分析工具pytorch?profiler中的性能分析庫(kù)kineto進(jìn)行功能擴(kuò)展，包括：

12、根據(jù)所述缺少的關(guān)鍵屬性和信息規(guī)劃性能分析庫(kù)kineto的具體擴(kuò)展內(nèi)容；

13、在所述性能分析庫(kù)kineto中添加單獨(dú)獲取amd?gpu信息的接口，并根據(jù)所述具體擴(kuò)展內(nèi)容定義接口所需調(diào)用的屬性字符串；

14、通過所述接口獲取所述具體擴(kuò)展內(nèi)容對(duì)應(yīng)的屬性字符串，完成功能擴(kuò)展。

15、可選地，所述對(duì)性能分析庫(kù)kineto中的擴(kuò)展功能進(jìn)行驗(yàn)證，包括：分別對(duì)擴(kuò)展功能進(jìn)行基礎(chǔ)功能測(cè)試、邊界條件測(cè)試以及異常處理測(cè)試。

16、可選地，所述分別對(duì)擴(kuò)展功能進(jìn)行基礎(chǔ)功能測(cè)試、邊界條件測(cè)試以及異常處理測(cè)試，包括：

17、在基礎(chǔ)功能驗(yàn)證階段，驗(yàn)證性能分析庫(kù)kineto的性能分析功能開啟后生成的日志文件中是否包含正確的amd?gpu信息；

18、在邊界條件測(cè)試階段，查看分別在不同環(huán)境中執(zhí)行實(shí)例后的提示是否符合邏輯，其中，所述環(huán)境包括不包含amd?gpu的環(huán)境、驅(qū)動(dòng)程序配置錯(cuò)誤的環(huán)境以及不同操作系統(tǒng)的環(huán)境；

19、在異常測(cè)試階段，查看模擬異常情況后的異常消息和日志輸出是否符合預(yù)期。

20、可選地，所述響應(yīng)于驗(yàn)證通過的性能分析工具pytorch?profiler抓取到大模型程序性能數(shù)據(jù)，對(duì)大模型程序性能數(shù)據(jù)進(jìn)行可視化分析驗(yàn)證，包括：

21、對(duì)kineto擴(kuò)展功能完善的性能分析工具pytorch?profiler進(jìn)行重新編譯；

22、使用重新編譯后的性能分析工具pytorch?profiler在amd上剖析大模型程序性能，抓取性能數(shù)據(jù)并存儲(chǔ)為可視化分析工具tensorboard可解析的格式。

23、可選地，所述響應(yīng)于可視化分析驗(yàn)證通過，完成性能分析工具pytorch?profiler的amd兼容性擴(kuò)展，包括：

24、使用可視化分析工具tensorboard對(duì)所述性能分析工具pytorch?profiler收集的性能數(shù)據(jù)進(jìn)行可視化分析；

25、在瀏覽器中驗(yàn)證擴(kuò)展功能是否支持tensorboard可視化并查看各視圖是否正常顯示，若是，得到能夠兼容amd?gpu性能數(shù)據(jù)分析并支持tensorboard可視化的性能分析工具pytorch?profiler，若否，重新進(jìn)行性能分析庫(kù)kineto的功能擴(kuò)展步驟，直至可視化分析驗(yàn)證通過。

26、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：通過對(duì)pytorch?profiler依賴的kineto庫(kù)進(jìn)行有針對(duì)性的定制和修改，確保profiler能夠兼容并正確解析amd?gpu特有的性能數(shù)據(jù)，補(bǔ)齊缺失的屬性和信息，使得tensorboard成功可視化性能數(shù)據(jù)，解決了pytorchprofiler在amd?gpu上性能分析無法捕獲關(guān)鍵數(shù)據(jù)，無法使用tensorboard可視化，影響用戶定位程序性能瓶頸的問題，提高了amd?gpu上人工智能應(yīng)用程序的優(yōu)化效率，從而提升用戶體驗(yàn)。