本技術(shù)涉及人工智能，特別是涉及一種數(shù)據(jù)處理方法及相關(guān)設(shè)備。

背景技術(shù)：

1、在大數(shù)據(jù)-大計算背景下，以機器學(xué)習(xí)為代表的人工智能技術(shù)迅速發(fā)展，成為計算機視覺、智能語音、自然語言處理、生物特征識別、推薦系統(tǒng)等關(guān)鍵技術(shù)的核心基礎(chǔ)，被廣泛應(yīng)用在金融風(fēng)控、醫(yī)療診斷、智慧城市等領(lǐng)域，逐步成為推動信息革命和社會發(fā)展的主要力量之一。人工智能的迅速發(fā)展得益于兩個重要因素，即算法模型的創(chuàng)新和智能芯片計算能力的持續(xù)提升。

2、在后摩爾時代，芯片晶體管密度雖然還在繼續(xù)增加，但功耗密度和性能密度已經(jīng)很難進一步提高，意味著無法通過工藝改進獲得算力提升。因此芯片發(fā)展的一個重要分支是領(lǐng)域?qū)Ｓ眉軜?gòu)(domain?specific?architecture，dsa)，也稱智能芯片，該類芯片專用性強，設(shè)計簡單，根據(jù)應(yīng)用的具體特點，定制運算單元，簡化控制邏輯，設(shè)計與領(lǐng)域計算特征相適應(yīng)的存儲結(jié)構(gòu)和數(shù)據(jù)通路，雖然犧牲了通用性和靈活性，卻獲得了較高的性能和能效比，已經(jīng)在高性能計算、人工智能、密碼學(xué)等領(lǐng)域得到廣泛應(yīng)用。智能芯片核心計算單元包括兩部分，一部分是矩陣計算單元，用于執(zhí)行矩陣乘法計算，另一部分是向量計算單元，主要完成向量類操作的加速。

3、智能芯片的設(shè)計核心是為了加速矩陣乘法運算，因此矩陣計算單元在智能芯片上的面積占比較高。與向量計算單元的算力相比，矩陣計算單元有量級上的提升，如有些智能芯片中，矩陣計算單元與向量計算單元的計算能力比達到100:1，而神經(jīng)網(wǎng)絡(luò)模型的計算往往在這兩種獨立的計算單元上交替進行，這就導(dǎo)致計算復(fù)雜度低、算力需求低的向量類計算反而成為制約智能芯片算力發(fā)揮的瓶頸。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供了一種數(shù)據(jù)處理方法及相關(guān)設(shè)備，以解決智能芯片的向量計算單元算力較弱制約智能芯片算力發(fā)揮的問題。

2、第一方面提供一種數(shù)據(jù)處理方法。該方法包括：判斷向量算子是否符合條件，在該向量算子符合條件時，將向量算子轉(zhuǎn)換為能夠被芯片的矩陣計算單元執(zhí)行的目標(biāo)矩陣乘法算子。其中，向量算子為芯片的向量計算單元執(zhí)行的算子。目標(biāo)矩陣乘法算子的第一計算結(jié)果與向量算子的第二計算結(jié)果相同，即目標(biāo)矩陣乘法算子為向量算子的等效算子，向量算子轉(zhuǎn)換前后的計算結(jié)果一致。在向量算子符合條件時，將向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子，即將向量算子轉(zhuǎn)換為能夠被矩陣計算單元處理的數(shù)據(jù)格式，從而轉(zhuǎn)換后的目標(biāo)矩陣乘法算子能夠在矩陣計算單元上進行運算，從而加速向量類運算，提高神經(jīng)網(wǎng)絡(luò)模型的推理效率。

3、在一種可能的實現(xiàn)方式中，判斷向量算子是否符合條件包括：判斷向量算子是否為目標(biāo)向量算子，若向量算子為目標(biāo)向量算子，則確定向量算子符合條件。若向量算子不為目標(biāo)向量算子，則確定向量算子不符合條件。目標(biāo)向量算子為能夠轉(zhuǎn)換為矩陣乘法算子的算子，且目標(biāo)向量算子的計算結(jié)果與轉(zhuǎn)換后的矩陣乘法算子的計算結(jié)果相同。從而保證向量算子能夠轉(zhuǎn)換為矩陣乘法算子，并且保證轉(zhuǎn)換后的目標(biāo)矩陣乘法算子計算與向量算子的計算結(jié)果一致。

4、在一種可能的實現(xiàn)方式中，判斷向量算子是否符合條件，還包括：判斷第一代價是否小于第二代價。其中，第一代價為預(yù)測的矩陣計算單元執(zhí)行目標(biāo)矩陣乘法算子完成計算所需的時長，第二代價為預(yù)測的向量計算單元執(zhí)行向量算子完成計算所需的時長。若向量算子為目標(biāo)向量算子，則確定向量算子符合條件包括：若向量算子為目標(biāo)向量算子，且第一代價小于第二代價，則確定向量算子符合條件。從而，通過預(yù)測和比較矩陣計算單元和向量計算單元所需的時間開銷，能夠保證最終采用時間開銷最小的方式進行計算，優(yōu)化智能芯片的處理效率。

5、在一種可能的實現(xiàn)方式中，目標(biāo)向量算子包括矩陣按行求和、矩陣按列求和、矩陣數(shù)乘、向量外積和矩陣與向量間的哈達瑪積運算中的至少一者。

6、在一種可能的實現(xiàn)方式中，目標(biāo)矩陣乘法算子包括構(gòu)造矩陣，構(gòu)造矩陣為根據(jù)向量算子構(gòu)造的使第一計算結(jié)果與第二計算結(jié)果相同的矩陣。

7、在一種可能的實現(xiàn)方式中，芯片包括與矩陣計算單元連接的緩沖區(qū)，緩沖區(qū)用于存儲構(gòu)造矩陣的分塊矩陣。將向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子包括：根據(jù)緩沖區(qū)的大小和向量算子構(gòu)造目標(biāo)分塊矩陣，目標(biāo)分塊矩陣的大小小于或等于緩沖區(qū)的大小，目標(biāo)分塊矩陣為構(gòu)造矩陣的一部分，目標(biāo)分塊矩陣中的數(shù)值不全為0。從而，可以無需構(gòu)造完整的構(gòu)造矩陣，減少對存儲空間的占用，減少無效運算以及減小數(shù)據(jù)搬運開銷，從而提高矩陣計算單元的處理效率。

8、在一種可能的實現(xiàn)方式中，矩陣計算單元包括至少一個乘法累加器，乘法累加器用于計算預(yù)設(shè)大小的矩陣之間的矩陣乘法。目標(biāo)分塊矩陣的大小為該預(yù)設(shè)大小的整數(shù)倍(大于或等于1)。

9、第二方面提供一種數(shù)據(jù)處理方法。該方法應(yīng)用于芯片，芯片包括向量計算單元和矩陣計算單元。該方法包括：獲取目標(biāo)向量算子，將目標(biāo)向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子，然后，利用矩陣計算單元執(zhí)行目標(biāo)矩陣乘法算子。其中，目標(biāo)矩陣乘法算子的第一計算結(jié)果與目標(biāo)向量算子的第二計算結(jié)果相同。目標(biāo)向量算子為能夠轉(zhuǎn)換為矩陣乘法算子，且轉(zhuǎn)換后的矩陣乘法算子的計算結(jié)果與向量算子的計算結(jié)果相同的算子。

10、在一種可能的實現(xiàn)方式中，目標(biāo)矩陣乘法算子包括構(gòu)造矩陣，構(gòu)造矩陣為根據(jù)目標(biāo)向量算子構(gòu)造的使第一計算結(jié)果與第二計算結(jié)果相同的矩陣。

11、在一種可能的實現(xiàn)方式中，芯片包括與矩陣計算單元連接的緩沖區(qū)，緩沖區(qū)用于存儲構(gòu)造矩陣的分塊矩陣，將目標(biāo)向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子包括：根據(jù)緩沖區(qū)的大小和目標(biāo)向量算子構(gòu)造目標(biāo)分塊矩陣，目標(biāo)分塊矩陣的大小小于或等于緩沖區(qū)的大小，目標(biāo)分塊矩陣為構(gòu)造矩陣的一部分，目標(biāo)分塊矩陣中的數(shù)值不全為0。

12、第三方面提供一種數(shù)據(jù)處理方法。該方法應(yīng)用于主機中央處理器。該方法包括：判斷向量算子是否符合條件，若向量算子符合條件，則發(fā)出指令。其中，指令指示芯片將向量算子轉(zhuǎn)換為矩陣乘法算子。向量算子為芯片的向量計算單元執(zhí)行的算子。

13、在一種可能的實現(xiàn)方式中，判斷向量算子是否符合條件包括：判斷向量算子是否為目標(biāo)向量算子，若向量算子為目標(biāo)向量算子，則確定向量算子符合條件。目標(biāo)向量算子為能夠轉(zhuǎn)換為矩陣乘法算子的算子，且目標(biāo)向量算子的計算結(jié)果與轉(zhuǎn)換后的矩陣乘法算子的計算結(jié)果相同。

14、在一種可能的實現(xiàn)方式中，判斷向量算子是否符合條件，還包括：判斷第一代價是否小于第二代價，第一代價為預(yù)測的矩陣計算單元執(zhí)行目標(biāo)矩陣乘法算子完成計算所需的時長，第二代價為預(yù)測的向量計算單元執(zhí)行向量算子完成計算所需的時長。若向量算子為目標(biāo)向量算子，則確定向量算子符合條件包括：若向量算子為目標(biāo)向量算子，且第一代價小于第二代價，則確定向量算子符合條件。

15、在一種可能的實現(xiàn)方式中，目標(biāo)向量算子包括矩陣按行求和、矩陣按列求和、矩陣數(shù)乘、向量外積和矩陣與向量間的哈達瑪積運算中的至少一者。

16、第四方面提供一種裝置。裝置包括第一處理模塊和第二處理模塊。第一處理模塊，用于判斷向量算子是否符合條件，向量算子為芯片的向量計算單元執(zhí)行的算子。第二處理模塊，用于在向量算子符合條件時，將向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子，以使芯片的矩陣計算單元能夠執(zhí)行目標(biāo)矩陣乘法算子，目標(biāo)矩陣乘法算子的第一計算結(jié)果與向量算子的第二計算結(jié)果相同。

17、在一種可能的實現(xiàn)方式中，第一處理模塊，用于判斷向量算子是否為目標(biāo)向量算子，目標(biāo)向量算子為能夠轉(zhuǎn)換為矩陣乘法算子，且轉(zhuǎn)換后的矩陣乘法算子的計算結(jié)果與向量算子的計算結(jié)果相同的算子。第一處理模塊，用于在向量算子為目標(biāo)向量算子時，確定向量算子符合條件。

18、在一種可能的實現(xiàn)方式中，目標(biāo)向量算子包括矩陣按行求和、矩陣按列求和、矩陣數(shù)乘、向量外積和矩陣與向量間的哈達瑪積運算中的至少一者。

19、在一種可能的實現(xiàn)方式中，第一處理模塊，用于判斷第一代價是否小于第二代價，第一代價為預(yù)測的矩陣計算單元執(zhí)行目標(biāo)矩陣乘法算子完成計算所需的時長，第二代價為預(yù)測的向量計算單元執(zhí)行向量算子完成計算所需的時長。第一處理模塊，用于在向量算子為目標(biāo)向量算子，且第一代價小于第二代價時，確定向量算子符合條件。

20、在一種可能的實現(xiàn)方式中，目標(biāo)矩陣乘法算子包括構(gòu)造矩陣，構(gòu)造矩陣為根據(jù)向量算子構(gòu)造的使第一計算結(jié)果與第二計算結(jié)果相同的矩陣。芯片包括與矩陣計算單元連接的緩沖區(qū)，緩沖區(qū)用于存儲構(gòu)造矩陣的分塊矩陣。第二處理模塊，用于根據(jù)緩沖區(qū)的大小和向量算子構(gòu)造目標(biāo)分塊矩陣，目標(biāo)分塊矩陣的大小小于或等于緩沖區(qū)的大小，目標(biāo)分塊矩陣為構(gòu)造矩陣的一部分，目標(biāo)分塊矩陣中的數(shù)值不全為0。

21、第五方面提供一種裝置。該裝置應(yīng)用于芯片，芯片包括向量計算單元和矩陣計算單元，裝置包括處理模塊。處理模塊，用于獲取目標(biāo)向量算子。處理模塊，用于將目標(biāo)向量算子轉(zhuǎn)換為目標(biāo)矩陣乘法算子，以使矩陣計算單元能夠執(zhí)行目標(biāo)矩陣乘法算子，目標(biāo)矩陣乘法算子的第一計算結(jié)果與目標(biāo)向量算子的第二計算結(jié)果相同。

22、在一種可能的實現(xiàn)方式中，目標(biāo)矩陣乘法算子包括構(gòu)造矩陣，構(gòu)造矩陣為根據(jù)向量算子構(gòu)造的使第一計算結(jié)果與第二計算結(jié)果相同的矩陣。芯片包括與矩陣計算單元連接的緩沖區(qū)，緩沖區(qū)用于存儲構(gòu)造矩陣的分塊矩陣。處理模塊，用于根據(jù)緩沖區(qū)的大小和向量算子構(gòu)造目標(biāo)分塊矩陣，目標(biāo)分塊矩陣的大小小于或等于緩沖區(qū)的大小，目標(biāo)分塊矩陣為構(gòu)造矩陣的一部分，目標(biāo)分塊矩陣中的數(shù)值不全為0。

23、第六方面提供一種裝置。該裝置包括處理模塊。處理模塊，用于判斷向量算子是否符合條件，向量算子為芯片的向量計算單元執(zhí)行的算子。處理模塊，用于在向量算子符合條件時，發(fā)出指令，指令指示芯片將向量算子轉(zhuǎn)換為矩陣乘法算子。

24、在一種可能的實現(xiàn)方式中，處理模塊，用于判斷向量算子是否為目標(biāo)向量算子，目標(biāo)向量算子為能夠轉(zhuǎn)換為矩陣乘法算子的算子，且目標(biāo)向量算子的計算結(jié)果與轉(zhuǎn)換后的矩陣乘法算子的計算結(jié)果相同。處理模塊，用于在向量算子為目標(biāo)向量算子時，確定向量算子符合條件。

25、在一種可能的實現(xiàn)方式中，目標(biāo)向量算子包括矩陣按行求和、矩陣按列求和、矩陣數(shù)乘、向量外積和矩陣與向量間的哈達瑪積運算中的至少一者。

26、在一種可能的實現(xiàn)方式中，處理模塊，用于判斷第一代價是否小于第二代價，第一代價為預(yù)測的矩陣計算單元執(zhí)行目標(biāo)矩陣乘法算子完成計算所需的時長，第二代價為預(yù)測的向量計算單元執(zhí)行向量算子完成計算所需的時長。處理模塊，用于在向量算子為目標(biāo)向量算子，且第一代價小于第二代價時，確定向量算子符合條件。

27、第七方面提供一種電子設(shè)備。該電子設(shè)備包括處理器，處理器耦接存儲器，處理器被配置為基于存儲在存儲器中的指令，執(zhí)行如第一方面或第一方面的任意一種可能的實現(xiàn)方式，或第二方面或第二方面的任意一種可能的實現(xiàn)方式，或第三方面或第三方面的任意一種可能的實現(xiàn)方式中的數(shù)據(jù)處理方法。

28、第八方面提供一種計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)包括指令，當(dāng)計算機可讀存儲介質(zhì)在計算機上運行時，使得計算機執(zhí)行上述第一方面或第一方面的任意一種可能的實現(xiàn)方式，或第二方面或第二方面的任意一種可能的實現(xiàn)方式，或第三方面或第三方面的任意一種可能的實現(xiàn)方式中的數(shù)據(jù)處理方法中的步驟。