本發(fā)明涉及人工智能，具體地，涉及一種神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置和方法。

背景技術(shù)：

1、近年來，以深度神經(jīng)網(wǎng)絡(luò)dnn(deep?neural?network)為代表的深度學(xué)習(xí)算法在解決高級抽象認(rèn)知問題，如目標(biāo)檢測、圖像檢索、語言識別、智能問答等領(lǐng)域上有著顯著的成果。然而，隨著深度學(xué)習(xí)的網(wǎng)絡(luò)模型規(guī)模的不斷增加，模型深度越來越深，計(jì)算和數(shù)據(jù)的復(fù)雜度和內(nèi)存需求也隨之增加。隨著移動互聯(lián)網(wǎng)時代的發(fā)展，智能手機(jī)和其他端側(cè)設(shè)備的普及給人們的日常交流、信息獲取、學(xué)習(xí)和工作等生活的各個方面均帶來了極大的便利。深度學(xué)習(xí)越來越作為一種通用方案用來給電子設(shè)備賦予智能屬性，然而神經(jīng)網(wǎng)絡(luò)模型在端側(cè)設(shè)備上的存儲與計(jì)算仍然是一個巨大的挑戰(zhàn)。為了提高端側(cè)設(shè)備處理圖像和視頻數(shù)據(jù)的效率和能力，同時需要滿足存儲空間和功耗的限制，因此近年來，使用低精度定點(diǎn)數(shù)已經(jīng)成為端側(cè)設(shè)備上廣泛使用的神經(jīng)網(wǎng)絡(luò)推理格式。然而，這種方法有一定的局限性，首先因?yàn)槟承┥窠?jīng)網(wǎng)絡(luò)很用定點(diǎn)運(yùn)算來量化很難維持較好的精度，比如那些涉及圖像超分辨率、圖像去噪以及其他缺乏足夠條件進(jìn)行參數(shù)微調(diào)的場景。但是，如果在端側(cè)設(shè)備上直接部署浮點(diǎn)精度的神經(jīng)網(wǎng)絡(luò)會導(dǎo)致大量的硬件開銷，還有計(jì)算效率過低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置和方法，其包含新的浮點(diǎn)格式，稱為共享指數(shù)浮點(diǎn)（sfp），其目的是結(jié)合低數(shù)據(jù)精度和共享指數(shù)方案的優(yōu)勢。它可以實(shí)現(xiàn)與int8相同的存儲密度，而不會犧牲推理精度也不需要進(jìn)行微調(diào)。具體來說，sfp能夠利用共享指數(shù)實(shí)現(xiàn)高數(shù)據(jù)壓縮率，同時在低精度格式上保持良好的dnn模型精度。并且比現(xiàn)有的低精度浮點(diǎn)格式更適合端側(cè)設(shè)備的乘積電路實(shí)現(xiàn)。

2、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明揭示了一種人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置，包括浮點(diǎn)數(shù)據(jù)采集模塊，浮點(diǎn)數(shù)據(jù)存儲模塊和浮點(diǎn)數(shù)據(jù)運(yùn)算模塊，其特征在于，

3、所述浮點(diǎn)數(shù)據(jù)采集模塊用于獲取人工神經(jīng)網(wǎng)絡(luò)的浮點(diǎn)數(shù)據(jù)；

4、所述浮點(diǎn)數(shù)據(jù)存儲模塊用于存儲以共享指數(shù)浮點(diǎn)格式存在的浮點(diǎn)數(shù)據(jù)；

5、所述浮點(diǎn)數(shù)據(jù)運(yùn)算模塊用于將以共享指數(shù)浮點(diǎn)格式存在的浮點(diǎn)數(shù)據(jù)進(jìn)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算；

6、其中，所述共享指數(shù)浮點(diǎn)格式具體是將n個浮點(diǎn)數(shù)據(jù)編碼為一個塊，塊中的每個數(shù)據(jù)由e、s和m三部分組成，分別代表指數(shù)、符號和尾數(shù)部分，根據(jù)e和共享指數(shù)es之間的差異edif向右移位。

7、本發(fā)明還揭示了一種人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，所述方法包括如下步驟：

8、s100：獲取人工神經(jīng)網(wǎng)絡(luò)的浮點(diǎn)數(shù)據(jù)；

9、s200：將所述浮點(diǎn)數(shù)據(jù)以共享指數(shù)浮點(diǎn)格式存儲；

10、s300：將以共享指數(shù)浮點(diǎn)格式存在的浮點(diǎn)數(shù)據(jù)進(jìn)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算；

11、其中，所述共享指數(shù)浮點(diǎn)格式具體是將n個浮點(diǎn)數(shù)據(jù)編碼為一個塊，塊中的每個數(shù)據(jù)由e、s和m三部分組成，分別代表指數(shù)、符號和尾數(shù)部分，根據(jù)e和共享指數(shù)es之間的差異edif向右移位。

12、本發(fā)明針對神經(jīng)網(wǎng)絡(luò)使用所述共享指數(shù)浮點(diǎn)數(shù)據(jù)增加所述神經(jīng)網(wǎng)絡(luò)的效率。本發(fā)明的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置和方法的可擴(kuò)展性極強(qiáng)，主要體現(xiàn)在以下幾點(diǎn)：（1）可以有任意n個數(shù)據(jù)一組共享指數(shù)。常用的方案4、8、16等。（2）每一個sfp格式數(shù)據(jù)可以保留任意n比特。常用的方案4、6、8、16、32等。（3）進(jìn)一步的每個sfp格式數(shù)據(jù)，e、c、m可自由保留n比特。（4）c部分的映射關(guān)系是自由的，它實(shí)現(xiàn)了移位指數(shù)差的壓縮存儲，這種壓縮編碼方式是自由設(shè)計(jì)的。（5）m部分的底數(shù)存儲方式是自由的，它可以固定小數(shù)點(diǎn)也可以顯式存儲小數(shù)點(diǎn)。此外，本發(fā)明的運(yùn)算裝置和方法的應(yīng)用范圍廣泛，主要為以下幾個方面：（1）sfp數(shù)據(jù)格式可用于內(nèi)存數(shù)據(jù)壓縮存儲。（2）sfp數(shù)據(jù)格式可用于ai領(lǐng)域計(jì)算。根據(jù)專用計(jì)算所需的數(shù)據(jù)流，可以對sfp數(shù)據(jù)格式進(jìn)行專門的適配和調(diào)整，簡化其電路復(fù)雜度，同時更好地適配邊緣計(jì)算硬件平臺。（3）sfp數(shù)據(jù)格式可用于ai領(lǐng)域計(jì)算，包括卷積神經(jīng)網(wǎng)絡(luò)的推理，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，transform的推理和訓(xùn)練，也可用于大模型的數(shù)據(jù)壓縮和訓(xùn)練加速。

技術(shù)特征：

1.一種人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置，包括浮點(diǎn)數(shù)據(jù)采集模塊，浮點(diǎn)數(shù)據(jù)存儲模塊和浮點(diǎn)數(shù)據(jù)壓縮模塊，其特征在于，

2.根據(jù)權(quán)利要求1所述的裝置，優(yōu)選的，所述共享指數(shù)是通過選擇塊中的最大指數(shù)值得到的。

3.根據(jù)權(quán)利要求1所述的裝置，所述共享指數(shù)浮點(diǎn)格式還可以是將n個浮點(diǎn)數(shù)據(jù)編碼為一個塊，所述塊由一個e位指數(shù)和n個元素組成，每個元素都是由一個c位校正分量、一個1位符號分量和一個m位尾數(shù)分量組成。

4.根據(jù)權(quán)利要求3所述的裝置，所述塊中任何一個浮點(diǎn)數(shù)的值vi通過以下公式計(jì)算得到：

5.根據(jù)權(quán)利要求4所述的裝置，所述修正位c代表m的前導(dǎo)數(shù)中零的個數(shù)。

6.一種人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，所述方法包括如下步驟：

7.根據(jù)權(quán)利要求6所述的方法，所述共享指數(shù)是通過選擇塊中的最大指數(shù)值得到的。

8.根據(jù)權(quán)利要求6所述的方法，所述共享指數(shù)浮點(diǎn)格式還可以是將n個浮點(diǎn)數(shù)據(jù)編碼為一個塊，所述塊由一個e位指數(shù)和n個元素組成，每個元素都是由一個c位校正分量、一個1位符號分量和一個m位尾數(shù)分量組成。

9.根據(jù)權(quán)利要求8所述的方法，所述塊中任何一個浮點(diǎn)數(shù)的值vi通過以下公式計(jì)算得到：

10.根據(jù)權(quán)利要求9所述的方法，所述修正位c代表m的前導(dǎo)數(shù)中零的個數(shù)。

技術(shù)總結(jié)
本發(fā)明提供了一種人工神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮裝置和方法，浮點(diǎn)數(shù)據(jù)采集模塊用于獲取人工神經(jīng)網(wǎng)絡(luò)的浮點(diǎn)數(shù)據(jù)；浮點(diǎn)數(shù)據(jù)存儲模塊用于存儲以共享指數(shù)浮點(diǎn)格式存在的浮點(diǎn)數(shù)據(jù)；浮點(diǎn)數(shù)據(jù)運(yùn)算模塊用于將以共享指數(shù)浮點(diǎn)格式存在的浮點(diǎn)數(shù)據(jù)進(jìn)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算；其中，所述共享指數(shù)浮點(diǎn)格式具體是將n個浮點(diǎn)數(shù)據(jù)編碼為一個塊，塊中的每個數(shù)據(jù)由E、S和M三部分組成，分別代表指數(shù)、符號和尾數(shù)部分，根據(jù)E和共享指數(shù)Es之間的差異edif向右移位。該裝置能夠利用共享指數(shù)實(shí)現(xiàn)高數(shù)據(jù)壓縮率，同時在低精度格式上保持良好的DNN模型精度，并且比現(xiàn)有的低精度浮點(diǎn)格式更適合端側(cè)設(shè)備的乘積電路實(shí)現(xiàn)。

技術(shù)研發(fā)人員：夏天,黨祺瑋,樓薇,陳和,楊國茗,李爍宇,趙文哲,任鵬舉
受保護(hù)的技術(shù)使用者：西安交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6