本發(fā)明屬于計(jì)算機(jī)，尤其是一種用于場(chǎng)景識(shí)別與切換的算法加速方法。

背景技術(shù)：

1、近年來(lái)，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域取得了顯著的進(jìn)展。其中，卷積神經(jīng)網(wǎng)絡(luò)(cnn)作為一種深度學(xué)習(xí)模型，在圖像分類(lèi)、目標(biāo)檢測(cè)和圖像分割等任務(wù)中表現(xiàn)優(yōu)異。efficientnet是谷歌提出的一種新型cnn架構(gòu)，通過(guò)復(fù)合縮放方法，在參數(shù)量和計(jì)算量上進(jìn)行了有效平衡，取得了較高的精度和效率。

2、然而，盡管efficientnet在模型性能和效率方面表現(xiàn)出色，但其計(jì)算成本仍然較高，特別是在資源受限的設(shè)備(如移動(dòng)設(shè)備和嵌入式系統(tǒng))上部署時(shí)。為了滿(mǎn)足實(shí)時(shí)應(yīng)用的需求，需要進(jìn)一步對(duì)efficientnet進(jìn)行優(yōu)化和加速，以減少計(jì)算開(kāi)銷(xiāo)并提高推理速度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種用于場(chǎng)景識(shí)別與切換的算法加速方法，通過(guò)對(duì)訓(xùn)練好的efficientnet模型的卷積層進(jìn)行重要性的計(jì)算，刪除相對(duì)不重要的卷積層，在不損耗準(zhǔn)確性的情況下顯著的提升模型的推理速度。

2、本發(fā)明解決其技術(shù)問(wèn)題是采取以下技術(shù)方案實(shí)現(xiàn)的：

3、一種用于場(chǎng)景識(shí)別與切換的算法加速方法，包括以下步驟：

4、步驟1、利用室內(nèi)外數(shù)據(jù)集訓(xùn)練efficientnet模型，得到可接受的模型的精度，預(yù)測(cè)準(zhǔn)確率達(dá)到97％以上；

5、步驟2、計(jì)算efficientnet每一層網(wǎng)絡(luò)的每個(gè)卷積核的重要性；

6、步驟3、對(duì)網(wǎng)絡(luò)中的每一層的所有卷積核的重要性進(jìn)行排序，并對(duì)其進(jìn)行刪除；

7、步驟4、利用原始數(shù)據(jù)微調(diào)剪枝后的模型，并進(jìn)行精度的對(duì)比；

8、步驟5、重復(fù)步驟3和步驟4直到模型精度較原始模型精度下降達(dá)到2％以上停止操作，得到裁剪后的模型；

9、步驟6、對(duì)裁剪后的模型進(jìn)行量化操作，將模型中的32浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換成16浮點(diǎn)數(shù)據(jù)并進(jìn)行微調(diào)，進(jìn)一步加速模型的推理速度。

10、而且，所述步驟1中室內(nèi)外數(shù)據(jù)集為為本公司基于公開(kāi)數(shù)據(jù)集place365的基礎(chǔ)上改進(jìn)調(diào)整得到的數(shù)據(jù)集，其包含室內(nèi)、室外兩種圖片集合約130萬(wàn)張圖片。

11、而且，所述步驟2的具體實(shí)現(xiàn)方法為：

12、i(wi)＝||wi||1

13、其中，i(wi)為卷積核的權(quán)重，||wi||1為求l1范數(shù)，即：

14、

15、其中xj∈(x1,x2,x3,…,xm)是卷積核內(nèi)的數(shù)據(jù)大小。

16、而且，所述步驟3的具體實(shí)現(xiàn)方法為：對(duì)網(wǎng)絡(luò)中的每一層的所有卷積核的重要性進(jìn)行排序，并刪除重要性最低的卷積核，如果該層的卷積核為1，那么該卷積核為1的層不進(jìn)行任何操作；

17、而且，所述步驟4利用原始數(shù)據(jù)微調(diào)剪枝后的模型的具體實(shí)現(xiàn)方法為：利用初始訓(xùn)練時(shí)使用的室內(nèi)外分類(lèi)數(shù)據(jù)集，導(dǎo)入剪枝后的模型以及對(duì)應(yīng)權(quán)重，訓(xùn)練達(dá)到準(zhǔn)確度95％以上停止。

18、而且，所述步驟6將模型中的32浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換成16浮點(diǎn)數(shù)據(jù)并進(jìn)行微調(diào)的具體實(shí)現(xiàn)方法為：利用初始訓(xùn)練時(shí)使用的室內(nèi)外分類(lèi)數(shù)據(jù)集，導(dǎo)入量化后的模型以及對(duì)應(yīng)權(quán)重，訓(xùn)練達(dá)到準(zhǔn)確度95％以上停止。

19、本發(fā)明的優(yōu)點(diǎn)和積極效果是：

20、本發(fā)明利用室內(nèi)外數(shù)據(jù)集訓(xùn)練efficientnet模型，得到模型的精度；計(jì)算efficientnet每一層網(wǎng)絡(luò)的每個(gè)卷積核的重要性；并進(jìn)行排序，刪除重要性小的卷積核；利用原始數(shù)據(jù)微調(diào)剪枝后的模型，并進(jìn)行精度的對(duì)比并得到裁剪后的模型；對(duì)裁剪后的模型進(jìn)行量化操作，將模型中的32浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換成16浮點(diǎn)數(shù)據(jù)并進(jìn)行微調(diào)，進(jìn)一步加速模型的推理速度。本發(fā)明通過(guò)采用模型剪枝與模型量化的方法應(yīng)用于對(duì)efficientnet模型的加速優(yōu)化，通過(guò)對(duì)efficientnet模型的卷積層進(jìn)行有效的裁剪，降低模型的復(fù)雜度；同時(shí)將模型參數(shù)轉(zhuǎn)化成16浮點(diǎn)，極大的提升了模型的推理速度，且模型精度只有輕微的下降。使得模型更有利于應(yīng)用在嵌入式設(shè)備中。

技術(shù)特征：

1.一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：所述步驟1中室內(nèi)外數(shù)據(jù)集為基于公開(kāi)數(shù)據(jù)集place365的基礎(chǔ)上改進(jìn)調(diào)整得到的數(shù)據(jù)集，其包含室內(nèi)、室外兩種圖片集合。

3.根據(jù)權(quán)利要求1所述的一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：所述步驟2的具體實(shí)現(xiàn)方法為：

4.根據(jù)權(quán)利要求1所述的一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：所述步驟3的具體實(shí)現(xiàn)方法為：對(duì)網(wǎng)絡(luò)中的每一層的所有卷積核的重要性進(jìn)行排序，并刪除重要性最低的卷積核，如果該層的卷積核為1，那么該卷積核為1的層不進(jìn)行任何操作。

5.根據(jù)權(quán)利要求1所述的一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：所述步驟4利用原始數(shù)據(jù)微調(diào)剪枝后的模型的具體實(shí)現(xiàn)方法為：利用初始訓(xùn)練時(shí)使用的室內(nèi)外分類(lèi)數(shù)據(jù)集，導(dǎo)入剪枝后的模型以及對(duì)應(yīng)權(quán)重，訓(xùn)練達(dá)到準(zhǔn)確度95％以上停止。

6.根據(jù)權(quán)利要求1所述的一種用于場(chǎng)景識(shí)別與切換的算法加速方法，其特征在于：所述步驟6將模型中的32浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換成16浮點(diǎn)數(shù)據(jù)并進(jìn)行微調(diào)的具體實(shí)現(xiàn)方法為：利用初始訓(xùn)練時(shí)使用的室內(nèi)外分類(lèi)數(shù)據(jù)集，導(dǎo)入量化后的模型以及對(duì)應(yīng)權(quán)重，訓(xùn)練達(dá)到準(zhǔn)確度95％以上停止。

技術(shù)總結(jié)
本發(fā)明涉及一種用于場(chǎng)景識(shí)別與切換的算法加速方法，利用室內(nèi)外數(shù)據(jù)集訓(xùn)練EfficientNet模型，得到模型的精度；計(jì)算EfficientNet每一層網(wǎng)絡(luò)的每個(gè)卷積核的重要性；并進(jìn)行排序，刪除重要性小的卷積核；利用原始數(shù)據(jù)微調(diào)剪枝后的模型，并進(jìn)行精度的對(duì)比并得到裁剪后的模型；對(duì)裁剪后的模型進(jìn)行量化操作，將模型中的32浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換成16浮點(diǎn)數(shù)據(jù)并進(jìn)行微調(diào)，進(jìn)一步加速模型的推理速度。本發(fā)明通過(guò)采用模型剪枝與模型量化的方法應(yīng)用于對(duì)EfficientNet模型的加速優(yōu)化，通過(guò)對(duì)EfficientNet模型的卷積層進(jìn)行有效的裁剪，降低模型的復(fù)雜度；同時(shí)將模型參數(shù)轉(zhuǎn)化成16浮點(diǎn)，極大的提升了模型的推理速度，且模型精度只有輕微的下降，使得模型更有利于應(yīng)用在嵌入式設(shè)備中。

技術(shù)研發(fā)人員：張鵬超,吳迪,田虎,籍文龍,袁志賓,馮江濤
受保護(hù)的技術(shù)使用者：天地偉業(yè)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2