技術(shù)特征：

1.一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，對(duì)待壓縮的目標(biāo)檢測(cè)模型中的transformer結(jié)構(gòu)進(jìn)行剪枝和蒸餾，具體包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，進(jìn)行自適應(yīng)剪枝包括以下步驟：

3.根據(jù)權(quán)利要求1所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，根據(jù)全局蒸餾損失和交點(diǎn)蒸餾損失進(jìn)行蒸餾更新的過(guò)程包括以下步驟：

4.根據(jù)權(quán)利要求3所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，用于分離前景的二進(jìn)制掩碼表示為：

5.根據(jù)權(quán)利要求3所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，用于分離背景的縮放掩碼表示為：

6.根據(jù)權(quán)利要求3所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，計(jì)算模型輸出特征圖的空間和通道注意力掩碼包括：

7.根據(jù)權(quán)利要求6所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，利用教師網(wǎng)絡(luò)的掩碼引導(dǎo)學(xué)生網(wǎng)絡(luò)進(jìn)行焦點(diǎn)蒸餾損失學(xué)習(xí)的過(guò)程中，損失函數(shù)表示為：

8.根據(jù)權(quán)利要求3所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，通過(guò)構(gòu)建gcblock捕捉教師網(wǎng)絡(luò)中模型輸出的特征圖的全局信息，gcblock捕獲全局信息的過(guò)程包括：

9.根據(jù)權(quán)利要求8所述的一種基于剪枝和知識(shí)蒸餾組合的detr目標(biāo)檢測(cè)模型壓縮方法，其特征在于，通過(guò)全局蒸餾學(xué)習(xí)彌補(bǔ)焦點(diǎn)蒸餾學(xué)習(xí)中缺失的目標(biāo)與整體圖像的交互信息時(shí)，采用的損失函數(shù)表示為：

技術(shù)總結(jié)
本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及一種基于剪枝和知識(shí)蒸餾組合的DETR目標(biāo)檢測(cè)模型壓縮方法，包括計(jì)算Transformer結(jié)構(gòu)每一層的注意力機(jī)制，利用注意力機(jī)制構(gòu)建掩碼；利用掩碼對(duì)Transformer結(jié)構(gòu)線性層和注意力層的參數(shù)進(jìn)行自適應(yīng)剪枝，得到原模型的第一壓縮模型；將待壓縮的Transformer結(jié)構(gòu)的編碼器作為學(xué)生網(wǎng)絡(luò)，原模型作為教師網(wǎng)絡(luò)進(jìn)行蒸餾學(xué)習(xí)；學(xué)生網(wǎng)絡(luò)根據(jù)全局蒸餾損失和交點(diǎn)蒸餾損失進(jìn)行蒸餾更新，完成壓縮；本發(fā)明可以使模型在無(wú)明顯精度下滑的前提下，顯著降低模型的計(jì)算量并大幅提升模型的推理速度。

技術(shù)研發(fā)人員：李思默,寧琪琳,楊光
受保護(hù)的技術(shù)使用者：重慶國(guó)資大數(shù)據(jù)智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23