1.基于VGG16圖像反卷積的網(wǎng)絡(luò)性能評(píng)估方法,包括如下步驟:
1)準(zhǔn)備好待評(píng)估的兩個(gè)網(wǎng)絡(luò)模型及其相關(guān)文件:
1a)從官網(wǎng)下載VGG16原始網(wǎng)絡(luò)模型及其相關(guān)文件,
1b)在linux系統(tǒng)下搭建caffe平臺(tái),并用下載得到的文件對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào),得到微調(diào)后的網(wǎng)絡(luò)模型及其相關(guān)文件;
1c)將VGG16原始網(wǎng)絡(luò)和微調(diào)后的網(wǎng)絡(luò)作為待評(píng)估的兩個(gè)網(wǎng)絡(luò);
2)做出兩個(gè)待評(píng)估網(wǎng)絡(luò)“conv5_3”層的特征可視化圖像及其反卷積后的圖像:
2a)將VGG16原始網(wǎng)絡(luò)模型和微調(diào)后的網(wǎng)絡(luò)模型分別通過(guò)前向傳播過(guò)程取出“conv5_3”層的特征可視化圖;
2b)將特征可視化圖像按照VGG16原始網(wǎng)絡(luò)和微調(diào)后網(wǎng)絡(luò)框架逆向逐層進(jìn)行反池化、反整流和反卷積操作,得到VGG16原始網(wǎng)絡(luò)和微調(diào)后的網(wǎng)絡(luò)的反卷積圖像;
2c)對(duì)VGG16原始網(wǎng)絡(luò)的反卷積圖像和微調(diào)后網(wǎng)絡(luò)的反卷積圖像進(jìn)行比較,得出這兩種網(wǎng)絡(luò)對(duì)小型汽車的顯著性特征提取能力強(qiáng)弱,對(duì)待評(píng)估網(wǎng)絡(luò)進(jìn)行一次評(píng)估;
3)做出特征可視化圖像的系數(shù)衰減圖:
3a)將2a)中得到的“conv5_3”層特征可視化圖像的數(shù)據(jù)保存為.mat格式的文件;
3b)在MATLAB中畫(huà)出VGG16原始網(wǎng)絡(luò)和微調(diào)后網(wǎng)絡(luò)“conv5_3”層特征可視化圖像的二維的系數(shù)衰減圖;
3c)比較3b)中系數(shù)衰減圖的曲線陡峭程度:系數(shù)衰減圖的曲線陡峭程度越大,則說(shuō)明待評(píng)估網(wǎng)絡(luò)提取小型汽車顯著性特征的能力越強(qiáng),能夠更好地完成對(duì)小型汽車的識(shí)別分類,即網(wǎng)絡(luò)性能更好,完成對(duì)待評(píng)估網(wǎng)絡(luò)的二次評(píng)估。
2.根據(jù)權(quán)利要求1所述的方法,其中步驟1b)中對(duì)VGG16原始網(wǎng)絡(luò)進(jìn)行微調(diào),按如下步驟進(jìn)行:
1b1)從imagenet數(shù)據(jù)集中挑選出1300輛小型汽車及1300輛摩托車,并分別按照11:2的比例將其分為訓(xùn)練集和測(cè)試集兩部分,其中訓(xùn)練數(shù)據(jù)集為1100張小型汽車和1100張摩托車,測(cè)試數(shù)據(jù)集為200張小型汽車和200張摩托車;
1b3)分別做出訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的.txt文件并在.txt文件中加上標(biāo)簽;
1b4)將訓(xùn)練數(shù)據(jù)集及其相應(yīng)的.txt文件轉(zhuǎn)換成網(wǎng)絡(luò)訓(xùn)練所需的lmdb格式文件,同時(shí)將測(cè)試數(shù)據(jù)集及其相應(yīng)的.txt文件轉(zhuǎn)換成網(wǎng)絡(luò)訓(xùn)練所需的lmdb格式文件,再生成二進(jìn)制均值文件;
1b5)在訓(xùn)練網(wǎng)絡(luò)所需文件train_val.prototxt中修改其調(diào)用的lmdb文件和二進(jìn)制均值文件的路徑,并將最后一層全連接的名稱改為fc8t;在solver.prototxt文件中修改其調(diào)用的train_val.prototxt的路徑,再對(duì)該文件中的訓(xùn)練參數(shù)進(jìn)行修改,即把學(xué)習(xí)率base_lr改為0.0001,最大迭代次數(shù)max_iter改為2200次;
1b6)將VGG16網(wǎng)絡(luò)原始模型參數(shù)作為微調(diào)網(wǎng)絡(luò)的初始值,調(diào)用solver.prototxt文件,用修改后的訓(xùn)練參數(shù)重新訓(xùn)練網(wǎng)絡(luò),得到微調(diào)后網(wǎng)絡(luò)模型和相關(guān)文件。
3.根據(jù)權(quán)利要求1所述的方法,其中步驟2c)中對(duì)待評(píng)估網(wǎng)絡(luò)進(jìn)行一次評(píng)估,是通過(guò)比較VGG16原始網(wǎng)絡(luò)與微調(diào)后網(wǎng)絡(luò)對(duì)于同一小型汽車輸入圖像的特征可視化圖像及其對(duì)應(yīng)的反卷積圖像實(shí)現(xiàn):如果其中某網(wǎng)絡(luò)的特征可視化圖像更加稀疏、反卷積后圖像的顯著性特征更加明顯,且冗余特征更少,則表示該網(wǎng)絡(luò)最終用于分類的信息更加準(zhǔn)確,說(shuō)明該網(wǎng)絡(luò)對(duì)小型汽車具有更強(qiáng)的特征提取能力及分類能力,則評(píng)估該網(wǎng)絡(luò)性能較好。