基于l21范數(shù)的提升卷積神經(jīng)網(wǎng)絡泛化能力的方法
【技術領域】：
[0001] 本發(fā)明涉及計算機視覺、深度學習特征表示技術領域，具體涉及一種基于L21范 數(shù)的提升卷積神經(jīng)網(wǎng)絡泛化能力的方法。
【背景技術】：
[0002] 卷積神經(jīng)網(wǎng)絡是人工神經(jīng)網(wǎng)絡的一種，深層的卷積神經(jīng)網(wǎng)絡已成為當前語音分析 和圖像識別領域的研究熱點，也是眾多公開數(shù)據(jù)集上冠軍的保持者。它的權值共享網(wǎng)絡結 構使之更類似于生物神經(jīng)網(wǎng)絡，降低了網(wǎng)絡模型的復雜度，減少了權值的數(shù)量。該優(yōu)點在網(wǎng) 絡的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡的輸入，避免了傳統(tǒng)識 別算法中復雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡是為識別二維形狀而特殊設計的一個 多層感知器，這種網(wǎng)絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。
[0003] 1962年，Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野的概念。 1984年日本學者Fukushima基于感受野概念提出的神經(jīng)認知機（neocognitron)可以看作 是卷積神經(jīng)網(wǎng)絡的第一個實現(xiàn)網(wǎng)絡，也是感受野概念在人工神經(jīng)網(wǎng)絡領域的首次應用。卷 積神經(jīng)網(wǎng)絡是在此基礎之上發(fā)展而來，它是一個多層的神經(jīng)網(wǎng)絡，每層由多個二維平面組 成（成為特征圖），而每個平面由多個獨立神經(jīng)元組成。卷積神經(jīng)網(wǎng)絡大致由卷積層和池化 層交疊組成，卷積層提取特征，每個神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局 部的特征，一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來。池化層 求解局部平均（平均池化）或者記錄局部最大特征（最大池化），使得輸入圖像對較小的畸 變，變形具有較高的容忍能力。
[0004] 卷積神經(jīng)網(wǎng)絡為有監(jiān)督的學習方法，通過在最后一層添加體現(xiàn)分類目標的代價函 數(shù)，在訓練樣本集上面最小化代價函數(shù)，來達到卷積神經(jīng)網(wǎng)絡參數(shù)學習的目的。

【發(fā)明內(nèi)容】
：
[0005] 本發(fā)明的目的在于針對上述現(xiàn)有技術的不足，提供了一種基于L21范數(shù)的提升卷 積神經(jīng)網(wǎng)絡泛化能力的方法。
[0006] 為達到上述目的，本發(fā)明采用如下技術方案予以實現(xiàn)的：
[0007] 基于L21范數(shù)的提升卷積神經(jīng)網(wǎng)絡泛化能力的方法，包括以下步驟：
[0008] 1)將待處理圖像集劃分為訓練集、驗證集和測試集；
[0009] 2)設計用于待處理圖像集分類任務的卷積神經(jīng)網(wǎng)絡，包括層數(shù)，卷積核大小，每一 層的特征圖個數(shù)以及全鏈接層的節(jié)點個數(shù)，各層參數(shù)初始化策略；
[0010] 3)選定步驟2)中設計好的卷積神經(jīng)網(wǎng)絡中的一層或幾層，對選定層的特征添加 基于類內(nèi)特征的L21范數(shù)約束，使得同一類輸入圖像的激活相對一致，形成新的卷積神經(jīng) 網(wǎng)絡模型；
[0011] 4)按照基于mini-batch的隨機梯度下降方法，利用訓練集來訓練新的卷積神經(jīng) 網(wǎng)絡模型，新的卷積神經(jīng)網(wǎng)絡模型訓練好之后，利用訓練好的卷積神經(jīng)網(wǎng)絡模型完成對待 處理圖像特征提取。
[0012] 本發(fā)明進一步的改進在于，設計好步驟2)中的卷積神經(jīng)網(wǎng)絡的結構；
[0013] 設選定的卷積神經(jīng)網(wǎng)絡模型共有M層，給定一個mini-batch的訓練樣本
η為一個mini-batch的大??！Xi表示輸入的原始待處理圖像；c {1，2,…，C} 是相應的類別標簽，C是類別總數(shù)，選定的卷積神經(jīng)網(wǎng)絡模型的目標函數(shù)如下：
[0014]
[0015] 其中，
；b (1)，…，b(M))，即W表示選定的卷積神經(jīng)網(wǎng)絡模型的全部 參數(shù)，Ww表示選定的卷積神經(jīng)網(wǎng)絡模型第m層的權重參數(shù)，b (m)表示選定的卷積神經(jīng)網(wǎng)絡 模型第m層的偏置參數(shù)，#表示樣本X1的損失函數(shù)。
[0016] 本發(fā)明進一步的改進在于，步驟3)中，選定步驟2)中的卷積神經(jīng)網(wǎng)絡模型的高 層，即靠近輸出的層，添加基于類內(nèi)特征的L21范數(shù)約束。
[0017] 本發(fā)明進一步的改進在于，步驟3)中，定義一個mini-batch中的η個輸入樣本在 卷積神經(jīng)網(wǎng)絡某高層的隱層特征表示為矩陣A，A的維度為mXn，即該層具有m個神經(jīng)元， 也即該層的特征表不為m維的特征向量，每一列表不一個輸入樣本，其中，矩陣A的表達如 下；
[0018]
[0019] 定義該層的L21范數(shù)約束，也即神經(jīng)元的類別選擇性約束條件為：
[0020]
[0021] 其中，m表示該層神經(jīng)元的個數(shù)，c表示類別種類數(shù)目，aij表示第j個樣本在第 i個神經(jīng)元上的響應值，wk表示第k類樣本，
表示第k類樣本的二范數(shù)；最小化該 約束條件使得同一類樣本在同一個神經(jīng)元上表現(xiàn)出一致的特性，即激活或者不激活該神經(jīng) J L 〇
[0022] 本發(fā)明進一步的改進在于，步驟3)中，對選定層的特征做基于L21范數(shù)的正則約 束，形成一個新的卷積神經(jīng)網(wǎng)絡模型的目標函數(shù)為：
[0023]
[0024] 其中，λ是平衡原始損失函數(shù)和L21范數(shù)正則約束項的參數(shù)。
[0025] 本發(fā)明進一步的改進在于，對于形成的新的卷積神經(jīng)網(wǎng)絡模型的目標函數(shù)，利用 基于mini-batch的隨機梯度下降法進行優(yōu)化，先計算出L21范數(shù)正則約束項的梯度靈敏 度，然后根據(jù)誤差反傳原則，將卷積神經(jīng)網(wǎng)絡的各層參數(shù)的梯度計算出來，與原始的卷積神 經(jīng)網(wǎng)絡損失函數(shù)部分項的梯度相加；
[0026] L21范數(shù)正則約束項的梯度靈敏度計算如下：
[0027] 根據(jù)步驟3)中，中的定義，首先，將矩陣A，按列分塊：
[0028]
[0029] 表示第i行各類樣本的二范數(shù)組成的c維向量，c ， 表示類別的數(shù)目，即
表示第j個樣本的向量 化標簽，即只有對應類別上數(shù)字為1，其余為0,共C維；則矩陣A對第j個樣本，即A的第j 列的靈敏度計算公式為：
[0030]
[0031] 其中，diag表示對角化矩陣，?表示向量內(nèi)積操作，ε為無窮小的正數(shù)。
[0032] 相對于現(xiàn)有技術，本發(fā)明具有如下的優(yōu)點：
[0033] 本發(fā)明借助認知科學和神經(jīng)科學對人腦視覺細胞特性的研究成果，通過在卷積神 經(jīng)網(wǎng)絡訓練過程中添加顯式的特征約束條件，使得卷積神經(jīng)網(wǎng)絡能夠學習得到對物體的更 加類似于人腦視覺細胞特性的特征表示，從而改進傳統(tǒng)卷積神經(jīng)網(wǎng)絡的特征表達能力和泛 化能力。
[0034] 具體來說，本發(fā)明改進了傳統(tǒng)卷積神經(jīng)網(wǎng)絡沒有對中間隱含層進行有目標的針對 性學習的特點。本發(fā)明提出類別選擇性約束條件，并且將其利用L21范數(shù)進行數(shù)學描述和 擴展到現(xiàn)有的基于mini-batch的隨機梯度法當中。本發(fā)明在訓練過程中對高層隱含層進 行類別選擇性的顯式約束，使得卷積神經(jīng)網(wǎng)絡的特征表達更接近于人腦對圖像的特征表 示，從而提升卷積神經(jīng)網(wǎng)絡的表達能力和泛化能力。本發(fā)明使得卷積神經(jīng)網(wǎng)絡的訓練成本 基本沒有增加，計算圖像特征表示時，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡完全一致，沒有增加任何計算 成本。
【附圖說明】：
[0035] 圖1為本發(fā)明的系統(tǒng)流程示意圖。
【具體實施方式】：
[0036] 以下結合附圖對本發(fā)明作進一步的詳細說明。
[0037] 近些年認知學和神經(jīng)科學的研究表明，人腦視覺皮層細胞，尤其是高層細胞，具有 顯著的類別選擇性，即同一個細胞只會被某幾類物體所激活。這說明高層的神經(jīng)網(wǎng)絡的特 征具有明顯的語義特性。我們有必要在高層的神經(jīng)網(wǎng)絡添加顯式的約束，使得卷積神經(jīng)網(wǎng) 絡在參數(shù)學習過程中能夠學到這一特性，從而使得傳統(tǒng)的卷積神經(jīng)網(wǎng)絡能夠學習得到更類 似于人腦對圖像的特征表示，提升特征表達能力和泛化能力。本發(fā)明將人腦視覺細胞具有 類別選擇性的特性加以數(shù)學公式化描述，并將其擴展到現(xiàn)在卷積神經(jīng)網(wǎng)絡訓練通用的小批 量樣本（mini-batch)隨機梯度法當中。
[0038] 本發(fā)明基于L21范數(shù)的提升卷積神經(jīng)網(wǎng)絡泛化能力的方法，包括以下幾個步驟：
[0039] (1)將待處理圖像集劃分為訓練集、驗證集和測試集；其中，訓練集是學習卷積神 經(jīng)網(wǎng)絡參數(shù)的輸入，驗證集用于評估網(wǎng)絡參數(shù)的好壞，調節(jié)學習過程的步長，學習率等一系 列超參數(shù)，測試集用于最終卷積神經(jīng)網(wǎng)絡性能的測試評價；
[0040] (2)設計用于待處理圖像集分類任務的卷積神經(jīng)網(wǎng)絡，包括層數(shù)，卷積