本發(fā)明涉及卷積網(wǎng)絡模型處理領域，具體而言，涉及一種終端卷積神經網(wǎng)絡的處理方法、裝置、存儲介質及處理器。

背景技術：

近年來，隨著深度學習的高速迅猛發(fā)展，深層卷積神經網(wǎng)絡憑借其獨有的性能優(yōu)勢在計算機視覺、圖像處理等領域獲得了廣泛應用。然而，深層卷積神經網(wǎng)絡具有大容量、深層次、高維度等特點，網(wǎng)絡參數(shù)眾多，所需要的內存和計算資源十分龐大，目前其應用模式主要集中在高性能計算集群或云端平臺，在終端應用中存在著存儲空間有限、計算資源不足、運算時間長等問題。目前，針對卷積神經網(wǎng)絡在終端應用中的壓縮與加速仍然面臨著一定的挑戰(zhàn)。

針對卷積神經網(wǎng)絡的模型壓縮與計算加速，已有一些算法被提出。文獻[hansong,etal.deepcompression:compressingdeepneuralnetworkswithpruning,trainedquantizationandhuffmancoding]針對卷積神經網(wǎng)絡的參數(shù)冗余，設計了一種模型剪枝策略，經過連接剪枝、權值量化、huffman編碼之后模型尺寸大大減少。然而，其剪枝主要作用于參數(shù)量多而冗余的全連接層，卷積層的參數(shù)量少但是計算量大，因此剪枝法對于卷積神經網(wǎng)絡的速度提升十分有限。在文獻[andrewg.howard,etal.mobilenets:efficientconvolutionalneuralnetworksformobilevisionapplications]中，谷歌研究人員提出一種適用于手機的輕量卷積神經網(wǎng)絡模型，通過將傳統(tǒng)的三維全連接卷積拆分成二維部分連接卷積及1x1線性映射卷積，降低模型的參數(shù)及計算量，并引入了通道數(shù)因子與分辨率因子兩個超參數(shù)，對網(wǎng)絡模型的尺寸進行輔助控制。然而，卷積拆分后每個輸入通道只與一個卷積核進行卷積，其提取特征的能力差，不僅會丟失很多信息，還使得網(wǎng)絡的表達空間十分受限。此外，通道數(shù)因子為全局性的，即卷積神經網(wǎng)絡的所有層的通道數(shù)稀疏度必須是統(tǒng)一的。然而，不同層的卷積核對于通道剪枝的敏感度與容忍度不同，采用統(tǒng)一的通道數(shù)因子可能在某些層無法達到本應有的稀疏度，而在其它層超出容忍度極限而帶來不必要的性能損失。因此，現(xiàn)有的卷積神經網(wǎng)絡在終端上運行時，其壓縮與加速過程中表現(xiàn)出效率低、效果差的現(xiàn)狀。綜上，現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在運行效率較低的技術問題。

針對上述的問題，目前尚未提出有效的解決方案。

技術實現(xiàn)要素：

本發(fā)明實施例提供了一種終端卷積神經網(wǎng)絡的處理方法、裝置、存儲介質及處理器，以至少解決現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在的運行效率較低的技術問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種終端卷積神經網(wǎng)絡的處理方法，該方法包括：對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡；向上述第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對上述第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；根據(jù)預設卷積通道稀疏度計算模型計算上述第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)上述稀疏度對上述第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；根據(jù)上述預設數(shù)據(jù)集對上述第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；在終端上運行上述目標卷積神經網(wǎng)絡。

進一步地，在對第一卷積神經網(wǎng)絡進行拆分處理之前，上述方法還包括：根據(jù)預設三維全連接卷積核創(chuàng)建上述第一卷積神經網(wǎng)絡。

進一步地，上述對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡包括：對上述第一卷積神經網(wǎng)絡中的至少部分卷積層進行拆分，并將上述預設三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；根據(jù)上述第一卷積神經網(wǎng)絡中被拆分后的上述卷積層、上述二維部分連接卷積核和上述1x1線性映射卷積核得到上述第二卷積神經網(wǎng)絡。

進一步地，上述根據(jù)上述預設數(shù)據(jù)集對上述第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡包括：根據(jù)隨機梯度法和上述預設數(shù)據(jù)集對上述第五卷積神經網(wǎng)絡進行訓練，直至上述第五卷積神經網(wǎng)絡達到收斂狀態(tài)，其中，達到上述收斂狀態(tài)的上述第五卷積神經網(wǎng)絡為上述目標卷積神經網(wǎng)絡。

根據(jù)本發(fā)明實施例的另一個方面，還提供了一種終端卷積神經網(wǎng)絡的處理裝置，該裝置包括：第一處理單元，用于對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡；第二處理單元，用于向上述第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；第三處理單元，用于根據(jù)預設數(shù)據(jù)集對上述第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；第四處理單元，用于根據(jù)預設卷積通道稀疏度計算模型計算上述第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)上述稀疏度對上述第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；第五處理單元，用于根據(jù)上述預設數(shù)據(jù)集對上述第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；運行單元，用于在終端上運行上述目標卷積神經網(wǎng)絡。

進一步地，上述裝置還包括：創(chuàng)建單元，用于根據(jù)預設三維全連接卷積核創(chuàng)建上述第一卷積神經網(wǎng)絡。

進一步地，上述第一處理單元包括：第一處理子單元，用于對上述第一卷積神經網(wǎng)絡中的至少部分卷積層進行拆分，并將上述預設三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；第一獲取子單元，用于根據(jù)上述第一卷積神經網(wǎng)絡中被拆分后的上述卷積層、上述二維部分連接卷積核和上述1x1線性映射卷積核得到上述第二卷積神經網(wǎng)絡。

進一步地，上述第五處理單元包括：第二處理子單元，根據(jù)隨機梯度法和上述預設數(shù)據(jù)集對上述第五卷積神經網(wǎng)絡進行訓練，直至上述第五卷積神經網(wǎng)絡達到收斂狀態(tài)，其中，達到上述收斂狀態(tài)的上述第五卷積神經網(wǎng)絡為上述目標卷積神經網(wǎng)絡。

根據(jù)本發(fā)明實施例的又一個方面，還提供了一種存儲介質，上述存儲介質包括存儲的程序，其中，在上述程序運行時控制上述存儲介質所在設備執(zhí)行上述的終端卷積神經網(wǎng)絡的處理方法。

根據(jù)本發(fā)明實施例的又一個方面，還提供了一種處理器，上述處理器用于運行程序，其中，上述程序運行時執(zhí)行上述的終端卷積神經網(wǎng)絡的處理方法。

在本發(fā)明實施例中，采用對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡的方式，通過向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；達到了在終端上運行目標卷積神經網(wǎng)絡的目的，從而實現(xiàn)了提升卷積在終端運行時的壓縮與加速過程中的運行效率、有效保障了卷積神經網(wǎng)絡在終端上運行的性能、極大降低了卷積網(wǎng)絡運行過程中的參數(shù)量及計算量的技術效果，進而解決了現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在的運行效率較低的技術問題。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定。在附圖中：

圖1(a)是根據(jù)本發(fā)明實施例的一種可選的終端卷積神經網(wǎng)絡的處理方法的流程示意圖；

圖1(b)是根據(jù)本發(fā)明實施例的一種可選的終端卷積神經網(wǎng)絡的處理方法中的第一卷積神經網(wǎng)絡的結構示意圖；

圖2是根據(jù)本發(fā)明實施例的另一種可選的終端卷積神經網(wǎng)絡的處理方法的流程示意圖；

圖3是根據(jù)本發(fā)明實施例的一種可選的終端卷積神經網(wǎng)絡的處理裝置的結構示意圖；

圖4是根據(jù)本發(fā)明實施例的另一種可選的終端卷積神經網(wǎng)絡的處理裝置的結構示意圖。

具體實施方式

為了使本技術領域的人員更好地理解本發(fā)明方案，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本發(fā)明保護的范圍。

需要說明的是，本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外，術語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產品或設備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。

實施例1

根據(jù)本發(fā)明實施例，提供了一種終端卷積神經網(wǎng)絡的處理方法的實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1(a)是根據(jù)本發(fā)明實施例的一種可選的終端卷積神經網(wǎng)絡的處理方法的流程示意圖，如圖1(a)所示，該方法包括如下步驟：

步驟s102，對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡；

步驟s104，向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；

步驟s106，根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；

步驟s108，根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；

步驟s110，根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；

步驟s112，在終端上運行目標卷積神經網(wǎng)絡。

在本發(fā)明實施例中，采用對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡的方式，通過向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；達到了在終端上運行目標卷積神經網(wǎng)絡的目的，從而實現(xiàn)了提升卷積在終端運行時的壓縮與加速過程中的運行效率、有效保障了卷積神經網(wǎng)絡在終端上運行的性能、極大降低了卷積網(wǎng)絡運行過程中的參數(shù)量及計算量的技術效果，進而解決了現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在的運行效率較低的技術問題。

可選地，卷積神經網(wǎng)絡(convolutionalneuralnetwork,cnn)是一種前饋神經網(wǎng)絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，對于大型圖像處理有出色表現(xiàn)。它包括卷積層(convolutionallayer)、池化層(poolinglayer)、全連接層(fullyconnectedlayer)等。

可選地，圖1(b)是根據(jù)本發(fā)明實施例的一種可選的終端卷積神經網(wǎng)絡的處理方法中的第一卷積神經網(wǎng)絡的結構示意圖，如圖1(b)所示，第一預設卷積神經網(wǎng)絡包括：輸入層、12個卷積層、1個池化層、1個全連接層。其中，輸入層的圖像尺寸縮放為224x224。所有卷積層的卷積核大小為3x3，采用relu激活函數(shù)。第一卷積層卷積核個數(shù)為32，步長為1；第二卷積層卷積核個數(shù)為64，步長為2；第三卷積層卷積核個數(shù)為128，步長為2；第四卷積層卷積核個數(shù)為128，步長為2；第五卷積層卷積核個數(shù)為256，步長為1；第六卷積層卷積核個數(shù)為256，步長為2；第七卷積層卷積核個數(shù)為512，步長為1；第八卷積層卷積核個數(shù)為512，步長為1；第九卷積層卷積核個數(shù)為512，步長為1；第十卷積層卷積核個數(shù)為512，步長為2；第十一卷積層卷積核個數(shù)為1024，步長為1；第十二卷積層卷積核個數(shù)為1024，步長為2。池化層采用平均池化法，池化核個數(shù)為3x3，步長為1。全連接層神經元個數(shù)為1000。

可選地，步驟s104，向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支可以包括：將二維部分連接卷積核的輸入與1x1線性映射卷積核的輸出相加。

可選地，步驟s106，根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練可以包括：對卷積神經網(wǎng)絡中的所有參數(shù)進行隨機初始化，之后采用隨機梯度下降法進行訓練直至收斂。具體地，預設數(shù)據(jù)集可以是imagenet分類任務數(shù)據(jù)集。

可選地，步驟s108，根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度可以包括：對于未拆分的卷積層，計算該層三維全連接卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值；對于拆分后的卷積層，先將二維部分連接卷積核與1x1線性映射卷積核進行相乘，得到重建卷積核，計算重建卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值。將每個卷積層所有通道的l1范式數(shù)值進行歸一化，并與預設的閾值進行對比，計算每個卷積層的l1范式數(shù)值小于預設閾值的通道數(shù)的個數(shù)與該卷積層通道總數(shù)的比例，得到第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度。

具體地，步驟s108中，對于未拆分的卷積層，可以通過計算該層三維全連接卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值；對于拆分后的卷積層，先將二維部分連接卷積核與1x1線性映射卷積核進行相乘，得到重建卷積核，計算重建卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值。將每個卷積層所有通道的l1范式數(shù)值進行歸一化，并與預設的閾值進行對比，計算每個卷積層的l1范式數(shù)值小于預設閾值的通道數(shù)的個數(shù)與該卷積層通道總數(shù)的比例，得到第四預設卷積神經網(wǎng)絡每層卷積層的稀疏度。第三預設卷積神經網(wǎng)絡的第一卷積層未拆分，其卷積核f尺寸為3x3，通道數(shù)為32，記為f＝[f1,f2,…,f32]，fi(i＝1,2,...,32)維度為[3,3,3]。計算||f1||1,||f2||1,…,||f32||1，將其進行歸一化，即對于其他拆分過的卷積層，如第二卷積層，a的卷積核尺寸為3x3，通道數(shù)為32，記為a＝[a1,a2,…,a32]，ai(i＝1,2,...,32)維度為[3,3,1]。b的卷積核尺寸為1x1，通道數(shù)為64，記為b＝[b1,b2,…,b64]，bi(i＝1,2,...,64)維度為[1,1,32]。計算axb1，axb2，…，axb64，最后將其進行歸一化。

可選地，本發(fā)明實施例中所涉及的終端卷積神經網(wǎng)絡的處理方法，可以針對卷積神經網(wǎng)絡中參數(shù)少但是計算量大的卷積層進行優(yōu)化加速。通過對三維全連接卷積進行拆分，降低了卷積層的參數(shù)量及計算量；通過在拆分卷積層中引入殘差旁路分支，在不增加參數(shù)量的前提下降低了拆分對卷積層的精度帶來的影響，保證了卷積神經網(wǎng)絡的性能；通過引入卷積通道稀疏度評估模型，獲得不同卷積層的稀疏度比例，可以反映每層卷積層對通道修剪的敏感度與容忍度，為通道修剪提供輔助指導作用；通過逐層修剪卷積通道，有效利用卷積層中的參數(shù)冗余，在不影響卷積神經網(wǎng)絡性能的前提下進一步降低參數(shù)量及計算量。因此，本發(fā)明實現(xiàn)了針對卷積神經網(wǎng)絡的壓縮與加速。

可選地，步驟s110，根據(jù)步驟s108中的稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡可以包括：根據(jù)預設卷積通道稀疏度評估模型計算出來的稀疏度及通道l1范式，去掉每個卷積層中l(wèi)1范式較小的通道，修剪掉的通道數(shù)不能大于該層的稀疏度與通道總數(shù)的乘積。對于未拆分的卷積層，修剪時直接去掉對應部分的卷積核；對于拆分后的卷積層，修剪時要同時去掉該通道對應的二維部分連接卷積核與1x1線性映射卷積核。

可選地，運行目標卷積神經網(wǎng)絡的終端可以為計算機終端或者移動設備終端。

可選地，在執(zhí)行步驟s102之前，即在對第一卷積神經網(wǎng)絡進行拆分處理之前，該方法還可以包括：根據(jù)預設三維全連接卷積核創(chuàng)建第一卷積神經網(wǎng)絡。

具體地，第一卷積神經網(wǎng)絡可以包含輸入層、三維全連接卷積層、池化層、非線性層、全連接層等。其中，三維全連接卷積層的卷積核的每個通道都與前一層的所有通道相連接。

可選地，圖2是根據(jù)本發(fā)明實施例的另一種可選的終端卷積神經網(wǎng)絡的處理方法的流程示意圖，如圖2所示，步驟s102，對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡包括：

步驟s202，對第一卷積神經網(wǎng)絡中的至少部分卷積層進行拆分，并將預設三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；

步驟s204，根據(jù)第一卷積神經網(wǎng)絡中被拆分后的卷積層、二維部分連接卷積核和1x1線性映射卷積核得到第二卷積神經網(wǎng)絡。

可選地，步驟s202中的二維部分連接卷積核的每個通道只與前一層的單個通道相連接，而1x1線性映射卷積核的每個通道與二維部分連接卷積核的所有輸出通道相連接。

可選地，仍如圖1(b)所示，對第一卷積神經網(wǎng)絡的第二層至第十二層卷積層進行拆分。以第二層為例，原卷積核k大小為3x3，通道數(shù)為64，記為k＝[k1,k2,…,k64]。其中ki(i＝1,2,...,64)維度為[3,3,32]。經過拆分之后，得到二維部分連接卷積核a與1x1線性映射卷積核b。其中，a的卷積核尺寸為3x3，通道數(shù)為32，記為a＝[a1,a2,…,a32]，ai(i＝1,2,...,32)維度為[3,3,1]。b的卷積核尺寸為1x1，通道數(shù)為64，記為b＝[b1,b2,…,b64]，bi(i＝1,2,...,64)維度為[1,1,32]。二維部分連接卷積核的步長與原三維全連接卷積核步長一致，1x1線性映射卷積核步長為1。

可選地，步驟s104，向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡可以包括：將二維部分連接卷積核的輸入與1x1線性映射卷積核的輸出相加。

可選地，步驟s110，根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡包括：根據(jù)隨機梯度法和預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，直至第五卷積神經網(wǎng)絡達到收斂狀態(tài)，其中，達到收斂狀態(tài)的第五卷積神經網(wǎng)絡為目標卷積神經網(wǎng)絡。

可選地，本發(fā)明實施例中所涉及的終端卷積神經網(wǎng)絡的處理方法可以采用將三維全連接卷積拆分為二維部分連接卷積與1x1線性映射卷積的方式，降低卷積神經網(wǎng)絡模型的數(shù)據(jù)量與計算量。通過對拆分后的卷積層引入殘差旁路分支，保證了網(wǎng)絡的表達能力與精度，并通過卷積通道稀疏度評估模型對不同卷積層進行卷積通道縮減，達到了在保證網(wǎng)絡精度前提下進一步降低網(wǎng)絡參數(shù)與計算量的目的，從而實現(xiàn)了卷積神經網(wǎng)絡壓縮與加速的技術效果，進而解決了現(xiàn)有卷積壓縮與加速技術效率低、效果差的技術問題。

在本發(fā)明實施例中，采用對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡的方式，通過向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；達到了在終端上運行目標卷積神經網(wǎng)絡的目的，從而實現(xiàn)了提升卷積在終端運行時的壓縮與加速過程中的運行效率、有效保障了卷積神經網(wǎng)絡在終端上運行的性能、極大降低了卷積網(wǎng)絡運行過程中的參數(shù)量及計算量的技術效果，進而解決了現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在的運行效率較低的技術問題。

實施例2

根據(jù)本發(fā)明實施例的另一個方面，還提供了終端卷積神經網(wǎng)絡的處理裝置，如圖3所示，該裝置包括：第一處理單元301、第二處理單元303、第三處理單元305、第四處理單元307、第五處理單元309和運行單元311。

其中，第一處理單元301，用于對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡；第二處理單元303，用于向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；第三處理單元305，用于根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；第四處理單元307，用于根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；第五處理單元309，用于根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；運行單元311，用于在終端上運行目標卷積神經網(wǎng)絡。

可選地，如圖4所示，該裝置還可以包括：創(chuàng)建單元401，用于根據(jù)預設三維全連接卷積核創(chuàng)建第一卷積神經網(wǎng)絡。

可選地，第一處理單元301可以包括：第一處理子單元，用于對第一卷積神經網(wǎng)絡中的至少部分卷積層進行拆分，并將預設三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；第一獲取子單元，用于根據(jù)第一卷積神經網(wǎng)絡中被拆分后的卷積層、二維部分連接卷積核和1x1線性映射卷積核得到第二卷積神經網(wǎng)絡。

可選地，第五處理單元可以包括：第二處理子單元，根據(jù)隨機梯度法和預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，直至第五卷積神經網(wǎng)絡達到收斂狀態(tài)，其中，達到收斂狀態(tài)的第五卷積神經網(wǎng)絡為目標卷積神經網(wǎng)絡。

根據(jù)本發(fā)明實施例的又一個方面，還提供了一種存儲介質，該存儲介質包括存儲的程序，其中，在程序運行時控制存儲介質所在設備執(zhí)行上述實施例1中的終端卷積神經網(wǎng)絡的處理方法。

根據(jù)本發(fā)明實施例的又一個方面，還提供了一種處理器，該處理器用于運行程序，程序運行時執(zhí)行上述實施例1中的終端卷積神經網(wǎng)絡的處理方法。

在本發(fā)明實施例中，采用對第一卷積神經網(wǎng)絡進行拆分處理，得到第二卷積神經網(wǎng)絡的方式，通過向第二卷積神經網(wǎng)絡中拆分的卷積層中添加殘差分支，得到第三卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第三卷積神經網(wǎng)絡進行訓練，得到第四卷積神經網(wǎng)絡；根據(jù)預設卷積通道稀疏度計算模型計算第四卷積神經網(wǎng)絡中每層卷積核通道的稀疏度，進而根據(jù)稀疏度對第四卷積神經網(wǎng)絡進行通道修剪，得到第五卷積神經網(wǎng)絡；根據(jù)預設數(shù)據(jù)集對第五卷積神經網(wǎng)絡進行訓練，得到目標卷積神經網(wǎng)絡；達到了在終端上運行目標卷積神經網(wǎng)絡的目的，從而實現(xiàn)了提升卷積在終端運行時的壓縮與加速過程中的運行效率、有效保障了卷積神經網(wǎng)絡在終端上運行的性能、極大降低了卷積網(wǎng)絡運行過程中的參數(shù)量及計算量的技術效果，進而解決了現(xiàn)有技術中的卷積神經網(wǎng)絡在終端上運行時存在的運行效率較低的技術問題。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

在本發(fā)明的上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的技術內容，可通過其它的方式實現(xiàn)。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。