本公開涉及深度學習技術領域,尤其涉及卷積神經(jīng)網(wǎng)絡的訓練方法及裝置。
背景技術:
目前,為了更好地識別圖片,越來越多的識別過程需要使用到cnn網(wǎng)絡(convolutionalneuralnetwork,卷積神經(jīng)網(wǎng)絡),而為了確保識別結(jié)果準確,就需要對cnn網(wǎng)絡等進行反復訓練,但相關技術中的cnn網(wǎng)絡訓練方式使得cnn網(wǎng)絡的訓練效率和精確度并不太高,從而導致cnn網(wǎng)絡的訓練結(jié)果不太理想。
技術實現(xiàn)要素:
本公開實施例提供了卷積神經(jīng)網(wǎng)絡的訓練方法及裝置。所述技術方案如下:
根據(jù)本公開實施例的第一方面,提供一種卷積神經(jīng)網(wǎng)絡的訓練方法,包括:
從預設圖片庫中選擇目標圖片;
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,其中,所述識別結(jié)果包括:經(jīng)過所述卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,所述屬性關聯(lián)參數(shù)值與所述卷積神經(jīng)網(wǎng)絡對所述目標圖片的目標屬性的預測值相關;
根據(jù)所述目標圖片的識別結(jié)果,對所述卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
在一個實施例中,所述卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡;
在所述屬性識別函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的屬性關聯(lián)參數(shù)值;
在所述相似度驗證函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的圖片相似度驗證結(jié)果,其中,所述目標網(wǎng)絡參數(shù)包括所述第一網(wǎng)絡參數(shù)和所述第二網(wǎng)絡參數(shù)。
在一個實施例中,當所述目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從所述多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
在一個實施例中,所述目標圖片包括所述預設圖片庫中的任意兩張圖片;
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得所述目標圖片中各圖片的屬性關聯(lián)參數(shù)值和所述目標圖片的圖片相似度驗證結(jié)果。
在一個實施例中,所述屬性識別函數(shù)包括:
f表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中任一張圖片提取到的哈希碼、t表示所述任一張圖片的所述目標屬性的預設屬性值、θid表示所述第一網(wǎng)絡參數(shù)的當前值、
所述相似度驗證函數(shù)包括:
fi和fj分別表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=1表示所述目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示所述目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示所述第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示所述圖片相似度驗證結(jié)果。
在一個實施例中,所述卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
在一個實施例中,所述激活函數(shù)包括絕對值函數(shù)。
在一個實施例中,所述目標屬性包括以下任一項:所述目標圖片中人物的年齡、所述目標圖片中景物的地點、所述目標圖片的拍攝地點。
根據(jù)本公開實施例的第二方面,提供一種卷積神經(jīng)網(wǎng)絡的訓練裝置,包括:
第一選擇模塊,用于從預設圖片庫中選擇目標圖片;
獲取模塊,用于將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,其中,所述識別結(jié)果包括:經(jīng)過所述卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,所述屬性關聯(lián)參數(shù)值與所述卷積神經(jīng)網(wǎng)絡對所述目標圖片的目標屬性的預測值相關;
調(diào)整模塊,用于根據(jù)所述目標圖片的識別結(jié)果,對所述卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
在一個實施例中,所述卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
所述獲取模塊包括:
輸入子模塊,用于將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡;
第一獲取子模塊,用于在所述屬性識別函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的屬性關聯(lián)參數(shù)值;
第二獲取子模塊,用于在所述相似度驗證函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的圖片相似度驗證結(jié)果,其中,所述目標網(wǎng)絡參數(shù)包括所述第一網(wǎng)絡參數(shù)和所述第二網(wǎng)絡參數(shù)。
在一個實施例中,第二選擇模塊,用于當所述目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從所述多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
在一個實施例中,所述目標圖片包括所述預設圖片庫中的任意兩張圖片;
所述獲取模塊包括:
第三獲取子模塊,用于將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得所述目標圖片中各圖片的屬性關聯(lián)參數(shù)值和所述目標圖片的圖片相似度驗證結(jié)果。
在一個實施例中,所述屬性識別函數(shù)包括:
f表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中任一張圖片提取到的哈希碼、t表示所述任一張圖片的所述目標屬性的預設屬性值、θid表示所述第一網(wǎng)絡參數(shù)的當前值、
所述相似度驗證函數(shù)包括:
fi和fj分別表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=1表示所述目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示所述目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示所述第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示所述圖片相似度驗證結(jié)果。
在一個實施例中,所述卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
在一個實施例中,所述激活函數(shù)包括絕對值函數(shù)。
在一個實施例中,所述目標屬性包括以下任一項:所述目標圖片中人物的年齡、所述目標圖片中景物的地點、所述目標圖片的拍攝地點。
根據(jù)本公開實施例的第三方面,提供了一種卷積神經(jīng)網(wǎng)絡的訓練裝置,包括:
處理器;
用于存儲處理器可執(zhí)行指令的存儲器;
其中,所述處理器被配置為:
從預設圖片庫中選擇目標圖片;
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,其中,所述識別結(jié)果包括:經(jīng)過所述卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,所述屬性關聯(lián)參數(shù)值與所述卷積神經(jīng)網(wǎng)絡對所述目標圖片的目標屬性的預測值相關;
根據(jù)所述目標圖片的識別結(jié)果,對所述卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
根據(jù)本公開實施例的第四方面,還提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機指令,所述指令被處理器執(zhí)行時實現(xiàn)如上述第一方面實施例所述方法的步驟。
本公開的實施例提供的技術方案可以包括以下有益效果:
本公開的實施例提供的技術方案,通過將目標圖片輸入卷積神經(jīng)網(wǎng)絡以獲得包含圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值在內(nèi)的目標圖片的識別結(jié)果的方式相當于改變了相關技術中的損失函數(shù),使得cnn網(wǎng)絡采用了新的損失函數(shù),而這種損失函數(shù)的變更也豐富了cnn網(wǎng)絡訓練的依據(jù),因而,通過本公開的目標圖片的識別結(jié)果對cnn網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整,可對cnn網(wǎng)絡進行更為有效、精準的訓練,有利于提高訓練結(jié)果的精確度,可提高cnn網(wǎng)絡后期對目標屬性的識別精確度。
應當理解的是,以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的,并不能限制本公開。
附圖說明
此處的附圖被并入說明書中并構成本說明書的一部分,示出了符合本公開的實施例,并與說明書一起用于解釋本公開的原理。
圖1是根據(jù)一示例性實施例示出的一種卷積神經(jīng)網(wǎng)絡的訓練方法的流程圖。
圖2是根據(jù)一示例性實施例示出的另一種卷積神經(jīng)網(wǎng)絡的訓練方法的流程圖。
圖3是根據(jù)一示例性實施例示出的一種卷積神經(jīng)網(wǎng)絡的訓練裝置的框圖。
圖4是根據(jù)一示例性實施例示出的另一種卷積神經(jīng)網(wǎng)絡的訓練裝置的框圖。
圖5是根據(jù)一示例性實施例示出的適用于卷積神經(jīng)網(wǎng)絡的訓練裝置的框圖。
具體實施方式
這里將詳細地對示例性實施例進行說明,其示例表示在附圖中。下面的描述涉及附圖時,除非另有表示,不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本公開相一致的所有實施方式。相反,它們僅是與如所附權利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。
為了解決上述技術問題,本公開實施例提供了一種卷積神經(jīng)網(wǎng)絡的訓練方法,該方法可用于卷積神經(jīng)網(wǎng)絡的訓練程序、系統(tǒng)或裝置中,且該方法對應的執(zhí)行主體可以是終端(如手機、平板電腦等)、服務器等,如圖1所示,該方法包括步驟s101至步驟s103:
在步驟s101中,從預設圖片庫中選擇目標圖片;
在步驟s102中,將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得目標圖片的識別結(jié)果,其中,識別結(jié)果包括:經(jīng)過卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,屬性關聯(lián)參數(shù)值與卷積神經(jīng)網(wǎng)絡對目標圖片的目標屬性的預測值相關;
目標屬性包括但不限于:目標圖片中人物的年齡、目標圖片中景物的地點、目標圖片的拍攝地點等。
另外,預設圖片庫中的每張圖片都被預先標記了該圖片的目標屬性的預設屬性值,如該圖片的實際拍攝地點、該圖片中景物的實際地點,該圖片中人物的實際年齡。
在步驟s103中,根據(jù)目標圖片的識別結(jié)果,對卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
由于相關技術是通過cnn網(wǎng)絡中tripletloss函數(shù)輸出的loss損失值來對cnn網(wǎng)絡進行訓練的,而本公開通過將目標圖片輸入卷積神經(jīng)網(wǎng)絡以獲得包含圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值在內(nèi)的目標圖片的識別結(jié)果的方式相當于改變了相關技術中的損失函數(shù),使得cnn網(wǎng)絡采用了新的損失函數(shù),而這種損失函數(shù)的變更也豐富了cnn網(wǎng)絡訓練的依據(jù),因而,通過本公開的目標圖片的識別結(jié)果對cnn網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整,可對cnn網(wǎng)絡進行更為有效、精準的訓練,有利于提高訓練結(jié)果的精確度,即可提高cnn網(wǎng)絡后期對目標屬性的識別精確度。
如圖2所示,在一個實施例中,卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
上述圖1所示的步驟s102,即將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得目標圖片的識別結(jié)果,可以包括步驟s201至步驟s203:
在步驟s201中,將目標圖片輸入卷積神經(jīng)網(wǎng)絡;
在步驟s202中,在屬性識別函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、卷積神經(jīng)網(wǎng)絡基于目標圖片提取到的哈希碼和屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得目標圖片的屬性關聯(lián)參數(shù)值;
在步驟s203中,在相似度驗證函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、卷積神經(jīng)網(wǎng)絡基于目標圖片提取到的哈希碼和相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得目標圖片的圖片相似度驗證結(jié)果,其中,目標網(wǎng)絡參數(shù)包括第一網(wǎng)絡參數(shù)和第二網(wǎng)絡參數(shù)。
通過將相關技術中cnn網(wǎng)絡中使用到的損失函數(shù)即tripletloss函數(shù)替換為屬性識別函數(shù)和相似度驗證函數(shù),可以在屬性識別函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、目標圖片的哈希碼和屬性識別函數(shù)的第一網(wǎng)絡參數(shù)的當前值,準確計算出目標圖片的屬性關聯(lián)參數(shù)值,以及在相似度驗證函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、目標圖片的哈希碼和相似度驗證函數(shù)的第二網(wǎng)絡參數(shù)的當前值,準確計算出目標圖片的圖片相似度驗證結(jié)果,從而可豐富識別結(jié)果、豐富cnn網(wǎng)絡訓練的依據(jù),以對cnn網(wǎng)絡進行更為有效的訓練,進而有利于提高訓練結(jié)果的精確度。
當然,將屬性關聯(lián)參數(shù)值和圖片相似度驗證結(jié)果進行反向傳播后,不僅可對屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值、相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值進行調(diào)整,還可以調(diào)整cnn網(wǎng)絡中的一些共用的網(wǎng)絡參數(shù)的當前值,即目標網(wǎng)絡參數(shù)包括但不限于第一網(wǎng)絡參數(shù)、第二網(wǎng)絡參數(shù),例如,還可以包括cnn網(wǎng)絡中的一些共用的網(wǎng)絡參數(shù)。
在一個實施例中,當目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
由于cnn網(wǎng)絡對目標圖片的目標屬性的預測值可能有多個,從而導致目標圖片的屬性關聯(lián)參數(shù)值可能有多個,因而,目標圖片的屬性關聯(lián)參數(shù)值有多個值時,可從多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
在一個實施例中,目標圖片包括預設圖片庫中的任意兩張圖片;
上述圖1所示的步驟s102,即將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得目標圖片的識別結(jié)果,可被執(zhí)行為:
將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得目標圖片中各圖片的屬性關聯(lián)參數(shù)值和目標圖片的圖片相似度驗證結(jié)果。
在提取目標圖片時,可從預設圖片庫中隨機選取任意兩張圖片,進而將將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,以分別獲得目標圖片中各圖片的屬性關聯(lián)參數(shù)值和這兩個圖片之間的圖片相似度驗證結(jié)果,從而不僅可利用每次輸入的一對圖片各自的屬性關聯(lián)參數(shù)值和這兩個圖片之間的圖片似度驗證結(jié)果對cnn網(wǎng)絡進行有效訓練,也可在訓練cnn網(wǎng)絡時,遍歷整個預設圖片庫,以充分利用預設圖片庫。
在一個實施例中,屬性識別函數(shù)包括:
f表示卷積神經(jīng)網(wǎng)絡基于目標圖片中任一張圖片提取到的哈希碼、t表示任一張圖片的目標屬性的預設屬性值、θid表示第一網(wǎng)絡參數(shù)的當前值、
通過將cnn網(wǎng)絡中tripletloss函數(shù)修改為屬性識別函數(shù),可盡可能地使得cnn網(wǎng)絡正確地直接輸出目標圖片的目標屬性的預測值,而非相關技術中的輸出結(jié)果(即該目標圖片為具有某個屬性值的圖片),從而使得cnn網(wǎng)絡的識別結(jié)果也更加直接、準確。
相似度驗證函數(shù)包括:
fi和fj分別表示卷積神經(jīng)網(wǎng)絡基于目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=1表示目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示圖片相似度驗證結(jié)果。
通過將cnn網(wǎng)絡中tripletloss函數(shù)修改為相似度驗證函數(shù),可使得cnn網(wǎng)絡提取到的預設屬性值相同的一對圖像(即目標圖片)的哈希碼的漢明距離盡可能地小,cnn網(wǎng)絡提取到的預設屬性值不同一對圖像(即目標圖片)的哈希碼的漢明距離要大于某一閾值m,即:使得相同圖片的哈希碼的漢明距離盡可能地小而不同圖像的哈希碼的漢明距離盡可能地大,從而便于更好地訓練目標網(wǎng)絡參數(shù),使得經(jīng)過訓練的cnn網(wǎng)絡后期對圖片的目標屬性的識別精確度更高;
另外,通過結(jié)合屬性識別函數(shù)和相似度驗證函數(shù),不僅增加了cnn網(wǎng)絡訓練的依據(jù),而且可使得cnn網(wǎng)絡可直接輸出目標圖片的目標屬性的預測值、縮小相同圖像的漢明距離和擴大不同圖像的漢明距離,因而,通過將tripletloss函數(shù)替換為屬性識別函數(shù)和相似度驗證函數(shù),可對cnn網(wǎng)絡進行更為精準的訓練,進而有利于提高訓練結(jié)果的精確度。
在一個實施例中,卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
由于相關技術中cnn網(wǎng)絡的激活層采用的是sigmoid/tanh作為激活函數(shù),而這些激活函數(shù)很多情況下其梯度值很可能為0或者接近0,從而導致采用最速下降法進行網(wǎng)絡訓練時,cnn網(wǎng)絡中的目標網(wǎng)絡參數(shù)更新速度也就變得越慢,無法確保訓練過程中每次迭代都能快速有效地更新目標網(wǎng)絡參數(shù),增加了網(wǎng)絡訓練的困難,所以,本公開中通過使卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度不等于零,可加快cnn網(wǎng)絡的訓練速度、對cnn網(wǎng)絡進行更有效的訓練,同時本公開的激活函數(shù)相比sigmoid/tanh激活函數(shù)而言,對cnn網(wǎng)絡的訓練速度可加快5~10倍,從而可有效地提高cnn網(wǎng)絡的訓練速度和訓練效率。
在一個實施例中,激活函數(shù)包括絕對值函數(shù)。
激活函數(shù)可采用絕對值函數(shù)即abs(),這樣,激活函數(shù)的梯度值就為1或者-1,從而可避免激活函數(shù)的梯度值等于0而影響cnn網(wǎng)絡的訓練速度、增加cnn網(wǎng)絡的訓練難度。
在一個實施例中,目標屬性包括以下任一項:目標圖片中人物的年齡、目
標圖片中景物的地點、目標圖片的拍攝地點。
對應本公開實施例提供的上述卷積神經(jīng)網(wǎng)絡的訓練方法,本公開實施例還提供一種卷積神經(jīng)網(wǎng)絡的訓練裝置,如圖3所示,該裝置包括:
第一選擇模塊301,被配置為從預設圖片庫中選擇目標圖片;
獲取模塊302,被配置為將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得目標圖片的識別結(jié)果,其中,識別結(jié)果包括:經(jīng)過卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,屬性關聯(lián)參數(shù)值與卷積神經(jīng)網(wǎng)絡對目標圖片的目標屬性的預測值相關;
調(diào)整模塊303,被配置為根據(jù)目標圖片的識別結(jié)果,對卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
如圖4所示,在一個實施例中,卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
上述圖3所示的獲取模塊302可以包括:
輸入子模塊3021,被配置為將目標圖片輸入卷積神經(jīng)網(wǎng)絡;
第一獲取子模塊3022,被配置為在屬性識別函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、卷積神經(jīng)網(wǎng)絡基于目標圖片提取到的哈希碼和屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得目標圖片的屬性關聯(lián)參數(shù)值;
第二獲取子模塊3023,被配置為在相似度驗證函數(shù)基礎上,根據(jù)目標圖片的目標屬性的預設屬性值、卷積神經(jīng)網(wǎng)絡基于目標圖片提取到的哈希碼和相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得目標圖片的圖片相似度驗證結(jié)果,其中,目標網(wǎng)絡參數(shù)包括第一網(wǎng)絡參數(shù)和第二網(wǎng)絡參數(shù)。
在一個實施例中,上述裝置還可以包括:
第二選擇模塊,被配置為當目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
在一個實施例中,目標圖片包括預設圖片庫中的任意兩張圖片;
獲取模塊302可以包括:
第三獲取子模塊,被配置為將目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得目標圖片中各圖片的屬性關聯(lián)參數(shù)值和目標圖片的圖片相似度驗證結(jié)果。
在一個實施例中,屬性識別函數(shù)包括:
f表示卷積神經(jīng)網(wǎng)絡基于目標圖片中任一張圖片提取到的哈希碼、t表示任一張圖片的目標屬性的預設屬性值、θid表示第一網(wǎng)絡參數(shù)的當前值、
相似度驗證函數(shù)包括:
fi和fj分別表示卷積神經(jīng)網(wǎng)絡基于目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=1表示目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示圖片相似度驗證結(jié)果。
在一個實施例中,卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
在一個實施例中,激活函數(shù)包括絕對值函數(shù)。
在一個實施例中,目標屬性包括以下任一項:目標圖片中人物的年齡、目標圖片中景物的地點、目標圖片的拍攝地點。
根據(jù)本公開實施例的第三方面,提供一種卷積神經(jīng)網(wǎng)絡的訓練裝置,包括:
處理器;
用于存儲處理器可執(zhí)行指令的存儲器;
其中,處理器被配置為:
從預設圖片庫中選擇目標圖片;
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,其中,所述識別結(jié)果包括:經(jīng)過所述卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,所述屬性關聯(lián)參數(shù)值與所述卷積神經(jīng)網(wǎng)絡對所述目標圖片的目標屬性的預測值相關;
根據(jù)所述目標圖片的識別結(jié)果,對所述卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
上述處理器還可被配置為:
所述卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡;
在所述屬性識別函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的屬性關聯(lián)參數(shù)值;
在所述相似度驗證函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的圖片相似度驗證結(jié)果,其中,所述目標網(wǎng)絡參數(shù)包括所述第一網(wǎng)絡參數(shù)和所述第二網(wǎng)絡參數(shù)。
上述處理器還可被配置為:
當所述目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從所述多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
上述處理器還可被配置為:
所述目標圖片包括所述預設圖片庫中的任意兩張圖片;
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得所述目標圖片中各圖片的屬性關聯(lián)參數(shù)值和所述目標圖片的圖片相似度驗證結(jié)果。
上述處理器還可被配置為:
所述屬性識別函數(shù)包括:
f表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中任一張圖片提取到的哈希碼、t表示所述任一張圖片的所述目標屬性的預設屬性值、θid表示所述第一網(wǎng)絡參數(shù)的當前值、
所述相似度驗證函數(shù)包括:
fi和fj分別表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=-1表示所述目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示所述目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示所述第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示所述圖片相似度驗證結(jié)果。
上述處理器還可被配置為:
所述卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
上述處理器還可被配置為:
所述激活函數(shù)包括絕對值函數(shù)。
上述處理器還可被配置為:
所述目標屬性包括以下任一項:所述目標圖片中人物的年齡、所述目標圖片中景物的地點、所述目標圖片的拍攝地點。
圖5是根據(jù)一示例性實施例示出的一種用于卷積神經(jīng)網(wǎng)絡的訓練裝置500的框圖,該裝置適用于終端設備。例如,裝置500可以是移動電話,計算機,數(shù)字廣播終端,消息收發(fā)設備,游戲控制臺,平板設備,醫(yī)療設備,健身設備,個用戶數(shù)字助理等。
參照圖5,裝置500可以包括以下一個或至少兩個組件:處理組件502,存儲器504,電源組件506,多媒體組件508,音頻組件510,輸入/輸出(i/o)接口512,傳感器組件514,以及通信組件516。
處理組件502通??刂蒲b置500的整體操作,諸如與顯示,電話呼叫,數(shù)據(jù)通信,相機操作和記錄操作相關聯(lián)的操作。處理組件502可以包括一個或至少兩個處理器520來執(zhí)行指令,以完成上述的方法的全部或部分步驟。此外,處理組件502可以包括一個或至少兩個模塊,便于處理組件502和其他組件之間的交互。例如,處理組件502可以包括多媒體模塊,以方便多媒體組件508和處理組件502之間的交互。
存儲器504被配置為存儲各種類型的數(shù)據(jù)以支持在裝置500的操作。這些數(shù)據(jù)的示例包括用于在裝置500上操作的任何存儲對象或方法的指令,聯(lián)系用戶數(shù)據(jù),電話簿數(shù)據(jù),消息,圖片,視頻等。存儲器504可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現(xiàn),如靜態(tài)隨機存取存儲器(sram),電可擦除可編程只讀存儲器(eeprom),可擦除可編程只讀存儲器(eprom),可編程只讀存儲器(prom),只讀存儲器(rom),磁存儲器,快閃存儲器,磁盤或光盤。
電源組件506為裝置500的各種組件提供電源。電源組件506可以包括電源管理系統(tǒng),一個或至少兩個電源,及其他與為裝置500生成、管理和分配電源相關聯(lián)的組件。
多媒體組件508包括在所述裝置500和用戶之間的提供一個輸出接口的屏幕。在一些實施例中,屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板,屏幕可以被實現(xiàn)為觸摸屏,以接收來自用戶的輸入信號。觸摸面板包括一個或至少兩個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續(xù)時間和壓力。在一些實施例中,多媒體組件508包括一個前置攝像頭和/或后置攝像頭。當裝置500處于操作模式,如拍攝模式或視頻模式時,前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個前置攝像頭和后置攝像頭可以是一個固定的光學透鏡系統(tǒng)或具有焦距和光學變焦能力。
音頻組件510被配置為輸出和/或輸入音頻信號。例如,音頻組件510包括一個麥克風(mic),當裝置500處于操作模式,如呼叫模式、記錄模式和語音識別模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器504或經(jīng)由通信組件516發(fā)送。在一些實施例中,音頻組件510還包括一個揚聲器,用于輸出音頻信號。
i/o接口512為處理組件502和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限于:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
傳感器組件514包括一個或至少兩個傳感器,用于為裝置500提供各個方面的狀態(tài)評估。例如,傳感器組件514可以檢測到裝置500的打開/關閉狀態(tài),組件的相對定位,例如所述組件為裝置500的顯示器和小鍵盤,傳感器組件514還可以檢測裝置500或裝置500一個組件的位置改變,用戶與裝置500接觸的存在或不存在,裝置500方位或加速/減速和裝置500的溫度變化。傳感器組件514可以包括接近傳感器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件514還可以包括光傳感器,如cmos或ccd圖像傳感器,用于在成像應用中使用。在一些實施例中,該傳感器組件514還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。
通信組件516被配置為便于裝置500和其他設備之間有線或無線方式的通信。裝置500可以接入基于通信標準的無線網(wǎng)絡,如wifi,2g或3g,或它們的組合。在一個示例性實施例中,通信組件516經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關信息。在一個示例性實施例中,所述通信組件516還包括近場通信(nfc)模塊,以促進短程通信。例如,在nfc模塊可基于射頻識別(rfid)技術,紅外數(shù)據(jù)協(xié)會(irda)技術,超寬帶(uwb)技術,藍牙(bt)技術和其他技術來實現(xiàn)。
在示例性實施例中,裝置500可以被一個或至少兩個應用專用集成電路(asic)、數(shù)字信號處理器(dsp)、數(shù)字信號處理設備(dspd)、可編程邏輯器件(pld)、現(xiàn)場可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子組件實現(xiàn),用于執(zhí)行上述方法。
在示例性實施例中,還提供了一種包括指令的非臨時性計算機可讀存儲介質(zhì),例如包括指令的存儲器504,上述指令可由裝置500的處理器520執(zhí)行以完成上述方法。例如,所述非臨時性計算機可讀存儲介質(zhì)可以是rom、隨機存取存儲器(ram)、cd-rom、磁帶、軟盤和光數(shù)據(jù)存儲設備等。
一種非臨時性計算機可讀存儲介質(zhì),當所述存儲介質(zhì)中的指令由上述裝置500的處理器執(zhí)行時,使得上述裝置500能夠執(zhí)行一種卷積神經(jīng)網(wǎng)絡的訓練方法,包括:
從預設圖片庫中選擇目標圖片;
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,其中,所述識別結(jié)果包括:經(jīng)過所述卷積神經(jīng)網(wǎng)絡獲得的圖片相似度驗證結(jié)果和屬性關聯(lián)參數(shù)值,所述屬性關聯(lián)參數(shù)值與所述卷積神經(jīng)網(wǎng)絡對所述目標圖片的目標屬性的預測值相關;
根據(jù)所述目標圖片的識別結(jié)果,對所述卷積神經(jīng)網(wǎng)絡的目標網(wǎng)絡參數(shù)進行調(diào)整。
在一個實施例中,所述卷積神經(jīng)網(wǎng)絡的損失函數(shù)包括屬性識別函數(shù)和相似度驗證函數(shù);
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡;
在所述屬性識別函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述屬性識別函數(shù)中第一網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的屬性關聯(lián)參數(shù)值;
在所述相似度驗證函數(shù)基礎上,根據(jù)所述目標圖片的所述目標屬性的預設屬性值、所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片提取到的哈希碼和所述相似度驗證函數(shù)中第二網(wǎng)絡參數(shù)的當前值,獲得所述目標圖片的圖片相似度驗證結(jié)果,其中,所述目標網(wǎng)絡參數(shù)包括所述第一網(wǎng)絡參數(shù)和所述第二網(wǎng)絡參數(shù)。
在一個實施例中,當所述目標圖片的屬性關聯(lián)參數(shù)值包括多個值時,從所述多個值中選擇最大的參數(shù)值作為最終的屬性關聯(lián)參數(shù)值。
在一個實施例中,所述目標圖片包括所述預設圖片庫中的任意兩張圖片;
所述將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,獲得所述目標圖片的識別結(jié)果,包括:
將所述目標圖片輸入卷積神經(jīng)網(wǎng)絡中,分別獲得所述目標圖片中各圖片的屬性關聯(lián)參數(shù)值和所述目標圖片的圖片相似度驗證結(jié)果。
在一個實施例中,所述屬性識別函數(shù)包括:
f表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中任一張圖片提取到的哈希碼、t表示所述任一張圖片的所述目標屬性的預設屬性值、θid表示所述第一網(wǎng)絡參數(shù)的當前值、
所述相似度驗證函數(shù)包括:
fi和fj分別表示所述卷積神經(jīng)網(wǎng)絡基于所述目標圖片中的兩張圖片提取到的各圖片的哈希碼、yij=1表示所述目標圖片中的兩張圖片的目標屬性的預設屬性值相同,yij=-1表示所述目標圖片中的兩張圖片的目標屬性的的預設屬性值不同、θve表示所述第二網(wǎng)絡參數(shù)的當前值、m表示預設參數(shù)、verif(fi,fj,yij,θve)表示所述圖片相似度驗證結(jié)果。
在一個實施例中,所述卷積神經(jīng)網(wǎng)中采用的激活函數(shù)的梯度值不等于零。
在一個實施例中,所述激活函數(shù)包括絕對值函數(shù)。
在一個實施例中,所述目標屬性包括以下任一項:所述目標圖片中人物的年齡、所述目標圖片中景物的地點、所述目標圖片的拍攝地點。
本領域技術用戶員在考慮說明書及實踐這里公開的公開后,將容易想到本公開的其它實施方案。本申請旨在涵蓋本公開的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本公開的一般性原理并包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本公開的真正范圍和精神由下面的權利要求指出。
應當理解的是,本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構,并且可以在不脫離其范圍進行各種修改和改變。本公開的范圍僅由所附的權利要求來限制。