本申請涉及深度學習領(lǐng)域,具體涉及圖像屬性識別方法和系統(tǒng)以及相關(guān)網(wǎng)絡(luò)訓練方法和系統(tǒng)。
背景技術(shù):
圖像屬性是圖像所客觀具備的真實性質(zhì),包括但不限于,圖像的種類、色彩、形狀等。作為深度學習網(wǎng)絡(luò)的典型代表,CNN(Conventional Neural Network,卷積神經(jīng)網(wǎng)絡(luò))在圖像屬性識別領(lǐng)域中得到越來越廣泛的應用。
在常規(guī)的利用CNN進行圖像屬性識別的方法中,通過訓練多個子神經(jīng)網(wǎng)絡(luò)預測出圖像的一些備選屬性,再通過對備選屬性取平均的方式進一步提升識別的準確性。
技術(shù)實現(xiàn)要素:
本申請?zhí)峁┝藞D像屬性識別的技術(shù)方案以及相關(guān)網(wǎng)絡(luò)訓練的技術(shù)方案。
本申請實施例的一方面提供了一種圖像屬性識別方法,該方法可包括:從圖像提取特征圖,特征圖包含圖像的屬性;從特征圖識別出多個備選屬性;分別確定多個備選屬性的置信度;以及根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。
根據(jù)本申請的實施例,從圖像提取特征圖可包括:通過屬性預識別神經(jīng)網(wǎng)絡(luò)的特征提取層以卷積的方式從圖像提取特征圖。
根據(jù)本申請的實施例,從特征圖識別出多個備選屬性可包括:通過屬性預識別神經(jīng)網(wǎng)絡(luò)的連接至特征提取層的多個預識別子神經(jīng)網(wǎng)絡(luò)從特征圖識別出多個備選屬性,多個預識別子神經(jīng)網(wǎng)絡(luò)具有不同的參數(shù)從而在不同的工作模式下工作。
根據(jù)本申請的實施例,工作模式可包括以下至少一種:過曝光模式、正常曝光模式和欠曝光模式。
根據(jù)本申請的實施例,方法還可包括預先訓練屬性預識別神經(jīng)網(wǎng)絡(luò),其中,屬性預識別神經(jīng)網(wǎng)絡(luò)的訓練可包括:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,屬性預識別神經(jīng)網(wǎng)絡(luò)的訓練還可包括:通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。
根據(jù)本申請的實施例,確定多個備選屬性的置信度可包括:通過預先與屬性預識別神經(jīng)網(wǎng)絡(luò)共同訓練的監(jiān)察神經(jīng)網(wǎng)絡(luò)根據(jù)圖像分別確定多個備選屬性的置信度。
根據(jù)本申請的實施例,屬性預識別神經(jīng)網(wǎng)絡(luò)和監(jiān)察神經(jīng)網(wǎng)絡(luò)在訓練過程中可共享具有參考屬性的訓練圖像作為輸入。
根據(jù)本申請的實施例,監(jiān)察神經(jīng)網(wǎng)絡(luò)的訓練可包括:根據(jù)訓練圖像分別確定多個訓練備選屬性的置信度;以及通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,屬性預識別神經(jīng)網(wǎng)絡(luò)的訓練中屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò)所識別出的訓練備選屬性的參考置信度高,其它訓練備選屬性的參考置信度低。
根據(jù)本申請的實施例,根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性可包括:將多個備選屬性按照置信度從高到低排序;以及從置信度最高的備選屬性起選取預定數(shù)量的備選屬性作為圖像的屬性。
根據(jù)本申請的實施例,根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性可包括:確定置信度最高的一個備選屬性為圖像的屬性。
本申請實施例的另一方面提供了一種圖像屬性識別系統(tǒng)的訓練方法,圖像屬性識別系統(tǒng)可包括屬性預識別神經(jīng)網(wǎng)絡(luò),屬性預識別神經(jīng)網(wǎng)絡(luò)可包括特征提取層和與其連接的多個預識別子神經(jīng)網(wǎng)絡(luò),其特征在于,訓練方法可包括:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,可保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。
根據(jù)本申請的實施例,圖像識別系統(tǒng)還可包括監(jiān)察神經(jīng)網(wǎng)絡(luò),屬性預識別神經(jīng)網(wǎng)絡(luò)和監(jiān)察神經(jīng)網(wǎng)絡(luò)在訓練過程中可共享具有參考屬性的訓練圖像作為輸入,監(jiān)察神經(jīng)網(wǎng)絡(luò)的訓練方法可包括:根據(jù)訓練圖像分別確定多個訓練備選屬性的置信度;以及通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
本申請實施例的另一方面提供了一種圖像屬性識別系統(tǒng),該系統(tǒng)可包括:特征提取單元,從圖像提取特征圖,特征圖包含圖像的屬性;預識別單元,從特征圖識別出多個備選屬性;以及選擇單元,分別確定多個備選屬性的置信度以及根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。
根據(jù)本申請的實施例,特征提取單元可包括屬性預識別神經(jīng)網(wǎng)絡(luò)的特征提取層,以及特征提取層以卷積的方式從圖像提取特征圖。
根據(jù)本申請的實施例,特征提取單元可包括屬性預識別神經(jīng)網(wǎng)絡(luò)的特征提取層,以及特征提取層以卷積的方式從圖像提取特征圖。
根據(jù)本申請的實施例,工作模式可包括以下至少一種:過曝光模式、正常曝光模式和欠曝光模式。
根據(jù)本申請的實施例,圖像屬性識別系統(tǒng)還可包括用于訓練屬性預識別神經(jīng)網(wǎng)絡(luò)的第一訓練單元,第一訓練單元:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,第一訓練單元通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,可保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。
根據(jù)本申請的實施例,選擇單元可包括預先與屬性預識別神經(jīng)網(wǎng)絡(luò)共同訓練的監(jiān)察神經(jīng)網(wǎng)絡(luò),監(jiān)察神經(jīng)網(wǎng)絡(luò)可根據(jù)圖像分別確定多個備選屬性的置信度。
根據(jù)本申請的實施例,屬性預識別神經(jīng)網(wǎng)絡(luò)和監(jiān)察神經(jīng)網(wǎng)絡(luò)在訓練過程中可共享具有參考屬性的訓練圖像作為輸入。
根據(jù)本申請的實施例,圖像屬性識別系統(tǒng)還可包括用于訓練監(jiān)察神經(jīng)網(wǎng)絡(luò)的第二訓練單元,第二訓練單元:根據(jù)訓練圖像分別確定多個訓練備選屬性的置信度;以及通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,第一訓練單元中屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò)所識別出的訓練備選屬性的參考置信度高,其它訓練備選屬性的參考置信度低。
根據(jù)本申請的實施例,選擇單元:將多個備選屬性按照置信度從高到低排序;以及從置信度最高的備選屬性起選取預定數(shù)量的備選屬性作為圖像的屬性。
根據(jù)本申請的實施例,選擇單元:將置信度最高的一個備選屬性識別作為圖像的屬性。
本申請實施例的另一方面提供了一種圖像屬性識別系統(tǒng)的訓練系統(tǒng),圖像屬性識別系統(tǒng)可包括屬性預識別神經(jīng)網(wǎng)絡(luò),屬性預識別神經(jīng)網(wǎng)絡(luò)可包括特征提取層和與其連接的多個預識別子神經(jīng)網(wǎng)絡(luò),其特征在于,訓練系統(tǒng):通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
根據(jù)本申請的實施例,訓練系統(tǒng)通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,可保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。
根據(jù)本申請的實施例,圖像識別系統(tǒng)還包括監(jiān)察神經(jīng)網(wǎng)絡(luò),訓練系統(tǒng)可將具有參考屬性的訓練圖像共同輸入至屬性預識別神經(jīng)網(wǎng)絡(luò)和監(jiān)察神經(jīng)網(wǎng)絡(luò)進行訓練,訓練系統(tǒng):根據(jù)訓練圖像分別確定多個訓練備選屬性的置信度;以及通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
本申請實施例的另一方面提供了一種圖像屬性識別系統(tǒng),該系統(tǒng)可包括:存儲器,存儲可執(zhí)行指令;以及處理器,與存儲器通信以執(zhí)行可執(zhí)行指令從而完成以下操作:從圖像提取特征圖,特征圖包含圖像的屬性;從特征圖識別出多個備選屬性;分別確定多個備選屬性的置信度;以及根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。
本申請實施例的另一方面提供了一種屬性預識別神經(jīng)網(wǎng)絡(luò)的訓練系統(tǒng),該系統(tǒng)可包括:存儲器,存儲可執(zhí)行指令;以及處理器,與存儲器通信以執(zhí)行可執(zhí)行指令從而完成以下操作:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
本申請實施例的另一方面提供了一種非暫時性計算機存儲介質(zhì),該介質(zhì)可存儲計算機可讀指令,當這些指令被執(zhí)行時可使處理器執(zhí)行以下操作:從圖像提取特征圖,特征圖包含圖像的屬性;從特征圖識別出多個備選屬性;分別確定多個備選屬性的置信度;以及根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。
本申請實施例的另一方面提供了一種非暫時性計算機存儲介質(zhì),該介質(zhì)可存儲計算機可讀指令,當這些指令被執(zhí)行時可使處理器執(zhí)行以下操作:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。
不同于現(xiàn)有技術(shù)中將各個備選屬性作平均處理,本申請的技術(shù)方案通過分別確定多個備選屬性的置信度而充分顧及了各個備選屬性之間的差異性,進而使得備選屬性的專用性和針對性增強。在此基礎(chǔ)上,通過判斷圖像的各備選屬性的置信度而從備選屬性中選擇出至少一個備選屬性以作為圖像的屬性,識別的準確性得以提升。
附圖說明
通過閱讀參照附圖所作出的以下詳細描述,本申請的其它特征、目的和有益效果將會變得更明顯,在附圖中:
圖1是示出了根據(jù)本申請實施例的圖像屬性識別的流程圖;
圖2是示出了根據(jù)本申請實施例的屬性預識別神經(jīng)網(wǎng)絡(luò)的架構(gòu)圖;
圖3是示出了根據(jù)本申請實施例的屬性預識別神經(jīng)網(wǎng)絡(luò)的訓練方法的流程圖;
圖4是示出了根據(jù)本申請實施例的監(jiān)察神經(jīng)網(wǎng)絡(luò)與屬性預識別神經(jīng)網(wǎng)絡(luò)的關(guān)系的示意圖;
圖5是示出了根據(jù)本申請實施例的監(jiān)察神經(jīng)網(wǎng)絡(luò)的訓練方法的流程圖;
圖6是示出了根據(jù)本申請實施例的圖像屬性識別系統(tǒng)的框圖;以及
圖7是示出了適合實施本申請實施例的計算機系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合附圖和實施方式對本申請作進一步的詳細說明??梢岳斫獾氖牵诒疚闹兴枋龅木唧w實施方式僅僅用于解釋本申請,而非對本申請進行限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與本申請相關(guān)的部分。下面將參照附圖并結(jié)合實施方式來詳細說明本申請。
在常規(guī)的利用CNN進行圖像屬性識別的方法中,通過訓練多個子神經(jīng)網(wǎng)絡(luò)預測出圖像的一些備選屬性,再通過對備選屬性取平均的方式進一步提升識別的準確性。在這種圖像屬性識別方法中,一定程度上忽略了圖像的備選屬性的差異性,因而在最終的識別準確性上欠佳。
圖1是示出了根據(jù)本申請實施例的圖像屬性識別的流程圖1000。首先,在步驟S1010中,可從圖像提取特征圖,特征圖包含圖像的屬性。圖像可例如是以RGB值的形式存儲的電子圖片。特征圖可例如是CNN領(lǐng)域的對圖像的語義學表現(xiàn)形式。圖像的屬性包括但不限于,圖像的種類、色彩、形狀等。在步驟S1030中,可從特征圖識別出多個備選屬性。該多個備選屬性可例如在不同的模式下被識別出來。例如,在圖像的色彩屬性識別中,可在過曝光的模式、正常曝光的模式和欠曝光的模式下各識別出一個備選屬性。在這種情況下,備選屬性可以是圖像的一種色彩分布,例如以RGB值的形式表現(xiàn)。在步驟S1050中,可確定該多個備選屬性的置信度。仍以上述色彩屬性識別為例,可根據(jù)一定標準(例如,圖像的各種特征表現(xiàn))確定在各模式下所識別出的備選屬性的置信度。最終,在步驟S1070中,可根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。
圖2是示出了根據(jù)本申請實施例的屬性預識別神經(jīng)網(wǎng)絡(luò)2000的架構(gòu)圖。在下文中,屬性預識別神經(jīng)網(wǎng)絡(luò)2000以CNN的形式實現(xiàn)。然而,應理解,屬性預識別神經(jīng)網(wǎng)絡(luò)2000可實現(xiàn)在任何級聯(lián)的深度學習網(wǎng)絡(luò)中。為了清晰起見,圖2中省略了一些公知結(jié)構(gòu),包括但不限于,激活層、池化層和部分卷積層等。如本領(lǐng)域技術(shù)人員所理解的,屬性預識別神經(jīng)網(wǎng)絡(luò)2000的結(jié)構(gòu)不限于圖2所示的具體結(jié)構(gòu)。在不背離本申請的發(fā)明構(gòu)思的前提下,屬性預識別神經(jīng)網(wǎng)絡(luò)2000可具有任意具體結(jié)構(gòu),包括但不限于,層的數(shù)目、層的功能以及層的連接關(guān)系等。
如圖2所示,從圖像2100提取特征圖2300可通過如下方式實現(xiàn):通過屬性預識別神經(jīng)網(wǎng)絡(luò)2000的特征提取層2200以卷積的方式從圖像2100提取特征圖2300。為簡潔起見,圖中僅示出了一個特征提取層2200,然而,特征提取層可以是多層,其層數(shù)由實際需求而決定。特征提取層2200可對圖像2100的特征進行提取從而用于后續(xù)的屬性識別操作。以這種方式,可通過設(shè)定不同的卷積核(例如權(quán)重和偏置值),對不同性質(zhì)的特征進行提取,從而實現(xiàn)濾波功能,進而提升特征圖的信噪比以及增強特征圖的特征表現(xiàn)能力。所提取的特征構(gòu)成特征圖2300,其中,特征圖2300包含圖像的屬性。
完成特征圖2300的提取之后,特征圖2300可輸入至與特征提取層2200連接的多個預識別子神經(jīng)網(wǎng)絡(luò),如圖2所示的第一預識別子神經(jīng)網(wǎng)絡(luò)2410、第二預識別子神經(jīng)網(wǎng)絡(luò)2420和第三預識別子神經(jīng)網(wǎng)絡(luò)2430等??赏ㄟ^屬性預識別神經(jīng)網(wǎng)絡(luò)2000的多個預識別子神經(jīng)網(wǎng)絡(luò)2410、2420、2430等從特征圖2300識別出多個備選屬性,例如,第一備選屬性2510、第二備選屬性2520、第三備選屬性2530等。第一預識別子神經(jīng)網(wǎng)絡(luò)2410、第二預識別子神經(jīng)網(wǎng)絡(luò)2420和第三預識別子神經(jīng)網(wǎng)絡(luò)2430等可具有不同的參數(shù)從而在不同的工作模式下工作并可均連接至特征提取層2200。由于各預識別子神經(jīng)網(wǎng)絡(luò)可具有不同的參數(shù),因而各預識別子神經(jīng)網(wǎng)絡(luò)可工作在不同的模式下。例如,以色彩屬性識別為例,第一預識別子神經(jīng)網(wǎng)絡(luò)2410可適于工作在過曝光模式下,第二預識別子神經(jīng)網(wǎng)絡(luò)2420可適于工作在正常曝光模式下,而第三預識別子神經(jīng)網(wǎng)絡(luò)2430可適于工作在欠曝光模式下。在這種情況下,若圖像2100是過曝光的圖像,則第一預識別子神經(jīng)網(wǎng)絡(luò)2410可作出更準確的色彩屬性的識別(即,第一備選屬性2510的置信度更高);若圖像2100是正常曝光的圖像,則第二預識別子神經(jīng)網(wǎng)絡(luò)2420可作出更準確的色彩屬性的識別(即,第二備選屬性2520的置信度更高);若圖像2100是欠曝光的圖像,則第三預識別子神經(jīng)網(wǎng)絡(luò)2430可作出更準確的色彩屬性的識別(即,第三備選屬性2530的置信度更高)。通過這種方式,每個預識別子神經(jīng)網(wǎng)絡(luò)可均具有自己專長的屬性識別能力,可在對應的工作模式下給出更準確的屬性識別,即,可在對應的工作模式下識別出更準確的備選屬性。以下結(jié)合圖2和圖3給出屬性預識別神經(jīng)網(wǎng)絡(luò)2000的訓練方法。
在本申請的實施例中,屬性預識別神經(jīng)網(wǎng)絡(luò)2000在進行備選屬性識別前可預先經(jīng)過訓練。圖3是示出了根據(jù)本申請實施例的屬性預識別神經(jīng)網(wǎng)絡(luò)2000的訓練方法的流程圖3000。如圖3所示,在步驟S3010中,可通過特征提取層2200從具有參考屬性的訓練圖像中提取訓練特征圖。訓練圖像可預先制備并預先被標注有參考屬性。在步驟S3030中,可通過多個預識別子神經(jīng)網(wǎng)絡(luò)(第一預識別子神經(jīng)網(wǎng)絡(luò)2410、第二預識別子神經(jīng)網(wǎng)絡(luò)2420和第三預識別子神經(jīng)網(wǎng)絡(luò)2430等)分別從所提取的訓練特征圖識別出多個訓練備選屬性。在步驟S3050中,可從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò)。例如,對于某過曝光的訓練圖像,第一預識別子神經(jīng)網(wǎng)絡(luò)2410所識別出的第一訓練備選屬性與參考屬性之間可能具有最小的屬性誤差。在步驟S3070中,可通過在屬性預識別神經(jīng)網(wǎng)絡(luò)2000中反向傳播(back-propagating)該屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。例如,所述訓練誤差小于一定閾值、所述訓練誤差落入某容差范圍內(nèi)、訓練過程迭代預定次數(shù),等等。另外,通過在屬性預識別網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。例如,在第一預識別子神經(jīng)網(wǎng)絡(luò)2410識別出的第一訓練備選屬性與參考屬性之間的屬性誤差最小的情況下,第二預識別子神經(jīng)網(wǎng)絡(luò)2420和第三預識別子神經(jīng)網(wǎng)絡(luò)2430等的參數(shù)(例如,卷積核參數(shù)等)可被鎖定而不通過反向傳播進行參數(shù)更新。相反,第一訓練備選屬性與參考屬性之間的屬性誤差在屬性預識別神經(jīng)網(wǎng)絡(luò)2000中可僅經(jīng)過第一預識別子神經(jīng)網(wǎng)絡(luò)2410而反向傳播并由此修正第一預識別子神經(jīng)網(wǎng)絡(luò)2410的參數(shù)??蓤?zhí)行多次類似的訓練過程,直至屬性誤差得到收斂,例如,小于預定的第一閾值。該第一閾值可根據(jù)實際需求而預先設(shè)定。通過這種訓練過程,屬性預識別神經(jīng)網(wǎng)絡(luò)2000的各預識別子神經(jīng)網(wǎng)絡(luò)可均具有自己專長的屬性識別能力,可在對應的工作模式下給出更準確的屬性識別。
在本申請的實施例中,可通過預先與屬性預識別神經(jīng)網(wǎng)絡(luò)2000共同訓練的監(jiān)察神經(jīng)網(wǎng)絡(luò)4000根據(jù)圖像2100確定多個備選屬性2510、2520、2530等的置信度。監(jiān)察神經(jīng)網(wǎng)絡(luò)4000也可通過CNN的結(jié)構(gòu)實現(xiàn)。圖4是示出了根據(jù)本申請實施例的監(jiān)察神經(jīng)網(wǎng)絡(luò)4000與屬性預識別神經(jīng)網(wǎng)絡(luò)2000的關(guān)系的示意圖。在屬性預識別神經(jīng)網(wǎng)絡(luò)2000與監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的共同訓練中,兩個網(wǎng)絡(luò)共享同樣的輸入,即,具有參考屬性的訓練圖像同時輸入至屬性預識別神經(jīng)網(wǎng)絡(luò)2000和監(jiān)察神經(jīng)網(wǎng)絡(luò)4000。屬性預識別神經(jīng)網(wǎng)絡(luò)2000就學習得到的屬性誤差進行訓練,而屬性預識別神經(jīng)網(wǎng)絡(luò)2000就學習得到的備選屬性的置信度誤差進行訓練。監(jiān)察神經(jīng)網(wǎng)絡(luò)4000在屬性預識別神經(jīng)網(wǎng)絡(luò)2000的訓練過程中可起到監(jiān)察員的作用,通過預先與屬性預識別神經(jīng)網(wǎng)絡(luò)2000共同訓練,監(jiān)察神經(jīng)網(wǎng)絡(luò)2000可通過學習來分別確定多個備選屬性的置信度,從而能夠根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的真實屬性。
圖5示出了根據(jù)本申請實施例的監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的訓練方法的流程圖5000。在步驟S5010中,可根據(jù)訓練圖像確定多個訓練備選屬性的置信度;以及在步驟S5030中,可通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)4000中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的參數(shù)直至訓練結(jié)果滿足預定收斂條件。例如,所述訓練誤差小于一定閾值、所述訓練誤差落入某容差范圍內(nèi)、訓練過程迭代預定次數(shù),等等。即,在監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的訓練過程中,訓練圖像與備選屬性可共同輸入至監(jiān)察神經(jīng)網(wǎng)絡(luò)4000,監(jiān)察神經(jīng)網(wǎng)絡(luò)4000可根據(jù)訓練圖像為每個訓練備選屬性確定一個置信度,然后可將所確定的每個置信度分別與參考置信度作比較從而確定各個置信度誤差以及隨后利用該該各個置信度誤差修正監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的參數(shù)。通過這種共同訓練的方式,監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的參數(shù)可與屬性預識別神經(jīng)網(wǎng)絡(luò)2000的參數(shù)適配,因而在訓練過程結(jié)束后,即便沒有參考屬性以及參考置信度,監(jiān)察神經(jīng)網(wǎng)絡(luò)4000也能夠有效地判斷備選屬性的置信度,以及根據(jù)該置信度從多個備選屬性中識別出圖像的真實屬性。
在本申請的實施例中,參考置信度可通過如下方式確定:屬性預識別神經(jīng)網(wǎng)絡(luò)2000的訓練中屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò)所識別出的訓練備選屬性的參考置信度高(例如為1),其它訓練備選屬性的參考置信度低(例如為0)。例如,對于某過曝光的訓練圖像,第一預識別子神經(jīng)網(wǎng)絡(luò)2410所識別出的第一訓練備選屬性與參考屬性之間可能具有最小的屬性誤差。在這種情況下,第一預識別子神經(jīng)網(wǎng)絡(luò)2410所識別出的第一訓練備選屬性的參考置信度為1,而其余預識別子神經(jīng)網(wǎng)絡(luò)(例如,預識別子神經(jīng)網(wǎng)絡(luò)2420和2430等)所識別出的訓練備選屬性的置信度為0。在這種情況下,相應地,可將監(jiān)察神經(jīng)網(wǎng)絡(luò)4000所確定的每個訓練備選屬性的置信度與該參考置信度作比較從而得出置信度誤差。在監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的訓練過程中,可反向傳播該置信度誤差以修正監(jiān)察神經(jīng)網(wǎng)絡(luò)4000的參數(shù),直至第一訓練備選屬性的參考置信度與1之間的誤差以及第二訓練備選屬性和第三訓練備選屬性與0之間的誤差小于各自對應的第二閾值。該第二閾值可針對不同的訓練備選屬性而有所不同或完全相同,并且可根據(jù)實際需求而預先設(shè)定。通過這樣設(shè)定置信度參考值,可促使監(jiān)察神經(jīng)網(wǎng)絡(luò)4000所確定出的多個備選屬性的置信度逐漸二值化,從而提高識別的精度。
在本申請的實施例中,監(jiān)察神經(jīng)網(wǎng)絡(luò)4000可根據(jù)確定的各置信度從多個備選屬性(例如,第一備選屬性2510、第二備選屬性2520、第三備選屬性2530等)中確定出至少一備選屬性來作為圖像2100的屬性,例如,可將置信度最高的一個備選屬性識別作為圖像的屬性。在可替代的實施例中,也可根據(jù)備選屬性的置信度從高到低地選取前幾位的備選屬性作為圖像的屬性。通過這種方式確定的圖像屬性不是多個備選屬性的簡單平均,因而能夠利用屬性預識別神經(jīng)網(wǎng)絡(luò)2000的各預識別子神經(jīng)網(wǎng)絡(luò)所具有的專長的屬性識別能力,從而可根據(jù)圖像的模式而在對應的工作模式下給出更準確的屬性識別。
參照圖1至圖5描述的圖像屬性識別方法和圖像屬性識別系統(tǒng)的訓練方法等可通過計算機系統(tǒng)來實施。該計算機系統(tǒng)包括存儲有可執(zhí)行指令的存儲器以及處理器。處理器與存儲器通信以執(zhí)行可執(zhí)行指令從而實施參照圖1至圖5描述的方法??商娲鼗蚋郊拥兀瑓⒄請D1至圖5描述的圖像屬性識別方法和圖像屬性識別系統(tǒng)的訓練方法等可通過非暫時性計算機存儲介質(zhì)來實施。該介質(zhì)存儲計算機可讀指令,當這些指令被執(zhí)行時使處理器執(zhí)行參照圖1至圖5描述的方法。
圖6是示出了根據(jù)本申請實施例的圖像屬性識別系統(tǒng)6000的框圖。圖像屬性識別系統(tǒng)6000可包括:特征提取單元6100,從圖像提取特征圖,特征圖包含圖像的屬性;預識別單元6200,從特征圖識別出多個備選屬性;以及選擇單元6300,分別確定多個備選屬性的置信度以及根據(jù)確定的各置信度從多個備選屬性中確定出至少一備選屬性來作為圖像的屬性。圖像屬性識別系統(tǒng)6000可通過CNN的架構(gòu)實施,例如圖像屬性識別系統(tǒng)6000可包括參照圖2描述的屬性預識別神經(jīng)網(wǎng)絡(luò)2000。在本申請的一個實施例中,特征提取單元6100可包括屬性預識別神經(jīng)網(wǎng)絡(luò)的特征提取層,以及特征提取層以卷積的方式從圖像提取特征圖。在本申請的一個實施例中,預識別單元6200可包括屬性預識別神經(jīng)網(wǎng)絡(luò)的多個預識別子神經(jīng)網(wǎng)絡(luò),該多個預識別子神經(jīng)網(wǎng)絡(luò)具有不同的參數(shù)從而在不同的工作模式下工作并連接至特征提取層,多個預識別子神經(jīng)網(wǎng)絡(luò)從特征圖識別出多個備選屬性。上述工作模式可包括以下至少一種:過曝光模式、正常曝光模式和欠曝光模式。在本申請的一個實施例中,圖像屬性識別系統(tǒng)還可包括用于訓練屬性預識別神經(jīng)網(wǎng)絡(luò)的第一訓練單元6400,第一訓練單元6400:通過特征提取層從具有參考屬性的訓練圖像中提取訓練特征圖;通過多個預識別子神經(jīng)網(wǎng)絡(luò)分別從所提取的訓練特征圖識別出多個訓練備選屬性;從多個預識別子神經(jīng)網(wǎng)絡(luò)中選擇訓練備選屬性與參考屬性之間的屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò);以及通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)訓練結(jié)果滿足預定收斂條件。例如,所述訓練誤差小于一定閾值、所述訓練誤差落入某容差范圍內(nèi)、訓練過程迭代預定次數(shù),等等。在本申請的一個實施例中,第一訓練單元6400通過在屬性預識別神經(jīng)網(wǎng)絡(luò)中反向傳播屬性誤差來修正所選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)期間,可保持未選擇的預識別子神經(jīng)網(wǎng)絡(luò)的參數(shù)不變。在本申請的一個實施例中,選擇單元6300可包括預先與屬性預識別神經(jīng)網(wǎng)絡(luò)共同訓練的監(jiān)察神經(jīng)網(wǎng)絡(luò),監(jiān)察神經(jīng)網(wǎng)絡(luò)根據(jù)圖像分別確定多個備選屬性的置信度。在本申請的一個實施例中,屬性預識別神經(jīng)網(wǎng)絡(luò)和監(jiān)察神經(jīng)網(wǎng)絡(luò)在訓練過程中可共享具有參考屬性的訓練圖像作為輸入。圖像屬性識別系統(tǒng)還可包括用于訓練監(jiān)察神經(jīng)網(wǎng)絡(luò)的第二訓練單元6500,第二訓練單元6500:根據(jù)訓練圖像確定多個訓練備選屬性的置信度;以及通過在監(jiān)察神經(jīng)網(wǎng)絡(luò)中反向傳播所確定的置信度與參考置信度之間的置信度誤差來修正監(jiān)察神經(jīng)網(wǎng)絡(luò)的參數(shù)直至訓練結(jié)果滿足預定收斂條件。例如,所述訓練誤差小于一定閾值、所述訓練誤差落入某容差范圍內(nèi)、訓練過程迭代預定次數(shù),等等。在本申請的一個實施例中,第一訓練單元中屬性誤差最小的預識別子神經(jīng)網(wǎng)絡(luò)所識別出的備選屬性的置參考信度高(例如為1),其它備選屬性的參考置信度低(例如為0)。在本申請的一個實施例中,選擇單元6300可將置信度最高的一個備選屬性識別作為圖像的屬性。本申請的實施例還包括圖像屬性識別系統(tǒng)的訓練系統(tǒng),其中,圖像屬性識別系統(tǒng)可包括屬性預識別神經(jīng)網(wǎng)絡(luò),屬性預識別神經(jīng)網(wǎng)絡(luò)可包括特征提取層和與其連接的多個預識別子神經(jīng)網(wǎng)絡(luò),該訓練系統(tǒng)可實施參照圖3所描述的訓練過程以訓練屬性預識別神經(jīng)網(wǎng)絡(luò)。圖像屬性識別系統(tǒng)還可包括與屬性預識別神經(jīng)網(wǎng)絡(luò)共同訓練的監(jiān)察神經(jīng)網(wǎng)絡(luò),該訓練系統(tǒng)可實施上文所述的訓練過程以訓練監(jiān)察神經(jīng)網(wǎng)絡(luò)。
參照圖6描述的圖像屬性識別系統(tǒng)以及簡要描述的圖像屬性識別系統(tǒng)的訓練系統(tǒng)可通過計算機系統(tǒng)來實施。該計算機系統(tǒng)可包括存儲有可執(zhí)行指令的存儲器以及處理器。處理器與存儲器通信以執(zhí)行可執(zhí)行指令從而實施參照圖6描述的圖像屬性識別系統(tǒng)以及簡要描述的圖像屬性識別系統(tǒng)的訓練系統(tǒng)。可替代地或附加地,參照圖6描述的圖像屬性識別系統(tǒng)以及簡要描述的圖像屬性識別系統(tǒng)的訓練系統(tǒng)可通過非暫時性計算機存儲介質(zhì)來實施。該介質(zhì)存儲計算機可讀指令,當這些指令被執(zhí)行時使處理器執(zhí)行參照圖6描述的圖像屬性識別系統(tǒng)以及簡要描述的圖像屬性識別系統(tǒng)的訓練系統(tǒng)。
現(xiàn)參照圖7,圖7是示出了適合實施本申請實施例的計算機系統(tǒng)7000的結(jié)構(gòu)示意圖。
如圖7所示,計算機系統(tǒng)7000可包括處理單元(如中央處理單元(CPU)7001、圖像處理單元(GPU)等),其可根據(jù)存儲在只讀存儲器(ROM)7002中的程序或從存儲部分7008加載至隨機存取存儲器(RAM)7003中的程序而執(zhí)行各種適當?shù)膭幼骱瓦^程。在RAM 7003中,還可存儲有系統(tǒng)7000操作所需要的各種程序和數(shù)據(jù)。CPU 7001、ROM 7002和RAM 7003通過總線7004彼此連接。輸入/輸出I/O接口7005也與總線7004連接。
以下為可與I/O接口7005連接的部件:包括鍵盤、鼠標等的輸入部分7006;包括陰極射線管CRT、液晶顯示設(shè)備LCD和揚聲器等的輸出部分7007;包括硬盤等的存儲部分7008;以及包括網(wǎng)絡(luò)接口卡(如LAN卡和調(diào)制解調(diào)器等)的通信部分7009。通信部分7009可通過諸如因特網(wǎng)等網(wǎng)絡(luò)執(zhí)行通信處理。根據(jù)需要,驅(qū)動器7010也可與I/O接口7005連接。如磁盤、光盤、磁光盤、半導體存儲器等的可拆卸介質(zhì)7011可安裝在驅(qū)動器7010上,以便于從其上讀出的計算機程序根據(jù)需要被安裝入存儲部分7008。
具體地,根據(jù)本公開的實施例,以上參照圖1至圖5描述的方法以及參照圖6描述的系統(tǒng)可實施為計算機軟件程序。例如,本公開的實施例可包括計算機程序產(chǎn)品,該產(chǎn)品包括有形地體現(xiàn)在機器可讀介質(zhì)中的計算機程序。該計算機程序包括用于執(zhí)行圖1至圖5中的方法以及實施圖6的系統(tǒng)的程序代碼。在這種實施例中,計算機程序可通過通信部分709從網(wǎng)絡(luò)上下載并進行安裝,和/或可從可拆卸介質(zhì)7011安裝。
附圖中的流程圖和框圖,圖示了按照本發(fā)明各種實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模塊、程序段、或代碼的一部分,所述模塊、程序段、或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意,在有些作為替換的實現(xiàn)中,方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如,兩個接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn),或者可以用專用硬件與計算機指令的組合來實現(xiàn)。
本申請的實施例所涉及的單元或模塊可通過軟件或硬件實施。所描述的單元或模塊也可設(shè)置在處理器中。這些單元或模塊的名稱不應被視為限制這些單元或模塊。
以上描述僅為本申請的示例性實施例以及對所運用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應當理解,本申請中所涉及的范圍,并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案,同時也應涵蓋在不背離所述發(fā)明構(gòu)思的情況下,由上述技術(shù)特征或其等同特征進行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的具有類似功能的技術(shù)特征進行互相替換而形成的技術(shù)方案。