本發(fā)明屬于深度學(xué)習(xí)，具體涉及一種最優(yōu)尺度下半監(jiān)督流形二值神經(jīng)網(wǎng)絡(luò)構(gòu)建方法。

背景技術(shù)：

1、在深度學(xué)習(xí)領(lǐng)域，特別是在計算機視覺任務(wù)中，模型的壓縮和加速一直是備受關(guān)注的焦點問題。傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)往往具有龐大的參數(shù)量和復(fù)雜的結(jié)構(gòu)，在處理大規(guī)模數(shù)據(jù)時需要消耗大量計算資源，這使得它們在嵌入式系統(tǒng)、移動設(shè)備以及資源受限的環(huán)境中應(yīng)用受到限制。因此，研究人員一直在尋求各種方法來壓縮和加速深度神經(jīng)網(wǎng)絡(luò)，以提高其在實際應(yīng)用中的效率和性能。

2、量化技術(shù)作為一種有效的模型壓縮方法，通過將網(wǎng)絡(luò)的權(quán)重和激活值從高精度轉(zhuǎn)換為低精度，從而有效減少了存儲和計算成本。其中，二值神經(jīng)網(wǎng)絡(luò)(bnn)作為量化技術(shù)的一種極端形式，將網(wǎng)絡(luò)的權(quán)重和激活值限制為+1和-1，極大地降低了計算和存儲操作的復(fù)雜性。然而，盡管bnn在壓縮模型方面取得了顯著進展，但由于其極度簡化的表示形式，導(dǎo)致了模型的表達能力和性能大幅下降。

3、為了解決bnn性能下降的問題，研究人員提出了各種改進方法。其中，基于優(yōu)化的二值神經(jīng)網(wǎng)絡(luò)采用了一系列策略，如最小化量化誤差、改進網(wǎng)絡(luò)損失函數(shù)、降低梯度誤差等，以提高模型的性能和泛化能力。在二值神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略優(yōu)化方面，liu等人探究了adam通過其自適應(yīng)學(xué)習(xí)率策略，能夠更好地處理二值神經(jīng)網(wǎng)絡(luò)的信息損失，具有更好的泛化能力。xu等人提出在訓(xùn)練過程中引入recu模塊對無效權(quán)重進行更新，同時采用一種自適應(yīng)指數(shù)調(diào)度器來識別無效權(quán)重的范圍，實驗證明該方法具有良好效果。tu等人提出了adabin來更好地擬合不同的分布，通過自適應(yīng)地獲取每層權(quán)重和特征的最佳二值集合來提高特征表達能力，同時引入一種基于梯度的優(yōu)化方法來獲取參數(shù)，實現(xiàn)端到端的訓(xùn)練。

4、然而，盡管這些方法在提高bnn性能方面取得了一定的進展，但仍然存在一些挑戰(zhàn)和限制。例如，模型的訓(xùn)練過程可能會變得更加復(fù)雜和耗時，需要更多的計算資源和優(yōu)化技巧。此外，如何在保持模型壓縮的同時，盡可能地保留數(shù)據(jù)的信息和結(jié)構(gòu)特征仍然是一個需要進一步研究的問題。

5、bnn的性能下降導(dǎo)致了基本信息的丟失，無法準確地表示數(shù)據(jù)的空間結(jié)構(gòu)特征。在這方面，流形學(xué)習(xí)中的olsr模型發(fā)揮了重要作用。olsr模型對最小二乘回歸(lsr)的變換矩陣施加了正交性限制，有效地學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)信息，改進了分類結(jié)果。最終，通過誤差函數(shù)的迭代最小化獲得了一個封閉解。因此，olsr模型在流形學(xué)習(xí)中具有重要意義。由于olsr模型具有數(shù)據(jù)結(jié)構(gòu)信息的有效保存和快速收斂特性，將其與最優(yōu)縮放技術(shù)相結(jié)合，有望處理二值卷積后獲得的深度特征。

6、因此，未來的研究方向可能包括但不限于：探索更加高效和準確的模型壓縮和加速方法，進一步優(yōu)化基于優(yōu)化的bnn和olsr模型，以及探索深度學(xué)習(xí)模型在新應(yīng)用場景和領(lǐng)域的應(yīng)用。這些努力將有助于推動深度學(xué)習(xí)技術(shù)在實際應(yīng)用中的廣泛應(yīng)用和進一步發(fā)展。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種最優(yōu)尺度下半監(jiān)督流形二值神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，通過將olsr方法與二進制卷積結(jié)合，有效地保留數(shù)據(jù)的空間信息，彌補信息損失，從而提高深度特征提取的準確性和效率。通過在olsr模型中集成尺度項，可以更好地適應(yīng)不同尺度下的數(shù)據(jù)，從而提高模型的泛化能力和適應(yīng)性；采用尺度自學(xué)習(xí)方法，確保每次迭代都獲得最優(yōu)解，從而加快模型的收斂速度，并提高訓(xùn)練效率。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下：

3、步驟1：數(shù)據(jù)預(yù)處理；

4、將數(shù)據(jù)集x分成包含向量標(biāo)簽的xl和包含nu個未知標(biāo)簽的xu，即x＝[xl,xu]，其中nl+nu＝n；

5、定義函數(shù)如下：

6、

7、步驟2：得到最終數(shù)據(jù)；

8、q＝sign(ax)＝sign(a[xl,xu])＝sign([axl,axu])＝[ql,qu]?(1)

9、其中a表示映射矩陣，ql表示有標(biāo)簽數(shù)據(jù)的預(yù)處理結(jié)果，qu表示未知標(biāo)簽數(shù)據(jù)的預(yù)處理結(jié)果；

10、步驟3：定義類別指示矩陣；

11、類別指示矩陣具體如下：

12、

13、其中，c表示類的數(shù)量；

14、步驟4：特征提取olsr回歸模型；

15、設(shè)投影矩陣w∈rm*c，wtw＝i，得到特征提取的olsr模型如下：

16、

17、步驟5：具有最佳尺度的正交最小二乘回歸模型；

18、由于正交性約束，式(4)子空間w具有固定尺度；為了解決尺度變化的問題，尺度項α被引入到等式中，使具有最佳尺度的正交最小二乘回歸問題表述為：

19、

20、步驟6：定義標(biāo)記數(shù)據(jù)的損失；

21、對標(biāo)記數(shù)據(jù)集ql使用交叉熵損失，損失定義為：

22、

23、其中yi表示真實標(biāo)記值，yi'是預(yù)測標(biāo)記值，h(·)表示交叉熵，l表示標(biāo)記數(shù)據(jù)的數(shù)量；

24、步驟7：定義未標(biāo)記數(shù)據(jù)的損失；對于未標(biāo)記數(shù)據(jù)，使用與標(biāo)記數(shù)據(jù)相同的處理步驟獲得未標(biāo)記數(shù)據(jù)的預(yù)測標(biāo)簽yj'；同時，使用olsr學(xué)習(xí)投影變換矩陣并獲得預(yù)測標(biāo)簽yj”；對于qu，損失定義為：

25、

26、其中，u表示未標(biāo)記數(shù)據(jù)的數(shù)量；

27、步驟8：優(yōu)化總損失函數(shù)；

28、總損失函數(shù)定義為：

29、l＝l(ql)+β(t)l(qu)?(7)

30、其中β(t)是平衡兩個損失項的系數(shù)；β(t)的公式為：

31、

32、其中，t1和t2是表示βt變化的超參數(shù)，βf表示βt的上限值，t表示模型迭代次數(shù)；

33、優(yōu)選地，所述步驟5中，求解正交最小二乘回歸問題的具體步驟如下：

34、步驟5-1：輸入：二進制數(shù)據(jù)矩陣q∈rm*n，標(biāo)簽矩陣yl；未標(biāo)記數(shù)據(jù)的數(shù)量nu，類的數(shù)量c；

35、步驟5-2：初始化：隨機正交矩陣ltl＝llt＝i和α＝1；

36、步驟5-3：重復(fù)如下步驟，直到滿足收斂條件：

37、(1)w＝l(:,1:c)和h＝l(:,(c+1):m)；

38、(2)計算yu通過

39、(3)計算γ通過

40、(4)更新α通過

41、(5)計算b通過b＝q[y,αqth]∈rm*n；

42、(6)更新l，通過對中b進行奇異值分解；

43、步驟5-4：輸出：投影矩陣w，未知標(biāo)記矩陣yu。

44、本發(fā)明的有益效果如下：

45、1.所提出的ssmbnn-os在數(shù)據(jù)集上運行有效。它在coil20、mnist、umist和at&t。它在100輪訓(xùn)練后獲得了第二高的精度。尺度項不僅加快了收斂速度，而且顯著提高了分類精度。

46、2.ssmbnn-os在coil100和mnist上達到了第二高的精度。盡管coil100的標(biāo)記數(shù)據(jù)減少了20％，mnist的標(biāo)記數(shù)據(jù)減少了50％，但準確率分別僅輕微下降了0.20％和0.11％。這證實了ssmbnn-os的優(yōu)勢及其在較少標(biāo)記數(shù)據(jù)上的優(yōu)勢。

47、3.在coil100中，比較了原始bnn、ir-net、rad和ssmbnn-os的損失和準確性。結(jié)果顯示ssmbnn-os只需5次迭代就能實現(xiàn)收斂，而其他的則需要更多的迭代。這證明了ssmbnn-os的快速收斂。