欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

基于隨機(jī)計算的可控縮放卷積處理裝置和方法

文檔序號:40542741發(fā)布日期:2025-01-03 11:02閱讀:13來源:國知局
基于隨機(jī)計算的可控縮放卷積處理裝置和方法

本發(fā)明涉及新型計算架構(gòu)隨機(jī)計算,特別是涉及基于隨機(jī)計算的可控縮放卷積處理裝置和方法。


背景技術(shù):

1、深度學(xué)習(xí)技術(shù),尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn)在人臉識別和語音搜索等領(lǐng)域具有廣泛應(yīng)用。然而,隨著模型復(fù)雜度和數(shù)據(jù)規(guī)模的增加,cnn所需的計算資源和硬件消耗顯著增長,其中,以矩陣乘法為核心的卷積計算成為資源消耗的主要來源,限制了其在智能手表和監(jiān)控攝像頭等資源受限環(huán)境中的應(yīng)用。

2、隨機(jī)計算(sc)是一種高效的計算范式,具有概率性表示和近似計算的特征。隨機(jī)計算利用隨機(jī)比特流(sn)的位運算近似實現(xiàn)乘法等復(fù)雜計算,其硬件成本比二進(jìn)制乘法器低得多,能有效降低對計算資源的依賴并展現(xiàn)出良好的容錯能力。由于cnn的近似性質(zhì),計算中的微小誤差對其準(zhǔn)確性沒有明顯影響,將隨機(jī)計算引入cnn能顯著提升計算效率并降低成本,這對資源受限的應(yīng)用環(huán)境尤為重要。

3、當(dāng)前隨機(jī)計算領(lǐng)域?qū)nn的應(yīng)用聚焦于卷積結(jié)構(gòu)的乘法累加運算,通常利用與(and)門及同或(xnor)門實現(xiàn)乘法,使用多路選擇器(mux)實現(xiàn)0.5倍縮放加法。然而,在隨機(jī)計算中隨機(jī)比特流的相關(guān)性會對計算精度造成極大的影響,且生成低相關(guān)性的隨機(jī)比特流往往需要付出比計算本身更高的硬件成本。此外,卷積運算中大量的累加操作會導(dǎo)致多路選擇器加法產(chǎn)生巨大的縮放誤差,進(jìn)一步導(dǎo)致嚴(yán)重的精度損失。當(dāng)前一些研究考慮使用近似并行計數(shù)器(apc)實現(xiàn)累加操作,但近似并行計數(shù)器含有大量全加器和半加器等復(fù)雜電路結(jié)構(gòu),且由于近似并行計數(shù)器的輸出是二進(jìn)制數(shù)(bn)的格式,需要進(jìn)行額外的二進(jìn)制數(shù)與隨機(jī)比特流轉(zhuǎn)換,使得其在硬件成本、面積與功耗等方面并不具有優(yōu)勢。因此,在隨機(jī)計算領(lǐng)域?qū)nn進(jìn)行更為有效的硬件設(shè)計仍然面臨巨大的挑戰(zhàn),研究解決如何提高實際應(yīng)用中卷積計算的精度并降低計算功耗,以提升計算性能仍是當(dāng)前面臨的重要技術(shù)問題。


技術(shù)實現(xiàn)思路

1、基于此,有必要提供一種基于隨機(jī)計算的可控縮放卷積處理裝置以及一種基于隨機(jī)計算的可控縮放卷積處理方法,能夠有效提高卷積計算的精度并降低計算功耗。

2、為了實現(xiàn)上述目的,本發(fā)明實施例采用以下技術(shù)方案:

3、一方面,提供一種基于隨機(jī)計算的可控縮放卷積處理裝置,包括:

4、隨機(jī)數(shù)生成模塊,用于通過混洗操作共享一個隨機(jī)數(shù)源產(chǎn)生的偽隨機(jī)數(shù)序列,將二進(jìn)制數(shù)形式的待轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換為由概率表示的隨機(jī)比特流;待轉(zhuǎn)換數(shù)據(jù)包括輸入數(shù)據(jù)和輸入數(shù)據(jù)對應(yīng)的權(quán)重系數(shù);

5、卷積計算模塊,用于根據(jù)權(quán)重系數(shù)對應(yīng)的隨機(jī)比特流生成卷積計算中多路選擇器的控制信號,執(zhí)行cnn中卷積核對輸入數(shù)據(jù)對應(yīng)的隨機(jī)比特流的卷積操作,得到卷積計算完成后的隨機(jī)比特流;控制信號是利用jk觸發(fā)器替代二進(jìn)制除法器生成的;

6、數(shù)據(jù)處理模塊,用于將卷積計算完成后的隨機(jī)比特流轉(zhuǎn)化為二進(jìn)制數(shù)并進(jìn)行縮放后數(shù)據(jù)的恢復(fù)處理,得到輸入數(shù)據(jù)對應(yīng)的卷積處理結(jié)果。

7、另一方面,還提供一種基于隨機(jī)計算的可控縮放卷積處理方法,基于上述的基于隨機(jī)計算的可控縮放卷積處理裝置,該基于隨機(jī)計算的可控縮放卷積處理方法包括步驟:

8、將二進(jìn)制數(shù)形式的待轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換為由概率表示的隨機(jī)比特流;待轉(zhuǎn)換數(shù)據(jù)包括輸入數(shù)據(jù)和輸入數(shù)據(jù)對應(yīng)的權(quán)重系數(shù);

9、根據(jù)權(quán)重系數(shù)對應(yīng)的隨機(jī)比特流生成卷積計算中多路選擇器的控制信號;

10、根據(jù)控制信號執(zhí)行cnn中卷積核對輸入數(shù)據(jù)對應(yīng)的隨機(jī)比特流的卷積操作,得到卷積計算完成后的隨機(jī)比特流;

11、將卷積計算完成后的隨機(jī)比特流轉(zhuǎn)化為二進(jìn)制數(shù)并進(jìn)行縮放后數(shù)據(jù)的恢復(fù)處理,得到輸入數(shù)據(jù)對應(yīng)的卷積處理結(jié)果。

12、上述技術(shù)方案中的一個技術(shù)方案具有如下優(yōu)點和有益效果:

13、上述的基于隨機(jī)計算的可控縮放卷積處理裝置和方法,通過在隨機(jī)數(shù)生成模塊中將隨機(jī)數(shù)源產(chǎn)生的偽隨機(jī)數(shù)序列進(jìn)行共享,使一輪卷積計算僅使用一個線性反饋移位寄存器,極大地降低了硬件成本和計算開銷,同時隨機(jī)數(shù)生成模塊通過混洗操作對偽隨機(jī)數(shù)序列進(jìn)行移位和互換等操作,有效削弱了數(shù)據(jù)間的相關(guān)性,從而大幅降低了隨機(jī)計算中相關(guān)性引起的精度誤差。接著,卷積計算模塊中利用jk觸發(fā)器替代二進(jìn)制除法器生成卷積計算中多路選擇器的控制信號,以執(zhí)行cnn中卷積核對所述輸入數(shù)據(jù)對應(yīng)的隨機(jī)比特流的卷積操作,無需再依賴大量與門或異或門,極大地簡化了卷積計算架構(gòu)的復(fù)雜性,進(jìn)一步降低了硬件成本、面積占用及功耗;最后,結(jié)合數(shù)據(jù)處理模塊完成二進(jìn)制數(shù)的轉(zhuǎn)換與恢復(fù)。相比于傳統(tǒng)技術(shù),上述設(shè)計簡潔高效,穩(wěn)定可靠,具有出色的性能表現(xiàn),十分有利于深度神經(jīng)網(wǎng)絡(luò)在資源受限環(huán)境的部署與應(yīng)用。



技術(shù)特征:

1.一種基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,所述隨機(jī)數(shù)生成模塊包括一個線性反饋移位寄存器、多個混洗單元以及多個概率轉(zhuǎn)換電路,所述線性反饋移位寄存器用于提供所述偽隨機(jī)數(shù)序列,各所述混洗單元均通過循環(huán)移位、隨機(jī)交換以及翻轉(zhuǎn)策略對所述偽隨機(jī)數(shù)序列中的隨機(jī)數(shù)進(jìn)行混洗,各所述概率轉(zhuǎn)換電路均由比較器構(gòu)成,分別用于將所述待轉(zhuǎn)換數(shù)據(jù)與混洗后的隨機(jī)數(shù)進(jìn)行按位比較,輸出由概率表示的所述隨機(jī)比特流。

3.根據(jù)權(quán)利要求2所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,所述混洗單元的循環(huán)移位的位數(shù)k、隨機(jī)交換的位置標(biāo)度p以及翻轉(zhuǎn)信號q的設(shè)置規(guī)則為:

4.根據(jù)權(quán)利要求3所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,利用各所述混洗單元進(jìn)行多次混洗操作時,所述混洗單元的循環(huán)移位的位數(shù)k按照設(shè)定的數(shù)列規(guī)則進(jìn)行設(shè)置,所述數(shù)列規(guī)則為{n/2,?1,?n+1/2,?2,?n+2/2,?3,?…?,?n-1};當(dāng)時,所述混洗單元中隨機(jī)交換設(shè)置在第p位與第p+2位之間。

5.根據(jù)權(quán)利要求1所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,所述卷積計算模塊包括控制信號生成器、符號處理單元、乘法累加計算單元以及偏置加法計算單元;

6.根據(jù)權(quán)利要求1至5任一項所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,所述數(shù)據(jù)處理模塊包括計數(shù)器和乘法器,所述計數(shù)器用于執(zhí)行對卷積計算完成后的隨機(jī)比特流中1的計數(shù),根據(jù)計數(shù)的結(jié)果概率將卷積計算完成后的隨機(jī)比特流轉(zhuǎn)化為二進(jìn)制數(shù),所述乘法器用于根據(jù)卷積計算的縮放系數(shù)對所述計數(shù)器轉(zhuǎn)化后的二進(jìn)制數(shù)進(jìn)行縮放后數(shù)據(jù)的恢復(fù)處理,得到所述輸入數(shù)據(jù)對應(yīng)的卷積處理結(jié)果。

7.根據(jù)權(quán)利要求6所述的基于隨機(jī)計算的可控縮放卷積處理裝置,其特征在于,所述數(shù)據(jù)處理模塊還包括正則化操作單元,所述正則化操作單元用于在cnn訓(xùn)練時將reg函數(shù)限制在設(shè)定的限制范圍內(nèi)并保持卷積計算完成后的隨機(jī)比特流的數(shù)據(jù)格式進(jìn)行隨機(jī)計算;所述限制范圍為[-1,?1]。

8.一種基于隨機(jī)計算的可控縮放卷積處理方法,其特征在于,基于權(quán)利要求1至7任一項所述的基于隨機(jī)計算的可控縮放卷積處理裝置,所述基于隨機(jī)計算的可控縮放卷積處理方法包括步驟:

9.根據(jù)權(quán)利要求8所述的基于隨機(jī)計算的可控縮放卷積處理方法,其特征在于,在cnn訓(xùn)練時,通過正則化操作單元將reg函數(shù)限制在設(shè)定的限制范圍內(nèi)并保持卷積計算完成后的隨機(jī)比特流的數(shù)據(jù)格式進(jìn)行隨機(jī)計算;所述限制范圍為[-1,?1]。


技術(shù)總結(jié)
本發(fā)明涉及基于隨機(jī)計算的可控縮放卷積處理裝置和方法,通過在隨機(jī)數(shù)生成模塊中將隨機(jī)數(shù)源產(chǎn)生的偽隨機(jī)數(shù)序列進(jìn)行共享,使一輪卷積計算僅使用一個線性反饋移位寄存器,極大地降低了硬件成本和計算開銷,同時隨機(jī)數(shù)生成模塊通過混洗操作對偽隨機(jī)數(shù)序列進(jìn)行移位和互換等操作,有效削弱了數(shù)據(jù)間的相關(guān)性,從而大幅降低隨機(jī)計算中相關(guān)性引起的精度誤差。卷積計算模塊中利用JK觸發(fā)器替代二進(jìn)制除法器生成卷積計算中多路選擇器的控制信號,無需再依賴大量與門或異或門,極大地簡化了卷積計算架構(gòu)的復(fù)雜性,進(jìn)一步降低硬件成本、面積占用及功耗;最后數(shù)據(jù)處理模塊完成二進(jìn)制數(shù)的轉(zhuǎn)換與恢復(fù)。

技術(shù)研發(fā)人員:陳小文,董羽,朱麒瑾,劉仲,魯建壯,李晨,劉暢,袁珩洲,汪志
受保護(hù)的技術(shù)使用者:中國人民解放軍國防科技大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2025/1/2
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
斗六市| 同心县| 乌兰浩特市| 杨浦区| 建阳市| 拉萨市| 凌云县| 宣化县| 阿城市| 墨竹工卡县| 云霄县| 商南县| 闽清县| 南皮县| 元朗区| 铁岭市| 拉孜县| 兴海县| 峨边| 格尔木市| 九江市| 吴江市| 石屏县| 神池县| 梁河县| 长春市| 新丰县| 攀枝花市| 兖州市| 紫阳县| 扎兰屯市| 蓝山县| 体育| 蛟河市| 彭阳县| 甘孜| 越西县| 延寿县| 如皋市| 禹城市| 饶河县|