欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

自適應(yīng)參數(shù)高效微調(diào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)與流程

文檔序號(hào):40518236發(fā)布日期:2024-12-31 13:27閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種自適應(yīng)參數(shù)高效微調(diào)方法,特征在于,包括:

2.根據(jù)權(quán)利要求1所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取參數(shù)高效微調(diào)超網(wǎng)絡(luò),包括:

3.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:

4.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:

5.根據(jù)權(quán)利要求4所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用伯努利隨機(jī)數(shù)對(duì)所述訓(xùn)練參數(shù)進(jìn)行加權(quán),將加權(quán)后的訓(xùn)練參數(shù)作為第二選擇因子,包括:

6.根據(jù)權(quán)利要求5所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用所述目標(biāo)參數(shù)微調(diào)模塊參與預(yù)訓(xùn)練模型t?r?ansformer層的前向傳播,對(duì)輸入樣本在t?ransformer層輸出的隱狀態(tài)進(jìn)行修改,包括:

7.根據(jù)權(quán)利要求6所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,在所述利用預(yù)訓(xùn)練模型t?ransformer層的第二層函數(shù)對(duì)所述第二隱狀態(tài)進(jìn)行第二操作,獲取第三隱狀態(tài),之后,所述方法還包括:

8.一種自適應(yīng)參數(shù)高效微調(diào)裝置,采用權(quán)利要求1-6任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,包括:

9.一種計(jì)算機(jī)設(shè)備,其特征在于,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令,所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。


技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種自適應(yīng)參數(shù)高效微調(diào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),方法包括步驟:獲取參數(shù)高效微調(diào)超網(wǎng)絡(luò),參數(shù)高效微調(diào)超網(wǎng)絡(luò)包括多個(gè)參數(shù)微調(diào)模塊;獲取訓(xùn)練參數(shù),將訓(xùn)練參數(shù)參與多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)權(quán)重值獲取選擇因子,利用選擇因子對(duì)參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊;利用選中的參數(shù)微調(diào)模塊參與預(yù)訓(xùn)練模型t?ransformer層的前向傳播,對(duì)輸入樣本在t?ransformer層輸出的隱狀態(tài)進(jìn)行修改。通過(guò)構(gòu)建參數(shù)高效微調(diào)超網(wǎng)絡(luò),使得預(yù)訓(xùn)練模型根據(jù)任務(wù)自適應(yīng)選擇最佳的參數(shù)高效微調(diào)模塊,最大程度解鎖了大模型的能力,提升了部署后的模型在各種醫(yī)療任務(wù)上的平均表現(xiàn)。

技術(shù)研發(fā)人員:朱威
受保護(hù)的技術(shù)使用者:平安科技(深圳)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/30
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
西贡区| 永胜县| 双鸭山市| 邻水| 武强县| 文昌市| 营山县| 商水县| 乌鲁木齐县| 凤阳县| 奇台县| 六安市| 墨竹工卡县| 金阳县| 泽普县| 乐亭县| 清水河县| 文安县| 绵竹市| 南安市| 白银市| 久治县| 调兵山市| 河津市| 孝昌县| 收藏| 建宁县| 莒南县| 建始县| 嘉义市| 西峡县| 敖汉旗| 司法| 东海县| 临颍县| 绥滨县| 平舆县| 凤阳县| 历史| 会理县| 万荣县|