欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

推理優(yōu)化方法、優(yōu)化裝置、設備、存儲介質和程序產(chǎn)品與流程

文檔序號:40577698發(fā)布日期:2025-01-07 20:17閱讀:來源:國知局

技術特征:

1.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于服務端,包括:

2.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理之前,還包括:

3.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,還包括:

4.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理,生成第一請求集合和第二請求集合,包括:

5.根據(jù)權利要求4所述的模型即服務的推理優(yōu)化方法,其特征在于,所述調用請求還包括用戶輸入的文本數(shù)據(jù),基于所述基礎大模型標識相同的所述調用請求生成共享參數(shù)批,基于所述微調大模型標識相同的所述調用請求生成非共享參數(shù)批,包括:

6.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果之前,還包括:

7.根據(jù)權利要求3所述的模型即服務的推理優(yōu)化方法,其特征在于,基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果,包括:

8.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,合并所述第一批處理結果和所述第二批處理結果得到目標結果,包括:

9.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于租戶端,包括:

10.根據(jù)權利要求9所述的模型即服務的推理優(yōu)化方法,其特征在于,在向服務端發(fā)送調用微調大模型推理的調用請求之前,還包括:

11.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于服務端,包括:

12.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于租戶端,包括:

13.一種電子設備,其特征在于,包括:

14.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。

15.一種計算機程序產(chǎn)品,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。


技術總結
本公開提供了一種推理優(yōu)化方法、優(yōu)化裝置、設備、存儲介質和程序產(chǎn)品,涉及機器學習技術領域。其中,模型即服務的推理優(yōu)化方法包括:響應于接收到的多個用戶調用多個微調大模型推理的調用請求,生成第一請求集合和第二請求集合,第一請求集合對應于基礎大模型的推理,第二請求集合對應于微調大模型的推理;基于共享凍結參數(shù)對第一請求集合進行推理得到第一批處理結果,基于非共享參數(shù)對第二請求集合進行推理得到第二批處理結果;合并第一批處理結果和第二批處理結果得到目標結果,將目標結果反饋至多個用戶。通過本公開的技術方案,通過使不同租戶共享凍結的參數(shù)進行推理任務的批處理,減少多租戶大模型的GPU內存資源使用量,降低推理成本。

技術研發(fā)人員:崔恩放,韋茜,高玥
受保護的技術使用者:中國電信股份有限公司技術創(chuàng)新中心
技術研發(fā)日:
技術公布日:2025/1/6
當前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
西华县| 鄄城县| 万安县| 临泉县| 韩城市| 榆社县| 南宫市| 蓝山县| 安丘市| 镇安县| 岳阳县| 汉沽区| 黄梅县| 游戏| 房山区| 略阳县| 淮南市| 龙海市| 莱西市| 深圳市| 两当县| 石棉县| 潮安县| 克拉玛依市| 四会市| 寿光市| 涟源市| 怀集县| 汝阳县| 新津县| 岢岚县| 清流县| 雷波县| 灯塔市| 五原县| 秦安县| 灌阳县| 烟台市| 林芝县| 泸定县| 白山市|