1.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于服務端,包括:
2.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理之前,還包括:
3.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,還包括:
4.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理,生成第一請求集合和第二請求集合,包括:
5.根據(jù)權利要求4所述的模型即服務的推理優(yōu)化方法,其特征在于,所述調用請求還包括用戶輸入的文本數(shù)據(jù),基于所述基礎大模型標識相同的所述調用請求生成共享參數(shù)批,基于所述微調大模型標識相同的所述調用請求生成非共享參數(shù)批,包括:
6.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果之前,還包括:
7.根據(jù)權利要求3所述的模型即服務的推理優(yōu)化方法,其特征在于,基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果,包括:
8.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,合并所述第一批處理結果和所述第二批處理結果得到目標結果,包括:
9.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于租戶端,包括:
10.根據(jù)權利要求9所述的模型即服務的推理優(yōu)化方法,其特征在于,在向服務端發(fā)送調用微調大模型推理的調用請求之前,還包括:
11.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于服務端,包括:
12.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于租戶端,包括:
13.一種電子設備,其特征在于,包括:
14.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。
15.一種計算機程序產(chǎn)品,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。