本說明書涉及計算機，尤其涉及大模型推理服務(wù)的路由方法、裝置及計算機設(shè)備。

背景技術(shù)：

1、隨著人工智能技術(shù)的不斷進步，大模型發(fā)展迅速，市場上涌現(xiàn)出了數(shù)量眾多的大模型，被業(yè)界稱為“百模大戰(zhàn)”。這些大模型不僅覆蓋了多種模態(tài)，如視覺、語音、文本等，而且針對不同的行業(yè)領(lǐng)域，如金融、醫(yī)療、教育、法律等，開發(fā)了特定的垂直行業(yè)大模型。每一個模型都擁有其獨特的優(yōu)勢和能力，從而能夠滿足不同細分應(yīng)用場景的需求，提供更為精確和高效的服務(wù)。

2、相關(guān)技術(shù)對于每個領(lǐng)域配置有對應(yīng)的推理服務(wù)。在需要對不同領(lǐng)域的問題進行提問時，用戶需要頻繁切換不同的推理服務(wù)，比較繁瑣。

技術(shù)實現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本說明書提供了大模型推理服務(wù)的路由方法、裝置及計算機設(shè)備。

2、根據(jù)本說明書實施例的第一方面，提供一種大模型推理服務(wù)的路由方法，所述方法包括：接收提問信息；獲取推理服務(wù)列表和路由策略插件列表，所述推理服務(wù)列表包括至少一個推理服務(wù)，所述路由策略插件列表包括至少一個路由策略插件；利用所述路由策略列表中的每個路由策略插件，對所述推理服務(wù)列表進行篩選，得到目標推理服務(wù)；利用所述目標推理服務(wù)對所述提問信息進行推理，得到輸出結(jié)果。

3、根據(jù)本說明書實施例的第二方面，提供一種大模型推理服務(wù)的路由裝置，包括：接收模塊，用于接收提問信息；獲取模塊，用于獲取推理服務(wù)列表和路由策略插件列表，所述推理服務(wù)列表包括至少一個推理服務(wù)，所述路由策略插件列表包括至少一個路由策略插件；篩選模塊，用于利用所述路由策略列表中的每個路由策略插件，對所述推理服務(wù)列表進行篩選，得到目標推理服務(wù)；推理模塊，用于利用所述目標推理服務(wù)對所述提問信息進行推理，得到輸出結(jié)果。

4、根據(jù)本說明書實施例的第三方面，提供一種計算機設(shè)備，包括：

5、處理器；

6、用于存儲處理器可執(zhí)行指令的存儲器；

7、其中，所述處理器被配置為：接收提問信息；獲取推理服務(wù)列表和路由策略插件列表，所述推理服務(wù)列表包括至少一個推理服務(wù)，所述路由策略插件列表包括至少一個路由策略插件；利用所述路由策略列表中的每個路由策略插件，對所述推理服務(wù)列表進行篩選，得到目標推理服務(wù)；利用所述目標推理服務(wù)對所述提問信息進行推理，得到輸出結(jié)果。

8、本說明書的實施例提供的技術(shù)方案可以包括以下有益效果：

9、本說明書實施例中，實現(xiàn)了大模型推理服務(wù)的智能路由，通過智能判斷每個提問應(yīng)該交給后端的哪個推理服務(wù)去處理，充分發(fā)揮各個大模型的特點和能力，有效降低使用成本，提升使用感受。

10、應(yīng)當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本說明書。

技術(shù)特征：

1.一種大模型推理服務(wù)的路由方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述路由策略列表中的每個路由策略插件，對所述推理服務(wù)列表進行篩選，得到目標推理服務(wù)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述推理服務(wù)配置有能力標簽；所述路由策略插件列表包括第一路由策略插件，所述第一路由策略插件被配置為：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述推理服務(wù)配置有權(quán)限標簽；所述路由策略插件列表包括第二路由策略插件；

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述推理服務(wù)配置有價格標簽；所述路由策略插件列表包括第三路由策略插件，所述第三路由策略插件被配置為：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述推理服務(wù)配置有速度標簽；所述路由策略插件列表包括第四路由策略插件；

7.根據(jù)權(quán)利要求1-6中任一項所述的方法，其特征在于，所述路由策略插件列表還包括默認路由策略插件；

8.根據(jù)權(quán)利要求1-6中任一項所述的方法，其特征在于，所述方法還包括：

9.一種大模型推理服務(wù)的路由裝置，其特征在于，所述裝置包括：

10.一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器執(zhí)行所述程序時實現(xiàn)如下方法：接收提問信息；獲取推理服務(wù)列表和路由策略插件列表，所述推理服務(wù)列表包括至少一個推理服務(wù)，所述路由策略插件列表包括至少一個路由策略插件；利用所述路由策略列表中的每個路由策略插件，對所述推理服務(wù)列表進行篩選，得到目標推理服務(wù)；利用所述目標推理服務(wù)對所述提問信息進行推理，得到輸出結(jié)果。

技術(shù)總結(jié)
本說明書提供一種大模型推理服務(wù)的路由方法、裝置及計算機設(shè)備。所述方法包括：接收提問信息；獲取推理服務(wù)列表和路由策略插件列表，推理服務(wù)列表包括至少一個推理服務(wù)，路由策略插件列表包括至少一個路由策略插件；利用路由策略列表中的每個路由策略插件，對推理服務(wù)列表進行篩選，得到目標推理服務(wù)；利用目標推理服務(wù)對提問信息進行推理，得到輸出結(jié)果。

技術(shù)研發(fā)人員：李龍飛
受保護的技術(shù)使用者：新華三工業(yè)互聯(lián)網(wǎng)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23