技術(shù)特征：

1.一種推理方法，其特征在于，應(yīng)用于推理設(shè)備，包括：

2.根據(jù)權(quán)利要求1所述的推理方法，其特征在于，在檢查每一token序列的節(jié)點(diǎn)上的token與所述llm根據(jù)所述prompt生成的原始輸出的匹配情況的過程中，優(yōu)先選擇token的置信度更高的子節(jié)點(diǎn)。

3.一種推理方法，其特征在于，應(yīng)用于推理設(shè)備，包括：

4.根據(jù)權(quán)利要求3所述的推理方法，其特征在于，在檢查每一token序列的節(jié)點(diǎn)上的token與所述llm根據(jù)所述prompt生成的原始輸出的匹配情況的過程中，任一節(jié)點(diǎn)上的token的置信度不大于第二置信度閾值時(shí)，停止對(duì)所述任一節(jié)點(diǎn)所在的token序列的檢查。

5.一種推理裝置，其特征在于，應(yīng)用于推理設(shè)備，包括：

6.根據(jù)權(quán)利要求5所述的推理裝置，其特征在于，所述檢查與生成模塊，還用于在檢查每一token序列的節(jié)點(diǎn)上的token與所述llm根據(jù)所述prompt生成的原始輸出的匹配情況的過程中，優(yōu)先選擇token的置信度更高的子節(jié)點(diǎn)。

7.一種推理裝置，其特征在于，應(yīng)用于推理設(shè)備，包括：

8.一種電子設(shè)備，其特征在于，包括：

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1～4中任意一項(xiàng)所述的推理方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1～4中任意一項(xiàng)所述的推理方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N推理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及自然語言處理技術(shù)領(lǐng)域。該方法包括：獲取提示、至少一個(gè)SSM和LLM；將提示輸入至少一個(gè)SSM中的每一SSM，通過每一SSM對(duì)提示進(jìn)行處理，得到SSM對(duì)應(yīng)Token樹；在至少一個(gè)SSM為一個(gè)SSM時(shí)，將SSM對(duì)應(yīng)的Token樹作為目標(biāo)Token樹，在至少一個(gè)SSM為多個(gè)SSM時(shí)，將多個(gè)SSM對(duì)應(yīng)的Token樹進(jìn)行合并，得到目標(biāo)Token樹；從目標(biāo)Token樹中的根節(jié)點(diǎn)開始，檢查每一Token序列的節(jié)點(diǎn)上的Token與LLM根據(jù)提示生成的原始輸出的匹配情況，并根據(jù)匹配結(jié)果生成推理結(jié)果。此種方式，加快了推理結(jié)果的生成。

技術(shù)研發(fā)人員：田強(qiáng),楊洋,李鑫慧
受保護(hù)的技術(shù)使用者：中正恒宇智能科技（天津）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9