本發(fā)明涉及大模型智能體；具體而言，涉及一種對(duì)大模型智能體輸出單元極致優(yōu)化的方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速演進(jìn)，自然語(yǔ)言處理、機(jī)器翻譯和智能問(wèn)答等領(lǐng)域的大模型應(yīng)用得到了廣泛關(guān)注和使用。

2、然而，在這些大模型應(yīng)用中，大模型工具調(diào)用方法面臨著顯著的效率挑戰(zhàn)，特別是在需要低延時(shí)響應(yīng)的情況下，這一問(wèn)題尤為明顯。

3、自然語(yǔ)言處理（nlp）技術(shù)的進(jìn)步使得大模型能夠以更高的精度和速度執(zhí)行各種語(yǔ)言任務(wù)。這些模型通過(guò)大規(guī)模的預(yù)訓(xùn)練和微調(diào)，展現(xiàn)了強(qiáng)大的理解和生成語(yǔ)言的能力。

4、然而，傳統(tǒng)方法在智能體使用工具任務(wù)中，大模型以特定形式輸出工具列表（json化工具生成），等待工具生成，然后處理這些工具，大大增加了響應(yīng)延時(shí)，這種方式應(yīng)用在要求低延時(shí)的系統(tǒng)中時(shí)直接導(dǎo)致用戶(hù)體驗(yàn)大大降低。

5、現(xiàn)有技術(shù)中大模型通常采用的以json格式({'name':?'device_control',?'parameters':?{'device':?'空調(diào)',?'command':?'關(guān)閉'}}?)輸出工具列表，盡管json格式具有結(jié)構(gòu)清晰、易于解析的優(yōu)點(diǎn)，在簡(jiǎn)單任務(wù)中的性能表現(xiàn)良好，但是在復(fù)雜任務(wù)中則會(huì)導(dǎo)致解析延遲和處理效率的下降。json格式中的冗余信息和原函數(shù)名的直接輸出，進(jìn)一步增加了token數(shù)量，也就增加了響應(yīng)耗時(shí)，使用json格式和原函數(shù)名直接輸出帶來(lái)的冗余token顯著增加了解析和處理時(shí)間，降低了系統(tǒng)性能。

6、通過(guò)對(duì)現(xiàn)有技術(shù)的技術(shù)問(wèn)題的深入分析，發(fā)現(xiàn)當(dāng)前大模型在高token輸出速率下的性能瓶頸主要集中在兩個(gè)方面：一是json格式的冗余信息處理，二是原函數(shù)名的直接輸出導(dǎo)致的token數(shù)量過(guò)多。

7、因此，如何減少token數(shù)量和優(yōu)化輸出格式，以提升系統(tǒng)運(yùn)行效率和用戶(hù)體驗(yàn)，成為當(dāng)前亟待解決的難點(diǎn)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本發(fā)明的目的在于設(shè)計(jì)一種新的大模型工具調(diào)用方法和系統(tǒng)，通過(guò)改進(jìn)大模型工具調(diào)用的輸出格式，減少token的輸出數(shù)量，通過(guò)編碼原函數(shù)名、去除冗余的json格式，有效地減少token數(shù)量，精簡(jiǎn)輸出token，直接對(duì)輸出格式進(jìn)行處理，優(yōu)化工具信息輸出格式，減少每個(gè)工具的輸出耗時(shí)，以達(dá)到快速響應(yīng)的目的，解決現(xiàn)階段大模型工具調(diào)用系統(tǒng)中因token輸出過(guò)多而導(dǎo)致的效率低下問(wèn)題，適合應(yīng)用在要求低延時(shí)的系統(tǒng)中；通過(guò)減少輸出單元數(shù)量和優(yōu)化輸出格式，顯著提升大模型的運(yùn)行速度和整體運(yùn)行效率，還能夠帶來(lái)更好的用戶(hù)體驗(yàn)。

2、本發(fā)明提供一種對(duì)大模型智能體輸出單元極致優(yōu)化的方法，包括以下步驟：

3、s1、使用壓縮算法對(duì)大模型生成的內(nèi)容進(jìn)行壓縮，直接生成壓縮后的編碼；

4、s2、優(yōu)化大模型輸出的token數(shù)量，對(duì)token進(jìn)行定制化的編碼，包括：工具名和參數(shù)名壓縮、json結(jié)構(gòu)壓縮、特殊符號(hào)連接詞壓縮；

5、本發(fā)明通過(guò)通過(guò)自定義token化工具（例如byte-pair?encoding，bpe法）定義該特定領(lǐng)域內(nèi)特有的token，使分詞和生成過(guò)程更加高效；

6、s3、專(zhuān)注于特定領(lǐng)域的數(shù)據(jù)，微調(diào)大模型（gpt等），訓(xùn)練大模型能夠識(shí)別該特定領(lǐng)域的數(shù)據(jù)，并生成更加簡(jiǎn)潔的編碼方式，適應(yīng)s1、s2步驟的壓縮要求。提高處理效率。

7、本發(fā)明通過(guò)多層次壓縮與優(yōu)化，結(jié)合編碼與訓(xùn)練，進(jìn)一步減少了token數(shù)量和響應(yīng)時(shí)間。

8、具體地，所述多層次壓縮包括以下層次：壓縮算法層、詞匯層、結(jié)構(gòu)層、符號(hào)層、模型層；

9、所述壓縮算法層應(yīng)用gzip、brotli等壓縮算法對(duì)語(yǔ)言模型生成的內(nèi)容整體進(jìn)行壓縮；

10、所述詞匯層用于定制化字段名壓縮，減少長(zhǎng)字段名帶來(lái)的開(kāi)銷(xiāo)；

11、所述結(jié)構(gòu)層用于優(yōu)化json等結(jié)構(gòu)，減少格式冗余；

12、所述符號(hào)層利用特殊符號(hào)的壓縮和表示，減少token數(shù)量；

13、所述模型層通過(guò)微調(diào)模型，優(yōu)化生成方式以適應(yīng)上述層次的壓縮要求。

14、進(jìn)一步地，所述s3步驟的微調(diào)大模型的方法包括以下步驟：

15、s31、收集和準(zhǔn)備該特定領(lǐng)域內(nèi)的大量數(shù)據(jù)，包含該特定領(lǐng)域特定的縮寫(xiě)、編碼方式、以及句式結(jié)構(gòu)；

16、s32、使用收集到的數(shù)據(jù)對(duì)大模型進(jìn)行微調(diào)訓(xùn)練，使大模型了解并使用該特定領(lǐng)域的簡(jiǎn)潔編碼方式。

17、進(jìn)一步地，所述s2步驟的所述工具名和參數(shù)名壓縮的方法包括：為工具名和參數(shù)建立短代碼，減少長(zhǎng)字段名帶來(lái)的開(kāi)銷(xiāo)；例如?`getweather`可以簡(jiǎn)寫(xiě)為`gw`。

18、示例為：?`getweather`?->`gw`

19、示例為：?`getdevicestatus`?->`gds`

20、進(jìn)一步地，所述s2步驟的所述json結(jié)構(gòu)壓縮的方法包括：對(duì)字段名稱(chēng)和常見(jiàn)值進(jìn)行編碼，減少json結(jié)構(gòu)中的冗余信息，使json結(jié)構(gòu)更簡(jiǎn)潔；

21、示例為：?`{'name':?'device_control',?'parameters':?{'device':?'空調(diào)','command':?'關(guān)閉'}}`?->`dc|d=空調(diào),c=關(guān)閉`

22、示例為：?`{'status':?'active',?'data':?[123,?456,?789]}`?->`a|d[123,456,789]`。

23、進(jìn)一步地，所述s2步驟的所述特殊符號(hào)連接詞壓縮包括：對(duì)特殊符號(hào)（如等號(hào)、分隔符）進(jìn)行專(zhuān)門(mén)優(yōu)化，使特殊符號(hào)在領(lǐng)域內(nèi)成為單個(gè)token，減少token數(shù)量；優(yōu)選地，可通過(guò)微調(diào)訓(xùn)練模型進(jìn)一步增強(qiáng)效果；

24、示例為：?`dc|d=空調(diào),c=關(guān)閉`?->`dc|是一個(gè)token`。

25、進(jìn)一步地，所述s1步驟的所述壓縮算法包括：gzip壓縮算法、brotli壓縮算法或lempel-ziv-welch?(lzw)壓縮算法；

26、例如使用gzip、lempel-ziv-welch?(lzw)?或?brotli?等壓縮算法對(duì)生成的內(nèi)容進(jìn)行壓縮。

27、gzip壓縮算法是一種流行的壓縮算法，廣泛用于減少文件大小。

28、brotli壓縮算法由google開(kāi)發(fā)的壓縮算法，具有更高的壓縮比和更快的解壓速度。

29、本發(fā)明還提供一種對(duì)大模型智能體輸出單元極致優(yōu)化的系統(tǒng)，執(zhí)行如上述所述的對(duì)大模型智能體輸出單元極致優(yōu)化的方法，包括：

30、壓縮編碼模塊：用于使用壓縮算法對(duì)大模型生成的內(nèi)容進(jìn)行壓縮，直接生成壓縮后的編碼；

31、垂直領(lǐng)域編碼模塊：用于優(yōu)化大模型輸出的token數(shù)量，對(duì)token進(jìn)行定制化的編碼，包括：工具名和參數(shù)名壓縮、json結(jié)構(gòu)壓縮、特殊符號(hào)連接詞壓縮；

32、微調(diào)訓(xùn)練模塊：用于專(zhuān)注于特定領(lǐng)域的數(shù)據(jù)，微調(diào)大模型，訓(xùn)練大模型能夠識(shí)別該特定領(lǐng)域的數(shù)據(jù)，并生成更加簡(jiǎn)潔的編碼方式，適應(yīng)s1、s2步驟的壓縮要求。

33、進(jìn)一步地，所述微調(diào)訓(xùn)練模塊包括：

34、微調(diào)訓(xùn)練數(shù)據(jù)準(zhǔn)備單元：用于收集和準(zhǔn)備該特定領(lǐng)域內(nèi)的大量數(shù)據(jù)，包含該特定領(lǐng)域特定的縮寫(xiě)、編碼方式、以及句式結(jié)構(gòu)；

35、微調(diào)模型訓(xùn)練單元：用于使用收集到的數(shù)據(jù)對(duì)大模型進(jìn)行微調(diào)訓(xùn)練，使大模型了解并使用該特定領(lǐng)域的簡(jiǎn)潔編碼方式。

36、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的對(duì)大模型智能體輸出單元極致優(yōu)化的方法的步驟。

37、本發(fā)明還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述所述的對(duì)大模型智能體輸出單元極致優(yōu)化的方法的步驟。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

39、本發(fā)明提供的對(duì)大模型智能體輸出單元極致優(yōu)化的方法及系統(tǒng)通過(guò)減少token數(shù)量和優(yōu)化字符串處理，大模型工具調(diào)用的運(yùn)行速度得到顯著提升；精簡(jiǎn)后的token輸出減少了處理時(shí)間，提高了處理效率，顯著提高了系統(tǒng)的整體效率，特別適合應(yīng)用在要求低延時(shí)的系統(tǒng)中；優(yōu)化的字符串處理方式使得工具調(diào)用更加迅速和準(zhǔn)確，增強(qiáng)了工具調(diào)用準(zhǔn)確性，減少了由于解析時(shí)間過(guò)長(zhǎng)帶來(lái)的各種問(wèn)題；運(yùn)行效率的提升也提高了操作效率，用戶(hù)在實(shí)際操作中具有更快的響應(yīng)速度和更流暢的交互體驗(yàn)，顯著改善了用戶(hù)體驗(yàn)。