本技術(shù)涉及數(shù)據(jù)處理，尤其涉及一種提示詞模板處理方法、裝置、平臺及相關(guān)設(shè)備。

背景技術(shù)：

1、提示詞模板，是指包括變量以及固定文本內(nèi)容的模板文本，通過輸入該變量的具體取值，能夠動態(tài)創(chuàng)建提示詞。其中，提示詞為一段(或者一句)完整的文本內(nèi)容，可以用于作為大型語言模型(large?language?model，llm)等模型的輸入，從而模型能夠該提示詞輸出相應(yīng)的推理結(jié)果。實際應(yīng)用時，通過調(diào)整提示詞模板中的變量值，可以動態(tài)生成多條不同的提示詞。

2、在不調(diào)整模型能力的前提下，調(diào)優(yōu)提示詞是獲得模型優(yōu)質(zhì)輸出的有效方式。比如，在智能應(yīng)答場景中，通過優(yōu)化問題說明(即優(yōu)化提示詞)能夠使得模型輸出更加優(yōu)質(zhì)的應(yīng)答(即模型的輸出)。而優(yōu)質(zhì)的提示詞，可以通過設(shè)計優(yōu)質(zhì)的提示詞模板得到。其中，優(yōu)質(zhì)的提示詞模板，是指針對不同組的變量輸入，基于提示詞模板所生成的提示詞在被輸入至模型后，能夠得到優(yōu)質(zhì)的模型輸出，也即提示詞模板的通用性較高。

3、目前，可以利用人工選擇的評估算法，對提示詞模板進行自動評估的方式，從用戶(如業(yè)務(wù)人員)設(shè)計的多個提示詞模板中篩選出較為優(yōu)質(zhì)的提示詞模板。實際應(yīng)用時，不同的評估算法針對提示詞模板的評估結(jié)果存在較大差異。比如，假設(shè)預(yù)期的模型輸出結(jié)果為“積極”，而模型實際的輸出結(jié)果為“積極情感”，當(dāng)采用精準(zhǔn)匹配這種評估算法時，模型實際的輸出結(jié)果與預(yù)期的模型輸出結(jié)果不匹配，則認為提示詞模板的質(zhì)量較低；而當(dāng)采用模糊匹配這種評估算法時，模型實際的輸出結(jié)果與預(yù)期的模型輸出結(jié)果匹配，則可以認為提示詞模板的質(zhì)量較高。因此，針對不同場景下的提示詞模板，用戶需要了解所有的評估算法，并從中選擇適合該場景下的評估算法對提示詞模板進行質(zhì)量評估，這會增加用戶的技術(shù)門檻、降低確定優(yōu)質(zhì)提示詞模板的準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、有鑒于此，本技術(shù)實施例提供了一種提示詞模板處理方法，以實現(xiàn)降低用戶的技術(shù)門檻，提高確定優(yōu)質(zhì)提示詞模板的準(zhǔn)確性。本技術(shù)還提供了對應(yīng)的處理裝置、提示詞模板處理平臺、計算設(shè)備集群、計算機可讀存儲介質(zhì)以及計算機程序產(chǎn)品。

2、第一方面，本技術(shù)實施例提供了一種提示詞模板處理方法，該方法可以由相應(yīng)的處理裝置執(zhí)行，具體地，處理裝置獲取多個提示詞模板以及數(shù)據(jù)集，該多個提示詞模板中的變量可以相同，也可以不同，所獲取的數(shù)據(jù)集包括至少一組變量值，每組變量值用于指示多個提示詞模板中的變量的取值；并且，處理裝置還會獲取梯度流程信息，該梯度流程信息用于指示多種評估算法中每種評估算法被選擇的優(yōu)先程度，如可以是通過優(yōu)先等級或者分數(shù)等信息來指示該優(yōu)先程度等，從而處理裝置能夠根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法，該第一評估算法的優(yōu)先程度高于多種評估算法中與數(shù)據(jù)集相匹配的其它評估算法的優(yōu)先程度；這樣，處理裝置根據(jù)第一評估算法以及數(shù)據(jù)集，對多個提示詞模板進行評估，得到多個提示詞模板分別對應(yīng)的評估結(jié)果；并根據(jù)多個提示詞模板分別對應(yīng)的評估結(jié)果，從多個提示詞模板中確定第一提示詞模板，所確定的第一提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。

3、由于在處理提示詞模板的過程中，處理裝置能夠根據(jù)梯度流程信息中所指示的多種評估算法分別對應(yīng)的被選擇的優(yōu)先程度，從多種評估算法中自動篩選出第一評估算法，來評估多個提示詞模板的質(zhì)量，無需用戶人工為該多個提示詞模板選擇評估算法，這可以有效降低評估優(yōu)質(zhì)的提示詞模板對于用戶的技術(shù)門檻的要求，也即降低評估優(yōu)質(zhì)的提示詞模板的難度。而且，處理裝置自動篩選出的第一評估算法與數(shù)據(jù)集相匹配，這可以保證利用該第一評估算法對提示詞模板進行評估的準(zhǔn)確性能夠達到較高的水平，從而可以提高確定優(yōu)質(zhì)的提示詞模板的準(zhǔn)確性。

4、在一種可能的實施方式中，處理裝置獲取的梯度流程信息包括多個梯度，每個梯度包括至少一種評估算法的標(biāo)識，并且，屬于不同梯度的評估算法的優(yōu)先程度存在差異；其中，屬于同一梯度的不同評估算法的優(yōu)先程度相同，或者，屬于同一梯度的不同評估算法的優(yōu)先程度存在差異。如此，處理裝置可以優(yōu)先從優(yōu)先程度較高的梯度中篩選出與數(shù)據(jù)集相匹配的評估算法，若該梯度中不存在合適的評估算法，再從優(yōu)先程度較低的梯度中進行篩選。如此，通過將通用性更大的評估算法設(shè)置在優(yōu)先程度更高的梯度，可以提高處理裝置確定合適的評估算法的效率。

5、在一種可能的實施方式中，梯度流程信息具體為樹狀圖，樹狀圖包括多個節(jié)點以及多條有向邊，其中，多個節(jié)點中的每個節(jié)點用于指示一種評估算法，多條有向邊中的每條有向邊用于指示不同評估算法之間的優(yōu)先程度關(guān)系。比如，當(dāng)節(jié)點a與節(jié)點b之間的有向邊為節(jié)點a指向節(jié)點b時，可以確定節(jié)點a所指示的評估算法的優(yōu)先程度高于節(jié)點b所指示的評估算法的優(yōu)先程度。如此，處理裝置利用樹狀圖實現(xiàn)來管理多種評估算法，可以降低管理難度、提高管理效率。

6、在一種可能的實施方式中，梯度流程信息中的多個梯度包括第一梯度與第二梯度(還可以包括更多梯度)，其中，屬于第一梯度的評估算法的優(yōu)先程度高于屬于第二梯度的評估算法的優(yōu)先程度；則，處理裝置在根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法時，具體可以是先檢測數(shù)據(jù)集中是否包括至少一組變量值對應(yīng)的預(yù)期輸出結(jié)果；當(dāng)數(shù)據(jù)集中不包括預(yù)期輸出結(jié)果時，從屬于第一梯度的至少一種評估算法中確定第一評估算法；而當(dāng)數(shù)據(jù)集中包括預(yù)期輸出結(jié)果時，根據(jù)預(yù)期輸出結(jié)果的特征，從屬于第二梯度的至少一種評估算法中確定第一評估算法。如此，處理裝置可以根據(jù)數(shù)據(jù)集中是否存在預(yù)期輸出結(jié)果來選擇與之相匹配的評估算法，以此可以保證利用該評估算法對提示詞模板進行評估的準(zhǔn)確性能夠達到較高的水平，從而可以提高確定優(yōu)質(zhì)的提示詞模板的準(zhǔn)確性。

7、在一種可能的實施方式中，處理裝置獲取的數(shù)據(jù)集包括多組變量值，則當(dāng)預(yù)期輸出結(jié)果不具有預(yù)設(shè)類型的特征時，處理裝置還可以利用多組變量值中的第一組變量值，根據(jù)屬于第二梯度的至少一種評估算法對多個提示詞模板進行預(yù)評估，得到多個提示詞模板中每個提示詞模板對應(yīng)的預(yù)評估結(jié)果，從而根據(jù)每個提示詞模板對應(yīng)的預(yù)評估結(jié)果，從至少一種評估算法中確定第一評估算法。如此，處理裝置可以通過預(yù)評估的方式，確定合適的評估算法，以此實現(xiàn)提高最終所確定出優(yōu)質(zhì)的提示詞模板的準(zhǔn)確性。

8、在一種可能的實施方式中，處理裝置在根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法時，具體可以是響應(yīng)于用戶針對自動設(shè)置控件的選擇操作，根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法。如此，處理裝置可以是在用戶的指示下，自動篩選出與合適的第一評估算法來確定優(yōu)質(zhì)的提示詞模板，方便用戶對確定優(yōu)質(zhì)提示詞模板的過程進行干預(yù)和控制，以此提高用戶的使用體驗。

9、在一種可能的實施方式中，當(dāng)多種評估算法與數(shù)據(jù)集均不匹配時，處理裝置還可以獲取用戶自定義的第二評估算法；并根據(jù)第二評估算法以及數(shù)據(jù)集，從多個提示詞模板中確定第二提示詞模板，該第二提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。如此，處理裝置可以支持用戶基于自定義的評估算法來實現(xiàn)對多個提示詞模板的質(zhì)量評估，從而可以提高用戶確定優(yōu)質(zhì)提示詞模板的靈活性，提高用戶的使用體驗。

10、在一種可能的實施方式中，處理裝置還可以在用戶未執(zhí)行針對自動設(shè)置控件的選擇操作時，輸出梯度流程信息，并響應(yīng)于用戶針對梯度流程信息中的多種評估算法的選擇操作，將多種評估算法中被選中的評估算法確定為第三評估算法，從而處理裝置根據(jù)第三評估算法以及數(shù)據(jù)集，從多個提示詞模板中確定第三提示詞模板，該第三提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。如此，處理裝置可以通過向用戶呈現(xiàn)多種評估算法對應(yīng)的梯度流程信息，來智能引導(dǎo)用戶選擇合適的評估算法來對提示詞模板進行質(zhì)量評估，以此可以實現(xiàn)輔助用戶確定合適的評估算法，提高用戶的使用體驗。

11、在一種可能的實施方式中，處理裝置還可以響應(yīng)于針對梯度流程信息的修改操作，調(diào)整梯度流程信息中的評估算法被選擇的優(yōu)先程度；或者，在梯度流程信息中新增評估算法以及新增的評估算法的優(yōu)先程度。如此，可以實現(xiàn)對梯度流程信息的動態(tài)更新，這使得梯度流程信息能夠長期為用戶確定出合適的評估算法，提高梯度流程信息的實用性。

12、第二方面，本技術(shù)提供一種處理裝置，處理裝置包括：配置模塊，用于獲取多個提示詞模板；數(shù)據(jù)集管理模塊，用于獲取數(shù)據(jù)集，數(shù)據(jù)集包括至少一組變量值，每組變量值用于指示多個提示詞模板中的變量的取值；算法管理模塊，用于獲取梯度流程信息，梯度流程信息用于指示多種評估算法中每種評估算法被選擇的優(yōu)先程度；篩選模塊，用于根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法，第一評估算法的優(yōu)先程度高于多種評估算法中與數(shù)據(jù)集相匹配的其它評估算法的優(yōu)先程度；執(zhí)行模塊，用于根據(jù)第一評估算法以及數(shù)據(jù)集，對多個提示詞模板進行評估，得到多個提示詞模板分別對應(yīng)的評估結(jié)果；并根據(jù)多個提示詞模板分別對應(yīng)的評估結(jié)果，從多個提示詞模板中確定第一提示詞模板，第一提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。

13、在一種可能的實施方式中，梯度流程信息包括多個梯度，每個梯度包括至少一種評估算法的標(biāo)識，屬于不同梯度的評估算法的優(yōu)先程度存在差異；其中，屬于同一梯度的不同評估算法的優(yōu)先程度相同，或者，屬于同一梯度的不同評估算法的優(yōu)先程度存在差異。

14、在一種可能的實施方式中，梯度流程信息為樹狀圖，樹狀圖包括多個節(jié)點以及多條有向邊，多個節(jié)點中的每個節(jié)點用于指示一種評估算法，多條有向邊中的每條有向邊用于指示不同評估算法之間的優(yōu)先程度關(guān)系。

15、在一種可能的實施方式中，多個梯度包括第一梯度與第二梯度，屬于第一梯度的評估算法的優(yōu)先程度高于屬于第二梯度的評估算法的優(yōu)先程度；篩選模塊，具體用于：檢測數(shù)據(jù)集中是否包括至少一組變量值對應(yīng)的預(yù)期輸出結(jié)果；當(dāng)數(shù)據(jù)集中不包括預(yù)期輸出結(jié)果時，從屬于第一梯度的至少一種評估算法中確定第一評估算法；當(dāng)數(shù)據(jù)集中包括預(yù)期輸出結(jié)果時，根據(jù)預(yù)期輸出結(jié)果的特征，從屬于第二梯度的至少一種評估算法中確定第一評估算法。

16、在一種可能的實施方式中，數(shù)據(jù)集包括多組變量值，篩選模塊，還用于：當(dāng)預(yù)期輸出結(jié)果不具有預(yù)設(shè)類型的特征時，利用多組變量值中的第一組變量值，根據(jù)屬于第二梯度的至少一種評估算法對多個提示詞模板進行預(yù)評估，得到多個提示詞模板中每個提示詞模板對應(yīng)的預(yù)評估結(jié)果；根據(jù)每個提示詞模板對應(yīng)的預(yù)評估結(jié)果，從至少一種評估算法中確定第一評估算法。

17、在一種可能的實施方式中，篩選模塊，具體用于：響應(yīng)于用戶針對自動設(shè)置控件的選擇操作，根據(jù)梯度流程信息，從多種評估算法中篩選出與數(shù)據(jù)集相匹配的第一評估算法。

18、在一種可能的實施方式中，執(zhí)行模塊，還用于：當(dāng)多種評估算法與數(shù)據(jù)集均不匹配時，獲取用戶自定義的第二評估算法；根據(jù)第二評估算法以及數(shù)據(jù)集，從多個提示詞模板中確定第二提示詞模板，第二提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。

19、在一種可能的實施方式中，配置模塊，還用于在用戶未執(zhí)行針對自動設(shè)置控件的選擇操作時，輸出梯度流程信息；響應(yīng)于用戶針對梯度流程信息中的多種評估算法的選擇操作，將多種評估算法中被選中的評估算法確定為第三評估算法；執(zhí)行模塊，還用于根據(jù)第三評估算法以及數(shù)據(jù)集，從多個提示詞模板中確定第三提示詞模板，第三提示詞模板對應(yīng)的評估結(jié)果優(yōu)于多個提示詞模板中其它的提示詞模板對應(yīng)的評估結(jié)果。

20、在一種可能的實施方式中，算法管理模塊，還用于：響應(yīng)于針對梯度流程信息的修改操作，調(diào)整梯度流程信息中的評估算法被選擇的優(yōu)先程度；或者，在梯度流程信息中新增評估算法以及新增的評估算法的優(yōu)先程度。

21、值得注意的是，第二方面提供的處理裝置，對應(yīng)于第一方面提供的提示詞模板處理方法，故第二方面以及第二方面中任一實施方式所具有的技術(shù)效果，可參見第一方面或者第一方面的相應(yīng)實施方式所具有的技術(shù)效果。

22、第三方面，本技術(shù)提供一種提示詞模板處理平臺，該提示詞模板處理平臺包括設(shè)計裝置以及上述第一方面或第一方面任一種可能實現(xiàn)方式中的處理裝置；其中，設(shè)計裝置用于生成多個提示詞模板。

23、第四方面，本技術(shù)提供一種計算設(shè)備集群，所述計算設(shè)備包括至少一個計算設(shè)備，所述至少一個計算設(shè)備包括至少一個處理器和至少一個存儲器；所述至少一個存儲器用于存儲指令，所述至少一個處理器執(zhí)行所述至少一個存儲器存儲的該指令，以使所述計算設(shè)備集群執(zhí)行上述第一方面或第一方面任一種可能實現(xiàn)方式中的提示詞模板處理方法。需要說明的是，該存儲器可以集成于處理器中，也可以是獨立于處理器之外。所述至少一個計算設(shè)備還可以包括總線。其中，處理器通過總線連接存儲器。其中，存儲器可以包括可讀存儲器以及隨機存取存儲器。

24、第五方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有指令，當(dāng)其在至少一個計算設(shè)備上運行時，使得所述至少一個計算設(shè)備執(zhí)行上述第一方面或第一方面的任一種實現(xiàn)方式所述的方法。

25、第六方面，本技術(shù)提供了一種包含指令的計算機程序產(chǎn)品，當(dāng)其在至少一個計算設(shè)備上運行時，使得所述至少一個計算設(shè)備執(zhí)行上述第一方面或第一方面的任一種實現(xiàn)方式所述的方法。

26、本技術(shù)在上述各方面提供的實現(xiàn)方式的基礎(chǔ)上，還可以進行進一步組合以提供更多實現(xiàn)方式。