本發(fā)明涉及信息，尤其涉及一種內(nèi)容生成模型的測(cè)試方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)：

1、內(nèi)容生成模型，是指根據(jù)輸入的提示內(nèi)容輸出生成內(nèi)容的人工智能模型。在實(shí)際應(yīng)用中，有人可能故意向模型輸入誘導(dǎo)性的提示內(nèi)容，使得模型輸出不符合設(shè)定要求的生成內(nèi)容。

2、為此，為了確保內(nèi)容生成模型輸出的生成內(nèi)容盡可能符合設(shè)定要求，往往會(huì)在將內(nèi)容生成模型投入應(yīng)用之前，對(duì)內(nèi)容生成模型進(jìn)行測(cè)試。

3、本公開(kāi)提供一種比較有效的內(nèi)容生成模型測(cè)試方案。

技術(shù)實(shí)現(xiàn)思路

1、本說(shuō)明書(shū)實(shí)施例提供一種內(nèi)容生成模型的測(cè)試方法，包括：

2、從預(yù)設(shè)的信息庫(kù)中抽取主題信息；

3、調(diào)用預(yù)設(shè)的算法庫(kù)中的用例創(chuàng)建算法，根據(jù)所述主題信息創(chuàng)建至少一個(gè)測(cè)試用例；其中，每個(gè)測(cè)試用例用于：以誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容為目的，向所述內(nèi)容生成模型輸入關(guān)聯(lián)所述主題信息的提示內(nèi)容；

4、執(zhí)行每個(gè)測(cè)試用例，并且，根據(jù)所述內(nèi)容生成模型響應(yīng)于每個(gè)測(cè)試用例所輸出的生成內(nèi)容，確定每個(gè)測(cè)試用例對(duì)應(yīng)的測(cè)試結(jié)果。

5、本說(shuō)明書(shū)實(shí)施例提供一種內(nèi)容生成模型的測(cè)試裝置，包括：

6、信息抽取模塊，從預(yù)設(shè)的信息庫(kù)中抽取主題信息；

7、用例創(chuàng)建模塊，調(diào)用預(yù)設(shè)的算法庫(kù)中的用例創(chuàng)建算法，根據(jù)所述主題信息創(chuàng)建至少一個(gè)測(cè)試用例；其中，每個(gè)測(cè)試用例用于：以誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容為目的，向所述內(nèi)容生成模型輸入關(guān)聯(lián)所述主題信息的提示內(nèi)容；

8、用例執(zhí)行模塊，執(zhí)行每個(gè)測(cè)試用例，并且，根據(jù)所述內(nèi)容生成模型響應(yīng)于每個(gè)測(cè)試用例所輸出的生成內(nèi)容，確定每個(gè)測(cè)試用例對(duì)應(yīng)的測(cè)試結(jié)果。

9、本說(shuō)明書(shū)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品存儲(chǔ)有至少一條指令，所述至少一條指令適于由處理器加載并執(zhí)行上述的方法步驟。

10、本說(shuō)明書(shū)實(shí)施例還提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于由處理器加載并執(zhí)行上述的方法的步驟。

11、本說(shuō)明書(shū)實(shí)施例還提供一種電子設(shè)備，包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于由所述處理器加載并執(zhí)行上述的方法的步驟。

12、在本說(shuō)明書(shū)的技術(shù)方案中，在內(nèi)容生成模型的測(cè)試過(guò)程中，并不會(huì)采用預(yù)先固定好的提示內(nèi)容作為測(cè)試題目，來(lái)誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容。而是采用“主題與算法組合”的方式，在測(cè)試過(guò)程中即時(shí)創(chuàng)建測(cè)試用例，通過(guò)執(zhí)行測(cè)試用例，可以以誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容為目的，向所述內(nèi)容生成模型輸入關(guān)聯(lián)所述主題信息的提示內(nèi)容，完成測(cè)試。

13、通過(guò)上述技術(shù)方案，一方面可以避免預(yù)先固定好的測(cè)試題目泄露，測(cè)試題目泄露會(huì)導(dǎo)致實(shí)際應(yīng)用中對(duì)模型的攻擊刻意繞開(kāi)測(cè)試題目，提升了測(cè)試的全面性和隱私性，另一方面避免由專家人員對(duì)內(nèi)容生成模型進(jìn)行人工測(cè)試，提升了測(cè)試效率。需要說(shuō)明，本方案可以在可信執(zhí)行環(huán)境中實(shí)現(xiàn)，以保護(hù)數(shù)據(jù)隱私。

技術(shù)特征：

1.一種內(nèi)容生成模型的測(cè)試方法，包括：

2.如權(quán)利要求1所述方法，在從預(yù)設(shè)的信息庫(kù)中抽取主題信息之前，所述方法還包括：

3.如權(quán)利要求1所述方法，所述方法還包括：

4.如權(quán)利要求3所述方法，所述方法還包括：

5.如權(quán)利要求1所述方法，根據(jù)所述內(nèi)容生成模型響應(yīng)于每個(gè)測(cè)試用例所輸出的生成內(nèi)容，確定每個(gè)測(cè)試用例對(duì)應(yīng)的測(cè)試結(jié)果，包括：

6.如權(quán)利要求5所述方法，所述方法還包括：

7.如權(quán)利要求3所述方法，調(diào)用預(yù)設(shè)的算法庫(kù)中的用例創(chuàng)建算法，根據(jù)所述主題信息創(chuàng)建至少一個(gè)測(cè)試用例，執(zhí)行每個(gè)測(cè)試用例，包括：

8.如權(quán)利要求1-7中任一項(xiàng)所述方法，在從預(yù)設(shè)的信息庫(kù)中抽取主題信息之前，所述方法還包括：

9.一種內(nèi)容生成模型的測(cè)試裝置，包括：

10.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1～8中任意一項(xiàng)所述方法的步驟。

11.一種電子設(shè)備，其特征在于，包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于由所述處理器加載并執(zhí)行如權(quán)利要求1～8中任意一項(xiàng)所述方法的步驟。

12.一種計(jì)算機(jī)程序產(chǎn)品，其上存儲(chǔ)有至少一條指令，其特征在于，所述至少一條指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1～8中任意一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本說(shuō)明書(shū)實(shí)施例公開(kāi)了一種內(nèi)容生成模型的測(cè)試方法、裝置、介質(zhì)及設(shè)備。本方案可以在可信執(zhí)行環(huán)境中實(shí)現(xiàn)，以保護(hù)數(shù)據(jù)隱私。在內(nèi)容生成模型的測(cè)試過(guò)程中，并不會(huì)采用預(yù)先固定好的提示內(nèi)容作為測(cè)試題目，來(lái)誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容。而是采用“主題與算法組合”的方式，在測(cè)試過(guò)程中即時(shí)創(chuàng)建測(cè)試用例，通過(guò)執(zhí)行測(cè)試用例，可以以誘導(dǎo)內(nèi)容生成模型輸出不符合設(shè)定要求的生成內(nèi)容為目的，向所述內(nèi)容生成模型輸入關(guān)聯(lián)所述主題信息的提示內(nèi)容，完成測(cè)試。

技術(shù)研發(fā)人員：崔世文,魏揚(yáng)威,許卓爾,孟昌華,王維強(qiáng),孫傳亮
受保護(hù)的技術(shù)使用者：支付寶（杭州）信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30