本發(fā)明涉及智能對話機器人,更具體地,涉及一種用于智能對話機器人的流程自動化測試的方法、裝置和系統(tǒng)。
背景技術(shù):
1、隨著人工智能技術(shù)的飛速發(fā)展,各種智能對話機器人應(yīng)運而生,像智能外呼機器人、智能呼入機器人、智能文字客服等設(shè)備或系統(tǒng)越來越廣泛地應(yīng)用于人們的日常生活,便利著人們的使用。
2、在智能對話機器人的創(chuàng)新過程中,當(dāng)創(chuàng)建一個智能對話機器人后,為了能夠使其更準(zhǔn)確且方便地為人們所用,通常需要對智能對話機器人的執(zhí)行流程進行測試?,F(xiàn)有技術(shù)的測試中采用的是通常是通過人工撥打電話與智能對話機器人進行交互或者模擬文字輸入與智能對話機器人進行交互的方式,這種交互方式需要大量的通話測試才能提高對智能對話機器人流程執(zhí)行的覆蓋率,在人力、時間、經(jīng)濟等方面成本都比較高。
3、因此,亟需提供一種高效地對智能對話機器人的執(zhí)行流程進行測試的方式。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的是提供一種用于智能對話機器人的流程自動化測試的方法、裝置和系統(tǒng),采用大模型技術(shù),將大模型作為虛擬用戶與智能對話機器人進行交互,做到流程執(zhí)行效果、信息提取結(jié)果、意圖理解結(jié)果正確性的自動化測試。
2、根據(jù)本發(fā)明的其中一個方面,本發(fā)明提供了一種用于智能對話機器人的流程自動化測試的方法,所述方法包括如下步驟:
3、步驟1:大模型引擎接收與所述智能對話機器人對話測試流程中的每個節(jié)點對應(yīng)的大模型指令;
4、步驟2:所述大模型引擎基于每個所述大模型指令執(zhí)行運算并獲得大模型輸出結(jié)果;
5、步驟3:所述大模型引擎將每個所述大模型輸出結(jié)果傳輸?shù)剿鲋悄軐υ挋C器人;
6、步驟4:所述智能對話機器人根據(jù)每個所述大模型輸出結(jié)果進行意圖理解并獲得意圖理解結(jié)果;
7、步驟5:所述智能對話機器人輸出并存儲每個所述意圖理解結(jié)果;
8、步驟6:核查所述對話測試流程中的所有節(jié)點對應(yīng)的所有意圖理解結(jié)果的正確性。
9、進一步地,所述大模型指令是測試人員根據(jù)智能對話機器人的具體測試目的為所述大模型引擎所配置的指令。
10、進一步地,所述對話測試流程包括一個或多個節(jié)點,每個所述節(jié)點是與所述智能對話機器人對話流程中的一次交互。
11、進一步地,所述大模型引擎向所述智能對話機器人輸出的大模型輸出結(jié)果是模擬人工輸入的用戶說法。
12、進一步地,所述智能對話機器人在接收到所述大模型輸出結(jié)果后,基于自身的處理邏輯對所述大模型輸出結(jié)果執(zhí)行意圖理解,并輸出所述意圖理解結(jié)果;
13、進一步地,所述智能對話機器人將所述意圖理解結(jié)果存儲于存儲器中,所述存儲器可以是存在于所述智能對話機器人中的存儲器,也可以是獨立于所述智能對話機器人之外的存儲器。
14、進一步地,所述核查采用人工抽檢的方式,通過抽檢每個所述節(jié)點對應(yīng)的意圖理解結(jié)果,計算所述對話測試流程整體上的執(zhí)行準(zhǔn)確率。
15、進一步地,如果在所述核查中發(fā)現(xiàn)所述測試流程執(zhí)行錯誤的通話,先確認(rèn)是否是流程執(zhí)行配置錯誤,如果是流程執(zhí)行配置錯誤,則改正流程執(zhí)行配置,如果不是流程執(zhí)行配置錯誤,則確認(rèn)是否是大模型引擎的輸出結(jié)果不是預(yù)期結(jié)果,如果大模型引擎的輸出有問題,則修改所述大模型指令。
16、根據(jù)本發(fā)明的另一個方面,本發(fā)明提供了一種用于智能對話機器人的流程自動化測試的裝置,所述裝置包括:接收單元、執(zhí)行單元、輸出單元、理解單元、存儲單元和核查單元;
17、所述接收單元,用于大模型引擎接收與所述智能對話機器人對話測試流程中的每個節(jié)點對應(yīng)的大模型指令;
18、所述執(zhí)行單元,用于所述大模型引擎基于每個所述大模型指令執(zhí)行運算并獲得大模型輸出結(jié)果;
19、所述輸出單元,用于所述大模型引擎將每個所述大模型輸出結(jié)果傳輸?shù)剿鲋悄軐υ挋C器人;
20、所述理解單元,用于所述智能對話機器人根據(jù)每個所述大模型輸出結(jié)果進行意圖理解并獲得意圖理解結(jié)果;
21、所述存儲單元,用于所述智能對話機器人輸出并存儲每個所述意圖理解結(jié)果;
22、所述核查單元,用于核查所述對話測試流程中的所有節(jié)點對應(yīng)的所有意圖理解結(jié)果的正確性。
23、根據(jù)本發(fā)明的另一個方面,本發(fā)明提供了一種用于智能對話機器人的流程自動化測試的系統(tǒng),所述系統(tǒng)包括:大模型引擎、智能對話機器人和核查系統(tǒng),其中:
24、所述大模型引擎,接收與智能對話機器人對話測試流程中的每個節(jié)點對應(yīng)的大模型指令,基于每個所述大模型指令執(zhí)行運算并獲得大模型輸出結(jié)果,將每個所述大模型輸出結(jié)果輸入到所述智能對話機器人;
25、所述智能對話機器人,根據(jù)每個所述大模型輸出結(jié)果進行意圖理解并獲得意圖理解結(jié)果,輸出并存儲每個所述意圖理解結(jié)果;
26、所述核查系統(tǒng),核查所述對話測試流程中的所有節(jié)點對應(yīng)的所有意圖理解結(jié)果的正確性。
27、根據(jù)本發(fā)明的另一個方面,一種電子設(shè)備,所述設(shè)備包括:
28、存儲裝置;
29、一個或多個處理器;
30、其中,存儲裝置用于存儲一個或多個程序,當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行時,使得所述一個或多個處理器實現(xiàn)上述一種用于智能對話機器人的流程自動化測試的方法。
31、根據(jù)本發(fā)明的另一個方面,一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,當(dāng)所述計算機程序被執(zhí)行時,實現(xiàn)上述一種用于智能對話機器人的流程自動化測試的方法。
32、根據(jù)本發(fā)明的另一個方面,一種計算機程序產(chǎn)品,包括計算機程序指令,當(dāng)所述指令由處理器執(zhí)行時,用于實現(xiàn)上述一種用于智能對話機器人的流程自動化測試的方法。
33、與現(xiàn)有技術(shù)相比,本發(fā)明所提供的一種用于智能對話機器人的流程自動化測試的方法、裝置和系統(tǒng)中,所述大模型引擎接收與智能對話機器人對話測試流程中的每個節(jié)點對應(yīng)的大模型指令,基于每個所述大模型指令執(zhí)行運算并獲得大模型輸出結(jié)果,將每個所述大模型輸出結(jié)果輸入到所述智能對話機器人,所述智能對話機器人根據(jù)每個所述大模型輸出結(jié)果進行意圖理解并獲得意圖理解結(jié)果,輸出并存儲每個所述意圖理解結(jié)果。另外,還可以核查所述對話測試流程中的所有節(jié)點對應(yīng)的所有意圖理解結(jié)果的正確性。基于本發(fā)明所提供的技術(shù)方案,能夠顯著降低智能對話機器人的測試執(zhí)行成本,提高智能對話機器人測試流程的執(zhí)行準(zhǔn)確率。
1.一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述方法包括如下步驟:
2.根據(jù)權(quán)利要求1所述的一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述對話測試流程包括一個或多個節(jié)點,每個所述節(jié)點是與所述智能對話機器人對話流程中的一次交互。
3.根據(jù)權(quán)利要求2所述的一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述大模型引擎向所述智能對話機器人輸出的大模型輸出結(jié)果是模擬人工輸入的用戶說法。
4.根據(jù)權(quán)利要求1所述的一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述步驟s104具體為:
5.根據(jù)權(quán)利要求1所述的一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述核查采用人工抽檢的方式,通過抽檢每個所述節(jié)點對應(yīng)的意圖理解結(jié)果,計算所述對話測試流程整體上的執(zhí)行準(zhǔn)確率。
6.根據(jù)權(quán)利要求1或5所述的一種用于智能對話機器人的流程自動化測試的方法,其特征在于,所述步驟s106中,如果在所述核查中發(fā)現(xiàn)所述測試流程執(zhí)行錯誤的通話,先確認(rèn)是否是流程執(zhí)行配置錯誤,如果是流程執(zhí)行配置錯誤,則改正流程執(zhí)行配置,如果不是流程執(zhí)行配置錯誤,則確認(rèn)是否是大模型引擎的輸出結(jié)果不是預(yù)期結(jié)果,如果大模型引擎的輸出有問題,則修改所述大模型指令。
7.一種用于智能對話機器人的流程自動化測試的裝置,其特征在于,所述裝置包括:接收單元、執(zhí)行單元、輸出單元、理解單元、存儲單元和核查單元;
8.一種用于智能對話機器人的流程自動化測試的系統(tǒng),所述系統(tǒng)包括:大模型引擎、智能對話機器人和核查系統(tǒng),其特征在于,
9.一種電子設(shè)備,其特征在于,所述設(shè)備包括:
10.一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,當(dāng)所述計算機程序被執(zhí)行時,實現(xiàn)如權(quán)利要求1-6中任一項所述的一種用于智能對話機器人的流程自動化測試的方法。