本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種大模型驅(qū)動(dòng)的web任務(wù)自動(dòng)化執(zhí)行方法及系統(tǒng)。

背景技術(shù)：

1、web任務(wù)自動(dòng)化是一項(xiàng)自動(dòng)化技術(shù)，旨在基于軟件系統(tǒng)對(duì)一些web任務(wù)實(shí)現(xiàn)自動(dòng)化執(zhí)行，通過(guò)模擬人的動(dòng)作實(shí)現(xiàn)對(duì)web網(wǎng)頁(yè)或應(yīng)用的實(shí)際操作，能夠極大地提升工作效率，有效減少人在重復(fù)或規(guī)則性強(qiáng)的任務(wù)中的勞動(dòng)。

2、而大模型是指一類經(jīng)過(guò)大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練，并擁有龐大的參數(shù)量的神經(jīng)網(wǎng)絡(luò)模型。因?yàn)槠渚哂羞h(yuǎn)超傳統(tǒng)人工智能模型的參數(shù)量，通常以十億為單位計(jì)算，因而也被統(tǒng)稱為大模型。大模型通過(guò)大數(shù)據(jù)量的預(yù)訓(xùn)練，使其內(nèi)化了大量的人類世界知識(shí)，同時(shí)積累到了大量人類語(yǔ)義，成為迄今為止最像人的模型?；诖竽Ｐ图夹g(shù)，人們進(jìn)一步構(gòu)建智能體(agent)，使其具備與環(huán)境交互的能力，從而成為真正的人的“代理”，能夠代替人完成真實(shí)世界的任務(wù)。

3、傳統(tǒng)的web任務(wù)自動(dòng)化系統(tǒng)主要有基于工程化及基于人工智能方法的實(shí)現(xiàn)形式。其中，工程化實(shí)現(xiàn)方法主要包括演示編程技術(shù)和執(zhí)行流設(shè)計(jì)技術(shù)。演示編程技術(shù)基于錄制-重放思想，通過(guò)由人工演示web任務(wù)流程，并進(jìn)行錄制，實(shí)現(xiàn)任務(wù)腳本的生成，在需要的適合只需重放該腳本即可執(zhí)行。而執(zhí)行流技術(shù)則依靠用戶以拖拉拽的低代碼形式構(gòu)建web任務(wù)的執(zhí)行流圖，并明確每一步動(dòng)作如點(diǎn)擊、輸入等，以此構(gòu)建可執(zhí)行的執(zhí)行流并執(zhí)行?？梢?jiàn)，工程化方法仍需大量的人力開(kāi)銷，且并不具備泛化性。

4、而基于傳統(tǒng)人工智能的方法則主要利用人工智能模型實(shí)現(xiàn)對(duì)序列的理解和執(zhí)行。例如，基于強(qiáng)化學(xué)習(xí)的技術(shù)通過(guò)大量的專家演示數(shù)據(jù)和獎(jiǎng)勵(lì)設(shè)計(jì)的訓(xùn)練，使得模型學(xué)到相關(guān)的web任務(wù)執(zhí)行過(guò)程知識(shí)，從而將模型應(yīng)用到實(shí)際場(chǎng)景的任務(wù)執(zhí)行中，但強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)設(shè)計(jì)的困難以及泛化性弱的特點(diǎn)，導(dǎo)致其面對(duì)復(fù)雜多樣的web網(wǎng)站系統(tǒng)的效果災(zāi)難性下降?；趧?dòng)作學(xué)習(xí)的技術(shù)則通過(guò)傳統(tǒng)語(yǔ)義模型，嘗試捕獲并學(xué)習(xí)動(dòng)作執(zhí)行中的語(yǔ)義信息，從而掌握任務(wù)執(zhí)行的語(yǔ)義知識(shí)。但其仍然需要大量人工成本進(jìn)行交互痕跡生成以及標(biāo)注?？梢?jiàn)，傳統(tǒng)人工智能方法也需大量的數(shù)據(jù)標(biāo)注成本，且智能化水平仍有待提升。

5、隨著大模型的技術(shù)發(fā)展，為了進(jìn)一步解決web任務(wù)自動(dòng)化中存在的人力開(kāi)銷，提升系統(tǒng)的智能性、泛化性，人們開(kāi)始構(gòu)建基于大模型的web智能體，以大模型的決策能力為基礎(chǔ)，通過(guò)為大模型增加感知、行動(dòng)、記憶等能力，實(shí)現(xiàn)直接模擬人在進(jìn)行web任務(wù)時(shí)的感知、規(guī)劃、決策、行動(dòng)的全部流程，從而實(shí)現(xiàn)了真正的全流程自動(dòng)化，進(jìn)一步提升了web任務(wù)的自動(dòng)化程度，得到了廣泛的關(guān)注。

6、然而，現(xiàn)有的相關(guān)技術(shù)卻具有如下的局限：

7、首先，缺乏有效的針對(duì)web頁(yè)面的感知和決策執(zhí)行方法。web頁(yè)面相比于其他應(yīng)用具有更加龐大的元素?cái)?shù)量和信息量，一個(gè)web頁(yè)面的html擁有大量的元素以及冗余的信息表示，為web智能體對(duì)web內(nèi)容的理解帶來(lái)較大困難。此外，由于大模型的輸出是自然語(yǔ)言描述，因此，如何將自然語(yǔ)言決策進(jìn)行解析以正確匹配目標(biāo)元素并執(zhí)行正確的動(dòng)作是需要面臨的問(wèn)題。

8、其次，缺乏有效的web任務(wù)知識(shí)的表示和引入方法。智能體的正確決策依賴充足的領(lǐng)域知識(shí)引入，比如醫(yī)療大模型需要充足的醫(yī)療知識(shí)。而web任務(wù)的領(lǐng)域知識(shí)就是web網(wǎng)站的操作知識(shí)。然而，目前缺少有效的知識(shí)表示和引入方式，使得web智能體在任務(wù)決策時(shí)的正確性難以保證。

9、此外，還缺乏有效的任務(wù)記憶管理機(jī)制?，F(xiàn)有的web智能體受到大模型本身的理解和生成耗時(shí)影響，使得單步web操作執(zhí)行時(shí)間較長(zhǎng)，在缺乏有效任務(wù)記憶管理和調(diào)用機(jī)制的情況下，即使是重復(fù)任務(wù)也仍需重新開(kāi)始，使得實(shí)際使用中耗時(shí)難以忍受。

10、因此，設(shè)計(jì)一種能夠有效感知web頁(yè)面內(nèi)容，通過(guò)有效的知識(shí)引入方法提升web智能體規(guī)劃正確性，并進(jìn)一步通過(guò)任務(wù)記憶的管理和調(diào)用極大降低系統(tǒng)耗時(shí)的大模型驅(qū)動(dòng)的web任務(wù)自動(dòng)化方法和系統(tǒng)，從而進(jìn)一步提升web任務(wù)自動(dòng)化的自動(dòng)化、智能化水平和效率，就顯得十分重要。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本發(fā)明提供一種大模型驅(qū)動(dòng)的web任務(wù)自動(dòng)化執(zhí)行方法及系統(tǒng)，省去了web任務(wù)自動(dòng)化執(zhí)行過(guò)程中的人力操作，提升了整體的智能化水平和執(zhí)行效率。

2、本發(fā)明解決上述問(wèn)題采用的技術(shù)方案如下：

3、一種大模型驅(qū)動(dòng)的web任務(wù)自動(dòng)化執(zhí)行方法，包括以下步驟：

4、1)根據(jù)用戶提出的web任務(wù)描述，在任務(wù)序列庫(kù)中進(jìn)行語(yǔ)義匹配，選擇最相關(guān)的任務(wù)序列，并判斷其是否滿足任務(wù)要求；

5、2)若匹配的任務(wù)序列滿足要求，則執(zhí)行該任務(wù)序列；否則，將web任務(wù)描述與已構(gòu)建的狀態(tài)-動(dòng)作圖中的狀態(tài)描述進(jìn)行語(yǔ)義匹配，從圖中選擇最相關(guān)的狀態(tài)節(jié)點(diǎn)組成路徑，并根據(jù)路徑描述信息生成新的任務(wù)序列，判斷其是否滿足任務(wù)要求；

6、3)若新的任務(wù)序列滿足要求，則執(zhí)行該任務(wù)序列；否則，獲取當(dāng)前web頁(yè)面的狀態(tài)信息，構(gòu)建可訪問(wèn)性樹(shù)，并獲取當(dāng)前web頁(yè)面截圖；然后，通過(guò)對(duì)當(dāng)前web頁(yè)面截圖和可訪問(wèn)性樹(shù)進(jìn)行視覺(jué)信息與文本信息的對(duì)齊，生成當(dāng)前web頁(yè)面的描述信息；

7、4)將web任務(wù)描述和當(dāng)前web頁(yè)面的描述信息輸入大模型進(jìn)行感知，生成單步?jīng)Q策信息；根據(jù)單步?jīng)Q策信息解析得到單步web動(dòng)作，逐步執(zhí)行這些動(dòng)作，并在任務(wù)執(zhí)行完成后存儲(chǔ)用戶的任務(wù)。

8、進(jìn)一步地，步驟1)中進(jìn)行語(yǔ)義匹配的步驟包括：

9、使用語(yǔ)義向量化模型將用戶提出的web任務(wù)描述轉(zhuǎn)化為向量化表示；

10、使用語(yǔ)義向量化模型對(duì)任務(wù)序列庫(kù)中的所有任務(wù)序列進(jìn)行向量化處理，獲得向量化表示；

11、使用語(yǔ)義相似度計(jì)算方法，對(duì)web任務(wù)描述的向量化表示與任務(wù)序列庫(kù)中任務(wù)序列的向量化表示進(jìn)行比較，從任務(wù)序列庫(kù)中選擇與用戶任務(wù)描述最相似的任務(wù)序列。

12、進(jìn)一步地，步驟1)中任務(wù)序列庫(kù)存儲(chǔ)并維護(hù)任務(wù)序列，步驟包括：

13、利用任務(wù)序列的狀態(tài)和動(dòng)作的語(yǔ)義描述拼接，生成任務(wù)的全流程描述；

14、將任務(wù)的全流程描述輸入多模態(tài)大模型，生成任務(wù)的總體描述；

15、使用任務(wù)的總體描述作為語(yǔ)義索引，結(jié)合任務(wù)的全流程描述及其狀態(tài)-動(dòng)作序列，將任務(wù)序列進(jìn)行向量化表示；

16、將生成的任務(wù)序列信息，包括總體描述、全流程描述和狀態(tài)-動(dòng)作序列，存入任務(wù)序列庫(kù)中；

17、對(duì)任務(wù)序列庫(kù)中的條目進(jìn)行管理和更新，包括根據(jù)存入時(shí)間和使用頻率刪除長(zhǎng)時(shí)間未使用的任務(wù)序列。

18、進(jìn)一步地，步驟2)中狀態(tài)-動(dòng)作圖的構(gòu)建步驟包括：

19、基于web網(wǎng)站的不同狀態(tài)和對(duì)應(yīng)的動(dòng)作執(zhí)行關(guān)系，構(gòu)建原始狀態(tài)-動(dòng)作圖，圖中的狀態(tài)節(jié)點(diǎn)表示網(wǎng)頁(yè)的不同狀態(tài)，單向邊表示在狀態(tài)之間執(zhí)行的動(dòng)作；

20、根據(jù)狀態(tài)節(jié)點(diǎn)存儲(chǔ)的原始網(wǎng)頁(yè)信息，計(jì)算狀態(tài)節(jié)點(diǎn)間的相似度，對(duì)相似的狀態(tài)節(jié)點(diǎn)進(jìn)行合并；同時(shí)基于動(dòng)作api和目標(biāo)元素的相似度，對(duì)圖中相似的動(dòng)作進(jìn)行合并；

21、對(duì)合并后的狀態(tài)-動(dòng)作圖進(jìn)行狀態(tài)語(yǔ)義化表示和動(dòng)作語(yǔ)義化表示，得到一個(gè)抽象的狀態(tài)-動(dòng)作圖。

22、進(jìn)一步地，步驟2)中將web任務(wù)描述與已構(gòu)建的狀態(tài)-動(dòng)作圖中的狀態(tài)描述進(jìn)行語(yǔ)義匹配的步驟包括：

23、使用語(yǔ)義向量化模型將web任務(wù)描述轉(zhuǎn)化為向量表示，并將抽象狀態(tài)-動(dòng)作圖中的所有狀態(tài)節(jié)點(diǎn)也進(jìn)行向量化表示；

24、基于上述兩種向量化表示，計(jì)算web任務(wù)描述與狀態(tài)節(jié)點(diǎn)之間的語(yǔ)義相似度，選擇語(yǔ)義相似度最高的前k個(gè)狀態(tài)節(jié)點(diǎn)作為候選中間節(jié)點(diǎn)；

25、從狀態(tài)-動(dòng)作圖中檢索出從初始狀態(tài)或當(dāng)前狀態(tài)出發(fā)到達(dá)候選中間節(jié)點(diǎn)的所有可能路徑，組合這些路徑的狀態(tài)及動(dòng)作的語(yǔ)義描述，生成所有路徑的描述信息；

26、判斷候選中間節(jié)點(diǎn)中是否存在符合web任務(wù)描述的狀態(tài)節(jié)點(diǎn)，如果存在符合條件的中間狀態(tài)節(jié)點(diǎn)，則根據(jù)路徑描述信息選擇一條最佳路徑，并使用原始狀態(tài)-動(dòng)作圖自動(dòng)執(zhí)行該路徑對(duì)應(yīng)的操作流程；

27、如果沒(méi)有符合的中間狀態(tài)，則從初始狀態(tài)或當(dāng)前狀態(tài)開(kāi)始，由大模型逐步進(jìn)行探索，組合出一條可行路徑，直到達(dá)到預(yù)期目標(biāo)。

28、進(jìn)一步地，步驟3)中構(gòu)建可訪問(wèn)性樹(shù)的步驟包括：

29、獲取當(dāng)前web頁(yè)面的所有可訪問(wèn)性元素列表，并遍歷列表中元素；

30、根據(jù)元素的屬性信息對(duì)元素進(jìn)行清洗，去除不相關(guān)或無(wú)效的元素信息；

31、清洗完成后，根據(jù)元素之間的層次結(jié)構(gòu)關(guān)系，使用深度優(yōu)先遍歷方法構(gòu)建可訪問(wèn)性樹(shù)，樹(shù)中每個(gè)元素節(jié)點(diǎn)包含名稱、角色、屬性及唯一標(biāo)識(shí)符信息。

32、進(jìn)一步地，步驟3)中對(duì)當(dāng)前web頁(yè)面截圖和可訪問(wèn)性樹(shù)進(jìn)行視覺(jué)信息與文本信息的對(duì)齊的步驟包括：

33、針對(duì)構(gòu)建的可訪問(wèn)性樹(shù)，根據(jù)元素的角色和屬性信息，過(guò)濾掉不可操作的元素，生成web頁(yè)面的可操作元素樹(shù)；

34、基于可操作元素樹(shù)中的每個(gè)元素的坐標(biāo)和唯一編號(hào)，在web頁(yè)面截圖上標(biāo)注對(duì)應(yīng)位置的可操作元素區(qū)域，并為每個(gè)區(qū)域添加編號(hào)標(biāo)識(shí)。

35、進(jìn)一步地，步驟4)中大模型生成的單步?jīng)Q策信息包括：

36、觀察字段：要求大模型對(duì)當(dāng)前web頁(yè)面的主要內(nèi)容進(jìn)行描述，以輸出當(dāng)前頁(yè)面的主要信息和結(jié)構(gòu)；

37、思考字段：要求大模型分析當(dāng)前步驟的執(zhí)行目的及邏輯，并輸出對(duì)當(dāng)前任務(wù)步驟的分析和推理；

38、目標(biāo)元素：要求大模型從可訪問(wèn)性樹(shù)中選取目標(biāo)元素，并輸出該目標(biāo)元素的唯一編號(hào)；

39、動(dòng)作api：要求大模型從web動(dòng)作api庫(kù)中選擇動(dòng)作api以執(zhí)行當(dāng)前步驟；

40、動(dòng)作api參數(shù)：要求大模型輸出所選動(dòng)作api所需的參數(shù)值，以便正確執(zhí)行動(dòng)作api；

41、任務(wù)完成判斷：要求大模型判斷當(dāng)前任務(wù)的執(zhí)行情況，確認(rèn)任務(wù)是否已完成；

42、后續(xù)步驟計(jì)劃：要求大模型對(duì)后續(xù)步驟進(jìn)行規(guī)劃，生成接下來(lái)要執(zhí)行的操作序列或任務(wù)計(jì)劃。

43、一種大模型驅(qū)動(dòng)的web任務(wù)自動(dòng)化執(zhí)行系統(tǒng)，包括：

44、多模態(tài)web智能體模塊，用于理解用戶任務(wù)需求及web頁(yè)面內(nèi)容，通過(guò)多模態(tài)處理生成執(zhí)行任務(wù)所需的單步?jīng)Q策信息，并執(zhí)行web動(dòng)作；

45、狀態(tài)-動(dòng)作圖模塊，用于構(gòu)建和維護(hù)web任務(wù)的狀態(tài)-動(dòng)作圖，支持基于狀態(tài)和動(dòng)作的任務(wù)序列生成和智能體知識(shí)學(xué)習(xí)；

46、任務(wù)序列庫(kù)模塊，用于存儲(chǔ)和管理語(yǔ)義化的任務(wù)序列，支持任務(wù)序列的抽象、語(yǔ)義匹配和執(zhí)行；

47、調(diào)度模塊，用于根據(jù)調(diào)度策略選擇對(duì)應(yīng)的模塊；

48、執(zhí)行器模塊，用于執(zhí)行生成的web動(dòng)作；

49、其中，通過(guò)任務(wù)序列庫(kù)模塊根據(jù)用戶提出的web任務(wù)描述，在任務(wù)序列庫(kù)中進(jìn)行語(yǔ)義匹配，選擇最相關(guān)的任務(wù)序列，并判斷其是否滿足任務(wù)要求；

50、若匹配的任務(wù)序列滿足要求，則通過(guò)執(zhí)行器模塊執(zhí)行該任務(wù)序列；否則，通過(guò)狀態(tài)-動(dòng)作圖模塊將web任務(wù)描述與已構(gòu)建的狀態(tài)-動(dòng)作圖中的狀態(tài)描述進(jìn)行語(yǔ)義匹配，從圖中選擇最相關(guān)的狀態(tài)節(jié)點(diǎn)組成路徑，并根據(jù)路徑描述信息生成新的任務(wù)序列，判斷其是否滿足任務(wù)要求；

51、若新的任務(wù)序列滿足要求，則通過(guò)執(zhí)行器模塊執(zhí)行該任務(wù)序列；否則，通過(guò)多模態(tài)web智能體模塊獲取當(dāng)前web頁(yè)面的狀態(tài)信息，構(gòu)建可訪問(wèn)性樹(shù)，并獲取當(dāng)前web頁(yè)面截圖；然后，通過(guò)對(duì)當(dāng)前web頁(yè)面截圖和可訪問(wèn)性樹(shù)進(jìn)行視覺(jué)信息與文本信息的對(duì)齊，生成當(dāng)前web頁(yè)面的描述信息；

52、將web任務(wù)描述和當(dāng)前web頁(yè)面的描述信息輸入大模型進(jìn)行感知，生成單步?jīng)Q策信息；根據(jù)單步?jīng)Q策信息，通過(guò)執(zhí)行器模塊解析得到單步web動(dòng)作，逐步執(zhí)行這些動(dòng)作，并在任務(wù)執(zhí)行完成后通過(guò)任務(wù)序列庫(kù)模塊存儲(chǔ)用戶的任務(wù)。

53、進(jìn)一步地，多模態(tài)web智能體模塊執(zhí)行的步驟包括：

54、基于瀏覽器cdp接口獲取當(dāng)前頁(yè)面的可訪問(wèn)性元素列表，對(duì)列表中元素屬性信息進(jìn)行清洗，去除無(wú)關(guān)或無(wú)效元素；然后，根據(jù)元素間的層次結(jié)構(gòu)關(guān)系，構(gòu)建簡(jiǎn)化的可訪問(wèn)性樹(shù)，并對(duì)每個(gè)元素進(jìn)行唯一編號(hào)，以便在樹(shù)中進(jìn)行標(biāo)識(shí)；

55、分析可訪問(wèn)性樹(shù)中元素的角色和屬性信息，利用規(guī)則進(jìn)行匹配，構(gòu)建web頁(yè)面的可操作元素樹(shù)，過(guò)濾掉不可操作的元素，確保僅保留可以交互的元素；

56、獲取當(dāng)前web頁(yè)面的截圖，作為頁(yè)面的視覺(jué)模態(tài)表示；基于可操作元素樹(shù)中的元素坐標(biāo)和編號(hào)，在截圖上標(biāo)注相應(yīng)的可操作元素區(qū)域，并為每個(gè)區(qū)域添加編號(hào)標(biāo)識(shí)；

57、將任務(wù)執(zhí)行信息和當(dāng)前web頁(yè)面描述輸入到多模態(tài)大模型中，大模型通過(guò)對(duì)頁(yè)面內(nèi)容和任務(wù)要求的理解，生成單步?jīng)Q策信息；

58、對(duì)大模型生成的單步?jīng)Q策進(jìn)行解析，提取目標(biāo)元素及目標(biāo)動(dòng)作，并將這些信息組合成可執(zhí)行的api調(diào)用，執(zhí)行相關(guān)操作；

59、判斷當(dāng)前任務(wù)是否已完成，如果任務(wù)完成，則結(jié)束執(zhí)行；否則，重復(fù)執(zhí)行上述步驟，直到任務(wù)完成。

60、進(jìn)一步地，狀態(tài)-動(dòng)作圖模塊執(zhí)行的步驟包括：

61、基于自動(dòng)化技術(shù)快速探索和記錄網(wǎng)站的原始狀態(tài)-動(dòng)作圖，圖中的狀態(tài)節(jié)點(diǎn)表示網(wǎng)頁(yè)的不同狀態(tài)，并存儲(chǔ)相關(guān)的網(wǎng)頁(yè)信息；單向邊表示狀態(tài)之間的動(dòng)作執(zhí)行關(guān)系，并記錄動(dòng)作的原始信息；

62、對(duì)原始狀態(tài)-動(dòng)作圖中的相似狀態(tài)進(jìn)行合并，通過(guò)計(jì)算狀態(tài)節(jié)點(diǎn)之間的多維度加權(quán)相似度，合并相似狀態(tài)節(jié)點(diǎn)；同時(shí)基于api和目標(biāo)元素的相似度，對(duì)圖中的相似動(dòng)作進(jìn)行合并，整合相似的動(dòng)作；

63、利用大模型對(duì)頁(yè)面信息進(jìn)行感知，生成頁(yè)面狀態(tài)的語(yǔ)義化描述和功能列表；同時(shí)通過(guò)分析原始執(zhí)行信息，生成動(dòng)作的語(yǔ)義化表示，形成一個(gè)抽象的狀態(tài)-動(dòng)作圖。

64、進(jìn)一步地，狀態(tài)-動(dòng)作圖模塊執(zhí)行的步驟包括：

65、利用語(yǔ)義向量化模型將用戶的自然語(yǔ)言任務(wù)描述轉(zhuǎn)化為向量化表示，用于后續(xù)的語(yǔ)義相似度計(jì)算；

66、對(duì)已合并和語(yǔ)義化抽象的狀態(tài)-動(dòng)作圖進(jìn)行處理，生成狀態(tài)節(jié)點(diǎn)的向量化表示；通過(guò)計(jì)算任務(wù)描述向量與狀態(tài)節(jié)點(diǎn)向量之間的語(yǔ)義相似度，選擇相似度最高的前k個(gè)狀態(tài)節(jié)點(diǎn)作為候選中間節(jié)點(diǎn)，并檢索從初始狀態(tài)或當(dāng)前狀態(tài)到這些候選節(jié)點(diǎn)的所有路徑，生成路徑描述信息；

67、根據(jù)生成的路徑描述信息，由大模型或用戶判斷符合任務(wù)要求的中間狀態(tài)節(jié)點(diǎn)；如果存在符合條件的中間狀態(tài)節(jié)點(diǎn)，則選擇一條合適的路徑進(jìn)行執(zhí)行；如果沒(méi)有匹配的中間狀態(tài)節(jié)點(diǎn)，則從原始狀態(tài)或當(dāng)前狀態(tài)逐步抵達(dá)；

68、從當(dāng)前狀態(tài)節(jié)點(diǎn)開(kāi)始，大模型結(jié)合用戶任務(wù)描述和當(dāng)前狀態(tài)的語(yǔ)義描述，進(jìn)行任務(wù)階段規(guī)劃，并從后續(xù)動(dòng)作中選擇與任務(wù)匹配的動(dòng)作作為下一步驟；根據(jù)大模型的決策，利用原始狀態(tài)-動(dòng)作圖執(zhí)行動(dòng)作，到達(dá)指定的下一狀態(tài)節(jié)點(diǎn)；

69、判斷任務(wù)是否完成，如果大模型確認(rèn)已達(dá)到任務(wù)最終狀態(tài)或判斷當(dāng)前狀態(tài)的后續(xù)動(dòng)作不滿足任務(wù)要求，則結(jié)束任務(wù)；否則，重復(fù)上一步驟，進(jìn)行逐步抵達(dá)，直至滿足任務(wù)完成要求。

70、進(jìn)一步地，任務(wù)序列庫(kù)模塊執(zhí)行的步驟包括：

71、對(duì)已執(zhí)行的任務(wù)序列，通過(guò)依次排列狀態(tài)和動(dòng)作的語(yǔ)義描述，并使用連接詞生成該任務(wù)的全流程描述；

72、將任務(wù)的全流程描述輸入多模態(tài)大模型，生成任務(wù)序列的總體描述；

73、使用總體描述作為語(yǔ)義索引，構(gòu)建任務(wù)序列庫(kù)中的任務(wù)序列存儲(chǔ)；將每條任務(wù)序列輸入向量化模型，生成并存儲(chǔ)其向量化表示；

74、將用戶提出的web任務(wù)描述轉(zhuǎn)化為語(yǔ)義向量，與任務(wù)序列庫(kù)中的向量化表示進(jìn)行相似度計(jì)算，選擇最相似的前k個(gè)任務(wù)序列作為候選序列，由大模型或用戶對(duì)候選序列進(jìn)行判斷，選擇滿足要求的序列進(jìn)行執(zhí)行。

75、進(jìn)一步地，調(diào)度模塊執(zhí)行的步驟包括：

76、根據(jù)用戶提出的web任務(wù)描述，調(diào)度模塊調(diào)用任務(wù)序列庫(kù)模塊進(jìn)行任務(wù)序列匹配；如果任務(wù)序列庫(kù)中存在匹配的任務(wù)序列，經(jīng)用戶或大模型確認(rèn)后，直接執(zhí)行該任務(wù)序列，并在任務(wù)完成后結(jié)束；

77、如果任務(wù)序列庫(kù)中未找到匹配的任務(wù)序列，調(diào)度模塊則調(diào)用狀態(tài)-動(dòng)作圖模塊進(jìn)行探索；由大模型驅(qū)動(dòng)對(duì)狀態(tài)-動(dòng)作圖進(jìn)行探索，若找到完整的任務(wù)序列，則執(zhí)行該序列，并將其添加至任務(wù)序列庫(kù)中；

78、如果狀態(tài)-動(dòng)作圖中也未找到匹配的任務(wù)序列，調(diào)度模塊則整理已探索的信息，并調(diào)用多模態(tài)web智能體模塊進(jìn)行單步?jīng)Q策；多模態(tài)web智能體模塊的智能體將逐步執(zhí)行這些動(dòng)作，直到任務(wù)完成，并將新的狀態(tài)和動(dòng)作更新到狀態(tài)-動(dòng)作圖中；任務(wù)完成后，將新任務(wù)序列添加至任務(wù)序列庫(kù)中。

79、與現(xiàn)有技術(shù)相比，本發(fā)明取得了以下技術(shù)效果：

80、1.本發(fā)明通過(guò)大模型驅(qū)動(dòng)的web智能體，顯著提高了web任務(wù)的自動(dòng)化水平。相較于傳統(tǒng)的web任務(wù)自動(dòng)化技術(shù)，本發(fā)明在任務(wù)執(zhí)行中減少了對(duì)人工干預(yù)的需求，實(shí)現(xiàn)了更高程度的自動(dòng)化。

81、2.本發(fā)明通過(guò)大模型為web智能體提供了網(wǎng)頁(yè)內(nèi)容的深度感知能力和智能決策解析，使web智能體能夠更好地理解和處理復(fù)雜的任務(wù)要求，相比于傳統(tǒng)方法，具備更強(qiáng)的智能和更優(yōu)的泛化能力。

82、3.本發(fā)明通過(guò)狀態(tài)-動(dòng)作圖模塊和任務(wù)序列庫(kù)模塊建立了全面的知識(shí)記憶機(jī)制，這種機(jī)制有效地降低了處理重復(fù)任務(wù)的推理成本，通過(guò)快速匹配和重用已有任務(wù)序列，提高了系統(tǒng)的執(zhí)行效率。

83、4.本發(fā)明采用經(jīng)過(guò)處理的可訪問(wèn)性樹(shù)和截圖共同表示web頁(yè)面內(nèi)容，并對(duì)可訪問(wèn)性樹(shù)元素進(jìn)行唯一編號(hào)。通過(guò)對(duì)可操作元素進(jìn)行過(guò)濾，并在截圖上標(biāo)注這些元素，實(shí)現(xiàn)了視覺(jué)模態(tài)和文字模態(tài)的有效對(duì)齊。

84、5.本發(fā)明利用封裝的web動(dòng)作api和頁(yè)面表示時(shí)的編號(hào)，將大模型的web元素決策轉(zhuǎn)化為程序可直接解析的編號(hào)選擇，確定唯一目標(biāo)元素，并通過(guò)大模型輸出的api選擇生成可執(zhí)行的web動(dòng)作。

85、6.本發(fā)明提供了一個(gè)完整的系統(tǒng)，包括智能體模塊、圖知識(shí)庫(kù)模塊和任務(wù)序列庫(kù)模塊，及其調(diào)度策略，能夠?qū)崿F(xiàn)高效執(zhí)行和智能決策，快速響應(yīng)用戶需求，減少任務(wù)執(zhí)行時(shí)間，提高整體使用效果。

86、7.本發(fā)明展示了大模型技術(shù)在web任務(wù)場(chǎng)景中的實(shí)際應(yīng)用，證明了大模型如何有效解決實(shí)際問(wèn)題，為其在web任務(wù)自動(dòng)化領(lǐng)域的進(jìn)一步應(yīng)用奠定了基礎(chǔ)。