本發(fā)明涉及計(jì)算機(jī)，更具體地，涉及一種終端設(shè)備自動(dòng)化操作的方法和裝置。

背景技術(shù)：

1、近年來，隨著人工智能技術(shù)的發(fā)展，各種智能終端設(shè)備進(jìn)入到人們的日常生活中，為人們的生活提供了很多便利，以智能手機(jī)為例，用戶的工作、生活、出行、購(gòu)物和娛樂等都可以通過智能手機(jī)中的各種應(yīng)用程序?qū)崿F(xiàn)，用戶在較為忙碌的時(shí)刻，需要智能手機(jī)實(shí)現(xiàn)自動(dòng)化操作，節(jié)約自己的時(shí)間。

2、現(xiàn)有技術(shù)中，隨著大型語(yǔ)言模型(large?language?model，llm)技術(shù)的廣泛應(yīng)用，上述llm在解自然語(yǔ)言和執(zhí)行復(fù)雜指令方面取得了顯著進(jìn)展，上述llm能夠理解終端設(shè)備的屏幕上的內(nèi)容，并根據(jù)用戶的指令在移動(dòng)設(shè)備上執(zhí)行操作，例如，在購(gòu)物網(wǎng)站上購(gòu)買商品，但是由于llm需要分析屏幕內(nèi)容、理解用戶指令并生成操作步驟，整個(gè)過程耗時(shí)較長(zhǎng)，在此期間，自動(dòng)化操作過程會(huì)占用手機(jī)屏幕和系統(tǒng)資源，干擾用戶正常使用手機(jī)，影響用戶的體驗(yàn)。

3、綜上所述，如何在不占用用戶終端設(shè)備屏幕的情況下實(shí)現(xiàn)終端設(shè)備的自動(dòng)化操作，提高用戶的體驗(yàn)，是目前需要解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明實(shí)施例提供了一種終端設(shè)備自動(dòng)化操作的方法和裝置，可以在不占用用戶終端設(shè)備屏幕的情況下實(shí)現(xiàn)終端設(shè)備的自動(dòng)化操作，提高用戶的體驗(yàn)。

2、第一方面，本發(fā)明實(shí)施例提供了一種終端設(shè)備自動(dòng)化操作的方法，所述方法包括：

3、獲取用戶指令信息；

4、根據(jù)所述用戶指令信息在終端設(shè)備的后臺(tái)生成虛擬顯示屏幕；

5、在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；

6、獲取當(dāng)前時(shí)刻所述虛擬顯示屏幕上顯示的目標(biāo)圖像；

7、將所述用戶指令信息與所述目標(biāo)圖像輸入到大型語(yǔ)言模型，生成自動(dòng)化操作步驟；

8、在所述虛擬顯示屏幕上執(zhí)行所述自動(dòng)化操作步驟。

9、可選的，所述方法還包括：

10、根據(jù)所述自動(dòng)化操作步驟更新所述顯示屏幕上顯示的目標(biāo)圖像。

11、可選的，所述方法還包括：

12、確定所述自動(dòng)化操作步驟生成的結(jié)果；

13、將所述結(jié)果發(fā)送至所述終端設(shè)備的真實(shí)顯示屏幕。

14、可選的，所述方法還包括：

15、接收到用戶發(fā)送的確認(rèn)反饋信息，其中，所述確認(rèn)反饋信息表示用戶確認(rèn)生成的所述結(jié)果。

16、可選的，所述方法還包括：

17、接收到用戶發(fā)送的修改指令信息，其中，所述修改指令信息表示用戶對(duì)生成的所述結(jié)果進(jìn)行修改。

18、可選的，所述方法還包括：

19、所述虛擬顯示屏幕在所述終端設(shè)備的真實(shí)顯示屏幕通過小窗形式顯示，其中，所述小窗占據(jù)所述真實(shí)顯示屏幕的局部區(qū)域。

20、可選的，所述在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序，具體包括：

21、根據(jù)所述大型語(yǔ)言模型對(duì)所述用戶指令信息進(jìn)行分析，確定所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；

22、在所述虛擬顯示屏幕上加載所述應(yīng)用程序。

23、第二方面，本發(fā)明實(shí)施例提供了一種終端設(shè)備自動(dòng)化操作的裝置，所述裝置包括：

24、獲取單元，用于獲取用戶指令信息；

25、生成單元，用于根據(jù)所述用戶指令信息在終端設(shè)備的后臺(tái)生成虛擬顯示屏幕；

26、處理單元，用于在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；

27、所述獲取單元還用于，獲取當(dāng)前時(shí)刻所述虛擬顯示屏幕上顯示的目標(biāo)圖像；

28、所述生成單元還用于，將所述用戶指令信息與所述目標(biāo)圖像輸入到大型語(yǔ)言模型，生成自動(dòng)化操作步驟；

29、執(zhí)行單元，用于在所述虛擬顯示屏幕上執(zhí)行所述自動(dòng)化操作步驟。

30、可選的，所述裝置還包括：

31、更新單元，用于根據(jù)所述自動(dòng)化操作步驟更新所述顯示屏幕上顯示的目標(biāo)圖像。

32、可選的，所述裝置還包括：

33、確定單元，用于確定所述自動(dòng)化操作步驟生成的結(jié)果；

34、發(fā)送單元，用于將所述結(jié)果發(fā)送至所述終端設(shè)備的真實(shí)顯示屏幕。

35、可選的，所述裝置還包括：

36、接收單元，用于接收到用戶發(fā)送的確認(rèn)反饋信息，其中，所述確認(rèn)反饋信息表示用戶確認(rèn)生成的所述結(jié)果。

37、可選的，所述接收單元還用于：

38、接收到用戶發(fā)送的修改指令信息，其中，所述修改指令信息表示用戶對(duì)生成的所述結(jié)果進(jìn)行修改。

39、可選的，所述裝置還包括：

40、顯示單元，用于在所述終端設(shè)備的真實(shí)顯示屏幕通過小窗形式顯示所述虛擬顯示屏幕，其中，所述小窗占據(jù)所述真實(shí)顯示屏幕的局部區(qū)域。

41、可選的，所述處理單元具體用于：

42、根據(jù)所述大型語(yǔ)言模型對(duì)所述用戶指令信息進(jìn)行分析，確定所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；

43、在所述虛擬顯示屏幕上加載所述應(yīng)用程序。

44、第三方面，本發(fā)明實(shí)施例提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存儲(chǔ)一條或多條計(jì)算機(jī)程序指令，其中，所述一條或多條計(jì)算機(jī)程序指令被所述處理器執(zhí)行以實(shí)現(xiàn)如第一方面或第一方面任一種可能中任一項(xiàng)所述的方法。

45、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面或第一方面任一種可能中任一項(xiàng)所述的方法。

46、本發(fā)明實(shí)施例中，通過獲取用戶指令信息；根據(jù)所述用戶指令信息在終端設(shè)備的后臺(tái)生成虛擬顯示屏幕；在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；獲取當(dāng)前時(shí)刻所述虛擬顯示屏幕上顯示的目標(biāo)圖像；將所述用戶指令信息與所述目標(biāo)圖像輸入到大型語(yǔ)言模型，生成自動(dòng)化操作步驟；在所述虛擬顯示屏幕上執(zhí)行所述自動(dòng)化操作步驟。通過上述方法，可以在不占用用戶終端設(shè)備屏幕的情況下，在虛擬顯示屏幕上加載對(duì)應(yīng)的應(yīng)用程序并執(zhí)行自動(dòng)化操作步驟，實(shí)現(xiàn)終端設(shè)備的自動(dòng)化操作，提高用戶的體驗(yàn)。

技術(shù)特征：

1.一種終端設(shè)備自動(dòng)化操作的方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序，具體包括：

8.一種終端設(shè)備自動(dòng)化操作的裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器用于存儲(chǔ)一條或多條計(jì)算機(jī)程序指令，其中，所述一條或多條計(jì)算機(jī)程序指令被所述處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例公開了一種終端設(shè)備自動(dòng)化操作的方法和裝置。本發(fā)明實(shí)施例中，通過獲取用戶指令信息；根據(jù)所述用戶指令信息在終端設(shè)備的后臺(tái)生成虛擬顯示屏幕；在所述虛擬顯示屏幕上加載所述用戶指令信息對(duì)應(yīng)的應(yīng)用程序；獲取當(dāng)前時(shí)刻所述虛擬顯示屏幕上顯示的目標(biāo)圖像；將所述用戶指令信息與所述目標(biāo)圖像輸入到大型語(yǔ)言模型，生成自動(dòng)化操作步驟；在所述虛擬顯示屏幕上執(zhí)行所述自動(dòng)化操作步驟。通過上述方法，可以在不占用用戶終端設(shè)備屏幕的情況下，在虛擬顯示屏幕上實(shí)現(xiàn)終端設(shè)備的自動(dòng)化操作，提高用戶的體驗(yàn)。

技術(shù)研發(fā)人員：黃賢校,徐晶,楊師正
受保護(hù)的技術(shù)使用者：浙江未來精靈人工智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9