技術(shù)特征：

1.一種面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法包括：

2.根據(jù)權(quán)利要求1所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述基于所述操作影像和所述操作日志，生成用于在所述目標(biāo)設(shè)備實(shí)現(xiàn)所述樣本任務(wù)的樣本用戶操作信息序列，包括：

3.根據(jù)權(quán)利要求2所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述操作影像包括操作場景影像和操作屏幕影像，所述基于所述操作影像，提取所述樣本用戶的用戶交互對(duì)象，包括：

4.根據(jù)權(quán)利要求3所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述基于所述操作場景影像確定所述目標(biāo)設(shè)備在場景中的第一交互對(duì)象，包括：

5.根據(jù)權(quán)利要求3所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述獲取樣本用戶操作目標(biāo)設(shè)備實(shí)現(xiàn)樣本任務(wù)期間產(chǎn)生的操作影像，包括：

6.根據(jù)權(quán)利要求1所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述將所述樣本任務(wù)對(duì)應(yīng)的樣本自然語言指令信息輸入第一語言模型，得到所述第一語言模型輸出的第一操作信息序列，包括：

7.根據(jù)權(quán)利要求1所述的面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法，其特征在于，所述方法還包括：

8.一種面向行為學(xué)習(xí)的智能操作模型構(gòu)建裝置，其特征在于，所述面向行為學(xué)習(xí)的智能操作模型構(gòu)建裝置包括：

9.一種智能操作系統(tǒng)，其特征在于，所述智能操作系統(tǒng)包括指令獲取單元、推理單元和執(zhí)行單元；

10.根據(jù)權(quán)利要求9所述的智能操作系統(tǒng)，其特征在于，所述智能操作系統(tǒng)還包括環(huán)境信息獲取單元；

技術(shù)總結(jié)
本發(fā)明提供了一種面向行為學(xué)習(xí)的智能操作模型構(gòu)建方法、裝置及系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，包括：基于操作影像和操作日志，生成用于在目標(biāo)設(shè)備實(shí)現(xiàn)樣本任務(wù)的樣本用戶操作信息序列；其中，樣本用戶操作信息序列中的樣本用戶操作信息，包括基于操作日志確定的操作指令和基于操作影像確定的操作目標(biāo)；將樣本任務(wù)對(duì)應(yīng)的樣本自然語言指令信息輸入第一語言模型，得到第一語言模型輸出的第一操作信息序列；基于樣本任務(wù)對(duì)應(yīng)的第一操作信息序列，與樣本任務(wù)的樣本用戶操作信息序列之間的損失值，調(diào)整第一語言模型的模型參數(shù)，得到智能操作模型。能夠提升獲取任務(wù)實(shí)現(xiàn)步驟的效率以及用戶通過目標(biāo)設(shè)備執(zhí)行目標(biāo)任務(wù)的效率。

技術(shù)研發(fā)人員：于琦,林恩德,朱強(qiáng),王崢瀛,范欣,王樂陶,譚堯升,李婉
受保護(hù)的技術(shù)使用者：長江三峽集團(tuán)實(shí)業(yè)發(fā)展（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26