本發(fā)明屬于智能車載，具體涉及一種基于場景化大模型的智能屏幕操控系統(tǒng)。

背景技術(shù)：

1、隨著車載智能系統(tǒng)的發(fā)展，用戶在駕駛過程中對智能操作的需求越來越高。傳統(tǒng)的車機系統(tǒng)在響應(yīng)用戶需求時，往往需要用戶通過多次手動操作，無法實現(xiàn)對復(fù)雜場景的高效處理。?同時，現(xiàn)有系統(tǒng)多局限于車機自帶應(yīng)用，對第三方應(yīng)用的支持較為有限，無法滿足用戶多樣化的需求，因此，需要研發(fā)一種新的基于場景化大模型的智能屏幕操控系統(tǒng)來解決現(xiàn)有的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于場景化大模型的智能屏幕操控系統(tǒng)，以解決無法準(zhǔn)確識別和響應(yīng)用戶需求的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于場景化大模型的智能屏幕操控系統(tǒng)，包括：

3、語義理解智能體，用于根據(jù)用戶文字內(nèi)容識別用戶需求，生成操作需求；

4、場景化界面分析智能體，用于根據(jù)截屏圖像進行分析，識別界面菜單和界面元素，生成場景化操作列表；

5、匹配智能體，用于對操作需求和場景化操作列表進行匹配，生成操作指令，并將操作指令與用戶交互確定；

6、模擬交互智能體，用于根據(jù)操作指令模擬用戶在車機屏幕上的操作，并將模擬操作轉(zhuǎn)化為車機操作系統(tǒng)可執(zhí)行的操作序列；

7、多模執(zhí)行智能體，用于將操作序列發(fā)送車機。

8、優(yōu)選的，所述生成操作需求包括：將用戶文字內(nèi)容請求發(fā)送到服務(wù)器，獲取在當(dāng)前場景下用戶意圖，綜合本地和云端數(shù)據(jù)，生成初步的操作需求。

9、優(yōu)選的，所述識別界面菜單包括：界面的一級菜單、二級菜單和三級菜單菜單；

10、所述識別界面元素包括：文字、內(nèi)容、圖片、圖標(biāo)和按鈕。

11、優(yōu)選的，所述對操作需求和場景化操作列表進行匹配包括：確定滿足用戶需求的具體界面內(nèi)容和生成用戶回復(fù)文字。

12、優(yōu)選的，所述將操作指令與用戶交互確定包括：把所述回復(fù)文字轉(zhuǎn)換成語音進行播報，與用戶交互確認(rèn)操作內(nèi)容。

13、優(yōu)選的，所述根據(jù)操作指令模擬用戶在車機屏幕上的操作包括：匹配模擬點擊、滑動或放大手勢的接口內(nèi)容。

14、優(yōu)選的，所述車機用于接收捕捉用戶的語音信號，并將語音認(rèn)號轉(zhuǎn)換為文字內(nèi)容。

15、優(yōu)選的，所述服務(wù)器包括：場景建議庫、用戶喜好庫、用戶庫、多模操作庫、界面元素庫；

16、所述服務(wù)器與所述語義理解智能體、場景化界面分析智能體以及模擬交互智能體相連接。

17、本發(fā)明的技術(shù)效果和優(yōu)點：該基于場景化大模型的智能屏幕操控系統(tǒng)，用于智能車載終端，通過多智能體模塊的協(xié)同工作，實現(xiàn)對用戶需求的準(zhǔn)確識別和響應(yīng)，并生成相應(yīng)的車機交互操作，具體優(yōu)點如下：

18、1、支持非系統(tǒng)應(yīng)用的智能控制：豐富用戶的使用場景，支持多種第三方應(yīng)用的智能控制；

19、2、準(zhǔn)確的語義理解：通過語義理解智能體，提高對用戶需求的解析準(zhǔn)確性。語言泛化能力提升，更貼合用戶真實話術(shù)；

20、3、個性化場景推薦：根據(jù)用戶喜好數(shù)據(jù)庫，提供個性化的場景推薦，提升用戶體驗；

21、4、多模交互支持：支持多種手勢和動作的操作，增強系統(tǒng)的智能化和便捷性。

技術(shù)特征：

1.一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：包括：

2.根據(jù)權(quán)利要求1所述的一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述生成操作需求包括：將用戶文字內(nèi)容請求發(fā)送到服務(wù)器，獲取在當(dāng)前場景下用戶意圖，綜合本地和云端數(shù)據(jù)，生成初步的操作需求。

3.根據(jù)權(quán)利要求1所述的一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述識別界面菜單包括：界面的一級菜單、二級菜單和三級菜單菜單；

4.根據(jù)權(quán)利要求1所述的一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述對操作需求和場景化操作列表進行匹配包括：確定滿足用戶需求的具體界面內(nèi)容和生成用戶回復(fù)文字。

5.根據(jù)權(quán)利要求1所述的一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述將操作指令與用戶交互確定包括：把所述回復(fù)文字轉(zhuǎn)換成語音進行播報，與用戶交互確認(rèn)操作內(nèi)容。

6.根據(jù)權(quán)利要求1所述的一種基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述根據(jù)操作指令模擬用戶在車機屏幕上的操作包括：匹配模擬點擊、滑動或放大手勢的接口內(nèi)容。

7.根據(jù)權(quán)利要求1-6中任意一項所述的基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述車機用于接收捕捉用戶的語音信號，并將語音認(rèn)號轉(zhuǎn)換為文字內(nèi)容。

8.根據(jù)權(quán)利要求1-6中任意一項所述的基于場景化大模型的智能屏幕操控系統(tǒng)，其特征在于：所述服務(wù)器包括：場景建議庫、用戶喜好庫、用戶庫、多模操作庫、界面元素庫；

技術(shù)總結(jié)
本發(fā)明公開了一種基于場景化大模型的智能屏幕操控系統(tǒng)，屬于智能車載技術(shù)領(lǐng)域，包括：語義理解智能體，用于根據(jù)用戶文字內(nèi)容識別用戶需求，生成操作需求；場景化界面分析智能體，用于根據(jù)截屏圖像進行分析，識別界面菜單和界面元素，生成場景化操作列表；匹配智能體，用于對操作需求和場景化操作列表進行匹配，生成操作指令，并將操作指令與用戶交互確定；模擬交互智能體，用于根據(jù)操作指令模擬用戶在車機屏幕上的操作，并將模擬操作轉(zhuǎn)化為車機操作系統(tǒng)可執(zhí)行的操作序列；多模執(zhí)行智能體，用于將操作序列發(fā)送車機；該系統(tǒng)，通過多智能體模塊的協(xié)同工作，實現(xiàn)對用戶需求的準(zhǔn)確識別和響應(yīng)，并生成相應(yīng)的車機交互操作。

技術(shù)研發(fā)人員：李敬達
受保護的技術(shù)使用者：潤芯微科技（江蘇）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2