本申請(qǐng)涉及視景仿真的，具體而言，涉及一種基于多智能體視景仿真的多路視頻流的導(dǎo)出方法及系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、視景仿真技術(shù)是計(jì)算機(jī)圖形圖像技術(shù)和虛擬現(xiàn)實(shí)技術(shù)的結(jié)合，其通過(guò)構(gòu)建三維模型或再現(xiàn)真實(shí)環(huán)境來(lái)實(shí)現(xiàn)各種信息的表達(dá)和模擬。

2、視景仿真軟件(unrealengine虛幻引擎或airsim開(kāi)源仿真平臺(tái))為創(chuàng)建和體驗(yàn)三維虛擬環(huán)境的基礎(chǔ)工具，其可以集成圖形渲染、物理模擬等多種核心技術(shù)，通過(guò)虛擬攝像機(jī)的切換應(yīng)用，使得用戶可以精準(zhǔn)模擬真實(shí)世界中的各類場(chǎng)景(如城市景觀、太空環(huán)境探索等)、物體或動(dòng)作行為的交互(如行走、駕駛或設(shè)備操作訓(xùn)練等)。

3、在多智能體視景仿真場(chǎng)景(包括多個(gè)交互作用的單個(gè)智能體)中，為滿足對(duì)虛擬環(huán)境態(tài)勢(shì)的全面感知，需要視景仿真軟件可以支持同時(shí)導(dǎo)出多個(gè)智能體的實(shí)時(shí)視頻流。

4、但本申請(qǐng)的發(fā)明人發(fā)現(xiàn)，目前大部分視景仿真軟件僅可以支持虛擬攝像機(jī)視角切換功能和圖片導(dǎo)出功能，其一般只能將錄制的各個(gè)虛擬攝像機(jī)的畫(huà)面存儲(chǔ)為視頻文件，而并不支持多路實(shí)時(shí)視頻流的導(dǎo)出功能。

5、另外，還有一部分視景仿真軟件雖然可以支持實(shí)時(shí)視頻流的導(dǎo)出，但其對(duì)視頻導(dǎo)出頻率的要求相對(duì)較高(如25-60hz)，從而使得多路實(shí)時(shí)視頻流同時(shí)導(dǎo)出時(shí)容易造型仿真電腦機(jī)器渲染或io性能瓶頸，使得實(shí)時(shí)視頻流的路數(shù)受到限制(如受限于8路內(nèi))，而不能實(shí)現(xiàn)多路視頻流的導(dǎo)出。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本申請(qǐng)的一方面，本申請(qǐng)?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出方法，包括根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對(duì)應(yīng)的仿真圖像生成對(duì)應(yīng)的仿真圖像組；通過(guò)仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像；通過(guò)仿真處理端將數(shù)據(jù)信息存儲(chǔ)至預(yù)設(shè)數(shù)據(jù)庫(kù)中；建立推流端與預(yù)設(shè)數(shù)據(jù)庫(kù)的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；通過(guò)推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)；通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊(duì)列中；通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)異步寫(xiě)入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；通過(guò)拉流端從預(yù)設(shè)推流中心拉流每一智能體所對(duì)應(yīng)的視頻流。

2、根據(jù)本申請(qǐng)的一些實(shí)施例，根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對(duì)應(yīng)的仿真圖像生成對(duì)應(yīng)的仿真圖像組包括：通過(guò)視景仿真端基于仿真圖像生成仿真圖像組，或者通過(guò)文件監(jiān)控服務(wù)基于仿真圖像生成仿真圖像組。

3、根據(jù)本申請(qǐng)的一些實(shí)施例，通過(guò)仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息包括：通過(guò)仿真處理端解析仿真圖像組，以得到仿真圖像組的圖像信息；通過(guò)仿真處理端將仿真圖像組轉(zhuǎn)換為字節(jié)型數(shù)組格式；通過(guò)仿真處理端將字節(jié)型數(shù)組格式的仿真圖像組轉(zhuǎn)換為預(yù)設(shè)字符串圖像。

4、根據(jù)本申請(qǐng)的一些實(shí)施例，預(yù)設(shè)方式為升高頻率的采樣方式。

5、根據(jù)本申請(qǐng)的又一方面，本申請(qǐng)?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出系統(tǒng)，所述導(dǎo)出系統(tǒng)包括圖像處理模塊、通信連接模塊、推流處理模塊和拉流處理模塊。圖像處理模塊根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對(duì)應(yīng)的仿真圖像生成對(duì)應(yīng)的仿真圖像組，通過(guò)仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像，以及通過(guò)仿真處理端將數(shù)據(jù)信息存儲(chǔ)至預(yù)設(shè)數(shù)據(jù)庫(kù)中；通信連接模塊建立推流端與預(yù)設(shè)數(shù)據(jù)庫(kù)的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；推流處理模塊通過(guò)推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)，通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊(duì)列中，以及通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)異步寫(xiě)入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；拉流處理模塊通過(guò)拉流端從預(yù)設(shè)推流中心拉流每一智能體所對(duì)應(yīng)的視頻流。

6、根據(jù)本申請(qǐng)的一些實(shí)施例，圖像處理模塊通過(guò)視景仿真端基于仿真圖像生成仿真圖像組；或者圖像處理模塊通過(guò)文件監(jiān)控服務(wù)基于仿真圖像生成仿真圖像組。

7、根據(jù)本申請(qǐng)的一些實(shí)施例，圖像處理模塊通過(guò)仿真處理端解析仿真圖像組，以得到仿真圖像組的圖像信息；圖像處理模塊通過(guò)仿真處理端將仿真圖像組轉(zhuǎn)換為字節(jié)型數(shù)組格式；圖像處理模塊通過(guò)仿真處理端將字節(jié)型數(shù)組格式的仿真圖像組轉(zhuǎn)換為預(yù)設(shè)字符串圖像。

8、根據(jù)本申請(qǐng)的一些實(shí)施例，預(yù)設(shè)方式為升高頻率的采樣方式。

9、根據(jù)本申請(qǐng)的又一方面，本申請(qǐng)還提供了一種電子設(shè)備。電子設(shè)備包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器，能夠?qū)崿F(xiàn)如上文所述的導(dǎo)出方法。

10、根據(jù)本申請(qǐng)的又一方面，本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上文所述的導(dǎo)出方法。

11、本申請(qǐng)通過(guò)將視景仿真端的仿真圖像組的圖片進(jìn)行導(dǎo)出，并通過(guò)仿真處理端對(duì)仿真圖像組的程序監(jiān)控與解析，以及通過(guò)推流電腦側(cè)的異步控制程序的處理，可以將低頻的圖片數(shù)據(jù)流轉(zhuǎn)化為實(shí)時(shí)視頻流。

12、本申請(qǐng)?zhí)峁┑幕诙嘀悄荏w視景仿真的多路視頻流的導(dǎo)出方法，可以使得多路視頻流的導(dǎo)出過(guò)程中互不干涉，在同樣的性能負(fù)載的情況下，本申請(qǐng)可以導(dǎo)出成倍的視頻流的路數(shù)，可以實(shí)現(xiàn)多路視頻流的導(dǎo)出，從而可以為用戶提供更加精準(zhǔn)、全面的虛擬環(huán)境感知能力。

技術(shù)特征：

1.一種基于多智能體視景仿真的多路視頻流的導(dǎo)出方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對(duì)應(yīng)的仿真圖像生成對(duì)應(yīng)的仿真圖像組包括：

3.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述通過(guò)仿真處理端處理所述仿真圖像組，以得到所述仿真圖像組的數(shù)據(jù)信息包括：

4.根據(jù)權(quán)利要求1所述的導(dǎo)出方法，其特征在于，所述預(yù)設(shè)方式為升高頻率的采樣方式。

5.一種基于多智能體視景仿真的多路視頻流的導(dǎo)出系統(tǒng)，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述圖像處理模塊通過(guò)所述視景仿真端基于所述仿真圖像生成所述仿真圖像組；或者

7.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述圖像處理模塊通過(guò)所述仿真處理端解析所述仿真圖像組，以得到所述仿真圖像組的所述圖像信息；

8.根據(jù)權(quán)利要求5所述的導(dǎo)出系統(tǒng)，其特征在于，所述預(yù)設(shè)方式為升高頻率的采樣方式。

9.一種電子設(shè)備，其特征在于，包括：

10.一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4任一所述的導(dǎo)出方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N基于多智能體視景仿真的多路視頻流的導(dǎo)出方法及系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)。所述導(dǎo)出方法包括根據(jù)視景仿真端基于預(yù)設(shè)導(dǎo)出頻率所導(dǎo)出的每一智能體所對(duì)應(yīng)的仿真圖像生成對(duì)應(yīng)的仿真圖像組；通過(guò)仿真處理端處理仿真圖像組，以得到仿真圖像組的數(shù)據(jù)信息，數(shù)據(jù)信息包括圖像信息和預(yù)設(shè)字符串圖像；通過(guò)仿真處理端將數(shù)據(jù)信息存儲(chǔ)至預(yù)設(shè)數(shù)據(jù)庫(kù)中；建立推流端與預(yù)設(shè)數(shù)據(jù)庫(kù)的通信連接，以使得推流端從數(shù)據(jù)信息中獲取預(yù)設(shè)字符串圖像；通過(guò)推流端將預(yù)設(shè)字符串圖像解碼為圖像字節(jié)流型數(shù)據(jù)；通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)以預(yù)設(shè)方式推送至推流端的消息隊(duì)列中；通過(guò)推流端將圖像字節(jié)流型數(shù)據(jù)異步寫(xiě)入預(yù)設(shè)緩存區(qū)，以將圖像字節(jié)流型數(shù)據(jù)推流至預(yù)設(shè)推流中心；通過(guò)拉流端從預(yù)設(shè)推流中心拉流每一智能體所對(duì)應(yīng)的視頻流。

技術(shù)研發(fā)人員：石龍,趙千川,李頻捷,李彬,靳曉強(qiáng),韓帥,孫亞朋,歐鵬,李興魯,郭曜瑞,陳妍,王正華,朱金輝
受保護(hù)的技術(shù)使用者：啟元實(shí)驗(yàn)室
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6