本發(fā)明屬于光電檢測，涉及一種飛機試飛全景視覺感知模擬方法、系統(tǒng)、電子終端及存儲介質(zhì)。

背景技術(shù)：

1、飛機試飛是飛機設(shè)計、測試、定型過程中的重要環(huán)節(jié)，對保證其性能和安全發(fā)揮關(guān)鍵作用。在試飛過程中需要采集大量視頻類數(shù)據(jù)，因此需要在飛機各部位加裝相機進行數(shù)據(jù)采集，構(gòu)造飛機試飛全景視頻采集系統(tǒng)，以便及時發(fā)現(xiàn)異常進行記錄和報警。對于各部位相機采集數(shù)據(jù)要求具有高穩(wěn)定性、高可靠性，才能保證對試飛過程的全部記錄。因此對于視頻采集設(shè)備的地面測試成為校驗其可靠性的有效手段，然而，進行測試所需的實驗樣本通常通過仿真測試、場地測試和路測等方式獲得，其中，場地測試的場景單一，無法逼近真實場景；路測的成本高昂且操作復(fù)雜；仿真測試通過計算機模擬各種駕駛場景和道路條件進行大量測試和數(shù)據(jù)分析，然而現(xiàn)有的仿真測試存在通過計算機模擬生成的數(shù)據(jù)與實際工況不符的問題，無法逼近真實場景，導(dǎo)致測試所需的實驗樣本準確性下降，無法滿足實際測試的需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種飛機試飛全景視覺感知模擬方法、系統(tǒng)、電子終端及存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)中由于仿真生成的試飛圖像與實際采集的試飛圖像之間不符，導(dǎo)致測試所需的實驗樣本準確性下降的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明是采用下述技術(shù)方案實現(xiàn)的：

3、第一方面，本發(fā)明提供了一種飛機試飛全景視覺感知模擬方法，包括：

4、控制虛擬場景中的虛擬相機通過飛機全景多視角虛擬成像模型生成飛機試飛多視角圖像，將所述飛機試飛多視角圖像投影至顯示器；

5、控制真實相機采集顯示器圖像，基于所述顯示器圖像標(biāo)定所述真實相機與所述顯示器的變換外參數(shù)，建立所述真實相機與所述顯示器的映射關(guān)系；

6、基于所述顯示器圖像和所述顯示器顯示的飛機試飛多視角圖像，建立所述顯示器與所述虛擬相機之間的映射關(guān)系；

7、根據(jù)真實相機與所述顯示器的映射關(guān)系、所述顯示器與虛擬相機之間的映射關(guān)系，建立所述真實相機與所述虛擬相機之間的映射關(guān)系；

8、控制所述虛擬相機根據(jù)飛機試飛實時視頻連續(xù)向所述顯示器投影飛機試飛的實時多視角圖像，并控制所述真實相機實時采集顯示器圖像；

9、根據(jù)所述真實相機與所述虛擬相機之間的映射關(guān)系、及所述真實相機實時采集的顯示器圖像，獲取在虛擬場景中感知模擬的真實相機視角下的飛機試飛全景圖像；

10、其中，所述虛擬相機在虛擬場景中的分布部位與真實相機在真實場景的分布部位相一致。

11、進一步地，在控制真實相機采集顯示器圖像之前：

12、通過張正友相機標(biāo)定法處理所述顯示器顯示的飛機試飛多視角圖像，對所述真實相機的內(nèi)參數(shù)進行標(biāo)定。

13、進一步地，還包括：

14、基于所述標(biāo)定的真實相機內(nèi)參數(shù)，通過opencv的圖像去畸變函數(shù)處理所述顯示器顯示的飛機試飛多視角圖像，完成圖像去畸變，得到無畸變的飛機試飛多視角圖像，將所述無畸變的飛機試飛多視角圖像投影至顯示器。

15、第二方面，本發(fā)明提供了一種飛機試飛異常測試方法，所述方法包括：

16、獲取飛機試飛全景圖像；

17、將所述飛機試飛全景圖像輸入至預(yù)訓(xùn)練的對抗網(wǎng)絡(luò)模型，獲得生成圖像，計算所述生成圖像和飛機試飛全景圖像的像素級差異值，若所述像素級差異值大于預(yù)設(shè)定的差異值閾值，表明飛機試飛異常；否則表明飛機試飛正常；

18、其中，所述飛機試飛全景圖像采用第一方面任一項所述的飛機試飛全景視覺感知模擬方法獲取。

19、進一步地，所述對抗網(wǎng)絡(luò)模型包括生成器和判別器，所述對抗網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

20、將訓(xùn)練樣本輸入預(yù)構(gòu)建的對抗網(wǎng)絡(luò)模型，通過所述對抗網(wǎng)絡(luò)模型的生成器生成圖像；

21、利用判別器判別所述生成器生成的圖像與對應(yīng)所輸入訓(xùn)練樣本的相似度；

22、通過梯度反向傳播算法，迭代更新生成器的參數(shù)，直至所述相似度達到最大。

23、進一步地，計算所述生成圖像和虛擬視角相機圖像的像素級差異值包括：

24、通過二范數(shù)損失函數(shù)計算所述生成圖像和虛擬視角相機圖像的像素級差異值：

25、，

26、其中，為像素級差異值；為虛擬視角相機圖像，為生成圖像。

27、第三方面，本發(fā)明提供了一種上述第一方面所述的飛機試飛全景視覺感知模擬方法的模擬系統(tǒng)，包括：

28、圖像生成模塊，用于控制虛擬場景中的虛擬相機通過飛機全景多視角虛擬成像模型生成飛機試飛多視角圖像，將所述飛機試飛多視角圖像投影至顯示器；

29、映射模塊，用于控制真實相機采集顯示器圖像，基于所述顯示器圖像標(biāo)定所述真實相機與所述顯示器的變換外參數(shù)，建立所述真實相機與所述顯示器的映射關(guān)系；基于所述顯示器圖像和所述顯示器顯示的飛機試飛多視角圖像，建立所述顯示器與所述虛擬相機之間的映射關(guān)系；根據(jù)真實相機與所述顯示器的映射關(guān)系、所述顯示器與虛擬相機之間的映射關(guān)系，建立所述真實相機與所述虛擬相機之間的映射關(guān)系；

30、模擬模塊，用于控制所述虛擬相機根據(jù)飛機試飛實時視頻連續(xù)向所述顯示器投影飛機試飛的實時多視角圖像，并控制所述真實相機實時采集顯示器圖像；根據(jù)所述真實相機與所述虛擬相機之間的映射關(guān)系、及所述真實相機實時采集的顯示器圖像，獲取在虛擬場景中感知模擬的真實相機視角下的飛機試飛全景圖像；

31、其中，所述虛擬相機在虛擬場景中的分布部位與真實相機在真實場景的分布部位相一致。

32、第四方面，本發(fā)明提供了一種電子終端，包括處理器與所述處理器連接的

33、存儲器，在所述存儲器內(nèi)存儲有計算機程序，當(dāng)所述計算機程序被所述處理器執(zhí)行時，執(zhí)行如上述第一方面或第二方面所述方法的步驟。

34、第五方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)上述第一方面或第二方面所述方法的步驟。

35、與現(xiàn)有技術(shù)相比，本發(fā)明所達到的有益效果：

36、通過預(yù)構(gòu)建的飛機全景多視角虛擬成像模型生成飛機多視角圖像并投影至顯示器，又采用真實相機采集顯示器圖像，進而建立真實相機到虛擬相機的圖像變換，實現(xiàn)在虛擬場景中進行飛機全景空間的視覺感知，用于模擬飛機試飛過程中的數(shù)據(jù)采集，提高了視頻采集設(shè)備進行地面測試時的穩(wěn)定性和可靠性；

37、又通過二范數(shù)損失函數(shù)計算所述生成圖像和虛擬視角相機圖像的像素級差異值，將所述像素級差異值與預(yù)設(shè)定的差異值閾值比較，對獲取的虛擬視角相機圖像進行判定，提高了測試所需的實驗樣本的準確性。

技術(shù)特征：

1.一種飛機試飛全景視覺感知模擬方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的飛機試飛全景視覺感知模擬方法，其特征在于，在控制真實相機采集顯示器圖像之前：

3.根據(jù)權(quán)利要求2所述的飛機試飛全景視覺感知模擬方法，其特征在于，還包括：

4.一種飛機試飛異常測試方法，其特征在于，所述方法包括：

5.根據(jù)權(quán)利要求4所述的飛機試飛異常測試方法，其特征在于，所述對抗網(wǎng)絡(luò)模型包括生成器和判別器，所述對抗網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

6.根據(jù)權(quán)利要求4所述的飛機試飛異常測試方法，其特征在于，計算所述生成圖像和虛擬視角相機圖像的像素級差異值包括：

7.一種飛機試飛全景視覺感知模擬系統(tǒng)，其特征在于，包括：

8.一種電子終端，其特征在于，包括處理器與所述處理器連接的存儲器，在所述存儲器內(nèi)存儲有計算機程序，當(dāng)所述計算機程序被所述處理器執(zhí)行時，執(zhí)行如權(quán)利要求1-3或權(quán)利要求4-6任一項所述方法的步驟。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-3或權(quán)利要求4-6任一項所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了光電檢測技術(shù)領(lǐng)域的一種飛機試飛全景視覺感知模擬方法、系統(tǒng)、電子終端及存儲介質(zhì)，方法包括：生成飛機試飛多視角圖像，將所述飛機試飛多視角圖像投影至顯示器；根據(jù)真實相機與所述顯示器的映射關(guān)系、所述顯示器與虛擬相機之間的映射關(guān)系，建立所述真實相機與所述虛擬相機之間的映射關(guān)系；控制所述虛擬相機根據(jù)飛機試飛實時視頻連續(xù)向所述顯示器投影飛機試飛的實時多視角圖像，并控制所述真實相機實時采集顯示器圖像；獲取在虛擬場景中感知模擬的真實相機視角下的飛機試飛全景圖像。能夠解決現(xiàn)有技術(shù)中由于試飛圖像與實際采集的試飛圖像之間不符，導(dǎo)致測試所需的實驗樣本準確性下降的技術(shù)問題。

技術(shù)研發(fā)人員：潘曉,魏智鵬,賀旭陽
受保護的技術(shù)使用者：江蘇集萃智能光電系統(tǒng)研究所有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6