本發(fā)明屬于數(shù)據(jù)傳輸，具體涉及一種基于未來場景生成網(wǎng)絡的遠控抗時延視頻傳輸方法。

背景技術：

1、隨著5g通信的發(fā)展和汽車無人化的發(fā)展，穩(wěn)定的視頻傳輸系統(tǒng)至關重要。對于基于5g遠程控制的無人駕駛而言，車輛需要實時傳輸高清圖像和視頻，以便遠程控制中心或其他車輛進行分析和決策。例如：

2、1.在某些情況下，遠程操作員需要通過駕駛艙，介入無人駕駛車輛的控制；通過5g網(wǎng)絡，遠程操作員可以接收到車輛傳輸?shù)膶崟r視頻流，實時了解車輛周圍的環(huán)境，并進行遠程操作。

3、2.無人駕駛車輛之間可以通過5g網(wǎng)絡實時共享圖像和視頻信息，實現(xiàn)車輛協(xié)同；例如，前方車輛可以將道路狀況的實時視頻傳輸給后方車輛，幫助其提前做出決策。

4、3.無人駕駛車輛需要高精度地圖來輔助導航，車輛可以實時捕捉道路和環(huán)境的圖像，并通過5g網(wǎng)絡傳輸?shù)降貓D服務器，實時更新和構(gòu)建高精度地圖。

5、然而，現(xiàn)有的5g網(wǎng)絡傳輸存在問題如下：

6、5g網(wǎng)絡雖然具有較低的時延，但在遠程控制無人駕駛車輛時，視頻流的傳輸仍然存在一定的傳輸延遲，特別是在網(wǎng)絡狀況不穩(wěn)定或距離較遠的情況下；在無人駕駛車輛裝載多個相機時，視頻流的負載壓力進一步加大；在此情況下，可能會導致遠程駕駛艙的顯示屏黑屏，車輛之間共享視頻幀或地圖服務器視頻幀丟失等問題。以往的5g遠控視頻傳輸技術對于此問題沒有對應的優(yōu)化或補償方法。

技術實現(xiàn)思路

1、針對于上述現(xiàn)有技術的不足，本發(fā)明的目的在于提供一種基于未來場景生成網(wǎng)絡的遠控抗時延視頻傳輸方法，以解決現(xiàn)有技術在進行遠程車輛控制時因網(wǎng)絡不穩(wěn)定性導致的視頻幀丟失或視頻幀延遲到達帶來的視頻卡頓、黑屏問題。

2、為達到上述目的，本發(fā)明采用的技術方案如下：

3、本發(fā)明的一種基于未來場景生成網(wǎng)絡的遠程控制抗時延視頻傳輸方法，應用于遠程車輛控制場景中，場景中包含遠控車輛、云服務器、遠程駕駛艙、顯示屏，所述云服務器通過網(wǎng)絡分別與遠控車輛、遠端駕駛艙數(shù)據(jù)連接，遠端駕駛艙與顯示屏通過數(shù)據(jù)線連接；方法步驟如下：

4、1）將遠控車輛和遠程駕駛艙的時間基準進行同步；

5、2）通過多路環(huán)視攝像頭采集遠控車輛所處環(huán)境的原始視頻流數(shù)據(jù)；

6、3）將原始視頻流數(shù)據(jù)中添加攝像頭編號和時間戳信息，編碼、加密后發(fā)送給云服務器；

7、4）云服務器對接收到的視頻流數(shù)據(jù)進行解密、解碼，并對解碼后的視頻流數(shù)據(jù)進行預處理，以生成多路未來場景；

8、5）生成多路未來場景視頻流數(shù)據(jù)；

9、6）將多路未來場景視頻流中添加攝像頭編號以及時間戳信息；

10、7）將原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)進行編碼、加密后發(fā)送給遠程駕駛艙；

11、8）遠程駕駛艙對接收到的數(shù)據(jù)解密、解碼并分發(fā)；

12、9）對原始視頻流數(shù)據(jù)進行丟包和時延檢測，同時對未來場景視頻流數(shù)據(jù)進行視覺質(zhì)量優(yōu)化；

13、10）形成完整連續(xù)的視頻流。

14、進一步地，所述步驟1）具體包括：

15、11）遠程駕駛艙中的gps授時設備接收導航衛(wèi)星的標準時間信號，并基于通用精確時間協(xié)議將時間信息同步至遠程駕駛艙的各個子系統(tǒng)；

16、12）遠控車輛中的gps授時設備接收導航衛(wèi)星的標準時間信號，并將其轉(zhuǎn)換為遠控車輛系統(tǒng)的時間基準信號，以保證遠控車輛與遠程駕駛艙的時間一致性。

17、進一步地，所述步驟2）具體包括：

18、21）將多路環(huán)視攝像頭均勻安裝在遠控車輛的車身四周，確保攝像頭能夠覆蓋車輛周圍360度的視野；根據(jù)每個攝像頭的安裝位置進行角度和焦距的校準，確保視頻畫面的清晰度和無畸變；使用激光測距儀和標定板對每個攝像頭進行動態(tài)和靜態(tài)校準，確保其采集到的視頻流數(shù)據(jù)符合預期的視覺感知標準；

19、22）對各環(huán)視攝像頭采集到的遠控車輛所處環(huán)境的實時視頻數(shù)據(jù)按照設定的幀率和分辨率進行格式處理；所述遠控車輛所處環(huán)境包括：道路、交通狀況、自然環(huán)境、障礙物以及遠控車輛可能面臨的特殊作業(yè)場景。

20、進一步地，所述步驟3）具體包括：

21、31）對視頻流數(shù)據(jù)進行處理時，在每一幀視頻數(shù)據(jù)中嵌入相應的攝像頭編號和時間戳信息；

22、32）使用高效視頻編碼編碼器對嵌入攝像頭編號和時間戳信息后的原始視頻流數(shù)據(jù)進行壓縮編碼，原始視頻流數(shù)據(jù)在壓縮編碼被分割為若干帶有攝像頭編號和時間戳的視頻段，便于后續(xù)的加密和傳輸；

23、33）對壓縮編碼后的視頻流數(shù)據(jù)進行加密，采用aes-128加密算法對每個視頻段進行加密，每個視頻段在加密處理后變?yōu)槊芪牧鳎?/p>

24、34）將加密后視頻流數(shù)據(jù)通過hls傳輸協(xié)議進行打包和傳輸給云服務器；hls傳輸協(xié)議將視頻流數(shù)據(jù)分割為小的文件段，通過http進行順序傳輸。

25、進一步地，所述步驟4）具體包括：

26、41）云服務器使用aes-128解密算法對接收到的視頻流數(shù)據(jù)進行解密處理；

27、42）使用高效視頻編碼解碼器將解密后的視頻流數(shù)據(jù)恢復為原始視頻幀；解碼后的每一幀都保留攝像頭編號和時間戳信息；

28、43）將解碼后的n幀視頻分為n-1組，并對每組圖像進行高斯金字塔下采樣，將圖像尺寸調(diào)整為1024x512，再對圖像像素值進行歸一化處理，將其范圍調(diào)整到[0,1]，同時將圖像數(shù)據(jù)類型轉(zhuǎn)換為float32，通過將圖像的像素值除以255以及相應的數(shù)據(jù)格式轉(zhuǎn)換函數(shù)來實現(xiàn)；將圖像的顏色通道順序從rgb轉(zhuǎn)換為未來場景生成所需的bgr格式，并將通道順序調(diào)整為通道數(shù)、高、寬；根據(jù)設置好的批次大小，將每組圖像打包成一個批次。

29、進一步地，所述步驟5）具體包括：

30、51）從每組圖像中提取多尺度、多層次的淺層特征；通過分層的卷積層逐步處理輸入圖像，提取出細粒度的特征圖；在每個卷積層中，逐步降低輸入特征圖的分辨率，并不斷增加通道數(shù)，壓縮數(shù)據(jù)量并保留特征信息；

31、52）進一步優(yōu)化步驟51）中得到的特征圖，通過多尺度膨脹卷積來增強特征的表達能力，使用膨脹卷積在不增加計算量的情況下擴大感受野，從而整合來自不同空間尺度的信息；通過設置不同的膨脹率來處理來自不同尺度的特征圖，能夠獲取輸入圖像在多個尺度上的邊緣、紋理和局部形狀信息；再使用線性層對特征圖進行融合，生成跨尺度的外觀特征，以此保留輸入特征的細節(jié)信息，并增強了特征圖的全局上下文信息；

32、53）利用transformer結(jié)構(gòu)與幀間注意力機制捕捉輸入兩幀之間的運動信息和外觀信息；通過幀間注意力機制實現(xiàn)運動信息和外觀信息的統(tǒng)一提取；所述幀間注意力機制通過計算當前幀與相鄰幀之間的相似度，生成用于提取運動特征的注意力圖，注意力圖能夠捕捉幀間的運動信息，且在不丟失細節(jié)的情況下增強外觀特征的表達能力，使得在生成未來視頻幀時能夠準確反映輸入視頻幀之間的運動變化，同時保留物體的細節(jié)和紋理；

33、54）將獲得的特征信息轉(zhuǎn)化為具體的光流估計，并逐步細化估計結(jié)果，最終生成準確的未來視頻幀；具體為：通過線性擴展和特征融合生成初步的光流估計，初步的光流估計表示輸入視頻幀之間的像素運動，逐級細化初步的光流估計，使得初步的光流估計能夠準確捕捉到輸入視頻幀中的細微運動變化；使用3層卷積層，每層卷積層都通過計算殘差來不斷更新和修正前一層的估計結(jié)果，結(jié)合上采樣操作，使得初步的光流估計能夠逐步恢復到與輸入圖像相同的分辨率；將生成的光流和融合圖用于合成未來視頻幀，確保合成幀與輸入視頻幀在視覺上的一致性和運動上的連貫性；

34、55）對步驟54）中生成的未來視頻幀進行細化處理，以提升最終輸出視頻幀的視覺質(zhì)量；具體為：利用多尺度特征和上下文信息對未來視頻幀進行修復，確保輸出視頻幀的高質(zhì)量；在細化網(wǎng)絡中，初步生成的未來視頻幀經(jīng)過幾次下采樣，以提取多尺度的特征，特征通過卷積層處理，進一步增強紋理和細節(jié)信息；再通過上采樣操作，將特征被恢復到與輸入視頻幀相同的分辨率，并與初始未來視頻幀融合，生成最終輸出未來視頻幀；

35、56）對細化處理生成的未來視頻幀進行封裝，按照順序進行視頻幀的組裝，得到在時域上快于原始視頻流v_o={fo_1,fo_2,...,fo_m}若干幀的生成視頻流v_g{fg_1,fg_2,...,fg_m}，其中m為總幀數(shù)，fo_i，fg_i分別表示原始視頻流和生成視頻流的第i幀。

36、進一步地，所述步驟6）具體包括：

37、對每一路未來場景視頻流中添加與采集到的原始視頻流攝像機編號相同的攝像機編號，同時，對生成的每一路未來場景視頻流的視頻幀添加時間戳信息，其中原始視頻幀的時間戳t_1和對應生成的未來場景視頻幀t_2存在對應關系如下：

38、t_2=t_1?+?t_p

39、其中，t_p表示生成的未來場景視頻流在時域上快于原始視頻流的時間。

40、進一步地，所述步驟7）具體包括：

41、71）使用高效視頻編碼根據(jù)設定的幀率和分辨率對原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)進行壓縮編碼；

42、72）采用aes-128對稱加密算法對壓縮編碼后的原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)進行加密處理，每個視頻段在加密后轉(zhuǎn)化為密文流，加密過程中，攝像頭編號和時間戳信息同樣被加密；

43、73）將編碼、加密處理后的原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)通過hls傳輸協(xié)議發(fā)送至遠程駕駛艙。

44、進一步地，所述步驟8）具體包括：

45、81）使用aes-128解密算法對接收到的原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)進行解密；

46、82）使用高效視頻編碼解碼器將壓縮后的原始視頻流數(shù)據(jù)和未來場景視頻流數(shù)據(jù)為原始視頻v_o和生成視頻v_g，解碼過程中，從接收到的兩種視頻流數(shù)據(jù)中提取每一幀視頻，確保視頻的清晰度和完整性，解碼后的每一幀生成視頻幀都保留攝像頭編號和時間戳信息。

47、進一步地，所述步驟9）中對原始視頻流數(shù)據(jù)進行丟包和時延檢測具體包括：

48、分析原始視頻流中的視頻數(shù)據(jù)包的接收時間點和序列號，檢測是否存在丟包現(xiàn)象得到下一個顯示周期需要顯示但未能接收到的缺失視頻幀集合m，集合m中包含所有缺失幀的序號。

49、進一步地，所述步驟9）中對未來場景視頻流數(shù)據(jù)進行視覺質(zhì)量優(yōu)化具體包括：

50、91）去時延優(yōu)化編碼；

51、利用去時延編碼器逐層提取生成視頻幀{fg_1,fg_2,...,fg_m}}的多尺度特征，將輸入圖像從原始的高分辨率逐步降采樣，以捕捉更深層次的語義信息；通過每層的下采樣操作壓縮圖像尺寸，并捕獲更大的感受野以獲取圖像的全局結(jié)構(gòu)信息；編碼器由多個非線性激活卷積層組成，每個非線性激活卷積層包含卷積層、非線性激活層、注意力機制層、跳躍連接層以及下采樣層；去時延編碼器對生成視頻幀進行編碼，得到含有全局信息的淺層生成視頻幀特征fg_s；

52、92）生成視頻幀深層特征提取；

53、對編碼器提取的淺層生成視頻幀特征fg_s進行進一步處理，進行進一步的特征提取、增強重要信息并減少冗余信息，得到深層特征fg_d；

54、93）去時延優(yōu)化解碼；

55、利用去時延優(yōu)化解碼器進行上采樣，通過上采樣方法?pixelshuffle進行實現(xiàn)；將每個像素值分配到更大的空間，從而實現(xiàn)圖像分辨率的倍增，同時將通道數(shù)減半；去時延優(yōu)化解碼器將編碼器、中間層提取和處理后的特征逐步恢復到原始圖像的分辨率；通過逐層上采樣，去時延優(yōu)化解碼器重建圖像的空間結(jié)構(gòu)和細節(jié)信息；在恢復圖像分辨率的過程中，與編碼器的對應層進行跳躍連接，將高分辨率特征與低分辨率特征融合，以保留更多細節(jié)；去時延優(yōu)化解碼器對生成視頻幀的深層特征fg_d進行解碼，輸出去模糊、去延時后的生成視頻幀{fhq_1,fhq_2,...,fhq_m},其中m為總幀數(shù)，fhq_i表示第i幀高質(zhì)量生成視頻幀；將高質(zhì)量生成視頻幀生成視頻幀的時間戳與所述步驟82）提取的生成視頻幀的時間戳對齊，以組裝成高質(zhì)量生成視頻流v_hq。

56、進一步地，所述步驟10）具體包括：

57、將利用優(yōu)化后的高質(zhì)量生成視頻流v_hq進行補償?shù)耐暾曨l數(shù)據(jù)傳輸至駕顯示屏上進行實時回顯。

58、本發(fā)明的有益效果：

59、1、高效的視頻傳輸與優(yōu)化；

60、本發(fā)明通過引入基于深度學習未來場景生成和視覺質(zhì)量優(yōu)化，使得視頻傳輸在遠程控制應用中更加高效和穩(wěn)定。尤其在網(wǎng)絡狀況較差或帶寬受限的情況下，能夠利用視頻補償機制，對即將傳輸?shù)膱鼍斑M行預測并生成補償幀，確保了視頻的流暢性和清晰度。本發(fā)明有效減少了在一控多以及多路視頻傳輸場景下云端服務器的計算壓力；此外，在視頻傳輸過程中實時消除因運動模糊或壓縮導致的圖像失真以及生成圖像的延時問題，使得操作人員能夠獲得高質(zhì)量的視頻回顯，進一步提高了遠程操作的精度和可靠性，極大地減少了因網(wǎng)絡不穩(wěn)定性導致的視頻卡頓和質(zhì)量下降的現(xiàn)象，為5g遠程控制的廣泛應用提供了技術保障。

61、2、抗時延能力強；

62、本發(fā)明大幅減少了視頻傳輸中的延遲，未來場景生成可以提前預測和生成未來時刻的視頻內(nèi)容，從而有效地填補由于傳輸延遲或數(shù)據(jù)丟包而可能出現(xiàn)的視頻空白。本發(fā)明使用的未來場景生成通過幀間注意力機制實現(xiàn)了運動和外觀信息的統(tǒng)一處理，提高了生成效率。尤其適用于需要極高實時性的應用場景，如遠程駕駛、工業(yè)機器人控制等，顯著提升了系統(tǒng)的響應速度和實時性，保證了遠程操作的安全性和操作體驗。

63、3、智能預測與補償；

64、本發(fā)明能夠?qū)ξ磥韼讕曨l進行預測，在網(wǎng)絡環(huán)境不理想或視頻傳輸過程中出現(xiàn)丟幀的情況下，能夠通過生成預測幀來補償丟失的數(shù)據(jù)，從而保持視頻流的連續(xù)性和一致性；不僅提高了視頻傳輸?shù)聂敯粜裕€有效避免了因丟幀導致的操作失誤或信息缺失，確保了遠程控制操作的準確性和安全性。

65、4、適應性強；

66、本發(fā)明考慮了不同網(wǎng)絡狀況和傳輸延遲的變化，具備很強的適應性，可以根據(jù)實時檢測到的網(wǎng)絡情況，實時調(diào)整視頻傳輸策略和補償機制。例如，在網(wǎng)絡狀況較差的情況下，可以增加預測幀的比例，或降低視頻傳輸?shù)姆直媛室詼p少延遲；而在網(wǎng)絡狀況較好的情況下，則可以提供高分辨率和高幀率的視頻傳輸。這種靈活的適應性設計，確保了系統(tǒng)在各種復雜環(huán)境下都能穩(wěn)定工作，保證了遠程操作的連續(xù)性和用戶體驗。