本發(fā)明涉及一種感知增強(qiáng)的信道多模態(tài)預(yù)知性建模方法，屬于無線通信。

背景技術(shù)：

1、在第六代移動(dòng)通信系統(tǒng)中，通信感知一體化(isac)技術(shù)將利用無線信號(hào)實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)、定位、成像、識(shí)別等感知功能，獲取周圍物理環(huán)境信息，以此實(shí)現(xiàn)通信與感知的軟硬件集成與共生性能提升。在isac通感系統(tǒng)中，通信與感知信道的測(cè)量與建模是isac系統(tǒng)設(shè)計(jì)、部署與性能優(yōu)化的基礎(chǔ)，感知數(shù)據(jù)一般作為先驗(yàn)知識(shí)用于輔助通信信道的建模。然而，在實(shí)際的isac系統(tǒng)中，感知數(shù)據(jù)無法實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的全覆蓋回波探測(cè)，但在感知信號(hào)的盲區(qū)仍存在著通信鏈路的硬性需求，如何基于已知區(qū)域的有限感知數(shù)據(jù)來預(yù)知性的建模未知區(qū)域的通信信道特性，且基于實(shí)際的通感環(huán)境的信息來輔助預(yù)測(cè)的精度與效率，在isac系統(tǒng)中是一個(gè)關(guān)鍵性的技術(shù)難題。

2、現(xiàn)有技術(shù)中，對(duì)于isac信道中感知數(shù)據(jù)的利用集中在將同一時(shí)刻的感知簇作為已知先驗(yàn)知識(shí)，通過反演定位追蹤等算法將感知簇的位置信息記錄，解析出感知徑的時(shí)延和角度，進(jìn)而基于設(shè)定的共享度參數(shù)來確定一部分共享散射體的位置和共享簇信息，據(jù)此生成一部分通信信道的參數(shù)，完成感知數(shù)據(jù)對(duì)于通信信道建模的輔助。但此類方法只能在同一時(shí)刻、且收發(fā)機(jī)距離較近的前提下才能奏效，而且共享率參數(shù)和共享簇的選取方法一般是人為指定，因此由感知數(shù)據(jù)輔助的通信信道建模精度較低，無法滿足在感知數(shù)據(jù)未覆蓋區(qū)域的感知增強(qiáng)通信信道建模。此外，對(duì)于已有的基于環(huán)境信息輔助的信道建模技術(shù)，它們都是將鏈路特征、圖像特征等直接輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中，預(yù)測(cè)有限的若干大尺度信道參數(shù)，如路徑損耗、接收功率、時(shí)延擴(kuò)展，不包含時(shí)序信息，無法直接應(yīng)用于未知位置的完整的大、小尺度信道建模。對(duì)于已有的信道預(yù)測(cè)技術(shù)，它們雖然含有時(shí)序信息，但預(yù)測(cè)的范圍限制在幾個(gè)波長(zhǎng)的準(zhǔn)相干距離內(nèi)，然而，對(duì)于感知數(shù)據(jù)未覆蓋的區(qū)域，與已有感知數(shù)據(jù)的區(qū)域的距離是遠(yuǎn)大于信道相干距離的，在這一范圍內(nèi)信道已經(jīng)發(fā)生了多徑的時(shí)延功率變化、甚至是由于傳播環(huán)境改變導(dǎo)致的多徑生滅效應(yīng)，因此已有的信道預(yù)測(cè)技術(shù)也難以應(yīng)用于這一問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的技術(shù)要解決的問題是：克服現(xiàn)有技術(shù)的不足，提出一種感知增強(qiáng)的信道多模態(tài)預(yù)知性建模方法，將已有感知數(shù)據(jù)位置的雙基地感知信道數(shù)據(jù)作為時(shí)序特征模態(tài)，用以增強(qiáng)通信信道數(shù)據(jù)的預(yù)測(cè)性能。由于多點(diǎn)長(zhǎng)距離與復(fù)雜電磁傳播環(huán)境的時(shí)序時(shí)延功率譜(pdp)序列存在著非平穩(wěn)性，將已知感知數(shù)據(jù)的大尺度參數(shù)特征，包括路徑損耗、均方根時(shí)延擴(kuò)展，以及感知接收點(diǎn)位置的鏈路拓?fù)涮卣?，包括相?duì)橫坐標(biāo)、相對(duì)縱坐標(biāo)、相對(duì)三維距離、俯仰角輸入到鏈路特征提取單元，將代表環(huán)境信息的矢量地圖圖片經(jīng)預(yù)處理后輸入到基于預(yù)訓(xùn)練深度殘差網(wǎng)絡(luò)的視覺特征提取單元，將時(shí)序感知數(shù)據(jù)輸入到多層門控循環(huán)單元中提取時(shí)序特征。將上述的多模態(tài)信道與環(huán)境特征進(jìn)行特征融合后再接入到多層感知機(jī)中預(yù)測(cè)感知數(shù)據(jù)未覆蓋區(qū)域的時(shí)序通信數(shù)據(jù)。對(duì)于感知數(shù)據(jù)與通信數(shù)據(jù)采樣點(diǎn)數(shù)的取值，采用平穩(wěn)距離來度量信道未發(fā)生明顯變化的區(qū)域，已知感知數(shù)據(jù)點(diǎn)數(shù)和待預(yù)測(cè)通信數(shù)據(jù)點(diǎn)數(shù)根據(jù)平穩(wěn)距離來選定。

2、本發(fā)明的技術(shù)解決方案是：

3、一種感知增強(qiáng)的信道多模態(tài)預(yù)知性建模方法，該方法的步驟包括：

4、步驟一，計(jì)算目標(biāo)區(qū)域的平穩(wěn)距離，根據(jù)計(jì)算得到的平穩(wěn)距離確定感知時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)m和通信時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)n；

5、步驟二，根據(jù)步驟一中確定的時(shí)域采樣點(diǎn)數(shù)m和時(shí)域采樣點(diǎn)數(shù)n，離散化時(shí)延功率譜數(shù)據(jù)，得到離散時(shí)延值，再對(duì)時(shí)延功率譜數(shù)據(jù)的噪底進(jìn)行歸一化，得到感知時(shí)序序列的時(shí)序模態(tài)特征；

6、步驟三，基于感知時(shí)序序列的統(tǒng)計(jì)特征和位置拓?fù)涮卣鳎瑯?gòu)建鏈路模態(tài)特征；

7、步驟四，基于環(huán)境矢量地圖，構(gòu)建標(biāo)準(zhǔn)化和尺寸歸一化的視覺模態(tài)特征；

8、步驟五，根據(jù)步驟二中得到的時(shí)序模態(tài)特征、步驟三構(gòu)建的鏈路模態(tài)特征和步驟四中構(gòu)建的視覺模態(tài)特征，構(gòu)建基于門控循環(huán)單元、多層感知機(jī)和預(yù)訓(xùn)練深度殘差網(wǎng)絡(luò)的多模態(tài)網(wǎng)絡(luò)，得到多模態(tài)預(yù)知性建模結(jié)果。

9、所述步驟一中，任意t1時(shí)刻的目標(biāo)區(qū)域的平穩(wěn)距離為：

10、

11、其中，δd為相鄰采樣點(diǎn)的間距，dqs(t1)為t1時(shí)刻的平穩(wěn)距離；t2為不同于t1的時(shí)刻；cth為相關(guān)系數(shù)的閾值；

12、

13、υ(t1；τ)＝|r(t1；τ)|2

14、γ(t2；τ)＝|r(t2；τ)|2

15、其中，υ(t1；τ)為t1時(shí)刻以模平方為單位的時(shí)延功率譜數(shù)據(jù)，γ(t2；τ)為t2時(shí)刻以模平方為單位的時(shí)延功率譜數(shù)據(jù)，τ是時(shí)延維度，r(t1；τ)是t1時(shí)刻的信道沖激響應(yīng)，r(t2；τ)是t2時(shí)刻的信道沖激響應(yīng)。

16、所述步驟一中，根據(jù)得到的平穩(wěn)距離確定感知時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)m和通信時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)n的方法為：

17、感知模式為雙基地感知，isac系統(tǒng)模型為發(fā)射端固定、接收端沿著某條路線前進(jìn)，前m個(gè)時(shí)刻作為雙基地感知數(shù)據(jù)即感知時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)m、后n個(gè)時(shí)刻作為通信數(shù)據(jù)即通信時(shí)序序列的時(shí)域采樣點(diǎn)數(shù)n，滿足：

18、

19、其中，為目標(biāo)區(qū)域內(nèi)平穩(wěn)距離的平均值。

20、所述步驟二中，離散時(shí)延值為：

21、

22、其中，δτ為時(shí)延分辨率，fs為采樣率，τcon為連續(xù)時(shí)延值，τdis為離散時(shí)延值，為取整運(yùn)算符；

23、所述步驟二中，對(duì)時(shí)延功率譜數(shù)據(jù)的噪底進(jìn)行歸一化的方法為：

24、將時(shí)延功率譜數(shù)據(jù)轉(zhuǎn)為對(duì)數(shù)單位：

25、ω(t；τ)＝10·log10(υ(t；τ))

26、其中，γ(t；τ)為t時(shí)刻以模平方為單位的時(shí)延功率譜數(shù)據(jù)，ω(t；τ)為以dbm為單位的時(shí)延功率譜數(shù)據(jù)。對(duì)全部多徑功率按照噪底進(jìn)行平移歸一化，設(shè)噪底為-p(dbm)，則將ω(t；τ)中全部多徑功率都加p，在網(wǎng)絡(luò)輸出結(jié)果后再反歸一化。

27、所述步驟二中，得到的感知時(shí)序序列的時(shí)序模態(tài)特征為：

28、ft＝ω(t；τ)(t＝1,2,...,m)+p

29、上式中，將ω(t；τ)中的前m個(gè)時(shí)刻作為網(wǎng)絡(luò)的輸入時(shí)間步，后n個(gè)時(shí)刻作為網(wǎng)絡(luò)的輸出時(shí)間步，時(shí)延維度的時(shí)延功率譜數(shù)據(jù)作為每個(gè)時(shí)間步的特征維度。

30、所述步驟三中，所構(gòu)建的鏈路模態(tài)特征為：

31、

32、感知數(shù)據(jù)統(tǒng)計(jì)特征包括前m個(gè)時(shí)間步感知數(shù)據(jù)的路徑損耗均值和均方根時(shí)延擴(kuò)展的均值，路徑損耗均值的計(jì)算公式為：

33、

34、其中，為第m個(gè)感知點(diǎn)的發(fā)射功率，為第m個(gè)感知點(diǎn)的接收功率，均方根時(shí)延擴(kuò)展均值的計(jì)算公式為：

35、

36、其中，am,l為第m個(gè)感知點(diǎn)的第l條多徑的功率，l為多徑數(shù)，τm,l為第m個(gè)感知點(diǎn)的第l條多徑的時(shí)延；

37、位置拓?fù)涮卣靼ㄇ癿個(gè)時(shí)間步感知數(shù)據(jù)的相對(duì)橫坐標(biāo)均值、相對(duì)縱坐標(biāo)均值、相對(duì)三維距離均值、俯仰角均值，相對(duì)橫坐標(biāo)均值的計(jì)算方法為：

38、

39、其中，為第m個(gè)感知點(diǎn)的橫坐標(biāo)，xt為發(fā)射機(jī)的橫坐標(biāo)，相對(duì)縱坐標(biāo)均

40、值的計(jì)算方法為：

41、

42、其中，為第m個(gè)感知點(diǎn)的縱坐標(biāo)，yt為發(fā)射機(jī)的縱坐標(biāo)。相對(duì)三維距離均值的計(jì)算方法為下式，其中zr為接收機(jī)的高度、zt為發(fā)射機(jī)的高度；

43、

44、俯仰角均值的計(jì)算方法為：

45、

46、所述步驟四中，所構(gòu)建的標(biāo)準(zhǔn)化和尺寸歸一化的視覺模態(tài)特征為：

47、fmap＝{i1,i2,...,in}

48、其中，in(n＝1,2,…,n)為第n張圖片，作為多模態(tài)網(wǎng)絡(luò)輸入的第n個(gè)通道，由j*j個(gè)像素點(diǎn)構(gòu)成：

49、

50、其中，r為數(shù)據(jù)數(shù)量，p為原圖像中任意一個(gè)像素原本的數(shù)值，原圖像的構(gòu)建方法為：

51、目標(biāo)場(chǎng)景的環(huán)境矢量地圖為.shp結(jié)構(gòu)的文件，建筑物如果從俯視看作由多條邊界線或線段組成的多邊形，從三維上觀察即為一個(gè)棱柱，.shp結(jié)構(gòu)的文件內(nèi)部存儲(chǔ)了每一個(gè)建筑物的高度和邊界線的坐標(biāo)信息；

52、在構(gòu)建發(fā)射機(jī)和通信接收機(jī)之間的代表詳細(xì)傳播環(huán)境的矢量地圖的灰度俯視圖時(shí)，首先繪制出整個(gè)場(chǎng)景的灰度俯視圖，灰度值與建筑物高度的映射關(guān)系為：

53、

54、其中，d為建筑物高度，dmin為當(dāng)前場(chǎng)景中建筑物的最小高度，dmax為當(dāng)前場(chǎng)景中建筑物的最大高度，g為當(dāng)前建筑高度轉(zhuǎn)換后的灰度值，范圍是0-255；

55、在繪制了整個(gè)區(qū)域的灰度俯視地圖之后，從矢量地圖中截取發(fā)射機(jī)和接收機(jī)周圍的矩形區(qū)域，即為收發(fā)機(jī)連線向四周擴(kuò)展de的區(qū)域?yàn)楦兄诺赖挠行鞑^(qū)域，以此為依據(jù)進(jìn)行圖像裁剪并旋轉(zhuǎn)到水平-垂直方向，第n個(gè)通信數(shù)據(jù)點(diǎn)的圖像旋轉(zhuǎn)的角度為下式，其中為第n個(gè)通信接收位置的橫坐標(biāo)、為第n個(gè)通信接收位置的縱坐標(biāo)，n＝1,2,…,n；

56、

57、在此基礎(chǔ)上，將全部圖像的尺寸重塑為j*j，并將圖像的灰度值從0-255歸一化為0-1的范圍。

58、所述步驟五中，構(gòu)建基于門控循環(huán)單元、多層感知機(jī)和預(yù)訓(xùn)練深度殘差網(wǎng)絡(luò)的多模態(tài)網(wǎng)絡(luò)的方法為：

59、基于提取的時(shí)序模態(tài)特征、視覺模態(tài)特征和鏈路模態(tài)特征，設(shè)計(jì)了感知增強(qiáng)的信道多模態(tài)預(yù)知性建模網(wǎng)絡(luò)，各模塊的構(gòu)成為：

60、時(shí)序模態(tài)特征由多層門控循環(huán)單元來提取序列特征，輸入有m時(shí)間步的時(shí)延功率譜數(shù)據(jù)，并取最后一個(gè)時(shí)刻的最后一層網(wǎng)絡(luò)狀態(tài)作為門控循環(huán)網(wǎng)絡(luò)的輸出；

61、n通道的視覺模態(tài)特征先經(jīng)過1*1的卷積層提取特征，變換為三通道，然后由imagenet預(yù)訓(xùn)練權(quán)重的深度殘差網(wǎng)絡(luò)提取圖片特征；

62、感知數(shù)據(jù)統(tǒng)計(jì)特征和位置拓?fù)涮卣鞣謩e經(jīng)過全連接層之后做特征拼接，作為鏈路模態(tài)特征；

63、將時(shí)序模態(tài)、視覺模態(tài)、鏈路模態(tài)分別經(jīng)過基于多層感知機(jī)的特征提取模塊后，做特征拼接，再經(jīng)過多層感知機(jī)并重塑嵌入向量維度為n*時(shí)延點(diǎn)數(shù)，基于均方根誤差作為損失函數(shù)：

64、

65、其中，loss為損失函數(shù)的值，b代表批處理大小，b為b的索引，f為時(shí)延功率譜的長(zhǎng)度、即特征長(zhǎng)度，f為f的索引，代表該批次中第b條數(shù)據(jù)、第f個(gè)特征、第n個(gè)時(shí)間步的預(yù)測(cè)時(shí)延功率譜，代表該批次中第b條數(shù)據(jù)、第f個(gè)特征、第n個(gè)時(shí)間步的真實(shí)時(shí)延功率譜，b＝1,2,…,b，f＝1,2,…,f。

66、所述深度殘差網(wǎng)絡(luò)結(jié)構(gòu)如下：首先，通過一個(gè)7×7、步長(zhǎng)為2的卷積層將原圖像投影到c個(gè)通道上，并對(duì)其進(jìn)行步長(zhǎng)為2的池化操作，然后將處理后的特征輸入到四個(gè)殘差模塊中，這四個(gè)殘差模塊分別用s1，s2，s3，s4表示，每個(gè)殘差模塊包含兩條路徑，其中第一條路徑是輸入特征的直連通路，第二條路徑對(duì)該特征做兩次卷積操作得到該特征的殘差，最后再將兩條路徑上的特征相加，網(wǎng)絡(luò)層的疊放順序是：卷積層、批歸一化層、修正線性單元激活層、卷積層、bn層、殘差相加、relu激活層，另外，所有的殘差模塊都沒有池化層，下采樣只通過設(shè)置卷積時(shí)的步長(zhǎng)來達(dá)成。

67、所述步驟五中，所得到的多模態(tài)預(yù)知性建模結(jié)果為：

68、

69、其中，為多層感知機(jī)函數(shù)，為深度殘差網(wǎng)絡(luò)函數(shù)，為門控循環(huán)單元函數(shù)，⊙為特征拼接運(yùn)算符。

70、有益效果

71、本發(fā)明的一種感知增強(qiáng)的信道多模態(tài)預(yù)知性建模方法，具備了在復(fù)雜環(huán)境中預(yù)測(cè)非平穩(wěn)小尺度信道特性的能力。將已有感知數(shù)據(jù)位置的雙基地感知信道數(shù)據(jù)作為時(shí)序特征模態(tài)，用以預(yù)測(cè)互為時(shí)序關(guān)系的相鄰位置的通信小尺度數(shù)據(jù)。將包含感知數(shù)據(jù)統(tǒng)計(jì)特征和位置拓?fù)涮卣鞯逆溌纺B(tài)特征和基于灰度矢量地圖的視覺模態(tài)特征作為輔助、和感知時(shí)序模態(tài)組成多模態(tài)網(wǎng)絡(luò)的方法，感知數(shù)據(jù)統(tǒng)計(jì)特征包括路徑損耗、均方根時(shí)延擴(kuò)展，位置拓?fù)涮卣靼ㄏ鄬?duì)橫坐標(biāo)、相對(duì)縱坐標(biāo)、相對(duì)三維距離、俯仰角。設(shè)計(jì)了門控循環(huán)單元、預(yù)訓(xùn)練深度殘差網(wǎng)絡(luò)、全連接網(wǎng)絡(luò)分別提取各個(gè)模態(tài)的特征并給出多時(shí)間步時(shí)延功率譜的預(yù)測(cè)結(jié)果?；谄椒€(wěn)距離度量的感知和通信點(diǎn)數(shù)選取方法，基于時(shí)延功率譜度量計(jì)算目標(biāo)區(qū)域的平穩(wěn)距離均值，確保了在預(yù)測(cè)周期內(nèi)信道發(fā)生非平穩(wěn)現(xiàn)象。相比于現(xiàn)有最接近的技術(shù)，本技術(shù)能夠利用互為時(shí)序關(guān)系的雙基地感知信道數(shù)據(jù)來預(yù)測(cè)感知未覆蓋的通信數(shù)據(jù)，且結(jié)合了環(huán)境信息和鏈路信息來提升預(yù)測(cè)精度和收斂速度，能夠?qū)W習(xí)到較遠(yuǎn)距離非平穩(wěn)信道中的小尺度時(shí)序關(guān)系，這是現(xiàn)有技術(shù)中所缺失的。