本發(fā)明涉及增強現(xiàn)實，具體為一種面向增強現(xiàn)實的動態(tài)同步定位與建圖方法及系統(tǒng)。

背景技術(shù)：

1、同步定位與建圖技術(shù)起源于機器人領(lǐng)域，這項技術(shù)可以實時獲取未知環(huán)境下的設(shè)備位姿，并且對環(huán)境進行建圖。在用戶與增強現(xiàn)實交互的過程中，需要對用戶所處的三維空間與人眼看見的空間進行匹配，因此實時且準確的同步定位與建圖技術(shù)是必不可少的。

2、面向增強現(xiàn)實的同步定位與建圖技術(shù)十分依賴于硬件設(shè)備，尤其是傳感器的種類和性能決定了同步定位與建圖算法的實時性與準確性。然而，增強現(xiàn)實場景中的光照條件變化大，物體的運動速度較快，現(xiàn)有的普通相機傳感器在前述場景下存在運動模糊和過度曝光的問題。此外，普通相機產(chǎn)生的幀數(shù)據(jù)對設(shè)備的帶寬和存儲、運算均有較大壓力，無法保證同步定位與建圖的實時性與準確性。這對算法效率和性能優(yōu)化提出了更高的要求，系統(tǒng)需要在保證實時性和準確性的同時，盡可能降低能耗和延遲，以提升用戶體驗。

3、因此，如何解決光照條件變化大、物體運動較快場景下普通相機傳感器采集數(shù)據(jù)運動模糊和過曝的問題，且提供一種實時帶寬和計算負荷小的同步定位與建圖數(shù)據(jù)采集方法和設(shè)備，是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種面向增強現(xiàn)實的動態(tài)同步定位與建圖方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種面向增強現(xiàn)實的動態(tài)同步定位與建圖方法，包括以下步驟：

4、步驟1，對雙目事件相機與雙目灰度相機標定內(nèi)參和外參，并進行圖像畸變校正；

5、步驟2，同時使用雙目事件相機與雙目灰度相機采集數(shù)據(jù)，獲取圖像幀和事件流，并進行時間同步以確保數(shù)據(jù)一致性，雙目灰度相機保存灰度圖像；

6、步驟3，利用慣性傳感器采集角速度和線速度；

7、步驟4，對慣性傳感器獲得的角速度和加速度數(shù)據(jù)預(yù)積分，獲得頭戴式設(shè)備的運動的姿態(tài)、速度和位置信息；

8、步驟5，剔除事件流的背景與熱點噪聲；

9、步驟6，利用慣性傳感器提供的角速度和線速度進行分塊運動補償，校正事件流畸變；

10、步驟7，將事件流轉(zhuǎn)換為時間表面表示，提取邊緣特征并生成邊緣映射圖像；

11、步驟8，分別從灰度圖像和邊緣映射圖像中提取特征點，并進行匹配；

12、步驟9，利用動態(tài)權(quán)重模型融合事件相機與灰度相機的特征點數(shù)據(jù)，構(gòu)建關(guān)鍵幀的特征點集合；

13、步驟10，利用klt光流跟蹤算法，追蹤關(guān)鍵幀的特征點的運動軌跡；利用epnp算法估計頭戴式設(shè)備的初步位姿，為后續(xù)的位姿優(yōu)化提供初步信息；

14、步驟11，結(jié)合預(yù)積分數(shù)據(jù)和初步位姿數(shù)據(jù)，進行變尺度的聯(lián)合優(yōu)化，構(gòu)建局部地圖；

15、步驟12，輸出全局位姿和全局地圖。

16、進一步地，所述步驟2中將雙目事件相機與雙目灰度相機的采集時間對齊包括以下過程：

17、s100，對雙目事件相機數(shù)據(jù)采集參數(shù)進行初始化，假設(shè)最新一幀的灰度圖像時間戳為tn，次新幀時間戳為tn-1，設(shè)置事件隊列，用于記錄雙目灰度相機相鄰兩幀圖像時間t=tn-tn-1內(nèi)的所有事件流；

18、s101，對于時間t內(nèi)獲取的所有事件流，將這些事件流導(dǎo)入事件隊列，如果事件隊列已滿，則依次將事件隊列中最早的數(shù)據(jù)刪除，從而釋放事件空間。

19、進一步地，所述步驟5包括以下步驟：

20、步驟5.1，將存儲于事件隊列中的數(shù)據(jù)轉(zhuǎn)換成三維空間中的體素，并記錄每個體素內(nèi)的事件數(shù)量；

21、步驟5.2，對體素中事件的時間戳和空間坐標進行統(tǒng)計和分析，去除時間戳不合理、空間坐標重復(fù)以及事件時間戳差異較小的噪聲事件；

22、步驟5.3，將每個體素的事件按照空間位置進行聚類，將同一空間體素內(nèi)的事件合并，并對每個體素計算其內(nèi)事件的時間均值和方差，利用時間均值與方差的比值作為該事件的權(quán)重因子，從而對體素內(nèi)事件進行加權(quán)平均，所得結(jié)果作為該體素的事件輸出；

23、步驟5.4，通過計算每個體素事件輸出的時間均值和方差，去除時間均值與方差比值較小的事件體素輸出，從而得到去除噪聲數(shù)據(jù)后的事件流。

24、進一步地，所述步驟6包括以下步驟：

25、步驟6.1，將事件流按時間分成多個小塊，以每20-50毫秒為一個分塊，使用慣性傳感器提供的角速度ω和線速度v，估計每個分塊內(nèi)的相機運動，在分塊時間窗口內(nèi)，計算出該分塊的變換矩陣r(t)和平移向量t(t)；

26、步驟6.2，對分塊內(nèi)每個事件的像素坐標(u,v)進行校正：

27、?公式（1）

28、其中，x是原始事件坐標，x′是補償后的坐標。

29、進一步地，所述步驟7包括以下步驟：

30、步驟7.1，將事件流以時間表面的方式進行表示，遍歷事件流，找出每個像素坐標x=(u,v)t在時間t內(nèi)最近發(fā)生的事件，其中u為像素平面x軸方向的坐標，v為像素平面y軸方向的坐標，對應(yīng)的時間戳即為tlast，則t≥tlast(x)時刻的時間表面定義為：

31、公式（2）

32、其中，t(x,t)為所求時間表面，exp為指數(shù)函數(shù)，β為衰減率參數(shù)，是一個常數(shù)，t取值和灰度圖像時間戳tn同步；

33、步驟7.2，基于時間表面t(x,t)，應(yīng)用canny邊緣檢測算法提取邊緣特征，并生成邊緣映射圖像。

34、進一步地，所述步驟8包括以下步驟：

35、步驟8.1，對灰度圖像和邊緣映射圖像分別進行orb特征點提取，獲取對應(yīng)的orb特征點及其描述子信息；

36、步驟8.2，對特征點檢測后的灰度圖像和邊緣映射圖像進行特征點匹配，得到匹配的點對坐標和不匹配的點對坐標。

37、進一步地，所述步驟9包括以下步驟：

38、步驟9.1，根據(jù)步驟2得到的事件流的數(shù)據(jù)計算光強變化率：

39、?公式（3）

40、其中，l表示光強變化率，n表示事件總數(shù)，si表示第i個事件的極性值，△t表示事件發(fā)生的時間跨度；

41、步驟9.2，使用非線性函數(shù)處理光強變化率、線速度和角速度，結(jié)果分別記為l’、v’、a’；

42、步驟9.3，由以下式子分別計算雙目事件相機權(quán)重we和雙目灰度相機的權(quán)重wg：

43、?公式（4）

44、?公式（5）

45、其中，α、β、γ、δ、和ζ是影響系數(shù)，用于平衡不同變量的影響；

46、步驟9.4，歸一化雙目事件相機權(quán)重和雙目灰度相機的權(quán)重，結(jié)果分別記為we’和wg’，過程如下：

47、?公式（6）

48、公式（7）

49、步驟9.5，使用事件表面上的特征點對關(guān)鍵幀的特征點進行位置修正；對不匹配的特征點，使用雙目事件相機特征點進行補充；對于匹配的特征點，由公式（8）計算融合后的坐標：

50、?公式（8）

51、其中，雙目事件相機特征點坐標為pe，灰度圖像特征點坐標為pg，融合后的特征點位置為pf；

52、步驟9.6，對融合后的圖像特征點提取關(guān)鍵幀。

53、進一步地，所述步驟11包括：

54、步驟11.1，分別計算慣性傳感器預(yù)積分和位姿估計的殘差，即預(yù)積分結(jié)果與實際測量值之間的差異；

55、步驟11.2，基于慣性傳感器的預(yù)積分數(shù)據(jù)和步驟10中估計的頭戴式設(shè)備的初步位姿，構(gòu)建變尺度滑動窗口，變尺度滑動窗口根據(jù)頭戴式設(shè)備的運動速度和事件發(fā)生頻率動態(tài)調(diào)整窗口大小，確保僅使用最新的有效數(shù)據(jù)進行計算；

56、步驟11.3，根據(jù)步驟11.1中計算得到的殘差，構(gòu)建優(yōu)化目標函數(shù)t，并在變尺度滑動窗口的范圍內(nèi)執(zhí)行聯(lián)合優(yōu)化：

57、?公式（9）

58、其中，rin(t)是慣性傳感器的預(yù)積分殘差，它表示預(yù)測的傳感器數(shù)據(jù)與實際測量之間的差異，rpose(t)是位姿估計殘差，它表示估計的位姿與觀測值之間的差異；

59、步驟11.4，結(jié)合優(yōu)化后的位姿，建立三維局部地圖。

60、本發(fā)明還提供一種面向增強現(xiàn)實的動態(tài)同步定位與建圖系統(tǒng)，用于實現(xiàn)如上所述的動態(tài)同步定位與建圖方法，包括微處理器，以及分別與微處理器相連的雙目事件相機、雙目灰度相機和慣性傳感器；

61、所述雙目事件相機采集事件流；

62、所述雙目灰度相機采集場景的圖像幀信息；

63、所述微處理器包括事件預(yù)積分模塊、事件噪聲剔除模塊、分塊運動補償模塊、邊緣檢測模塊、特征融合模塊和后端動態(tài)優(yōu)化模塊；

64、所述預(yù)積分模塊對慣性傳感器數(shù)據(jù)進行預(yù)積分；

65、所述事件噪聲剔除模塊對事件流去除噪聲；

66、所述分塊運動補償模塊利用慣性傳感器數(shù)據(jù)對邊緣數(shù)據(jù)進行運動補償；

67、所述邊緣檢測模塊將事件流轉(zhuǎn)換為基于時間表面的稀疏時空表示，并提取邊緣特征，進而生成邊緣映射圖像；

68、所述特征融合模塊對邊緣映射圖像和灰度圖像分別進行特征點檢測，利用預(yù)積分和雙目事件相機的數(shù)據(jù)對事件特征點和圖像特征點進行動態(tài)融合；

69、所述后端動態(tài)優(yōu)化模塊通過融合后的特征點得到關(guān)鍵幀與初步位姿信息，并解算出位姿的殘差項，再結(jié)合預(yù)積分的結(jié)果和殘差項構(gòu)建優(yōu)化函數(shù)，進行變尺度的聯(lián)合優(yōu)化，進一步得到更精確的位姿信息并構(gòu)建局部地圖，最終輸出全局位姿和全局地圖。

70、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

71、本發(fā)明在定位中，利用雙目灰度相機獲得幀圖像進行orb特征點檢測；利用邊緣映射圖像進行orb特征點檢測；將兩種特征點進行動態(tài)融合后得到關(guān)鍵幀；求得相機位姿；構(gòu)造基于預(yù)積分的結(jié)果和殘差約束的優(yōu)化表達式，實現(xiàn)變尺度的聯(lián)合優(yōu)化，求得優(yōu)化函數(shù)的最小值，得到更精確的位置信息。

72、本發(fā)明通過引入高幀率、低功耗的雙目事件相機搭建數(shù)據(jù)采集系統(tǒng)與方法，進而設(shè)計特征融合模塊，使得系統(tǒng)能夠有效應(yīng)對增強現(xiàn)實場景中光照變化和物體運動速度較快等問題，同時也利用了雙目灰度相機的優(yōu)勢，提高了系統(tǒng)的穩(wěn)定性和魯棒性。在特征點層面進行多傳感器融合，可以更快地獲取相機的位姿信息，相較于單獨求解事件相機和灰度圖像的位置再進行優(yōu)化的方法，此方法可節(jié)省大量計算資源。

73、本發(fā)明通過集成雙目事件相機與雙目灰度相機，提供了一種將立體事件流、立體圖像幀結(jié)合在一起的同步定位與數(shù)據(jù)采集方法于一體的方法及系統(tǒng)，可以在高分辨率事件流下實時運行，并且信息更豐富，能適應(yīng)于暗光等惡劣條件，在增強現(xiàn)實技術(shù)領(lǐng)域極具應(yīng)用前景。