本發(fā)明涉及室內(nèi)定位，特別是涉及一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)。

背景技術(shù)：

1、室內(nèi)相機(jī)位姿估計(jì)是實(shí)現(xiàn)建筑環(huán)境中基于位置的服務(wù)的關(guān)鍵。經(jīng)濟(jì)、高效、準(zhǔn)確的室內(nèi)定位技術(shù)，對(duì)推進(jìn)現(xiàn)代化進(jìn)程具有重要意義。基于圖像檢索法去獲取位置信息，主要是選擇最佳的匹配圖像，在圖像數(shù)據(jù)庫(kù)中檢索與查詢圖像相似的最近鄰圖像，利用該近鄰圖像的三維模型信息，計(jì)算出相機(jī)的位姿。在這些方法中，可以使用基于攝影測(cè)量學(xué)的解析解來估計(jì)具有六自由度的相機(jī)姿態(tài)。然而，圖像檢索方法及其變化需要具有已知位置的大型照片數(shù)據(jù)庫(kù)或整個(gè)室內(nèi)空間的預(yù)先存在的地圖，這是高度勞動(dòng)密集型和耗時(shí)的獲取。

2、建筑信息模型，簡(jiǎn)稱bim，其可以為已建成的設(shè)施提供了三維空間模型，其中包含室內(nèi)環(huán)境的視覺外觀和空間布局。然而，實(shí)際存在跨域差距。給定bim渲染的圖像和相同室內(nèi)場(chǎng)景的照片，計(jì)算機(jī)無法檢測(cè)到正確的尺度不變特征變換對(duì)應(yīng)關(guān)系。這一現(xiàn)象表明，計(jì)算機(jī)以不同的方式感知bim渲染圖像和現(xiàn)實(shí)拍攝圖像，這使得很難直接進(jìn)行圖像檢索或基于sift、hog或其他圖像描述符的注冊(cè)的相似性比較。另外，如何通過revit、blender等軟件，自動(dòng)且快速的獲取bim圖像數(shù)據(jù)集，為后續(xù)工作做好準(zhǔn)備，也是尚待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)，通過nafnet網(wǎng)絡(luò)解決圖像檢索定位過程中的運(yùn)動(dòng)模糊問題；通過改進(jìn)型cyclegan網(wǎng)絡(luò)，實(shí)現(xiàn)虛擬采集圖像到真實(shí)圖像的高相似合成，提高合成圖像的真實(shí)性和可信度，減少bim渲染圖像與真實(shí)室內(nèi)照片之間的跨域差異；通過swin?transformer實(shí)現(xiàn)對(duì)圖像的特征提取和高效檢索；通過srpnp算法，提高室內(nèi)定位的準(zhǔn)確度和速度。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法，包括：

4、構(gòu)建bim模型；

5、利用revit軟件內(nèi)的虛擬相機(jī)對(duì)所述bim模型進(jìn)行漫游，并以預(yù)定義的幀速率進(jìn)行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集；

6、拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對(duì)所述目標(biāo)建筑室內(nèi)圖像進(jìn)行動(dòng)態(tài)模糊去除，得到測(cè)試圖像；

7、利用訓(xùn)練完成的改進(jìn)型cyclegan網(wǎng)絡(luò)將所述bim渲染圖像數(shù)據(jù)集轉(zhuǎn)換成合成圖像集；

8、利用預(yù)訓(xùn)練的swin?transformer模型對(duì)所述測(cè)試圖像和所述合成圖像集進(jìn)行特征提取、余弦相似度計(jì)算以及圖像檢索，得到最相似合成圖像；

9、利用sift算法將所述最相似合成圖像進(jìn)行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)；

10、利用srpnp算法對(duì)所述映射關(guān)系數(shù)據(jù)進(jìn)行相機(jī)六自由度姿態(tài)估計(jì)，得到室內(nèi)位置識(shí)別結(jié)果。

11、優(yōu)選地，利用revit軟件內(nèi)的虛擬相機(jī)對(duì)所述bim模型進(jìn)行漫游，并以預(yù)定義的幀速率進(jìn)行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集，包括：

12、對(duì)revit軟件的生成屬性選項(xiàng)進(jìn)行配置；所述屬性選項(xiàng)包括：線框、陰影線、顏色選項(xiàng)以及渲染選項(xiàng)；

13、設(shè)置所述虛擬相機(jī)的漫游路徑；所述漫游路徑包括：幀間隔和預(yù)定的行走幀；

14、基于生成屬性選項(xiàng)配置完成的revit軟件，利用所述虛擬相機(jī)按照所述漫游路徑對(duì)所述bim模型進(jìn)行圖像采集，得到xml格式的所述bim渲染圖像數(shù)據(jù)集

15、優(yōu)選地，拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對(duì)所述目標(biāo)建筑室內(nèi)圖像進(jìn)行動(dòng)態(tài)模糊去除，得到測(cè)試圖像，包括：

16、利用相機(jī)對(duì)目標(biāo)建筑內(nèi)部進(jìn)行拍攝，得到所述目標(biāo)建筑室內(nèi)圖像；

17、計(jì)算所述目標(biāo)建筑室內(nèi)圖像的圖像模糊判別度量和模糊判別閾值；所述圖像模糊判別度量的計(jì)算公式為：

18、

19、所述模糊判別閾值的計(jì)算公式為：

20、

21、其中，bdm為所述圖像模糊判別度量；t為所述模糊判別閾值；h為圖像高度；w為圖像寬度；gx(i,j)為圖像在x方向上的梯度；gy(i,j)為圖像在y方向上的梯度；n為圖像在x和y兩個(gè)方向上計(jì)算出的梯度值總數(shù)；gn為非零梯度值的總和；n為場(chǎng)景數(shù)；和分別為所述圖像模糊判別度量的最大值和最小值；

22、根據(jù)所述圖像模糊判別度量和所述模糊判別閾值對(duì)所述目標(biāo)建筑室內(nèi)圖像進(jìn)行模糊度判斷，得到模糊程度數(shù)據(jù)；

23、當(dāng)所述模糊程度數(shù)據(jù)超過預(yù)設(shè)的模糊允許范圍時(shí)，利用nafnet網(wǎng)絡(luò)對(duì)所述目標(biāo)建筑室內(nèi)圖像進(jìn)行動(dòng)態(tài)模糊去除，得到所述測(cè)試圖像。

24、優(yōu)選地，所述改進(jìn)型cyclegan網(wǎng)絡(luò)的訓(xùn)練過程，包括：

25、將cbdm集成到基本cyclegan網(wǎng)絡(luò)的生成器的殘差塊中，將基本cyclegan網(wǎng)絡(luò)的生成器卷積層中的relu激活函數(shù)替換為prelu激活函數(shù)，并采用標(biāo)簽平滑技術(shù)優(yōu)化基本cyclegan網(wǎng)絡(luò)的判別模塊，得到改進(jìn)型cyclegan網(wǎng)絡(luò)；

26、將預(yù)收集的bim渲染圖像作為訓(xùn)練集，并將預(yù)收集的室內(nèi)拍攝圖像作為驗(yàn)證集；

27、利用所述改進(jìn)型cyclegan網(wǎng)絡(luò)內(nèi)的生成器將所述訓(xùn)練集轉(zhuǎn)換成室內(nèi)拍攝風(fēng)格，得到生成圖像集；

28、利用所述改進(jìn)型cyclegan網(wǎng)絡(luò)內(nèi)的判別器對(duì)所述生成圖像集的真實(shí)性進(jìn)行判斷，得到判斷結(jié)果；

29、當(dāng)所述判斷結(jié)果為生成失敗時(shí)，計(jì)算所述生成圖像集的損失值，得到中間對(duì)抗性損失，并利用所述中間對(duì)抗性損失對(duì)所述改進(jìn)型cyclegan網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化和迭代，得到迭代完成的所述改進(jìn)型cyclegan網(wǎng)絡(luò)；所述對(duì)抗性損失的計(jì)算公式為：

30、

31、其中，為所述對(duì)抗性損失；a和b均為源域；gab和gba均為所述生成器；db為所述判別器；gba(gab(a))為所述生成圖像集內(nèi)的圖像；為真實(shí)對(duì)抗性損失；為生成對(duì)抗性損失；

32、對(duì)迭代完成的所述改進(jìn)型cyclegan網(wǎng)絡(luò)的生成相似度進(jìn)行計(jì)算，得到弗雷謝特起始距離；所述弗雷謝特起始距離的計(jì)算公式為：

33、fid＝||μr-μg||2+tr(∑r+∑g-2(∑r∑g)1/2)；

34、其中，fid為所述弗雷謝特起始距離；μr、μg分別為所述驗(yàn)證集和所述生成圖像集的特征均值；∑r、∑g分別為所述驗(yàn)證集和所述生成圖像集的協(xié)方差矩陣；tr為跡；

35、當(dāng)所述弗雷謝特起始距離滿足預(yù)設(shè)的相似標(biāo)準(zhǔn)時(shí)，輸出訓(xùn)練完成的所述改進(jìn)型cyclegan網(wǎng)絡(luò)。

36、優(yōu)選地，利用預(yù)訓(xùn)練的swin?transformer模型對(duì)所述測(cè)試圖像和所述合成圖像集進(jìn)行特征提取、余弦相似度計(jì)算以及圖像檢索，得到最相似合成圖像，包括：

37、利用所述swin?transformer模型分別對(duì)所述測(cè)試圖像和所述合成圖像集進(jìn)行特征提取，得到測(cè)試特征和合成特征集；

38、計(jì)算所述測(cè)試特征和所述合成特征集內(nèi)每個(gè)合成特征的余弦相似度，得到相似度數(shù)據(jù)集；

39、根據(jù)所述相似度數(shù)據(jù)集，將所述合成圖像集內(nèi)相似度值最大的合成圖像確定為所述最相似合成圖像。

40、優(yōu)選地，利用sift算法將所述最相似合成圖像進(jìn)行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)，包括：

41、利用sift算法獲取所述最相似合成圖像的局部特征點(diǎn)；

42、利用revit軟件中的uidoc.selection.pickobject函數(shù)獲取所述局部特征點(diǎn)的三維世界坐標(biāo)；

43、根據(jù)所述最相似合成圖像，利用所述三維世界坐標(biāo)進(jìn)行像素點(diǎn)映射，得到所述映射關(guān)系數(shù)據(jù)。

44、優(yōu)選地，所述室內(nèi)位置識(shí)別結(jié)果的計(jì)算公式為：si·pi＝k[r∣t]pi；其中，r為旋轉(zhuǎn)矩陣；t為平移向量；si為未知比例因子；pi為所述最相似合成圖像上的第i個(gè)點(diǎn)；pi為第i個(gè)三維點(diǎn)的齊次坐標(biāo)；k為所述虛擬相機(jī)的內(nèi)部參考矩陣；[r∣t]為世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換。

45、優(yōu)選地，一種基于跨域圖像檢索的bim輔助室內(nèi)定位系統(tǒng)，包括：

46、模型構(gòu)建模塊，用于構(gòu)建bim模型；

47、漫游圖像捕獲模塊，用于利用revit軟件內(nèi)的虛擬相機(jī)對(duì)所述bim模型進(jìn)行漫游，并以預(yù)定義的幀速率進(jìn)行漫游圖像捕獲，得到bim渲染圖像數(shù)據(jù)集；

48、測(cè)試圖像獲取模塊，用于拍攝目標(biāo)建筑室內(nèi)圖像，利用nafnet網(wǎng)絡(luò)對(duì)所述目標(biāo)建筑室內(nèi)圖像進(jìn)行動(dòng)態(tài)模糊去除，得到測(cè)試圖像；

49、圖像合成模塊，用于利用訓(xùn)練完成的改進(jìn)型cyclegan網(wǎng)絡(luò)將所述bim渲染圖像數(shù)據(jù)集轉(zhuǎn)換成合成圖像集；

50、最相似合成圖像檢索模塊，用于利用預(yù)訓(xùn)練的swin?transformer模型對(duì)所述測(cè)試圖像和所述合成圖像集進(jìn)行特征提取、余弦相似度計(jì)算以及圖像檢索，得到最相似合成圖像；

51、映射模塊，用于利用sift算法將所述最相似合成圖像進(jìn)行二維到三維的映射，得到映射關(guān)系數(shù)據(jù)；

52、位置提取模塊，用于利用srpnp算法對(duì)所述映射關(guān)系數(shù)據(jù)進(jìn)行相機(jī)六自由度姿態(tài)估計(jì)，得到室內(nèi)位置識(shí)別結(jié)果。

53、本發(fā)明公開了以下技術(shù)效果：

54、本發(fā)明提供了一種基于跨域圖像檢索的bim輔助室內(nèi)定位方法及系統(tǒng)，通過nafnet網(wǎng)絡(luò)，解決了圖像檢索定位過程中的運(yùn)動(dòng)模糊問題，實(shí)現(xiàn)了對(duì)待識(shí)別圖片的優(yōu)化；通過改進(jìn)型cyclegan網(wǎng)絡(luò)，解決了現(xiàn)有cyclegan網(wǎng)絡(luò)合成效果較差的問題，實(shí)現(xiàn)了虛擬采集圖像到真實(shí)圖像的高相似合成；通過swin?transformer，解決了現(xiàn)有檢索機(jī)制特征提取效果不佳、檢索效率較低的缺陷，實(shí)現(xiàn)了對(duì)圖像的特征提取和高效檢索；通過srpnp算法，解決了現(xiàn)有位置提取方法抗干擾能力較差的問題，實(shí)現(xiàn)了對(duì)室內(nèi)位置的可靠識(shí)別。