本發(fā)明涉及三維建模，更具體地，涉及一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前的三維建模領(lǐng)域，針對建筑環(huán)境的精細(xì)化建模已經(jīng)成為諸如城市規(guī)劃、建筑設(shè)計(jì)、文物保護(hù)等領(lǐng)域的核心需求。然而，復(fù)雜建筑環(huán)境中（如城中村、老舊城區(qū)、高密度建筑區(qū)域），由于建筑結(jié)構(gòu)復(fù)雜、空間狹窄、遮擋多、形狀不規(guī)則，傳統(tǒng)的三維建模技術(shù)往往難以取得理想的效果。尤其是城中村建筑物的空間布局高度不規(guī)則，建筑物密集、層次多樣，且存在大量的細(xì)節(jié)結(jié)構(gòu)（如遮雨棚、各類管道線路等），對現(xiàn)有的三維建模技術(shù)提出了更高的要求。

2、傳統(tǒng)的建筑物三維建模技術(shù)通常依賴兩種主要方法：一是基于無人機(jī)傾斜攝影的影像建模技術(shù)，二是基于地面lidar掃描的點(diǎn)云建模技術(shù)。

3、無人機(jī)傾斜攝影技術(shù)通過無人機(jī)搭載的多鏡頭系統(tǒng)，從多個(gè)角度和高度對建筑物進(jìn)行影像采集，這種方法能夠迅速覆蓋大范圍的建筑物區(qū)域，尤其適用于廣域監(jiān)測和初步建模，且模型具備良好的紋理映射效果。然而，受限于影像的分辨率和視角，無人機(jī)傾斜攝影往往難以精準(zhǔn)捕捉建筑物的復(fù)雜細(xì)節(jié)，特別是建筑物底部、邊緣、拐角以及立體結(jié)構(gòu)等局部特征。

4、相比之下，地面lidar掃描技術(shù)則能夠提供高精度的點(diǎn)云數(shù)據(jù)，非常適合對建筑物表面進(jìn)行細(xì)致的幾何形態(tài)捕捉。但這種方法通常只適合獲取局部數(shù)據(jù)，難以全面覆蓋大范圍的建筑物群。同時(shí)，在紋理映射方面，地面lidar掃描主要依賴于點(diǎn)云數(shù)據(jù)本身的密度和精度來重建紋理，缺乏真實(shí)的色彩和紋理信息，需要通過其他手段（如全景攝影）進(jìn)行補(bǔ)充。

5、由于這兩種方法各自存在的局限性，在復(fù)雜建筑環(huán)境中，難以同時(shí)兼顧建筑物整體的覆蓋范圍和局部細(xì)節(jié)的精度。因此，迫切需要一種能夠結(jié)合廣域覆蓋與局部高精度優(yōu)勢的建模技術(shù)，來解決復(fù)雜建筑環(huán)境下的精細(xì)化三維建模問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有技術(shù)在面對復(fù)雜環(huán)境時(shí)，難以同時(shí)兼顧建模的覆蓋范圍和局部細(xì)節(jié)的精度的缺陷，提供一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模方法及系統(tǒng)，通過融合無人機(jī)傾斜攝影、手持lidar掃描以及全景視頻數(shù)據(jù)，實(shí)現(xiàn)了多源數(shù)據(jù)的高效融合與高精度的三維模型生成，能夠滿足城市規(guī)劃、建筑設(shè)計(jì)、文物保護(hù)等領(lǐng)域?qū)?fù)雜建筑環(huán)境下的精細(xì)三維建模需求。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模方法，包括以下步驟：

4、s1：采集目標(biāo)環(huán)境的無人機(jī)傾斜攝影數(shù)據(jù)、掃描點(diǎn)云數(shù)據(jù)和全景視頻數(shù)據(jù)，并分別進(jìn)行預(yù)處理；

5、s2：將預(yù)處理后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行初步對齊，獲取初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)；

6、s3：采用改進(jìn)的icp算法，引入預(yù)處理后的全景視頻數(shù)據(jù)的紋理信息，對初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行精細(xì)化配準(zhǔn)，獲取多源數(shù)據(jù)配準(zhǔn)結(jié)果；

7、s4：采用改進(jìn)的poisson表面重建算法，引入法向量平滑與異常點(diǎn)剔除機(jī)制，之后基于多尺度重建策略，對多源數(shù)據(jù)配準(zhǔn)結(jié)果進(jìn)行多尺度重建，生成高精度的目標(biāo)環(huán)境三維模型，完成建模。

8、優(yōu)選地，所述步驟s1之前還包括：

9、在所述目標(biāo)環(huán)境中均勻布設(shè)若干像控點(diǎn)，并測量所有像控點(diǎn)的三維坐標(biāo)，獲取像控點(diǎn)數(shù)據(jù)；像控點(diǎn)的作用是作為后續(xù)多源數(shù)據(jù)融合的幾何基準(zhǔn)。

10、優(yōu)選地，所述步驟s1中，采集目標(biāo)環(huán)境的無人機(jī)傾斜攝影數(shù)據(jù)、掃描點(diǎn)云數(shù)據(jù)和全景視頻數(shù)據(jù)包括：

11、利用搭載攝像裝置的無人機(jī)，按照預(yù)定的航線對目標(biāo)環(huán)境進(jìn)行多角度、多高度的空中傾斜攝影，獲取無人機(jī)傾斜攝影數(shù)據(jù)；

12、利用手持lidar掃描儀對目標(biāo)環(huán)境的地面區(qū)域進(jìn)行掃描，獲取掃描點(diǎn)云數(shù)據(jù)；

13、通過全景攝像機(jī)對目標(biāo)環(huán)境進(jìn)行全景視頻拍攝，記錄目標(biāo)環(huán)境的紋理信息及細(xì)節(jié)外觀，獲取全景視頻數(shù)據(jù)。

14、優(yōu)選地，獲取無人機(jī)傾斜攝影數(shù)據(jù)的過程中，利用a-star搜索算法實(shí)時(shí)規(guī)劃無人機(jī)在所述目標(biāo)環(huán)境中的飛行路線，并實(shí)時(shí)作為所述預(yù)定的航線，實(shí)現(xiàn)無人機(jī)智能避障。

15、優(yōu)選地，所述步驟s1中，預(yù)處理包括：

16、將采集到的無人機(jī)傾斜攝影數(shù)據(jù)、掃描點(diǎn)云數(shù)據(jù)和全景視頻數(shù)據(jù)調(diào)整為相同的尺寸和分辨率；將尺寸和分辨率調(diào)整后的全景視頻數(shù)據(jù)作為預(yù)處理后的全景視頻數(shù)據(jù)；

17、對于尺寸和分辨率調(diào)整后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)，基于所有像控點(diǎn)的三維坐標(biāo)進(jìn)行空間同步，并基于數(shù)據(jù)采集時(shí)的時(shí)間戳進(jìn)行時(shí)間同步，獲取同步后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)；

18、對同步后的無人機(jī)傾斜攝影數(shù)據(jù)進(jìn)行圖像去噪和增強(qiáng)處理，并利用像控點(diǎn)數(shù)據(jù)進(jìn)行幾何校正，獲取預(yù)處理后的無人機(jī)傾斜攝影數(shù)據(jù)；

19、采用高斯濾波對同步后的掃描點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云濾波，利用預(yù)處理后的全景視頻數(shù)據(jù)對點(diǎn)云濾波后的掃描點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云賦色，所述點(diǎn)云賦色表示為：

20、

21、其中，為點(diǎn)云濾波后的掃描點(diǎn)云數(shù)據(jù)中的第i個(gè)點(diǎn)；為點(diǎn)的顏色值；為映射函數(shù)；為預(yù)處理后的全景視頻數(shù)據(jù)中的第j幀；

22、計(jì)算點(diǎn)云賦色后掃描點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)的法向量并保存，獲取預(yù)處理后的掃描點(diǎn)云數(shù)據(jù)。

23、優(yōu)選地，所述步驟s2中，利用特征點(diǎn)匹配算法將預(yù)處理后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行初步對齊，統(tǒng)一對齊至同一坐標(biāo)系中。

24、優(yōu)選地，所述步驟s3包括：

25、s31：從初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)中選取n個(gè)點(diǎn)，n為正整數(shù)；同時(shí)采集預(yù)處理后的全景視頻數(shù)據(jù)中各個(gè)像素點(diǎn)的紋理特征；

26、紋理特征的采集流程為：首先提取預(yù)處理后的全景視頻的圖像幀，從視頻中提取每一幀的圖像數(shù)據(jù)；其次，利用尺度不變特征變換（scale-invariant?feature?transform，sift）算法提取紋理特征，從全景視頻的圖像幀中提取具有辨識(shí)度的關(guān)鍵點(diǎn)；最后，在每個(gè)提取到的關(guān)鍵點(diǎn)周圍，生成基于其局部鄰域的特征向量，描述該區(qū)域的紋理特征；

27、s32：對于每個(gè)點(diǎn)，在初步對齊后的掃描點(diǎn)云數(shù)據(jù)中尋找距離最近的點(diǎn)，并形成n個(gè)點(diǎn)對；

28、s33：使用奇異值分解算法求解以下優(yōu)化問題，計(jì)算初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)的剛體變換矩陣，使得二者的歐氏距離最小，同時(shí)使得二者與預(yù)處理后的全景視頻數(shù)據(jù)的紋理信息差異最?。?/p>

29、

30、其中，為旋轉(zhuǎn)矩陣，為平移向量；為平衡系數(shù)；為預(yù)處理后的全景視頻數(shù)據(jù)中點(diǎn)對應(yīng)像素點(diǎn)的紋理特征；為預(yù)處理后的全景視頻數(shù)據(jù)中點(diǎn)對應(yīng)像素點(diǎn)的紋理特征；表示范數(shù)的平方；

31、s34：利用所述剛體變換矩陣更新初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)的位置；

32、s35：重復(fù)步驟s31~s34，直至預(yù)設(shè)的誤差函數(shù)收斂，完成精細(xì)化配準(zhǔn)，獲取多源數(shù)據(jù)配準(zhǔn)結(jié)果；

33、所述預(yù)設(shè)的誤差函數(shù)為：

34、

35、

36、其中，為誤差函數(shù)的值；為點(diǎn)對的權(quán)重；為用于控制紋理特征對權(quán)重影響的參數(shù)。

37、優(yōu)選地，所述步驟s4包括：

38、s41：對所述多源數(shù)據(jù)配準(zhǔn)結(jié)果進(jìn)行降采樣和體素網(wǎng)格過濾處理，得到低分辨率的稀疏點(diǎn)云；在所述多源數(shù)據(jù)配準(zhǔn)結(jié)果中選取若干個(gè)關(guān)鍵區(qū)域，將各個(gè)關(guān)鍵區(qū)域的點(diǎn)云共同保存為高分辨率的密集點(diǎn)云；

39、s42：分別對所述稀疏點(diǎn)云和密集點(diǎn)云進(jìn)行法向量平滑與異常點(diǎn)剔除，獲取去噪后的稀疏點(diǎn)云和密集點(diǎn)云；

40、s43：根據(jù)去噪后的稀疏點(diǎn)云和密集點(diǎn)云中各點(diǎn)的法向量獲取對應(yīng)點(diǎn)云的法向量場和，依次構(gòu)建并求解以下泊松方程，獲取稀疏點(diǎn)云和密集點(diǎn)云對應(yīng)的最優(yōu)表面函數(shù)和：

41、

42、

43、其中，和表示和的拉普拉斯算子；表示點(diǎn)的橫坐標(biāo)；

44、根據(jù)所述最優(yōu)表面函數(shù)和生成第一和第二三維模型，所述第一三維模型用于表示目標(biāo)環(huán)境的整體結(jié)構(gòu)，第二三維模型用于表示關(guān)鍵區(qū)域的細(xì)節(jié)特征；

45、s44：將所述第一和第二三維模型進(jìn)行三線性插值和加權(quán)融合，生成所述高精度的目標(biāo)環(huán)境三維模型。

46、優(yōu)選地，所述步驟s42中，根據(jù)以下公式對所述稀疏點(diǎn)云和密集點(diǎn)云中的每個(gè)點(diǎn)分別進(jìn)行法向量平滑：

47、

48、其中，為點(diǎn)云中的第i個(gè)點(diǎn)；為點(diǎn)平滑后的法向量；為點(diǎn)的鄰域點(diǎn)集；為點(diǎn)和點(diǎn)的加權(quán)系數(shù)；

49、對于稀疏點(diǎn)云和密集點(diǎn)云中法向量平滑后的每個(gè)點(diǎn)，分別計(jì)算與其鄰域點(diǎn)集的平均法向量之間的偏差，所述偏差表示為：，其中表示歐式距離；

50、將偏差大于預(yù)設(shè)的剔除閾值的點(diǎn)作為異常點(diǎn)進(jìn)行剔除，完成去噪。

51、本發(fā)明還提供一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模系統(tǒng)，基于上述的一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模方法，包括：

52、預(yù)處理單元：用于采集目標(biāo)環(huán)境的無人機(jī)傾斜攝影數(shù)據(jù)、掃描點(diǎn)云數(shù)據(jù)和全景視頻數(shù)據(jù)，并分別進(jìn)行預(yù)處理；

53、粗配準(zhǔn)單元：用于將預(yù)處理后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行初步對齊，獲取初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)；

54、精配準(zhǔn)單元：用于采用改進(jìn)的icp算法，引入預(yù)處理后的全景視頻數(shù)據(jù)的紋理信息，對初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行精細(xì)化配準(zhǔn)，獲取多源數(shù)據(jù)配準(zhǔn)結(jié)果；

55、三維建模單元：用于采用改進(jìn)的poisson表面重建算法，引入法向量平滑與異常點(diǎn)剔除機(jī)制，之后基于多尺度重建策略，對多源數(shù)據(jù)配準(zhǔn)結(jié)果進(jìn)行多尺度重建，生成高精度的目標(biāo)環(huán)境三維模型，完成建模。

56、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

57、本發(fā)明提供一種基于空地多源數(shù)據(jù)融合的精細(xì)化三維建模方法及系統(tǒng)，首先采集目標(biāo)環(huán)境的無人機(jī)傾斜攝影數(shù)據(jù)、掃描點(diǎn)云數(shù)據(jù)和全景視頻數(shù)據(jù)，并分別進(jìn)行預(yù)處理；接著將預(yù)處理后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行初步對齊，獲取初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)；隨后采用改進(jìn)的icp算法，引入預(yù)處理后的全景視頻數(shù)據(jù)的紋理信息，對初步對齊后的無人機(jī)傾斜攝影數(shù)據(jù)和掃描點(diǎn)云數(shù)據(jù)進(jìn)行精細(xì)化配準(zhǔn)，獲取多源數(shù)據(jù)配準(zhǔn)結(jié)果；最后采用改進(jìn)的poisson表面重建算法，引入法向量平滑與異常點(diǎn)剔除機(jī)制，之后基于多尺度重建策略，對多源數(shù)據(jù)配準(zhǔn)結(jié)果進(jìn)行多尺度重建，生成高精度的目標(biāo)環(huán)境三維模型，完成建模；

58、本發(fā)明創(chuàng)新性地結(jié)合了無人機(jī)傾斜攝影、掃描點(diǎn)云數(shù)據(jù)與全景視頻數(shù)據(jù)三種數(shù)據(jù)源，通過多源數(shù)據(jù)的融合，解決了復(fù)雜建筑物建模過程中由于單一數(shù)據(jù)源造成的細(xì)節(jié)缺失和覆蓋不全面的問題；多源數(shù)據(jù)融合技術(shù)能夠全面捕捉復(fù)雜場景中建筑物的幾何形態(tài)和細(xì)節(jié)特征，適用于城中村、老舊建筑等復(fù)雜場景，實(shí)現(xiàn)了全方位、細(xì)節(jié)化的三維建模；

59、其次，本發(fā)明對傳統(tǒng)icp（iterative?closest?point，迭代最近點(diǎn)）算法進(jìn)行了改進(jìn)，采用了幾何信息與全景視頻紋理信息相結(jié)合的配準(zhǔn)策略，通過引入紋理約束優(yōu)化點(diǎn)云的幾何配準(zhǔn)過程；改進(jìn)后的icp算法不僅通過動(dòng)態(tài)加權(quán)機(jī)制減小噪聲點(diǎn)和異常點(diǎn)的影響，還通過最小化幾何誤差和紋理差異，實(shí)現(xiàn)了無人機(jī)傾斜影像與掃描點(diǎn)云數(shù)據(jù)的高精度配準(zhǔn)；該算法提高了配準(zhǔn)的精度和魯棒性，特別適合在建筑環(huán)境復(fù)雜、細(xì)節(jié)豐富的場景中應(yīng)用；

60、另外，本發(fā)明在三維模型的重建過程中，提出了一種基于poisson表面重建算法的多尺度重建策略，確保在稀疏點(diǎn)云上生成建筑物整體輪廓，在密集點(diǎn)云上精細(xì)重建復(fù)雜的局部細(xì)節(jié)；同時(shí)，通過法向量平滑和異常點(diǎn)剔除機(jī)制有效降低噪聲的影響，進(jìn)一步提升了所生成三維模型的平滑性和細(xì)節(jié)；改進(jìn)后的poisson算法能夠在復(fù)雜建筑環(huán)境下，生成既具備高精度又易于操作的三維模型，從而滿足城市規(guī)劃、建筑設(shè)計(jì)、文物保護(hù)等領(lǐng)域?qū)?fù)雜建筑環(huán)境下的精細(xì)三維建模需求。