基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法
【專利摘要】本發(fā)明公開了基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法，其采用載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機、車輛等所采集的衛(wèi)星影像、低空航拍影像、車載激光掃描、車載視頻攝像、地面定點拍照/攝像數(shù)據(jù)，并通過以上多種方式快速完整地獲取大尺度場景的二維紋理圖像和三維點云數(shù)據(jù)，基于多源融合數(shù)據(jù)實現(xiàn)大場景分割、分類、識別及高維重建任務(wù)。與現(xiàn)有技術(shù)相比具有以下優(yōu)點：場景模型制作精度可達(dá)厘米級，遠(yuǎn)高于傳統(tǒng)制作方法的米級精度；而數(shù)據(jù)采集與處理時間通過實際驗證和測算，僅為傳統(tǒng)方法的1/4左右。
【專利說明】基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及城市生態(tài)文明管理【技術(shù)領(lǐng)域】，特別涉及一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法。
[0003]
【背景技術(shù)】
[0004]生態(tài)文明是人類文明發(fā)展的一個新的階段，即工業(yè)文明之后的世界倫理社會化的文明形態(tài)；生態(tài)文明是人類遵循人、自然、社會和諧發(fā)展這一客觀規(guī)律而取得的物質(zhì)與精神成果的總和；生態(tài)文明是以人與自然、人與人、人與社會和諧共生、良性循環(huán)、全面發(fā)展、持續(xù)繁榮為基本宗旨的文化倫理形態(tài)。從人與自然和諧的角度，吸收十八大成果的定義是:生態(tài)文明是人類為保護和建設(shè)美好生態(tài)環(huán)境而取得的物質(zhì)成果、精神成果和制度成果的總和，是貫穿于經(jīng)濟建設(shè)、政治建設(shè)、文化建設(shè)、社會建設(shè)全過程和各方面的系統(tǒng)工程，反映了一個社會的文明進步狀態(tài)。
[0005]生態(tài)環(huán)境惡化是一個全球性的挑戰(zhàn)，在我國顯得尤為嚴(yán)峻，已成為制約我國經(jīng)濟社會可持續(xù)發(fā)展的因素之一。黨的十八大報告中提出了建設(shè)美麗中國的戰(zhàn)略目標(biāo)，強調(diào)了生態(tài)文明建設(shè)在“五位一體”總體布局中的重要地位。
[0006]以深圳為 例，作為全國首批生態(tài)文明建設(shè)試點城市，深圳在生態(tài)文明建設(shè)的各方面走在了全國前列，但生態(tài)環(huán)境同樣面臨著嚴(yán)峻挑戰(zhàn)。城市本身是一個巨大的污染制造源，目前深圳市常住人口超過1500萬人，機動車輛超過200萬輛，每天新增固體垃圾在1.4萬噸以上?？諝馕廴尽⑺w污染、固體廢物污染以及城市的熱島效應(yīng)是城市生態(tài)問題的主要表現(xiàn)。
[0007]在生態(tài)文明建設(shè)方面，同樣存在著空間格局生態(tài)化滯后，資源環(huán)境承載能力透支，生態(tài)文化體系尚未形成，生態(tài)文明建設(shè)未能形成合力等問題。在對污染源的監(jiān)控方面，也存在監(jiān)控手段落后，監(jiān)管主體多元且職責(zé)不夠清晰，缺乏有效的協(xié)同處置機制，尚未建立科學(xué)的考評體系等問題。
[0008]同時，在進行城市密集型多源數(shù)據(jù)呈現(xiàn)的研究過程中，我們將面臨的具體需求包括以下幾個方面:
第一，城市場景高維數(shù)據(jù)是城市中最重要的基礎(chǔ)數(shù)據(jù)之一，目前的獲取與重建技術(shù)仍然處于發(fā)展的初期階段，自動化水平不高，其中一個重要原因是目前大尺度場景建模主要采用視頻圖像或激光點云等單一數(shù)據(jù)源。大場景的復(fù)雜性、多樣性和大尺度特性決定了單一數(shù)據(jù)源存在嚴(yán)重的信息缺失和不確定性，導(dǎo)致基于單一數(shù)據(jù)源的大場景高維重建具有極大的挑戰(zhàn)，建模過程需要較多的人工干預(yù)，甚至全手工建模，建模結(jié)果精度不高、制作周期長、成本高，這已成為制約大規(guī)模城市場景高維數(shù)字化的瓶頸問題。
[0009]第二，在數(shù)字城市應(yīng)用中，通過激光掃描三維重建、多視圖三維重建、互聯(lián)網(wǎng)絡(luò)圖像的三維重建技術(shù)可獲得大規(guī)模的場景對象的三維模型。這些三維模型經(jīng)過標(biāo)記后可構(gòu)成對象的三維信息庫。早期的三維立體對象檢索與識別方法主要是基于模型信息的分析方法。這一類方法通過對三維立體對象的模型信息進行分析與處理，從而進行立體對象特征信息的提取，進一步應(yīng)用基于模型的特征信息的匹配來完成立體對象的檢索?；谀Ｐ托畔⒌姆椒▋?yōu)點在于能夠充分利用模型的立體空間信息。需要指出的是，基于模型的方法并不能很好地進行立體對象外觀特征的分析，同時應(yīng)用立體對象的模型信息也面臨巨大的運算量。近些年來，許多研究工作關(guān)注于基于視圖的立體對象檢索與分析?；谝晥D的立體對象檢索與分析的優(yōu)勢在于當(dāng)需要有針對性地對某類形態(tài)的模型對象進行查詢時，基于視圖的分析方法能夠很好地進行外觀的分析與處理；同時，二維圖像的分析技術(shù)也日益成熟，從而為基于視圖的立體對象檢索提供了新的機遇。
[0010]第三，三維或更高位的可視化數(shù)據(jù)顯示的繪制開銷通常比一般性計算給計算機的負(fù)載更加大，普通消費級單個微機節(jié)點能夠只能支持千萬級三角形場景的實時繪制。目前已有的多節(jié)點并行繪制系統(tǒng)雖然能夠加速大規(guī)模場景的載入能力和繪制速度，但是還沒有充分利用顯卡的并行計算的能力。而且隨著城市場景數(shù)據(jù)的進一步加大，以及動態(tài)數(shù)據(jù)顯示要求的時效性都為多級并行計算提出了需求。
[0011]第四，城市多源密集型數(shù)據(jù)的交互式呈現(xiàn)需要以大量、復(fù)雜、異構(gòu)的高維數(shù)據(jù)作為輸入，因此需要對這些數(shù)據(jù)進行存儲、傳輸、訪問和流量控制。如何提供統(tǒng)一的框架為不同種類的智慧城市數(shù)據(jù)呈現(xiàn)應(yīng)用提供方便易用、可靠、安全、高效的數(shù)據(jù)服務(wù)是我們需要深入的問題。
[0012]有鑒于此，城市多源密集型數(shù)據(jù)的呈現(xiàn)技術(shù)與服務(wù)系統(tǒng)已經(jīng)成為當(dāng)前的研究熱點。
[0013]

【發(fā)明內(nèi)容】

[0014]鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法，以解決現(xiàn)有技術(shù)的城市生態(tài)文明管理系統(tǒng)中單一數(shù)據(jù)源存在嚴(yán)重的信息缺失和不確定性，手工建模，建模結(jié)果精度不高、制作周期長、成本高等問題。
[0015]為了達(dá)到上述目的，本發(fā)明采取了以下技術(shù)方案:
一種基于北斗定位的空地一體城市生態(tài)文明管理方法，其中，所述方法包括以下步
驟:
51、通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)；
52、將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息；
53、對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解；
54、根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型；
55、建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
[0016]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其中，所述步驟Si中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn):
高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
[0017]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其中，所述步驟S2中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
[0018]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其中，所述步驟S3具體包括以下方法:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
[0019]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其中，所述步驟S4具體包括以下方法:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
[0020]一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述系統(tǒng)包括: 數(shù)據(jù)采集模塊，用于通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛
采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)；
數(shù)據(jù)融合模塊，用于將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息；
場景分類模塊，用于對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解；
場景重建模塊，用于根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型；
數(shù)據(jù)庫建立模塊，用于建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
[0021]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述數(shù)據(jù)采集模塊中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn):
高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
[0022]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述數(shù)據(jù)融合模塊中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
[0023]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述場景分類模塊具體包括:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
[0024]優(yōu)選地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述場景重建模塊具體包括:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
[0025]有益效果:
本發(fā)明提供的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法，與現(xiàn)有技術(shù)相比具有以下優(yōu)點:場景模型制作精度可達(dá)厘米級，遠(yuǎn)高于傳統(tǒng)制作方法的米級精度；而數(shù)據(jù)采集與處理時間通過實際驗證和測算，僅為傳統(tǒng)方法的1/4左右。
[0026]【專利附圖】

【附圖說明】
[0027]圖1是本發(fā)明的基于北斗定位的空地一體城市生態(tài)文明管理方法的流程圖。
[0028]圖2是本發(fā)明的基于北斗定位的空地一體城市生態(tài)文明管理方法中的技術(shù)框架的示意圖。
[0029]圖3是本發(fā)明的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)的結(jié)構(gòu)框圖。
[0030]【具體實施方式】
[0031]本發(fā)明提供了一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法。為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下參照附圖并舉實例對本發(fā)明進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。[0032]為了方便理解，首先介紹一下北斗衛(wèi)星導(dǎo)航系統(tǒng)。
[0033]北斗衛(wèi)星導(dǎo)航系統(tǒng)〔BeiDou(COMPASS)NavigationSatellite System〕具備在中國及其周邊地區(qū)范圍內(nèi)的定位、授時、報文和GPS廣域差分功能，并在測繪、電信、水利、交通運輸、漁業(yè)、勘探、森林防火和國家安全等諸多領(lǐng)域逐步發(fā)揮著重要作用。
[0034]中國在2000年開始建設(shè)屬于自己的“北斗”衛(wèi)星導(dǎo)航定位系統(tǒng)，2004年建設(shè)北斗區(qū)域衛(wèi)星導(dǎo)航系統(tǒng)的工程正式立項開始，2012年10月隨著中國第16顆北斗導(dǎo)航衛(wèi)星在長征三號丙火箭的托舉下呼嘯升空，這顆地球靜止軌道衛(wèi)星將與先期發(fā)射的15顆北斗導(dǎo)航衛(wèi)星組網(wǎng)運行，形成區(qū)域服務(wù)能力。北斗區(qū)域衛(wèi)星導(dǎo)航系統(tǒng)組網(wǎng)發(fā)射任務(wù)全部圓滿完成。
[0035]北斗導(dǎo)航系統(tǒng)與美國的GPS、歐洲的“伽利略”和俄羅斯的“格洛納斯”相比，優(yōu)勢在于短信服務(wù)和導(dǎo)航結(jié)合，增加了通訊功能；全天候快速定位，極少的通信盲區(qū)，精度與GPS相當(dāng)，而在增強區(qū)域也就是亞太地區(qū)，甚至?xí)^GPS ；向全世界提供的服務(wù)都是免費的，在提供無源定位導(dǎo)航和授時等服務(wù)時，用戶數(shù)量沒有限制，且與GPS兼容；特別適合集團用戶大范圍監(jiān)控與管理，以及無依托地區(qū)數(shù)據(jù)采集用戶數(shù)據(jù)傳輸應(yīng)用；自主系統(tǒng)，高強度加密設(shè)計，安全、可靠、穩(wěn)定，適合關(guān)鍵部門應(yīng)用。
[0036]區(qū)別于室內(nèi)場景或小型物體三維重建，大尺度室外場景時空高維建模具有更大的挑戰(zhàn)性，其特征表現(xiàn)在:(I)獲取數(shù)據(jù)的不完整性:對于小尺度物體可以采用特定實驗裝置來采集完整的數(shù)據(jù)，而且數(shù)據(jù)精度、分辨率可控、可調(diào)；而大尺度場景的數(shù)據(jù)采集則會受到很多現(xiàn)實條件的影響，而且場景物體本身或物體之間存在遮擋，對場景中任何一個物體得到完整的數(shù)據(jù)采集幾乎不太現(xiàn)實。(2)大尺度場景的復(fù)雜性:大尺度室外場景中的建筑物以及其它自然物體如樹木等具有復(fù)雜多變的幾何形體與結(jié)構(gòu)。(3)大尺度場景的動態(tài)性:室外大場景中不僅包含靜態(tài)物體，還有大量動態(tài)行為，需要檢測提取；另一方面，快速城市化進程使得場景空間結(jié)構(gòu)處于動態(tài)變化過程中，比如建筑物拆遷、新增路牌、甚至地形改變等，需要對場景進行時空高維建模，研究場景三維模型的動態(tài)更新。(4)測量數(shù)據(jù)的不精確性:這受測量設(shè)備本身的精度和測量條件的限制。(5)海量的數(shù)據(jù)量。
[0037]目前基于單一數(shù)據(jù)源的場景建模與表達(dá)方法在建模效率、精度、準(zhǔn)確度、自動化程度等方面都存在著較大的局限性，大多方法只是針對特定類型或形狀規(guī)則的簡單物體，實際應(yīng)用中通用性不強，難以應(yīng)對大尺度場景高維建模的上述挑戰(zhàn)。針對此問題，本項目基于多源傳感信息的融合深入研究大尺度復(fù)雜場景的時空高維建模和表達(dá)方法。
[0038]本發(fā)明的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法采用載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機、車輛等所采集的衛(wèi)星影像、低空航拍影像、車載激光掃描、車載視頻攝像、地面定點拍照/攝像數(shù)據(jù)，基于多源融合數(shù)據(jù)實現(xiàn)大場景分割、分類、識別及高維重建任務(wù)。
[0039]請參閱圖1，其為本發(fā)明的基于北斗定位的空地一體城市生態(tài)文明管理方法的流程圖。如圖所示，所述基于北斗定位的空地一體城市生態(tài)文明管理方法包括以下步驟:
51、通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)；
52、將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息；
53、對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解；
54、根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型；
55、建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
[0040]下面分別針對上述步驟進行詳細(xì)描述。
[0041]所述步驟SI為通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)。此步驟為數(shù)據(jù)采集過程。大尺度場景完整三維數(shù)據(jù)的高精度快速獲取是場景建模的基礎(chǔ)，因此，在本發(fā)明中力圖采用多種方式、多種數(shù)據(jù)源盡可能完整地獲取場景的三維信息。通過不同視點拍攝的圖像，采用立體匹配的方法能夠恢復(fù)場景的稠密三維點云，對此雖然研究者們提出了大量的算法，但其穩(wěn)定性一直阻礙著這些方法在實際問題上的應(yīng)用，尤其對于實際復(fù)雜場景，這些方法無論在計算穩(wěn)定性還是處理規(guī)模和計算效率等方面都存在不同程度的問題。
[0042]進一步地，在本實施例中，所述步驟SI中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn):
高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
[0043]所述步驟S2為將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息。此步驟為數(shù)據(jù)融合過程。大尺度場景的數(shù)據(jù)來自不同傳感器(激光掃描儀、攝像機等)、不同視點(高空、低空、地面等)、不同采集方式(沿固定路線車載移動激光掃描/視頻攝像、手持式自由攝像、地面定點激光掃描/拍照/攝像、航空影像等)，這些數(shù)據(jù)具有不同的數(shù)據(jù)結(jié)構(gòu)(二維圖像、三維點云)、不同分辨率(厘米到米等不同級別)，在多方面反映了同一場景的不同性質(zhì)和特征，有很強的互補性，比如點云中窗戶輪廓、陽臺欄桿等細(xì)節(jié)信息不明顯或存在缺失，而圖像具有很高的高分辨率能捕獲這些細(xì)節(jié)信息，而且拍攝視角具有隨意性，人們可以從多個不同角度來拍攝。為了充分利用這些數(shù)據(jù)的互補性，獲得場景更豐富全面的信息，以利于場景重建和表達(dá)，需要研究多源數(shù)據(jù)的層次化特征表示以及基于多層次特征的一致性融合問題。
[0044]進一步地，在本實施例中，所述步驟S2中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
[0045]所述步驟S3為對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解。此步驟為場景分類過程。大尺度場景中既包含道路、建筑物、植物等靜態(tài)景觀，也含有大量的行人、車輛等動態(tài)行為，要基于獲取的多源數(shù)據(jù)實現(xiàn)對場景的高維建模與表達(dá)，需要對場景進行語義化分割和分類，提取建筑物、植物、路面等主要物體，在物體層面將大場景分解成有語義信息的個體，研究結(jié)合顏色、深度/三維、運動等多模態(tài)信息的大場景自動/半自動分割、分類與識別，實現(xiàn)大場景的語義理解。
[0046]進一步地，在本實施例中，所述步驟S3具體包括以下方法:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
[0047]所述步驟S4為根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型。此步驟為場景重建過程。具體來說，通過各種方式得到的三維點云只是物體表面的一個離散采樣，數(shù)據(jù)具有不完整性、高度復(fù)雜性和不精確性，基于三維點云的高精度幾何重建具有很大的挑戰(zhàn)性。目前已經(jīng)有眾多的研究探索如何從單一數(shù)據(jù)源重建物體的高維模型，事實上，我們可以利用不同方式獲取的多源數(shù)據(jù)的互補性來彌補單一數(shù)據(jù)源的不足。另外我們還可以利用場景中物體的一些先驗知識，比如，人造物體通常具有很強的規(guī)則性，其結(jié)構(gòu)布局滿足一定的規(guī)則約束。對于某一類物體，在互聯(lián)網(wǎng)上往往已經(jīng)存在一些完整的、精確的三維模型，這些模型可以構(gòu)成一個模型數(shù)據(jù)庫，可以通過模型數(shù)據(jù)庫獲取待重建物體的一些統(tǒng)計和模板知識。
[0048]進一步地，如何有效融合和運用先驗知識、統(tǒng)計規(guī)律、模板庫和多源傳感數(shù)據(jù)等各種信息，高精度重建大場景的時空幾何模型是步驟S4的主要內(nèi)容。在本實施例中，其具體包括以下方法:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
[0049]所述步驟S5為建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。具體來說，公開的標(biāo)準(zhǔn)數(shù)據(jù)集在科學(xué)研究中發(fā)揮了重要的作用。針對大尺度場景，目前已建立了一些公開的圖像數(shù)據(jù)庫，比如加州理工的Caltech-256數(shù)據(jù)庫，MIT的SUN數(shù)據(jù)庫等，但是目前尚無公開的大尺度場景三維點云數(shù)據(jù)庫，這可能部分源于大尺度場景三維數(shù)據(jù)獲取的困難。在本項目中我們擬基于自身的設(shè)備優(yōu)勢，建立初步的大規(guī)模城市場景三維點云/圖像標(biāo)準(zhǔn)數(shù)據(jù)庫，數(shù)據(jù)庫中包含城市場景三維點云原始數(shù)據(jù)，對應(yīng)的高清晰紋理圖像/視頻數(shù)據(jù)，以及場景重建靜態(tài)三維模型和動態(tài)的時空高維模型。有了上述模型和相應(yīng)的數(shù)據(jù)，便可以實現(xiàn)城市生態(tài)文明的管理。
[0050]舉例說來，比如:利用衛(wèi)星遙感技術(shù)大面積地對全市綠化整體情況進行監(jiān)測；通過無人機的低空航拍，精確了解每一片可綠化的區(qū)域，包括屋頂綠化；通過實景影像車在路面上的實景拍攝，了解生態(tài)文明現(xiàn)狀以及發(fā)現(xiàn)可能存在問題；同時利用數(shù)據(jù)的更新比對，監(jiān)控園林綠化、屋頂造綠的進度等，并可制定相關(guān)規(guī)劃，監(jiān)督規(guī)劃實施，進一步推進生態(tài)文明建設(shè)進程；利用衛(wèi)星精確定位，對與生態(tài)環(huán)境密切相關(guān)的移動作業(yè)對象(環(huán)衛(wèi)車輛、垃圾清運車輛、灑水車、泥頭車等)進行精細(xì)管理，更有效的提高生態(tài)文明建設(shè)的管理水平；通過建設(shè)公眾參與的微博、微信、隨手拍等公共信息互動平臺發(fā)動廣大市民參與，營造全民監(jiān)管的氛圍，讓不利于生態(tài)文明建設(shè)的行為和現(xiàn)象無處躲藏。
[0051]通過融合衛(wèi)星遙感、衛(wèi)星定位、無人機低空航拍、路面實景影像，智能傳感、圖像智能識別、大數(shù)據(jù)挖掘分析、輿情監(jiān)控等技術(shù)，建設(shè)生態(tài)環(huán)境監(jiān)測系統(tǒng)、基礎(chǔ)設(shè)施管理系統(tǒng)、移動對象管理系統(tǒng)三大系統(tǒng)。并建設(shè)城市樓頂綠化量算、植物碳排量吸收計算、森林火災(zāi)防控、視頻識別管理、部件丟失智能報警、數(shù)據(jù)普查及更新、垃圾場站飽和度識別及預(yù)警、環(huán)衛(wèi)等特種車輛管理等十幾個子系統(tǒng)，構(gòu)建一個空地一體的生態(tài)文明監(jiān)管平臺，必將極大地推動生態(tài)文明建設(shè)和行政管理的創(chuàng)新。
[0052]對于大場景建模目前多采用單一數(shù)據(jù)源(視頻圖像、遙感影像或激光掃描點云等)，而場景的大范圍、大尺度、多遮擋，其中物體結(jié)構(gòu)的復(fù)雜性、多樣性，以及單一數(shù)據(jù)源的不完整性等特點，都給傳統(tǒng)的大場景建模技術(shù)提出了巨大的挑戰(zhàn)，現(xiàn)有的方法在處理規(guī)模、對象復(fù)雜性、算法魯棒性、建模效率和精度上都有待提高。而實際上針對同一場景現(xiàn)實存在多種不同的數(shù)據(jù)源和先驗知識，它們既存在信息冗余又互為補充，本發(fā)明力圖充分利用多種方式采集的多傳感數(shù)據(jù)，結(jié)合先驗知識、統(tǒng)計規(guī)律、在線模型庫等人類認(rèn)知經(jīng)驗和網(wǎng)絡(luò)資源，實現(xiàn)風(fēng)格各異、形狀多變的大尺度復(fù)雜場景的高效率、高精度建模。多源信息的融合和多層次綜合利用是本項目的一大特色。
[0053]另外，本發(fā)明的創(chuàng)新之處還包括:創(chuàng)新性地提出利用視頻序列的連貫性與冗余性信息，以及關(guān)鍵幀簡化表達(dá)和多幀統(tǒng)計的思想，為構(gòu)造一個面向大尺度場景的三維結(jié)構(gòu)恢復(fù)的全局優(yōu)化計算框架提供了理論指導(dǎo)。同時，從應(yīng)用對象出發(fā)，在理論的指導(dǎo)下，通過高效的非連續(xù)特征跟蹤，分段式的從粗到細(xì)的求解策略，以及新的全局優(yōu)化等多種策略和方法，解決數(shù)值計算過程中的穩(wěn)定性與效率問題，實現(xiàn)單/多視頻長序列的高效穩(wěn)定的攝像機標(biāo)定與深度恢復(fù)。提出結(jié)合機器學(xué)習(xí)和數(shù)據(jù)挖掘等方法，深入挖掘和利用多源數(shù)據(jù)在信息和維度上的優(yōu)勢，進行多層次特征融合、關(guān)聯(lián)學(xué)習(xí)，實現(xiàn)時空一致性分割與識別，以及場景的語義表達(dá)。融合和運用先驗知識、統(tǒng)計規(guī)律、模型庫和多源傳感數(shù)據(jù)等各種信息，采用自頂向下的建模思路對建筑物和植被進行時空高維建模。
[0054]概括說來，本發(fā)明采用載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機、車輛等所采集的衛(wèi)星影像、低空航拍影像、車載激光掃描、車載視頻攝像、地面定點拍照/攝像數(shù)據(jù)，并通過以上多種方式快速完整地獲取大尺度場景的二維紋理圖像和三維點云數(shù)據(jù)，基于多源融合數(shù)據(jù)實現(xiàn)大場景分割、分類、識別及高維重建任務(wù)。其技術(shù)框架圖如圖2所
/Jn ο
[0055]應(yīng)當(dāng)理解地是，在上述步驟SI到S4中，每一步驟均包括很多技術(shù)細(xì)節(jié)，如基于多圖像/視頻的時空一致性圖像/視頻分割方法、針對循環(huán)回路多視頻序列的高效穩(wěn)定的攝像機跟蹤方法等，上述方法為現(xiàn)有技術(shù)，本發(fā)明采用該技術(shù)分別實現(xiàn)相應(yīng)的功能，因為每一方法均為本領(lǐng)域普通技術(shù)人員所能夠了解到的，為了描述簡單，這里就不針對上述方法進行贅述了。
[0056]本發(fā)明還提供了一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，如圖3所示，所述系統(tǒng)包括:
數(shù)據(jù)采集模塊100，用于通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)；
數(shù)據(jù)融合模塊200，用于將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息；
場景分類模塊300，用于對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解；
場景重建模塊400，用于根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型；
數(shù)據(jù)庫建立模塊500，用于建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
[0057]進一步地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)中，所述數(shù)據(jù)采集模塊中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn):
高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
[0058]進一步地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)中，所述數(shù)據(jù)融合模塊中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
[0059]進一步地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)中，所述場景分類模塊具體包括:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
[0060]更進一步地，所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其中，所述場景重建模塊具體包括:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
[0061]本發(fā)明提供的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)及方法，采用載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機、車輛等所采集的衛(wèi)星影像、低空航拍影像、車載激光掃描、車載視頻攝像、地面定點拍照/攝像數(shù)據(jù)，并通過以上多種方式快速完整地獲取大尺度場景的二維紋理圖像和三維點云數(shù)據(jù)，基于多源融合數(shù)據(jù)實現(xiàn)大場景分害I]、分類、識別及高維重建任務(wù)。與現(xiàn)有技術(shù)相比具有以下優(yōu)點:場景模型制作精度可達(dá)厘米級，遠(yuǎn)高于傳統(tǒng)制作方法的米級精度；而數(shù)據(jù)采集與處理時間通過實際驗證和測算，僅為傳統(tǒng)方法的1/4左右。
[0062]可以理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，而所有這些改變或替換都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
【權(quán)利要求】
1.一種基于北斗定位的空地一體城市生態(tài)文明管理方法，其特征在于，所述方法包括以下步驟: 51、通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)； 52、將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息； 53、對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解； 54、根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型； 55、建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
2.根據(jù)權(quán)利要求1所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其特征在于，所述步驟SI中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn): 高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
3.根據(jù)權(quán)利要求1所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其特征在于，所述步驟S2中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
4.根據(jù)權(quán)利要求1所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其特征在于，所述步驟S3具體包括以下方法:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
5.根據(jù)權(quán)利要求1所述的基于北斗定位的空地一體城市生態(tài)文明管理方法，其特征在于，所述步驟S4具體包括以下方法:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
6.一種基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其特征在于，所述系統(tǒng)包括: 數(shù)據(jù)采集模塊，用于通過載有北斗衛(wèi)星導(dǎo)航定位技術(shù)終端設(shè)備的衛(wèi)星、無人機和車輛采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)；其中，所述車載激光掃描數(shù)據(jù)為三維點云數(shù)據(jù)，所述衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)為彩色圖像數(shù)據(jù)； 數(shù)據(jù)融合模塊，用于將上述采集到的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)以及地面定點拍照/攝像數(shù)據(jù)進行基于多模態(tài)多多特征的場景數(shù)據(jù)融合，用于獲取場景的全面信息； 場景分類模塊，用于對數(shù)據(jù)融合后的場景進行語義化分割和分類，提取場景中的物體，在物體層面將場景分解成有語義信息的個體；同時，研究結(jié)合多模態(tài)信息的場景自動或半自動分割、分類與識別，實現(xiàn)場景信息的語義理解； 場景重建模塊，用于根據(jù)上述場景信息的語義理解，并結(jié)合先驗知識、統(tǒng)計規(guī)律和模板庫的各種信息，重建場景的時空幾何模型，其中場景的時空幾何模型包括場景重建靜態(tài)三維模型和動態(tài)的時空高維模型； 數(shù)據(jù)庫建立模塊，用于建立包含上述時空幾何模型、三維點云數(shù)據(jù)、衛(wèi)星影像數(shù)據(jù)和低空航拍影像數(shù)據(jù)的數(shù)據(jù)庫，實現(xiàn)城市生態(tài)文明的管理。
7.根據(jù)權(quán)利要求6所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊中采集相應(yīng)的衛(wèi)星影像數(shù)據(jù)、低空航拍影像數(shù)據(jù)、車載激光掃描數(shù)據(jù)、車載視頻攝像數(shù)據(jù)、地面定點拍照/攝像數(shù)據(jù)時，通過下列方法來實現(xiàn): 高精度攝像機跟蹤與深度恢復(fù)方法、針對多視頻序列和多攝像機的高效特征匹配方法、針對循環(huán)回路多視 頻序列的聞效穩(wěn)定的攝像機跟蹤方法、結(jié)合GPS的大尺度場景多攝像機跟蹤方法、高分辨率圖像的高精度深度恢復(fù)方法、以及快速的半自動深度和三維模型修復(fù)方法。
8.根據(jù)權(quán)利要求6所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其特征在于，所述數(shù)據(jù)融合模塊中基于多模態(tài)多多特征的場景數(shù)據(jù)融合具體包括:車載激光掃描數(shù)據(jù)和車載視頻攝像數(shù)據(jù)融合、地面定點拍照/攝像數(shù)據(jù)與三維點云數(shù)據(jù)的融合，以及低空航拍影像數(shù)據(jù)與三維點云數(shù)據(jù)的融合。
9.根據(jù)權(quán)利要求6所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其特征在于，所述場景分類模塊具體包括:基于多圖像/視頻的時空一致性圖像/視頻分割方法；基于快速交互的物體分割與標(biāo)注方法；基于機器學(xué)習(xí)的場景/物體識別與分類、運動目標(biāo)的分割與提取、場景中主要物體的提取、分類與識別方法。
10.根據(jù)權(quán)利要求6所述的基于北斗定位的空地一體城市生態(tài)文明管理系統(tǒng)，其特征在于，所述場景重建模塊具體包括:融合多源信息的缺失幾何信息重構(gòu)方法，同類物體的參數(shù)化描述與重建方法，基于知識的場景建模方法，常見物體的時空高維建模方法，以及場景三維模型動態(tài)更新方法。
【文檔編號】G06F17/50GK104021586SQ201410187080
【公開日】2014年9月3日 申請日期:2014年5月5日 優(yōu)先權(quán)日:2014年5月5日
【發(fā)明者】吳鋒 申請人:深圳市城市管理監(jiān)督指揮中心