本發(fā)明屬于大數(shù)據(jù)分析技術(shù)領(lǐng)域,更具體地,涉及一種基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法。
背景技術(shù):
隨著城市化進(jìn)程的加快以及氣候變化的影響,近年來城市內(nèi)澇災(zāi)害頻發(fā),已成為我國城市發(fā)展面臨的嚴(yán)峻挑戰(zhàn)。為了減少城市洪澇災(zāi)害造成的嚴(yán)重?fù)p失,應(yīng)首先確定城市的所有易澇點(diǎn)并對易澇點(diǎn)進(jìn)行重點(diǎn)監(jiān)控和治理?,F(xiàn)有尋找易澇點(diǎn)的方法主要為人工實(shí)地勘測,不僅耗費(fèi)大量的人力物力,效率很低,而且無法快速跟蹤由于城市建設(shè)導(dǎo)致易澇點(diǎn)的變化情況,也無法直觀的獲取易澇點(diǎn)的空間分布,因此也難以快速發(fā)布漬水點(diǎn)的預(yù)警信息,給城市居民的交通出行及其生命財(cái)產(chǎn)造成困擾和損失。
技術(shù)實(shí)現(xiàn)要素:
針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,其目的在于利用大數(shù)據(jù)分析方法提高確定城市易澇點(diǎn)的效率并對易澇點(diǎn)的空間分布進(jìn)行直觀的展示。
為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個方面,提供了一種基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,包括如下步驟:
(1)將研究區(qū)域的遙感影像數(shù)據(jù)轉(zhuǎn)換成二維矩陣式的dem(數(shù)字高程模型,digitalelevationmodel)數(shù)據(jù);
(2)將所述dem數(shù)據(jù)分布式存儲到hadoop的分布式文件系統(tǒng),完成數(shù)據(jù)的分塊存儲;
(3)對分塊存儲的dem數(shù)據(jù),通過比較每個測量點(diǎn)的高程與每個所述測量點(diǎn)周邊相鄰測量點(diǎn)的高程來判斷每個所述測量點(diǎn)是否為低洼點(diǎn);并根據(jù)預(yù)設(shè)的閾值對找到的低洼點(diǎn)進(jìn)行判斷以確定易澇點(diǎn)。
優(yōu)選地,上述基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,其步驟(3)包括如下子步驟:
(3.1)將二維矩陣式的dem數(shù)據(jù)每一行的內(nèi)容按照空格切分得到列的位置信息以確定每個測量點(diǎn)所在的行和列;
(3.2)確定每個測量點(diǎn)的鄰居點(diǎn)并獲取數(shù)組(key,value);
其中,key是當(dāng)前測量點(diǎn)的鄰居點(diǎn)的坐標(biāo),value是當(dāng)前測量點(diǎn)的坐標(biāo)和高程;
(3.3)根據(jù)當(dāng)前測量點(diǎn)的坐標(biāo)與其鄰居點(diǎn)的坐標(biāo)形成計(jì)算點(diǎn)集;
(3.4)通過reduce計(jì)算確定所述計(jì)算點(diǎn)集的中心點(diǎn),根據(jù)所述中心點(diǎn)的高程與周邊相鄰測量點(diǎn)的高程的比較計(jì)算來判斷其是否為低洼點(diǎn),根據(jù)高程閾值對所有低洼點(diǎn)進(jìn)行判斷以確定易澇點(diǎn);
其中,高程閾值根據(jù)研究區(qū)域?qū)崪y的內(nèi)澇數(shù)據(jù)來確定;
hadoop是指一個分布式系統(tǒng)基礎(chǔ)架構(gòu),hadoop框架最核心的設(shè)計(jì)是hdfs(分布式文件系統(tǒng),hadoopdistributedfilesystem)和map-reduce;hdfs為大數(shù)據(jù)提供了分布式存儲,map-reduce為大數(shù)據(jù)提供了計(jì)算;在本發(fā)明中,利用hdfs對海量dem數(shù)據(jù)進(jìn)行分布式存儲,利用map-reduce實(shí)現(xiàn)并行處理;
由于城市dem數(shù)據(jù)量巨大,為了及時更新并反映城市建設(shè)帶來的地形變化,在本發(fā)明的步驟(3)中采用上述分布式計(jì)算,包括map和reduce兩個階段;數(shù)據(jù)會劃分到多個節(jié)點(diǎn),不同的行可能會分發(fā)到不同的節(jié)點(diǎn);在map階段對數(shù)據(jù)進(jìn)行分發(fā)處理,在reduce階段實(shí)現(xiàn)易澇點(diǎn)的判定計(jì)算。
優(yōu)選地,上述基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,把低洼點(diǎn)的高程和預(yù)設(shè)的高程閾值進(jìn)行比較,如果這個低洼點(diǎn)的高程比高程閾值小,就把這個低洼點(diǎn)判定為易澇點(diǎn),其目的在于過濾某些雖是低洼點(diǎn),但是高程比較高的非易澇點(diǎn),使計(jì)算結(jié)果更符合實(shí)際易澇點(diǎn)的情況;
優(yōu)選地,上述種基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,還包括如下步驟:
(4)根據(jù)易澇點(diǎn)在dem數(shù)據(jù)矩陣中所處的行、列數(shù)及其行、列之間的間距以及起始點(diǎn)的經(jīng)緯度計(jì)算出易澇點(diǎn)的經(jīng)緯度;其中,起始點(diǎn)是指dem數(shù)據(jù)的第一個點(diǎn);
(5)將得到的易澇點(diǎn)的經(jīng)緯度和高程信息通過webgis技術(shù)進(jìn)行可視化顯示。
優(yōu)選地,上述種基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,其步驟(5)包括如下子步驟:
(5.1)在可視化終端上加載研究區(qū)域的電子地圖;
(5.2)將易澇點(diǎn)的經(jīng)緯度和高程數(shù)據(jù)導(dǎo)入電子地圖,顯示易澇點(diǎn)的空間分布情況,并將易澇點(diǎn)的高程用不同的顏色在電子地圖上進(jìn)行顯示。
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,能夠取得下列有益效果:
現(xiàn)有尋找易澇點(diǎn)的方法主要為人工實(shí)地勘測,耗費(fèi)大量人力物力,效率很低,而且無法高效跟蹤由于城市建設(shè)的變化帶來城市易澇點(diǎn)的變化情況,也無法直觀準(zhǔn)確的獲取易澇點(diǎn)的空間分布,因此也難以提前預(yù)測并發(fā)布漬水點(diǎn)的位置;
本發(fā)明提供的基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,通過將當(dāng)前測量點(diǎn)與其周邊相鄰的多個點(diǎn)進(jìn)行比較計(jì)算來確定當(dāng)前測量點(diǎn)是否為易澇點(diǎn);并通過遙感數(shù)據(jù)結(jié)合大數(shù)據(jù)處理,應(yīng)用hadoop的分布式文件存儲系統(tǒng)hdfs來存儲城市海量的地形數(shù)據(jù),應(yīng)用hadoop的map-reduce實(shí)現(xiàn)分布式并行處理,將海量的dem數(shù)據(jù)分發(fā)到不同的節(jié)點(diǎn)進(jìn)行并行處理,突破了海量數(shù)據(jù)計(jì)算速率瓶頸,實(shí)現(xiàn)了快速確定城市易澇點(diǎn)。其優(yōu)選方案實(shí)現(xiàn)了對易澇點(diǎn)的空間分布的可視化展現(xiàn),并將易澇點(diǎn)的高程用不同的顏色在電子地圖上進(jìn)行渲染顯示;相對于傳統(tǒng)方法本發(fā)明可以及時反映城市建設(shè)帶來的地形變化,準(zhǔn)確直觀地了解易澇點(diǎn)的空間分布情況,具有很高的社會經(jīng)濟(jì)效益和廣泛的實(shí)用價值。
附圖說明
圖1是本發(fā)明實(shí)施例中提供的基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法的流程示意圖;
圖2是實(shí)施例中所轉(zhuǎn)換得的部分dem數(shù)據(jù)的示意圖;
圖3是實(shí)施例中利用hadoop的map-reduce方法進(jìn)行分塊并行處理的流程示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
本發(fā)明實(shí)施例提供的基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,應(yīng)用地理信息系統(tǒng)技術(shù)處理城市的遙感數(shù)據(jù),建立數(shù)字高程模型dem(digitalelevationmodel),將海量的dem數(shù)據(jù)存入hadoop的分布式文件存儲系統(tǒng)hdfs,基于海量dem數(shù)據(jù)通過map-reduce快速計(jì)算確定城市易澇點(diǎn)及其空間分布,將得到的易澇點(diǎn)數(shù)據(jù)渲染后在電子地圖進(jìn)行二維可視化顯示。
實(shí)施例提供的基于遙感大數(shù)據(jù)確定城市易澇點(diǎn)的方法,其流程如圖1所示,包括如下步驟:
(1)將待分析區(qū)域的遙感影像數(shù)據(jù)通過地理信息系統(tǒng)轉(zhuǎn)換成符合hadoop程序輸入txt格式的二維矩陣式的dem數(shù)據(jù);
本實(shí)施例中,在arcgis下首先打開arcmap,加載研究區(qū)域的遙感影像數(shù)據(jù);然后打開arctoolbox,找到由柵格轉(zhuǎn)出下的柵格轉(zhuǎn)ascii工具,然后以加載的遙感影像數(shù)據(jù)作為輸入柵格,配置環(huán)境變量,設(shè)定輸出路徑后進(jìn)行轉(zhuǎn)化獲得dem數(shù)據(jù);如圖2所示,是實(shí)施例中所轉(zhuǎn)換得的部分dem數(shù)據(jù)示意圖。
(2)將轉(zhuǎn)換獲得的海量dem數(shù)據(jù)存入hadoop的分布式文件存儲系統(tǒng)hdfs;
(3)對分布式存儲在各節(jié)點(diǎn)的dem數(shù)據(jù),分別通過比較每個測量點(diǎn)的高程與該測量點(diǎn)周邊相鄰八個點(diǎn)的高程來判斷這個點(diǎn)是否為低洼點(diǎn);
若該測量點(diǎn)的高程比該測量點(diǎn)周邊相鄰八個測量點(diǎn)的高程都低,那么將該測量點(diǎn)判定為低洼點(diǎn)。
城市的易澇點(diǎn)與城市建設(shè)造成的地形變化密切相關(guān),本發(fā)明基于海量的城市dem數(shù)據(jù),利用map-reduce實(shí)現(xiàn)并行處理;實(shí)施例中,對分布式存儲在各節(jié)點(diǎn)上的dem數(shù)據(jù)采用map-reduce進(jìn)行分塊并行處理,快速確定城市的易澇點(diǎn),獲取易澇點(diǎn)數(shù)據(jù);其流程具體如圖3所示,包括如下子步驟:
(3.1)將二維矩陣式的dem數(shù)據(jù)的每一行的內(nèi)容按照空格切分得到列的位置信息,以確定每個測量點(diǎn)所在的行和列,進(jìn)而確定每個點(diǎn)測量所在的位置,便于后續(xù)的高程比較和經(jīng)緯度計(jì)算;
(3.2)確定每個測量點(diǎn)的鄰居點(diǎn)即當(dāng)前計(jì)算點(diǎn)周圍的八個點(diǎn),并獲取數(shù)組(key,value);其中,key是當(dāng)前點(diǎn)的鄰居點(diǎn)的坐標(biāo),value是當(dāng)前點(diǎn)的坐標(biāo)和高程;
(3.3)把當(dāng)前測量點(diǎn)的坐標(biāo)和所有鄰居點(diǎn)即當(dāng)前計(jì)算點(diǎn)周圍的八個點(diǎn)的坐標(biāo)進(jìn)行匯總并排除其中邊界外的點(diǎn),形成計(jì)算點(diǎn)集即一個計(jì)算邏輯單元;
其中,邊界外的點(diǎn)是指一個計(jì)算點(diǎn)集以外的點(diǎn),即每個中心點(diǎn)和周圍八個點(diǎn)所組成的計(jì)算點(diǎn)集以外的點(diǎn);
(3.4)通過reduce計(jì)算找到上述計(jì)算點(diǎn)集中的中心點(diǎn)并判斷其是否為低洼點(diǎn),根據(jù)預(yù)設(shè)的高程閾值對找到的低洼點(diǎn)進(jìn)行過濾以確定易澇點(diǎn);
本實(shí)施例中,以武漢市為例,根據(jù)武漢市實(shí)測易澇點(diǎn)的高程數(shù)據(jù)將高程閾值設(shè)定為海拔36米(武漢市最高的易澇點(diǎn)的高程值為35.77米),將高程小于該高程閾值的低洼點(diǎn)被判定為易澇點(diǎn);
(4)將易澇點(diǎn)的經(jīng)緯度和高程數(shù)據(jù)導(dǎo)入電子地圖,顯示易澇點(diǎn)的空間分布情況,并將易澇點(diǎn)的高程用不同的顏色在電子地圖上進(jìn)行可視化顯示;
本實(shí)施例中,具體如下:在網(wǎng)頁上加載武漢市的地圖調(diào)用相應(yīng)的api(應(yīng)用程序編程接口,applicationprogramminginterface),將得到的易澇點(diǎn)的經(jīng)緯度和高程數(shù)據(jù)導(dǎo)入該地圖中并對其進(jìn)行渲染展示;本實(shí)施例中,易澇點(diǎn)的絕對高程越低,渲染采用的顏色越深。
本領(lǐng)域的技術(shù)人員容易理解,以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。