本發(fā)明涉及數(shù)據(jù)提取領(lǐng)域，更具體的說(shuō)是涉及一種基于MDA的多維數(shù)據(jù)抽取方法。
背景技術(shù)：
目前主要的交通數(shù)據(jù)采集方式有兩類：一類是基于固定式車輛檢測(cè)器進(jìn)行采集，常用的有微波檢測(cè)器、線圈檢測(cè)器、紅外檢測(cè)器、視頻檢測(cè)器、超聲波檢測(cè)器等，另一類是基于移動(dòng)式車輛檢測(cè)設(shè)備進(jìn)行采集，常用的有車載GPS定位設(shè)備和車載手機(jī)等。固定檢測(cè)器可以采集流量，速度，占有率等交通基礎(chǔ)數(shù)據(jù)，但存在初期投資成本大，覆蓋率低，后期維護(hù)復(fù)雜等問(wèn)題，所以在大多數(shù)城市中只選擇重點(diǎn)道路進(jìn)行布設(shè)。目前應(yīng)用較多的移動(dòng)探測(cè)器是車載GPS定位設(shè)備，可以提供車輛實(shí)時(shí)的位置和狀態(tài)信息，目前移動(dòng)式交通信息采集主要通過(guò)浮動(dòng)車來(lái)實(shí)現(xiàn)，即在車輛上裝載GPS定位設(shè)備，浮動(dòng)車可以采集車輛實(shí)時(shí)的位置和狀態(tài)信息，但是由于目前的浮動(dòng)車主要為出租車，而出租車特有的運(yùn)行方式往往導(dǎo)致某些路段或路線上采集的交通流數(shù)據(jù)樣本量不足及準(zhǔn)確性不高等問(wèn)題。隨著手機(jī)普及率的提高和手機(jī)定位技術(shù)的成熟，基于手機(jī)定位數(shù)據(jù)采集交通數(shù)據(jù)已經(jīng)顯現(xiàn)出了巨大的應(yīng)用潛力。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于，基于小區(qū)識(shí)別號(hào)的手機(jī)定位數(shù)據(jù)特點(diǎn)，制定預(yù)處理規(guī)則，剔除錯(cuò)誤和冗余數(shù)據(jù)；運(yùn)用時(shí)間窗口的儲(chǔ)存方式，動(dòng)態(tài)更新數(shù)據(jù)，保障數(shù)據(jù)處理的實(shí)時(shí)性；剔除表現(xiàn)為乒乓切換效應(yīng)的數(shù)據(jù)，提取車載手機(jī)數(shù)據(jù)；針對(duì)城市路網(wǎng)，采用基于路段的點(diǎn)到線的地圖匹配方法確定匹配點(diǎn)及匹配路段，最終計(jì)算每個(gè)路段的空間平均速度，從而有效解決了目前該領(lǐng)域?qū)?shí)際數(shù)據(jù)分析處理不足、實(shí)時(shí)性不強(qiáng)、地圖匹配算法效率低效果不佳的問(wèn)題，建立了一套基于MDA的多維數(shù)據(jù)抽取方法。
為解決上述的技術(shù)問(wèn)題，本發(fā)明采用以下技術(shù)方案：
一種基于MDA的多維數(shù)據(jù)抽取方法，它包括如下步驟：
1)手機(jī)定位數(shù)據(jù)預(yù)處理：
所述手機(jī)定位的方式是基于小區(qū)識(shí)別號(hào)的定位方法:
1-1)讀取手機(jī)定位數(shù)據(jù)；
1-2)根據(jù)定位點(diǎn)經(jīng)緯度坐標(biāo)，判斷該手機(jī)的位置是否在空間索引內(nèi)：如果不是，則返回步驟1-1)，如果是，則繼續(xù)下一步；
1-3)判斷該手機(jī)當(dāng)前位置是否與前一時(shí)間點(diǎn)位置相同：如果是，則返回步驟1-1)，如果不是，則進(jìn)行下一步；
1-4)取該手機(jī)定位數(shù)據(jù)為參與匹配數(shù)據(jù)；
同時(shí)對(duì)地圖數(shù)據(jù)進(jìn)行預(yù)處理，方法是：
a、根據(jù)手機(jī)數(shù)據(jù)定位誤差、采集數(shù)據(jù)時(shí)間間隔及車輛運(yùn)行速度限制，對(duì)電子地圖路段要素以滿足長(zhǎng)度要求進(jìn)行合并或者打斷；
b、對(duì)矢量化方向和道路車流實(shí)際運(yùn)行方向不一致的路段線要素調(diào)換起終點(diǎn)節(jié)點(diǎn)的位置，使二者方向一致；
c、對(duì)以一條獨(dú)立線要素表示的雙向道路，覆蓋一條線形和位置相同但矢量化方向相反的線要素，使電子地圖中完全包含道路的雙向運(yùn)行方向；
d、簡(jiǎn)化地圖，只保留研究范圍以內(nèi)滿足功能等級(jí)要求的路段；
e、對(duì)研究范圍區(qū)域路網(wǎng)圖層按經(jīng)緯度等間距分格，將與以路段中心線為基準(zhǔn)300米緩沖區(qū)范圍相交的網(wǎng)格賦予識(shí)別屬性，根據(jù)識(shí)別屬性在程序初始化階段生成空間索引數(shù)組；
2)確定手機(jī)定位點(diǎn)候選匹配路段及每個(gè)路段的粗選匹配點(diǎn)集：
2-1)為每一個(gè)路段建立存儲(chǔ)單元，儲(chǔ)存路段編號(hào)、路段方向、路段功能等級(jí)、路段空間數(shù)據(jù)以及匹配點(diǎn)集；
2-2)建立固定長(zhǎng)度的時(shí)間窗口，每間隔一段時(shí)間獲取實(shí)時(shí)數(shù)據(jù)，更新一次時(shí)間窗口，并作如下處理：
依次讀取每條手機(jī)定位數(shù)據(jù)，以經(jīng)緯度坐標(biāo)點(diǎn)即定位點(diǎn)為圓心作誤差圓，并以相交的約束規(guī)則進(jìn)行空間分析，選取候選路段集，對(duì)應(yīng)路段的垂直投影點(diǎn)作為匹配點(diǎn)，根據(jù)匹配點(diǎn)與路段的空間關(guān)系，得到該匹配點(diǎn)距離路段起點(diǎn)的距離，并將手機(jī)定位點(diǎn)和距離信息存入候選路段集的匹配點(diǎn)集中，作為粗選匹配點(diǎn)集；
3)車載手機(jī)數(shù)據(jù)提取，即每個(gè)路段精選匹配點(diǎn)集的確定：
3-1)讀取一條路段粗選匹配點(diǎn)集中的一條手機(jī)定位點(diǎn)序列；
3-2)判斷序列中定位點(diǎn)坐標(biāo)是否唯一：若不唯一，則刪除該定位點(diǎn)序列，并返回步驟3-1)；若唯一，則轉(zhuǎn)入下一步；
3-3)依次讀取序列中的手機(jī)定位點(diǎn)；
3-4)比較相鄰手機(jī)定位點(diǎn)軌跡方向與路段矢量化方向差值，若值小于設(shè)定閥值，則判定為行駛于該路段上的車載手機(jī)數(shù)據(jù)，否則刪除該定位點(diǎn)數(shù)據(jù)并返回步驟
3-3)讀取下一個(gè)定位點(diǎn)數(shù)據(jù)；
3-5)依次處理每一條路段，最終得到精選匹配點(diǎn)集；
4)以空間速度加權(quán)平均法計(jì)算路段空間平均速度。
更進(jìn)一步的，所述步驟2-2)，誤差圓的半徑是300m。
更進(jìn)一步的，所述步驟3-4)中，閥值是45度。
更進(jìn)一步的，所述步驟4)中，所述的空間速度加權(quán)平均法是，利用同一車載手機(jī)前后相鄰的匹配點(diǎn)之間的行駛距離與時(shí)間差獲取個(gè)體車輛的空間速度，進(jìn)而對(duì)匹配至該路段所有車輛進(jìn)行均值統(tǒng)計(jì)來(lái)估計(jì)路段的空間平均速度，加權(quán)系數(shù)為匹配點(diǎn)覆蓋路段長(zhǎng)度占路段總長(zhǎng)度的比率；
通過(guò)計(jì)算單個(gè)車載手機(jī)的空間速度及其在檢測(cè)路段上的權(quán)重因子wk，可得出該檢測(cè)路段的平均速度，具體公式如下：
v&OverBar；i＝1ΣwkΣwk×v&OverBar；k
式中，i表示第i條路段；k表示第k個(gè)手機(jī)；v表示第i條路段的空間平均速度；wk表示第k個(gè)手機(jī)匹配點(diǎn)覆蓋路段長(zhǎng)度占總長(zhǎng)度的比率。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：基于小區(qū)識(shí)別號(hào)的手機(jī)定位數(shù)據(jù)特點(diǎn)，制定預(yù)處理規(guī)則，剔除錯(cuò)誤和冗余數(shù)據(jù)；運(yùn)用時(shí)間窗口的儲(chǔ)存方式，動(dòng)態(tài)更新數(shù)據(jù)，保障數(shù)據(jù)處理的實(shí)時(shí)性；剔除表現(xiàn)為乒乓切換效應(yīng)的數(shù)據(jù)，提取車載手機(jī)數(shù)據(jù)；針對(duì)城市路網(wǎng)，采用基于路段的點(diǎn)到線的地圖匹配方法確定匹配點(diǎn)及匹配路段，最終計(jì)算每個(gè)路段的空間平均速度，從而有效解決了目前該領(lǐng)域?qū)?shí)際數(shù)據(jù)分析處理不足、實(shí)時(shí)性不強(qiáng)、地圖匹配算法效率低效果不佳的問(wèn)題。
附圖說(shuō)明
下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
圖1為本發(fā)明步驟流程圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。本發(fā)明的實(shí)施方式包括但不限于下列實(shí)施例。
[實(shí)施例]
本發(fā)明利用數(shù)據(jù)采集卡采集了北京市三環(huán)內(nèi)主要路段和郊區(qū)主要道路路段GSM網(wǎng)絡(luò)上的手機(jī)定位數(shù)據(jù)，原始數(shù)據(jù)包括手機(jī)識(shí)別號(hào)、時(shí)間戳、經(jīng)緯度坐標(biāo)、事件類型等信息，采集間隔為一分鐘。計(jì)算程序采用長(zhǎng)度為十五分鐘的時(shí)間窗口，每一分鐘更新一次數(shù)據(jù)，并處理十五分鐘時(shí)間窗內(nèi)儲(chǔ)存的數(shù)據(jù)，將計(jì)算結(jié)果按路段編號(hào)存入數(shù)據(jù)庫(kù)中。
如圖1所示為數(shù)據(jù)處理流程圖，具體實(shí)施步驟如下：
步驟1.手機(jī)定位數(shù)據(jù)以及地圖數(shù)據(jù)預(yù)處理；
手機(jī)定位數(shù)據(jù)預(yù)處理包括了以下步驟：
1.讀取一分鐘實(shí)時(shí)數(shù)據(jù)，根據(jù)每一條數(shù)據(jù)的經(jīng)緯度坐標(biāo)結(jié)合空間索引格的單位長(zhǎng)度計(jì)算定位點(diǎn)所屬空間索引網(wǎng)格的行列索引號(hào)，由此讀取空間索引屬性，若判斷為真，則表明該點(diǎn)位于研究區(qū)域且處于研究路段中心線300米范圍內(nèi)；
2.根據(jù)手機(jī)識(shí)別號(hào)，更新時(shí)間窗口，判斷是否和前一時(shí)間點(diǎn)定位點(diǎn)數(shù)據(jù)坐標(biāo)一致，若一致則不儲(chǔ)存，處理下一條定位點(diǎn)數(shù)據(jù)；
地圖預(yù)處理包括了以下步驟：
1.根據(jù)手機(jī)數(shù)據(jù)定位誤差、采集數(shù)據(jù)時(shí)間間隔及車輛運(yùn)行速度限制，對(duì)電子地圖路段要素以滿足不小于1500米長(zhǎng)度要求進(jìn)行合并或者打斷；
2.對(duì)矢量化方向和道路車流實(shí)際運(yùn)行方向不一致的路段線要素調(diào)換起終點(diǎn)節(jié)點(diǎn)的位置，使二者方向一致；
3.對(duì)以一條獨(dú)立線要素表示的雙向道路，覆蓋一條線形和位置相同但矢量化方向相反的線要素，使電子地圖中完全包含道路的雙向運(yùn)行方向；
4.簡(jiǎn)化地圖，只保留研究范圍以內(nèi)滿足功能等級(jí)要求的路段；
5.對(duì)研究范圍區(qū)域路網(wǎng)圖層按經(jīng)緯度等間距分格，行列都是150格，通過(guò)空間分析的相交約束條件選取與以路段中心線為基準(zhǔn)300米緩沖區(qū)范圍相交的網(wǎng)格，并賦予識(shí)別屬性，根據(jù)識(shí)別屬性在程序初始化階段生成行列對(duì)應(yīng)的空間索引數(shù)組，將對(duì)應(yīng)數(shù)組單元賦值為真。
步驟2.確定手機(jī)定位數(shù)據(jù)候選匹配路段及每個(gè)路段的粗選匹配點(diǎn)集，具體實(shí)施步驟如下：
1.程序初始化階段，讀取路段屬性數(shù)據(jù)和空間數(shù)據(jù)，并根據(jù)路段編號(hào)為每一個(gè)路段建立存儲(chǔ)單元，存儲(chǔ)路段編號(hào)，路段方向，路段功能等級(jí)，路段空間數(shù)據(jù)以及匹配點(diǎn)集；
2.在系統(tǒng)內(nèi)存中建立長(zhǎng)度為十五分鐘的時(shí)間窗口，通過(guò)實(shí)時(shí)數(shù)據(jù)接口每間隔一分鐘更新時(shí)間窗口，并作如下處理：依次讀取每條手機(jī)定位數(shù)據(jù)，以經(jīng)緯度坐標(biāo)點(diǎn)為圓心作300米誤差圓，并以相交的約束規(guī)則進(jìn)行空間分析，選取候選路段集，對(duì)應(yīng)路段的投影點(diǎn)作為匹配點(diǎn)，根據(jù)匹配點(diǎn)與路段的空間關(guān)系，得到該匹配點(diǎn)距離路段起點(diǎn)的距離，并將定位點(diǎn)和距離信息存入候選路段集的匹配點(diǎn)集中，作為粗選點(diǎn)集。
步驟3.車載手機(jī)數(shù)據(jù)提取，即每個(gè)路段精選匹配點(diǎn)集的確定，具體實(shí)施步驟如下：
1.讀取一條路段粗選匹配點(diǎn)集中的一條手機(jī)定位點(diǎn)序列；
2.判斷序列中定位點(diǎn)坐標(biāo)是否唯一，若不唯一，則說(shuō)明該數(shù)據(jù)受乒乓切換效應(yīng)影響，將該數(shù)據(jù)剔除，并返回步驟1；若唯一則轉(zhuǎn)入步驟3；
3.依次讀取序列中的手機(jī)定位點(diǎn)；
4.比較相鄰手機(jī)定位點(diǎn)軌跡方向與路段矢量化方向差值，若值小于45度，則判定為行駛于該路段上的車載手機(jī)數(shù)據(jù)，否則刪除該定位點(diǎn)數(shù)據(jù)并返回步驟3讀取下一個(gè)定位點(diǎn)數(shù)據(jù)；
5.依次處理每一條路段，最終得到精選匹配點(diǎn)集。
步驟4.以空間速度加權(quán)平均法計(jì)算路段空間平均速度。具體實(shí)施步驟如下：
1.讀取一條路段的精選匹配點(diǎn)集；
2.依次讀取每一條手機(jī)定位點(diǎn)序列，計(jì)算相鄰匹配點(diǎn)的相隔距離和間隔時(shí)間，計(jì)算空間速度，根據(jù)空間速度加權(quán)平均法，可得到整條路段在15分鐘內(nèi)的空間平均速度；
3.判斷該條數(shù)據(jù)的合理性，合理的取值范圍為大于5千米/小時(shí)且小于100千米/小時(shí)，若合理則寫(xiě)入數(shù)據(jù)庫(kù)，若不合理則不寫(xiě)入數(shù)據(jù)庫(kù)；
4.轉(zhuǎn)入下一條路段的處理。
如上所述即為本發(fā)明的實(shí)施例。本發(fā)明不局限于上述實(shí)施方式，任何人應(yīng)該得知在本發(fā)明的啟示下做出的結(jié)構(gòu)變化，凡是與本發(fā)明具有相同或相近的技術(shù)方案，均落入本發(fā)明的保護(hù)范圍之內(nèi)。