一種基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及智能交通技術(shù)領(lǐng)域，尤其是一種基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的 黑車(chē)識(shí)別方法。
【背景技術(shù)】
[0002] 所謂黑車(chē)，是指沒(méi)有在交通運(yùn)輸管理部門(mén)辦理任何相關(guān)手續(xù)、沒(méi)有領(lǐng)取營(yíng)運(yùn)牌證 而以有償服務(wù)實(shí)施非法運(yùn)營(yíng)的車(chē)輛。近年來(lái)，隨著經(jīng)濟(jì)的發(fā)展，黑車(chē)的數(shù)量也在逐年上升， 黑車(chē)的存在不僅嚴(yán)重?cái)_亂了正常的運(yùn)輸市場(chǎng)秩序，導(dǎo)致嚴(yán)重的交通事故發(fā)生，損害旅客的 合法權(quán)益，而且由于有些黑車(chē)車(chē)主的強(qiáng)攬旅客、敲詐勒索、謀財(cái)害命的行為，嚴(yán)重影響了旅 客的出行安全，給社會(huì)帶來(lái)了不穩(wěn)定的因素。因黑車(chē)的治理具有車(chē)輛難以識(shí)別、數(shù)量龐大、 調(diào)查取證困難等特點(diǎn)，且目前尚無(wú)一種有效的方法或系統(tǒng)可實(shí)現(xiàn)對(duì)其的自動(dòng)識(shí)別，故如何 正確識(shí)別黑車(chē)已成為運(yùn)管處急需解決的問(wèn)題。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于提供一種自動(dòng)對(duì)卡口系統(tǒng)中的過(guò)往車(chē)輛是否為黑車(chē)進(jìn)行判別， 維護(hù)正常的交通秩序，為運(yùn)管處對(duì)黑車(chē)的監(jiān)控、處罰提供依據(jù)的基于大規(guī)模數(shù)據(jù)的貝葉斯 分類算法的黑車(chē)識(shí)別方法。
[0004] 為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：一種基于大規(guī)模數(shù)據(jù)的貝葉斯分 類算法的黑車(chē)識(shí)別方法，該方法包括下列順序的步驟：
[0005] (1)從運(yùn)管處獲得多個(gè)非法運(yùn)營(yíng)車(chē)輛的車(chē)牌號(hào)信息，作為黑車(chē)樣本車(chē)輛；同時(shí)獲 得多個(gè)私家車(chē)的車(chē)牌號(hào)信息，作為白車(chē)樣本車(chē)輛，然后從大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)Hadoop中檢 索出黑車(chē)樣本車(chē)輛和白車(chē)樣本車(chē)輛的過(guò)車(chē)記錄數(shù)據(jù)；
[0006] (2)對(duì)檢索出來(lái)的過(guò)車(chē)記錄數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到過(guò)車(chē)記錄數(shù)據(jù)的原始特征 屬性；
[0007] (3)根據(jù)過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性計(jì)算出車(chē)輛出行規(guī)律程度；
[0008] (4)在大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)Hadoop中，利用過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性和車(chē)輛 出行規(guī)律程度對(duì)貝葉斯分類模型進(jìn)行訓(xùn)練，得到黑車(chē)識(shí)別模型；
[0009] (5)將卡口系統(tǒng)中未識(shí)別的過(guò)車(chē)數(shù)據(jù)輸入黑車(chē)識(shí)別模型中，黑車(chē)識(shí)別模型自動(dòng)識(shí) 別車(chē)輛是否為黑車(chē)，并將識(shí)別結(jié)果呈現(xiàn)給用戶。
[0010] 在進(jìn)行過(guò)車(chē)數(shù)據(jù)檢索時(shí)，通過(guò)大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)Hadoop下的MapReduce引擎獲 取非關(guān)系型分布式數(shù)據(jù)庫(kù)HBase中存儲(chǔ)的數(shù)據(jù)，該數(shù)據(jù)以車(chē)牌號(hào)信息為索引存儲(chǔ)在大規(guī)模 過(guò)車(chē)數(shù)據(jù)平臺(tái)Hadoop上的HBase中，且以分布式文件系統(tǒng)為基礎(chǔ)。所述數(shù)據(jù)預(yù)處理是指首 先將有缺失或者錯(cuò)誤的過(guò)車(chē)記錄數(shù)據(jù)刪除，然后通過(guò)相關(guān)性分析，得到車(chē)輛的過(guò)車(chē)數(shù)據(jù)中 的各特征屬性與黑車(chē)間的相關(guān)程度，取相關(guān)程度最大的4個(gè)特征屬性作為過(guò)車(chē)記錄數(shù)據(jù)的 原始特征屬性，即過(guò)車(chē)時(shí)間、卡口編號(hào)、車(chē)型和車(chē)速。
[0011] 計(jì)算車(chē)輛出行規(guī)律程度的具體步驟如下：
[0012] (1)建立特征屬性向量：將原始特征屬性的過(guò)車(chē)時(shí)間、卡口編號(hào)、車(chē)型和車(chē)速組成 向量，得到過(guò)車(chē)記錄的特征屬性向量；
[0013] (2)向量分組：將得到的特征屬性向量根據(jù)樣本進(jìn)行分類處理，得到對(duì)應(yīng)于白車(chē) 和黑車(chē)的兩個(gè)向量組；
[0014] (3)計(jì)算類內(nèi)離散矩陣：根據(jù)公式①、公式②和公式③分別求出對(duì)應(yīng)于白車(chē)和黑 車(chē)的兩個(gè)向量組樣本的類內(nèi)離散矩陣，公式如下：
【主權(quán)項(xiàng)】
1. 一種基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，該方法包括下列順序的步 驟： (1) 從運(yùn)管處獲得多個(gè)非法運(yùn)營(yíng)車(chē)輛的車(chē)牌號(hào)信息，作為黑車(chē)樣本車(chē)輛；同時(shí)獲得多 個(gè)私家車(chē)的車(chē)牌號(hào)信息，作為白車(chē)樣本車(chē)輛，然后從大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)化doop中檢索出 黑車(chē)樣本車(chē)輛和白車(chē)樣本車(chē)輛的過(guò)車(chē)記錄數(shù)據(jù)； (2) 對(duì)檢索出來(lái)的過(guò)車(chē)記錄數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬 性； (3) 根據(jù)過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性計(jì)算出車(chē)輛出行規(guī)律程度； (4) 在大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)化doop中，利用過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性和車(chē)輛出行 規(guī)律程度對(duì)貝葉斯分類模型進(jìn)行訓(xùn)練，得到黑車(chē)識(shí)別模型； (5) 將卡口系統(tǒng)中未識(shí)別的過(guò)車(chē)數(shù)據(jù)輸入黑車(chē)識(shí)別模型中，黑車(chē)識(shí)別模型自動(dòng)識(shí)別車(chē) 輛是否為黑車(chē)，并將識(shí)別結(jié)果呈現(xiàn)給用戶。
2. 根據(jù)權(quán)利要求1所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特征 在于；在進(jìn)行過(guò)車(chē)數(shù)據(jù)檢索時(shí)，通過(guò)大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)化doop下的MapRe化ce引擎獲取 非關(guān)系型分布式數(shù)據(jù)庫(kù)皿ase中存儲(chǔ)的數(shù)據(jù)，該數(shù)據(jù)W車(chē)牌號(hào)信息為索引存儲(chǔ)在大規(guī)模過(guò) 車(chē)數(shù)據(jù)平臺(tái)化doop上的皿ase中，且W分布式文件系統(tǒng)為基礎(chǔ)。
3. 根據(jù)權(quán)利要求1所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特征 在于；所述數(shù)據(jù)預(yù)處理是指首先將有缺失或者錯(cuò)誤的過(guò)車(chē)記錄數(shù)據(jù)刪除，然后通過(guò)相關(guān)性 分析，得到車(chē)輛的過(guò)車(chē)數(shù)據(jù)中的各特征屬性與黑車(chē)間的相關(guān)程度，取相關(guān)程度最大的4個(gè) 特征屬性作為過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性，即過(guò)車(chē)時(shí)間、卡口編號(hào)、車(chē)型和車(chē)速。
4. 根據(jù)權(quán)利要求1所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特征 在于；計(jì)算車(chē)輛出行規(guī)律程度的具體步驟如下： (1) 建立特征屬性向量；將原始特征屬性的過(guò)車(chē)時(shí)間、卡口編號(hào)、車(chē)型和車(chē)速組成向 量，得到過(guò)車(chē)記錄的特征屬性向量； (2) 向量分組；將得到的特征屬性向量根據(jù)樣本進(jìn)行分類處理，得到對(duì)應(yīng)于白車(chē)和黑 車(chē)的兩個(gè)向量組； (3) 計(jì)算類內(nèi)離散矩陣；根據(jù)公式①、公式②和公式⑨分別求出對(duì)應(yīng)于白車(chē)和黑車(chē)的 兩個(gè)向量組樣本的類內(nèi)離散矩陣，公式如下：
S，二S1+S2⑨ 其中；x巧過(guò)車(chē)記錄向量，X為總體數(shù)據(jù)集，m巧每組向量組的期望向量，ni為每個(gè)向 量組的元素個(gè)數(shù)，Si為過(guò)車(chē)時(shí)間的方差值，S2為過(guò)車(chē)速度的方差值，T代表矩陣的轉(zhuǎn)置；S，為 兩向量組的方差之和，即類內(nèi)離散矩陣； (4) 計(jì)算類間離散矩陣；根據(jù)公式④求出兩個(gè)向量組樣本之間的離散矩陣，公式如下： Sb=(mi-mg) (nil-m2) ^ ④ 其中；mi和m,分別為時(shí)間向量和速度向量的期望值，Sb為黑車(chē)和白車(chē)的類間離散矩陣，T代表矩陣的轉(zhuǎn)置； (5)計(jì)算車(chē)輛出行規(guī)律程度；根據(jù)公式⑥由類內(nèi)離散矩陣和兩向量組間的類間離散矩 陣得到車(chē)輛出行規(guī)律程度，公式如下：
⑥ 其中；mi和m2分別為時(shí)間向量和速度向量的期望值，Si為過(guò)車(chē)時(shí)間的方差值，S2為過(guò) 車(chē)速度的方差值，T代表矩陣的轉(zhuǎn)置。
5. 根據(jù)權(quán)利要求1所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特征 在于；所述建立基于貝葉斯分類模型的黑車(chē)識(shí)別模型的步驟為： (1) 特征屬性選擇；每個(gè)數(shù)據(jù)樣本用一個(gè)5維特征向量表示，5維特征向量的5個(gè)特征 屬性包括原始特征屬性和車(chē)輛出行規(guī)律程度，即過(guò)車(chē)時(shí)間、卡口編號(hào)、車(chē)型、車(chē)速和車(chē)輛出 行規(guī)律程度； (2) 計(jì)算某一屬性值的條件概率：所有的樣本共分為黑車(chē)和白車(chē)兩個(gè)類，計(jì)算5個(gè)特征 屬性的各取值在黑車(chē)類和白車(chē)類中的比率P(XkI黑車(chē)）和P(XkI白車(chē)），其中；Xk是特征屬 性的各個(gè)不同取值，（P(XkI黑車(chē)）為某一特征屬性的取值占黑車(chē)的百分比，P(XkI白車(chē)） 為某一特征屬性的取值占白車(chē)的百分比； (3) 計(jì)算某一樣本的條件概率；由公式⑧、公式⑦計(jì)算P狂I白車(chē)）、及P(白車(chē)）的值， 同理，計(jì)算P(XI黑車(chē)）及P(黑車(chē)）的值，公式如下： P(白車(chē)）=樣本中白車(chē)數(shù)/樣本總數(shù) ⑧ P狂I白車(chē)）=nP(XkI白車(chē)） ⑦ 其中；n代表連乘，P(黑車(chē)）和P(白車(chē)）分別為樣本中黑車(chē)和白車(chē)的所占的比率；X代 表5個(gè)特征屬性取值的排列組合，P狂I白車(chē)）為某車(chē)是白車(chē)的情況下各屬性取值為X的 概率值，P狂I黑車(chē)）為某車(chē)是黑車(chē)的情況下各屬性取值為X的概率值； (4) 求得最終結(jié)果：由公式⑨、公式⑨計(jì)算P(白車(chē)I幻、P(黑車(chē)I幻的值，具體公式 如下： P(白車(chē)I幻=P狂I白車(chē)）沖（白車(chē)）/P狂）⑨ P(黑車(chē)I幻=P狂I黑車(chē)）沖（黑車(chē)）/P狂）⑨ 其中，P(白車(chē)I幻、P(黑車(chē)I幻分別為代表某輛車(chē)為白車(chē)、黑車(chē)的概率，P狂）為中間 推導(dǎo)量。
6. 根據(jù)權(quán)利要求1所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特征 在于；所述大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)化doop采用MapRe化ce引擎對(duì)獲取到的過(guò)車(chē)數(shù)據(jù)進(jìn)行預(yù)處 理操作，并將處理后的數(shù)據(jù)傳輸?shù)接?jì)算節(jié)點(diǎn)；計(jì)算節(jié)點(diǎn)接收到過(guò)車(chē)數(shù)據(jù)，執(zhí)行Map算法對(duì)貝 葉斯分類模型進(jìn)行訓(xùn)練，對(duì)模型的各參數(shù)進(jìn)行調(diào)整；使用訓(xùn)練后的模型即黑車(chē)識(shí)別模型對(duì) 未標(biāo)識(shí)的車(chē)輛是否為黑車(chē)進(jìn)行判斷，并將判定的結(jié)果傳給Re化ce模塊，Re化ce模塊對(duì)結(jié)果 進(jìn)行排序，從而實(shí)現(xiàn)對(duì)黑車(chē)的識(shí)別。
7. 根據(jù)權(quán)利要求5所述的基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，其特 征在于；將卡口系統(tǒng)中未識(shí)別的過(guò)車(chē)數(shù)據(jù)代入上述公式⑨、公式⑨中，通過(guò)比較P狂I白
【專利摘要】本發(fā)明涉及一種基于大規(guī)模數(shù)據(jù)的貝葉斯分類算法的黑車(chē)識(shí)別方法，包括：從大規(guī)模過(guò)車(chē)數(shù)據(jù)平臺(tái)中檢索出黑車(chē)樣本車(chē)輛和白車(chē)樣本車(chē)輛的過(guò)車(chē)記錄數(shù)據(jù)；對(duì)檢索出來(lái)的過(guò)車(chē)記錄數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性；根據(jù)過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性計(jì)算出車(chē)輛出行規(guī)律程度；利用過(guò)車(chē)記錄數(shù)據(jù)的原始特征屬性和車(chē)輛出行規(guī)律程度對(duì)貝葉斯分類模型進(jìn)行訓(xùn)練，得到黑車(chē)識(shí)別模型；將卡口系統(tǒng)中未識(shí)別的過(guò)車(chē)數(shù)據(jù)輸入黑車(chē)識(shí)別模型中，黑車(chē)識(shí)別模型自動(dòng)識(shí)別車(chē)輛是否為黑車(chē)，并將識(shí)別結(jié)果呈現(xiàn)給用戶。本發(fā)明模型建立過(guò)程中的所有參數(shù)都是通過(guò)自調(diào)整的方式設(shè)定的，消除了主觀因素對(duì)黑車(chē)識(shí)別結(jié)果的影響，提高了數(shù)據(jù)處理的效率及結(jié)果顯示的實(shí)時(shí)性。
【IPC分類】G06K9-62, G06F17-30
【公開(kāi)號(hào)】CN104794184
【申請(qǐng)?zhí)枴緾N201510169533
【發(fā)明人】王佐成, 任子暉, 王漢林, 馬韻潔, 張凱, 王衛(wèi), 劉暢, 張偉, 許亞軍
【申請(qǐng)人】安徽四創(chuàng)電子股份有限公司
【公開(kāi)日】2015年7月22日
【申請(qǐng)日】2015年4月10日