專利名稱：基于mpfg運動矢量的行車障礙檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于車輛行駛安全輔助技術(shù)領(lǐng)域，主要涉及車輛行駛過程中對前方威 脅車輛行駛的危險障礙物進行的自動檢測方法，具體是一種基于MPFG運動矢量 的行車障礙檢測方法。
背景技術(shù)：
交通安全己成為全球性問題，而其中利用視覺方法對行車前方危險障礙進行 自動檢測是智能車載技術(shù)研究的核心之一。目前基于視覺的檢測算法大都基于圖 像像素域或灰度域，即在圖像空間域內(nèi)進行檢測。車輛行駛過程中對于前方危險障礙物的檢測，目前己提出了一些方法，主要有基于特征的障礙物檢測算法、基于光流場的障礙物檢測算法、基于立體視覺 的障礙物檢測算法等?；谔卣鞯恼系K物檢測方法一般用于單目攝像機系統(tǒng)中，快速有效。但大都 只能確定障礙物在圖像中的位置，需要同時借助其他一些測距傳感器實現(xiàn)障礙物 的實際定位。該方法計算的是離散點信息，如果有較好的點匹配方法，該算法能 取得較好的效果。但該方法的計算較為復雜，由于目前還沒有較為通用的特征提 取與匹配算法，該方法還只是在一些專業(yè)領(lǐng)域有一些應用，例如基于輪廓的檢測。 該算法適用于障礙物的外在特征比較明顯，例如運動物體的輪廓線或顏色比較突 出等的障礙物檢測，適用面較窄、誤判率較高、算法實現(xiàn)較難?；诠饬鲌龅恼系K物檢測算法無需障礙物的先驗知識。該方法計算連續(xù)場的 信息，理論上該方法能夠得到全部點的速度場，由此可以對物體運動進行更好的 估計。但實際上，由于計算機中對實際像素點信息離散化處理后引起了較大的量 化誤差，且該算法使用了很多微分運算也引起了較大的誤差。同時，由于該算法 本身的缺陷，使其不能像基于特征的方法那樣提供準確的運動估計，限制了算法 的應用，另外該算法的運算復雜度較大，對硬件的要求較高。算法適用于障礙 物運動變化較為明顯，對于靜止的障礙物檢測失效。對于運動速度較慢的危險障 礙物無法檢測與識別?；诹Ⅲw視覺的障礙物檢測方法，既不需要障礙物的先驗知識，對障礙物是 否運動也無限制，還能直接得到障礙物的實際位置。該算法在理論上能很好地提 取運動目標三維的形狀和深度信息，也能較好地處理旋轉(zhuǎn)和非剛體運動以及攝像機運動的問題。但其對攝像機標定要求較高。在車輛行駛過程中，攝像機定標參 數(shù)會發(fā)生漂移，需要對攝像機進行動態(tài)標定。該算法適用范圍較廣，對靜止的障 礙物也能達到很好的檢測效果。但算法計算量較大、需占用較大空間、運行速度 較慢。綜上所述，目前對于行車障礙檢測方法大多數(shù)算法都存在對外界環(huán)境/光線 及氣候條件的敏感度較高、算法復雜、實現(xiàn)難度較大等等問題。這些都成為制約 行車障礙檢測的重要因素之一。另外，車輛在行駛過程中，其圖像是連續(xù)運動的 即背景是動態(tài)變化的，所以許多現(xiàn)成的基于靜態(tài)背景的成熟檢測算法無法應用， 而目前對于動態(tài)背景、物體的顏色及幾何形狀可變的運動物體的檢測的研究還比 較少。另外，前人在車輛前方障礙物檢測的算法中，大都是從空間域入手考慮問題 的，很少有從壓縮域角度來考慮。目前直接基于壓縮域的車輛前方障礙物的檢測 算法研究還較少。由于在空間域內(nèi)進行檢測要考慮運動背景、物體形狀顏色變化 等因素，算法較為復雜，速度較慢，并且無法解決視頻數(shù)據(jù)量大等問題。本發(fā)明 即是繞開空間域的諸多問題，如灰度、顏色、外部環(huán)境及光線等圖像處理中的敏 感條件，直接從壓縮域入手，嘗試一種直接在壓縮域內(nèi)對車輛前方障礙物進行檢 測的新方法。通過對國內(nèi)外專利文獻和公開發(fā)表的期刊論文檢索，尚未發(fā)現(xiàn)與本發(fā)明密切 相關(guān)和一樣的報道或文獻。發(fā)明內(nèi)容本發(fā)明的目的是克服上述技術(shù)或檢測方法存在的缺點，提供一種在壓縮域中 進行檢測，易實現(xiàn)、計算簡單，檢測過程數(shù)據(jù)處理占用空間小，檢測準確率高、 檢測速度快，適用范圍大的基于MPFG運動矢量的行車障礙檢測方法。本發(fā)明提出的基于MPEG碼流中運動矢量的行車障礙檢測方法，其核心思想 是利用車輛前方單目視覺傳感器所獲取前方視場圖像的MPEG壓縮序列，提取 和分析碼流中的運動矢量，獲取前方圖像各像塊的運動規(guī)律，并將這些規(guī)律與正 常行車安全的矢量運動規(guī)則進行比較判定，從而獲得車輛行駛前方是否安全的判 定。下面對本發(fā)明進行詳細說明。本發(fā)明將行車障礙檢測技術(shù)與成熟的運動圖像壓縮算法相結(jié)合，采用成熟的 MPEG技術(shù)對原始圖像進行壓縮。本發(fā)明的實現(xiàn)在于本發(fā)明是一種基于MPFG運動矢量的行車障礙檢測方 法，其特征在于行車障礙檢測方法及算法在壓縮域完成，利用車輛前方視覺傳感器所獲取前方視場圖像的MPEG壓縮序列，提取和分析碼流中的運動矢量，獲 取前方圖像各像塊的運動規(guī)律，并將這些規(guī)律與正常行車安全的矢量運動規(guī)則進 行比較判定，運用與行車狀態(tài)相關(guān)的匹配模板，確定危險區(qū)域和判決危險運動矢 量，獲得車輛行駛前方是否安全的信息，并對危險障礙圖像進行標注。如圖2a是車輛正常行駛過程中道路周圍環(huán)境的運動矢量示意場圖，圖2b是 車輛行駛過程中有危險情況發(fā)生時道路周圍環(huán)境的運動矢量示意場圖。兩圖對照 可見在行人橫穿馬路的位置矢量箭頭產(chǎn)生不規(guī)律的發(fā)散狀，本發(fā)明正是對不規(guī)則 運動矢量進行檢測。具體步驟包括有第一步采集視頻圖像序列，首先通過車輛前端攝像機所采集到的車輛行駛 過程中道路周圍環(huán)境的視頻圖像序列的原始視頻數(shù)據(jù)，利用MPEG編解碼技術(shù)將 其壓縮成MPEG視頻碼流格式的視頻壓縮碼流；第二步解碼提取運動矢量，根據(jù)MPEG編解碼壓縮標準分析MPEG碼流格式， 從MPEG格式的視頻碼流中解碼提取出運動矢量，具體提取解碼的p幀矢量，并 得出運動矢量MV場圖；第三步除噪及危險區(qū)域的確定，對解碼出的運動矢量匿場圖進行處理， 按照本發(fā)明所提出的危險運動矢量規(guī)則進行除噪，以消除邊緣噪聲和天空噪聲矢 量，給出除噪后的運動矢量MV場圖，并給出確定的危險區(qū)域；第四步提取危險運動矢量，在確定的危險區(qū)域提取危險運動矢量并計算；危險運動矢量是車輛在行駛過程中，突發(fā)的危險運動障礙在視頻圖像序列中 所產(chǎn)生的運動矢量。危險運動矢量不符合車輛正常安全行駛過程中正常運動矢量 之間的均勻規(guī)律。如a、 行人突然橫穿馬路等橫向運動。該種情況由于人的運動為非剛體運動， 所產(chǎn)生的運動矢量為散亂沒有規(guī)則的運動矢量。b、 前方車輛突然減速或迎面行駛等縱向運動。該種情況下所產(chǎn)生的運動矢 量由機器視覺知識可知，在運動矢量圖上體現(xiàn)為前方車輛存在的位置上，會出現(xiàn) 以車輛為中心，向外發(fā)散的雜亂運動矢量簇。第五步危險運動矢量判決，根據(jù)門限值T來對危險區(qū)域的相鄰運動矢量之 差進行判別篩選，相鄰運動矢量的差值小于T值則為正常安全運動矢量并將其置 零，大于T值則判定為危險運動矢量而保留，得到危險障礙物所處區(qū)域的危險運 動矢量場圖；危險運動矢量判決檢出為若相鄰運動矢量之差滿足或符合正常安全行駛情況下相鄰運動矢量之差的 閾值門限T，即滿足小于或在該閾值門限范圍內(nèi)，則認為該運動矢量是正常安全的，對行車不構(gòu)成威脅，判為正常運動矢量，通過運動矢量置零將其濾除掉；若 不滿足即大于或不在該閾值門限范圍內(nèi)，則判為危險運動矢量，對其保留并檢出。 第六步標記原始視頻圖像中的危險障礙，對于在運動矢量場圖中提取的危 險運動矢量，在原始視頻圖像中對應位置標記該區(qū)域的危險障礙，對駕駛員起到 警戒作用。MPEG視頻壓縮的基本原理是利用了圖像中的兩種特性空間相關(guān)性和時間 相關(guān)性。這兩種相關(guān)性使得圖像中存在大量的冗余信息。為了能夠有效的去除圖 像中的冗余信息，MPEG基本視頻標準中將編碼圖像分為三類，分別稱為I幀，P 幀和B幀，其中I幀和P幀都可作為參考幀，B幀不是參考幀。I幀圖像采用幀 內(nèi)編碼方式，以消除空間冗余度。P幀和B幀圖像采用幀間編碼方式，以消除時 間冗余度。P幀圖像以前向的I幀或P幀作為參考幀，只采用前向時間預測；B 幀圖像以前向、后向的I幀或P幀作為參考幀，采用雙向時間預測，可以大大提 高壓縮倍數(shù)與效率。本發(fā)明利用MPEG視頻碼流中的運動矢量在壓縮域內(nèi)直接進行檢測，因此為 方便容易實現(xiàn)，本發(fā)明采用MPEG-2標準碼流來制定檢測算法。在現(xiàn)有的車輛行駛安全輔助裝置或安全檢測方法中，多是基于空間域的處 理，存在基于圖像像素域或灰度域的處理，另外，在空間域內(nèi)進行檢測要考慮運 動背景、物體形狀顏色變化等因素，算法較為復雜，速度較慢，并且無法解決視 頻數(shù)據(jù)量大等問題。本發(fā)明別開思路，利用MPEG的視頻壓縮和運動矢量的特 點，對攝像機所采集到的車輛行駛過程中道路周圍環(huán)境的視頻圖像序列的原始視 頻數(shù)據(jù)進行壓縮，進而判別、篩選、提取危險運動矢量。避免了在空間域內(nèi)進行 檢測要考慮運動背景、物體形狀、顏色、灰度及光線等圖像處理中的敏感變化因 素。另外，前人在車輛前方障礙物檢測的算法中，大都是從空間域入手考慮問題 的，很少有從壓縮域角度來考慮；目前直接基于壓縮域的車輛前方障礙物的檢測 算法研究還較少。本發(fā)明繞開空間域的諸多問題，如灰度、顏色、外部環(huán)境及光 線等敏感條件，直接從壓縮域入手，提出了一種直接在壓縮域內(nèi)對車輛前方障礙 物進行檢測的易實現(xiàn)、檢測過程數(shù)據(jù)處理占用空間小、檢測速度快的新方法。本發(fā)明的實現(xiàn)還在于第三步中的除噪及危險區(qū)域確定是在選取的匹配模板 下對解碼出的運動矢量MV場圖進行以消除邊緣噪聲和天空噪聲矢量的處理。壓縮域中運動矢量只是用于編碼目的，他們是有噪聲的，不可靠的，直接用 于檢測算法會產(chǎn)生很大的噪聲誤差和錯誤，為了盡可能的消除噪聲，增強運動矢 量的可靠性，在對非法運動矢量篩選之前，首先需進行噪聲運動矢量的濾除處理。本發(fā)明對解碼出的運動矢量MV場圖首先進行除噪處理，即消除邊緣噪聲和 天空噪聲矢量，將無用的信號和與危險無關(guān)的干擾進行排除處理，留存與危險運 動矢量密切相關(guān)的矢量信息作為危險區(qū)域。運動矢量場中噪聲的來源主要來源于圖像邊界，所以噪聲的去除主要是對運 動矢量場圖四周噪聲運動矢量的去除，通過分析提取出的運動矢量場圖，利用模 板確定圖像四周區(qū)域，可將位于運動矢量場圖坐標圖中的模板邊緣外側(cè)邊界四周 的所有運動矢量置零來將噪聲運動矢量濾除掉。本發(fā)明對危險運動矢量的檢測為危險區(qū)域的確定、危險運動矢量的確定和危 險運動矢量的判決和標注。由于車輛在行駛過程中，整個視頻圖像序列的背景為動態(tài)背景，因此車輛在 正常行駛情況下都會產(chǎn)生符合正常規(guī)律的發(fā)散的運動矢量，但不是所有區(qū)域的運 動矢量都會對行車構(gòu)成危險，例如天空中的飛機、飛鳥以及人行道上的行人等的 運動對車輛正常行駛就不會構(gòu)成威脅等，因此必須首先排除對于車輛正常行駛時不構(gòu)成危險的區(qū)域，從而確定對于車輛正常行駛時構(gòu)成威脅的危險區(qū)域，并給予 高度重視。所以首先要確定車輛在行駛過程中前方的危險區(qū)域。本發(fā)明的實現(xiàn)還在于經(jīng)驗閾值T的選取及設(shè)定與行駛車速及行駛路況相 關(guān)，通過加速度傳感器反饋信息，得出直行、轉(zhuǎn)彎及上下坡路況，系統(tǒng)自動選定 匹配模板，閾值自動確定，直行車況下具體關(guān)系符合T=0. 025V+1. 5的線性關(guān)系 式。在平直公路行駛時的具體關(guān)系符合T=0. 025V+1. 5的線性關(guān)系式。在視頻圖 像統(tǒng)一采用格式為291X218大小，正常行駛時，車輛在車速為20km/h正常安 全行駛時相鄰運動矢量之差都在閾值T=2的范圍內(nèi);車輛在車速為40km/h正常 安全行駛時相鄰運動矢量之差在閾值T=2.5的范圍內(nèi)；車輛在車速60km/h正常 安全行駛時相鄰運動矢量之差在闔值T=3的范圍內(nèi)；在轉(zhuǎn)彎行駛狀態(tài)下，由于 攝像機視景中道路一側(cè)非危險區(qū)域的視景會增加，因此一些非危險運動矢量可能 增加誤判的可能性，在該種情況下，通過統(tǒng)計歸納可知，相應的檢測閾值較平直 公路狀態(tài)有所增加，在2.5的范圍內(nèi)；在上下坡行駛狀態(tài)下，由于上坡時攝像機 視景中所出現(xiàn)的天空視景增加，即非危險區(qū)域增加，因此可增加誤判可能性的非 危險運動矢量增加，需要增加相應的檢測閾值，通過統(tǒng)計歸納可得出針對該種情 況的經(jīng)驗閾值在3的范圍內(nèi)，在下坡行駛狀態(tài)下，由于攝像機視景中所出現(xiàn)的路 面視景增加，由于攝像機視景中所出現(xiàn)的路面視景增加，因此獲得危險運動矢量 的幾率相應增加，此時需降低檢測閾值，通過統(tǒng)計歸納可得出該種情況下的經(jīng)驗 檢測閾值在2的范圍內(nèi)。本發(fā)明在確定了危險區(qū)域并分析了危險運動矢量的基礎(chǔ)上，接下來要制定在危險區(qū)域內(nèi)對危險運動矢量的判別規(guī)則，其過程是通過對正常情況下運動矢量之 間所遵循的漸變及均勻規(guī)律，利用此規(guī)律對危險區(qū)域內(nèi)運動矢量進行比較的方法 來實現(xiàn)的。由運動矢量的特點可知，正常情況下，運動矢量是有規(guī)律的向四周發(fā) 散，相鄰運動矢量之間呈現(xiàn)出一種漸變的均勻狀態(tài)，即相鄰運動矢量之差符合一 定的閾值門限T;當車輛前方出現(xiàn)危險情況時，該區(qū)域內(nèi)的相鄰運動矢量之間會 出現(xiàn)不同于車輛正常行駛時的相鄰運動矢量之間的規(guī)律，即不符合正常安全行駛 時的相鄰運動矢量之差的閾值門限T值?；诖颂攸c，通過判斷危險區(qū)域內(nèi)的 各相鄰運動矢量之差是否符合安全情況下相鄰運動矢量之差的閾值門限T來確 定危險運動矢量。本發(fā)明的實現(xiàn)還在于匹配模板與行車狀態(tài)相關(guān)，具體是與車輛加速度及路 況狀態(tài)相關(guān)，通過行車障礙檢測系統(tǒng)中的加速度傳感器，獲取直行、轉(zhuǎn)彎及上下 坡的具體路況，依據(jù)所得出的路況信息，系統(tǒng)自動選定相應的匹配模板。因此本 發(fā)明的適用范圍大，適用于各種動態(tài)檢測和路況。本發(fā)明確定危險區(qū)域是通過由加速度傳感器反饋的路況信息，系統(tǒng)自動選定 特制匹配模板，對危險區(qū)域進行確定，還提高了障礙檢測準確率。本發(fā)明的實現(xiàn)還在于基于MPFG運動矢量的行車障礙檢測方法，其特征 在于第二步解碼提取運動矢量的具體程序為一. 對車輛前方視覺傳感器所獲取前方視場圖像數(shù)據(jù)輸入MPFG格式的編碼 比特流；二. 在編碼比特流中解碼圖像序列頭；三. 在編碼比特流中解碼圖像組頭；四. 在編碼比特流中解碼圖像頭；五. 比較判斷圖像類型是否為p幀？結(jié)果為"否"時返回程序步驟四，結(jié)果 為"是"時進行下一步六；六. 若為P幀則解碼宏塊片頭；七. 解碼宏塊數(shù)據(jù)；乂L然后在宏塊中解碼可變長編碼的運動矢量的預測值； 九.解碼用于節(jié)省運動矢量編碼的差分值；十.計算運動矢量變長解碼值與差分值之和就是該宏塊的運動矢量； 十一.判斷圖像序列結(jié)束頭，結(jié)果為"否"時返回程序步驟三，即接著解碼 圖像組頭，結(jié)果為"是"時進行下一步十二； 十二.結(jié)束。MPEG視頻基本編解碼過程為將圖像進行離散余弦變換即DCT，再經(jīng)量化、 掃描和比特流變長編碼即生成編碼比特流；原始圖像首先與幀存儲器中的預測圖像進行比較，計算出運動矢量，運動矢量再經(jīng)過變長編碼生成編碼比特流。由運 動矢量和參考幀生成原始圖像的預測圖像再進行運動估計編碼。而后，將原始圖 像與預測圖像之間像素差值所生成的差分圖像數(shù)據(jù)進行DCT變換，再經(jīng)過量化器 和比特流編碼器生成輸出的編碼比特流即運動補償編碼。通過變長解碼、反掃描、反量化和逆DCT變化進行幀內(nèi)解碼；對于幀間解碼， 先通過變長解碼解出運動矢量，后再經(jīng)過運動補償解碼得到圖像序列。算法簡單， 所需處理的相關(guān)因素少，檢測準確率高。由于本發(fā)明利用MPFG編解碼，充分發(fā)揮了其速度快的特點，實現(xiàn)了對障礙 物的快速檢測。本發(fā)明還對大量的道路運動情景數(shù)據(jù)進行了歸類并統(tǒng)計歸納出無危險障礙 物和出現(xiàn)危險障礙物相鄰運動矢量之差的經(jīng)驗參數(shù)門限值T用于對車輛行駛過 程中實時的運動數(shù)據(jù)比較和鑒別，以篩選出危險圖像并加以標注；本發(fā)明還在壓 縮域內(nèi)進行運動矢量的提?。粚ｉT制定了危險運動矢量的檢測規(guī)則算法其檢測 規(guī)則分為危險區(qū)域的確定、危險運動矢量的確定和危險運動矢量的判決規(guī)則；對 危險區(qū)域判決利用了由加速度傳感器反饋信息而對應的匹配模板和滅點的概念。 將以上諸多知識點有機結(jié)合，解決了車輛安全行駛輔助系統(tǒng)算法較為復雜，處理 速度較慢的技術(shù)問題，也解決了視頻數(shù)據(jù)處理量大的技術(shù)難題，提供了一種在壓 縮域中進行檢測，易實現(xiàn)、計算簡單，檢測過程數(shù)據(jù)處理占用空間小，檢測準確 率高、檢測速度快、適用范圍大的基于MPFG運動矢量的行車障礙檢測方法。


圖1是本發(fā)明的行車障礙檢測總流程框圖；圖2a是車輛正常行駛過程中道路周圍環(huán)境的運動矢量示意場圖；圖2b是車輛行駛過程中有危險情況發(fā)生時道路周圍環(huán)境的運動矢量示意場圖；圖3是本發(fā)明進行第二步的運動矢量解碼流程圖；圖4是拍攝的行人橫穿馬路視頻圖像之一；圖5是拍攝的行人橫穿馬路視頻圖像之二；圖6是本發(fā)明仿真的行人橫穿馬路運動矢量場圖；圖7是本發(fā)明仿真的去噪后的行人橫穿馬路運動矢量場圖;圖8是本發(fā)明檢測出的行人橫穿馬路危險運動矢量場圖；圖9是本發(fā)明標注出危險區(qū)域的視頻圖像；圖10是車速為20km/h時拍攝行人橫穿馬路視頻圖像之一；圖11是車速為20km/h時拍攝行人橫穿馬路視頻圖像之二；圖12是本發(fā)明在圖10，圖11的基礎(chǔ)上仿真的車速為20km/h時行人橫穿馬路的運動矢量場圖；圖13是對圖12去噪后的運動矢量場圖；圖14是本發(fā)明針對圖13確定的危險區(qū)域運動矢量場圖；圖15是本發(fā)明檢出的車速為20km/h時行人橫穿馬路的危險運動矢量場圖；圖16是本發(fā)明標注出的車速為20km/h時行人橫穿馬路的危險區(qū)域視頻圖像；圖17是車速為60km/h時拍攝行人橫穿馬路視頻圖像之一； 圖18是車速為60km/h時拍攝行人橫穿馬路視頻圖像之二； 圖19是本發(fā)明在圖17，圖18的基礎(chǔ)上仿真的車速為60km/h時行人橫穿 馬路的運動矢量場圖；圖20是本發(fā)明對圖19去噪后的車速為60km/h時行人橫穿馬路的運動矢量場圖；圖21是本發(fā)明仿真的車速為60km/h時行人橫穿馬路的危險區(qū)域運動矢量場圖；圖22是本發(fā)明檢出的車速為60km/h時行人橫穿馬路的危險運動矢量場圖； 圖23是本發(fā)明標注出的車速為60km/h時行人橫穿馬路的危險區(qū)域視頻圖像；圖24是車速為20km/h時拍攝行人縱向運動視頻圖像之一； 圖25是車速為20km/h時拍攝行人縱向運動視頻圖像之二； 圖26是本發(fā)明在圖24，圖25的基礎(chǔ)上仿真的車速為20km/h時行人縱向 運動的運動矢量場圖；圖27是本發(fā)明對圖26去噪后的車速為20km/h時行人縱向運動的運動矢量場圖；圖28是本發(fā)明仿真的車速為20km/h時行人縱向運動的危險區(qū)域運動矢量場圖；圖29是本發(fā)明檢出的車速為20km/h時行人縱向運動的危險運動矢量場圖； 圖30是本發(fā)明標注出的車速為20km/h時行人縱向運動的危險區(qū)域視頻圖像；圖31是車速為40km/h時拍攝的行人橫向和縱向運動視頻圖像之一； 圖32是車速為40km/h時拍攝的行人橫向和縱向運動視頻圖像之二； 圖33是本發(fā)明在圖31，圖32的基礎(chǔ)上仿真的車速為40km/h時行人橫向和縱向運動的運動矢量場圖；圖34是本發(fā)明對圖33的去噪后的車速為40km/h時行人橫向和縱向運動的運動矢量場圖；圖35是本發(fā)明仿真的車速為40km/h時行人橫向和縱向運動的危險區(qū)域運 動矢量場圖；圖36是本發(fā)明檢出的車速為40km/h時行人橫向和縱向運動的危險運動矢 量場圖；圖37是本發(fā)明標注出的車速為40km/h時行人橫向和縱向運動的危險區(qū)域 視頻圖像；圖38是拍攝的前方車輛正常行駛的尾部視頻圖像； 圖39是拍攝的前方車輛突然減速行駛的尾部視頻圖像； 圖40是本發(fā)明在圖38，圖39的基礎(chǔ)上提取的前方車輛突然減速行駛的運 動矢量場圖；圖41是對圖40去噪后的運動矢量場圖； 圖42是危險區(qū)域內(nèi)運動矢量場圖； 圖43是篩選后的運動矢量場圖；圖44是本發(fā)明標注出的前方車輛突然減速行駛的危險區(qū)域視頻圖像；
具體實施例方式下面結(jié)合附圖對本發(fā)明進行詳細說明本發(fā)明利用MPEG視頻碼流中的運動矢量在壓縮域內(nèi)直接進行檢測，有效利 用了壓縮域的成熟技術(shù)和產(chǎn)品。進行仿真拍攝時選用佳能A520數(shù)碼相機，利用 其自帶的MPEG視頻圖像壓縮功能，將所拍攝的視頻圖像序列壓縮編碼成MPEG 格式的視頻圖像序列，對于視頻圖像中.的每一幀，統(tǒng)一設(shè)置格式為291X218大 小，便于程序的實現(xiàn)。實施例1:對正在突然橫穿馬路的行人的危險橫向運動進行檢測。參見圖1，圖1是基于MPEG中運動矢量的行車障礙檢測方法的總檢測流程 框圖。該檢測方法是在基于攝像裝置、顯示裝置、計算機計算與處理軟件而形成 的行車障礙檢測系統(tǒng)上運行，行車障礙檢測系統(tǒng)通過攝像裝置實時采集前方圖像信息并通過加速度傳感器等反饋路況信息，通過顯示裝置顯示前方路況及障礙物 標注。本發(fā)明在圖像壓縮域進行行車安全的檢測，利用車輛前方視覺傳感器所獲取 前方視場圖像的MPEG壓縮序列，提取和分析碼流中的運動矢量，獲取前方圖像 各像塊的運動規(guī)律，并將這些規(guī)律與正常行車安全的矢量運動規(guī)則進行比較判 定，運用與行車狀態(tài)相關(guān)的匹配模板，確定危險區(qū)域和判決危險運動矢量，獲得 車輛行駛前方是否安全的信息，對危險障礙圖像進行標注。具體步驟包括有第一步，采集視頻圖像序列，圖4，圖5是車速為10km/h下，所采集的視頻圖像序列中行人橫穿馬路的兩幀。圖'5相對于圖4，行人突然橫穿馬路從馬路 右側(cè)運動到了馬路中間的位置。第二步解碼提取運動矢量，得出運動矢量MV場圖。首先對圖4，圖5中兩 幀圖像進行運動矢量的提取，提取結(jié)果如圖6所示。第三步除噪及危險區(qū)域的確定，對解碼出的運動矢量MV場圖進行處理， 即進行除噪，以消除邊緣噪聲和天空噪聲，給出除噪后的運動矢量MV場圖，并 給出確定的危險區(qū)域。除噪結(jié)果如圖7所示。第四步提取危險運動矢量，在確定的危險區(qū)域提取危險運動矢量并計算。第五步危險運動矢量判決，根據(jù)門限值T來對危險區(qū)域的相鄰運動矢量之差進行判別篩選。確定了危險區(qū)域之后，接下來要在危險區(qū)域中確定危險運動矢量。從已提取 的運動矢量場圖可以看出，其中處于運動矢量圖中間的散亂運動矢量區(qū)域，為行 人橫向運動所產(chǎn)生的運動矢量，通過本論文算法檢測出危險運動矢量，結(jié)果如圖8所示。第六步標記原始視頻圖像中的危險障礙，最后，通過運動矢量圖對圖像中相對應的區(qū)域進行標注，如圖9所示。進而提醒駕駛員檢測出車輛前方所在位置存在危險障礙物。如圖9示，從本發(fā)明的最終檢測結(jié)果可以看出，對車輛行駛過程中，車輛前方的行人突然橫穿馬路時的行人檢測達到了較好的檢測效果，基本滿足了應用要 求。實施例2:在車速為20km/h時對行人突然橫穿馬路的危險障礙進行檢測檢測方法及具體步驟同實施例1，當行人運動到車輛前方即危險區(qū)域時，就 會在車輛前方危險區(qū)域處產(chǎn)生不符合正常運動矢量規(guī)律的危險運動矢量，圖10、 圖11是行人從馬路兩側(cè)相對而行橫穿馬路的視頻圖像。通過本發(fā)明檢測，就會自動檢測出車輛前方的行人的危險運動的異常雜亂 區(qū)域場，并分別給出圖12的車速為20km/h時行人橫穿馬路的運動矢量場圖、圖 13的去噪后的運動矢量場圖、圖14的危險區(qū)域運動矢量場圖、圖15的危險運 動矢量場圖和圖16己標注出的車速為20km/h時行人橫穿馬路的危險區(qū)域視頻圖 像。實驗結(jié)果較為準確的檢測出了行人橫穿馬路時威脅車輛正常安全行駛的危 險運動區(qū)域，并通過標注達到警示的目的。實施例3:在車速為60km/h時對行人突然橫穿馬路的危險障礙進行檢測檢測方法及具體步驟同實施例1，圖17、圖18是車速為60km/h時拍攝的行 人突然橫穿馬路的視頻圖像。經(jīng)本發(fā)明檢測，得到圖19，是本發(fā)明在圖17，圖18的基礎(chǔ)上仿真的車速為 60km/h時行人橫穿馬路的運動矢量場圖，圖20是本發(fā)明對圖19去噪后的車速 為60km/h時行人橫穿馬路的運動矢量場圖，圖21是本發(fā)明仿真的車速為60km/h 時行人橫穿馬路的危險區(qū)域運動矢量場屈，屈22是本發(fā)明檢出的車速為60km/h 時行人橫穿馬路的危險運動矢量場圖，圖23是本發(fā)明標注出的車速為60km/h 時行人橫穿馬路的危險區(qū)域視頻圖像。實施例4:對行人的縱向運動進行檢測。即行人迎面朝向車輛行駛方向縱向運動 的檢測。檢測方法及具體步驟同實施例1，如圖24至30所示，這是在行車狀況為直 行，20km/h車速下進行的大量的實驗和檢測。第一步，采集視頻圖像序列，圖24和圖25是行人突然朝向車輛行駛方向縱 向運動的視頻圖像序列的關(guān)鍵兩幀，圖25相對于圖24，行人向車輛行駛方向更 近，圖26是提取的兩幀圖像的運動矢量場圖，圖27是對提取的運動矢量場圖四 周進行除噪的處理結(jié)果，圖28是確定的危險區(qū)域即除掉天空的路面區(qū)域。第二步解碼提取運動矢量，得出運動矢量MV場圖。 第三步除噪及危險區(qū)域的確定，對解碼出的運動矢量MV場圖進行處理， 按照本發(fā)明所提出的危險運動矢量規(guī)則進行除噪，以消除邊緣噪聲和天空噪聲， 給出除噪后的運動矢量MV場圖，并給出確定的危險區(qū)域，危險區(qū)域確定是在選 取的匹配模板下對解碼出的運動矢量MV場圖進行處理的，由于車輛直行，因此 匹配模板的選取與直行對應。第四步提取危險運動矢量，在確定的危險區(qū)域提取危險運動矢量并計算。 當行人朝向車輛行駛方向相向運動時，就會在所在區(qū)域產(chǎn)生不同于正常運動矢量 的發(fā)散運動矢量場圖，利用該算法檢測，會自動檢測出車輛前方的行人的危險運 動的異常發(fā)散區(qū)域場圖。第五步危險運動矢量判決，根據(jù)門限值T來對危險區(qū)域的相鄰運動矢量之差進行判別篩選。經(jīng)驗閾值T的選取及設(shè)定與匹配模板相關(guān)，對應當前車輛行駛 狀況，此例中為直行狀況，附加車速信息，車速為20km/h，閾值自動確定。車 輛直行時具體關(guān)系符合T=0. 025V+1. 5的線性關(guān)系式，T為2。篩選結(jié)果如圖29 所示。第六步標記原始視頻圖像中的危險障礙，在視頻圖像序列中將危險運動區(qū) 域標出。標注結(jié)果如圖30所示。實驗結(jié)果也較為準確的檢測出了行人相向縱向 運動的威脅車輛正常行駛的危險行人運動區(qū)域，檢測準確率高、檢測速度快的效 果較為理想。實施例5:對多個行人同時進行橫向和縱向運動進行檢測。即有行人突然橫穿馬路，又有行人突然朝向車輛行駛方向縱向運動，兩種情況同時發(fā)生的情況進行 檢測。檢測方法及具體步驟同實施例1，如圖31， 32所示，對上述危險情況主要 是在車速為40km/h時進行了大量的實驗和檢測。圖31和圖32是有行人突然橫 穿馬路同時又有行人突然朝向車輛行駛方向縱向運動的視頻圖像序列的關(guān)鍵兩 幀，圖33是提取的兩幀圖像的運動矢量場圖，圖34是對提取的運動矢量場圖四 周進行除噪的處理結(jié)果，圖35是確定的危險區(qū)域即除掉天空的路面區(qū)域。當有 行人突然橫穿馬路同時又有行人朝向車輛行駛方向相向運動時，就會在各自所在 區(qū)域產(chǎn)生不同于正常運動矢量的雜亂的運動矢量場圖，利用本發(fā)明，自動檢測出 車輛前方的行人的危險運動的異常危險運動矢量場圖如圖36所示，并在視頻圖 像序列中將危險運動區(qū)域標出如圖37所示。實驗結(jié)果也較為準確的既檢測出了 行人突然橫穿馬路時威脅行人及車輛正常安全行駛的危險障礙，又同時檢測出了 行人相向縱向運動的威脅行人及車輛正常行駛的危險障礙，檢測準確率高、檢測 速度快，效果較為理想。實施例6:對車輛行駛過程中前方車輛突然減速的運動進行檢測。檢測方法及具 體步驟同實施例1，第一步，采集視頻圖像序列，在相對車速為40km/h下，所采集的視頻圖像 序列的兩幀圖像如圖38，圖39所示。圖38為車輛正常安全行駛下即前方藍色 車輛正常速度行駛過程中的一幀圖像，圖39為前方藍色車輛突然減速而對后面 車輛安全行駛造成威脅的一幀圖像。 第二步解碼提取運動矢量，得出運動矢量MV場圖。對圖38,圖39兩幀 圖像進行運動矢量提取，提取運動矢量場圖如圖40所示。第三步除噪及危險區(qū)域的確定，對解碼出的運動矢量MV場圖進行處理， 按照本發(fā)明所提出的危險運動矢量規(guī)則進行除噪，以消除邊緣噪聲和天空噪聲， 給出除噪后的運動矢量MV場圖，并給出確定的危險區(qū)域。除去噪聲后的運動矢 量場圖如圖41所示。選擇滅點以下區(qū)域為車輛行駛過程中的危險區(qū)域。對危險 區(qū)域的危險運動矢量進行篩選提取，得出障礙物所在的危險區(qū)域，如圖42所示。第四步提取危險運動矢量，在確定的危險區(qū)域提取危險運動矢量并計算。第五步危險運動矢量判決，根據(jù)門限值T來對危險區(qū)域的相鄰運動矢量之 差進行判別篩選。篩選后的危險運動矢量圖如圖43所示。第六步標記原始視頻圖像中的危險障礙，最后是對危險運動矢量在視頻圖像中相對應的位置區(qū)域進行標注，進而起到告警提示作用，如圖44所示。 實施例7:檢測狀況同實施例4，檢測方法和檢測步驟同實施例1，當車輛行駛由直行變?yōu)檗D(zhuǎn)彎時，通過加速度傳感器反饋的路況信息，系統(tǒng)自動將匹配模板設(shè)定為轉(zhuǎn) 彎匹配模板，進行危險區(qū)域的選定，同時確定相應閾值，實現(xiàn)障礙物的檢測。在 該種情況下，T為2. 5。 實施例8:檢測狀況同實施例4，檢測方法和檢測步驟同實施例1，當車輛行駛由直行 變?yōu)樯掀聲r，通過加速度傳感器反饋的路況信息，系統(tǒng)自動將匹配模板設(shè)定為上 坡時匹配模板，進行危險區(qū)域的確定，同時確定相應閾值，實現(xiàn)障礙物的檢測。 實施例9:檢測狀況同實施例4，檢測方法和檢測步驟同實施例1，當車輛行駛由直行 變?yōu)橄缕聲r，通過加速度傳感器反饋的路況信息，系統(tǒng)自動將匹配模板設(shè)定為下 坡時匹配模板，進行危險區(qū)域的確定，同時確定相應閾值，實現(xiàn)障礙物的檢測。實施例10:檢測狀況同實施例1，檢測方法和檢測步驟同實施例1。具體的編碼是基于MPFG運動矢量的行車障礙檢測方法，其中MPEG視頻基本編解碼過程為I幀編碼屬于幀內(nèi)編碼，過程是將圖像進行離散余弦變換即DCT，再經(jīng)量化、掃描和比特流變長編碼即生成編碼比特流；P幀和B幀編碼屬 于幀間編碼，過程是原始圖像首先與幀存儲器中的預測圖像進行比較，計算出運 動矢量，運動矢量再經(jīng)過變長編碼生成編碼比特流。由運動矢量和參考幀生成原 始圖像的預測圖像再進行運動估計編碼。而后，將原始圖像與預測圖像之間像素 差值所生成的差分圖像數(shù)據(jù)進行DCT變換，再經(jīng)過量化器和比特流編碼器生成輸 出的編碼比特流即運動補償編碼。實施例11:檢測狀況同實施例l，檢測方法和檢測步驟同實施例1， 第二步解碼提取運動矢量的具體程序為-一. 對車輛前方視覺傳感器所獲取前方視場圖像數(shù)據(jù)輸入MPFG格式的編碼 比特流；二. 在編碼比特流中解碼圖像序列頭；三. 在編碼比特流中解碼圖像組頭；四. 在編碼比特流中解碼圖像頭；五. 比較判斷圖像類型是否為p幀？結(jié)果為"否"時返回程序步驟四，結(jié)果 為"是"時進行下一步六；六. 若為P幀則解碼宏塊片頭；七. 解碼宏塊數(shù)據(jù)；八. 然后在宏塊中解碼可變長編碼的運動矢量的預測值；九.解碼用于節(jié)省運動矢量編碼的差分值；十.計算運動矢量變長解碼值與差分值之和就是該宏塊的運動矢量； 十一.判斷圖像序列結(jié)束頭，結(jié)果為"否"時返回程序步驟三，即接著解碼 圖像組頭，結(jié)果為"是"時進行下一步十二； 十二.結(jié)束。此種計算方法計算簡單、檢測準確率高、檢測速度快。 實施例12:檢測方法及具體步驟同實施例1，基于MPFG運動矢量的行車障礙檢測方法的危險運動矢量判決檢出步驟為計算實時車輛前方圖像危險區(qū)域中相鄰運動矢量之差，與選取的閾值門限T 進行比較，若相鄰運動矢量之差符合該閾值T,則判為正常運動矢量，并對其置 零濾除；若相鄰運動矢量之差不符合該閾值T，則判為危險運動矢量，對其保留 并檢出。T為閾值門限，凡是符合以上條件的運動矢量可判為正常運動矢量，可 以通過運動矢量置零濾除掉，若不符合判斷條件，即判為危險運動矢量，則保留。 實施例13:檢測方法及具體步驟同實施例1，基于MPFG運動矢量的行車障礙檢測方法， 其中經(jīng)驗閾值T的選取及設(shè)定與匹配模板相關(guān)，對應當前車輛行駛狀況，附加車 速信息，閾值自動確定；行駛車速相關(guān)。在視頻圖像統(tǒng)一采用格式為291X218 大小，正常直行行駛時，車輛在車速為20km/h正常安全行駛時相鄰運動矢量之 差都在閾值T=2的范圍內(nèi);車輛在車速為40km/h正常安全行駛時相鄰運動矢量 之差在閾值T=2.5的范圍內(nèi)；車輛在車速60ktn/h正常安全行駛時相鄰運動矢量 之差在閾值T=3的范圍內(nèi)。通過多次反復計算試驗，通過在不同車速下對門限 閾值T的設(shè)定，便可對障礙物所在位置的異常危險運動矢量進行保留及篩選。實施例14:門限T值是首先將大量的行車前方無危險障礙物和出現(xiàn)危險障礙物時所采 集的道路及周圍環(huán)境圖像進行仿真處理，通過對危險運動矢量的提取，歸納出經(jīng) 驗參數(shù)門限值T，當車輛在行駛時所提取的相鄰運動矢量之差超過閾值門限T值 時，提取為危險圖像，對危險圖像進fi^示注，此值安裝于檢測處理程序中。
權(quán)利要求
1. 一種基于MPFG運動矢量的行車障礙檢測方法，其特征在于行車障礙檢測方法及算法在壓縮域完成，利用車輛前方視覺傳感器所獲取前方視場圖像的MPEG壓縮序列，提取和分析碼流中的運動矢量，獲取前方圖像各像塊的運動規(guī)律，并將這些規(guī)律與正常行車安全的矢量運動規(guī)則進行比較判定，運用與行車狀態(tài)相關(guān)的匹配模板，確定危險區(qū)域和判決危險運動矢量，獲得車輛行駛前方是否安全的信息，對危險障礙圖像進行標注，具體步驟包括有第一步采集視頻圖像序列，首先通過車輛前端攝像機所采集到的車輛行駛過程中道路周圍環(huán)境的視頻圖像序列的原始視頻數(shù)據(jù)，利用MPEG編解碼技術(shù)將其壓縮成MPEG視頻碼流格式的視頻壓縮碼流；第二步解碼提取運動矢量，根據(jù)MPEG編解碼壓縮標準分析MPEG碼流格式，從MPEG格式的視頻碼流中解碼提取出運動矢量，具體提取解碼的p幀矢量，并得出運動矢量MV場圖；第三步除噪及危險區(qū)域確定，對解碼出的運動矢量MV場圖進行處理，即進行除噪處理，以確定的危險區(qū)域；第四步提取危險運動矢量，在確定的危險區(qū)域提取危險運動矢量并計算；第五步危險運動矢量判決，根據(jù)門限值T來對危險區(qū)域的相鄰運動矢量之差進行判別篩選，相鄰運動矢量的差值小于T值則為正常安全運動矢量并將其置零，大于T值則判定為危險運動矢量而保留，得到危險障礙物所處區(qū)域的危險運動矢量場圖；第六步標記原始視頻圖像中的危險障礙，對于在運動矢量場圖中提取的危險運動矢量，在原始視頻圖像中對應位置標記該區(qū)域的危險障礙，對駕駛員起到警戒作用。
2. 根據(jù)權(quán)利要求1所述的基于MPFG運動矢量的行車障礙檢測方法，其特征在于第三步中的除噪及危險區(qū)域確定是在選取的匹配模板下對解碼出的運動矢量MV場圖進行以消除邊緣噪聲和天空噪聲矢量的處理。
3. 根據(jù)權(quán)利要求2所述的基于MPFG運動矢量的行車障礙檢測方法，其特 征在于第五步經(jīng)驗闞值T的選取及設(shè)定與匹配模板相關(guān)，對應當前車輛行駛狀 況，閾值自動確定；車輛直行時具體關(guān)系符合TM).025V+1.5的線性關(guān)系式。
4. 根據(jù)權(quán)利要求1或2或3所述的基于MPFG運動矢量的行車障礙檢測方法，其特征在于所述的匹配模板與行車狀態(tài)相關(guān)，具體是與車輛加速度及路況 狀態(tài)相關(guān)，通過加速度傳感器反饋信息進入行車障礙檢測系統(tǒng)，得出直行、轉(zhuǎn)彎 及上下坡具體路況，當行駛路況發(fā)生改變時，系統(tǒng)自動選定匹配模板。
5.根據(jù)權(quán)利要求1所述的基于MPFG運動矢量的行車障礙檢測方法，其特 征在于第二步解碼提取運動矢量的具體程序為一. 對車輛前方視覺傳感器所獲取前方視場圖像數(shù)據(jù)輸入MPFG格式的編碼 比特流；二. 在編碼比特流中解碼圖像序列頭；三. 在編碼比特流中解碼圖像組頭；四. 在編碼比特流中解碼圖像頭；五. 比較判斷圖像類型是否為p幀？結(jié)果為"否"時返回程序步驟四，結(jié)果 為"是"時進行下一步六；六. 若為P幀則解碼宏塊片頭；七. 解碼宏塊數(shù)據(jù)；八. 然后在宏塊中解碼可變長編碼的運動矢量的預測值；九. 解碼用于節(jié)省運動矢量編碼的差分值；十.計算運動矢量變長解碼值與差分值之和就是該宏塊的運動矢量； 十一.判斷圖像序列結(jié)束頭，結(jié)果為"否"時返回程序步驟三，即接著解碼 圖像組頭，結(jié)果為"是"時進行下一步十二；
全文摘要
本發(fā)明提供了一種基于MPFG運動矢量的行車障礙檢測方法，利用車輛前方視覺傳感器獲取前方視場圖像的MPEG壓縮序列，提取和分析碼流中的運動矢量，獲取圖像各像塊的運動規(guī)律，與正常行車安全的矢量運動規(guī)則比較判定，獲得車輛行駛前方是否安全的判定，標注危險區(qū)域，以警示駕駛。本發(fā)明對大量的道路運動情景數(shù)據(jù)進行了歸類統(tǒng)計，運用與行駛路況相關(guān)的匹配模板及經(jīng)驗參數(shù)門限值T，用于車輛行駛實時運動數(shù)據(jù)比較和鑒別。本發(fā)明解決了車輛安全行駛輔助系統(tǒng)算法較為復雜，處理速度較慢和視頻數(shù)據(jù)處理量大的技術(shù)難題，易實現(xiàn)、計算簡單，檢測過程數(shù)據(jù)處理占用空間小，檢測準確率高、速度快?？捎糜跈C動車輛行駛輔助系統(tǒng)。
文檔編號G01C11/00GK101266132SQ200810018088
公開日2008年9月17日 申請日期2008年4月30日 優(yōu)先權(quán)日2008年4月30日
發(fā)明者晨 李, 琦 郅, 斌 雷 申請人:西安工業(yè)大學