鏡頭附著物檢測(cè)裝置、鏡頭附著物檢測(cè)方法以及車輛系統(tǒng)的制作方法
【專利摘要】提供一種鏡頭附著物的檢測(cè)裝置等，可以高精度地檢測(cè)附著在車載照相機(jī)等上的鏡頭附著物，并且可以提高利用圖像的車輛檢測(cè)、車道檢測(cè)、行人檢測(cè)等圖像檢測(cè)應(yīng)用的性能。安裝在車輛系統(tǒng)上的鏡頭附著物檢測(cè)裝置（130）包括：邊緣提取部（26），其將從由照相機(jī)（20）拍攝到的輸入圖像（100）制成的邊緣圖像（103）分割為多個(gè)區(qū)塊（201），并將邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)塊（201）作為關(guān)注區(qū)塊（201a）并提?。涣炼确植继崛〔浚?7），其取得關(guān)注區(qū)塊（201a）以及周圍區(qū)塊（201b）的亮度值；亮度變化提取部（38），其取得關(guān)注區(qū)塊（201a）的亮度值的時(shí)間序列變化；以及附著物判別部（32），其基于亮度值的時(shí)間序列變化來判別有無附著物。
【專利說明】鏡頭附著物檢測(cè)裝置、鏡頭附著物檢測(cè)方法以及車輛系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及檢測(cè)照相機(jī)等的鏡頭上的附著物的鏡頭附著物檢測(cè)裝置、鏡頭附著物檢測(cè)方法以及具備鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)。
【背景技術(shù)】
[0002]以往，公知有在變更車道時(shí)，利用安裝在車輛上的照相機(jī)檢測(cè)在車輛后方的死角處存在的其他車輛、行人，并通過警告音、顯示燈來提醒駕駛員注意的系統(tǒng)。另外，還公知有利用照相機(jī)檢測(cè)道路上的白線，當(dāng)駕駛員偏離車道時(shí)，通過警告音、顯示燈提醒駕駛員注意的系統(tǒng)等。另外，還公知有檢測(cè)從后面接近的車輛并報(bào)警的系統(tǒng)、檢測(cè)停車線框來輔助停車的系統(tǒng)等。以下，將使用了圖像識(shí)別技術(shù)的車載系統(tǒng)稱為圖像檢測(cè)應(yīng)用(image sensingapplication)。
[0003]在這種系統(tǒng)中使用的照相機(jī)有時(shí)設(shè)置在車輛的外部，并且，由于在車輛行駛中使用，所以在鏡頭表面上容易附著濺泥等污潰。如果這種污潰的附著變得嚴(yán)重，則由照相機(jī)拍攝到的被拍攝體的檢測(cè)精度下降，會(huì)對(duì)上述的檢測(cè)車輛、行人的系統(tǒng)、檢測(cè)白線的系統(tǒng)等圖像檢測(cè)應(yīng)用的性能產(chǎn)生影響。因此，在駕駛員等發(fā)現(xiàn)污潰時(shí)，向鏡頭噴射空氣、清洗液來去除污潰。
[0004]但是，因?yàn)橛袝r(shí)駕駛員會(huì)未注意到污潰而放任不管，所以開發(fā)了用于自動(dòng)檢測(cè)鏡頭的污潰、通知駕駛員產(chǎn)生了污潰并提醒清洗、或者自動(dòng)進(jìn)行清洗的污潰檢測(cè)裝置(例如，參照專利文獻(xiàn)I)。在該專利文獻(xiàn)I所記載的污潰檢測(cè)裝置中，對(duì)于在不同的定時(shí)用照相機(jī)拍攝到的2幅圖像分別求取濃度值，提取它們的差分并進(jìn)行累計(jì)，從而取得累計(jì)圖像。在該累計(jì)圖像中，將濃度值在規(guī)定的濃度值以下的區(qū)域、即經(jīng)過時(shí)間后也未發(fā)生變化的區(qū)域判斷為附著有污潰的區(qū)域。另外，如果該污潰的附著區(qū)域具有對(duì)照相機(jī)的圖像處理產(chǎn)生影響的面積，則判斷為鏡頭被污染，而向駕駛員、清洗裝置發(fā)出污潰附著的信號(hào)。
[0005](現(xiàn)有技術(shù)文獻(xiàn))
[0006](專利文獻(xiàn))
[0007]專利文獻(xiàn)1:日本特開2003-259358號(hào)公報(bào)
[0008]但是，在上述專利文獻(xiàn)I中記載的污潰檢測(cè)裝置中，對(duì)于不是污潰但隨時(shí)間變化少的景色、被拍攝靜物(例如，長(zhǎng)而連續(xù)的護(hù)欄、橋梁的欄桿、人行道等)，由于其差分的累計(jì)圖像的濃度值增高，所以有時(shí)會(huì)被誤判定為污潰。因此，要求開發(fā)出能夠僅檢測(cè)污潰等鏡頭附著物的高精度的技術(shù)。

【發(fā)明內(nèi)容】

[0009]本發(fā)明鑒于上述情況而提出，其目的在于提供一種可以高精度地僅檢測(cè)附著在照相機(jī)等的鏡頭上的泥、灰塵、水滴等鏡頭附著物的鏡頭附著物檢測(cè)裝置、鏡頭附著物檢測(cè)方法、以及具備鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)。
[0010]為了實(shí)現(xiàn)上述的目的，本發(fā)明的鏡頭附著物檢測(cè)裝置的特征在于，具備:邊緣提取部，其基于來自具有鏡頭的拍攝裝置的輸入圖像來制成邊緣圖像，將邊緣圖像分割成包含多個(gè)像素的多個(gè)區(qū)域，并將邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域作為關(guān)注區(qū)域并提??；亮度分布提取部，其取得關(guān)注區(qū)域的亮度值以及上述關(guān)注區(qū)域的周圍區(qū)域的亮度值；亮度變化提取部，其與規(guī)定時(shí)間間隔相對(duì)應(yīng)地取得由亮度分布提取部取得的關(guān)注區(qū)域的亮度值以及周圍區(qū)域的亮度值，并基于與上述規(guī)定時(shí)間間隔對(duì)應(yīng)的關(guān)注區(qū)域的亮度值，來取得關(guān)注區(qū)域的亮度值的時(shí)間序列變化；以及附著物判別部，其基于關(guān)注區(qū)域的亮度值的時(shí)間序列變化來判別有無附著物。
[0011]根據(jù)這樣構(gòu)成的本發(fā)明的鏡頭附著物檢測(cè)裝置，能夠高精度地僅檢測(cè)附著在照相機(jī)等的鏡頭上的泥、灰塵、水滴等鏡頭附著物。因此，能夠迅速地向駕駛員、自動(dòng)清洗系統(tǒng)通知鏡頭的污染等，可以實(shí)現(xiàn)鏡頭附著物的迅速去除。另外，能夠良好地實(shí)施使用照相機(jī)的車輛檢測(cè)等圖像檢測(cè)應(yīng)用。另外，通過與周圍的亮度值的比較、亮度值的經(jīng)時(shí)變化檢測(cè)鏡頭附著物，因此不會(huì)將鏡頭附著物以外的東西檢測(cè)為鏡頭附著物，可以實(shí)現(xiàn)僅對(duì)鏡頭附著物的高精度的檢測(cè)。因此，不會(huì)發(fā)生不必要地向駕駛員通知污潰、不必要地進(jìn)行自動(dòng)清洗的情況，能夠提高處理效率。
[0012]另外，本發(fā)明的鏡頭附著物檢測(cè)裝置可以還具備掩蔽處理部，上述掩蔽處理部從關(guān)注區(qū)域中排除由邊緣提取部提取的、邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域中的、鏡頭附著物以外的區(qū)域。通過采用這樣的結(jié)構(gòu)，在邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域中的、亮度值的時(shí)間序列變化少、關(guān)注區(qū)域的亮度值比該關(guān)注區(qū)域的周圍區(qū)域的亮度值低那樣的、發(fā)生了容易誤識(shí)別為泥潰的路面狀況(例如，行車線標(biāo)記、車轍、本車影子)、照明環(huán)境(例如，太陽光、車燈類等光源)的情況下，也能夠從關(guān)注區(qū)域中排除鏡頭附著物以外的拍攝物體。因此，能夠更高精度地進(jìn)行附著物判別部中的鏡頭附著物的有無判斷。
[0013]另外，本發(fā)明的鏡頭附著物檢測(cè)方法是由上述的鏡頭附著物檢測(cè)裝置所執(zhí)行的鏡頭附著物檢測(cè)方法，其特征在于，具有以下步驟:邊緣提取處理，其基于輸入圖像制成邊緣圖像，將邊緣圖像分割成包含多個(gè)像素的多個(gè)區(qū)域，并將邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域作為關(guān)注區(qū)域并提取；亮度值分布提取處理，其取得關(guān)注區(qū)域的亮度值以及上述關(guān)注區(qū)域的周圍區(qū)域的亮度值；亮度值變化提取處理，其與規(guī)定時(shí)間間隔對(duì)應(yīng)地取得由亮度值分布提取處理取得的關(guān)注區(qū)域的亮度值以及周圍區(qū)域的亮度值，并基于所取得的與規(guī)定時(shí)間間隔對(duì)應(yīng)的關(guān)注區(qū)域的亮度值，來取得關(guān)注區(qū)域的亮度值的時(shí)間序列變化；以及附著物判別部，其基于關(guān)注區(qū)域的亮度值的時(shí)間序列變化，來判別有無附著物。
[0014]另外，本發(fā)明的車輛系統(tǒng)的特征在于，具備:上述的鏡頭附著物檢測(cè)裝置；安裝在車輛上、具有鏡頭、并拍攝車輛的周邊的拍攝裝置；以及基于鏡頭附著物檢測(cè)裝置針對(duì)由拍攝裝置拍攝到的輸入圖像所檢測(cè)到的鏡頭附著物的檢測(cè)信息而動(dòng)作的至少一個(gè)應(yīng)用部。
[0015]根據(jù)本發(fā)明，能夠提供可以高精度地僅檢測(cè)附著在照相機(jī)等的鏡頭上的泥、灰塵、水滴等鏡頭附著物的鏡頭附著物檢測(cè)裝置、鏡頭附著物檢測(cè)方法、以及具備這樣的鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)。
【專利附圖】

【附圖說明】
[0016]圖1是表示安裝有具備本發(fā)明的第一、第二實(shí)施例的鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)的車輛的概略圖。[0017]圖2是表示具備第一以及第二實(shí)施例的鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)的結(jié)構(gòu)的方框說明圖。
[0018]圖3是用于說明將處理對(duì)象圖像區(qū)塊化的步驟的說明圖，Ca)表示在輸入圖像中車輛檢測(cè)以及車道檢測(cè)所使用的區(qū)域，(b)表示對(duì)包含這些區(qū)域的區(qū)域進(jìn)行了區(qū)塊化的狀態(tài)。
[0019]圖4是用于說明輸入圖像和利用邊緣提取部輸出的邊緣圖像的關(guān)系的說明圖，Ca)表示輸入于邊緣提取部的輸入圖像，(b)表示從邊緣提取部輸出的邊緣圖像。
[0020]圖5是用于說明取得處理區(qū)塊的亮度平均的步驟的說明圖。
[0021]圖6是用于說明統(tǒng)計(jì)明亮的周圍區(qū)塊的步驟的說明圖，Ca)表示關(guān)注區(qū)塊及其周圍區(qū)塊，(b)表示在第二實(shí)施例中作為計(jì)數(shù)的處理對(duì)象的周圍區(qū)塊。
[0022]圖7是用于說明對(duì)弱的邊緣數(shù)量進(jìn)行計(jì)數(shù)的步驟的說明圖，是具有弱的邊緣的區(qū)塊的概念圖。
[0023]圖8是用于說明以時(shí)間序列積累亮度值信息的說明圖，表示在存儲(chǔ)部中存儲(chǔ)的記錄的圖像。
[0024]圖9是用于說明行車線的掩蔽處理的說明圖，Ca)表示左側(cè)區(qū)域用邊緣濾波器的概略圖，(b)表示右側(cè)區(qū)域用邊緣濾波器的概略圖，(c)表示后視中的行車線的影像。
[0025]圖10是用于說明行車線的掩蔽處理的說明圖，表示在右側(cè)區(qū)域和左側(cè)區(qū)域中分別采用濾波器，生成邊緣圖像的步驟。
[0026]圖11是用于說明車轍的掩蔽處理的說明圖，Ca)表示車轍映現(xiàn)的輸入圖像的影像，(b)表示將輸入圖像分割成多個(gè)框，來檢測(cè)出邊緣的狀態(tài)，(C)表示由掩蔽處理部生成的車轍掩蔽圖像。
[0027]圖12是用于說明光源的掩蔽處理的說明圖，Ca)表示夕陽映現(xiàn)的輸入圖像的影像，(b)表示由掩蔽處理部生成的光源掩蔽圖像。
[0028]圖13是用于說明本車影子的掩蔽處理的說明圖，(a)表示本車影子映現(xiàn)的輸入圖像的影像，(b)表示由掩蔽處理部生成的本車影子掩蔽圖像。
[0029]圖14是用于說明車身的掩蔽處理的說明圖，Ca)表示車身映現(xiàn)的輸入圖像的影像，(b)表示由掩蔽處理部生成的車身掩蔽圖像。
[0030]圖15是表示進(jìn)行掩蔽處理之前的弱的邊緣圖像和進(jìn)行掩蔽處理之后的弱的邊緣圖像的概略圖。
[0031]圖16是表示第一實(shí)施例中的鏡頭附著檢測(cè)處理的流程的概略流程圖。
[0032]圖17是表示處理區(qū)域取得處理的流程的概略流程圖。
[0033]圖18是表示邊緣提取處理的流程的概略流程圖。
[0034]圖19是表示亮度分布提取處理的流程的概略流程圖。
[0035]圖20是表示附著物判別處理的流程的概略流程圖。
[0036]圖21是表示第二實(shí)施例中的鏡頭附著檢測(cè)處理的流程的概略流程圖。
[0037](附圖標(biāo)記的說明)
[0038]1:車輛；10:車輛系統(tǒng)；20:照相機(jī)(拍攝部)；21:鏡頭；
[0039]30:鏡頭附著物檢測(cè)裝置；32:附著物判別部；36:邊緣提取部；
[0040]37:亮度分布提取部；38:亮度變化提取部；39:掩蔽處理部；[0041]51:清洗部；53:警告音發(fā)生部；54:顯示部；52:圖像檢測(cè)應(yīng)用部；
[0042]60:存儲(chǔ)部；101:輸入圖像；201:區(qū)塊(區(qū)域)；
[0043]201a:關(guān)注區(qū)塊(關(guān)注區(qū)域)；201b:周圍區(qū)塊(周圍區(qū)域)。
【具體實(shí)施方式】
[0044]以下，參照附圖對(duì)具備本發(fā)明的鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)的實(shí)施方式進(jìn)行說明。
[0045]<第一實(shí)施例>
[0046]圖1是表示安裝有具備第一實(shí)施例的鏡頭附著物檢測(cè)裝置的車輛系統(tǒng)的車輛I的行駛狀態(tài)的圖。在車輛I的后方設(shè)置有照相機(jī)20。由于該照相機(jī)20的拍攝視角是ω，能夠?qū)挿秶嘏臄z后方，所以能夠拍攝成為駕駛員的死角的區(qū)域。使用照相機(jī)20執(zhí)行車輛檢測(cè)應(yīng)用等。例如，如圖1所示，車輛I在由車道LI?L3組成的三車道道路2的車道L2上行駛，當(dāng)該車輛I欲從車道L2變更到車道LI上時(shí)，會(huì)利用設(shè)置在車輛I上的照相機(jī)20來檢測(cè)在車輛2的后方死角處存在的其他車輛3。檢測(cè)到其他車輛3的車輛檢測(cè)應(yīng)用系統(tǒng)通過發(fā)出警告音、點(diǎn)亮顯示燈來提醒駕駛員注意。
[0047]另外，在本實(shí)施例中，作為后方的照相機(jī)20的鏡頭附著物檢測(cè)裝置來進(jìn)行了實(shí)施，但本發(fā)明并不局限于此。在將照相機(jī)設(shè)置在前方、側(cè)面的情況下，也可以檢測(cè)那些照相機(jī)等的、任何的鏡頭附著物。另外，其中，也可以以通知是否在任意的鏡頭上附著了附著物的方式構(gòu)成鏡頭附著物檢測(cè)裝置。
[0048]使用圖2說明第一實(shí)施例的車輛系統(tǒng)10的系統(tǒng)結(jié)構(gòu)。第一實(shí)施例的車輛系統(tǒng)10安裝在車輛I上，如圖2所不,構(gòu)成為具備:拍攝本車輛I的后方的圖像的照相機(jī)(拍攝裝置)20 ;基于從照相機(jī)20輸入的輸入圖像來檢測(cè)鏡頭附著物的鏡頭附著物檢測(cè)裝置30 ;基于由鏡頭附著物檢測(cè)裝置30檢測(cè)到的結(jié)果來進(jìn)行自動(dòng)清洗的清洗功能(清洗部)51 ;發(fā)出警告音來通知駕駛員存在鏡頭附著物的警告音發(fā)生部53 ;利用燈、文字顯示來通知駕駛員存在鏡頭附著物的顯示部54 ;車輛檢測(cè)、車道檢測(cè)等圖像的檢測(cè)應(yīng)用部52 ;以及存儲(chǔ)處理程序、在各處理中使用的數(shù)據(jù)等的存儲(chǔ)部60。
[0049]照相機(jī)20構(gòu)成為具備:鏡頭21、將利用鏡頭21成像的圖像轉(zhuǎn)換為模擬電信號(hào)的拍攝元件22、以及調(diào)整由拍攝元件22取得的圖像的增益的增益調(diào)整部23。存儲(chǔ)部60存儲(chǔ)程序、數(shù)據(jù)，可以是硬盤、外接存儲(chǔ)器等，也可以是RAM、ROM等暫時(shí)存儲(chǔ)數(shù)據(jù)的單元。
[0050]鏡頭附著物檢測(cè)裝置30構(gòu)成為具備:對(duì)從照相機(jī)20輸入的輸入圖像進(jìn)行各種處理并積累圖像信息的圖像處理部31 ;基于來自圖像處理部31的信息來判別鏡頭附著物的有無的附著物判別部32 ;取得車速等車輛信息的車輛信息取得部33 ;基于鏡頭附著物的有無來生成向其他處理部輸出的輸出信息的輸出信息生成部34;以及存儲(chǔ)利用圖像處理部31所取得的圖像信息、附著物判別部32中的判別結(jié)果等的存儲(chǔ)部60。在第一實(shí)施例的鏡頭附著物檢測(cè)裝置30中，作為存儲(chǔ)部，兼用車輛系統(tǒng)10所具備的存儲(chǔ)部60。這樣的鏡頭附著物檢測(cè)裝置30、圖像檢測(cè)應(yīng)用部52可以構(gòu)成為由具有CPU、存儲(chǔ)器、I/O、定時(shí)器等的計(jì)算機(jī)所執(zhí)行的程序。另外，在鏡頭附著物檢測(cè)裝置30中，對(duì)鏡頭附著物檢測(cè)處理編程化，以預(yù)先規(guī)定的周期重復(fù)執(zhí)行處理。
[0051]如圖2中的實(shí)線所示，第一實(shí)施例的圖像處理部31構(gòu)成為具有:取得來自照相機(jī)20的輸入圖像，設(shè)定處理區(qū)域并分割成多個(gè)區(qū)塊的處理區(qū)域取得部35 ;從輸入圖像中提取邊緣強(qiáng)度弱的區(qū)域的邊緣提取部36 ;取得邊緣強(qiáng)度弱的區(qū)域及其周圍的區(qū)域的亮度值并提取亮度分布的亮度分布提取部37 ;基于以時(shí)間序列積累的亮度值來取得亮度值的時(shí)間序列變化的亮度變化提取部38。
[0052]以下，使用圖3?圖8的處理的說明圖以及圖16?圖20的流程圖來說明第一實(shí)施例的鏡頭附著物檢測(cè)裝置30中的鏡頭附著物檢測(cè)處理。在此，說明作為鏡頭附著物檢測(cè)出泥潰時(shí)的處理步驟。
[0053]如圖16的流程圖所示，第一實(shí)施例的鏡頭附著物檢測(cè)處理具有:車輛信息取得處理(步驟S10);車速判定處理(步驟S20);處理區(qū)域取得處理(步驟S30);邊緣提取處理(步驟S40);亮度分布提取處理(步驟S50);處理時(shí)間判定處理(S60);亮度變化提取處理(步驟S70);附著物判別處理(步驟S80);以及輸出信息生成處理(步驟S90)。這些處理由控制部(CPU)進(jìn)行控制。
[0054](車輛信息取得處理以及車速判定處理)
[0055]車輛信息取得處理(步驟S10)、車速判定處理(步驟S20)由車輛信息取得部33執(zhí)行。車輛信息取得部33取得從車速傳感器等發(fā)送來的速度信息(步驟S10)。接著，判定該車速是否在規(guī)定值以上(例如lkm/h以上)(步驟S20)。在判定為車速在規(guī)定值以上的情況下(“是”)，進(jìn)入接下來的處理區(qū)域取得處理(步驟S30)，在判定為小于規(guī)定值的情況下(“是”)，進(jìn)入接下來的處理區(qū)域取得處理(步驟S30)，在判定為小于10km/h的情況下(“否”)，跳過步驟S30?步驟S80的處理，進(jìn)入輸出信息生成處理(步驟S90)，之后結(jié)束鏡頭附著物檢測(cè)處理整體。即，泥潰在車輛I的行駛中容易附著。因此，在車輛I不行駛時(shí)、或者緩慢行駛時(shí)，泥潰難以附著，判斷為不需要進(jìn)行鏡頭附著物檢測(cè)處理。
[0056]另外，在第一實(shí)施例中，如上所述，將鏡頭附著物檢測(cè)處理的繼續(xù)執(zhí)行、結(jié)束的判斷基準(zhǔn)設(shè)定為一個(gè)規(guī)定值，但本發(fā)明并不局限于此。例如，也可以在開始條件和結(jié)束條件中以不同的規(guī)定速度進(jìn)行判斷，還可以將發(fā)動(dòng)機(jī)起動(dòng)、換擋等作為判斷基準(zhǔn)。另外，也可以基于泥潰容易附著的道路狀況(未鋪設(shè)的道路(off-road，野外)行駛中)、天氣狀況(雨天等)的車輛信息來進(jìn)行判斷。
[0057](處理區(qū)域取得處理)
[0058]處理區(qū)域取得處理(步驟S30)由處理區(qū)域取得部35執(zhí)行。使用圖17的流程圖來詳細(xì)說明處理區(qū)域取得處理。處理區(qū)域取得部35首先取得并縮小從照相機(jī)20輸入的輸入圖像(步驟S31)。但是，本發(fā)明并不局限于此，還可以不縮小地使用。但是，通過在以后的處理中使用這樣縮小的圖像，可以提高處理速度，并且可以減小圖像信息等的存儲(chǔ)容量。
[0059]接著，處理區(qū)域取得部35從縮小的單色圖像中設(shè)定作為處理對(duì)象的區(qū)域(步驟S32)。該處理對(duì)象區(qū)域也可以是輸入圖像的全部，但在本實(shí)施例中，如圖3 (a)、(b)所示，在輸入圖像中，將包含本實(shí)施例所使用的圖像檢測(cè)應(yīng)用部52的處理區(qū)域(例如，車輛檢測(cè)中的處理區(qū)域B、車道檢測(cè)中的處理區(qū)域L、判斷清洗部51中的自動(dòng)清洗實(shí)施的區(qū)域等)的區(qū)域作為處理對(duì)象區(qū)域102。這樣，通過對(duì)至少包含所使用的圖像檢測(cè)應(yīng)用部52或者各個(gè)功能的處理區(qū)域的位置的鏡頭附著物進(jìn)行檢測(cè)，能夠提高圖像檢測(cè)應(yīng)用的精度，并且還能夠提高鏡頭附著物檢測(cè)處理的處理效率。
[0060]然后，如圖3 (b)所示，將該處理對(duì)象區(qū)域分割成多個(gè)區(qū)塊201 (步驟S33)。以后的處理以這種區(qū)塊單位進(jìn)行，與以像素單位進(jìn)行處理相比能夠高效率地進(jìn)行處理。在本實(shí)施例中，各區(qū)塊201的尺寸被設(shè)定為想要檢測(cè)的污潰的大小以下。通過設(shè)定為這樣的尺寸，能夠可靠且高效率地僅檢測(cè)泥潰。另外，這樣分割出的各區(qū)塊201的坐標(biāo)等區(qū)塊信息與區(qū)塊編號(hào)建立對(duì)應(yīng)地存儲(chǔ)在存儲(chǔ)部60等中。
[0061](邊緣提取處理)
[0062]邊緣提取處理(步驟S40)利用邊緣提取部36來執(zhí)行。使用圖18的流程圖來說明邊緣提取處理的詳細(xì)內(nèi)容。如圖18所示，邊緣提取部36首先將在處理區(qū)域取得處理(步驟S30)中縮小了的輸入圖像縮小，取得黑白的濃淡圖像(步驟S41)。通過這樣縮小圖像來謀求處理的高效化。然后，邊緣提取部36進(jìn)行縮小的輸入圖像的邊緣提取(步驟S42)。這種邊緣提取能夠使用以往公知的方法進(jìn)行。然后，使用提取的邊緣圖像進(jìn)行針對(duì)邊緣強(qiáng)度的閾值處理，在僅提取了在本處理中所需的邊緣后，進(jìn)行二值化處理(步驟S43)。在閾值處理中，例如，生成邊緣強(qiáng)度P僅剩下規(guī)定范圍內(nèi)的邊緣(弱邊緣)的邊緣圖像。圖4表示利用邊緣提取處理而從輸入圖像100生成的邊緣圖像103的影像圖。如圖4 (b)所示的邊緣圖像所示那樣，從圖4 Ca)所示的輸入圖像中將泥潰部分作為弱的邊緣提取。
[0063]然而，即便是同樣的泥潰，對(duì)于在未鋪設(shè)的道路等路況差的道路上行駛時(shí)的泥潰和在鋪設(shè)道路(on-road，公路)上行駛時(shí)的泥潰而言，有時(shí)濃度、色調(diào)等不同，弱的邊緣強(qiáng)度的程度也不同。另外，根據(jù)附著物的種類，有時(shí)邊緣強(qiáng)度也不同。因此，也可以與這種道路狀況、其他行駛狀況、附著物的種類、附著狀況等相應(yīng)地預(yù)先準(zhǔn)備多個(gè)閾值，并在執(zhí)行鏡頭附著物檢測(cè)時(shí)判斷使用哪個(gè)閾值。
[0064]接著，進(jìn)行去除在上述生成的弱邊緣圖像中存在的噪聲的噪聲去除處理(步驟S44)。在本實(shí)施例中，將以下那樣的邊緣定義為噪聲。
[0065](a)與前次提取的邊緣圖像的邊緣位置不同的位置處的邊緣
[0066](b)面積在規(guī)定值以下的邊緣
[0067]首先，取得在步驟S43中提取的邊緣圖像和前次提取的邊緣圖像的邏輯積，去除上述(a)的噪聲。即，這是由于，在本實(shí)施例的鏡頭附著物檢測(cè)處理中想提取的邊緣是附著在鏡頭上的污潰的邊緣，而附著在鏡頭上的污潰在一定時(shí)間持續(xù)存在于某一場(chǎng)所，因此瞬間提取的邊緣有可能是噪聲的緣故。另外，“前次提取的邊緣圖像”表示在前次進(jìn)行的邊緣提取處理中得到的邊緣圖像。由于本處理在規(guī)定時(shí)間內(nèi)重復(fù)多次，所以是將本次的邊緣提取處理的邊緣圖像與前次處理中提取的邊緣圖像進(jìn)行比較。但是，當(dāng)是第一次處理的情況下，因?yàn)榍按蔚倪吘増D像不存在，所以(a)的噪聲去除可以跳過。
[0068]接著，將上述(b)的面積在規(guī)定值以下的邊緣作為噪聲去除。即，因?yàn)榧俣楦街阽R頭上的污潰的邊緣達(dá)到某程度的塊而被提取，所以不將這樣獨(dú)立的小的邊緣判斷為污潰。通過進(jìn)行以上那樣的噪聲去除，能夠高精度地進(jìn)行鏡頭附著物的檢測(cè)。
[0069](亮度分布提取處理)
[0070]亮度分布提取處理(步驟S50)由亮度分布提取部37執(zhí)行。使用圖19的流程圖以及圖5、圖6的說明圖來說明亮度分布提取處理的詳細(xì)內(nèi)容。首先，在亮度分布提取部37，如圖5所示，按在處理對(duì)象區(qū)域的設(shè)定處理中設(shè)定并分割出的每一個(gè)區(qū)塊，利用下式(I)計(jì)算區(qū)塊內(nèi)的像素的亮度值I的平均亮度值Iave (步驟S51)。在下式(I)中，u、v表示區(qū)塊的x，y坐標(biāo)，N、M表示區(qū)塊內(nèi)的X方向(橫)以及y方向(縱)的像素?cái)?shù)，n、m表示區(qū)塊內(nèi)的像素的X方向(橫)以及I方向(縱)的位置(相對(duì)坐標(biāo))，nmin, HIniin表示區(qū)塊內(nèi)的開頭的像素的坐標(biāo)。另外，亮度值使用進(jìn)行二值化前的濃淡圖像。
[0071][式I]
【權(quán)利要求】
1.一種鏡頭附著物檢測(cè)裝置，其特征在于，具備: 邊緣提取部，其基于來自具有鏡頭的拍攝裝置的輸入圖像來制成邊緣圖像，將上述邊緣圖像分割成包含多個(gè)像素的多個(gè)區(qū)域，并將邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域作為關(guān)注區(qū)域并提取； 亮度分布提取部，其取得上述關(guān)注區(qū)域的亮度值以及上述關(guān)注區(qū)域的周圍區(qū)域的亮度值； 亮度變化提取部，其與規(guī)定時(shí)間間隔相對(duì)應(yīng)地取得由上述亮度分布提取部所取得的上述關(guān)注區(qū)域的亮度值以及上述周圍區(qū)域的上述亮度值，并基于與上述規(guī)定時(shí)間間隔對(duì)應(yīng)的上述關(guān)注區(qū)域的上述亮度值，來取得上述關(guān)注區(qū)域的上述亮度值的時(shí)間序列變化；以及附著物判別部，其基于上述關(guān)注區(qū)域的上述亮度值的時(shí)間序列變化來判別有無附著物。
2.根據(jù)權(quán)利要求1所述的鏡頭附著物檢測(cè)裝置，其特征在于， 還具備掩蔽處理部，上述掩蔽處理部將由上述邊緣提取部提取出的、上述邊緣強(qiáng)度在閾值范圍內(nèi)的上述區(qū)域中的、鏡頭附著物以外的上述區(qū)域從上述關(guān)注區(qū)域中排除。
3.根據(jù)權(quán)利要求2所述的鏡頭附著物檢測(cè)裝置，其特征在于， 上述掩蔽處理部構(gòu)成為從上述關(guān)注區(qū)域中排除包含在朝向上述輸入圖像的消失點(diǎn)的方向上延伸的邊緣的區(qū)域。
4.根據(jù)權(quán)利要求2 或3所述的鏡頭附著物檢測(cè)裝置，其特征在于， 上述掩蔽處理部構(gòu)成為從上述關(guān)注區(qū)域中排除包含上述輸入圖像中映現(xiàn)的在路面上產(chǎn)生的車轍的區(qū)域。
5.根據(jù)權(quán)利要求2~4中任意一項(xiàng)所述的鏡頭附著物檢測(cè)裝置，其特征在于， 上述掩蔽處理部構(gòu)成為從上述關(guān)注區(qū)域中排除包含上述輸入圖像中映現(xiàn)的、設(shè)置了上述拍攝裝置的被安裝部的影子的區(qū)域。
6.根據(jù)權(quán)利要求1~5中任意一項(xiàng)所述的鏡頭附著物檢測(cè)裝置，其特征在于， 上述掩蔽處理部構(gòu)成為從上述關(guān)注區(qū)域中排除包含上述輸入圖像中映現(xiàn)的光源的像的區(qū)域。
7.根據(jù)權(quán)利要求1的所述的鏡頭附著物檢測(cè)裝置，其特征在于， 在由上述亮度分布提取部取得的上述關(guān)注區(qū)域的上述亮度值和周圍的上述區(qū)域比較比規(guī)定值小、并且由上述亮度變化提取部取得的上述亮度值的時(shí)間序列變化比規(guī)定值小的情況下， 上述附著物判別部判定為在上述關(guān)注區(qū)域上附著有透射性低的附著物。
8.根據(jù)權(quán)利要求1所述的透鏡附著物檢測(cè)裝置，其特征在于， 在由上述亮度分布提取部取得的上述關(guān)注區(qū)域的上述亮度值和周圍的上述區(qū)域比較比規(guī)定值大、并且由上述亮度變化提取部取得的上述亮度值的時(shí)間序列變化比規(guī)定值大的情況下， 上述附著物判別部判定為在上述關(guān)注區(qū)域上附著有透射性高的附著物。
9.一種由根據(jù)權(quán)利要求1~8中的任意一項(xiàng)所述的鏡頭附著物檢測(cè)裝置所執(zhí)行的鏡頭附著物檢測(cè)方法，其特征在于，具有以下步驟: 邊緣提取處理，其基于輸入圖像制成邊緣圖像，將上述邊緣圖像分割成包含多個(gè)像素的多個(gè)區(qū)域，并將邊緣強(qiáng)度在閾值范圍內(nèi)的區(qū)域作為關(guān)注區(qū)域并提??； 亮度值分布提取處理，其取得上述關(guān)注區(qū)域的亮度值以及上述關(guān)注區(qū)域的周圍區(qū)域的亮度值； 亮度值變化提取處理，其與規(guī)定時(shí)間間隔對(duì)應(yīng)地取得由上述亮度值分布提取處理取得的上述關(guān)注區(qū)域的亮度值以及上述周圍區(qū)域的上述亮度值，并基于所取得的與上述規(guī)定時(shí)間間隔對(duì)應(yīng)的上述關(guān)注區(qū)域的上述亮度值，來取得上述關(guān)注區(qū)域的上述亮度值的時(shí)間序列變化；以及 附著物判別處理，其基于上述關(guān)注區(qū)域的上述亮度值的時(shí)間序列變化，來判別有無附著物。
10.根據(jù)權(quán)利要求9所述的鏡頭附著物檢測(cè)方法，其特征在于， 還具有取得至少包含車速信息的車輛信息的車輛信息取得處理， 上述車輛信息取得處理在基于上述車速信息判斷為車速在閾值以下時(shí)，結(jié)束全部的處理。
11.根據(jù)權(quán)利要 求9或10所述的鏡頭附著物檢測(cè)方法，其特征在于， 當(dāng)上述輸入圖像的增益調(diào)整值在閾值以上時(shí)，結(jié)束全部的處理。
12.—種車輛系統(tǒng)，其特征在于，具備: 根據(jù)權(quán)利要求1~8中的任意一項(xiàng)所述的鏡頭附著物檢測(cè)裝置； 安裝在車輛上、具有鏡頭、并拍攝上述車輛的周邊的攝像裝置；以及基于上述鏡頭附著物檢測(cè)裝置針對(duì)由上述拍攝裝置拍攝到的輸入圖像所檢測(cè)的上述鏡頭附著物的檢測(cè)信息而動(dòng)作的至少一個(gè)應(yīng)用部。
13.根據(jù)權(quán)利要求12所述的車輛系統(tǒng)，其特征在于， 上述鏡頭附著物檢測(cè)裝置僅針對(duì)由上述鏡頭拍攝到的輸入圖像中的、上述應(yīng)用部所使用的區(qū)域來檢測(cè)上述鏡頭附著物。
【文檔編號(hào)】G03B43/00GK103529639SQ201310276919
【公開日】2014年1月22日 申請(qǐng)日期:2013年7月3日 優(yōu)先權(quán)日:2012年7月3日
【發(fā)明者】入江耕太, 村松彰二, 加藤賢治, 清原將裕 申請(qǐng)人:歌樂牌株式會(huì)社