用于全景式監(jiān)控系統(tǒng)的檢測障礙物的設(shè)備和方法
【專利摘要】本發(fā)明公開了一種用于全景式監(jiān)控系統(tǒng)的檢測障礙物的設(shè)備，其包括處理器，該處理器被配置成存儲(chǔ)由成像裝置捕獲的多個(gè)圖像、轉(zhuǎn)換圖像的視圖、生成對(duì)應(yīng)于圖像的多個(gè)視圖轉(zhuǎn)換圖像、比較與以不同時(shí)間間隔捕獲的多個(gè)圖像對(duì)應(yīng)的視圖轉(zhuǎn)換圖像、提取視圖轉(zhuǎn)換圖像間的多個(gè)重疊區(qū)域、計(jì)算視圖轉(zhuǎn)換圖像間的重疊區(qū)域的失配度、檢測重疊區(qū)域中的失配區(qū)域、將失配區(qū)域歸類為障礙物區(qū)域、并且通過車輛顯示器顯示障礙物的位置。
【專利說明】用于全景式監(jiān)控系統(tǒng)的檢測障礙物的設(shè)備和方法
[0001]相關(guān)申請(qǐng)的交叉參考
[0002]本申請(qǐng)要求于2012年10月30日提交的韓國專利申請(qǐng)?zhí)柕?0_2012_0121566號(hào)的優(yōu)先權(quán)，其全部公開內(nèi)容通過弓I用的方式結(jié)合入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及用于全景式監(jiān)控(AVM)系統(tǒng)的檢測障礙物的設(shè)備和方法，更具體地，涉及一種設(shè)備和方法，其通過比較由AVM系統(tǒng)獲取的兩個(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換圖像來檢測重疊區(qū)域中的障礙物并顯示障礙物的位置。
【背景技術(shù)】
[0004]近來開發(fā)的識(shí)別車輛周圍障礙物的方法包括運(yùn)動(dòng)估計(jì)法、物體識(shí)別法、異質(zhì)傳感器數(shù)據(jù)融合法、以及基于成像裝置-重疊區(qū)域的方法。
[0005]運(yùn)動(dòng)估計(jì)法應(yīng)用多重運(yùn)動(dòng)估計(jì)技術(shù)，例如使用現(xiàn)有圖像處理的光流、監(jiān)控成像裝置和物體跟蹤技術(shù)。物體識(shí)別法使用例如圖案識(shí)別的技術(shù)來識(shí)別物體。異質(zhì)傳感器數(shù)據(jù)融合法使用成像裝置檢測移動(dòng)物體，使用激光雷達(dá)、激光掃描器、超聲波檢測固定物體，并且融合檢測結(jié)果以識(shí)別物體?；诔上裱b置重疊區(qū)域的方法從圖像中識(shí)別物體，該圖像通過結(jié)合由多個(gè)成像裝置在相同時(shí)間點(diǎn)捕獲的圖像的重疊區(qū)域而獲取。
[0006]例如，可在行駛的車輛中安裝從由成像裝置輸入的圖像數(shù)據(jù)中獲取光流的程序，并且這個(gè)程序可獲取在車輛行駛過程中所產(chǎn)生的背景光流、比較光流與背景光流之間的差異、通過從比較結(jié)果獲取的關(guān)于車輛周圍的物體移動(dòng)的光流來檢測車輛區(qū)域、以及對(duì)車輛區(qū)域進(jìn)行模板匹配，從而檢測車輛。
[0007]除了上述方法外，可使用各種方法識(shí)別障礙物。然而，操作程序可能是復(fù)雜的，識(shí)別類型可能是受限的，并且系統(tǒng)的制造成本可能會(huì)增加。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供用于全景式監(jiān)控(AVM)系統(tǒng)的檢測障礙物的設(shè)備和方法，其檢測從兩個(gè)不同時(shí)間點(diǎn)的由現(xiàn)有AVM系統(tǒng)獲取的視圖轉(zhuǎn)換圖像中提取的重疊區(qū)域間的差異。
[0009]與基于成像裝置重疊區(qū)域的方法相比，本發(fā)明還提供使用兩個(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換圖像的寬廣(tooad)識(shí)別區(qū)域來檢測障礙物的設(shè)備和方法。另外，可檢測障礙物。而且，該設(shè)備和方法不受障礙物識(shí)別的識(shí)別類型的限制。
[0010]根據(jù)本發(fā)明的一個(gè)實(shí)施方式，用于全景式監(jiān)控(AVM)系統(tǒng)的檢測障礙物的設(shè)備可包括處理器，該處理器在具有存儲(chǔ)器的控制器內(nèi)被配置成執(zhí)行多個(gè)單元。這些單元可包括:圖像轉(zhuǎn)換單元，配置成轉(zhuǎn)換存儲(chǔ)在存儲(chǔ)器中的圖像的視圖并產(chǎn)生對(duì)應(yīng)于該圖像的視圖轉(zhuǎn)換圖像；重疊區(qū)域提取單元，配置成比較與不同時(shí)間點(diǎn)捕獲的兩個(gè)圖像對(duì)應(yīng)的視圖轉(zhuǎn)換圖像，并提取視圖轉(zhuǎn)換圖像間的重疊區(qū)域；失配區(qū)域檢測單元，配置成計(jì)算視圖轉(zhuǎn)換圖像之間的重疊區(qū)域的失配度，并檢測重疊區(qū)域中的失配區(qū)域；以及障礙物通知單元，配置成將失配區(qū)域歸類為障礙物區(qū)域，并通過車輛的顯示器顯示障礙物的位置。
[0011]重疊區(qū)域提取單元可計(jì)算在先前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像與在當(dāng)前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像之間的位移，并提取視圖轉(zhuǎn)換圖像之間的重疊區(qū)域。
[0012]失配區(qū)域檢測單元可計(jì)算視圖轉(zhuǎn)換圖像間的重疊區(qū)域在水平方向和垂直方向的失配度，并檢測重疊區(qū)域中的失配區(qū)域。
[0013]障礙物通知單元可用不同于周邊區(qū)域的顏色、對(duì)比度、圖案(pattern)、以及視圖中的至少一種來顯示失配區(qū)域。
[0014]障礙物通知單元可在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或者其視圖轉(zhuǎn)換圖像上顯示障礙物的位置。
[0015]根據(jù)本發(fā)明的另一方面，用于AVM系統(tǒng)的檢測障礙物的方法可包括:通過處理器存儲(chǔ)由成像裝置捕獲的圖像；通過處理器轉(zhuǎn)換所存儲(chǔ)圖像的視圖，并且生成對(duì)應(yīng)于所存儲(chǔ)圖像的視圖轉(zhuǎn)換圖像；通過處理器比較與不同時(shí)間點(diǎn)捕獲的兩個(gè)圖像對(duì)應(yīng)的視圖轉(zhuǎn)換圖像，并且提取視圖轉(zhuǎn)換圖像間的重疊區(qū)域；通過處理器計(jì)算視圖轉(zhuǎn)換圖像間的重疊區(qū)域的失配度，并且檢測重疊區(qū)域中的失配區(qū)域；以及通過處理器將失配區(qū)域歸類為障礙物區(qū)域，并且通過車輛顯示器顯示障礙物的位置。
[0016]提取重疊區(qū)域可包括，通過計(jì)算先前時(shí)間點(diǎn)捕獲圖像的視圖轉(zhuǎn)換圖像與當(dāng)前時(shí)間點(diǎn)捕獲圖像的視圖轉(zhuǎn)換圖像之間的位移，以提取視圖轉(zhuǎn)換圖像之間的重疊區(qū)域。
[0017]檢測失配區(qū)域可包括，通過計(jì)算視圖轉(zhuǎn)換圖像間的重疊區(qū)域在水平方向和垂直方向的失配度，以檢測重疊區(qū)域中的失配區(qū)域。
[0018]顯示障礙物位置可包括，使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案、以及視圖中的至少一種來顯示失配區(qū)域。另外，可在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或其視圖轉(zhuǎn)換圖像上顯示障礙物位置。
[0019]根據(jù)本發(fā)明，可從重疊區(qū)域間的差異檢測障礙物，其中該重疊區(qū)域是從兩個(gè)不同時(shí)間點(diǎn)的由現(xiàn)有AVM系統(tǒng)獲取的視圖轉(zhuǎn)化圖像中提取的。此外，因?yàn)槭褂锰幱趦蓚€(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換圖像，所識(shí)別的區(qū)域可能會(huì)較寬廣。
[0020]本發(fā)明的設(shè)備和方法具有其他的特征、目的和優(yōu)勢，這些特征、目的和優(yōu)勢將更詳細(xì)地在合并入本文的附圖中以及在以下對(duì)示例性實(shí)施方式的說明中解釋或可從附圖和示例性實(shí)施方式中清晰得到，附圖和示例性實(shí)施方式共同解釋本發(fā)明的原理。
【專利附圖】

【附圖說明】
[0021]圖1是示出根據(jù)本發(fā)明示例性實(shí)施方式的用于全景式監(jiān)控(AVM)系統(tǒng)的障礙物檢測設(shè)備的示例圖。
[0022]圖2是示出根據(jù)本發(fā)明示例性實(shí)施方式的用于AVM系統(tǒng)的障礙物檢測設(shè)備的配置的示例框圖。
[0023]圖3至圖6是示出根據(jù)本發(fā)明示例性實(shí)施方式的在AVM系統(tǒng)的障礙物檢測設(shè)備中檢測被捕獲圖像間重疊區(qū)域的操作示例圖。
[0024]圖7和圖8是示出根據(jù)本發(fā)明示例性實(shí)施方式的在AVM系統(tǒng)的障礙物檢測設(shè)備中檢測重疊區(qū)域間的失配區(qū)域的操作示例圖。
[0025]圖9是示出根據(jù)本發(fā)明示例性實(shí)施方式的在AVM系統(tǒng)的障礙物檢測設(shè)備中顯示障礙物區(qū)域的操作示例圖。
[0026]圖10和圖11是示出根據(jù)本發(fā)明示例性實(shí)施方式的在AVM系統(tǒng)的障礙物檢測設(shè)備中的障礙物檢測方法的示例性流程圖。
[0027]附圖中各個(gè)元件的標(biāo)記:
[0028]1:車輛
[0029]5:成像裝置
[0030]10:障礙物檢測設(shè)備
[0031]11:處理器
[0032]12:圖像獲取單元
[0033]13:顯示單元
[0034]14:存儲(chǔ)器
[0035]15:圖像轉(zhuǎn)換單元
[0036]16:重疊區(qū)域提取單元
[0037]17:失配區(qū)域檢測單元
[0038]18:障礙物通知單元
[0039]P1、P2:側(cè)區(qū)域
[0040]P3:重疊區(qū)域
【具體實(shí)施方式】
[0041]現(xiàn)在將做出對(duì)本發(fā)明的多種實(shí)施方式的詳細(xì)參考，實(shí)施方式的實(shí)施例將在附圖中示例并在以下描述。附圖中相同的附圖標(biāo)記指代相同的元件。當(dāng)確定在相關(guān)公開中的配置或功能的詳細(xì)說明會(huì)在本發(fā)明實(shí)施方式的描述中干擾對(duì)實(shí)施方式的理解時(shí)，將省略該詳細(xì)說明。
[0042]應(yīng)該理解的是，本文用到的術(shù)語“車輛”或者“車輛的”或其他類似術(shù)語一般包括機(jī)動(dòng)車輛，例如載客汽車，包括運(yùn)動(dòng)型多功能車(SUV)、公共汽車、卡車、各種商用車；包括各種船和艇在內(nèi)的水運(yùn)工具；飛行器等，而且包括混合動(dòng)力車、電動(dòng)車、插電式混合電動(dòng)車、氫動(dòng)力車和其他替代燃料車(例如，從非石油類資源得來的燃料)。本文中提到的混合動(dòng)力車是具有兩種或更多種動(dòng)力來源的車，例如同時(shí)為汽油動(dòng)力和電動(dòng)力的車。
[0043]盡管示例性實(shí)施方式被描述為使用多個(gè)單元以執(zhí)行示例性進(jìn)程，但應(yīng)明白的是，示例性進(jìn)程還可由一個(gè)或多個(gè)模塊執(zhí)行。另外，應(yīng)當(dāng)理解的是，術(shù)語“控制器”是指包括存儲(chǔ)器和處理器的硬件裝置。存儲(chǔ)器被配置成存儲(chǔ)模塊/單元，處理器被具體配置成執(zhí)行該模塊以進(jìn)行將在以下進(jìn)一步描述的一個(gè)或更多進(jìn)程。
[0044]此外，本發(fā)明的控制邏輯可以具體表現(xiàn)為，在含有由處理器、控制器等執(zhí)行的可執(zhí)行程序指令的計(jì)算機(jī)可讀介質(zhì)上的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)的例子包括但不限于ROM、RAM、光盤(CD) -ROM、磁帶、軟盤、閃存驅(qū)動(dòng)器、智能卡和光數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)也可以在連接網(wǎng)絡(luò)的計(jì)算機(jī)系統(tǒng)中分布，從而計(jì)算機(jī)可讀媒體可以通過例如遠(yuǎn)程信息處理服務(wù)器或控制器局域網(wǎng)絡(luò)(CAN)以分布方式存儲(chǔ)并執(zhí)行。
[0045]本文所用的術(shù)語僅僅是出于描述具體的實(shí)施方式的目的，并不意在限制本發(fā)明。本文所用的單數(shù)形式“一個(gè)/ 一種”、“該”意在同樣包括復(fù)數(shù)形式，除非上下文以其他方式明確指出。還應(yīng)當(dāng)理解，在用于本說明書時(shí)，術(shù)語“包括”、“包括”和/或“含有”是指所述特征、整數(shù)、步驟、操作、元件、和/或組件的存在，但并不排除一種或多種其他特征、整數(shù)、步驟、操作、元件、和/或組件的存在或加入。本文所用的術(shù)語“和/或”包括一種或多種相關(guān)所列項(xiàng)的任意或所有組合。
[0046]圖1是示出根據(jù)本發(fā)明示例性實(shí)施方式的用于全景式監(jiān)控(AVM)系統(tǒng)的障礙物檢測設(shè)備的示例圖。
[0047]根據(jù)本發(fā)明示例性實(shí)施方式的用于AVM系統(tǒng)的檢測障礙物的設(shè)備(在下文中，稱為“障礙物檢測設(shè)備”)可比較在相同方向的兩個(gè)不同時(shí)間點(diǎn)捕獲的多個(gè)圖像的重疊區(qū)域，歸類并顯示障礙物的位置。當(dāng)車輛以低速行駛或者車輛在行駛中反復(fù)剎停時(shí)，本設(shè)備可執(zhí)行障礙物檢測操作。
[0048]參考圖1，設(shè)置在車輛I側(cè)面的成像裝置5可在車輛行駛的同時(shí)捕獲側(cè)區(qū)域Pl(例如，成像裝置被布置在圖1所示的示例性實(shí)施方式的右側(cè))。當(dāng)經(jīng)過預(yù)設(shè)時(shí)間段At時(shí)，成像裝置5可捕獲相同方向的側(cè)區(qū)域P2。
[0049]同時(shí)，通過處理器，障礙物檢測設(shè)備可實(shí)時(shí)地獲取并存儲(chǔ)由成像裝置5(例如，照相機(jī))捕獲的多個(gè)圖像。此外，通過處理器，障礙物檢測設(shè)備比較在先前時(shí)間點(diǎn)(即，在時(shí)間點(diǎn)to)捕獲的區(qū)域Pl的圖像與在接下來時(shí)間點(diǎn)to+ Δ t捕獲的區(qū)域P2的圖像，以檢測所捕獲圖像間的重疊區(qū)域P3，并可比較兩個(gè)捕獲圖像間的重疊區(qū)域，以檢測障礙物。
[0050]將參考圖2說明在障礙物檢測設(shè)備中檢測障礙物的詳細(xì)操作。
[0051]圖2是示出根據(jù)本發(fā)明示例性實(shí)施方式的用于AVM系統(tǒng)的障礙物檢測設(shè)備的配置的示例框圖。
[0052]參考圖2，根據(jù)本發(fā)明的障礙物檢測設(shè)備10 (例如，控制器)可包括處理器11和存儲(chǔ)器14。處理器可執(zhí)行包括圖像獲取單元12、顯示單元13、圖像轉(zhuǎn)換單元15、重疊區(qū)域提取單元16、失配區(qū)域檢測單元17、以及障礙物通知單元18的多個(gè)單元。
[0053]圖像獲取單元12可連接至成像裝置5 (例如，照相機(jī))，并且可接收由成像裝置5捕獲的圖像。成像裝置可以不同的時(shí)間間隔捕獲車輛周圍的圖像，并且由成像裝置捕獲的圖像可通過圖像獲取單元12輸入并存儲(chǔ)在存儲(chǔ)器14中。
[0054]通過處理器，圖像轉(zhuǎn)換單元15可轉(zhuǎn)換由圖像輸入單元12輸入的圖像的視圖，以產(chǎn)生與其相應(yīng)的視圖轉(zhuǎn)換圖像。在圖像轉(zhuǎn)換單元15中生成的視圖轉(zhuǎn)換圖像可被存儲(chǔ)在存儲(chǔ)器14中。另外，存儲(chǔ)器可存儲(chǔ)視圖轉(zhuǎn)換圖像，所以通過圖像獲取單元12輸入的圖像對(duì)應(yīng)于視圖轉(zhuǎn)換圖像。例如，存儲(chǔ)器14可存儲(chǔ)在第一時(shí)間點(diǎn)捕獲的圖像以及對(duì)應(yīng)于在第一時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像，并且可存儲(chǔ)在第二時(shí)間點(diǎn)捕獲的圖像以及對(duì)應(yīng)于在第二時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像。
[0055]通過處理器，重疊區(qū)域提取單元16可對(duì)通過圖像獲取單元12輸入的當(dāng)前時(shí)間點(diǎn)圖像的視圖轉(zhuǎn)換圖像與對(duì)應(yīng)的視圖轉(zhuǎn)換圖像進(jìn)行比較。在該時(shí)間處，通過處理器，重疊區(qū)域提取單元16可計(jì)算在當(dāng)前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像與在先前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像之間的位移，以提取兩個(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換圖像間的重疊區(qū)域。以下將參考圖3至圖6來描述兩個(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換圖像之間的重疊區(qū)域的提取操作的詳細(xì)實(shí)施方式。
[0056]通過處理器，失配區(qū)域檢測單元17可比較從兩個(gè)不同時(shí)間點(diǎn)的視圖轉(zhuǎn)換中提取的多個(gè)重疊區(qū)域，以計(jì)算兩個(gè)重疊區(qū)域間的失配度。此外，失配區(qū)域檢測單元17可計(jì)算兩個(gè)重疊區(qū)域在水平方向和垂直方向的失配度，以檢測兩個(gè)重疊區(qū)域中的多個(gè)失配區(qū)域。例如，失配區(qū)域檢測單元17可在多個(gè)列中比較兩個(gè)重疊區(qū)域，以檢測水平方向的失配區(qū)域，以及可在多個(gè)行中比較兩個(gè)重疊區(qū)域，以檢測垂直方向中的失配區(qū)域。
[0057]此外，通過處理器，失配區(qū)域檢測單元17可將重疊區(qū)域中水平方向或者垂直方向的失配度大于閾值的區(qū)域確定為失配區(qū)域。例如，失配區(qū)域檢測單元17可將水平方向和垂直方向的兩個(gè)重疊區(qū)域中失配度大于約50%的區(qū)域確定為失配區(qū)域。將參考圖7和圖8描述關(guān)于檢測失配區(qū)域的操作的詳細(xì)實(shí)施方式。
[0058]障礙物通知單元18可通過處理器將由失配區(qū)域檢測單元17檢測到的失配區(qū)域歸類為障礙物區(qū)域，且可通過車輛的顯示器顯示障礙物的位置。
[0059]此外，障礙物通知單元18可在當(dāng)前時(shí)間點(diǎn)捕獲的、顯示在顯示單元13中的圖像或其視圖轉(zhuǎn)換圖像上顯示障礙物的位置。另外，障礙物通知單元18可使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案和視圖中的至少一種來顯示由失配區(qū)域檢測單元17檢測的失配區(qū)域。
[0060]例如，障礙物通知單元18可使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案和視圖中的至少一種，在當(dāng)前時(shí)間點(diǎn)捕獲的圖像中顯示出被歸類為障礙物區(qū)域的失配區(qū)域?；蛘撸系K物通知單元18可使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案和視圖中的至少一種，在當(dāng)前時(shí)間點(diǎn)捕獲圖像的視圖轉(zhuǎn)換圖像中顯示出被歸類為障礙物區(qū)域的失配區(qū)域。因此，用戶可通過不同于周圍圖像的顏色、對(duì)比度、圖案、視圖等等，輕易地識(shí)別障礙物的位置。以下將參考圖9描述顯示障礙物位置的詳細(xì)實(shí)施方式。
[0061]圖3至圖6是示出根據(jù)本發(fā)明的在用于AVM系統(tǒng)的障礙物檢測設(shè)備中檢測被捕獲圖像間的重疊區(qū)域的操作的示例圖。
[0062]圖3示出在時(shí)間點(diǎn)t0處捕獲向左行駛的車輛的側(cè)區(qū)域Pl的操作。
[0063]參考圖4，當(dāng)如圖3所示在時(shí)間點(diǎn)t0處捕獲區(qū)域Pl的第一圖像Il位于第η幀中時(shí)，障礙物檢測設(shè)備可將第一圖像Il顯示為“幀(n) [to]”。當(dāng)通過成像裝置捕獲對(duì)應(yīng)區(qū)域Pl的第一圖像Il時(shí)，障礙物檢測設(shè)備可生成并存儲(chǔ)視圖轉(zhuǎn)換圖像13，在視圖轉(zhuǎn)換圖像13中所捕獲的第一圖像Ii被視圖轉(zhuǎn)換。
[0064]圖5示出在捕獲圖3所示第一圖像后經(jīng)過預(yù)設(shè)時(shí)間段后，捕獲車輛側(cè)區(qū)域的操作。換言之，當(dāng)圖3中車輛向左行進(jìn)且經(jīng)過預(yù)設(shè)時(shí)間段后，障礙物檢測設(shè)備可捕獲車輛側(cè)區(qū)域P2的第二圖像。圖6示出所捕獲的第二圖像。
[0065]圖6示出如圖5所示當(dāng)經(jīng)過預(yù)設(shè)時(shí)間段At后，捕獲區(qū)域P2的第二圖像12。換言之，在tO+Λ t時(shí)捕獲第二圖像12?；趫D4中的圖像II，障礙物檢測設(shè)備可將圖像12視為第n+At巾貞。此外，圖像12可被顯示為“幀(n+At) [t0+At]”。當(dāng)通過成像裝置捕獲區(qū)域P2的圖像12時(shí)，障礙物檢測設(shè)備可產(chǎn)生并存儲(chǔ)視圖轉(zhuǎn)換圖像14，在視圖轉(zhuǎn)換圖像14中所捕獲的圖像12被視圖轉(zhuǎn)換。
[0066]此外，通過處理器，障礙物檢測設(shè)備可計(jì)算在圖4所示的視圖轉(zhuǎn)換圖像13與圖6所示的視圖轉(zhuǎn)換圖像14之間的位移，以提取兩個(gè)視圖轉(zhuǎn)換圖像間的重疊區(qū)域Rl和R2。隨后，障礙物檢測設(shè)備可比較兩個(gè)重疊區(qū)域Rl和R2間的失配度，并將失配度超過閾值的區(qū)域歸類為障礙物區(qū)域。
[0067]圖7和圖8是示出根據(jù)本發(fā)明的在用于AVM系統(tǒng)的障礙物檢測設(shè)備中檢測重疊區(qū)域間的失配區(qū)域的操作的示例圖。
[0068]圖7示出通過處理器計(jì)算從圖4和圖6中提取的兩個(gè)重疊區(qū)域Rl和R2間在水平方向的失配度的操作。
[0069]參考圖7，通過處理器，障礙物檢測設(shè)備可比較兩個(gè)重疊區(qū)域Rl和R2的對(duì)應(yīng)列，以計(jì)算對(duì)應(yīng)列的失配度。在圖7所示的兩個(gè)重疊區(qū)域Rl和R2中，六個(gè)塊形成六個(gè)列，并且障礙物檢測設(shè)備可比較六個(gè)列內(nèi)的兩個(gè)重疊區(qū)域Rl和R2，以計(jì)算水平方向的失配度。
[0070]圖7所示的示意圖示出所計(jì)算的兩個(gè)重疊圖像間的失配度。因?yàn)槿鐖D所示第二與第三列之間以及第四與第五列之間的失配度最高，障礙物檢測設(shè)備可將包括第三和第四列的區(qū)域確定為失配區(qū)域。此外，障礙物的中心可位于第三和第四列之間，且障礙物可重疊，因此失配度變得相對(duì)低。
[0071]參考圖8，通過處理器，障礙物檢測設(shè)備可比較從圖4和圖6中提取的兩個(gè)重疊區(qū)域Rl和R2的對(duì)應(yīng)行，以計(jì)算對(duì)應(yīng)行的失配度。在圖8所示的兩個(gè)重疊區(qū)域Rl和R2中，五個(gè)塊形成五個(gè)行，障礙物檢測設(shè)備可比較五行內(nèi)的兩個(gè)重疊區(qū)域Rl和R2，以計(jì)算垂直方向的失配度。
[0072]圖8所示的示意圖示出所計(jì)算的兩個(gè)重疊區(qū)域間的失配度。示意圖示出失配度從第一行到第四行較高，失配度在接下來的行中較低。因此，障礙物檢測設(shè)備可將包括第一至第四行的區(qū)域確定為失配區(qū)域。
[0073]另外，通過處理器，障礙物檢測設(shè)備可結(jié)合圖7中檢測的水平方向的失配區(qū)域與圖8中檢測的垂直方向的失配區(qū)域，從而確定障礙物區(qū)域。
[0074]圖9是示出根據(jù)本發(fā)明的在用于AVM系統(tǒng)的障礙物檢測設(shè)備中顯示障礙物區(qū)域的操作的示例圖。
[0075]參考圖9，障礙物檢測設(shè)備可通過在當(dāng)前時(shí)間點(diǎn)獲取的圖像或?qū)?yīng)視圖轉(zhuǎn)換圖像來顯示在圖7和圖8中檢測的障礙物區(qū)域。圖9 (a)示出在當(dāng)前時(shí)間點(diǎn)獲取的圖像上顯示的障礙物區(qū)域。可通過不同于周邊區(qū)域的顏色、對(duì)比度、圖案、視圖中的至少一種來顯示障礙物區(qū)域。此外，圖9 (b)示出在所獲取的視圖轉(zhuǎn)換圖像上的障礙物區(qū)域。與圖9 (a)相似，可通過區(qū)別于周邊區(qū)域的顏色、對(duì)比度、圖案、視圖中的至少一個(gè)來顯示障礙物區(qū)域。因此，用戶可輕易地在所獲取的圖像或視圖轉(zhuǎn)換圖像中識(shí)別出障礙物所在的區(qū)域。
[0076]將詳細(xì)描述具有根據(jù)本發(fā)明的配置的用于AVM系統(tǒng)的障礙物檢測方法。
[0077]圖10和圖11是示出根據(jù)本發(fā)明的關(guān)于AVM系統(tǒng)的障礙物檢測方法的示例流程圖。
[0078]圖10示出所獲取圖像的視圖轉(zhuǎn)換方法。
[0079]參考圖10，通過處理器，障礙物檢測設(shè)備可獲取在當(dāng)前時(shí)間點(diǎn)由成像裝置捕獲的捕獲圖像(S100)，并且可在存儲(chǔ)器中存儲(chǔ)所獲取的當(dāng)前圖像(S110)。此外，通過處理器，障礙物檢測設(shè)備可轉(zhuǎn)換在步驟SlOO中獲取的所捕獲的當(dāng)前圖像的視圖(S120)，并且可存儲(chǔ)步驟S120中的視圖轉(zhuǎn)換圖像(S130)。
[0080]當(dāng)經(jīng)過預(yù)設(shè)的時(shí)間段后，障礙物檢測設(shè)備可在隨后時(shí)間點(diǎn)獲取所捕獲的后續(xù)圖像(S100)，并且可存儲(chǔ)所獲取的后續(xù)圖像以及視圖轉(zhuǎn)換圖像?？梢砸灶A(yù)設(shè)的時(shí)間間隔重復(fù)該過程(S100 至 S130)。
[0081]如上所述，在輸入圖像捕獲終止指令之前，障礙物檢測設(shè)備可重復(fù)執(zhí)行步驟SlOO至S150，并且可在經(jīng)過預(yù)設(shè)時(shí)間段后連續(xù)地存儲(chǔ)在對(duì)應(yīng)時(shí)間點(diǎn)捕獲的圖像以及對(duì)應(yīng)的視圖轉(zhuǎn)換圖像。當(dāng)輸入圖像捕獲終止指令時(shí)(S140)，可終止相應(yīng)的操作。
[0082]圖11示出通過在圖10中產(chǎn)生的視圖轉(zhuǎn)換圖像來檢測障礙物的方法。
[0083]參考圖11，通過處理器，障礙物檢測設(shè)備可提取在圖10的步驟S130中存儲(chǔ)的先前時(shí)間點(diǎn)的第一視圖轉(zhuǎn)換圖像以及當(dāng)前時(shí)間點(diǎn)的第二視圖轉(zhuǎn)換圖像(S200)，并且可比較在步驟S200中提取的第一視圖轉(zhuǎn)換圖像與第二視圖轉(zhuǎn)換圖像(S210)。
[0084]此外，通過處理器，障礙物檢測設(shè)備可計(jì)算第一視圖轉(zhuǎn)換圖像與視圖轉(zhuǎn)換第二圖像之間的位移(S220)，提取第一視圖轉(zhuǎn)換圖像與視圖轉(zhuǎn)換第二圖像之間的重疊區(qū)域(S230)，并且比較在步驟S230中提取的重疊區(qū)域以計(jì)算失配度(S240)?；诓襟ES240中計(jì)算的失配度，障礙物檢測設(shè)備可檢測重疊區(qū)域中的失配區(qū)域。
[0085]例如，障礙物檢測設(shè)備可在水平方向和垂直方向上比較第一視圖轉(zhuǎn)換圖像與第二視圖轉(zhuǎn)換圖像，從而計(jì)算水平方向和垂直方向的失配度，并且可檢測水平方向和垂直方向的多個(gè)失配區(qū)域。
[0086]因此，通過處理器，障礙物檢測設(shè)備可從步驟S250所檢測的失配區(qū)域中歸類出障礙物(S260)。此外，障礙物檢測設(shè)備可結(jié)合水平方向的失配區(qū)域和垂直方向的失配區(qū)域，以將重疊區(qū)域歸類為障礙物區(qū)域。
[0087]隨后，通過處理器，障礙物檢測設(shè)備可在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或?qū)?yīng)視圖轉(zhuǎn)換圖像上顯示障礙物歸類區(qū)域，以便用戶識(shí)別障礙物的位置(S270)。此外，障礙物檢測設(shè)備可使用區(qū)別于周圍區(qū)域的顏色、對(duì)比度、圖案、和視圖中的至少一種來顯示障礙物歸類區(qū)域。
[0088]上面已經(jīng)出于解釋和說明的目的，對(duì)本發(fā)明的示例性實(shí)施方式進(jìn)行了描述。這不是為了窮舉或限制本發(fā)明于公開的準(zhǔn)確形式，在以上教導(dǎo)下，多種改進(jìn)和變形是可能的。選出并描述這些示例性實(shí)施方式以說明本發(fā)明的原理及其實(shí)際應(yīng)用，從而使本領(lǐng)域技術(shù)人員能夠做出和利用本發(fā)明的示例性實(shí)施方式以及多種替代和改進(jìn)。本發(fā)明的范圍由所附權(quán)利要求及其等同形式限定。
【權(quán)利要求】
1.一種用于全景式監(jiān)控系統(tǒng)的檢測障礙物的設(shè)備，所述設(shè)備包括: 處理器，被配置成 存儲(chǔ)由成像裝置捕獲的多個(gè)圖像； 轉(zhuǎn)換所述多個(gè)圖像的視圖； 生成對(duì)應(yīng)于所述多個(gè)圖像的多個(gè)視圖轉(zhuǎn)換圖像； 比較與以不同時(shí)間間隔捕獲的所述多個(gè)圖像對(duì)應(yīng)的所述多個(gè)視圖轉(zhuǎn)換圖像； 提取所述多個(gè)視圖轉(zhuǎn)換圖像間的多個(gè)重疊區(qū)域； 計(jì)算所述多個(gè)視圖轉(zhuǎn)換圖像間的所述多個(gè)重疊區(qū)域的失配度； 檢測各個(gè)重疊區(qū)域中的失配區(qū)域； 將所述失配區(qū)域歸類為障礙物區(qū)域；以及 在車輛的顯示器上顯示所述障礙物的位置。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器還被配置成: 計(jì)算在先前時(shí)間點(diǎn)捕獲的圖像的第一視圖轉(zhuǎn)換圖像與在當(dāng)前時(shí)間點(diǎn)捕獲的圖像的第二視圖轉(zhuǎn)換圖像之間的位移；以及 提取所述第一與所述第二視圖轉(zhuǎn)換圖像之間的所述多個(gè)重疊區(qū)域。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器還被配置成:` 計(jì)算關(guān)于所述第一與所述第二視圖轉(zhuǎn)換圖像之間的所述多個(gè)重疊區(qū)域在水平方向和垂直方向的失配度；以及 檢測所述重疊區(qū)域中的失配區(qū)域。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中， 所述處理器被配置成使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案、以及視圖中的至少一種來顯示所述失配區(qū)域。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中， 所述處理器還被配置成在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或其對(duì)應(yīng)視圖轉(zhuǎn)換圖像上顯示所述障礙物的位置。
6.一種用于全景式監(jiān)控系統(tǒng)的檢測障礙物的方法，所述方法包括: 通過處理器，存儲(chǔ)由成像裝置捕獲的多個(gè)圖像； 通過所述處理器，轉(zhuǎn)換所述多個(gè)圖像的視圖； 通過所述處理器，生成對(duì)應(yīng)于所述多個(gè)圖像的多個(gè)視圖轉(zhuǎn)換圖像； 通過所述處理器，比較與以不同時(shí)間間隔捕獲的所述多個(gè)圖像對(duì)應(yīng)的所述多個(gè)視圖轉(zhuǎn)換圖像； 通過所述處理器，提取所述多個(gè)視圖轉(zhuǎn)換圖像間的多個(gè)重疊區(qū)域； 通過所述處理器，計(jì)算所述多個(gè)視圖轉(zhuǎn)換圖像間的所述多個(gè)重疊區(qū)域的失配度； 通過所述處理器，檢測各個(gè)重疊區(qū)域中的失配區(qū)域； 通過所述處理器，將所述失配區(qū)域歸類為障礙物區(qū)域；以及 通過所述處理器，在車輛的顯示器上顯示所述障礙物的位置。
7.根據(jù)權(quán)利要求6所述的方法，其中， 提取所述多個(gè)重疊區(qū)域還通過所述處理器計(jì)算在先前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像與在當(dāng)前時(shí)間點(diǎn)捕獲的圖像的視圖轉(zhuǎn)換圖像之間的位移。
8.根據(jù)權(quán)利要求6所述的方法，其中， 檢測所述失配區(qū)域還包括，通過所述處理器，計(jì)算關(guān)于所述多個(gè)視圖轉(zhuǎn)換圖像間的所述多個(gè)重疊區(qū)域在水平方向和垂直方向的失配度。
9.根據(jù)權(quán)利要求6所述的方法，其中， 顯示所述障礙物的位置包括，通過所述處理器，使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案、以及視圖中的至少一種來顯示所述失配區(qū)域。
10.根據(jù)權(quán)利要求6所述的方法，其中， 顯示所述障礙物的位置還包括，通過所述處理器，在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或?qū)?yīng)視圖轉(zhuǎn)換圖像上顯示所述障礙物的位置。
11.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其含有由處理器或控制器執(zhí)行的程序指令，所述計(jì)算機(jī)可讀介質(zhì)包括: 存儲(chǔ)由成像裝置捕獲的多個(gè)圖像的程序指令； 轉(zhuǎn)換所述多個(gè)圖像的視圖的程序指令； 生成對(duì)應(yīng)于所述多個(gè)圖像的視圖轉(zhuǎn)換圖像的程序指令； 比較與以不同時(shí)間間隔捕獲的所述多個(gè)圖像對(duì)應(yīng)的所述多個(gè)視圖轉(zhuǎn)換圖像的程序指令; 提取所述多個(gè)視圖轉(zhuǎn)換圖像間的多個(gè)重疊區(qū)域的程序指令； 計(jì)算所述多個(gè)視圖轉(zhuǎn)換圖像間`的所述多個(gè)重疊區(qū)域的失配度的程序指令； 檢測各個(gè)重疊區(qū)域中的失配區(qū)域的程序指令； 將所述失配區(qū)域歸類為障礙物區(qū)域的程序指令；以及 在車輛的顯示器上顯示所述障礙物的位置的程序指令。
12.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀介質(zhì)，還包括: 計(jì)算在先前時(shí)間點(diǎn)捕獲的圖像的第一視圖轉(zhuǎn)換圖像與在當(dāng)前時(shí)間點(diǎn)捕獲的圖像的第二視圖轉(zhuǎn)換圖像之間的位移的程序指令；以及 提取所述第一與所述第二視圖轉(zhuǎn)換圖像之間的所述多個(gè)重疊區(qū)域的程序指令。
13.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀介質(zhì)，還包括: 計(jì)算關(guān)于所述第一與所述第二視圖轉(zhuǎn)換圖像之間的所述多個(gè)重疊區(qū)域在水平方向和垂直方向的失配度的程序指令；以及 檢測所述重疊區(qū)域中的失配區(qū)域的程序指令。
14.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀介質(zhì)，還包括: 使用不同于周邊區(qū)域的顏色、對(duì)比度、圖案、以及視圖中的至少一種來顯示所述失配區(qū)域的程序指令。
15.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀介質(zhì)，還包括: 在當(dāng)前時(shí)間點(diǎn)捕獲的圖像或其對(duì)應(yīng)視圖轉(zhuǎn)換圖像上顯示所述障礙物位置的程序指令。
【文檔編號(hào)】G06K9/32GK103793684SQ201210590495
【公開日】2014年5月14日 申請(qǐng)日期:2012年12月28日 優(yōu)先權(quán)日:2012年10月30日
【發(fā)明者】尹晟源, 權(quán)九度, 權(quán)亨根, 崔晉赫 申請(qǐng)人:現(xiàn)代自動(dòng)車株式會(huì)社