本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。

背景技術(shù)：

在相關(guān)技術(shù)中，具有對象檢測設(shè)備，所述對象檢測設(shè)備被配置為提取存在于由相機獲取的多個幀圖像中的對象的邊緣，計算所述邊緣在幀圖像中在左-右方向上的移動速度，并且基于所述邊緣在左-右方向上的移動速度檢測幀圖像中存在的道路邊界(例如參見專利文獻1)。

總體上，這種類型的對象檢測設(shè)備從通過成像設(shè)備順序輸入的幀圖像中獲取包括在每個幀圖像中的對象(例如三維對象)的多個特征點，并且執(zhí)行從獲取的特征點中排除包括在幀圖像中的與相對遠離相機的區(qū)域相對應的部分中所包括的特征點的掩模處理。

之后，對象檢測設(shè)備執(zhí)行將在掩模處理之后剩余的多個特征點劃分為根據(jù)對象的組的分組處理，并且例如通過將圍繞特征點組的邊界圖像疊加在幀圖像的相應對象上來通知用戶那些對象存在。

專利文獻1：日本專利申請公開no.2006-268097a

然而，這種設(shè)備可以向用戶提供包括圍繞對象的部分(而不是整個對象)的邊界圖像在內(nèi)的幀圖像。并不能認為，這種幀圖像是用于通知用戶那些對象存在的高質(zhì)量信息。

技術(shù)實現(xiàn)要素：

因此，本發(fā)明的一個目的在于提供一種能夠提高用于向用戶通知對象的存在的信息的質(zhì)量的圖像處理設(shè)備和圖像處理方法。

根據(jù)本發(fā)明的圖像處理設(shè)備包括特征點獲取單元、分組單元、掩模單元、突出圖像產(chǎn)生單元和疊加圖像產(chǎn)生單元。特征點獲取單元從通過成像設(shè)備順序輸入的幀圖像中獲取包括在每個幀圖像中的對象的多個特征點。分組單元執(zhí)行將所述多個特征點劃分為根據(jù)所述對象的組的分組處理，并且輸出所述特征點。掩模單元執(zhí)行從輸入的所述多個特征點排除包括在所述幀圖像的一些區(qū)域中的特征點的掩模處理，并且輸出剩余特征點。在特征點獲取單元將所述特征點輸入到分組單元，分組單元將所述特征點輸出到掩模單元，并且掩模單元輸出特征點組的情況下，突出圖像產(chǎn)生單元產(chǎn)生用于突出所述幀圖像中與所述特征點組相對應的對象的突出圖像。疊加圖像產(chǎn)生單元將由突出圖像產(chǎn)生單元產(chǎn)生的突出圖像疊加在所述幀圖像上，從而產(chǎn)生疊加圖像，并且輸出所述疊加圖像。

根據(jù)本發(fā)明的圖像處理設(shè)備和圖像處理方法可以提高用于向用戶通知對象的存在的信息的質(zhì)量。

附圖說明

將基于以下附圖詳細地描述本發(fā)明的示例性實施例，其中：

圖1是示出了根據(jù)實施例的圖像處理方法的第一對比例的說明圖；

圖2是示出了根據(jù)實施例的圖像處理方法的第二對比例的說明圖；

圖3是示出了根據(jù)實施例的圖像處理方法的說明圖；

圖4是示出了根據(jù)實施例的圖像處理方法的另一說明圖；

圖5是示出了根據(jù)實施例的圖像處理設(shè)備的配置的功能框圖；

圖6是示出了根據(jù)實施例的3d對象檢測單元的配置的功能框圖；

圖7是示出了根據(jù)實施例的特征點模式靜止對象點獲取單元的配置的功能框圖；

圖8a和圖8b是根據(jù)實施例的特征點模式的說明圖；

圖9是特征點模式的另一說明圖；

圖10是示出了根據(jù)實施例的背景差分模式靜止對象點獲取單元的配置的功能框圖；

圖11是示出了根據(jù)實施例的特征點圖像產(chǎn)生單元的操作的說明圖；

圖12是示出了根據(jù)實施例的分組單元和掩模單元的處理過程的說明圖；

圖13是示出了根據(jù)實施例的分組單元和掩模單元的另一處理過程的說明圖；

圖14是根據(jù)實施例的針對分組處理的閾值的說明圖；

圖15是根據(jù)實施例的針對分組處理的其它閾值的說明圖；

圖16a至圖16c是示出了根據(jù)實施例的掩模物形狀的改變的說明圖；

圖17是示出了根據(jù)實施例的組選擇單元的配置的功能框圖；

圖18是示出了根據(jù)實施例的由組選擇單元和區(qū)域劃分單元執(zhí)行的操作的示例的說明圖；

圖19是示出了根據(jù)實施例的由圖像處理設(shè)備執(zhí)行的處理的流程圖；

圖20是示出了根據(jù)實施例的第一修改例的圖像處理設(shè)備的圖像處理方法的說明圖；

圖21是示出了根據(jù)實施例的第二修改例的圖像處理設(shè)備的圖像處理方法的說明圖；

圖22是示出了根據(jù)實施例的第三修改例的圖像處理設(shè)備的圖像處理方法的說明圖；以及

圖23是示出了根據(jù)實施例的第四修改例的圖像處理設(shè)備的圖像處理方法的說明圖。

具體實施方式

在下文中，將參照附圖詳細描述根據(jù)本發(fā)明實施例的圖像處理設(shè)備和圖像處理方法。但是，本發(fā)明不限于以下實施例。

在下文中，將如下的根據(jù)實施例的圖像處理設(shè)備描述為示例，

其中，所述圖像處理設(shè)備對由車載相機對車后方進行連續(xù)成像而獲得的圖像(在下文中被稱為“幀圖像”)執(zhí)行圖像處理，并且將處理后的幀圖像輸出到設(shè)置在車內(nèi)的顯示設(shè)備。

然而，由根據(jù)實施例的圖像處理設(shè)備進行圖像處理的圖像不限于車后方的圖像，并且可以是車前方、左側(cè)或右側(cè)的圖像。此外，向根據(jù)實施例的圖像處理設(shè)備發(fā)送圖像的成像設(shè)備不限于車載相機，而是可以是安裝在移動設(shè)備(例如智能電話、數(shù)字相機)上的相機模塊、安裝在街道或家中的安全相機等。

在下文中，將首先描述根據(jù)實施例的圖像處理方法的對比例，

之后將描述根據(jù)實施例的圖像處理方法和圖像處理設(shè)備。圖1是示出了根據(jù)實施例的圖像處理方法的第一對比例的說明圖，圖2是示出了根據(jù)實施例的圖像處理方法的第二對比例的說明圖。此外，圖3和圖4是示出了根據(jù)實施例的圖像處理方法的說明圖。

在第一對比例中，在幀圖像p包括如圖1的(a)和圖1的(b)中所示的諸如站立的人(靜止對象)、其它車輛(移動對象)、建筑物(靜止對象)和樹(靜止對象)之類的對象時，從幀圖像p獲取各個對象(在下文中被代表性地稱為“三維對象”)的特征點。

這里，特征點表示在各個三維對象的外觀中標志性的點，例如包括在幀圖像p中的三維對象的邊緣。由諸如所謂的特征點模式或所謂的背景差分模式之類的3d對象檢測模式來獲取這種特征點。將在下文利用對圖像處理設(shè)備的描述來描述特征點模式和背景差分模式。

在下文中如在圖1的(c)中所示的第一對比例中，產(chǎn)生用于圍繞特征點密度高的區(qū)域的邊界圖像(由圖1的(c)的粗線示出的矩形邊界)，并且將其疊加在幀圖像p上，并且疊加圖像被輸出到顯示設(shè)備。根據(jù)第一對比例，可以向用戶通知在車的后方存在障礙物。然而，由于疊加在幀圖像p上的邊界圖像數(shù)目太大，導致要向用戶通知的障礙物信息的量太多，并且用戶難以查看這些信息。

作為用于解決上述問題的方法的示例，在圖2中示出了第二對比例的圖像處理方法。在第二對比例中，在獲取了圖1的(b)中示出的多個特征點之后，對特征點執(zhí)行掩模處理，并且對在掩模處理之后剩余的特征點進行分組。因此，關(guān)于要向用戶通知的障礙物信息的量被壓縮，以免變得過大。

具體地，在第二對比例中，在從幀圖像p中獲取了特征點之后(如在圖2的(a)中所示)，將掩模m應用于幀圖像p。掩模m排除在側(cè)方區(qū)域m1中獲取的靜止圖像特征點，而不排除在中央?yún)^(qū)域r中獲取的靜止對象特征點和移動對象特征點，其中所述側(cè)方區(qū)域m1從與車后部的前方相對應的幀圖像p的中央?yún)^(qū)域r的左端和右端延伸到在左右方向上與中央?yún)^(qū)域r的兩端距離預定距離的外側(cè)位置。

此外，掩模m從幀圖像p中的中央?yún)^(qū)域r和側(cè)方區(qū)域m1中排除在位于外側(cè)的遠端區(qū)域m2所獲取的靜止對象特征點和移動對象特征點。圖2的(a)中示出的由掩模m排除了特征點的區(qū)域是示例，并且本發(fā)明不限于此。

作為掩模處理的結(jié)果，在幀圖像p的中央?yún)^(qū)域r中，靜止對象特征點和移動對象特征點保留，并且在側(cè)方區(qū)域m1中，移動對象特征點保留。簡言之，通過掩模處理，從遠端區(qū)域m2中排除每個特征點，并且從側(cè)方區(qū)域m1中選擇性地排除靜止對象特征點。

因此，根據(jù)第二對比例，在圖1的(a)中示出的幀圖像p的情況下，可以通過掩模處理從3d對象檢測材料中排除在遠處且在行駛安全方面更不需要向用戶進行通知的建筑物和樹的特征點。

此外，此時即使車輛倒車，該車輛也不會與在側(cè)方區(qū)域m1中移動的其他車輛碰撞。然而，在此之后，車輛可能會與其他車輛碰撞。根據(jù)第二對比例，可以將其他車輛作為3d對象檢測材料。

在第二對比例中，之后，在掩模處理之后剩余的多個特征點經(jīng)過分組處理，從而被劃分成與各個三維對象相對應的組g1和g2，如圖2的(b)中所示。這里，組g1是移動特征點的組。組g2是站立的人的特征點的組。

之后，在第二對比例中，產(chǎn)生用于圍繞組g1和g2的邊界圖像，如圖2的(c)中所示。之后，如圖2的(c)中所示，將邊界圖像(由圖2的(c)中的粗線所示的矩形邊界)疊加在幀圖像p上。根據(jù)第二對比例，在存在如果車輛倒車則車輛可能與三維對象碰撞的可能性的情況下，選擇性地疊加用于圍繞相應對象的邊界圖像。因此，可以防止要提供給用戶的障礙物信息的量變得太大。

然而，在第二對比例中，由于對從幀圖像獲取的所有特征點一致地執(zhí)行掩模處理，并且隨后執(zhí)行分組處理，因此可以向用戶提供包括圍繞移動對象的一部分(而不是整個移動對象)邊界圖像在內(nèi)的幀圖像。

具體地，如果對從移動的其他車輛獲得的特征點執(zhí)行掩模處理(如圖2的(a)中所示)，則對在掩模處理之后剩余的特征點執(zhí)行分組處理(如圖2的(b)中所示)，所述其他車輛的特征點組g1僅由所述其他車輛的前部的特征點組成。

因此，在將用于圍繞組g1的邊界圖像疊加在幀圖像p上的情況下(如圖2的(c)中所示)，在幀圖像p中，幀圖像p中的其它車輛的前部被邊界圖像圍繞。不能認為疊加了這種邊界圖像的幀圖像p是用于向用戶通知存在障礙物的高質(zhì)量信息。

為此，針對從幀圖像p獲取的三維對象的多個特征點，根據(jù)實施例的圖像處理方法順序地對移動對象特征點執(zhí)行分組處理和掩模處理，并且順序地對靜止對象特征點執(zhí)行掩模處理和分組處理。

具體地，根據(jù)實施例的圖像處理方法(在下文中稱為“本圖像處理方法”)從幀圖像p中獲取作為移動對象的其他車輛的多個特征點(如圖3的(a)中所示)，并對獲取的特征點執(zhí)行分組處理。結(jié)果，與其他車輛相對應的特征點組g3占據(jù)了包括該其他車輛的大部分在內(nèi)的區(qū)域。

因此，本圖像處理方法對作為分組處理的結(jié)果而獲得的特征點組g3執(zhí)行掩模處理，如圖3的(b)中所示。此時，應用與在圖2的(a)中示出的掩模m相同的掩模m。然而，即使被組占據(jù)的區(qū)域的僅一部分覆蓋了沒有排除任何特征點的區(qū)域，也保持相應區(qū)域的特征點不被排除。因此，如圖3的(b)中示出的組g3的特征點被保持為不被排除。

之后，本圖像處理方法產(chǎn)生用于圍繞將幀圖像p中的被組g3占據(jù)的區(qū)域作為存在其它車輛的特征點的區(qū)域的邊界圖像，并且將邊界圖像(由圖3的(c)中的粗線示出的矩形邊界)疊加在幀圖像p上，如圖3的(c)中所示。

如上所述，雖然其它車輛的大部分包括在側(cè)方區(qū)域m1中，但是本圖像處理方法可以產(chǎn)生用于圍繞該其它車輛的大部分的邊界圖像。因此，本圖像處理方法可以產(chǎn)生質(zhì)量比第二對比例高的包括邊界圖像在內(nèi)的疊加的幀圖像p，作為用于向用戶通知存在障礙物的信息。

此外，在用于圍繞包括在幀圖像p中的靜止對象的邊界圖像的情況下，本圖像處理方法以與以上對比例中相同的方式產(chǎn)生邊界圖像。具體地，在產(chǎn)生用于圍繞包括在幀圖像p中的靜止對象的邊界圖像的情況下，首先，如圖4的(a)中所示，本圖像處理方法使用掩模m對從包括在幀圖像p中的靜止對象(例如人、建筑物和樹)獲取的特征點進行掩模處理。

之后，如圖4的(b)中所示，本圖像處理方法執(zhí)行將在掩模處理之后剩余的人的特征點分組為組g2的分組處理。接著，本圖像處理方法產(chǎn)生用于圍繞組g2的邊界圖像，并且將邊界圖像(由圖4的(c)中的粗線示出的矩形邊界)疊加在幀圖像p上。

以這種方式，針對包括在幀圖像p中的靜止圖像，本圖像處理方法可以將邊界圖像疊加在位于車后部的前方并可能在車輛倒車的情況下與車碰撞的人之上，而不將邊界圖像疊加在遠處且不太可能與車碰撞的建筑物和樹之上。

現(xiàn)在，將參照圖5描述根據(jù)實施例的圖像處理設(shè)備2。圖5是示出了根據(jù)實施例的圖像處理設(shè)備2的配置的功能框圖。如圖5中所示，圖像處理設(shè)備2連接到用于對車后方成像的車載相機1以及安裝在車內(nèi)的顯示設(shè)備3。

圖像處理設(shè)備2例如是現(xiàn)場可編程門陣列(fpga)，并且包括通過執(zhí)行設(shè)計程序來實施的3d對象檢測單元4和畫圖單元5。車載相機1記錄車后方的視頻，并且將視頻的幀圖像p順序地輸入3d對象檢測單元4和畫圖單元5。

3d對象檢測單元4是用于執(zhí)行如下操作的處理單元：檢測包括在輸入的幀圖像p中的靜止對象和移動對象，并且將靜止對象檢測結(jié)果和移動對象檢測結(jié)果單獨地輸出到畫圖單元5。此外，3d對象檢測單元4執(zhí)行如下處理：基于幀圖像p檢測車輛的移動量和轉(zhuǎn)彎量，并將檢測結(jié)果輸出到畫圖單元5。以下將參照圖6和圖11來描述3d對象檢測單元4的細節(jié)。

畫圖單元5是這樣的處理單元，其用于基于從3d對象檢測單元4輸入的檢測結(jié)果，單獨地產(chǎn)生用于圍繞包括在幀圖像p中的靜止對象和移動對象的邊界圖像，將該邊界圖像疊加在從車載相機1輸入的幀圖像p上，并且將疊加的圖像輸出到顯示設(shè)備3。邊界圖像是用于突出包括在幀圖像p中的靜止圖像和移動圖像的突出圖像的示例。

此外，畫圖單元5執(zhí)行如下處理：基于從3d對象檢測單元4輸入的車輛的移動量和轉(zhuǎn)彎量的檢測結(jié)果，產(chǎn)生被估計為車輛移動路徑的引導線的圖像(估計的移動線圖像)，并且將估計的移動線圖像疊加在幀圖像p上。此外，畫圖單元5執(zhí)行如下處理：產(chǎn)生代表與車后方的中央?yún)^(qū)域r相對應的區(qū)域的固定引導線的圖像，而不管車輛的轉(zhuǎn)彎量如何，并將固定引導線圖像疊加在幀圖像p上。

現(xiàn)在，將參照圖6至圖11描述3d對象檢測單元4的配置和操作。圖6是示出了根據(jù)實施例的3d對象檢測單元4的配置的功能框圖，圖7是示出了根據(jù)實施例的特征點模式靜止對象點獲取單元6的配置的功能框圖。

此外，圖8a、圖8b和圖9是根據(jù)實施例的特征點模式的說明圖，圖10是示出了根據(jù)實施例的背景差分模式靜止對象點獲取單元7的配置的功能框圖，圖11是示出了根據(jù)實施例的特征點圖像產(chǎn)生單元42的操作的說明圖。

如圖6中所示，3d對象檢測單元4包括特征點獲取單元41和特征點圖像產(chǎn)生單元42。特征點獲取單元41是用于：在從車載相機1順序地輸入幀圖像p的情況下，獲取包括在每個幀圖像p中的三維對象的多個特征點的處理單元。

此外，特征點獲取單元41包括特征點模式靜止對象點獲取單元6、背景差分模式靜止對象點獲取單元7和背景差分模式移動對象點獲取單元8。特征點模式靜止對象點獲取單元6是用于在特征點模式下獲取包括在每個幀圖像p中的靜止對象的特征點，對獲取的特征點進行構(gòu)圖，從而產(chǎn)生圖像，并將該圖像輸出到特征點圖像產(chǎn)生單元42的處理單元。

具體地，特征點模式靜止對象點獲取單元6是如下的處理單元：基于特征點跟蹤幀圖像p之間根據(jù)車輛移動的轉(zhuǎn)變狀態(tài)，基于特征點移動向量估計車輛移動，從而估計包括在每個幀圖像p中的靜止對象的位置。如圖7中所示，特征點模式靜止對象點獲取單元6包括幀存儲器61、光學流計算單元62、第一視點轉(zhuǎn)換單元63、靜止對象檢測單元64和第二視點轉(zhuǎn)換單元65。幀存儲器61是用于執(zhí)行如下操作的存儲器：按時間順序來順序地存儲從車載相機1輸入的幀圖像p，并且將幀圖像p順序地輸出到光學流計算單元62。

光學流計算單元62是用于執(zhí)行如下操作的處理單元：在每個幀圖像p上設(shè)置采樣點，根據(jù)車輛移動的移動向量將采樣點計算為光學流，并將移動向量輸出到第一視點轉(zhuǎn)換單元63。

例如，光學流計算單元62從車載相機1獲取圖8b中示出的最新幀圖像p，并且從幀存儲器61中獲取比最新幀圖像p早一幀的圖8a的幀圖像p。

之后，如圖8a中所示，光學流計算單元62在先前幀圖像p中設(shè)置多個(例如，上百個)采樣點(圖8a中的黑點)。接著，光學流計算單元62將代表先前幀圖像p的成像時間和最新幀圖像p的成像時間之間的采樣點的移動的圖8b的向量計算為光學流。

在圖8b中，從黑點延伸的線分別代表采樣點的移動向量。參照圖7，每當從車載相機1輸入了最新幀圖像p時，光學流計算單元62就順序地計算光學流，并將光學流輸出到第一視點轉(zhuǎn)換單元63。

第一視點轉(zhuǎn)換單元63是用于執(zhí)行如下操作的處理單元：對從光學流計算單元62輸入的光學流執(zhí)行路面展開，并將結(jié)果輸出到靜止對象檢測單元64。這里，路面展開是將在幀圖像p上計算的光學流轉(zhuǎn)換為路面(世界坐標系)上的移動向量(光學流)的處理。

如圖9中所示，第一視點轉(zhuǎn)換單元63將幀圖像p上的光學流b1投影到路面，從而計算路面上的光學流b2。第一視點轉(zhuǎn)換單元63使用車載相機1的安裝位置和俯角，通過轉(zhuǎn)換算法計算路面上的光學流b2。

車載相機1的幀圖像p上的光學流b1被投影到路面g，從而被轉(zhuǎn)換為路面g上的光學流b2。路面g與將車載相機1的視點與幀圖像p上的光學流b1的起點相連的線的延長線的交點成為路面g上的光學流b2的起點。

類似地，路面g與將車載相機1的視點與光學流b1的終點相連的線的延長線的交點成為路面g上的光學流b2的終點。圖9的幀圖像p是將幀圖像p上的光學流b1轉(zhuǎn)換為路面g上的光學流b2的情況的概念圖，而沒有示出真實空間中的幀圖像p。

在路面g是x-y平面并且車載相機1的位置是原點的情況下，可以根據(jù)x坐標和y坐標來計算路面g上的光學流b2的起點和終點。參照圖7，第一視點轉(zhuǎn)換單元63將路面g上的光學流b2輸出到靜止對象檢測單元64。

靜止對象檢測單元64是用于執(zhí)行以下操作的處理單元：基于從第一視點轉(zhuǎn)換單元63輸入的路面g上的光學流b2，檢測靜止對象在路面g上的位置。具體地，基于路面g上的光學流b2，靜止對象檢測單元64計算在幀圖像p的成像時間之間的時間段中移動的車輛相對于路面g的轉(zhuǎn)彎量和移動量。

此外，基于車輛的轉(zhuǎn)彎量和移動量以及光學流b2的長度，靜止對象檢測單元64檢測靜止對象的特征點。接著，靜止對象檢測單元64將路面g上的幀圖像p的靜止對象的特征點映射到由480×720像素構(gòu)成的3d對象布置圖上。

此時，靜止對象檢測單元64針對與特征點相匹配的像素(在下文中稱為“中央像素”)設(shè)置具有預定亮度的顏色，并且針對圍繞每個中央像素的若干像素設(shè)置顏色，使得隨著與中央像素的距離增大，亮度從預定亮度減小，并且將其它像素設(shè)置為黑色。

此外，靜止對象檢測單元64將當前幀圖像p設(shè)置為參考幀圖像。接著，靜止對象檢測單元64基于車輛的轉(zhuǎn)彎量和移動量，將在參考幀圖像之前獲取的先前圖像中的且映射到3d對象布置圖上的特征點移位(旋轉(zhuǎn)和平移)到參考幀圖像中的相應位置。

此外，在車輛在y方向上(參見圖9的x-y-z坐標系)的移動量超過預定量(例如，45mm)的情況下，靜止對象檢測單元64用最新幀圖像p來更新參考幀圖像。

靜止對象檢測單元64針對每個像素對針對各個幀圖像p所產(chǎn)生的3d對象布置圖的亮度值進行積分，從而產(chǎn)生最終3d對象布置圖，該最終3d對象布置圖通過相應像素的亮度值代表在每個像素處存在靜止對象的特征點的可能性(在下文中稱為確定性)。

在此情況下，靜止對象檢測單元64通過將各個3d對象布置圖的先前像素亮度值乘以2/100來將其一致地減小，并且對每個像素的亮度值進行積分，從而防止在積分完成之前像素的積分亮度值達到上限而變?yōu)橐绯鰻顟B(tài)。

返回圖7，如上所述，靜止對象檢測單元64產(chǎn)生3d對象布置圖，并且將3d對象布置圖輸出到位于下一階段的第二視點轉(zhuǎn)換單元65，其中，該3d對象布置圖通過圖中的除黑色像素以外的像素的位置和亮度值代表路面g上的靜止對象的每個特征點的位置和確定性。3d對象布置圖中的除黑色像素以外的像素時靜止對象的特征點的示例。

此外，靜止對象檢測單元64執(zhí)行以下處理：將在產(chǎn)生3d對象布置圖的過程中所計算的車輛的轉(zhuǎn)彎量和移動量輸出到畫圖單元5。畫圖單元5基于車輛的轉(zhuǎn)彎量和移動量來估計作為車輛移動路徑的估計引導線，并且產(chǎn)生估計引導線的圖像。

第二視點轉(zhuǎn)換單元65是如下處理單元：對從靜止對象檢測單元64輸入的3d對象布置圖執(zhí)行圖像展開從而產(chǎn)生480×720像素圖像，并且將產(chǎn)生的圖像輸出到特征點圖像產(chǎn)生單元42。這里，圖像展開是將路面g上(世界坐標系上)的靜止對象的特征點的位置轉(zhuǎn)換為從車載相機1看到的幀圖像p上的位置的處理。

現(xiàn)在，將參照圖10描述圖6中示出的背景差分模式靜止對象點獲取單元7。除了獲取對象的特征點在幀之間的移動量(移動速度)不同之外，背景差分模式靜止對象點獲取單元7和背景差分模式移動對象點獲取單元8具有相同的配置。為此，將不對背景差分模式移動對象點獲取單元8進行詳細描述。

如圖10中所示，背景差分模式靜止對象點獲取單元7包括幀存儲器71、移動量計算單元72、邊緣檢測單元73和靜止對象檢測單元74。幀存儲器71是如下操作的存儲器：按時間順序來順序地存儲從車載相機1輸入的幀圖像p，并且將幀圖像p輸出到移動量計算單元72。

移動量計算單元72是如下操作的處理單元：獲得從車載相機1順序地輸入的每個幀圖像p與從幀存儲器71獲取的先前幀圖像p之間的差別，從而產(chǎn)生包括所提取的三維對象在內(nèi)的差分圖像，并將差分圖像輸出到邊緣檢測單元73。

具體地，移動量計算單元72從車載相機1順序地獲取最新幀圖像p(這里是當前幀)，并且從幀存儲器71中獲取比當前幀早一幀的幀圖像p(這里是先前幀)。

接著，移動量計算單元72針對當前幀和先前幀中的每個產(chǎn)生兩個視點轉(zhuǎn)換圖像。首先，針對當前幀和先前幀中的每個，移動量計算單元72產(chǎn)生俯角為90°的虛擬視點的水平圖像。此外，針對當前幀和先前幀中的每個，移動量計算單元72產(chǎn)生俯角為0°的虛擬視點的路面圖像。

接著，移動量計算單元72分別指定當前幀和先前幀的水平圖像中的特定矩形區(qū)域，并且在先前幀的特定矩形區(qū)域相對于當前幀的特定矩形區(qū)域輕微地移位的同時，根據(jù)當前幀的特定矩形區(qū)域來計算sad(絕對差之和)值。移動量計算單元72將sad值最小的移位量計算為擾動量，并且基于計算的擾動量和車載相機1的焦距來計算車輛的轉(zhuǎn)彎量。

接著，移動量計算單元72分別指定當前幀和先前幀的路面圖像中的特定矩形區(qū)域，并且基于先前計算的轉(zhuǎn)彎量將先前幀圖像的特定矩形區(qū)域與當前幀的特定矩形區(qū)域?qū)R。

接著，在修正后的先前幀的特定矩形區(qū)域在路面上定義的x-y坐標系的x方向和y方向上輕微地移位的同時，移動量計算單元72根據(jù)當前幀的特定矩形區(qū)域來計算sad值。移動量計算單元72將sad值最小的移位量計算為擾動量，并且基于計算的擾動量和路面圖像的虛擬視點的高度來計算車輛的移動量。移動量計算單元72將車輛的轉(zhuǎn)彎量和移動量輸出到邊緣檢測單元73和靜止對象檢測單元74。

邊緣檢測單元73是用于順序地從車載相機1獲取當前圖像，順序地從幀存儲器71獲取先前幀，從當前幀和先前幀中檢測三維對象的邊緣，并且產(chǎn)生具有被選擇性突出的邊緣部分的邊緣檢測圖像。

在產(chǎn)生邊緣檢測圖像的情況下，邊緣檢測單元73基于從移動量檢測單元72輸入的車輛的轉(zhuǎn)彎量和移動量，預先對先前幀執(zhí)行針對旋轉(zhuǎn)和平移的修正，從而將先前幀的位置和方向與當前幀的位置和方向?qū)R。然后，邊緣檢測單元73將針對當前幀和先前幀所產(chǎn)生的邊緣圖像輸出到靜止對象檢測單元74。

靜止對象檢測單元74執(zhí)行以下差分獲得處理：獲得從邊緣檢測單元73輸入的當前幀的邊緣圖像和先前幀的邊緣圖像之間各個像素的亮度值的差，從而產(chǎn)生背景差分圖像。在背景差分圖像中，三維對象的圖像出現(xiàn)，但是除三維對象之外的對象的圖像不出現(xiàn)。

接著，靜止對象檢測單元74從在背景差分圖像中示出的三維對象的圖像中檢測多個(例如，200個)特征點。接著，靜止對象檢測單元74基于從移動量計算單元72輸入的車輛的轉(zhuǎn)彎量和移動量，將先前幀的背景差分圖像的特征點的位置轉(zhuǎn)換為當前幀的背景差分圖像的坐標系中的位置，并且一致地減小各個像素的亮度值，并對亮度值進行積分。

在此情況下，靜止對象檢測單元74通過將各個像素的亮度值乘以約1/2來將其減小(在亮度值的上限是255的情況下為128)，然后對亮度值進行積分，從而產(chǎn)生包括靜止對象特征點和移動對象特征點在內(nèi)的480×720像素圖像。

此外，靜止對象檢測單元74通過將各個像素的亮度值乘以約1/8來將其減小(在亮度值的上限是255的情況下為32)，然后對亮度值進行積分，從而產(chǎn)生包括移動對象特征點在內(nèi)的480×720像素圖像。接著，靜止對象檢測單元74從包括靜止對象特征點和移動對象特征點在內(nèi)的圖像中刪除移動對象特征點，從而產(chǎn)生包括靜止對象特征點在內(nèi)的圖像，并且將產(chǎn)生的圖像輸出到特征點圖像產(chǎn)生單元42。

參照圖6，背景差分模式移動對象點獲取單元8以與背景差分模式靜止對象點獲取單元7相同的過程產(chǎn)生包括移動對象特征點在內(nèi)的480×720像素圖像，并將產(chǎn)生的包括移動對象特征點在內(nèi)的圖像輸出到特征點圖像產(chǎn)生單元42。

特征點圖像產(chǎn)生單元42是如下操作的處理單元：將從特征點獲取單元41輸入的每個480×720像素圖像壓縮為30×45像素圖像，從而產(chǎn)生特征點圖像?，F(xiàn)在，將參照圖11描述特征點圖像產(chǎn)生單元42的圖像壓縮處理的過程。

如圖11的(a)中所示，特征點圖像產(chǎn)生單元42將480×720像素圖像劃分為16×16像素區(qū)域，并且將每個16×16像素區(qū)域的各個像素的亮度值與第一亮度閾值進行比較。

例如，在16×16像素區(qū)域中有三個像素的亮度值等于或大于第一亮度閾值的情況下(如圖11的(b)中所示)，特征點圖像產(chǎn)生單元42在30×45像素區(qū)域中的相應位置中畫出3(即，亮度值等于或大于第一亮度閾值的像素的數(shù)目)，如圖11的(c)中所示。

這里，30×45像素區(qū)域中的畫出像素數(shù)目的位置是與16×16像素區(qū)域在480×720像素圖像中的位置相同的相對位置。

特征點圖像產(chǎn)生單元42針對480×720像素圖像的每個16×16像素區(qū)域確定亮度值等于或大于亮度閾值的像素的數(shù)目，并且在30×45像素區(qū)域中畫出該像素數(shù)目，從而產(chǎn)生由30×45像素構(gòu)成的特征點圖像。

此外，特征點圖像產(chǎn)生單元42通過第二亮度閾值對在產(chǎn)生的由30×45像素構(gòu)成的特征點圖像的每個像素處畫出的像素數(shù)目進行二值化運算，使得像素數(shù)目等于或大于第二亮度閾值的每個像素變?yōu)榘咨?，并且像素?shù)目小于第二亮度閾值的每個像素變?yōu)楹谏?，從而產(chǎn)生由30×45像素構(gòu)成的特征點圖像。

此外，特征點圖像產(chǎn)生單元42向畫圖單元5輸出從通過特征點模式靜止對象點獲取單元6和背景差分模式靜止對象點獲取單元7輸入的各個圖像所產(chǎn)生的靜止對象特征點圖像。此外，特征點圖像產(chǎn)生單元42向產(chǎn)生單元5輸出從通過背景差分模式移動對象點獲取單元8輸入的圖像所產(chǎn)生的移動對象特征點圖像。

參照圖5，畫圖單元5包括分組單元51、掩模單元52、區(qū)域劃分單元53、組選擇單元54、邊界圖像產(chǎn)生單元55和疊加圖像產(chǎn)生單元56。分組單元51是用于執(zhí)行如下分組處理的處理單元：將由3d對象檢測單元4從幀圖像p中獲取的三維對象(例如靜止對象)的多個特征點劃分為與各個三維對象相對應的組。

此外，掩模單元42是執(zhí)行如下掩模處理的處理單元：從由3d對象檢測單元4從幀圖像p中獲取的三維對象(例如靜止對象)的多個特征點中排除幀圖像p的一些區(qū)域的特征點。

分組單元51和掩模單元52的處理過程根據(jù)由3d對象檢測單元4檢測到的三維對象是移動圖像還是靜止對象而不同?，F(xiàn)在，將參照圖12和圖13描述分組單元51和掩模單元52的處理過程。圖12和圖13是示出了根據(jù)實施例的分組單元51和掩模單元52的處理過程的說明圖。

在檢測到的三維對象是移動對象的情況下，3d對象檢測單元4將檢測到的移動對象的特征點的圖像輸出到分組單元51。在此情況下，如圖12中所示，分組單元51執(zhí)行如下分組處理：將包括在移動對象特征點圖像中的移動對象的特征點劃分到與各個對象相對應的組中，并且，將經(jīng)過分組處理的移動對象特征點圖像輸出到掩模單元52(參見圖3的(a))。掩模單元52對經(jīng)過分組處理的移動對象特征點圖像執(zhí)行掩模處理，并且輸出經(jīng)過掩模處理的移動對象特征點圖像(參見圖3的(b))。

從掩模單元52輸出的移動對象特征點圖像通過區(qū)域劃分單元53和組選擇單元54輸入到邊界圖像產(chǎn)生單元55。將在下文描述區(qū)域劃分單元53和組選擇單元54的操作。

邊界圖像產(chǎn)生單元55產(chǎn)生用于圍繞包括在順序地經(jīng)過分組處理和掩模處理的移動對象特征點圖像中的特征點組的邊界圖像。通過這種方式，例如，邊界圖像產(chǎn)生單元55可以產(chǎn)生用于圍繞作為移動對象的其他車輛的大部分(如圖3的(c)所示)的邊界圖像，并且將邊界圖像輸出到疊加圖像產(chǎn)生單元56。疊加圖像產(chǎn)生單元56將從邊界圖像產(chǎn)生單元55輸入的這種邊界圖像疊加到從車載相機1輸入的幀圖像p上，從而產(chǎn)生疊加圖像，并且將該疊加圖像輸出到顯示設(shè)備3。

同時，在檢測到的三維對象是靜止對象的情況下，3d對象檢測單元4將檢測到的靜止對象的特征點的圖像輸出到掩模單元52。在此情況下，如圖13中所示，掩模單元52對靜止對象特征點圖像執(zhí)行掩模處理，并且向分組單元51輸出經(jīng)過掩模處理的靜止對象特征點圖像(參見圖4的(a))。分組單元51對經(jīng)過掩模處理的靜止對象特征點圖像執(zhí)行分組處理，并且輸出經(jīng)過分組處理的靜止對象特征點圖像(參見圖4的(b))。

從分組單元51輸出的靜止對象特征點圖像通過區(qū)域劃分單元53和組選擇單元54輸入到邊界圖像產(chǎn)生單元55。邊界圖像產(chǎn)生單元55產(chǎn)生用于圍繞包括在順序地經(jīng)過掩模處理和分組處理的靜止對象特征點圖像中的特征點組的邊界圖像。

通過這種方式，例如，如圖4的(c)中所示，邊界圖像產(chǎn)生單元55可以產(chǎn)生用于圍繞作為靜止對象的站立的人的大部分的邊界圖像，并且將產(chǎn)生的邊界圖像輸出到疊加圖像產(chǎn)生單元56。疊加圖像產(chǎn)生單元56將從邊界圖像產(chǎn)生單元55輸入的這種邊界圖像疊加到從車載相機1輸入的幀圖像p上，從而產(chǎn)生疊加圖像，并且將該疊加圖像輸出到顯示設(shè)備3。

此外，分組單元51在分組移動對象的特征點的情況下與在分組靜止對象的特征點的情況下，針對應布置在相同組中的特征點之間的距離使用不同閾值?，F(xiàn)在，將參照圖14和圖15描述針對分組單元51的分組處理的閾值。圖14和圖15是根據(jù)實施例的針對分組處理的閾值的說明圖。

如圖14中所示，例如，在分組移動對象(例如其他車輛)的特征點的情況下，分組單元51使得易于將在左右方向上并排存在的特征點布置在同一組中，而使得難以將在上下方向上并排存在的特征點布置在同一組中。

具體地，在幀圖像p中在上下方向上并排存在的移動對象的特征點之間的距離等于或小于第一閾值th1的情況下，分組單元51將這些特征點布置在一個組中。同時，在幀圖像p中在左右方向上并排存在的移動對象的特征點之間的距離等于或小于比第一閾值th1大的第二閾值th2的情況下，分組單元51將這些特征點布置在一個組中。

例如，分組單元51使用與在豎直方向上并排存在的兩個像素相對應的距離作為第一閾值th1，并且使用與在水平方向上并排存在的三個像素相對應的距離作為第二閾值th2。以這種方式，在移動對象是其他車輛的情況下，即使在左右方向上遠離的位置(例如車輛的前后邊緣或者車輛的左右邊緣)處獲取了特征點，分組單元51也可以將包括所述其它車輛的整體以及在左右方向上遠離的特征點在內(nèi)的區(qū)域設(shè)置為被特征點組g3占據(jù)的區(qū)域。因此，邊界圖像產(chǎn)生單元55可以產(chǎn)生用于圍繞其他車輛的大部分的邊界圖像。

同時，如圖15中所示，例如，在分組作為靜止對象的站立的人的特征點的情況下，分組單元51使得易于將在上下方向上并排存在的特征點布置在同一組中，而使得難以將在左右方向上并排存在的特征點布置在同一組中。

具體地，在幀圖像p中在上下方向上并排存在的靜止對象的特征點之間的距離等于或小于第三閾值th3的情況下，分組單元51將這些特征點布置在一個組中。同時，在幀圖像p中在左右方向上并排存在的靜止對象的特征點之間的距離等于或小于比第三閾值th3小的第四閾值th4的情況下，分組單元51將這些特征點布置在一個組中。

例如，分組單元51使用與在豎直方向上并排存在的四個像素相對應的距離作為第三閾值th3，并且使用與一個像素的水平距離相對應的距離作為第四閾值th4。以這種方式，在靜止對象是人的情況下，即使在上下方向上遠離的位置(例如頭和腳的邊緣)處獲取了特征點，分組單元51也可以將包括此人的整體以及在上下方向上遠離的特征點在內(nèi)的區(qū)域設(shè)置為被特征點組g2占據(jù)的區(qū)域。

因此，邊界圖像產(chǎn)生單元55可以產(chǎn)生用于圍繞此人的大部分的邊界圖像。此外，即使在組g2沿左右方向的附近存在從另一人物圖像獲取的特征點組g4，分組單元51也不會將組g2和組g4布置在一個組中。因此，邊界圖像產(chǎn)生單元55可以分別產(chǎn)生用于圍繞并排的兩個人的邊界圖像。

此外，在車輛直線倒車的情況下，掩模單元52使用圖4的(a)中示出的掩模m等來執(zhí)行掩模處理；然而，在車輛轉(zhuǎn)彎倒車的情況下，掩模單元根據(jù)疊加在幀圖像p上的估計引導線來改變掩模m的形狀。

現(xiàn)在，參照圖16a至圖16c，將描述掩模m的形狀的改變。圖16a至圖16c是示出了根據(jù)實施例的掩模m的形狀的改變的說明圖。如圖16a中所示，在車輛直線倒車的情況下，疊加圖像產(chǎn)生單元56將代表與車輛后方的中央?yún)^(qū)域r相對應的區(qū)域的固定引導線rl疊加在幀圖像p上。

此外，在車輛轉(zhuǎn)彎倒車的情況下，基于從3d對象檢測單元4輸入的車輛的轉(zhuǎn)彎量，如圖16b中所示，疊加圖像產(chǎn)生單元56還將被估計為車輛的移動路徑的估計引導線gl疊加在幀圖像p上。接著，疊加圖像產(chǎn)生單元56將幀圖像p中的估計引導線gl的顯示位置輸出到掩模單元52。

在此情況下，如圖16c中所示，隨著估計引導線gl的顯示位置改變，掩模單元52改變掩模m中的中央?yún)^(qū)域r和側(cè)方區(qū)域m1的邊界線。因此，在車輛轉(zhuǎn)彎倒車的情況下，掩模單元52可以在預定車輛移動路徑的區(qū)域中設(shè)置包括靜止對象特征點和移動對象特征點在內(nèi)的中央?yún)^(qū)域r，并且留下對于用戶而言更有用的特征點。

返回圖5，區(qū)域劃分單元53是如下的處理單元：將從分組單元51或掩模單元52輸入的特征點圖像劃分到在左右上方向并排存在的多個分段區(qū)域中，隨后將特征點圖像輸出到組選擇單元54。組選擇單元54是如下的處理單元：在包括在從區(qū)域劃分單元53輸入的且被劃分到多個分段區(qū)域中的特征點圖像中的特征點組中，選擇一些特征點組作為在幀圖像p中所包括的并且邊界圖像應該疊加于的組。

現(xiàn)在，將參照圖17和圖18來描述組選擇單元54的配置以及組選擇單元54和區(qū)域劃分單元53的操作的示例。圖17是示出了根據(jù)實施例的組選擇單元54的配置的功能框圖，圖18是示出了根據(jù)實施例的組選擇單元54和區(qū)域劃分單元53的操作的示例的說明圖。

如圖17中所示，組選擇單元54包括尺寸確定單元81、組所屬區(qū)域確定單元82和最下部確定單元83。這里，例如，假設(shè)包括五個特征點組a、b、c、d和e在內(nèi)的特征點圖像p1(如圖18的(a)中所示)被輸入到區(qū)域劃分單元53。此外，這里，為了方便，假設(shè)特征點圖像p1中的組a、b、c、d和e的形狀都是矩形。

在此情況下，區(qū)域劃分單元53將特征點圖像p1劃分為在左右方向上并排存在的三個分段區(qū)域a1、a2和a3(如圖18的(b)中所示)，隨后將特征點圖像輸出到組選擇單元54的尺寸確定單元81。

尺寸確定單元81確定包括在從區(qū)域劃分單元53輸入的特征點圖像p1中的各個組的尺寸，刪除比預定尺寸小的組e，隨后將特征點圖像輸出到組所屬區(qū)域確定單元82。以這種方式，尺寸確定單元81可以防止無意義地將在車后方存在的但是不太危險的極小對象通知給用戶。

接著，組所屬區(qū)域確定單元82確定從尺寸確定單元81輸入的特征點圖像p1的每個組屬于哪個分段。接著，首先，組所屬區(qū)域確定單元82限定用于圍繞特征點圖像p1中的各個組的組邊界，并且確定包括每個組邊界的底邊中心坐標在內(nèi)的分段區(qū)域作為包括將被相應組邊界圍繞的組在內(nèi)的分段區(qū)域。

因此，如在圖18的(c)中示出的示例，組所屬區(qū)域確定單元82確定組a屬于分段區(qū)域a1，組b和c屬于分段區(qū)域a2，組d屬于分段區(qū)域a3。然后，去所屬區(qū)域確定單元82向最下部確定單元83輸出添加了各個組的屬性的特征點圖像p1。

針對每個分段區(qū)域，最下部確定單元83從屬于相應分段區(qū)域的組中選擇位于相應分段區(qū)域的最下部的組。具體地，最下部確定單元83在每個分段區(qū)域的組中，計算組邊界的底邊中心坐標和特征點圖像p1的底邊之間的距離，并且將被距離最短的組邊界圍繞的組確定為位于相應分段區(qū)域的最下部的組。

例如，在圖18的(c)中所示的分段區(qū)域a1中，由于從圍繞組a的組邊界的底邊中心坐標到特征點圖像p1的底邊l的距離d1最短，因此最下部確定單元83將組a確定為最下組。

以這種方式，最下部確定單元83確定組a是位于分段區(qū)域a1的最下部的組，組b是位于分段區(qū)域a2的最下部的組，組d是位于分段區(qū)域a3的最下部的組，如圖18的(d)中所示。接著，最下部確定單元83向邊界圖像產(chǎn)生單元55輸出與特征點圖像p1中的各個分段區(qū)域的最下組的組邊界的位置相關(guān)的信息。

參照圖5，邊界圖像產(chǎn)生單元55基于從組選擇單元54輸入的與特征點圖像中的組邊界的位置相關(guān)的信息，產(chǎn)生要疊加在幀圖像p上的邊界圖像，并且將邊界圖像輸出到疊加圖像產(chǎn)生單元56。

疊加圖像產(chǎn)生單元56將從邊界圖像產(chǎn)生單元55輸入的邊界圖像疊加到幀圖像p上，從而產(chǎn)生疊加圖像，并且將該疊加圖像輸出到顯示設(shè)備3。此外，疊加圖像產(chǎn)生單元56還將如上所述的固定引導線、估計引導線等的圖像疊加到幀圖像p上。

以這種方式，圖像處理設(shè)備2可以向用戶提供疊加圖像，該疊加圖像包括包含在幀圖像p的在左右方向上并排存在的三個分段區(qū)域中，與車輛最近且被邊界圖像圍繞的三維對象。因此，例如與僅用邊界圖像圍繞幀圖像p中的與車輛最近的三維對象的其它圖像處理設(shè)備相比，圖像處理設(shè)備2可以提高用于向用戶通知存在三維對象的信息的質(zhì)量。

現(xiàn)在，將參照圖19來描述由圖像處理設(shè)備2執(zhí)行的處理。圖19是示出了根據(jù)實施例的由圖像處理設(shè)備2執(zhí)行的處理的流程圖。例如，在車輛的換擋桿在r位置時，圖像處理設(shè)備2以預定間隔重復地執(zhí)行圖19的處理。

如果車輛的換擋桿切換到r位置，如圖19中所示，在步驟s101，圖像處理設(shè)備2確定是否從幀圖像p檢測到任何三維對象。在確定沒有檢測到任何三維對象的情況下(步驟s101中的“否”)，圖像處理設(shè)備2將處理進行到步驟s110，其中，圖像處理設(shè)備將固定引導線和估計引導線疊加在幀圖像p上，從而產(chǎn)生疊加圖像，并將該疊加圖像輸出到顯示設(shè)備3。然后，圖像處理設(shè)備結(jié)束處理。

另一方面，在確定檢測到了某些三維對象的情況下(步驟s101中的“是”)，則圖像處理設(shè)備2確定檢測到的三維對象是否是移動對象。在確定三維對象是移動對象的情況下(步驟s102中的“是”)，圖像處理設(shè)備2在步驟s103中對三維對象的特征點圖像執(zhí)行分組處理，并且在步驟s104對特征點圖像執(zhí)行掩模處理，并且將處理進行到步驟s105。

另一方面，在確定三維對象不是移動對象的情況下(步驟s102中的“否”)，圖像處理設(shè)備2確定三維對象是靜止對象，在步驟s111中對三維對象的特征點圖像執(zhí)行掩模處理，并且在步驟s112中對特征點圖像執(zhí)行分組處理，并且將處理進行到步驟s105。

在步驟s105，圖像處理設(shè)備2執(zhí)行區(qū)域劃分，從而將特征點圖像劃分為多個分段區(qū)域。接著，在步驟s106，圖像處理設(shè)備確定包括在特征點圖像中的特征點組的尺寸。在一些特征點組小于預定尺寸的情況下，圖像處理設(shè)備2從特征點圖像中刪除相應組，并且將處理進行到步驟s107。

在步驟s107，圖像處理設(shè)備2執(zhí)行組所屬區(qū)域確定，從而確定特征點圖像的每個特征點組屬于哪個分段區(qū)域。接著，在步驟s108，針對每個分段區(qū)域，圖像處理設(shè)備執(zhí)行最下部確定，從而確定位于最下部的組。

接著，在步驟s109，圖像處理設(shè)備2執(zhí)行邊界圖像產(chǎn)生，從而產(chǎn)生用于圍繞位于各個分段區(qū)域中的最下部處的組的邊界圖像。接著，圖像處理設(shè)備2在步驟s110中將邊界圖像疊加在幀圖像p上，從而產(chǎn)生疊加圖像，并且輸出該疊加圖像，之后結(jié)束處理。

上述實施例是示例，并且根據(jù)本發(fā)明的圖像處理設(shè)備2的配置和操作不限于上述實施例。在下文中，將解釋根據(jù)實施例的圖像處理設(shè)備2的修改例。

圖20至圖23是示出了根據(jù)實施例的第一至第四修改例的圖像處理設(shè)備的圖像處理方法的說明圖。在實施例中，作為示例描述了以下情況，圖像處理設(shè)備按照分組處理和掩模處理的順序?qū)σ苿訉ο筇卣鼽c圖像執(zhí)行圖像處理時，并且按照掩模處理和分組處理的順序?qū)o止對象特征點圖像執(zhí)行圖像處理。但是，這是示例。

例如，第一修改例的圖像處理設(shè)備可以對移動對象和靜止對象的特征點執(zhí)行分組處理，如在圖20的(a)中所示，并對經(jīng)過分組處理的特征點執(zhí)行掩模處理，如圖20的(b)中所示。即使根據(jù)本發(fā)明的圖像處理方法，如圖20的(c)中所示，同樣也能夠?qū)⒂糜趪@作為移動對象的其他車輛的大部分的邊界圖像疊加在幀圖像p上。

此外，在上述實施例中，圖像處理設(shè)備將特征點圖像劃分為多個分段區(qū)域，并且選擇各個分段區(qū)域的最下組作為要被邊界圖像圍繞的組。然而，被邊界圖像圍繞的組的數(shù)目不限于每個分段區(qū)域僅一個。

例如，第二修改例的圖像處理設(shè)備還可以包括下部區(qū)域設(shè)置單元，該下部區(qū)域設(shè)置單元將從用于圍繞位于特征點圖像的每個分段區(qū)域的最下部處的組的組邊界的底邊到從相應組邊界的底邊朝著特征點圖像的頂邊相距預定距離的位置的區(qū)域，設(shè)置為下部區(qū)域。

在產(chǎn)生如圖21中的(a)所示的特征點圖像p1的情況下，本修改例的圖像處理設(shè)備首先將特征點圖像p1劃分為三個分段區(qū)域a1、a2和a3。接著，針對分段區(qū)域a1、a2和a3，圖像處理設(shè)備的下部區(qū)域設(shè)置單元將從位于最下部的組邊界的底邊到從所述組邊界的底邊朝著特征點圖像的頂邊相距預定距離d2的位置的區(qū)域，設(shè)置為下部區(qū)域。

接著，圖像處理設(shè)備的組選擇單元選擇要被具有各個下部區(qū)域中的中心坐標的底邊的組邊界圍繞的組作為位于最下部的組。以這種方式，針對分段區(qū)域a1，如圖21的(d)中所示，圖像處理設(shè)備可以選擇兩個組a和e作為要被邊界圖像圍繞的組。

例如，在與組a相對應的三維對象是靜止對象，并且與組e相對應的三維對象是接近車輛的移動對象的情況下，本修改例的圖像處理設(shè)備可以用邊界圖像圍繞與相比于組a更需要關(guān)注的組e相對應的移動對象，從而向用戶通知移動對象的存在。

此外，第三修改例的圖像處理設(shè)備還包括其中分段區(qū)域的數(shù)目根據(jù)每個特征點圖像可變的區(qū)域劃分單元、以及其中上述下部區(qū)域尺寸可變的下部區(qū)域設(shè)置單元。例如，如圖22中所示，本修改例的圖像處理設(shè)備可以將特征點圖像劃分為在左右方向上并排存在的四個或更多個(這里為六個)分段區(qū)域a11、a12、a13、a14、a15和a16。

因此，圖像處理設(shè)備可以用邊界圖像對靠近車輛且危險的更多三維對象加以圍繞，從而向用戶通知存在三維對象。

然而，在由區(qū)域劃分單元增加特征點圖像的分段區(qū)域的數(shù)目的情況下，圖像處理設(shè)備通過下部區(qū)域設(shè)置單元減小從每個下部區(qū)域的底邊到頂邊的預定距離d3。以這種方式，圖像處理設(shè)備可以在用邊界圖像圍繞靠近車輛且危險的更多三維對象的同時，防止向用戶提供過量的邊界圖像信息，從而向用戶通知存在危險的三維對象。

此外，在由區(qū)域劃分單元減少特征點圖像的分段區(qū)域的數(shù)目的情況下，圖像處理設(shè)備增加從每個下部區(qū)域的底邊到頂邊的預定距離d3。以這種方式，圖像處理設(shè)備減少特征點圖像的分段區(qū)域的數(shù)目，從而防止向用戶通知過多數(shù)目的危險三維對象。

此外，在圖像處理設(shè)備中，可以省去區(qū)域劃分單元。第四修改例的圖像處理設(shè)備包括如上所述的下部區(qū)域設(shè)置單元。如圖23中所示，第四修改例的圖像處理設(shè)備將從圍繞位于特征點的最下部的特征點組a的組邊界的底邊到從組邊界的底部朝著特征點圖像的頂邊相距預定距離d4的位置的區(qū)域，設(shè)置為下部區(qū)域。

在此情況下，在特征點圖像中，由于車載相機1的廣角鏡頭，與車輛等距離的對象被示出在上下方向上距離不同的位置處，并且下部區(qū)域設(shè)置單元將上下方向上的最大距離設(shè)置為預定距離d4。此外，在圖23的特征點圖像中，用弧線l1示出與到車輛的距離和從車輛到對應于組a的三維對象的距離相同的位置相對應的像素位置。

根據(jù)第四修改例的圖像處理設(shè)備，在特征點圖像中，還可以用邊界圖像圍繞與位置比組a更高的組b相對應的、到車輛的距離和與組a相對應的三維對象到車輛的距離相同的三維對象。

此外，圖像處理設(shè)備可以包括用于修正可由成像設(shè)備的廣角鏡頭導致的特征點圖像失真的修正單元。在此情況下，基于經(jīng)過修正單元的失真修正的特征點，圖像處理設(shè)備的組選擇單元選擇位于每個分段區(qū)域的最下部的組。因此，圖像處理設(shè)備可以以更高的準確度從每個分段區(qū)域中檢測離車輛最近的三維對象。

本領(lǐng)域的技術(shù)人員將容易想到附加優(yōu)點和修改。因此，本發(fā)明在其較寬方面上不限于本文描述和示出的具體細節(jié)和代表性實施例。因此，可以在不背離由所附權(quán)利要求及其等同定義的總體發(fā)明構(gòu)思的精神或范圍的情況下做出各種修改。