專利名稱：車(chē)輛周邊監(jiān)控系統(tǒng)及車(chē)輛周邊監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車(chē)輛周邊監(jiān)控系統(tǒng)及車(chē)輛周邊監(jiān)控方法，其中顯示車(chē)輛周邊區(qū)域的影像。
背景技術(shù)：
日本專利申請(qǐng)公開(kāi)號(hào)2003-191810(JP-A-2003-191810)描述了一種車(chē)輛周邊監(jiān)控系統(tǒng)，其包括影像獲取裝置、鳥(niǎo)瞰影像轉(zhuǎn)換裝置以及顯示裝置。將影像獲取裝置設(shè)置在車(chē)輛的后部?jī)?nèi)。鳥(niǎo)瞰影像轉(zhuǎn)換裝置將由影像獲取裝置獲取的車(chē)輛后方區(qū)域的影像轉(zhuǎn)換為鳥(niǎo)瞰影像。在顯示裝置上顯示該鳥(niǎo)瞰影像(由鳥(niǎo)瞰影像轉(zhuǎn)換裝置將影像轉(zhuǎn)換得到)。該車(chē)輛周邊監(jiān)控系統(tǒng)還包括合成鳥(niǎo)瞰影像生成裝置以及顯示控制裝置。合成鳥(niǎo)瞰影像生成裝置通過(guò)將先前的鳥(niǎo)瞰影像與當(dāng)前的鳥(niǎo)瞰影像進(jìn)行結(jié)合而生成合成鳥(niǎo)瞰影像。顯示控制裝置在顯示裝置上顯示由合成鳥(niǎo)瞰影像生成裝置生成的合成鳥(niǎo)瞰影像以及車(chē)輛圖像，以表明車(chē)輛位置與由合成鳥(niǎo)瞰影像示出的區(qū)域之間的關(guān)系。
在上述系統(tǒng)中，利用在先前獲得的先前影像來(lái)生成顯示用合成影像。通過(guò)這種設(shè)置，由于使用了先前影像，故利用先前的影像還可以顯示影像獲取裝置的視野之外的情況。因此，相較于僅顯示當(dāng)前影像的設(shè)置，可以向使用者提供大量的信息。
但是，因?yàn)閺墨@取先前影像的時(shí)間點(diǎn)直到當(dāng)前時(shí)間點(diǎn)期間情況會(huì)發(fā)生改變，故由先前影像提供的信息的可靠性低于由當(dāng)前影像提供的信息的可靠性。因此，在上述技術(shù)中，先前影像被灰色濾波器覆蓋以能夠?qū)?dāng)前影像與先前影像區(qū)分開(kāi)。但是，使用者不能判定先前影像的可靠性的降低程度。即，在其中數(shù)個(gè)先前影像以相同的形式顯示的情況下，使用者不能判定數(shù)個(gè)先前影像之中可靠性的差異。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種車(chē)輛周邊監(jiān)控系統(tǒng)以及車(chē)輛周邊監(jiān)控方法，其使得使用者能夠容易判定先前影像的可靠性。
本發(fā)明的第一方面涉及一種車(chē)輛周邊監(jiān)控系統(tǒng)，在所述車(chē)輛周邊監(jiān)控系統(tǒng)中顯示所述車(chē)輛周邊區(qū)域的影像。所述車(chē)輛周邊監(jiān)控系統(tǒng)包括影像獲取裝置、存儲(chǔ)裝置、顯示影像生成裝置以及顯示裝置。影像獲取裝置獲取至少一部分所述車(chē)輛周邊區(qū)域的影像。存儲(chǔ)裝置存儲(chǔ)由所述影像獲取裝置獲取的所述影像。顯示影像生成裝置利用由所述影像獲取裝置獲取的最新的影像以及在獲取所述最新影像之前獲取的先前影像，來(lái)生成顯示用合成影像。顯示裝置在其上顯示所述合成影像。所述顯示影像生成裝置根據(jù)在獲取所述先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述先前影像相關(guān)的影像部分的可見(jiàn)度。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，所述顯示影像生成裝置可以利用在不同時(shí)間點(diǎn)獲取的復(fù)數(shù)個(gè)先前影像來(lái)生成所述合成影像。因此，生成合成影像使得與各個(gè)先前影像相關(guān)的影像部分的可見(jiàn)度根據(jù)獲取各個(gè)先前影像之后經(jīng)過(guò)的時(shí)間以逐級(jí)的方式或連續(xù)的方式改變。因此，使用者可容易地判定先前影像之間可靠性的差異。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，當(dāng)所述顯示影像生成裝置利用特定先前影像在復(fù)數(shù)個(gè)幀中生成所述合成影像時(shí)，所述顯示影像生成裝置可以根據(jù)在獲取所述特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)逐漸降低所述復(fù)數(shù)個(gè)幀中的每個(gè)所述合成影像中與所述特定先前影像相關(guān)的影像部分的可見(jiàn)度。因此，可以與人類(lèi)記憶隨時(shí)間逐漸消失的方式類(lèi)似的方式改變每個(gè)合成影像中與先前影像相關(guān)的影像部分的可見(jiàn)度。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，所述顯示影像生成裝置通過(guò)修正對(duì)比度及亮度中至少一者來(lái)降低與所述先前影像相關(guān)的所述影像部分的可見(jiàn)度。
根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)還可包括車(chē)輛影像存儲(chǔ)裝置，其用于預(yù)先存儲(chǔ)車(chē)輛影像。存儲(chǔ)在所述車(chē)輛影像存儲(chǔ)裝置中的所述車(chē)輛影像可被疊加在所述合成影像中，并顯示在所述顯示裝置上。
根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)還可包括俯視影像轉(zhuǎn)換裝置，其用于通過(guò)進(jìn)行預(yù)處理而將由所述影像獲取裝置獲取的所述影像轉(zhuǎn)換為俯視影像。所述存儲(chǔ)裝置可對(duì)由所述俯視影像轉(zhuǎn)換裝置通過(guò)進(jìn)行所述預(yù)處理將所述影像轉(zhuǎn)換得到的所述俯視影像進(jìn)行存儲(chǔ)。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，由所述俯視影像轉(zhuǎn)換裝置進(jìn)行的所述預(yù)處理可包括坐標(biāo)變換、畸變矯正以及透視矯正中至少一者。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，當(dāng)所述車(chē)輛周邊區(qū)域的特定部分的影像未被包含在與所述最新影像相關(guān)的影像部分中時(shí)，就可使用所述特定部分的先前影像。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，可設(shè)置復(fù)數(shù)個(gè)所述影像獲取裝置。當(dāng)由所述復(fù)數(shù)個(gè)影像獲取裝置獲取的所述影像彼此部分地重疊時(shí)，所述復(fù)數(shù)個(gè)影像獲取裝置就可彼此配合獲取所述影像。
根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)還可包括車(chē)門(mén)狀態(tài)判定裝置，用于判定所述車(chē)輛的至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)。所述影像獲取裝置可配置在所述至少一個(gè)車(chē)門(mén)中。所述存儲(chǔ)裝置可根據(jù)所述至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)來(lái)存儲(chǔ)由配置在所述至少一個(gè)車(chē)門(mén)中的所述影像獲取裝置獲取的影像。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)中，所述車(chē)門(mén)狀態(tài)判定裝置可以通過(guò)對(duì)當(dāng)幀改變時(shí)由配置在所述至少一個(gè)車(chē)門(mén)中的所述影像獲取裝置獲取的影像的改變方式進(jìn)行監(jiān)控來(lái)判定所述至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)。
根據(jù)上述方面的車(chē)輛周邊監(jiān)控系統(tǒng)還可包括車(chē)輛影像存儲(chǔ)裝置，用于預(yù)先存儲(chǔ)表明所述至少一個(gè)車(chē)門(mén)的不同打開(kāi)/關(guān)閉狀態(tài)的復(fù)數(shù)個(gè)車(chē)輛影像?？筛鶕?jù)由所述車(chē)門(mén)狀態(tài)判定裝置進(jìn)行的判定來(lái)從所述車(chē)輛影像存儲(chǔ)裝置讀取所述復(fù)數(shù)個(gè)車(chē)輛影像中的車(chē)輛影像。
本發(fā)明的第二方面涉及一種車(chē)輛周邊監(jiān)控方法，其中顯示所述車(chē)輛周邊區(qū)域的影像。所述方法包括獲取至少一部分所述車(chē)輛周邊區(qū)域的影像；存儲(chǔ)獲取的所述影像；利用獲取的最新影像以及在獲取所述最新影像之前獲取的先前影像來(lái)生成合成影像；顯示所述合成影像；并且根據(jù)在獲取所述先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述先前影像相關(guān)的影像部分的可見(jiàn)度。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控方法中，可使用在不同時(shí)間點(diǎn)獲取的復(fù)數(shù)個(gè)先前影像來(lái)生成合成影像。因此，對(duì)顯示影像進(jìn)行合成使得根據(jù)在獲取各個(gè)先前影像之后經(jīng)過(guò)的時(shí)間以逐級(jí)方式或連續(xù)方式來(lái)改變與各個(gè)先前影像相關(guān)的影像部分的可見(jiàn)度。因此，使用者可容易地判定先前影像之間可靠性的差異。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控方法中，當(dāng)利用特定先前影像生成在復(fù)數(shù)個(gè)幀中的合成影像時(shí)，就可以根據(jù)在獲取特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與復(fù)數(shù)個(gè)幀中的每個(gè)合成影像中與特定先前影像相關(guān)的影像部分的可見(jiàn)度。因此，可以與人類(lèi)記憶隨時(shí)間逐漸消失的方式類(lèi)似的方式改變各個(gè)合成影像中與先前影像相關(guān)的影像部分的可見(jiàn)度。
在根據(jù)上述方面的車(chē)輛周邊監(jiān)控方法中，可以通過(guò)修正對(duì)比度及亮度中至少一者來(lái)降低與所述先前影像相關(guān)的所述影像部分的可見(jiàn)度。
根據(jù)本發(fā)明，能夠提供方便使用者判定先前影像的可靠性的車(chē)輛周邊監(jiān)控系統(tǒng)及車(chē)輛周邊監(jiān)控方法。


根據(jù)下文中參考附圖對(duì)示例性實(shí)施例的說(shuō)明，可以更加明了本發(fā)明的前述及/或其他的目的、特征及優(yōu)點(diǎn)，附圖中相同的標(biāo)號(hào)用于代表相同的元件，其中圖1是示出了根據(jù)本發(fā)明的第一實(shí)施例的車(chē)輛周邊監(jiān)控系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖；圖2是平面圖，示意性地示出了根據(jù)本發(fā)明的第一實(shí)施例設(shè)置了攝像機(jī)的形式的示例以及由該攝像機(jī)獲取了其影像的區(qū)域的示例；圖3是示意性地示出了根據(jù)第一實(shí)施例顯示在顯示器上的顯示影像的示例的視圖；圖4是功能框圖，示出了根據(jù)第一實(shí)施例的影像合成裝置的主要功能；
圖5是平面視圖，示意性地示出了根據(jù)第一實(shí)施例的車(chē)輛周邊環(huán)境的示例；圖6是示意性地示出了根據(jù)第一實(shí)施例在停車(chē)開(kāi)始時(shí)間點(diǎn)生成的影像的視圖；圖7是平面圖，示意性地示出了根據(jù)第一實(shí)施例位于停車(chē)過(guò)程位置的車(chē)輛的周邊環(huán)境的示例；圖8是示意性地示出根據(jù)第一實(shí)施例在停車(chē)過(guò)程時(shí)間點(diǎn)生成的顯示影像(合成影像)的視圖；圖9是平面圖，示出了根據(jù)本發(fā)明的第二實(shí)施例設(shè)置了攝像機(jī)的形式的示例以及由該攝像機(jī)獲取了其影像的區(qū)域的示例；圖10是功能框圖，示出了根據(jù)第二實(shí)施例的影像合成裝置的主要功能；以及圖11是示意性地示出根據(jù)第二實(shí)施例在判定車(chē)門(mén)處于打開(kāi)狀態(tài)的時(shí)間點(diǎn)生成的顯示影像。
具體實(shí)施例方式
下面將參考附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行說(shuō)明。
一.第一實(shí)施例圖1是示出了根據(jù)本發(fā)明的第一實(shí)施例的車(chē)輛周邊監(jiān)控系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖。根據(jù)第一實(shí)施例的車(chē)輛周邊監(jiān)控系統(tǒng)70包括影像合成裝置100。根據(jù)由設(shè)置在車(chē)輛中的攝像機(jī)10獲取的影像，影像合成裝置100利用設(shè)置在車(chē)輛內(nèi)的顯示器20來(lái)顯示車(chē)輛周邊區(qū)域的影像(屏幕影像)。例如，顯示器20可以是液晶顯示器。將顯示器20布置在可使乘客方便地觀看顯示器20的位置。例如，可將顯示器20布置在儀表板中。根據(jù)本發(fā)明，攝像機(jī)10被視為“影像獲取部”，而顯示器20被視為“顯示部”。
圖2平面圖，示出其中設(shè)置有攝像機(jī)10的形式的示例以及其影像被攝像機(jī)10獲取的區(qū)域的示例。如圖2所示，將一個(gè)攝像機(jī)10設(shè)置在車(chē)輛的前部中，而將另一攝像機(jī)10設(shè)置在車(chē)輛的后部中。即，總共將攝像機(jī)10設(shè)置在兩個(gè)位置。利用諸如CCD(電荷耦合裝置)及CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)的成像器件，每個(gè)攝像機(jī)10(10FR及10RR)均可獲取包括路面在內(nèi)的周邊區(qū)域的影像。每個(gè)攝像機(jī)10均可以是具有魚(yú)眼透鏡的廣角攝像機(jī)。
如圖2示意性所示，將前方攝像機(jī)10FR設(shè)置在車(chē)輛的前部中(例如靠近保險(xiǎn)杠)以獲取包括車(chē)輛前方的路面在內(nèi)的周邊區(qū)域的影像。如圖2示意性所示，將后方攝像機(jī)10RR設(shè)置在車(chē)輛的后部中(例如靠近后保險(xiǎn)杠或在后車(chē)門(mén)內(nèi))以獲取包括車(chē)輛后方的路面在內(nèi)的周邊區(qū)域的影像。
圖2示意性地示出了由攝像機(jī)10獲取影像的區(qū)域的示例。在圖2所示的示例中，每個(gè)攝像機(jī)10均是廣角攝像機(jī)。其影像被各個(gè)攝像機(jī)10獲取的區(qū)域以扇形示出。在圖2中，由陰影來(lái)強(qiáng)調(diào)其影像由前方攝像機(jī)10FR獲取的成像區(qū)域Rf以及其影像由后方攝像機(jī)10RR獲取的成像區(qū)域Rr。
圖3示意性地示出了顯示在顯示器20上的顯示影像的示例。通過(guò)結(jié)合由兩個(gè)攝像機(jī)10FR及10RR所獲取的影像來(lái)合成顯示影像。在圖3所示的示例中，在顯示影像的中央影像部分示出表示車(chē)輛的影像(車(chē)輛影像)。可以使用預(yù)先形成并存儲(chǔ)在預(yù)定存儲(chǔ)器(以下將描述的車(chē)輛影像存儲(chǔ)部115)中的車(chē)輛影像。通過(guò)將車(chē)輛影像布置在中央影像部分，并將由攝像機(jī)10獲取的影像布置在其他影像部分，來(lái)獲得顯示影像。由攝像機(jī)10獲取的影像經(jīng)過(guò)適當(dāng)?shù)念A(yù)處理(例如，坐標(biāo)變換、畸變矯正以及透視矯正)，由此將獲取的影像轉(zhuǎn)換為路面的俯視影像(從上方觀察的影像(即，鳥(niǎo)瞰影像))。然后，在顯示器20上顯示俯視影像。在圖3中，每個(gè)陰影部分均示出了從上方觀察的路面以及路面上的物體。通過(guò)合適地布置由攝像機(jī)10FR或10RR在先前獲取的先前影像來(lái)生成位于圖3的車(chē)輛側(cè)面的影像部分R3。例如，當(dāng)車(chē)輛前進(jìn)時(shí)，影像部分R3被由前方攝像機(jī)10FR在先前獲取的先前影像覆蓋。當(dāng)車(chē)輛后倒時(shí)，影像部分R3被由后方攝像機(jī)10RR在先前獲取的先前影像覆蓋。以下將詳細(xì)描述顯示先前影像的方式。因此，能夠生成圍繞在車(chē)輛的各個(gè)方向上的區(qū)域的影像，而無(wú)需將攝像機(jī)設(shè)置在車(chē)輛的側(cè)部。因此，乘車(chē)人可判定圍繞在車(chē)輛的各個(gè)方向上的路面的狀況以及道路上物體的狀況(例如，道路上的劃線以及障礙物的位置)。
圖4是示出根據(jù)本實(shí)施例的影像合成裝置100的主要功能的功能框圖。影像合成裝置100的硬件結(jié)構(gòu)主要包括微計(jì)算機(jī)。即，影像合成裝置100包括CPU、存儲(chǔ)器(例如，ROM、RAM及EEPROM)、計(jì)時(shí)器、計(jì)數(shù)器以及輸入/輸出界面等。CPU根據(jù)預(yù)定執(zhí)行程序執(zhí)行處理。存儲(chǔ)器存儲(chǔ)由CPU執(zhí)行的執(zhí)行程序、影像數(shù)據(jù)以及計(jì)算的結(jié)果等。通過(guò)數(shù)據(jù)總線將CPU、存儲(chǔ)器以及輸入/輸出界面彼此連接。通過(guò)可由CPU訪問(wèn)的存儲(chǔ)器以及由CPU執(zhí)行的程序來(lái)實(shí)現(xiàn)影像合成裝置100的一部分(將在以下描述)。
根據(jù)本實(shí)施例的影像合成裝置100包括俯視影像轉(zhuǎn)換部112、車(chē)輛影像存儲(chǔ)部115、先前影像存儲(chǔ)部116以及影像合成部120。根據(jù)本發(fā)明，先前影像存儲(chǔ)部116被視為“存儲(chǔ)部”，而影像合成部120被視為“顯示影像生成部”。
影像合成裝置100經(jīng)由諸如CAN(控制器局域網(wǎng)絡(luò))的通信線路實(shí)時(shí)接收必要的信息。上述信息可包括從諸如車(chē)速傳感器、橫擺率傳感器及轉(zhuǎn)向角傳感器的傳感器輸出的信息，以及從諸如停車(chē)輔助ECU的ECU傳輸?shù)男畔ⅰ?br> 影像合成裝置100經(jīng)由通信線路實(shí)時(shí)接收由攝像機(jī)10FR及10RR獲取的影像?？梢院线m的幀速將影像以流格式(stream format)傳輸至影像合成裝置100。如圖3所示，影像合成裝置100通過(guò)進(jìn)行將在以下描述的處理而在各個(gè)幀中生成顯示影像。因此，每次當(dāng)幀改變時(shí)都對(duì)顯示在顯示器20上的顯示影像進(jìn)行更新(即，顯示器20上的顯示影像是活動(dòng)的)。
俯視影像轉(zhuǎn)換部112進(jìn)行諸如坐標(biāo)變換的適當(dāng)?shù)念A(yù)處理，由此將由攝像機(jī)10FR及10RR獲取的影像轉(zhuǎn)換為俯視影像(從上方觀察的路面的影像(即，鳥(niǎo)瞰影像))。根據(jù)攝像機(jī)10FR及10RR的瞄準(zhǔn)線的已知方向以及攝像機(jī)10FR及10RR所設(shè)置的已知位置來(lái)適當(dāng)?shù)卦O(shè)定坐標(biāo)變換公式。將由俯視影像轉(zhuǎn)換部112生成的俯視影像供應(yīng)至影像合成部120，并供應(yīng)至先前影像存儲(chǔ)部116。
先前影像存儲(chǔ)部116存儲(chǔ)并保留由俯視影像轉(zhuǎn)換部112生成的俯視影像作為先前影像。每個(gè)先前影像均設(shè)置涉及獲取先前影像時(shí)的時(shí)間點(diǎn)的信息(即，時(shí)間標(biāo)志)。然后，將每個(gè)先前影像存儲(chǔ)在先前影像存儲(chǔ)部116中。因此，影像合成部120(隨后描述)可判定獲取存儲(chǔ)在先前影像存儲(chǔ)部116中的各個(gè)先前影像時(shí)的時(shí)間點(diǎn)。先前影像存儲(chǔ)部116可根據(jù)FIFO(先進(jìn)先出)方法僅保留在當(dāng)前時(shí)間點(diǎn)之前預(yù)定時(shí)間點(diǎn)之后獲取的先前影像以有效地使用存儲(chǔ)容量。
如圖3所示，車(chē)輛影像存儲(chǔ)部115對(duì)待布置在顯示影像的大致中央影像部分中的車(chē)輛影像進(jìn)行存儲(chǔ)。如圖3所示，車(chē)輛影像示意性地表示車(chē)輛的俯視圖像。
影像合成部120通過(guò)將在當(dāng)前幀周期期間獲取的最新俯視影像(當(dāng)前影像)與在最近幀周期期間或在最近幀周期之前獲取的、并存儲(chǔ)在先前影像存儲(chǔ)部116中的先前影像進(jìn)行結(jié)合來(lái)合成顯示影像。
在根據(jù)攝像機(jī)10FR及10RR的瞄準(zhǔn)線的已知方向，以及攝像機(jī)10FR及10RR所設(shè)置的已知位置等適當(dāng)?shù)卮_定的固定位置來(lái)示出當(dāng)前影像。需要根據(jù)車(chē)輛運(yùn)動(dòng)來(lái)改變示出先前影像的位置。因此，根據(jù)車(chē)輛從獲取先前影像的時(shí)間點(diǎn)運(yùn)動(dòng)到當(dāng)前時(shí)間點(diǎn)的方式來(lái)合適地確定示出先前影像的位置。
例如，影像合成部120根據(jù)來(lái)自車(chē)速傳感器的信號(hào)判定從先前影像獲取位置到車(chē)輛當(dāng)前位置的運(yùn)動(dòng)距離β。此外，影像合成部120根據(jù)來(lái)自轉(zhuǎn)向角傳感器及車(chē)速傳感器的信號(hào)，計(jì)算在從獲取先前影像時(shí)的時(shí)間點(diǎn)至當(dāng)前時(shí)間點(diǎn)的期間內(nèi)車(chē)輛方向的改變量(以下將該改變量稱為“偏向角α”)。當(dāng)偏向角α為正值時(shí)，偏向角α表示車(chē)輛在順時(shí)針?lè)较蜣D(zhuǎn)向。當(dāng)偏向角α為負(fù)值時(shí)，偏向角α表示車(chē)輛在逆時(shí)針?lè)较蜣D(zhuǎn)向。根據(jù)下述等式(1)來(lái)大致計(jì)算偏向角α。在等式(1)中，“ds”表示車(chē)輛運(yùn)動(dòng)的較短距離，而“γ”表示道路曲率(其等于車(chē)輛轉(zhuǎn)向半徑的倒數(shù))。利用等式(1)來(lái)計(jì)算偏向角α，偏向角α是當(dāng)車(chē)輛運(yùn)動(dòng)β米的距離時(shí)車(chē)輛方向的改變量。
α=∫-β0γ·ds---(1)]]>通過(guò)改變等式(1)而獲得等式(2)。每次當(dāng)車(chē)輛運(yùn)動(dòng)預(yù)定距離(在本實(shí)施例中為0.5米)時(shí)，影像合成部120就計(jì)算小偏向角αi。此外，根據(jù)等式(2)，影像合成部120通過(guò)將小偏向角α1至αk相加來(lái)計(jì)算偏向角α。
α=Σi=1kαi,αi=∫-00γ·ds---(2)]]>通過(guò)對(duì)來(lái)自車(chē)速傳感器的信號(hào)輸出(即，輪速脈沖)進(jìn)行時(shí)間積分來(lái)監(jiān)控車(chē)輛是否運(yùn)動(dòng)了預(yù)定距離(在本實(shí)施例中為0.5米)。根據(jù)從轉(zhuǎn)向角傳感器獲得的轉(zhuǎn)向角Ha來(lái)確定道路曲率γ。例如，根據(jù)等式γ＝Ha/L×η來(lái)計(jì)算道路曲率γ。在該等式中，L表示軸距長(zhǎng)度，而η表示車(chē)輛的總傳動(dòng)比(即，轉(zhuǎn)向角Ha與車(chē)輪轉(zhuǎn)角的比率)?？梢酝ㄟ^(guò)將每次車(chē)輛運(yùn)動(dòng)0.01米的較短距離時(shí)獲得的道路曲率γ乘以0.01米的較短距離，然后在車(chē)輛運(yùn)動(dòng)0.5米的距離時(shí)對(duì)乘法獲得的結(jié)果值進(jìn)行積分來(lái)計(jì)算小偏向角αi?？梢愿鶕?jù)預(yù)先在每個(gè)車(chē)輛中獲得的關(guān)系數(shù)據(jù)來(lái)制作表明道路曲率γ與轉(zhuǎn)向角Ha之間關(guān)系的圖，可將該圖存儲(chǔ)在可由影像合成裝置100訪問(wèn)的存貯器中。
在該情況下，影像合成部120根據(jù)以上述方式確定的運(yùn)動(dòng)距離β來(lái)相對(duì)于當(dāng)前影像示出的位置確定示出先前影像的位置。此外，影像合成部120根據(jù)以上述方式確定的偏向角α來(lái)確定先前影像的取向方向(即，先前影像的旋轉(zhuǎn)角度)。用來(lái)確定示出先前影像的位置的方法以及用來(lái)確定先前影像取向方向的方法不限于上述方法?？梢愿鶕?jù)基于影像識(shí)別結(jié)果而提取的特征點(diǎn)的位置或方向來(lái)確定示出先前影像的位置以及先前影像的取向方向?；蛘撸梢岳闷渌麄鞲衅?例如，橫擺率傳感器)來(lái)確定示出先前影像的位置以及先前影像的取向方向。
然后參考圖4至圖8，將描述根據(jù)本實(shí)施例影像合成部120生成顯示影像的方式。以下，作為示例，將描述影像合成部120生成用于在停車(chē)輔助時(shí)提供后視輔助的顯示影像的方式。
圖5是平面圖，示意性地示出車(chē)輛周邊區(qū)域的示例，該車(chē)輛處于車(chē)輛開(kāi)始后倒以停車(chē)的位置(該位置在以下被稱為“停車(chē)開(kāi)始位置”)。圖5示出了設(shè)置有根據(jù)本實(shí)施例的車(chē)輛周邊監(jiān)控系統(tǒng)70的車(chē)輛(主車(chē)輛)開(kāi)始后倒進(jìn)入由框線界定的停車(chē)區(qū)域的情況。另一車(chē)輛X在該車(chē)輛的右后方。腳踏車(chē)停放在停車(chē)區(qū)域中。根據(jù)圖5中的虛線，車(chē)輛從圖5所示的位置后倒。
圖6示意性地示出了在圖5所示的時(shí)間點(diǎn)(即，當(dāng)車(chē)輛開(kāi)始后倒以停車(chē)的時(shí)間點(diǎn)(在以下被稱為“停車(chē)開(kāi)始時(shí)間點(diǎn)”))生成的顯示影像(合成影像)。在該示例中，影像合成裝置100利用由后方攝像機(jī)10RR為提供后視輔助而獲取的影像(當(dāng)前影像以及先前影像)生成顯示影像。因此，圖6中的顯示影像中示出后方區(qū)域的影像部分大于圖3中顯示影像中的影像部分。
如圖6所示，可在顯示影像中示出邊界線T。邊界線T界定了示出當(dāng)前影像的影像部分R1。因此，使用者可容易地識(shí)別由邊界線T界定的影像部分是相關(guān)于顯示影像中的當(dāng)前影像，因此影像部分中由邊界線T界定的影像為實(shí)時(shí)影像。
如圖5所示，因?yàn)樵谕＼?chē)開(kāi)始時(shí)間點(diǎn)在后方攝像機(jī)10RR的視野中存在另一車(chē)輛X，故在影像部分R1中，根據(jù)當(dāng)前影像，將另一車(chē)輛X的影像示于顯示影像中車(chē)輛影像的右后方的位置。盡管在圖5中示出了另一車(chē)輛X的示意性影像，但另一車(chē)輛X的實(shí)際影像是逼真的(腳踏車(chē)的實(shí)際影像(在以下描述)也是逼真的)。因此，使用者可容易地識(shí)別在上述車(chē)輛右后方存在另一車(chē)輛X。
例如，在圖6所示的示例中，位于車(chē)輛影像兩側(cè)的整個(gè)影像部分R3為白色，即，影像部分3類(lèi)似于因?yàn)檫^(guò)度曝光而變白的部分。換言之，在影像部分R3中實(shí)際上未示出任何影像。這表示如圖5所示當(dāng)車(chē)輛向前運(yùn)動(dòng)至停車(chē)開(kāi)始位置時(shí)未獲取車(chē)輛兩側(cè)的區(qū)域的影像(即，不存在車(chē)輛兩側(cè)的區(qū)域的先前影像)。但是，如果當(dāng)車(chē)輛向前運(yùn)動(dòng)至停車(chē)開(kāi)始位置時(shí)前方攝像機(jī)10FR獲取了車(chē)輛兩側(cè)的區(qū)域的影像，則可根據(jù)類(lèi)似于用于示出先前影像的方法的方法(將在以下描述)，利用由前方攝像機(jī)10FR獲取的先前影像，在車(chē)輛影像兩側(cè)的影像部分R3中示出影像。
圖7是平面圖，示意性地示出了在車(chē)輛后倒時(shí)位于特定位置的車(chē)輛周邊區(qū)域的示例(以下該位置被稱為“停車(chē)過(guò)程位置”)。如圖7所示，另一車(chē)輛X(其在車(chē)輛開(kāi)始后倒時(shí)在車(chē)輛右后方(參考圖5))已經(jīng)運(yùn)動(dòng)至后方攝像機(jī)10RR的視野之外，然后已經(jīng)向右側(cè)運(yùn)動(dòng)。
圖8示意性地示出了在車(chē)輛后倒時(shí)于特定時(shí)間點(diǎn)(以下該時(shí)間點(diǎn)被稱為“停車(chē)過(guò)程時(shí)間點(diǎn)”)生成的顯示影像(合成影像)。在圖7所示的停車(chē)過(guò)程時(shí)間點(diǎn)，停放的腳踏車(chē)位于后方攝像機(jī)10RR的視野內(nèi)。因此，根據(jù)當(dāng)前影像，在影像部分R1中，在顯示影像中車(chē)輛影像后方的位置示出了停放腳踏車(chē)的影像。因此，使用者可容易地識(shí)別腳踏車(chē)現(xiàn)在停放在車(chē)輛后方。根據(jù)由后方攝像機(jī)10RR在從停車(chē)開(kāi)始時(shí)間點(diǎn)至停車(chē)過(guò)程時(shí)間點(diǎn)期間獲取并存儲(chǔ)在先前影像存儲(chǔ)部116中的至少一個(gè)先前影像，在影像部分R3中于顯示影像中車(chē)輛影像的兩側(cè)示出了車(chē)輛兩側(cè)區(qū)域的影像。當(dāng)影像合成部120在影像部分R3中利用復(fù)數(shù)個(gè)先前影像來(lái)示出影像時(shí)，復(fù)數(shù)個(gè)先前影像會(huì)彼此部分地重疊。在此情況下，在最前面示出復(fù)數(shù)個(gè)先前影像中的最新影像，并適當(dāng)?shù)匦拚渌惹坝跋?。即，?fù)數(shù)個(gè)先前影像中的最新影像覆蓋在其他先前影像上。因此，利用復(fù)數(shù)個(gè)先前影像在影像部分R3中示出了無(wú)縫影像。
在圖8所示的示例中，利用在不同時(shí)間點(diǎn)獲取的四個(gè)先前影像示出影像部分R3中的位于車(chē)輛影像兩側(cè)的影像。在圖8中，利用在時(shí)間點(diǎn)t1獲取的先前影像示出的影像G1被顯示在影像部分R3d中，利用在時(shí)間點(diǎn)t2獲取的先前影像示出的影像G2被顯示在影像部分R3c中，利用在時(shí)間點(diǎn)t3獲取的先前影像示出的影像G3被顯示在影像部分R3b中，而利用在時(shí)間點(diǎn)t4獲取的先前影像示出的影像G4被顯示在影像部分R3a中。在該示例中，停車(chē)開(kāi)始時(shí)間點(diǎn)為t0，而圖7所示的停車(chē)過(guò)程時(shí)間點(diǎn)(當(dāng)前時(shí)間點(diǎn))為時(shí)間點(diǎn)t5。時(shí)間點(diǎn)之間的關(guān)系由公式t0＜t1＜t2＜t3＜t4＜t5表示。
圖8利用陰影顏色示意性地示出了顯示影像的對(duì)比度。如圖8所示，根據(jù)獲取先前影像(用于在影像部分中示出影像G1至G4)的時(shí)間點(diǎn)，影像合成部120使得影像G1至G4的對(duì)比度不相同。例如可通過(guò)修正對(duì)比度過(guò)濾器或色調(diào)曲線來(lái)修正對(duì)比度。
具體而言，如圖8所示，影像合成部120利用影像部分R3a中的最新先前影像以最高對(duì)比度L4示出影像G4。影像G4的對(duì)比度L4低于根據(jù)當(dāng)前影像示出影像的影像部分R1的對(duì)比度(即，標(biāo)準(zhǔn)對(duì)比度)。影像合成部120分別利用影像部分R3b、R3c及R3d中的先前影像示出影像G3至G1，使得隨著先前影像越來(lái)越陳舊，對(duì)比度逐漸從L3降低至L1。因此，影像合成部120利用影像部分R3d中最陳舊的先前影像以最低對(duì)比度L1示出影像G1。因此，生成顯示影像使得對(duì)比度逐級(jí)地從影像G4的對(duì)比度L4降低至影像G1的對(duì)比度L1。
其中影像是利用先前影像示出的影像部分的可靠性會(huì)隨著時(shí)間經(jīng)過(guò)而降低。因此，其中影像是利用很久以前獲取的先前影像示出的影像部分的可靠性會(huì)與其中影像是利用剛剛獲取的先前影像示出的影像部分的可靠性有極大的差異。因此，不希望以相同的方式顯示在不同時(shí)間點(diǎn)獲取的先前影像，因?yàn)檫@樣會(huì)使使用者不能判定可靠性。
但是，如上所述，根據(jù)本實(shí)施例，當(dāng)通過(guò)將先前影像與當(dāng)前影像結(jié)合來(lái)合成顯示影像時(shí)，根據(jù)在獲取每個(gè)先前影像之后經(jīng)過(guò)的時(shí)間來(lái)改變每個(gè)影像部分的對(duì)比度。因此，使用者可容易地判定由每個(gè)先前影像提供的信息的可靠性。此外，根據(jù)本實(shí)施例，隨著獲取先前影像之后經(jīng)過(guò)的時(shí)間的增加，對(duì)比度降低，即，可見(jiàn)度減低。因此，可以根據(jù)可靠性減低的程度來(lái)顯示每個(gè)先前影像。例如，在圖8的示例中，在影像部分R3d中示出了實(shí)際上并不存在的另一車(chē)輛X的影像G1。但是，因?yàn)橛跋馟1的對(duì)比度L1最低，且影像G1的可見(jiàn)度最低，故使用者會(huì)看到另一車(chē)輛X的模糊影像。因此，使用者可認(rèn)識(shí)到另一車(chē)輛X的影像的可靠性較低。在利用先前影像在影像部分中示出的影像G1至G4的對(duì)比度中，利用最新先前影像在影像部分R3a中示出的影像G4的對(duì)比度L4最高。因此，使用者可相對(duì)容易地直觀識(shí)別在影像G4中示出的物體。在該示例中，當(dāng)使用者看到影像G4時(shí)，使用者可直觀并容易地識(shí)別界定出停車(chē)區(qū)域的水平線與車(chē)輛后部之間的位置關(guān)系。
此外，在本實(shí)施例中，根據(jù)在獲取特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低其中在復(fù)數(shù)個(gè)幀中的每個(gè)顯示影像中示出的特定先前影像的影像部分的對(duì)比度。因此，可以與其中人類(lèi)記憶隨著時(shí)間消失的方式類(lèi)似的方式來(lái)生成復(fù)數(shù)個(gè)幀中的顯示影像。例如，車(chē)輛可無(wú)需停止而以恒定的速度后倒。在此情況下，以以下方式示出先前影像，該先前影像示出另一車(chē)輛X，并且用于在影像部分中示出影像G1。在時(shí)間點(diǎn)t1，以標(biāo)準(zhǔn)對(duì)比度示出作為影像部分R1中當(dāng)前影像的影像。在時(shí)間點(diǎn)t2，以低于標(biāo)準(zhǔn)對(duì)比度的對(duì)比度L4在影像部分R3a中示出先前影像(參考圖8)。在時(shí)間點(diǎn)t3，以低于對(duì)比度L4的對(duì)比度L3在影像部分R3b中示出先前影像。在時(shí)間點(diǎn)t4，以低于對(duì)比度L3的對(duì)比度L2在影像部分R3c中示出先前影像。在時(shí)間點(diǎn)t5，以低于對(duì)比度L2的對(duì)比度L1在影像部分R3d中示出先前影像(等于圖8中的影像G1)。即，其中在每個(gè)顯示影像中示出先前影像的影像部分的對(duì)比度從時(shí)間點(diǎn)t1至?xí)r間點(diǎn)t5逐漸降低。因此，可以與其中使用者關(guān)于另一車(chē)輛的記憶隨時(shí)間消失的方式類(lèi)似的方式來(lái)降低另一車(chē)輛X的影像的對(duì)比度。
在本實(shí)施例中，如果車(chē)輛在停車(chē)過(guò)程時(shí)間點(diǎn)臨時(shí)停止，則根據(jù)不斷供應(yīng)的當(dāng)前影像，在影像部分R1中保持具有標(biāo)準(zhǔn)對(duì)比度的影像。隨著時(shí)間逐漸降低與先前影像相關(guān)的影像部分R3的對(duì)比度。例如，當(dāng)車(chē)輛停止時(shí)，隨著時(shí)間將影像部分R3a的對(duì)比度(時(shí)間點(diǎn)t5的對(duì)比度L4)從對(duì)比度L4逐漸降低至對(duì)比度L1。如果時(shí)間進(jìn)一步經(jīng)過(guò)，可將影像部分R3a的對(duì)比度保持在對(duì)比度L1?；蛘撸跋癫糠諶3a的對(duì)比度可以降低至零。在此情況下，如圖6所示，其中利用先前影像示出影像的影像部分R3類(lèi)似于由于過(guò)度曝光而變白的部分。
在參考圖8描述的示例中，使用在不同時(shí)間點(diǎn)獲取的四個(gè)先前影像。但是，根據(jù)其中車(chē)輛運(yùn)動(dòng)以及幀循環(huán)等的方式來(lái)適當(dāng)?shù)卮_定所使用的先前影像的數(shù)量?？梢岳靡粋€(gè)先前影像及當(dāng)前影像，或者利用五個(gè)或更多先前影像及當(dāng)前影像來(lái)生成顯示影像。
二.第二實(shí)施例第二實(shí)施例主要在設(shè)置攝像機(jī)的方式上以及在使用先前影像的方式上不同于第一實(shí)施例。在以下描述中，以相同參考標(biāo)號(hào)來(lái)表示與第一實(shí)施例具有相同結(jié)構(gòu)的部分，并省去對(duì)其的描述。
圖9是平面圖，示出了其中設(shè)置攝像機(jī)10的方式的示例以及其影像由攝像機(jī)10獲取的區(qū)域的示例。如圖9所示，分別在車(chē)輛的前部、側(cè)部及后部中設(shè)置了四個(gè)攝像機(jī)10FR、10SL、10SR及10RR。與第一實(shí)施例中類(lèi)似，每個(gè)攝像機(jī)10FR、10SL、10SR及10RR均為具有魚(yú)眼透鏡的廣角攝像機(jī)。
如圖9示意性所示，在左側(cè)反光鏡中設(shè)置左側(cè)攝像機(jī)10SL來(lái)獲取包括車(chē)輛左側(cè)的路面在內(nèi)的周邊區(qū)域的影像。如圖9示意性所示，在右側(cè)反光鏡中設(shè)置右側(cè)攝像機(jī)10SR來(lái)獲取包括車(chē)輛右側(cè)的路面在內(nèi)的周邊區(qū)域的影像。
圖9示意性地示出了其影像由攝像機(jī)10獲取的區(qū)域的示例。在圖9所示的示例中，每個(gè)攝像機(jī)10均為廣角攝像機(jī)。其影像由每個(gè)攝像機(jī)10獲取的區(qū)域以扇形示出。在圖9中，通過(guò)陰影來(lái)強(qiáng)調(diào)其影像由前方攝像機(jī)10FR獲取的成像區(qū)域Rf以及其影像由右側(cè)攝像機(jī)10SR獲取的成像區(qū)域Rs。如圖9所示，每個(gè)成像區(qū)域可包括與其他成像區(qū)域重疊的至少一個(gè)區(qū)域(例如，圖9中的區(qū)域Rsf)。因此，在圖9所示的示例中，四個(gè)攝像機(jī)10FR、10SL、10SR及10RR彼此配合來(lái)獲取車(chē)輛的整個(gè)周?chē)娘L(fēng)景的影像。因此，乘車(chē)人可判定路面的狀況以及在圍繞車(chē)輛的各個(gè)方向上道路上物體的狀況(例如，道路上的劃線以及障礙物的位置)。對(duì)于其中成像區(qū)域彼此重疊的區(qū)域的最終顯示影像(例如，圖9中的區(qū)域Rsf)，可通過(guò)利用成像區(qū)域的影像中所選擇的一個(gè)影像或者通過(guò)配合方式利用兩者成像區(qū)域中的影像來(lái)生成。
圖10是功能框圖，示出了根據(jù)第二實(shí)施例的影像合成裝置100’的主要功能。影像合成裝置100’的硬件配置主要包括微計(jì)算機(jī)。即，影像合成裝置100’包括CPU、存儲(chǔ)器(例如，ROM、RAM及EEPROM)、計(jì)時(shí)器、計(jì)數(shù)器以及輸入/輸出界面等。CPU根據(jù)預(yù)定執(zhí)行程序執(zhí)行處理。存儲(chǔ)器存儲(chǔ)由CPU執(zhí)行的執(zhí)行程序、影像數(shù)據(jù)以及計(jì)算的結(jié)果等。通過(guò)數(shù)據(jù)總線將CPU、存儲(chǔ)器以及輸入/輸出界面彼此連接。通過(guò)可由CPU訪問(wèn)的存儲(chǔ)器以及由CPU執(zhí)行的程序來(lái)實(shí)現(xiàn)影像合成裝置100’的一部分(將在以下描述)。
根據(jù)本實(shí)施例的影像合成裝置100’包括俯視影像轉(zhuǎn)換部112、車(chē)門(mén)狀態(tài)判定部114、車(chē)輛影像存儲(chǔ)部115’、先前影像存儲(chǔ)部116’以及影像合成部120’。根據(jù)本發(fā)明，先前影像存儲(chǔ)部116’被視為“存儲(chǔ)部”，而影像合成部120’被視為“顯示影像生成部”。
影像合成裝置100’經(jīng)由諸如CAN(控制器局域網(wǎng)絡(luò))的通信線路實(shí)時(shí)接收必要的信息。上述信息可包括從車(chē)速傳感器獲得的車(chē)速信息以及將在以下描述的車(chē)門(mén)狀態(tài)判定處理所需的信息(例如，來(lái)自車(chē)門(mén)開(kāi)關(guān)30的開(kāi)/關(guān)信號(hào))。影像合成裝置100’經(jīng)由通信線路實(shí)時(shí)接收由攝像機(jī)10FR、10SL、10SR及10RR獲取的影像?？梢院线m的幀速將影像以流格式(stream format)傳輸至影像合成裝置100’。影像合成裝置100’通過(guò)進(jìn)行將在以下描述的處理而在各個(gè)幀中生成顯示影像。因此，每次當(dāng)幀改變時(shí)都對(duì)顯示在顯示器20上的顯示影像進(jìn)行更新(即，顯示器20上的顯示影像是活動(dòng)的)。
車(chē)門(mén)狀態(tài)判定部114判定設(shè)置有左右側(cè)攝像機(jī)10SL及10SR的車(chē)門(mén)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)。具體而言，車(chē)門(mén)狀態(tài)判定部114至少判定設(shè)置有左側(cè)攝像機(jī)10SL的左前車(chē)門(mén)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)，以及設(shè)置有右側(cè)攝像機(jī)10SR的右前車(chē)門(mén)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)。車(chē)門(mén)狀態(tài)判定部114可判定可被打開(kāi)/關(guān)閉的全部車(chē)門(mén)的每一個(gè)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)。
例如，車(chē)門(mén)狀態(tài)判定部114可根據(jù)來(lái)自通常設(shè)置在車(chē)門(mén)中的車(chē)門(mén)開(kāi)關(guān)30(即，用于報(bào)警的開(kāi)關(guān)，其在車(chē)門(mén)打開(kāi)時(shí)輸出開(kāi)信號(hào))的輸出來(lái)判定每個(gè)車(chē)門(mén)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)。
或者，車(chē)門(mén)狀態(tài)判定部114可根據(jù)由左右側(cè)攝像機(jī)10SL及10SR獲取的影像來(lái)判定車(chē)門(mén)是否處于打開(kāi)狀態(tài)或關(guān)閉狀態(tài)，因?yàn)樽笥覀?cè)攝像機(jī)10SL及10SR的瞄準(zhǔn)線(光軸)根據(jù)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)而改變，故根據(jù)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)，物體的位置或方向在由左右側(cè)攝像機(jī)10SL及10SR獲取的影像中改變。例如，車(chē)門(mén)狀態(tài)判定部114對(duì)由左右側(cè)攝像機(jī)10SL及10SR獲取的影像進(jìn)行邊緣處理等，由此提取相關(guān)于特定物體的特征點(diǎn)(例如，相關(guān)于道路上的劃線的特征點(diǎn))。然后，車(chē)門(mén)狀態(tài)判定部114監(jiān)控當(dāng)幀改變時(shí)相關(guān)于特定物體的特征點(diǎn)的位置或方向改變的方式。即使車(chē)輛的位置還未改變，但當(dāng)相關(guān)于特定物體的特征點(diǎn)的位置或方向已經(jīng)改變時(shí)，則車(chē)門(mén)狀態(tài)判定部114就判定車(chē)門(mén)是打開(kāi)或是關(guān)閉。
車(chē)輛影像存儲(chǔ)部115’存儲(chǔ)布置在顯示影像的大致中央部分中的車(chē)輛影像。可以準(zhǔn)備示出車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)的不同組合的復(fù)數(shù)個(gè)車(chē)輛影像。即，例如可以模板形式準(zhǔn)備并存儲(chǔ)示出全部車(chē)門(mén)均處于關(guān)閉狀態(tài)的車(chē)輛影像，示出左前車(chē)門(mén)處于打開(kāi)狀態(tài)的車(chē)輛影像，示出右前車(chē)門(mén)處于打開(kāi)狀態(tài)的車(chē)輛影像，以及示出左前車(chē)門(mén)及右前車(chē)門(mén)處于打開(kāi)狀態(tài)的車(chē)輛影像等。
當(dāng)車(chē)門(mén)狀態(tài)判定部114根據(jù)判定結(jié)果判定車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)，先前影像存儲(chǔ)部116’存儲(chǔ)并保留由左右側(cè)攝像機(jī)10SL及10SR獲取的側(cè)面影像。先前影像存儲(chǔ)部116’無(wú)需存儲(chǔ)如上所述隨時(shí)間持續(xù)供應(yīng)的全部側(cè)面影像。當(dāng)車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)，先前影像存儲(chǔ)部116’可以僅存儲(chǔ)并保持由左右側(cè)攝像機(jī)10SL及10SR獲取的最新側(cè)面影像。即，當(dāng)在當(dāng)前幀循環(huán)中車(chē)門(mén)狀態(tài)判定部114判定車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)，就刪除先前存儲(chǔ)的側(cè)面影像(即，在最新幀循環(huán)中或在最新幀循環(huán)之前獲取的側(cè)面影像)，并可存儲(chǔ)并保持在當(dāng)前幀循環(huán)中獲取的側(cè)面影像。例如，當(dāng)車(chē)門(mén)狀態(tài)判定部114判定右前車(chē)門(mén)打開(kāi)時(shí)，先前影像存儲(chǔ)部116’不存儲(chǔ)或保持隨后由右側(cè)攝像機(jī)10SR獲取的影像，盡管可以在其他存儲(chǔ)部分中臨時(shí)存儲(chǔ)由右側(cè)攝像機(jī)10SR獲取的影像。如下所述，由影像合成部120’使用以上述方式存儲(chǔ)在先前影像存儲(chǔ)部116中的側(cè)面影像。俯視影像轉(zhuǎn)換部112對(duì)由左右側(cè)攝像機(jī)10SL及10SR獲取的影像進(jìn)行適當(dāng)?shù)念A(yù)處理以將獲取的影像轉(zhuǎn)換為車(chē)輛兩側(cè)的路面的俯視影像(從上方觀察的影像)。然后，先前影像存儲(chǔ)部116’存儲(chǔ)俯視影像。
當(dāng)車(chē)門(mén)狀態(tài)判定部114判定車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)，影像合成部120’根據(jù)由攝像機(jī)10FR、10SL、10SR及10RR獲取并當(dāng)每次幀改變時(shí)持續(xù)供應(yīng)的影像生成并更新顯示影像。具體而言，影像合成部120’讀取存儲(chǔ)在車(chē)輛影像存儲(chǔ)部115’中的“示出全部車(chē)門(mén)均處于關(guān)閉狀態(tài)的車(chē)輛影像”。然后，影像合成部120’在顯示影像的中央影像部分示出車(chē)輛影像。此外，影像合成部120’在圍繞顯示影像中車(chē)輛影像的合適影像部分中示出由攝像機(jī)10FR、10SL、10SR及10RR獲取的影像。由此生成顯示影像。根據(jù)當(dāng)車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)其影像由攝像機(jī)10FR、10SL、10SR及10RR獲取的成像區(qū)域，預(yù)先確定其中示出由攝像機(jī)10FR、10SL、10SR及10RR獲取的影像的位置(部分)(參考圖9)。在顯示器20上顯示以上述方式生成的顯示影像。
當(dāng)車(chē)門(mén)狀態(tài)判定部114判定右前及左前車(chē)門(mén)中至少一者處于打開(kāi)狀態(tài)時(shí)，影像合成部120’通過(guò)組合在當(dāng)前幀循環(huán)中獲取最新俯視影像(即，當(dāng)前影像)以及在最近幀循環(huán)中或在最近幀循環(huán)之前獲取并存儲(chǔ)在先前影像存儲(chǔ)部116’中的至少一個(gè)先前影像來(lái)合成顯示影像。
圖11示意性地示出了在判定右前及左前車(chē)門(mén)中至少一者處于打開(kāi)狀態(tài)時(shí)的時(shí)間點(diǎn)生成的顯示影像。作為示例，圖11示出了當(dāng)右前車(chē)門(mén)處于打開(kāi)狀態(tài)時(shí)生成的顯示影像。
如本實(shí)施例中，當(dāng)設(shè)置有右側(cè)攝像機(jī)10SR的右前車(chē)門(mén)打開(kāi)時(shí)，右側(cè)攝像機(jī)10SR的瞄準(zhǔn)線的方向改變。因此，直到右前車(chē)門(mén)關(guān)閉為至，隨后便不能獲取右前車(chē)門(mén)后方區(qū)域的影像。即，右前車(chē)門(mén)后方區(qū)域變?yōu)椤懊^(qū)”。因此，當(dāng)右前車(chē)門(mén)處于圖11所示的打開(kāi)狀態(tài)時(shí)，如果僅使用由右側(cè)攝像機(jī)10SR獲取的當(dāng)前影像，就不能夠在顯示影像中車(chē)輛影像右側(cè)的影像部分R3r中示出合適的影像。
但是，在本實(shí)施例中，使用了右前車(chē)門(mén)后方的先前影像。即，當(dāng)車(chē)門(mén)狀態(tài)判定部114判定右前車(chē)門(mén)處于打開(kāi)狀態(tài)時(shí)，影像合成部120’讀取存儲(chǔ)在車(chē)輛影像存儲(chǔ)部115’中的“示出右前車(chē)門(mén)處于打開(kāi)狀態(tài)的車(chē)輛影像”。然后，影像合成部120’在顯示影像的中央影像部分中示出車(chē)輛影像。此外，影像合成部120’分別在顯示影像的前、左及后側(cè)影像部分中示出由攝像機(jī)10FR、10SL以及10RR獲取的影像。此外，影像合成部120’在位于顯示影像中的車(chē)輛影像右側(cè)的影像部分中示出先前影像。由此生成顯示影像。如上所述，上述先前影像是當(dāng)右前車(chē)門(mén)處于關(guān)閉狀態(tài)時(shí)獲取的最新影像(即，在右前車(chē)門(mén)馬上就要打開(kāi)之前獲取的影像)。因此，在從獲取該先前影像的時(shí)間點(diǎn)直至當(dāng)前時(shí)間點(diǎn)(即，車(chē)門(mén)打開(kāi)的時(shí)間點(diǎn))期間，右前車(chē)門(mén)后方區(qū)域(盲區(qū))的情況不太可能會(huì)有很大的改變。因此，因?yàn)槔昧嗣^(qū)的先前影像對(duì)顯示影像做了補(bǔ)充，故在提供右側(cè)攝像機(jī)10SR不能獲取的盲區(qū)的影像的同時(shí)，顯示影像可向使用者提供極其可靠的信息。
與第一實(shí)施例類(lèi)似，第二實(shí)施例中的影像合成部120’根據(jù)車(chē)門(mén)打開(kāi)之后經(jīng)過(guò)的時(shí)間來(lái)降低先前影像的對(duì)比度。即，將其中在判定車(chē)門(mén)打開(kāi)時(shí)的時(shí)間點(diǎn)最初示出先前影像的影像部分的對(duì)比度設(shè)定為較高的值(例如，第一實(shí)施例中的對(duì)比度L4)。然后，在車(chē)門(mén)保持打開(kāi)的同時(shí)，根據(jù)經(jīng)過(guò)的時(shí)間逐漸降低示出先前影像的影像部分的對(duì)比度。如上所述，這是因?yàn)橛上惹坝跋裉峁┑男畔⒌目煽啃噪S著時(shí)間經(jīng)過(guò)而降低。因此，可以根據(jù)可靠性的降低來(lái)顯示先前影像。此外，根據(jù)在獲取特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)逐漸降低其中在復(fù)數(shù)個(gè)幀中的每個(gè)顯示影像中示出特定先前影像的影像部分的對(duì)比度。因此，可以與人類(lèi)記憶隨時(shí)間逐漸消失的方式類(lèi)似的方式來(lái)生成在復(fù)數(shù)個(gè)幀中的顯示影像。
在本實(shí)施例中，例如，當(dāng)未設(shè)置有攝像機(jī)10的車(chē)門(mén)(例如，后車(chē)門(mén))打開(kāi)，且打開(kāi)的后車(chē)門(mén)會(huì)干擾攝像機(jī)10的視野由此產(chǎn)生盲區(qū)時(shí)，可以使用盲區(qū)的先前影像。在此情況下，影像合成部120’也根據(jù)車(chē)門(mén)打開(kāi)之后經(jīng)過(guò)的時(shí)間來(lái)降低先前影像的對(duì)比度。
盡管已經(jīng)詳細(xì)描述了本發(fā)明的示例性實(shí)施例，但本發(fā)明并不限于上述實(shí)施例。不脫離本發(fā)明的精神可以進(jìn)行各種改變及替換。
例如，在上述實(shí)施例每一者中，影像合成部120(120’)可修正對(duì)比度或銳度，由此根據(jù)經(jīng)過(guò)時(shí)間減低相關(guān)于先前影像的影像部分的可見(jiàn)度。但是，除了修正對(duì)比度或銳度之外，可替代地，或額外地，影像合成部120(120’)例如可通過(guò)灰度校正來(lái)提高或降低先前影像的亮度或輝度，由此根據(jù)經(jīng)過(guò)的時(shí)間來(lái)降低與先前影像相關(guān)的影像部分的可見(jiàn)度。例如，影像合成部120(120’)可修正對(duì)比度及亮度，由此根據(jù)經(jīng)過(guò)的時(shí)間來(lái)降低可見(jiàn)度直至影像部分變白(或變黑)。此外，只要可通過(guò)改變諸如色調(diào)及色彩的其他參數(shù)來(lái)改變可見(jiàn)度，就可以使用這些參數(shù)。
權(quán)利要求
1.一種車(chē)輛周邊監(jiān)控系統(tǒng)，在所述車(chē)輛周邊監(jiān)控系統(tǒng)中顯示所述車(chē)輛周邊區(qū)域的影像，所述車(chē)輛周邊監(jiān)控系統(tǒng)的特征在于包括影像獲取裝置(10)，用于獲取至少一部分所述車(chē)輛周邊區(qū)域的影像；存儲(chǔ)裝置(116；116’)，用于存儲(chǔ)由所述影像獲取裝置(10)獲取的所述影像；顯示影像生成裝置(120；120’)，用于利用由所述影像獲取裝置(10)獲取的最新的影像以及在獲取所述最新影像之前獲取的先前影像，來(lái)生成顯示用合成影像；以及在其上顯示所述合成影像的顯示裝置(20)，其中所述顯示影像生成裝置(120；120’)根據(jù)在獲取所述先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述先前影像相關(guān)的影像部分的可見(jiàn)度。
2.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，所述顯示影像生成裝置(120；120’)利用在不同時(shí)間點(diǎn)獲取的復(fù)數(shù)個(gè)先前影像來(lái)生成所述合成影像。
3.根據(jù)權(quán)利要求1或2所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，當(dāng)所述顯示影像生成裝置(120；120’)利用特定先前影像在復(fù)數(shù)個(gè)幀中生成所述合成影像時(shí)，所述顯示影像生成裝置(120；120’)根據(jù)在獲取所述特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)逐漸降低與所述復(fù)數(shù)個(gè)幀中每個(gè)所述合成影像中的所述特定先前影像相關(guān)的影像部分的可見(jiàn)度。
4.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，所述顯示影像生成裝置(120；120’)通過(guò)修正對(duì)比度及亮度中至少一者來(lái)降低與所述先前影像相關(guān)的所述影像部分的可見(jiàn)度。
5.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，還包括，車(chē)輛影像存儲(chǔ)裝置(115；115’)，其用于預(yù)先存儲(chǔ)車(chē)輛影像，其中存儲(chǔ)在所述車(chē)輛影像存儲(chǔ)裝置(115；115’)中的所述車(chē)輛影像被疊加在所述合成影像中，并顯示在所述顯示裝置(20)上。
6.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，還包括，俯視影像轉(zhuǎn)換裝置(112)，其用于通過(guò)進(jìn)行預(yù)處理而將由所述影像獲取裝置(10)獲取的所述影像轉(zhuǎn)換為上空影像，其中所述存儲(chǔ)裝置(116；116’)對(duì)由所述俯視影像轉(zhuǎn)換裝置(112)通過(guò)進(jìn)行所述預(yù)處理將所述影像轉(zhuǎn)換得到的所述俯視影像進(jìn)行存儲(chǔ)。
7.根據(jù)權(quán)利要求6所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，由所述俯視影像轉(zhuǎn)換裝置(112)進(jìn)行的所述預(yù)處理包括坐標(biāo)變換、畸變矯正以及透視矯正中至少一者。
8.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，當(dāng)所述車(chē)輛周邊區(qū)域的特定部分的影像未被包含在與所述最新影像相關(guān)的影像部分中時(shí)，就使用所述特定部分的先前影像。
9.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，設(shè)置復(fù)數(shù)個(gè)所述影像獲取裝置(10)；并且當(dāng)由所述復(fù)數(shù)個(gè)影像獲取裝置(10)獲取的影像彼此部分地重疊時(shí)，所述復(fù)數(shù)個(gè)影像獲取裝置(10)就彼此配合獲取所述影像。
10.根據(jù)權(quán)利要求1所述的車(chē)輛周邊監(jiān)控系統(tǒng)，還包括，車(chē)門(mén)狀態(tài)判定裝置(114)，用于判定所述車(chē)輛的至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)，其中所述影像獲取裝置(10)配置在所述至少一個(gè)車(chē)門(mén)中；并且所述存儲(chǔ)裝置(116；116’)根據(jù)所述至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)來(lái)存儲(chǔ)由配置在所述至少一個(gè)車(chē)門(mén)中的所述影像獲取裝置(10)獲取的影像。
11.根據(jù)權(quán)利要求10所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，所述車(chē)門(mén)狀態(tài)判定裝置(114)通過(guò)對(duì)當(dāng)幀改變時(shí)由配置在所述至少一個(gè)車(chē)門(mén)中的所述影像獲取裝置獲取的影像的改變方式進(jìn)行監(jiān)控來(lái)判定所述至少一個(gè)車(chē)門(mén)的打開(kāi)/關(guān)閉狀態(tài)。
12.根據(jù)權(quán)利要求10所述的車(chē)輛周邊監(jiān)控系統(tǒng)，還包括，車(chē)輛影像存儲(chǔ)裝置(115；115’)，用于預(yù)先存儲(chǔ)表明所述至少一個(gè)車(chē)門(mén)的不同打開(kāi)/關(guān)閉狀態(tài)的復(fù)數(shù)個(gè)車(chē)輛影像，其中根據(jù)由所述車(chē)門(mén)狀態(tài)判定裝置(114)進(jìn)行的判定來(lái)從所述車(chē)輛影像存儲(chǔ)裝置(115；115’)讀取所述復(fù)數(shù)個(gè)車(chē)輛影像中的車(chē)輛影像。
13.一種車(chē)輛周邊監(jiān)控方法，其中顯示所述車(chē)輛周邊區(qū)域的影像，所述車(chē)輛周邊監(jiān)控方法的特征于包括獲取至少一部分所述車(chē)輛周邊區(qū)域的影像；存儲(chǔ)所獲取的影像；利用獲取的最新影像以及在獲取所述最新影像之前獲取的先前影像來(lái)生成合成影像；顯示所述合成影像；并且根據(jù)在獲取所述先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述先前影像相關(guān)的影像部分的可見(jiàn)度。
14.根據(jù)權(quán)利要求13所述的車(chē)輛周邊監(jiān)控方法，其中，利用在不同時(shí)間點(diǎn)獲取的復(fù)數(shù)個(gè)先前影像來(lái)生成所述合成影像。
15.根據(jù)權(quán)利要求13或14所述的車(chē)輛周邊監(jiān)控方法，其中，當(dāng)利用特定先前影像在復(fù)數(shù)個(gè)幀中生成所述合成影像時(shí)，根據(jù)在獲取所述特定先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述復(fù)數(shù)個(gè)幀中每個(gè)所述合成影像中的所述特定先前影像相關(guān)的影像部分的可見(jiàn)度。
16.根據(jù)權(quán)利要求13所述的車(chē)輛周邊監(jiān)控系統(tǒng)，其中，通過(guò)修正對(duì)比度及亮度中至少一者來(lái)降低與所述先前影像相關(guān)的所述影像部分的可見(jiàn)度。
全文摘要
本發(fā)明公開(kāi)了一種車(chē)輛周邊監(jiān)控系統(tǒng)，其中顯示車(chē)輛周邊區(qū)域的影像，其包括影像獲取裝置(10FR，10RR)、存儲(chǔ)裝置(116)、顯示影像生成裝置(120)以及顯示裝置。影像獲取裝置(10FR，10RR)獲取車(chē)輛周邊區(qū)域的至少一部分的影像。存儲(chǔ)裝置(116)存儲(chǔ)由影像獲取裝置(10FR，10RR)獲取的影像。顯示影像生成裝置(120)利用由影像獲取裝置(10FR，10RR)獲取的最新影像以及在獲取最新影像之前獲取的先前影像來(lái)生成顯示用合成影像。在顯示裝置上顯示該合成影像。顯示影像生成裝置(120)根據(jù)在獲取先前影像之后經(jīng)過(guò)的時(shí)間來(lái)降低與所述先前影像相關(guān)的影像部分的可見(jiàn)度。
文檔編號(hào)G01C11/12GK101055176SQ20071009048
公開(kāi)日2007年10月17日 申請(qǐng)日期2007年4月12日 優(yōu)先權(quán)日2006年4月12日
發(fā)明者久門(mén)仁 申請(qǐng)人:豐田自動(dòng)車(chē)株式會(huì)社