專(zhuān)利名稱(chēng)：圖像校準(zhǔn)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像校準(zhǔn)方法及裝置，更詳細(xì)地說(shuō)，涉及將由車(chē)載攝像頭拍攝到的車(chē)輛周?chē)膱D像轉(zhuǎn)換成單一的視點(diǎn)轉(zhuǎn)換合成圖像的處理的改進(jìn)。
背景技術(shù)：
通過(guò)將由車(chē)載攝像頭拍攝到的車(chē)輛后方的圖像顯示在車(chē)載監(jiān)視器上，將對(duì)駕駛員而言成為死角的車(chē)輛后方附近的狀況，作為顯示在車(chē)輛 監(jiān)視器上的圖像進(jìn)行視覺(jué)辯認(rèn)，從而提高車(chē)輛后退時(shí)的視覺(jué)辯認(rèn)性。在這樣將車(chē)載攝像頭的圖像顯示在車(chē)載監(jiān)視器上時(shí)，為了校正車(chē)載攝像頭在車(chē)輛上的安裝狀態(tài)，在車(chē)輛的后方設(shè)置校正用的標(biāo)志，一邊觀察繪制在車(chē)載監(jiān)視器上的校正用標(biāo)志的像，一邊調(diào)整車(chē)載攝像頭的安裝狀態(tài)，使得所述校正用標(biāo)志的像準(zhǔn)確地繪制。此外，對(duì)于由車(chē)載攝像頭獲得的圖像，實(shí)施基于校正用標(biāo)志的像的規(guī)定的運(yùn)算處理，從而準(zhǔn)確地校正繪制在車(chē)載監(jiān)視器上的圖像(專(zhuān)利文獻(xiàn)I)。此外，還進(jìn)行如下處理用多個(gè)車(chē)載攝像頭對(duì)車(chē)輛的整個(gè)周?chē)M(jìn)行拍攝，并將由各車(chē)載攝像頭獲得的多個(gè)圖像分別轉(zhuǎn)換成從車(chē)輛的正上方往下觀察的圖像(俯瞰圖像)，并且執(zhí)行調(diào)整了各圖像之間的位置的映射，從而獲得單一的視點(diǎn)轉(zhuǎn)換合成圖像(專(zhuān)利文獻(xiàn)2)。這種情況下，由于相鄰的兩個(gè)圖像之間需要精度良好地進(jìn)行定位，所以要求高精度的校準(zhǔn)。[在先技術(shù)文獻(xiàn)][專(zhuān)利文獻(xiàn)]專(zhuān)利文獻(xiàn)I :日本特開(kāi)2001-245326號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 :國(guó)際公開(kāi)第00/07373號(hào)小冊(cè)子

發(fā)明內(nèi)容
(發(fā)明要解決的問(wèn)題)但是，以往的校準(zhǔn)方法中，需要嚴(yán)格地確定校正用標(biāo)志與車(chē)輛之間的相對(duì)位置關(guān)系，需要在設(shè)置車(chē)輛之后，相對(duì)于所述車(chē)輛精度良好地設(shè)置校正用標(biāo)志，或者在設(shè)置校正用標(biāo)志之后，相對(duì)于所述校正用標(biāo)志精度良好地設(shè)置車(chē)輛。因此，針對(duì)車(chē)輛生產(chǎn)線下了如下工夫，S卩花費(fèi)用來(lái)改造設(shè)備，提高車(chē)輛與校正用標(biāo)志之間的定位精度。另外，在一旦從生產(chǎn)車(chē)間出廠后在銷(xiāo)售/服務(wù)公司的整備部門(mén)重新進(jìn)行校準(zhǔn)的情況(修理等情況或加裝車(chē)載攝像頭等的情況等)下，需要每次精度良好地設(shè)置校正用標(biāo)志，因此會(huì)進(jìn)一步花費(fèi)作業(yè)工時(shí)。本發(fā)明是鑒于上述情況而提出的，其目的在于提供一種能夠緩和在路面上設(shè)置的校正用標(biāo)志與在所述路面上配置的車(chē)輛之間的相對(duì)位置關(guān)系的嚴(yán)格程度的圖像校準(zhǔn)方法和裝置。(解決問(wèn)題的措施)
本發(fā)明涉及的圖像校準(zhǔn)方法及裝置是利用多個(gè)車(chē)載攝像頭，對(duì)作為校正用標(biāo)志而設(shè)置在路面上的平行且彼此間的距離為已知的多個(gè)線中的至少兩條線和與它們垂直的至少一條線分別進(jìn)行拍攝；對(duì)所獲得的多個(gè)圖像分別利用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正；以使這種變形修正獲得的變形修正圖像(或后述的視點(diǎn)轉(zhuǎn)換合成圖像)中的校正用標(biāo)志的線的像成為直線的方式執(zhí)行調(diào)整內(nèi)部參數(shù)的修正；使用默認(rèn)的外部參數(shù)，將使用被修正了的內(nèi)部參數(shù)所獲得的新的變形修正圖像轉(zhuǎn)換成單一的視點(diǎn)轉(zhuǎn)換合成圖像；并以使所述視點(diǎn)轉(zhuǎn)換合成圖像中的校正用圖像的線的像與實(shí)物的校正用標(biāo)志的線相同地，達(dá)到平行、達(dá)到垂直、使線間的間隔一致、以及在相互不同的圖像之間與校正用標(biāo)志中的同一條線(配置于一條直線上)對(duì)應(yīng)的線的像位于一條直線上的方式來(lái)修正外部參數(shù)，由此緩和在路面上設(shè)置的校正用標(biāo)志與在所述路面上配置的車(chē)輛之間的相對(duì)位置關(guān)系的嚴(yán)格程度。S卩，本發(fā)明的第一圖像校準(zhǔn)方法是如下方法利用設(shè)置在所述車(chē)輛上的多個(gè)攝像頭，對(duì)包含在設(shè)置車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝；對(duì)于由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施基于與所述攝像頭的光學(xué)
特性(例如，車(chē)載攝像頭的拍攝元件的光軸與鏡頭的光軸之間的偏離、由鏡頭形成的像(在拍攝元件上所成的像)的變形(像差等)等)相對(duì)應(yīng)的內(nèi)部參數(shù)的變形修正；基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)(與車(chē)輛之間的相對(duì)位置關(guān)系(三維的空間坐標(biāo)位置)和姿態(tài)(光軸繞三維的各個(gè)軸的角度))相對(duì)應(yīng)的外部參數(shù)，對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像(例如，從車(chē)輛的上方位置往下觀察鉛直的下方時(shí)的圖像即俯瞰圖像)；在所述視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)，所述圖像校準(zhǔn)方法的特征在于，所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線；在各個(gè)所述車(chē)輛周邊圖像中至少分別包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式；對(duì)于所述多個(gè)變形修正圖像的每個(gè)，以使各個(gè)所述變形修正圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；使用根據(jù)被修正后的所述內(nèi)部參數(shù)獲得的新的變形修正圖像，獲得新的視點(diǎn)轉(zhuǎn)換合成圖像，并以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正(I)與所述相互平行的兩條線對(duì)應(yīng)的像相互平行，(2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離，(3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線，(4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。在此，作為校正用標(biāo)志，具體地說(shuō)例如，可以采用至少包括以下線的標(biāo)志等，S卩設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；以將所述第一線和所述第二線之間大致三等分的方式設(shè)置并沿車(chē)寬方向延伸的直線狀的第三線和第四線；分別設(shè)置在車(chē)輛兩個(gè)側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第五線和第六線。但是，在本發(fā)明的第一圖像校準(zhǔn)方法中，并不限定于這種方式的校正用標(biāo)志，只要設(shè)置為至少在各個(gè)車(chē)輛周邊圖像中分別至少包含與相互平行的兩條線對(duì)應(yīng)的線和與分別垂直于這兩條線的一條線對(duì)應(yīng)的像的方式即可。根據(jù)這樣構(gòu)成的本發(fā)明涉及的第一圖像校準(zhǔn)方法，利用設(shè)置在車(chē)輛上的多個(gè)攝像頭，對(duì)包含在設(shè)置車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝；對(duì)于由各攝像頭的每個(gè)所拍攝到的多個(gè)周邊區(qū)域圖像分別實(shí)施基于默認(rèn)的內(nèi)部參數(shù)的變形修正；基于外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得多個(gè)變形修正圖像成為單一的視點(diǎn)轉(zhuǎn)換合成圖像；在所述視點(diǎn)轉(zhuǎn)換處理時(shí)，基于視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的像來(lái)調(diào)整外部參數(shù)，并進(jìn)行視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)。在此，變形修正圖像是反映了內(nèi)部參數(shù)的圖像，而以往的變形修正中，作為內(nèi)部參 數(shù)，利用了設(shè)計(jì)值即默認(rèn)值(忽略個(gè)體差異的通用值)。但是，在本發(fā)明的第一圖像校準(zhǔn)方法中，對(duì)于使用默認(rèn)值的內(nèi)部參數(shù)獲得的變形修正圖像，以使所述變形修正圖像中的校正用標(biāo)志的線的像成為直線的方式修正內(nèi)部參數(shù)，因此，能夠進(jìn)行適于各個(gè)攝像頭的光學(xué)特性的偏差、個(gè)體差異的變形修正。另外，使用基于如上所述地修正了的內(nèi)部參數(shù)而獲得的新的變形修正圖像(校正用標(biāo)志的線的像成為直線)，生成基于默認(rèn)的外部參數(shù)的視點(diǎn)轉(zhuǎn)換合成圖像，但是所生成的視點(diǎn)轉(zhuǎn)換合成圖像因作為基礎(chǔ)的變形修正圖像的精度良好，所以所述視點(diǎn)轉(zhuǎn)換合成圖像的精度也必然高。再者，通過(guò)以所述視點(diǎn)轉(zhuǎn)換合成圖像滿足上述四個(gè)條件(I) (4)的方式來(lái)修正外部參數(shù)，能夠獲得精度更加良好的視點(diǎn)轉(zhuǎn)換合成圖像。此外，上述四個(gè)條件(I) (4)不依賴(lài)于車(chē)輛和校正用標(biāo)志的相對(duì)位置關(guān)系，而是僅規(guī)定視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的線的像之間的關(guān)系(平行、垂直、線間隔、在一條直線上)，因此不要求在相對(duì)于校正用標(biāo)志設(shè)置車(chē)輛時(shí)的、相對(duì)于校正用標(biāo)志的車(chē)輛位置、車(chē)輛姿態(tài)(朝向)的嚴(yán)格性。S卩，在路面上設(shè)置的校正用標(biāo)志和在所述路面上配置的車(chē)輛之間的相對(duì)位置關(guān)系，只要是在一般的停車(chē)場(chǎng)等的停車(chē)線中、通過(guò)通常的停車(chē)操作獲得的車(chē)輛的位置、姿態(tài)的精度(具有實(shí)用級(jí)別的偏離的程度)就足夠了，能夠緩和所述相對(duì)位置關(guān)系的嚴(yán)格程度。這樣，即使車(chē)輛的種類(lèi)(車(chē)輛的大小、形狀等)不同，也能夠原樣地利用通用的校正用標(biāo)志，因此，在每次進(jìn)行校準(zhǔn)時(shí)，無(wú)需按每個(gè)車(chē)輛的種類(lèi)而準(zhǔn)備、設(shè)置專(zhuān)用的校正用標(biāo)志，能夠大幅減輕作業(yè)的勞力、時(shí)間。此外，在本發(fā)明的第一圖像校準(zhǔn)方法中，關(guān)于各變形修正圖像中所包含的與相互平行的兩條線對(duì)應(yīng)的像和與垂直的一條線對(duì)應(yīng)的像是否分別直線狀地延伸，例如通過(guò)圖像處理技術(shù)，將所述像的部分進(jìn)行細(xì)線化，如果所述線上的每隔適當(dāng)間隔的微分值(線的斜率)在某種程度上在一定范圍內(nèi)，則判斷為是直線。在本發(fā)明的第一圖像校準(zhǔn)方法中，以各變形修正圖像為對(duì)象，并以線的像成為直線狀的方式修正內(nèi)部參數(shù)，相對(duì)于此，在后述的本發(fā)明的第二圖像校準(zhǔn)方法中，以視點(diǎn)轉(zhuǎn)換合成圖像為對(duì)象，并以線的像成為直線狀的方式修正內(nèi)部參數(shù)。
在此，可以認(rèn)為線的像越長(zhǎng)，將所述線的像修正成直線狀時(shí)的精度的可靠性越高。在這一點(diǎn)上，由于各攝像頭每個(gè)的變形修正圖像中的線的像比視點(diǎn)轉(zhuǎn)換合成圖像中的線的像長(zhǎng)，所以以各變形修正圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況，相比于以視點(diǎn)轉(zhuǎn)換合成圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況，精度的可靠性更高。因此，本發(fā)明的第一圖像校準(zhǔn)方法能夠提供對(duì)精度的可靠性比后述的本發(fā)明的第二圖像校準(zhǔn)方法更高的校準(zhǔn)。另外，不管各攝像頭每個(gè)的變形修正圖像中的線的像與視點(diǎn)轉(zhuǎn)換合成圖像中的線的像相比，對(duì)應(yīng)的圖像上的像的長(zhǎng)度是否長(zhǎng)，由于與所述像對(duì)應(yīng)的像素的數(shù)量多，所以以使各變形修正圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況，相比于以視點(diǎn)轉(zhuǎn)換合成圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況，精度的可靠性更高。
在這一點(diǎn)上，本發(fā)明的第一圖像校準(zhǔn)方法也能夠提供在精度方面的可靠性比后述的本發(fā)明的第二圖像校準(zhǔn)方法更高的校準(zhǔn)。此外，有時(shí)用于使所有的線的像同時(shí)都成為直線狀的內(nèi)部參數(shù)不一定存在，而這種情況下，只要通過(guò)對(duì)所有的線的像的直線性進(jìn)行綜合評(píng)價(jià)(作為整體，最有平衡性地確保直線性的狀態(tài))來(lái)修正內(nèi)部參數(shù)即可。對(duì)于基于這樣地內(nèi)部參數(shù)被修正后的狀態(tài)、即與校正用標(biāo)志的各線對(duì)應(yīng)的線直線狀地延伸的狀態(tài)下的新的變形修正圖像而生成的新的視點(diǎn)轉(zhuǎn)換合成圖像，按照與校正用標(biāo)志的相互平行的兩條線對(duì)應(yīng)的視點(diǎn)轉(zhuǎn)換合成圖像中的像成為相互平行的方式、與相互平行的兩條線對(duì)應(yīng)的視點(diǎn)轉(zhuǎn)換合成圖像中的像之間的距離成為校正用標(biāo)志的線之間的已知的距離的方式、與校正用標(biāo)志的相互垂直的線對(duì)應(yīng)的視點(diǎn)轉(zhuǎn)換合成圖像中的像相互垂直、且與校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的視點(diǎn)轉(zhuǎn)換合成圖像中的像位于一條直線上的方式，對(duì)外部參數(shù)按進(jìn)行修正，但是視點(diǎn)轉(zhuǎn)換合成圖像中的像是否平行的判斷可以通過(guò)與各線對(duì)應(yīng)的像(大致直線狀的部分)的斜率(微分值)是否一致來(lái)判斷，此外，關(guān)于是否垂直，可以通過(guò)與各線對(duì)應(yīng)的像的斜率之積的值是否為“-I”(將各對(duì)應(yīng)部分用矢量進(jìn)行表示時(shí)，內(nèi)積之值為“O”)來(lái)判斷。另外，這種情況下，有時(shí)也無(wú)法調(diào)整為使對(duì)應(yīng)的像之間成為完全平行狀態(tài)(斜率值嚴(yán)格地相同的狀態(tài))或完全垂直狀態(tài)(斜率之積的值嚴(yán)格地為“-I”)的外部參數(shù)，但這樣的情況下，只要對(duì)于上述的平行性和垂直性通過(guò)綜合評(píng)價(jià)(作為整體，最有平衡性地確保平行性和直線性的狀態(tài))來(lái)調(diào)整外部參數(shù)即可。此外，關(guān)于與校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的視點(diǎn)轉(zhuǎn)換合成圖像中的像是否位于一條直線上，可以通過(guò)將各條線在由X軸和I軸(垂直于X軸)規(guī)定的二維直角坐標(biāo)系上進(jìn)行表示時(shí)的、像的斜率和X截距(或I截距)是否一致來(lái)進(jìn)行判斷。如上所述，根據(jù)本發(fā)明涉及的第一圖像校準(zhǔn)方法，通過(guò)以與校正用標(biāo)志的線對(duì)應(yīng)的、變形修正圖像中的像直線狀地延伸的方式調(diào)整內(nèi)部參數(shù)，與以往的、利用固定的內(nèi)部參數(shù)并調(diào)整外部參數(shù)的校準(zhǔn)相比，能夠?qū)崿F(xiàn)高精度的校準(zhǔn)。此外，根據(jù)本發(fā)明涉及的第一圖像校準(zhǔn)方法，與以往的、僅通過(guò)點(diǎn)進(jìn)行的校準(zhǔn)方法相比，將線作為校正用標(biāo)志，因此與不考慮點(diǎn)之間的變形的以往的校準(zhǔn)相比，能夠提高精度。
作為這些線，采用平行且線間的距離為已知的至少兩條線和垂直于這兩條線的至少一條線，并以視點(diǎn)轉(zhuǎn)換合成圖像中的像的平行程度或垂直程度等、像(線)之間的距離、以及與跨多個(gè)圖像繪制的位于一條直線上的線對(duì)應(yīng)的像位于一條直線上的方式調(diào)整外部參數(shù)，因此對(duì)于視點(diǎn)轉(zhuǎn)換合成圖像的整體，能夠進(jìn)行高精度的校準(zhǔn)。本發(fā)明的第一圖像校準(zhǔn)方法基于變形修正圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)，相對(duì)于此，本發(fā)明的第二圖像校準(zhǔn)方法不是基于變形修正圖像，而是基于視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的線的像的直線性來(lái)修正內(nèi)部參數(shù)。 S卩，本發(fā)明的第二圖像校準(zhǔn)方法是如下方法利用設(shè)置在車(chē)輛上的多個(gè)攝像頭，對(duì)包含在設(shè)置車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝；對(duì)于由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施基于與所述攝像頭的光學(xué)特性對(duì)應(yīng)的內(nèi)部參數(shù)的變形修正；基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)對(duì)應(yīng)的外部參數(shù)，對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像；在所述視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)，所述圖像校準(zhǔn)方法的特征在于，所述校正用標(biāo)志包括相互平行且線彼此間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述車(chē)輛周邊圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式；對(duì)于所述視點(diǎn)轉(zhuǎn)換合成圖像，以使所述視點(diǎn)轉(zhuǎn)換合成圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；使用根據(jù)修正后的所述內(nèi)部參數(shù)而獲得的新的變形修正圖像，來(lái)獲得所述視點(diǎn)轉(zhuǎn)換合成圖像，并以使所獲得的所述視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正(I)與所述相互平行的兩條線對(duì)應(yīng)的像相互平行，(2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離，(3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線，(4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。根據(jù)這樣構(gòu)成的本發(fā)明的第二圖像校準(zhǔn)方法，能夠獲得與上述的本發(fā)明的第一圖像校準(zhǔn)方法相同的作用、效果。但是，關(guān)于本發(fā)明的第一圖像校準(zhǔn)方法，如已經(jīng)敘述的那樣，是基于變形修正圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)的第一圖像校準(zhǔn)方法，與基于視點(diǎn)轉(zhuǎn)換合成圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)的第二圖像校準(zhǔn)方法相比，能夠提高像的直線性的精度，因此，能夠提高內(nèi)部參數(shù)的精度。本發(fā)明的第一圖像校準(zhǔn)裝置是用于實(shí)施本發(fā)明的第一圖像校準(zhǔn)方法的裝置，具備校正用標(biāo)志，預(yù)先設(shè)置在設(shè)置車(chē)輛的路面上；多個(gè)攝像頭，對(duì)包含所述校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域進(jìn)行拍攝，并設(shè)置在所述車(chē)輛上；變形修正單元，對(duì)于由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施基于與所述攝像頭的光學(xué)特性對(duì)應(yīng)的內(nèi)部參數(shù)的變形修正；視點(diǎn)轉(zhuǎn)換處理單元，基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)對(duì)應(yīng)的外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像；以及校準(zhǔn)單元，在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)，所述圖像校準(zhǔn)裝置的特征在于所述校正用標(biāo)志包括相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述車(chē)輛周邊圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，而且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至 少一條線位于一條直線上的方式；所述校準(zhǔn)單元具有內(nèi)部參數(shù)修正單元，對(duì)于所述多個(gè)變形修正圖像的每個(gè)，以使各個(gè)所述變形修正圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；以及外部參數(shù)修正單元，在使用根據(jù)被修正后的內(nèi)部參數(shù)而由所述變形修正單元獲得的新的變形修正圖像，來(lái)獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正(I)與所述相互平行的兩條線對(duì)應(yīng)的像相互平行，(2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離，(3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線，(4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。根據(jù)這樣構(gòu)成的本發(fā)明涉及的第一圖像校準(zhǔn)裝置，設(shè)置在車(chē)輛上的多個(gè)攝像頭對(duì)包含在設(shè)置所述車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝，變形修正單元對(duì)由各攝像頭的每個(gè)所拍攝到的多個(gè)周邊區(qū)域圖像分別實(shí)施基于默認(rèn)的內(nèi)部參數(shù)的變形修正，視點(diǎn)轉(zhuǎn)換處理單元基于外部參數(shù)對(duì)多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得由所述變形修正獲得的多個(gè)變形修正圖像成為單一的視點(diǎn)轉(zhuǎn)換合成圖像，在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí)，校準(zhǔn)單元基于視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的像來(lái)調(diào)整外部參數(shù)并進(jìn)行視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)。校準(zhǔn)單元的內(nèi)部參數(shù)修正單元以對(duì)于多個(gè)變形修正圖像的每個(gè)，使各個(gè)所述變形修正圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整內(nèi)部參數(shù)的修正。另外，校準(zhǔn)單元的外部參數(shù)修正單元，在使用根據(jù)修正后的內(nèi)部參數(shù)并由變形修正單元獲得的新的變形修正圖像而獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足上述的條件(I) (4)的方式，進(jìn)行調(diào)整外部參數(shù)的修正。如上所述，根據(jù)本發(fā)明涉及的第一圖像校準(zhǔn)裝置，以使與校正用標(biāo)志的線對(duì)應(yīng)的、變形修正圖像中的線成為直線狀地延伸的方式調(diào)整內(nèi)部參數(shù)，由此與以往的、利用固定的內(nèi)部參數(shù)并且調(diào)整了外部參數(shù)的校準(zhǔn)相比，能夠?qū)崿F(xiàn)高精度的校準(zhǔn)。此外，根據(jù)本發(fā)明涉及的第一圖像校準(zhǔn)裝置，與以往的、僅通過(guò)點(diǎn)進(jìn)行的校準(zhǔn)裝置相比，將線作為校正用標(biāo)志，因此與不考慮點(diǎn)之間的變形的以往的校準(zhǔn)相比，能夠提高精度。作為這些線，采用平行且線間的距離為已知的至少兩條線和垂直于這兩條線的至少一條線，并以視點(diǎn)轉(zhuǎn)換合成圖像中的像的平行程度、垂直程度、像(線)之間的距離、以及跨多個(gè)圖像映射的位于一條直線上的線所對(duì)應(yīng)的像位于一條直線上的方式調(diào)整外部參數(shù)，因此對(duì)于視點(diǎn)轉(zhuǎn)換合成圖像的整體，能夠進(jìn)行高精度的校準(zhǔn)。本發(fā)明的第一圖像校準(zhǔn)裝置是以各變形修正圖像為對(duì)象且以線的像成為直線狀的方式修正內(nèi)部參數(shù)，相對(duì)于此，后述的本發(fā)明的第二圖像校準(zhǔn)裝置是以視點(diǎn)轉(zhuǎn)換合成圖像為對(duì)象且以線的像成為直線狀的方式修正內(nèi)部參數(shù)。在此，可以認(rèn)為線的像越長(zhǎng)，將所述線的像修正成直線狀時(shí)的精度的可靠性越高。在這一點(diǎn)上，由于各變形修正圖像中的線的像比視點(diǎn)轉(zhuǎn)換合成圖像中的線的像
長(zhǎng)，所以以各變形修正圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況，與以視點(diǎn)轉(zhuǎn)換合成圖像中的線的像成為直線狀的方式修正內(nèi)部參數(shù)的情況相比，精度的可靠性更聞。因此，本發(fā)明的第一圖像校準(zhǔn)裝置與后述的本發(fā)明的第二圖像校準(zhǔn)裝置相比，能夠提供對(duì)精度的可靠性更高的校準(zhǔn)。本發(fā)明的第一圖像校準(zhǔn)裝置是基于變形修正圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)，相對(duì)于此，本發(fā)明的第二圖像校準(zhǔn)裝置不是基于變形修正圖像而是基于視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的線的像的直線性來(lái)修正內(nèi)部參數(shù)。S卩，本發(fā)明的第二圖像校準(zhǔn)裝置具備校正用標(biāo)志，預(yù)先設(shè)置在設(shè)置車(chē)輛的路面上；多個(gè)攝像頭，對(duì)包含所述校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域進(jìn)行拍攝，并設(shè)置在所述車(chē)輛上；變形修正單元，對(duì)由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施基于與所述攝像頭的光學(xué)特性對(duì)應(yīng)的內(nèi)部參數(shù)的變形修正；視點(diǎn)轉(zhuǎn)換處理單元，基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)相對(duì)應(yīng)的外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像；以及校準(zhǔn)單元，在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)，所述圖像校準(zhǔn)裝置的特征在于所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述車(chē)輛周邊圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，而且形成為，在所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式；所述校準(zhǔn)單元具有內(nèi)部參數(shù)修正單元，對(duì)于所述視點(diǎn)轉(zhuǎn)換合成圖像，以使所述視點(diǎn)轉(zhuǎn)換合成圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別成直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；外部參數(shù)修正單元，在利用根據(jù)被修正后的內(nèi)部參數(shù)并由所述變形修正單元獲得的新的變形修正圖像而獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正(I)與所述相互平行的兩條線對(duì)應(yīng)的像相互平行，(2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離，(3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線，(4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。根據(jù)這樣構(gòu)成的本發(fā)明涉及的第二圖像校準(zhǔn)裝置，設(shè)置在車(chē)輛上的多個(gè)攝像頭對(duì)包含在設(shè)置所述車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝，變形修正單元對(duì)于由各攝像頭的每個(gè)所拍攝到的多個(gè)周邊區(qū)域圖像分別實(shí)施基于默認(rèn)的內(nèi)部參數(shù)的變形修正，視點(diǎn)轉(zhuǎn)換處理單元基于外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得多個(gè)變形修正圖像成為單一的視點(diǎn)轉(zhuǎn)換合成圖像，在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí)，校準(zhǔn)單元基于視點(diǎn)轉(zhuǎn)換合成圖像中的校正用標(biāo)志的像來(lái)調(diào)整外部參數(shù)并進(jìn)行視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)。
校準(zhǔn)單元的內(nèi)部參數(shù)修正單元以對(duì)于視點(diǎn)轉(zhuǎn)換合成圖像，使所述視點(diǎn)轉(zhuǎn)換合成圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整內(nèi)部參數(shù)的修正。另外，校準(zhǔn)單元的外部參數(shù)修正單元在利用根據(jù)修正后的內(nèi)部參數(shù)并由變形修正單元獲得的新的變形修正圖像而獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足上述的條件(I) (4)的方式，進(jìn)行調(diào)整外部參數(shù)的修正。根據(jù)這樣構(gòu)成的本發(fā)明的第二圖像校準(zhǔn)裝置，能夠獲得與上述的本發(fā)明的第一圖像校準(zhǔn)裝置相同的作用、效果。但是，關(guān)于本發(fā)明的第一圖像校準(zhǔn)裝置，如已經(jīng)敘述的那樣，基于變形修正圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)的第一圖像校準(zhǔn)裝置，與基于視點(diǎn)轉(zhuǎn)換合成圖像中的像的直線性來(lái)修正內(nèi)部參數(shù)的第二圖像校準(zhǔn)裝置相比，能夠提高像的直線性的精度，因此，能夠提高內(nèi)部參數(shù)的精度。(發(fā)明的效果)根據(jù)本發(fā)明涉及的圖像校準(zhǔn)方法及圖像校準(zhǔn)裝置，能夠緩和在路面上設(shè)置的校正用標(biāo)志與在所述路面上配置的車(chē)輛之間的相對(duì)位置關(guān)系的嚴(yán)格程度。


圖I是表示本發(fā)明的實(shí)施方式I涉及的圖像校準(zhǔn)裝置的簡(jiǎn)要結(jié)構(gòu)的框圖。圖2是表示搭載有四個(gè)攝像頭的車(chē)輛的示意圖。圖3是表示校正用標(biāo)志的一例的圖。圖4A是由各攝像頭拍攝而獲得的周邊區(qū)域圖像之中由前側(cè)攝像頭獲得的圖像。圖4B是由各攝像頭拍攝而獲得的周邊區(qū)域圖像之中由后側(cè)攝像頭獲得的圖像。圖4C是由各攝像頭拍攝而獲得的周邊區(qū)域圖像之中由右側(cè)攝像頭獲得的圖像。圖4D是由各攝像頭拍攝而獲得的周邊區(qū)域圖像之中由左側(cè)攝像頭獲得的圖像。圖5是表示將圖2所示的車(chē)輛設(shè)置在形成有圖3所示的校正用標(biāo)志的路面上的狀態(tài)的一例的圖。圖6A是將各周邊區(qū)域圖像用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與前側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖6B是將各周邊區(qū)域圖像用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與后側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖6C是將各周邊區(qū)域圖像用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與右側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖6D是將各周邊區(qū)域圖像用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與左側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖7A是將各周邊區(qū)域圖像用修正后的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與前側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。 圖7B是將各周邊區(qū)域圖像用修正后的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與后側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖7C是將各周邊區(qū)域圖像用修正后的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與右側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖7D是將各周邊區(qū)域圖像用修正后的內(nèi)部參數(shù)進(jìn)行變形修正后的變形修正圖像中的與左側(cè)攝像頭對(duì)應(yīng)的變形修正圖像。圖8是表示在僅修正內(nèi)部參數(shù)，而外部參數(shù)采用默認(rèn)的參數(shù)的狀態(tài)下，進(jìn)行視點(diǎn)轉(zhuǎn)換處理后的視點(diǎn)轉(zhuǎn)換合成圖像的圖。圖9是表示在對(duì)內(nèi)部參數(shù)和外部參數(shù)均進(jìn)行修正的狀態(tài)下進(jìn)行視點(diǎn)轉(zhuǎn)換處理后的視點(diǎn)轉(zhuǎn)換合成圖像的圖。圖IOA是表示車(chē)輛相對(duì)于校正用標(biāo)志的設(shè)置狀態(tài)不是筆直的姿態(tài)的示意圖。圖IOB是表示圖IOA的設(shè)置狀態(tài)下所獲得的合成俯瞰圖像的圖。圖11是表示本發(fā)明的實(shí)施方式2涉及的圖像校準(zhǔn)裝置的簡(jiǎn)要結(jié)構(gòu)的框圖。圖12是表示作為內(nèi)部參數(shù)和外部參數(shù)均采用默認(rèn)參數(shù)的狀態(tài)下進(jìn)行校準(zhǔn)處理后的視點(diǎn)轉(zhuǎn)換合成圖像的圖。圖13A是米用另一個(gè)方式的校正用標(biāo)志的情況下的例不(其一),是表不能夠米用的校正用標(biāo)志的相當(dāng)于圖5的圖。圖13B是采用另一個(gè)方式的校正用標(biāo)志的情況下的例示(其一)，是采用了圖13A的校正用標(biāo)志的情況下的基于右側(cè)反光鏡的周邊區(qū)域圖像。圖13C是采用另一個(gè)方式的校正用標(biāo)志的情況下的例示(其一)，是采用了圖13A的校正用標(biāo)志的情況下的基于左側(cè)反光鏡的周邊區(qū)域圖像。圖14A是采用另一個(gè)方式的校正用標(biāo)志的情況下的例示(其二)，是表示能夠采用的校正用標(biāo)志的相當(dāng)于圖5的圖。圖14B是采用另一個(gè)方式的校正用標(biāo)志的情況下的例示(其二)，是采用了圖13A的校正用標(biāo)志的情況下的基于右側(cè)反光鏡的周邊區(qū)域圖像。圖14C是采用另一個(gè)方式的校正用標(biāo)志的情況下的例示(其二)，是采用了圖13A的校正用標(biāo)志的情況下的基于左側(cè)反光鏡的周邊區(qū)域圖像。
具體實(shí)施例方式以下，參照附圖，說(shuō)明本發(fā)明涉及的圖像校準(zhǔn)裝置的實(shí)施方式。(實(shí)施方式I)圖I是表示作為本發(fā)明一個(gè)實(shí)施方式的圖像校準(zhǔn)裝置100的結(jié)構(gòu)的框圖。
圖示的校準(zhǔn)裝置100具備四個(gè)攝像頭10 (前部(前側(cè))攝像頭11、后部(后側(cè))攝像頭12、右側(cè)部(右側(cè))攝像頭13、左側(cè)部(左側(cè))攝像頭14)，分別設(shè)置在圖2所示的車(chē)輛200的前部、后部、右側(cè)部和左側(cè)部，并對(duì)包含車(chē)輛200的一部分和在設(shè)置所述車(chē)輛200的路面上預(yù)先描繪的后述的校正用標(biāo)志20 (參照?qǐng)D3)的車(chē)輛200的周邊區(qū)域Rl、R2、R3和R4(參照?qǐng)D2)進(jìn)行拍攝作為周邊區(qū)域圖像SI (參照?qǐng)D4A)、S2 (參照?qǐng)D4B)，S3 (參照?qǐng)D4C)和S4 (參照?qǐng)D4D);圖3所示的校正用標(biāo)志20 (圖5中表示在設(shè)置有校正用標(biāo)志20的路面上設(shè)置有車(chē)輛200的狀態(tài));變形修正處理部30 (變形修正處理單元)，對(duì)于利用各攝像頭11、
12、13、14分別拍攝而獲得的周邊區(qū)域圖像S (利用前側(cè)攝像頭11拍攝周邊區(qū)域(車(chē)輛200的前方)Rl而獲得的周邊區(qū)域圖像SI、利用后側(cè)攝像頭12拍攝周邊區(qū)域(車(chē)輛200的后方區(qū)域)R2而獲得的周邊區(qū)域圖像S2、利用右側(cè)攝像頭13拍攝周邊區(qū)域(車(chē)輛200的右方區(qū)域)R3而獲得的周邊區(qū)域圖像S3、以及利用左側(cè)攝像頭14拍攝周邊區(qū)域(車(chē)輛200的左方區(qū)域)R4而獲得的周邊區(qū)域圖像S4)的每個(gè)，用與相應(yīng)的攝像頭11、12、13、14的光學(xué)特性對(duì)應(yīng)的內(nèi)部參數(shù)M(前側(cè)攝像頭11的內(nèi)部參數(shù)Ml、后側(cè)攝像頭12的內(nèi)部參數(shù)M2、右側(cè)攝像頭13的內(nèi)部參數(shù)M3、左側(cè)攝像頭14的內(nèi)部參數(shù)M4)進(jìn)行去除變形(由攝像頭10中分別包 含的光學(xué)系統(tǒng)(鏡頭等)產(chǎn)生的像差等)的變形修正；視點(diǎn)轉(zhuǎn)換處理部40 (視點(diǎn)轉(zhuǎn)換處理單元)，基于與各攝像頭10在車(chē)輛200上的安裝狀態(tài)對(duì)應(yīng)的外部參數(shù)N (與前側(cè)攝像頭11對(duì)應(yīng)的外部參數(shù)NI、與后側(cè)攝像頭12對(duì)應(yīng)的外部參數(shù)N2、與右側(cè)攝像頭13對(duì)應(yīng)的外部參數(shù)N3、與左側(cè)攝像頭14對(duì)應(yīng)的外部參數(shù)N4)來(lái)對(duì)由所述變形修正分別獲得的四個(gè)變形修正圖像P (與周邊區(qū)域圖像SI對(duì)應(yīng)的變形修正圖像P1、與周邊區(qū)域圖像S2對(duì)應(yīng)的變形修正圖像P2、與周邊區(qū)域圖像S3對(duì)應(yīng)的變形修正圖像P3、與周邊區(qū)域圖像S4對(duì)應(yīng)的變形修正圖像P4)進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得四個(gè)變形修正圖像P成為從車(chē)輛200的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像QO ;校準(zhǔn)部50 (校準(zhǔn)單元)，在進(jìn)行視點(diǎn)轉(zhuǎn)換處理部40的視點(diǎn)轉(zhuǎn)換處理時(shí)，基于視點(diǎn)轉(zhuǎn)換合成圖像QO中的校正用標(biāo)志20的像來(lái)調(diào)整外部參數(shù)N，由此進(jìn)行視點(diǎn)轉(zhuǎn)換合成圖像QO的校準(zhǔn)。在此，校正用標(biāo)志20例如如圖3所示，包括在設(shè)置車(chē)輛200的狀態(tài)(圖5)下，位于車(chē)輛200的前方且沿車(chē)輛200的寬度方向(車(chē)寬方向)延伸的直線狀的第一橫線Hl (第一線);位于車(chē)輛200的后方且沿車(chē)輛200的車(chē)寬方向延伸的直線狀的第四橫線H4 (第四線)；位于第一橫線Hl和第四橫線H4之間且沿車(chē)寬方向延伸的直線狀的第二橫線H2 (第五線)和第三橫線H3 (第六線);位于車(chē)輛200的右側(cè)方且沿車(chē)輛200的前后方向延伸的直線狀的第一縱線Vl (第三線);以及位于車(chē)輛200的左側(cè)方且沿車(chē)輛200的前后方向延伸的直線狀的第二縱線V2 (第四線)。第一橫線Hl、第二橫線H2、第三橫線H3和第四橫線H4相互平行，而且第一橫線Hl與第二橫線H2間的距離被設(shè)定為已知的B，第二橫線H2與第三橫線H3間的距離被設(shè)定為已知的C，第三橫線H3與第四橫線H4間的距離被設(shè)定為已知的D，第一橫線Hl與第四橫線H4間的距離被設(shè)定為已知的E。此外，第一縱線Vl和第二縱線V2也相互平行，而且垂直于各橫線HI、H2、H3、H4，并且第一縱線Vl與第二縱線V2間的距離被設(shè)定為已知的A。校正用標(biāo)志20構(gòu)成為，在各周邊區(qū)域圖像S1、S2、S3、S4中，至少包含與相互平行的兩條線(線Hl、H2、H3、H4中的兩條線或線VI、V2中的兩條線)對(duì)應(yīng)的像Hl、H2、H3、H4、VI、V2 (為了避免說(shuō)明變得復(fù)雜，關(guān)于像的符號(hào)與線的符號(hào)相同。下同。)；以及與分別垂直于這兩條線的一條線(線VI、V2中的一條線或線Hl、H2、H3、H4中的一條線)對(duì)應(yīng)的像VI、V2、H1、H2、H3、H4。具體地說(shuō)，在周邊區(qū)域圖像SI中，描繪了校正用標(biāo)志20的線HI、H2、H3、H4、VI、V2中相互平行的兩條縱線V1、V2的像V1、V2，以及與這兩條縱線V1、V2分別垂直的一條橫線Hl的像Hl (圖4A)。
同樣，在周邊區(qū)域圖像S2中，描繪了校正用標(biāo)志20的線!11、!12、!13、!14、￥1、￥2中相互平行的兩條縱線V1、V2的像V1、V2，以及與這兩條縱線V1、V2分別垂直的一條橫線H4的像H4 (圖4B)。同樣，在周邊區(qū)域圖像S3中，描繪了校正用標(biāo)志20的線!11、!12、!13、!14、￥1、￥2中相互平行的兩條橫線H2、H3的像H2、H3，以及與這兩條橫線H2、H3分別垂直的一條縱線Vl的像Vl (圖4C)。同樣，在周邊區(qū)域圖像S4中，描繪了校正用標(biāo)志20的線!11、!12、!13、!14、￥1、￥2中相互平行的兩條橫線H2、H3的像H2、H3，以及與這兩條橫線H2、H3分別垂直的一條縱線V2的像V2 (圖4D)。此外，作為為滿足后述條件(4)的前提，在各周邊區(qū)域圖像SI、S2、S3、S4中，描繪了也在其他周邊區(qū)域圖像SI、S2、S3、S4中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的任一條的線(VI、V2、H2、H3)的像(VI、V2、H2、H3)。也就是說(shuō)，在周邊區(qū)域圖像SI中，描繪了也在其他周邊區(qū)域圖像S2、S3中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線Vl的像VI，而且描繪了也在其他周邊區(qū)域圖像S2、S4中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線V2的像V2。同樣，在周邊區(qū)域圖像S2中，描繪了也在其他周邊區(qū)域圖像S1、S3中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線Vl的像VI，而且描繪了也在其他周邊區(qū)域圖像SI、S4中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線V2的像V2。另外，在周邊區(qū)域圖像S3中，描繪了也在其他周邊區(qū)域圖像S4中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線Hl的像H1、線H2的像H2、線H3的像H3和線H4的像H4。此外，描繪在周邊區(qū)域圖像S3中的線Hl的像Hl也描繪在其他周邊區(qū)域圖像SI中，線H4的像H4也描繪在其他周邊區(qū)域圖像S2中。同樣，在周邊區(qū)域圖像S4中，描繪了也在其他周邊區(qū)域圖像S3中描繪的、且在現(xiàn)實(shí)的校正用標(biāo)志20中位于一條直線上的線Hl的像H1、線H2的像H2、線H3的像H3和線H4的像H4。此外，描繪在周邊區(qū)域圖像S4中的線Hl的像Hl也描繪在其他周邊區(qū)域圖像SI中，線H4的像H4也描繪在其他周邊區(qū)域圖像S2中。此外，校準(zhǔn)部50具有內(nèi)部參數(shù)修正部51 (內(nèi)部參數(shù)修正單元)，以對(duì)于四個(gè)變形修正圖像Pl P4的每個(gè)，使各變形修正圖像Pl P4中所包含的與相互平行的兩條線對(duì)應(yīng)的像和與垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整內(nèi)部參數(shù)M的修正；以及外部參數(shù)修正部52 (外部參數(shù)修正單元)，在利用根據(jù)修正后的內(nèi)部參數(shù)M并由變形修正處理部30獲得的新的變形修正圖像P11、P12、P13、P14 (根據(jù)默認(rèn)的內(nèi)部參數(shù)的與變形修正圖像Pi對(duì)應(yīng)的新的變形修正圖像P11、根據(jù)默認(rèn)的內(nèi)部參數(shù)M的與變形修正圖像P2對(duì)應(yīng)的新的變形修正圖像P12、根據(jù)默認(rèn)的內(nèi)部參數(shù)M的與變形修正圖像P3對(duì)應(yīng)的新的變形修正圖像P13、根據(jù)默認(rèn)的內(nèi)部參數(shù)M的與變形修正圖像P4對(duì)應(yīng)的新的變形修正圖像P14)而獲得新的視點(diǎn)轉(zhuǎn)換合成圖像QlO時(shí)，使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像QlO滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整外部參數(shù)N的修正(I)與相互平行的兩條線H1、H2、H3、H4或線V1、V2分別對(duì)應(yīng)的像相互平行，(2)與相互平行的兩條線H1、H2、H3、H4或線V1、V2分別對(duì)應(yīng)的像間的距離是校正用標(biāo)志20的線間的已知的距離(八、8、(、03)，(3)與垂直的一條線VI、V2或線HI、H2、H 3、H4對(duì)應(yīng)的像垂直于與平行的兩條線H1、H2、H3、H4或線VI、V2對(duì)應(yīng)的像，(4)與校正用標(biāo)志20中位于一條直線上的線對(duì)應(yīng)的像位于一條直線上。下面，對(duì)本實(shí)施方式的校準(zhǔn)裝置100的作用進(jìn)行說(shuō)明。首先，圖2所示的車(chē)輛200如圖5所示地配置在預(yù)先描繪有圖3所示的校正用標(biāo)志20的平坦路面上，所述車(chē)輛200在其前部設(shè)置有前側(cè)攝像頭11，在其后部設(shè)置有后側(cè)攝像頭12，在其右側(cè)部設(shè)置有右側(cè)攝像頭13，在其左側(cè)部設(shè)置有左側(cè)攝像頭14。車(chē)輛200相對(duì)于所述校正用標(biāo)志20的配置狀態(tài)(車(chē)輛200相對(duì)于校正用標(biāo)志20的橫線H和縱線V的朝向(姿態(tài))、位置)可以是如圖5所示，以在校正用標(biāo)志20的中央以筆直的姿態(tài)(車(chē)輛200的前后方向與校正用標(biāo)志20的縱線VI、V2平行，且車(chē)輛200的寬度方向與校正用標(biāo)志20的橫線HI、H2、H3、H4平行的姿態(tài))配置，但也可以例如如圖IOA所示，以相對(duì)于校正用標(biāo)志20傾斜的姿態(tài)配置。同樣，也可以配置為從校正用標(biāo)志20的中央偏移的位置。下面，對(duì)本實(shí)施方式中的圖5所示的配置狀態(tài)的情況進(jìn)行說(shuō)明，但在所述配置狀態(tài)以外的其它配置狀態(tài)(例如圖IOA的配置狀態(tài))時(shí)，其引起的作用和效果也與圖5的配置狀態(tài)的情況相同。在圖5所示的車(chē)輛200配置在校正用標(biāo)志20上的狀態(tài)下，校準(zhǔn)裝置100的各攝像頭11、12、13、14對(duì)包含車(chē)輛200的一部分和校正用標(biāo)志20的一部分的周邊區(qū)域R1、R2、R3、R4進(jìn)行拍攝，由此由各攝像頭11、12、13、14獲得與周邊區(qū)域R1、R2、R3、R4分別對(duì)應(yīng)的周邊區(qū)域圖像SI (參照?qǐng)D4A)、S2 (參照?qǐng)D4B)、S3 (參照?qǐng)D4C)和S4 (參照?qǐng)D4D)。在由各攝像頭11、12、13、14獲得的周邊區(qū)域圖像S1、S2、S3、S4中，分別包含有與校正用標(biāo)志20中相互平行的至少兩條線V (或線H)對(duì)應(yīng)的像V (或像H)和與垂直于這些線V (或線H)的至少一條線H (或線V)對(duì)應(yīng)的像H (或像V)。具體地說(shuō)，在周邊區(qū)域圖像SI中，描繪有校正用標(biāo)志20的相互平行的兩條縱線Vl、V2的像VI、V2和垂直的一條橫線Hl的像Hl (圖4A);在周邊區(qū)域圖像S2中，描繪有校正用標(biāo)志20的相互平行的兩條縱線VI、V2的像VI、V2和垂直的一條橫線H4的像H4 (圖4B);在周邊區(qū)域圖像S3中，描繪有校正用標(biāo)志20的相互平行的兩條橫線H2、H3的像H2、H3和垂直的一條縱線Vl的像Vl (圖4C);在周邊區(qū)域圖像S4中，描繪有校正用標(biāo)志20的相互平行的兩條橫線H2、H3的像H2、H3和垂直的一條縱線V2的像V2 (圖4D)。在此，如果在由右側(cè)攝像頭13拍攝到的周邊區(qū)域圖像S3和由左側(cè)攝像頭14拍到的周邊區(qū)域圖像S4各自的圖像內(nèi)，以使至少線H2和線H3左右對(duì)稱(chēng)地被拍攝的方式來(lái)設(shè)定校正用標(biāo)志20，或者設(shè)定車(chē)輛200與校正用標(biāo)志20之間的默認(rèn)的位置關(guān)系，則能夠確保線H2的長(zhǎng)度和線H3的長(zhǎng)度均長(zhǎng)，且在進(jìn)行后述的確保直線性的修正時(shí)，能夠進(jìn)一步提高精度，因此是優(yōu)選的；但是也可以不必像本實(shí)施方式的例示那樣在各圖像內(nèi)左右對(duì)稱(chēng)。這些周邊區(qū)域圖像SI S4被輸入到變形修正處理部30，變形輸入處理部30利用默認(rèn)的內(nèi)部參數(shù)M，對(duì)所輸入的各周邊區(qū)域圖像SI S4實(shí)施變形修正，由此，各周邊區(qū)域圖像SI S4如圖6A 圖6D所示地成為在某種程度上修正了變形的變形修正圖像P1、P2、P3、P4。在此，默認(rèn)的內(nèi)部參數(shù)M是忽略攝像頭10的光學(xué)特性的個(gè)體差異而被設(shè)定為一樣的設(shè)計(jì)值，因此，在攝像頭10的光學(xué)特性與設(shè)計(jì)值毫無(wú)差異的理想的情況下，通過(guò)根據(jù)所述默認(rèn)的內(nèi)部參數(shù)M的變形修正，變形修正圖像P1、P2、P3、P4就應(yīng)成為變形被完全修正了的圖像。但是，在實(shí)際的攝像頭10中，由于存在已考慮制造誤差的設(shè)計(jì)允許誤差等，故各個(gè)攝像頭在光學(xué)特性上具有個(gè)體差異。
因而，用于變形修正的內(nèi)部參數(shù)M，因原有的每個(gè)攝像頭10而不同。然而，所述變形修正處理部30最初利用默認(rèn)的內(nèi)部參數(shù)M進(jìn)行變形修正，因此所獲得的變形修正圖像PU P2、P3、P4并不是變形被完全修正了的圖像。在此，本實(shí)施方式的校準(zhǔn)裝置100的校準(zhǔn)部50的內(nèi)部參數(shù)修正部51對(duì)變形修正處理部30的默認(rèn)的內(nèi)部參數(shù)M進(jìn)行修正。由所述內(nèi)部參數(shù)修正部51進(jìn)行的內(nèi)部參數(shù)M的修正是如下處理摸索性地使內(nèi)部參數(shù)M的值依次變化，如圖7所示，使各變形修正圖像S中所包含的校正用標(biāo)志20的線H1、H2、H3、H4、VI、V2的像HI、H2、H3、H4、VI、V2分別收斂成直線狀地延伸的像。各變形修正圖像S中所包含的校正用標(biāo)志20的線!11、!12、!13、!14、￥1、￥2的像H1、H2、H3、H4、V1、V2分別收斂成直線狀地延伸的像時(shí)的、與各攝像頭11 14分別對(duì)應(yīng)的各內(nèi)部參數(shù)Ml M4成為修正后的內(nèi)部參數(shù)。也就是說(shuō)，內(nèi)部參數(shù)Ml M4是在光學(xué)特性上具有個(gè)體差異的攝像頭11 14的每個(gè)的內(nèi)部參數(shù)，變形修正處理部30利用所述攝像頭11 14的每個(gè)的內(nèi)部參數(shù)Ml M4進(jìn)行變形修正，由此各周邊區(qū)域圖像S1、S2、S3、S4如圖7A、圖7B、圖7C、圖7D分別所示地，成為變形被精度良好地修正了的變形修正圖像P11、P12、P13、P14。接著，所獲得的變形修正圖像Pll P14被輸入到視點(diǎn)轉(zhuǎn)換處理部40，視點(diǎn)轉(zhuǎn)換處理部40對(duì)所輸入的各變形修正圖像Pll P14，實(shí)施按照默認(rèn)的外部參數(shù)N的視點(diǎn)轉(zhuǎn)換處理，而生成圖8所示的單一的視點(diǎn)轉(zhuǎn)換合成圖像Q0。另外，在圖8中，視點(diǎn)轉(zhuǎn)換合成圖像QO中，與變形修正圖像Pll對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q11，與變形修正圖像P12對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q12，與變形修正圖像P13對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q13，而與變形修正圖像P14對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q14。在此，在變形修正圖像P11、P12、P13、P14中，校正用標(biāo)志20的線HI、H2、H3、H4、Vl、V2的像Hl、H2、H3、H4、Vl、V2已經(jīng)以成為直線狀的方式完成了修正，因此基于這些變形修正圖像P11、P12、P13、P14生成的各視點(diǎn)轉(zhuǎn)換部分圖像Qll Q14中的校正用標(biāo)志20的^HUH2,H3,H4,VUV2 的像 HI、H2、H3、H4、VI、V2 也成為直線狀。但是，在進(jìn)行視點(diǎn)轉(zhuǎn)換處理部40的視點(diǎn)轉(zhuǎn)換處理時(shí)所用的外部參數(shù)N是忽略各攝像頭10在車(chē)輛200上的安裝狀態(tài)的個(gè)體差異而被設(shè)定為一樣的設(shè)計(jì)值，因此，在攝像頭10的安裝狀態(tài)與設(shè)計(jì)值毫無(wú)差異的理想的情況下，由根據(jù)所述默認(rèn)的外部參數(shù)N的視點(diǎn)轉(zhuǎn)換處理所獲得的視點(diǎn)轉(zhuǎn)換合成圖像QO中的校正用標(biāo)志20的線H1、H2、H3、H4、V1、V2的像H1、H2、H3、H4、V1、V2應(yīng)與現(xiàn)實(shí)的校正用標(biāo)志20中的線HI、H2、H3、H4、VI、V2同樣地相互平行且線的像間的距離與已知的值(A、B、C、D、E) 一致、或者相互垂直，或者跨視點(diǎn)轉(zhuǎn)換部分圖像Qll Q14間的線H2、H3、VI、V2的像H2、H3、VI、V2位于一條直線上。但是，實(shí)際的攝像頭10及車(chē)輛200分別是在具有考慮制造誤差的設(shè)計(jì)允許誤差等的狀態(tài)下進(jìn)行制造，因此在攝像頭10在車(chē)輛200上的安裝位置、安裝姿態(tài)等安裝狀態(tài)方面，肯定會(huì)存在個(gè)體差異。因而，用于視點(diǎn)轉(zhuǎn)換合成處理的外部參數(shù)N原本應(yīng)根據(jù)每個(gè)攝像頭10而不同。然而，所述視點(diǎn)轉(zhuǎn)換處理部40最初利用默認(rèn)的外部參數(shù)N進(jìn)行視點(diǎn)轉(zhuǎn)換處理 ，因此所獲得的視點(diǎn)轉(zhuǎn)換合成圖像QO如圖8所示，其中所包含的校正用標(biāo)志20的線H1、H2、H3、H4、V1、V2的像H1、H2、H3、H4、V1、V2有時(shí)不相互平行、或與線對(duì)應(yīng)的像間的距離不正確、或相互不垂直、或原本應(yīng)位于一條直線上的線不位于一條直線上。因此，本實(shí)施方式的校準(zhǔn)裝置100的校準(zhǔn)部50的外部參數(shù)修正部52對(duì)視點(diǎn)轉(zhuǎn)換處理部40的默認(rèn)的外部參數(shù)N進(jìn)行修正。這種所述外部參數(shù)修正部52的外部參數(shù)N的修正是如下的處理摸索性地使外部參數(shù)N的值依次變化，如圖9所示，以使視點(diǎn)轉(zhuǎn)換合成圖像QO中所包含的校正用標(biāo)志20的線Hl、H2、H3、H4、Vl、V2的像Hl、H2、H3、H4、Vl、V2滿足平行性(條件(I))、垂直性(條件
(3))、線之間距離的適當(dāng)性(條件(2))、位于一條直線上的條件(條件(4))的方式收斂。S卩，外部參數(shù)修正部41修正外部參數(shù)N,以滿足具體是指條件(I — I) (I 一 4)的上述條件(I)、具體是指條件(3-1) (3-4)的上述條件(3)、具體是指條件(2 — I) (2 - 9)的上述條件(2)、以及具體是指條件(4 一 I) (4 一 4)的上述條件(4)。也就是說(shuō)，外部參數(shù)修正部41進(jìn)行分別調(diào)整與前側(cè)攝像頭11對(duì)應(yīng)的外部參數(shù)NI、與后側(cè)攝像頭12對(duì)應(yīng)的外部參數(shù)N2、與右側(cè)攝像頭13對(duì)應(yīng)的外部參數(shù)N3、以及與左側(cè)攝像頭14對(duì)應(yīng)的外部參數(shù)N4的修正，使得(I - I)視點(diǎn)轉(zhuǎn)換部分圖像Qll中與相互平行的兩條線VI、V2分別對(duì)應(yīng)的像VI、V2相互平行；(I - 2)視點(diǎn)轉(zhuǎn)換部分圖像Q12中與相互平行的兩條線VI、V2分別對(duì)應(yīng)的像VI、V2相互平行；(I - 3)視點(diǎn)轉(zhuǎn)換部分圖像Q13中與相互平行的兩條線H2、H3分別對(duì)應(yīng)的像H2、H3相互平行；(I - 4)視點(diǎn)轉(zhuǎn)換部分圖像Q14中與相互平行的兩條線H2、H3分別對(duì)應(yīng)的像H2、H3相互平行；(3 - I)視點(diǎn)轉(zhuǎn)換部分圖像Qll中與垂直的一條線Hl對(duì)應(yīng)的像Hl垂直于與平行的兩條線VI、V2對(duì)應(yīng)的像VI、V2 ；(3 - 2)視點(diǎn)轉(zhuǎn)換部分圖像Q12中與垂直的一條線H4對(duì)應(yīng)的像H4垂直于與平行的兩條線VI、V2對(duì)應(yīng)的像VI、V2 ；(3 - 3)視點(diǎn)轉(zhuǎn)換部分圖像Q13中與垂直的一條線Vl對(duì)應(yīng)的像Vl垂直于與平行的兩條線H2、H3對(duì)應(yīng)的像H2、H3 ;
(3 - 4)視點(diǎn)轉(zhuǎn)換部分圖像Q14中與垂直的一條線V2對(duì)應(yīng)的像V2垂直于與平行的兩條線H2、H3對(duì)應(yīng)的像H2、H3 ;(2 - I)兩個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q11、Q13中與相互平行的兩條線H1、H2分別對(duì)應(yīng)的像H1、H2之間的距離為實(shí)際的校正用標(biāo)志20中的線H1、H2之間的已知的距離B ;(2 - 2)兩個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q11、Q14中與相互平行的兩條線H1、H2分別對(duì)應(yīng)的像H1、H2之間的距離為實(shí)際的校正用標(biāo)志20中的線H1、H2之間的已知的距離B ;(2 - 3)兩個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q12、Q13中與相互平行的兩條線H4、H3分別對(duì)應(yīng)的像H4、H3之間的距離為實(shí)際的校正用標(biāo)志20中的線H4、H3之間的已知的距離D ;
(2 - 4)兩個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q12、Q14中與相互平行的兩條線H4、H3分別對(duì)應(yīng)的像H4、H3之間的距離為實(shí)際的校正用標(biāo)志20中的線H4、H3之間的已知的距離D ;(2 - 5)兩個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q11、Q12中與相互平行的兩條線H1、H4分別對(duì)應(yīng)的像H1、H4之間的距離為實(shí)際的校正用標(biāo)志20中的線H1、H4之間的已知的距離E ;(2 - 6)視點(diǎn)轉(zhuǎn)換部分圖像Qll中與相互平行的兩條線VI、V2分別對(duì)應(yīng)的像VI、V2之間的距離為實(shí)際的校正用標(biāo)志20中的線VI、V2之間的已知的距離A ；(2 - 7)視點(diǎn)轉(zhuǎn)換部分圖像Q12中與相互平行的兩條線VI、V2分別對(duì)應(yīng)的像VI、V2之間的距離為實(shí)際的校正用標(biāo)志20中的線VI、V2之間的已知的距離A ；(2 - 8)視點(diǎn)轉(zhuǎn)換部分圖像Q13中與相互平行的兩條線H2、H3分別對(duì)應(yīng)的像H2、H3之間的距離為實(shí)際的校正用標(biāo)志20中的線H2、H3之間的已知的距離C ；(2 - 9)視點(diǎn)轉(zhuǎn)換部分圖像Q14中與相互平行的兩條線H2、H3分別對(duì)應(yīng)的像H2、H3之間的距離為實(shí)際的校正用標(biāo)志20中的線H2、H3之間的已知的距離C ；(4 - I)視點(diǎn)轉(zhuǎn)換部分圖像Qll中的線Vl的像VI、視點(diǎn)轉(zhuǎn)換部分圖像Q13中的線Vl的像VI、以及視點(diǎn)轉(zhuǎn)換部分圖像Q12中的線Vl的像Vl位于一條直線上；(4 - 2)視點(diǎn)轉(zhuǎn)換部分圖像Qll中的線V2的像V2、視點(diǎn)轉(zhuǎn)換部分圖像Q14中的線V2的像V2、以及視點(diǎn)轉(zhuǎn)換部分圖像Q12中的線V2的像V2位于一條直線上；(4 - 3)視點(diǎn)轉(zhuǎn)換部分圖像Q13中的線H2的像H2、以及視點(diǎn)轉(zhuǎn)換部分圖像Q14中的線H2的像H2位于一條直線上；(4 - 4)視點(diǎn)轉(zhuǎn)換部分圖像Q13中的線H3的像H3、以及視點(diǎn)轉(zhuǎn)換部分圖像Q14中的線H3的像H3位于一條直線上。另外，由外部參數(shù)修正部41進(jìn)行的外部參數(shù)N的調(diào)整優(yōu)選為完全滿足上述條件(I — I) (I — 4)、條件(3 — I) (3 — 4)、條件(2 — I) (2 — 9)、條件(4 — I) (4-4)的全部，但是有時(shí)無(wú)法唯一地求出全部的外部參數(shù)N，因此也可以收斂為平衡良好地大致滿足上述條件(I 一 I) (I 一 4)、條件(3 — I) (3 — 4)、條件(2 — I) (2 —9)、條件(4 一 I) (4 一 4)的外部參數(shù)N。另外，上述的條件收斂時(shí)的外部參數(shù)N成為修正后的參數(shù)N，視點(diǎn)轉(zhuǎn)換處理部40利用所述修正后的外部參數(shù)N對(duì)各變形修正圖像P11、P12、P13、P14進(jìn)行視點(diǎn)轉(zhuǎn)換處理而獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像QlO成為圖9所示的圖像。此外，所述視點(diǎn)轉(zhuǎn)換合成圖像QlO中的與變形修正圖像Pll對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q21，與變形修正圖像P12對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q22，與變形修正圖像P13對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q23，與變形修正圖像P14對(duì)應(yīng)的部分是視點(diǎn)轉(zhuǎn)換部分圖像Q24。此外，關(guān)于線的像是否相互平行，可以通過(guò)將各條線的像用由圖8中的X軸和y軸形成的二維坐標(biāo)系中的線性式進(jìn)行近似，并基于所述線性式的斜率(微分值)是否相同來(lái)判斷。此外，關(guān)于線的像是否相互垂直，可以基于上述線性式中的斜率之積的值是否為“-I”(將各像用矢量進(jìn)行表示時(shí)，它們內(nèi)積之值為“O”)來(lái)判斷。再者，關(guān)于與校正用標(biāo)志20中位于一條直線上的線對(duì)應(yīng)的、視點(diǎn)轉(zhuǎn)換合成圖像QO中的線是否位于一條直線上，可以通過(guò)將各條線在由X軸和I軸(垂直于X軸)規(guī)定的二維直交坐標(biāo)系上進(jìn)行表示時(shí)的、像的斜率和X截距(或y截距)是否一致來(lái)判斷。此外,對(duì)應(yīng)于每個(gè)攝像頭10并表現(xiàn)為一個(gè)符號(hào)的外部參數(shù)N,實(shí)際上包括確定在三維空間中的位置的位置參數(shù)(三個(gè)變量)和確定在三維空間中的朝向的朝向參數(shù)(三個(gè) 變量)，因此各外部參數(shù)NI、N2、N3、N4分別包括六個(gè)變量，外部參數(shù)修正部41調(diào)整共計(jì)24(=6X4)個(gè)變量。如上所述，根據(jù)本實(shí)施方式的第一圖像校準(zhǔn)裝置100，對(duì)于利用默認(rèn)的內(nèi)部參數(shù)M所獲得的變形修正圖像P，以使所述變形修正圖像P中的校正用標(biāo)志20的線H、V的像H、V成為直線的方式修正內(nèi)部參數(shù)M，因此能夠進(jìn)行適應(yīng)了各個(gè)攝像頭10的光學(xué)特性的偏差、個(gè)體差異的變形修正，能夠獲得高精度的變形修正圖像。再者，利用基于如上所述地修正了的內(nèi)部參數(shù)獲得的新的變形修正圖像(校正用標(biāo)志20的線H、V的像H、V成為直線)，生成基于默認(rèn)值的外部參數(shù)N的視點(diǎn)轉(zhuǎn)換合成圖像Q0，但是所生成的視點(diǎn)轉(zhuǎn)換合成圖像QO因成為基礎(chǔ)的變形修正圖像P的精度良好，所以所述視點(diǎn)轉(zhuǎn)換合成圖像QO的精度也必然高。再者，以所述視點(diǎn)轉(zhuǎn)換合成圖像QO滿足上述四個(gè)條件(I) (4)的方式修正外部參數(shù)N，由此能夠獲得精度更加良好的視點(diǎn)轉(zhuǎn)換合成圖像Q10。此外，上述四個(gè)條件(I) (4)不依賴(lài)于車(chē)輛200與校正用標(biāo)志20的相對(duì)位置關(guān)系，而是僅規(guī)定視點(diǎn)轉(zhuǎn)換合成圖像QO中的校正用標(biāo)志20的線H、V的像H、V之間的關(guān)系(平行、垂直、線間隔、在一條直線上)，因此不要求相對(duì)于校正用標(biāo)志20設(shè)置車(chē)輛200時(shí)的、車(chē)輛200相對(duì)于校正用標(biāo)志20的位置、車(chē)輛200的姿態(tài)(朝向)的嚴(yán)格性。S卩，設(shè)置在路面上的校正用標(biāo)志20和配置在所述路面上的車(chē)輛200之間的相對(duì)位置關(guān)系，只要是一般的停車(chē)場(chǎng)等的停車(chē)線中，通過(guò)通常的停車(chē)操作獲得的車(chē)輛200的位置、姿態(tài)的精度(具有實(shí)用級(jí)別的偏離的程度)就足夠了，能夠緩和所述相對(duì)位置關(guān)系的嚴(yán)格程度。這樣，即使車(chē)輛200的種類(lèi)(車(chē)輛的大小、形狀等)不同，也能夠原樣地利用通用的校正用標(biāo)志20，因此，在每次進(jìn)行校準(zhǔn)時(shí)，無(wú)需按每個(gè)車(chē)輛200的種類(lèi)而準(zhǔn)備、設(shè)置專(zhuān)用的校正用標(biāo)志20，能夠大幅減輕作業(yè)的勞力、時(shí)間。如上所述，根據(jù)本實(shí)施方式的圖像校準(zhǔn)裝置100，以使與校正用標(biāo)志20的線H、V對(duì)應(yīng)的變形修正圖像P中的像H、v成直線狀地延伸的方式調(diào)整內(nèi)部參數(shù)M，由此與以往的、利用固定的內(nèi)部參數(shù)且調(diào)整了外部參數(shù)N的校準(zhǔn)相比，能夠?qū)崿F(xiàn)高精度的校準(zhǔn)。此外，根據(jù)本實(shí)施方式的圖像校準(zhǔn)裝置100，與以往的、僅通過(guò)點(diǎn)進(jìn)行的校準(zhǔn)方法相比，將線作為校正用標(biāo)志20，因此與不考慮點(diǎn)之間的變形的以往的校準(zhǔn)相比，能夠提高精度。作為這些線H、V，采用平行且線間的距離為已知的至少兩條線和垂直于這兩條線的至少一條線，并以視點(diǎn)轉(zhuǎn)換合成圖像QO中的像H、V的平行程度、垂直程度、像(線)之間的距離、以及在跨兩個(gè)以上的視點(diǎn)轉(zhuǎn)換部分圖像中描繪的位于一條直線上的線H、V所對(duì)應(yīng)的像H、V位于一條直線上的方式調(diào)整外部參數(shù)N，因此對(duì)于視點(diǎn)轉(zhuǎn)換合成圖像QO的整體，能夠進(jìn)行高精度的校準(zhǔn)。此外，本實(shí)施方式的圖像校準(zhǔn)裝置100采用了包括沿車(chē)寬方向延伸的相互平行的直線狀的第一橫線Hl、第二橫線H2、第三橫線H3、第四橫線H4和沿車(chē)輛200的前后方向延伸的相互平行的直線狀的并垂直于各橫線H1、H2、H3、H4的縱線V1、V2作為校正用標(biāo)志20，且采用各線間的距離為已知的簡(jiǎn)單的結(jié)構(gòu)，這種結(jié)構(gòu)簡(jiǎn)單的校正用標(biāo)志20是準(zhǔn)備獲得的，而且即使在路面上描繪而形成，也能夠簡(jiǎn)單地描繪，因此能夠?qū)崿F(xiàn)容易的處理。另外，本實(shí)施方式的校準(zhǔn)裝置100的外部參數(shù)修正部52根據(jù)按上述(I) (4)的條件反復(fù)進(jìn)行運(yùn)算來(lái)修正外部參數(shù)N，使得視點(diǎn)轉(zhuǎn)換合成圖像QO收斂成視點(diǎn)轉(zhuǎn)換合成圖·像Q10，但是本發(fā)明的圖像校準(zhǔn)裝置不限定于這種方式，外部參數(shù)修正部52也可以在上述(I) (4)的條件上加上條件(5)(利用外部參數(shù)的默認(rèn)值確定具有可靠性的線的像)，來(lái)進(jìn)行調(diào)整外部參數(shù)N的修正。這樣，不僅利用上述(I) (4)的條件，還利用外部參數(shù)的默認(rèn)值來(lái)確定具有可靠性的線的像，由此能夠減少用于收斂成新的視點(diǎn)轉(zhuǎn)換合成圖像QlO的反復(fù)運(yùn)算的次數(shù)，能夠縮短達(dá)到收斂的經(jīng)過(guò)時(shí)間。(實(shí)施方式2)圖11是表示本發(fā)明的第二實(shí)施方式的圖像校準(zhǔn)裝置100的結(jié)構(gòu)的框圖。圖示的校準(zhǔn)裝置100的校準(zhǔn)部50的內(nèi)部參數(shù)修正部51以基于四個(gè)變形修正圖像Pl P4 (通過(guò)基于被修正之前的內(nèi)部參數(shù)(默認(rèn)的內(nèi)部參數(shù))的變形修正而獲得的變形修正圖像)被視點(diǎn)轉(zhuǎn)換處理了的視點(diǎn)轉(zhuǎn)換合成圖像Q的各視點(diǎn)轉(zhuǎn)換部分圖像中所包含的與相互平行的兩條線對(duì)應(yīng)的像和與垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式進(jìn)行調(diào)整內(nèi)部參數(shù)M的修正，這一點(diǎn)不同于圖I所示的實(shí)施方式I的校準(zhǔn)裝置100，除此之外的其他構(gòu)成與實(shí)施方式I的校準(zhǔn)裝置100相同，故省略說(shuō)明。此外，關(guān)于作用、效果，特別是除后述以外的部分與實(shí)施方式I的校準(zhǔn)裝置100相同，故省略說(shuō)明。內(nèi)部參數(shù)修正部51修正內(nèi)部參數(shù)時(shí)的、作為調(diào)整校正用標(biāo)志20的線的像的直線性的對(duì)象的圖像，在實(shí)施方式I的校準(zhǔn)裝置100中是變形修正圖像Pl P4(用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正而獲得的變形修正圖像參照?qǐng)D6)，相對(duì)于此，在實(shí)施方式2的校準(zhǔn)裝置100中是構(gòu)成視點(diǎn)轉(zhuǎn)換合成圖像Q20 (將用默認(rèn)的內(nèi)部參數(shù)進(jìn)行變形修正而獲得的四個(gè)變形修正圖像Pl P4用默認(rèn)的外部參數(shù)進(jìn)行視點(diǎn)轉(zhuǎn)換處理而獲得的視點(diǎn)轉(zhuǎn)換合成圖像 參照?qǐng)D12)的四個(gè)視點(diǎn)轉(zhuǎn)換部分圖像Q21 Q24。實(shí)施方式2的校準(zhǔn)裝置100的內(nèi)部參數(shù)修正部51對(duì)于圖12所示的視點(diǎn)轉(zhuǎn)換部分圖像Q21 Q24的每個(gè)，以使各視點(diǎn)轉(zhuǎn)換部分圖像Q21 Q24中所包含的與相互平行的兩條線對(duì)應(yīng)的像和與垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式進(jìn)行調(diào)整內(nèi)部參數(shù)M的修正，并將修正后的內(nèi)部參數(shù)M反饋給變形修正處理部30，變形修正處理部30基于所述被修正后的內(nèi)部參數(shù)M對(duì)各周邊區(qū)域圖像SI S4分別進(jìn)行變形修正，由此獲得結(jié)果上來(lái)看與實(shí)施方式I的校準(zhǔn)裝置100同樣地被變形修正了的變形修正圖像Pll P14，這些變形修正圖像Pll P14被輸入到視點(diǎn)轉(zhuǎn)換處理部40，視點(diǎn)轉(zhuǎn)換處理部40用默認(rèn)的外部參數(shù)N對(duì)所輸入的變形修理圖像Pll P14進(jìn)行視點(diǎn)轉(zhuǎn)換處理，由此獲得結(jié)果上來(lái)看與實(shí)施方式I的校準(zhǔn)裝置100中所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像QO (參照?qǐng)D8)實(shí)質(zhì)上相同的視點(diǎn)轉(zhuǎn)換合成圖像(以下，稱(chēng)作視點(diǎn)轉(zhuǎn)換合成圖像QO)。之后，外部參數(shù)修正部52通過(guò)與實(shí)施方式I的校準(zhǔn)裝置100中的外部參數(shù)修正部52相同的作用，以視點(diǎn)轉(zhuǎn)換合成圖像QO滿足條件(I 一 I) (I 一 4)、條件(3 — I) (3 — 4)、條件(2 — I) (2 — 9)、條件(4 — I) (4 一 4)的方式進(jìn)行調(diào)整外部參數(shù)N的修正，視點(diǎn)轉(zhuǎn)換處理部40用所述被修正了的外部參數(shù)N反復(fù)進(jìn)行運(yùn)算，由此獲得圖9所示的視點(diǎn)轉(zhuǎn)換合成圖像QlO。其結(jié)果，利用本實(shí)施方式2的圖像校準(zhǔn)裝置100也能夠獲得與實(shí) 施方式I的校準(zhǔn)裝置100相同的效果。然而，實(shí)施方式2的校準(zhǔn)裝置100以視點(diǎn)轉(zhuǎn)換合成圖像Q為對(duì)象且以線的像成為直線狀的方式修正內(nèi)部參數(shù)M，相對(duì)于此，實(shí)施方式I的校準(zhǔn)裝置100以各變形修正圖像P為對(duì)象且以線的像成為直線狀的方式修正內(nèi)部參數(shù)M。在此，可以認(rèn)為線的像越長(zhǎng)，將所述線的像修正成直線狀時(shí)的精度的可靠性越高。在這一點(diǎn)上，由于各變形修正圖像P中的線的像比視點(diǎn)轉(zhuǎn)換合成圖像Q中的線的像長(zhǎng)，所以與以視點(diǎn)轉(zhuǎn)換合成圖像Q中的線的像成為直線狀的方式修正內(nèi)部參數(shù)M的情況相比，以各變形修正圖像P中的線的像成為直線狀的方式修正內(nèi)部參數(shù)M的情況的精度的
可靠性更高。因此，實(shí)施方式I的圖像校準(zhǔn)裝置100與實(shí)施方式2的圖像校準(zhǔn)裝置100相比，能夠提供對(duì)精度的可靠性更高的校準(zhǔn)。上述的各實(shí)施方式中，作為校正用標(biāo)志20，是包括圖3所示的相互平行的四條線Hl H4 (沿車(chē)輛200的寬度方向延伸的線)和相互平行的兩條線V1、V2 (沿車(chē)輛的前后方向延伸的線)，且如圖5所示地端部的兩條橫線H1、H4和兩條縱線V1、V2相對(duì)于車(chē)輛200位于外側(cè)，而本發(fā)明涉及的圖像校準(zhǔn)裝置不限定于這些實(shí)施方式，例如，可以采用圖13A所示的標(biāo)志、圖14A所示的標(biāo)志等。S卩，只要是形成為，在由各攝像頭10拍攝到的周邊區(qū)域圖像SI S4中，分別至少包含與相互平行的兩條線對(duì)應(yīng)的像和分別垂直于這兩條線的一條線對(duì)應(yīng)的像，而且在校正用標(biāo)志20中所包含的線中，位于一個(gè)攝像頭10的拍攝范圍內(nèi)的至少一條線和位于其他攝像頭10的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式即可，因此雖然也與右側(cè)攝像頭13、左側(cè)攝像頭14的設(shè)置狀態(tài)(沿車(chē)輛前后方向的前后方向位置、光軸的朝向等)有關(guān)，但即使是省略了橫線H2和橫線H3中的一個(gè)或兩者的形式的校正用標(biāo)志，也可以構(gòu)成本發(fā)明涉及的圖像校準(zhǔn)裝置。圖13A的校正用標(biāo)志20至少包括設(shè)置在車(chē)輛200的前方并沿車(chē)寬方向延伸的直線狀的橫線Hl (第一線);設(shè)置在車(chē)輛200的后方并沿車(chē)寬方向延伸的直線狀的橫線H4 (第二線)；設(shè)置在橫線Hl和橫線H4之間并沿車(chē)寬方向延伸的直線狀的橫線H3 (第六線)(也可以代替橫線H3 (第六線)地是橫線H2 (第五線))；分別設(shè)置在車(chē)輛200的兩側(cè)方并沿車(chē)輛前后方向延伸的直線狀的縱線Vl (第三線)和縱線V2 (第四線)。此外，相互平行的線H1、H4之間的距離、相互平行的線H1、H3之間的距離、以及相互平行的線VI、V2之間的距離，與上述的實(shí)施方式相同均是已知的。根據(jù)具備如上述圖13A所示地構(gòu)成的校正用標(biāo)志20的圖像校準(zhǔn)裝置100，將應(yīng)針對(duì)圖3所示的校正用標(biāo)志20中的橫線H2的像H2進(jìn)行的直線性 的確保(變形修正中的內(nèi)部參數(shù)M的修正)或其他橫線H3、H4等之間的平行性、縱線VI、V2以及其他橫線H3、H4之間的線間距離等的確保(視點(diǎn)轉(zhuǎn)換處理中的外部參數(shù)N的修正)的處理等，設(shè)為應(yīng)針對(duì)圖13A所示的校正用標(biāo)志20中的橫線Hl的像Hl進(jìn)行的處理(直線性的確保(變形修正中的內(nèi)部參數(shù)M的修正)、其他橫線H3、H4等之間的平行性、縱線V1、V2以及其他橫線H3、H4之間的線間距離等的確保(視點(diǎn)轉(zhuǎn)換處理中的外部參數(shù)N的修正)等)，據(jù)此能夠獲得與具備圖3所示的校正用標(biāo)志20的圖像校準(zhǔn)裝置100相同的作用、效果。此外，在具備如圖13A所示地構(gòu)成的校正用標(biāo)志20的圖像校準(zhǔn)裝置100中，相當(dāng)于圖4C的根據(jù)右側(cè)攝像頭13的周邊區(qū)域圖像S3成為圖13B所示的圖像，相當(dāng)于圖4D的根據(jù)左側(cè)攝像頭14的周邊區(qū)域圖像S3成為圖13C所示的圖像。此外，圖14A的校正用標(biāo)志20至少包括設(shè)置在車(chē)輛200的前方并沿車(chē)寬方向延伸的直線狀的橫線Hl (第一線);設(shè)置在車(chē)輛200的后方并沿車(chē)寬方向延伸的直線狀的橫線H4 (第二線);以及分別設(shè)置在車(chē)輛200的兩側(cè)方并沿車(chē)輛前后方向延伸的直線狀的縱線Vl(第三線)和縱線V2 (第四線)。此外，相互平行的線H1、H4之間的距離以及相互平行的線VI、V2之間的距離與上述的實(shí)施方式同樣地均是已知的。根據(jù)具備如上述圖14A所示地構(gòu)成的校正用標(biāo)志20的圖像校準(zhǔn)裝置100，將應(yīng)針對(duì)圖13A所示的校正用標(biāo)志20中的橫線H3的像H3進(jìn)行的直線性的確保(變形修正中的內(nèi)部參數(shù)M的修正)或其他橫線H4等之間的平行性、縱線VI、V2以及與其他橫線H4之間的線間距離等的確保(視點(diǎn)轉(zhuǎn)換處理中的外部參數(shù)N的修正)的處理等，設(shè)為應(yīng)針對(duì)圖14A所示的校正用標(biāo)志20中的橫線Hl的像Hl進(jìn)行的處理(直線性的確保(變形修正中的內(nèi)部參數(shù)M的修正)或其他橫線H4等之間的平行性、縱線V1、V2以及與其他橫線H3、H4之間的線間距離等的確保(視點(diǎn)轉(zhuǎn)換處理中的外部參數(shù)N的修正)等)，據(jù)此能夠獲得與具備圖13A所示的校正用標(biāo)志20的圖像校準(zhǔn)裝置100相同的作用、效果。此外，在具備如圖14A所示地構(gòu)成的校正用標(biāo)志20的圖像校準(zhǔn)裝置100中，相當(dāng)于圖4C的根據(jù)右側(cè)攝像頭13的周邊區(qū)域圖像S3成為圖14B所示的圖像，相當(dāng)于圖4D的根據(jù)左側(cè)攝像頭14的周邊區(qū)域圖像S3成為圖14C所示的圖像。上述的圖14A所示的校正用標(biāo)志20的、描繪在周邊區(qū)域圖像S3、S4 (圖14B、圖14C)中的橫線Hl、H4的像HI、H4的長(zhǎng)度比描繪在圖4C、圖4D所示的周邊區(qū)域圖像S3、S4中的橫線H2、H3的像H2、H3的長(zhǎng)度短，因此關(guān)于根據(jù)直線性的確保進(jìn)行的內(nèi)部參數(shù)M的修正的精度，利用圖3所示的校正用標(biāo)志20的校準(zhǔn)裝置100 —方更高。此外，上述的各實(shí)施方式的校準(zhǔn)裝置100是有關(guān)本發(fā)明涉及的圖像校準(zhǔn)裝置的實(shí)施方式，但所述校準(zhǔn)裝置100的作用能夠采用有關(guān)本發(fā)明涉及的圖像校準(zhǔn)方法的實(shí)施方式。相關(guān)申請(qǐng)的相互引用
本申請(qǐng)根據(jù)于2010年6月29日在日本國(guó)特許廳提出申請(qǐng)的特愿2011-147128并主張優(yōu)先權(quán)，其全部的公開(kāi)通過(guò)引用完 全包含于本說(shuō)明書(shū)中。
權(quán)利要求
1.一種圖像校準(zhǔn)方法，其中， 利用設(shè)置在所述車(chē)輛上的多個(gè)攝像頭，對(duì)包含在設(shè)置車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝； 基于與所述攝像頭的光學(xué)特性相對(duì)應(yīng)的內(nèi)部參數(shù)，對(duì)由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施變形修正； 基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)相對(duì)應(yīng)的外部參數(shù)，對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像； 在所述視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)， 所述圖像校準(zhǔn)方法的特征在于 所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述周邊區(qū)域圖像中至少分別包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式； 對(duì)于所述多個(gè)變形后的各個(gè)修正圖像，以各個(gè)所述變形修正圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正； 使用根據(jù)被修正后的所述內(nèi)部參數(shù)獲得的新的變形修正圖像，獲得新的視點(diǎn)轉(zhuǎn)換合成圖像，并以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正 (O與所述相互平行的兩條線對(duì)應(yīng)的像相互平行， (2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離， (3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線， (4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。
2.一種圖像校準(zhǔn)方法，其中， 利用設(shè)置在所述車(chē)輛上的多個(gè)攝像頭，對(duì)包含在設(shè)置所述車(chē)輛的路面上預(yù)先設(shè)置的校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域分別進(jìn)行拍攝； 基于與所述攝像頭的光學(xué)特性對(duì)應(yīng)的內(nèi)部參數(shù)，對(duì)由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施的變形修正； 基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)相對(duì)應(yīng)的外部參數(shù)，對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像； 在所述視點(diǎn)轉(zhuǎn)換處理時(shí)，通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)， 所述圖像校準(zhǔn)方法的特征在于 所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述周邊區(qū)域圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式； 對(duì)于所述視點(diǎn)轉(zhuǎn)換合成圖像，以所述視點(diǎn)轉(zhuǎn)換合成圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正； 使用根據(jù)修正后的所述內(nèi)部參數(shù)而獲得的新的變形修正圖像，來(lái)獲得新的視點(diǎn)轉(zhuǎn)換合成圖像，并以使所獲得的所述視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正 (O與所述相互平行的兩條線對(duì)應(yīng)的像相互平行， (2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離， (3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線， (4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。
3.根據(jù)權(quán)利要求I或2所述的圖像校準(zhǔn)方法，其特征在于，所述調(diào)整外部參數(shù)的修正是在所述(I) (4)的條件上加上下述條件(5)來(lái)進(jìn)行的 (5)外部參數(shù)的默認(rèn)值。
4.根據(jù)權(quán)利要求I或2所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；設(shè)置在所述第一線與所述第二線之間并沿車(chē)寬方向延伸的直線狀的第三線和第四線；以及分別設(shè)置在車(chē)輛兩個(gè)側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第五線和第六線。
5.根據(jù)權(quán)利要求I或2所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；設(shè)置在所述第一線與所述第二線之間并沿車(chē)寬方向延伸的直線狀的第五線；以及分別設(shè)置在車(chē)輛兩個(gè)側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第三線和第四線。
6.根據(jù)權(quán)利要求I或2所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；以及分別設(shè)置在車(chē)輛兩個(gè)側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第三線和第四線。
7.一種圖像校準(zhǔn)裝置，具備 校正用標(biāo)志，預(yù)先設(shè)置在設(shè)置車(chē)輛的路面上； 多個(gè)攝像頭，對(duì)包含所述校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域進(jìn)行拍攝，并設(shè)置在所述車(chē)輛上； 變形修正單元，基于與所述攝像頭的光學(xué)特性相對(duì)應(yīng)的內(nèi)部參數(shù)，對(duì)由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施的變形修正； 視點(diǎn)轉(zhuǎn)換處理單元，基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)相對(duì)應(yīng)的外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像；以及 校準(zhǔn)單元,在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí),通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)， 所述圖像校準(zhǔn)裝置的特征在于 所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述周邊區(qū)域圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式； 所述校準(zhǔn)單元具有內(nèi)部參數(shù)修正單元，對(duì)于所述多個(gè)變形修正后的各個(gè)圖像，以各個(gè)所述變形修正圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；外部參數(shù)修正單元，在使用根據(jù)被修正后的內(nèi)部參數(shù)而由所述變形修正單元獲得的新的變形修正圖像，來(lái)獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正 (O與所述相互平行的兩條線對(duì)應(yīng)的像相互平行， (2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離， (3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線， (4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。
8.一種圖像校準(zhǔn)裝置，具備 校正用標(biāo)志，預(yù)先設(shè)置在設(shè)置車(chē)輛的路面上； 多個(gè)攝像頭，對(duì)包含所述校正用標(biāo)志的所述車(chē)輛的周邊區(qū)域進(jìn)行拍攝，并設(shè)置在所述車(chē)輛上； 變形修正單元，基于與所述攝像頭的光學(xué)特性相對(duì)應(yīng)的內(nèi)部參數(shù)，對(duì)由所述攝像頭的每個(gè)所拍攝到的周邊區(qū)域圖像分別實(shí)施的變形修正； 視點(diǎn)轉(zhuǎn)換處理單元，基于與所述攝像頭在所述車(chē)輛上的安裝狀態(tài)相對(duì)應(yīng)的外部參數(shù)對(duì)由所述變形修正獲得的多個(gè)變形修正圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理，使得所述多個(gè)變形修正圖像成為從所述車(chē)輛的上方往下觀察而獲得的單一的視點(diǎn)轉(zhuǎn)換合成圖像；以及 校準(zhǔn)單元,在進(jìn)行所述視點(diǎn)轉(zhuǎn)換處理單元的視點(diǎn)轉(zhuǎn)換處理時(shí),通過(guò)基于所述視點(diǎn)轉(zhuǎn)換合成圖像中的所述校正用標(biāo)志的像來(lái)調(diào)整所述外部參數(shù)，來(lái)進(jìn)行所述視點(diǎn)轉(zhuǎn)換合成圖像的校準(zhǔn)， 所述圖像校準(zhǔn)裝置的特征在于 所述校正用標(biāo)志包含相互平行且線彼此之間的距離為已知的至少兩條線和分別垂直于所述兩條線的至少一條線，在各個(gè)所述周邊區(qū)域圖像中分別至少包含與所述相互平行的兩條線對(duì)應(yīng)的像和與分別垂直于所述兩條線的一條線對(duì)應(yīng)的像，并且形成為，所述校正用標(biāo)志中所包含的線中，位于一個(gè)所述攝像頭的拍攝范圍內(nèi)的至少一條線和位于其他所述攝像頭的拍攝范圍內(nèi)的至少一條線位于一條直線上的方式，所述校準(zhǔn)單元具有內(nèi)部參數(shù)修正單元，對(duì)于所述視點(diǎn)轉(zhuǎn)換合成圖像，以使所述視點(diǎn)轉(zhuǎn)換合成圖像中所包含的與所述相互平行的兩條線對(duì)應(yīng)的像和與所述垂直的一條線對(duì)應(yīng)的像分別直線狀地延伸的方式，進(jìn)行調(diào)整所述內(nèi)部參數(shù)的修正；外部參數(shù)修正單元，在利用根據(jù)所述被修正后的內(nèi)部參數(shù)而由所述變形修正單元獲得的新的變形修正圖像來(lái)獲得新的視點(diǎn)轉(zhuǎn)換合成圖像時(shí)，以使所獲得的新的視點(diǎn)轉(zhuǎn)換合成圖像滿足以下的條件(I) (4)的方式，進(jìn)行調(diào)整所述外部參數(shù)的修正 (O與所述相互平行的兩條線對(duì)應(yīng)的像相互平行， (2)與所述相互平行的兩條線對(duì)應(yīng)的像間的距離是所述校正用標(biāo)志的線間的已知的距離， (3)與所述垂直的一條線對(duì)應(yīng)的像垂直于與所述平行的兩條線對(duì)應(yīng)的線， (4)與所述校正用標(biāo)志中位于一條直線上的線對(duì)應(yīng)的線位于一條直線上。
9.根據(jù)權(quán)利要求7或8所述的圖像校準(zhǔn)裝置，其特征在于，所述外部參數(shù)修正單元在所述(I) (4)的條件上加上下述條件(5)來(lái)進(jìn)行調(diào)整所述外部參數(shù)的修正 (5)外部參數(shù)的默認(rèn)值。
10.根據(jù)權(quán)利要求7或8所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；設(shè)置在所述第一線與所述第二線之間并沿車(chē)寬方向延伸的直線狀的第三線和第四線；以及分別設(shè)置在車(chē)輛兩側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第五線和第六線。
11.根據(jù)權(quán)利要求7或8所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；設(shè)置在所述第一線與所述第二線之間并沿車(chē)寬方向延伸的直線狀的第五線；以及分別設(shè)置在車(chē)輛兩側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第三線和第四線。
12.根據(jù)權(quán)利要求7或8所述的圖像校準(zhǔn)方法，其特征在于，所述校正用標(biāo)志至少包括設(shè)置在車(chē)輛前方并沿車(chē)寬方向延伸的直線狀的第一線；設(shè)置在車(chē)輛后方并沿車(chē)寬方向延伸的直線狀的第二線；以及分別設(shè)置在車(chē)輛兩側(cè)方并沿車(chē)輛前后方向延伸的直線狀的第三線和第四線。
全文摘要
本發(fā)明的圖像校準(zhǔn)方法和裝置能夠緩和校正用標(biāo)志與車(chē)輛之間的相對(duì)位置關(guān)系的嚴(yán)格程度。本發(fā)明具備校正用標(biāo)志(20)，包括相互平行且線彼此之間的距離為已知的兩條線和垂直于這兩條線的一條線；四個(gè)攝像頭(10)，對(duì)包含校正用標(biāo)志(20)的周邊區(qū)域(R1～R4)進(jìn)行拍攝；變形修正處理部(30)，利用內(nèi)部參數(shù)(M)將周邊區(qū)域圖像(S1～S4)修正為變形修正圖像(P1～P4)；以及校準(zhǔn)處理部(50)，進(jìn)行視點(diǎn)轉(zhuǎn)換處理時(shí)的校準(zhǔn)，其中，校準(zhǔn)處理部(50)具備修正內(nèi)部參數(shù)(M)的內(nèi)部參數(shù)修正部(51)和修正外部參數(shù)(N)的外部參數(shù)修正部(52)。
文檔編號(hào)H04N17/00GK102959953SQ20118003209
公開(kāi)日2013年3月6日 申請(qǐng)日期2011年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者佐藤啟二 申請(qǐng)人:歌樂(lè)牌株式會(huì)社