專利名稱：攝像裝置和半導(dǎo)體電路元件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠計(jì)測(cè)距離的攝像裝置和在該攝像裝置中使用的半 導(dǎo)體電路元件。
背景技術(shù)：
作為現(xiàn)有的攝像裝置，有專利文獻(xiàn)1的攝像裝置。圖53是專利文 獻(xiàn)1的攝像裝置的分解立體圖。攝像裝置901包括光圈構(gòu)件902、光學(xué) 透鏡陣列903、光學(xué)濾光片906、攝像單元907。在該攝像裝置901中， 由具有4個(gè)開(kāi)口部902—1、 902—2、 902 — 3、 902 — 4的光圈構(gòu)件902、 具有4個(gè)透鏡903—1、 903— 2、 903— 3、 903 — 4的光學(xué)透鏡陣列903 構(gòu)成4個(gè)攝像光學(xué)系統(tǒng)，通過(guò)各系統(tǒng)的光線分別在攝像單元907上的4 個(gè)像素群卯7—1、 907 — 2、 907 — 3、 907 — 4上成像。由CCD傳感器 等形成的攝像單元907與驅(qū)動(dòng)電路908和信號(hào)處現(xiàn)電路卯9 一同形成 在半導(dǎo)體基板910上。
信號(hào)處理電路909通過(guò)驅(qū)動(dòng)電路908順序讀出攝像單元907的像 素信息，并作為像素信號(hào)輸入，根據(jù)各像素信號(hào)運(yùn)算各像素群(907 — 1、 907 — 2、 907 — 3、 907 — 4)中的視差的值，根據(jù)該視差計(jì)算距離。
專利文獻(xiàn)1:日本特幵2003 — 143459號(hào)公報(bào)
發(fā)明內(nèi)容
如上所述，在專利文獻(xiàn)1中記載的現(xiàn)有的攝像裝置中，信號(hào)處理 電路909使用驅(qū)動(dòng)電路908讀出攝像單元907上的4個(gè)像素群907 — 1 、 907 — 2、 907 — 3、 907 — 4的全部像素信息，并運(yùn)算視差。因此，需耍 將全部像素信息從攝像單元907傳送到信號(hào)處理電路909的傳送吋間， 與該傳送時(shí)間相對(duì)應(yīng)地在高速化方面存在界限。即，視差運(yùn)算的間隔 不能比該傳送時(shí)間短。
此外，作為攝像單元907，在使用了滾動(dòng)快門(rolling shutter)方式的CMOS傳感器的情況下，通過(guò)像素群907—1、 907 — 2、 907 — 3、 907—4進(jìn)行拍攝的時(shí)刻不同。在被攝體的動(dòng)作較快時(shí)，在視差運(yùn)算中 使用的攝像信號(hào)不同，因此所求出的視差的精度降低。
本發(fā)明是鑒于上述問(wèn)題完成的，目的是提供能夠進(jìn)行高速、高精 度的視差運(yùn)算的攝像裝置和在該攝像裝置中使用的半導(dǎo)體電路元件。 即，目的是提供一種攝像裝置和半導(dǎo)體電路元件，其通過(guò)縮短攝像信 號(hào)的傳送時(shí)間，能夠進(jìn)行高速的視差運(yùn)算，即使被攝體的動(dòng)作很快， 也能夠進(jìn)行高精度的視差運(yùn)算。
為了解決上述的課題，本發(fā)明的攝像裝置包括分別至少包括一 個(gè)透鏡的多個(gè)透鏡部；在上述多個(gè)透鏡部屮一對(duì)一地對(duì)應(yīng)設(shè)置、分別 具有相對(duì)于所對(duì)應(yīng)的上述透鏡部的光軸方向大致垂直的受光面的多個(gè) 攝像區(qū)域；接受由上述攝像區(qū)域生成的攝像信號(hào)的輸入的攝像信號(hào)輸 入部；決定從上述攝像區(qū)域向上述攝像信號(hào)輸入部傳送的攝像信號(hào)的 傳送范圍的傳送范圍決定部；驅(qū)動(dòng)上述攝像區(qū)域，使得向上述攝像信 號(hào)輸入部傳送與由上述傳送范圍決定部所決定的傳送范圍相對(duì)應(yīng)的攝 像信號(hào)的攝像區(qū)域驅(qū)動(dòng)部；和根據(jù)傳送到上述攝像信號(hào)輸入部的攝像 信號(hào)運(yùn)算視差的視差運(yùn)算部，上述傳送范圍決定部構(gòu)成為，能夠切換 將在上述多個(gè)攝像區(qū)域中的至少兩個(gè)攝像區(qū)域中生成的攝像信號(hào)決定 為上述傳送范圍的第一動(dòng)作模式、和將與第一動(dòng)作模式不同的攝像信 號(hào)決定為一 t.述傳送范圍的第二動(dòng)作模式。
在總是傳送在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)的情況下， 因?yàn)閭魉蜁r(shí)間為較長(zhǎng)的時(shí)間，所以難以進(jìn)行高速的視差運(yùn)算。于是， 如上所述，通過(guò)適當(dāng)?shù)厍袚Q第一動(dòng)作模式和第二動(dòng)作模式，僅傳送需 要傳送的范圍的攝像信號(hào)即可，因此能夠進(jìn)行高速的視差運(yùn)算。
在上述發(fā)明的攝像裝置中，上述傳送范圍決定部還可以構(gòu)成為， 能夠切換將在上述攝像區(qū)域的大致整個(gè)區(qū)域中生成的攝像信號(hào)作為上 述傳送范圍的第一動(dòng)作模式、和將在上述攝像區(qū)域的大致一半的區(qū)域 中生成的攝像信號(hào)作為上述傳送范圍的第二動(dòng)作模式。
此外，在上述發(fā)明的攝像裝置中，可以使上述大致一半的區(qū)域?yàn)?上述攝像區(qū)域中傳送順序較早的大致一半的區(qū)域，如果是4個(gè)攝像區(qū) 域2行2列排列的情況，則也可以使上述大致一半的區(qū)域?yàn)槲挥趯?duì)角位置的2個(gè)上述攝像區(qū)域。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域被分 割為隔行掃描的多個(gè)場(chǎng)，上述傳送范圍決定部構(gòu)成為，能夠切換將在 上述攝像區(qū)域的大致整個(gè)區(qū)域中生成的攝像信號(hào)作為上述傳送范圍的 第一動(dòng)作模式、和將上述攝像區(qū)域的一場(chǎng)大小的攝像信號(hào)作為上述傳 送范圍的第二動(dòng)作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以根 據(jù)與被攝體有關(guān)的信息，切換上述第一動(dòng)作模式和上述第二動(dòng)作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在判斷為在視差的運(yùn)算中需要高速性的情況下，從上述第一動(dòng) 作模式向上述第二動(dòng)作模式切換。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在判斷為在視差的運(yùn)算中需要高精度的情況下，從上述第二動(dòng) 作模式向上述第一動(dòng)作模式切換。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述第一動(dòng)作模式和上述第二動(dòng)作模式的任一個(gè)中，均將在 上述多個(gè)攝像區(qū)域中的一部分的攝像區(qū)域中生成的攝像信號(hào)決定為上 述傳送范圍。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述第一動(dòng)作模式和上述第二動(dòng)作模式的至少任一個(gè)中，將 在對(duì)動(dòng)作的被攝體進(jìn)行攝像的攝像區(qū)域中生成的攝像信號(hào)決定為上述 傳送范圍。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，根據(jù)上述被攝體的動(dòng)作速度，切換上述第一動(dòng)作模式和上述第 二動(dòng)作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu) 成為，在上述被攝體的動(dòng)作快速時(shí)，切換為將在多數(shù)攝像區(qū)域中生成 的攝像信號(hào)決定為上述傳送范圍的動(dòng)作模式；在上述被攝體的動(dòng)作緩 慢時(shí)，切換為將在少數(shù)攝像區(qū)域中生成的攝像信號(hào)決定為上述傳送范 圍的動(dòng)作模式。
此外，在上述發(fā)明的攝像裝置中，上述傳送范圍決定部也可以構(gòu)成為，在上述第一動(dòng)作模式和上述第二動(dòng)作模式的至少任一個(gè)中，使 與上述傳送范圍的攝像信號(hào)有關(guān)的像素?cái)?shù)大致一定。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域以對(duì) 包括相當(dāng)于路面的區(qū)域的區(qū)域進(jìn)行攝像的方式構(gòu)成，上述傳送范圍決 定部構(gòu)成為，在上述第一動(dòng)作模式和上述第二動(dòng)作模式的至少任一個(gè) 中，將與相當(dāng)于上述路面的區(qū)域以外的區(qū)域有關(guān)的攝像信號(hào)作為上述 傳送范圍。
此外，在上述發(fā)明的攝像裝置中，也可以是，上述攝像區(qū)域以對(duì) 包括相當(dāng)于人的面部的區(qū)域的區(qū)域進(jìn)行攝像的方式構(gòu)成，上述傳送范 圍決定部構(gòu)成為，在上述第一動(dòng)作模式和上述第二動(dòng)作模式的至少任 一個(gè)中，將與相當(dāng)于上述人的面部的區(qū)域有關(guān)的攝像信號(hào)作為上述傳 送范圍。
此外，在上述發(fā)明的攝像裝置中，上述多個(gè)攝像區(qū)域中的至少2 個(gè)攝像區(qū)域也可以構(gòu)成為，通過(guò)反復(fù)交替地向上述攝像信號(hào)輸入部傳 送生成的攝像信號(hào)的一部分，將所生成的全部攝像信號(hào)向上述攝像信 號(hào)輸入部傳送。
進(jìn)而，上述發(fā)明的攝像裝置還可以包括根據(jù)由上述視差運(yùn)算部得 到的視差，運(yùn)算到達(dá)被攝體的距離的距離運(yùn)算部。
此外，本發(fā)明的半導(dǎo)體電路元件是在攝像裝置中使用的半導(dǎo)體電 路元件，該攝像裝置包括分別至少包括一個(gè)透鏡的多個(gè)透鏡部；在 上述多個(gè)透鏡部中一對(duì)一地對(duì)應(yīng)設(shè)置、分別具有相對(duì)于所對(duì)應(yīng)的上述 透鏡部的光軸方向大致垂直的受光面的多個(gè)攝像區(qū)域，該半導(dǎo)體電路 元件的特征在于，包括接受由上述攝像區(qū)域生成的攝像信號(hào)的輸入 的攝像信號(hào)輸入部；決定從上述攝像區(qū)域向上述攝像信號(hào)輸入部傳送 的攝像信號(hào)的傳送范圍的傳送范圍決定部；驅(qū)動(dòng)上述攝像區(qū)域，使得
向上述攝像信號(hào)輸入部傳送與由上述傳送范圍決定部所決定的傳送范
圍相對(duì)應(yīng)的攝像信號(hào)的攝像元件驅(qū)動(dòng)部；和根據(jù)傳送到上述攝像信號(hào) 輸入部的攝像信號(hào)運(yùn)算視差的視差運(yùn)算部，上述傳送范圍決定部構(gòu)成 為，能夠切換將在上述多個(gè)攝像區(qū)域中的至少兩個(gè)攝像區(qū)域中生成的 攝像信號(hào)決定為上述傳送范圍的第一動(dòng)作模式、和將與第--動(dòng)作模式 不同的攝像信號(hào)決定為上述傳送范圍的第二動(dòng)作模式。
圖1是表示本發(fā)明的實(shí)施方式1的攝像裝置的結(jié)構(gòu)的截面圖。
圖2是表示本發(fā)明的實(shí)施方式1的攝像裝置的透鏡的結(jié)構(gòu)的平面圖。
圖3A是表示本發(fā)明的實(shí)施方式1的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖3B是表示本發(fā)明的實(shí)施方式1的攝像裝置的攝像元件的結(jié)構(gòu)的 平面圖。
圖4是本發(fā)明的實(shí)施方式1的照相機(jī)模塊的彩色濾光片的特性圖。 圖5是用于說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，處于無(wú)限
遠(yuǎn)的物體像的位置的圖。
圖6是用于說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，位于有限
距離的位置的物體像的位置的圖。
圖7是表示本發(fā)明的實(shí)施方式1的攝像裝置的結(jié)構(gòu)的框圖。
圖8是用于說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的攝像信兮的截
取位置的圖。
圖9是表示本發(fā)明的實(shí)施方式1的攝像裝置的攝像信號(hào)的傳送的 時(shí)序圖。
圖10A是表示本發(fā)明的實(shí)施方式1的攝像裝置的動(dòng)作的流程圖。 圖10B是表示本發(fā)明的實(shí)施方式1的攝像裝置的動(dòng)作的變形例的 流程圖。
圖IIA是表示本發(fā)明的實(shí)施方式1的攝像裝置的運(yùn)算部的動(dòng)作的 流程圖。
圖11B是表示本發(fā)明的實(shí)施方式1的攝像裝置的運(yùn)算部的動(dòng)作的 變形例的流程圖。
圖12是表示本發(fā)明的實(shí)施方式1的攝像裝置的視差運(yùn)算的動(dòng)作的 流程圖。
圖13是表示本發(fā)明的實(shí)施方式1的攝像裝置的利用第-一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。
圖14是說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算中的第一攝像信號(hào)的分割塊和運(yùn)算順序的圖。
圖15是說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算中的第二攝像信號(hào)的分割塊和運(yùn)算順序的 圖。
圖16是說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，在利用第一攝 像信號(hào)和第二攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的
A 圖17是說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)時(shí)的視差運(yùn)算中的視差與視差評(píng)價(jià)值的關(guān)系的圖。
圖18是說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，在利用第一攝 像信號(hào)和第二攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的可靠性的運(yùn)算 區(qū)域的圖。
圖19是說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的變形的場(chǎng)圖像的圖。
圖20是表示本發(fā)明的實(shí)施方式1的攝像裝置的變形的攝像信號(hào)的
傳送的時(shí)序圖。
圖21是表示本發(fā)明的實(shí)施方式2的攝像裝置的結(jié)構(gòu)的截面圖。 圖22是表示本發(fā)明的實(shí)施方式2的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖23是本發(fā)明的實(shí)施方式2的照相機(jī)模塊的彩色濾光片的特性圖。
圖24是表示本發(fā)明的實(shí)施方式2的攝像裝置的結(jié)構(gòu)的框圖。 圖25是用于說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的攝像信號(hào)的截 取位置的圖。
圖26是表示本發(fā)明的實(shí)施方式2的攝像裝置的攝像信號(hào)的傳送的 吋序圖。
圖27是表示本發(fā)明的實(shí)施方式2的攝像裝置的動(dòng)作的流程圖。 圖28是表示本發(fā)明的實(shí)施方式2的攝像裝置的運(yùn)算部的動(dòng)作的流 程圖。
圖29是表示本發(fā)明的實(shí)施方式2的攝像裝置的視差運(yùn)算的動(dòng)作的 流程圖。圖30是表示本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信號(hào) 和第三攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。
圖31是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信號(hào) 和第三攝像信號(hào)的視差運(yùn)算中的第二攝像信號(hào)的分割塊和運(yùn)算順序的 圖。
圖32是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信號(hào)
和第三攝像信號(hào)的視差運(yùn)算中的第三攝像信號(hào)的分割塊和運(yùn)算順序的 圖。
圖33是說(shuō)明在本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信 號(hào)和第三攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的圖。
圖34是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信號(hào) 和第三攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的可靠性的運(yùn)算區(qū)域的圖。
圖35是表示本發(fā)明的實(shí)施方式2的攝像裝置的利用第一攝像信號(hào) 和第四攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。
圖36是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第一攝像信號(hào) 和第四攝像信號(hào)的視差運(yùn)算中的第四攝像信號(hào)的分割塊和運(yùn)算順序的圖。
圖37是說(shuō)明在本發(fā)明的實(shí)施方式2的攝像裝置的利用第一攝像信 號(hào)和第四攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的圖。
圖38是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第一攝像信號(hào) 和第四攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的可靠性的運(yùn)算區(qū)域的 圖。
圖39是用于說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的變形的攝像信 號(hào)的截取位置的圖。
圖40是表示本發(fā)明的實(shí)施方式3的攝像裝置的結(jié)構(gòu)的截面圖。 圖41是表示本發(fā)明的實(shí)施方式3的攝像裝置的透鏡的結(jié)構(gòu)的平面圖。
圖42是表示本發(fā)明的實(shí)施方式3的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。
圖43是表示本發(fā)明的實(shí)施方式3的攝像裝置的結(jié)構(gòu)的框圖。圖44是表示本發(fā)明的實(shí)施方式3的攝像裝置的動(dòng)作的流程圖。
圖45是用于說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的攝像信號(hào)的截
取位置的圖。
圖46是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算中的第一攝像信號(hào)的分割塊、運(yùn)算順序和 傳送范圍標(biāo)志的圖。
圖47是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算中的第二攝像信號(hào)的分割塊、運(yùn)算順序和 傳送范圍標(biāo)志的圖。
圖48是表示本發(fā)明的實(shí)施方式3的攝像裝置的運(yùn)算部的動(dòng)作的流 程圖。
圖49是表示本發(fā)明的實(shí)施方式3的攝像裝置的視差運(yùn)算的動(dòng)作的 流程圖。
圖50是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的傳送范圍的圖。 圖51是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的變形的傳送范圍的圖。
圖52是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的變形的傳送范1I的圖。
圖53是現(xiàn)有技術(shù)的專利文獻(xiàn)1的攝像裝置的分解立體圖。 符號(hào)說(shuō)明
101、 201、 301:照相機(jī)模塊
110、 310:透鏡模塊
111、 311:鏡筒
112、 312:上部蓋玻璃
113、 313:透鏡
113a、 313a:第一透鏡部 113b、 313b:第二透鏡部 113c:第三透鏡部
113d:第四透鏡部
120、 220、 320:電路部
121、 321:基板122、 322:封裝
123、 223、 323:攝像元件
124、 224:封裝蓋玻璃 124a、 224a:第一彩色濾光片 124b、 224b:第二彩色濾光片 124c、 224c:第三彩色濾光片 124d、 224d:第四彩色濾光片 124e、 224e:遮光部
125、 225、 325: SLSI 127、 327:金線
131、 231、 331:系統(tǒng)控制部
132、 232、 332:攝像元件驅(qū)動(dòng)部 332a:第一攝像元件驅(qū)動(dòng)部 332b:第二攝像元件驅(qū)動(dòng)部
133、 233、 333:攝像信號(hào)輸入部
134、 234、 334:前處理部
135、 335:輸入緩沖器 135a、 335a:第一輸入緩沖器 135b、 335b:第二輸入緩沖器 135c:第三輸入緩沖器
135d:第四輸入緩沖器
136、 236、 336:圖像處理部
137、 337:輸出緩沖器 137a、 337a:第--輸出緩沖器 137b、 337b:第二輸出緩沖器
138、 338:輸入輸出部
141、 241、 341:運(yùn)算緩沖器
141a、 241a、 341a:第一運(yùn)算緩沖器 141b、 241b、 341b:第二運(yùn)算緩沖器
142、 242、 342:視差運(yùn)算部
143、 343:距離運(yùn)算部144、 344:輸出范圍決定部
具體實(shí)施例方式
以下，參照
本發(fā)明的實(shí)施方式的攝像裝置。 (實(shí)施方式1)
根據(jù)本發(fā)明的實(shí)施方式1的攝像裝置，傳送范圍決定部適當(dāng)變更 攝像信號(hào)的傳送范圍。特別是，切換將在攝像區(qū)域的大致整個(gè)區(qū)域中 生成的攝像信號(hào)作為傳送范圍的情況和將在攝像區(qū)域的大致一半的區(qū) 域(傳送順序較早的區(qū)域)中生成的攝像信號(hào)作為傳送范圍的情況。 即，在要求高速性的情況下，將在攝像區(qū)域的大致一半的區(qū)域(傳送 順序較早的區(qū)域)中生成的攝像信號(hào)作為傳送范圍。由此，在需要高 速性的情況下，將傳送限定為在一半的區(qū)域中生成的攝像信號(hào)，閑此 與整個(gè)區(qū)域的情況相比，能夠減少一半傳送所需要的時(shí)間。從而，能 夠?qū)崿F(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距離運(yùn)算的攝像裝置。
以下，參照
本發(fā)明的實(shí)施方式1的攝像裝置。
圖1是表示本發(fā)明的實(shí)施方式1的攝像裝置的結(jié)構(gòu)的截而圖。如
圖1所示，攝像裝置10具有透鏡模塊部110和電路部120。
透鏡模塊部110具有鏡筒111、上部蓋玻璃112和透鏡113。電路 部120具有基板121、封裝(package) 122、攝像元件123、封裝蓋玻 璃124和作為半導(dǎo)體電路元件的系統(tǒng)LSI (以下，記為SLSI) 125。
鏡筒111是圓筒狀，為了防止光的漫反射，其內(nèi)壁而是消光的黑 色，使樹(shù)脂射出成形而形成。上部蓋玻璃112是圓盤狀，由透明樹(shù)脂 形成，通過(guò)粘接劑等固定在鏡筒11的上部的內(nèi)壁上，其表面設(shè)置有 防止由摩擦等引起的損傷的保護(hù)膜和防止入射光的反射的反射防J i:: 膜。
圖2是表示本發(fā)明的實(shí)施方式1的攝像裝置的透鏡的結(jié)構(gòu)的平面 圖。透鏡13是大致圓盤狀，由玻璃、透明樹(shù)脂形成，以2行2列的 棋盤格狀配置第一透鏡部113a、第二透鏡部113b、第三透鏡部113c 和第四透鏡部113d。沿著第一^^第四透鏡部U3a 113d的配置方向， 如圖2所示設(shè)定x軸和y軸。在第一透鏡部113a、第二透鏡部l3b、 第三透鏡部113c和第四透鏡部113d處，從被攝體側(cè)入射的光出射到攝
15像元件123側(cè)，在攝像元件123上成像為4個(gè)像。另外，如圖2所示， 第一透鏡部113a的光軸與第二透鏡部113b的光軸在水平方向(x軸方 向)上僅離開(kāi)D，在垂直方向(y軸方向)上一致。第一透鏡部113a 的光軸與第三透鏡部113c的光軸在水平方向(x軸方向)上一致，在 垂直方向(y軸方向)上僅離幵D。第三透鏡部113c的光軸與第四透 鏡部113d的光軸在水平方向(x軸方向)上僅離開(kāi)D，在垂直方向(y 軸方向)上一致。
基板121由樹(shù)脂基板構(gòu)成，鏡筒111的底面與基板121的上表面 接觸并通過(guò)粘接劑等固定。這樣固定透鏡模塊部110和電路部120，構(gòu) 成攝像裝置101。
封裝122由具有金屬端子的樹(shù)脂構(gòu)成，在鏡筒111的內(nèi)側(cè)，在基 板121的上表面焊接其金屬端子部等而固定。
攝像元件123是逐行掃描CCD傳感器，以攝像元件123的受光面 與第-一透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部 113d的光軸大致垂直的方式配置。攝像元件123的各端子通過(guò)引線接 合由金線127連接到封裝122的內(nèi)側(cè)的底部的金屬端子上，通過(guò)基板 121，與SLSI125電連接。在攝像元件123的受光面上，從第-一透鏡部 113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部113d出射的 光分別成像，其光信息由光電二極管變換為電信息，該電信息傳送到 SLSI125。
圖3A是表示本發(fā)明的實(shí)施方式1的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃124是平板狀，由透明樹(shù)脂形成，通過(guò)粘接等固定 在封裝122的上表面。在封裝蓋玻璃124的上表面，通過(guò)蒸鍍等配置 有第一彩色濾光片124a、第二彩色濾光片124b、第三彩色濾光片124c、 第四彩色濾光片124d和遮光部124e。此外，在封裝蓋玻璃124的下表 面上，通過(guò)蒸鍍等配置有反射防止膜。
圖3B是表示本發(fā)明的實(shí)施方式1的攝像裝置的攝像元件的結(jié)構(gòu)的 平面圖。如圖3B所示，攝像元件123由第一攝像區(qū)域123a、第二攝像 區(qū)域123b、第三攝像區(qū)域123c和第四攝像區(qū)域123d構(gòu)成。這些第一 第四攝像區(qū)域123a 123d以各自的受光面與第一 第四透鏡部113a 113d的光軸大致垂直的方式2行2列地進(jìn)行配置。在這些各攝像區(qū)域123a 123d中生成攝像信號(hào)。
如上所述，在本實(shí)施方式中1個(gè)攝像元件具有多個(gè)攝像區(qū)域，但 本發(fā)明的攝像裝置并不限定于此，也可以以其它方式具有多個(gè)攝像區(qū) 域。例如也可以是1個(gè)攝像元件為1個(gè)攝像區(qū)域，通過(guò)設(shè)置多個(gè)這樣 的攝像元件而具有多個(gè)攝像區(qū)域的方式。
圖4是本發(fā)明的實(shí)施方式1的照相機(jī)模塊的彩色濾光片的特性圖。 第一彩色濾光片124a和第二彩色濾光片124b具有由圖4的IR表不的 主要透過(guò)近紅外光的分光透射特性(以波長(zhǎng)入1為中心的透射特性。例 如，入l二870nm)，第三彩色濾光片124c和第四彩色濾光片124d具有 由圖4的G表示的主要透過(guò)綠色光的分光透射特性(以波長(zhǎng)入2為中 心的透射特性。例如，A2二500nm)。
從而，從第--透鏡部113a的上部入射的物體光從第一透鏡部113a 的下部射出，利用第一彩色濾光片124a主要透過(guò)近紅外光，在第 -攝 像區(qū)域123a的受光部上成像，因此，第一攝像區(qū)域123a接受物體光 中的近紅外光成分。此外，從第二透鏡部113b的上部入射的物體光從 第二透鏡部113b的下部射出，利用第二彩色濾光片224b主要透過(guò)近 紅外光，在第二攝像區(qū)域123b的受光部上成像，因此，第二攝像區(qū)域 123b接受物體光中的近紅外光成分。此外，從第三透鏡部113c的上部 入射的物體光從第三透鏡部113c的下部射出，利用第三彩色濾光片 224c主要透過(guò)綠色光，在第三攝像區(qū)域123c的受光部上成像，因此， 第三攝像區(qū)域123c接受物體光中的綠色光成分。而且，從第四透鏡部 113d的上部入射的物體光從第四透鏡部113d的下部射出，利用第四彩 色濾光片224d主要透過(guò)綠色光，在第四攝像區(qū)域123d的受光部上成 像，因此，第四攝像區(qū)域123d接受物體光中的綠色光成分。
SLSI125按照后述的方法驅(qū)動(dòng)攝像元件123，輸入來(lái)自攝像元件 123的電信息，進(jìn)行各種運(yùn)算，與上位CPU進(jìn)行通信，將圖像信息、 距離信息等輸出到外部。另夕卜，SLSI125與電源(例如3.3V)和地(例 如OV)連接。
接著，說(shuō)明被攝體距離與視差的關(guān)系。本發(fā)明的實(shí)施方式1的攝 像裝置具有4個(gè)透鏡部(第一透鏡部U3a、第二透鏡部U3b、第三透 鏡部113c和第四透鏡部113d)，因此，4個(gè)透鏡部分別形成的4個(gè)物體像的相對(duì)位置根據(jù)被攝體距離而改變。
圖5是用于說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，處于無(wú)限 遠(yuǎn)的物體像的位置的圖。圖5中，為了簡(jiǎn)單，在透鏡部113中，僅表
達(dá)第一透鏡部113a和第二透鏡部113b。來(lái)自無(wú)限遠(yuǎn)的物體10的光向 第一透鏡部113a的入射光Ll與向第二透鏡部113b的入射光L2平行。 因此，第一透鏡部113a與第二透鏡部113b的距離等于攝像元件123 上的物體像lla與物體像llb的距離。g卩，沒(méi)有視差。
圖6是用于說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置中，位于有限距 離的位置的物體像的位置的圖。圖6中，為了簡(jiǎn)單，在透鏡部113中， 僅表達(dá)第一透鏡部113a和第二透鏡部113b。來(lái)自有限距離的物體12 的光向第一透鏡部113a的入射光Ll與向第二透鏡部113b的入射光L2 不平行。從而，相比于第一透鏡部113a與第二透鏡部113b的距離，攝 像元件123上的物體像13a與物體像13b的距離較長(zhǎng)。g卩，存在視差。
如果將到達(dá)物體像12的距離(被攝體距離)記為A，將第一透鏡 部113a與第二透鏡部113b的距離記為D，將透鏡部113a、 113b的焦 距記為f，夾著圖5的直角的兩邊的長(zhǎng)度為A、 D的直角三角形與夾著 直角的兩邊的長(zhǎng)度為f、 A的直角三角形相似，從而視差位A用下述式
1表示c
A =f D / A......式1
其它的透鏡部間，同樣的關(guān)系也成立。這樣，與被攝體距離相對(duì) 應(yīng)地，4個(gè)透鏡部113a、 113b、 113c、 113d分別形成的4個(gè)物體像的 相對(duì)的位置改變。例如，如果減小被攝體距離A，則視差值A(chǔ)增大。
接著，說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的動(dòng)作。圖7是表示 本發(fā)明的實(shí)施方式1的攝像裝置的結(jié)構(gòu)的框圖。SLSI125具有系統(tǒng)控制 部131、攝像元件驅(qū)動(dòng)部132、攝像信號(hào)輸入部133、前處理部134、 輸入緩沖器135、運(yùn)算部136、輸出緩沖器137和輸入輸出部38。輸 入緩沖器135具有第一輸入緩沖器135a、第二輸入緩沖器135b、第三 輸入緩沖器135c和第四輸入緩沖器135d。運(yùn)算部136具有運(yùn)算緩沖器 141、視差運(yùn)算部142、距離運(yùn)算部143和傳送范圍決定部144。運(yùn)算 緩沖器141具有第一運(yùn)算緩沖器141a和第二運(yùn)算緩沖器141b。輸出緩 沖器137具有第一輸出緩沖器137a和第二輸出緩沖器137b。系統(tǒng)控制部131由CPU (中央運(yùn)算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI125的整體。
攝像元件驅(qū)動(dòng)部132由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動(dòng)攝像元件123 的信號(hào)，向攝像元件123施加與該信號(hào)相應(yīng)的電壓。
攝像信號(hào)輸入部133以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit )、 AGC (自動(dòng)增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器Analog Digital Converter)串 聯(lián)連接的方式構(gòu)成，輸入來(lái)自攝像元件123的電信號(hào)，通過(guò)CDS電路 去除固定噪聲，通過(guò)AGC調(diào)整增益，通過(guò)ADC從模擬信號(hào)變換成數(shù) 字值作為攝像信號(hào)IO。
傳送范圍決定部144按照后述的方法決定傳送范圍標(biāo)志FO。當(dāng)傳 送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)，在攝像區(qū)域的整個(gè)區(qū)域中生 成的攝像信號(hào)成為傳送范圍，當(dāng)傳送范圍標(biāo)志FO二2 (第二動(dòng)作模式) 時(shí)，在攝像區(qū)域的一半的區(qū)域中生成的攝像信號(hào)成為傳送范圍。另外， 傳送范圍標(biāo)志初始化為FO二l。
上述攝像元件驅(qū)動(dòng)部132驅(qū)動(dòng)攝像元件123，使得向攝像信號(hào)輸入 部133傳送由傳送范圍決定部144決定的傳送范圍的攝像信號(hào)。由此， 從攝像元件123向攝像信號(hào)輸入部133傳送特定傳送范闈的攝像信號(hào)。
圖8是用于說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的攝像信號(hào)的截 取位置的圖。圖9是表示本發(fā)明的實(shí)施方式1的攝像裝置的攝像信號(hào) 的傳送的時(shí)序圖。在傳送范圍標(biāo)志FO二l吋，因?yàn)閭魉头秶窃跀z像 區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)，所以如圖8 (a)那樣，沿著水平 方向傳送HO像素的攝像信號(hào)，沿著垂直方向傳送V0像素的攝像信號(hào)。 即，輸入到攝像信號(hào)輸入部133中的攝像信號(hào)IO (x， y)在x方向具 有H0像素，在y方向具有VO像素，按照IO (0， 0) ((x， y) = (0，
0))、 10 (1， 0)、 10 (2， 0)、 ......、 10 (HO—l， V0—1)的順序輸入，
并依次傳送到前處理部134。如圖9 (a)所示，從垂直同步信號(hào)21a 的上升沿開(kāi)始的一定期間之后，在信號(hào)23a的高電平的定時(shí)，從CCD 傳感器的光電二極管向垂直傳送CCD傳送電荷，在信號(hào)24a的高電平 下，電荷依次在垂直CCD、水平CCD內(nèi)傳送，在攝像信號(hào)輸入部133 中，從模擬信號(hào)變換成數(shù)字信號(hào)的攝像信號(hào)并輸入。另一方面，當(dāng)傳送范圍標(biāo)志FO二2時(shí)，因?yàn)閭魉头秶窃跀z像區(qū) 域的一半的區(qū)域中生成的攝像信號(hào)，所以如圖8 (b)所示，在水平方
向傳送H0像素，在垂直方向傳送V0/2像素的攝像信號(hào)。g卩，從攝 像信號(hào)輸入部133輸入的攝像信號(hào)I0 (x， y)在x方向具有HO像素， 在y方向具有V0/2像素，按照IO (0， 0) ((x， y) = (0， O))、 10
(1， 0)、 10 (2， 0)、 ......、 10 (H0—1， V0/2—1)的順序輸入，并
依次傳送到前處理部134。在圖8 (b)中，上半部分沒(méi)有陰影線的部 分表示傳送的像素(作為傳送范圍的區(qū)域)，下半部分的陰影線部分表 示不傳送的像素(不是傳送范圍的區(qū)域)。如圖9 (b)所示，從垂直同 步信號(hào)21b的上升沿開(kāi)始的一定期間之后，在信號(hào)22b的高電平下， 將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出(掃含出t)至水平CCD,在信號(hào) 23b的高電平的定時(shí)，從CCD傳感器的光電二極管向垂直傳送CCD 傳送電荷，在信號(hào)24b的高電平下，依次在垂直CCD、水平CCD內(nèi)傳 送電荷，在攝像信號(hào)輸入部133中，從模擬信號(hào)變換成數(shù)字信號(hào)的攝 像信號(hào)并輸入。另夕卜，F(xiàn)O二2時(shí)的傳送范圍被設(shè)定為FO二l時(shí)的傳送 范圍的 一 半[I ，最初被傳送的- -方。
與傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)的電荷的傳送吋間(信 號(hào)24a為高電平的期間)相比較，傳送范圍標(biāo)志FO二2 (第二動(dòng)作模 式)時(shí)的電荷的傳送吋間(信號(hào)24b為高電平的期間)是大約---半， 因此能夠縮短傳送1個(gè)圖像的時(shí)間間隔。另夕卜，因?yàn)椴贿M(jìn)行FO二l (第 一動(dòng)作模式)時(shí)的電荷的轉(zhuǎn)出，僅在FO = 2 (第二動(dòng)作模式)時(shí)進(jìn)行 電荷的轉(zhuǎn)出，因此不需要FO二l (第一動(dòng)作模式)時(shí)的電荷的轉(zhuǎn)出時(shí) 間，能夠防止FO二l (第一動(dòng)作模式)時(shí)的傳送1個(gè)圖像的時(shí)間間隔 的增大。此外，F(xiàn)O=2 (第二動(dòng)作模式)時(shí)的電荷的轉(zhuǎn)出僅是前次沒(méi)有 進(jìn)行傳送的垂直CCD (即，在實(shí)施方式l中是V0/2列)即足夠，由 此，與進(jìn)行全列的垂直CCD的轉(zhuǎn)出時(shí)相比較，能夠?qū)魉蚻個(gè)圖像的 吋間間隔的增大抑制為最小限度。
前處理部134由邏輯電路等構(gòu)成，從攝像信號(hào)10截取圖像，進(jìn)行 強(qiáng)度修正處理，并依次傳送至輸入緩沖器135。在FO二l時(shí)，傳送范 圍是在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)，因此生成第一攝像信 號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四攝像信號(hào)I4，依次傳
20送到輸入緩沖器135。第一攝像信號(hào)II、第二攝像信號(hào)12、第三攝像
信號(hào)13和第四攝像信號(hào)14是根據(jù)分別通過(guò)第一透鏡部113a、第二透鏡 部113b、第三透鏡部113c和第四透鏡部114d被成像的被攝體像而得 到的。如圖8 (a)和下述式2所示，以(x01， y01)為原點(diǎn)，將攝像 信號(hào)10沿著x方向截取Hl像素，沿著y方向截取VI像素，并將通過(guò) 第一強(qiáng)度修正系數(shù)ksl已進(jìn)行修正的信號(hào)作為第一攝像信號(hào)Il。此外， 如圖8 (a)和下述式3所示，以(x02， y02)為原點(diǎn)，將攝像信號(hào)10 沿著x方向截取Hl像素，沿著y方向截取Vl像素，并將通過(guò)第二強(qiáng) 度修正系數(shù)ks2已進(jìn)行修正的信號(hào)作為第二攝像信號(hào)I2。此外，如圖8 (a)和下述式4所示，以(x03， y03)為原點(diǎn)，將攝像信號(hào)10沿著x 方向截取Hl像素，沿著y方向截取VI像素，并將通過(guò)第三強(qiáng)度修正 系數(shù)ks3已進(jìn)行修正的信號(hào)作為第三攝像信號(hào)I3。此外，如圖8 (a) 和下述式5所示，以(x04， y04)為原點(diǎn)，將攝像信號(hào)IO沿著x方向 截取H1像素，沿著y方向截取Vl像素，并將通過(guò)第四強(qiáng)度修」卜:系數(shù) ks4已進(jìn)行修正的信號(hào)作為第四攝像信號(hào)I4。
11 (x， y) =ksl (x， y) "0 (x + x01， y + y01)......式2
12 (x， y) 二ks2 (x， y) "0 (x + x02， y + y02)......式3
13 (x， y) 二ks3 (x， y) * 10 (x+x03， y + y03)......式4
14 (x， y) 二ks4 (x， y) * 10 (x+x04， y+y04)......式5
第一強(qiáng)度修正系數(shù)ksl (x， y)、第二強(qiáng)度修正系數(shù)ks2 (x， y)、
第三強(qiáng)度修正系數(shù)ks3 (x， y)和第四強(qiáng)度修正系數(shù)ks4 (x， y)，表示 第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四攝像信號(hào) 14的坐標(biāo)(x， y)的強(qiáng)度修正系數(shù)，在檢査工序等中拍攝特定圖像而 決定，保存在EEPROM、閃存中。另外，也可以不具有各像素的系數(shù) 而僅具有代表點(diǎn)，并使用該代表點(diǎn)通過(guò)線性內(nèi)插求取第---強(qiáng)度修正系 數(shù)ksl (x， y)、第二強(qiáng)度修正系數(shù)ks2 (x， y)、第三強(qiáng)度修正系數(shù)ks3 (x， y)和第四強(qiáng)度修正系數(shù)ks4 (x， y)。此外，也可以建立近似式 并僅具有其系數(shù)，生成各個(gè)坐標(biāo)的第一強(qiáng)度修正系數(shù)ksl (x， y)、第 二強(qiáng)度修正系數(shù)ks2 (x， y)、第三強(qiáng)度修正系數(shù)ks3 (x， y)和第四強(qiáng) 度修正系數(shù)ks4 (x， y)。此外，為了校正透鏡的光軸的偏移等，也可 以適當(dāng)?shù)剡M(jìn)行坐標(biāo)變換。另一方面，在FO二2時(shí)，傳送范圍是在攝像區(qū)域的一半的區(qū)域中 生成的攝像信號(hào)，因此生成第一攝像信號(hào)I1和第二攝像信號(hào)I2，并依 次傳送到輸入緩沖器135。與FO二l時(shí)(傳送整個(gè)區(qū)域時(shí))相比較， 省略涉及第三攝像信號(hào)B和第四攝像信號(hào)14的處理。有關(guān)第一攝像信 號(hào)II和第二攝像信號(hào)12的處理是同樣的，因此省略說(shuō)明。
在FO=l時(shí)，第一輸入緩沖器135a由DRAM (Dynamic Random Access Memory:動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等構(gòu)成，順序讀入第一攝像信 號(hào)Il，保存HPV1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第二輸入緩沖器135b由DRAM等構(gòu)成，順序讀入第二攝像信 號(hào)12，保存HPV1像素(沿x方向HI像素，沿y方向Vl像素)的 數(shù)據(jù)。第三輸入緩沖器135c由DRAM等構(gòu)成，順序讀入第三攝像信 號(hào)13，保存HPV1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第四輸入緩沖器135d由DRAM等構(gòu)成，順序讀入第四攝像信 號(hào)14，保存H"V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。
另一方面，在FO = 2時(shí)，生成第-一攝像信號(hào)II和第二攝像信號(hào)12， 并依次輸入到輸入緩沖器135。與FO=l時(shí)(傳送整個(gè)區(qū)域吋)相比 較，省略涉及第三輸入緩沖器135c和第四輸入緩沖器135d的處理。 有關(guān)第一輸入緩沖器135a和第二輸入緩沖器135b的處理是同樣的， 因此省略說(shuō)明。
運(yùn)算咅l〗136包括由SRAM (Static Random Access Memory:靜態(tài)
隨機(jī)存取存儲(chǔ)器)構(gòu)成的第一運(yùn)算緩沖器141a、第二運(yùn)算緩沖器141b; 由邏輯電路、CPU等構(gòu)成的視差運(yùn)算部142;由邏輯電路、CPU等構(gòu) 成的距離運(yùn)算部143;和由邏輯電路、CPU等構(gòu)成的傳送范圍決定部 144。在FO二l時(shí)，運(yùn)算部136以塊(block)單位讀入第一攝像信號(hào) II、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四攝像信號(hào)I4，并保存到 第一運(yùn)算緩沖器141a、和第二運(yùn)算緩沖器141b中，在視差運(yùn)算部142 中根據(jù)第一運(yùn)算緩沖器"la和第二運(yùn)算緩沖器141b的數(shù)據(jù)等運(yùn)算視 差，在距離運(yùn)算部143中根據(jù)求出的視差運(yùn)算距離，將求出的距離數(shù) 據(jù)傳送到輸出緩沖器137。
另一方面，在FO二2時(shí)，傳送范圍是在攝像區(qū)域的一半的區(qū)域中生成的攝像信號(hào)，從而，僅傳送第一攝像信號(hào)I1和第二攝像信號(hào)I2， 因此，運(yùn)算部136以塊單位讀入第一攝像信號(hào)II和第二攝像信號(hào)12，
并保存在第一運(yùn)算緩沖器141a、和第二運(yùn)算緩沖器141b中，在視差運(yùn) 算部142中根據(jù)第一運(yùn)算緩沖器141a和第二運(yùn)算緩沖器141b的數(shù)據(jù) 等運(yùn)算視差，在距離運(yùn)算部143中根據(jù)求出的視差運(yùn)算距離，將求出 的距離數(shù)據(jù)傳送到輸出緩沖器137。
輸出緩沖器137由DRAM等構(gòu)成，保存從輸入緩沖器135傳送來(lái) 的圖像數(shù)據(jù)和從運(yùn)算部136傳送來(lái)的距離數(shù)據(jù)，依次傳送到輸入輸出 部138。
輸入輸出部138進(jìn)行與上位CPU (未圖示)的通信，向上位CPU、 外部存儲(chǔ)器(未圖示)和液晶顯示器等外部顯示裝置(未圖示)輸出 圖像數(shù)據(jù)和距離數(shù)據(jù)。
圖IOA是表示本發(fā)明的實(shí)施方式1的攝像裝置的動(dòng)作的流程圖。 利用SLSI125的系統(tǒng)控制部131，攝像裝置101如該流程圖所示動(dòng)作。
在步驟S1010中，攝像裝置101開(kāi)始動(dòng)作。例如，上位CPU (未 圖示)通過(guò)輸入輸出部136向攝像裝置101發(fā)出動(dòng)作開(kāi)始的命令，由 此攝像裝置101開(kāi)始動(dòng)作。接著，執(zhí)行步驟S1020A。
在步驟S1020A中，進(jìn)行傳送范圍的初始化處理。在本實(shí)施方式中， 通過(guò)該初始化處理，設(shè)定傳送范圍標(biāo)志F0^1 (第一動(dòng)作模式)。接著， 執(zhí)行步驟S1030。
在步驟S1030中，輸入攝像信號(hào)。根據(jù)系統(tǒng)控制部131的命令， 攝像元件驅(qū)動(dòng)部132隨時(shí)對(duì)攝像元件123輸出用于電子快門、進(jìn)行傳 送的信號(hào)。結(jié)果，在傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)，攝像 信號(hào)輸入部133沿x方向輸入H0像素，沿y方向輸入VO像素，即，
按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2， 0)、......、
10 (H0—1， V0—1)的順序輸入攝像信號(hào)IO (x， y)，并依次傳送到前 處理部134。前處理部134從攝像信號(hào)10截取圖像，進(jìn)行強(qiáng)度修正處 理，生成第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四 攝像信號(hào)I4，將第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3 和第四攝像信號(hào)14分別依次傳送到第一輸入緩沖器135a、第二輸入緩 沖器135b、第三輸入緩沖器135c和第四輸入緩沖器135d。另一方面，在傳送范圍標(biāo)志FO = 2 (第二動(dòng)作模式)時(shí)，攝像信
號(hào)輸入部133沿x方向輸入H0像素，沿y方向僅輸入V0 / 2像素， 即，按照IO (0， 0) ((x， y) 二 (0， O))、 10 (1， 0)、 10 (2， 0)、……、 10 (H0—1， V0/2—l)的順序輸入攝像信號(hào)IO (x， y)，并依次傳送 到前處理部134。前處理部134從攝像信號(hào)10截取圖像，進(jìn)行強(qiáng)度修 正處理，生成第一攝像信號(hào)Il和第二攝像信號(hào)I2，將第一攝像信號(hào)Il 和第二攝像信號(hào)分別依次傳送到第一輸入緩沖器135a和第二輸入緩沖 器135b。接著，執(zhí)行步驟S1040。
在步驟S1040中，將保存在第一輸入緩沖器135a中的第一攝像信 號(hào)Il傳送到第一輸出緩沖器137a，第一輸出緩沖器137a將其作為圖 像數(shù)據(jù)保存。接著，執(zhí)行步驟S1100A。
在步驟S1100A中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 137b。此外，決定傳送范圍，設(shè)定傳送范圍標(biāo)志FO。該動(dòng)作的詳細(xì)過(guò) 程在后面敘述。接著，執(zhí)行步驟S1910。
在步驟S1910中，將數(shù)據(jù)輸出到外部。輸入輸出部138將第--輸 出緩沖器137a上的圖像數(shù)據(jù)和第二輸出緩沖器137b上的距離數(shù)據(jù)輸 出到上位CPU (未圖示)、外部顯示裝置(未圖不)。接著，執(zhí)行歩驟 S1920。
在歩驟S1920中，判斷是否結(jié)朿動(dòng)作。例如，系統(tǒng)控制部131通 過(guò)輸入輸出部136，與上位CPU (未圖示)通信，請(qǐng)求是否結(jié)束動(dòng)作 的命令。并且，如果上位CPU命令結(jié)束則結(jié)束動(dòng)作。接著，執(zhí)行歩驟 S1930。另- 方面，如果上位CPU沒(méi)有命令結(jié)束則繼續(xù)動(dòng)作，接著， 執(zhí)行步驟S1030。即，只要上位CPU沒(méi)有命令結(jié)朿，則繼續(xù)執(zhí)行步驟 S1030、步驟S1040、步驟S1100A和步驟S1910的循環(huán)。
在歩驟S1930結(jié)束動(dòng)作。
接著，說(shuō)明步驟S1100A中的動(dòng)作的詳細(xì)過(guò)程。圖HA是表示本 發(fā)明的實(shí)施方式1的攝像裝置的運(yùn)算部的動(dòng)作的流程圖。圖11A的流 程圖表示步驟S1100A的動(dòng)作的詳細(xì)過(guò)程。在步驟S1100A的運(yùn)算中， 首先，執(zhí)行步驟SlllO。
在步驟S1110中，開(kāi)始運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S1200。 在步驟S1200中，執(zhí)行視差運(yùn)算。圖12是表示本發(fā)明的實(shí)施方式
241的攝像裝置的視差運(yùn)算的動(dòng)作的流程圖。圖12的流程圖表示步驟
S1200的動(dòng)作的詳細(xì)過(guò)程。在步驟S1200的運(yùn)算中，首先，執(zhí)行步驟 S1210。
在步驟S1210中，開(kāi)始視差運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S1220。 在步驟S1220中，根據(jù)傳送范圍標(biāo)志FO而產(chǎn)生分支。當(dāng)傳送范圍 標(biāo)志F0二1時(shí)(S1220中的Y)，傳送范圍是在攝像區(qū)域的整個(gè)區(qū)域中 生成的攝像信號(hào)，接著執(zhí)行步驟S1230a。另一方面，當(dāng)傳送范圍標(biāo)志 FO二2時(shí)(S1220中的N)，傳送范圍是在攝像區(qū)域的一半的區(qū)域中生 成的攝像信號(hào)，接著，執(zhí)行步驟1230b。
在步驟1230a中，執(zhí)行利用第一攝像信號(hào)和第二攝像信號(hào)的視差 運(yùn)算。圖13是表示本發(fā)明的實(shí)施方式1的攝像裝置的利用第一攝像信 號(hào)和第二攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。圖13的流程圖表示歩 驟S1230a的動(dòng)作的詳細(xì)過(guò)程。在步驟S1230的運(yùn)算中，首先，執(zhí)行步 驟S1310。
在歩驟S1310中，開(kāi)始利用第一攝像信號(hào)和第二攝像信號(hào)的視差 運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S1320。
在步驟S1320中，在塊索引ib中設(shè)定O，進(jìn)行初始化處理。接著， 執(zhí)行步驟S1330。
在步驟S1330中，選擇塊。圖14是說(shuō)明本發(fā)明的實(shí)施方式1的攝 像裝置的利用第一攝像信號(hào)和第二攝像信號(hào)的視差運(yùn)算中的第-一攝像 信號(hào)的分割塊和運(yùn)算順序的圖，圖15是說(shuō)明本發(fā)明的實(shí)施方式1的攝 像裝置的利用第一攝像信號(hào)和第二攝像信號(hào)的視差運(yùn)算中的第二攝像 信號(hào)的分割塊和運(yùn)算順序的圖。在圖14中，第---攝像信號(hào)Il分割成在 x方向有HB像素、在y方向有VB像素的長(zhǎng)方形的塊，在x方向上錯(cuò) 開(kāi)HB像素，在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh 個(gè)塊，在y方向具有Nv個(gè)塊。因此，各塊在x方向、y方向都沒(méi)有重 疊的部分。圖15中，第二攝像信號(hào)I2分割成在x方向有(HB + SB) 像素、在y方向有VB像素的長(zhǎng)方形的塊，在x方向上錯(cuò)開(kāi)I-IB像素， 在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh個(gè)塊，在y方 向有Nv個(gè)塊。因此，在x方向上，相鄰的塊重疊。另一方面，在y方 向上，相鄰的塊不重疊。此外，圖15中，右側(cè)的塊中不能夠在x方向上取得(HB + SB)像素的塊能夠適當(dāng)?shù)厝コ齒方向的右端。另外，在
實(shí)施方式1中，以下表示HB-32， VB二32的例子。
在圖14和圖15中，在各塊的上層記述的數(shù)字表示塊索引ib。此 外，在圖14和圖15中，在各塊的下層記述的坐標(biāo)(ibx， iby)表示各 塊在x方向是第ibx個(gè)塊，在y方向是第iby個(gè)塊。這里，ibx存在于0 到Nh—1， iby存在于0到Vh—l。在步驟S1320中，選擇在圖14和 圖15中用塊索引ib表示的塊(用坐標(biāo)(ibx， iby)表示的塊)。接著， 執(zhí)行步驟S1340。
在步驟S1340中，傳送攝像信號(hào)。在步驟S1340中，向第一運(yùn)算 緩沖器141a傳送所選擇的塊的第一攝像信號(hào)n。而且，將第一運(yùn)算緩 沖器141a的坐標(biāo)(x， y)的值作為Bcl (x， y)。這里，HB = 32、 VB 二32，因此x二0 31、 y=0 31。在步驟S1340中，向第二運(yùn)算緩沖 器141b傳送所選擇的塊的第二攝像信號(hào)I2。而且，將第二運(yùn)算緩沖器 141b的坐標(biāo)(x， y)的值作為Bc2 (x， y)。這里，HB二32、 VB二32， 因此x二0 31+SB、 y=0 31。例如，在ib = 0時(shí)，向第一運(yùn)算緩沖 器141a屮傳送被坐標(biāo)(0， 0)和坐標(biāo)(31， 31)包圍的1024像素的 攝像信號(hào)II。此外，向第二運(yùn)算緩沖器141b中傳送在圖15中以向右 上的斜線描繪的被坐標(biāo)(0， 0)和坐標(biāo)(31+SB， 31)包圍的(1024 + 32*SB)像素的攝像信號(hào)I2。接著，在ib二l時(shí)'，向第--」運(yùn)算緩沖器 141a中傳送被坐標(biāo)(32， 0)和坐標(biāo)(63， 31)包,的1024像素的攝 像信號(hào)II。此外，在第二運(yùn)算緩沖器141b中，雖然需要在圖15中以 向右下的斜線描繪的被坐標(biāo)(32， 0)和坐標(biāo)(63 + SB， 31)包圍的(1024 十32^B)像素的攝像信號(hào)I2，但因?yàn)榕cib二0重疊的部分(被坐標(biāo)G2， 0)和坐標(biāo)(31+SB， 31)包圍的32*SB像素的區(qū)域)已經(jīng)傳送到第 二運(yùn)算緩沖器141b中，所以僅向第二運(yùn)算緩沖器141b傳送新的被坐 標(biāo)(32 + SB， 0)和坐標(biāo)(63 + SB， 31)包圍的1024像素。由此，能 夠防止傳送時(shí)間的增大。接著，執(zhí)行步驟S1350。
在步驟S1350中，執(zhí)行視差運(yùn)算。首先，運(yùn)算視差評(píng)價(jià)值R (k)。 這里，k是表示使像素偏移多少的偏移量，以k二O， 1， 2，……，SB 的方式變化。圖16是說(shuō)明在本發(fā)明的實(shí)施方式1的攝像裝置中，利用 第一攝像信號(hào)和第二攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的圖。圖16中，以數(shù)據(jù)Bcl存儲(chǔ)的區(qū)域是第一運(yùn)算緩沖器141a中 的區(qū)域。此外，以數(shù)據(jù)Bc2表示的區(qū)域是在圖16中從以Bcl表示的塊 向x方向移動(dòng)偏移量k的第二運(yùn)算緩沖器141b中的區(qū)域。而且，對(duì)于 偏移量k二0 SB，運(yùn)算下述式6表示的絕對(duì)值差值總和(SAD: Sum of Absolute Differences),作為視差評(píng)價(jià)值R (k)。
R (k) =￡1: I Bcl (x， y) —Bc2 (x + k， y) I……式6 該視差評(píng)價(jià)值R (k)表示第一運(yùn)算緩沖器141a的數(shù)據(jù)Bcl與在x 方向上離開(kāi)k的距離的區(qū)域中的第二運(yùn)算緩沖器141b的數(shù)據(jù)Bc2存在 多少相關(guān)性，值越小表示相關(guān)性越大(越近似)。這里，第一運(yùn)算緩沖 器141a的數(shù)據(jù)Bcl是傳送第一攝像信號(hào)II的數(shù)據(jù)，第二運(yùn)算緩沖器 141b的數(shù)據(jù)Bc2是傳送第二攝像信號(hào)12的數(shù)據(jù)，因此視差評(píng)價(jià)值R4 (k)表示第一攝像信號(hào)II與相對(duì)應(yīng)的第二攝像信號(hào)12存在多少相關(guān) 性。
圖H是說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)時(shí)的視差運(yùn)算中的視差與視差評(píng)價(jià)值的關(guān)系的圖。如 圖17所示，視差評(píng)價(jià)值R (k)根據(jù)偏移量k的值而產(chǎn)生變化，在偏 移量k= A時(shí)具有極小值。第一運(yùn)算緩沖器141a的數(shù)據(jù)Bcl表示出與 存在于將第一運(yùn)算緩沖器141a的數(shù)據(jù)Bcl在x方向移動(dòng)k而到達(dá)的區(qū) 域中的第二運(yùn)算緩沖器141b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從 而，可知第一運(yùn)算緩沖器141a的數(shù)據(jù)Bcl與第二運(yùn)算緩沖器141b的 數(shù)據(jù)Bc2的x方向的視差是A。這里，將該A稱為該塊中的視差值A(chǔ) 。
接著，運(yùn)算視差值A(chǔ)的可靠性。圖18是說(shuō)明在本發(fā)明的實(shí)施方式 1的攝像裝置中利用第一攝像信號(hào)和第二攝像信號(hào)時(shí)的視差運(yùn)算中的 視差評(píng)價(jià)值的可靠性的運(yùn)算區(qū)域的圖。存儲(chǔ)有數(shù)據(jù)Bcl的區(qū)域是第一 運(yùn)算緩沖器141a中的區(qū)域。存儲(chǔ)有數(shù)據(jù)Bc2的區(qū)域是使Bcl在x方向 上移動(dòng)A的第二運(yùn)算緩沖器141b中的區(qū)域。而且，如下述式7所示， 對(duì)于各個(gè)區(qū)域的數(shù)據(jù)Bcl (x， y)、 Bc2 (x+A ， y)，將歸一化相關(guān)系 數(shù)作為可靠性E。
E (1， 2) (ibx， iby) = E ￡ [{Bcl (x， y) —avg (Bcl (x， y))} * {Bc2 (x+A， y) —avg (Bc2 (x十A ， y))}] / VEi: [{Bcl (x， y) —avg (Bcl (x， y))}* {Bel (x， y) —avg (Bcl (x， y))}
/ VEE [{Bc2 (x+A， y) —avg (Bc2 (x+A ， y))}
* {Bc2 (x+A， y) —avg (Bc2 (x+△ ， y))}]......式7
而且，在利用第一攝像信號(hào)和第二攝像信號(hào)的視差運(yùn)算中，將該
可靠性E保存為以坐標(biāo)(ibx， iby)表示的32X32像素的塊中的視差 值A(chǔ) (1， 2) (ibx， iby)的可靠性E (1， 2) (ibx， iby)。 (1， 2)表 示是利用第一攝像信號(hào)和第二攝像信號(hào)的視差值和可靠性。(ibx， iby) 表示是以塊索引ib表示的塊，是圖14中在各塊的下層表示的坐標(biāo)。接 著，執(zhí)行步驟S1360。
在歩驟S1360中，塊索引ib加l。接著執(zhí)行步驟S1370。
在步驟S1370中，判斷是否結(jié)束利用第一攝像信號(hào)和第二攝像信 號(hào)的視差運(yùn)算。當(dāng)塊索引ib小于Nh*Nv時(shí)，為了運(yùn)算下一個(gè)塊的視差， 接著執(zhí)行步驟S1330。另一方面，當(dāng)塊索引ib為NMNv以上吋，判斷 為已運(yùn)算所有塊的視差，接著，執(zhí)行步驟S1380。
在歩驟S1380中，結(jié)束利用第一攝像信號(hào)和第二攝像信號(hào)的視差 運(yùn)算，返回上位程序。這樣，在利用第一攝像信號(hào)和第二攝像信號(hào)的 視差運(yùn)算中，對(duì)于由塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (1， 2) (ibx， iby)及其可靠性Ef (1， 2)
(ibx， iby)。這里，(1， 2)表示利用的是第一攝像信號(hào)和第二攝像信 號(hào)，(ibx， iby)是圖14中在各塊的下層表示的坐標(biāo)(ibx從O到Nh — l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖12的歩驟S1240a。
在步驟S1240a中，執(zhí)行利用第三攝像信號(hào)和第四攝像信號(hào)的視差 運(yùn)算。該步驟與將步驟S1230a中的第一攝像信號(hào)II變更為第二攝像信 號(hào)13、將第二攝像信號(hào)12變更為第四攝像信號(hào)14后的步驟的相同。即， 將第三攝像信號(hào)I3分割成塊，向第一運(yùn)算緩沖器141a傳送，將第四攝 像信號(hào)14分割成塊，向第二運(yùn)算緩沖器141b傳送，進(jìn)行與步驟S1230a 同樣的動(dòng)作，以32X32像素的分辨率求取視差值A(chǔ) (3， 4) (ibx， iby) 及其可靠性E (3， 4) (ibx， iby)。這里，(3， 4)表示利用的是第三 攝像信號(hào)和第四攝像信號(hào)，(ibx， iby)表示圖14的各塊的下層中表示 的坐標(biāo)(如圖14所示，ibx從0到Nh—l變化，iby從0到Nv—l變 化)。接著，執(zhí)行步驟1250a。
28在步驟S1250a中，選擇視差。相對(duì)于各個(gè)塊，比較可靠性E (1， 2) (ibx， iby)和E (3， 4) (ibx， iby),將提供最大的可靠性的視差 作為該塊中的視差值A(chǔ) (ibx， iby)。此外，將此時(shí)的可靠性作為E(ibx， iby)。接著執(zhí)行步驟S1260。
在步驟S1230b中，執(zhí)行利用第一攝像信號(hào)和第二攝像信號(hào)的視差 運(yùn)算。該步驟與步驟S1230a相同，省略說(shuō)明。其中，將求出的視差和 可靠性作為各個(gè)塊中的視差值A(chǔ) (ibx， iby)和可靠性E (ibx， iby)。 接著，執(zhí)行步驟S1260。
在步驟S1260中，結(jié)束視差運(yùn)算，返回上位程序。這樣求取各塊 中的視差值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖14的各塊的下層中 表示的坐標(biāo)，ibx從0到Nh—1變化，iby從O到Nv—l變化。在傳送 范圍標(biāo)志F0二1 (第一動(dòng)作模式)時(shí)，將利用第一攝像信號(hào)Il和第二 攝像信號(hào)I2得到的視差(近紅外光的視差)的可靠性與利用第三攝像 信號(hào)I3和第四攝像信號(hào)I4得到的視差(綠色光的視差)的可靠性進(jìn)行 比較，采用可靠性較高的視差。另-一方面，在傳送范圍標(biāo)志FO二2 (第 二動(dòng)作模式)時(shí)，不進(jìn)行選擇，采用利用第- 攝像信號(hào)n和第二攝像 信號(hào)I2得到的視差(近紅外光的視差)。接著，執(zhí)行歩驟S1700。
在歩驟S1700中，距離運(yùn)算部143進(jìn)行距離運(yùn)算，將結(jié)果作為距 離數(shù)據(jù)依次傳送到第二輸出緩沖器137b。如果對(duì)于距離A求解式1， 則如下述式8所示。從而，具有視差值A(chǔ) (ibx， iby)的塊中的被攝體 的距離A (ibx， iby)如下述式9那樣進(jìn)行運(yùn)算。并且向第二輸出緩沖 器137b傳送距離數(shù)據(jù)A (ibx， iby)。
A =f D/ △......式8
A (ibx， iby) =f'D / △ (ibx， iby)……式9 接著，執(zhí)行步驟S1800。
在步驟S1800中，傳送范圍決定部144決定傳送范圍，并設(shè)定傳 送范圍標(biāo)志。如下述式IO所示，在各塊(ibx， iby)中的可靠性E(ibx， iby)的最小值小于某設(shè)定的值時(shí)，傳送范圍標(biāo)志FO二l。另一方面， 在各塊(ibx， iby)中的可靠性E (ibx， iby)的最小值為某設(shè)定的值 以上時(shí)，傳送范圍標(biāo)志FO二2。
FO=l (min (E (ibx， iby)) <E0時(shí))FO=2 (min (E (ibx， iby)) ^E0時(shí))......式10
接著。執(zhí)行步驟S1900。
在步驟S1900中，結(jié)束運(yùn)算動(dòng)作，返回上位程序。接著，執(zhí)行步 驟S1910。
通過(guò)如以上所述構(gòu)成本發(fā)明的攝像裝置并使其動(dòng)作，具有以下的 效果。
根據(jù)本發(fā)明的實(shí)施方式1的攝像裝置，傳送范圍決定部144基于 根據(jù)攝像信號(hào)生成的可靠性E (ibx， iby)，在可靠性E (ibx， iby)較 小時(shí)，使傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)，在可靠性E(ibx， iby) 較大時(shí)，使傳送范圍標(biāo)志F0二2 (使傳送范圍為一半的區(qū)域)。由此， 當(dāng)可靠性E (ibx， iby)較大時(shí)，判斷為有提高高速性的余量，通過(guò)使 輸出標(biāo)志F0二2 (第二動(dòng)作模式)，實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距 離運(yùn)算的攝像裝置。另一方面，當(dāng)可靠性E (ibx， iby)較小時(shí)，判斷 為需要進(jìn)一步的精度，通過(guò)使輸出標(biāo)志FO二l (第一動(dòng)作模式)，實(shí)現(xiàn) 能夠進(jìn)行高精度的視差運(yùn)算、距離運(yùn)算的攝像裝置。
這樣，在本實(shí)施方式的攝像裝置的情況下，根據(jù)可靠性E變更傳 送范圍，進(jìn)行動(dòng)作模式的切換。這里，可靠性E是根據(jù)被攝體的運(yùn)動(dòng) 等而變化的值。從而，可以說(shuō)本實(shí) 施方式的攝像裝置根據(jù)被攝休的運(yùn) 動(dòng)等與被攝體有關(guān)的信息變更傳送范圍。
另外，在本發(fā)明的攝像裝置中，在FO二2 (第一動(dòng)作模式)時(shí)， 采用傳送順序較早的大致一半的區(qū)域。即，如圖9 (b) 24b所示，傳 送所需要的時(shí)間成為一半，殘留在垂直CCD中的電荷在22b的期間內(nèi) 轉(zhuǎn)出到水平CCD，從而傳送所需要的時(shí)間減半，實(shí)現(xiàn)能夠進(jìn)行高速的 視差運(yùn)算、距離運(yùn)算的攝像裝置。
另外，在實(shí)施方式1的攝像裝置中，在FO二l (第一動(dòng)作模式) 時(shí)，使傳送的攝像信號(hào)的垂直方向?yàn)閂0像素，在FO二2(第二動(dòng)作模 式)時(shí)，使傳送的攝像信號(hào)的垂直方向?yàn)閂0/2像素，但也可以有- 定的變更。例如，如果使FO = 2 (第二動(dòng)作模式)的傳送范圍的垂直 方向?yàn)閺牡?像素到y(tǒng)01 + VI — 1 ，則能夠進(jìn)一步減少傳送時(shí)間。此外， 在透鏡的不均性較大，各光軸的偏移大的情況下，如果使FO = 2 (第 二動(dòng)作模式)的傳送范圍的垂直方向比V0/2大，則原點(diǎn)的調(diào)整余量相應(yīng)地增大。
此外，在實(shí)施方式1的攝像裝置中，根據(jù)可靠性E (ibx， iby)變 更傳送范圍，但本發(fā)明并不限定于此。本發(fā)明的要點(diǎn)在于通過(guò)變更傳 送范圍，進(jìn)行視差運(yùn)算、距離運(yùn)算，使得速度與精度的關(guān)系適宜。另
外，也可以根據(jù)上位CPU的命令變更傳送范圍。例如，上位CPU可
以使用圖像數(shù)據(jù)，變更傳送范圍?；蛘?，也可以是根據(jù)用戶指定的被
攝體信息，上位CPU指示傳送范圍。
圖10B是表示本發(fā)明的實(shí)施方式1的攝像裝置的動(dòng)作的變形例的 流程圖。此外，圖11B是表示本發(fā)明的實(shí)施方式1的攝像裝置的運(yùn)算 部的動(dòng)作的變形例的流程圖。在該圖11B的流程圖中，表示圖10B中 的運(yùn)算處理(S1100B)的詳細(xì)的處理流程。
在該變形例中，不根據(jù)與被攝體有關(guān)的信息決定傳送范圍。即， 與攝像信號(hào)是與怎樣的圖像有關(guān)的信號(hào)沒(méi)有關(guān)系，而按照規(guī)定的基準(zhǔn) 決定傳送范圍。例如，交替地切換第一動(dòng)作模式和第二動(dòng)作模式，或 者以在全部動(dòng)作中第一動(dòng)作模式(或第二動(dòng)作模式)所占的比例為規(guī) 定的比例的方式切換動(dòng)作模式。
變形例中的傳送范圍的決定在圖10B的流程圖中的歩驟S1020B 中執(zhí)行。而且，在步驟S1100B的運(yùn)算處理中，如圖11B所示，執(zhí)行」 述的開(kāi)始處理(S1110)、視差運(yùn)算(S固)、距離運(yùn)算(S1700)和結(jié) 束處理(S1900)。在該變形例中，由于在步驟S1020B中決定傳送范圍， 因此不需要進(jìn)行圖IIA所示的步驟S1800的傳送范圍的決定處理。
另外，用戶也能夠適當(dāng)設(shè)定傳送范圍。為此，例如，在利用用戶 能夠操作的開(kāi)關(guān)等由用戶輸出傳送范圍設(shè)定(動(dòng)作模式切換)的指不 的情況下，接收到該指示的上位CPU命令攝像裝置以進(jìn)行傳送范圍的 設(shè)定(動(dòng)作模式的切換)等即可。
此外，在實(shí)施方式1的攝像裝置中，使傳送范圍標(biāo)志的初始值為 FO=l (第一動(dòng)作模式)，但也可以是FO二2 (第二動(dòng)作模式)。
此外，在實(shí)施方式1的攝像裝置中，使第 -運(yùn)算緩沖器的大小為 32X32像素(水平方向32像素，以及垂直方向32像素)，但并不限定 于此。例如，也可以是4X4像素、8X8像素、16X16像素。此外， 也可以變更為適宜的大小。此外，還可以求取多個(gè)尺寸的塊的視差并
31進(jìn)行選擇。進(jìn)而，還可以不是矩形狀的塊，而是抽取邊緣等進(jìn)行塊分 割。此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。
此外，在實(shí)施方式l的攝像裝置中，向第一輸出緩沖器137a傳送 第一攝像信號(hào)Il，從輸入輸出部138輸出，但也可以輸出其它的攝像 信號(hào)(第二攝像信號(hào)12、第三攝像信號(hào)13或者第四攝像信號(hào)14)。此 外，還可以輸出多個(gè)攝像信號(hào)。進(jìn)而，也可以根據(jù)攝像信號(hào)的條件， 變更從輸入輸出部138輸出的攝像信號(hào)。例如，可以比較各個(gè)攝像信 號(hào)，變更為輸出最明亮的攝像信號(hào)(根據(jù)攝像信號(hào)的大小的平均為最 大等已進(jìn)行判定的信號(hào))，或者輪廓最清楚的信號(hào)(根據(jù)微分值的平均、 最大值為最大等已進(jìn)行判定的信號(hào))。
此外，在實(shí)施方式1的攝像裝置中，作為攝像元件使用了 CCD傳 感器，但也可以使用其它攝像元件(例如，CMOS傳感器)。
此外，在實(shí)施方式1的攝像元件中，作為攝像元件123不僅可以 利用逐行掃描CCD，也可以利用隔行掃描CCD。圖19是說(shuō)明本發(fā)明 的實(shí)施方式1的攝像裝置的變形的場(chǎng)圖像的圖。例如，在利用具有3 個(gè)場(chǎng)的隔行掃描CCD的情況下，圖像整體如圖19 (a)所示，依次配 置第一場(chǎng)圖像、第二場(chǎng)圖像和第三場(chǎng)圖像。首先，傳送構(gòu)成第一場(chǎng)圖 像的攝像信號(hào)，接著傳送構(gòu)成第二場(chǎng)圖像的攝像信號(hào)，接著傳送構(gòu)成 第三場(chǎng)圖像的攝像信號(hào)。在通常的黑白圖像中，通過(guò)將它們一行 -行 地順序配置能夠再現(xiàn)整體圖像。如圖19 (b)所示，在圖像整體(幀圖 像)的寬度是H0、高度是V0時(shí)，如圖19 (c)、 (d)、 (e)所示，第--場(chǎng)圖像、第二場(chǎng)圖像和第三場(chǎng)圖像的寬度分別是HO，高度是V0/3。
圖20是表示本發(fā)明的實(shí)施方式1的攝像裝置的變形的攝像信號(hào)的 傳送的時(shí)序圖。在傳送范圍標(biāo)志FO二l吋，因?yàn)閭魉头秶窃跀z像區(qū) 域的整個(gè)區(qū)域中生成的攝像信號(hào)，所以如圖8 (a)所示，在水平方向 傳送HO像素的攝像信號(hào)、在垂直方向傳送VO像素的攝像信號(hào)。艮口， 輸入到攝像信號(hào)輸入部133中的攝像信號(hào)IO (x， y)在x方向具有HO 像素、在y方向具有VO像素，按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2， 0)、……、10 (H0—1， V0—1)的順序輸入，依 次傳送到前處理部134。如圖20 (a)所示，產(chǎn)生在1幀中僅產(chǎn)生一次 的信號(hào)20c，產(chǎn)生在1場(chǎng)中僅 --次的垂直同步信號(hào)21c。在3場(chǎng)的隔行掃描CCD中，在每個(gè)信號(hào)20c中產(chǎn)生3個(gè)垂直同步信號(hào)21c。從垂直 同步信號(hào)21c的上升沿開(kāi)始的一定期間之后，在信號(hào)23c的高電平的 定時(shí)，從CCD傳感器的光電二極管向垂直傳送CCD傳送電荷，在信 號(hào)24a的高電平下，依次在垂直CCD、水平CCD內(nèi)傳送電荷，在攝像 信號(hào)輸入部133中從模擬信號(hào)變換成數(shù)字信號(hào)的攝像信號(hào)并輸入。另 外，在產(chǎn)生信號(hào)20c之后立即傳送第一場(chǎng)的攝像信號(hào)(以24cl表示的 期間)，接著傳送第二場(chǎng)的攝像信號(hào)(以24c2表示的期間)，接著傳送 第三場(chǎng)的攝像信號(hào)(以24c3表示的期間)。
另一方面，在傳送范圍標(biāo)志F0^2時(shí)，因?yàn)閭魉头秶窃跀z像區(qū) 域的一半的區(qū)域中生成的攝像信號(hào)，因此如圖8 (b)所示，在水平方 向傳送H0像素的攝像信號(hào)、在垂直方向傳送V0 / 2像素的攝像信號(hào)。 即，輸入到攝像信號(hào)輸入部133中的攝像信號(hào)IO (x， y)在x方向具 有H0像素，在y方向具有V0/2像素，按照IO (0， 0) ((x， y)=
(0， 0))、 10 (1， 0)、 10 (2， 0)、 ......、 10 (H0—1， V0/2—l)的
順序輸入，依次傳送到前處理部134。如圖20 (b)所示，產(chǎn)生在l幀 中僅產(chǎn)生 一次的信號(hào)20d，產(chǎn)生在1場(chǎng)巾僅一次的垂直同歩信號(hào)21d。 在3場(chǎng)的隔行掃描CCD中，在每一個(gè)信號(hào)20d中產(chǎn)生3個(gè)垂直同步信 號(hào)21d。在從垂直同步信號(hào)21d的上升沿開(kāi)始的一定期間之后，在信號(hào) 22d的高電平下，將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出到水平CCD，在信 號(hào)23d的高電平的定時(shí)，從CCD傳感器的光電二極管向垂直傳送CCD 傳送電荷，在信號(hào)24d的高電平下，依次在垂直CCD、水平CCD內(nèi)傳 送電荷，在攝像信號(hào)輸入部133中從模擬信號(hào)變換成數(shù)字信號(hào)的攝像 信號(hào)并輸入。另外，在產(chǎn)生信號(hào)20d之后立即傳送第一場(chǎng)的攝像信兮
(以24dl表示的期間)，接著傳送第二場(chǎng)的攝像信號(hào)(以24d2表示的 期間)，接著傳送第三場(chǎng)的攝像信號(hào)(以24d3表示的期間)。從而，與 傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)的電荷的傳送時(shí)間(信號(hào)24a 為高電平的期間)相比較，傳送范圍標(biāo)志FO二2 (第二動(dòng)作模式)時(shí) 的電荷的傳送時(shí)間(信號(hào)2ba為高電平的期間)是大致一半，因此， 能夠縮短傳送1張圖像的時(shí)間間隔。
進(jìn)而，如果不使用全部的場(chǎng)圖像而僅使用一個(gè)場(chǎng)圖像，則能夠進(jìn) --步縮短傳送1張圖像的時(shí)間間隔。在作為傳送范圍標(biāo)志還設(shè)置有FO=3的狀態(tài)，且傳送范圍標(biāo)志FO = 3時(shí)，傳送范圍是一半的區(qū)域(傳 送區(qū)域是圖8 (b))，僅傳送第一場(chǎng)的圖像。即，輸入到攝像信號(hào)輸入
部133中的攝像信號(hào)IO (x， y)在x方向具有HO像素，在y方向具有 V0/6像素，按照IO (0， 0) ((x， y) = (0， O))、 10 (1， 0)、 10 (2，
0)、 ......、 10 (0， 3)、 10 (1, 3)、 10 (2， 3)、 ......、 10 (H0—1' VO
/2 — 3)的順序輸入，并依次傳送到前處理部134。如圖20 (c)所示， 信號(hào)20d產(chǎn)生的定時(shí)與垂直同步信號(hào)21d產(chǎn)生的定時(shí)大致相同。在從 垂直同步信號(hào)21d的上升沿開(kāi)始的一定期間之后，在信號(hào)22d的高電 平下，將殘留在垂直CCD內(nèi)的電荷轉(zhuǎn)出到水平CCD，在信號(hào)23d的高 電平的定時(shí)，從CCD傳感器的光電二極管向垂直傳送CCD傳送電荷， 在信號(hào)24d的高電平下，依次在垂直CCD、水平CCD內(nèi)傳送電荷，在 攝像信號(hào)輸入部133中，從模擬信號(hào)變換成數(shù)字信號(hào)的攝像信號(hào)并輸 入。另外，因?yàn)榭偸莾H傳送第一場(chǎng)的攝像信號(hào)(以24el表示的期間)， 所以與傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)的電荷的傳送時(shí)間(信 號(hào)24a為高電平的期間)相比較，傳送范圍標(biāo)志FO二3 (傳送范圍是 一半的區(qū)域，且僅傳送第一場(chǎng)圖像)時(shí)的電荷的傳送時(shí)間(信號(hào)24a 為高電平的期間)是大約1 /6倍，能夠縮短傳送1張圖像的時(shí)間間隔。
此處，通過(guò)僅傳送1個(gè)場(chǎng)，能夠減少垂直方向的像素?cái)?shù)，但沒(méi)有 減少水平方向的像素?cái)?shù)。視差產(chǎn)生的方向是水平方向，視差運(yùn)算的精 度惡化較小。從而，在僅傳送1個(gè)場(chǎng)的情況下，能夠在保持視差運(yùn)算 的精度的同時(shí)實(shí)現(xiàn)高速化。
此處，在需要視差運(yùn)算的高速性的情況下，設(shè)定傳送范圍標(biāo)志FO =3 (第三動(dòng)作模式)，將傳送范圍設(shè)為在攝像區(qū)域的一半的區(qū)域屮生 成的攝像信號(hào)，始終僅傳送第一場(chǎng)。此外，在一定程度上需要高速性 和高精度性的情況下，設(shè)定傳送范圍標(biāo)志FO二2 (第二動(dòng)作模式)，將 傳送范圍設(shè)為在攝像區(qū)域的一半的區(qū)域中生成的攝像信號(hào)，傳送第一 幀到第三幀。此外，需要高精度性的情況下，設(shè)定傳送范圍標(biāo)志FO二 1 (第一動(dòng)作模式)，將傳送范圍設(shè)為在攝像區(qū)域的整個(gè)區(qū)域中生成的 攝像信號(hào)，傳送第一幀到第三幀。通過(guò)這樣動(dòng)作，能夠根據(jù)狀況適當(dāng) 變更高速性和高精度性。
另外，SLSI125根據(jù)與被攝體有關(guān)的信息判斷是否需要視差運(yùn)算的
34高速性和/或高精度性。即，例如，根據(jù)上述那樣求出的可靠性E的
值，SLSI125判斷是否需要高速性和/或高精度性，根據(jù)該判定結(jié)果， SLSI125選擇第一 第三動(dòng)作模式的某一種。
另外，通過(guò)追加使傳送范圍為在攝像區(qū)域的整個(gè)區(qū)域中生成的攝 像信號(hào)并僅傳送第一場(chǎng)的情況，能夠進(jìn)一步細(xì)致地與狀況相對(duì)應(yīng)。此 外，代替第一場(chǎng)，也可以傳送第二場(chǎng)或者第三場(chǎng)。 (實(shí)施方式2)
本發(fā)明的實(shí)施方式1的攝像裝置中，主要透過(guò)近紅外光成分的彩 色濾光片(第一彩色濾光片124a和第二彩色濾光片124b)以及主要透 過(guò)綠色光成分的彩色濾光片(第三彩色濾光片124c和第四彩色濾光片 124d)分別水平地配置，在與它們相對(duì)應(yīng)的攝像成分彼此之間(第一 攝像信號(hào)II與第二攝像信號(hào)12，以及第三攝像信號(hào)13與第四攝像信兮 14)進(jìn)行比較，運(yùn)算視差，根據(jù)該視差運(yùn)算距離。與此相對(duì)，本發(fā)明的 實(shí)施方式2的攝像裝置中，主要透過(guò)近紅外光成分的彩色濾光片和主 要透過(guò)綠色光成分的彩色濾光片分別對(duì)角配置，在與它們相對(duì)應(yīng)的攝 像成分彼此之間進(jìn)行比較，運(yùn)算視差，根據(jù)該視差運(yùn)算距離。
以下，參照
本發(fā)明的實(shí)施方式2的攝像裝置。
圖21是表示本發(fā)明的實(shí)施方式2的攝像裝置的結(jié)構(gòu)的截面圖。在 圖21中，攝像裝置201具有透鏡模塊部110和電路部220。
透鏡模塊部IIO具有鏡筒111、上部蓋玻璃112和透鏡113。 i乜路 部220具有基板121、封裝122、攝像元件223、封裝蓋玻璃224和系 統(tǒng)LSI (以下，記為SLSI) 225。
鏡筒111、上部蓋玻璃112和透鏡113與上述實(shí)施方式1相同，省
基板121和封裝122與上述實(shí)施方式1相同，省略說(shuō)明。 攝像元件223是作為固體攝像元件的CMOS傳感器，以攝像元件 223的受光面與第一透鏡部113a、第二透鏡部113b、第三透鏡部113c 和第四透鏡部113d的光軸大致垂直的方式配置。攝像元件223的各端 子通過(guò)引線接合由金線227與封裝122的內(nèi)側(cè)的底部的金屬端子連接， 通過(guò)基板121與SLSI125電連接。在攝像元件223的受光面上，從第 -透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透鏡部113d射出的光分別成像，其光信息通過(guò)光電二極管變換為電信息，該電信
息被傳送到SLSI125。
圖22是表示本發(fā)明的實(shí)施方式2的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃224是平板狀，由透明樹(shù)脂形成，通過(guò)粘接等固定 在封裝122的上表面。在封裝蓋玻璃224的上表面，通過(guò)蒸鍍等配置 有第一彩色濾光片224a、第二彩色濾光片224b、第三彩色濾光片224c、 第四彩色濾光片224d和遮光部224e。此外，在封裝蓋玻璃224的下表 面，通過(guò)蒸鍍等配置有反射防止膜。
攝像元件223與實(shí)施方式1的情況相同，由第一攝像區(qū)域223a、 第二攝像區(qū)域223b、第三攝像區(qū)域223c和第四攝像區(qū)域223d構(gòu)成。 這些第一 第四攝像區(qū)域223a 223d以各自的受光面與第一 第四透 鏡部113a 113d的光軸大致垂直的方式配置成2行2列。另外，與實(shí) 施方式1的情況相同，1個(gè)攝像元件為1個(gè)攝像區(qū)域，通過(guò)設(shè)置多個(gè)這 樣的攝像元件，能夠具有多個(gè)攝像區(qū)域。
圖23是本發(fā)明的實(shí)施方式2照相機(jī)模塊的彩色濾光片的特性圖。 第二彩色濾光片224b和第三彩色濾波器224c具有圖23的IR所表示 的主要透過(guò)近紅外光的分光透射特性(以波長(zhǎng)人l為中心的透射特性。 例如，Al二870nm)，第一彩色濾光片224a和第四彩色濾光片224d具 有圖23的G所表示的主要透過(guò)綠色光的分光透射特性(以波長(zhǎng)入2為 中心的透射特性。例如，A 2 = 500nm)。
從而，從第一透鏡部113a的上部入射的物體光從第一透鏡部113a 的下部射出，通過(guò)第一彩色濾光片224a主要透過(guò)綠色光，在第一攝像 區(qū)域223a的受光部上成像，因此，第一攝像區(qū)域223a接受物體光中 的綠色光成分。此外，從第二透鏡部113b的上部入射的物體光從第二 透鏡部113b的下部射出，通過(guò)第二彩色濾光片224b主要透過(guò)近紅外 光，在第二攝像區(qū)域223b的受光部上成像，因此，第二攝像區(qū)域223b 接受物體光中的近紅外光成分。此外，從第三透鏡部113c的上部入射 的物體光從第三透鏡部113c的下部射出，通過(guò)第三彩色濾光片224c 主要透過(guò)近紅外光，在第三攝像區(qū)域223c的受光部上成像，因此，第 三攝像區(qū)域223c接受物體光中的近紅外光成分。進(jìn)而，從第四透鏡部 113d的上部入射的物體光從第四透鏡部113d的下部射出，通過(guò)第四彩色濾光片224d主要透過(guò)綠色光，在第四攝像區(qū)域223d的受光部上成 像，因此，第四攝像區(qū)域223d接受物體光中的綠色光成分。
SLSI225按照后述的方法驅(qū)動(dòng)攝像元件223，輸入來(lái)自攝像元件 223的電信息，進(jìn)行各種運(yùn)算，與上位CPU進(jìn)行通信，將圖像信息、 距離信息等輸出到外部。另夕卜，SLSI225與電源(例如3.3V)和地(例 如0V)連接。
接著，說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的動(dòng)作。圖24是表示 本發(fā)明的實(shí)施方式2的攝像裝置的結(jié)構(gòu)的框圖。SLSI225具有系統(tǒng)控制 部231、攝像元件驅(qū)動(dòng)部232、攝像信號(hào)輸入部233、前處理部234、 輸入緩沖器135、運(yùn)算部236、輸出緩沖器137和輸入輸出部138。攝 像元件驅(qū)動(dòng)部232具有第一攝像元件驅(qū)動(dòng)部232a和第二攝像元件驅(qū)動(dòng) 部232b，輸入緩沖器135具有第一輸入緩沖器135a、第二輸入緩沖器 135b、第三輸入緩沖器135c和第四輸入緩沖器135d。運(yùn)算部236具有 運(yùn)算緩沖器241、視差運(yùn)算部242、距離運(yùn)算部143和傳送范圍決定部 144。運(yùn)算緩沖器241具有第一運(yùn)算緩沖器241a和第二運(yùn)算緩沖器 241b。輸出緩沖器137具有第一輸出緩沖器137a和第二輸出緩沖器 137b。
系統(tǒng)控制部231由CPU (中央運(yùn)算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI225的整體。
攝像元件驅(qū)動(dòng)部232由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動(dòng)攝像元件223 的信號(hào)，向攝像元件223施加與該信號(hào)相應(yīng)的電壓。該攝像元件驅(qū)動(dòng) 部232由第一攝像元件驅(qū)動(dòng)部232a和第二攝像元件驅(qū)動(dòng)部232b構(gòu)成， 在后述的傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)吋，第一攝像元件驅(qū) 動(dòng)部232a動(dòng)作，在傳送范圍標(biāo)志FO二2 (第二動(dòng)作模式)時(shí)，第二攝 像元件驅(qū)動(dòng)部232b動(dòng)作。這樣，通過(guò)預(yù)先準(zhǔn)備兩種電路(攝像元件驅(qū) 動(dòng)部)，能夠容易地進(jìn)行傳送范圍的變更(動(dòng)作模式的切換)。
攝像信號(hào)輸入部233以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit)、 AGC (自動(dòng)增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器Analog Digital Converter)屮 聯(lián)連接的方式構(gòu)成，被輸入來(lái)自攝像元件223的電信號(hào)，通過(guò)CDS電 路去除固定噪聲，通過(guò)AGC調(diào)整增益，通過(guò)ADC從模擬信號(hào)變換成數(shù)字值，如后所述，成為第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝 像信號(hào)I3和第四攝像信號(hào)I4。
傳送范圍決定部144按照后述的方法決定傳送范圍標(biāo)志FO。在傳 送范圍標(biāo)志FO二l時(shí)，表示傳送范圍是在攝像區(qū)域的整個(gè)區(qū)域中生成 的攝像信號(hào)，在傳送范圍標(biāo)志FO二2時(shí)，表示傳送范圍是在攝像區(qū)域 的一半的區(qū)域中生成的攝像信號(hào)。另外，傳送范圍標(biāo)志初始化為FO二 1。
圖25是用于說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的攝像信號(hào)的截 取位置的圖。圖26是表示本發(fā)明的實(shí)施方式2的攝像裝置的攝像信號(hào) 的傳送的時(shí)序圖。在傳送范圍標(biāo)志FO二l時(shí)，傳送范圍是在攝像區(qū)域 的整個(gè)區(qū)域中生成的攝像信號(hào)，因此如圖25 (a)所示，傳送與第一攝 像信號(hào)I1對(duì)應(yīng)的區(qū)域(原點(diǎn)為(x01， y01)，水平像素為H1像素，垂 直像素為VI像素的區(qū)域)、與第二攝像信號(hào)12對(duì)應(yīng)的區(qū)域(原點(diǎn)為
(x02， y02)，水平像素為H1像素，垂直像素為VI像素的區(qū)域)、與 第三攝像信號(hào)B對(duì)應(yīng)的區(qū)域(原點(diǎn)為(x03， y03)，水平像素為Hl像 素，垂直像素為VI像素的區(qū)域)、以及與第四攝像信號(hào)I4對(duì)應(yīng)的區(qū)域
(原點(diǎn)為(x04， y04)，水平像素為Hl像素，垂直像素為VI像素的 區(qū)域)。如圖26 (a)所示，從垂直同步信號(hào)21f的上升沿開(kāi)始的--定 期間之后，在信號(hào)24f的高電平下，依次傳送攝像信號(hào)，在攝像信號(hào)輸 入部133中從模擬信號(hào)變換成數(shù)字信號(hào)的攝像信號(hào)并輸入。即，在以 24fl表示的期間中，第一攝像信號(hào)Il按照Il (0， 0)、 II (1， 0)、 II
(2， 0)、 ......、 II (Hl — l， Vl — l)的順序輸入；在以24f2表示的
期間中，第二攝像信號(hào)I2按照I2 (0， 0)、 12 (1， 0)、 12 (2， 0)、……、 12 (Hl — l， Vl — l)的順序輸入；在以24f3表示的期間中，第三攝像 信號(hào)13按照13 (0， 0)、 13 (1， 0)、 B (2， 0)、……、13 (Hl — l， Vl — l)的順序輸入；以及，在以24f4表示的期間中，第四攝像信號(hào) 14按照14 (0， 0)、 14 (1， 0)、 14 (2， 0)、……、14 (HI —1， Vl — l) 的順序輸入，并傳送到前處理部234。
在傳送范圍標(biāo)志FO = 2時(shí)，傳送范圍是在攝像區(qū)域的一半的區(qū)域 中生成的攝像信號(hào)，因此，如圖25 (b)所示，傳送與第二攝像信號(hào)I2 對(duì)應(yīng)的區(qū)域(原點(diǎn)為(x02， y02)，水平像素為H1像素，垂直像素為
38Vl像素的區(qū)域)，以及與第三攝像信號(hào)I3對(duì)應(yīng)的區(qū)域(原點(diǎn)為(x03，
y03)，水平像素為Hl像素，垂直像素為VI像素的區(qū)域)。如圖26 (b) 所示，從垂直同步信號(hào)21f的上升沿開(kāi)始經(jīng)過(guò)一定期間之后，在信號(hào) 24f的高電平下，依次傳送攝像信號(hào)，在攝像信號(hào)輸入部133中從模擬 信號(hào)變換成數(shù)字信號(hào)的攝像信號(hào)并輸入。即，在以24g2表示的期間中， 第二攝像信號(hào)I2按照I2 (0， 0)、 12 (1， 0)、 12 (2， 0)、 、 12 (Hl
一l， VI —1)的順序輸入，以及，在以24g3表示的期間中，第三攝像 信號(hào)13按照13 (0， 0)、 13 (1， 0)、 13 (2， 0)、……、13 (HI —1， Vl — l)的順序輸入，傳送到前處理部234。
與傳送范圍標(biāo)志F0二1 (第一動(dòng)作模式)時(shí)的電荷的傳送吋間(信 號(hào)24f為高電平的期間)相比較，傳送范圍標(biāo)志FO = 2 (第二動(dòng)作模式) 時(shí)的電荷的傳送時(shí)間(信號(hào)24f為高電平的期間)是大約一半，因此能 夠縮短傳送1張圖像的時(shí)間間隔。
前處理部234由邏輯電路等構(gòu)成，進(jìn)行攝像信號(hào)的強(qiáng)度修正處現(xiàn)， 并依次傳送到輸入緩沖器135。
在FO二l時(shí)，傳送范圍是在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信 號(hào)，因此，修正第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3 和第四攝像信號(hào)14的強(qiáng)度，并依次傳送到輸入緩沖器135。第一攝像 信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四攝像信號(hào)是根據(jù)分 別通過(guò)第一透鏡部113a、第二透鏡部113b、第三透鏡部113c和第四透 鏡部114d被成像的被攝體像而得到的。如下述式11所示，以第一強(qiáng) 度修正系數(shù)ksl修正第一攝像信號(hào)I1;如下述式12所示，以第二強(qiáng)度 修正系數(shù)ks2修正第二攝像信號(hào)I2;如下述式13所示，以第三強(qiáng)度修 正系數(shù)ks3修正第三攝像信號(hào)I3;而且，如下述式14所示，以第四強(qiáng) 度修正系數(shù)ks4修正第四攝像信號(hào)14。
11 (x， y) =ksl (x， y) "1 (x， y)......式11
12 (x， y) 二ks2 (x， y) * 12 (x' y)……式12
13 (x， y) =ks3 (x， y) * 13 (x， y)......式13
14 (x， y) 二ks4 (x， y) * 14 (x， y)......式14
另外，第一強(qiáng)度修正系數(shù)ksl (x， y)、第二強(qiáng)度修正系數(shù)ks2 (x， y)、第三強(qiáng)度修正系數(shù)ks3 (x， y)和第四強(qiáng)度修正系數(shù)ks4 (x， y)各自表示第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝像信號(hào)I3和第四
攝像信號(hào)I4的坐標(biāo)(x， y)的強(qiáng)度修正系數(shù)，在檢查工序等中拍攝定 特定圖像而決定，并保存在EEPROM、閃存中。另外，也可以不具有 各像素的系數(shù)而僅具有代表點(diǎn)，使用該代表點(diǎn)通過(guò)線性內(nèi)插求取第一 強(qiáng)度修正系數(shù)ksl (x， y)、第二強(qiáng)度修正系數(shù)ks2 (x， y)、第三強(qiáng)度 修正系數(shù)ks3 (x， y)和第四強(qiáng)度修正系數(shù)ks4 (x， y)。此外，也可以 建立近似式并僅具有其系數(shù)，生成各坐標(biāo)的第一強(qiáng)度修正系數(shù)ksl (x， y)、第二強(qiáng)度修正系數(shù)ks2 (x， y)、第三強(qiáng)度修正系數(shù)ks3 (x， y)和 第四強(qiáng)度修正系數(shù)ks4 (x， y)。此外，為了校正透鏡的光軸的偏移等， 可以適當(dāng)?shù)剡M(jìn)行坐標(biāo)變換。
另一方面，當(dāng)FO二2時(shí)，由于傳送范圍是在攝像區(qū)域的一半?yún)^(qū)域 中生成的攝像信號(hào)，因此順序生成第二攝像信號(hào)12以及第三攝像信號(hào) 13，依次傳送到輸入緩沖器135。與FO二l時(shí)(傳送整個(gè)區(qū)域吋)相比 較，省略有關(guān)第一攝像信號(hào)I2以及第四攝像信號(hào)I4的處理。由于與第 二攝像信號(hào)12以及第三攝像信號(hào)13有關(guān)的處理相同，因此省略說(shuō)明。
當(dāng)FO=l時(shí)，第一輸入緩沖器135a由DRAM (Dynamic Random Access Memory:動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等構(gòu)成，順序讀入第--攝像信 號(hào)II，保存H1*V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。第二輸入緩沖器135b由DRAM等構(gòu)成，順序讀入第二攝像信 號(hào)12，保存H"V1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。第三輸入緩沖器135c由DRAM等構(gòu)成，順序讀入第三攝像信 號(hào)13，保存H1*V1像素(沿x方向HI像素，沿y方向VI像素)的 數(shù)據(jù)。第四輸入緩沖器135d由DRAM等構(gòu)成，順序讀入第四攝像信 號(hào)14，保存H"V1像素(沿x方向Hl像素，沿y方向Vl像素)的 數(shù)據(jù)。
另一方面，在FO=2時(shí)，生成第二攝像信號(hào)12和第三攝像信號(hào)13， 并依次輸入到輸入緩沖器135。與FO=l時(shí)(傳送整個(gè)區(qū)域時(shí))相比 較，省略涉及第一輸入緩沖器135a和第四輸入緩沖器135d的處理。 有關(guān)第二輸入緩沖器135b和第三輸入緩沖器135c的處理是同樣的， 因此省略說(shuō)明。
運(yùn)算部236包括由SRAM構(gòu)成的第一運(yùn)算緩沖器241a、第二運(yùn)算緩沖器241b;由邏輯電路、CPU等構(gòu)成的視差運(yùn)算部242;由邏輯 電路、CPU等構(gòu)成的距離運(yùn)算部143;和由邏輯電路、CPU等構(gòu)成的
傳送范圍決定部144。運(yùn)算部236以塊單位讀入第一攝像信號(hào)Il、第二 攝像信號(hào)I2、第三攝像信號(hào)I3和第四攝像信號(hào)I4，并保存到第一運(yùn)算 緩沖器241a、和第二運(yùn)算緩沖器241b中。而且，在視差運(yùn)算部242中， 根據(jù)第一運(yùn)算緩沖器241a和第二運(yùn)算緩沖器241b的數(shù)據(jù)等運(yùn)算視差， 在距離運(yùn)算部143中根據(jù)求出的視差運(yùn)算距離，將求出的距離數(shù)據(jù)傳 送到輸出緩沖器137。
輸出緩沖器137和輸入輸出部138與上述實(shí)施方式1相同，省略 說(shuō)明。
圖27是表示本發(fā)明的實(shí)施方式2的攝像裝置的動(dòng)作的流程圖。利 用SLSI225的系統(tǒng)控制部231，攝像裝置201如該流程圖那樣動(dòng)作。
在步驟S2010中，開(kāi)始動(dòng)作。例如，上位CPU (未圖示)通過(guò)輸 入輸出部136向攝像裝置201發(fā)送動(dòng)作開(kāi)始的命令，山此攝像裝置201 開(kāi)始動(dòng)作。接著，執(zhí)行步驟S2020。
在歩驟S2020中，進(jìn)行傳送范圍的初始化處理。在本實(shí)施方式屮， 通過(guò)該初始化處理，設(shè)定傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)。接著， 執(zhí)行步驟S2030。
在步驟S2030中，輸入攝像信號(hào)。根據(jù)系統(tǒng)控制部231的命令， 攝像元件驅(qū)動(dòng)部232隨時(shí)輸出用于進(jìn)行傳送的信號(hào)。在傳送范圍標(biāo)志 F0=1 (第一動(dòng)作模式)時(shí)，第一攝像信號(hào)驅(qū)動(dòng)部232a動(dòng)作。這種情 況下，攝像信號(hào)輸入部233沿x方向輸入Hl像素，沿y方向輸入Vl 像素，艮口，按照Il (0， 0) ((x， y) = (0， O))、 II (1， 0)、 II (2， 0)、……、II (Hl — l， VI —1)的順序輸入第一攝像信號(hào)II (x， y)， 并依次傳送到前處理部234。接著，沿x方向輸入Hl像素，沿y方向 輸入V1像素，艮P，按照12 (0， 0) ((x， y) 二 (0， O))、 12 (1， 0)、 12 (2， 0)、……、12 (Hl — l， Vl — l)的順序輸入第二攝像信號(hào)12 (x， y)，并依次傳送到前處理部234。接著，沿x方向輸入Hl像素， 沿y方向輸入Vl像素，艮l]，按照13 (0， 0) ((x， y) = (0， O))、 13 (1， 0)、 13 (2， 0)、……、13 (Hl — l， Vl — l)的順序輸入第三攝 像信號(hào)I3 (x， y)，并依次傳送到前處理部234。接著，沿x方向輸入HI像素，沿y方向輸入Vl像素，艮口，按照14 (0， 0) ((x， y) = (0，
O))、 14 (1， 0)、 14 (2， 0)、 ......、 14 (Hl — l， VI —1)的順序輸入
第四攝像信號(hào)I4 (x， y)，并依次傳送到前處理部234。前處理部234 進(jìn)行強(qiáng)度修正處理，生成第一攝像信號(hào)Il、第二攝像信號(hào)I2、第三攝 像信號(hào)I3和第四攝像信號(hào)I4，將第一攝像信號(hào)Il、第二攝像信號(hào)、第 三攝像信號(hào)和第四攝像信號(hào)分別依次傳送到第一輸入緩沖器135a、第 二輸入緩沖器135b、第三輸入緩沖器135c和第四輸入緩沖器135d。
另一方面，在傳送范圍標(biāo)志FO二2 (第二動(dòng)作模式)時(shí)，第二攝 像信號(hào)驅(qū)動(dòng)單元232b動(dòng)作，攝像信號(hào)輸入部233沿x方向輸入Hl像 素，沿y方向輸入VI像素，即，按照12 (0， 0) ((x， y) 二 (0， O))、
12 (1， 0)、 12 (2， 0)、 ......、 12 (HI —1， VI —1)的順序輸入第二
攝像信號(hào)12 (x， y)，并依次傳送到前處理部234;沿x方向輸入Hl 像素，沿y方向輸入VI像素，即，按照D (0， 0) ((x， y) = (0， O))、
13 (1， 0)、 13 (2， 0)、 ......、 13 (Hl — l， VI —1)的順序輸入第三
攝像信號(hào)I3 (x， y)，并依次傳送到前處理部234。前處理部234進(jìn)行 強(qiáng)度修正處理，生成第二攝像信號(hào)I2和第三攝像信號(hào)I3，將第二攝像 信號(hào)12和第三攝像信號(hào)13分別依次傳送到第二輸入緩沖器135b和第 三輸入緩沖器135c。
在步驟S2040中，將保存在第二輸入緩沖器135a中的第二攝像信 號(hào)12傳送到第一輸出緩沖器137a，第一輸出緩沖器137a將其作為圖 像數(shù)據(jù)進(jìn)行保存。接著，執(zhí)行步驟S2100。
在步驟S2100中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 137b。此外，決定傳送范圍，設(shè)定傳送范圍標(biāo)志FO。該動(dòng)作的詳細(xì)過(guò) 程在后面敘述。接著，執(zhí)行步驟S2910。
在步驟S2910中，將數(shù)據(jù)輸出到外部。輸入輸出部138將第一輸 出緩沖器137a上的圖像數(shù)據(jù)和第二輸出緩沖器137b十.的距離數(shù)據(jù)輸 出到上位CPU (未圖示)、外部顯示裝置(未圖示)。接著，執(zhí)行歩驟 S2920。
在步驟S2920中，判斷是否結(jié)束動(dòng)作。例如，系統(tǒng)控制部231通 過(guò)輸入輸出部136，與上位CPU (未圖示)通信，請(qǐng)求是否結(jié)束動(dòng)作 的命令。并且，如果上位CPU命令結(jié)束則結(jié)束動(dòng)作。接著，執(zhí)行歩驟S2930。另一方面，如果上位CPU沒(méi)有命令結(jié)束則繼續(xù)動(dòng)作，接著執(zhí)
行步驟S2030。 g卩，只要上位CPU沒(méi)有命令結(jié)束，就繼續(xù)執(zhí)行步驟 S2030、步驟S2040、步驟S2100和步驟S2910的循環(huán)。 在步驟S2930中結(jié)束動(dòng)作。
接著，說(shuō)明步驟S2100中的動(dòng)作的詳細(xì)過(guò)程。圖28是表示本發(fā)明 的實(shí)施方式2的攝像裝置的運(yùn)算部的動(dòng)作的流程圖。圖28的流程圖表 示歩驟S2100的動(dòng)作的詳細(xì)過(guò)程。在步驟S2100的運(yùn)算中，首先執(zhí)行 步驟S2110。
在步驟S2110中，開(kāi)始運(yùn)算的動(dòng)作。接著執(zhí)行步驟S2200。 在步驟S2200中，執(zhí)行視差運(yùn)算。圖29是表示本發(fā)明的實(shí)施方式 2的攝像裝置的視差運(yùn)算的動(dòng)作的流程圖。圖29的流程圖表示歩驟 S2200的動(dòng)作的詳細(xì)過(guò)程。在步驟S2200的運(yùn)算中，首先執(zhí)行步驟 S2210。
在步驟S2210中，開(kāi)始視差運(yùn)算的動(dòng)作。接著執(zhí)行步驟S2220。 在步驟S2220中，根據(jù)傳送范圍標(biāo)志FO而產(chǎn)生分支。當(dāng)傳送范圍 標(biāo)志F0二1吋(S2220中的Y)，傳送范圍是在攝像區(qū)域的整個(gè)區(qū)域中 生成的攝像信號(hào)，接著執(zhí)行步驟S2230a。另一方面，當(dāng)傳送范圍標(biāo)志 FO = 2時(shí)(S2220中的N)，傳送范圍是在攝像區(qū)域的 -半的區(qū)域'l'生 成的攝像信號(hào)，接著執(zhí)行歩驟2230b。
在步驟2230a中，執(zhí)行利用第二攝像信號(hào)和第三攝像信號(hào)的視差 運(yùn)算。圖30是表示本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信 號(hào)和第三攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。圖30的流程圖表示歩 驟S2230a的動(dòng)作的詳細(xì)過(guò)程。在步驟S2230a的運(yùn)算中，首先執(zhí)行歩 驟S2310。
在步驟S2310中，開(kāi)始利用第二攝像信號(hào)和第三攝像信號(hào)的視差 運(yùn)算的動(dòng)作。接著執(zhí)行步驟S2320。
在步驟S2320中，在塊索引ib中設(shè)定O進(jìn)行初始化處理。接著執(zhí) 行步驟S2330。
在步驟S2330中，選擇塊。圖31是說(shuō)明本發(fā)明的實(shí)施方式2的攝 像裝置的利用第二攝像信號(hào)和第三攝像信號(hào)的視差運(yùn)算中的第二攝像 信號(hào)的分割塊和運(yùn)算順序的圖，圖32是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第二攝像信號(hào)和第三攝像信號(hào)的視差運(yùn)算中的第三攝像 信號(hào)的分割塊和運(yùn)算順序的圖。在圖31中，第二攝像信號(hào)I2分割成在
x方向有HB像素、在y方向有VB像素的長(zhǎng)方形的塊，并在x方向上 錯(cuò)開(kāi)HB像素、在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有 Nh個(gè)塊，在y方向上具有Nv個(gè)塊。因此，各塊在x方向、y方向都 沒(méi)有重疊的部分。在圖32中，第三攝像信號(hào)13分割成圖32 (b)所示 的(HB+SB) * (VB+SB) —SB*SB像素的塊，在x方向上錯(cuò)開(kāi)HB 像素、在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh個(gè)塊， 在y方向具有Nv個(gè)塊。此外，在圖32中不能夠取得圖32 (b)所示 的塊的塊(例如，左上、右下、左下的塊)能夠適當(dāng)去除不能夠取得 的部分(例如，左上的塊為HB*VB的長(zhǎng)方形的塊)。另外，在實(shí)施方 式2中，以下表示HB二32、 VB二32的例子。在圖31和圖32中，在 各塊的上層記述的數(shù)字表示塊索引ib。此外，在圖31和圖32中，在 各塊的下層記述的坐標(biāo)(ibx， iby)表示各塊在x方向是第ibx個(gè)塊， 在y方向是第iby個(gè)塊。這里，ibx存在于0到Nh—l， iby存在于0 到Vh—l。在歩驟S2330中，選擇在圖31和圖32中以塊索引ib表示 的塊(以坐標(biāo)(ibx， iby)表示的塊)。接著，執(zhí)行步驟S2340。
在步驟S2340中，傳送攝像信號(hào)。這里，向第一運(yùn)算緩沖器241a 傳送在歩驟S2330中已選擇的塊的第二攝像信號(hào)12。將運(yùn)算緩沖器的 坐標(biāo)(x， y)的值作為Bcl (x， y)。這里，HB二32、 VB二32，因此 x = 0 31、 y二0 31。在步驟S2340中，進(jìn)而向第二運(yùn)算緩沖器241b 傳送己選擇的塊的第三攝像信號(hào)13。將運(yùn)算緩沖器的坐標(biāo)(x， y)的 值作為Bc2 (x， y)。這里，HB = 32、 VB二32，因此x二31—SB 31 ， y = 0 31 + SB。例如，在ib二ibt時(shí)，向第一運(yùn)算緩沖器241a傳送被 坐標(biāo)(Hl — l， 0)和坐標(biāo)(H1—32， 31)包圍的1024像素的攝像信 號(hào)II，向第二運(yùn)算緩沖器241b傳送在圖32中以向右上的斜線描繪的 被坐標(biāo)(Hl — 10， 0)和坐標(biāo)(H1—32 — SB， 31+SB)包圍的(1024 + 2*32*SB)像素的攝像信號(hào)I3。接著，在ib二ibt+l時(shí)，向第一運(yùn)算 緩沖器241a傳送被坐標(biāo)(Hl—33， 32)和坐標(biāo)(Hl—64， 63)包圍 的1024像素的攝像信號(hào)I1。此外，在第二運(yùn)算緩沖器241b中，雖然 需要在圖32中以向右上的斜線描繪的被坐標(biāo)(H1—33，32)和坐標(biāo)(H1
44一64 — SB， 63 + SB)包圍的(1024 + 2*32*SB)像素的攝像信號(hào)13， 但因?yàn)榕cib二ibt重疊的部分(被坐標(biāo)(HI—33， 32)和坐標(biāo)(H一32 一SB， 31+SB)包圍的2+324SB像素的區(qū)域)已經(jīng)被傳送到第二運(yùn)算 緩沖器241b，所以向第二運(yùn)算緩沖器241b僅傳送新的被坐標(biāo)(Hl — 33 — SB， 31+SB)和坐標(biāo)(HI—64 — SB， 63 + SB)包圍的2048像素。 由此，能夠減少傳送時(shí)間。接著，執(zhí)行步驟S2350。
在步驟S2350中，執(zhí)行視差運(yùn)算。首先，運(yùn)算視差評(píng)價(jià)值R(k)。 這里，k是表示使像素偏移多少的偏移量，以k二0， 1， 2，……，SB 的方式變化。圖33是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第二 攝像信號(hào)和第三攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的 圖。如圖33所示，存儲(chǔ)有數(shù)據(jù)Bcl的區(qū)域是第- 運(yùn)算緩沖器241a屮 的區(qū)域。存儲(chǔ)有數(shù)據(jù)Bc2的區(qū)域，是在圖33中從以Bcl表示的塊在x 方向上向負(fù)方向移動(dòng)偏移量k、并在y方向上向正方向移動(dòng)偏移量k 的第二運(yùn)算緩沖器241b中的區(qū)域。而且，對(duì)于偏移量k二0 SB，運(yùn) 算下述式15表示的絕對(duì)值差值總和(SAD: Sum of Absolute Differences),作為視差評(píng)價(jià)值R (k)。
R (k) =Ei: I Bcl (x， y) —Bc2 (x—k， y+k) I ......式15
該視差評(píng)價(jià)值R (k)表示第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl 、與在 x方向上向負(fù)方向離開(kāi)k并在y方向上向正方向離開(kāi)k的區(qū)域屮的第二 運(yùn)算緩沖器241b的數(shù)據(jù)Bc2存在多少相關(guān)性，值越小表示相關(guān)性越人 (越近似)。這里，第一運(yùn)緩沖器241a的數(shù)據(jù)Bcl傳送第二攝像信號(hào) 12，第二運(yùn)算緩沖器241b的數(shù)據(jù)Bc2傳送第三攝像信號(hào)I3，因此，視 差評(píng)價(jià)值R (k)表示第二攝像信號(hào)12與相對(duì)應(yīng)的第三攝像信號(hào)13存 在多少相關(guān)性。
如圖17所示，視差評(píng)價(jià)值R (k)根據(jù)偏移量k的值而產(chǎn)生變化， 在偏移量k= A時(shí)具有極小值。第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl表示 出與存在于將第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl在x方向上向負(fù)方向移 動(dòng)k且在y方向上向正方向移動(dòng)k而到達(dá)的區(qū)域的第二運(yùn)算緩沖器 241b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從而可知第一運(yùn)算緩沖器 241a的數(shù)據(jù)Bcl與第二運(yùn)算緩沖器241b的數(shù)據(jù)Bc2的視差是A 。這 里，將該A稱為該塊中的視差值A(chǔ)。接著，運(yùn)算視差值A(chǔ)的可靠性。圖34是說(shuō)明在本發(fā)明的實(shí)施方式 2的攝像裝置的利用第二攝像信號(hào)和第三攝像信號(hào)時(shí)的視差運(yùn)算中的 視差評(píng)價(jià)值的可靠性的運(yùn)算區(qū)域的圖。存儲(chǔ)有數(shù)據(jù)Bcl的區(qū)域是第-
運(yùn)算緩沖器241a中的區(qū)域。存儲(chǔ)有數(shù)據(jù)Bc2的區(qū)域是將數(shù)據(jù)Bcl在x 方向上向負(fù)方向移動(dòng)A且在y方向上向正方向移動(dòng)A的第二運(yùn)算緩沖 器241b中的區(qū)域。而且，如下述式16所示，對(duì)于各個(gè)區(qū)域的數(shù)據(jù)Bcl (x， y)、 Bc2 (x—A， y+A )，將歸一化相關(guān)系數(shù)作為可靠性E。 E (2， 3) (ibx， iby) = EE [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bc2 (x—△， y+A) —avg (Bc2 (x—A ， y+A))}] / VEE [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bcl (x， y) —avg (Bcl (x， y))}
/ V E E [{Bc2 (x— △ ， y+ △ ) —avg (Bc2 (x— △ ， y+ △ ))}
* {Bc2 (x— △ ， y+ △ ) —avg (Bc2 (x— A ， y+ △ ))}]......式
16
而且，在利用第二攝像信號(hào)和第三攝像信號(hào)的視差運(yùn)算中，將該 視差值A(chǔ)的可靠性E保存為以坐標(biāo)(ibx， iby)表示的32X32像素的 塊中的視差值A(chǔ) (2， 3) (ibx， iby)和其可靠性E (2， 3) (ibx， iby)。 (2， 3)表示是利用第二攝像信號(hào)和第三攝像信號(hào)的視差值和可靠性。 (ibx， iby)表示是以塊索引ib表示的塊，是圖31中在各塊的下層表 示的坐標(biāo)。接著，執(zhí)行步驟S2360。
在步驟S2360中，塊索引ib加1。接著執(zhí)行步驟S2370。
在步驟S2370中，判斷是否結(jié)束利用第二攝像信號(hào)和第二攝像信 號(hào)的視差運(yùn)算。當(dāng)塊索引ib小于Nh*Nv時(shí)，為了運(yùn)算下一個(gè)塊的視差， 接著執(zhí)行步驟S2330。另一方面，當(dāng)塊索引ib為NMNv以上時(shí)，判斷 為己運(yùn)算所有塊的視差，接著，執(zhí)行步驟S2380。
在步驟S2380中，結(jié)束利用第二攝像信號(hào)和第三攝像信號(hào)的視差 運(yùn)算，返回上位程序。這樣，在利用第二攝像信號(hào)和第三攝像信號(hào)的 視差運(yùn)算中，對(duì)于以塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (2， 3)(ibx， iby)及其可靠性E(2， 3) (ibx， iby)。這里，(2， 3)表示利用的是第二攝像信號(hào)和第三攝像信號(hào)，(ibx， iby)是圖31中在各塊的下層表示的坐標(biāo)(ibx從O到Nh—l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖29的步驟S2240a。
在步驟S2240a中，執(zhí)行利用第一攝像信號(hào)和第四攝像信號(hào)的視差 運(yùn)算。圖35是表示本發(fā)明的實(shí)施方式2的攝像裝置的利用第一攝像信 號(hào)和第四攝像信號(hào)的視差運(yùn)算的動(dòng)作的流程圖。圖35的流.程圖表不步 驟S2240a的動(dòng)作的詳細(xì)過(guò)程。在歩驟S2240a的運(yùn)算中，首先，執(zhí)行 歩驟S2410。
在歩驟S2410中，開(kāi)始利用第一攝像信號(hào)和第四攝像信號(hào)的視差 運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S2420。
在步驟S2420中，在塊索引ib中初始化為0。接著，執(zhí)行步驟S2430。
在步驟S2430中，選擇塊。第一攝像信號(hào)的塊分割與步驟S2330 的第二攝像信號(hào)的塊分割相同，省略說(shuō)明。其中，塊索引ib變史為與 后述的圖36相同。圖36是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利 用第一攝像信號(hào)和第四攝像信號(hào)的視差運(yùn)算中的第四攝像信號(hào)的分割 塊和運(yùn)算順序的圖。與圖31的第二攝像信號(hào)12相同，第一攝像信號(hào) II分割成在x方向具有HB像素、在y方向具有VB像素的長(zhǎng)方形的塊， 在x方向上錯(cuò)開(kāi)HB像素、在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x 方向具有Nh個(gè)塊，在y方向具有Nv個(gè)塊。從而，各塊在x方向、y 方向上都沒(méi)有重疊的部分。圖36屮，第四攝像信號(hào)I4分割成圖36(b) 所示的(HB+SB) * (VB+SB) —SB*SB像素的塊，在x方向上錯(cuò)開(kāi) HB像素、在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh個(gè)、 在y方向具有Nv個(gè)塊。此外，圖36中，不能夠取得圖36 (b)所示 的塊的塊(例如，右上、右下、左下的塊)能夠適當(dāng)去除不能夠取得 的部分(例如，右上的塊為HB*VB的長(zhǎng)方形的塊)。另外，在實(shí)施方 式2中，以下表示HB二32、 VB = 32的例子。
在圖36中，在各塊的上層記述的數(shù)字表示塊索引ib。此外，在圖 36中，在各塊的下層記述的坐標(biāo)(ibx， iby)表示各塊在x方向是第ibx 個(gè)塊，在y方向是第iby個(gè)塊。這里，ibx存在于0到Nh—1 ， iby存在 于0到Vh—l。在步驟S2320中，選擇在圖36中以塊索引ib表示的塊 (以坐標(biāo)(ibx， iby)表示的塊)。接著執(zhí)行步驟S2440。
在步驟S2440中，傳送攝像信號(hào)。這里，向第--運(yùn)算緩沖器241a 傳送在步驟S2430中已選擇的塊的第一攝像信號(hào)II。將第一運(yùn)算緩沖器241a的坐標(biāo)(x， y)的值作為Bcl (x， y)。這里，HB = 32、 VB = 32，因此x二0 31、 y=0 31。在步驟S2430中，向第二運(yùn)算緩沖器 241b傳送所選擇的塊的第四攝像信號(hào)14。將第二運(yùn)算緩沖器241b的坐 標(biāo)(x， y)的值作為Bc2 (x， y)。這里，HB = 32、 VB二32，因此x 二0 31+SB、 y=0 31+SB。例如，在ib = ibt時(shí)，向第一運(yùn)算緩沖 器241a傳送被坐標(biāo)(0， 0)和坐標(biāo)(31， 31)包圍的1024像素的攝 像信號(hào)II，向第二運(yùn)算緩沖器241b中傳送在圖36中以向右下的斜線 描繪的被坐標(biāo)(0，0)和坐標(biāo)(31+88，31 + 88)包圍的(1024 + 2*32*813) 像素的攝像信號(hào)I4。接著，在ib二ibt+l時(shí)，向第-一運(yùn)算緩沖器241a 傳送被坐標(biāo)(32， 32)和坐標(biāo)(63， 63)包圍的1024像素的攝像信號(hào) II。此外，在第二運(yùn)算緩沖器241b中，雖然需要在圖36中以向右下的 斜線描繪的被坐標(biāo)(32， 32)和坐標(biāo)(63 + SB, 63 + SB)包圍的(1024 +2*32*SB)像素的攝像信號(hào)I4，但因?yàn)榕cib二ibt重疊的部分(被坐 標(biāo)(32， 32)和坐標(biāo)Gl+SB， 31+SB)包圍的2*32*SB像素的區(qū)域) 已經(jīng)被傳送到第二運(yùn)算緩沖器241b,所以向第二運(yùn)算緩沖器241b僅傳 送新的被坐標(biāo)(32 + SB, 32 + SB)和坐標(biāo)(63 + SB, 63 + SB)包圍 的2048像素即可。接著，執(zhí)行歩驟S2450。
在歩驟S2450中，執(zhí)行視差運(yùn)算。首先，運(yùn)算視差評(píng)價(jià)值R(k)。 這里，k是表示使像素偏移多少的偏移量，以k二O， 1， 2，……，SB 的方式變化。圖37是說(shuō)明本發(fā)明的實(shí)施方式2的攝像裝置的利用第一 攝像信號(hào)和第四攝像信號(hào)時(shí)的視差運(yùn)算中的視差評(píng)價(jià)值的運(yùn)算區(qū)域的 圖。如圖37所示，存儲(chǔ)有數(shù)據(jù)Bcl的區(qū)域是第一運(yùn)算緩沖器241a中 的區(qū)域。存儲(chǔ)有數(shù)據(jù)Bc2的區(qū)域，是在圖37中從以Bcl表示的塊在x 方向上向正方向移動(dòng)偏移量k、且在y方向上向正方向移動(dòng)偏移量k 的第二運(yùn)算緩沖器241b中的區(qū)域。而且，對(duì)于偏移量k=0 SB，運(yùn) 算下述式17表示的絕對(duì)值差值總和(SAD: Sum of Absolute Differences),作為視差評(píng)價(jià)值R (k)。
R (k) =E ￡ I Bcl (x， y) —Bc2 (x+k， y+k) I……式17 該視差評(píng)價(jià)值R (k)表示第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl與在x 方向上向正方向離開(kāi)k、且在y方向上向正方向離開(kāi)k的區(qū)域中的第二 運(yùn)算緩沖器241b的數(shù)據(jù)Bc2存在多少相關(guān)性，值越小表示相關(guān)性越大
48(越近似)。這里，第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl是傳送第一攝像 信號(hào)II的數(shù)據(jù)，第二運(yùn)算緩沖器241b的數(shù)據(jù)Bc2是傳送第四攝像信 號(hào)14的數(shù)據(jù)，因此視差評(píng)價(jià)值R (k)表示第一攝像信號(hào)II與相對(duì)應(yīng) 的第四攝像信號(hào)14存在多少相關(guān)性。
如圖17所示，視差評(píng)價(jià)值R (k)根據(jù)偏移量k的值而產(chǎn)生變化， 在偏移量k= A時(shí)具有極小值。第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl表示 出與存在于將第一運(yùn)算緩沖器241a的數(shù)據(jù)Bcl在x方向上向正方向移 動(dòng)k、且在y方向上向正方向移動(dòng)k而到達(dá)的區(qū)域中的第二運(yùn)算緩沖器 241b的數(shù)據(jù)Bc2最具有相關(guān)性(最近似)。從而可知第一運(yùn)算緩沖器 241a的數(shù)據(jù)Bcl與第二運(yùn)算緩沖器241b的數(shù)據(jù)Bc2的視差是A 。這 里，將該A稱為該塊中的視差值A(chǔ)。
接著，運(yùn)算視差值A(chǔ)的可靠性。圖38是說(shuō)明在本發(fā)明的實(shí)施方式 2的攝像裝置的利用第一攝像信號(hào)和第四攝像信號(hào)時(shí)的視差運(yùn)算中的 視差評(píng)價(jià)值的可靠性的運(yùn)算區(qū)域的圖。存儲(chǔ)有數(shù)據(jù)Bcl的區(qū)域是第一 運(yùn)算緩沖器241a中的區(qū)域。存儲(chǔ)有數(shù)據(jù)Bc2的區(qū)域是將數(shù)據(jù)Bcl在x 方向上向正方向移動(dòng)A、且在y方向上向正方向移動(dòng)A的第二運(yùn)算緩
沖器241b中的區(qū)域。而且，如下述式18所不，對(duì)于各個(gè)區(qū)域的數(shù)據(jù) Bcl (x， y)、 Bc2 (x+△ ， y+A)，將歸一化相關(guān)系數(shù)作為可靠性E。 E (1， 4) (ibx， iby) 二i:i: [{Bcl (x， y) —avg (Bcl (x， y))}
* (Bc2 (x+A， y+A) —avg (Bc2 (x+△ ， y+A)))] / VEi: [{Bcl (x， y) —avg (Bcl (x， y))}
* {Bcl (x， y) —avg (Bcl (x， y))}
/ V E E [{Bc2 (x+ △ ， y+ A ) —avg (Bc2 (x+ A ， y+ △ ))}
* {Bc2 (x+ △ ， y+ △ ) —avg (Bc2 (x+ △ ， y+ A ))}]......式
18
而且，在利用第一攝像信號(hào)和第四攝像信號(hào)的視差運(yùn)算中，將該 視差值A(chǔ)的可靠性E保存為以坐標(biāo)(ibx， iby)表示的32X32像素的 塊中的視差值A(chǔ) (1， 4) (ibx， iby)和其可靠性E (1， 4) (ibx， iby)。 (1， 4)表示是利用第一攝像信號(hào)和第四攝像信號(hào)的視差值及可靠性。 (ibx， iby)表示以塊索引ib表示的塊，是圖31中在各塊的下層表示 的坐標(biāo)。接著，執(zhí)行步驟S2460。在步驟S2460中，塊索引ib加l。接著，執(zhí)行步驟S2470。
在步驟S2470中，判斷是否結(jié)束利用第一攝像信號(hào)和第四攝像信 號(hào)的視差運(yùn)算。當(dāng)塊索引ib小于Nh*Nv時(shí)，為了運(yùn)算下一個(gè)塊的視差， 接著執(zhí)行步驟S2430。另一方面，當(dāng)塊索引ib在NMNv以上時(shí)，判斷 為己運(yùn)算所有塊的視差，接著，執(zhí)行步驟S2480。
在步驟S2480中，結(jié)束利用第一攝像信號(hào)和第四攝像信號(hào)的視差 運(yùn)算，返回上位程序。這樣，在利用第一攝像信號(hào)和第四攝像信號(hào)的 視差運(yùn)算中，對(duì)于以塊索引ib表示的32X32像素的塊，以32X32像 素的分辨率求取視差值A(chǔ) (1， 4)(ibx， iby)及其可靠性E(l， 4)(ibx， iby)。這里，(1， 4)表示利用的是第一攝像信號(hào)和第四攝像信號(hào)，(ibx， iby)是圖31中在各塊的下層表示的坐標(biāo)(ibx從O到Nh—l變化，iby 從O到Nv—l變化)。接著，執(zhí)行圖29的歩驟S2250a。
在步驟S2250a中，選擇視差。相對(duì)于各個(gè)塊，將可靠性E (2， 3) (ibx， iby)和E (1， 4) (ibx， iby)進(jìn)行比較，將提供最火可靠性的 視差作為該塊中的視差值A(chǔ) (ibx， iby)。此外，將此時(shí)的可靠性作為E (ibx， iby)。接著，執(zhí)行步驟S2260。
在歩驟S2230b中，執(zhí)行利用第二攝像信號(hào)和第三攝像信號(hào)的視差 運(yùn)算。該步驟與步驟S2230a相同，省略說(shuō)明。其中，將所求出的視差 和可靠性作為各個(gè)塊中的視差值A(chǔ) (ibx， iby)和可靠性E(ibx， iby)。 接著，執(zhí)行步驟S2260。
在步驟S2260中，結(jié)束視差運(yùn)算，返回上位程序。這樣，求出各 塊的視差值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖31的各塊的下層中 表示的坐標(biāo)，ibx從O到Nh—l變化，iby從O到Nv—l變化。在木實(shí) 施方式中，在傳送范圍標(biāo)志FO二l (第一動(dòng)作模式)時(shí)，將利用第二 攝像信號(hào)12和第三攝像信號(hào)13得到的視差(近紅外光的視差)的可靠 性與利用第一攝像信號(hào)II和第四攝像信號(hào)14得到的視差(綠色光的視 差)的可靠性進(jìn)行比較，采用可靠性較高的視差。另一方面，在傳送 范圍標(biāo)志FO二2 (第二動(dòng)作模式)時(shí)，不進(jìn)行根據(jù)可靠性的選擇，采 用利用第二攝像信號(hào)12和第三攝像信號(hào)13得到的視差(近紅外光的視 差)。接著，執(zhí)行步驟S2700。
在步驟S2700中，距離運(yùn)算部143進(jìn)行距離運(yùn)算，將其結(jié)果作為距離數(shù)據(jù)依次傳送到第二輸出緩沖器137b。該步驟S2700的動(dòng)作與實(shí) 施方式1的步驟S1700相同，省略說(shuō)明。接著，執(zhí)行步驟S2800。
在歩驟S2800中，傳送范圍決定部144決定傳送范圍，設(shè)定傳送 范圍標(biāo)志。該步驟S2800的動(dòng)作與實(shí)施方式1的歩驟S1800相同，省 略說(shuō)明。接著，執(zhí)行步驟S2900。
在歩驟S2卯0中，結(jié)束運(yùn)算動(dòng)作，返回上位程序。接著，執(zhí)行歩 驟S2910。
通過(guò)如以上所述構(gòu)成本實(shí)施方式的攝像裝置并使其動(dòng)作，具有與 實(shí)施方式1相同的效果。即，根據(jù)本發(fā)明的實(shí)施方式2的攝像裝置， 傳送范圍決定部144基于根據(jù)攝像信號(hào)生成的可靠性E (ibx， iby)， 在可靠性E (ibx， iby)較小時(shí)，使傳送范圍標(biāo)志F0二1 (第一動(dòng)作模 式)，在可靠性E (ibx， iby)較大時(shí)，使傳送范圍標(biāo)志F0 = 2 (第二 動(dòng)作模式)。由此，當(dāng)可靠性E (ibx， iby)較大時(shí)，判斷為有提高高 速性的余量，使輸出標(biāo)志F0二2 (第二動(dòng)作模式)，由此實(shí)現(xiàn)能夠進(jìn)行 高速的視差運(yùn)算、距離運(yùn)算的攝像裝置。另一方面，當(dāng)可靠性(ibx， iby)較小時(shí)，判斷為需要進(jìn)一歩的精度，使輸出標(biāo)志FO二l (第一動(dòng) 作模式)，由此能夠進(jìn)行高精度的視差運(yùn)算、距離運(yùn)算。
此外，通過(guò)利用與對(duì)角配置的透鏡部(第二透鏡部113b和第三透 鏡部113c，以及第一透鏡部113a和第四透鏡部114d)相對(duì)應(yīng)的攝像信 號(hào)(第二攝像信號(hào)12和第三攝像信號(hào)13，以及第一攝像信號(hào)II和第四 攝像信號(hào)14)進(jìn)行視差運(yùn)算，能夠高精度地檢測(cè)具有沿著水平方向延 伸的形狀的被攝體(例如，車輛前方的停止線)的視差。
另外，在實(shí)施方式2的攝像裝置中，第一攝像信號(hào)Il、第二攝像 信號(hào)12、第三攝像信號(hào)13和第四攝像信號(hào)的大小分別為沿著水平方向 Hl像素、沿著垂直方向V1像素，使用該區(qū)域的整體進(jìn)行視差運(yùn)算， 但也可以具有一定程度的余量。g卩，也可以使在視差運(yùn)算中利用的攝 像信號(hào)小于水平方向H1像素、垂直方向V1像素。
此外，在本實(shí)施方式2的攝像裝置中，根據(jù)可靠性E (ibx， iby) 變更傳送范圍，但本發(fā)明并不限定于此。本發(fā)明的要點(diǎn)在于通過(guò)變更 傳送范圍，進(jìn)行使速度與精度的關(guān)系最佳的視差運(yùn)算、距離運(yùn)算。另 外，也可以根據(jù)上位CPU的命令變更傳送范圍。例如，上位CPU可以使用圖像數(shù)據(jù)，變更傳送范圍。或者也可以根據(jù)用戶指定的被攝體 信息，上位CPU指示傳送范圍。
另外，與實(shí)施方式1的情況相同，也可以不根據(jù)攝像信號(hào)決定傳 送范圍。
此外，在實(shí)施方式2的攝像裝置中，使傳送范圍標(biāo)志的初始值為
FO二l (傳送范圍是整個(gè)區(qū)域)，但也可以為FO二2 (傳送范圍是一半
的區(qū)域)。
此外，在實(shí)施方式2的攝像裝置中，將第一運(yùn)算緩沖器的大小取 為32X32像素(水平方向32像素，以及垂直方向32像素)，但并不 限定于此。例如，也可以是4X4像素、8X8像素。16X16像素。此 外，也可以適當(dāng)變更大小。此外，還可以求取多個(gè)尺寸的塊的視差并 進(jìn)行選擇。進(jìn)而，還可以不是矩形的塊，而是抽取邊緣等進(jìn)行塊分割。 此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。
此外，在實(shí)施方式2的攝像裝置中，向第一輸出緩沖器137a傳送 第二攝像信號(hào)I2，從輸入輸出部138輸出，但也可以輸出其它的攝像 信號(hào)(第一攝像信號(hào)II、第三攝像信號(hào)13或者第四攝像信號(hào)14)。此 外，還可以輸出多個(gè)攝像信號(hào)。進(jìn)而，也可以根據(jù)攝像信號(hào)的條件， 變更從輸入輸出部138輸出的攝像信號(hào)。例如，也可以比較各個(gè)攝像 信號(hào)，變更為輸出最明亮的攝像信號(hào)(根據(jù)攝像信號(hào)的大小的平均為 最大等已進(jìn)行判定的信號(hào))，或者輪廓最清楚的信號(hào)(根據(jù)微分值的平 均、最大值為最大等己進(jìn)行判定的信號(hào))。
另外，在實(shí)施方式2的攝像裝置中，將作為CMOS傳感器的攝像 元件223和SLSI225分開(kāi)制作，但SLSI225也可以通過(guò)CMOS工藝構(gòu) 成，在同一半導(dǎo)體基板上構(gòu)成攝像元件223和SLSI225。由此，與分開(kāi) 構(gòu)成時(shí)相比較，能夠省略基板121上的配線等，因此能夠?qū)崿F(xiàn)低成本 化。此外，能夠提高抗噪性。
另外，在圖25 (a)中，與第一攝像信號(hào)Il對(duì)應(yīng)的區(qū)域(用I1表 示的區(qū)域)、與第二攝像信號(hào)I2對(duì)應(yīng)的區(qū)域(用I2表示的區(qū)域)、與第 三攝像信號(hào)I3對(duì)應(yīng)的區(qū)域(用I3表示的區(qū)域)、以及與第四攝像信號(hào) 14對(duì)應(yīng)的區(qū)域(用14表示的區(qū)域)，分別相對(duì)于攝像元件的中心對(duì)稱 地被描繪，但當(dāng)然也可以不對(duì)稱。根據(jù)透鏡113的制造不均性、透鏡模塊110的組裝精度等，通過(guò)以使得第一透鏡部113a的光軸中心、第 二透鏡部113b的光軸中心、第三透鏡部113c的光軸中心、和第四透鏡 部113d的光軸中心與各自對(duì)應(yīng)的攝像信號(hào)的同一個(gè)像素相對(duì)應(yīng)的方式 進(jìn)行組裝后的調(diào)整等，設(shè)定攝像信號(hào)Il的原點(diǎn)(xOl， y01)、攝像信號(hào) 12的原點(diǎn)(x02， y02)、攝像信號(hào)B的原點(diǎn)(x03， y03)、和攝像信號(hào) 14的原點(diǎn)(x04， y04)，在SLSI225內(nèi)、基板121上安裝閃存、EEPROM 等保持信息，并適當(dāng)使用即可。
另外，實(shí)施方式2的攝像裝置能夠從任意的位置(如圖25所示， 在攝像信號(hào)Il中，原點(diǎn)是(x01， y01))得到任意大小(如圖25所示， 攝像信號(hào)II中，水平方向的像素為Hl像素，垂直方向的像素為VI 像素)的攝像信號(hào)。這里，如果僅在垂直方向上能夠指定任意的位置， 則進(jìn)行以下所述的變形。圖39是用于說(shuō)明本發(fā)明的實(shí)施方式2的攝像 位置的變形的攝像信號(hào)的截取位置的圖。圖39表示出下述情況與第 一攝像元件II對(duì)應(yīng)的區(qū)域(用II表示的區(qū)域)相比于與第二攝像元件 12對(duì)應(yīng)的區(qū)域在垂直方向更位于負(fù)的方向(即，第一攝像信號(hào)I1的原 點(diǎn)的y坐標(biāo)y01與第二攝像信號(hào)12的原點(diǎn)的y坐標(biāo)y02之間具有y01 <y02的關(guān)系)；與第三攝像元件13對(duì)應(yīng)的區(qū)域(用13表不的區(qū)域) 相比于與第四攝像元件14對(duì)應(yīng)的區(qū)域在垂直方向上更位于負(fù)的方向 (即，第三攝像信號(hào)I3的原點(diǎn)的y坐標(biāo)y03與第四攝像信號(hào)I4的原點(diǎn) 的y坐標(biāo)y04之間具有y03〈y04的關(guān)系)。在FO二l (第一動(dòng)作模式) 時(shí)，如圖39 (a)所示，讀出水平方向HO像素、垂直方向y坐標(biāo)為y 二y01 y02+Vl — l的Vl+y02—y01像素的區(qū)域(用向右下的斜線部 表示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標(biāo)為y二y03 y04 十V1 — 1的Vl+y04 — y03像素的區(qū)域(用向右上的斜線部表小的區(qū) 域)，并進(jìn)行適當(dāng)?shù)那疤幚恚褂门c第一攝像信號(hào)II、第二攝像信號(hào)12、 第三攝像信號(hào)I3和第一攝像信號(hào)I4相對(duì)應(yīng)的區(qū)域。在F0二2 (第二動(dòng) 作模式)時(shí)，如圖39 (b)所示，讀出水平方向HO像素、垂直方向y 坐標(biāo)為y二y02 y02+Vl — l的VI像素的區(qū)域(用向右下的斜線部表 示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標(biāo)為y = y03 y03 + V1 — 1的V1像素的區(qū)域(用向右上的斜線部表示的區(qū)域)，并進(jìn)行 適當(dāng)?shù)那疤幚?，使用第二攝像信號(hào)12和第三攝像信號(hào)13。將傳送范圍標(biāo)志FO=l (第一動(dòng)作模式)時(shí)所需要的垂直方向的
讀出像素?cái)?shù)Vl+y02—y01 (上部的用向右下的斜線部表示的區(qū)域的垂 直方向的讀出像素?cái)?shù))、以及Vl+y04—y03 (下部的用向右上的斜線 部表示的區(qū)域的垂直方向的讀出像素?cái)?shù))降低到傳送范圍標(biāo)志F0 = 2 (第二動(dòng)作模式)時(shí)所需要的垂直方向的讀出像素?cái)?shù)VI (上部的用向 右下的斜線部表示的區(qū)域的垂直方向的讀出像素)、以及VI (下部的 用向右上的斜線部表示的區(qū)域的垂直方向的讀出像素?cái)?shù))，即，減少y02 一y01+y04 — y03像素，相應(yīng)地能夠縮短圖像的傳送所需要的時(shí)間。由 此，當(dāng)可靠性E (ibx， iby)較大時(shí)，判斷為具有提高高速性的余量， 通過(guò)使輸出標(biāo)志F0二2 (第二動(dòng)作模式)，實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn) 算、距離運(yùn)算的攝像裝置。另一方面，當(dāng)可靠性E (ibx， iby)較小時(shí)， 判斷為進(jìn)一步需要精度，通過(guò)使輸出標(biāo)志F0二1 (第一動(dòng)作模式)，能 夠進(jìn)行高精度的視差運(yùn)算、距離運(yùn)算。
另外，例如作為傳送范圍標(biāo)志F0二3 (第三動(dòng)作模式)，還可以添 加僅進(jìn)行利用第一攝像信號(hào)II和第四攝像信號(hào)14的視差運(yùn)算的情況。 在這種情況下，在F0二3時(shí)，如圖39(c)所示，讀出水平方向HO像 素、垂直方向y坐標(biāo)為y二y01 y01+Vl — l的V1像素的區(qū)域(用向 右下的斜線部表示的區(qū)域)，以及水平方向HO像素、垂直方向y坐標(biāo) 為y二y04 y04 + Vl — l的VI像素的區(qū)域(用向右上的斜線部表示的 區(qū)域)，并進(jìn)行適當(dāng)?shù)那疤幚恚褂玫谝粩z像信號(hào)II和第四攝像信號(hào) 14。如果不變更讀出位置，為了與FO二2和FO二3相對(duì)應(yīng)，必須如圖 39 (a)所示讀取各自的垂直方向的寬度(2XV1)以上的信息，但如 FO二2與FO二3的切換那樣，根據(jù)動(dòng)作模式，適當(dāng)變更開(kāi)始讀出的垂 直方向的位置，不變更垂直方向的讀出像素(保持為2XV1)，由此能 夠防止圖像傳送所需要的時(shí)間的增大。
此外，在圖39中，還可以交替地讀出用向右下的斜線部表示的區(qū) 域和用向右上的斜線部表示的區(qū)域的各行。例如，在圖39 (a)中，可
以按照y二y01、 y03、 y01 + l、 y03 + l、 y01+2、 y03 + l、 ......、 y01
十V1—1、 y03+Vl — l的順序讀出。在使用滾動(dòng)快門形式的CMOS傳 感器的情況下，在讀出了用向右下的斜線部表示的區(qū)域之后，如果讀 取被向右上的斜線部占據(jù)的區(qū)域，則拍攝第二攝像信號(hào)I2的時(shí)刻與拍
54攝第三攝像信號(hào)I3的時(shí)刻不同。從而，當(dāng)被攝體的動(dòng)作快速時(shí)，因?yàn)?在誤差絕對(duì)值總和的運(yùn)算中利用的攝像信號(hào)不同，所以求出的視差的 精度下降。在使用滾動(dòng)快門形式的CMOS傳感器的情況下，通過(guò)交替 地讀出用向右下的斜線部表示的區(qū)域和被向右上的斜線部占據(jù)的區(qū)域 的各行，即使被攝體的動(dòng)作快速，在誤差絕對(duì)值總和的運(yùn)算中利用的 攝像信號(hào)的拍攝時(shí)間大致一致，因此能夠進(jìn)行高精度的視差運(yùn)算。
此外，在使用滾動(dòng)快門形式的CMOS傳感器的情況下，如果將各
個(gè)攝像區(qū)域順序地一個(gè)一個(gè)像素地讀出，則能夠進(jìn)一步降低拍攝時(shí)間
的影響，實(shí)現(xiàn)高精度的視差運(yùn)算。即，當(dāng)F0二1 (第一動(dòng)作模式)時(shí)， 可以按照(x02， y02)、 (x03， y03)、 (x01， y01)、 (x04， y04)、 (x02 + 1， y02)、 (x03 + l， y03)、 (x01 + l， y01)、 (x04+l， y04)、 (x02 + 2， y02)、 (x03+2， y03)、 (x01+2， y01)、 (x04+2， y04)、......、
(x02 + Hl — l， y02)、 (x03+Hl — l， y03)、 (x01+Hl — l， y01)、 (x04 + H1 —1， y04)、 (x02， y02+l)、 (x03， y03 + l)、 (x01， y01 + l)、
(x04， y04+l)、 (x02+l， y02+l)、 (x03+l， y03 + l)、 (x01+l，
y01 + l)、 (x04+l， y04+l)、 ......、 (x02， y02 + Vl — l)、 (x03， y03
十V1 — 1)、 (x01， y01+Vl — l)、 (x04， y04 + Vl — l)、 (x02+l， y02 十V1 — 1)、 (x03十l， y03 + Vl — l)、 (x01 + l， y01+Vl — l)、 (x04 + 1， y04 + V1 —1)、……、(x02 + H1 —1， y02 + Vl — l)、 (x03十Hl —1， y03 + Vl — l)、 (x01+H1 —1， y01+V1 —1)、 (x04+Hl — l， y04 十V1 — 1)的順序傳送。另外，通過(guò)如上述那樣順序讀出視差運(yùn)算時(shí)相 對(duì)應(yīng)的組的攝像信號(hào)(第二攝像信號(hào)I2和第三攝像信號(hào)，以及第一攝
像信號(hào)n和第四攝像信號(hào)14)，能夠進(jìn)一步降低拍攝時(shí)問(wèn)的偏差的影
響。另一方面，當(dāng)FO二2 (第二動(dòng)作模式)時(shí)，可以按照(x02， y02)、 (x03， y03)、 (x02+l， y02)、 (x03十l， y03)、 (x02 + 2， y02)、 (x03
+ 2， y03)、 ......、 (x02 + H1 —1， y02)、 (x03+H1 —1， y03)、 (x02，
y02+l)、 (x03， y03+l)、 (x02+l， y02+l)、 (x03+l， y03+l)、……、 (x02， y02 + Vl — l)、 (x03， y03 + Vl — l)、 (x02+l， y02 + Vl — l)、 (x03 + l， y03 + V1 —1)、 ......、 (x02 + Hl — l' y02 + V1 —1)、 (x03
+ H1 — 1, y03 + Vl —1)的順序傳送。
這樣，傳送范圍的攝像區(qū)域反復(fù)交替地向攝像信號(hào)輸入部233傳送所生成的攝像信號(hào)的一部分，從而能夠?qū)⑺傻娜繑z像信號(hào)傳 送到攝像信號(hào)輸入部233。 (實(shí)施方式3)
本發(fā)明的實(shí)施方式1和實(shí)施方式2的攝像裝置，例如在需要視差 運(yùn)算的高速性的情況下，不傳送2組攝像信號(hào)而僅傳送1組攝像信號(hào)，
從而減少傳送所需要的時(shí)間，高速地進(jìn)行視差運(yùn)算、距離運(yùn)算。與此
相對(duì)，實(shí)施方式3的攝像裝置在1組攝像信號(hào)屮，限定進(jìn)行視差運(yùn)算 的范圍，通過(guò)僅傳送該被限定的部分，減少傳送所需要的時(shí)間，高速 地進(jìn)行視差運(yùn)算、距離運(yùn)算。
以下，參照
本發(fā)明的實(shí)施方式3的攝像裝置。
圖40是表示本發(fā)明的實(shí)施方式3的攝像裝置的結(jié)構(gòu)的截面圖。在 圖40中，攝像裝置具有透鏡模塊部310和電路部320。
透鏡模塊部310具有鏡筒311、上部蓋玻璃312和透鏡313。電路 部320具有基板321、封裝322、攝像元件323、封裝蓋玻璃324和系 統(tǒng)LSI (以下，記為SLSI) 325。
鏡筒311和上部蓋玻璃312分別與實(shí)施方式1的鏡筒111和上部 蓋玻璃312相同，省略說(shuō)明。
圖41是表示本發(fā)明的實(shí)施方式3的攝像裝置的透鏡的結(jié)構(gòu)的平而 圖。透鏡313是大致圓盤狀，由玻璃、透明樹(shù)脂形成，配置有第一透 鏡部313a和第二透鏡部313b。沿著第一透鏡部313a和第二透鏡部313b 的配置方向，如圖41所示設(shè)定x軸，與x軸垂直地設(shè)定y軸。在第一 透鏡部313a和第二透鏡部313b，從被攝體側(cè)入射的光向攝像元件323 側(cè)射出，在攝像元件323上成像為2個(gè)圖像。另外，如圖41所示，第 一透鏡部313a的光軸與第二透鏡部313b的光軸在水平方向(x軸方向) 上僅離開(kāi)D，在垂直方向(y軸方向)上一致。
基板321和封裝322分別與實(shí)施方式1的基板121和封裝122相 同，省略說(shuō)明。
攝像元件323是CMOS傳感器，以攝像元件323的受光面與第一-透鏡部313a和第二透鏡部313b的光軸大致垂直的方式配置。攝像元 件323的各端子通過(guò)引線接合利用金線327與封裝322的內(nèi)側(cè)的底部 的金屬端子連接，通過(guò)基板321，與SLSI325電連接。從第-透鏡部313a和第二透鏡部313b出射的光分別在攝像元件323的受光面上成 像，其光信息通過(guò)光電二極管變換成電信息，該電信息傳送到SLSI325。
圖42是表示本發(fā)明的實(shí)施方式3的攝像裝置的電路部的結(jié)構(gòu)的平 面圖。封裝蓋玻璃324是平板狀，由透明樹(shù)脂形成，通過(guò)粘接等固定 在封裝322的上表面。此外，在封裝蓋玻璃324的上表面、下表面或 者兩面上，通過(guò)蒸鍍等配置有反射防止膜。
SLSI325按照后述的方法驅(qū)動(dòng)攝像元件323，輸入來(lái)自攝像元件 323的電信息，進(jìn)行各種運(yùn)算，與上位CPU進(jìn)行通信，將圖像信總、 距離信息等輸出到外部。另夕卜，SLSI325與電源(例如3.3V)和地(例 如0V)連接。
接著，說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的動(dòng)作。圖43是表示 本發(fā)明的實(shí)施方式3的攝像裝置的結(jié)構(gòu)的框圖。SLSB25具有系統(tǒng)控制 部331、攝像元件驅(qū)動(dòng)部332、攝像信號(hào)輸入部333、前處理部334、 輸入緩沖器335、運(yùn)算部336、輸出緩沖器337和輸入輸出部338。輸 入緩沖器335具有第一輸入緩沖器335a和第二輸入緩沖器335b。運(yùn)算 部336具有運(yùn)算緩沖器341 、視差運(yùn)算部342、距離運(yùn)算部343和傳送 范圍決定部344。運(yùn)算緩沖器341具有第一運(yùn)算緩沖器341a和第二運(yùn) 算緩沖器341b。輸出緩沖器337具有第一輸出緩沖器337a和第二輸出 緩沖器337b。
系統(tǒng)控制部331由CPU (中央運(yùn)算處理裝置Central Processing Unit)、邏輯電路等構(gòu)成，控制SLSI325的整體。
攝像元件驅(qū)動(dòng)部332由邏輯電路等構(gòu)成，產(chǎn)生驅(qū)動(dòng)攝像元件323 的信號(hào)，向攝像元件323施加與該信號(hào)相應(yīng)的電壓。
攝像信號(hào)輸入部333以CDS電路(相關(guān)雙采樣電路Correlated Double Sampling Circuit)、 AGC (自動(dòng)增益控制器Automatic Gain Controller)、 ADC (模擬/數(shù)字轉(zhuǎn)換器:Analog Digital Converter)串 聯(lián)連接的方式構(gòu)成，輸入來(lái)自攝像元件323的電信號(hào)，通過(guò)CDS電路 去除固定噪聲，通過(guò)AGC調(diào)整增益，通過(guò)ADC從模擬信號(hào)變換成數(shù) 字值。
前處理部334由邏輯電路等構(gòu)成，進(jìn)行強(qiáng)度修正處理，依次傳送 到輸入緩沖器335。另外，為了校正透鏡的光軸的偏移等，也可以適當(dāng)?shù)剡M(jìn)行坐標(biāo)變換。
運(yùn)算部336包括由SRAM (Static Random Access Memory:靜態(tài)
隨機(jī)存取存儲(chǔ)器)構(gòu)成的第一運(yùn)算緩沖器341a、第二運(yùn)算緩沖器341b; 由邏輯電路、CPU等構(gòu)成的視差運(yùn)算部342;由邏輯電路、CPU等構(gòu) 成的距離運(yùn)算部343;和由邏輯電路、CPU等構(gòu)成的傳送范圍決定部 344。運(yùn)算部336以塊單位讀入第一攝像信號(hào)II和第二攝像信號(hào)12， 分別保存在第一運(yùn)算緩沖器341a、第二運(yùn)算緩沖器341b中，在視差運(yùn) 算部342中根據(jù)第一運(yùn)算緩沖器341a、和第二運(yùn)算緩沖器341b的數(shù)據(jù) 等運(yùn)算視差，在距離運(yùn)算部343中根據(jù)所求出的視差運(yùn)算距離，將求 出的距離數(shù)據(jù)傳送到輸出緩沖器337。
輸出緩沖器337由DRAM等構(gòu)成，保存從輸入緩沖器335傳送來(lái) 的圖像數(shù)據(jù)和從運(yùn)算部336傳送來(lái)的距離數(shù)據(jù)，并依次傳送到輸入輸 出部338。
輸入輸出部338進(jìn)行與上位CPU (未圖示)的通信，向上位CPU、 外部存儲(chǔ)器(未圖示)和液晶顯示器等外部顯示裝置(未圖示)輸出 圖像數(shù)據(jù)和距離數(shù)據(jù)。
圖44是表示本發(fā)明的實(shí)施方式3的攝像裝置的動(dòng)作的流程圖。根 據(jù)SLSI325的系統(tǒng)控制部331，攝像裝置301如該流程圖那樣動(dòng)作。
在步驟S3010中，開(kāi)始動(dòng)作。例如，上位CPU (未圖示)通過(guò)輸 入輸出部336，向攝像裝置301發(fā)出動(dòng)作開(kāi)始的命令，由此攝像裝置 301丌始動(dòng)作。接著，執(zhí)行歩驟S3020。
在步驟S3020中，進(jìn)行傳送范圍的初始化。在本實(shí)施方式屮，將 在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)設(shè)定為傳送范圍。而且，使 各塊(ibx， iby)的傳送范圍標(biāo)志FO (ibx， iby)全為1。
圖45是用于說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的攝像信號(hào)的截 取位置的圖。攝像元件323的攝像區(qū)域的大小是水平方向H0像素、垂 直方向V0像素。對(duì)通過(guò)第一透鏡部313a被成像的被攝體像進(jìn)行拍攝 的區(qū)域，在圖45中如II所示，是以(x01， y01)為原點(diǎn)的水平方向 Hl像素、垂直方向V1像素，作為第一攝像信號(hào)Il輸入到SLSI325。 此外，對(duì)通過(guò)第二透鏡部313b被成像的被攝體像進(jìn)行拍攝的區(qū)域，在 圖45中如I2所示，是以(x02， y02)為原點(diǎn)的水平方向Hl像素、垂直方向V1像素，作為第二攝像信號(hào)輸入到SLSI325。與第一攝像信號(hào) II相對(duì)應(yīng)的區(qū)域和與第二攝像信號(hào)12相對(duì)應(yīng)的區(qū)域分別分割成多個(gè)塊
的區(qū)域。
圖46是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的利用第一攝像信號(hào) 和第二攝像信號(hào)的視差運(yùn)算中的第一攝像信號(hào)的分割塊、運(yùn)算順序和 傳送范圍標(biāo)志的圖，圖47是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的利 用第一攝像信號(hào)和第二攝像信號(hào)的視差運(yùn)算中的第二攝像信號(hào)的分割 塊、運(yùn)算順序和傳送范圍標(biāo)志的圖。圖46中，第一攝像信號(hào)Il分割成 在x方向?yàn)镠B像素、在y方向?yàn)閂B像素的長(zhǎng)方形的塊，在x方向錯(cuò) 開(kāi)HB像素、在y方向錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh個(gè) 塊，在y方向具有Nv個(gè)塊。從而，各個(gè)塊在x方向、y方向都沒(méi)冇重 疊的部分。在圖47中，第二攝像信號(hào)I2分割成在x方向?yàn)?HB + SB) 像素、在y方向?yàn)閂B像素的長(zhǎng)方形的塊，在x方向上錯(cuò)開(kāi)HB像素、 在y方向上錯(cuò)開(kāi)VB像素地進(jìn)行配置，在x方向具有Nh個(gè)塊，在y方 向上具有Nv個(gè)塊。從而，在x方向上相鄰的塊重疊。另一方面，在y 方向上相鄰的塊不重疊。此外，在圖47中，在右側(cè)的塊中不能夠在x 方向上取得(HB + SB)像素的塊能夠適當(dāng)去除x方向的右端。另外， 在實(shí)施方式3中，以下表示HB二32、 VB二32的例子。
在圖46和圖47中，在各塊的上層記述的數(shù)字表示塊索引ib。此 外，在圖46和圖47中，在各塊的中層記述的坐標(biāo)(ibx， iby)表不各 塊在x方向上是第ibx個(gè)塊，在y方向上是第iby個(gè)塊。這里，ibx存 在于0到Nh— 1 ， iby存在于0至U Vh— 1 。此外，在圖46和圖47中， 在各塊的下層中表示傳送范圍標(biāo)志FO Gbx， iby)，如果傳送范圍標(biāo)志 FO (ibx， iby) =1則意味著動(dòng)作，傳送該塊的攝像信號(hào)，進(jìn)行視差運(yùn) 算。另一方面，如果傳送范圍標(biāo)志FO (ibx， iby) 二0則意味著停止， 不傳送該塊的攝像信號(hào)，不進(jìn)行視差運(yùn)算。
在步驟S3020中，使各塊(ibx， iby)的傳送范圍標(biāo)志FO (ibx， iby)全部為1，使傳送范圍初始化為在攝像區(qū)域的整個(gè)區(qū)域中生成的 攝像信號(hào)。接著，執(zhí)行步驟S3030。
在步驟S3030中，輸入攝像信號(hào)。根據(jù)系統(tǒng)控制部331的命令， 攝像元件驅(qū)動(dòng)部332隨時(shí)輸出用于進(jìn)行電子快門、傳送的信號(hào)。順序輸入傳送范圍標(biāo)志FO (ibx， iby) 二l的塊(動(dòng)作的塊)的攝像區(qū)域的 攝像信號(hào)，依次傳送到前處理部334。前處理部334進(jìn)行第一攝像信號(hào) II和第二攝像信號(hào)12的強(qiáng)度修正處理，并依次傳送到輸入緩沖器335。 將第一攝像信號(hào)Il依次傳送到第一輸入緩沖器335a，將第二攝像信號(hào) 12依次傳送到第二輸入緩沖器335b。第一攝像信號(hào)II和第二攝像信號(hào) 12是分別根據(jù)通過(guò)第一透鏡部313a和第二次透鏡部313b被成像的被 攝體像而得到的。如下述式19所示，用第一強(qiáng)度修正系數(shù)ksl修正第 一攝像信號(hào)Il，以及如下述式20所示，用第二強(qiáng)度修正系數(shù)ks2修正 第二攝像信號(hào)I2。
11 (x， y) =ksl (x， y) "1 (x， y)……式19
12 (x， y) 二ks2 (x， y) "2 (x， y)......式20
另外，第一強(qiáng)度修正系數(shù)ksl (x， y)和第二強(qiáng)度修正系數(shù)ks2 (x， y)表示第--攝像信號(hào)II和第二攝像信號(hào)12的坐標(biāo)(x， y)的強(qiáng)度修 正系數(shù)，在檢查工序等中拍攝特定圖像而決定，并保存在EEPROM、 閃存中。另外，也可以不具有各像素的系數(shù)而僅具有代表點(diǎn)，使用該 代表點(diǎn)通過(guò)線性內(nèi)插求取第一強(qiáng)度修正系數(shù)ksl (x， y)和第二強(qiáng)度修 正系數(shù)ks2 (x， y)。此外，也可以建立近似式且僅具有其系數(shù)，生成 各坐標(biāo)的第一強(qiáng)度修正系數(shù)ksl (x， y)和第二強(qiáng)度修正系數(shù)ks2 (x， y)。此外，為了校正透鏡的光軸的偏移等，可以適當(dāng)?shù)剡M(jìn)行坐標(biāo)變換。 接著，執(zhí)行歩驟S3040。
在歩驟S3040中，將保存在第一輸入緩沖器335a中的第一攝像信 號(hào)II傳送到第一輸出緩沖器337a，第一輸出緩沖器337a作為圖像數(shù) 據(jù)進(jìn)行保存。另夕卜，在傳送范圍標(biāo)志FO (ibx， iby) =1的塊(動(dòng)作的 塊)中，直接傳送攝像信號(hào)II，在傳送范圍標(biāo)志FO (ibx， iby) 二0 的塊(停止的塊)中，因?yàn)闆](méi)有應(yīng)該傳送的攝像信號(hào)II，所以進(jìn)行使 該圖像數(shù)據(jù)全部為黑等的處理。接著，執(zhí)行步驟S3100。
在步驟S3100中，生成距離數(shù)據(jù)，并依次傳送到第二輸出緩沖器 337b。此外，決定傳送范圍，設(shè)定傳送范圍標(biāo)志FO (ibx， iby)。該動(dòng) 作的詳細(xì)過(guò)程在后面敘述。接著，執(zhí)行步驟S3910。
在步驟S3910中，將數(shù)據(jù)輸出到外部。輸入輸出部338將第一輸 出緩沖器337a上的圖像數(shù)據(jù)和第二輸出緩沖器337b上的距離數(shù)據(jù)輸
60出到上位CPU (未圖示)、外部顯示裝置(未圖示)。另外，還可以適
當(dāng)輸出傳送范圍標(biāo)志FO (ibx， iby)。接著，執(zhí)行步驟S3920。
在步驟S3920中，判斷是否結(jié)束動(dòng)作。例如，系統(tǒng)控制部331通 過(guò)輸入輸出部336與上位CPU (未圖示)通信，請(qǐng)求是否結(jié)朿動(dòng)作的 命令。而且，如果上位CPU命令結(jié)束則結(jié)束動(dòng)作。接著，執(zhí)行歩驟 S3930。另一方面，如果上位CPU沒(méi)有命令結(jié)束則繼續(xù)動(dòng)作，接著執(zhí) 行步驟S3030。即，只要上位CPU沒(méi)有命令結(jié)束，就繼續(xù)執(zhí)行步驟 S3030、步驟S3040、步驟S3100和步驟S3910的循環(huán)。 在步驟S3930中結(jié)束動(dòng)作。
接著，說(shuō)明歩驟S3100中的動(dòng)作的詳細(xì)過(guò)程。圖48是表示本發(fā)明 的實(shí)施方式3的攝像裝置的運(yùn)算部的動(dòng)作的流程圖。圖48的流程圖表 示步驟S3100的動(dòng)作的詳細(xì)過(guò)程。在步驟S3100的運(yùn)算中，首先執(zhí)行 步驟S3110。
在步驟S3110中，開(kāi)始運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S3200。 在步驟S3200中，執(zhí)行視差運(yùn)算。圖49是表示本發(fā)明的實(shí)施方式 3的攝像裝置的視差運(yùn)算的動(dòng)作的流程圖。圖49的流程圖表示步驟 S3200的動(dòng)作的詳細(xì)過(guò)程。在歩驟S3200中，進(jìn)行利用第一攝像信號(hào)和 第二攝像信號(hào)的視差運(yùn)算。在步驟S3200的運(yùn)算中，首先執(zhí)行步驟 S3310。
在步驟S3310中，開(kāi)始視差運(yùn)算的動(dòng)作。接著，執(zhí)行步驟S3320。 在步驟S3320中，在塊索引ib中設(shè)定O進(jìn)行初始化。接著，執(zhí)行 步驟S3330。
在步驟S3330中，選擇塊。選擇在圖46和圖47中以塊索引ib表 示的塊(以坐標(biāo)(ibx， iby)表示的塊)。接著，執(zhí)行歩驟S3335。
在步驟S3335中，判斷是否是傳送范圍并產(chǎn)生分支。在以塊索引 ib表示的塊(以坐標(biāo)(ibx， iby)表示的塊)中，當(dāng)傳送范圍標(biāo)志FO (ibx， iby) =1 (動(dòng)作的塊)時(shí)，接著執(zhí)行步驟S3340。另 一方面，在 以塊索引ib表示的塊(以坐標(biāo)(ibx， iby)表示的塊)中，當(dāng)傳送范圍 標(biāo)志FO Gbx， iby) 二0 (停止的塊)時(shí)，接著執(zhí)行歩驟S3360。這樣， 在傳送范圍標(biāo)志FO (ibx， iby) 二l (動(dòng)作的塊)的塊中，在后述的步 驟S3340中傳送攝像信號(hào)，在后述的步驟S3350中進(jìn)行視差運(yùn)算，并執(zhí)行后述的步驟S3360。另一方面，在傳送范圍標(biāo)志FO (ibx， iby) =0 (停止的塊)的塊中，不進(jìn)行傳送攝像信號(hào)和視差運(yùn)算的動(dòng)作，而 執(zhí)行后述的步驟S3360。
在步驟S3340中，傳送攝像信號(hào)。該步驟S3340的動(dòng)作與實(shí)施方 式l的步驟S1340的動(dòng)作相同，省略說(shuō)明。其中，關(guān)于第二攝像信號(hào)， 能夠省略傳送的部分僅是存在塊的重疊而且在該塊中傳送范圍標(biāo)志 FO (ibx， iby) 二l (動(dòng)作的塊)的部分(即，已被傳送的部分)。接著， 執(zhí)行步驟S3350。
在歩驟S3350中，執(zhí)行視差運(yùn)算。該步驟S3350的動(dòng)作與實(shí)施方 式1的步驟S1350的動(dòng)作相同，省略說(shuō)明。其中，不需要進(jìn)行可靠性 的運(yùn)算，將在實(shí)施方式1中以A (1， 2) (ibx， iby)表示的視差作為 以塊索引ib的表示的塊(以坐標(biāo)Gbx， iby))表示的塊)的視差值A(chǔ) (ibx， iby)。接著，執(zhí)行步驟S3360。
在步驟S3360中，塊索引ib加l。接著，執(zhí)行步驟3370。
在步驟S3370中，判斷是否結(jié)束視差運(yùn)算。當(dāng)塊索引ib小于Nh*Nv 時(shí)，為了運(yùn)算下-- 個(gè)塊的視差，接著執(zhí)行步驟S3330。另一方面，當(dāng)塊 索引ib在NMNv以上時(shí)，判斷為已運(yùn)算所有塊的視差，接著，執(zhí)行步 驟S3380。
在歩驟S3380中，結(jié)束視差運(yùn)算，返回上位程序。這樣，對(duì)于以 塊索引ib表示的32X32像素的塊，以32X32像素的分辨率求取視差 值A(chǔ) (ibx， iby)。這里，(ibx， iby)是圖46中在各塊的中層表示的坐 標(biāo)(ibx從O到Nh—l變化，iby從O到Nv—l變化)。接著，執(zhí)行圖 48的步驟S3700。
在步驟S3700中，距離運(yùn)算部343進(jìn)行距離運(yùn)算，將其結(jié)果作為 距離數(shù)據(jù)依次傳送到第二輸出緩沖器337b。該步驟S3700的動(dòng)作與實(shí) 施方式1的歩驟S1700的動(dòng)作相同，省略說(shuō)明。其中，距離運(yùn)算僅對(duì) 傳送范圍標(biāo)志FO (ibx， iby) =1 (動(dòng)作的塊)進(jìn)行。另外，如果在傳 送范圍標(biāo)志FO (ibx， iby) 二0 (停止的塊)中代入負(fù)數(shù)，則即使沒(méi)有 向上位CPU進(jìn)行傳送范圍標(biāo)志FO (ibx， iby)的信息傳送，由于上位 CPU對(duì)于傳送來(lái)的距離數(shù)據(jù)A (ibx， iby)中代入了負(fù)數(shù)的塊，能夠判 斷為是沒(méi)有進(jìn)行視差運(yùn)算、距離運(yùn)算的塊，因此能夠減少通信的負(fù)荷。接著，執(zhí)行步驟S3800。
在步驟S3800中，傳送范圍決定部344決定傳送范圍，設(shè)定各塊 (ibx， iby)的傳送范圍標(biāo)志FO (ibx， iby)。圖50是說(shuō)明本發(fā)明的實(shí) 施方式3的攝像裝置的傳送范圍的圖。另外，在圖50中，為了簡(jiǎn)單， 表示塊數(shù)較小的情況，但塊數(shù)并不限于該圖的情況。傳送范圍決定部 344在由第一攝像信號(hào)II構(gòu)成的圖像的各塊中，使包括人物的而部的 塊為FO (ibx， iby) 二l (動(dòng)作的塊)，使不包括人物的面部的塊為FO (ibx， iby) =0 (停止的塊)。在圖50中，以圖50 (a)的坐標(biāo)(0， 0)、 坐標(biāo)(l， O)表示的塊那樣的空心的塊表示傳送范圍標(biāo)志FO(ibx， iby) =1 (動(dòng)作的塊)，例如，圖50 (b)、 (c)、 (d)的以坐標(biāo)(0， 0)、坐 標(biāo)(l，O)表示的塊那樣加入了斜陰影線的塊表示傳送范圍標(biāo)志FO(ibx， iby) =0 (停止的塊)。
例如，起動(dòng)作為照相機(jī)模塊的攝像裝置301而最初拍攝的攝像信 號(hào)Il，在步驟3020中，初始化成全部塊的傳送范圍標(biāo)志FO(ibx， iby) =1，因此，如圖50 (a)所示，傳送與第一透鏡部313a對(duì)應(yīng)的攝像區(qū) 域的全部范圍。傳送范圍決定部344判斷人物的面部的部分，如圖50 (b)所示，包括面部的塊保持為傳送范圍標(biāo)志FO (ibx， iby) 二l (空 心的塊)，不包括面部的塊以傳送范圍標(biāo)志FO (ibx， iby) =0 (加入 了斜陰影線的塊)的方式變更圖50 (a)所示的傳送范圍標(biāo)志FO (ibx， iby)。
另外，作為檢測(cè)人物的面部的方法能夠利用眾所周知的方法。例 如，在人物的前面配置本實(shí)施方式的攝像裝置的情況下，將具有橢圓 形的邊緣(與面部的輪廓相當(dāng)?shù)倪吘?、且在其內(nèi)部具有2個(gè)黑點(diǎn)(與 眼睛相當(dāng)?shù)?個(gè)點(diǎn))的圖像內(nèi)的區(qū)域檢測(cè)為人物的面部即可。
此外，在具有圖50 (b)所示的傳送范圍標(biāo)志FO (ibx， iby)的分 布吋，如果人物的面部移動(dòng)，則如圖50 (c)所示，面部的一部分移動(dòng) 成為傳送范圍標(biāo)志FO (ibx， iby) =0 (停止的塊)。在這種情況下， 在圖50 (b)中包括面部所以FO (ibx， iby) =1 (空心的塊。動(dòng)作的 塊)、但在圖50 (c)中不包括面部的塊，如圖50 (d)的3800A所示， 變更成傳送范圍標(biāo)志FO (ibx， iby) =0 (加入了斜陰影線的塊)。而 且，在圖50 (b)中不包括面部所以FO (ibx， iby) =0 (加入了斜陰
63影線的塊。停止的塊)、但在圖50 (C)中包括面部的塊，如圖50 (d)
的3800B所示，變更成傳送范圍標(biāo)志FO (ibx, iby) 二l (空心的塊。 動(dòng)作的塊)。接著，執(zhí)行步驟S3900。
在步驟S3900中，結(jié)束運(yùn)算動(dòng)作，返回上位程序。接著執(zhí)行步驟 S3910。
通過(guò)如上所述構(gòu)成本實(shí)施方式的攝像裝置并使其進(jìn)行動(dòng)作，具有 以下的效果。
在始終將在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)作為傳送范圍 的情況下，總是需要傳送所有像素的傳送時(shí)間，由于該傳送時(shí)間，相 應(yīng)地在高速化上存在界限。根據(jù)本發(fā)明的實(shí)施方式3的攝像裝置，如 圖50 (b) (d)所示，使包括人物的面部的塊的傳送范圍標(biāo)志FO (ibx， iby) =1，僅傳送包括人物的面部的塊的攝像信號(hào)。在利用于車載用的 乘客監(jiān)視的情況下，應(yīng)該注視的被攝體是人物的面部，需要面部的距 離測(cè)定。因此，通過(guò)限定僅傳送面部的區(qū)域，與傳送全部像素的情況 相比較能夠減少傳送量，實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距離運(yùn)算的 攝像裝置。例如，在圖50 (b) (d)中，相對(duì)于所有的48個(gè)塊，能夠 將傳送攝像信號(hào)的塊減少到14個(gè)。
另外，在實(shí)施方式3的攝像裝置中，如上所述，將在攝像區(qū)域的 一部分的區(qū)域中生成的攝像信號(hào)(與所有塊中的特定的塊有關(guān)的攝像 信號(hào))設(shè)定為傳送范圍。而且，適當(dāng)變更該傳送范圍。換言之，適當(dāng) 切換多個(gè)動(dòng)作模式。
此外，在實(shí)施方式3的攝像裝置中，作為初始狀態(tài)，將整個(gè)圖像 區(qū)域設(shè)定為傳送范圍，但也可以預(yù)先僅將中心附近的圖像區(qū)域設(shè)為傳 送范圍。如果在適當(dāng)?shù)奈恢冒惭b攝像裝置，則人物的面部大部分位于 圖像的中心，因此作為初始狀態(tài)僅對(duì)中心附近進(jìn)行傳送，并適當(dāng)變更 傳送范圍即可。由此，因?yàn)槟軌蚩偸菍⒃跀z像區(qū)域的一部分的區(qū)域中 生成的攝像信號(hào)作為傳送區(qū)域，所以總是能夠縮短傳送時(shí)間，能夠高 速地進(jìn)行視差運(yùn)算、距離運(yùn)算。
此外，在實(shí)施方式3的攝像裝置中，將第三運(yùn)算緩沖器的大小設(shè) 為32X32像素(水平方向32像素，以及垂直方向32像素)，但并不 限定于此。例如，也可以是4X4像素、8X8像素、16X16像素。此外，也可以適當(dāng)變更大小。此外，也可以求取多個(gè)尺寸的塊的視差并 進(jìn)行選擇。進(jìn)而，也可以不是矩形的塊，而是抽取邊緣等并進(jìn)行塊分 割。此外，不限于求取塊的視差，還可以求取作為邊緣的線段的視差。 此外，在實(shí)施方式3的攝像裝置中，將第一攝像信號(hào)Il傳送到第
一輸出緩沖器337a，從輸入輸出部338輸出，但也可以輸出第二攝像 信號(hào)12。此外，還可以輸出多個(gè)攝像信號(hào)。
此外，在實(shí)施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以進(jìn)行一步進(jìn)行限定，例如，僅傳送在面部中包括眼睛的塊等。
此外，在實(shí)施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以例如僅傳送在攝像信號(hào)中與相當(dāng)于路面的區(qū)域以外的區(qū)域冇 關(guān)的攝像信號(hào)等。圖51是說(shuō)明本發(fā)明的實(shí)施方式3的攝像裝置的變形 的傳送范圍的圖。例如，起動(dòng)作為照相機(jī)模塊的攝像裝置301，在步驟 S3020中初始化成所有塊的傳送范圍標(biāo)志FO (ibx， iby) =1，因此如 圖51 (a)所示，最初拍攝的攝像信號(hào)Il傳送在與第一透鏡部313a相 對(duì)應(yīng)的攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)。傳送范圍決定部344 判斷不是路面的部分，如圖51 (b)所示，將包括不是路面的被攝體(前 方的汽車、人物和本車)的塊保持為傳送范圍標(biāo)志FO (ibx， iby)=
(空心的塊。動(dòng)作的塊)，作為路面的塊變更為傳送范圍標(biāo)志FO (ibx， iby) =0 (加入了斜陰影線的塊。停止的塊)。
另外，作為檢測(cè)與路面相當(dāng)?shù)膮^(qū)域的方法，能夠利用眾所周知的 方法。例如，能夠如以下那樣進(jìn)行檢測(cè)。在汽車的前面配置本發(fā)明的 攝像裝置，調(diào)整成透鏡的光軸與路面平行，在測(cè)定前方的距離時(shí)，被 攝體距離Al如下述式21那樣表示。在式21中，Q是透鏡的光軸與路 面的角度，Z表示配置的攝像裝置距路面的高度。而且，在根據(jù)各塊中 的視差值A(chǔ) (ibx， iby)運(yùn)算的距離A (ibx， iby)與用式21運(yùn)算得到 的距離Al大致-一致的情況下，判斷為在該塊中拍攝的被攝體是路面。
Al=Z/tane ......式21
在使傳送范圍始終為在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)的 情況下，總是需要傳送所有像素的傳送時(shí)間，由于該傳送時(shí)間，相應(yīng) 地在高速化上存在界限。根據(jù)本發(fā)明的實(shí)施方式3的攝像裝置的變形， 如圖51 (b)所示，使包括不是路面的被攝體的塊的傳送范圍標(biāo)志FO(ibx， iby) =1，僅傳送包括不是路面的被攝體的塊的攝像信號(hào)。在 利用于車載用的前方監(jiān)視的情況下，應(yīng)該注視的被攝體是路面以外的 例如前方的車輛、人物和其它結(jié)構(gòu)物，需要進(jìn)行它們的距離測(cè)定。于 是，通過(guò)限定僅傳送路面以外的區(qū)域，與傳送所有像素的情況相比較， 能夠減少傳送量，實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距離運(yùn)算的攝像裝
置。例如，在圖51 (b)中，對(duì)于全部的72個(gè)塊，能夠?qū)魉蛿z像信 號(hào)的塊減少到15個(gè)。
此外，在實(shí)施方式3的攝像裝置中，僅傳送包括人物的面部的塊， 但也可以僅傳送攝像信號(hào)中包括有運(yùn)動(dòng)的被攝體的區(qū)域。圖52是說(shuō)明 本發(fā)明的實(shí)施方式3的攝像裝置的變形的傳送范圍的圖。圖52 (a)和 圖52 (b)是運(yùn)動(dòng)圖像的連續(xù)的2個(gè)幀圖像。圖52 (a)中，位于從右 側(cè)開(kāi)始的第二到第三個(gè)塊的人物在下一幀中，如圖52 (b)所示，位于 從右側(cè)開(kāi)始的第三到第四個(gè)塊中。在這樣的情況下，如圖52 (c)所示， 作為應(yīng)該在下一幀中傳送的塊，是運(yùn)動(dòng)的人物所位于的塊(從右側(cè)開(kāi) 始的第三到第四個(gè)塊)，以及推測(cè)繼續(xù)同一運(yùn)動(dòng)，人物移動(dòng)到的塊(從 右側(cè)開(kāi)始的第5個(gè)塊)。S卩，圖52 (b)的下一幀的傳送范圍標(biāo)志FO (ibx， iby)是，使運(yùn)動(dòng)的人物所位于的塊(從右側(cè)開(kāi)始的第三到第四 個(gè)塊)，以及推測(cè)繼續(xù)同一運(yùn)動(dòng)，人物移動(dòng)到的塊(從右側(cè)開(kāi)始的第5 個(gè)塊)為傳送范圍標(biāo)志FO (ibx， iby) 二l (空心的塊。運(yùn)動(dòng)的塊)， 使除此以外的塊為傳送范圍標(biāo)志FO (ibx， iby) =0 (添加了斜陰影線 的塊。停止的塊)(參照?qǐng)D52 (c))。
這里，使第一攝像信號(hào)Il中的連續(xù)的2個(gè)幀圖像的差值的絕對(duì)值 的總和DtDiff (下述式22)較大的塊為包括運(yùn)動(dòng)的被攝體的塊即可。
<formula>formula see original document page 66</formula> 式22
另外，II (x， y) (t0)表示時(shí)刻t0、坐標(biāo)(x， y)的第一攝像信 號(hào)Il， II (x， y) (t0 + dt)表示時(shí)刻t0 + dt、坐標(biāo)(x， y)的第一攝像 信號(hào)Il。
在使傳送范圍始終為在攝像區(qū)域的整個(gè)區(qū)域中生成的攝像信號(hào)的 情況下，總是需要傳送所有像素的傳送時(shí)間，由于該傳送時(shí)間，相應(yīng) 地在高速化方面存在界限。根據(jù)本發(fā)明的實(shí)施方式3的攝像裝置的變 形，如圖52 (c)所示，使包括運(yùn)動(dòng)的被攝體(在圖52中表示為人物)的塊的傳送范圍標(biāo)志FO (ibx， iby) =1。在利用于車載用的前方監(jiān)視 的情況下，應(yīng)該注視的被攝體是運(yùn)動(dòng)的被攝體，例如前方的車輛、人 物、動(dòng)物等，需要進(jìn)行它們的距離測(cè)定。于是，通過(guò)限定僅傳送運(yùn)動(dòng) 的被攝體的區(qū)域，與傳送所有像素的情況相比較，能夠減少傳輸量，
實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距離運(yùn)算的攝像裝置。例如，在圖52 (c)中，對(duì)于所有的48個(gè)塊，能夠?qū)魉蛿z像信號(hào)的塊減少到12個(gè)。
另外，優(yōu)選根據(jù)被攝體的動(dòng)作速度決定傳送范圍。在與被攝體的 動(dòng)作速度無(wú)關(guān)地使傳送范圍始終為被攝體的圖像的周圍的一定區(qū)域的 情況下，如果被攝體的速度較快，則有時(shí)被攝體沒(méi)有包括在該區(qū)域內(nèi)， 使得視差的精度惡化。如圖52 (c)所示，預(yù)測(cè)被攝體的動(dòng)作，將預(yù)測(cè) 在下一幀中會(huì)動(dòng)作的區(qū)域包括在內(nèi)地進(jìn)行傳送。即，根據(jù)被攝體的動(dòng) 作速度，傳送范圍決定部344決定傳送范圍。這樣，通過(guò)根據(jù)被攝體 的動(dòng)作速度適當(dāng)決定傳送范圍的大小，使被攝體包括在傳送范圍內(nèi)， 因此能夠?qū)崿F(xiàn)能夠進(jìn)行高精度的視差運(yùn)算、距離運(yùn)算的攝像裝置。
這里，被攝體的動(dòng)作速度能夠通過(guò)比較各幀間的圖像等，利用傳 送范圍決定部344進(jìn)行檢測(cè)。
另外，當(dāng)被攝體的動(dòng)作較快時(shí)，優(yōu)選使傳送范圍較大。即，當(dāng)動(dòng) 作較快時(shí)，使預(yù)測(cè)為在下一幀會(huì)動(dòng)作的范圍較大，使被攝體總是包括 在傳送區(qū)域內(nèi)，由此實(shí)現(xiàn)能夠進(jìn)行高精度的視差運(yùn)算、距離運(yùn)算的攝
'、此外，優(yōu)選使包括在傳送范圍內(nèi)的像素?cái)?shù)，即塊數(shù)，在多個(gè)幀中 大致相同。例如，如圖52 (c)所示，如果包括在傳送范圍內(nèi)的塊設(shè)定 為12個(gè)，則攝像裝置可以以使得在多個(gè)幀中保持12這個(gè)數(shù)目的方式 進(jìn)行動(dòng)作。
如果僅根據(jù)被攝體的動(dòng)作速度決定傳送范圍，則在動(dòng)作較快的被 攝體在整個(gè)區(qū)域中包括有多個(gè)的情況下，容易產(chǎn)生傳送量增大的情況。 從而，在整個(gè)區(qū)域中包括有多個(gè)動(dòng)作快速的被攝體的情況下，使包括 在傳送范圍內(nèi)的像素一定，在多個(gè)幀中保持該像素?cái)?shù)。為此，例如將 用于判定被攝體的動(dòng)作是否快速的閾值設(shè)定得較大，進(jìn)行縮減被攝體 等的處理。由此，包括在傳送范圍內(nèi)的像素?cái)?shù)保持為一定。從而，能 夠防止傳送量的增大，實(shí)現(xiàn)能夠進(jìn)行高速的視差運(yùn)算、距離運(yùn)算的攝像裝置。
這樣，優(yōu)選在多個(gè)幀中將包括在傳送范圍內(nèi)的像素?cái)?shù)保持為一定， 但該像素?cái)?shù)并非必須在多個(gè)幀中相同，也可以根據(jù)傳送速度等增減該 像素?cái)?shù)。
以上，說(shuō)明了本發(fā)明的幾個(gè)實(shí)施方式，但這些僅是例示，在本發(fā) 明的實(shí)施時(shí)，能夠如以下所述進(jìn)行各種變更。
實(shí)施方式1到實(shí)施方式3的攝像裝置由SLSI125、 225和325決定 傳送范圍標(biāo)志FO，而也可以是SLSI以外的單元進(jìn)行決定。此外，也 可以將SLSI的功能分割為多個(gè)LSI，并安裝在基板上。
此外，在實(shí)施方式1到實(shí)施方式3的攝像裝置中，直接利用了運(yùn) 算得到的視差，但也可以適當(dāng)進(jìn)行限制。根據(jù)透鏡特性，當(dāng)被攝休距 離A比某個(gè)值小時(shí)，可能圖像不鮮明。因此，如果將該值設(shè)定為被攝 體距離A的最小值，則能夠確定視差的最大值。比該值大的視差可以 看作誤差并忽略。此外，在這樣的情況下，可以將視差評(píng)價(jià)值第二小 的值用作視差。此外，在視差評(píng)價(jià)值中顯著存在2個(gè)極值時(shí)，也可以 采用較大一方的視差。在這種情況下，在該塊中包括被攝體和背景， 由于被攝體距離與背景距離不同，極值出現(xiàn)2個(gè)。這時(shí)，可以采用其 中對(duì)障礙物檢測(cè)產(chǎn)生較大影響的較大的視差。
在第一實(shí)施方式的攝像裝置中，第一彩色濾光片124a和第二彩色 濾光片124b主要透過(guò)紅外光，第三彩色濾光片124c和第四彩色濾光 片124d主要透過(guò)綠色光。此外，在第二實(shí)施方式的攝像裝置中，第二 彩色濾光片224b和第三彩色濾光片224c主要透過(guò)紅外光，第--彩色 濾光片224a和第四彩色濾光片224d主要透過(guò)綠色光。然而，這些都 是例示，本發(fā)明并不限定于此。從而，也可以分別透過(guò)不同的波長(zhǎng)域。 例如，也可以透過(guò)紅色光、藍(lán)色光、遠(yuǎn)紅外光、近紫外光等。此外， 還可以省略一側(cè)的彩色濾光片。此外，也可以是， 一組配置有某個(gè)特 定的彩色濾光片， 一組在攝像元件上配置有拜耳陣列(Bayer array)的 濾光片。此外，也可以是各個(gè)組的彩色濾光片特性相同，F(xiàn)值、焦點(diǎn)距 離不同0
在本發(fā)明的攝像裝置的情況下，因?yàn)樾枰M(jìn)行視差運(yùn)算，所以在 各動(dòng)作模式中，將在4個(gè)攝像區(qū)域中的至少2個(gè)攝像區(qū)域中生成的攝
68像信號(hào)作為傳送范圍。這樣，雖然需要將在至少2個(gè)攝像區(qū)域中生成 的攝像信號(hào)作為傳送范圍，但是這些攝像區(qū)域可以是任意的。從而， 在實(shí)施方式1的攝像裝置中，在攝像區(qū)域的整個(gè)區(qū)域與上半部分的區(qū)
域(與第一透鏡部113a和第二透鏡部113b相對(duì)應(yīng)的區(qū)域)間進(jìn)行切換， 但也可以在整個(gè)區(qū)域與下半部分的區(qū)域(與第三透鏡部113c和第四透 鏡部113d相對(duì)應(yīng)的區(qū)域)間進(jìn)行切換。此外，還可以在上半部分的區(qū) 域(與第一透鏡部113a和第二透鏡部113b相對(duì)應(yīng)的區(qū)域)與下半部分 的區(qū)域(與第三透鏡部113c和第四透鏡部113d相對(duì)應(yīng)的區(qū)域)間進(jìn)行 切換。
此外，在實(shí)施方式2的攝像裝置中，在攝像區(qū)域的整個(gè)區(qū)域與對(duì) 角向右上方的區(qū)域(與第二透鏡部113b和第三透鏡部113c相對(duì)應(yīng)的區(qū) 域)間進(jìn)行切換，但也可以在整個(gè)區(qū)域與對(duì)角向右下方的區(qū)域(與第 -一透鏡部113a和第四透鏡部113d相對(duì)應(yīng)的區(qū)域)間進(jìn)行切換。此外， 還可以在對(duì)角向右上方的區(qū)域(與第二透鏡部113b和第三透鏡部113c 相對(duì)應(yīng)的區(qū)域)與對(duì)角向右下方的區(qū)域(與第一透鏡部113a和第四透 鏡部113d相對(duì)應(yīng)的區(qū)域)間進(jìn)行切換。
此外，在實(shí)施方式1到實(shí)施方式3中，作為視差評(píng)價(jià)值R (10使 用式6表示的差值絕對(duì)值總和(SAD)，但本發(fā)明并不限定于此。也可 以利用下述值作為視差評(píng)價(jià)值R (k):差值的平方值的總和；從第一 攝像信號(hào)II減去塊內(nèi)平均的值與從第二攝像信號(hào)12減去塊內(nèi)平均的值 的差值的平方值的總和；從第一攝像信號(hào)Il減去塊內(nèi)平均的值與從第 二攝像信號(hào)I2減去塊內(nèi)平均的值的差值的平方值的總和；或者，使從 第一攝像信號(hào)I1減去塊內(nèi)平均的值與從第二攝像信號(hào)I2減去塊內(nèi)平均 的值的差值的平方值的總和除以從第一攝像信號(hào)II減去塊內(nèi)平均的值 的平方值的總和的平方根、并除以從第二攝像信號(hào)12減去塊內(nèi)平均的 值的平方值的總和的平方根等。
另外，在實(shí)施方式1到實(shí)施方式3中，將塊分割為矩形，但并不 限定于此。例如，也可以檢測(cè)邊緣，根據(jù)邊緣分割成非矩形的塊。此 外，也可以不求出每個(gè)塊的區(qū)域的視差，而是將邊緣分割成多個(gè)線段， 求取該線段的視差。此外，還可以評(píng)價(jià)在某個(gè)塊中求出的視差，對(duì)塊 進(jìn)行分割或者結(jié)合。根據(jù)上述說(shuō)明，本領(lǐng)域的技術(shù)人員能夠明確本發(fā)明的眾多改良、 其它的實(shí)施方式。從而，上述說(shuō)明應(yīng)該僅解釋為例示，以指導(dǎo)技術(shù)人 員執(zhí)行本發(fā)明的最佳方式為目的而提供。在不脫離本發(fā)明的精祌的情 況下，能夠?qū)嵸|(zhì)地變更其構(gòu)造和/或功能。
產(chǎn)業(yè)上的可利用性
本發(fā)明的攝像裝置和半導(dǎo)體電路元件是能夠進(jìn)行高速的視差運(yùn)算 的攝像裝置和半導(dǎo)體電路元件，因此，在具有照相功能的攜帶電話、 數(shù)字靜態(tài)照相機(jī)、車載用照相機(jī)、監(jiān)視用照相機(jī)、三維計(jì)測(cè)器和立體 圖像輸入照相機(jī)等中是有用的。
權(quán)利要求
1. 一種攝像裝置，其特征在于，包括分別至少包括一個(gè)透鏡的多個(gè)透鏡部；在所述多個(gè)透鏡部中一對(duì)一地對(duì)應(yīng)設(shè)置、并分別具有相對(duì)于對(duì)應(yīng)的所述透鏡部的光軸方向大致垂直的受光面的多個(gè)攝像區(qū)域；接受由所述攝像區(qū)域生成的攝像信號(hào)的輸入的攝像信號(hào)輸入部；決定從所述攝像區(qū)域向所述攝像信號(hào)輸入部傳送的攝像信號(hào)的傳送范圍的傳送范圍決定部；驅(qū)動(dòng)所述攝像區(qū)域，使得向所述攝像信號(hào)輸入部傳送與通過(guò)所述傳送范圍決定部決定的傳送范圍相對(duì)應(yīng)的攝像信號(hào)的攝像區(qū)域驅(qū)動(dòng)部；和根據(jù)傳送到所述攝像信號(hào)輸入部的攝像信號(hào)運(yùn)算視差的視差運(yùn)算部，其中所述傳送范圍決定部構(gòu)成為，能夠切換將在所述多個(gè)攝像區(qū)域中的至少2個(gè)攝像區(qū)域中生成的攝像信號(hào)決定為所述傳送范圍的第一動(dòng)作模式、和將與第一動(dòng)作模式不同的攝像信號(hào)決定為所述傳送范圍的第二動(dòng)作模式。
2. 如權(quán)利要求1所述的攝像裝置，其特征在于 所述傳送范圍決定部構(gòu)成為，能夠切換將在所述攝像區(qū)域的大致整個(gè)區(qū)域屮生成的攝像信號(hào)作為所述傳送范圍的第一動(dòng)作模式、和將 在所述攝像區(qū)域的大致一半的區(qū)域中生成的攝像信號(hào)作為所述傳送范 圍的第二動(dòng)作模式。
3. 如權(quán)利要求2所述的攝像裝置，其特征在于 所述大致一半的區(qū)域是所述攝像區(qū)域中傳送順序較早的大致一半的區(qū)域。
4. 如權(quán)利要求2所述的攝像裝置，其特征在于4個(gè)所述攝像區(qū)域設(shè)置為2行2歹lj，所述大致一半的區(qū)域是位于對(duì)角位置的2個(gè)所述攝像區(qū)域。
5. 如權(quán)利要求l所述的攝像裝置，其特征在于 所述攝像區(qū)域被分割為隔行掃描的多個(gè)場(chǎng)，所述傳送范圍決定部構(gòu)成為，能夠切換將在所述攝像區(qū)域的大致 整個(gè)區(qū)域中生成的攝像信號(hào)作為所述傳送范圍的第一動(dòng)作模式、和將 所述攝像區(qū)域的一場(chǎng)大小的攝像信號(hào)作為所述傳送范圍的第二動(dòng)作模 式。
6. 如權(quán)利要求5所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，根據(jù)與被攝體有關(guān)的信息，切換所 述第一動(dòng)作模式和所述第二動(dòng)作模式。
7. 如權(quán)利要求6所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在判斷為在視差的運(yùn)算屮需要高速 性的情況下，從所述第一動(dòng)作模式向所述第二動(dòng)作模式切換。
8. 如權(quán)利要求6所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在判斷為在視差的運(yùn)算中需要高精 度的情況下，從所述第二動(dòng)作模式向所述第一動(dòng)作模式切換。
9. 如權(quán)利要求1所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動(dòng)作模式和所述第二動(dòng) 作模式的任一個(gè)中，均將在所述多個(gè)攝像區(qū)域中的一部分的攝像區(qū)域 中生成的攝像信號(hào)決定為所述傳送范圍。
10. 如權(quán)利要求l所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動(dòng)作模式和所述第二動(dòng) 作模式的至少任一個(gè)中，將在對(duì)動(dòng)作的被攝體進(jìn)行攝像的攝像區(qū)域中 生成的攝像信號(hào)決定為所述傳送范圍。
11. 如權(quán)利要求IO所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，根據(jù)所述被攝體的動(dòng)作速度，切換 所述第一動(dòng)作模式和所述第二動(dòng)作模式。
12. 如權(quán)利要求ll所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述被攝體的動(dòng)作快速時(shí)，切換 為將在多數(shù)攝像區(qū)域中生成的攝像信號(hào)決定為所述傳送范圍的動(dòng)作模 式；在所述被攝體的動(dòng)作緩慢時(shí)，切換為將在少數(shù)攝像區(qū)域中生成的 攝像信號(hào)決定為所述傳送范圍的動(dòng)作模式。
13. 如權(quán)利要求IO所述的攝像裝置，其特征在于所述傳送范圍決定部構(gòu)成為，在所述第一動(dòng)作模式和所述第二動(dòng) 作模式的至少任一個(gè)中，使與所述傳送范圍的攝像信號(hào)有關(guān)的像素?cái)?shù) 大致一定。
14. 如權(quán)利要求9所述的攝像裝置，其特征在于所述攝像區(qū)域以對(duì)包括與路面相當(dāng)?shù)膮^(qū)域的區(qū)域進(jìn)行攝像的方式所述傳送范圍決定部構(gòu)成為，在所述第--動(dòng)作模式和所述第二動(dòng) 作模式的至少任一個(gè)中，將與相當(dāng)于所述路面的區(qū)域以外的區(qū)域有關(guān) 的攝像信號(hào)作為所述傳送范圍。
15. 如權(quán)利要求9所述的攝像裝置，其特征在于所述攝像區(qū)域以對(duì)包括與人的面部相當(dāng)?shù)膮^(qū)域的區(qū)域進(jìn)行攝像的 方式構(gòu)成，所述傳送范圍決定部構(gòu)成為，在所述第一動(dòng)作模式和所述第二動(dòng) 作模式的至少任一個(gè)中，將與相當(dāng)于所述人的面部的區(qū)域有關(guān)的攝像 信號(hào)作為所述傳送范圍。
16. 如權(quán)利要求l所述的攝像裝置，其特征在于所述多個(gè)攝像區(qū)域中的至少2個(gè)攝像區(qū)域構(gòu)成為，通過(guò)反復(fù)交替 地向所述攝像信號(hào)輸入部傳送生成的攝像信號(hào)的一部分，將生成的全部攝像信號(hào)向所述攝像信號(hào)輸入部傳送。
17. 如權(quán)利要求1 權(quán)利要求16中任一項(xiàng)所述的攝像裝置，其特 征在于，還包括根據(jù)通過(guò)所述視差運(yùn)算部得到的視差，運(yùn)算到達(dá)被攝體的距離的 距離運(yùn)算部。
18. —種半導(dǎo)體電路元件，其是在攝像裝置中使用的半導(dǎo)體電路元 件，該攝像裝置包括分別至少包括一個(gè)透鏡的多個(gè)透鏡部；在所述 多個(gè)透鏡部中一對(duì)一地對(duì)應(yīng)設(shè)置、并分別具有相對(duì)于對(duì)應(yīng)的所述透鏡 部的光軸方向大致垂直的受光面的多個(gè)攝像區(qū)域，該半導(dǎo)體電路元件 的特征在于，包括接受由所述攝像區(qū)域生成的攝像信號(hào)的輸入的攝像信號(hào)輸入部； 決定從所述攝像區(qū)域向所述攝像信號(hào)輸入部傳送的攝像信號(hào)的傳送范圍的傳送范圍決定部；驅(qū)動(dòng)所述攝像區(qū)域，使得向所述攝像信號(hào)輸入部傳送與通過(guò)所述傳送范圍決定部決定的傳送范圍相對(duì)應(yīng)的攝像信號(hào)的攝像元件驅(qū)動(dòng)部；禾口根據(jù)傳送到所述攝像信號(hào)輸入部的攝像信號(hào)運(yùn)算視差的視差運(yùn)算 部，其中所述傳送范圍決定部構(gòu)成為，能夠切換將在所述多個(gè)攝像區(qū)域屮 的至少2個(gè)攝像區(qū)域中生成的攝像信號(hào)決定為所述傳送范圍的第一動(dòng) 作模式、和將與第一動(dòng)作模式不同的攝像信號(hào)決定為所述傳送范圍的 第二動(dòng)作模式。
全文摘要
本發(fā)明提供攝像裝置和半導(dǎo)體電路元件，該攝像裝置包括分別至少包括一個(gè)透鏡的多個(gè)透鏡部；在多個(gè)透鏡部中一對(duì)一地對(duì)應(yīng)設(shè)置、并分別具有相對(duì)于對(duì)應(yīng)的透鏡部的光軸方向大致垂直的受光面的多個(gè)攝像區(qū)域；接受由這些攝像區(qū)域生成的攝像信號(hào)的輸入的攝像信號(hào)輸入部(133)；決定從上述攝像區(qū)域向攝像信號(hào)輸入部(133)傳送的攝像信號(hào)的傳送范圍的傳送范圍決定部(144)；驅(qū)動(dòng)上述攝像區(qū)域，使得向攝像信號(hào)輸入部(133)傳送與通過(guò)傳送范圍決定部(144)決定的傳送范圍相對(duì)應(yīng)的攝像信號(hào)的攝像區(qū)域驅(qū)動(dòng)部(132)；和根據(jù)傳送到攝像信號(hào)輸入部(133)的攝像信號(hào)運(yùn)算視差的視差運(yùn)算部(142)，其中傳送范圍決定部(144)構(gòu)成為，能夠切換將在上述多個(gè)攝像區(qū)域中的至少2個(gè)攝像區(qū)域中生成的攝像信號(hào)決定為傳送范圍的第一動(dòng)作模式、和將與第一動(dòng)作模式不同的攝像信號(hào)決定為傳送范圍的第二動(dòng)作模式。
文檔編號(hào)G01C3/06GK101449574SQ20078001779
公開(kāi)日2009年6月3日 申請(qǐng)日期2007年5月10日 優(yōu)先權(quán)日2006年5月16日
發(fā)明者今田勝巳, 玉木悟史, 飯島友邦 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社