處理圖像的方法和設(shè)備的制作方法
【專利摘要】處理圖像的方法和設(shè)備。一種處理圖像的方法包括使用具有圖像捕獲像素的二維陣列的成像器捕獲車輛前方的公路區(qū)域，所述陣列包括實(shí)質(zhì)上獨(dú)立于色調(diào)的第一像素集，以及取決于有限色調(diào)范圍的第二像素集，產(chǎn)生第一圖像，其中每個(gè)像素被分配從第一像素集導(dǎo)出的值，產(chǎn)生第二圖像，其中每個(gè)像素被分配從所述第一像素集和所述第二像素集導(dǎo)出的值，為所述第一圖像中的至少一個(gè)像素識(shí)別第一強(qiáng)度變化值，第一強(qiáng)度變化值指示該像素和至少一個(gè)相鄰像素之間的差異，為所述第二圖像中的對(duì)應(yīng)像素識(shí)別第二強(qiáng)度變化值，第二強(qiáng)度變化值表示該像素和至少一個(gè)相鄰像素之間的差異，以及使用組合規(guī)則的定義集形成組合圖像以分配值到組合圖像中的對(duì)應(yīng)像素，其取決于用于該對(duì)應(yīng)像素的第一和第二識(shí)別強(qiáng)度變化值。
【專利說明】處理圖像的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理方法的改進(jìn)，特別是作為車道檢測(cè)設(shè)備或道路輪廓預(yù)測(cè)方法和設(shè)備的一部分的圖像處理。
【背景技術(shù)】
[0002]已知使用簡(jiǎn)單的視頻攝像機(jī)捕獲車輛前方公路的區(qū)域圖像。攝像機(jī)包括檢測(cè)器像素的二維網(wǎng)格，其中每個(gè)檢測(cè)器像素產(chǎn)生輸出信號(hào)，在采樣周期期間其值取決于落在像素上的光強(qiáng)度。因此，從陣列輸出的圖像是灰度圖像。然后已知處理圖像以識(shí)別車道邊界標(biāo)記，并據(jù)此確定公路的路徑。在EP1057141B1中教導(dǎo)了一種識(shí)別標(biāo)記的合適方法。
[0003] 申請(qǐng)人:已經(jīng)意識(shí)到該技術(shù)在許多國(guó)家運(yùn)行良好，諸如英國(guó)，其中通過深色路面上的高對(duì)比度白線標(biāo)記車道邊界。白線比路面顏色淺得多，并在灰度圖像中顯示良好，使得比較簡(jiǎn)單地檢測(cè)車道邊界。不過， 申請(qǐng)人:已經(jīng)意識(shí)到，當(dāng)車道邊界標(biāo)記不是白色時(shí)并不好用。例如，在韓國(guó)，普遍使用黃色和藍(lán)色的標(biāo)記用于車道邊界。當(dāng)使用灰度成像器成像時(shí)，車道邊界往往難以區(qū)別于路面。當(dāng)考慮灰度時(shí)，符號(hào)和道路典型地具有相同或非常相似的亮度。

【發(fā)明內(nèi)容】

[0004]根據(jù)第一方面，本發(fā)明提供了一種處理道路檢測(cè)設(shè)備中使用的圖像的方法，所述道路檢測(cè)設(shè)備適合于裝配車輛，所述方法包括:
[0005]使用具有圖像捕獲像素的二維陣列的成像器，捕獲車輛前方公路區(qū)域的初始圖像，所述陣列包括位于空間坐標(biāo)(XY)的第一像素集，每個(gè)產(chǎn)生輸出信號(hào)，其值實(shí)質(zhì)上獨(dú)立于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的色調(diào)，以及位于空間位置的第二像素集，每個(gè)產(chǎn)生輸出信號(hào)，其具有取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的有限色調(diào)范圍，并部分取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的亮度，
[0006]從初始捕獲圖像產(chǎn)生第一圖像，其中向所述第一圖像中的每個(gè)像素分配僅僅使用來自第一像素集的至少一個(gè)像素中的值導(dǎo)出的值，
[0007]從初始圖像產(chǎn)生第二圖像，其中向所述第二圖像中的每個(gè)像素分配使用來自所述第一像素集的至少一個(gè)像素和所述第二像素集的至少一個(gè)像素中的值導(dǎo)出的值；
[0008]為所述第一圖像的至少一個(gè)像素識(shí)別第一強(qiáng)度變化值，第一強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰的像素的值之間的差異，
[0009]為所述第二像素中的對(duì)應(yīng)像素識(shí)別第二強(qiáng)度變化值，第二強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰的像素的值之間的差異，
[0010]以及
[0011]通過使用組合規(guī)則的定義集，形成組合圖像以分配值到組合圖像中的對(duì)應(yīng)像素，其取決于用于第一和第二圖像中對(duì)應(yīng)像素的第一和第二識(shí)別強(qiáng)度變化值中每一個(gè)的幅度和/或正負(fù)號(hào)，所述組合圖像適用于車道檢測(cè)設(shè)備。
[0012]第二像素集可產(chǎn)生輸出，其值取決于限制到場(chǎng)景對(duì)應(yīng)部分中出現(xiàn)的單一主色調(diào)的有限色調(diào)范圍的量。其最優(yōu)選地是主紅色色調(diào)，并可以通過在這些像素上放置紅色濾光器或以任何其他方式實(shí)現(xiàn)。
[0013]當(dāng)然，第二像素集的像素可優(yōu)先響應(yīng)于其他主色調(diào)，例如紅色或藍(lán)色或綠色或黃色，或者響應(yīng)于包括諸如紅色和綠色的色調(diào)的集的有限范圍，或者甚至響應(yīng)于可見光譜以外的“色調(diào)”，例如在紅外線區(qū)域。
[0014]其中獨(dú)立于主色調(diào)產(chǎn)生值的第一像素集將最優(yōu)選地具有值，該值取決于圖像的對(duì)應(yīng)部分的亮度，而不是色調(diào)范圍。例如，如果場(chǎng)景的對(duì)應(yīng)部分亮，該值可以為高，如果暗則低。這些像素將產(chǎn)生理想的灰度圖像。僅使用來自這些第一像素集的值，可以形成第一圖像?；叶葓D像可以跨過整個(gè)(不限)范圍，其包括由第二像素看到的色調(diào)，例如穿過寬闊的可見光或紅外線波段。
[0015]每個(gè)像素集可包括許多像素，但在一些實(shí)施例中集可包括少至一個(gè)像素。像素越多，圖像用其產(chǎn)生的分辨率就越高，相應(yīng)地場(chǎng)景內(nèi)可分析的細(xì)節(jié)就更精細(xì)。在本發(fā)明的范圍內(nèi)可提供只具有一個(gè)像素的集，其依次暴露于場(chǎng)景的不同部分，以建立整個(gè)場(chǎng)景的圖像，可能使用像素與場(chǎng)景之間的移動(dòng)鏡頭或快門以改變?cè)谌魏谓o定的時(shí)間處成像的場(chǎng)景部分。
[0016]產(chǎn)生第二圖像的步驟可以包括如下步驟:
[0017]生成中間圖像，其中使用來自第二像素集的至少一個(gè)像素的輸出獲得分配給每個(gè)像素的值，該值獨(dú)立于第一像素集的像素值，并從分配給中間圖像的值減去分配給第一圖像的對(duì)應(yīng)值，以形成第二圖像的值。
[0018]當(dāng)使用紅色濾光器時(shí)，中間圖像可以被認(rèn)為是紅色圖像。第一圖像可以被認(rèn)為是灰度圖像，而第二圖像可以被認(rèn)為是偽色調(diào)圖像，通過從紅色圖像中減去灰度而形成。
[0019]該方法可以包括步驟:在組合它們之前縮放分配給第一(灰度)圖像和中間(紅色或其他色調(diào)或色調(diào)范圍)圖像中每一個(gè)的像素的值以產(chǎn)生第二(色調(diào))圖像?？s放步驟可以包括增加對(duì)應(yīng)于中間圖像中每個(gè)像素的值。這識(shí)別到達(dá)像素的光的減少，所述像素由于濾光只對(duì)有限的色調(diào)(如紅色)范圍敏感，可需要該過濾以優(yōu)先地應(yīng)用僅僅通過該色調(diào)或有限的色調(diào)范圍。
[0020]該縮放步驟用于確保當(dāng)用于產(chǎn)生色調(diào)圖像時(shí)圖像被給予正確的權(quán)重?？s放經(jīng)設(shè)置以至于:第一灰度圖像具有在O和N(其中N可以是255或某些其他值)處劃界的值，在O和N處劃界的紅色圖像，以及在-N和+N處劃界的色調(diào)圖像。在紅色圖像的情況下，+255可對(duì)應(yīng)存在紅色到黃色作為主色調(diào)，很少或沒有藍(lán)色，而-255為存在青色到藍(lán)色且很少或沒有紅色作為主色調(diào)。
[0021]該方法可包括使用成像器，可包括成像像素的單一二維陣列。
[0022]使用規(guī)則集組合圖像允許作為灰度的場(chǎng)景的第一圖像的主邊緣特征以及相同場(chǎng)景的色調(diào)的第二圖像的主邊緣特征，以及其可以用來確保兩個(gè)白色的車道邊界和非白色的車道邊界(諸如黃色)在組合圖像中高亮。這增加組合圖像的后續(xù)圖像處理期間檢測(cè)邊界的可能性，用以檢測(cè)車道界限。對(duì)色調(diào)不敏感的第一圖像檢測(cè)圖像的亮度部分的變化，因此善于識(shí)別暗背景中的光線，即使他們?cè)谄渲杏邢嗤纳{(diào)。第二圖像可以檢測(cè)公路相鄰部分不同色調(diào)的線，即使它們具有相同亮度，諸如灰色道路上的黃線。如果不在灰度圖像中檢測(cè)邊緣，而是在偽色調(diào)圖像中檢測(cè)，它將出現(xiàn)在組合圖像中，反之亦然。
[0023]該方法包括通過使用標(biāo)準(zhǔn)邊緣檢測(cè)技術(shù)識(shí)別第一和第二圖像的每一個(gè)中存在的強(qiáng)度變化，例如使用Sobel邊緣檢測(cè)算法。它可包括比較圖像中像素值與相同圖像中至少一個(gè)直接相鄰像素的值。它可以是在水平(X)或垂直(Y)平面上相鄰的像素。
[0024]最優(yōu)選地，該方法可使用邊緣檢測(cè)，包括跨過陣列中對(duì)應(yīng)于像素行的值的水平行掃描，并比較分配給每個(gè)像素的值或該行中之前或之后像素的值?？尚纬芍虚g圖像，其中每個(gè)像素被分配取決于差異的值。
[0025]本領(lǐng)域技術(shù)人員將理解:第一、中間、第二和組合圖像將當(dāng)然不是物理圖像，只是其他任何“圖像”，諸如如存儲(chǔ)在電子存儲(chǔ)器中的數(shù)碼照片是物理圖像。他們通常只包括數(shù)值或字母數(shù)字值的存儲(chǔ)陣列，其中每個(gè)值被分配到各自的第一和第二圖像的像素，并因此對(duì)應(yīng)在初始圖像中捕獲的場(chǎng)景的部分。這些圖像可被非常短暫地存儲(chǔ)，而且在任何一個(gè)時(shí)間只有中間圖像的一個(gè)值或一行值可被存儲(chǔ)。只要他們與其他圖像的對(duì)應(yīng)值在相同時(shí)間被存儲(chǔ)，對(duì)于它們來說時(shí)間足夠長(zhǎng)以根據(jù)需要由該方法組合以形成最終的組合圖像，該方法將仍然起作用。
[0026]形成組合圖像的步驟中使用的規(guī)則的定義集可包括比較為每個(gè)像素從第一和第二圖像獲取的兩種強(qiáng)度變化值，選擇具有最大幅度的值，以及分配該像素值(保持其正負(fù)號(hào))到組合圖像的對(duì)應(yīng)像素。可以使用其他規(guī)則。例如，每個(gè)強(qiáng)度變化值可以被平方并添加到其他以形成組合圖像的值的幅值，并應(yīng)用正負(fù)號(hào)，其取決于這兩種強(qiáng)度變化值中的哪種具有最聞幅度。
[0027]從這個(gè)組合圖像中，可應(yīng)用邊緣增強(qiáng)組合圖像的標(biāo)準(zhǔn)圖像處理。該方法可包括處理組合圖像以識(shí)別公路邊界。這可以使用在EP1057141B1所描述的方法，通過引用將其并入本文。
[0028]該方法可以產(chǎn)生包含初始圖形中的每個(gè)像素的值的組合圖像。
[0029]形成第一圖像的步驟可以包括:將值分配給對(duì)應(yīng)于初始圖像中值的每個(gè)像素，其中它是第一像素集的像素，并為第二像素集中的像素分配值，該值通過從第一像素集的一個(gè)或多個(gè)相鄰像素的值插值而獲取。該方法因此從第一像素集挑選出所有值，并使用插值填充在間隙中。
[0030]相同或類似的插值步驟可用于生成中間(紅色)圖像，僅挑選用于第二像素集的值，并插值以填充任意間隙。
[0031]根據(jù)第二方面，本發(fā)明提供了一種用于車輛的圖像處理設(shè)備，包括:
[0032]經(jīng)設(shè)置以捕獲車輛前面公路區(qū)域的初始圖像的成像器，所述成像器包括圖像捕獲像素的二維陣列，所述陣列包括位于空間坐標(biāo)(XY)的第一像素集，每個(gè)產(chǎn)生輸出信號(hào)，其值實(shí)質(zhì)上獨(dú)立于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的色調(diào)，用第二像素集穿插所述圖像，其每個(gè)產(chǎn)生具有值的輸出信號(hào)，所述值取決于圖像中捕獲場(chǎng)景對(duì)應(yīng)部分的有限色調(diào)范圍并部分取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的亮度，以及
[0033]處理裝置，其包括:
[0034]適于從初始捕獲的圖像產(chǎn)生第一圖像的第一處理裝置，所述第一圖像實(shí)質(zhì)上獨(dú)立于場(chǎng)景的色調(diào)，其中第一圖像中的每個(gè)像素被分配使用來自第一像素集的至少一個(gè)像素中的值導(dǎo)出的值，
[0035]適于從初始圖像產(chǎn)生第二圖像的第二處理裝置，其中第二圖像中的每個(gè)像素被分配使用來自第一和第二像素集中至少一個(gè)像素中的值導(dǎo)出的值，[0036]第一識(shí)別裝置，為第一圖像中的至少一個(gè)像素識(shí)別第一強(qiáng)度變化值，第一強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差別，
[0037]第二識(shí)別裝置，為第二圖像中的對(duì)應(yīng)像素識(shí)別第二強(qiáng)度變化值，第二強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差別，以及
[0038]組合裝置，通過使用組合規(guī)則的定義集，形成組合圖像以分配值到組合圖像中的對(duì)應(yīng)像素，其取決于第一和第二圖像中該對(duì)應(yīng)像素的第一和第二識(shí)別強(qiáng)度變化值的幅度和/或正負(fù)號(hào)，所述組合圖像適用于車道檢測(cè)設(shè)備。
[0039]成像器可安裝到車輛并經(jīng)設(shè)置以捕獲一系列圖像，每個(gè)經(jīng)處理以產(chǎn)生組合圖像的各個(gè)系列。
[0040]該設(shè)備可包括存儲(chǔ)裝置，典型地包括電子存儲(chǔ)器的區(qū)域，圖像或其部分在其中被臨時(shí)存儲(chǔ)。
[0041]處理裝置可經(jīng)設(shè)置以執(zhí)行本發(fā)明第一方面的任何方法步驟。
[0042]成像器可以包括視頻攝像機(jī)，其可產(chǎn)生初始圖像流，其中的每個(gè)經(jīng)處理以形成組合圖像各自的流。
[0043]視頻攝像機(jī)可包括CXD陣列。該陣列可以包括檢測(cè)元件陣列，第二像素集的像素由濾光器覆蓋以給予他們所需的色調(diào)靈敏度。該濾光器可以是紅色濾光片。第一像素集的像素可以由清晰濾光器覆蓋。
[0044]第一像素與第二像素集可以被設(shè)置在格子圖案中，包括水平和垂直的行，每行包括第一和第二像素集的交替像素?？商鎿Q地，一個(gè)集比另一個(gè)集中有更少的像素。例如，第二像素或第一像素可以與相鄰像素(第一像素或第二像素)相隔一個(gè)以上的像素。
[0045]根據(jù)第三方面，本發(fā)明提供了一種用于車輛的道路輪廓預(yù)測(cè)設(shè)備，包括根據(jù)第二方面的設(shè)備，以及進(jìn)一步的處理裝置，其經(jīng)設(shè)置以從設(shè)備輸出的組合圖像識(shí)別車道邊界，并從車道邊界預(yù)測(cè)車輛前方的道路輪廓。
[0046]根據(jù)第四方面，本發(fā)明提供了一種車道檢測(cè)方法，包括本發(fā)明的第一個(gè)方面的步驟和處理組合圖像以檢測(cè)圖像內(nèi)車道邊界的進(jìn)一步的步驟。該步驟可以包括:根據(jù)組合圖像中相鄰像素之間的強(qiáng)度變化檢測(cè)車道邊界的步驟。邊緣檢測(cè)算法可以用來處理組合圖像。
[0047]第二和第三方面的處理裝置可包括數(shù)字信號(hào)處理器?？梢蕴峁┏绦?，其存儲(chǔ)在存儲(chǔ)器區(qū)域中，當(dāng)在處理器上運(yùn)行時(shí)，使得執(zhí)行本發(fā)明第一方面的方法步驟。
【專利附圖】

【附圖說明】
[0048]現(xiàn)在僅通過本發(fā)明一個(gè)實(shí)施例的例子描述，參見并如附圖所示，其中:
[0049]圖1是根據(jù)本發(fā)明的方面裝配道路輪廓預(yù)測(cè)設(shè)備的實(shí)施例的車輛的視圖；
[0050]圖2是由設(shè)備的CXD陣列的清晰和紅色濾光器定義的第一和第二像素的模式表示，
[0051]圖3是顯示預(yù)測(cè)路面輪廓之前由該設(shè)備執(zhí)行的步驟以產(chǎn)生第一和第二圖像的流程圖；
[0052]圖4(a)是顯示形成第一圖像中使用的間隙插值的示意圖，而圖4(b)是顯示第二圖像中間隙的示意圖；[0053]圖5是顯示用于產(chǎn)生用于預(yù)測(cè)道路輪廓的組合邊緣圖像的步驟的示意圖；
[0054]圖6是可用于產(chǎn)生組合圖像的一組可替換步驟的示意圖；
[0055]圖7是使用圖1的設(shè)備捕獲的車輛前方場(chǎng)景的代表性初始圖像；
[0056]圖8(a)是對(duì)應(yīng)于圖7的初始圖像的代表性第一(灰度)圖像而圖8(b)是代表性中間(紅色)圖像；
[0057]圖9是從第一圖像和中間圖像產(chǎn)生的第二色調(diào)圖像；
[0058]圖10是從灰度和色調(diào)圖像產(chǎn)生的組合圖像邊緣；以及
[0059]圖11顯示應(yīng)用于組合圖像的車道檢測(cè)的結(jié)果。
【具體實(shí)施方式】
[0060]如圖1所示，根據(jù)本發(fā)明的方面，車輛100裝配有示例性的道路輪廓預(yù)測(cè)設(shè)備10。這包括成像器，典型地包括視頻攝像機(jī)，其向處理器連續(xù)輸出幀圖像。攝像機(jī)位于道路上方的高度H處，并且捕獲車輛前方場(chǎng)景。處理器執(zhí)行使得能夠檢測(cè)邊緣的圖像以及來自預(yù)測(cè)道路輪廓的那些圖像的處理方法。具體而言，基于圖像中的道路標(biāo)識(shí)的檢測(cè)預(yù)測(cè)車道邊界。本領(lǐng)域技術(shù)人員根據(jù)EP1057141B1的教導(dǎo)很容易了解其如何實(shí)現(xiàn)。因此本文不會(huì)重復(fù)如何從合適圖像檢測(cè)邊緣的詳細(xì)解釋，將理解的是:假如為技術(shù)人員提供待處理的初始圖像，則可識(shí)別邊緣并預(yù)測(cè)車道邊界。
[0061]攝像機(jī)可具有許多形式，但在本實(shí)施例中，它包括互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)成像電路，該成像電路具有安裝在水平和垂直行的二維像素陣列200。如圖2所示，這覆蓋有濾光層。陣列是6乘6陣列，但實(shí)際中將使用更大的陣列，例如500乘500或者更大。CMOS陣列操作是眾所周知的，將不會(huì)在此處再次重復(fù)。一般從幀中每個(gè)像素輸出的值對(duì)應(yīng)于采樣周期期間落在反應(yīng)靈敏的像素部分的整體光強(qiáng)度。落在其上的光越多，建立的電荷越多，且用于該像素的輸出值更高。
[0062]實(shí)施例中的成像陣列包括第一像素集，其直接從場(chǎng)景接收光，并因此產(chǎn)生輸出，該輸出表示捕獲場(chǎng)景的對(duì)應(yīng)部分的強(qiáng)度。這些覆蓋有在圖2中標(biāo)記為C的清晰濾光器210。場(chǎng)景部分越亮，值越高，范圍從完全黑暗部分的0到足夠亮以飽和像素的部分的N，其中N在這個(gè)例子中是255。
[0063]混合在第一像素集中，第二像素集以方格形式，其對(duì)主色調(diào)或有限色調(diào)范圍敏感。在本申請(qǐng)的上下文中述說以產(chǎn)生表示存在場(chǎng)景部分有限色調(diào)范圍的輸出值，如圖2所示，這些都是設(shè)置在網(wǎng)格中，在所有方向上由第一像素集中的一個(gè)像素將其與對(duì)主色調(diào)敏感的類似像素分離。為了使得像素對(duì)主色調(diào)敏感，它們由紅色濾光器220覆蓋，在圖2中標(biāo)記為R，其優(yōu)先允許具有紅色色調(diào)的光通過像素。如果場(chǎng)景部分根本沒有紅色色調(diào)，將輸出0值，如果色調(diào)上全部是紅色且足夠亮，將產(chǎn)生約255的值。
[0064]對(duì)于每個(gè)初始圖像或幀，每個(gè)像素產(chǎn)生的值存儲(chǔ)在電子存儲(chǔ)器的區(qū)域用于處理。在本文的上下文中，此值陣列被稱為初始圖像，但將理解的是，這僅僅是值的陣列，并且不能由人眼看見，除非用于在顯示器上創(chuàng)建圖像。事實(shí)上，在實(shí)踐中，在任何時(shí)間，只有部分圖像可以被存儲(chǔ)在存儲(chǔ)器中，同時(shí)被處理的任何部分被覆蓋。
[0065]圖7顯示了初始圖像300，其具有對(duì)應(yīng)于紅色濾光像素的散斑圖。
[0066]和EP1057141B1中教導(dǎo)的設(shè)備不同，其中接下來處理初始圖像以識(shí)別車道邊界，所示的實(shí)施例執(zhí)行初始圖像的其他處理，其提高系統(tǒng)檢測(cè)車道邊界的能力，該車道邊界和相鄰道路具有相同亮度。情況是，特別是具有黃色車道標(biāo)記時(shí)，這對(duì)于肉眼很容易辨認(rèn)，因?yàn)樗緳C(jī)有充分的顏色視覺，但在灰度攝像機(jī)捕獲的圖像中不可見。
[0067]在第一步中，如圖3所示，只使用對(duì)亮度敏感的像素值而不是對(duì)色調(diào)敏感的值，初始圖像300由處理器處理以形成第一灰度圖像400。實(shí)際值出現(xiàn)在初始圖像中時(shí)，這被簡(jiǎn)單地拷貝到第一圖像中的對(duì)應(yīng)像素。有間隙時(shí)，因?yàn)槌跏紙D像中的像素被紅色過濾，然后復(fù)制的相鄰值經(jīng)插值以提供填補(bǔ)間隙的估計(jì)值。這在圖4(a)中由箭頭顯示，其表示插值過程中使用哪些周圍像素。當(dāng)然，可以使用更多或更少的周圍像素。如果CCD陣列僅具有對(duì)亮度而非色調(diào)敏感的像素，則結(jié)果是產(chǎn)生的圖像估計(jì)的第一圖像400。該第一圖像是有效的場(chǎng)景的灰度圖像。這顯示在圖8(a)中，其中可以看到圖7的散斑不再存在，因?yàn)橛霉烙?jì)值代替了紅色像素。也可使用其他更復(fù)雜的插值方案(例如使用紅色像素上方和下方的像素)，或以某些方式包括紅色像素以估計(jì)圖像亮度。
[0068]在第二步中，產(chǎn)生第二圖像500，這取決于使用第一和第二像素集的值的色調(diào)。為此，僅使用對(duì)應(yīng)于具有應(yīng)用的紅色濾光器像素的初始圖像中的值產(chǎn)生中間紅色圖像600。此夕卜，值出現(xiàn)在原始圖像中時(shí)，他們被復(fù)制到第二圖像。有間隙時(shí)，通過插值相鄰值而填充間隙以提供對(duì)應(yīng)于間隙的場(chǎng)景部分色調(diào)的估計(jì)。這顯示在圖4(b)中。紅色圖像是有效的許多主色調(diào)的圖像，在這種情況下的紅色，出現(xiàn)在場(chǎng)景中的每個(gè)部分。這顯示在附圖的圖8(b)中。此外可使用更復(fù)雜的插值。
[0069]中間紅色圖像500然后與第一圖像組合以產(chǎn)生色調(diào)圖像600。這顯示在附圖中的圖9中。為此，值被分配給色調(diào)圖像中每個(gè)像素，對(duì)應(yīng)于從第一(亮度)圖像的值減去紅色圖像的值。從圖9中可以看到，該值的范圍從最大的+255到低的-255。有許多紅色且場(chǎng)景相對(duì)深時(shí)，高值將被分配，因?yàn)檫@表明很少有除了紅色的其他任何顏色。如果有許多紅色但全部值的更多亮度將接近0，因?yàn)檫@表明存在除了紅色的其他色調(diào)。如果場(chǎng)景部分非常亮，在紅色圖像中有很少紅色，該值將很低，比如說-255。因此，圖像中的值給出了偽色調(diào)的估計(jì)，255是紅/黃，O黑暗和中間以及255是藍(lán)色/青色。
[0070]在下一步中，第一(灰度)和第二(偽色調(diào))圖像400、600被組合以產(chǎn)生圖像700，其可以被傳送到道路輪廓預(yù)測(cè)階段。為了產(chǎn)生該組合圖像700，通過邊緣檢測(cè)器傳遞圖像400,500中的每一個(gè)，該邊緣檢測(cè)器檢測(cè)圖像中邊緣的存在。對(duì)于每個(gè)像素，該處理器應(yīng)用算法或一些邏輯過程，以從每個(gè)圖像的邊緣檢測(cè)器的各個(gè)輸出確定組合圖像的值。
[0071]具體而言，如圖5所示，依次處理第一和第二圖像中的每個(gè)像素，以通過將它們穿過各自的邊緣檢測(cè)器401、601而識(shí)別相對(duì)于至少一個(gè)相鄰像素的像素值的變化。值的大變化(較大差異)暗示圖像中邊緣部分的存在。在每種情況下確定絕對(duì)值402、602，兩個(gè)最大的絕對(duì)變化值然后用于向組合圖像中的對(duì)應(yīng)像素分配值。為所有像素重復(fù)以構(gòu)建場(chǎng)景的完整組合圖像，用以產(chǎn)生圖10所示的圖像。
[0072]在可替換實(shí)施例中，如附圖中的圖6所示，使用邊緣檢測(cè)器401、601類似地確定第一和第三圖像中每個(gè)像素值的變化，并以類似方式源自每個(gè)變化的該絕對(duì)值402、602。來自每個(gè)圖像的組合值的平方然后被計(jì)算并通過相加進(jìn)行組合，以產(chǎn)生用于組合圖像的值，該計(jì)算值具有應(yīng)用它的正負(fù)號(hào)，其取決于哪個(gè)絕對(duì)值具有較大幅度。例如，如果來自第一圖像的變化值較大，則分配到組合圖像中該像素的值具有正號(hào)，如果較小則其具有負(fù)號(hào)。從加法輸出中提供絕對(duì)值。該技術(shù)將圖像視為正交分量，并計(jì)算“邊緣響應(yīng)幅度”。
[0073] 最后，可處理如圖10所示的組合圖像以使用諸如EP1057141B1所教導(dǎo)的標(biāo)準(zhǔn)技術(shù)識(shí)別車道邊界。結(jié)果可以是圖11所示的圖像800。在這里可以清楚地看到，已識(shí)別涂成黃色的最左邊的車道邊界810。識(shí)別初始圖像幾乎是不可能的，但已在如線610的色調(diào)圖像中被挑選出來。
【權(quán)利要求】
1.一種處理圖像的方法，用于適于安裝到車輛的車道檢測(cè)設(shè)備，所述方法包括: 使用具有圖像捕獲像素的二維陣列的成像器，捕獲車輛前方公路區(qū)域的初始圖像，所述陣列包括位于空間坐標(biāo)(XY)的第一像素集，每個(gè)產(chǎn)生輸出信號(hào)，其值實(shí)質(zhì)上獨(dú)立于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的色調(diào)，以及位于空間位置的第二像素集，每個(gè)產(chǎn)生輸出信號(hào)，該輸出信號(hào)的值取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的有限色調(diào)范圍，并部分取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的亮度， 從初始捕獲圖像產(chǎn)生第一圖像，其中向第一圖像中的每個(gè)像素分配使用來自第一像素集的至少一個(gè)像素中的值導(dǎo)出的值， 從初始圖像產(chǎn)生第二圖像，其中向第二圖像中的每個(gè)像素分配使用來自第一像素的至少一個(gè)像素和第二像素集的至少一個(gè)像素中的值導(dǎo)出的值； 為所述第一圖像的至少一個(gè)像素識(shí)別第一強(qiáng)度變化值，第一強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差異， 為所述第二圖像中的對(duì)應(yīng)像素識(shí)別第二強(qiáng)度變化值，第二強(qiáng)度變化值指示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差異， 以及 通過使用組合規(guī)則的定義集，形成組合圖像以分配值到組合圖像中的對(duì)應(yīng)像素，其取決于用于第一和第二圖像中該對(duì)應(yīng)像素的第一和第二識(shí)別強(qiáng)度變化值中每一個(gè)的幅度和/或正負(fù)號(hào)，所述組合圖像適用于車道檢測(cè)設(shè)備。
2.根據(jù)權(quán)利要求1的方法，其中所述第二像素集的每個(gè)像素產(chǎn)生輸出，其值取決于場(chǎng)景對(duì)應(yīng)部分中出現(xiàn)的單一主色調(diào)的數(shù)量。
3.根據(jù)權(quán)利要求2的方法，其中所述主色調(diào)是紅色。`
4.根據(jù)之前任何權(quán)利要求的方法，其中產(chǎn)生所述第二圖像的步驟包括步驟: 生成中間圖像，其中使用來自第二像素集的至少一個(gè)像素的輸出獲取分配給每個(gè)像素的值，該值獨(dú)立于第一像素集的像素值，并從分配給中間圖像的值減去分配給第一圖像的對(duì)應(yīng)值，以形成第二圖像的值。
5.根據(jù)權(quán)利要求4的方法，其包括步驟:在組合第一(灰度)圖像和中間(紅色或其他色調(diào)或色調(diào)范圍)圖像以產(chǎn)生第二(色調(diào))圖像之前，縮放分配給第一(灰度)圖像和中間(紅色或其他色調(diào)或色調(diào)范圍)圖像的每個(gè)的像素的值。
6.根據(jù)之前任何權(quán)利要求的方法，還包括使用成像器，所述成像器包括成像像素的單一的二維陣列。
7.根據(jù)之前任何權(quán)利要求的方法，其通過比較圖像中像素的值和相同圖像中至少一個(gè)直接相鄰像素的值而識(shí)別第一和第二圖像的每個(gè)中出現(xiàn)的強(qiáng)度變化。它可以是在水平(X)或垂直(Y)平面上相鄰的像素。
8.根據(jù)權(quán)利要求7的方法，其包括跨過對(duì)應(yīng)于像素行的陣列中值的水平行而掃描，并比較分配給每個(gè)像素的值和該行中之前或之后像素的值。
9.根據(jù)權(quán)利要求7或權(quán)利要求8的方法，其中在形成組合圖像步驟中所使用規(guī)則的定義集包括:為每個(gè)像素比較從所述第一圖像和第二圖像獲取的兩個(gè)強(qiáng)度變化值，并選擇具有最高正負(fù)號(hào)的值，以及分配該值到最終圖像的對(duì)應(yīng)像素。
10.根據(jù)權(quán)利要求7或權(quán)利要求8的方法，其中規(guī)則包括:將像素的每個(gè)強(qiáng)度變化值取平方，并將它們加到一起形成組合圖像的值的幅度，并應(yīng)用正負(fù)號(hào)，該正負(fù)號(hào)取決于這兩個(gè)強(qiáng)度變化值中的哪個(gè)具有最高幅度。
11.根據(jù)之前任何權(quán)利要求的方法，其進(jìn)一步包括:處理組合圖像以識(shí)別公路的邊界。
12.根據(jù)之前任何權(quán)利要求的方法，其包括產(chǎn)生組合圖像，所述組合圖像包含用于初始圖像中每個(gè)像素的值。
13.根據(jù)之前任何權(quán)利要求的方法，其中形成第一圖像的步驟包括:向?qū)?yīng)于初始圖像中的值的每個(gè)像素分配值，其中它是第一像素集的像素，并且對(duì)于第二像素集中的像素，分配從第一像素集的一個(gè)或多個(gè)相鄰像素值中通過插值獲取的值。
14.根據(jù)取決于權(quán)利要求4v的之前任何權(quán)利要求的方法，其中形成中間圖像的步驟包括:僅僅挑選第二像素集的值并插值以填充任意間隙。
15.一種用于車輛的圖像處理設(shè)備，包括: 設(shè)置以捕獲車輛前面公路區(qū)域的初始圖像的成像器，所述成像器包括圖像捕獲像素的二維陣列，所述陣列包括位于空間坐標(biāo)(XY)的第一像素集，每個(gè)產(chǎn)生輸出信號(hào)，其值實(shí)質(zhì)上獨(dú)立于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的色調(diào)，所述圖像穿插有第二像素集，其每個(gè)產(chǎn)生具有值的輸出信號(hào)，所述值取決于圖像中捕獲場(chǎng)景對(duì)應(yīng)部分的有限色調(diào)范圍并部分取決于圖像中捕獲場(chǎng)景的對(duì)應(yīng)部分的亮度，以及 處理裝置，其包括: 適于從初始捕獲的圖像產(chǎn)生第一圖像的第一處理裝置，所述第一圖像實(shí)質(zhì)上獨(dú)立于場(chǎng)景的色調(diào)，其中向第一圖像中的每個(gè)像素分配使用來自第一像素集的至少一個(gè)像素中的值導(dǎo)出的值， 適于從初始圖像產(chǎn)生第二圖像的第二處理裝置，其中向第二圖像中的每個(gè)像素分配使用來自第一和第二像素集中至少一個(gè)像素中的值導(dǎo)出的值， 第一識(shí)別裝置，為第一圖像中的至少一個(gè)像素識(shí)別第一強(qiáng)度變化值，第一強(qiáng)度變化值表示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差別， 第二識(shí)別裝置，為第二圖像中的對(duì)應(yīng)像素識(shí)別第二強(qiáng)度變化值，第二強(qiáng)度變化值表示分配給該像素的值和分配給至少一個(gè)相鄰像素的值之間的差別，以及 組合裝置，通過使用組合規(guī)則的定義集，形成組合圖像以分配值到組合圖像中的對(duì)應(yīng)像素，其取決于用于第一和第二圖像中該對(duì)應(yīng)像素的第一和第二識(shí)別強(qiáng)度變化值中每一個(gè)的幅度和/或正負(fù)號(hào)，所述組合圖像適用于車道檢測(cè)設(shè)備。
16. 原文缺失權(quán)利要求16
17.根據(jù)權(quán)利要求16的圖像處理設(shè)備，其中成像器可被安裝到車輛并被設(shè)置為捕獲一系列的初始圖像，其中每個(gè)被處理以產(chǎn)生各個(gè)系列的合成圖像。
18.根據(jù)權(quán)利要求16或17的圖像處理設(shè)備，其包括存儲(chǔ)裝置，典型地包括電子存儲(chǔ)器的區(qū)域，其中圖像被臨時(shí)儲(chǔ)存。
19.根據(jù)權(quán)利要求16、17或18的圖像處理設(shè)備，其中所述處理裝置經(jīng)設(shè)置以執(zhí)行權(quán)利要求I到15的任何方法步驟。
20.根據(jù)權(quán)利要求16至19中任何一個(gè)的圖像處理設(shè)備，其中成像器包括視頻攝像機(jī)，其產(chǎn)生初始圖像流，每個(gè)經(jīng)處理以形成組合圖像的各個(gè)流。
21.根據(jù)權(quán)利要求20的圖像處理設(shè)備，其中視頻攝像機(jī)包括檢測(cè)元件的C⑶陣列，第二像素集的像素被濾光器覆蓋，用以給他們所需的色調(diào)靈敏度。
22.根據(jù)權(quán)利要求21的圖像處理設(shè)備，其中所述濾光器是紅色濾光器。
23.根據(jù)權(quán)利要求16至22中任何一個(gè)的圖像處理設(shè)備，其中所述第一像素與第二像素集被設(shè)置在格子圖案中，包括水平和垂直行，每行包括交替的第一和第二像素集。
24.一種用于車輛的道路輪廓預(yù)測(cè)設(shè)備，包括根據(jù)權(quán)利要求16至23中任何一個(gè)的設(shè)備和進(jìn)一步的處理裝置，所述處理裝置經(jīng)設(shè)置以從設(shè)備輸出的組合圖像識(shí)別車道邊界，并從車道邊界預(yù)測(cè)車輛前方的道路輪廓。
25.—種車道檢測(cè)方法，包括權(quán)利要求1至15中任何一個(gè)的步驟，和處理組合圖像以檢測(cè)圖像內(nèi)車道邊界的進(jìn)一步的步驟。該步驟可以包括基于組合圖像中相鄰像素間強(qiáng)度的變化而檢測(cè)車道邊界。邊緣 檢測(cè)算法可以用來處理組合圖像。
【文檔編號(hào)】G06K9/20GK103562933SQ201280006404
【公開日】2014年2月5日 申請(qǐng)日期:2012年1月24日 優(yōu)先權(quán)日:2011年1月25日
【發(fā)明者】M·J·湯普森 申請(qǐng)人:Trw有限公司