專(zhuān)利名稱(chēng)：用于由至少兩個(gè)借助于立體攝像機(jī)系統(tǒng)拍攝的輸入圖像確定深度信息的圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于由至少兩個(gè)借助于立體攝像機(jī)系統(tǒng)拍攝的輸入圖像確定深度信息的圖像處理方法，其中，在考慮立體攝像機(jī)系統(tǒng)的幾何特征的情況下由視差圖計(jì)算深度信息。此外，本發(fā)明還涉及一種計(jì)算機(jī)程序，一種計(jì)算機(jī)程序產(chǎn)品和一種裝置，以便執(zhí)行或?qū)嵤┻@樣的方法。
背景技術(shù)：
基于兩個(gè)立體圖像的深度計(jì)算是圖像處理中的標(biāo)準(zhǔn)問(wèn)題，為了解決所述問(wèn)題公開(kāi)了大量算法。在此，借助于立體分析處理方法來(lái)確定在時(shí)間上同步的并且經(jīng)校正的立體圖像對(duì)或者立體視頻圖像對(duì)之間的視差d。如由圖1可以看到，視差d定義為沿圖像行方向的一維位移矢量并且基于左側(cè)圖像Al中的像素或像點(diǎn)Xi說(shuō)明右側(cè)圖像A2中的對(duì)應(yīng)像點(diǎn)xj。 所有視差d的集合也稱(chēng)作視差圖，其中，d = xj-xi’。xi’表示由左側(cè)圖像Al投影到右側(cè)圖像A2中的像點(diǎn)。隨后可以借助于視差圖在考慮立體攝像機(jī)系統(tǒng)的幾何特征的情況下計(jì)算立體圖像的深度信息。對(duì)于視差d的確定，求取立體圖像中的像點(diǎn)的匹配是決定性的。為了確定視差d，往往建議一些基于特征的方法或算法。這些方法的概述以及對(duì)比可以由以下獲知Μ· Ζ. Brown, D. Burschka 禾口 G. D. Hager 所著的"Advances in computational stereo，，， IEEE Transactions on Pattern Analysis and Machine Intelligence,25 8 M 第 993-1008 頁(yè)，2003 年 8 月[1]和 D. Scharstein 和 R. Szeliski 所著的"a taxonomy and evaluation of dense two-frame stereo correspondence algorithms，，， International Journal of Computer Vision,第 47 卷第 7 至 42 頁(yè)，2002 年 4 月[2]。為了計(jì)算視差圖，通常運(yùn)行在圖2中示出的算法方法步驟V、S1-S3 (在虛線(xiàn)框中)、 N。鑒于所選擇的立體方法可以借助于預(yù)處理步驟V處理原始圖像數(shù)據(jù)(例如中值濾波、秩變換)。在第一方法步驟Sl中進(jìn)行距離測(cè)度的計(jì)算。在此，往往使用距離測(cè)度或者基于相關(guān)性的測(cè)度。根據(jù)相應(yīng)使用的距離測(cè)度，可以按像素直接地或者在使用窗的情況下進(jìn)行在方法步驟S2中實(shí)施的成本聚集。尤其是在第一種情形中，在方法步驟S3中在匹配搜索中考慮關(guān)于光滑性、單值性或者視差排列(作為輔助條件)的假設(shè)。在方法步驟S3中在匹配搜索中造成的開(kāi)銷(xiāo)對(duì)于結(jié)果的密度、穩(wěn)健性和可靠性而言往往是決定性的并且由所使用的優(yōu)化技術(shù)定義。在此，現(xiàn)有技術(shù)中例如公開(kāi)了以下優(yōu)化技術(shù)動(dòng)態(tài)編程、掃描線(xiàn)優(yōu)化、基于圖像的技術(shù)、模擬退火和經(jīng)典的局部方法。接著，在方法步驟N中可以進(jìn)行后續(xù)處理，尤其是以便從視差圖中去除可能由于遮蓋而產(chǎn)生的明顯有誤的區(qū)域或者以便通過(guò)已經(jīng)求取的成本空間中的插值實(shí)現(xiàn)視差估計(jì)的亞像素精度。已知的立體方法或者立體分析處理方法本質(zhì)上基于成本函數(shù)的最小化(參見(jiàn)公開(kāi)出版物口])，所述成本函數(shù)量化立體攝像機(jī)系統(tǒng)的在時(shí)間上同步拍攝的圖像對(duì)中的圖像塊之間的差。為此，在圖像數(shù)據(jù)的適當(dāng)變換和量化之后往往使用距離測(cè)度——如絕對(duì)差的和(Sum of Absolute 2ifferences/SAD)、平方差的和(Sum of Squared Differences/SSD)和互相關(guān)系數(shù)(￡ross Correlation Coefficient/CCC)或者碼字之間的簡(jiǎn)單的漢明距離(參見(jiàn)公開(kāi)出版物[1]和[2])。距離測(cè)度表示不相似性或差別性的測(cè)度。用于基于真實(shí)的圖像序列數(shù)據(jù)估計(jì)立體視差的方法的重要缺點(diǎn)在于不變特性或穩(wěn)健特性是不充分的。因此，SAD標(biāo)準(zhǔn)和SSD標(biāo)準(zhǔn)隱含地以數(shù)據(jù)平均值的穩(wěn)定為前提條件，這在真實(shí)條件下通常是不存在的。這些標(biāo)準(zhǔn)的無(wú)平均值的版本不具有所述缺點(diǎn)。但是，不變特性還是不充分，因?yàn)槔缈赡苡扇终彰髯兓鸬暮?jiǎn)單數(shù)據(jù)縮放沒(méi)有得到補(bǔ)償。這通過(guò)使用以上所述的計(jì)算開(kāi)銷(xiāo)相對(duì)較大的CCC標(biāo)準(zhǔn)才能實(shí)現(xiàn)，但是所述CCC標(biāo)準(zhǔn)對(duì)于例如可能由局部照明變化引起的非線(xiàn)性數(shù)據(jù)干擾又是無(wú)效的。基于經(jīng)變換的量化數(shù)據(jù)的碼字之間的漢明距離的方法通?；趩l(fā)式方法，從而不能解析地確定相應(yīng)的不變特性。在[1]中提到的非參數(shù)的秩變換也僅僅是啟發(fā)(Heuristik)。因此，總而言之，基于立體攝像機(jī)系統(tǒng)或立體視頻系統(tǒng)確定深度信息或3D重建的立體分析處理的已知方法根據(jù)實(shí)現(xiàn)變型方案具有以下缺點(diǎn)中的一項(xiàng)或多項(xiàng)-計(jì)算復(fù)雜性超過(guò)所使用的嵌入式系統(tǒng)(EmbeddedSystem)的計(jì)算性能一個(gè)或多個(gè)數(shù)量級(jí)。-僅僅對(duì)于例如少于10%像點(diǎn)的一小部分存在視差估計(jì)。-視差估計(jì)具有很大部分粗略的誤測(cè)量。-視差估計(jì)的精度不夠，例如多個(gè)視差等級(jí)的數(shù)量級(jí)的標(biāo)準(zhǔn)偏離。對(duì)于普通的現(xiàn)有技術(shù)參閱DE 102 19 788 Cl。

發(fā)明內(nèi)容
根據(jù)本發(fā)明提出一種用于由至少兩個(gè)、尤其借助于立體攝像機(jī)系統(tǒng)立體地拍攝的、尤其在時(shí)間上同步的和/或經(jīng)校正的輸入圖像確定深度信息的圖像處理方法，所述立體攝像機(jī)系統(tǒng)尤其具有兩個(gè)圖像傳感器，其中，在考慮立體攝像機(jī)系統(tǒng)的幾何特征的情況下由視差圖來(lái)計(jì)算或確定深度信息，所述方法的特征在于以下用于求取視差圖的方法步驟-借助于預(yù)給定的算子將輸入圖像變換為符號(hào)圖像；-根據(jù)符號(hào)圖像借助于無(wú)參數(shù)的或非參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度進(jìn)行成本計(jì)算，以關(guān)于至少兩個(gè)輸入圖像中的至少一個(gè)對(duì)于預(yù)給定的視差等級(jí)求取成本空間；-對(duì)于預(yù)給定的視差等級(jí)對(duì)于成本空間的每個(gè)點(diǎn)實(shí)施匹配分析，其中，分別待確定的視差具有成本最小的匹配；以及-由前面確定的視差求取視差圖。開(kāi)頭部分提到的已知方法的缺陷有利地通過(guò)根據(jù)本發(fā)明的圖像處理方法完全克服。根據(jù)本發(fā)明的用于基于統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度求取立體視頻視差或視差的圖像處理方法不具有所述限制。所使用的無(wú)參數(shù)的或非參數(shù)的數(shù)據(jù)統(tǒng)計(jì)相對(duì)于單調(diào)的、非線(xiàn)性的變換是不變的。無(wú)參數(shù)的統(tǒng)計(jì)致力于無(wú)參數(shù)的統(tǒng)計(jì)模型和無(wú)參數(shù)的統(tǒng)計(jì)測(cè)試。其他常見(jiàn)的名稱(chēng)是非參數(shù)的統(tǒng)計(jì)或無(wú)分布的統(tǒng)計(jì)。在此，不預(yù)先確定模型結(jié)構(gòu)。不進(jìn)行關(guān)于所研究的變量的概率分布的假設(shè)。與此相應(yīng)地，秩相關(guān)系數(shù)或秩相關(guān)測(cè)度表示相關(guān)性的無(wú)參數(shù)測(cè)度，由此可以測(cè)量?jī)蓚€(gè)隨機(jī)變量之間的一致性的良好程度，而不需關(guān)于變量的概率分布的參數(shù)結(jié)構(gòu)的假設(shè)。所述方法能夠?qū)崿F(xiàn)在當(dāng)前的嵌入式系統(tǒng)上、例如可編程集成電路(Field ProgrammableGate Arrays/FPGA:現(xiàn)場(chǎng)可編程門(mén)陣列)上的實(shí)現(xiàn)、通常多于90%的相關(guān)像點(diǎn)的稠密視差估計(jì)、具有通常小于的異常值份額的穩(wěn)健視差估計(jì)以及具有亞像素范圍內(nèi)的精度的視差估計(jì)。在根據(jù)本發(fā)明的圖像處理方法中，代替確定性的距離測(cè)度使用統(tǒng)計(jì)學(xué)測(cè)度或統(tǒng)計(jì)學(xué)度量?？梢試?yán)格地在數(shù)學(xué)上解釋統(tǒng)計(jì)學(xué)秩相關(guān)性的使用，因?yàn)樗龇椒梢允褂脷w一化準(zhǔn)的相關(guān)系數(shù)。輸入圖像可以是經(jīng)校正的、經(jīng)部分校正的或者未經(jīng)校正的。校正或修正通常理解為圖像數(shù)據(jù)中的幾何失真的消除，所述幾何失真例如由光學(xué)系統(tǒng)的不理想的成像特性或者成像器的較小幾何制造公差決定。非常有利的是，作為非參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度使用Kendalls-Tau秩相關(guān)系數(shù)或所述系數(shù)的變型。例如在 N. J. Salkind(Ed.) "Encyclopedia of Measurement and Statistics" Thousand Oaks (CA), 2007 [3] ψ H. Abdi, Kendall rank correlation ^ 了 Kendall的秩相關(guān)測(cè)度，其在1938已經(jīng)引入到數(shù)學(xué)統(tǒng)計(jì)學(xué)中。然而，由于高維數(shù)據(jù)的相對(duì)較高的計(jì)算開(kāi)銷(xiāo)，所述方法迄今沒(méi)有用于信號(hào)處理領(lǐng)域中的實(shí)際實(shí)現(xiàn)。只有現(xiàn)代的嵌入式系統(tǒng)的性能以及根據(jù)本發(fā)明的圖像處理方法的特定于應(yīng)用的構(gòu)型才開(kāi)拓了在這里描述的應(yīng)用領(lǐng)域和相鄰的應(yīng)用領(lǐng)域。符號(hào)圖像理解為借助于預(yù)給定的算子進(jìn)行變換的輸入圖像。作為預(yù)給定的算子可以使用正負(fù)號(hào)算子。借助于正負(fù)號(hào)算子可以在輸入圖像的可任意選擇的子區(qū)域中確定相應(yīng)輸入圖像的不同像點(diǎn)的圖像數(shù)據(jù)、尤其是灰度值的差的正負(fù)號(hào)并且將其存儲(chǔ)在符號(hào)圖像中。根據(jù)本發(fā)明還可以設(shè)置，如果第一輸入圖像中的第一像點(diǎn)的圖像數(shù)據(jù)與第一輸入圖像中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)和第二輸入圖像中的第一像點(diǎn)的圖像數(shù)據(jù)與第二輸入圖像中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)一致或者第一和第二輸入圖像的符號(hào)圖像中的第一和第二像點(diǎn)的相應(yīng)位置上的正負(fù)號(hào)一致，則在第一和第二輸入圖像的可任意選擇的子區(qū)域中具有第一輸入圖像和第二輸入圖像的相應(yīng)位置上的第一像點(diǎn)的第一圖像數(shù)據(jù)和第一輸入圖像和第二輸入圖像的相應(yīng)位置上的第二像點(diǎn)的第二圖像數(shù)據(jù)的所觀(guān)察的圖像數(shù)據(jù)對(duì)是兼容的或者是相對(duì)應(yīng)的。在根據(jù)本發(fā)明的圖像處理方法的一個(gè)構(gòu)型中，在可任意選擇的子區(qū)域中通過(guò) t= } 二給出Kendalls-Tau秩相關(guān)系數(shù)，其中，_1彡t彡1，其中，f是可任意選擇的子
nIn-1J
區(qū)域的兼容的圖像數(shù)據(jù)對(duì)的數(shù)量，g是可任意選擇的子區(qū)域的不兼容的圖像數(shù)據(jù)對(duì)的數(shù)量并且η是可任意選擇的子區(qū)域的所觀(guān)察的全部圖像數(shù)據(jù)對(duì)的數(shù)量。因此可以如下使用根據(jù)Kendall的秩相關(guān)測(cè)度。給出立體視頻圖像對(duì)的圖像Al 和A2的可任意選擇的子區(qū)域中的像點(diǎn)的所觀(guān)察的數(shù)據(jù)、例如灰度值的對(duì)(Ali，A2i)，(Alj， A2j)。作為重要的計(jì)算操作僅僅需要確定差的正負(fù)號(hào)sign (Alj-Ali)，sign (A2j-A2i)。如果這些正負(fù)號(hào)一致，則所觀(guān)察的數(shù)據(jù)對(duì)兼容，否則不兼容。如果現(xiàn)在f表示兼容的數(shù)據(jù)對(duì)的
數(shù)量而g表示不兼容的數(shù)據(jù)對(duì)的數(shù)量，則通過(guò)t = n.(2nS—”定義根據(jù)Kendall的秩相關(guān)測(cè)度，
其中，s = f-g ；-l^t^ 1，所述秩相關(guān)測(cè)度可以用于實(shí)現(xiàn)根據(jù)本發(fā)明的穩(wěn)健的圖像處理方法。本發(fā)明的一些變型方案明確地處理差極小的情況，它們同樣適用于所述的立體方法，但沒(méi)有詳細(xì)考察。立體攝像機(jī)系統(tǒng)可以實(shí)施為立體視頻系統(tǒng)，而輸入圖像可以實(shí)施為輸入視頻圖像。當(dāng)然也可以考慮C⑶攝像機(jī)或CMOS攝像機(jī)作為圖像傳感器。此外，也可以使用其他波長(zhǎng)范圍、例如紅外線(xiàn)范圍中的圖像傳感器以及相應(yīng)地使用熱成像攝像機(jī)。根據(jù)本發(fā)明提出一種具有程序代碼單元的計(jì)算機(jī)程序或者一種具有程序代碼單元的計(jì)算機(jī)程序產(chǎn)品，其存儲(chǔ)在計(jì)算機(jī)可讀的數(shù)據(jù)載體上，以便執(zhí)行根據(jù)本發(fā)明的圖像處理方法。此外，說(shuō)明了一個(gè)裝置、尤其是機(jī)動(dòng)車(chē)的駕駛員信息系統(tǒng)或駕駛員輔助系統(tǒng)，其具有至少一個(gè)具有圖像處理裝置的立體攝像機(jī)系統(tǒng)或立體視頻系統(tǒng)，所述圖像處理裝置配置用于實(shí)施根據(jù)本發(fā)明的圖像處理方法或用于執(zhí)行相應(yīng)的計(jì)算機(jī)程序。根據(jù)本發(fā)明的圖像處理方法優(yōu)選作為計(jì)算機(jī)程序?qū)崿F(xiàn)在尤其是機(jī)動(dòng)車(chē)的駕駛員信息系統(tǒng)或駕駛員輔助系統(tǒng)范疇中的立體攝像機(jī)系統(tǒng)或立體視頻系統(tǒng)的圖像處理裝置上， 其中，當(dāng)然也可以考慮其他的技術(shù)解決方案。為此，計(jì)算機(jī)程序可以存儲(chǔ)在圖像處理裝置的存儲(chǔ)元件(例如ROM，EEPROM等等)中。通過(guò)圖像處理裝置上的處理來(lái)執(zhí)行圖像處理方法。 圖像處理裝置可以具有帶有微處理器的微計(jì)算機(jī)、可編程集成電路(Eield Programmable Gate紅rays/FPGA 現(xiàn)場(chǎng)可編程邏輯門(mén)陣列)、專(zhuān)用集成電路(Application Specific Integrated Gircuit/ASIC)、數(shù)字信號(hào)處理器(DSP)等等。所述計(jì)算機(jī)程序可以作為計(jì)算機(jī)程序產(chǎn)品存儲(chǔ)在計(jì)算機(jī)可讀的數(shù)據(jù)載體(磁盤(pán)、CD、DVD、硬盤(pán)、USB記憶棒、存儲(chǔ)卡等等) 或網(wǎng)絡(luò)服務(wù)器上并且從那里傳輸?shù)綀D像處理裝置的存儲(chǔ)元件中。本發(fā)明的有利構(gòu)型和擴(kuò)展構(gòu)型可由從屬權(quán)利要求中得出。下面根據(jù)附圖符合原理地說(shuō)明本發(fā)明的一個(gè)實(shí)施例。


附圖示出圖1 用于說(shuō)明根據(jù)現(xiàn)有技術(shù)的視差的立體圖像對(duì)的示意圖；圖2 根據(jù)現(xiàn)有技術(shù)的立體分析處理方法中視差估計(jì)過(guò)程的簡(jiǎn)化流程圖；圖3 具有立體視頻系統(tǒng)的駕駛員信息系統(tǒng)的簡(jiǎn)化示意性框圖；以及圖4 根據(jù)本發(fā)明的圖像處理方法的簡(jiǎn)化示意圖。
具體實(shí)施例方式圖3示出構(gòu)造為立體視頻系統(tǒng)10的立體攝像機(jī)系統(tǒng)，其具有兩個(gè)圖像傳感器11 和12、兩個(gè)圖像傳感器信號(hào)線(xiàn)路13和14、一個(gè)分析處理單元或圖像處理裝置15、一個(gè)輸出信號(hào)線(xiàn)路16和一個(gè)后面的系統(tǒng)17。作為圖像傳感器11、12例如可使用CCD攝像機(jī)或CMOS 攝像機(jī)，但也可使用熱成像設(shè)備等等。兩個(gè)圖像傳感器11、12被如此設(shè)置，使得它們成像相同的場(chǎng)景，但在略微不同的視角下。圖像傳感器11、12向圖像處理裝置15傳輸所觀(guān)察的場(chǎng)景的圖像。圖像處理裝置15在輸出信號(hào)線(xiàn)路16上產(chǎn)生輸出信號(hào)，所述輸出信號(hào)被電地、數(shù)字地、聲學(xué)地和/或視覺(jué)地傳輸給后面的系統(tǒng)17，用于顯示、信息和/或存儲(chǔ)。在當(dāng)前實(shí)施例中，所述后面的系統(tǒng)是未示出的機(jī)動(dòng)車(chē)的駕駛員信息系統(tǒng)17，所述機(jī)動(dòng)車(chē)具有立體視頻系統(tǒng)10。在其他實(shí)施例中，所述后面的系統(tǒng)17也可以是機(jī)動(dòng)車(chē)的駕駛員輔助系統(tǒng)等等。
在圖4中示意性示出了根據(jù)本發(fā)明的用于由至少兩個(gè)借助于具有兩個(gè)圖像傳感器11、12的立體攝像機(jī)系統(tǒng)10立體地拍攝的、優(yōu)選在時(shí)間上同步的并且經(jīng)校正的輸入圖像 Al、A2確定深度信息的圖像處理方法，其中，在考慮立體攝像機(jī)系統(tǒng)10的幾何特征(尤其是兩個(gè)圖像傳感器11、12之間的基距)的情況下由視差圖確定或計(jì)算深度信息。根據(jù)本發(fā)明的圖像處理方法用于基于統(tǒng)計(jì)學(xué)秩相關(guān)方法的實(shí)時(shí)立體視頻系統(tǒng)的運(yùn)行。經(jīng)校正的立體視頻圖像或輸入視頻圖像A1、A2作為用于視差圖的實(shí)時(shí)處理的輸入數(shù)據(jù)。根據(jù)本發(fā)明的圖像處理方法的特征在于以下用于求取視差圖的方法步驟在第一方法步驟中，借助于預(yù)給定的算子進(jìn)行輸入圖像Al、A2到符號(hào)圖像Bi、B2 的變換?？梢哉f(shuō)，在第一方法步驟中，將視頻圖像Al、A2的灰度值變換為符號(hào)圖像Bi、B2。 為此，作為預(yù)給定的算子使用一個(gè)正負(fù)號(hào)算子。除簡(jiǎn)單的正負(fù)號(hào)算子以外，在其他未示出的實(shí)施例中也可以使用一些更復(fù)雜的算子，這些算子例如單獨(dú)地編碼零點(diǎn)的Epsilon鄰域并且為此使相應(yīng)的閾值適應(yīng)于局部的圖像信息和/或例如出于計(jì)算時(shí)間的原因僅僅確定符號(hào)的適當(dāng)子集。在第二方法步驟C中，根據(jù)符號(hào)圖像Bi、B2借助于非參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度實(shí)施成本計(jì)算，以關(guān)于至少兩個(gè)輸入圖像Al、A2中的至少一個(gè)對(duì)于預(yù)給定的視差等級(jí)求取成本空間。隨后基于符號(hào)圖像B1、B2的成本計(jì)算基于統(tǒng)計(jì)學(xué)的秩相關(guān)測(cè)度或者所述度量的接近變型，所述度量例如在其他實(shí)施例中出于計(jì)算時(shí)間的原因可以?xún)H僅分析處理可供使用的符號(hào)的子集。例如關(guān)于左側(cè)的輸出圖像Al對(duì)于各個(gè)視差等級(jí)逐層地求取最終得到的成本空間(也稱(chēng)為Msparity Space Image/DSI 視差空間圖像)。作為非參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度使用Kendalls-Tau秩相關(guān)系數(shù)或者其變型。隨后在第三方法步驟D中，對(duì)于預(yù)給定的視差等級(jí)對(duì)于成本空間的每個(gè)點(diǎn)實(shí)施匹配分析，其中，分別待確定的視差d具有成本最小的匹配，接著在第四方法步驟中由前面確定的視差d求取視差圖。在成本空間內(nèi)對(duì)于視差維度方向上的每個(gè)點(diǎn)進(jìn)行匹配分析或匹配搜索。所求取的視差d相應(yīng)于具有最小成本的匹配并且可以說(shuō)是最優(yōu)的。為了避免異常值可以考慮輔助條件，例如成本最小化的單值性或者成本函數(shù)的局部特征。根據(jù)本發(fā)明的圖像處理方法首先提供像素精度的視差d，其在作為后續(xù)處理的另一處理步驟中可以進(jìn)行改進(jìn)，以確定亞像素精度的視差圖。借助于正負(fù)號(hào)算子，確定在輸入視頻圖像的可任意選擇的子區(qū)域中相應(yīng)輸入視頻圖像Al、A2的不同像點(diǎn)的圖像數(shù)據(jù)、尤其是灰度值的差的正負(fù)號(hào)并且將其存儲(chǔ)在符號(hào)圖像 B1、B2 中。如果第一輸入視頻圖像Al中的第一像點(diǎn)的圖像數(shù)據(jù)與第一輸入視頻圖像Al中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)和第二輸入視頻圖像A2中的第一像點(diǎn)的圖像數(shù)據(jù)與第二輸入視頻圖像中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)一致或者第一和第二輸入視頻圖像A1、A2的符號(hào)圖像B1、B2中的第一和第二像點(diǎn)的相應(yīng)位置上的正負(fù)號(hào)一致，則在第一和第二輸入視頻圖像Al、A2的可任意選擇的子區(qū)域中具有第一輸入視頻圖像Al和第二輸入視頻圖像A2的相應(yīng)位置上的第一像點(diǎn)的第一圖像數(shù)據(jù)和第一輸入視頻圖像Al和第二輸入視頻圖像A2的相應(yīng)位置上的第二像點(diǎn)的第二圖像數(shù)據(jù)的所觀(guān)察的圖像數(shù)據(jù)對(duì)是兼容的或相對(duì)應(yīng)的。在可任意選擇的子區(qū)域中，通過(guò)— j給出Kendalls-Tau秩相關(guān)系數(shù)，其
權(quán)利要求
1.圖像處理方法，所述圖像法處理方法用于由至少兩個(gè)借助于立體攝像機(jī)系統(tǒng)(10) 拍攝的輸入圖像(Al，A2)確定深度信息，其中，在考慮所述立體攝像機(jī)系統(tǒng)(10)的幾何特征的情況下由視差圖確定所述深度信息，其特征在于，所述方法具有以下用于求取所述視差圖的方法步驟1. 1借助于預(yù)給定的算子將所述輸入圖像(A1，A2)變換為符號(hào)圖像(B1，B2)； 1. 2根據(jù)所述符號(hào)圖像(B1，B》借助于無(wú)參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度進(jìn)行成本計(jì)算(C)， 以關(guān)于至少兩個(gè)輸入圖像(A1，A2)中的至少一個(gè)對(duì)于預(yù)給定的視差等級(jí)求取成本空間；1.3對(duì)于所述預(yù)給定的視差等級(jí)的成本空間的每個(gè)點(diǎn)實(shí)施匹配分析(D)，其中，分別待確定的視差(d)具有成本最小的匹配；以及1.4由前面確定的視差(d)求取所述視差圖。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，作為非參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度使用Kendalls-Tau秩相關(guān)系數(shù)或其變型。
3.根據(jù)權(quán)利要求1或2所述的圖像處理方法，其特征在于，作為預(yù)給定的算子使用正負(fù)號(hào)算子。
4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于，借助于所述正負(fù)號(hào)算子在所述輸入圖像(A1，A2)的可任意選擇的子區(qū)域中確定相應(yīng)輸入圖像(A1，A2)的不同像點(diǎn)的圖像數(shù)據(jù)、尤其是灰度值的差的正負(fù)號(hào)，并且將所述正負(fù)號(hào)存儲(chǔ)在所述符號(hào)圖像(B1，B2)中。
5.根據(jù)權(quán)利要求4所述的圖像處理方法，其特征在于，如果第一輸入圖像(Al)中的第一像點(diǎn)的圖像數(shù)據(jù)與所述第一輸入圖像(Al)中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)和第二輸入圖像(A2)中的第一像點(diǎn)的圖像數(shù)據(jù)與所述第二輸入圖像(A2)中的第二像點(diǎn)的圖像數(shù)據(jù)的差的正負(fù)號(hào)一致或者所述第一輸入圖像和所述第二輸入圖像(Al，A2)的符號(hào)圖像(Bi，B2)中的第一像點(diǎn)和第二像點(diǎn)的相應(yīng)位置上的正負(fù)號(hào)一致，則在所述第一輸入圖像和所述第二輸入圖像(Al，A2)的所述可任意選擇的子區(qū)域中具有所述第一輸入圖像(Al) 和所述第二輸入圖像m的相應(yīng)位置上的第一像點(diǎn)的第一圖像數(shù)據(jù)和所述第一輸入圖像 (AD和所述第二輸入圖像m的相應(yīng)位置上的第二像點(diǎn)的第二圖像數(shù)據(jù)的所觀(guān)察的圖像數(shù)據(jù)對(duì)是兼容的或者是對(duì)應(yīng)的。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，在所述可任意選擇的子區(qū)域中，通過(guò)t = 2’(/ — S給出所述Kendal 1 s-Tau秩相關(guān)系數(shù)，其中，_1彡t彡1，其中，f是所述可...η.Ο1-.1)任意選擇的子區(qū)域的兼容的圖像數(shù)據(jù)對(duì)的數(shù)量，g是不兼容的圖像數(shù)據(jù)對(duì)的數(shù)量而η是所觀(guān)察的全部圖像數(shù)據(jù)對(duì)的數(shù)量。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像處理方法，其特征在于，所述立體攝像機(jī)系統(tǒng)被實(shí)施為立體視頻系統(tǒng)(10)而所述輸入圖像被實(shí)施為輸入視頻圖像(Α1，Α2)。
8.具有程序編碼單元的計(jì)算機(jī)程序，用于當(dāng)在立體攝像機(jī)系統(tǒng)(10)的圖像處理裝置 (15)上、尤其是在微計(jì)算機(jī)的微處理器上、可編程集成電路上、專(zhuān)用集成電路或數(shù)字信號(hào)處理器上執(zhí)行程序時(shí)實(shí)施根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的圖像處理方法。
9.具有存儲(chǔ)在計(jì)算機(jī)可讀的數(shù)據(jù)載體上的程序編碼單元的計(jì)算機(jī)程序產(chǎn)品，用于當(dāng)在立體攝像機(jī)系統(tǒng)(10)的圖像處理裝置(1 上、尤其是在微計(jì)算機(jī)的微處理器上、可編程集成電路上、專(zhuān)用集成電路或數(shù)字信號(hào)處理器上執(zhí)行程序時(shí)實(shí)施根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的圖像處理方法。
10.具有至少一個(gè)立體攝像機(jī)系統(tǒng)(10)的裝置、尤其是機(jī)動(dòng)車(chē)的駕駛員信息系統(tǒng) (10)，所述至少一個(gè)立體攝像機(jī)系統(tǒng)具有圖像處理裝置(15)，所述圖像處理裝置被配置用于執(zhí)行根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序。
全文摘要
本發(fā)明涉及一種用于由至少兩個(gè)借助于立體攝像機(jī)系統(tǒng)拍攝的輸入圖像(A1，A2)確定深度信息的圖像處理方法，其中，在考慮立體攝像機(jī)系統(tǒng)的幾何特征的情況下由視差圖確定深度信息，其特征在于所述方法具有以下用于求取所述視差圖的方法步驟借助于預(yù)給定的算子將輸入圖像(A1，A2)變換為符號(hào)圖像(B1，B2)；根據(jù)符號(hào)圖像(B1，B2)借助于無(wú)參數(shù)的統(tǒng)計(jì)學(xué)秩相關(guān)測(cè)度進(jìn)行成本計(jì)算(C)，以關(guān)于至少兩個(gè)輸入圖像(A1，A2)中的至少一個(gè)對(duì)于預(yù)給定的視差等級(jí)求取成本空間；對(duì)于預(yù)給定的視差等級(jí)的成本空間的每個(gè)點(diǎn)實(shí)施匹配分析(D)，其中，分別待確定的視差具有成本最小的匹配；以及由前面確定的視差求取視差圖。
文檔編號(hào)G06T7/00GK102422644SQ201080020990
公開(kāi)日2012年4月18日 申請(qǐng)日期2010年5月7日 優(yōu)先權(quán)日2009年5月14日
發(fā)明者A·文特, H·V·齊策維茨, W·聶森 申請(qǐng)人:羅伯特·博世有限公司