用于設(shè)計能夠估計景深的無源單通道成像器的方法
【專利說明】用于設(shè)計能夠估計景深的無源單通道成像器的方法 發(fā)明領(lǐng)域
[0001] 本發(fā)明涉及通過使用電-光無源單通道系統(tǒng)來估計深度的領(lǐng)域，更具體地，用于 設(shè)計這種電-光系統(tǒng)的方法。
[0002] 這種電-光系統(tǒng)的應(yīng)用更具體地涉及國防領(lǐng)域，其中諸如無人機這樣的獨立裝置 的發(fā)展已需要對這些裝置的環(huán)境的三維（3D)信息提取技術(shù)的發(fā)展。
[0003] 此外，與諸如智能手機或交互式游戲機這樣的消費者技術(shù)相關(guān)的新特征，越來越 經(jīng)常地使用用戶周圍的3D環(huán)境的知識。
[0004] 在這兩個應(yīng)用領(lǐng)域中，針對嵌入式系統(tǒng)的約束條件需要設(shè)計耗能少的緊湊系統(tǒng)。
[0005] 以上所有提及的裝置具有的共同之處在于他們集成了至少一個無源電-光系統(tǒng) (照相機）。
[0006] 本發(fā)明的目的涉及通過利用僅由電-光系統(tǒng)提供的數(shù)據(jù)對景深的無源估計，其為 將3D能力添加到裝置的最少消耗能量和最小消耗空間的方法。
【背景技術(shù)】
[0007] 單通道距離估計方法在現(xiàn)有技術(shù)已知。
[0008] 美國專利US7711201公開了一種用于使用可動透鏡、圖像傳感器以及結(jié)合 (coupled)到該圖像傳感器的處理模塊產(chǎn)生深度圖以確定深度信息的方法及電-光系統(tǒng)。 該透鏡、該圖像傳感器及該處理模塊形成諸如照相機這樣的用于諸如自動對焦、監(jiān)視、或獨 立交通工具導(dǎo)航這樣的應(yīng)用的用來捕捉場景的圖像的成像裝置。深度信息計算方法包括使 用卷積核模擬高斯模糊量，然后估計這些圖像之間的模糊差的步驟。
[0009] A. Levin、R. Fergus、F. Durand 和 W. T. Freeman 的文章 "Image and depth from a conventional camera with a coded aperture ACM Transactions on Graphics''， SIGGRAPH2007(http://groups, csail. mit. edu/graphics/CodedAperture/CodedApertu re-LeVinEtAl-SIGGRAPH07. pdf)描述了 一種解決方案，其中從實現(xiàn)了編碼光闌的單通道 電-光系統(tǒng)估計距離。它還描述了用于優(yōu)化這種光闌的編碼的方法。
[0010] 法國專利FR2880958公開了用于增加景深的電-光系統(tǒng)。在這個專利中描述的另 選解決方案中的一個解決方案涉及實現(xiàn)一種適用于在無需光學(xué)測距設(shè)備的情況下從單個 獲取來測量場景中的物體的距離的方法和系統(tǒng)。然后，該方法使得能夠獲得在數(shù)字圖像的 每個區(qū)域中存在的物體的距離的估計。
[0011] 在現(xiàn)有技術(shù)的這個文件中提供的解決方案由使用色彩光學(xué)器件（使得能夠具有 可變化的銳利程度，其依賴于獲取的紅色通道、綠色通道和藍色通道）并且將數(shù)字圖像分 解成X乘Y個像素區(qū)組成。對于每個區(qū)，然后測量了至少兩個通道的銳度，并且然后將測量 到的值或相對的測量到的值報告在銳度對距離曲線（即，例如通過校正捕捉裝置而定義的 曲線）上。然后，獲得了與在該裝置的基準(zhǔn)標(biāo)記中的捕捉裝置區(qū)域中示出的物體的部分的 深度的估計相對應(yīng)的距離。
[0012] 然后，這種方法為了用傳感器和標(biāo)準(zhǔn)光學(xué)器件搭建實時和低成本的光學(xué)測距裝置 (其給出圖像和與該圖像相關(guān)的距離信息），使得能夠獲得存在于數(shù)字圖像的每個區(qū)域中 的這些物體的距離的估計。
[0013] 還已知國際申請W02009082822,其描述了在從一組捕捉圖像選擇聚焦度量信息中 的最佳聚焦度量的同時，使用單個照相機產(chǎn)生深度圖的方法。該最佳度量使得能夠確定最 優(yōu)的透鏡位置及減少從其的深度?，F(xiàn)有技術(shù)的這種方法使用所產(chǎn)生的深度圖以執(zhí)行圖像處 理操作，其允許例如用于調(diào)整閃光的強度，將圖像重新聚焦在所關(guān)注的深度平面上或幫助 產(chǎn)生彩色圖像。
[0014] 國際申請W02007022329描述了圖像獲取系統(tǒng)的另一示例，其基于兩個圖像之間 的相對模糊和由該系統(tǒng)產(chǎn)生的絕對模糊從三維空間場景的兩個圖像產(chǎn)生深度圖，直接根據(jù) 這兩個圖案之間的相對模糊來計算深度圖，以及根據(jù)關(guān)聯(lián)的模糊半徑值來計算距離。
[0015] 美國專利申請US2009268985描述了圖像系統(tǒng)，該系統(tǒng)從一對降低分辨率的圖像 產(chǎn)生圖片深度圖，用計算機計算在不同圖像位置處的兩個降低分辨率的圖像之間的模糊 差，以及基于在不同圖像位置處的兩個降低分辨率的圖像之間的模糊差來計算深度圖。
[0016] 此外，還已知發(fā)證的歐洲專利EP1734746,其描述了基于圖像質(zhì)量的性能標(biāo)準(zhǔn)來 優(yōu)化電-光系統(tǒng)的方法。此專利具體地描述了用于設(shè)計電-光成像系統(tǒng)的計算機方法，該 電-光成像系統(tǒng)由以下組成：
[0017]-光學(xué)部件；
[0018]-電-光探測器及關(guān)聯(lián)的電路；
[0019]-數(shù)字處理裝置。
[0020] 現(xiàn)有技術(shù)的這種方法是基于源的空間模型。該方法包括：基于后處理性能度量，聯(lián) 合地一起設(shè)計而不是順序地設(shè)計光學(xué)子系統(tǒng)和數(shù)字圖像處理子系統(tǒng)的步驟。
[0021] 還已知由作者 A. Rajagopalan and S. Chaudhuri 發(fā)表在 International Journal of Computer Vision, Springer, 1998, 30, p. 175-190 的文章 "Performance analysis of maximum likelihood estimator for recovery of depth from defocused image and optimal selection of camera parameters"，該文章提出了用于優(yōu)化用于估計深度的兩個 圖像的模糊比的方法。這種優(yōu)化是基于深度估計性能標(biāo)準(zhǔn)，其為使用通過高斯函數(shù)和源的 參數(shù)模型的模糊建模而計算的克拉默一勞（Cram6r-Rao)界限。
[0022] 現(xiàn)有技術(shù)解決方案的缺點
[0023] 在現(xiàn)有技術(shù)中已知的各種解決方法不使得能夠根據(jù)用于深度估計的光學(xué)器件、探 測器及圖像處理子組件的特征來優(yōu)化單通道電-光系統(tǒng)。
[0024] 具體地，在由A. Levin寫的文章中提出的解決方案提供了根據(jù)標(biāo)準(zhǔn)（該標(biāo)準(zhǔn)沒有 給出有關(guān)所獲得的深度估計的準(zhǔn)確性的信息）來優(yōu)化編碼光闌。此外，該優(yōu)化僅涉及了光 闌而沒有涉及整個光學(xué)系統(tǒng)。
[0025] 法國專利FR2919732考慮到色差的變化，但是沒有描述對深度估計的精度的影 響。
[0026] 歐洲專利EP1734746公開了優(yōu)化方法，其不使得能夠提高距離估計的精度，而是 僅提高了圖像的質(zhì)量。
[0027] 在A.Rajagopalan寫的文章中提供的解決方案不使得能夠優(yōu)化具有編碼光闌的 電-光系統(tǒng)，這是由于這種類型的光學(xué)系統(tǒng)不滿足高斯模糊假設(shè)。此外，為了獲得同一的場 景的多個獲取，它僅允許優(yōu)化電-光多通道系統(tǒng)或可能的具有順序獲取模式的電-光單通 道系統(tǒng)。
[0028]總之，現(xiàn)有技術(shù)的解決方案不使得能夠?qū)τ陔?光單通道系統(tǒng)基于深度估計的精 確度和圖像獲取條件優(yōu)化電-光系統(tǒng)。
[0029] 本發(fā)明提供的解決方案
[0030] 本發(fā)明目的在于通過提供用于優(yōu)化電-光系統(tǒng)的方法彌補現(xiàn)有技術(shù)的不足，該方 法使得能夠通過考慮場景的獲取的條件來提高對源的距離的估計的精度。
[0031] 該目的是為了根據(jù)用戶需要而優(yōu)化并且確保性能，考慮深度的估計作為來自 電-光系統(tǒng)的設(shè)計。
[0032] 本發(fā)明提供了用于設(shè)計能夠估計深度的電-光無源單通道系統(tǒng)，其適應(yīng)用戶關(guān)于 估計精度的需求和使用條件。
[0033] 為此目的，在其廣泛意義中的本發(fā)明涉及用于設(shè)計電-光成像系統(tǒng)以估計源的距 離的由計算機實施的方法，該電_光成像系統(tǒng)包括光學(xué)子系統(tǒng)、探測器子系統(tǒng)和數(shù)字圖像 處理子系統(tǒng)；該方法包括對來自源的輻射通過所述光學(xué)子系統(tǒng)、所述探測器子系統(tǒng)、所述數(shù) 字圖像處理子系統(tǒng)的傳播的建模，該建?；谠撛吹目臻g模型，該方法包括同時設(shè)計該光 學(xué)子系統(tǒng)和該數(shù)字圖像處理子系統(tǒng)的聯(lián)合步驟。該設(shè)計步驟是基于至少一個性能度量，該 性能度量依賴于在距該源的距離的局部估計和距該源的實際距離之間的比較。
[0034] 如在這個專利中所使用的，術(shù)語"深度"和"距離"具有相同的技術(shù)含義。
[0035] 優(yōu)選地，深度是沿光軸在以下之間測量到的距離：
[0036]-在光軸和穿過該源的正交平面之間的交叉點，以及
[0037] _在光軸和入瞳之間的交叉點，或照相機的任何基準(zhǔn)點。
[0038] 優(yōu)選地，距離是在源點和到達點之間進行測量或估計的。源點對應(yīng)于點光源的坐 標(biāo)。點光源的集合可形成擴展源。如果我們采取點光源的集合的重心，則到達點具體是入 瞳的中心點，或照相機的任何其他基準(zhǔn)點。
[0039]應(yīng)用領(lǐng)域
[0040] 當(dāng)獲取具有唯一焦點的圖像時本發(fā)明適用，并且在以不同焦點執(zhí)行同時采集并且 處理多個圖像時本發(fā)明適用。
[0041] 有利地，用由多個探測器矩陣組成的探測器來獲得所述多個圖像，該多個探測器 矩陣的每一個對特定光譜帶敏感，每個圖像與所述光譜帶中的一個相對應(yīng)。
[0042] 根據(jù)具體的實施方式，該電-光系統(tǒng)設(shè)置有針對所述光譜帶中每個調(diào)整特定焦點 的裝置。
[0043] 根據(jù)一個具體另選實施方式，光學(xué)子系統(tǒng)包括能夠使得在圖像目錄中的估計距離 和的實際距離之間的差異最小化的編碼光闌，該方法包括變改變所述光闌的編碼和確定從 此得到的差異的步驟。
[0044] 根據(jù)一個具體另選實施方式，表征深度估計的精度的度量可以與另一個度量關(guān) 聯(lián)，例如，表征銳度或表征產(chǎn)生具有大景深的圖像的能力的度量。
[0045] 示例性非限制實施方式的詳細描述
[0046] 通過閱讀以下示例性的非限性實施方式的詳細說明同時參照附圖，本發(fā)明將更好 的理解，其中：
[0047]-圖1示出了根據(jù)現(xiàn)有技術(shù)的估計深度的電-光無源單通道系統(tǒng)的各種功能塊[0048]-圖2示出了所提供的設(shè)計輔助的方法的示意圖
[0049]-圖3示出了當(dāng)使用針對具有相同焦距和相同開口但不同光闌形狀的兩個光學(xué)系 統(tǒng)的深度估計性能的計算時所獲得的理論估計準(zhǔn)確性的曲線
[0050]-圖4示出了當(dāng)使用針對在相同光學(xué)系統(tǒng)中的兩個不同的焦點的深度估計性能的 計算時，所獲得的理論估計準(zhǔn)確性的曲線。
[0051]-圖5示出了當(dāng)使用