用于調(diào)整具有微鏡頭陣列的成像系統(tǒng)的基線的系統(tǒng)和方法
【專利摘要】一種用于建立具有微鏡頭陣列的立體成像裝置的基線的系統(tǒng)及用于制造及使用所述系統(tǒng)的方法。所述系統(tǒng)獲取所述微鏡頭陣列與所關(guān)注物體之間的物距，并基于所獲取的物距從所述微鏡頭陣列中選擇第一和第二鏡頭。所述系統(tǒng)同樣可使用所述成像裝置來(lái)進(jìn)行同時(shí)定位及構(gòu)圖(SLAM)。在一種實(shí)施方式中，所述系統(tǒng)可使用所述微鏡頭陣列來(lái)獲取第一和第二立體幀。所述系統(tǒng)由此可使用慣性測(cè)量單元(IMU)來(lái)測(cè)量所述第二立體幀的旋轉(zhuǎn)并通過(guò)將所述旋轉(zhuǎn)數(shù)據(jù)與所述第一和第二立體幀組合來(lái)匹配所述第一和第二立體幀。所述系統(tǒng)由此可使得同時(shí)定位及構(gòu)圖系統(tǒng)能在各種室內(nèi)和/或室外環(huán)境中更準(zhǔn)確且更實(shí)用地進(jìn)行。
【專利說(shuō)明】
用于調(diào)整具有微鏡頭陣列的成像系統(tǒng)的基線的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001] 所掲露的實(shí)施方式設(shè)及數(shù)字成像，且更具體來(lái)說(shuō)設(shè)及用于調(diào)整具有微鏡頭陣列的 成像系統(tǒng)的基線的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 隨著數(shù)字圖像技術(shù)的發(fā)展，特別是無(wú)人機(jī)技術(shù)的發(fā)展，使得自動(dòng)同時(shí)定位及構(gòu)圖 (Simultaneous Localization And Mapping,SLAM)同時(shí)適于室內(nèi)和室外應(yīng)用成為一項(xiàng)關(guān) 鍵技術(shù)。然而，精確的同時(shí)定位及構(gòu)圖一直是個(gè)難點(diǎn)。
[0003] 同時(shí)定位及構(gòu)圖設(shè)及構(gòu)建或更新不熟悉環(huán)境構(gòu)圖的運(yùn)算問(wèn)題，同時(shí)保持智能體由 其定位的軌跡。典型的同時(shí)定位及構(gòu)圖設(shè)及構(gòu)建立體帖并連接所述帖W形成連續(xù)構(gòu)圖。
[0004] 目前，主流的同時(shí)定位及構(gòu)圖系統(tǒng)通常使用單目相機(jī)或雙目相機(jī)來(lái)實(shí)現(xiàn)立體環(huán)境 構(gòu)圖和定位功能。一些新研發(fā)的研究方法使用深度相機(jī)，即用結(jié)構(gòu)光或飛行時(shí)間（Time Of Flight，T0F)深度傳感器來(lái)代替單目或雙目相機(jī)。然而，運(yùn)些方法因其目前的應(yīng)用條件及其 相對(duì)高昂的成本而受到了極大限制。
[0005] 此外，目前一些主流的同時(shí)定位及構(gòu)圖方法通常是通過(guò)結(jié)合視覺(jué)測(cè)量來(lái)實(shí)施。目 前流行的視覺(jué)測(cè)量方法通常使用被動(dòng)的單目或雙目鏡頭。類似于人的雙眼，視覺(jué)測(cè)量的基 本原理是利用不同視角的視差計(jì)算所關(guān)注物體的=維結(jié)構(gòu)，并實(shí)現(xiàn)定位。在單目鏡頭的情 況下，視差僅能通過(guò)平移產(chǎn)生；因此，其檢測(cè)=維環(huán)境的能力取決于它的運(yùn)動(dòng)特征，該能力 相對(duì)受限。
[0006] 雙目相機(jī)的視差通過(guò)第一鏡頭與第二鏡頭之間的基線產(chǎn)生；因此，其圖像立體環(huán) 境的能力與基線的長(zhǎng)度密切相關(guān)。當(dāng)長(zhǎng)度固定時(shí)，由于存在盲點(diǎn)，因此太近或太遠(yuǎn)的物體都 是無(wú)法檢測(cè)的。隨著主動(dòng)深度傳感器(結(jié)構(gòu)光，T0F)的發(fā)展，基于主動(dòng)深度傳感器的同時(shí)定 位及構(gòu)圖成是一個(gè)新的研究熱點(diǎn)。然而，由于運(yùn)些主動(dòng)傳感器的性能、設(shè)計(jì)結(jié)構(gòu)和成本的限 審IJ，它們的適用環(huán)境主要是小型的室內(nèi)場(chǎng)景。例如，由于陽(yáng)光的全譜特性，基于結(jié)構(gòu)光的深 度傳感器是不適用于室外的。此外，TOF深度傳感器在室外使用時(shí)依賴于相對(duì)強(qiáng)能量的某種 發(fā)射光的W及相對(duì)精密的傳感器設(shè)計(jì)等；因此，它們不適合小型的飛行平臺(tái)。
[0007] 另一方面，由于物理原理的限定，很難精準(zhǔn)地使用同時(shí)定位及構(gòu)圖系統(tǒng)中的一些 其他技術(shù)，例如慣性測(cè)量單元（Inedial Measurement化it, IMU)、氣壓計(jì)和其他傳感器， 來(lái)構(gòu)建準(zhǔn)確且可廣泛適用的同時(shí)定位及構(gòu)圖系統(tǒng)。
[000引綜上，需要在各種條件下都精準(zhǔn)且更實(shí)用的同時(shí)定位及構(gòu)圖系統(tǒng)和方法。

【發(fā)明內(nèi)容】

[0009]根據(jù)本文掲露的第一個(gè)方面，提出一種用于建立具有微鏡頭陣列的立體成像系統(tǒng) 的基線的方法，所述方法包括：
[0010]獲取微鏡頭陣列與所關(guān)注物體之間的物距；從及
[0011]基于所述獲取的物距從微鏡頭陣列中動(dòng)態(tài)地選擇兩個(gè)鏡頭。
[0012] 在所掲露方法的一種示例性的實(shí)施方式中，動(dòng)態(tài)地選擇兩個(gè)鏡頭包括從微鏡頭陣 列的多個(gè)鏡頭中選擇第一鏡頭和第二鏡頭。
[0013] 在所掲露方法的一種示例性的實(shí)施方式中，獲取物距包括重復(fù)地獲取微鏡頭陣列 與所關(guān)注物體之間變化的物距；W及
[0014] 從微鏡頭陣列的多個(gè)鏡頭中選擇第一鏡頭和第二鏡頭是基于重復(fù)獲取變化的物 距。
[0015] 所掲露方法的示例性的實(shí)施方式還包括基于所選擇的第一鏡頭和第二鏡頭建立 基線。
[0016] 所掲露方法的示例性實(shí)施方式還包括基于微鏡頭陣列與所關(guān)注物體之間變化的 物距來(lái)自動(dòng)調(diào)整基線。
[0017] 在所掲露方法的一種示例性的實(shí)施方式中，獲取物距包括：
[0018] 通過(guò)第一鏡頭獲取所關(guān)注物體的第一圖像；
[0019] 通過(guò)第二鏡頭獲取所關(guān)注物體的第二圖像;W及
[0020] 確定第一圖像與第二圖像之間的雙目視差;且
[0021] 其中獲取物距包括基于確定的雙目視差計(jì)算物距。
[0022] 在所掲露方法的一種示例性的實(shí)施方式中，所述獲取物距還包括在確定所述雙目 視差之前基于第一鏡頭和第二鏡頭的焦距計(jì)算校正焦距。
[0023] 在所掲露方法的一種示例性的實(shí)施方式中，獲取物距包括：
[0024] 獲取第一圖像上的多個(gè)特征點(diǎn)；W及
[0025] 使第一圖像的多個(gè)特征點(diǎn)與第二圖像的點(diǎn)匹配。
[0026] 在所掲露方法的一種示例性的實(shí)施方式中，所述特征點(diǎn)包括第一圖像或第二圖像 的像素。
[0027] 在所掲露方法的一種示例性的實(shí)施方式中，所述確定雙目視差包括確定至少五個(gè) 像素且不超過(guò)圖像寬度五分之一的雙目視差。
[00%]在所掲露方法的一種示例性的實(shí)施方式中，所述匹配多個(gè)特征點(diǎn)包括：
[0029] 掃描第二圖像W識(shí)別第二圖像與所述第一圖像的選定特征點(diǎn)相匹配的點(diǎn)；W及
[0030] 計(jì)算第一圖像的選定特征點(diǎn)與所述點(diǎn)之間的相似度。
[0031] 在所掲露方法的一種示例性的實(shí)施方式中，所述計(jì)算相似度包括將第一圖像的選 定特征點(diǎn)與W第二圖像上的該點(diǎn)為中屯、的3X3像素區(qū)域進(jìn)行比較。
[0032] 在所掲露方法的一種示例性的實(shí)施方式中，比較3 X 3像素區(qū)域包括比較彩色圖像 的每個(gè)像素的每個(gè)色彩分量的視差總和或比較黑白圖像的每個(gè)像素的灰度值的視差總和。
[0033] 在所掲露方法的一種示例性的實(shí)施方式中，所述獲取物距還包括：
[0034] 確定微鏡頭陣列與每個(gè)特征點(diǎn)之間各自的特征距離；W及
[0035] 使用特征距離確定物距。
[0036] 在所掲露方法的一種示例性的實(shí)施方式中，所述確定物距包括基于特征距離的平 均值獲取物距。
[0037] 在所掲露方法的一種示例性的實(shí)施方式中，所述確定物距包括選擇一個(gè)或多個(gè)特 征點(diǎn)并基于選定特征點(diǎn)的特征距離獲取物距。
[0038] 在所掲露方法的一種示例性的實(shí)施方式中，所述選擇特征點(diǎn)包括選擇最靠近所述 微鏡頭陣列的預(yù)定百分比的特征點(diǎn)并獲取所述物距作為距微鏡頭陣列最遠(yuǎn)的選定特征點(diǎn) 的特征距離。
[0039] 在所掲露方法的一種示例性的實(shí)施方式中，選擇第一鏡頭和第二鏡頭包括：
[0040] 基于微鏡頭陣列可用的最小基線、校正焦距和預(yù)定的視差范圍估算所述物距的檢 測(cè)范圍；
[0041 ]基于物距的估算檢測(cè)范圍計(jì)算基線范圍；
[0042] 基于估算的物距檢測(cè)范圍計(jì)算基線范圍；W及
[0043] 當(dāng)確定視差大于預(yù)定水平時(shí)，選擇最小基線。
[0044] 在所掲露方法的一種示例性的實(shí)施方式中，選擇第一鏡頭和第二鏡頭包括：
[0045] 由Z =巧(T/Ui-Xr))估算物距的檢測(cè)范圍（Zmin至Zmax)，其中Z為物距，f為選定鏡 頭的校正焦距，T為兩個(gè)最靠近鏡頭之間的基線，（Xl-Xr)為兩個(gè)匹配點(diǎn)的視差；
[OOW 由T = ZdA計(jì)算可用基線的范圍，其中d=(xi-Xr)為視差；W及
[0047] 在確保視差關(guān)系為d〉10的情形下，選擇具有最小基線T的第一鏡頭和第二鏡頭。
[0048] 在所掲露方法的一種示例性的實(shí)施方式中，所述選擇第一鏡頭和所述第二鏡頭包 括增加基線直到第一鏡頭的視野與第二鏡頭的視野重疊至少50%。
[0049] 所掲露方法的示例性實(shí)施方式還包括在基線自動(dòng)調(diào)整后校準(zhǔn)立體成像系統(tǒng)的外 部參數(shù)。
[0050] 在所掲露方法的一種示例性的實(shí)施方式中，校準(zhǔn)包括校準(zhǔn)立體成像系統(tǒng)的平移外 部參數(shù)和/或旋轉(zhuǎn)外部參數(shù)中的至少一個(gè)。
[0051 ]在所掲露方法的一種示例性的實(shí)施方式中，校準(zhǔn)包括初始根據(jù)選擇的兩個(gè)鏡頭校 準(zhǔn)平移外部參數(shù)。
[0052] 在所掲露方法的一種示例性的實(shí)施方式中，校準(zhǔn)包括在初始校準(zhǔn)后進(jìn)一步校準(zhǔn)外 部參數(shù)W使得外部參數(shù)最優(yōu)化。
[0053] 在所掲露方法的一種示例性的實(shí)施方式中，立體成像系統(tǒng)安裝在移動(dòng)平臺(tái)上，且 其中自動(dòng)調(diào)整取決于移動(dòng)平臺(tái)的行進(jìn)模式。
[0054] 在所掲露方法的一種示例性的實(shí)施方式中，移動(dòng)平臺(tái)是無(wú)人飛行器（unmanned aerial vehicle，UAV)，且其中行進(jìn)模式是無(wú)人飛行器的飛行模式。
[0055] 根據(jù)本文掲露的另一個(gè)方面，提供一種立體成像系統(tǒng)，其用于根據(jù)上述任一種方 法來(lái)進(jìn)行自動(dòng)基線調(diào)整。
[0056] 根據(jù)本文掲露的另一個(gè)方面，提供一種計(jì)算機(jī)程序產(chǎn)品，其包括用于根據(jù)上述任 一種方法自動(dòng)調(diào)整具有微鏡頭陣列的立體成像系統(tǒng)的基線的指令。
[0057] 在所掲露裝置的一種示例性的實(shí)施方式中，所述裝置包括：
[0058] 具有多個(gè)鏡頭的微鏡頭陣列，每個(gè)鏡頭單獨(dú)地或與一個(gè)或多個(gè)其他鏡頭任意組合 地用于獲取圖像;和
[0059] 控制器，其用于基于所獲取的微鏡頭陣列與所關(guān)注物體之間的物距來(lái)動(dòng)態(tài)地選擇 兩個(gè)鏡頭。
[0060] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于從微鏡頭陣列的多個(gè)鏡頭 中選擇第一和第二鏡頭。
[0061] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于獲取微鏡頭陣列與所關(guān)注 物體之間變化的物距并基于重復(fù)獲取變化的物距而從微鏡頭陣列的多個(gè)鏡頭中選擇第一 鏡頭和束^鏡頭。
[0062] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于基于第一鏡頭和第二鏡頭 來(lái)建立基線。
[0063] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于基于微鏡頭陣列與所關(guān)注 物體之間變化的物距來(lái)動(dòng)態(tài)地調(diào)整基線。
[0064] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于通過(guò)W下方式獲取物距：
[0065] 通過(guò)第一鏡頭獲取所關(guān)注物體的第一圖像；
[0066] 通過(guò)第二鏡頭獲取所關(guān)注物體的第二圖像；
[0067] 確定第一圖像與第二圖像之間的雙目視差；W及
[0068] 基于確定的雙目視差來(lái)計(jì)算物距。
[0069] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于在確定雙目視差之前基于 第一鏡頭和第二鏡頭的焦距來(lái)計(jì)算校正焦距。
[0070] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于獲取第一圖像上的多個(gè)特 征點(diǎn)并將第一圖像上的多個(gè)特征點(diǎn)與第二圖像上的點(diǎn)相匹配。
[0071] 在所掲露裝置的一種示例性的實(shí)施方式中，特征點(diǎn)包括第一圖像或第二圖像的像 素。
[0072] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于確定至少五個(gè)像素且不超 過(guò)圖像寬度五分之一的雙目視差。
[0073] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于掃描第二圖像來(lái)識(shí)別第二 圖像上與第一圖像的選定特征點(diǎn)相匹配的點(diǎn)，并用于計(jì)算第一圖像的選定特征點(diǎn)與所述點(diǎn) 之間的相似度。
[0074] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于將第一圖像的每個(gè)選定特 征點(diǎn)與W第二圖像上的該點(diǎn)為中屯、的3X3像素區(qū)域進(jìn)行比較。
[0075] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于比較彩色圖像的每個(gè)像素 的每個(gè)色彩分量的視差總和或比較黑白圖像的每個(gè)像素的灰度值的視差總和。
[0076] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于確定微鏡頭陣列與每個(gè)特 征點(diǎn)之間各自的特征距離，且使用特征距離確定物距。
[0077] 在所掲露裝置的一種示例性的實(shí)施方式中，物距為特征距離的平均值。
[0078] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于選擇一個(gè)或多個(gè)特征點(diǎn)并 基于選定特征點(diǎn)的特征距離獲取物距。
[0079] 在所掲露裝置的一種示例性的實(shí)施方式中，W最靠近鏡頭陣列或距微鏡頭陣列最 遠(yuǎn)的特征點(diǎn)的預(yù)定百分比來(lái)選擇特征點(diǎn)。
[0080] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于通過(guò)W下方式來(lái)選擇述第 一鏡頭和束^鏡頭：
[0081] 基于微鏡頭陣列可用的最小基線、校正焦距和預(yù)定的視差范圍來(lái)估算物距的檢測(cè) 范圍；
[0082] 基于估算的物距檢測(cè)范圍來(lái)計(jì)算基線范圍；W及
[0083] 在確保視差大于預(yù)定水平時(shí)，選擇最小基線。
[0084] 在所掲露裝置的一種示例性的實(shí)施方式中，通過(guò)W下方式選擇第一鏡頭和第二鏡 頭：
[0085] 由Z =巧(T/Ui-Xr))估算物距的檢測(cè)范圍（Zmin至Zmax)，其中Z為物距，f為選定的 第一和第二鏡頭的校正焦距，T為兩個(gè)最靠近鏡頭之間的基線，（Xl-Xr)為兩個(gè)匹配點(diǎn)的視 差；
[008引由T = ZdA計(jì)算可用基線的范圍，其中d=(xi-Xr)為視差；W及
[0087] 在確保視差關(guān)系為d〉10的情形下，選擇具有最小基線T的第一鏡頭和第二鏡頭。
[0088] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于增加基線直到第一鏡頭的 視野與第二鏡頭的視野重疊至少50%。
[0089] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器用于在調(diào)整基線后校準(zhǔn)立體成 像系統(tǒng)的外部參數(shù)。
[0090] 在所掲露裝置的一種示例性的實(shí)施方式中，外部參數(shù)包括所述立體成像系統(tǒng)的平 移外部參數(shù)和/或旋轉(zhuǎn)外部參數(shù)中的至少一個(gè)。
[0091] 在所掲露裝置的一種示例性的實(shí)施方式中，所述平移外部參數(shù)初始校準(zhǔn)是根據(jù)第 一透鏡和第二透鏡。
[0092] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器用于在初始校準(zhǔn)后校準(zhǔn)所 述外部參數(shù)W使得所述外部參數(shù)最優(yōu)化。
[0093] 在所掲露裝置的一種示例性的實(shí)施方式中，所述立體成像系統(tǒng)是無(wú)人飛行器 (UAV)，且其中基線調(diào)整取決于無(wú)人飛行器的飛行模式。
[0094] 在所掲露裝置的一種示例性的實(shí)施方式中，所述立體成像系統(tǒng)是紅外成像系統(tǒng)。
[0095] 在所掲露裝置的一種示例性的實(shí)施方式中，所述立體成像系統(tǒng)是X射線成像系統(tǒng)。
[0096] 根據(jù)本文掲露的另一個(gè)方面，提供一種通過(guò)具有微鏡頭陣列的成像裝置進(jìn)行同時(shí) 定位及構(gòu)圖（SLAM)的方法，所述方法包括：
[0097] 通過(guò)上述任一種方法使用微鏡頭陣列獲取第一立體帖和第二立體帖；
[0098] 使用慣性測(cè)量單元（IMU)來(lái)測(cè)量第二帖相對(duì)于第一立體帖的旋轉(zhuǎn)而產(chǎn)生旋轉(zhuǎn)數(shù) 據(jù)；W及
[0099] 通過(guò)將旋轉(zhuǎn)數(shù)據(jù)與第一和第二立體帖組合來(lái)匹配第一和第二立體帖，
[0100] 其中第一立體帖與第二立體帖W預(yù)定的百分比相互重疊。
[0101] 在所掲露方法的一種示例性的實(shí)施方式中，獲取第一立體帖和第二立體帖包括在 不同的時(shí)間點(diǎn)獲取第一立體帖和第二立體帖。
[0102] 在所掲露的裝置的一種示例性的實(shí)施方式中，在不同時(shí)間點(diǎn)獲取第一立體帖和第 二立體帖包括W不小于六十分之一秒且不大于二十分之一秒的時(shí)間間隔獲取所述第一立 體帖和第二立體帖。
[0103] 所掲露方法的示例性實(shí)施方式中，還包括：
[0104] 基于第一立體帖獲取立體點(diǎn)云，
[0105] 其中立體點(diǎn)云是立體特征點(diǎn)的陣列{Pl，P2，P3. . .，Pn}。
[0106] 所掲露方法的示例性實(shí)施方式還包括：
[0107] 基于立體點(diǎn)云在x-y平面上獲取第二投影陣列Kxi2，yi2)，（x22，y22)，{(X32， 732)，…，{(Xn2，yn2)}。
[0108] 在所掲露方法的一種示例性的實(shí)施方式中，獲取第二投影陣列包括：
[0109] 基于立體點(diǎn)云在x-y平面上獲取第一投影陣列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0110] 使用權(quán)利要求9至11中任一項(xiàng)所述的方法將第一投影陣列的多個(gè)點(diǎn)匹配至第二立 體圖像上而產(chǎn)生第二投影陣列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0111] 所掲露方法的示例性實(shí)施方式還包括：
[0112] 基于旋轉(zhuǎn)數(shù)據(jù)、立體點(diǎn)云和第二投影陣列計(jì)算平移陣列T。
[0113] 在所掲露方法的一種示例性的實(shí)施方式中，計(jì)算平移陣列T包括應(yīng)用關(guān)系式：
[0114]
[0115] 其中R為旋轉(zhuǎn)測(cè)量陣列，門為立體點(diǎn)，T表示待計(jì)算的平移陣列，且ii為隨機(jī)數(shù)。
[0116] 在所掲露方法的一種示例性的實(shí)施方式中，應(yīng)月
丕包括通過(guò)解 開(kāi)選自立體點(diǎn)云的至少兩個(gè)點(diǎn)及其在第二投影陣列中匹配的兩個(gè)點(diǎn)的方程組來(lái)計(jì)算T。
[0117] 所掲露方法的示例性實(shí)施方式還包括：
[0118] 通過(guò)將T引入具有多個(gè)選自立體點(diǎn)云的點(diǎn)及其在第二投影陣列上的相應(yīng)投影點(diǎn)的 方矛_
來(lái)證實(shí)平移陣列T，從而得到匹配點(diǎn)的數(shù)量;W及
[0"y」選掙具巧最大數(shù)量匹配點(diǎn)的平移陣列T作為選定的平移陣列T。
[0120] 所掲露方法的示例性實(shí)施方式還包括：
[0121] 采用旋轉(zhuǎn)數(shù)據(jù)、選定的平移T和關(guān)系式 ^計(jì)算第二帖的立體點(diǎn) 云。
[0122] 所掲露方法的示例性實(shí)施方式還包括：
[0123] 通過(guò)上述方法用微鏡頭陣列獲取另一立體帖；W及
[0124] W第二立體帖作為第一立體帖且W新獲取的立體帖作為第二立體帖重復(fù)上述步 驟。
[0125] 根據(jù)本文掲露的另一方面，提供一種同時(shí)定位及構(gòu)圖系統(tǒng)，其用于根據(jù)任意上述 方法進(jìn)行自動(dòng)定位與構(gòu)圖。
[0126] 根據(jù)本文掲露的另一方面，提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括 用于根據(jù)任意上述方法使用具有微鏡頭陣列的立體成像系統(tǒng)自動(dòng)進(jìn)行同時(shí)定位及構(gòu)圖的 指令。
[0127] 根據(jù)本文掲露的另一方面，提供一種使用具有微鏡頭陣列的成像裝置進(jìn)行同時(shí)定 位及構(gòu)圖（SLAM)的裝置，所述裝置包括：
[0128] 慣性測(cè)量單元IMU，其用于測(cè)量與在第一時(shí)間點(diǎn)獲取的第一立體帖相關(guān)的在第二 時(shí)間點(diǎn)獲取的第二立體帖的旋轉(zhuǎn);和
[0129] 控制器，其用于：
[0130] 通過(guò)任意上述方法使用所述微鏡頭陣列獲取第一立體帖和第二立體帖；
[0131] 由慣性測(cè)量單元獲取所述第二立體帖的旋轉(zhuǎn)數(shù)據(jù)；W及
[0132] 通過(guò)將旋轉(zhuǎn)數(shù)據(jù)與所述第一和第二立體帖組合來(lái)匹配所述第一和第二立體帖，
[0133] 其中，所述第一立體帖與第二立體帖W預(yù)定的百分比相互重疊。
[0134] 在所掲露裝置的一種示例性的實(shí)施方式中，在不同的時(shí)間點(diǎn)獲取第一立體帖和第 二立體帖。
[0135] 在所掲露裝置的一種示例性的實(shí)施方式中，不同時(shí)間點(diǎn)之間的間隔不小于六十分 之一秒且不大于二十分之一秒。
[0136] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器還用于基于第一立體帖獲 取立體點(diǎn)云，其中，所述立體點(diǎn)云為立體特征點(diǎn)的陣列{ Pl，P2，P3 . . .，Pn}。
[0137] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器還用于基于立體點(diǎn)云在X- y 平面上獲取第二投影陣列{(Xl2,yi2) , (X22，y22)，{(X32，y32)，...，{(Xn2，yn2)}。
[0138] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器用于通過(guò)W下方式獲取第 二投影陣列：
[0139] 基于立體點(diǎn)云在x-y平面上獲取第一投影陣列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0140] 使用權(quán)利要求10至12中任一項(xiàng)所述的方法將第一投影陣列的多個(gè)點(diǎn)匹配至第二 立體圖像上而產(chǎn)生第二投影陣列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0141] 在所掲露裝置的一種示例性的實(shí)施方式中，控制器還用于基于旋轉(zhuǎn)數(shù)據(jù)、立體點(diǎn) 云和第二投影陣列來(lái)計(jì)算平移陣列T。
[0142] 在所掲露裝置的一種示例性的實(shí)施方式中，平移陣列T通過(guò)應(yīng)用W下關(guān)系式來(lái)計(jì) 算：
[0143]
[0144] 其中R為旋轉(zhuǎn)測(cè)量的陣列，門為立體點(diǎn)云的立體點(diǎn)，T表示待計(jì)算的平移陣列且y為 隨機(jī)數(shù)。
[0145] 在所掲露裝置的一種示例性的實(shí)施方式中，通過(guò)選自立體點(diǎn)云的至少兩個(gè)點(diǎn)及其 在第二投影陣列中匹配的兩個(gè)點(diǎn)的方程組來(lái)解開(kāi)平移陣列T。
[0146] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器被配置成用于通過(guò)將T引 入具有多個(gè)選自立體點(diǎn)云的點(diǎn)及其在第二投影陣列上的相應(yīng)投影點(diǎn)的方程
3來(lái)證實(shí)平移陣列T，從而得到匹配點(diǎn)的數(shù)量；W及
[0147] 選擇具有最大數(shù)量匹配點(diǎn)的平移陣列T作為選定的平移陣列T。
[0148] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器用于采用所述旋轉(zhuǎn)數(shù)據(jù)、 所述選定的平移T和關(guān)系式：
計(jì)算所述第二帖的立體點(diǎn)云。
[0149] 在所掲露裝置的一種示例性的實(shí)施方式中，所述控制器用于通過(guò)上述方法用所述 微鏡頭陣列獲取另一立體帖，并W所述第二立體帖作為第一立體帖且W所述新獲取的立體 帖作為第二立體帖。
【附圖說(shuō)明】
[0150] 圖1為說(shuō)明立體成像系統(tǒng)的一種實(shí)施方式的示例性頂層框圖，其中所述立體成像 系統(tǒng)包括微鏡頭陣列和傳感器陣列。
[0151] 圖2為說(shuō)明圖1中的微鏡頭陣列的一種實(shí)施方式的一具體示意圖。
[0152] 圖3為說(shuō)明圖1中的立體成像系統(tǒng)的一種備選實(shí)施方式的具體示意圖，其中在立體 攝影中使用微鏡頭陣列。
[0153] 圖4為說(shuō)明圖3中的立體成像系統(tǒng)的一種備選實(shí)施方式的具體示意圖，其中通過(guò)= 角測(cè)量法來(lái)確定物距。
[0154] 圖5為說(shuō)明圖1中的立體成像系統(tǒng)的一種實(shí)施方式的示例性頂層框圖，其中該系統(tǒng) 包括用于微鏡頭陣列的控制器。
[0155] 圖6為說(shuō)明圖1中的立體成像系統(tǒng)基于物距的方法的一種實(shí)施方式的示例性頂層 流程圖。
[0156] 圖7為說(shuō)明基于物距來(lái)調(diào)整圖1中的立體成像系統(tǒng)的基線的方法的一種實(shí)施方式 的示例性流程圖。
[0157] 圖8為說(shuō)明基于物距來(lái)調(diào)整圖7中的立體成像系統(tǒng)的基線的方法的另一種實(shí)施方 式的示例性流程圖。
[015引圖9為說(shuō)明根據(jù)圖8的方法確定物距的方法的一種實(shí)施方式的示例圖。
[0159] 圖10為說(shuō)明圖8方法的一種備選實(shí)施方式的示例圖，其中該方法包括為選定的微 鏡頭獲取校正的焦距。
[0160] 圖11為說(shuō)明圖6方法的另一種備選實(shí)施方式的示例圖，其中通過(guò)一定范圍的可用 基線來(lái)估算基線。
[0161] 圖12為說(shuō)明同時(shí)定位及構(gòu)圖（SLAM))方法的一種實(shí)施方式的示例性頂層圖。
[0162] 圖13為說(shuō)明圖10方法的一種可選實(shí)施方式的示例圖，其中一對(duì)立體圖像是相匹配 的。
[0163] 應(yīng)注意，所述附圖并非按比例繪制，且在整個(gè)附圖中，類似結(jié)構(gòu)或功能的元件通常 由相同的元件符號(hào)表示W(wǎng)用于說(shuō)明目的。還應(yīng)注意，所述附圖僅僅是為了便于所述優(yōu)選的 實(shí)施方式。所述附圖并非用于說(shuō)明所述實(shí)施方式的每個(gè)方面且不限制本發(fā)明的范圍。
【具體實(shí)施方式】
[0164] 由于當(dāng)前可用的同時(shí)定位及構(gòu)圖系統(tǒng)并非廣泛適用且無(wú)法精準(zhǔn)地定位及構(gòu)圖，因 此一種通過(guò)調(diào)整具有微鏡頭陣列的成像系統(tǒng)的基線能夠符合要求的同時(shí)定位及構(gòu)圖系統(tǒng) 和方法可證明是有利的，且為廣泛范圍的系統(tǒng)應(yīng)用提供了基礎(chǔ)，例如無(wú)人機(jī)系統(tǒng)和其他移 動(dòng)裝置系統(tǒng)。此結(jié)果可根據(jù)圖1掲露的一種實(shí)施方式得W實(shí)現(xiàn)。
[0165] 現(xiàn)參閱圖1，說(shuō)明了一種示例性的立體成像系統(tǒng)100具有微鏡頭陣列102,所述微鏡 頭陣列102用于接收從所關(guān)注物體198反射的光線。所述微鏡頭陣列102中的每個(gè)微鏡頭(或 鏡頭）102A(如圖2中所示)對(duì)應(yīng)于傳感器陣列104中的各自的傳感器。所述通過(guò)微鏡頭陣列 102的鏡頭102A接收的光線被提供至所述傳感器陣列104中的相應(yīng)的傳感器。兩個(gè)鏡頭102A (如第一鏡頭10化與第二鏡頭102c)通常用于立體成像;然而，可選擇微鏡頭陣列102中任意 合適數(shù)量的鏡頭102A。相應(yīng)的傳感器產(chǎn)生數(shù)據(jù)流133,其代表了傳感器陣列104所產(chǎn)生的圖 像。產(chǎn)生的圖像數(shù)量通常等于微鏡頭陣列102所選定的微鏡頭102A的數(shù)量。數(shù)據(jù)流133被提 供給圖像信號(hào)處理器(ISP)llO。在此示例性的實(shí)施方式中，數(shù)據(jù)流133代表了由傳感器陣列 104產(chǎn)生并存儲(chǔ)于存儲(chǔ)器106中的兩個(gè)圖像106A和106B，所述存儲(chǔ)器106可為內(nèi)置存儲(chǔ)器和/ 或外置存儲(chǔ)器。盡管本文中顯示且描述為處理圖像對(duì)僅用于說(shuō)明目的，但立體成像系統(tǒng)100 可適于處理任意合適數(shù)量的圖像。
[0166] 當(dāng)對(duì)所關(guān)注物體198成像時(shí)，由每個(gè)選定的微鏡頭102A和所述相應(yīng)的傳感器產(chǎn)生 的圖像可從選定的視角展示所關(guān)注的物體198。通過(guò)選擇多個(gè)微鏡頭102A，所述關(guān)注物體 198可從多個(gè)不同的視角成像。所述圖像信號(hào)處理器110可通過(guò)數(shù)據(jù)流137處理所述得到的 圖像而產(chǎn)生立體圖像199。在一種實(shí)施方式中，所述圖像信號(hào)處理器110可產(chǎn)生作為同時(shí)定 位及構(gòu)圖系統(tǒng)（圖中未示）的一部分用于定位目的的立體圖像199。如圖1中所述，所述立體 成像裝置100中的所述微鏡頭陣列102、傳感器陣列104、存儲(chǔ)器106和/或圖像信號(hào)處理器 110可在控制器120的控制下運(yùn)行。另外和/或備選地，所述圖像信號(hào)處理器110可提供對(duì)所 述立體成像裝置100完全或部分的控制。
[0167] 如圖1所示，所述示例性的立體成像裝置100可與可選的慣性測(cè)量單元（IMU) 150通 信。所述慣性測(cè)量單元150可用于提供所述立體成像裝置100在兩個(gè)時(shí)間點(diǎn)之間的旋轉(zhuǎn)測(cè) 量。所述圖像信號(hào)處理器110可利用所述旋轉(zhuǎn)測(cè)量，沿立體成像裝置100的行進(jìn)路徑組合不 同時(shí)間點(diǎn)的兩個(gè)立體帖W產(chǎn)生連續(xù)構(gòu)圖。連續(xù)構(gòu)圖為同時(shí)定位及構(gòu)圖系統(tǒng)的第二部分。盡 管慣性測(cè)量單元150顯示為獨(dú)立于立體成像裝置100的部件(或外部部件），但慣性測(cè)量單元 150也可W設(shè)置在所述立體成像裝置100的內(nèi)部。
[0168] 有利地，本文掲露的方法使得同時(shí)定位及構(gòu)圖系統(tǒng)能夠在各種室內(nèi)和/或室外環(huán) 境中更精準(zhǔn)且更實(shí)用地進(jìn)行。因此，與具有結(jié)構(gòu)光和/或飛行時(shí)間深度傳感器的常規(guī)系統(tǒng)相 比而言，同時(shí)定位及構(gòu)圖系統(tǒng)可具有更大的利用范圍。
[0169] 圖2示出了圖1所示的微鏡頭陣列102的一種實(shí)施方式的示例性排列。圖2中的微鏡 頭陣列102所示為4X4的微鏡頭陣列，提供總共16個(gè)微鏡頭102A。每個(gè)微鏡頭102A可用于單 獨(dú)地獲取圖像和/或與微鏡頭陣列102中的任意數(shù)量的其他微鏡頭102A組合來(lái)獲取圖像。當(dāng) 使用兩個(gè)選定的微鏡頭102A來(lái)產(chǎn)生圖像時(shí)，例如兩個(gè)微鏡頭102A之間的距離定義雙目成像 裝置的基線。換句話說(shuō)，當(dāng)所述使用微鏡頭陣列102中的兩個(gè)選定微鏡頭102A來(lái)產(chǎn)生圖像 時(shí)，立體成像裝置100形成雙目成像裝置。下文參考圖3描述關(guān)于雙目成像裝置更具體的細(xì) -H- T。
[0170] 重新參考圖2,微鏡頭陣列102中具有最大距離的兩個(gè)鏡頭102A，如第一鏡頭10化 和第二鏡頭102c，定義了雙目成像裝置的最大基線Tmax。兩個(gè)最靠近彼此的鏡頭102A例如第 一鏡頭102d和第二鏡頭102e，定義了最小基線Tmin。在圖2中，示意出了4X4的微鏡頭陣列 102,所述Tmax為位于對(duì)角線上的兩個(gè)最外端微鏡頭102A之間的距離。所述Tmin為位于同一行 或同一列中的任意兩個(gè)相鄰微鏡頭102A之間的距離，無(wú)論哪種情況都具有較短的距離。
[0171] 基于立體觀測(cè)原理，降低基線T的值可降低檢測(cè)范圍的下限和/或所述范圍的上 限。增加所述T可導(dǎo)致相反的效果。因此，所述立體成像裝置100相對(duì)于傳統(tǒng)的具有固定基線 的雙目成像裝置具有優(yōu)越性，運(yùn)是因?yàn)閭鹘y(tǒng)的裝置無(wú)法同時(shí)考慮下限和上限。
[0172] 另一方面，所述微鏡頭陣列102可基于選擇如圖2中所示的微鏡頭102A來(lái)提供預(yù)定 范圍的不同基線。較近處物體的立體位置可通過(guò)具有較小基線的微鏡頭102A來(lái)計(jì)算，且較 遠(yuǎn)處物體的立體位置可通過(guò)具有較大基線的微鏡頭102A來(lái)計(jì)算。因此，可通過(guò)圖2的微鏡頭 陣列102增加立體視覺(jué)的范圍。雖然圖2顯示且描述提供4X4陣列形式的16個(gè)微鏡頭102A用 于說(shuō)明的目的，但微鏡頭陣列102可包括任意合適數(shù)量的W任意合適的配置或大小提供的 微鏡頭102A。如果W多行和多列微鏡頭102A的陣列形式提供，所述微鏡頭陣列202可包括多 行和多列，微鏡頭陣列202中的行數(shù)量與列數(shù)量不同或相同。對(duì)于所述微鏡頭陣列102中選 定的相鄰微鏡頭102A對(duì)而言，微鏡頭陣列102中相鄰微鏡頭102A之間的間隔可相同和/或不 同。
[0173] 現(xiàn)參考圖3,一種用于確定微鏡頭陣列102與所關(guān)注物體198之間的物距Z的系統(tǒng)。 圖3說(shuō)明關(guān)于所述微鏡頭陣列102的兩個(gè)選定鏡頭102A(第一鏡頭310a和第二鏡頭310b)使 用立體觀測(cè)。盡管在本文中使用微鏡頭陣列102的鏡頭102A進(jìn)行說(shuō)明，但任意類型的鏡頭陣 列或微鏡頭陣列都是可用的。因此，鏡頭102A與微鏡頭102A是完全可互換的。微鏡頭310a和 310b各自感知相同的關(guān)注物體198，但位于不同的空間坐標(biāo)中，如所示的坐標(biāo)軸(Xi，yi，Zi) 和(X2，y2，Z2)。微鏡頭310a和310b沿它們各自的光軸330a和330b感知所關(guān)注的物體198且由 此獲得所關(guān)注物體198的兩種不同的二維圖像320a和32化。由于從不同的位置和/或角度獲 取，所述因此二維圖像320a和320b通常是不同的，除非所述微鏡頭310a和31化放置成使得 它們的光軸330a和33化重疊的位置。因此，如下文參考圖4更詳細(xì)的描述，在大多數(shù)情況下， 可獲得圖像320a和32化之間的雙目視差d(例如，在方程4中所表不的）。
[0174] 現(xiàn)參考圖4,可通過(guò)比較二維圖像320a和32化來(lái)確定微鏡頭對(duì)310a和310b與所述 所關(guān)注物體198之間的物距Z?？墒褂靡环NS角測(cè)量方法，從而使用圖像320a與320b之間的 雙目視差d來(lái)確定物距Z。特別的是，可如下給出所關(guān)注物體198的位置，具有指數(shù)i，由其坐 標(biāo)(Xi'Yi'Zi)表示： W75: 方程（0 W 76- 方程（2) WW 方程（3)
[017引其中Cx和Cy表示微鏡頭3 IOa和31化的中屯、坐標(biāo)，Xi和yi表示所述所關(guān)注物體198在 所述圖像320a和320b中的一個(gè)或兩個(gè)中的坐標(biāo)，T為基線（換句話說(shuō)，為微鏡頭310a和31化 的中屯、坐標(biāo)之間的距離），f為微鏡頭310a和31化的校正焦距，i為多個(gè)所關(guān)注物體198和/或 所關(guān)注物體198的多個(gè)特征點(diǎn)355上的指數(shù)，且d為圖像320a與32化之間的雙目視差，此處表 示如下? WW 方程（4)
[0180]圖5示出了一種用于調(diào)整立體成像系統(tǒng)100的基線T的示例性方法100的實(shí)施方式。 在圖5中，所述立體成像系統(tǒng)100具有所述控制器120(如圖I中所示)和微鏡頭陣列102(如圖 1中所示）。所述控制器120通過(guò)控制所述微鏡頭陣列102的動(dòng)作而與所述微鏡頭陣列102交 互。在圖5中，所述控制器120可從所述微鏡頭陣列102中選擇一個(gè)或多個(gè)微鏡頭102A來(lái)產(chǎn)生 立體成像所需的基線;所述微鏡頭陣列102用于獲取圖像，所述圖像用作用于獲取和/或估 算微鏡頭陣列1〇2(如圖1中所示）與所述所關(guān)注物體198(如圖1中所示)之間的物距Z的基 礎(chǔ)?？刹粩嘧兓奈锞郱可根據(jù)預(yù)定的時(shí)間間隔被重復(fù)地獲取或估算。在一些實(shí)施方式中， 所述時(shí)間間隔可限制在六十分之一秒至二十分之一秒的范圍內(nèi)。
[0181] 此外，所述控制器120可控制接收通過(guò)微鏡頭陣列102產(chǎn)生的圖像并基于所述圖像 計(jì)算預(yù)期基線，用W從所述微鏡頭陣列102中選擇兩個(gè)微鏡頭310a和31化。所述預(yù)期基線的 計(jì)算和/或兩個(gè)微鏡頭310a和31化的選擇可基于重復(fù)性地獲取到的變化的物距。
[0182] 現(xiàn)參考圖6,說(shuō)明一種用于調(diào)整立體成像系統(tǒng)100的基線T的示例性方法200的實(shí)施 方式。所述方法200的一種實(shí)施方式能夠自動(dòng)地和/或手動(dòng)地調(diào)整基線T。在步驟610中，獲取 立體成像系統(tǒng)100或所述微鏡頭陣列1〇2(如圖1中所示)與所關(guān)注物體198(如圖1中所示)之 間的物距Z?？梢曅枰褂萌我飧鞣N不同的方法來(lái)獲取物距Z。在一些實(shí)施方式中，可使用選 自微鏡頭陣列1〇2(如圖1中所示)的多個(gè)微鏡頭102A(如圖2中所示)通過(guò)立體觀測(cè)來(lái)獲取物 距Z。例如，兩個(gè)微鏡頭102A可各自分別獲取所關(guān)注物體198的圖像320a、302b(如圖3至4中 所示）?？蓪?duì)所述獲取到的圖像320a、320b的重疊部分進(jìn)行分析而估計(jì)出與所述關(guān)注物體 198的物距Z。備選地和/或另外地，可使用非立體觀測(cè)方法來(lái)獲取物距Z，例如使用激光和/ 或使用超聲波。在步驟680中，自動(dòng)選擇一對(duì)鏡頭102AW根據(jù)物距Z來(lái)獲取基線T。將參考圖 11更詳細(xì)地描述鏡頭的選擇。
[0183] 圖7中說(shuō)明方法300的一種備選的實(shí)施方式。本文中，所述方法300基于立體觀測(cè)， 使用第一鏡頭310a和第二鏡頭31化來(lái)獲取物距Z。在步驟611A中，使用第一鏡頭310a獲取所 關(guān)注物體198(如圖3和4中所示）的第一圖像320a(如圖3和4中所示）。在步驟611B中，使用第 二鏡頭31化獲取所關(guān)注物體198的第二圖像32化(如圖3和4中所示）。第一和第二圖像320曰、 32化能夠W任何常用的方式被獲取，包括同時(shí)和/或連續(xù)的方式被獲取。在一種優(yōu)選的實(shí)施 方式中，所述有利的是同時(shí)獲取第一和第二圖像320a、320b從而減少由于所關(guān)注物體198 和/或所述立體成像系統(tǒng)100隨時(shí)間發(fā)生移位而產(chǎn)生的錯(cuò)誤。
[0184] 在步驟614中，計(jì)算所述第一圖像320a與所述第二圖像32化之間的雙目視差d。備 選地或另外地，可使用微鏡頭310a、310b中任一個(gè)(或全部）的焦距來(lái)確定步驟614中的雙目 視差d。下文參考圖7更詳細(xì)地描述用于計(jì)算視差d的示例性實(shí)施方式。
[0185] 在步驟619中，計(jì)算物距Z?？赏ㄟ^(guò)任意合適的方式來(lái)計(jì)算物距Z。一種示例性的方 式包括使用所述計(jì)算出的雙目視差d。例如，發(fā)現(xiàn)物距Z可作為如615中所建立的所述雙目視 差d、所述第一鏡頭310a與第二鏡頭31化之間的基線TW及步驟校正焦距f的函數(shù)。所述函數(shù) 可表不為：
[0186] 方程（5)
[0187]其中，T為基線(換句話說(shuō)，為微鏡頭310a和31化的中屯、坐標(biāo)之間的距離），f為所述 微鏡頭310a和31化的校正焦距，Xi-)(r = d為所關(guān)注物體198的圖像320a與32化之間的雙目視 差，且Xr為第二圖像31化上的一點(diǎn)，其與第一圖像310a上由Xi表示的一點(diǎn)相匹配。
[0188] 圖8中說(shuō)明系統(tǒng)400的另一種實(shí)施方式。在圖8中，除了加入一個(gè)新的步驟W外，所 有步驟與圖7中所示的系統(tǒng)300相同。在圖8中，顯示的一種備選的實(shí)施方式具有步驟615,其 中可基于兩個(gè)選定微鏡頭310a、310b的焦距來(lái)計(jì)算校正焦距f。盡管第一鏡頭310a與第二鏡 頭31化的焦距通?？上嗤?，但它們也可是不同的。計(jì)算校正焦距的所有方法在本文中都 可適用。在一種實(shí)施方式中，文章"立體相機(jī)標(biāo)定"中的計(jì)算校正焦距的方法可用于本文中， 馬庫(kù)斯.曼（Markus Mann),立體相機(jī)標(biāo)定（Stereo Camera (^ilibration)，（2004年 12月10 日），可獲得于：http://cs.nyu.edu/courses/falll4/CSCI-GA.2271-001/ 06StereoCamer曰C曰Iibr曰tio n.pdf。
[0189] 基于關(guān)于圖7和圖8的所論述的，由于Xi為已知要素，因此可由第二圖像320b上的 匹配點(diǎn)Xr來(lái)計(jì)算視差d。在圖9中，在第二圖像32化上的匹配點(diǎn)Xr進(jìn)行定位的示例性實(shí)施方式 僅用于說(shuō)明目的。在圖9中，IL表示第一圖像320曰，且IK表示同一所關(guān)注物體198的第二圖像 320b。第一圖像320a上的點(diǎn)義，f為已知的，且第二圖像320b上的匹配點(diǎn)::皆可定義為與第一 圖像320a的點(diǎn)x/ "最類似"的點(diǎn)，其可由W下方程來(lái)表示：
[0190] d = a;r卵ind I lL(xi)-lR(xi+d) I 方程(6)
[0191] 其中d表示兩個(gè)選定微鏡頭310a、310b(如圖3和圖4中所示）的視差，IL為第一圖像 320a JK為同一所關(guān)注物體198的第二圖像32化，Xi為第一圖像320a的點(diǎn)乂/。
[0192] 由于可能匹配錯(cuò)誤，因此為了確定匹配準(zhǔn)確度和視覺(jué)范圍，視差d不能小于或大于 某些預(yù)定值。在本發(fā)明的一種優(yōu)選的實(shí)施方式中，視差d大于5個(gè)像素且小于第二圖像32化 寬度的五分之一，所述第二圖像32化與第一圖像320a可大小相同。作為一種說(shuō)明性的實(shí)施 例，假定f = 480，T = O. 15米且圖像分辨率為320*240像素，則可推導(dǎo)出1.5米至15.4米的有 效視覺(jué)范圍。
[0193] 在確定類似性中，從圖像310a、310b的每個(gè)中取出中屯、具有比較點(diǎn)的3 X 3像素塊。 當(dāng)?shù)谝缓偷诙D像320a和32化為彩色圖像時(shí)，可對(duì)3 X 3像素塊的每個(gè)像素進(jìn)行彩色分量值 的比較。相反，當(dāng)圖像320a和320b為黑白圖像時(shí)，可比較每個(gè)像素的灰度值?；诜匠?,選 擇所有9個(gè)像素中具有最小差異值總和的點(diǎn)作為匹配點(diǎn)。所述流程可重復(fù)地用于在所述第 一圖像31 Oa上所有選定的特征點(diǎn)。
[0194] 現(xiàn)參考圖10,說(shuō)明使用所關(guān)注物體198的特征點(diǎn)355獲取物距Z的方法600的另一備 選的實(shí)施方式。在步驟922中，獲取所關(guān)注物體198上的多個(gè)特征點(diǎn)355。可使用一種或多種 不同的方法來(lái)選擇所述特征點(diǎn)355。在一種示例性的實(shí)施方式中，所述特征點(diǎn)355可識(shí)別為 所關(guān)注物體198上的預(yù)定形狀。在另一實(shí)施方式中，所述特征點(diǎn)可識(shí)別為所關(guān)注物體198上 的一個(gè)或多個(gè)具有特定顏色或亮度的部分。在另一實(shí)施方式中，可選擇所關(guān)注物體198上的 隨機(jī)部分作為特征點(diǎn)355。在另一實(shí)施方式中，可在所關(guān)注物體198上W規(guī)則間隔的間距選 擇特征點(diǎn)355,例如間隔間距為每一個(gè)像素、每?jī)蓚€(gè)像素、每=個(gè)像素、每四個(gè)像素，等等。所 述特征點(diǎn)355可視需要為不同的形狀和大小。在一些實(shí)施方式中，可使用上述方法的組合來(lái) 選擇特征點(diǎn)355。
[01M]在步驟924中，將選定的特征點(diǎn)355從所述第一圖像310a被匹配到所述第二圖像 310b上。在一種優(yōu)選的實(shí)施方式中，所述特征點(diǎn)的匹配包括兩個(gè)步驟。在步驟924A中，選擇 所述第一圖像的特征點(diǎn)355。從計(jì)算點(diǎn)開(kāi)始沿著與所述微鏡頭310a、310b的中屯、線平行的線 掃描匹配點(diǎn)?？苫诘谝粓D像310a上的點(diǎn)的坐標(biāo)、所述基線的方向和/或長(zhǎng)度來(lái)計(jì)算匹配的 開(kāi)始點(diǎn)。盡管優(yōu)選地限定為僅沿著選定線的一個(gè)方向，但也可W在任意一個(gè)或多個(gè)預(yù)定方 向進(jìn)行掃描。
[0196] 在步驟924B中，當(dāng)掃描每一個(gè)點(diǎn)時(shí)，通過(guò)本文中參考圖8詳細(xì)描述的方法計(jì)算兩個(gè) 點(diǎn)之間的相似度，并選擇所述第二圖像31化中與所述第一圖像310a的特征點(diǎn)具有最小差異 值總和的點(diǎn)。
[0197] 在步驟926中，獲得每個(gè)特征點(diǎn)355與所述立體成像系統(tǒng)100之間的特征距離Z。每 個(gè)特征距離Z可通過(guò)任意合適的方式來(lái)獲得，包括使用由第一鏡頭310a(如圖3和4中所示） 獲取的第一圖像320a(如圖3和4中所示）中的特征點(diǎn)355的位置與由第二鏡頭31化(如圖3和 4中所示)獲取的第二圖像32化(如圖3和4中所示）中的特征點(diǎn)355的位置之間的雙目視差d。 使用所述雙目視差d，可通過(guò)方程1至4W上述方式獲得特征距離Z。
[0198] 在步驟928中，使用步驟926中獲得的特征距離Z獲得物距Z。多種方法中的任一種 均可用于基于所關(guān)注物體198的各個(gè)特征距離Z來(lái)確定所述物距Z。在一種實(shí)施方式中，基于 特征距離Z的平均值獲得所述物距Z。示例性的平均值類型可包括算術(shù)平均值、幾何平均值、 中間值和/或不受限定的模式。在另一實(shí)施方式中，可通過(guò)選擇一個(gè)或多個(gè)特征點(diǎn)355并基 于選定特征點(diǎn)355的特征距離Z獲取物距Z來(lái)獲得物距Z。
[0199] 圖11說(shuō)明用于從微鏡頭陣列102中選擇不同鏡頭102A的方法700的一種實(shí)施方式。 假定在獲取第一圖像320a后W短時(shí)間間隔獲取第二圖像320b。在一實(shí)施方式中，所述時(shí)間 間隔可限制在六十分之一秒至二十分之一秒的范圍內(nèi)。由于所述時(shí)間間隔較短，因此所述 物距Z的變化通常是可W忽略的，且因此在所述物距Z及其相應(yīng)基線的計(jì)算中可忽略。換句 話說(shuō)，所述物距Z的變化可能將不會(huì)實(shí)質(zhì)性地影響所述方法700的執(zhí)行。然而，所述物距Z的 突然或意外變化可導(dǎo)致由下面段落描述的示例性方法進(jìn)行的計(jì)算更長(zhǎng)。但是由于所述突然 或意外變化極少見(jiàn)，因此計(jì)算的總量不會(huì)實(shí)質(zhì)性影響。
[0200] #擊驢9W中化算基線時(shí)，通過(guò)W下方程估算物距Z的檢測(cè)范圍（Zmin至Zmax):
[誦]
方程（7)
[0202] 其中Z為微鏡頭陣列102A與所關(guān)注物體198之間的物距，f為第一鏡頭310a和第二 鏡頭31化的校正焦距，且T為第一鏡頭310A與第二鏡頭310B兩者之間的基線，Xi為第一圖像 320a上的特征點(diǎn)且Xr為對(duì)應(yīng)于Xi的匹配點(diǎn)。參考圖8描述校正焦距f的計(jì)算。本文中，所述特 征點(diǎn)Xl和Xr可通過(guò)上文參考圖10的具體描述的方式來(lái)進(jìn)行選擇。在一些實(shí)施方式中，Xl和Xr 可選自具有最小物距和/或具有最大物距的點(diǎn)。優(yōu)選地，Xl和Xr可選自具有平均物距的點(diǎn)。平 均物距可通過(guò)任意常用的方式來(lái)確定，包括通過(guò)確定算術(shù)平均值、幾何平均值、中間值和/ 或不受限定的模式。在一種優(yōu)選的實(shí)施方式中，選擇可用在微鏡頭陣列102上的兩個(gè)最靠近 的鏡頭310a、310b來(lái)提供最短基線T。
[0203] 在估算檢測(cè)范圍（Zmin至Zmax)時(shí)，可基于預(yù)定視差d、校正焦距f和檢測(cè)范圍（Zmin 至Zmax)來(lái)計(jì)算基線T。為計(jì)算基線T，在步驟956中，W下方程可用于獲取對(duì)第一鏡頭310a和 第二鏡頭31化的選擇：
[0204] 、 ,、 方程（8)
[0205] 其中d為第一鏡頭310a和第二鏡頭31化產(chǎn)生的視差，Z為物距，且f為第一鏡頭310a 和第二鏡頭31化的校正焦距。在一些優(yōu)選的實(shí)施方式中，選擇不小于10個(gè)像素的d。在一些 其他實(shí)施方式中，物距Z可為如上計(jì)算出的最小物距Zmin。在一種優(yōu)選的實(shí)施方式中，在方 程8中滿足d〉10的條件下，選擇微鏡頭陣列中任意兩個(gè)鏡頭的最小可用距離作為基線T。在 初始選擇兩個(gè)鏡頭310a、310b后，可通過(guò)選擇不同的鏡頭102A來(lái)增加或減小視差。在一種優(yōu) 選的實(shí)施方式中，視差僅需要增加。
[0206] 圖12說(shuō)明一種用于執(zhí)行同時(shí)定位及構(gòu)圖（SLAM)的方法800的一種示例性實(shí)施方 式。在圖12的步驟810中，所述立體成像裝置(圖1中所示)獲取兩帖立體圖像。兩帖圖像可通 過(guò)任意合適的方式來(lái)獲取，包括根據(jù)上文參考圖1至圖11所述的任何方法。在步驟820中，可 計(jì)算出所關(guān)注物體198的物距Z。物距Z可通過(guò)任何合適的方式來(lái)計(jì)算，包括根據(jù)上文參考圖 1至圖11所述的任何方法。在步驟830中，通過(guò)匹配第一和第二帖上的特征點(diǎn)來(lái)匹配兩個(gè)帖。 在步驟840中，通過(guò)所述獲取的帖來(lái)估算=次平移運(yùn)動(dòng)和=次旋轉(zhuǎn)的六種運(yùn)動(dòng)。所述旋轉(zhuǎn)可 通過(guò)慣性測(cè)量單元（Inedial Measurement化it, IMU)來(lái)獲取從而獲得旋轉(zhuǎn)數(shù)據(jù)，并基于 旋轉(zhuǎn)數(shù)據(jù)來(lái)計(jì)算平移。
[0207] 在獲取所述旋轉(zhuǎn)和平移時(shí)，如W下部分中所述，對(duì)各帖應(yīng)用測(cè)量，如在下面段落描 述的步驟850。同樣在步驟850中，獲取下一帖圖像且系統(tǒng)重復(fù)此過(guò)程，從而計(jì)算新獲取的 帖。此過(guò)程持續(xù)重復(fù)，從而實(shí)現(xiàn)不受干擾的構(gòu)圖。
[0208] 圖13說(shuō)明方法800(圖12中所示）的一種備選實(shí)施方式。如圖12中所說(shuō)明，在步驟 811中，通過(guò)參考圖1至圖11所述的任意方法獲取兩個(gè)立體帖，即一個(gè)第一立體帖和一個(gè)第 二立體帖。如參考圖1至圖11所述，所述立體帖由多個(gè)立體點(diǎn)組成且每個(gè)點(diǎn)由x、y和Z坐標(biāo)值 來(lái)表示。本文所述的兩帖是沿著所述立體成像裝置1〇〇(圖1中所示）的行進(jìn)路徑，在不同的 時(shí)間點(diǎn)獲取的。
[0209] 步驟831中匹配第一帖和第二帖由兩個(gè)步驟組成。如831中的第一步驟，基于步驟 832中的第一帖{Pi，P2，P3. . .，Pn}獲取立體點(diǎn)云。每個(gè)P為第一帖的特征點(diǎn)。在x-y平面上，所 述立體點(diǎn)云可表示為{(Xll，yil)，（X2l，y2l)，{(X3l，y3l)，…，{(Xnl，ynl)}。基于處理的速度、帖 的大小、帖的分辨率W及控制器120的計(jì)算能力等，獲取不同的特征點(diǎn)數(shù)量。在本文掲露的 典型實(shí)施方式中，所述點(diǎn)的數(shù)量可在100至200的示例性范圍內(nèi)。
[0210] 作為步驟831中匹配帖的第二步驟，在步驟834中，計(jì)算第二帖中的第二投影陣列 {(Xl2,yi2) , (X22，y22)，{(X32，y32)，???，{(Xm2，ym2)}。所述第二投影陣列中的每個(gè)點(diǎn)（Xi2,yi2)表 示匹配點(diǎn)，投影在x-y平面中，對(duì)應(yīng)于所述第一帖的點(diǎn)云中的點(diǎn)P域（x/，y/)。如果云陣列 {Pl，P2，P3. . .，Pn}中的所有點(diǎn)均被匹配至所述第二帖上，則所述第二投影陣列的大小可與 云陣列的大小相同。然而，在大多數(shù)情況下，所述第二投影陣列的大小小于云陣列{Pi,P2， P3. ..，Pn}的大小，運(yùn)是因?yàn)椴⒎撬悬c(diǎn)都可匹配至第二帖上。第一帖與第二帖的點(diǎn)云匹配 可通過(guò)參考圖9所述的方法來(lái)完成，其中對(duì)3X3的像素進(jìn)行比較W確定兩個(gè)點(diǎn)的相似度。
[0211] 接著，在步驟841中，測(cè)量第二立體帖相對(duì)于第一立體帖841的運(yùn)動(dòng)，由S個(gè)步驟組 成。在步驟842中，配置慣性測(cè)量單元150W用于測(cè)量旋轉(zhuǎn)運(yùn)動(dòng)，并將旋轉(zhuǎn)測(cè)量值傳遞給控制 器120。旋轉(zhuǎn)測(cè)量值由=維陣列R來(lái)表示。通過(guò)旋轉(zhuǎn)測(cè)量值陣列R，第一帖的點(diǎn)云陣列與第二 帖的投影點(diǎn)陣列之間的關(guān)系可表示為：
[0212] 方程（9)
[0213] 其中R為表示旋轉(zhuǎn)測(cè)量值的=維陣列，Pj為第一帖中的立體點(diǎn)，T表示待計(jì)算的第 二帖的平移的S維陣列，且y為充當(dāng)因子的隨機(jī)數(shù)。
[0214] 為保證慣性測(cè)量單元150測(cè)量的相關(guān)旋轉(zhuǎn)陣列的準(zhǔn)確度，獲取所述第一帖時(shí)的時(shí) 間點(diǎn)與獲取第二帖時(shí)的時(shí)間點(diǎn)之間的間隔相對(duì)短。視實(shí)際應(yīng)用的需要而言，所述第一帖與 第二帖之間的間隔通?？稍诙种幻胫亮种幻氲姆秶鷥?nèi)。
[0215] 在方程9中存在=個(gè)未知數(shù)(Tx，Ty，Tz);因此，通過(guò)數(shù)學(xué)原理，在步驟844中需要 = 個(gè)方程共同來(lái)解開(kāi)所述具有=個(gè)未知數(shù)的陣列T。然而，每個(gè)投影點(diǎn)僅具有兩個(gè)值Xi及yi。因 此，為了解開(kāi)T中的=個(gè)未知數(shù)，我們需要結(jié)合四個(gè)方程中的=個(gè)方程用于兩個(gè)所述點(diǎn)。
[0216] 在現(xiàn)實(shí)生活中，由于在匹配所述第一立體帖與第二立體帖之間的點(diǎn)中存在錯(cuò)誤 和/或不準(zhǔn)確，因此所述計(jì)算出的T可能不準(zhǔn)確。在步驟846中，將所述計(jì)算出的平移陣列T引 入方程9中，并計(jì)算確定與所述方程中定義的關(guān)系一致的點(diǎn)的數(shù)量。然后，在844中解出T時(shí) 可使用另一對(duì)點(diǎn)，然后在步驟846中用于計(jì)算來(lái)確定與方程9的關(guān)系一致的點(diǎn)的數(shù)量。此過(guò) 程重復(fù)預(yù)定數(shù)量對(duì)的點(diǎn)，且結(jié)果為預(yù)定數(shù)量的Ts,同時(shí)每個(gè)T的點(diǎn)數(shù)量與方程9一致。
[0217] 在步驟548中，比較所述一致點(diǎn)的數(shù)量并選擇具有最大數(shù)量一致點(diǎn)的T。
[0218] 在步驟851中，使用所述計(jì)算的T和測(cè)量的R，我們可W使用修正方程9來(lái)獲取第二 立體帖的所沐畝化占另，
[0219] 方程（10)
[0220] 在步驟861中，所述計(jì)算的第二立體帖的立體點(diǎn)云與所述第一立體帖的立體點(diǎn)云 相結(jié)合。所述第一立體帖被所述第二立體帖取代且在下一時(shí)間點(diǎn)獲取新的第二立體帖。所 述參考圖13描述的步驟方法可再=重復(fù)從而執(zhí)行連續(xù)的定位及構(gòu)圖。
[0221] 所述實(shí)施方式適于各種修改和替代形式，且其具體實(shí)施例已在圖式中W實(shí)施例的 方式示出并在本文中詳細(xì)描述。然而應(yīng)理解，所述實(shí)施方式不限于所掲露的特定形式或方 法，相反，本發(fā)明將涵蓋所有修改、等效物和替代物。
【主權(quán)項(xiàng)】
1. 一種用于建立具有微鏡頭陣列的立體成像系統(tǒng)的基線的方法，包括： 獲取所述微鏡頭陣列與所關(guān)注物體之間的物距；W及 基于所述獲取的物距動(dòng)態(tài)地從所述微鏡頭陣列中選擇兩個(gè)鏡頭。2. 如權(quán)利要求1所述的方法，其中所述動(dòng)態(tài)地選擇所述兩個(gè)鏡頭包括從所述微鏡頭陣 列的多個(gè)鏡頭中選擇第一鏡頭和第二鏡頭。3. 如權(quán)利要求2所述的方法， 其中所述獲取所述物距包括重復(fù)地獲取所述微鏡頭陣列與所關(guān)注物體之間變化的物 距；W及 其中所述從所述微鏡頭陣列的多個(gè)鏡頭中選擇所述第一鏡頭和所述第二鏡頭為基于 所述重復(fù)地獲取所述變化的物距。4. 如權(quán)利要求2或3所述的方法，其中還包括基于所述選擇所述第一鏡頭和所述第二鏡 頭建立所述基線。5. 如權(quán)利要求4所述的方法，其中還包括基于所述微鏡頭陣列與所述所關(guān)注物體之間 變化的物距來(lái)動(dòng)態(tài)地調(diào)整所述基線。6. 如權(quán)利要求2所述的方法，其中所述獲取所述物距包括： 通過(guò)所述第一鏡頭獲取所述所關(guān)注物體的第一圖像； 通過(guò)所述第二鏡頭獲取所述所關(guān)注物體的第二圖像；W及 確定所述第一圖像與所述第二圖像之間的雙目視差;及 其中，所述獲取所述物距包括基于所述確定所述雙目視差來(lái)計(jì)算所述物距。7. 如權(quán)利要求6所述的方法，其中所述獲取所述物距還包括在所述確定所述雙目視差 之前基于所述第一鏡頭和所述第二鏡頭的焦距計(jì)算校正焦距。8. 如權(quán)利要求6或7所述的方法，其中所述獲取所述物距包括： 獲取所述第一圖像上的多個(gè)特征點(diǎn)；W及 使所述第一圖像的多個(gè)特征點(diǎn)與所述第二圖像上的點(diǎn)匹配。9. 如權(quán)利要求8所述的方法，其中所述特征點(diǎn)包括所述第一圖像或所述第二圖像的像 素。10. 如權(quán)利要求8或9所述的方法，其中所述確定所述雙目視差包括確定至少五個(gè)像素 且不超過(guò)圖像寬度五分之一的雙目視差。11. 如權(quán)利要求8至10中任一項(xiàng)所述的方法，其中所述匹配所述多個(gè)特征點(diǎn)包括： 掃描所述第二圖像來(lái)識(shí)別所述第二圖像上與所述第一圖像選定的特征點(diǎn)相匹配的點(diǎn)； W及 計(jì)算所述第一圖像選定的特征點(diǎn)與所述點(diǎn)之間的相似度。12. 如權(quán)利要求11所述的方法，其中所述計(jì)算所述相似度包括將所述第一圖像選定的 特征點(diǎn)與W所述第二圖像上的所述點(diǎn)為中屯、的3X3像素區(qū)域進(jìn)行比較。13. 如權(quán)利要求12所述的方法，其中所述比較3X3像素區(qū)域包括將彩色圖像的每個(gè)像 素的每個(gè)彩色分量的差異總和或黑白圖像的每個(gè)像素的灰度值差異總和進(jìn)行比較。14. 如前述權(quán)利要求中任一項(xiàng)所述的方法，其中所述獲取所述物距還包括： 確定所述微鏡頭陣列與每個(gè)所述特征點(diǎn)之間的各個(gè)特征距離；W及 使用所述特征距離確定所述物距。15. 如權(quán)利要求14所述的方法，其中所述確定所述物距包括基于所述特征距離的平均 值獲取所述物距。16. 如權(quán)利要求14或權(quán)利要求15所述的方法，其中所述確定所述物距包括選擇一個(gè)或 多個(gè)所述特征點(diǎn)并基于所述選定的特征點(diǎn)的特征距離來(lái)獲取所述物距。17. 如權(quán)利要求16所述的方法，其中所述選擇所述特征點(diǎn)包括選擇最靠近所述微鏡頭 陣列的預(yù)定百分比的特征點(diǎn)W及獲取所述物距作為距所述微鏡頭陣列最遠(yuǎn)的所述選定特 征點(diǎn)的所述特征距離。18. 如前述權(quán)利要求中任一項(xiàng)所述的方法，其中所述動(dòng)態(tài)地選擇所述兩個(gè)鏡頭包括： 基于可用于所述微鏡頭陣列的最小基線、校正焦距和預(yù)定的視差范圍來(lái)估算所述物距 的檢測(cè)范圍； 基于所述物距的所述估算檢測(cè)范圍來(lái)計(jì)算基線范圍；W及 當(dāng)確定視差大于預(yù)定水平時(shí)，選擇最小基線。19. 如權(quán)利要求2至18中任一項(xiàng)所述的方法，其中所述選擇所述第一鏡頭與所述第二鏡 頭包括： 使用Z =巧(T/(xi-Xr))估算所述物距的檢測(cè)范圍（Zmin到Zmax)，其中Z為所述物距，f為 所述選定鏡頭的校正焦距，T為兩個(gè)最靠近鏡頭之間的基線，（X1-&)為兩個(gè)匹配點(diǎn)的視差； 使用T = Z(Vf計(jì)算可用基線的范圍，其中d=(Xl-Xr)為所述視差；W及 在確保所述視差關(guān)系為d〉10的情形下，選擇具有最小基線T的所述第一鏡頭和所述第 -鏡頭。20. 如權(quán)利要求2至19中任一項(xiàng)所述的方法，其中所述選擇所述第一鏡頭和所述第二鏡 頭包括增加所述基線直到所述第一鏡頭的視野與所述第二鏡頭的視野重疊至少50%。21. 如權(quán)利要求5所述的方法，其中還包括在所述基線自動(dòng)調(diào)整后校準(zhǔn)所述立體成像系 統(tǒng)的外部參數(shù)。22. 如權(quán)利要求21所述的方法，其中所述校準(zhǔn)包括校準(zhǔn)所述立體成像系統(tǒng)的平移外部 參數(shù)和/或轉(zhuǎn)動(dòng)外部參數(shù)中的至少一個(gè)。23. 如權(quán)利要求22所述的方法，其中所述校準(zhǔn)包括根據(jù)所述選擇的兩個(gè)鏡頭初始校準(zhǔn) 所述平移外部參數(shù)。24. 如權(quán)利要求23所述的方法，其中所述校準(zhǔn)包括在所述初始校準(zhǔn)后進(jìn)一步校準(zhǔn)所述 外部參數(shù)W使所述外部參數(shù)最優(yōu)化。25. 如權(quán)利要求5至23中任一項(xiàng)所述的方法，其中所述立體成像系統(tǒng)安裝于移動(dòng)平臺(tái) 上，且其中所述自動(dòng)調(diào)整取決于所述移動(dòng)平臺(tái)的行進(jìn)模式。26. 如權(quán)利要求24所述的方法，其中所述移動(dòng)平臺(tái)為無(wú)人飛行器（unmanned aerial vehicle，UAV)，且其中所述行進(jìn)模式為所述無(wú)人飛行器的飛行模式。27. -種立體成像系統(tǒng)，其用于根據(jù)權(quán)利要求1至26中任一項(xiàng)來(lái)執(zhí)行基線的自動(dòng)調(diào)整。28. -種計(jì)算機(jī)程序產(chǎn)品，其包括用于根據(jù)權(quán)利要求1至26中任一項(xiàng)自動(dòng)調(diào)整具有微鏡 頭陣列的立體成像系統(tǒng)的基線的指令。29. -種裝置，用于建立立體成像系統(tǒng)的基線，其包括： 具有多個(gè)鏡頭的微鏡頭陣列，所述每個(gè)鏡頭用于單獨(dú)地或與一個(gè)或多個(gè)其他鏡頭任意 組合地用于獲取圖像;和 控制器，其用于基于所述獲取的所述微鏡頭陣列與所關(guān)注物體之間的物距來(lái)動(dòng)態(tài)地選 擇兩個(gè)鏡頭。30. 如權(quán)利要求29所述的裝置，其中所述控制器用于從所述微鏡頭陣列的多個(gè)鏡頭中 選擇第一鏡頭和第二鏡頭。31. 如權(quán)利要求30所述的方法，其中所述控制器用于獲取所述微鏡頭陣列與所關(guān)注物 體之間的變化物距并基于所述重復(fù)獲取所述變化物距從所述微鏡頭陣列的多個(gè)鏡頭中選 擇所述第一鏡頭和所述第二鏡頭。32. 如權(quán)利要求31所述的裝置，其中所述控制器用于基于所述第一鏡頭和所述第二鏡 頭來(lái)建立所述基線。33. 如權(quán)利要求32所述的裝置，其中所述控制器用于基于所述微鏡頭陣列與所關(guān)注物 體之間的變化物距來(lái)動(dòng)態(tài)地調(diào)整所述基線。34. 如權(quán)利要求31至33中任一項(xiàng)所述的裝置，其中所述控制器用于通過(guò)W下方式獲取 所述物距： 通過(guò)所述第一鏡頭獲取所述所關(guān)注物體的第一圖像； 通過(guò)所述第二鏡頭獲取所述所關(guān)注物體的第二圖像； 確定所述第一圖像與所述第二圖像之間的雙目視差；W及 基于所述確定的雙目視差來(lái)計(jì)算所述物距。35. 如權(quán)利要求34所述的方法，其中所述控制器用于在所述確定所述雙目視差之前，根 據(jù)所述第一鏡頭和所述第二鏡頭的焦距來(lái)計(jì)算校正焦距。36. 如權(quán)利要求34或35所述的裝置，其中所述控制器用于獲取所述第一圖像上的多個(gè) 特征點(diǎn)，并將所述第一圖像的所述多個(gè)特征點(diǎn)與所述第二圖像的點(diǎn)進(jìn)行匹配。37. 如權(quán)利要求36所述的裝置，其中所述特征點(diǎn)包括所述第一圖像或所述第二圖像的 像素。38. 如權(quán)利要求36或37所述的裝置，其中所述控制器用于確定至少五個(gè)像素且不超過(guò) 圖像寬度五分之一的雙目視差。39. 如權(quán)利要求38所述的裝置，其中所述控制器用于掃描所述第二圖像來(lái)識(shí)別所述第 二圖像上與所述第一圖像的選定特征點(diǎn)相匹配的點(diǎn)，并計(jì)算所述第一圖像的所述選定特征 點(diǎn)與所述點(diǎn)之間的相似度。40. 如權(quán)利要求39所述的裝置，其中所述控制器用于將所述第一圖像的每個(gè)選定特征 點(diǎn)與W所述第二圖像上的所述點(diǎn)為中屯、的3X3像素區(qū)域進(jìn)行比較。41. 如權(quán)利要求40所述的裝置，其中所述控制器用于將彩色圖像的每個(gè)像素的每個(gè)彩 色分量的差異總和或黑白圖像的每個(gè)像素的灰度值差異總和進(jìn)行比較。42. 如權(quán)利要求36至41中任一項(xiàng)所述的裝置，其中所述控制器用于確定所述微鏡頭陣 列與每個(gè)所述特征點(diǎn)之間的各個(gè)特征距離，并使用所述特征距離確定所述物距。43. 如權(quán)利要求42所述的裝置，其中所述物距為所述特征距離的平均值。44. 如權(quán)利要求42或43所述的裝置，其中所述控制器用于選擇一個(gè)或多個(gè)所述特征點(diǎn) 并基于所述選定特征點(diǎn)的特征距離來(lái)獲取所述物距。45. 如權(quán)利要求44所述的裝置，其中W最靠近所述鏡頭陣列或距所述微鏡頭陣列最遠(yuǎn) 的特征點(diǎn)的預(yù)定百分比來(lái)選擇所述特征點(diǎn)。46. 如權(quán)利要求30至45中任一項(xiàng)所述的裝置，其中所述控制器用于通過(guò)W下方式選擇 所述第一鏡頭和所述第二鏡頭： 基于可用于所述微鏡頭陣列的最小基線、校正焦距和預(yù)定的視差范圍來(lái)估算所述物距 的檢測(cè)范圍； 基于所述估算的物距檢測(cè)范圍來(lái)計(jì)算基線范圍；W及 在確保視差大于預(yù)定水平時(shí)，選擇最小基線。47. 如權(quán)利要求30至46中任一項(xiàng)所述的裝置，其中通過(guò)W下方式選擇所述第一鏡頭與 所述束^鏡頭： 由Z =巧(T/(xi-Xr))估算所述物距的檢測(cè)范圍（Zmiη至Zmax)，其中Z為所述物距，f為所 述選定的第一和第二鏡頭的校正焦距，T為兩個(gè)最靠近微鏡頭之間的基線，（xi-xr)為兩個(gè)匹 配點(diǎn)的視差； 由T = Z(Vf計(jì)算可用基線的范圍，其中d= (Xl-Xr)為所述視差；W及 在確保所述視差關(guān)系為d〉10的情形下，選擇具有最小基線T的所述第一鏡頭和所述第 -鏡頭。48. 如權(quán)利要求30至47中任一項(xiàng)所述的裝置，其中所述控制器用于增加所述基線直到 所述第一鏡頭的視野與所述第二鏡頭的視野重疊至少50%。49. 如權(quán)利要求33至48中任一項(xiàng)所述的裝置，其中所述控制器用于在所述基線調(diào)整后 校準(zhǔn)所述立體成像系統(tǒng)的外部參數(shù)。50. 如權(quán)利要求49所述的裝置，其中所述外部參數(shù)包括所述立體成像系統(tǒng)的平移外部 參數(shù)和/或轉(zhuǎn)動(dòng)外部參數(shù)中的至少一個(gè)。51. 如權(quán)利要求50所述的裝置，其中所述平移外部參數(shù)根據(jù)所述第一鏡頭和所述第二 鏡頭來(lái)初始校準(zhǔn)。52. 如權(quán)利要求51所述的裝置，其中所述控制器用于在所述初始校準(zhǔn)后校準(zhǔn)所述外部 參數(shù)W使所述外部參數(shù)最優(yōu)化。53. 如權(quán)利要求52所述的裝置，其中所述立體成像系統(tǒng)為無(wú)人飛行器(UAV)，且其中所 述基線調(diào)整取決于所述無(wú)人飛行器的飛行模式。54. 如權(quán)利要求30至53中任一項(xiàng)所述的裝置，其中所述立體成像系統(tǒng)為紅外成像系統(tǒng)。55. 如權(quán)利要求30至54中任一項(xiàng)所述的裝置，其中所述立體成像系統(tǒng)為X射線成像系 統(tǒng)。56. -種用于通過(guò)具有微鏡頭陣列的成像裝置進(jìn)行同時(shí)定位及構(gòu)圖（SLAM)的方法，包 括： 通過(guò)權(quán)利要求2至26中任一項(xiàng)所述的方法，使用所述微鏡頭陣列來(lái)獲取第一立體帖和 第二立體帖； 通過(guò)慣性測(cè)量單元（IMU)來(lái)測(cè)量所述第二帖相對(duì)于第一立體帖的旋轉(zhuǎn)而產(chǎn)生旋轉(zhuǎn)數(shù) 據(jù)；W及 通過(guò)將所述旋轉(zhuǎn)數(shù)據(jù)與所述第一和第二立體帖組合來(lái)匹配所述第一和第二立體帖， 其中所述第一立體帖與所述第二立體帖W預(yù)定的百分比相互重疊。57. 如權(quán)利要求56所述的同時(shí)定位及構(gòu)圖的方法，其中所述獲取所述第一立體帖和所 述第二立體帖包括在不同的時(shí)間點(diǎn)獲取所述第一立體帖和所述第二立體帖。58. 如權(quán)利要求57所述的同時(shí)定位及構(gòu)圖的方法，其中所述在不同的時(shí)間點(diǎn)獲取所述 第一立體帖和所述第二立體帖包括W不小于六十分之一秒且不大于二十分之一秒的間隔 獲取所述第一立體帖和所述第二立體帖。59. 如權(quán)利要求58所述的同時(shí)定位及構(gòu)圖的方法，其中所述方法還包括： 基于所述第一立體帖獲取立體點(diǎn)云， 其中所述立體點(diǎn)云為立體特征點(diǎn)的陣列{ Pi，P2，P3· · ·，Pn}。60. 如權(quán)利要求59所述的同時(shí)定位及構(gòu)圖的方法，其中所述方法還包括： 基于所述立體點(diǎn)云，在x-y平面上獲取第二投影陣列Kxi2，yi2)，（x22，y2 2)，{(x32， 732)，...，{(Xm2，ym2)}。61. 如權(quán)利要求60所述的同時(shí)定位及構(gòu)圖的方法，其中所述獲取所述第二投影陣列包 括： 基于所述立體點(diǎn)云在x-y平面上獲取第一投影陣列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用如權(quán)利要求11至13中任一項(xiàng)的方法，將所述第一投影陣列的多個(gè)點(diǎn)匹配至所述第 二立體圖像上而產(chǎn)生所述第二投影陣列{(Xl2，yi2)，（X22，y22)，{(X32，y32)，'.'，{(Xm2，ym2)}。62. 如權(quán)利要求61所述的同時(shí)定位及構(gòu)圖的方法，其中所述方法還包括： 基于所述旋轉(zhuǎn)數(shù)據(jù)、所述立體點(diǎn)云和所述第二投影陣列來(lái)計(jì)算平移陣列T。63. 如權(quán)利要求62所述的同時(shí)定位及構(gòu)圖的方法，其中所述計(jì)算所述平移陣列T包括應(yīng) 用關(guān)系式：其中R為旋轉(zhuǎn)測(cè)量的陣列，門為立體點(diǎn)，T表示待計(jì)算的平移陣列，且μ為隨機(jī)數(shù)。64. 如權(quán)利要求63所述的同時(shí)定位及構(gòu)圖的方法，其中所述應(yīng)用還包括 通過(guò)解開(kāi)用于選自所述立體點(diǎn)云的至少兩個(gè)點(diǎn)及它們?cè)诘诙队瓣嚵衅ヅ涞膬蓚€(gè)點(diǎn)的一 組方程來(lái)計(jì)算Τ。65. 如權(quán)利要求62至64中任一項(xiàng)所述的同時(shí)定位及構(gòu)圖的方法，其中還包括： 通過(guò)將Τ引入具有多個(gè)選自所述立體點(diǎn)云的點(diǎn)及其在所述第二投影陣列上的相應(yīng)投影 點(diǎn)的方程雌·^來(lái)證實(shí)所述平移陣列Τ，從而得到匹配點(diǎn)的數(shù)量；W及 選擇具有最大數(shù)量匹配點(diǎn)的平移陣列Τ作為選定的平移陣列Τ。66. 如權(quán)利要求65所述的同時(shí)定位及構(gòu)圖的方法，其中所述方法還包括： 采用所述旋轉(zhuǎn)數(shù)據(jù)、所述選定的平移Τ和所述關(guān)系式：來(lái)計(jì)算所述第二帖 的立體點(diǎn)云。67. 如權(quán)利要求56至66中任一項(xiàng)所述的同時(shí)定位及構(gòu)圖的方法，其中所述方法還包括： 通過(guò)如權(quán)利要求2至26中任一項(xiàng)所述的方法，用所述微鏡頭陣列獲取另一立體帖；W及 將所述第二立體帖作為所述第一立體帖且w所述新獲取的立體帖作為所述第二立體 帖重復(fù)權(quán)利要求56至66中定義的步驟。68. -種同時(shí)定位及構(gòu)圖系統(tǒng)，其用于根據(jù)權(quán)利要求56至67中任一項(xiàng)來(lái)進(jìn)行自動(dòng)定位 與構(gòu)圖。69. -種計(jì)算機(jī)程序產(chǎn)品，包括用于根據(jù)權(quán)利要求56至67中任一項(xiàng)使用具有微鏡頭陣 列的立體成像系統(tǒng)自動(dòng)進(jìn)行同時(shí)定位及構(gòu)圖的指令。70. -種使用具有微鏡頭陣列的成像裝置進(jìn)行同時(shí)定位及構(gòu)圖（SLAM)的裝置，包括： 慣性測(cè)量單元IMU，其用于測(cè)量與在第一時(shí)間點(diǎn)獲取的第一立體帖相關(guān)的在第二時(shí)間 點(diǎn)獲取的第二立體帖的旋轉(zhuǎn);和 控制器，其用于： 通過(guò)如權(quán)利要求2至26中任一項(xiàng)所述的方法，使用所述微鏡頭陣列獲取所述第一立體 帖和所述第二立體帖； 由所述慣性測(cè)量單元獲取所述第二立體帖的旋轉(zhuǎn)數(shù)據(jù)；W及 通過(guò)將所述旋轉(zhuǎn)數(shù)據(jù)與所述第一和第二立體帖組合來(lái)匹配所述第一和第二立體帖， 其中所述第一立體帖與所述第二立體帖W預(yù)定的百分比相互重疊。71. 如權(quán)利要求70所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述第一立體帖與所述第 二立體帖是在不同的時(shí)間點(diǎn)獲取的。72. 如權(quán)利要求71所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述不同時(shí)間點(diǎn)之間的間 隔不小于六十分之一秒且不大于二十分之一秒。73. 如權(quán)利要求72所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器還用于基于所 述第一立體帖獲取立體點(diǎn)云，其中所述立體點(diǎn)云為立體特征點(diǎn)的陣列{ Pi，P2，P3 · · ·，Pn}。74. 如權(quán)利要求73所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器還用于基于所 述立體點(diǎn)云在X-y平面上獲取第二投影陣列{ (Xl2，yi2) , (X22,y22) , {(X32,y32),{(加 2，75. 如權(quán)利要求74所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器用于通過(guò)W下 方式獲取所述第二投影陣列： 基于所述立體點(diǎn)云在x-y平面上獲取第一投影陣列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用權(quán)利要求11至13中任一項(xiàng)所述的方法將所述第一投影陣列的多個(gè)點(diǎn)匹配至第二 立體圖像而產(chǎn)生所述第二投影陣列{ ( Χ?2，yl2 )，（ X22，y22 )，{ ( X32，)，…，{ ( ，ym2 ) }。76. 如權(quán)利要求75所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器還用于基于所 述旋轉(zhuǎn)數(shù)據(jù)、所述立體點(diǎn)云和所述第二投影陣列來(lái)計(jì)算平移陣列T。77. 如權(quán)利要求76所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述平移陣列T通過(guò)應(yīng)用W 下關(guān)系式來(lái)計(jì)算：其中R為旋轉(zhuǎn)測(cè)量的陣列，門為所述立體點(diǎn)云的立體點(diǎn)，T表示所述待計(jì)算的平移陣列， 且μ為隨機(jī)數(shù)。78. 如權(quán)利要求77所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述平移陣列Τ通過(guò)選自所 述立體點(diǎn)云的至少兩個(gè)點(diǎn)及其在第二投影陣列中匹配的兩個(gè)點(diǎn)的方程組來(lái)解開(kāi)。79. 如權(quán)利要求70至78中任一項(xiàng)所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器 用于通過(guò)將T引入具有多個(gè)選自所述立體點(diǎn)云的點(diǎn)及其在所述第二投影陣列上的相應(yīng)投影 點(diǎn)的方程申來(lái)證實(shí)所述平移陣列T，從而得到匹配點(diǎn)的數(shù)量;W及 選擇具有最大數(shù)量匹配點(diǎn)的平移陣列T作為選定的平移陣列T。80. 如權(quán)利要求79所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器用于采用所述 旋轉(zhuǎn)數(shù)據(jù)、所述選定的平移T和所述關(guān)系式：?β十算所述第二帖的立體點(diǎn)云。81. 如權(quán)利要求70至80中任一項(xiàng)所述的用于同時(shí)定位及構(gòu)圖的裝置，其中所述控制器 用于通過(guò)如權(quán)利要求2至26中任一項(xiàng)所述的方法，用所述微鏡頭陣列獲取另一立體帖，并W 所述第二立體帖作為所述第一立體帖且將所述新獲取的立體帖作為所述第二立體帖。
【文檔編號(hào)】G06T7/00GK105940674SQ201480074618
【公開(kāi)日】2016年9月14日
【申請(qǐng)日】2014年12月31日
【發(fā)明人】張宏輝, 趙叢
【申請(qǐng)人】深圳市大疆創(chuàng)新科技有限公司