多幀圖像校準器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于校準裝置的設(shè)備，其中裝置用于捕捉視頻圖像信號并且處理那些信號。本發(fā)明進一步涉及，但不限于，用于處理捕捉的視頻序列并且校準多幀捕捉裝置的便攜或移動設(shè)備。
【背景技術(shù)】
[0002]如今在電子設(shè)備上錄制視頻是很普通的。從專業(yè)視頻捕捉裝備、消費級便攜式攝像機和數(shù)字攝像機到移動電話以及甚至是例如網(wǎng)絡(luò)攝像機的簡單裝置，可以被用于影片的電子獲得，換句話說錄制視頻數(shù)據(jù)。由于錄制視頻已經(jīng)成為許多移動裝置上的標準特征，這樣的裝備的技術(shù)質(zhì)量以及它們捕捉的視頻已經(jīng)迅速改進。使用移動裝置錄制個人經(jīng)歷正在迅速變成例如移動電話的移動裝置和其他用戶設(shè)備的日益重要的用途。
[0003]此外，在消費級便攜式攝像機和數(shù)字攝像機上通常存在三維(3D)或立體的攝像機裝備。3D或立體的攝像機裝備可以被用在多種立體和多幀攝像機捕捉應(yīng)用中。這些應(yīng)用包括立體匹配、從立體估計確定深度、增強現(xiàn)實、3D場景重建以及虛擬視角合成。但是，從這樣的裝備的有效立體或3D場景重建需要攝像機校準以及修正作為預處理步驟。
[0004]立體校準是指在立體攝像機設(shè)置中尋找攝像機的相對方位的方式，而修正是指尋找投影變換的方式，投影變換包含光學系統(tǒng)畸變的糾正，并且投影變換將場景的捕捉的立體圖像變換成逐行場景匹配。修正可以被定義為用于將兩個或更多個圖像投影到相同圖像平面上的變換。
[0005]修正簡化了隨后對立體匹配的搜索，于是立體匹配僅在水平方向上完成。尋找快速魯棒的攝像機校準和修正的方法已經(jīng)是一段時間以來活躍的研宄領(lǐng)域。
[0006]此外，在例如高動態(tài)范圍(HDR)成像、運動補償、超分辨率以及圖像降噪/增強的多幀應(yīng)用中可能需要圖像對齊。
[0007]多幀應(yīng)用與立體應(yīng)用可以不同，差異之處在于單個攝像機傳感器連續(xù)拍攝兩個或多個幀，其中立體或多幀攝像機傳感器同時拍攝兩個或多個幀。在圖像對齊中，兩個或多個圖像被幾何變換或幾何變形從而使得它們表示相同的視點。對齊的圖像于是可以被例如超分辨率、圖像降噪/增強、HDR成像、運動補償、數(shù)據(jù)配準、立體匹配、從立體估計確定深度、3D場景構(gòu)建以及虛擬視角合成的多幀算法進一步處理。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的方面由此提供在錄制聲學信號中的柔性音頻信號聚焦。
[0009]根據(jù)第一方面提供一種方法包括:分析至少兩個圖像從而確定至少一個匹配特征；確定該至少兩個圖像之間的至少兩個差異參數(shù)；以及在誤差搜索中，基于在該至少兩個圖像中的至少一個匹配特征和估計的差異參數(shù)值，使用誤差標準來確定用于該至少兩個差異參數(shù)的值，其中用于每個差異參數(shù)的值被串行地確定。
[0010]在誤差搜索中確定用于該至少兩個差異參數(shù)的值可以包括確定用于該至少兩個參數(shù)的值從而最小化該誤差搜索。
[0011]分析至少兩個圖像從而確定至少一個匹配特征可以包括:從該至少兩個圖像的第一圖像確定至少一個特征；從該至少兩個圖像的第二圖像確定至少一個特征；以及將來自該第一圖像的至少一個特征與來自該第二圖像的至少一個特征匹配從而確定該至少一個匹配特征。
[0012]分析至少兩個圖像從而確定至少一個匹配特征可以進一步包括過濾該至少一個匹配特征。
[0013]過濾該至少一個匹配特征可以包括下列項中的至少一個:移除發(fā)生在圖像邊界的閾值距離以內(nèi)的匹配特征；移除重復的匹配特征；移除距離遠的匹配特征；移除相交的匹配特征；移除不一致的匹配特征；以及根據(jù)被確定的匹配標準選擇匹配的子集。
[0014]確定該至少兩個圖像之間的至少兩個差異參數(shù)可以包括:從該至少兩個圖像確定參考圖像；定義用于非參考圖像的圖像的至少兩個差異參數(shù)，其中該至少兩個差異參數(shù)是立體設(shè)置偏差。
[0015]確定該至少兩個圖像之間的至少兩個差異參數(shù)可以包括:定義值的范圍，在該誤差搜索中差異參數(shù)值可以被確定在該值的范圍以內(nèi)；以及定義用于在該誤差搜索中的差異參數(shù)值確定的初始值。
[0016]在該誤差搜索中確定用于差異參數(shù)的值可以包括:選擇差異參數(shù)，其中該差異參數(shù)具有關(guān)聯(lián)的被定義的初始值和值范圍；依賴于該差異參數(shù)的初始值生成攝像機修正；依賴于該攝像機修正和至少一個匹配特征生成該誤差標準的值；重復選擇其他差異參數(shù)值、生成攝像機修正以及生成該誤差標準的值，直至針對該差異參數(shù)找到該誤差標準的最小值；以及重復選擇其他差異參數(shù)直至該至少兩個差異參數(shù)全部都具有用于最小化該誤差搜索的差異參數(shù)的被確定值。
[0017]方法可以進一步包括:使用第一攝像機生成該至少兩個圖像中的第一圖像；以及使用第二攝像機生成該至少兩個圖像中的第二圖像。
[0018]方法可以進一步包括:在第一位置處使用第一攝像機生成該至少兩個圖像中的第一圖像；以及在從該第一位置處位移的第二位置處使用該第一攝像機生成該至少兩個圖像中的第二圖像。
[0019]一種設(shè)備可以被配置為執(zhí)行如本文中所描述的方法。
[0020]根據(jù)本發(fā)明提供一種設(shè)備，包括至少一個處理器和至少一個包含用于一個或多個程序的計算機代碼的存儲器，該至少一個存儲器和該計算機代碼被配置為使用該至少一個處理器引起該設(shè)備至少執(zhí)行:分析至少兩個圖像從而確定至少一個匹配特征；確定該至少兩個圖像之間的至少兩個差異參數(shù)；以及在誤差搜索中基于在該至少兩個圖像中的至少一個匹配特征和估計的差異參數(shù)值，使用誤差標準來確定用于該至少兩個差異參數(shù)的值，其中用于每個差異參數(shù)的值被串行地確定。
[0021]在該誤差搜索中確定用于至少兩個差異參數(shù)的值可以引起該設(shè)備執(zhí)行確定用于該至少兩個參數(shù)的值從而最小化該誤差搜索。
[0022]分析至少兩個圖像從而確定至少一個匹配特征可以引起該設(shè)備執(zhí)行:從該至少兩個圖像的第一圖像確定至少一個特征；從該至少兩個圖像的第二圖像確定至少一個特征；以及將來自該第一圖像的至少一個特征與來自該第二圖像的至少一個特征匹配從而確定該至少一個匹配特征。
[0023]分析至少兩個圖像從而確定至少一個匹配特征進一步引起該設(shè)備執(zhí)行過濾該至少一個匹配特征。
[0024]過濾該至少一個匹配特征可以引起該設(shè)備執(zhí)行移除下列項中的至少一個:移除發(fā)生在圖像邊界的閾值距離以內(nèi)的匹配特征；移除重復的匹配特征；移除距離遠的匹配特征；移除相交的匹配特征；移除不一致的匹配特征；以及根據(jù)被確定的匹配標準選擇匹配的子集。
[0025]確定至少兩個圖像之間的至少兩個差異參數(shù)可以引起該設(shè)備執(zhí)行:從該至少兩個圖像確定參考圖像；以及定義用于非參考圖像的圖像的至少兩個差異參數(shù)，其中該至少兩個差異參數(shù)是立體設(shè)置偏差。
[0026]確定至少兩個圖像之間的至少兩個差異參數(shù)可以引起該設(shè)備執(zhí)行:定義值的范圍，在該誤差搜索中差異參數(shù)值可以被確定在該值的范圍以內(nèi)；以及定義用于在該誤差搜索中的差異參數(shù)值確定的初始值。
[0027]在該誤差搜索中確定用于差異參數(shù)的值可以引起該設(shè)備執(zhí)行:選擇差異參數(shù)，其中該差異參數(shù)具有關(guān)聯(lián)的被定義的初始值和值范圍；依賴于該差異參數(shù)的初始值生成攝像機修正；依賴于該攝像機修正和至少一個匹配特征生成該誤差標準的值；重復選擇其他差異參數(shù)值、生成攝像機修正以及生成該誤差標準的值，直至針對該差異參數(shù)找到該誤差標準的最小值；以及重復選擇其他差異參數(shù)直至該至少兩個差異參數(shù)全部都具有用于最小化該誤差搜索的該差異參數(shù)的被確定值。
[0028]可以進一步引起該設(shè)備執(zhí)行:使用第一攝像機生成該至少兩個圖像中的第一圖像；以及使用第二攝像機生成該至少兩個圖像中的第二圖像。
[0029]可以進一步引起該設(shè)備執(zhí)行:在第一位置處使用第一攝像機生成該至少兩個圖像中的第一圖像；以及在從該第一位置處位移的第二位置處使用該第一攝像機生成該至少兩個圖像中的第二圖像。
[0030]根據(jù)本發(fā)明的第三方面提供一種設(shè)備包括:圖像分析器，其被配置為分析至少兩個圖像從而確定至少一個匹配特征；攝像機定義器，其被配置為確定該至少兩個圖像之間的至少兩個差異參數(shù)；以及修正確定器，其被配置為在誤差搜索中基于在該至少兩個圖像中的至少一個匹配特征和估計的差異參數(shù)值，使用誤差標準來確定用于該至少兩個差異參數(shù)的值，其中用于每個差異參數(shù)的值被串行地確定。
[0031]該修正確定器可以包括修正優(yōu)化器，其被配置為確定用于該至少兩個參數(shù)的值從而最小化該誤差搜索。
[0032]該圖像分析器可以包括:特征確定器，其被配置為從該至少兩個圖像的第一圖像確定至少一個特征以及從該至少兩個圖像的第二圖像確定至少一個特征；以及特征匹配器，其被配置為將從該第一圖像的至少一個特征與從該第二圖像的至少一個特征匹配從而確定該至少一個匹配特征。
[0033]該圖像分析器可以進一步包括匹配過濾器，其被配置為過濾該至少一個匹配特征。
[0034]該匹配過濾器可以包括下列項中的至少一項:邊界過濾器，其被配置為移除發(fā)生在圖像邊界的閾值距離以內(nèi)的匹配特征；重復過濾器，其被配置為移除重復的匹配特征；遙遠過濾器，其被配置為移除距離遠的匹配特征；交叉過濾器，其被配置為移除相交的匹配特征；一致性過濾器，其被配置為移除不一致的匹配特征；以及標準過濾器，其被配置為根據(jù)被確定的匹配標準選擇匹配的子集。
[0035]該設(shè)備可以進一步包括:攝像機參考選擇器，其被配置為從該至少兩個圖像確定參考圖像；以及參數(shù)定義器，其被配置為定義用于非參考圖像的圖像的至少兩個差異參數(shù)，其中該至少兩個差異參數(shù)是立體設(shè)置偏差。
[0036]該攝像機定義器可以包括:參數(shù)范圍定義器，其被配置為定義值的范圍，在該誤差搜索中差異參數(shù)值可以被確定在該值的范圍以內(nèi)；以及參數(shù)初始化器，其被配置為定義用于在該誤差搜索中的差異參數(shù)值確定的初始值。
[0037]該修正確定器可以包括:參數(shù)選擇器，其被配置為選擇差異參數(shù)，其中該差異參數(shù)具有關(guān)聯(lián)的被定義的初始值和值范圍；攝像機修正生成器，其被配置為依賴于該差異參數(shù)的初始值生成攝像機修正；度量確定器，其被配置為依賴于該攝像機修正和至少一個匹配特征生成該誤差標準的值；以及度量值比較器，其被配置為控制重復地選擇其他差異參數(shù)值、生成攝像機修正以及生成該誤差