專利名稱：基于二階錐規(guī)劃的變形體三維跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域的目標(biāo)跟蹤方法，具體是一種基于二 階錐規(guī)劃的變形體三維跟蹤方法。
背景技術(shù)：
在單目圖像序列中對目標(biāo)進(jìn)行跟蹤并重建其三維空間結(jié)構(gòu)是計(jì)算機(jī)視覺的重要 研究方向之一，其在視覺伺服、增強(qiáng)現(xiàn)實(shí)、物體識(shí)別等方面有著廣泛的應(yīng)用。當(dāng)目 標(biāo)物體是剛性物體時(shí)，已有比較成熟的方法對其進(jìn)行三維跟蹤。但在真實(shí)場景中， 大多數(shù)物體會(huì)隨時(shí)間改變其形狀，現(xiàn)有方法尚無法對這類變形體進(jìn)行有效的三維跟
蹤o
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，J.Xiao等于2006年在《International Journal of Computer Vision》(計(jì)算機(jī)視覺國際期刊)上發(fā)表的論文"A closed-form solution to non-rigid shape and motion recovery"(—種非岡U體形狀與運(yùn)動(dòng)恢 復(fù)的閉式解法)提出將非剛體結(jié)構(gòu)表示為一組形狀基的線性組合，并使用兩步因式 分解算法重建非剛體的三維結(jié)構(gòu)。該方法通過閉式解求解結(jié)構(gòu)和運(yùn)動(dòng)，使得該問題 有一個(gè)解析解，但該方法需要將整個(gè)圖像序列作為一個(gè)整體進(jìn)行運(yùn)算，不適合在序 列中對變形體進(jìn)行跟蹤。M. Salzmann等于2007年在《2007 International Conference on Computer Vision》(2007年計(jì)算機(jī)視覺國際會(huì)議)上發(fā)表的論文 "Convex optimization for deformable surface 3D tracking"(使用凸優(yōu)化進(jìn) 行變形體平面三維跟蹤)提出將變形體表示為一個(gè)三維三角片空間網(wǎng)格，同時(shí)將三 維到二維的特征點(diǎn)對應(yīng)表示為凸規(guī)劃約束，同時(shí)限制兩幀間三角片網(wǎng)格頂點(diǎn)不可變 化過大，從而將三維跟蹤問題表示為一個(gè)凸優(yōu)化問題并通過規(guī)劃算法有效解出。該 方法保證了問題在可行域內(nèi)只有一個(gè)全局最優(yōu)解，但該方法并不能真實(shí)反映三角片網(wǎng)格的真實(shí)形變性質(zhì)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于二階錐規(guī)劃的變形體 三維跟蹤方法，使其能夠高效準(zhǔn)確的在每一幀中重建出變形體目標(biāo)的三維空間結(jié)構(gòu)， 從而達(dá)到在序列中對其進(jìn)行三維跟蹤的目的。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟
步驟一、采集一幅變形體目標(biāo)未發(fā)生形變的正視圖，通過圖像中目標(biāo)表面的紋 理模版構(gòu)建變形體三角片網(wǎng)格模型，并存儲(chǔ)模型參數(shù)；
步驟二、在三維跟蹤過程中的每一時(shí)刻，采集一幅當(dāng)前幀變形體目標(biāo)圖像，提 取圖像特征點(diǎn)并與存儲(chǔ)的三角片網(wǎng)格模型參數(shù)進(jìn)行匹配，將得到的特征點(diǎn)對應(yīng)匹配 表示為一組二階錐約束，并存儲(chǔ)此特征點(diǎn)對應(yīng)約束參數(shù)；
步驟三、約束三角片網(wǎng)格模型中每一條邊保持其原始長度不變，將此形狀約束 描述為一個(gè)二階錐約束序列，并存儲(chǔ)此模型形狀約束參數(shù)；
步驟四、取出特征點(diǎn)對應(yīng)約束和模型形狀約束參數(shù)，將其合并為一個(gè)二階錐規(guī) 劃序列，以上一幀跟蹤結(jié)果為初值，通過迭代求解此序列二階錐規(guī)劃問題重建目標(biāo) 的三維空間結(jié)構(gòu)，并輸出當(dāng)前幀變形體目標(biāo)的三維跟蹤結(jié)果。
所述步驟一，具體為在跟蹤開始前，采集一幅變形體目標(biāo)未發(fā)生形變的正視 圖，并建立變形體目標(biāo)的模型。本發(fā)明使用三角片網(wǎng)格構(gòu)建變形體模型，此三角片 網(wǎng)格覆蓋整個(gè)變形體表面，其上的三角片數(shù)量根據(jù)變形體形變程度確定，形變復(fù)雜 則三角片數(shù)量多，反之則少。確定三角片網(wǎng)格之后，通過變形體目標(biāo)的表面紋理模 版提取變形體表面的特征點(diǎn)，并將這些特征點(diǎn)的三維空間位置用其所在的三角片三 個(gè)頂點(diǎn)的線性組合表示。之后使用灰度直方圖描述并記錄每個(gè)特征點(diǎn)所在小區(qū)域的 灰度特征，最后存儲(chǔ)構(gòu)建的模型參數(shù)。
所述步驟二，具體為在三維跟蹤過程中，在每一時(shí)刻采集一幅當(dāng)前幀變形體 目標(biāo)圖像。首先檢測圖像中具有仿射不變性的特征點(diǎn)，并使用灰度直方圖與模型特 征點(diǎn)進(jìn)行匹配。對于匹配成功的特征點(diǎn)，使用攝像機(jī)投影矩陣將模型上的三維特征點(diǎn)投影到當(dāng)前幀圖像上。由于圖像噪聲的影響，投影點(diǎn)與二維圖像特征點(diǎn)不完全重 合。通過使用無窮大誤差范數(shù)，將投影點(diǎn)與二維圖像特征點(diǎn)間的重投影誤差表示為 一組二階錐約束，并存儲(chǔ)此特征點(diǎn)對應(yīng)約束參數(shù)。
所述步驟三，具體為約束模型中每一個(gè)三角片的每一條邊保持其原始長度， 此約束為二階等式約束，通過舍去此等式約束中的二階小項(xiàng)，將此二階等式約束轉(zhuǎn) 化為一序列二階錐約束，并存儲(chǔ)此模型形狀約束參數(shù)。
所述步驟四，具體為取出特征點(diǎn)對應(yīng)約束參數(shù)和模型形狀約束參數(shù)，將其合 并為一個(gè)二階錐規(guī)劃序列，從而將當(dāng)前幀中的三維跟蹤問題表示為一個(gè)序列二階錐 規(guī)劃問題。以上一幀跟蹤結(jié)果為初值，迭代求解此二階錐規(guī)劃問題直至在步驟三中 舍去的二階小項(xiàng)趨近于零，此時(shí)最終求解的結(jié)果即為當(dāng)前時(shí)刻變形體目標(biāo)的三維空 間結(jié)構(gòu)。由于步驟一中特征點(diǎn)匹配時(shí)可能出現(xiàn)誤匹配，將導(dǎo)致迭代求解過程中可能 出現(xiàn)某次迭代無解的情況，此時(shí)應(yīng)舍棄當(dāng)前重投影誤差最大的特征點(diǎn)，并重新求解 此二階錐規(guī)劃問題直至有解。最后輸出當(dāng)前幀變形體目標(biāo)的三維跟蹤結(jié)果。
與現(xiàn)有技術(shù)相比，本發(fā)明簡單有效，可以對圖像序列中的變形體目標(biāo)進(jìn)行有效 的三維跟蹤。它的關(guān)鍵在于將三角片網(wǎng)格模型與圖像的特征點(diǎn)對應(yīng)約束，以及模型 中每一條邊的長度約束表示為一組二階錐約束，從而將三維跟蹤問題描述為一個(gè)序 列二階錐規(guī)劃問題。由于二階錐規(guī)劃問題只有一個(gè)全局最優(yōu)解，且可以高效準(zhǔn)確的 解出，使得本發(fā)明方法能夠準(zhǔn)確有效的對場景中任意復(fù)雜的變形體目標(biāo)進(jìn)行三維跟 蹤。本發(fā)明特別適合視覺伺服系統(tǒng)和增強(qiáng)顯示系統(tǒng)中，同時(shí)也可以應(yīng)用于非剛體物 體識(shí)別，變形體行為理解等領(lǐng)域。


圖1為本發(fā)明實(shí)施例系統(tǒng)結(jié)構(gòu)圖。
圖2為本發(fā)明實(shí)施例某一幀變形體圖像。
圖3為本發(fā)明實(shí)施例變形體表面紋理模版。
圖4為本發(fā)明實(shí)施例變形體三角片網(wǎng)格模型及其上一特征點(diǎn)。
圖5為本發(fā)明實(shí)施例一幀圖像上某一特征點(diǎn)V及其所對應(yīng)的模型特征點(diǎn)在圖像上的投影U。
圖6為本發(fā)明實(shí)施例一個(gè)發(fā)生形變的三角片網(wǎng)格及其上一個(gè)三角片； 其中左圖名稱為一個(gè)發(fā)生形變的三角片網(wǎng)格，右圖名稱為此三角片網(wǎng)格上一 個(gè)三角片。
圖7為本發(fā)明實(shí)施例變形體三維跟蹤結(jié)果；
其中第一列從上到下每張圖像名稱分別為變形體1折疊形變圖像，變形體l 折疊形變圖像疊加重投影網(wǎng)格，變形體l三維空間結(jié)構(gòu)；第二列從上到下每張圖像 名稱分別為變形體2復(fù)雜形變圖像，變形體2復(fù)雜形變圖像疊加重投影網(wǎng)格，變形 體2三維空間結(jié)構(gòu)；第三列從上到下每張圖像名稱分別為變形體2平滑形變圖像， 變形體2平滑形變圖像疊加重投影網(wǎng)格，變形體2三維空間結(jié)構(gòu)；第四列從上到下 每張圖像名稱分別為變形體2折疊形變圖像，變形體2折疊形變圖像疊加重投影網(wǎng) 格，變形體2三維空間結(jié)構(gòu)。
具體實(shí)施例方式
下面結(jié)合附圖對本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為
前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述 的實(shí)施例。
本實(shí)施例結(jié)構(gòu)圖如圖l所示。圖1中，虛線左邊為跟蹤前已知的內(nèi)容，包括通 過變形體紋理模版構(gòu)建的三角片網(wǎng)格模型，通過標(biāo)定算法求出的攝像機(jī)內(nèi)參數(shù)矩陣， 以及攝像機(jī)在每一時(shí)刻采集的圖像。虛線右邊為待求解內(nèi)容，即變形體的三維空間 結(jié)構(gòu)。
本實(shí)施例的具體實(shí)施過程如下-
1.首先采集一幅變形體目標(biāo)未發(fā)生形變的正視圖，通過圖像中目標(biāo)表面的紋理
模版構(gòu)建變形體三角片網(wǎng)格模型，并存儲(chǔ)模型參數(shù)。對于圖2所示的變形體目標(biāo)， 其未變形的表面紋理模版如圖3所示。根據(jù)此模版，可以建立變形體目標(biāo)的三角片 網(wǎng)格模型，此三角片網(wǎng)格覆蓋整個(gè)變形體表面，此實(shí)施例中網(wǎng)格為矩形，大小為 9X6，如圖4所示。在確定三角片網(wǎng)格結(jié)構(gòu)之后，提取紋理模版中具有仿射不變性的特征點(diǎn)。每一個(gè)特征點(diǎn)必然位于網(wǎng)格中某一三角片上，其位置用其所在的三角片 三個(gè)頂點(diǎn)的線性組合表示。如圖4所示，某一特征點(diǎn)P,，其所在的三角片三個(gè)頂點(diǎn) 分別為Vp、 V仏Vr，故將P,表示為Vp、 W、 Vr的線性組合P, = aV/ +祝9 + cVr。 之后對于每一特征點(diǎn)，記錄以其為中心的16X16像素區(qū)域的灰度直方圖作為其特征 描述子。對于每一個(gè)特征點(diǎn)，均得到一組線性組合參數(shù)及其特征描述子，將這些線 性組合參數(shù)和描述子結(jié)合在一起即構(gòu)成了此變形體目標(biāo)的網(wǎng)格模型，并將模型參數(shù) 儲(chǔ)存于數(shù)據(jù)庫中。
2. 模型構(gòu)建完畢之后，在三維跟蹤過程中的每一時(shí)刻，采集一幅當(dāng)前幀變形體 目標(biāo)圖像，提取其中具有仿射不變性的特征點(diǎn)，并使用灰度直方圖與模型特征點(diǎn)進(jìn) 行匹配。對于匹配成功的每一組特征點(diǎn)，使用攝像機(jī)投影矩陣將模型三維特征點(diǎn)投 影到當(dāng)前圖像上。如圖5所示，V為圖像特征點(diǎn)，U為模型特征點(diǎn)在圖像上的投影， 由于圖像噪聲，U和V不完全重合。通過使用無窮大誤差范數(shù)，將U和V之間的圖 像距離表示為一個(gè)二階錐約束。對于每一組匹配點(diǎn)，都可以得到一個(gè)類似的二階錐 約束，將所有N組匹配點(diǎn)組合在一起可以得到一組二階錐約束，這一組約束表示了 特征點(diǎn)對應(yīng)約束。最后將特征點(diǎn)對應(yīng)約束參數(shù)存儲(chǔ)在數(shù)據(jù)庫中。
3. 本實(shí)施例約束模型中每一個(gè)三角片的每一條邊保持其原始長度。如圖6所示， 圖6左圖為一形變的三角片網(wǎng)格，圖6右圖為此網(wǎng)格上一個(gè)三角片V/ V^Vr，形狀約 束限制邊VpVg、 V9Vr、 VWp始終保持其原始長度不變。此類約束為二階等式約束， 通過舍去此等式約束中的二階小項(xiàng)，將此二階等式約束轉(zhuǎn)化為一個(gè)二階錐約束序列， 這一序列表示了網(wǎng)格形狀約束。最后將模型形狀約束參數(shù)存儲(chǔ)在數(shù)據(jù)庫中。
4. 對于每一幀采集到的圖像，從數(shù)據(jù)庫中取出其特征點(diǎn)對應(yīng)約束參數(shù)和模型形 狀約束參數(shù)，將其合并為一個(gè)二階錐規(guī)劃序列，以上一幀跟蹤結(jié)果為初值，迭代求 解此二階錐規(guī)劃問題直至在形狀約束中舍去的二階小項(xiàng)趨近于零，此時(shí)最終求解的 結(jié)果即為當(dāng)前時(shí)刻變形體目標(biāo)的三維空間結(jié)構(gòu)。當(dāng)特征點(diǎn)匹配出現(xiàn)誤匹配時(shí)，此迭 代求解過程中可能出現(xiàn)某次迭代無解的情況，此時(shí)應(yīng)舍棄當(dāng)前重投影誤差最大的特 征點(diǎn)，并重新求解此二階錐規(guī)劃問題直至有解。最后輸出當(dāng)前幀變形體目標(biāo)的三維跟蹤結(jié)果。
本實(shí)施例結(jié)果如圖7所示，圖7中第一列和第二列為變形體1發(fā)生兩種不同形 變時(shí)的重建結(jié)果，圖7中第三列和第四列為變形體2發(fā)生兩種不同形變時(shí)的重建結(jié) 果。變形體1的紋理表面為一卡通圖案，變形體2的紋理表面為一書法圖案。在圖 7每一列中，從上至下分別為變形體目標(biāo)原始圖像，變形體目標(biāo)圖像疊加重投影網(wǎng) 格，重建的變形體三維空間結(jié)構(gòu)。
由結(jié)果可見，本實(shí)施例在變形體目標(biāo)發(fā)生平滑形變，折疊形變和其他復(fù)雜形變 時(shí)均能夠正確重建變形體的三維空間結(jié)構(gòu)，同時(shí)其在二維圖像上的重投影能夠很好 的擬合原圖像。
權(quán)利要求
1、一種基于二階錐規(guī)劃的變形體三維跟蹤方法，其特征在于，包括以下步驟步驟一、采集一幅變形體目標(biāo)未發(fā)生形變的正視圖，通過圖像中目標(biāo)表面的紋理模版構(gòu)建變形體三角片網(wǎng)格模型，并存儲(chǔ)模型參數(shù)；步驟二、在三維跟蹤過程中的每一時(shí)刻，采集一幅當(dāng)前幀變形體目標(biāo)圖像，提取圖像特征點(diǎn)并與存儲(chǔ)的三角片網(wǎng)格模型參數(shù)進(jìn)行匹配，將得到的特征點(diǎn)對應(yīng)匹配表示為一組二階錐約束，并存儲(chǔ)此特征點(diǎn)對應(yīng)約束參數(shù)；步驟三、約束三角片網(wǎng)格模型中每一條邊保持其原始長度不變，將此形狀約束描述為一個(gè)二階錐約束序列，并存儲(chǔ)此模型形狀約束參數(shù)；步驟四、取出特征點(diǎn)對應(yīng)約束和模型形狀約束參數(shù)，將其合并為一個(gè)二階錐規(guī)劃序列，以上一幀跟蹤結(jié)果為初值，通過迭代求解此序列二階錐規(guī)劃問題重建目標(biāo)的三維空間結(jié)構(gòu)，并輸出當(dāng)前幀變形體目標(biāo)的三維跟蹤結(jié)果。
2、 根據(jù)權(quán)利要求l所述的基于二階錐規(guī)劃的變形體三維跟蹤方法，其特征是， 所述步驟一，具體為在跟蹤開始前，采集一幅變形體目標(biāo)未發(fā)生形變的正視圖， 并建立變形體目標(biāo)的模型，使用三角片網(wǎng)格構(gòu)建變形體模型，此三角片網(wǎng)格覆蓋整 個(gè)變形體表面，其上的三角片數(shù)量根據(jù)變形體形變程度確定，形變復(fù)雜則三角片數(shù) 量多，反之則少，確定三角片網(wǎng)格之后，通過變形體目標(biāo)的表面紋理模版提取變形 體表面的特征點(diǎn)，并將這些特征點(diǎn)的三維空間位置用其所在的三角片三個(gè)頂點(diǎn)的線 性組合表示，之后使用灰度直方圖描述并記錄每個(gè)特征點(diǎn)所在小區(qū)域的灰度特征， 最后存儲(chǔ)構(gòu)建的模型參數(shù)。
3、 根據(jù)權(quán)利要求1所述的基于二階錐規(guī)劃的變形體三維跟蹤方法，其特征是， 所述步驟二，具體為在三維跟蹤過程中，在每一時(shí)刻采集一幅當(dāng)前幀變形體目標(biāo) 圖像，首先檢測圖像中具有仿射不變性的特征點(diǎn)，并使用灰度直方圖與模型特征點(diǎn) 進(jìn)行匹配，對于匹配成功的特征點(diǎn)，使用攝像機(jī)投影矩陣將模型上的三維特征點(diǎn)投 影到當(dāng)前幀圖像上，通過使用無窮大誤差范數(shù)，將投影點(diǎn)與二維圖像特征點(diǎn)間的重 投影誤差表示為一組二階錐約束，并存儲(chǔ)此特征點(diǎn)對應(yīng)約束參數(shù)。
4、 根據(jù)權(quán)利要求l所述的基于二階錐規(guī)劃的變形體三維跟蹤方法，其特征是， 所述步驟三，具體為約束模型中每一個(gè)三角片的每一條邊保持其原始長度，此約 束為二階等式約束，通過舍去此等式約束中的二階小項(xiàng)，將此二階等式約束轉(zhuǎn)化為 一序列二階錐約束，并存儲(chǔ)此模型形狀約束參數(shù)。
5、 根據(jù)權(quán)利要求1所述的基于二階錐規(guī)劃的變形體三維跟蹤方法，其特征是， 所述步驟四，具體為取出特征點(diǎn)對應(yīng)約束參數(shù)和模型形狀約束參數(shù)，將其合并為 一個(gè)二階錐規(guī)劃序列，從而將當(dāng)前幀中的三維跟蹤問題表示為一個(gè)序列二階錐規(guī)劃 問題，以上一幀跟蹤結(jié)果為初值，迭代求解此二階錐規(guī)劃問題直至在步驟三中舍去 的二階小項(xiàng)趨近于零，此時(shí)最終求解的結(jié)果即為當(dāng)前時(shí)刻變形體目標(biāo)的三維空間結(jié) 構(gòu)，舍棄當(dāng)前重投影誤差最大的特征點(diǎn)，并重新求解此二階錐規(guī)劃問題直至有解， 最后輸出當(dāng)前幀變形體目標(biāo)的三維跟蹤結(jié)果。
全文摘要
本發(fā)明涉及一種計(jì)算機(jī)視覺技術(shù)領(lǐng)域的基于二階錐規(guī)劃的變形體三維跟蹤方法。步驟為①采集變形體未發(fā)生形變的正視圖，構(gòu)建三角片網(wǎng)格模型；②三維跟蹤過程中，采集當(dāng)前幀變形體目標(biāo)圖像，提取圖像特征點(diǎn)并與三角片網(wǎng)格模型進(jìn)行匹配，將得到的特征點(diǎn)對應(yīng)匹配表示為一組二階錐約束；③約束三角片網(wǎng)格模型中每一條邊保持其原始長度不變，將此形狀約束描述為一個(gè)二階錐約束序列；④將②③結(jié)果合并為一個(gè)二階錐規(guī)劃序列，通過迭代求解此序列二階錐規(guī)劃問題重建目標(biāo)的三維空間結(jié)構(gòu)，并輸出結(jié)果。本發(fā)明在目標(biāo)發(fā)生平滑形變，折疊形變和其他復(fù)雜形變時(shí)均能正確重建變形體的三維空間結(jié)構(gòu)，同時(shí)其在二維圖像上的重投影能很好的擬合原圖像。
文檔編號(hào)G06T17/00GK101425183SQ20081020263
公開日2009年5月6日 申請日期2008年11月13日 優(yōu)先權(quán)日2008年11月13日
發(fā)明者劉允才, 申抒含 申請人:上海交通大學(xué)