專利名稱：剛體在線三維重建與定位的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于剛體三維重建與定位領(lǐng)域，尤其是一種剛體在線三維重建與定位的方法。
背景技術(shù)：
在視頻中實時的給出目標剛體相對于像機的位置與姿態(tài)在增強現(xiàn)實、機器人視覺伺服及基于視覺的人機交互等應用中是一項核心技術(shù)。目前采用的主要方法主要可以分為兩類第一類是基于基準點的方法，它要求在目標剛體的表面貼上一些容易被識別的標記點并且這些點在剛體坐標系下的三維位置已知。運行時先從視頻圖像中找到這些標記點。然后利用這些點的三維位置與圖像位置的對應關(guān)系計算出目標剛體和像機的相對位姿。在這個過程中像機的內(nèi)參數(shù)已經(jīng)被提前標定好；
第二類是基于自然特征的方法，它要求首先在目標剛體的多幅圖像上提取諸如Shi-Tomasi點、高斯差分極值(DOG)點等自然特征點然后利用三維重建技術(shù)得到這些特征點對應的三維點。運行時先將這些三維點與視頻圖像上的特征點進行匹配然后利用獲得的對應關(guān)系計算剛體和像機的相對位姿。第一類方法雖然簡單但要求在剛體表面貼上特殊的標記點，在很多情況下并不方便，并且這種方法不能帶來很自然的用戶體驗。第二類方法相比第一類方法而言擁有更廣的適用范圍，但它要求預先獲取視頻中目標剛體的多幅圖像并利用第三方軟件對目標剛體進行離線的重建，這使得用戶使用較為繁瑣而且不夠靈活。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題為解決上述的一個或多個問題，本發(fā)明提供了一種剛體在線三維重建與定位的方法，以實現(xiàn)目標剛體的在線三維重建。( 二 )技術(shù)方案根據(jù)本發(fā)明的一個方面，提供了一種剛體在線三維重建與定位的方法，包括步驟A，由用戶確定視頻中第一關(guān)鍵幀以及在該第一關(guān)鍵幀中的目標剛體，在后續(xù)幀中尋找第二關(guān)鍵幀，應用該第一關(guān)鍵幀和第二關(guān)鍵幀重建得到該目標剛體的初始三維點的坐標，及該兩關(guān)鍵幀分別的外參數(shù)[1|0]與[R2It2];步驟B，對于待處理視頻幀F(xiàn)i,根據(jù)已有關(guān)鍵幀、已有三維點和已有三維點在已有關(guān)鍵幀中對應的二維圖像點坐標，尋找已有三維點在該待處理視頻幀F(xiàn)i中對應的二維圖像點，如果已找到對應圖像點的已有三維點的數(shù)目大于一閾值，則定位成功，根據(jù)三維點坐標和得到的二維圖像點坐標的對應關(guān)系計算并輸出該待處理視頻幀中像機的外參數(shù)[Ri I ，執(zhí)行步驟C ;否則，定位失敗，對下一待處理視頻幀F(xiàn)i+1重新執(zhí)行步驟B ;步驟C，對于成功定位的視頻幀F(xiàn)i，判斷是否將其作為新的關(guān)鍵幀；如果將其作為新的關(guān)鍵幀，則求取已有三維點在該新關(guān)鍵幀上對應的圖像點坐標以及尋找目標剛體上新的三維點，對下一待處理視頻幀F(xiàn)i+1重新執(zhí)行步驟B。(三)有益效果 從上述技術(shù)方案可以看出，本發(fā)明剛體在線三維重建與定位方法具有以下有益效果:(I)由于采用圖像分割和同步地圖構(gòu)建與定位技術(shù)(Simultaneous Localizationand Mapping)相結(jié)合,把視頻中運動剛體從圖像中分割出來,從而可以將同步地圖構(gòu)建與定位應用到該剛體上，因此本發(fā)明能夠使剛體的重建與定位過程在初始化之后完全在線、自動地進行；(2)由于采用單幀初始化方法，用戶在視頻中按鍵確定第一關(guān)鍵幀并用鼠標點出剛體所在的矩形區(qū)域之后，系統(tǒng)便可以從視頻中自動的挑選第二關(guān)鍵幀完成初始化，從而 減少了初始化過程中所需要的用戶交互；(3)由于采用改進的金字塔光流方法對三維點在圖像上的特征點進行跟蹤，在光流之前首先對特征點周圍像素塊進行仿射矯正，使得特征點跟蹤在尺度變化、旋轉(zhuǎn)發(fā)生的情況下魯棒；(4)由于金字塔光流方法本身的特性，在剛體紋理較少或快速運動導致圖像模糊時，特征點跟蹤依然比較穩(wěn)定。因此本發(fā)明中的定位方法在針對自由運動，紋理較少，快速運動的剛體時能夠魯棒穩(wěn)定的進行。


圖I為本發(fā)明實施例剛體在線三維重建與定位方法的流程圖；圖2為本發(fā)明實施例剛體在線三維重建與定位方法中由用戶選擇的目標剛體所在的矩形區(qū)域的示意圖；圖3為本發(fā)明實施例剛體在線三維重建與定位方法中對用戶選擇的目標剛體所在的矩形區(qū)域采用圖像分割進行修正后得到的，更為準確的目標剛體所在區(qū)域的示意圖；圖4為本發(fā)明實施例剛體在線三維重建與定位方法中后續(xù)幀和第一關(guān)鍵幀之間特征點匹配關(guān)系的示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。需要說明的是，在附圖或說明書描述中，相似或相同的部分都使用相同的圖號。且在附圖中，以簡化或是方便標示。再者，附圖中未繪示或描述的實現(xiàn)方式，為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式。另外，雖然本文可提供包含特定值的參數(shù)的示范，但應了解，參數(shù)無需確切等于相應的值，而是可在可接受的誤差容限或設(shè)計約束內(nèi)近似于相應的值。本發(fā)明中，將圖像分割引入到重建過程中，利用分割自動地確定視頻關(guān)鍵幀中剛體所在的區(qū)域，保證了重建的三維點來自于剛體而非背景。同時圖像分割又受益于剛體的三維重建與定位，已經(jīng)重建出來的三維點可以通過關(guān)鍵幀的像機位姿反投影到關(guān)鍵幀的圖像上從而得到一些可靠的前景點，這些前景點可以為諸如GrabCut的分割算法提供初始值，避免了這類分割方法需要的交互過程。
為了使本領(lǐng)域普通技術(shù)人員更好的理解本發(fā)明，首先對其中的一些概念進行解釋性說明(I)在某一個固定的坐標系下每一個三維點有對應的坐標，剛體與像機的相對位姿由剛體的三維點坐標及像機的外參數(shù)[R|t]確定。本發(fā)明中提到的獲取剛體與像機的相對位姿是指計算像機的外參數(shù)[R| t]，其中R是3X3的旋轉(zhuǎn)矩陣，t是3X I的平移向量；(2)本發(fā)明中像機內(nèi)參數(shù)K是提前標定好的，K是3X3的內(nèi)參數(shù)矩陣，在整個過程中保持不變，于是視頻幀的攝像機矩陣可以表示為K[R|t]；(3)本發(fā)明中世界坐標系被設(shè)為第一關(guān)鍵幀的像機坐標系，即第一關(guān)鍵幀的外參數(shù)為[I I 0]，其中I是3X3的單位矩陣。0時3X1的零向量。

本發(fā)明的輸入是一段單目像機拍攝的視頻，或者單目攝像機實時獲取的視頻；而輸出為視頻中目標剛體上的三維點以及視頻每一幀中剛體與像機的相對位姿。在本發(fā)明的一個示例性實施例中，提出了一種剛體在線三維重建與定位的方法。圖I為本發(fā)明實施例剛體在線三維重建與定位方法的流程圖。如圖I所示，本方法由初始化、定位和在線重建，三個部分組成，分為兩個線程執(zhí)行，第一個線程為定位線程，其執(zhí)行初始化及定位的功能；第二個線程為重建線程，其執(zhí)行在線重建功能。兩線程并行執(zhí)行，以提高數(shù)據(jù)處理效率。以下對這幾個部分進行具體的說明。步驟A，初始化本步驟中，由用戶確定視頻中第一關(guān)鍵幀以及在該第一關(guān)鍵幀中的目標剛體，在后續(xù)幀中尋找第二關(guān)鍵幀，應用該第一關(guān)鍵幀和第二關(guān)鍵幀重建得到該目標剛體的初始三維點的坐標，及該兩關(guān)鍵幀分別的外參數(shù)[1|0]與[R2It2]；本步驟A的具體執(zhí)行過程如下子步驟Al，由用戶確定視頻中第一關(guān)鍵幀，并確定目標剛體所在的區(qū)域；本子步驟中，該區(qū)域可以為矩形，如圖2所示；子步驟A2，將用戶給出的目標剛體所在的區(qū)域視為初始的前景區(qū)域，矩形區(qū)域以外的圖像區(qū)域視為初始的背景區(qū)域，將該前景區(qū)域和背景區(qū)域作為GrabCut分割算法的輸入對第一關(guān)鍵幀進行分割，以得到修正后的前景區(qū)域，如圖3所示；其中，GrabCut分割算法可以用其他圖像分割方法來代替,如Fast Local KernelDensity Estimation(FLKDE)分割算法。子步驟A3，從分割得到的第一關(guān)鍵幀中的前景區(qū)域中提取目標剛體的多個Shi-Tomasi 特征點；本子步驟中，Shi-Tomasi特征點的概念及提取Shi-Tomasi特征點的方法可以從相關(guān)視頻圖像處理的教科書中找到，此處不再贅述。子步驟A4，對于后續(xù)幀，利用金字塔光流方法對該多個Shi-Tomasi特征點進行跟蹤，得到該后續(xù)幀和第一關(guān)鍵幀之間多個Shi-Tomasi特征點的匹配關(guān)系，如圖4所示；子步驟A5，根據(jù)該匹配關(guān)系進行兩視重建，得到第一關(guān)鍵幀和該后續(xù)幀的外參數(shù)[1|0]與[R2 It2]，及對應每一對匹配點的一個初始三維點(該三維點的坐標)；本子步驟的兩視重建按照以下順序進行子分步驟A5a，利用RANSAC算法由匹配關(guān)系計算基本矩陣F ；子分步驟A5b，利用已經(jīng)標定好的像機內(nèi)參數(shù)K分解該基本矩陣F得到本質(zhì)矩陣E E = KtFK ；子分步驟A5c，由本質(zhì)矩陣分解得到參與重建的兩幀的外參數(shù)[I I 0]與[R2112] E=[t2]xR2;子分步驟A5d，利用兩幀的像機矩陣K[I I 0]與K[R2112]對RANSAC計算后的所有正確的匹配對進行三角化重建出目標剛體的初始三維點，即對于一對匹配點(Xl，X2)，其中，X1是特征點在第一關(guān)鍵幀中位置的齊次坐標，X2是該特征點在該后續(xù)幀中位置的齊次坐標，該對匹配點(X1, X2)對應的初始三維點X，由求解以下線性方程組求得
(K[I\0]X = X1 [_]啡=X2⑴子步驟A6，對于每一個三維點，計算其不確定度Q(X)，如果所有三維點不確定度的中值大于一定的閾值，視為重建失敗，否則視為重建成功；本子步驟中，三維點的不確定度由下式計算
IQ(X) = 1^^(2)
M Db其中，E x表示三維點X坐標的協(xié)方差矩陣，Db表示這兩幀像機基線長度的平方。假設(shè)X在用于重建的兩幅圖像中的測量值的向量M = (X1, Y1, x2, Y2)，圖像噪聲服從標準正態(tài)分布，即M的協(xié)方差矩陣E M為單位矩陣。那么 (QW (dix)x) 1 (3)公式(3)中，f是將三維點坐標通過投影到圖像變換成圖像坐標的函數(shù)。本步驟中，閾值取0. 04，閾值越低表示對重建質(zhì)量要求越高。子步驟A7，若重建失敗，則等待下一幀重復子步驟A4-A6 ;若重建成功，則將當前處理的幀作為第二關(guān)鍵幀，將第一關(guān)鍵幀和第二關(guān)鍵幀中的多個三維點分別作為初始三維點，該初始三維點對應的Shi-Tomasi特征點作為其二維圖像點坐標，將像機外參數(shù)[I |0]與[R2It2]作為第一關(guān)鍵幀和第二關(guān)鍵幀初始的外參數(shù)，初始化過程結(jié)束。本方法在初始化步驟中，只要求用戶在視頻中確定第一關(guān)鍵幀和目標剛體的所在的矩形區(qū)域，然后對將后續(xù)視頻中每一幀都拿來進行試探性的重建，并衡量重建質(zhì)量，以此為依據(jù)確定是否完成初始化，從而盡量減少了整個定位過程的人工干預。步驟B，定位本步驟中，對于待處理視頻幀F(xiàn)i,根據(jù)已有關(guān)鍵幀(在執(zhí)行了步驟A之后，已有的關(guān)鍵幀為第一關(guān)鍵幀和第二關(guān)鍵幀)、已有三維點(在執(zhí)行了 A之后已有的三維點為初始三維點)和已有三維點在已有關(guān)鍵幀中對應的二維圖像點坐標，尋找已有三維點在該待處理視頻幀F(xiàn)i中對應的二維圖像點坐標，并根據(jù)三維點坐標和得到的二維圖像點坐標的對應關(guān)
系計算并輸出該待處理視頻幀中像機的外參數(shù)[RiIti], i = 3、4、5、......、N，其中，N為視
頻中幀的總數(shù)。本步驟的具體執(zhí)行子步驟如下子步驟BI，如果待處理視頻幀F(xiàn)i的上一個視頻幀F(xiàn)g的外參數(shù)[Rp111^]定位成功，則將當前待處理視頻幀的外參數(shù)[RiIti]初始化為[Rh ItiJ ；
子步驟B2，根據(jù)初始的待處理視頻幀的外參數(shù)[RiIti]按照公式(4)計算已有關(guān)鍵幀與待處理視頻幀的距離D并排序；D = T+ Co * θ(4)其中，T表示兩幀像機光心之間的距離與初始化兩幀像機光心距離的比值，0表示兩個光軸的夾角(采用弧度制)，《是一個預先設(shè)定好的參數(shù)(本發(fā)明中取1/2 )。子步驟B3，從已有關(guān)鍵幀中選取T個已有三維點；選取的規(guī)則是首先選擇在距離待處理視頻幀最近的關(guān)鍵幀中可見的已有三維點，如果這些三維點的個數(shù)已經(jīng)大于或等于T，則從它們中間隨機的挑選出T個；如果這些三維點的個數(shù)不足T，那么將這些三維點全部選取，余下的三維點從那些在距離待處理視頻幀第二近的關(guān)鍵幀中可見的三維點中選?。蝗绻x取的三維點的總數(shù)依然不足T，則考慮那些在距離待處理視頻幀第三近的關(guān)鍵幀中可見的那些三維點，以此類推直到選取的三維點的個數(shù)達到T為止。本子步驟中，如果已有關(guān)鍵幀中已有三維點的數(shù)目小于T個，則選取全部的已有三維點即可。優(yōu)選地，T大于等于600。子步驟B4，對于所選T個已有三維點中的每一個三維點，執(zhí)行以下步驟子分步驟B4a，在已有關(guān)鍵幀中挑選一關(guān)鍵幀作為參考幀，其中該關(guān)鍵幀滿足
(I)該已有三維點在該關(guān)鍵幀中可見，(2)其距離當前待處理幀最近；子分步驟B4b，對于所選的T個三維點中的每一個三維點，用待處理視頻幀F(xiàn)i的初始外參數(shù)[RiIti]預估該三維點在參考幀周圍的一個小圖像塊與待處理幀中對應圖像塊之間的單應H ;單應H是一個3X3的矩陣，它將參考幀中的小圖像塊中的像素坐標m = (u，v)變換到待處理幀中圖像塊的像素坐標m' =(u'，V')
權(quán)利要求
1.一種剛體在線三維重建與定位的方法，包括 步驟A，由用戶確定視頻中第一關(guān)鍵幀以及在該第一關(guān)鍵幀中的目標剛體，在后續(xù)幀中尋找第二關(guān)鍵幀，應用該第一關(guān)鍵幀和第二關(guān)鍵幀重建得到該目標剛體的初始三維點的坐標，及該兩關(guān)鍵幀分別的外參數(shù)[I I O]與[R2It2]； 步驟B，對于待處理視頻幀F(xiàn)i,根據(jù)已有關(guān)鍵幀、已有三維點和已有三維點在已有關(guān)鍵幀中對應的二維圖像點坐標，尋找已有三維點在該待處理視頻幀F(xiàn)i中對應的二維圖像點，如果已找到對應圖像點的已有三維點的數(shù)目大于一閾值，則定位成功，根據(jù)三維點坐標和得到的二維圖像點坐標的對應關(guān)系計算并輸出該待處理視頻幀中像機的外參數(shù)[Ri Iti],執(zhí)行步驟C ;否則，定位失敗，對下一待處理視頻幀F(xiàn)i+1重新執(zhí)行步驟B ; 步驟C，對于成功定位的視頻幀F(xiàn)i，判斷是否將其作為新的關(guān)鍵幀；如果將其作為新的關(guān)鍵幀，則求取已有三維點在該新關(guān)鍵幀上對應的圖像點坐標以及尋找目標剛體上新的三維點，對下一待處理視頻幀F(xiàn)i+1重新執(zhí)行步驟B。
2.根據(jù)權(quán)利要求I所述的剛體在線三維重建與定位的方法，其中，所述步驟A包括 子步驟Al，由用戶確定視頻中第一關(guān)鍵幀，并確定目標剛體所在的區(qū)域； 子步驟A2，將用戶給出的目標剛體所在的區(qū)域視為初始的前景區(qū)域，區(qū)域以外的圖像區(qū)域視為初始的背景區(qū)域，將該前景區(qū)域和背景區(qū)域作為圖像分割算法的輸入對第一關(guān)鍵幀進行分割，得到修正后的前景區(qū)域； 子步驟A3，從分割得到的第一關(guān)鍵幀中的前景區(qū)域中提取目標剛體的多個Shi-Tomasi 特征點； 子步驟A4，對于后續(xù)幀，利用金字塔光流方法對該多個Shi-Tomasi特征點進行跟蹤，得到該后續(xù)幀和第一關(guān)鍵幀之間多個Shi-Tomasi特征點的匹配關(guān)系； 子步驟A5，根據(jù)該匹配關(guān)系進行兩視重建，得到第一關(guān)鍵幀和該后續(xù)幀的外參數(shù)[I I O]與[R2 It2]，及對應每一對匹配點的一個三維點； 子步驟A6，對于每一個三維點，計算其不確定度，如果所有三維點不確定度的中值大于一定的閾值，則重建失敗，否則重建成功； 子步驟A7，若重建失敗，則等待下一幀重復子步驟A4-A6 ;若重建成功，則將當前處理的幀作為第二關(guān)鍵幀，將第一關(guān)鍵幀和第二關(guān)鍵幀中的多個三維點分別作為初始三維點，該初始三維點對應的Shi-Tomasi特征點作為其二維圖像點坐標，將像機外參數(shù)[I I O]與[R2112]作為第一關(guān)鍵幀和第二關(guān)鍵幀初始的外參數(shù)。
3.根據(jù)權(quán)利要求2所述的剛體在線三維重建與定位的方法，其中，所述子步驟A2中根據(jù)該匹配關(guān)系進行兩視重建包括 子分步驟A5a，利用RANSAC算法由所述匹配關(guān)系計算基本矩陣F ; 子分步驟A5b，利用已經(jīng)標定好的像機內(nèi)參數(shù)K分解該基本矩陣F得到本質(zhì)矩陣E E =KtFK ； 子分步驟A5c，由本質(zhì)矩陣分解得到參與重建的兩幀的外參數(shù)[I I O]與[R2|t2] E =[t2] χΙ^2 ; 子分步驟A5d，利用兩幀的像機矩陣K [I I O]與K [R2112]對RANSAC計算后的所有正確的匹配對進行三角化重建出目標剛體的初始三維點。
4.根據(jù)權(quán)利要求3所述的剛體在線三維重建與定位的方法，其中，所述子分步驟A5d中，由求解以下線性方程組求得三維點X
5.根據(jù)權(quán)利要求2所述的剛體在線三維重建與定位的方法，其中，所述子步驟A6中，利用以下公式計算三維點的不確定度
6.根據(jù)權(quán)利要求I所述的剛體在線三維重建與定位的方法，其中，所述步驟B包括 子步驟BI，如果待處理視頻幀F(xiàn)i的上一個視頻幀F(xiàn)p1的外參數(shù)[RgItiJ定位成功，則將當前待處理視頻幀的外參數(shù)[RiIti]初始化為[RHltiJ ； 子步驟B2，根據(jù)初始的待處理視頻幀的外參數(shù)[RiIti]計算已有關(guān)鍵幀與待處理視頻幀的距離D并排序； 子步驟B3，從已有關(guān)鍵幀中選取T個已有三維點； 子步驟B4，對于所選T個已有三維點中的每一個三維點，尋找該三維點對應的圖像點；子步驟B5，如果已找到對應圖像點的已有三維點的數(shù)目大于一閾值，則定位成功，執(zhí)行子步驟B6 ； 子步驟B6，利用已找到對應圖像點的已有三維點與其在待處理幀上圖像點的對應關(guān)系，以初始的外參數(shù)[Ri Iti],即上一個視頻幀的外參數(shù)[RiJtiJ,通過高斯牛頓迭代最小化重投影誤差的Turkey M估計子來修正待處理幀中像機的外參數(shù)[RiItiI
7.根據(jù)權(quán)利要求6所述的剛體在線三維重建與定位的方法，其中，所述步驟B3中，已有三維點的選取規(guī)則為 首先，選擇在距離待處理視頻幀最近的關(guān)鍵幀中可見的已有三維點，如果這些三維點的個數(shù)已經(jīng)大于或等于T，則從中間隨機的挑選出T個； 如果這些三維點的個數(shù)不足T，那么將這些三維點全部選取，余下的三維點從距離待處理視頻幀第二近的關(guān)鍵幀中可見的三維點中選取； 如果選取的三維點的總數(shù)依然不足T，則考慮那些在距離待處理視頻幀第三近的關(guān)鍵幀中可見的那些三維點，以此類推，直到選取的三維點的個數(shù)達到T為止； 如果已有關(guān)鍵幀中已有三維點的數(shù)目小于T個，則選取全部的已有三維點。
8.根據(jù)權(quán)利要求6所述的剛體在線三維重建與定位的方法，其中，所述子步驟B4包括 子分步驟B4a，在已有關(guān)鍵幀中挑選一關(guān)鍵幀作為參考幀，其中該關(guān)鍵幀滿足(I)該已有三維點在該關(guān)鍵幀中可見，(2)其距離當前待處理幀最近； 分步驟B4b，對于所選的T個三維點中的每一個三維點，用待處理視頻幀F(xiàn)i的初始外參數(shù)[RiIti]預估 該三維點在參考幀周圍的一個小圖像塊與待處理幀中對應圖像塊之間的單應H; 子分步驟B4c，用近似這個單應H的仿射變換A將參考幀中圖像塊進行變換，得到新的圖像塊； 子分步驟Md，用金字塔光流方法尋找這個變換后的圖像塊在待處理幀中的對應圖像塊，將其中心作為該三維點對應的圖像點。
9.根據(jù)權(quán)利要求6所述的剛體在線三維重建與定位的方法，其中， 所述步驟B還包括子步驟BI，，將待處理視頻幀的外參數(shù)[Ri I 初始化為距離該待處理視頻幀最近的關(guān)鍵幀的外參數(shù)，執(zhí)行步驟B2 ； 所述子步驟B5還包括如果已找到對應圖像點的已有三維點的數(shù)目小于一閾值，則定位失敗，執(zhí)行步驟ΒΓ。
10.根據(jù)權(quán)利要求I所述的剛體在線三維重建與定位的方法，其中，所述步驟C包括 子步驟Cl，利用定位成功的視頻幀匕的外參數(shù)[Ri Iti],計算所有關(guān)鍵幀距離該幀的距離并排序。
子步驟C2，找到距離該視頻幀F(xiàn)i最近的一個關(guān)鍵幀，選取在此關(guān)鍵幀中可見的已有三維點；計算這些已有三維點在該視頻幀F(xiàn)i和此關(guān)鍵幀下的不確定度；如果這些已有三維點的不確定度的中值小于一閾值，那么就將該視頻幀F(xiàn)i作為候選關(guān)鍵幀送入重建線程進行重建，否則等待處理下一幀，執(zhí)行步驟BI ； 子步驟C3，通過標準金字塔光流方法尋找在最近關(guān)鍵幀中可見的三維點在候選關(guān)鍵幀中對應的圖像點坐標；并計算每一個對應的重投影誤差，若誤差小于一閾值則此三維點與圖像點坐標的對應為正確的對應，否則為錯誤的對應； 子步驟C4，對該最近關(guān)鍵幀進行分割得到剛體所在的前景區(qū)域，在該前景區(qū)域中的到新的三維點； 子步驟C5，計算由子步驟C3得到的已有三維點與候選關(guān)鍵幀中圖像點坐標對應中正確的對應所占的比例，并計算由步驟C4得到的新三維點中正確的三維點所占的比例；如果比例都高于各自的預先設(shè)定好的閾值，那么此次重建成功，所有的已有三維點與圖像點坐標的對應以及正確的新三維點都將被保留下來，候選關(guān)鍵幀也成為正式的關(guān)鍵幀，得到了新的關(guān)鍵幀以及目標剛體上已有的三維點在新的關(guān)鍵幀上對應的圖像點坐標和剛體上新的三維點的坐標，執(zhí)行步驟C6 ;否則此次重建失敗，丟棄此候選的關(guān)鍵幀，等待處理下一個候選的關(guān)鍵幀，執(zhí)行步驟B。
11.根據(jù)權(quán)利要求10所述的剛體在線三維重建與定位的方法，其中，所述步驟C包括 子分步驟C4a，得到包含所有已有三維點的最小立方體； 子分步驟C4b，根據(jù)該幀的攝像機矩陣，將這個立方體投影到該幀的圖像上從而得到一個多邊形，此多邊形為可能的剛體所在的前景區(qū)域，此多邊形以外的圖像區(qū)域為可能的背景區(qū)域； 子分步驟C4c，根據(jù)該幀的攝像機矩陣，將所有已有的三維點投影到該幀得到一系列圖像點，這些點是確定的剛體前景點；子分步驟C4d，將子分步驟C4b，子分步驟C4c得到的可能的前景區(qū)域、可能的背景區(qū)域、確定的前景點輸入到圖像分割算法，通過計算后得到剛體所在的前景區(qū)域； 子分步驟C4e,從這個前景區(qū)域中提取多個Shi-Tomasi特征點并選取離已有三維點在此關(guān)鍵幀中的對應圖像點較遠的那些特征點；在候選關(guān)鍵幀中用金字塔光流方法尋找所選的特征點對應的匹配點；利用候選關(guān)鍵幀的像機矩陣及最近關(guān)鍵幀的像機矩陣，對匹配的點對進行三角化得到新的三維點的坐標；然后計算這些新三維點的不確定度，不確定度低于一定閾值的三維點視為正確的三維點，將其作為新三維點。
12.根據(jù)權(quán)利要求10所述的剛體在線三維重建與定位的方法，其中，所述子步驟C5之后還包括 子步驟C6，如果重建成功，對于一個三維點，它在多個關(guān)鍵幀中都有對應的圖像點坐標，如果正確的對應所占的比例低于2/3，則此三維點被標記成外點，否則此三維點為內(nèi)點；據(jù)此判斷所有三維點是否為內(nèi)點；將所有的內(nèi)點三維點以及每一個內(nèi)點三維點中正確的與關(guān)鍵幀中圖像點坐標的對應用來做捆綁調(diào)整，優(yōu)化這些內(nèi)點三維點的坐標及所有的關(guān)鍵幀的外參數(shù)。
13.根據(jù)權(quán)利要求I至12中任一項所述的剛體在線三維重建與定位的方法，其中，所述圖像分割算法為=GrabCut分割算法或FLKDE分割算法。
全文摘要
本發(fā)明提供了一種剛體在線三維重建與定位的方法。該方法采用圖像分割和同步地圖構(gòu)建與定位技術(shù)相結(jié)合，把視頻中運動剛體從圖像中分割出來，從而可以將同步地圖構(gòu)建與定位應用到該剛體上，因此本發(fā)明能夠使剛體的重建與定位過程在初始化之后完全在線、自動地進行。
文檔編號G06T17/00GK102768767SQ20121027624
公開日2012年11月7日 申請日期2012年8月6日 優(yōu)先權(quán)日2012年8月6日
發(fā)明者馮友計, 吳毅紅 申請人:中國科學院自動化研究所