專利名稱：：基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法
技術領域：
：本發(fā)明屬于目標姿態(tài)估計與測距
技術領域：
，具體涉及基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法。
背景技術：
：三維剛體目標的姿態(tài)和距離參數(shù)測量是眾多應用領域的一個基本問題，在計算機圖形學、攝影測量、機器人導航、建筑施工、交通控制、軍事偵察中均有著重要的應用價值。傳統(tǒng)的測量方法主要包括以下兩種一是手工測量，這種方法受測量現(xiàn)場和測量設備限制，一般只能應用在比較簡單的場合，應用限制大、精度低；二是采用激光、聲納、測距雷達等有源裝置進行主動測量，這種測量方式除了成本高外，被測目標都會受到測量儀器發(fā)出某種形式的能量影響，不利于被測目標(如古文物)的保護和測量活動(如軍事偵察)的隱蔽。另外，這兩種測量方式都只能在現(xiàn)場進行測量，不具有時間或空間的可重復性。而基于計算機視覺的測量方法則具有設備簡單、成本低、測量方便、不要求測量的現(xiàn)場性等優(yōu)點而得到越來越多的關注和發(fā)展。根據(jù)系統(tǒng)所要求的圖像采集鏡頭的數(shù)量，基于計算機視覺的測量方法又可分為基于多目觀測的測量方式和基于單目觀測的測量方式?；诙嗄坑^測的測量方式又稱為基于立體像對的目標測量，是基于計算機視覺的目標測量研究中最為成熟的一種方法，它利用立體像對的三角交會原理進行距離測量，具有算法設計簡單的優(yōu)點；其缺點是圖像采集需要專業(yè)立體成像設備，復雜昂貴，每個采集鏡頭成像參數(shù)以及多個鏡頭之間的相對姿態(tài)參數(shù)必須事先經(jīng)過嚴格校正才能保證測量的準確性；為了保證測距精度，兩個采集鏡頭之間的基線相對于測量目標的尺寸比必須足夠大，造成設備的應用限制較大；而且基于立體像對的目標測量方法沒有充分挖掘單個鏡頭所采集數(shù)據(jù)中所包含的潛在信息，只能獲取目標的距離參數(shù)，測量參數(shù)單一。與之相比，基于單目觀測的目標測量方式對成像設備的要求大大降低，無需專業(yè)立體成像設備，任何具有成像能力的設備如普通的監(jiān)控攝像機、家用DV等都可以做為系統(tǒng)的圖像采集鏡頭，同時也不存在立體成像設備的基線要求限制；在充分挖掘目標單目觀測視頻所包含的信息的基礎上，除了能夠獲取目標的距離參數(shù)外，還可以獲取目標的姿態(tài)、運動矢量、加速度矢量等參數(shù)；所付出的代價是算法的復雜性增高，對系統(tǒng)的計算能力要求較高。目前對基于單目觀測的目標測量方法研究仍集中在二維平面場景的測量和目標同名特征已知情況下的三維剛體目標測量，應用范圍限制較大，限定應用場景或限定目標類型，自動化程度較低，需要用戶手工標定目標同名特征信息；對在事先未知目標同名特征情況下的三維剛體目標測量的研究并不多見，而這正是實際應用中最為需要的。
發(fā)明內(nèi)容為了克服上述現(xiàn)有技術的缺點，本發(fā)明的目的在于提供了基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法，無需立體成像設備，具有不損傷被觀測目標、隱蔽性好的優(yōu)點，同時具有成本低、自動化程度高的優(yōu)點。為了達到上述目的，本發(fā)明采用的技術方案是基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法，包括以下步驟步驟1，通過光學觀測設備采集目標的觀測視頻，光學觀測設備為單目觀測鏡頭；步驟2，將采集得到的圖像序列送入目標分割模塊以獲得目標的二值分割圖像和輪廓圖像，采用的方法是基于水平集的改進型區(qū)域競爭方法，分割模型方程如下所示其中，I表示待分割圖像，C表示零水平集輪廓，C1表示目標區(qū)域的平均灰度，C2表示背景區(qū)域的平均灰度；α，C，λ”λ2均為加權系數(shù)；步驟3，根據(jù)目標的二值分割圖像和輪廓圖像，提取目標輪廓點上的特征向量，由輪廓特征提取模塊對目標輪廓上的點進行特征矢量提取，輪廓特征提取模塊對目標輪廓上的點，提取如下的三維特征矢量χ、y表示輪廓點在像平面的橫縱坐標，curv表示目標輪廓在該點的曲率，采用如下步驟來計算目標輪廓在給定點的曲率令Mask表示一個半徑為r的圓形掩模，對于給定點P，記其灰度值為I(P)；以該P點為掩模中心，計算掩模Mask范圍內(nèi)的圖像像素點與掩模中心點的灰度差異，則P點對應的曲率計算公式為其中，Φ(·)為隸屬度模糊函數(shù)，方程如下其中，χ為自變量，t”t2為閾值，ti<t2。步驟4，根據(jù)目標的輪廓圖像和目標輪廓點上的特征向量，生成多特征驅(qū)動距離圖，多特征驅(qū)動距離圖是指使用加權多特征距離作為距離度量范數(shù)的距離圖，其數(shù)學描述如下令G表示N維特征空間中的均勻采樣網(wǎng)格，CC=G表示目標采樣點集合，多特征驅(qū)動距離圖描述的是網(wǎng)格G中的每一點到目標點集合C的最短距離；對采樣點χeG，其距離值定義為(5)其中，距離度量II·II采用的是加權多特征距離范數(shù)，“加權多特征距離范數(shù)”是指，設N維特征空間中的兩點，則該兩點之間的加權多特征驅(qū)動距離定義為其中W1LwN為各特征維的加權系數(shù)，公式(6)所定義的加權多特征驅(qū)動距離提供了一種可以容納任意個數(shù)的特征及其組合方式的算法框架，在加權多特征驅(qū)動距離框架下，可以添加任何有效的特征，并通過調(diào)整各特征維的加權系數(shù)來提高同名點的匹配精度，多特征驅(qū)動距離圖是采用如下的加權快速距離變換來生成多特征驅(qū)動距離圖1)一維情況下的加權快速距離變換在一維情況下，加權距離變換定義式為其中f(·)為初始距離函數(shù)，C為其定義域，w為標量加權系數(shù)。當度量范數(shù)采用2范數(shù)時，上式可以重寫為(8)式可以看成是以χ為自變量的二次函數(shù)，其形狀為拋物線；從(8)式可以得出如下結論距離變換Df(X)等于所有不同q值的拋物線y=w(x-q)2+f(q)的下包跡的值，由于拋物線方程已知，要求取其下包跡只需要再知道各拋物線之間的交點坐標；對于q=1和q=q2的兩條拋物線，其交點坐標為2)N維情況下的加權快速距離變換在N維情況下，加權距離變換定義式為其中W1LwN為各維的加權系數(shù)；上式可重寫為(H)(11)式的重要含義在于對于N維加權距離變換，可以通過逐維進行一維加權距離變換求得；該加權快速距離變換算法的復雜度為O(L)，其中L為采樣點的總數(shù)目；步驟5，根據(jù)多特征驅(qū)動距離圖以及從模型庫中獲得的目標的三維模型數(shù)據(jù)，建立輸入的二維圖像序列與目標的三維模型之間的試探性同名點特征對應關系，采用如下的兩步方法建立二維圖像與目標三維模型之間的試探性同名點特征對應關系l)2D-to_2D點對應關系的確定首先將目標的三維模型進行投影得到相應的投影圖像并從中提取目標的輪廓，然后利用多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2D-to_2D點對應關系，使用步驟4所給出的多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2D-to-2D點對應關系，根據(jù)多特征驅(qū)動距離圖的定義，給定采樣點χeG，其多特征驅(qū)動距離圖值描述的是從該點到目標點集C的最小距離，因此具有相同距離圖值的采樣點形成一個個封閉和連續(xù)的曲面或稱為等高面，為了尋找給定采樣點χ在目標點集C中的最鄰近點，只需要從采樣點χ出發(fā)沿著距離圖的梯度下降方向向下搜尋，在搜尋路徑上遇到的第一個點χ'eC即為采樣點χ在目標點集C中的最鄰近點，可以將尋找兩輪廓上同名點的計算復雜度從O(MN)顯著降低到0(1)，其中M、N分別為兩輪廓上點的數(shù)目，2)2D-to_3D點對應關系的確定把建立的2D-to_2D點對應關系反向投影到目標的三維模型上去，以建立二維輸入圖像與目標三維模型間的2D-to-3D點對應關系，采用如下的面片染色方案，即在使用目標的三維模型進行投影時，賦予模型上每個三角面片不同的顏色，然后以此顏色為索引，可以從模型的幾千個三角面片中找出對應于投影圖像輪廓的三角面片，在找到對應于投影圖像輪廓的三角面片后，即可求取投影圖像輪廓同名點在模型表面上所對應點的準確三維坐標，設相機坐標系與目標自坐標系之間不存在旋轉(zhuǎn)和平移，若一個三角面片的三個頂點坐標為則由該面片所定義的平面方程可表示為令Xg表示投影輪廓同名點對應的模型上的點的三維坐標，則可按下式計算其值(13)步驟6，根據(jù)試探性同名點特征對應關系對圖像中目標的三維姿態(tài)和距離參數(shù)進行反演，令Jp,表示目標輪廓圖像上某點在像平面坐標系的坐標，《.表示該點在相機坐標系中的對應坐標，有(H)定義投影矩陣(15)目標姿態(tài)/距離參數(shù)反演模塊的特征之一，是使用如下的目標代價函數(shù)來對目標的三維姿態(tài)和距離參數(shù)進行反演(16)步驟7，將步驟6反演得到的目標的三維姿態(tài)和距離參數(shù)反饋到步驟5，對二維圖像序列與目標的三維模型之間的試探性同名點特征對應關系進行修正更新；步驟8，重復步驟5步驟7的過程直至滿足迭代停止條件。由于本發(fā)明對三維剛體目標的姿態(tài)和距離參數(shù)反演，只需要獲取目標的單目觀測視頻，而不需要昂貴復雜的立體成像設備，任何具有光學成像能力的設備，均可以用來作為本系統(tǒng)的視頻采集設備，具有不損傷被觀測目標、隱蔽性好的優(yōu)點，同時具有成本低的優(yōu)點；由于本發(fā)明在系統(tǒng)參數(shù)設置完畢后，測量過程中不需要用戶進行手工干預，不需要用戶事先指定觀測目標的同名特征，具有自動化程度高的優(yōu)點。具體實施例方式下面結合實施例對本發(fā)明做詳細描述?；趩文恳曨l的實時三維剛體目標姿態(tài)估計與測距方法，包括以下步驟步驟1，通過光學觀測設備采集目標的觀測視頻，光學觀測設備為單目觀測鏡頭；步驟2，將采集得到的圖像序列送入目標分割模塊以獲得目標的二值分割圖像和輪廓圖像，采用的方法是基于水平集的改進型區(qū)域競爭方法，分割模型方程如下所示其中，I表示待分割圖像，C表示零水平集輪廓，C1表示目標區(qū)域的平均灰度，C2表示背景區(qū)域的平均灰度；α，C，λ”λ2均為加權系數(shù)，假定在所獲取的觀測視頻中目標姿態(tài)、距離參數(shù)的變化是平滑的，相鄰的前后兩幀之間目標圖像不存在跳躍性的變化，這符合大多數(shù)剛體目標的運動特征，利用視頻圖像序列的幀間相關性，圖像分割模塊將前一幀的目標分割結果做為后一幀目標分割的零水平集輪廓初始位置，從而顯著降低了圖像分割所耗用的時間，以滿足系統(tǒng)實時處理的要求；步驟3，根據(jù)目標的二值圖像和輪廓圖像，提取目標輪廓點上的特征向量，使用目標觀測圖像的輪廓特征來完成三維剛體目標姿態(tài)估計與測距的任務，在由圖像分割模塊分割得到被測目標的二值圖像和輪廓圖像后，由輪廓特征提取模塊對目標輪廓上的點進行特征矢量提取，作為算法復雜度和參數(shù)測量精度之間的權衡，輪廓特征提取模塊對目標輪廓上的點，提取如下的3維特征矢量χ、y表示輪廓點在像平面的橫縱坐標，curv表示目標輪廓在該點的曲率，由于標準曲率具有噪聲敏感的缺點，本發(fā)明采用如下步驟來計算目標輪廓在給定點的曲率令Mask表示一個半徑為r的圓形掩模，對于給定點P，記其灰度值為I(P)；以該P點為掩模中心，計算掩模Mask范圍內(nèi)的圖像像素點與掩模中心點的灰度差異，則ρ點對應的曲率計算公式為其中，Φ(Φ(X)=)為隸屬度模糊函數(shù)，方程如下ιif|x|<tx⑷οifH>其中，χ為自變量，t”t2為閾值，、<t2。由以上計算得到的輪廓曲率與標準曲率一樣反映了輪廓線的彎曲程度，同時具有很好的噪聲魯棒性與尺度不變性的特點；步驟4，根據(jù)目標的輪廓圖像和目標輪廓點上的特征向量，生成多特征驅(qū)動距離圖，不要求用戶事先給定二維輸入圖像與目標的三維模型之間的同名特征對應關系，而是計算在進行目標三維姿態(tài)和距離參數(shù)反演的同時逐步確定出二維輸入像與目標的三維模型之間正確的同名特征對應關系，即是要根據(jù)步驟2圖像分割模塊得到的目標輪廓圖像和步驟3輪廓特征提取模塊得到的目標輪廓點的特征矢量生成多特征驅(qū)動距離圖，多特征驅(qū)動距離圖是指使用加權多特征距離作為距離度量范數(shù)的距離圖，其數(shù)學描述如下令G表示N維特征空間中的均勻采樣網(wǎng)格，CC=G表示目標采樣點集合，多特征驅(qū)動距離圖描述的是網(wǎng)格G中的每一點到目標點集合C的最短距離。對采樣點χeG，其距離值定義為MFDM(x)=mm\\x-y\\,^yeC⑶其中，距離度量II·II采用的是加權多特征距離范數(shù)，“加權多特征距離范數(shù)”是指，設N維特征空間中的兩點ρ=\χλ,X2LX7vIq=\x[,x'2l,x;lr，則該兩點之間的加權多特征驅(qū)動距離定義為MFD{p,SXx1-x[)z+W2(X2一χ;)2+LwN(xN-xN)l其中W1LwN為各特征維的加權系數(shù)，公式(6)所定義的加權多特征驅(qū)動距離提供了一種可以容納任意個數(shù)的特征及其組合方式的算法框架，在加權多特征驅(qū)動距離框架下，可以添加任何有效的特征，并通過調(diào)整各特征維的加權系數(shù)來提高同名點的匹配精度，這在特征異質(zhì)的情況下是非常必要的，多特征驅(qū)動距離圖是采用如下的加權快速距離變換來生成多特征驅(qū)動距離圖1)一維情況下的加權快速距離變換在一維情況下，加權距離變換定義式為(6)D/(x)=min(w||x-^||+/(^))(7)其中f(·)為初始距離函數(shù)，C為其定義域，w為標量加權系數(shù)。當度量范數(shù)采用2范數(shù)時，上式可以重寫為(8)(8)式可以看成是以χ為自變量的二次函數(shù)，其形狀為拋物線。從(8)式可以得出如下結論距離變換Df(X)等于所有不同q值的拋物線y=w·(x-q)2+f(q)的下包跡的值，由于拋物線方程已知，要求取其下包跡只需要再知道各拋物線之間的交點坐標。對于q=1和q=q2的兩條拋物線，其交點坐標為2)N維情況下的加權快速距離變換在N維情況下，加權距離變換定義式為其中W1LwN為各維的加權系數(shù)。上式可重寫為(11)式的重要含義在于對于N維加權距離變換，可以通過逐維進行一維加權距離變換求得。該加權快速距離變換算法的復雜度為O(L)，其中L為采樣點的總數(shù)目；步驟5，根據(jù)多特征驅(qū)動距離圖以及從模型庫中獲得的目標的三維模型數(shù)據(jù)，建立輸入的二維圖像序列與目標的三維模型之間的試探性同名特征對應關系，不要求用戶事先給定二維輸入圖像與目標三維模型間的同名特征對應關系，而是在進行目標三維姿態(tài)和距離參數(shù)反演的同時，逐步確定出二維輸入像與目標的三維模型之間正確的同名特征對應關系，自動化程度高，“建立輸入的二維圖像與目標三維模型之間的試探性同名點特征對應關系”中的“試探性”是指，在算法迭代初期，所建立輸入的二維圖像與目標三維模型之間的同名點特征對應關系可能并不完全準確，而是處在算法收斂半徑所允許的誤差鄰域中，需要在后續(xù)迭代過程中進行逐步更新修正；“建立輸入的二維圖像與目標三維模型之間的試探性同名點特征對應關系”中的“點特征”是指，本模塊建立的特征對應關系是輸入圖像中目標輪廓上的像點與目標三維模型上三維實體點之間的對應關系，采用如下的兩步方法建立二維圖像與目標三維模型之間的同名點特征對應關系l)2D-to_2D點對應關系的確定首先將目標的三維模型進行投影得到相應的投影圖像并從中提取目標的輪廓，然后利用多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2D-to-2D點對應關系，使用步驟4“多特征驅(qū)動距離圖生成模塊”所給出的多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2D-to_2D點對應關系，根據(jù)多特征驅(qū)動距離圖的定義，給定采樣點χeG，其多特征驅(qū)動距離圖值描述的是從該點到目標點集C的最小距離，因此具有相同距離圖值的采樣點形成一個個封閉和連續(xù)的曲面或稱為等高面，為了尋找給定采樣點χ在目標點集C中的最鄰近點，只需要從采樣點χ出發(fā)沿著距離圖的梯度下降方向向下搜尋，在搜尋路徑上遇到的第一個點χ'eC即為采樣點χ在目標點集C中的最鄰近點。與通常的線性搜索相比，利用多特征驅(qū)動距離圖的幫助，可以將尋找兩輪廓上同名點的計算復雜度從0(MN)顯著降低到0(1)，其中M、N分別為兩輪廓上點的數(shù)目，2)2D-to_3D點對應關系的確定把建立的2D-to_2D點對應關系反向投影到目標的三維模型上去，以建立二維輸入圖像與目標三維模型間的2D-to-3D點對應關系，采用如下的面片染色方案，即在使用目標的三維模型進行投影時，賦予模型上每個三角面片不同的顏色，然后以此顏色為索引，可以從模型的幾千個三角面片中找出對應于投影圖像輪廓的三角面片，在找到對應于投影圖像輪廓的三角面片后，即可求取投影圖像輪廓同名點在模型表面上所對應點的準確三維坐標，設相機坐標系與目標自坐標系之間不存在旋轉(zhuǎn)和平移，若一個三角面片的三個頂點坐標為則由該面片所定義的平面方程可表示為令i表示投影輪廓同名點對應的模型上的點的三維坐標，則可按下式計算其值步驟6，根據(jù)試探性同名特征對應關系對圖像中目標的三維姿態(tài)和距離參數(shù)進行反演，令^^表示目標輪廓圖像上某點在像平面坐標系的坐標，《表示該點在相機坐標系中的對應坐標，有定義投影矩陣目標姿態(tài)/距離參數(shù)反演模塊的特征之一，是使用如下的目標代價函數(shù)來對目標的三維姿態(tài)和距離參數(shù)進行反演步驟7，將步驟6反演得到的目標的三維姿態(tài)和距離參數(shù)反饋到步驟5，對二維圖像序列與目標的三維模型之間的試探性同名特征對應關系進行修正更新；步驟8，重復步驟5步驟7的過程直至滿足迭代停止條件。權利要求基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法，其特征在于包括以下步驟步驟1，通過光學觀測設備采集目標的觀測視頻，光學觀測設備為單目觀測鏡頭；步驟2，將采集得到的圖像序列送入目標分割模塊以獲得目標的二值分割圖像和輪廓圖像，采用的方法是基于水平集的改進型區(qū)域競爭方法，分割模型方程如下所示<mrow><mi>E</mi><mrow><mo>(</mo><mi>C</mi><mo>)</mo></mrow><mo>=</mo><mi>α</mi><mo>·</mo><mi>Length</mi><mrow><mo>(</mo><mi>C</mi><mo>)</mo></mrow><mo>+</mo><mi>c</mi><mo>·</mo><mi>Area</mi><mrow><mo>(</mo><mi>inside</mi><mrow><mo>(</mo><mi>C</mi><mo>)</mo></mrow><mo>)</mo></mrow></mrow><mrow><mo>+</mo><msub><mi>λ</mi><mn>1</mn></msub><munder><mo>∫</mo><mrow><mi>inside</mi><mrow><mo>(</mo><mi>C</mi><mo>)</mo></mrow></mrow></munder><mo>|</mo><mi>I</mi><mo>-</mo><msub><mi>c</mi><mn>1</mn></msub><mo>|</mo><mi>dxdy</mi></mrow><mrow><mo>+</mo><msub><mi>λ</mi><mn>2</mn></msub><munder><mo>∫</mo><mrow><mi>outside</mi><mrow><mo>(</mo><mi>C</mi><mo>)</mo></mrow></mrow></munder><mo>|</mo><mi>I</mi><mo>-</mo><msub><mi>c</mi><mn>2</mn></msub><mo>|</mo><mi>dxdy</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>其中，I表示待分割圖像，C表示零水平集輪廓，c1表示目標區(qū)域的平均灰度，c2表示背景區(qū)域的平均灰度；α，c，λ1，λ2均為加權系數(shù)；步驟3，根據(jù)目標的二值圖像和輪廓圖像，提取目標輪廓點上的特征向量，由輪廓特征提取模塊對目標輪廓上的點進行特征矢量提取，輪廓特征提取模塊對目標輪廓上的點，提取如下的三維特征矢量<mrow><mover><mi>f</mi><mi>V</mi></mover><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>curv</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>x、y表示輪廓點在像平面的橫縱坐標，curv表示目標輪廓在該點的曲率，采用如下步驟來計算目標輪廓在給定點的曲率令Mask表示一個半徑為r的圓形掩模，對于給定點p，記其灰度值為I(p)；以該p點為掩模中心，計算掩模Mask范圍內(nèi)的圖像像素點與掩模中心點的灰度差異，則p點對應的曲率計算公式為<mrow><mi>curv</mi><mo>=</mo><munder><mi>Σ</mi><mrow><mi>q</mi><mo>∈</mo><mi>Mask</mi></mrow></munder><mi>Φ</mi><mrow><mo>(</mo><mi>I</mi><mrow><mo>(</mo><mi>q</mi><mo>)</mo></mrow><mo>-</mo><mi>I</mi><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>其中，Φ(·)為隸屬度模糊函數(shù)，方程如下<mrow><mi>Φ</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mi>if</mi><mo>|</mo><mi>x</mi><mo>|</mo><mo>≤</mo><msub><mi>t</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><mfrac><mn>1</mn><mrow><mn>1</mn><mo>-</mo><msub><mi>t</mi><mn>1</mn></msub></mrow></mfrac><mrow><mo>(</mo><mfrac><mrow><msub><mi>t</mi><mn>2</mn></msub><mo>-</mo><mo>|</mo><mi>x</mi><mo>|</mo></mrow><msub><mi>t</mi><mn>2</mn></msub></mfrac><mo>)</mo></mrow></mtd><mtd><mi>if</mi><msub><mi>t</mi><mn>1</mn></msub><mo><</mo><mo>|</mo><mi>x</mi><mo>|</mo><mo>≤</mo><msub><mi>t</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>if</mi><mo>|</mo><mi>x</mi><mo>|</mo><mo>></mo><msub><mi>t</mi><mn>2</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>其中，x為自變量，t1、t2為閾值，t1＜t2；步驟4，根據(jù)目標的輪廓圖像和目標輪廓點上的特征向量，生成多特征驅(qū)動距離圖，多特征驅(qū)動距離圖是指使用加權多特征距離作為距離度量范數(shù)的距離圖，其數(shù)學描述如下令G表示N維特征空間中的均勻采樣網(wǎng)格，表示目標采樣點集合，多特征驅(qū)動距離圖描述的是網(wǎng)格G中的每一點到目標點集合C的最短距離，對采樣點x∈G，其距離值定義為<mrow><mi>MFDM</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mi>y</mi></munder><mo>|</mo><mo>|</mo><mi>x</mi><mo>-</mo><mi>y</mi><mo>|</mo><mo>|</mo><mo>,</mo><mo>∀</mo><mi>y</mi><mo>∈</mo><mi>C</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>其中，距離度量||·||采用的是加權多特征距離范數(shù)，“加權多特征距離范數(shù)”是指，設N維特征空間中的兩點則該兩點之間的加權多特征驅(qū)動距離定義為<mrow><mi>MFD</mi><mrow><mo>(</mo><mover><mi>p</mi><mi>V</mi></mover><mo>,</mo><mover><mi>q</mi><mi>V</mi></mover><mo>)</mo></mrow><mo>=</mo><msub><mi>w</mi><mn>1</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>1</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msub><mi>w</mi><mn>2</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>2</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>L</mi><msub><mi>w</mi><mi>N</mi></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>N</mi></msub><mo>-</mo><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>其中w1LwN為各特征維的加權系數(shù)，公式(6)所定義的加權多特征驅(qū)動距離提供了一種可以容納任意個數(shù)的特征及其組合方式的算法框架。在加權多特征驅(qū)動距離框架下，可以添加任何有效的特征，并通過調(diào)整各特征維的加權系數(shù)來提高同名點的匹配精度，這在特征異質(zhì)的情況下是非常必要的，多特征驅(qū)動距離圖是采用如下的加權快速距離變換來生成多特征驅(qū)動距離圖1)一維情況下的加權快速距離變換在一維情況下，加權距離變換定義式為<mrow><msub><mi>D</mi><mi>f</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mrow><mi>q</mi><mo>∈</mo><mi>C</mi></mrow></munder><mrow><mo>(</mo><mi>w</mi><mo>·</mo><mo>|</mo><mo>|</mo><mi>x</mi><mo>-</mo><mi>q</mi><mo>|</mo><mo>|</mo><mo>+</mo><mi>f</mi><mrow><mo>(</mo><mi>q</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>其中f(·)為初始距離函數(shù)，C為其定義域，w為標量加權系數(shù)。當度量范數(shù)采用2范數(shù)時，上式可以重寫為<mrow><msub><mi>D</mi><mi>f</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mrow><mi>q</mi><mo>∈</mo><mi>C</mi></mrow></munder><mrow><mo>(</mo><mi>w</mi><mo>·</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>q</mi><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>f</mi><mrow><mo>(</mo><mi>q</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>(8)式可以看成是以x為自變量的二次函數(shù)，其形狀為拋物線。從(8)式可以得出如下結論距離變換Df(x)等于所有不同q值的拋物線y＝w·(xq)2+f(q)的下包跡的值，由于拋物線方程已知，要求取其下包跡只需要再知道各拋物線之間的交點坐標。對于q＝q1和q＝q2的兩條拋物線，其交點坐標為<mrow><mi>s</mi><mo>=</mo><mfrac><mrow><mi>f</mi><mrow><mo>(</mo><msub><mi>q</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>-</mo><mi>f</mi><mrow><mo>(</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow><mrow><mn>2</mn><mi>w</mi><mrow><mo>(</mo><msub><mi>q</mi><mn>1</mn></msub><mo>-</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow></mfrac><mo>+</mo><msub><mi>q</mi><mn>1</mn></msub><mo>+</mo><msub><mi>q</mi><mn>2</mn></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>2)N維情況下的加權快速距離變換在N維情況下，加權距離變換定義式為<mrow><msub><mi>D</mi><mi>f</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mn>1</mn></msub><mo>,</mo><msub><mi>x</mi><mn>2</mn></msub><mi>L</mi><msub><mi>x</mi><mi>N</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mrow><mrow><mo>(</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>,</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mi>L</mi><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mo>∈</mo><mi>C</mi></mrow></munder><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>w</mi><mn>1</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>1</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msub><mi>w</mi><mn>2</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>2</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>L</mi></mtd></mtr><mtr><mtd><msub><mi>w</mi><mi>N</mi></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>N</mi></msub><mo>-</mo><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>f</mi><mrow><mo>(</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>,</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mi>L</mi><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>其中w1LwN為各維的加權系數(shù)。上式可重寫為<mrow><msub><mi>D</mi><mi>f</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mn>1</mn></msub><mo>,</mo><msub><mi>x</mi><mn>2</mn></msub><mi>L</mi><msub><mi>x</mi><mi>N</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup></munder><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>w</mi><mn>1</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>1</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo></mtd></mtr><mtr><mtd><munder><mi>min</mi><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup></munder><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>w</mi><mn>2</mn></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mn>2</mn></msub><mo>-</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>L</mi></mtd></mtr><mtr><mtd><munder><mi>min</mi><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup></munder><mrow><mo>(</mo><msub><mi>w</mi><mi>N</mi></msub><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>N</mi></msub><mo>-</mo><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>f</mi><mrow><mo>(</mo><msubsup><mi>x</mi><mn>1</mn><mo>′</mo></msubsup><mo>,</mo><msubsup><mi>x</mi><mn>2</mn><mo>′</mo></msubsup><mi>L</mi><msubsup><mi>x</mi><mi>N</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mo>)</mo></mrow></mtd></mtr></mtable></mfenced></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>(11)式的重要含義在于對于N維加權距離變換，可以通過逐維進行一維加權距離變換求得。該加權快速距離變換算法的復雜度為O(L)，其中L為采樣點的總數(shù)目；步驟5，根據(jù)多特征驅(qū)動距離圖以及從模型庫中獲得的目標的三維模型數(shù)據(jù)，建立輸入的二維圖像序列與目標的三維模型之間的試探性同名點特征對應關系，采用如下的兩步方法建立二維圖像與目標三維模型之間的試探性同名點特征1)2Dto2D點對應關系的確定首先將目標的三維模型進行投影得到相應的投影圖像并從中提取目標的輪廓，然后利用多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2Dto2D點對應關系，使用步驟4“多特征驅(qū)動距離圖生成模塊”所給出的多特征驅(qū)動距離圖建立輸入圖像輪廓與投影圖像輪廓之間的2Dto2D點對應關系，根據(jù)多特征驅(qū)動距離圖的定義，給定采樣點x∈G，其多特征驅(qū)動距離圖值描述的是從該點到目標點集C的最小距離，因此具有相同距離圖值的采樣點形成一個個封閉和連續(xù)的曲面或稱為等高面，為了尋找給定采樣點x在目標點集C中的最鄰近點，只需要從采樣點x出發(fā)沿著距離圖的梯度下降方向向下搜尋，在搜尋路徑上遇到的第一個點x′∈C即為采樣點x在目標點集C中的最鄰近點，可以將尋找兩輪廓上同名點的計算復雜度從O(MN)顯著降低到O(1)，其中M、N分別為兩輪廓上點的數(shù)目，2)2Dto3D點對應關系的確定把建立的2Dto2D點對應關系反向投影到目標的三維模型上去，以建立二維輸入圖像與目標三維模型間的2Dto3D點對應關系，采用如下的面片染色方案，即在使用目標的三維模型進行投影時，賦予模型上每個三角面片不同的顏色，然后以此顏色為索引，可以從模型的幾千個三角面片中找出對應于投影圖像輪廓的三角面片，在找到對應于投影圖像輪廓的三角面片后，即可求取投影圖像輪廓同名點在模型表面上所對應點的準確三維坐標，設相機坐標系與目標自坐標系之間不存在旋轉(zhuǎn)和平移，若一個三角面片的三個頂點坐標為則由該面片所定義的平面方程可表示為<mrow><mi>P</mi><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><mrow><mo>(</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>1</mn></mrow></msub><mo>-</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow><mo>×</mo><mrow><mo>(</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>2</mn></mrow></msub><mo>-</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>3</mn></mrow></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>-</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>3</mn></mrow></msub><mo>·</mo><mrow><mo>(</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>1</mn></mrow></msub><mo>×</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mn>2</mn></mrow></msub><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>令表示投影輪廓同名點對應的模型上的點的三維坐標，則可按下式計算其值<mrow><msub><mover><mi>x</mi><mi>V</mi></mover><mi>vg</mi></msub><mo>=</mo><mrow><mo>(</mo><mo>-</mo><mi>P</mi><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow><mo>/</mo><msub><mover><mi>x</mi><mi>V</mi></mover><mi>g</mi></msub><mo>·</mo><mi>P</mi><mrow><mo>(</mo><mn>1</mn><mo>:</mo><mn>3</mn><mo>)</mo></mrow><mo>)</mo></mrow><msub><mover><mi>x</mi><mi>V</mi></mover><mi>g</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>13</mn><mo>)</mo></mrow></mrow>步驟6，根據(jù)試探性同名特征對應關系對圖像中目標的三維姿態(tài)和距離參數(shù)進行反演，令表示目標輪廓圖像上某點在像平面坐標系的坐標，表示該點在相機坐標系中的對應坐標，有<mrow><msub><mover><mi>v</mi><mi>V</mi></mover><mi>i</mi></msub><mo>=</mo><msup><mrow><mo>(</mo><msubsup><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>p</mi><mo>,</mo><mi>i</mi></mrow><mi>T</mi></msubsup><mo>,</mo><mi>f</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>14</mn><mo>)</mo></mrow></mrow>定義投影矩陣<mrow><msub><mi>V</mi><mi>i</mi></msub><mo>=</mo><mfrac><mrow><msub><mover><mi>v</mi><mi>V</mi></mover><mi>i</mi></msub><mo>·</mo><msubsup><mover><mi>v</mi><mi>V</mi></mover><mi>i</mi><mi>T</mi></msubsup></mrow><mrow><msubsup><mover><mi>v</mi><mi>V</mi></mover><mi>i</mi><mi>T</mi></msubsup><mo>·</mo><msub><mover><mi>v</mi><mi>V</mi></mover><mi>i</mi></msub></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>15</mn><mo>)</mo></mrow></mrow>目標姿態(tài)/距離參數(shù)反演模塊的特征之一，是使用如下的目標代價函數(shù)來對目標的三維姿態(tài)和距離參數(shù)進行反演<mrow><mi>e</mi><mo>=</mo><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msup><mrow><mo>|</mo><mo>|</mo><mrow><mo>(</mo><mi>I</mi><mo>-</mo><msub><mi>V</mi><mi>i</mi></msub><mo>)</mo></mrow><mrow><mo>(</mo><mi>R</mi><msub><mover><mi>x</mi><mi>V</mi></mover><mrow><mi>v</mi><mo>,</mo><mi>i</mi></mrow></msub><mo>+</mo><mover><mi>t</mi><mi>V</mi></mover><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>16</mn><mo>)</mo></mrow></mrow>步驟7，將步驟6反演得到的目標的三維姿態(tài)和距離參數(shù)反饋到步驟5，對二維圖像序列與目標的三維模型之間的試探性同名特征對應關系進行修正更新；步驟8，重復步驟5～步驟7的過程直至滿足迭代停止條件。FSA00000185655800023.tif,FSA00000185655800025.tif,FSA00000185655800051.tif,FSA00000185655800053.tif,FSA00000185655800055.tif,FSA00000185655800056.tif全文摘要基于單目視頻的實時三維剛體目標姿態(tài)估計與測距方法，首先通過光學觀測設備采集目標的觀測視頻，將采集得到的圖像序列送入目標分割模塊以獲得目標的二值分割圖像和輪廓圖像，提取目標輪廓點上的特征向量，生成多特征驅(qū)動距離圖，建立輸入的二維圖像序列與目標的三維模型之間的試探性同名特征對應關系，對圖像中目標的三維姿態(tài)和距離參數(shù)進行反演，將反演得到的目標的三維姿態(tài)和距離參數(shù)反饋，對二維圖像序列與目標的三維模型之間的試探性同名特征對應關系進行修正更新，直至滿足迭代停止條件，本發(fā)明無需立體成像設備，具有不損傷被觀測目標、隱蔽性好的優(yōu)點，同時具有成本低、自動化程度高的優(yōu)點。文檔編號G01C11/02GK101907459SQ201010224728公開日2010年12月8日申請日期2010年7月12日優(yōu)先權日2010年7月12日發(fā)明者冷大煒,孫衛(wèi)東申請人:清華大學