面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀測方法
【專利摘要】本發(fā)明涉及一種面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀測方法，包括：a、設定跟蹤區(qū)域，作為目標參考模板，獲取其m×1的紋理特征和灰度均值特征；b、采集當前幀場景視頻，進入跟蹤過程，包括粒子選擇、狀態(tài)轉移、狀態(tài)觀測和狀態(tài)估計等步驟。本發(fā)明通過觀測似然函數(shù)來計算粒子權重均值，目標參考特征向量的更新則綜合考慮初始目標參考特征向量以及前一幀所采用的目標參考特征向量和當前幀所采用的目標參考特征向量的影響因素，由此解決了目標遮擋后又重新出現(xiàn)后無法繼續(xù)跟蹤的問題，提高了增強現(xiàn)實輔助維修系統(tǒng)對平面目標跟蹤的魯棒性和實時性。
【專利說明】
面向増強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀 測方法
技術領域
[0001] 本發(fā)明設及一種計算機視覺算法，具體地說是一種面向增強現(xiàn)實輔助維修系統(tǒng)平 面目標粒子濾波跟蹤的狀態(tài)觀測方法。
【背景技術】
[0002] 增強現(xiàn)實技術將虛擬提示信息疊加到真實場景中，在復雜裝備維修中為用戶提供 了直觀靈活的操作提示，并可為那些不熟悉復雜裝備檢測維修的用戶提供準確實時的維修 幫助，對于縮短裝備維護周期、提高維修效率、降低成本具有重要意義。
[0003] 跟蹤維修對象區(qū)域并能在用戶頭部發(fā)生相對運動時準確估計攝像機姿態(tài)，在增強 現(xiàn)實輔助維修系統(tǒng)中被稱作跟蹤注冊技術。維修對象區(qū)域跟蹤是攝像機姿態(tài)估計的基礎， 通過局部區(qū)域跟蹤而不是全場景跟蹤可有效提高跟蹤注冊的實時性;根據(jù)攝像機與維修對 象之間的相對運動關系，跟蹤注冊可分為由外而內的跟蹤和由內而外的跟蹤。較為常用的 方法包括基于特征點、基于輪廓和基于核的方法。由于維修對象多為人造物，存在大量的規(guī) 則平面，為實現(xiàn)基于單應性矩陣的攝像機姿態(tài)估計提供了便利條件，但人造物又普遍存在 特征點信息量少、特征提取不充分等問題，上述=種方法對跟蹤過程中維修對象外觀顯著 改變、背景內容改變及光照遮擋等情況存在局限性，迫切需要采用多特征信息融合、自動更 新匹配模板等技術解決目標遮擋、視角變化和維修對象形態(tài)變化時的健壯性跟蹤及跟蹤的 自適應修正等問題。
[0004] 基于壓縮感知理論的目標跟蹤方法是一種較新方法，其原理為用壓縮感知特征描 述背景與目標，迭代尋找與標準目標特征最相似的候選區(qū)域，其相似度判斷依托樸素貝葉 斯分類器。運個跟蹤框架采用隨機測量矩陣進行特征提取，對隨機測量矩陣進行改進可實 現(xiàn)多特征提取，實時性較高，但其迭代過程采用遍歷查找方式，未充分利用運動目標的動力 學特性。當目標運動速度較快或存在部分遮擋時，跟蹤結果易發(fā)生偏移甚至丟失。雖然可W 通過擴大捜索范圍減小目標丟失率，但又會極大的損失實時性。粒子濾波跟蹤依賴目標狀 態(tài)轉移模型和重采樣技術對目標狀態(tài)進行預測，其計算主要消耗在似然函數(shù)上，因此在粒 子濾波框架下與壓縮感知特征提取相結合進行目標跟蹤，可避免大范圍的捜索過程，進一 步提高目標對象跟蹤的實時性。在粒子濾波框架下，每個粒子的觀測模型和參考模板與候 選目標之間的相似度區(qū)分能力直接影響跟蹤精度?，F(xiàn)有的粒子濾波跟蹤中的特征主要采用 統(tǒng)計特征計算顏色直方圖或方向梯度直方圖，通過求化attacharyya距離計算粒子代表的 參考目標和候選目標之間的相似度，運種方法魯棒性和實時性均不高。

【發(fā)明內容】

[0005] 本發(fā)明的目的就是提供一種面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤 的狀態(tài)觀測方法，W解決傳統(tǒng)觀測方法魯棒性低和實時性不高的問題。
[0006] 本發(fā)明是運樣實現(xiàn)的：一種面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的 狀態(tài)觀測方法，包括W下步驟：
[0007] a、初始化:設定跟蹤區(qū)域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣 獲取其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S = {(S。，O n) I n二 1，. . .，N}，初始化其權重 O = 1/N;
[000引b、采集當前帖場景視頻，進入跟蹤過程，包括：
[0009] b-1、粒子選擇:對t-1時刻的所有粒子按照歸一化權重值從大到小進行排序，將位 置靠前的粒子歸一化權重值與N乘積的四舍五入整數(shù)值作為新的粒子數(shù)量，并將該權重值 賦予運些粒子，依次遍歷所有粒子直到得到N個新的粒子；
[0010] b-2、狀態(tài)轉移:選擇系統(tǒng)狀態(tài)轉移方程為二階自回歸模型，根據(jù)t-2時刻和t-1時 刻的粒子狀態(tài)預測t時刻的粒子狀態(tài)；
[0011] b-3、狀態(tài)觀測:根據(jù)t-1時刻由紋理特征和灰度均值特征相似度分別計算得到粒 子權重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區(qū) 域與目標參考模板之間的觀測似然函數(shù)，得出粒子的權重值;根據(jù)初始目標參考特征向量、 t-1時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目 標參考特征向量；
[0012] b-4、狀態(tài)估計:選擇權重值最大的粒子所代表的狀態(tài)作為系統(tǒng)狀態(tài)的最優(yōu)估計， 即為跟蹤結果；
[OOU] b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-1，進入下一循環(huán)過程。 [0014]本發(fā)明的步驟b-3中的粒子權重值的計算方法包括W下步驟：
[001引 b-3-l、利用mXn的壓縮感知隨機現(xiàn)慢矩陣，分別獲取待跟蹤平面目標和候選跟蹤 區(qū)域mXl的紋理特征和灰度均值特征，W此作為候選目標特征向量，并依據(jù)下列的公式（1) 對m X 1的目標參考特征向量與候選目標特征向量進行L2范數(shù)歸一化：
[0016]
(1);
[0017] b-3-2、巧惦h列的公式(2)計算目標參考特征向量與候選目標特征向量中每個元 素之差的絕對估是否在化許的闊值T的范圍內：
[001引
（2)
[0019] 其中，《為目標參考特征向量的第i個元素，Vi為候選目標特征向量的第i個元素；
[0020] b-3-3、依據(jù)下列的公式(3)統(tǒng)計f(i) = l出現(xiàn)的比例，得到目標參考特征向量與候 選目柄賠飾尚畳6々巧化j暗為；
[0021] C3>
[0022] b-3-4、由計算粒子代表的候選目標區(qū)域與目標參考模板之間的觀測似然函數(shù)，依 據(jù)下列的公式(4)計算得出粒子權重值：
[0023]
(4)
[0024] 其中，
為第k個粒子的候選目標紋理特征向量與參考模板紋理特 征向量之間的相似屆
：為第k個粒子的候選目標灰度均值特征向量與參考 模板灰度均值特征向量之間的相似度；P(ZijJTf)為t時刻第k個粒子的權重值； < A(Z,J Xy) >為*-1時刻根據(jù)紋理特征計算得到的所有粒子權重均值；< A(z,_, I X,_|) > 為t-1時刻根據(jù)灰度均值特征計算得到的所有粒子權重均值。
[0025] 本發(fā)明中的粒子權重值是由計算粒子代表的候選目標區(qū)域與目標參考模板之間 的觀測似然函數(shù)得出，在粒子濾波跟蹤中，粒子代表著目標狀態(tài)，即目標在圖像中的坐標位 置及區(qū)域，粒子的權重值越大，表明粒子代表的區(qū)域為目標的概率最高。
[0026] 本發(fā)明的步驟b-3中的t+1時刻的目標參考特征向量的更新方法包括W下步驟：
[0027] b-3-5、依據(jù)下列的公式(5)計算更新速度因子：
[002引
（.5')'
[0029] 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，Ht-I為第t-1 時刻平面目標與初始時刻平面目標之間的單應性矩陣；
[0030] b-3-6、依據(jù)下列的公式(6)和公式(7)對t+1時刻的目標特征向量進行更新：
[0031] 祐）
[0032] 訂)
[0033] 具甲，Vo刃徹賄目稱寥考向量，Vt為當前帖目標參考特征向量，Vt+i為下一帖目標參 考特征向量，I-Po, t-1表示初始目標參考特征向量與t-1時刻目標參考特征向量的相似度，1- Pt-I,康示t-1時刻目標參考特征向量與t時刻目標參考特征向量的相似度，ii為更新速度因 子。
[0034] 本發(fā)明通過觀測似然函數(shù)來計算粒子權重均值，其方式簡潔，可有效提高跟蹤的 實時性；同時，采用了兩個特征相互補償，可有效提高跟蹤的魯棒性。本發(fā)明中目標參考特 征向量的更新方法綜合考慮初始目標參考特征向量，前一帖所采用的目標參考特征向量和 當前帖所采用的目標參考特征向量的影響因素，作為更新下一帖目標參考特征向量的依 據(jù)，同時考慮目標形態(tài)變化的大小來改變更新速度，可解決目標遮擋后又重新出現(xiàn)后無法 繼續(xù)跟蹤等問題，進一步提高了平面目標粒子濾波跟蹤的魯棒性。
[0035] 本發(fā)明提高了增強現(xiàn)實輔助維修系統(tǒng)對平面目標跟蹤的魯棒性和實時性。
【附圖說明】
[0036] 圖I是壓縮感知多特征提取示意圖。
[0037] 圖2是基于本發(fā)明的跟蹤效果圖。
[0038] 圖3是基于本發(fā)明的跟蹤算法的X向跟蹤誤差圖。
[0039] 圖4是基于本發(fā)明的跟蹤算法的Y向跟蹤誤差圖。
【具體實施方式】
[0040] 本實施例是在一個視頻文件中實現(xiàn)對電路板目標的跟蹤，硬件平臺為Intel Core 巧，4GB DDR3 SDRAM,軟件環(huán)境為Windows 8.1 64 bitsW平面目標中屯、在視頻場景中的坐 標
作為系統(tǒng)的狀態(tài)變量，選擇系統(tǒng)狀態(tài)轉移方程為二階自回歸模型：
[0041 ] Xt = AXt-i+BXt-2+vt
[0042] 參數(shù)設置包括：粒子數(shù)目N=100，A = 20，T = 0.002，m=50，at=o = 0.5，A=[2,2]，B = [!,!]〇
[0043] 本發(fā)明平面目標粒子濾波跟蹤的狀態(tài)觀測方法分為W下步驟：
[0044] a、初始化:設定跟蹤區(qū)域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣 獲取其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S = {(S。，〇n) In=I,. . . ,N}，初始化其權重 O =1/N;
[0045] b、采集當前帖場景視頻，進入跟蹤過程，包括：
[0046] b-1、粒子選擇:對t-1時刻的所有粒子按照歸一化權重值從大到小進行排序，將位 置靠前的粒子歸一化權重值與N乘積的四舍五入整數(shù)值作為新的粒子數(shù)量，并將該權重值 賦予運些粒子，依次遍歷所有粒子直到得到N個新的粒子。
[0047] b-2、狀態(tài)轉移:選擇系統(tǒng)狀態(tài)轉移方程為二階自回歸模型，根據(jù)t-2時刻和t-1時 刻的粒子狀態(tài)預測t時刻的粒子狀態(tài)。
[004引b-3、狀態(tài)觀測:根據(jù)t-1時刻由紋理特征和灰度均值特征相似度分別計算得到粒 子權重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區(qū) 域與目標參考模板之間的觀測似然函數(shù)，得出粒子的權重值;根據(jù)初始目標參考特征向量、 t-1時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目 標參考特征向量。
[0049] b-4、狀態(tài)估計:選擇權重值最大的粒子所代表的狀態(tài)作為系統(tǒng)狀態(tài)的最優(yōu)估計， 即為跟蹤結果。
[0050] b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-1，進入下一循環(huán)過程。
[0051] 本發(fā)明的方法應用于步驟b-3中的狀態(tài)觀測的具體過程是：
[0052] 壓縮跟蹤（CompreSS ive Tracking , CT)算法利用壓縮感知（CompreSS ive Sensing, CS)理論對高維化rr-1化e特征進行降維。對于一個XGRnxi的原始特征，可由V = PX 投影得到壓縮后的特征VGRmxi。其中，PGRmXn(m<<n)為特征提取矩陣。該壓縮過程在候 選目標區(qū)域W平均概率隨機選取2~4的圖像塊，特征提取矩陣P的非零元素值符號在V'和 之間等概率隨機選取，得到的特征值即為幾塊區(qū)域的加權和。當非零元素符號全部為 V'或時，表現(xiàn)為灰度均值特征；當非零元素同時存在V'和時，表現(xiàn)為圖像塊的差異 性即紋理特征。多特征壓縮跟蹤對特征提取矩陣進行了改進。首先利用壓縮跟蹤的方法生 成特征提取矩陣Pl，然后再根據(jù)Pl生成新的特征提取矩陣P2,使得P2提取的灰度均值特征占 71%，紋理特征占29%。其通過對特征提取矩陣Pi的非零元素符號實施變號得到P2,變號規(guī) 則為：當S個元素符號全部為V'或全部為時，變?yōu)楫擲個元素符號既存在V'也 存在時，變?yōu)?+++"。運樣，在增加很小計算量的前提下，使得壓縮后的特征最終表現(xiàn)為 紋理與灰度均值特征互補的雙特征。W=個圖像塊為例，P2生成過程如圖1所示。
[0053] 對視頻文件中的電路板目標的粒子權重值的計算方法是：
[0054] 首先，利用上述方法中mXn的壓縮感知隨機測量矩陣分別獲取待跟蹤平面目標和 候選跟蹤區(qū)域mX 1的紋理特征和灰度均值特征，W此作為目標參考特征向量和候選目標特 征向量，并依據(jù)下列公式（1)對m X 1的目標參考特征向量與候選目標特征向量進行L2范數(shù) 歸一化，
[0化5]
(1)
[0056]其次，依據(jù)下列公式(2)計算目標參考特征向量與候選目標特征向量中每個元素 之差的絕對值是否在允許的闊值T的范圍內，
[0化7]
(勺）
[0化引其中，V,''為目標參考特征向量的第i個元素，Vi為候選目標特征向量的第i個元素。
[0059] 再次，依據(jù)下列公式(3)統(tǒng)計f(i) = l出現(xiàn)的比例，得到目標參考特征向量與候選 目標特征向量的巧似麼為：
[0060]
(3)
[0061 ]最后，由計算粒子代表的候選目標區(qū)域與目標參考模板之間的觀測似然函數(shù)，依 據(jù)下列的公式(4)計算得出粒子權重值： - .....
[0062] C 4) >
[0063] :選目標紋理特征向量與參考模板紋理特 征向量 ，粒子的候選目標灰度均值特征向量與參 考模板灰度均值特征向量之間的相似程度；P(2,1 乂f)為t時刻第k個粒子的權重值； <氣按_1巧_1)>為*-1時刻根據(jù)紋理特征計算得到的所有粒子權重均值; < 拚(餐,戰(zhàn)_1) > 為t-1時刻根據(jù)灰度均值特征計算得到的所有粒子權重均值。
[0064] 目標參考特征向量的更新方法包括W下步驟：
[0065] 首先，依據(jù)下列公式(5)計算更新速度因子：
[0066]
(5)
[0067] 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，Ht-I為第t-1 時刻平面目標與初始時刻平面目標之間的單應性矩陣。
[0068] 其次.化據(jù)下列公擊(R)和公式(7)對目標特征向量進行更新：
[0069] (6)
[0070] 訊
[0071 ]其中，Vo為初始目標參考向量，Vt為當前帖目標參考特征向量，Vt+i為下一帖目標參 考特征向量，康不初始目標參考特征向量與t-1時刻目標參考特征向量的相似度，1- Pt-I,康示t-1時刻目標參考特征向量與t時刻目標參考特征向量的相似度，y為更新速度因 子。
[0072] 如圖2所示的跟蹤效果，電路板視頻包括了電路板平移、旋轉、翻轉和尺度變化等 復雜運動過程，Wx和y方向的跟蹤誤差小于15像素為標準，分別統(tǒng)計基于顏色直方圖的粒 子濾波跟蹤算法、壓縮跟蹤算法和基于本發(fā)明的跟蹤算法在電路板視頻中電路板翻轉前和 在全部電路板視頻帖的跟蹤成功率如表1所示，前200帖的跟蹤誤差如圖3、圖4所示。
[0073] 表1:跟蹤成功率對比表
[0074]
[0075] 由巧1和圏3、圏4W見，基十劇巧直萬圏的粒于濾汲跟碌萬巧巧巧跟碌精巧上較差 導致其成功率較低，基于本發(fā)明的跟蹤算法與壓縮跟蹤算法在目標形態(tài)未發(fā)生重大變化時 跟蹤性能相當，但因其在目標重新出現(xiàn)后能夠繼續(xù)跟蹤目標，在全部視頻帖上統(tǒng)計跟蹤成 功率則比壓縮跟蹤算法高。
[0076] 針對電路板視頻，=種算法實時性比較結果見表2。
[0077] 表2:跟蹤算法實時性對比表 [007引
[0079]由表2可見，在640X480的視頻中，當粒子數(shù)為100時，基于本發(fā)明的跟蹤算法比基 于顏色直方圖的粒子濾波跟蹤算法和壓縮跟蹤算法實時性均高，證明了本發(fā)明的發(fā)明能夠 提高平面目標跟蹤的實時性。
【主權項】
1. 一種面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀測方法，其特征 是，包括以下步驟： a、 初始化:設定跟蹤區(qū)域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣獲取 其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S={(s n， ωη) |n=l, . . .，N}，初始化其權重 ω =1/N; b、 采集當前幀場景視頻，進入跟蹤過程，包括： b-1、粒子選擇:對t-Ι時刻的所有粒子按照歸一化權重值從大到小進行排序，將位置靠 前的粒子歸一化權重值與N乘積的四舍五入整數(shù)值作為新的粒子數(shù)量，并將該權重值賦予 這些粒子，依次遍歷所有粒子直到得到N個新的粒子； b-2、狀態(tài)轉移:選擇系統(tǒng)狀態(tài)轉移方程為二階自回歸模型，根據(jù)t-2時刻和t-Ι時刻的 粒子狀態(tài)預測t時刻的粒子狀態(tài)； b-3、狀態(tài)觀測：根據(jù)t-Ι時刻由紋理特征和灰度均值特征相似度分別計算得到粒子權 重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區(qū)域與 目標參考模板之間的觀測似然函數(shù)，得出粒子的權重值;根據(jù)初始目標參考特征向量、t-1 時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目標 參考特征向量； b_4、狀態(tài)估計:選擇權重值最大的粒子所代表的狀態(tài)作為系統(tǒng)狀態(tài)的最優(yōu)估計，即為 跟蹤結果； b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-Ι，進入下一循環(huán)過程。2. 根據(jù)權利要求1所述的面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀 測方法，其特征是，步驟b-3中的粒子權重值的計算方法包括以下步驟： b-3-l、利用mXn的壓縮感知隨機測量矩陣，分別獲取待跟蹤平面目標和候選跟蹤區(qū)域 mXl的紋理特征和灰度均值特征，以此作為候選目標特征向量，并依據(jù)下列的公式（1)對m X 1的目標參考特征向量與候選目標特征向量進行L2范數(shù)歸一化：(1): b-3-2、依據(jù)下列的公式(2)計算目標參考特征向量與候選目標特征向量中每個元素之 差的絕對值是否在允許的閾值τ的范圍內：(2) 其中，< 為目標參考特征向量的第i個元素，V1為候選目標特征向量的第i個元素；b-3-3、依據(jù)下列的公式(3)統(tǒng)計f (i) = 1出現(xiàn)的比例，得到目標參考特征向量與候選目 標特征向量的相似度1 (3) b-3-4、由計算粒子代表的候選目標區(qū)域與目標參考模板之間的觀測似然函數(shù)，依據(jù)下 列的公式(4)計算得出粒子權重值： (4) 其c 卜粒子的候選目標紋理特征向量與參考模板紋理特征向量之間的： 3第k個粒子的候選目標灰度均值特征向量與參考模板灰 度均值特征向量之間的相似度I Zf)為t時刻第k個粒子的權重值；t-i時刻根據(jù)紋理特征計算得到的所有粒子權重均值；< Λ(ζ,, I>為卜1時刻根據(jù)灰度 均值特征計算得到的所有粒子權重均值。3.根據(jù)權利要求1所述的面向增強現(xiàn)實輔助維修系統(tǒng)平面目標粒子濾波跟蹤的狀態(tài)觀 測方法，其特征是，步驟b-3中的t+Ι時刻的目標參考特征向量的更新方法包括以下步驟： b-3-5、依據(jù)下列的公式(5)計算更新速度因子：(5 ) 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，為第t-Ι時刻 平面目標與初始時刻平面目標之間的單應性矩陣；b-3-6、依據(jù)下列的公忒(fi)和公忒（7)對t.+l時刻的目標特征向量進行更新： (6) (T). 其中，Vo為初始目標參考向量，Vt為當前幀目標參考特征向量，Vt+i為下一幀目標參考特 征向量，l_PQ,t-i表示初始目標參考特征向量與t-Ι時刻目標參考特征向量的相似度，1-Pt-i,t表示t-Ι時刻目標參考特征向量與t時刻目標參考特征向量的相似度，μ為更新速度因 子。
【文檔編號】G06T7/20GK106023256SQ201610339337
【公開日】2016年10月12日
【申請日】2016年5月19日
【發(fā)明人】王偉明, 張勇, 趙守偉, 何亞軒, 閆德立
【申請人】石家莊鐵道大學