由用戶標(biāo)記；然后將當(dāng)前視頻序列中當(dāng) 前待處理的第t幀彩色圖像定義為當(dāng)前彩色圖像，記為It;并將當(dāng)前視頻序列中與I t對應(yīng) 的深度圖像定義為當(dāng)前深度圖像，記為Dt;其中，t的初始值為2,2 < t < T。
[0088] 在本實(shí)施例中，第1幀彩色圖像的目標(biāo)區(qū)域是手工標(biāo)記的，從第2幀彩色圖像開始 進(jìn)行目標(biāo)跟蹤，因此t彡2。
[0089] ⑤采用現(xiàn)有的超像素分割技術(shù)將It分割成M個(gè)互不重疊的區(qū)域；然后根據(jù)訓(xùn)練圖 像集的最優(yōu)聚類中心、最優(yōu)聚類半徑以及最優(yōu)聚類的置信值，計(jì)算It中的每個(gè)區(qū)域的顯著 值；再將It中的每個(gè)區(qū)域的顯著值作為該區(qū)域中的所有像素點(diǎn)的顯著值，從而得到I ,的顯 著圖，記為St;其中，M彡1，在本實(shí)施例中取M= 200。
[0090] 在此具體實(shí)施例中，步驟⑤的具體過程為：
[0091] ⑤-1、采用現(xiàn)有的超像素分割技術(shù)將It分割成M個(gè)互不重疊的區(qū)域，將I t中的第 h個(gè)區(qū)域記為SPt，h，其中，M彡l，h的初始值為1，1 <h<M。
[0092] ⑤_2、采用與步驟③-5中計(jì)算SPt，，h的特征矢量f t，，h相同的過程，計(jì)算It中的每 個(gè)區(qū)域的特征矢量，將SPt，h的特征矢量記為f t，h。
[0093] ⑤-3、計(jì)算仁中的每個(gè)區(qū)域的顯著值，將SP t，h的顯著值記為S t，h，
其中，exp ()為以自然基數(shù)e為底的指數(shù)函 數(shù)，α為控制參數(shù)，在本實(shí)施例中取α =2,符號(hào)"|| ||"為求歐氏距離符號(hào)， 表示取使得exp(-| |ft，h-gm| I)的
值最小的m值，gm?表示訓(xùn)練圖像集的第nf個(gè)聚類中心，g"r為訓(xùn)練圖像集的最優(yōu)聚類中心， &表示訓(xùn)練圖像集的第nf個(gè)聚類半徑，Zw?為訓(xùn)練圖像集的最優(yōu)聚類半徑，表示訓(xùn)練圖 像集的第nf個(gè)聚類的置信值，為訓(xùn)練圖像集的最優(yōu)聚類的置信值。
[0094] ⑤-4、將It中的每個(gè)區(qū)域的顯著值作為該區(qū)域中的所有像素點(diǎn)的顯著值，即SP t，h的顯著值St，h作為SP t，h中的所有像素點(diǎn)的顯著值，從而得到I ,的顯著圖S t。
[0095] ⑥根據(jù)St獲取I t的目標(biāo)區(qū)域，記為$，
'其中，N;表示 It中與當(dāng)前視頻序列中的第t-Ι幀彩色圖像I η的目標(biāo)區(qū)域的尺寸大小相同且形狀相同的 任一個(gè)區(qū)域，Ω·.表示It中與當(dāng)前視頻序列中的第t-l幀彩色圖像I η的目標(biāo)區(qū)域的尺寸 大小相同且形狀相同的所有區(qū)域的集合，St (X，y)表示St中坐標(biāo)位置為（X，y)的像素點(diǎn)的像 素值，St (X，y)亦表示It中坐標(biāo)位置為（X，y)的像素點(diǎn)的顯著值，1彡X彡W，1 <H，W 表示當(dāng)前視頻序列中的彩色圖像和深度圖像的寬，H表示當(dāng)前視頻序列中的彩色圖像和深
度圖像的高，符號(hào)" I I "為取絕對值符號(hào)， 的值最大的一個(gè)區(qū)域R。
[0096] ⑦如果滿足t < P，則直接執(zhí)行步驟⑧；如果滿足t>P，則將仁和D t加入到訓(xùn)練圖 像集中，并刪除訓(xùn)練圖像集中的第1幀彩色圖像和第1幀深度圖像，得到更新后的訓(xùn)練圖像 集，然后采用與步驟③相同的操作，獲取更新后的訓(xùn)練圖像集的所有聚類中心、所有聚類半 徑以及所有聚類各自的置信值，再執(zhí)行步驟⑧。
[0097] ⑧令t = t+Ι ;然后將當(dāng)前視頻序列中的第t幀彩色圖像作為當(dāng)前彩色圖像，記為 It;并將當(dāng)前視頻序列中與I 3寸應(yīng)的深度圖像定義為當(dāng)前深度圖像，記為Dt;再返回步驟⑤ 繼續(xù)執(zhí)行，直至當(dāng)前視頻序列中的所有彩色圖像和深度圖像處理完畢，得到當(dāng)前視頻序列 中的每幀彩色圖像的目標(biāo)區(qū)域；其中，t = t+Ι中的"="為賦值符號(hào)。
[0098] 以下就利用本發(fā)明方法對普林斯頓大學(xué)提供的RGBD視頻跟蹤數(shù)據(jù)庫中"bear"、 "dog"、"faCe"和"ZCUp_m〇Ve"四個(gè)視頻序列的目標(biāo)進(jìn)行跟蹤。圖2a給出了"bear"三維視 頻序列中的第1幀彩色圖像，圖2b給出了"bear"三維視頻序列中的第1幀深度圖像，圖2c 給出了 "bear"三維視頻序列中的第10幀目標(biāo)跟蹤結(jié)果，圖2d給出了 "bear"三維視頻序 列中的第50幀目標(biāo)跟蹤結(jié)果，圖2e給出了"bear"三維視頻序列中的第100幀目標(biāo)跟蹤結(jié) 果，圖2f給出了 "bear"三維視頻序列中的第150幀目標(biāo)跟蹤結(jié)果；圖3a給出了 "dog"三 維視頻序列中的第1幀彩色圖像，圖3b給出了 "dog"三維視頻序列中的第1幀深度圖像， 圖3c給出了"dog"三維視頻序列中的第10幀目標(biāo)跟蹤結(jié)果，圖3d給出了"dog"三維視頻 序列中的第50幀目標(biāo)跟蹤結(jié)果，圖3e給出了 "dog"三維視頻序列中的第100幀目標(biāo)跟蹤 結(jié)果，圖3f給出了 "dog"三維視頻序列中的第150幀目標(biāo)跟蹤結(jié)果；圖4a給出了 "face" 三維視頻序列中的第1幀彩色圖像，圖4b給出了 "face"三維視頻序列中的第1幀深度圖 像，圖4c給出了 "face"三維視頻序列中的第10幀目標(biāo)跟蹤結(jié)果，圖4d給出了 "face"三 維視頻序列中的第50幀目標(biāo)跟蹤結(jié)果，圖4e給出了"face"三維視頻序列中的第100幀目 標(biāo)跟蹤結(jié)果，圖4f給出了 "face"三維視頻序列中的第150幀目標(biāo)跟蹤結(jié)果；圖5a給出了 "zcup_move"三維視頻序列中的第1幀彩色圖像，圖5b給出了 "zcup_move"三維視頻序列 中的第1幀深度圖像，圖5c給出了"zcupjnove"三維視頻序列中的第10幀目標(biāo)跟蹤結(jié)果， 圖5d給出了 "zcupjnove"三維視頻序列中的第50幀目標(biāo)跟蹤結(jié)果，圖5e給出了 "Zcup_ move"三維視頻序列中的第100幀目標(biāo)跟蹤結(jié)果，圖5f給出了 "zcupjnove"三維視頻序列 中的第150幀目標(biāo)跟蹤結(jié)果。從圖2a至圖5f可以看出，采用本發(fā)明方法得到的目標(biāo)跟蹤 結(jié)果具有$父尚的跟蹤精度。
【主權(quán)項(xiàng)】
1. 一種三維視頻目標(biāo)跟蹤方法，其特征在于包括以下步驟： ① 將待處理的原始三維視頻序列定義為當(dāng)前視頻序列，假定當(dāng)前視頻序列中包含的彩 色圖像的總幀數(shù)和包含的深度圖像的總幀數(shù)均為T，其中，T>1 ; ② 將當(dāng)前視頻序列中的前P幀彩色圖像及前P幀彩色圖像各自對應(yīng)的深度圖像按序構(gòu) 成訓(xùn)練圖像集，其中，1 <P〈T; ③ 獲取訓(xùn)練圖像集的所有聚類中心、所有聚類半徑以及所有聚類各自的置信值，將訓(xùn) 練圖像集的第m個(gè)聚類中心、第m個(gè)聚類半徑以及第m個(gè)聚類的置信值對應(yīng)記為gm、rni、C：：;， 其中，m的初始值為1，1 <m<K，K表示訓(xùn)練圖像集的聚類的總個(gè)數(shù)，K多1 ; ④ 手工標(biāo)記當(dāng)前視頻序列中的第1幀彩色圖像的目標(biāo)區(qū)域，該目標(biāo)區(qū)域包含場景中最 主要的運(yùn)動(dòng)對象；然后將當(dāng)前視頻序列中當(dāng)前待處理的第t幀彩色圖像定義為當(dāng)前彩色圖 像，記為It;并將當(dāng)前視頻序列中與1對應(yīng)的深度圖像定義為當(dāng)前深度圖像，記為Dt;其中， t的初始值為2, 2彡t彡T; ⑤ 采用超像素分割技術(shù)將It分割成M個(gè)互不重疊的區(qū)域；然后根據(jù)訓(xùn)練圖像集的最優(yōu) 聚類中心、最優(yōu)聚類半徑以及最優(yōu)聚類的置信值，計(jì)算It中的每個(gè)區(qū)域的顯著值；再將I,中 的每個(gè)區(qū)域的顯著值作為該區(qū)域中的所有像素點(diǎn)的顯著值，從而得到1,的顯著圖，記為St; 其中，M彡1 ; ⑥ 根據(jù)St獲取11的目標(biāo)區(qū)域，記為％，'其中，表示1沖 與當(dāng)前視頻序列中的第t-1幀彩色圖像It_i的目標(biāo)區(qū)域的尺寸大小相同且形狀相同的任一 個(gè)區(qū)域，Q表示It中與當(dāng)前視頻序列中的第t-1幀彩色圖像It_i的目標(biāo)區(qū)域的尺寸大小 相同且形狀相同的所有區(qū)域的集合，St(x，y)表示St中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素 值，1 <x<W，1 <y<H，W表示當(dāng)前視頻序列中的彩色圖像和深度圖像的寬，H表示當(dāng)前 視頻序列中的彩色圖像和深度圖像的高，符號(hào)"II"為取絕對值符號(hào)，表示取使得的值最大的一個(gè)區(qū)域N,， ⑦ 如果滿足t<P，則直接執(zhí)行步驟⑧；如果滿足t>P，則將1,和Dt加入到訓(xùn)練圖像集 中，并刪除訓(xùn)練圖像集中的第1幀彩色圖像和第1幀深度圖像，得到更新后的訓(xùn)練圖像集， 然后采用與步驟③相同的操作，獲取更新后的訓(xùn)練圖像集的所有聚類中心、所有聚類半徑 以及所有聚類各自的置信值，再執(zhí)行步驟⑧； ⑧ 令t=t+1 ;然后將當(dāng)前視頻序列中的第t幀彩色圖像作為當(dāng)前彩色圖像，記為It; 并將當(dāng)前視頻序列中與^對應(yīng)的深度圖像定義為當(dāng)前深度圖像，記為Dt;再返回步驟⑤繼 續(xù)執(zhí)行，直至當(dāng)前視頻序列中的所有彩色圖像和深度圖像處理完畢，得到當(dāng)前視頻序列中 的每幀彩色圖像的目標(biāo)區(qū)域；其中，t=t+1中的"="為賦值符號(hào)。2. 根據(jù)權(quán)利要求1所述的一種三維視頻目標(biāo)跟蹤方法，其特征在于所述的步驟③的具 體過程為： ③-1、手工標(biāo)記訓(xùn)練圖像集中的第1幀彩色圖像的目標(biāo)區(qū)域，記為，％包含場景 中最主要的運(yùn)動(dòng)對象； ③-2、將訓(xùn)練圖像集中當(dāng)前待處理的第t'幀彩色圖像定義為當(dāng)前彩色圖像，記為It，；