基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于一種場(chǎng)景流估計(jì)方法，尤其涉及一種基于場(chǎng)景流驅(qū)動(dòng)各向異性平滑和 各向異性深度圖平滑的，基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法。
【背景技術(shù)】
[0002] 真實(shí)世界是3維的，傳統(tǒng)的數(shù)字視頻記錄的是3維動(dòng)態(tài)場(chǎng)景在2維平面上的投影， 表現(xiàn)為2維圖像序列，丟失了深度信息，不利于科學(xué)研宄應(yīng)用。場(chǎng)景流是光流由2維平面向 3維空間的擴(kuò)展，可在3維空間中描述場(chǎng)景點(diǎn)的運(yùn)動(dòng)。光流可看作是場(chǎng)景流在2維圖像平面 上的投影，是對(duì)真實(shí)運(yùn)動(dòng)場(chǎng)的近似，相對(duì)于光流，場(chǎng)景流更符合3維真實(shí)運(yùn)動(dòng)。
[0003] 在基于2維光流正則化的場(chǎng)景流估計(jì)中，近期的方法多采用流驅(qū)動(dòng)各向同性平滑 假設(shè)而忽略了流場(chǎng)方向性信息，從而導(dǎo)致在運(yùn)動(dòng)不連續(xù)處及遮擋位置場(chǎng)景流估計(jì)誤差大， 且針對(duì)2維光流進(jìn)行平滑求解場(chǎng)景流不符合實(shí)際運(yùn)動(dòng)模型。本發(fā)明方法直接對(duì)3維流場(chǎng)施 加平滑假設(shè)約束，則可令運(yùn)動(dòng)模型更符合實(shí)際情況，提高估計(jì)精度。INRIA的Basha等人提 出了使用多視及3維流場(chǎng)平滑假設(shè)的場(chǎng)景流估計(jì)方法，Quiroga等則在已知深度圖的情況 下利用3維流場(chǎng)平滑假設(shè)求解場(chǎng)景流。也有人提出將2維平滑約束進(jìn)行3維擴(kuò)展，但使用 的仍是各向同性場(chǎng)景流驅(qū)動(dòng)方法，在遮擋或運(yùn)動(dòng)不連續(xù)區(qū)域場(chǎng)景流估計(jì)誤差顯著增加的問(wèn) 題依然存在，而各向異性平滑假設(shè)對(duì)克服此類問(wèn)題有著重要意義。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種具有高魯棒性的基于3維流場(chǎng)正則化的變分場(chǎng)景流估 計(jì)方法。
[0005] 本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0006] 基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，包括以下幾個(gè)步驟：
[0007] 步驟一：將左右攝像機(jī)光軸平行擺放，利用標(biāo)定板進(jìn)行標(biāo)定，獲得攝像機(jī)內(nèi)外參 數(shù)；
[0008] 步驟^:利用已經(jīng)標(biāo)定好的左右攝像機(jī)獲取左右圖像序列；
[0009] 步驟三：利用獲得的左右立體圖像序列計(jì)算視差圖，由視差圖轉(zhuǎn)換得到深度圖； [0010] 步驟四：將3維流場(chǎng)進(jìn)行正則化得到場(chǎng)景流數(shù)據(jù)項(xiàng)；
[0011] 步驟五：將2維光流平滑項(xiàng)向3維空間擴(kuò)展，得到場(chǎng)景流驅(qū)動(dòng)各向異性的場(chǎng)景流平 滑項(xiàng)；
[0012] 步驟六：根據(jù)方向信息設(shè)計(jì)擴(kuò)散張量并進(jìn)行本征分解，得到每個(gè)方向上的擴(kuò)散強(qiáng) 度，從而進(jìn)行各向異性平滑，得到深度平滑項(xiàng)；
[0013] 步驟七：將場(chǎng)景流數(shù)據(jù)項(xiàng)、場(chǎng)景流平滑項(xiàng)和深度平滑項(xiàng)合并，構(gòu)建能量泛函；
[0014] 步驟八：使用變分極小化的方法，得到能量泛函對(duì)應(yīng)的Euler方程的解；
[0015] 步驟九：利用超松弛迭代對(duì)Euler方程進(jìn)行迭代求解，得到優(yōu)化后的場(chǎng)景流和深 度信息。
[0016] 本發(fā)明基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，還可以包括：
[0017] 1、場(chǎng)景流數(shù)據(jù)項(xiàng)為：
[0018] Edata=J ,(WVEr)Ck
[0019] 其中，場(chǎng)景流W = (νχ，νγ，vz)T，Z為t時(shí)刻場(chǎng)景點(diǎn)深度，Z'為t+Ι時(shí)刻場(chǎng)景點(diǎn)深度， 且Z = Z+vz，E1(WJ)為左圖像序列的能量函數(shù)，E,(W，Z)右圖像序列的能量函數(shù)，E z(W，Z) 為t時(shí)刻深度圖序列的能量函數(shù)，Ey (W，Z)為t+1時(shí)刻深度圖序列的能量函數(shù)，
[0020] E1OV, Z) = Φ (GJd1 (x+w，t+1)-I1U, t))2)
[0021] Er (W，Z) = y (Gs* (I1 (x+w+d，，t+1) -Ir (x+d，t))2)
[0022] Ez(W1Z) = Φ (G0*(Ir(x+d, t)-I1(x, t))2)
[0023] Ez/ (ff, Z) = Φ (G0 * (Ir (x+w+d', t+1)-I1 (x+w, t+1))2)
[0024] 其中，t時(shí)刻距離d = (fb/Z, 0)T, t+1時(shí)刻距離d' = (fb/(Z+vz), 0)T，f為攝像機(jī) 焦距，b為基線長(zhǎng)度，光流w為：
【主權(quán)項(xiàng)】
1. 基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，其特征在于，包括以下幾個(gè)步驟： 步驟一：將左右攝像機(jī)光軸平行擺放，利用標(biāo)定板進(jìn)行標(biāo)定，獲得攝像機(jī)內(nèi)外參數(shù)； 步驟> :利用已經(jīng)標(biāo)定好的左右攝像機(jī)獲取左右圖像序列； 步驟三：利用獲得的左右立體圖像序列計(jì)算視差圖，由視差圖轉(zhuǎn)換得到深度圖； 步驟四：將3維流場(chǎng)進(jìn)行正則化得到場(chǎng)景流數(shù)據(jù)項(xiàng)； 步驟五：將2維光流平滑項(xiàng)向3維空間擴(kuò)展，得到場(chǎng)景流驅(qū)動(dòng)各向異性的場(chǎng)景流平滑 項(xiàng)； 步驟六：根據(jù)方向信息設(shè)計(jì)擴(kuò)散張量并進(jìn)行本征分解，得到每個(gè)方向上的擴(kuò)散強(qiáng)度，從 而進(jìn)行各向異性平滑，得到深度平滑項(xiàng)； 步驟七：將場(chǎng)景流數(shù)據(jù)項(xiàng)、場(chǎng)景流平滑項(xiàng)和深度平滑項(xiàng)合并，構(gòu)建能量泛函； 步驟八：使用變分極小化的方法，得到能量泛函對(duì)應(yīng)的Euler方程的解； 步驟九：利用超松弛迭代對(duì)Euler方程進(jìn)行迭代求解，得到優(yōu)化后的場(chǎng)景流和深度信 息。
2. 根據(jù)權(quán)利要求1所述的基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，其特征在于： 所述的場(chǎng)景流數(shù)據(jù)項(xiàng)為： Edata= f Ω (E^E.+Ez+EzOdx 其中，場(chǎng)景流W = (vx，vY，vz)T，Z為t時(shí)刻場(chǎng)景點(diǎn)深度，Z'為t+Ι時(shí)刻場(chǎng)景點(diǎn)深度，且Z =Z+vz，E1(Wj)為左圖像序列的能量函數(shù)，E,(W，Z)右圖像序列的能量函數(shù)，E z(W，Z)為t 時(shí)刻深度圖序列的能量函數(shù)，(W，Z)為t+Ι時(shí)刻深度圖序列的能量函數(shù)，
其中，t時(shí)刻距離d= (fb/Z，0)T，t+l時(shí)刻距離d' =(作/(2+￥2)，0)'€為攝像機(jī)焦距， b為基線長(zhǎng)度，光流w為：
3. 根據(jù)權(quán)利要求1所述的基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，其特征在于： 所述的場(chǎng)景流平滑項(xiàng)為：
景流結(jié)構(gòu)張量，可以分解為3個(gè)正交 的特征矢量VpVyV3，對(duì)應(yīng)的特征值分別為U1, μ2, μ3。
4. 根據(jù)權(quán)利要求1所述的基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，其特征在于： 所述的深度平滑項(xiàng)為：
其中，擴(kuò)散張量J' (S。）= λινινιτ+λ2ν2ν2τ，λρ \2為兩個(gè)特征值，
5.根據(jù)權(quán)利要求1所述的基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法，其特征在于： 月斤誄的能蜃好涵為.
【專利摘要】本發(fā)明公開(kāi)了一種基于3維流場(chǎng)正則化的變分場(chǎng)景流估計(jì)方法。包括以下步驟：利用已經(jīng)標(biāo)定好的左右攝像機(jī)獲取左右圖像序列；將3維流場(chǎng)進(jìn)行正則化得到場(chǎng)景流數(shù)據(jù)項(xiàng)；將2維光流平滑項(xiàng)向3維空間擴(kuò)展，得到場(chǎng)景流驅(qū)動(dòng)各向異性的場(chǎng)景流平滑項(xiàng)；根據(jù)方向信息設(shè)計(jì)擴(kuò)散張量并進(jìn)行本征分解，得到每個(gè)方向上的擴(kuò)散強(qiáng)度，從而進(jìn)行各向異性平滑，得到深度平滑項(xiàng)；將場(chǎng)景流數(shù)據(jù)項(xiàng)、場(chǎng)景流平滑項(xiàng)和深度平滑項(xiàng)合并，構(gòu)建能量泛函；使用變分極小化的方法，得到能量泛函對(duì)應(yīng)的Euler方程的解；利用超松弛迭代對(duì)Euler方程進(jìn)行迭代求解，得到優(yōu)化后的場(chǎng)景流和深度信息。本發(fā)明具有魯棒性高，場(chǎng)景流精確的優(yōu)點(diǎn)。
【IPC分類】G06T7-00
【公開(kāi)號(hào)】CN104680544
【申請(qǐng)?zhí)枴緾N201510117536
【發(fā)明人】項(xiàng)學(xué)智, 白二偉, 徐旺旺, 包文龍, 王猛, 葛長(zhǎng)赟, 張磊, 喬玉龍
【申請(qǐng)人】哈爾濱工程大學(xué)
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年3月18日