基于深度圖的立體視頻補(bǔ)全方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提供了一種基于深度圖的立體視頻補(bǔ)全方法及系統(tǒng)，其中，方法包括：獲取源視頻、與源視頻對(duì)應(yīng)的源視頻深度圖視頻序列以及預(yù)設(shè)的目標(biāo)視頻的參數(shù)，源視頻與目標(biāo)視頻之間存在水平位移；根據(jù)源視頻、源視頻深度圖視頻序列以及目標(biāo)視頻的參數(shù)，合成目標(biāo)視頻序列；計(jì)算目標(biāo)視頻序列中的每幀圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前幀內(nèi)的空洞區(qū)域投影到相鄰幀，利用相鄰幀內(nèi)已有的信息對(duì)當(dāng)前幀內(nèi)的空洞區(qū)域進(jìn)行填充。本發(fā)明在能夠?qū)υ诤铣赡繕?biāo)視頻的過(guò)程中產(chǎn)生的空洞自動(dòng)進(jìn)行填充，避免了人工補(bǔ)全操作，大大降低了立體視頻的制作成本，填充精度高，方法簡(jiǎn)單，便于實(shí)現(xiàn)。
【專(zhuān)利說(shuō)明】
基于深度圖的立體視頻補(bǔ)全方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，特別設(shè)及一種基于深度圖的立體視頻補(bǔ)全方法及 系統(tǒng)。
【背景技術(shù)】
[0002] 隨著3D影視業(yè)的迅速發(fā)展，人們對(duì)立體視頻需求越來(lái)越旺盛。近些年，機(jī)器學(xué)習(xí)技 術(shù)的發(fā)展飛快，使得通過(guò)單視角圖像恢復(fù)圖像深度的技術(shù)變得越來(lái)越成熟，通過(guò)一段視頻 來(lái)獲取其對(duì)應(yīng)深度圖視頻也因此變得可行。
[0003] 目前，通過(guò)源視頻及其對(duì)應(yīng)的深度圖，可W合成另一視角的視頻序列，從而可W將 W前拍攝的傳統(tǒng)2D電影電視轉(zhuǎn)換成立體電影電視。在轉(zhuǎn)換過(guò)程中，根據(jù)已知的視頻序列及 其對(duì)應(yīng)的深度圖、W及給出的同水平線(xiàn)上的另一個(gè)視角參數(shù)，可W合成目標(biāo)視角的視頻，但 是因?yàn)檎趽醯仍?，合成的視頻中會(huì)出現(xiàn)比較多的空桐，需要后期人工進(jìn)行填充。由于人工 操作復(fù)雜，工作量較大，所W導(dǎo)致了后期人工制作成本較高，而且視頻填充的質(zhì)量也無(wú)法保 證。

【發(fā)明內(nèi)容】

[0004] 為解決上述技術(shù)問(wèn)題，克服現(xiàn)有技術(shù)水平的缺點(diǎn)和不足，本發(fā)明提供一種基于深 度圖的立體視頻補(bǔ)全方法及系統(tǒng)，在提供的源視頻序列及源視頻對(duì)應(yīng)的深度圖序列的基礎(chǔ) 上，根據(jù)設(shè)置的目標(biāo)視頻參數(shù)，合成對(duì)應(yīng)的目標(biāo)視圖序列，并對(duì)在合成目標(biāo)視頻的過(guò)程中產(chǎn) 生的空桐自動(dòng)進(jìn)行填充，使合成的視頻每帖保證完整。
[0005] 本發(fā)明提供的一種基于深度圖的立體視頻補(bǔ)全方法，包括W下步驟：
[0006] 獲取源視頻、與所述源視頻對(duì)應(yīng)的源視頻深度圖視頻序列W及預(yù)設(shè)的目標(biāo)視頻的 參數(shù)，所述源視頻與所述目標(biāo)視頻之間存在水平位移；
[0007] 根據(jù)所述源視頻、源視頻深度圖視頻序列W及目標(biāo)視頻的參數(shù)，合成目標(biāo)視頻序 列；
[000引計(jì)算所述目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng) 參數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用所述相鄰帖內(nèi)已有的信息對(duì)當(dāng)前帖內(nèi)的空 桐區(qū)域進(jìn)行填充。
[0009] 作為一種可實(shí)施方式，所述根據(jù)源視頻、源視頻深度圖視頻序列W及目標(biāo)視頻的 參數(shù)，合成目標(biāo)視頻序列，包括W下步驟：
[0010] 根據(jù)所述源視頻深度圖視頻序列和所述目標(biāo)視頻的參數(shù)，生成所述源視頻的視差 圖；
[0011] 根據(jù)所述源視頻的視差圖獲得所述源視頻中的每帖圖像的視差圖，并將所述源視 頻中的每帖圖像的視差圖在所述目標(biāo)視頻中進(jìn)行映射，生成目標(biāo)視差圖；
[0012] 對(duì)所述目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中視差較小的點(diǎn)對(duì)所述目標(biāo) 視差圖中的空桐進(jìn)行填充；
[0013] 根據(jù)填充后的所述目標(biāo)視差圖，計(jì)算所述目標(biāo)視頻在所述源視頻中的對(duì)應(yīng)點(diǎn)，并 將所述對(duì)應(yīng)點(diǎn)的信息填充到所述目標(biāo)視頻中，得到所述目標(biāo)視頻序列。
[0014] 作為一種可實(shí)施方式，若所述源視頻的視差圖中有多點(diǎn)映射到所述目標(biāo)視頻中的 同一點(diǎn)，選擇視差最大的值作為所述目標(biāo)視差圖的值。
[0015] 作為一種可實(shí)施方式，所述計(jì)算目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參 數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用所述相鄰帖內(nèi)已 有的信息對(duì)當(dāng)前帖內(nèi)的空桐區(qū)域進(jìn)行填充，包括W下步驟：
[0016] 提取所述源視頻中每帖圖像中的特征點(diǎn)并進(jìn)行匹配，得到所述源視頻中任意兩帖 之間的仿射變換矩陣；
[0017] 采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序，計(jì)算所述目標(biāo)視頻序列中待填充的空桐區(qū) 域的填充順序；
[0018] 根據(jù)所述仿射變換矩陣，將所述空桐區(qū)域中的當(dāng)前待填充塊的中屯、點(diǎn)的坐標(biāo)投影 到相鄰的帖中，并W投影點(diǎn)所在的位置為中屯、，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)所述當(dāng)前待填充塊中已 知點(diǎn)的信息，查找與所述當(dāng)前待填充塊距離最小的樣本塊及其對(duì)應(yīng)的樣本距離；
[0019] 對(duì)查找到的不同帖中的樣本塊及其對(duì)應(yīng)的樣本距離進(jìn)行加權(quán)處理，得到最小距離 值;其中，權(quán)重與所述樣本塊所在的帖與當(dāng)前待填充塊所在的帖之間的距離成正比；
[0020] 比較所述最小距離值，如果所述最小距離值小于設(shè)定的距離闊值，則將所述最小 距離值對(duì)應(yīng)的樣本塊中的信息填充到所述當(dāng)前待填充塊中。
[0021] 作為一種可實(shí)施方式，在計(jì)算所述目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參 數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用所述相鄰帖內(nèi)已 有的信息對(duì)當(dāng)前帖內(nèi)的空桐區(qū)域進(jìn)行填充，之后還包括W下步驟：
[0022] 針對(duì)所述目標(biāo)視頻序列中每帖圖像中剩余的未知信息，W區(qū)塊為單位，在所述目 標(biāo)視頻序列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中進(jìn)行填充。
[0023] 相應(yīng)地，本發(fā)明還提供一種基于深度圖的立體視頻補(bǔ)全系統(tǒng)，包括獲取模塊、合成 模塊W及補(bǔ)全模塊；
[0024] 所述獲取模塊，用于獲取源視頻、與所述源視頻對(duì)應(yīng)的源視頻深度圖視頻序列W 及預(yù)設(shè)的目標(biāo)視頻的參數(shù)，所述源視頻與所述目標(biāo)視頻之間存在水平位移；
[0025] 所述合成模塊，用于根據(jù)所述源視頻、源視頻深度圖視頻序列W及目標(biāo)視頻的參 數(shù)，合成目標(biāo)視頻序列；
[0026] 所述補(bǔ)全模塊，用于計(jì)算所述目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)， 并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用所述相鄰帖內(nèi)已有的 信息對(duì)當(dāng)前帖內(nèi)的空桐區(qū)域進(jìn)行填充。
[0027] 作為一種可實(shí)施方式，所述合成模塊包括第一生成單元、第二生成單元、第一填充 單元W及第一計(jì)算單元；
[0028] 所述第一生成單元，用于根據(jù)所述源視頻深度圖視頻序列和所述目標(biāo)視頻的參 數(shù)，生成所述源視頻的視差圖；
[0029] 所述第二生成單元，用于根據(jù)所述源視頻的視差圖獲得所述源視頻中的每帖圖像 的視差圖，并將所述源視頻中的每帖圖像的視差圖在所述目標(biāo)視頻中進(jìn)行映射，生成目標(biāo) 視差圖；
[0030]所述第一填充單元，用于對(duì)所述目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中 視差較小的點(diǎn)對(duì)所述目標(biāo)視差圖中的空桐進(jìn)行填充；
[0031 ]所述第一計(jì)算單元，用于根據(jù)填充后的所述目標(biāo)視差圖，求出所述目標(biāo)視頻在所 述源視頻中的對(duì)應(yīng)點(diǎn)，并將所述對(duì)應(yīng)點(diǎn)的信息填充到所述目標(biāo)視頻中，得到所述目標(biāo)視頻 序列。
[0032] 作為一種可實(shí)施方式，所述合成模塊還包括選取單元；
[0033] 所述選取單元，用于在所述源視頻的視差圖中有多點(diǎn)映射到所述目標(biāo)視頻中的同 一點(diǎn)時(shí)，選擇視差最大的值作為所述目標(biāo)視差圖的值。
[0034] 作為一種可實(shí)施方式，所述補(bǔ)全模塊包括提取單元、第二計(jì)算單元、查找單元、處 理單元W及比較單元；
[0035] 所述提取單元，用于提取所述源視頻中每帖圖像中的特征點(diǎn)并進(jìn)行匹配，得到所 述源視頻中任意兩帖之間的仿射變換矩陣；
[0036] 所述第二計(jì)算單元，用于采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序，計(jì)算所述目標(biāo)視 頻序列中待填充的空桐區(qū)域的填充順序；
[0037] 所述查找單元，用于根據(jù)所述仿射變換矩陣，將所述空桐區(qū)域中的當(dāng)前待填充塊 的中屯、點(diǎn)的坐標(biāo)投影到相鄰的帖中，并W投影點(diǎn)所在的位置為中屯、，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)所 述當(dāng)前待填充塊中已知點(diǎn)的信息，查找與所述當(dāng)前待填充塊距離最小的樣本塊及其對(duì)應(yīng)的 樣本距離；
[0038] 所述處理單元，用于對(duì)查找到的不同帖中的樣本塊及其對(duì)應(yīng)的樣本距離進(jìn)行加權(quán) 處理，得到最小距離值;其中，權(quán)重與所述樣本塊所在的帖與當(dāng)前待填充塊所在的帖之間的 距離成正比；
[0039] 所述比較單元，用于比較所述最小距離值，如果所述最小距離值小于設(shè)定的距離 闊值，則將所述最小距離值對(duì)應(yīng)的樣本塊中的信息填充到所述當(dāng)前待填充塊中。
[0040] 作為一種可實(shí)施方式，本發(fā)明的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，還包括填充模 塊；
[0041 ]所述填充模塊，用于針對(duì)所述目標(biāo)視頻序列中每帖圖像中剩余的未知信息，W區(qū) 塊為單位，在所述目標(biāo)視頻序列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中 進(jìn)行填充。
[0042] 本發(fā)明相比于現(xiàn)有技術(shù)的有益效果在于：
[0043] 本發(fā)明提供的基于深度圖的立體視頻補(bǔ)全方法及系統(tǒng)，在提供的源視頻序列及源 視頻對(duì)應(yīng)的深度圖序列的基礎(chǔ)上，根據(jù)設(shè)置的目標(biāo)視頻參數(shù)，合成對(duì)應(yīng)的目標(biāo)視頻序列，并 對(duì)在合成目標(biāo)視頻的過(guò)程中產(chǎn)生的空桐自動(dòng)進(jìn)行填充，使合成的視頻每帖保證完整，避免 了視頻制作后期的人工補(bǔ)全操作，大大降低了立體視頻的制作成本，填充精度高，方法簡(jiǎn) 單，便于實(shí)現(xiàn)。
【附圖說(shuō)明】
[0044] 圖1為本發(fā)明提供的基于深度圖的立體視頻補(bǔ)全方法的一實(shí)施例的流程示意圖；
[0045] 圖2是本發(fā)明提供的基于深度圖的立體視頻補(bǔ)全系統(tǒng)的一實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0046] W下結(jié)合附圖，對(duì)本發(fā)明上述的和另外的技術(shù)特征和優(yōu)點(diǎn)進(jìn)行清楚、完整地描述， 顯然，所描述的實(shí)施例僅僅是本發(fā)明的部分實(shí)施例，而不是全部實(shí)施例。
[0047] 參見(jiàn)圖1，本發(fā)明提供了一種基于深度圖的立體視頻補(bǔ)全方法，包括W下步驟：
[0048] S100、獲取源視頻、與源視頻對(duì)應(yīng)的源視頻深度圖視頻序列W及預(yù)設(shè)的目標(biāo)視頻 的參數(shù)，源視頻與目標(biāo)視頻之間存在水平位移；
[0049 ] S200、根據(jù)源視頻、源視頻深度圖視頻序列W及目標(biāo)視頻的參數(shù)，合成目標(biāo)視頻序 列；
[0050] S300、計(jì)算目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)相對(duì)運(yùn)動(dòng)參 數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用相鄰帖內(nèi)已有的信息對(duì)當(dāng)前帖內(nèi)的空桐區(qū)域 進(jìn)行填充。
[0051] 從給定的源視頻深度圖視頻序列，可W求出對(duì)應(yīng)的視差圖像，其轉(zhuǎn)化公式為： d二其中B為兩攝像機(jī)光屯、的距離，在運(yùn)里可W用瞳距代替，f表示攝像機(jī)的焦距。此處 '左 設(shè)定在拍攝過(guò)程中，兩個(gè)攝像機(jī)的焦距值一致并且在拍攝過(guò)程中保持不變，Z表示圖像點(diǎn)所 對(duì)應(yīng)的真實(shí)世界坐標(biāo)系的點(diǎn)的深度。
[0052] 源視頻中的點(diǎn)與其在目標(biāo)視頻中對(duì)應(yīng)的點(diǎn)，其坐標(biāo)滿(mǎn)足關(guān)系：
[0053] Xi-Xr = d (1)
[0054] 其中d為該點(diǎn)的視差。Xi和Xr表示源視頻和目標(biāo)視頻中的對(duì)應(yīng)點(diǎn)。視差圖中的對(duì)應(yīng) 點(diǎn)同樣滿(mǎn)足該關(guān)系:Xdr = Xdl-d，其中Xd讀示X迪視差圖中的對(duì)應(yīng)點(diǎn)，Xdr表示Xr在視差圖中 的對(duì)應(yīng)點(diǎn)，d表示對(duì)應(yīng)視差，由此表達(dá)式正向投影得到目標(biāo)視差圖中各點(diǎn)的視差，具體實(shí)現(xiàn) 步驟為:對(duì)于源視頻的視差圖中的同一行，按照視差值從大到小的順序進(jìn)行投影。即先選擇 視差值大的點(diǎn)，計(jì)算出目標(biāo)視差圖中的對(duì)應(yīng)點(diǎn)位置，并賦予該點(diǎn)同樣的視差值。然后依次選 擇其它視差值小的點(diǎn)，如果出現(xiàn)計(jì)算得到的點(diǎn)的位置已經(jīng)在前面視差大的點(diǎn)計(jì)算過(guò)程中出 現(xiàn)，那么運(yùn)點(diǎn)將忽略不計(jì)，因?yàn)榇它c(diǎn)已經(jīng)被前景點(diǎn)覆蓋。對(duì)于目標(biāo)視差圖中的空桐，行方向 進(jìn)行掃描，比較空桐兩側(cè)邊緣信息，用視差較小的點(diǎn)進(jìn)行填充。
[0化日]具體地，S200包括W下步驟：
[0056] S210、根據(jù)源視頻深度圖視頻序列和目標(biāo)視頻的參數(shù)，生成源視頻的視差圖；
[0057] S220、根據(jù)源視頻的視差圖獲得源視頻中的每帖圖像的視差圖，并將源視頻中的 每帖圖像的視差圖在目標(biāo)視頻中進(jìn)行映射，生成目標(biāo)視差圖；
[0058] S230、對(duì)目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中視差較小的點(diǎn)對(duì)目標(biāo)視 差圖中的空桐進(jìn)行填充；
[0059] S240、根據(jù)填充后的目標(biāo)視差圖，計(jì)算目標(biāo)視頻在源視頻中的對(duì)應(yīng)點(diǎn)，并將對(duì)應(yīng)點(diǎn) 的信息填充到目標(biāo)視頻中，得到目標(biāo)視頻序列。
[0060] 需要說(shuō)明的是，若源視頻的視差圖中有多點(diǎn)映射到目標(biāo)視頻中的同一點(diǎn)，選擇視 差最大的值作為目標(biāo)視差圖的值。
[0061 ]根據(jù)上述公式（1)，及得到的目標(biāo)視差圖，計(jì)算目標(biāo)視頻圖像中的點(diǎn)Xr在源視頻圖 像中的對(duì)應(yīng)點(diǎn)Xi的位置，將Xi的灰度值填充到目標(biāo)視頻圖像中的點(diǎn)Xr中，得到目標(biāo)視頻序 列。
[0062] 作為一種可實(shí)施方式，S300包括W下步驟：
[0063] S310、提取源視頻中每帖圖像中的特征點(diǎn)并進(jìn)行匹配，得到源視頻中任意兩帖之 間的仿射變換矩陣；
[0064] S320、采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序，計(jì)算目標(biāo)視頻序列中待填充的空桐 區(qū)域的填充順序；
[0065] S330、根據(jù)仿射變換矩陣，將空桐區(qū)域中的當(dāng)前待填充塊的中屯、點(diǎn)的坐標(biāo)投影到 相鄰的帖中，并W投影點(diǎn)所在的位置為中屯、，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)當(dāng)前待填充塊中已知點(diǎn)的 信息，查找與當(dāng)前待填充塊距離最小的樣本塊及其對(duì)應(yīng)的樣本距離；
[0066] S340、對(duì)查找到的不同帖中的樣本塊及其對(duì)應(yīng)的樣本距離進(jìn)行加權(quán)處理，得到最 小距離值;其中，權(quán)重與樣本塊所在的帖與當(dāng)前待填充塊所在的帖之間的距離成正比；
[0067] S350、比較最小距離值，如果最小距離值小于設(shè)定的距離闊值，則將最小距離值對(duì) 應(yīng)的樣本塊中的信息填充到當(dāng)前待填充塊中。
[0068] 針對(duì)目標(biāo)視頻序列中每帖圖像中剩余的未知信息，W區(qū)塊為單位，在目標(biāo)視頻序 列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中進(jìn)行填充。
[0069] 本實(shí)施例對(duì)于目標(biāo)視頻圖像中的空桐，采用基于樣本的方式對(duì)空桐進(jìn)行填充。在 填充之前，先計(jì)算源輸入視頻圖像中每?jī)商g的位置關(guān)系，用仿射變換表示。
[0070] 用Ml,1+1表示相鄰帖的仿射變換矩陣，下標(biāo)i和j均表示帖號(hào)，則根據(jù)仿射變換的傳 遞性，可W得到任意兩帖之間的仿射變換為：
[0071] Mi'j=Mi'i+iMi+i'i+2. . .Mj-ij (2)
[0072] 對(duì)于仿射變換矩陣的求取，采用先提取特征點(diǎn)并進(jìn)行匹配，然后利用匹配結(jié)果，結(jié) 合最小二乘法計(jì)算得到仿射變換矩陣。
[0073] 進(jìn)一步地，對(duì)于目標(biāo)視頻序列中的空桐區(qū)域采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序 確定其填充順序。其中置信項(xiàng)由當(dāng)前塊中所有非空桐點(diǎn)的置信度之和決定，定義初始圖像 中，已知點(diǎn)的置信度為1，未知點(diǎn)的置信度為0,在填充的過(guò)程中，對(duì)填充點(diǎn)的置信度(初始值 為0)進(jìn)行更新，填充點(diǎn)的置信度由填充區(qū)域內(nèi)所有已知點(diǎn)的置信度之和除W區(qū)域面積得 到，即有較多已知點(diǎn)信息的待填充塊將靠前被填充;數(shù)據(jù)項(xiàng)是由中屯、點(diǎn)處邊緣的法向量值 與等照度值的乘積。
[0074] 具體填充過(guò)程可W采用分塊填充的方法實(shí)施，例如:首先，在目標(biāo)圖像空桐區(qū)域選 中當(dāng)前待填充塊Pr，根據(jù)其中屯、點(diǎn)坐標(biāo)Per,由上述公式（1)計(jì)算出其在對(duì)應(yīng)源視頻圖像中的 對(duì)應(yīng)點(diǎn)Pel,再根據(jù)上述公式(2)，將Pc般影到前N帖圖像及后N帖圖像中，其對(duì)應(yīng)點(diǎn)記為Pel,1， 其中下標(biāo)i表示帖號(hào)。對(duì)此2N帖中的任意帖i，WPel, i為中屯、，選擇一個(gè)大小為[2*W+1，2*W+ 1]的窗口區(qū)域，W為選擇匹配塊時(shí)定義的捜索區(qū)域大小，其值最大可W取到使捜索區(qū)域?yàn)檎?個(gè)圖像。但是為了保證算法的效率，可W適當(dāng)?shù)目s小捜索范圍，取值為塊大小的10-20倍。在 此窗口區(qū)域范圍內(nèi)，尋找距離與當(dāng)前待填充塊Pr距離最小的樣本塊，其距離計(jì)算方法為求Pr 中所有已知信息的點(diǎn)與其在第i帖圖像中待匹配塊中對(duì)應(yīng)點(diǎn)的SAD值之和，對(duì)于選取窗口中 的所有塊，取SAD和最小的樣本塊為距離最小樣本塊，記下該樣本塊的中屯、坐標(biāo)Qi和最小距 離妊L。。運(yùn)樣將得到2N個(gè)待匹配樣本和其對(duì)應(yīng)的最小距離。
[0075] 考慮到2N個(gè)匹配樣本塊來(lái)源于不同帖，在時(shí)序上與當(dāng)前目標(biāo)視頻的圖像有差異。 因此，對(duì)2N個(gè)樣本塊取不同的權(quán)重Wi，Wi = I i-N+11，距離目標(biāo)帖時(shí)序越遠(yuǎn)的帖，其Wi越大。在 2N中，計(jì)算相選擇距離記巧最小的樣本塊，為待選的匹配樣本塊。將此樣本塊對(duì) 應(yīng)的最小距離值與預(yù)先設(shè)定的距離闊值進(jìn)行比較，如果小于該闊值，則認(rèn)為此樣本塊為最 后的匹配結(jié)果，將此樣本塊中與Pr未知區(qū)域?qū)?yīng)的點(diǎn)的信息復(fù)制到Pr中，貝化r填充結(jié)束，開(kāi) 始填充下一塊，直至整幅圖像填充結(jié)束。如果大于或等于闊值，則對(duì)Pr不做任何處理，直接 進(jìn)入下一個(gè)填充塊。
[0076] 經(jīng)過(guò)上個(gè)步驟的處理，圖像中可能還有沒(méi)有填充的空白區(qū)域，此時(shí)仍然按照前面 的數(shù)據(jù)項(xiàng)和置信項(xiàng)乘積的方法，確定其填充順序，按順序找到待匹配塊Pr，然后在圖像內(nèi)部 尋找與當(dāng)前待匹配塊距離最小的樣本塊，將其中對(duì)應(yīng)點(diǎn)的信息填充到Pr中未知的區(qū)域，完 成整幅圖像的填充。
[0077] 基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例還提供了一種基于深度圖的立體視頻補(bǔ)全系 統(tǒng)，該系統(tǒng)解決問(wèn)題的原理與上述方法相同，故該系統(tǒng)的實(shí)施可參照上述方法的具體流程， 重復(fù)之處不再冗述。
[0078] 參見(jiàn)圖2,本發(fā)明實(shí)施例提供的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，包括獲取模塊 100、合成模塊200 W及補(bǔ)全模塊300;
[0079] 獲取模塊100用于獲取源視頻、與源視頻對(duì)應(yīng)的源視頻深度圖視頻序列W及預(yù)設(shè) 的目標(biāo)視頻的參數(shù)，源視頻與目標(biāo)視頻之間存在水平位移；
[0080] 合成模塊200用于根據(jù)源視頻、源視頻深度圖視頻序列W及目標(biāo)視頻的參數(shù)，合成 目標(biāo)視頻序列；
[0081] 補(bǔ)全模塊300用于計(jì)算目標(biāo)視頻序列中的每帖圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù) 相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前帖內(nèi)的空桐區(qū)域投影到相鄰帖，利用相鄰帖內(nèi)已有的信息對(duì)當(dāng)前帖內(nèi) 的空桐區(qū)域進(jìn)行填充。
[0082] 作為一種可實(shí)施方式，合成模塊200包括第一生成單元、第二生成單元、第一填充 單元W及第一計(jì)算單元;第一生成單元用于根據(jù)源視頻深度圖視頻序列和目標(biāo)視頻的參 數(shù)，生成源視頻的視差圖；第二生成單元用于根據(jù)源視頻的視差圖獲得源視頻中的每帖圖 像的視差圖，并將源視頻中的每帖圖像的視差圖在目標(biāo)視頻中進(jìn)行映射，生成目標(biāo)視差圖； 第一填充單元用于對(duì)目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中視差較小的點(diǎn)對(duì)目標(biāo) 視差圖中的空桐進(jìn)行填充;第一計(jì)算單元用于根據(jù)填充后的目標(biāo)視差圖，求出目標(biāo)視頻在 源視頻中的對(duì)應(yīng)點(diǎn)，并將對(duì)應(yīng)點(diǎn)的信息填充到目標(biāo)視頻中，得到目標(biāo)視頻序列。
[0083] 作為一種可實(shí)施方式，合成模塊200還包括選取單元;選取單元用于在源視頻的視 差圖中有多點(diǎn)映射到目標(biāo)視頻中的同一點(diǎn)時(shí)，選擇視差最大的值作為目標(biāo)視差圖的值。
[0084] 作為一種可實(shí)施方式，補(bǔ)全模塊300包括提取單元、第二計(jì)算單元、查找單元、處理 單元W及比較單元;提取單元用于提取源視頻中每帖圖像中的特征點(diǎn)并進(jìn)行匹配，得到源 視頻中任意兩帖之間的仿射變換矩陣;第二計(jì)算單元用于采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行 排序，計(jì)算目標(biāo)視頻序列中待填充的空桐區(qū)域的填充順序;查找單元用于根據(jù)仿射變換矩 陣，將空桐區(qū)域中的當(dāng)前待填充塊的中屯、點(diǎn)的坐標(biāo)投影到相鄰的帖中，并W投影點(diǎn)所在的 位置為中屯、，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)當(dāng)前待填充塊中已知點(diǎn)的信息，查找與當(dāng)前待填充塊距離 最小的樣本塊及其對(duì)應(yīng)的樣本距離;處理單元用于對(duì)查找到的不同帖中的樣本塊及其對(duì)應(yīng) 的樣本距離進(jìn)行加權(quán)處理，得到最小距離值;其中，權(quán)重與樣本塊所在的帖與當(dāng)前待填充塊 所在的帖之間的距離成正比；比較單元用于比較最小距離值，如果最小距離值小于設(shè)定的 距離闊值，則將最小距離值對(duì)應(yīng)的樣本塊中的信息填充到當(dāng)前待填充塊中。
[0085] 本發(fā)明另一實(shí)施例提供的基于深度圖的立體視頻補(bǔ)全系統(tǒng)還包括填充模塊;填充 模塊用于針對(duì)目標(biāo)視頻序列中每帖圖像中剩余的未知信息，W區(qū)塊為單位，在目標(biāo)視頻序 列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中進(jìn)行填充。
[0086] 本發(fā)明提供的基于深度圖的立體視頻補(bǔ)全方法及系統(tǒng)，在提供的源視頻序列及源 視頻對(duì)應(yīng)的深度圖序列的基礎(chǔ)上，根據(jù)設(shè)置的目標(biāo)視頻參數(shù)，合成對(duì)應(yīng)的目標(biāo)視頻序列，并 對(duì)在合成目標(biāo)視頻序列的過(guò)程中產(chǎn)生的空桐自動(dòng)進(jìn)行填充，使合成的視頻每帖保證完整， 避免了視頻制作后期的人工補(bǔ)全操作，大大降低了立體視頻的制作成本，填充精度高，方法 簡(jiǎn)單，便于實(shí)現(xiàn)。
[0087] W上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步的 詳細(xì)說(shuō)明，應(yīng)當(dāng)理解，W上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù) 范圍。特別指出，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于深度圖的立體視頻補(bǔ)全方法，其特征在于，包括以下步驟： 獲取源視頻、與所述源視頻對(duì)應(yīng)的源視頻深度圖視頻序列以及預(yù)設(shè)的目標(biāo)視頻的參 數(shù)，所述源視頻與所述目標(biāo)視頻之間存在水平位移； 根據(jù)所述源視頻、源視頻深度圖視頻序列以及目標(biāo)視頻的參數(shù)，合成目標(biāo)視頻序列； 計(jì)算所述目標(biāo)視頻序列中的每幀圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù) 將當(dāng)前幀內(nèi)的空洞區(qū)域投影到相鄰幀，利用所述相鄰幀內(nèi)已有的信息對(duì)當(dāng)前幀內(nèi)的空洞區(qū) 域進(jìn)行填充。2. 根據(jù)權(quán)利要求1所述的基于深度圖的立體視頻補(bǔ)全方法，其特征在于，所述根據(jù)源視 頻、源視頻深度圖視頻序列以及目標(biāo)視頻的參數(shù)，合成目標(biāo)視頻序列，包括以下步驟： 根據(jù)所述源視頻深度圖視頻序列和所述目標(biāo)視頻的參數(shù)，生成所述源視頻的視差圖； 根據(jù)所述源視頻的視差圖獲得所述源視頻中的每幀圖像的視差圖，并將所述源視頻中 的每幀圖像的視差圖在所述目標(biāo)視頻中進(jìn)行映射，生成目標(biāo)視差圖； 對(duì)所述目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中視差較小的點(diǎn)對(duì)所述目標(biāo)視差 圖中的空洞進(jìn)行填充； 根據(jù)填充后的所述目標(biāo)視差圖，計(jì)算所述目標(biāo)視頻在所述源視頻中的對(duì)應(yīng)點(diǎn)，并將所 述對(duì)應(yīng)點(diǎn)的信息填充到所述目標(biāo)視頻中，得到所述目標(biāo)視頻序列。3. 根據(jù)權(quán)利要求2所述的基于深度圖的立體視頻補(bǔ)全方法，其特征在于，若所述源視頻 的視差圖中有多點(diǎn)映射到所述目標(biāo)視頻中的同一點(diǎn)，選擇視差最大的值作為所述目標(biāo)視差 圖的值。4. 根據(jù)權(quán)利要求1至3任一項(xiàng)所述的基于深度圖的立體視頻補(bǔ)全方法，其特征在于，所 述計(jì)算目標(biāo)視頻序列中的每幀圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前 幀內(nèi)的空洞區(qū)域投影到相鄰幀，利用所述相鄰幀內(nèi)已有的信息對(duì)當(dāng)前幀內(nèi)的空洞區(qū)域進(jìn)行 填充，包括以下步驟： 提取所述源視頻中每幀圖像中的特征點(diǎn)并進(jìn)行匹配，得到所述源視頻中任意兩幀之間 的仿射變換矩陣； 采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序，計(jì)算所述目標(biāo)視頻序列中待填充的空洞區(qū)域的 填充順序； 根據(jù)所述仿射變換矩陣，將所述空洞區(qū)域中的當(dāng)前待填充塊的中心點(diǎn)的坐標(biāo)投影到相 鄰的幀中，并以投影點(diǎn)所在的位置為中心，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)所述當(dāng)前待填充塊中已知點(diǎn) 的信息，查找與所述當(dāng)前待填充塊距離最小的樣本塊及其對(duì)應(yīng)的樣本距離； 對(duì)查找到的不同幀中的樣本塊及其對(duì)應(yīng)的樣本距離進(jìn)行加權(quán)處理，得到最小距離值； 其中，權(quán)重與所述樣本塊所在的幀與當(dāng)前待填充塊所在的幀之間的距離成正比； 比較所述最小距離值，如果所述最小距離值小于設(shè)定的距離閾值，則將所述最小距離 值對(duì)應(yīng)的樣本塊中的信息填充到所述當(dāng)前待填充塊中。5. 根據(jù)權(quán)利要求1所述的基于深度圖的立體視頻補(bǔ)全方法，其特征在于，在計(jì)算所述目 標(biāo)視頻序列中的每幀圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前幀內(nèi)的空 洞區(qū)域投影到相鄰幀，利用所述相鄰幀內(nèi)已有的信息對(duì)當(dāng)前幀內(nèi)的空洞區(qū)域進(jìn)行填充，之 后還包括以下步驟： 針對(duì)所述目標(biāo)視頻序列中每幀圖像中剩余的未知信息，以區(qū)塊為單位，在所述目標(biāo)視 頻序列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中進(jìn)行填充。6. -種基于深度圖的立體視頻補(bǔ)全系統(tǒng)，其特征在于，包括獲取模塊、合成模塊以及補(bǔ) 全模塊； 所述獲取模塊，用于獲取源視頻、與所述源視頻對(duì)應(yīng)的源視頻深度圖視頻序列以及預(yù) 設(shè)的目標(biāo)視頻的參數(shù)，所述源視頻與所述目標(biāo)視頻之間存在水平位移； 所述合成模塊，用于根據(jù)所述源視頻、源視頻深度圖視頻序列以及目標(biāo)視頻的參數(shù)，合 成目標(biāo)視頻序列； 所述補(bǔ)全模塊，用于計(jì)算所述目標(biāo)視頻序列中的每幀圖像之間的相對(duì)運(yùn)動(dòng)參數(shù)，并根 據(jù)所述相對(duì)運(yùn)動(dòng)參數(shù)將當(dāng)前幀內(nèi)的空洞區(qū)域投影到相鄰幀，利用所述相鄰幀內(nèi)已有的信息 對(duì)當(dāng)前幀內(nèi)的空洞區(qū)域進(jìn)行填充。7. 根據(jù)權(quán)利要求6所述的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，其特征在于，所述合成模塊 包括第一生成單元、第二生成單元、第一填充單元以及第一計(jì)算單元； 所述第一生成單元，用于根據(jù)所述源視頻深度圖視頻序列和所述目標(biāo)視頻的參數(shù)，生 成所述源視頻的視差圖； 所述第二生成單元，用于根據(jù)所述源視頻的視差圖獲得所述源視頻中的每幀圖像的視 差圖，并將所述源視頻中的每幀圖像的視差圖在所述目標(biāo)視頻中進(jìn)行映射，生成目標(biāo)視差 圖； 所述第一填充單元，用于對(duì)所述目標(biāo)視差圖進(jìn)行行掃描，并采用兩側(cè)邊緣信息中視差 較小的點(diǎn)對(duì)所述目標(biāo)視差圖中的空洞進(jìn)行填充； 所述第一計(jì)算單元，用于根據(jù)填充后的所述目標(biāo)視差圖，求出所述目標(biāo)視頻在所述源 視頻中的對(duì)應(yīng)點(diǎn)，并將所述對(duì)應(yīng)點(diǎn)的信息填充到所述目標(biāo)視頻中，得到所述目標(biāo)視頻序列。8. 根據(jù)權(quán)利要求7所述的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，其特征在于，所述合成模塊 還包括選取單元； 所述選取單元，用于在所述源視頻的視差圖中有多點(diǎn)映射到所述目標(biāo)視頻中的同一點(diǎn) 時(shí)，選擇視差最大的值作為所述目標(biāo)視差圖的值。9. 根據(jù)權(quán)利要求6至8任一項(xiàng)所述的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，其特征在于，所 述補(bǔ)全模塊包括提取單元、第二計(jì)算單元、查找單元、處理單元以及比較單元； 所述提取單元，用于提取所述源視頻中每幀圖像中的特征點(diǎn)并進(jìn)行匹配，得到所述源 視頻中任意兩幀之間的仿射變換矩陣； 所述第二計(jì)算單元，用于采用數(shù)據(jù)項(xiàng)和置信項(xiàng)的乘積進(jìn)行排序，計(jì)算所述目標(biāo)視頻序 列中待填充的空洞區(qū)域的填充順序； 所述查找單元，用于根據(jù)所述仿射變換矩陣，將所述空洞區(qū)域中的當(dāng)前待填充塊的中 心點(diǎn)的坐標(biāo)投影到相鄰的幀中，并以投影點(diǎn)所在的位置為中心，在預(yù)設(shè)區(qū)域內(nèi)根據(jù)所述當(dāng) 前待填充塊中已知點(diǎn)的信息，查找與所述當(dāng)前待填充塊距離最小的樣本塊及其對(duì)應(yīng)的樣本 距離； 所述處理單元，用于對(duì)查找到的不同幀中的樣本塊及其對(duì)應(yīng)的樣本距離進(jìn)行加權(quán)處 理，得到最小距離值;其中，權(quán)重與所述樣本塊所在的幀與當(dāng)前待填充塊所在的幀之間的距 離成正比； 所述比較單元，用于比較所述最小距離值，如果所述最小距離值小于設(shè)定的距離閾值， 則將所述最小距離值對(duì)應(yīng)的樣本塊中的信息填充到所述當(dāng)前待填充塊中。10.根據(jù)權(quán)利要求6所述的基于深度圖的立體視頻補(bǔ)全系統(tǒng)，其特征在于，還包括填充 豐旲塊； 所述填充模塊，用于針對(duì)所述目標(biāo)視頻序列中每幀圖像中剩余的未知信息，以區(qū)塊為 單位，在所述目標(biāo)視頻序列中尋找與此區(qū)塊距離最小的塊，將其信息復(fù)制到該區(qū)塊中進(jìn)行 填充。
【文檔編號(hào)】H04N13/00GK106060511SQ201610437916
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月17日
【發(fā)明人】朱云芳, 王慧燕, 王勛
【申請(qǐng)人】浙江工商大學(xué)