欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

應(yīng)用于圖像處理的表面細(xì)化方法、裝置以及系統(tǒng)與流程

文檔序號(hào):12748940閱讀:635來源:國(guó)知局
應(yīng)用于圖像處理的表面細(xì)化方法、裝置以及系統(tǒng)與流程

本發(fā)明涉及圖像處理領(lǐng)域,更為具體而言,涉及一種應(yīng)用于圖像處理的表面細(xì)化方法、裝置以及系統(tǒng)。



背景技術(shù):

現(xiàn)有的立體細(xì)化方法使用多視點(diǎn)光一致性泛函數(shù)(multi-view photo-consistency functional)優(yōu)化表面呈現(xiàn)。這種優(yōu)化是迭代的,需要遍及表面區(qū)域的梯度的重復(fù)計(jì)算,這是對(duì)細(xì)化的計(jì)算效率造成不利影響的瓶頸。具體而言,從圖像恢復(fù)真實(shí)的3D模型是多視點(diǎn)立體(multi-view stereo,MVS)方法的根本目標(biāo)。得益于公開的MVS基準(zhǔn)(例如,參照參考文獻(xiàn)16:Strecha,C.,von Hansen,W.,Gool,L.V.,Fua,P.,Thoennessen,U.:On bench-marking camera calibration and multi-view stereo for high resolution imagery.In:Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.pp.1-8.IEEE(2008);參考文獻(xiàn)15:Seitz,S.M.,Curless,B.,Diebel,J.,Scharstein,D.,zeliski,R.:A comparison and evaluation of multi-view stereo reconstruction algorithms.In:Computer vision and pattern recognition,2006IEEE Computer Society Conference on.vol.1,pp.519-528.IEEE(2006);參考文獻(xiàn)7:Fabri,A.,Pion,S.:Cgal:The computational geometry algorithms library.In:Proceedings of the 17th ACM SIGSPATIAL international conference on advances in geographic information systems.pp.538-539.ACM(2009)),在過去十年,立體視覺的精度已經(jīng)顯著提升。人們相信高精度的關(guān)鍵要素是最終的表面細(xì)化步驟。以三角形網(wǎng)格呈現(xiàn)表面,細(xì)化是通過優(yōu)化多視點(diǎn)光一致性來反復(fù)(或迭代)調(diào)整頂點(diǎn)(vertex)位置的過程。

但是,這種反復(fù)細(xì)化的運(yùn)算量很大。主要原因是在所有可見表面區(qū)域上的細(xì)化梯度(refinement gradient)的重復(fù)計(jì)算。另一原因是在細(xì)化中使用的網(wǎng)格細(xì)分(mesh subdivision)會(huì)顯著的增加需要優(yōu)化的頂點(diǎn)的數(shù)量(#vertices)。較高密度的網(wǎng)格頂點(diǎn)還導(dǎo)致較慢的與網(wǎng)格相關(guān)的操作,例如,網(wǎng)格平滑(mesh smoothing)、可見性測(cè)試(visibility testing)。



技術(shù)實(shí)現(xiàn)要素:

為了解決現(xiàn)有的圖像處理技術(shù)所存在的缺陷,本發(fā)明實(shí)施方式提供一種應(yīng)用于圖像處理的表面細(xì)化方法、裝置以及系統(tǒng),能夠減少表面細(xì)化的計(jì)算量,具有高效性和魯棒性。

一方面,本發(fā)明實(shí)施方式提供了一種應(yīng)用于圖像處理的表面細(xì)化方法,包括:

根據(jù)表面分析策略將表面上的網(wǎng)格分為具有細(xì)化意義的第一類網(wǎng)格和不具有細(xì)化意義的第二類網(wǎng)格;

針對(duì)所述第一類網(wǎng)格進(jìn)行細(xì)化處理。

或者,進(jìn)一步包括:剔除所述第二類網(wǎng)格和/或?qū)⑺龅诙惥W(wǎng)格整體簡(jiǎn)化為比所述第二類網(wǎng)格數(shù)量更少的網(wǎng)格。

相應(yīng)地,本發(fā)明實(shí)施方式還提供了一種應(yīng)用于圖像處理的表面細(xì)化裝置包括:

分類模塊,用于根據(jù)表面分析策略將表面上的網(wǎng)格分為具有細(xì)化意義的第一類網(wǎng)格和不具有細(xì)化意義的第二類網(wǎng)格;

細(xì)化模塊,用于針對(duì)所述第一類網(wǎng)格進(jìn)行細(xì)化處理。

或者,進(jìn)一步地,還包括簡(jiǎn)化模塊,用于剔除所述第二類網(wǎng)格和/或?qū)⑺龅诙惥W(wǎng)格整體簡(jiǎn)化為比所述第二類網(wǎng)格數(shù)量更少的網(wǎng)格。

此外,本發(fā)明實(shí)施方式還提供了一種應(yīng)用于圖像處理系統(tǒng),其采用本發(fā)明實(shí)施方式提供的表面細(xì)化裝置進(jìn)行表面細(xì)化處理。

采用本發(fā)明的各種實(shí)施方式具有以下有益效果:

通過分類并僅針對(duì)具有細(xì)化意義的第一類網(wǎng)格進(jìn)行細(xì)化處理,在保證細(xì)化質(zhì)量的同時(shí),能夠降低需要進(jìn)行優(yōu)化的表面面積從而降低計(jì)算量,具有高效性和魯棒性。

附圖說明

圖1是根據(jù)本發(fā)明實(shí)施例的一種應(yīng)用于圖像處理的表面細(xì)化方法的流程示意圖;

圖2是根據(jù)本發(fā)明實(shí)施例的根據(jù)本發(fā)明實(shí)施例的另一種應(yīng)用于圖像處理的表面細(xì)化方法的流程示意圖;

圖3是根據(jù)本發(fā)明實(shí)施例的一種應(yīng)用于圖像處理的表面細(xì)化裝置的框圖;

圖4是圖3所示裝置的分離模塊的框圖的一例;

圖5是圖3所示裝置的分離模塊的框圖的另一例;

圖6示出了根據(jù)本發(fā)明實(shí)施例的一種表面細(xì)化處理過程的圖例示意;

圖7示出了根據(jù)本發(fā)明實(shí)施例的一種雙視點(diǎn)再投影場(chǎng)景及頂點(diǎn)梯度處理示意圖;

圖8示出了根據(jù)本發(fā)明實(shí)施例的一種錯(cuò)誤重投影及其影響的示意圖;

圖9示出了在不同數(shù)據(jù)集中的不同區(qū)域的梯度分布示意圖;

圖10示出了根據(jù)本發(fā)明實(shí)施例的一種最優(yōu)平衡決策的示意圖;

圖11示出了完全細(xì)化與根據(jù)本發(fā)明實(shí)施例的ARC細(xì)化之間的演進(jìn)比較示意圖;

圖12示出了完全細(xì)化與根據(jù)本發(fā)明實(shí)施例的ARC細(xì)化之間基于四種數(shù)據(jù)集的性能比較示意圖;

圖13示出了本發(fā)明實(shí)施例與現(xiàn)有技術(shù)基于不同數(shù)據(jù)集的比較以及本發(fā)明實(shí)施例的效果圖。

具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明的各個(gè)方面進(jìn)行詳細(xì)闡述。其中,眾所周知的模塊、單元及其相互之間的連接、鏈接、通信或操作沒有示出或未作詳細(xì)說明。并且,所描述的特征、架構(gòu)或功能可在一個(gè)或一個(gè)以上實(shí)施方式中以任何方式組合。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,下述的各種實(shí)施方式只用于舉例說明,而非用于限制本發(fā)明的保護(hù)范圍。也可以容易理解,本文所述和附圖所示的各實(shí)施方式中的模塊或單元或步驟可以按各種不同配置進(jìn)行組合和設(shè)計(jì)。還可以容易理解,雖然可能僅在部分實(shí)施例中對(duì)特定名稱、術(shù)語(yǔ)、范圍等進(jìn)行解釋,但該解釋同樣適用于其它實(shí)施例,除非特別說明。

此外,本發(fā)明中引用的參考文獻(xiàn)的相關(guān)內(nèi)容并入本文以作為本發(fā)明的一部分。

圖1是根據(jù)本發(fā)明實(shí)施例的一種應(yīng)用于圖像處理的表面細(xì)化方法的流程示意圖,參照?qǐng)D1,所述方法包括:

100:根據(jù)表面分析策略進(jìn)行網(wǎng)格分類。具體而言,根據(jù)表面分析策略將表面上的網(wǎng)格分為具有細(xì)化意義的第一類網(wǎng)格和不具有細(xì)化意義的第二類網(wǎng)格。

在本發(fā)明中,網(wǎng)格是否具有細(xì)化意義可以根據(jù)網(wǎng)格的成本效益判斷,所述成本效益由用于量化網(wǎng)格(三角形網(wǎng)格)的幾何改善和運(yùn)行時(shí)間成本確定?;蛘?,可以進(jìn)一步綜合成本效益以及預(yù)設(shè)的幾何改善和運(yùn)行時(shí)間成本的權(quán)重確定。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,關(guān)于處理100的詳細(xì)說明請(qǐng)參照下文關(guān)于“自適應(yīng)分辨率控制”的詳細(xì)說明。

102:針對(duì)目標(biāo)網(wǎng)格進(jìn)行細(xì)化處理。具體而言,針對(duì)所述第一類網(wǎng)格進(jìn)行細(xì)化處理。換言之,本發(fā)明只針對(duì)具有細(xì)化意義的網(wǎng)格進(jìn)行細(xì)化。

采用本發(fā)明實(shí)施例提供的表面細(xì)化方法,通過分類并僅針對(duì)具有細(xì)化意義的第一類網(wǎng)格進(jìn)行細(xì)化處理,在保證細(xì)化質(zhì)量的同時(shí),降低計(jì)算量,具有高效性和魯棒性。

示例性地,本發(fā)明實(shí)施例提供的方法可以應(yīng)用于3D重建中。例如,在多視點(diǎn)立體技術(shù)中,可以采用本發(fā)明實(shí)施例提供的方法對(duì)3D重建獲得的表面(例如,噪聲表面)或經(jīng)過預(yù)處理(例如,平滑處理)的表面進(jìn)行表面細(xì)化處理。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,處理100可以通過以下方式實(shí)現(xiàn):計(jì)算表面上各頂點(diǎn)的gi值以及各網(wǎng)格的tc值,其中,gi表示幾何改善,tc表示運(yùn)行時(shí)間成本;將gi/tc的值滿足預(yù)設(shè)條件的網(wǎng)格標(biāo)記為所述第一類網(wǎng)格。其中,所述幾何改善表示頂點(diǎn)和單環(huán)相鄰面之間的平方距離的最大值;所述運(yùn)行時(shí)間成本表示為可見圖像對(duì)的數(shù)量乘以三角形的面積,所述預(yù)設(shè)條件可以是預(yù)設(shè)的閾值、數(shù)量或范圍。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,處理100可以通過以下方式實(shí)現(xiàn):計(jì)算表面上各頂點(diǎn)的gi值以及各網(wǎng)格的tc值,其中,gi表示幾何改善,tc表示運(yùn)行時(shí)間成本;根據(jù)各網(wǎng)格的gi/tc的值將所有網(wǎng)格升序排列;按照所述升序排列順序,通過在x軸上的tc的遞增總和以及在y軸上的gi獲得累積曲線;將所述累積曲線上不高于指定點(diǎn)的點(diǎn)所對(duì)應(yīng)的網(wǎng)格標(biāo)記為所述第二類網(wǎng)格;將所述累積曲線上高于所述指定點(diǎn)的點(diǎn)所對(duì)應(yīng)的網(wǎng)格標(biāo)記為所述第一類網(wǎng)格。

其中,示例性地,所述指定點(diǎn)可以通過以下方式確定:將所述累計(jì)曲線的x軸和y軸歸一化得到歸一化曲線;從歸一化曲線上選取斜率為wl/wr的點(diǎn)作為所述指定點(diǎn);其中,wl表示l的權(quán)重,wr表示r的權(quán)重,r對(duì)應(yīng)于歸一化曲線的x軸,l對(duì)應(yīng)于歸一化曲線的y軸。

圖2是根據(jù)本發(fā)明實(shí)施例的根據(jù)本發(fā)明實(shí)施例的另一種應(yīng)用于圖像處理的表面細(xì)化方法的流程示意圖,參照?qǐng)D2,所述方法包括:

100:根據(jù)表面分析策略進(jìn)行網(wǎng)格分類。具體而言,根據(jù)表面分析策略將表面上的網(wǎng)格分為具有細(xì)化意義的第一類網(wǎng)格和不具有細(xì)化意義的第二類網(wǎng)格。

102:針對(duì)目標(biāo)網(wǎng)格進(jìn)行細(xì)化處理。

104:針對(duì)非目標(biāo)網(wǎng)格進(jìn)行剔除和/或簡(jiǎn)化處理。具體而言,剔除所述第二類網(wǎng)格和/或?qū)⑺龅诙惥W(wǎng)格整體簡(jiǎn)化為比所述第二類網(wǎng)格數(shù)量更少的網(wǎng)格。

采用本發(fā)明實(shí)施例,同樣能夠達(dá)到圖1所示實(shí)施例的有益效果。

可選地,在圖1或圖2所示實(shí)施例的一種實(shí)現(xiàn)方式中,所述方法還包括:采用圖割優(yōu)化產(chǎn)生分段的平滑標(biāo)記。示例性地,對(duì)此的詳細(xì)說明,請(qǐng)參照下文關(guān)于“圖形優(yōu)化”的詳細(xì)說明。

可選地,在圖1或圖2所示實(shí)施例的一種實(shí)現(xiàn)方式中,所述方法還包括:在再投影的繪制中,檢測(cè)并剔除問題輪廓。示例性地,對(duì)此的詳細(xì)說明,請(qǐng)參照下文關(guān)于“輪廓選擇”的詳細(xì)說明。

圖3是根據(jù)本發(fā)明實(shí)施例的一種應(yīng)用于圖像處理的表面細(xì)化裝置的框圖。參照?qǐng)D3,所述裝置包括分類模塊30和細(xì)化模塊32。其中,分類模塊30,用于根據(jù)表面分析策略將表面上的網(wǎng)格分為具有細(xì)化意義的第一類網(wǎng)格和不具有細(xì)化意義的第二類網(wǎng)格。細(xì)化模塊,用于針對(duì)所述第一類網(wǎng)格進(jìn)行細(xì)化處理。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,如圖3中虛線框所示,表面細(xì)化裝置還包括簡(jiǎn)化模塊34,用于剔除所述第二類網(wǎng)格和/或?qū)⑺龅诙惥W(wǎng)格整體簡(jiǎn)化為比所述第二類網(wǎng)格數(shù)量更少的網(wǎng)格。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,如圖4所示,分類模塊30包括:第一計(jì)算子模塊302,用于計(jì)算表面上各頂點(diǎn)的gi值以及各網(wǎng)格的tc值,其中,gi表示幾何改善,tc表示運(yùn)行時(shí)間成本;第一標(biāo)記子模塊304,用于將gi/tc的值滿足預(yù)設(shè)條件的網(wǎng)格標(biāo)記為所述第一類網(wǎng)格。其中,幾何改善表示頂點(diǎn)和單環(huán)相鄰面之間的平方距離的最大值;運(yùn)行時(shí)間成本表示為可見圖像對(duì)的數(shù)量乘以三角形的面積。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,如圖5所示,分類模塊30包括:第二計(jì)算子模塊306,用于計(jì)算表面上各頂點(diǎn)的gi值以及各網(wǎng)格的tc值,其中,gi表示幾何改善,tc表示運(yùn)行時(shí)間成本;排序子模塊308,用于根據(jù)各網(wǎng)格的gi/tc的值將所有網(wǎng)格升序排列;曲線子模塊310,用于按照所述升序排列順序,通過在x軸上的tc的遞增總和以及在y軸上的gi獲得累積曲線;第二標(biāo)記子模塊312,用于將所述累積曲線上不高于指定點(diǎn)的點(diǎn)所對(duì)應(yīng)的網(wǎng)格標(biāo)記為所述第二類網(wǎng)格,將所述累積曲線上高于所述指定點(diǎn)的點(diǎn)所對(duì)應(yīng)的網(wǎng)格標(biāo)記為所述第一類網(wǎng)格。

進(jìn)一步可選地,如圖5中虛線框所示,分類模塊30還可以包括指定點(diǎn)子模塊314,用于將所述累計(jì)曲線的x軸和y軸歸一化得到歸一化曲線,以及從歸一化曲線上選取斜率為wl/wr的點(diǎn)作為所述指定點(diǎn);其中,wl表示l的權(quán)重,wr表示r的權(quán)重,r對(duì)應(yīng)于歸一化曲線的x軸,l對(duì)應(yīng)于歸一化曲線的y軸。

可選地,在圖4或圖5所示實(shí)施例中,分類模塊30還可以包括圖割優(yōu)化子模塊,用于采用圖割優(yōu)化產(chǎn)生分段的平滑標(biāo)記。

可選地,在本實(shí)施例的一種實(shí)現(xiàn)方式中,表面細(xì)化裝置還以包括剔除模塊,用于在再投影的繪制中檢測(cè)并剔除問題輪廓。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本發(fā)明提供的方法實(shí)施例可以理解為裝置實(shí)施例的處理邏輯,而本發(fā)明的裝置實(shí)施例可以用于實(shí)施本發(fā)明的方法實(shí)施例,因此,在裝置實(shí)施例中,關(guān)于各個(gè)模塊、子模塊所執(zhí)行處理和可執(zhí)行處理的詳細(xì)說明,關(guān)于相關(guān)名詞、術(shù)語(yǔ)、范圍等的解釋,以及關(guān)于相關(guān)特征及優(yōu)點(diǎn)的詳細(xì)描述,請(qǐng)參照方法實(shí)施例以及下文的具體描述中的詳細(xì)說明。

圖6是根據(jù)本發(fā)明實(shí)施例的一種表面細(xì)化處理過程的圖例示意。參照?qǐng)D6,該過程包括:(a)表示以初始噪聲網(wǎng)格作為輸入;(b)表示采用本發(fā)明的表面細(xì)化將網(wǎng)格標(biāo)記為兩種區(qū)域;(c)表示自適應(yīng)網(wǎng)格密度,具體而言,僅對(duì)有意義的區(qū)域(橘色所示區(qū)域)采用細(xì)化,而剔除和簡(jiǎn)化其它不具有意義的區(qū)域(紫色所示區(qū)域);(d)表示最終細(xì)化后的網(wǎng)格。采用本發(fā)明實(shí)施例能夠大大降低待優(yōu)化的表面面積,同時(shí)保持有價(jià)值的細(xì)節(jié)。

本發(fā)明在保護(hù)前述表面處理方法和表面處理裝置的同時(shí),還保護(hù)一種圖像處理系統(tǒng),該系統(tǒng)具有本發(fā)明提供的表面處理裝置。

下面結(jié)合附圖,從本發(fā)明的發(fā)明人對(duì)于表面細(xì)化的理解、研究、探索及實(shí)驗(yàn)等角度,對(duì)本發(fā)明的一種具體實(shí)現(xiàn)進(jìn)行更詳細(xì)的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,下文所詳細(xì)描述的內(nèi)容,可以用于解釋本發(fā)明的相關(guān)特征,或者作為前置處理或后置處理對(duì)本發(fā)明的方法進(jìn)行補(bǔ)充,同時(shí)也可以作為對(duì)現(xiàn)有技術(shù)的改進(jìn)。

根據(jù)發(fā)明人的觀察,并不是所有區(qū)域的細(xì)化均為幾何改善貢獻(xiàn)相同的力量。例如,多數(shù)平面或低紋理(low-textured)區(qū)域幾乎不具有有價(jià)值的細(xì)化梯度,可能是由于這些區(qū)域早期收斂或缺少梯度。細(xì)化幾乎(或?qū)嵸|(zhì)上)不對(duì)他們產(chǎn)生幾何改善。而且,在這些區(qū)域上的網(wǎng)格細(xì)分創(chuàng)建了過密(over-dense)的三角形,帶來額外的計(jì)算和存儲(chǔ)負(fù)擔(dān)。事實(shí)上,這些區(qū)域有時(shí)候占據(jù)網(wǎng)格表面(參考圖9)中相當(dāng)大的比例。放棄對(duì)他們的細(xì)化能夠帶來相當(dāng)好的性能加速。

與以前僅以優(yōu)化光一致性為目標(biāo)的方法不同,本發(fā)明還考慮了將運(yùn)行時(shí)間性能作為目標(biāo)。更具體而言,本發(fā)明量化性能和精度,并探索在實(shí)現(xiàn)最大化的性能加速和最小化的精度損失之間的最佳(或理想)平衡。下面,本發(fā)明證明本發(fā)明工作的雙重貢獻(xiàn)。

首先,本發(fā)明提出了網(wǎng)格表面細(xì)化框架,具有對(duì)基本方法(參照參考文獻(xiàn)19:Vu,H.H.,Labatut,P.,Pons,J.P.,Keriven,R.:High accuracy and visibility-consistent dense multiview stereo.IEEE Transactions on Pattern Analysis and Machine Intelligence 34(5),889-901(2012))的改善。本發(fā)明的細(xì)化算法分為圖像配準(zhǔn)(Image registration)問題和梯度聚類(gradient aggregation)問題。本發(fā)明采用更加有效和直接的方法來解決圖像相似性的梯度,其給出了細(xì)化的最陡取向。而且,本發(fā)明確定了輪廓問題并通過明確地剔除有問題的區(qū)域來處理輪廓問題。本發(fā)明的細(xì)化框架是確保高精度重建的根本。

其次,本發(fā)明提出新穎的自適應(yīng)分辨率控制(Adaptive Resolution Control,ARC)。ARC將網(wǎng)格標(biāo)記為兩個(gè)區(qū)域(參照?qǐng)D10b),其中,作用區(qū)域?qū)缀胃纳凭哂凶疃嘭暙I(xiàn),而非作用區(qū)域則是不重要的區(qū)域(通常為平面或無紋理non-textured區(qū)域)。為了保持標(biāo)記分段平滑,可采用圖割優(yōu)化(graph cut optimization)。本發(fā)明僅會(huì)細(xì)化和細(xì)分所述作用區(qū)域,而所述非作用區(qū)域則會(huì)被丟棄以及簡(jiǎn)化為較少的三角形。這導(dǎo)致自適應(yīng)分辨率的網(wǎng)格:所述作用區(qū)域具有密集的三角形而所述非作用區(qū)域則是稀少的(圖6c)。由于細(xì)化面積和網(wǎng)格#頂點(diǎn)的顯著減少,本發(fā)明的方法實(shí)現(xiàn)了幾倍的加速。并且,如圖6d所示,本發(fā)明的方法還能夠保留精美的細(xì)節(jié)。

【相關(guān)工作】

MVS以已知的相機(jī)參數(shù)開始,旨在重建目標(biāo)對(duì)象的密集呈現(xiàn)。在MVS中已經(jīng)進(jìn)行了大量的工作。這里,本發(fā)明只探索與表面細(xì)化相關(guān)的工作。

表面細(xì)化是MVS中的最后步驟,并且是最終精度的關(guān)鍵因素。給出粗糙的初始表面,其目的是通過優(yōu)化光一致性(通常最小化再投影錯(cuò)誤)來細(xì)化細(xì)節(jié)。

Pons et al.:(參照參考文獻(xiàn)14:Pons,J.P.,Keriven,R.,Faugeras,O.:Multi-view stereo reconstruction and scene flow estimation with a global image-based matching score.International Journal of Computer Vision 72(2),179-193(2007))提出了一種表面細(xì)化的變分法(variational method)(參照參考文獻(xiàn)8:Faugeras,O.,Keriven,R.:Variational Principles,Surface Evolution,PDE's,Level Set Methods and the Stereo Problem.Tech.Rep.RR-3021,INRIA(Oct 1996))和用于水平集(level set)框架的場(chǎng)景流(scene flow)估計(jì)。他們的公式將總體圖像再投影錯(cuò)誤泛函數(shù)最小化。Vu et al.(參照參考文獻(xiàn)19)進(jìn)一步將他們的工作延伸至在離散的三角形網(wǎng)格上使用。他們的方法反復(fù)地將輸入的三角形網(wǎng)格細(xì)化和細(xì)分,產(chǎn)生非常細(xì)節(jié)的結(jié)果。Delaunoy et al.(參照參考文獻(xiàn)5:Delaunoy,A.,Prados,E.,Piracés,P.G.I.,Pons,J.P.,Sturm,P.:Minimizing the multi-view stereo reprojection error for triangular surface meshes.In:BMVC 2008-British Machine Vision Conference.pp.1-10.BMVA(2008);參考文獻(xiàn)4:Delaunoy,A.,Prados,E.:Gradient flows for optimizing triangular mesh-based surfaces:Applications to 3d reconstruction problems dealing with visibility.International journal of computer vision 95(2),100-123(2011))嚴(yán)格地模擬了考慮到可見性變化的網(wǎng)格細(xì)化問題。他們的公式被進(jìn)一步延伸為束調(diào)整(bundle adjustment)問題(參照參考文獻(xiàn)3:Delaunoy,A.,Pollefeys,M.:Photometric bundle adjustment for dense multi-view 3d modeling.In:Computer Vision and Pattern Recognition(CVPR),2014IEEE Conference on.pp.1486-1493.IEEE(2014))。除了表面,基于塊(patch-based)的方法為塊的呈現(xiàn)(即,正常和深度)施加細(xì)化(參照參考文獻(xiàn)10:Furukawa,Y.,Ponce,J.:Accurate,dense,and robust multiview stereopsis.IEEE Transactions on Pattern Analysis and Machine Intelligence 32(8),1362-1376(2010);參考文獻(xiàn)12:Heise,P.,Jensen,B.,Klose,S.,Knoll,A.:Variational patchmatch multiview reconstruction and refinement.In:Proceedings of the IEEE International Conference on Computer Vision.pp.882-890(2015))。一些較早的方法使用對(duì)象輪廓信息估算細(xì)化梯度(參照參考文獻(xiàn)9:Furukawa,Y.,Ponce,J.:Carved visual hulls for image-based modeling.In:Computer Vision-ECCV 2006,pp.564-577.Springer(2006);參考文獻(xiàn)6:Esteban,C.H.,Schmitt,F.:Silhouette and stereo fusion for 3d object modeling.Computer Vision and Image Understanding96(3),367-392(2004)和參考文獻(xiàn)18:Tylecek,R.,Sara,R.:Refinement of surface mesh for accurate multi-view reconstruction.The International Journal of Virtual Reality 9(1),45-54(2010)),但是這些方法被限于有條件的場(chǎng)景中。

多數(shù)細(xì)化方法采用迭代方式以優(yōu)化表面形狀。本發(fā)明的細(xì)化框架與Vu的方法(參考文獻(xiàn)19)最接近,可以將Vu的方法看作本發(fā)明方法的基準(zhǔn)。在本文的后續(xù)部分,首先陳述改善的表面細(xì)化框架,然后提出新穎的ARC,并引出密集的實(shí)驗(yàn)以支持所提出的方法的有效性。

【網(wǎng)格表面細(xì)化】

在先的用于三角形網(wǎng)格的細(xì)化方法產(chǎn)生令人印象深刻的結(jié)果(參照參考文獻(xiàn)19和參考文獻(xiàn)3)。本發(fā)明的方法堅(jiān)持這條主要規(guī)則,但是,本發(fā)明將其視為兩種子問題(圖像配準(zhǔn)和梯度聚類)的結(jié)合。本發(fā)明還提出快速光一致性(NCC)梯度計(jì)算和輪廓選擇作為對(duì)在先方法的改善。

(公式)

指示一對(duì)圖像Ii,Ij和表面S。如參考文獻(xiàn)14所描述的,將他們的再投影錯(cuò)誤最小化的標(biāo)準(zhǔn)化公式表示為:

其中,是圖像j通過表面S在視圖i中的再投影,是圖像相似性測(cè)量結(jié)果。Ei,j(S)積分圖像對(duì)i和j的通常可見區(qū)域上的錯(cuò)誤。然后,總結(jié)所有圖像對(duì)的錯(cuò)誤E(S)=∑i,jEi,j(S)被最小化。假設(shè)相機(jī)參數(shù)正確并且對(duì)象是朗伯的(lambertian),Ii和之間的不同是由于不精確的表面S。這里,本發(fā)明將最小化分成兩個(gè)子問題。

圖像配準(zhǔn)。原公式(1)測(cè)量Ii和之間的光一致性。相反地,本發(fā)明將測(cè)量空間轉(zhuǎn)換至xj坐標(biāo),即,測(cè)量和Ij。這種特別的選擇使得兩個(gè)子問題通過代理(proxy)xj被重組。為了取圖像相似性的最大值,本發(fā)明求至其第一個(gè)參數(shù)xj的偏導(dǎo)數(shù):

2D梯度場(chǎng)可被看作將配準(zhǔn)至Ij的光流(optical-flow)。本發(fā)明會(huì)在2.2部分示出其快速計(jì)算。

梯度聚類(gradient aggregation)。參照?qǐng)D7,其中,(a)表示將雙視點(diǎn)細(xì)化問題構(gòu)造為圖像配準(zhǔn)問題和梯度聚類問題,(b)表示通過以正則化執(zhí)行的逐點(diǎn)梯度的最小二乘解決離散頂點(diǎn)梯度。下面進(jìn)行詳細(xì)說明。

本發(fā)明考慮了雙視圖情景(圖7a),表面點(diǎn)P具有兩個(gè)投影坐標(biāo)xi=∏i(p),xi=Πi(p)。圖像再投影根據(jù)表面S變形而變形。因?yàn)槭莾?yōu)化的梯度,本發(fā)明解決了導(dǎo)致期望的的表面梯度GS。為了關(guān)聯(lián)他們,本發(fā)明用表面變化δS的導(dǎo)數(shù)代替公式(2):

請(qǐng)注意,在第二行,第一項(xiàng)被預(yù)先計(jì)算。第二項(xiàng)是投影矩陣Πj的雅可比行列式(Jacobian)。假設(shè)表面移動(dòng)是沿著表面的正常方向(參考文獻(xiàn)14),第三項(xiàng)能轉(zhuǎn)換為其中,N是P的法線(normal),di是加入的從相機(jī)中心(camera center)i至P的向量。然后,表面點(diǎn)P的梯度是:

<mrow> <msub> <mi>G</mi> <mi>S</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&lsqb;</mo> <msub> <mi>G</mi> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mi>S</mi> <mo>,</mo> <mi>j</mi> </mrow> </msubsup> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <msub> <mi>J</mi> <mi>j</mi> </msub> <mo>&CenterDot;</mo> <mfrac> <msub> <mi>d</mi> <mi>i</mi> </msub> <mrow> <msup> <mi>N</mi> <mi>T</mi> </msup> <msub> <mi>d</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&rsqb;</mo> <mi>N</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

正則化的離散化(regularized discretization)。這里,采用優(yōu)化然后離散化的策略。表面被表示為三角網(wǎng)格M={v0,v1,...vn},并且,頂點(diǎn)細(xì)化梯度被表示為GM。任意的表面點(diǎn)P能夠被寫作封閉三角形頂點(diǎn)的質(zhì)心(barycentric)坐標(biāo)p=∑kφkvk,其中,∑kφ|k=1。這種關(guān)系還適用于他們的梯度GS(p)=ΣkφkGM(vk)。為了解決GM,本發(fā)明將其公式化為線性最小二乘(linear least square)問題A[m*n]GM=GS。其中,矩陣A填滿相應(yīng)的質(zhì)心權(quán)重m=#表面點(diǎn)(#surface point),n=#頂點(diǎn)(m>>n)。如圖6b所示,逐點(diǎn)梯度GS(p)對(duì)噪音敏感。但是,最小二乘離散梯度GM(v)更加正則化。

為數(shù)據(jù)項(xiàng)采用另外的正則化:頂點(diǎn)的梯度被期望與其鄰域(neighborhood)平滑:所有頂點(diǎn)的這種關(guān)系可以被寫作βB[n*n]GM=0:其中,β是調(diào)整平滑度的權(quán)重。累計(jì)矩陣A和βB形成大量稀疏矩陣,并且能通過雙共扼梯度法(bi-conjugate gradient method)解決GM。在每一次迭代中,GM被用于網(wǎng)格:Mi+1=Mi+∈GM。

請(qǐng)注意,在先前的方法中(例如,參考文獻(xiàn)19),頂點(diǎn)梯度是遍及該頂點(diǎn)的來自所有對(duì)的單環(huán)三角形的總和。盡管符合其公式,但當(dāng)表面可見性不平衡時(shí),梯度幅值會(huì)有偏差。例如,被更多圖像對(duì)查看(view)的區(qū)域具有較大的幅度。本發(fā)明的基于最小二乘的離散化能阻止可見性偏移問題。

由粗到精(coarse-to-fine)。為了緩解局部最優(yōu)的問題,本發(fā)明采用了由粗到精的策略。預(yù)先建立多個(gè)規(guī)模的網(wǎng)格。輸入網(wǎng)格首先被平滑和簡(jiǎn)化為一定水平,接下來,在迭代中從低分辨率圖像逐步到高分辨率圖像進(jìn)行細(xì)化。在任何圖像對(duì)中,如果三角形投影區(qū)域覆蓋多于9像素,則將該三角形細(xì)分??筛鶕?jù)網(wǎng)格的邊緣長(zhǎng)度全局調(diào)整步長(zhǎng)(step size)∈。

(快速NCC梯度)

圖像相似性梯度本質(zhì)上驅(qū)動(dòng)著表面細(xì)化。其也是整個(gè)算法的最大的性能瓶頸。此處,本發(fā)明提供一種在NCC相似性測(cè)量方面的快速梯度計(jì)算。

在參考文獻(xiàn)5中,相似性度量標(biāo)準(zhǔn)是簡(jiǎn)單的像素強(qiáng)度的方差||Ii-Ij||2,其難以應(yīng)對(duì)不一致的明亮度(illumination)。在參考文獻(xiàn)19和14中,采用ZNCC作為相似性度量標(biāo)準(zhǔn),但是,利用鏈?zhǔn)椒▌t,梯度被分為其中,是簡(jiǎn)單的圖像梯度。本發(fā)明認(rèn)為,由于兩個(gè)原因其減緩了收斂:1)由于是標(biāo)量,其隱式地將細(xì)化梯度約束在圖像梯度取向但是實(shí)際上,其可能不是最陡(steepest)的取向;2)單像素強(qiáng)度I(x)被用于關(guān)聯(lián)鏈?zhǔn)椒▌t,但是,ZNCC的實(shí)際運(yùn)算是在x的鄰域上。

為了進(jìn)行改善,本發(fā)明采取更加有效和直接的方式解決具體地,本發(fā)明使用歸一化互相關(guān)(Normalized Cross Correlation,NCC)代替零均值版本(zero-mean version),這降低了零分母的幾率。將方程式2認(rèn)為是對(duì)將動(dòng)態(tài)圖像Id照準(zhǔn)到靜態(tài)圖像Is的梯度的計(jì)算。本發(fā)明指示數(shù)積然后通過求動(dòng)態(tài)圖像Id的坐標(biāo)的倒數(shù)計(jì)算梯度:

<mrow> <msub> <mi>G</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&part;</mo> <mn>1</mn> </msub> <mi>N</mi> <mi>C</mi> <mi>C</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>d</mi> </msub> <mo>,</mo> <msub> <mi>I</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mo>&part;</mo> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mrow> <mo>(</mo> <mfrac> <mi>A</mi> <mi>B</mi> </mfrac> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mfrac> <mrow> <mo>&part;</mo> <mi>A</mi> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>-</mo> <mi>A</mi> <mfrac> <mrow> <mo>&part;</mo> <mi>B</mi> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> </mrow> <msup> <mi>B</mi> <mn>2</mn> </msup> </mfrac> </mrow>

其中,

<mrow> <mfrac> <mrow> <mo>&part;</mo> <mi>A</mi> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>s</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>N</mi> </munder> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>d</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <msub> <mi>I</mi> <mi>s</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>S</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <mfrac> <mrow> <mo>&part;</mo> <mi>B</mi> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mrow> <mo>&lsqb;</mo> <mi>S</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <msup> <mrow> <mo>&lsqb;</mo> <mfrac> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> <mi>S</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>

D表示圖像梯度。最終的方程式簡(jiǎn)化為:

<mrow> <msub> <mi>G</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>S</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mfrac> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> <msqrt> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>,</mo> <mi>d</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>s</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mfrac> </mrow>

GI(x)的計(jì)算是獨(dú)立于各像素x,使其完美地適應(yīng)于GPU并行性。

(輪廓選擇)

由于不準(zhǔn)確的初始網(wǎng)格,圖像i可能再投影至錯(cuò)誤的深度層。這經(jīng)常沿著對(duì)象的輪廓發(fā)生,如圖8a所示。而該問題在先前的方法中沒有被解決,本發(fā)明在再投影的繪制中通過明確地檢測(cè)輪廓并剔除有問題的輪廓區(qū)域來處理它。當(dāng)且僅當(dāng)兩個(gè)入射三角(incident triangles)t0/1是正面和背面時(shí),網(wǎng)格邊緣E是關(guān)于視圖i的輪廓邊沿,即,輪廓邊緣(silhouette edge)t0,t1∈N(E)}。在細(xì)化時(shí)SE上的像素被放棄。其中,Nview表示視線的角度。Nt0、Nt1表示三角形t0、t1的法向量。斜體N代表鄰域。

更具體而言,參照?qǐng)D8中的(a)和(b),其中,(a)表示不精確的表面引起在錯(cuò)誤層上的再投影,并導(dǎo)致錯(cuò)誤的細(xì)化梯度(如(b)左側(cè)所示)。(b)右側(cè)圖則示出了通過輪廓剔除避免上述問題的效果。

【自適應(yīng)分辨率控制】

通過仔細(xì)觀察諸如圖9之類的圖片,本發(fā)明的發(fā)明人產(chǎn)生采用ARC將原來的完全細(xì)化放寬為在所選擇區(qū)域上的部分細(xì)化的突發(fā)動(dòng)機(jī)。其中,圖9示出了在早期迭代中,4種EPFL數(shù)據(jù)集的細(xì)化梯度。大多數(shù)區(qū)域例如平壁或地面具有非常小的梯度值(如藍(lán)色所示),在細(xì)化之前和細(xì)化之后,他們具有很少的集合改變。

本發(fā)明的ARC將表面分為兩個(gè)區(qū)域:作用(active)區(qū)域和非作用(Inactive)區(qū)域。作用區(qū)域呈現(xiàn)會(huì)被施加細(xì)化的有顯著意義的部分。非作用區(qū)域表示將從細(xì)化中放棄以換取性能提升的不具有顯著意義的部分。

以f表示為各個(gè)表面區(qū)域R分配標(biāo)簽的函數(shù)f(R)∈{active,Inactive}。平衡可以被公式化為效用最大化(utility maximization):

u(f)=uaccuracy(f)+utime_reduction(f) (4)

(三角形網(wǎng)格的量化)

在關(guān)于網(wǎng)格的內(nèi)容中,三角形是表面區(qū)域的最小單元。本發(fā)明為三角形定義兩種度量以具體地表示關(guān)于網(wǎng)格的平衡問題。下面的描述會(huì)結(jié)合圖10,其中,圖10中的(a)表示頂點(diǎn)的幾何改善是從v到平面(v')的最大平方距離;(b)表示在時(shí)間減少和精度損失之間的平衡曲線;(c)表示通過最優(yōu)平衡決策foptimality進(jìn)行標(biāo)記,其中,橘色對(duì)應(yīng)作用區(qū)域,紫色對(duì)應(yīng)非作用區(qū)域;(d)表示通過圖割優(yōu)化的最終標(biāo)記。下面進(jìn)行具體說明。

幾何改善。如前所述,對(duì)各頂點(diǎn)的細(xì)化對(duì)幾何改善具有不同貢獻(xiàn)。為了量化這種改善,本發(fā)明借用在網(wǎng)格簡(jiǎn)化中使用的二次誤差度量(quadric error metric)(參照參考文獻(xiàn)11:Garland,M.,Heckbert,P.S.:Surface simpli_cation using quadric error metrics.In:Proceedings of the 24th annual conference on Computer graphics and interactive techniques.pp.209-216.ACM Press/Addison-Wesley Publishing Co.(1997)),來獲得頂點(diǎn)位移(displacement)所能帶來的幾何區(qū)別的量。這是比頂點(diǎn)梯度幅值更好的選擇,因?yàn)榧?xì)化具有與簡(jiǎn)化相反的目標(biāo)(簡(jiǎn)化將幾何變化最小化而細(xì)化將其最大化)并且因此應(yīng)該使用相同的度量設(shè)置。以v和v'表示在細(xì)化迭代之前和之后的相同頂點(diǎn)。如圖10a所示,本發(fā)明將頂點(diǎn)v的幾何改善(gi)定義為在v和單環(huán)(one-ring)相鄰面v'(稱作planes(v'))之間的平方距離的最大值,定義三角形的gi為其三個(gè)頂點(diǎn)的平均:

giv=maxp∈planes(v′){ptv)2}

<mrow> <msub> <mi>gi</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>3</mn> </mfrac> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mn>3</mn> </munderover> <msub> <mi>gi</mi> <msub> <mi>v</mi> <mi>i</mi> </msub> </msub> <mo>,</mo> </mrow>

其中,V=[vx vy vz 1]t,p=[a b c d]t以標(biāo)準(zhǔn)形式表示平面。

運(yùn)行時(shí)間成本。主要的運(yùn)算花費(fèi)在細(xì)化梯度方面。在三角形上花費(fèi)的成本是可見圖像對(duì)(visible image pair)的數(shù)量乘以三角形的面積的因素。那么,三角形t的時(shí)間成本(tc)表示為:

<mrow> <msub> <mi>tc</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&times;</mo> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>&CenterDot;</mo> <mrow> <mo>(</mo> <mo>#</mo> <mi>v</mi> <mi>i</mi> <mi>s</mi> <mi>i</mi> <mi>b</mi> <mi>l</mi> <mi>e</mi> <mi> </mi> <mi>i</mi> <mi>m</mi> <mi>a</mi> <mi>g</mi> <mi>e</mi> <mi> </mi> <mi>p</mi> <mi>a</mi> <mi>i</mi> <mi>r</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow>

其中,v0,v1,v2是t的三個(gè)頂點(diǎn)。

(最優(yōu)平衡決策)

基于上述介紹的度量,本發(fā)明定義三角形t的成本效益(cet)為其幾何改善在其時(shí)間成本上的比率,即,cet=git/tct。較高的ce意味著通過將其標(biāo)記為active能在相同單位的時(shí)間成本上實(shí)現(xiàn)更高精度。因此,本發(fā)明應(yīng)該總是將較低ce的三角形標(biāo)記為inactive。

為了更好地舉例說明該標(biāo)記規(guī)則的效果,本發(fā)明計(jì)算所有三角形的cet并按照升序?qū)⑺麄兣判颉H缓笸ㄟ^在x軸上的tct的遞增總和以及以上述排序順序的在y軸上的git獲得累積曲線(accumulation curve)。在該曲線上的每一個(gè)點(diǎn)表示基于所述原則的標(biāo)記配置,這會(huì)將所有在特定點(diǎn)之下和之上的三角形為inactive和active。然后,本發(fā)明將兩個(gè)軸歸一化為[0,1],x軸、y軸可以被解釋為時(shí)間減少和精度損失(如圖10b所示)。其中,表示所有三角形的tct的總和,表示所有三角形的git的總和。

該曲線給本發(fā)明提供了控制平衡的量的靈活性。本發(fā)明能根據(jù)應(yīng)用需求在時(shí)間減少或精度損失方面設(shè)置閾值或范圍。更重要地,本發(fā)明能將問題空間(problem space)從標(biāo)記分配函數(shù)f轉(zhuǎn)換至2d空間(r,l)∈curve(curve,曲線)??梢詫⒎匠淌?重寫為:

u(r,l)=uaccuracy(l)+utime_reduction(r)

=wl·(1-l)+wr·r

其中,wl和wr是精度(accuracy)損失和時(shí)間減少(time_reduction)的權(quán)重。最優(yōu)平衡決策點(diǎn)(r0,l0)在曲線上使得:

u(ro,lo)=max(r,l)∈curueu(r,l)

其可以通過對(duì)u(r,l)求導(dǎo)來求解??梢酝评淼玫?,曲線上的最優(yōu)點(diǎn)(r0,l0)具有的斜率等于該點(diǎn)表示最優(yōu)標(biāo)記,即,foptimality,并且其是唯一的,因?yàn)榍€的斜率從其排序之后就是嚴(yán)格增加的。請(qǐng)注意,完全優(yōu)化可以被看作由曲線上的點(diǎn)(0,0)表示的特殊情況。權(quán)重比率是默認(rèn)的并且在下文的實(shí)驗(yàn)中,本發(fā)明使用的權(quán)重比率為1,這意味著為精度損失和時(shí)間減少設(shè)置相同的權(quán)重。

(圖形優(yōu)化)

僅通過優(yōu)化平衡決策標(biāo)記網(wǎng)格最大化了本發(fā)明的效用函數(shù),但是,同樣使得標(biāo)記分散為許多小區(qū)域。如圖10c所示的示例。當(dāng)在網(wǎng)格上被分片平滑時(shí),期望的標(biāo)記應(yīng)當(dāng)與數(shù)據(jù)項(xiàng)標(biāo)記一致。因此,采用圖割優(yōu)化(參照參考文獻(xiàn)1:Boykov,Y.,Veksler,O.,Zabih,R.:Fast approximate energy minimization via graph cuts.IEEE Transactions on Pattern Analysis and Machine Intelligence23(11),1222-1239(2001))以應(yīng)對(duì)這個(gè)問題。

以f表示標(biāo)記配置(labeling configuration),所述標(biāo)記配置為各個(gè)三角形t分配標(biāo)簽ft∈{active,inactive}。f的能量函數(shù)表示為三個(gè)項(xiàng)的和:

E(f)=Eoptimality(f)+Esmoothness(f)+Eprior(f)

最優(yōu)性(optimality)。期望最終的標(biāo)記保持對(duì)通過最優(yōu)平衡決策、foptimality提供的數(shù)據(jù)項(xiàng)標(biāo)簽的盡可能多的保真度。所以,Eoptimality(f)累積所有違反最優(yōu)性標(biāo)簽(標(biāo)記)的三角形標(biāo)簽的懲罰(penalty),即,

平滑(smoothness)。作為一種特征,標(biāo)記應(yīng)當(dāng)是分段平滑。更重要地,平滑標(biāo)記使得有效的簡(jiǎn)化被施加至較大塊的網(wǎng)格。本發(fā)明簡(jiǎn)單地使用Potts模型來執(zhí)行(enforce)在鄰近三角形ti和tj之間的標(biāo)記平滑。通過本發(fā)明的實(shí)驗(yàn),本發(fā)明省略了使用諸如邊緣長(zhǎng)度||ei,j||之類的加權(quán)方式,因?yàn)檫M(jìn)一步的歸一化會(huì)容易地受最長(zhǎng)邊緣的影響。相反地,本發(fā)明使用統(tǒng)一的加權(quán)以實(shí)現(xiàn)與Eoptimality(f)的合理平衡。

在先的紋理(textureness prior)。在圖優(yōu)化之前增加紋理是可選地。在2d圖像中的急劇梯度變化并不總是意味著在3d場(chǎng)景中的真正細(xì)節(jié)(例如,平壁上的紋理圖案),但是,事實(shí)上,在多數(shù)情況下,真正的3d幾何細(xì)節(jié)會(huì)在其投影的2d圖像上產(chǎn)生急劇的坡度。本發(fā)明采用在先能量(prior energy)使紋理區(qū)域被標(biāo)記為active。具體而言,遍及在具有三角形t的最大投影面積的圖像的像素,計(jì)算平均圖像梯度幅值(歸一化為[0,1]),即:

<mrow> <msub> <mi>E</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>t</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>&dtri;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>&CenterDot;</mo> <mo>&lsqb;</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>=</mo> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>c</mi> <mi>t</mi> <mi>i</mi> <mi>v</mi> <mi>e</mi> <mo>&rsqb;</mo> <mo>.</mo> </mrow>

上述圖割優(yōu)化產(chǎn)生分段的平滑標(biāo)記(如圖10d所示)。值得一提的是,所述標(biāo)記自然的適應(yīng)場(chǎng)景。例如,模型具有越多的非紋理區(qū)域,則越高的比例會(huì)被標(biāo)記為inactive,因此得到更高的性能增益。

(與細(xì)化結(jié)合)

前述細(xì)化采用由粗到精的策略,默認(rèn)使用3種水平和20次細(xì)化迭代的圖像金字塔。一旦圖像水平改變,ARC標(biāo)記重新計(jì)算,所以在整個(gè)細(xì)化中ARC僅執(zhí)行3次,這是微不足道的成本。active三角形承受細(xì)化算法并且如果需要會(huì)被細(xì)分。inactive三角形則經(jīng)受具有一定簡(jiǎn)化率(simplifying ratio)的QEM(參考文獻(xiàn)11)簡(jiǎn)化。在本發(fā)明的實(shí)驗(yàn)中,所述簡(jiǎn)化率被設(shè)為0.2。#三角形(#triangle)的顯著下降有效的加快了繪制以及網(wǎng)格處理。然后,這些三角形在隨后的迭代中被固定。除了可見性測(cè)試之外,與他們相關(guān)的所有計(jì)算被剔除。

圖11示出了在基本的完全細(xì)化(full refinement)和本發(fā)明的ARC細(xì)化之間的演進(jìn)比較。具體而言,如左側(cè)圖所示,在細(xì)化之前,噪聲網(wǎng)格被平滑。如右側(cè)圖所示,完全細(xì)化產(chǎn)生相當(dāng)密集的網(wǎng)格,而ARC寫話產(chǎn)生自適應(yīng)分辨率的網(wǎng)格:有價(jià)值的(例如,邊緣)區(qū)域具有比不重要的區(qū)域(例如,平面)更密集的三角形,但是最終的質(zhì)量與完全細(xì)化的質(zhì)量非常近似。整體地,所述完全細(xì)化產(chǎn)生更密集的網(wǎng)格,而ARC方法則以自適應(yīng)分辨率產(chǎn)生非常緊湊(compact)的網(wǎng)格。兩種網(wǎng)格表面最終的質(zhì)量非常接近,并且視覺上幾乎難以區(qū)分。

【實(shí)驗(yàn)】

本發(fā)明所提供的方法在具有8核Inter I7-4770k和32g內(nèi)存的機(jī)器上實(shí)現(xiàn)和評(píng)價(jià)。圖像再投影和細(xì)化梯度使用具有NVIDIA GTX980顯卡的OpenGL計(jì)算。

在下面的實(shí)驗(yàn)中,本發(fā)明方法的兩種配置被比較。完全細(xì)化指的是最高精度細(xì)化。ARC細(xì)化是使用默認(rèn)參數(shù)的在第3部分描述的ARC。

(評(píng)量基準(zhǔn)(benchmarking))

DTU基準(zhǔn)(參照參考文獻(xiàn)13:Jensen,R.,Dahl,A.,Vogiatzis,G.,Tola,E.,Aan_s,H.:Large scale multi-view stereopsis evaluation.In:Computer Vision and Pattern Recognition(CVPR),2014IEEE Conference on.pp.406-413.IEEE(2014))包括大范圍的對(duì)象并且各個(gè)對(duì)象由49或64個(gè)不同視圖組成,每個(gè)視圖是1600×1200像素的圖像。高精度相機(jī)校準(zhǔn)和數(shù)據(jù)集(dataset)一同被提供。為了測(cè)試本發(fā)明的細(xì)化算法,本發(fā)明借用了通過方法tola(參照參考文獻(xiàn)17:Tola,E.,Lepetit,V.,Fua,P.:Daisy:An efficient dense descriptor applied to wide-baseline stereo.IEEE Transactions on Pattern Analysis and Machine Intelligence 32(5),815-830(2010))產(chǎn)生的初始表面,并通過遵循作者的指導(dǎo)方針評(píng)價(jià)了本發(fā)明的最終被細(xì)化的網(wǎng)格的精度(accuracy)和完備性(completeness)。請(qǐng)注意,精度被定義為從產(chǎn)生的表面到地面實(shí)況(ground truth)的距離,完備性則正好相反。

本發(fā)明已經(jīng)測(cè)試了完全細(xì)化和ARC細(xì)化與基本細(xì)化方法Vu(參考文獻(xiàn)19)和在基準(zhǔn)中提供的三種參考方法(名稱為tola(參考文獻(xiàn)17),furu(參考文獻(xiàn)10),camp(參考文獻(xiàn)2:Campbell,N.,Vogiatzis,G.,Hern_andez,C.,Cipolla,R.:Using multiple hypotheses to improve depth-maps for multi-view stereo.Computer Vision-ECCV 2008pp.766-779(2008))的比較。表1示出了所選的來自基準(zhǔn)中的不同分類的三種數(shù)據(jù)集(scan 36,63,106)的統(tǒng)計(jì)。

表1:基于選擇的DTU基準(zhǔn)(參考文獻(xiàn)13)的數(shù)據(jù)集的定量對(duì)比

與初始網(wǎng)格(參考文獻(xiàn)17)相比,所有三種細(xì)化算法一致地改善了精度和完備性,并且,在所有三種數(shù)據(jù)集中,本發(fā)明的完全細(xì)化的精度最具有競(jìng)爭(zhēng)力。值得一提的是,本發(fā)明的ARC細(xì)化能夠通過僅細(xì)化部分區(qū)域?qū)崿F(xiàn)與完全細(xì)化十分接近的精度和完備性。

(性能增益(performance gain))

本發(fā)明在公共EPFL(參考文獻(xiàn)16)和本發(fā)明的私人數(shù)據(jù)集進(jìn)行試驗(yàn)并量化ARC細(xì)化的實(shí)際精度損失和性能增益。

為了量化精度損失,本發(fā)明采用豪斯多夫(Hausdorff)距離來測(cè)量?jī)删W(wǎng)格之間的差別。實(shí)際損失其中,Mfull是完全細(xì)化的網(wǎng)格,MARC是通過ARC細(xì)化的網(wǎng)格,Minitial是平滑的初始網(wǎng)格,dH(MA,MB)表示從MA至MB的距離。所測(cè)得的處理時(shí)間排除不相干的公共操作,例如,I/O(輸入/輸出)。性能增益簡(jiǎn)單地表示為處理時(shí)間比率。

如表2所示,在所有的8個(gè)數(shù)據(jù)集中ARC實(shí)現(xiàn)了3-6倍的性能增益。實(shí)際的性能增益隨各個(gè)獨(dú)立的數(shù)據(jù)集而變化。例如,“castle-P30”實(shí)現(xiàn)了最高的性能增益和第二低的精度損失,因?yàn)樵跀?shù)據(jù)集中的大面積的平面壁和地面。但是,“campus”數(shù)據(jù)集具有最高的精度損失和最差的性能增益。本發(fā)明認(rèn)為這是由于在該數(shù)據(jù)集中的大面積植被,其是可變形的因此不適合細(xì)化。在這種區(qū)域處的頂點(diǎn)通常具有大而錯(cuò)誤的梯度。畢竟,精度損失對(duì)于所有數(shù)據(jù)集均少于10%,這在很多應(yīng)用中是可以接受的。

本發(fā)明還為4種EPEL數(shù)據(jù)集記錄了每次細(xì)化迭代的頂點(diǎn)的數(shù)目,如圖12所示。#vertex的增大是由于網(wǎng)格的細(xì)分。ARC細(xì)化的#vertex保持在大約完全細(xì)化的#vertex的三分之一。#vertex的大幅下降同樣降低了峰值內(nèi)存占用。

(定性評(píng)價(jià))

圖13示出了本發(fā)明實(shí)施例與現(xiàn)有技術(shù)基于不同數(shù)據(jù)集的比較以及本發(fā)明實(shí)施例的效果圖。其中,圖13中的(a)表示在完全細(xì)化和ARC細(xì)化之間的頂點(diǎn)密度比較;在圖13中的(b)表示大型數(shù)據(jù)集的定性結(jié)果,其中,與Swanstone數(shù)據(jù)集相關(guān)的圖片的左側(cè)表示初始平滑網(wǎng)格,右側(cè)表示細(xì)化后的網(wǎng)格。

在圖13a中,本發(fā)明示出了使用EPFL數(shù)據(jù)集(參考文獻(xiàn)16)的定性比較。本發(fā)明的ARC細(xì)化在三角形網(wǎng)格上產(chǎn)生自適應(yīng)的頂點(diǎn)密度,并且總地來講,相比于完全細(xì)化具有非常少量的頂點(diǎn)和三角形。

本發(fā)明所提供的方法能夠通過采用分而治之(divide and conquer)的策略處理大型項(xiàng)目。大網(wǎng)格會(huì)被分為數(shù)塊,以便每個(gè)具有可見圖像的單獨(dú)的塊能適應(yīng)于存儲(chǔ)。如圖13b所示,4種私人數(shù)據(jù)集均通過UAV獲得。Swanstone數(shù)據(jù)集組成217副4k分辨率的圖像。以粗糙網(wǎng)格表面作為輸入,ARC細(xì)化能夠恢復(fù)城堡的精細(xì)細(xì)節(jié),例如窗口或者塔的清晰結(jié)構(gòu)。

【總結(jié)】

本發(fā)明提出用于多視點(diǎn)立體中的網(wǎng)格表面細(xì)化的靈活和有效的框架。新提出的自適應(yīng)分辨率控制(ARC)通過曲線分析評(píng)估在幾何精度和性能之間的最佳平衡。然后,使用圖割優(yōu)化將所述區(qū)域分類為有意義的區(qū)域和無意義的區(qū)域。之后,在后續(xù)細(xì)化過程中,各區(qū)域被相應(yīng)地細(xì)分和簡(jiǎn)化,以自適應(yīng)分辨率產(chǎn)生三角形網(wǎng)格。因此,ARC通過剔除大多數(shù)無意義區(qū)域幾倍地加快立體細(xì)化,同時(shí)保持與最先進(jìn)的方法所能達(dá)到水平相似的的幾何細(xì)節(jié)。本發(fā)明已經(jīng)實(shí)現(xiàn)了ARC并基于公共基準(zhǔn)和私人數(shù)據(jù)集進(jìn)行了證明,這都證實(shí)了ARC的高效性和魯棒性。

更具體而言,本發(fā)明提出的ARC估計(jì)最重要的部分以細(xì)化并丟棄其它不重要的部分以換來性能增益??刂凭群托阅苤g的平衡的權(quán)重比率被公開并且可調(diào)整,這為應(yīng)用需求提供了更多的靈活性。本發(fā)明的實(shí)驗(yàn)證明,與作為基準(zhǔn)的完全細(xì)化相比,具有默認(rèn)設(shè)置的ARC能達(dá)到3到6倍的顯著加速以及少于10%的精度損失。這證明了本發(fā)明的ARC設(shè)計(jì)的有效性和魯棒性。

通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件結(jié)合硬件平臺(tái)的方式來實(shí)現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案對(duì)背景技術(shù)做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中,如ROM/RAM、磁碟、光盤等,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,智能手機(jī)或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。

本發(fā)明說明書中使用的術(shù)語(yǔ)和措辭僅僅為了舉例說明,并不意味構(gòu)成限定。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,在不脫離所公開的實(shí)施方式的基本原理的前提下,對(duì)上述實(shí)施方式中的各細(xì)節(jié)可進(jìn)行各種變化。因此,本發(fā)明的范圍只由權(quán)利要求確定,在權(quán)利要求中,除非另有說明,所有的術(shù)語(yǔ)應(yīng)按最寬泛合理的意思進(jìn)行理解。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
华池县| 巍山| 湟中县| 将乐县| 永顺县| 且末县| 紫阳县| 多伦县| 大兴区| 磴口县| 西城区| 迁西县| 当雄县| 永福县| 屯昌县| 淳化县| 尖扎县| 怀化市| 潼南县| 静安区| 桦川县| 水富县| 祁门县| 岳池县| 渝北区| 新巴尔虎左旗| 沛县| 宽甸| 英超| 新巴尔虎右旗| 江口县| 垣曲县| 西盟| 德昌县| 淮滨县| 新晃| 马边| 赤城县| 梅河口市| 木兰县| 西乡县|