本發(fā)明涉及計算機(jī)視覺技術(shù)，尤其是涉及一種針對多結(jié)構(gòu)數(shù)據(jù)的指導(dǎo)性采樣方法。

背景技術(shù)：

視覺是人類感知世界的一種重要手段。研究表明，人類獲取的外界信息中超過80％的信息由視覺獲得的。計算機(jī)視覺的主要任務(wù)就是希望讓計算機(jī)模擬人類視覺功能。魯棒模型擬合是計算機(jī)視覺中一項重要的基礎(chǔ)性研究任務(wù)，它已經(jīng)廣泛應(yīng)用于三維數(shù)據(jù)分割、識別、圖像配準(zhǔn)、運動分割和人臉聚類等領(lǐng)域。采樣到一組干凈最小數(shù)據(jù)子集對于大多數(shù)魯棒模型擬合方法的成功起到至關(guān)重要的作用。許多最近提出的模型擬合方法使用隨機(jī)采樣來生成模型假設(shè)。然而，隨機(jī)采樣的缺點是，隨著幾何模型維度的增加或輸入數(shù)據(jù)內(nèi)點比例的降低，采樣到干凈最小數(shù)據(jù)子集的概率會指數(shù)地減少。因此，隨機(jī)采樣不是一種理想的采樣方法。

為了提高采樣到干凈最小數(shù)據(jù)子集的效率，一些最近提出的指導(dǎo)性采樣方法(比如[1,2])通過使用從關(guān)鍵點匹配分?jǐn)?shù)計算得到的先驗概率來指導(dǎo)采樣過程。這些方法可以為單結(jié)構(gòu)數(shù)據(jù)快速地采樣到干凈最小數(shù)據(jù)子集(即使單結(jié)構(gòu)數(shù)據(jù)包含了超過90％的離群點)。然而，對于多結(jié)構(gòu)數(shù)據(jù)，這些方法可能無法在合理的時間內(nèi)獲得一個干凈的解(即，為多結(jié)構(gòu)數(shù)據(jù)中的每個模型實例至少采樣到一個干凈最小數(shù)據(jù)子集)。由于這些方法通常會采樣到交叉結(jié)構(gòu)的最小數(shù)據(jù)子集，尤其是對于高階幾何模型。在這種情況下，交叉結(jié)構(gòu)的最小數(shù)據(jù)子集中的數(shù)據(jù)可能具有高的匹配分?jǐn)?shù)，但是它們來自多結(jié)構(gòu)數(shù)據(jù)中的不同模型實例。

若干種指導(dǎo)性采樣方法(例如，[3,4])被提出用于為兩階段模型擬合方法(比如，[5,6])加速采樣干凈最小數(shù)據(jù)子集。這些指導(dǎo)性采樣方法的兩階段模型擬合方法先采樣一組數(shù)據(jù)子集并生成模型假設(shè)，然后執(zhí)行模型選擇。然而這兩個步驟被分開執(zhí)行。因此，如果在所采樣的數(shù)據(jù)子集中沒有獲得一個干凈解，那么這些方法將失敗。同時這些指導(dǎo)性采樣方法從具有高離群點比率的多結(jié)構(gòu)數(shù)據(jù)中獲取干凈解是耗時的，因為這些指導(dǎo)性采樣方法的模型假設(shè)生成過程是耗時的。

參考文獻(xiàn)：

[1]o.chumandj.matas,“matchingwithprosac-progressivesampleconsensus,”proc.ieeeconf.computervisionandpatternrecognition,2005.

[2]a.s.brahmachariands.sarkar,“hop-diffusionmontecarloforepipolargeometryestimationbetweenverywide-baselineimages,”ieeetrans.patternanal.mach.intell.,vol.35,no.3,pp.755–762,2013.

[3]t.-j.chin,j.yu,andd.suter,“acceleratedhypothesisgenerationformultistructuredataviapreferenceanalysis,”ieeetrans.patternanal.mach.intell.,vol.34,no.4,pp.625–638,2012.

[4]h.s.wong,t.-j.chin,j.yu,andd.suter,“modeseekingoverpermutationsforrapidgeometricmodelfitting,”patternrecognit.,vol.46,no.1,pp.257–271,2013.

[5]h.wang,t.-j.chin,andd.suter,“simultaneouslyfittingandsegmentingmultiple-structuredatawithoutliers,”ieeetrans.patternanal.mach.intell.,vol.34,no.6,pp.1177–1192,2012.

[6]t.lai,h.wang,y.yan,t.-j.chin,andw.-l.zhao,“motionsegmentationviaasparsityconstraint,”ieeetransactionsonintelligenttransportationsystems,2016.

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種針對多結(jié)構(gòu)數(shù)據(jù)的指導(dǎo)性采樣方法。

本發(fā)明包括以下步驟：

1)準(zhǔn)備輸入數(shù)據(jù)χ＝{x1,x2,...,xn}及相應(yīng)的匹配分?jǐn)?shù)ψ＝{ψ1,ψ2,...,ψn}，其中n為輸入數(shù)據(jù)的個數(shù)，n為自然數(shù)，xi表示兩幅輸入圖像對之間第i個特征匹配對，指定最大采樣次數(shù)m及每組模型假設(shè)集中所包含的模型假設(shè)個數(shù)b，b和m均為自然數(shù)，初始化模型假設(shè)集θ為空；

2)如果當(dāng)前總采樣次數(shù)c小于m，那么執(zhí)行步驟3)～7)；否則，結(jié)束采樣且輸出模型假設(shè)集θ；

3)如果當(dāng)前總采樣次數(shù)c小于b，那么使用隨機(jī)采樣方法采樣一個數(shù)據(jù)子集s；否則使用提出的指導(dǎo)性采樣方法采樣一個數(shù)據(jù)子集s；

4)使用采樣到的數(shù)據(jù)子集s估計一個模型假設(shè)θ；

5)對每一個xi∈χ，計算xi與θ的絕對殘差到

6)如果當(dāng)前總采樣次數(shù)c大于等于b且c是b的整數(shù)倍，那么更新窗口大小w且排序得到殘差索引的重排列

7)把模型假設(shè)添加到模型假設(shè)集中。

所述步驟3)中，所述使用提出的指導(dǎo)性采樣方法采樣一個數(shù)據(jù)子集s包括以下步驟：

(1)從輸入數(shù)據(jù)χ中隨機(jī)選取一個數(shù)據(jù)其中s1是一個數(shù)據(jù)索引且s1∈{1,2,...,n}，n為輸入數(shù)據(jù)的個數(shù)，n為自然數(shù)；

(2)與χ中第j個數(shù)據(jù)xj的相關(guān)系數(shù)計算如下：

其中表示與之間相同元素的數(shù)目；是殘差索引的重排列，即：的前w個元素；殘差索引向量κ是通過非降序地排列殘差向量得到，r^j是xj與c次迭代生成模型假設(shè)之間的殘差向量；

(3)由于s1是固定的，為簡單起見，設(shè)

首先，通過c2計算與χ中n個數(shù)據(jù)的相關(guān)系數(shù)得到一個相關(guān)系數(shù)向量d＝[d1,d2,...,dn]。接著，d中最大元素的平方和d中的第j個元素的平方的間隔定義為：

然后，φj的概率計算為：

最后，d的熵計算為：

(4)從輸入數(shù)據(jù)χ中選擇滿足下面公式的有意義的數(shù)據(jù)：

χ^*＝{xj|e+logη(φj)＜0}(公式5)

(5)用一組數(shù)據(jù)索引來表示出現(xiàn)在χ^*中的χ的數(shù)據(jù)；

(6)先從相關(guān)系數(shù)向量d中選取χ^*和之間的相關(guān)系數(shù)從匹配分?jǐn)?shù)ψ中選取與χ^*對應(yīng)的匹配分?jǐn)?shù)接著，歸一化選取的相關(guān)系數(shù)和匹配分?jǐn)?shù)如下：

及

然后，χ^*的采樣權(quán)重ω計算為：

ω(l)＝μl*vl(公式8)

最后，使用采樣權(quán)重ω從χ^*采樣一個最小數(shù)據(jù)子集s。

所述步驟6)中，所述更新窗口大小w且排序得到殘差索引的重排列包括以下步驟：

(1)窗口大小w被設(shè)為w＝α*c，其中c為當(dāng)前采樣次數(shù)，c為自然數(shù)，α為比率因子，被設(shè)為0.1；

(2)排序得到殘差索引的重排列包含以下步驟：

首先，對于數(shù)據(jù)xi的殘差向量非降序地排列(g個排序靠前的殘差和b個xi與b個新生成的模型假設(shè)之間的殘差)來獲得排序殘差向量

接著，更新g為：

其中c＝c+b且w＝α*c；

然后，只保留中排序靠前的g個元素，即且得到相應(yīng)的殘差索引的重排列用替換c2中κ^j來更高效地計算相關(guān)系數(shù)

本發(fā)明提出一種針對多結(jié)構(gòu)數(shù)據(jù)的指導(dǎo)性采樣方法。該方法可以快速為多結(jié)構(gòu)數(shù)據(jù)采樣獲得干凈最小數(shù)據(jù)子集。本發(fā)明提出的指導(dǎo)性采樣方法可應(yīng)用于單應(yīng)性矩陣估計、基本矩陣估計、兩視圖運動分割和平面分割等。

本發(fā)明首先計算輸入數(shù)據(jù)與已生成的模型假設(shè)之間的殘差；然后通過排列殘差來獲得殘差索引；最后高效地計算用于指導(dǎo)采樣數(shù)據(jù)子集的相關(guān)系數(shù)，從而為多結(jié)構(gòu)數(shù)據(jù)快速采樣到干凈最小數(shù)據(jù)子集；本發(fā)明提出的指導(dǎo)性采樣方法可應(yīng)用于單應(yīng)性矩陣估計、基本矩陣估計、兩視圖運動分割和平面分割等計算機(jī)視覺任務(wù)。

附圖說明

圖1為本發(fā)明實施例的流程圖。

圖2為本發(fā)明與其它幾種采樣方法在adelaidermf數(shù)據(jù)集的部分圖像對上進(jìn)行兩視圖運動分割定性對比(僅顯示其中的一個視圖)的結(jié)果圖。(a)顯示真實模型實施例的輸入數(shù)據(jù)，而(b)～(g)分別顯示由方法1、方法2、方法3、方法4、方法5和本發(fā)明所提出的方法獲得的分割結(jié)果。

圖3為本發(fā)明與其它幾種采樣方法在adelaidermf數(shù)據(jù)集的部分圖像對上進(jìn)行兩視圖平面分割定性對比(僅顯示其中的一個視圖)的結(jié)果圖。(a)顯示真實模型實例的輸入數(shù)據(jù)，而(b)～(g)分別顯示由方法1、方法2、方法3、方法4、方法5和本發(fā)明所提出的方法獲得的分割結(jié)果。

方法1對應(yīng)為y.kanazawa等人提出的方法(y.kanazawaandh.kawakami,“detectionofplanarregionswithuncalibratedstereousingdistributionsoffeaturepoints.”inproceedingsofbritishmachinevisionconference,2004,pp.247–256.)；

方法2對應(yīng)為o.chum等人提出的方法(o.chum,j.matas,andj.kittler,“l(fā)ocallyoptimizedransac,”indagm-symp,2003,pp.236–243.)；

方法3對應(yīng)為o.chum等人提出的方法(o.chumandj.matas,“matchingwithprosac-progressivesampleconsensus,”inproceedingsofieeeconferenceoncomputervisionandpatternrecognition,2005,pp.220–226.)；

方法4對應(yīng)為t.-j.chin等人提出的方法(t.-j.chin,j.yu,andd.suter,“acceleratedhypothesisgenerationformultistructuredataviapreferenceanalysis,”ieeetrans.patternanal.mach.intell.,vol.34,no.4,pp.625–638,2012.)；

方法5對應(yīng)為r.tennakoon等人提出的方法(r.tennakoon,a.bab-hadiashar,z.cao,r.hoseinnezhad,andd.suter,“robustmodelfittingusinghigherthanminimalsubsetsampling,”ieeetrans.patternanal.mach.intell.,vol.38,no.2,pp.350–362,2016)。

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明的方法作詳細(xì)說明，本實施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實施，給出了實施方式和具體操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實施例。

參見圖1，本發(fā)明實施例的實施方式包括以下步驟：

s1.準(zhǔn)備輸入數(shù)據(jù)χ＝{x1,x2,...,xn}及相應(yīng)的匹配分?jǐn)?shù)ψ＝{ψ1,ψ2,...,ψn}，其中n為輸入數(shù)據(jù)的個數(shù)，n為自然數(shù)。xi表示兩幅輸入圖像對之間第i個特征匹配對。指定最大采樣次數(shù)m及每組模型假設(shè)集中所包含的模型假設(shè)個數(shù)b，b和m均為自然數(shù)。初始化模型假設(shè)集θ為空。

s2.如果當(dāng)前總采樣次數(shù)c小于m，那么執(zhí)行步驟s3至s10；否則，結(jié)束采樣且輸出模型假設(shè)集θ。

s3.如果當(dāng)前總采樣次數(shù)c小于b，使用步驟s4隨機(jī)采樣方法采樣一個數(shù)據(jù)子集s；否則使用步驟s5提出的指導(dǎo)性采樣方法采樣一個數(shù)據(jù)子集s。

s4.隨機(jī)采樣方法采樣一個數(shù)據(jù)子集s。

s5.本發(fā)明提出的指導(dǎo)性采樣方法采樣一個數(shù)據(jù)子集s具體包括：

s5-1.從輸入數(shù)據(jù)χ中隨機(jī)選取一個數(shù)據(jù)其中s1是一個數(shù)據(jù)索引且s1∈{1,2,...,n}。n為輸入數(shù)據(jù)的個數(shù)，n為自然數(shù)。

s5-2.與χ中第j個數(shù)據(jù)xj的相關(guān)系數(shù)計算如下：

其中表示與之間相同元素的數(shù)目。是殘差索引的重排列，即：的前w個元素。殘差索引向量κ是通過非降序地排列殘差向量得到。r^j是xj與c次迭代生成模型假設(shè)之間的殘差向量。

s5-3.由于s1是固定的，為簡單起見，設(shè)首先，通過c2計算與χ中n個數(shù)據(jù)的相關(guān)系數(shù)得到一個相關(guān)系數(shù)向量d＝[d1,d2,...,dn]。接著，d中最大元素的平方和d中的第j個元素的平方的間隔定義為：

然后，φj的概率計算為：

最后，d的熵計算為：

s5-4.從輸入數(shù)據(jù)χ中選擇滿足下面公式的有意義的數(shù)據(jù)：

χ^*＝{xj|e+logη(φj)＜0}(公式5)

s5-5.用一組數(shù)據(jù)索引來表示出現(xiàn)在χ^*中的χ的數(shù)據(jù)。

s5-6.先從相關(guān)系數(shù)向量d中選取χ^*和之間的相關(guān)系數(shù)從匹配分?jǐn)?shù)ψ中選取與χ^*對應(yīng)的匹配分?jǐn)?shù)接著，歸一化選取的相關(guān)系數(shù)和匹配分?jǐn)?shù)如下：

及

然后，χ^*的采樣權(quán)重ω計算為：

ω(l)＝μl*vl(公式8)

最后，使用采樣權(quán)重ω從χ^*采樣一個最小數(shù)據(jù)子集s。

s6.使用采樣到的數(shù)據(jù)子集s估計一個模型假設(shè)θ。

s7.對每一個xi∈χ，計算xi與θ的絕對殘差到

s8.如果當(dāng)前總采樣次數(shù)c大于等于b且c是b的整數(shù)倍，那么使用步驟s9更新窗口大小w且排序得到殘差索引的重排列

s9.排序得到殘差索引的重排列具體包括：

s9-1.窗口大小w被設(shè)為w＝α*c，其中c為當(dāng)前采樣次數(shù)，c為自然數(shù)，α為比率因子，被設(shè)為0.1。

s9-2.排序得到殘差索引的重排列包含以下步驟：首先，對于數(shù)據(jù)xi的殘差向量非降序地排列(g個排序靠前的殘差和b個xi與b個新生成的模型假設(shè)之間的殘差)來獲得排序殘差向量接著，更新g為：

其中c＝c+b且w＝α*c。然后，只保留中排序靠前的g個元素，即且得到相應(yīng)的殘差索引的重排列用替換c2中κ^j來更高效地計算相關(guān)系數(shù)

s10.把模型假設(shè)添加到模型假設(shè)集中，即：模型假設(shè)集θ＝模型假設(shè)集θ∪模型假設(shè)θ。

s11.輸出模型假設(shè)集θ。

采樣結(jié)束后，方法5利用其自己模型選擇方法進(jìn)行模型選擇，而所有其它的采樣方法包括本發(fā)明所提出的采樣方法均使用j-linkage(r.toldoanda.fusiello,“robustmultiplestructuresestimationwithj-linkage,”inproceedingsofeuropeanconferenceoncomputervision,2008,pp.537–547)進(jìn)行模型選擇。

本發(fā)明所提出的方法應(yīng)用于兩視圖運動分割和平面分割在adelaidermf數(shù)據(jù)集上的定性比較如圖2和3所示。

由實驗結(jié)果所示，本發(fā)明所提出的采樣方法較其它采樣方法獲得了較準(zhǔn)確的分割結(jié)果。