專利名稱：一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)領(lǐng)域，特別涉及一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)是虛擬現(xiàn)實(shí)的進(jìn)一步拓展，它借助必要的設(shè)備使計(jì)算機(jī)生成的虛擬對(duì)象與客觀存在的真實(shí)環(huán)境共存于同一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，從感官和體驗(yàn)效果上給用戶呈現(xiàn)出虛擬對(duì)象與真實(shí)環(huán)境融為一體的增強(qiáng)現(xiàn)實(shí)環(huán)境，增強(qiáng)現(xiàn)實(shí)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)的基本特點(diǎn)。虛實(shí)三維注冊(cè)技術(shù)是增強(qiáng)現(xiàn)實(shí)領(lǐng)域重要的研究內(nèi)容，虛實(shí)三維注冊(cè)需要根據(jù)當(dāng)前攝像機(jī)的視線方向，計(jì)算攝像機(jī)的坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而將虛擬物體正確的疊加到真實(shí)環(huán)境中。基于計(jì)算機(jī)視覺的虛實(shí)三維注冊(cè)方法按照是否使用人工標(biāo)志物可分為基于人工標(biāo)志物的注冊(cè)方法和無人工標(biāo)志物的注冊(cè)方法?；谌斯?biāo)志物的三維注冊(cè)方法實(shí)際上是為了獲取場景中的攝像機(jī)相對(duì)于標(biāo)志物的三維位置，這類場景的三維信息往往都是由稀疏的標(biāo)志物中心點(diǎn)構(gòu)成，用戶只能跟蹤到數(shù)量有限的感興趣對(duì)象，增強(qiáng)現(xiàn)實(shí)場景的整體三維信息是無法獲取的，除非在場景中設(shè)置大量的人工標(biāo)志物，才能在更大的范圍內(nèi)注冊(cè)虛擬物體?；谌斯?biāo)志物的虛實(shí)注冊(cè)方法已較為成熟，但其存在不可避免的局限性需要用戶手動(dòng)設(shè)置標(biāo)志物，增加了用戶使用的復(fù)雜度；破壞了原有場景的真實(shí)感，使用戶感到不真實(shí)；有些場景無法設(shè)置標(biāo)志物，例如電視直播等等。因此無人工標(biāo)志物的方法已成為當(dāng)前研究熱點(diǎn)。無人工標(biāo)志物的虛實(shí)三維注冊(cè)方法與基于人工標(biāo)志物的虛實(shí)三維注冊(cè)方法的區(qū)別在于人工標(biāo)志物顏色和形狀具有很強(qiáng)的判別能力，易于被識(shí)別和檢測(cè)。而無人工標(biāo)志物的虛實(shí)三維注冊(cè)方法則需要識(shí)別和檢測(cè)場景中的判別能力較弱的自然視覺特征，因此通常需要加入一些先驗(yàn)知識(shí)或不確定性的計(jì)算框架來估計(jì)攝像機(jī)的位置和方向。2003年紐約州立大學(xué)水牛城分校的Davison等人提出了無標(biāo)志物的虛實(shí)三維注冊(cè)，該方法構(gòu)建特征點(diǎn)構(gòu)成的場景稀疏三維模型，但特征點(diǎn)的跟蹤具有不穩(wěn)定的特點(diǎn)，限制了增強(qiáng)現(xiàn)實(shí)的注冊(cè)范圍和質(zhì)量，無法使增強(qiáng)現(xiàn)實(shí)的交互范圍更廣，內(nèi)容更加豐富。另一方面，該方法用于攝像機(jī)位姿估計(jì)的特征點(diǎn)相對(duì)于場景都是靜止不動(dòng)的，一定程度上限制了用戶與增強(qiáng)現(xiàn)實(shí)場景的交互能力。2006年，日本慶應(yīng)義塾大學(xué)的Julien等人提出了基于自然標(biāo)志物的虛實(shí)三維注冊(cè)，該方法存在的問題是當(dāng)自然標(biāo)志物在圖像中所占比例較小時(shí)， 自然標(biāo)志物上特征點(diǎn)在圖像中所占比例變小，導(dǎo)致方法性能降低。2007年，圣塔芭芭拉加州大學(xué)的Lee等人提出了基于手的虛實(shí)三維注冊(cè)，該方法則利用顏色和輪廓信息檢測(cè)和跟蹤手，估計(jì)手相對(duì)于攝像機(jī)的位姿。由于手具有普遍存在的特點(diǎn)，基于手的虛實(shí)注冊(cè)方法能夠廣泛的適用于移動(dòng)式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的人機(jī)交互。2008年，斯坦福大學(xué)的Micusik等人提出了基于矩形的虛實(shí)三維注冊(cè)，該方法利用圖像中真實(shí)世界矩形特征來恢復(fù)真實(shí)的幾何信息。矩形特征相較于特征點(diǎn)對(duì)于圖像尺度變化具有更好的魯棒性，能夠?qū)o標(biāo)志物的虛實(shí)三維注冊(cè)提供很好的補(bǔ)充。當(dāng)前的虛實(shí)三維注冊(cè)方法通常利用真實(shí)場景中某一個(gè)特定種類的自然特征完成虛實(shí)三維注冊(cè)，然而單一種類的自然特征難以充分利用真實(shí)場景中存在著豐富自然特征的特點(diǎn)，在某些增強(qiáng)現(xiàn)實(shí)場景中無法滿足用戶多樣化的虛實(shí)三維注冊(cè)需求。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的不足，提出了基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法策略，以特征點(diǎn)、矩形特征、自然標(biāo)志物和手特征為虛實(shí)三維注冊(cè)的四種典型自然特征，設(shè)計(jì)了一種多自然特征的狀態(tài)空間描述方法，根據(jù)基于自然特征的場景屬性或用戶交互選擇虛實(shí)三維注冊(cè)的自然特征，檢測(cè)和跟蹤相應(yīng)的自然特征，實(shí)現(xiàn)了基于多自然特征的虛實(shí)三維注冊(cè)。為此，本發(fā)明公開了一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法。所述三維注冊(cè)方法步驟如下步驟一、在現(xiàn)實(shí)場景的視頻序列中分析出多個(gè)種類的自然特征，并生成各類自然特征的集合；步驟二、對(duì)各類自然特征的狀態(tài)進(jìn)行綜合分析，得到各類自然特征對(duì)虛實(shí)三維注冊(cè)的優(yōu)先級(jí)；步驟三、根據(jù)所述優(yōu)先級(jí)或用戶交互選擇用于虛實(shí)三維注冊(cè)的自然特征種類；步驟四、在現(xiàn)實(shí)場景的視頻序列中檢測(cè)選定種類的自然特征集合中的各自然特征，篩選其中穩(wěn)定性和/或識(shí)別性高的自然特征作為最終注冊(cè)用自然特征；步驟五、利用最終注冊(cè)用自然特征進(jìn)行現(xiàn)實(shí)場景的虛擬對(duì)象三維注冊(cè)。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟一中，自然特征的類別包括特征點(diǎn)、平行四邊形特征、自然標(biāo)志物和手特征。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟五中，利用最終注冊(cè)用自然特征進(jìn)行虛擬對(duì)象三維注冊(cè)中，包括在現(xiàn)實(shí)場景的視頻序列中跟蹤最終注冊(cè)用自然特征，以減輕在視頻序列中反復(fù)識(shí)別自然特征的負(fù)擔(dān)。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟一中，通過視頻序列中的前幾幀分析出多個(gè)種類的自然特征，并且在所述步驟二中，也是通過這幾幀對(duì)各類自然特征的狀態(tài)進(jìn)行綜合分析。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟五中，如果隨著視頻序列的推進(jìn)，選定的最終注冊(cè)用自然特征消失或不確定性增強(qiáng)，則重復(fù)步驟四，重新檢測(cè)相應(yīng)種類的自然特征集合中的各自然特征，篩選其中穩(wěn)定性和/或識(shí)別性高的自然特征作為新的最終注冊(cè)用自然特征。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟三中，如果隨著視頻序列的推進(jìn)，選定種類的自然特征集合中的可用自然特征數(shù)量不足，則從步驟一開始重復(fù)，重新選定自然特征種類。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟三中，用戶交互選擇的優(yōu)先等級(jí)最高。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟二中，優(yōu)先級(jí)高的自然特征種類為在視頻序列的各幀圖像中，出現(xiàn)頻率高的自然特征種類。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟四中，穩(wěn)定性高的自然特征為在視頻序列的各幀圖像中，出現(xiàn)頻率高的自然特征種類。優(yōu)選的是，所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法中，在所述步驟四中，識(shí)別性高的自然特征為在視頻序列的各幀圖像中，差別小的自然特征種類。本發(fā)明的有益效果是1、本發(fā)明針對(duì)單一種類的自然特征難以充分利用真實(shí)場景中存在著豐富自然特征，在某些增強(qiáng)現(xiàn)實(shí)場景中無法滿足用戶多樣化虛實(shí)三維注冊(cè)需求的局限性，給出了基于多自然特征虛實(shí)三維注冊(cè)方法，利用目標(biāo)特征檢測(cè)跟蹤和虛實(shí)三維注冊(cè)算法，以特征點(diǎn)、矩形特征、自然標(biāo)志物、手特征為無人工標(biāo)識(shí)虛實(shí)三維注冊(cè)的四種典型自然特征，設(shè)計(jì)了基于多自然特征的狀態(tài)空間描述方法。2、根據(jù)基于自然特征的場景屬性和用戶交互選擇，通過檢測(cè)和跟蹤相應(yīng)的自然特征，實(shí)現(xiàn)了基于多自然特征的虛實(shí)三維注冊(cè)。3、本發(fā)明將四種不同的自然特征都納入到不確定性計(jì)算框架之下進(jìn)行計(jì)算，利用多自然特征的狀態(tài)空間預(yù)測(cè)特征搜索區(qū)域來提高各種自然特征的跟蹤效率。


圖1為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的攝像機(jī)坐標(biāo)系與多種自然特征；圖2為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的用戶交互示意圖；圖3為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的矩形特征的表示；圖4為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的圖像中滅點(diǎn)的計(jì)算和直線段的分類；圖5為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的基于隨機(jī)抽樣一致的矩形檢測(cè)算法；圖6為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的自然三維標(biāo)志物示意圖；圖7是為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的矩形特征的匹配兩步方法；圖8為該發(fā)明一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法框架。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明，以使本領(lǐng)域普通技術(shù)人員參照本說明書后能夠據(jù)以實(shí)施。步驟一、如圖1所示，構(gòu)建一個(gè)多自然特征的狀態(tài)空間在場景中存在攝像機(jī)、場景中被跟蹤的自然特征點(diǎn)、矩形特征、自然標(biāo)志物和手等對(duì)象，選擇攝像機(jī)作為運(yùn)動(dòng)對(duì)象，特征點(diǎn)和矩形特征均作為靜態(tài)對(duì)象，自然標(biāo)志物和手作為運(yùn)動(dòng)對(duì)象進(jìn)行跟蹤，然后初始化多自然特征的狀態(tài)空間采用基于可擴(kuò)展卡爾曼濾波框架來管理場景中多自然特征的狀態(tài)空間，在該框架中，狀態(tài)空間伴隨著一個(gè)協(xié)方差矩陣可表示如下
權(quán)利要求
1.種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，包含以下步驟步驟一、在現(xiàn)實(shí)場景的視頻序列中分析出多個(gè)種類的自然特征，并生成各類自然特征的集合；步驟二、對(duì)各類自然特征的狀態(tài)進(jìn)行綜合分析，得到各類自然特征對(duì)虛實(shí)三維注冊(cè)的優(yōu)先級(jí)；步驟三、根據(jù)所述優(yōu)先級(jí)或用戶交互選擇用于虛實(shí)三維注冊(cè)的自然特征種類；步驟四、在現(xiàn)實(shí)場景的視頻序列中檢測(cè)選定種類的自然特征集合中的各自然特征，篩選其中穩(wěn)定性和/或識(shí)別性高的自然特征作為最終注冊(cè)用自然特征；步驟五、利用最終注冊(cè)用自然特征進(jìn)行現(xiàn)實(shí)場景的虛擬對(duì)象三維注冊(cè)。
2.如權(quán)利要求1所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟一中，自然特征的類別包括特征點(diǎn)、平行四邊形特征、自然標(biāo)志物和手特征。
3.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟五中，利用最終注冊(cè)用自然特征進(jìn)行虛擬對(duì)象三維注冊(cè)中，包括在現(xiàn)實(shí)場景的視頻序列中跟蹤最終注冊(cè)用自然特征，以減輕在視頻序列中反復(fù)識(shí)別自然特征的負(fù)擔(dān)。
4.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟一中，通過視頻序列中的前幾幀分析出多個(gè)種類的自然特征，并且在所述步驟二中，也是通過這幾幀對(duì)各類自然特征的狀態(tài)進(jìn)行綜合分析。
5.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟五中，如果隨著視頻序列的推進(jìn)，選定的最終注冊(cè)用自然特征消失或不確定性增強(qiáng)，則重復(fù)步驟四，重新檢測(cè)相應(yīng)種類的自然特征集合中的各自然特征，篩選其中穩(wěn)定性和 /或識(shí)別性高的自然特征作為新的最終注冊(cè)用自然特征。
6.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟三中，如果隨著視頻序列的推進(jìn)，選定種類的自然特征集合中的可用自然特征數(shù)量不足，則從步驟一開始重復(fù)，重新選定自然特征種類。
7.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟三中，用戶交互選擇的優(yōu)先等級(jí)最高。
8.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟中，優(yōu)先級(jí)高的自然特征種類為在視頻序列的各幀圖像中，出現(xiàn)頻率高的自然特征種類。
9.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟四中，穩(wěn)定性高的自然特征為在視頻序列的各幀圖像中，出現(xiàn)頻率高的自然特征種類。
10.如權(quán)利要求2所述的基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法，其特征在于，在所述步驟四中，識(shí)別性高的自然特征為在視頻序列的各幀圖像中，差別小的自然特征種類。
全文摘要
本發(fā)明公開了一種基于多自然特征的自適應(yīng)虛實(shí)三維注冊(cè)方法。包括步驟在現(xiàn)實(shí)場景的視頻序列中分析出多個(gè)種類的自然特征，并生成各類自然特征的集合，然后對(duì)各類自然特征的狀態(tài)進(jìn)行綜合分析，得到各類自然特征對(duì)虛實(shí)三維注冊(cè)的優(yōu)先級(jí)，再根據(jù)所述優(yōu)先級(jí)或用戶交互選擇用于虛實(shí)三維注冊(cè)的自然特征種類，接著在現(xiàn)實(shí)場景的視頻序列中檢測(cè)選定種類的自然特征集合中的各自然特征，篩選其中穩(wěn)定性和/或識(shí)別性高的自然特征作為最終注冊(cè)用自然特征，最后利用最終注冊(cè)用自然特征進(jìn)行現(xiàn)實(shí)場景的虛擬對(duì)象三維注冊(cè)。本發(fā)明可廣泛應(yīng)用到交互式數(shù)字娛樂、體育研究與訓(xùn)練模擬、遠(yuǎn)程教育與培訓(xùn)等虛擬現(xiàn)實(shí)系統(tǒng)中的虛實(shí)三維注冊(cè)與融合。
文檔編號(hào)G06T7/00GK102360504SQ20111032179
公開日2012年2月22日 申請(qǐng)日期2011年10月20日 優(yōu)先權(quán)日2011年10月20日
發(fā)明者周彬, 賈國棟, 趙沁平, 金鑫, 陳小武, 陳萌萌 申請(qǐng)人:北京航空航天大學(xué)