一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法
【專利摘要】標(biāo)識(shí)是增強(qiáng)現(xiàn)實(shí)中廣泛使用的相機(jī)定標(biāo)輔助工具，但它在增強(qiáng)畫面中的出現(xiàn)影響了虛實(shí)融合的真實(shí)感和美觀性。本發(fā)明提出一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法，保留邊緣和角點(diǎn)等重要區(qū)域，去除無助于相機(jī)定標(biāo)的區(qū)域，減少移除標(biāo)識(shí)后需要修復(fù)的面積，提高標(biāo)識(shí)隱藏的視覺效果。該鏤空方法包括以下步驟：利用4鄰域顏色對(duì)比獲得傳統(tǒng)標(biāo)識(shí)圖像的邊緣特征；對(duì)邊緣特征圖像的像素進(jìn)行形態(tài)學(xué)的膨脹操作，獲得膨脹邊緣圖像；在豎直中軸線上添加連接帶，保證保留區(qū)域整體連通，得到連通保留圖像；將所有直角邊界轉(zhuǎn)化為光滑的圓角邊界，得到鏤空區(qū)域掩模；最后將傳統(tǒng)標(biāo)識(shí)圖像中與鏤空區(qū)域?qū)?yīng)的像素設(shè)置為紅色，得到最終的鏤空標(biāo)識(shí)。
【專利說明】
一種増強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法，特別是一種基于增強(qiáng)現(xiàn)實(shí)模板類 標(biāo)識(shí)的自動(dòng)鏤空處理方法。
【背景技術(shù)】
[0002] 增強(qiáng)現(xiàn)實(shí)是一種通過計(jì)算機(jī)系統(tǒng)提供的虛擬信息增強(qiáng)觀察者對(duì)現(xiàn)實(shí)世界的視覺 感知的技術(shù)，它利用相關(guān)計(jì)算機(jī)技術(shù)借助標(biāo)識(shí)或特征點(diǎn)將虛擬景物實(shí)時(shí)疊加到真實(shí)環(huán)境的 視頻畫面中。為了保證疊加的虛擬景物與真實(shí)環(huán)境之間的空間一致性，需要實(shí)時(shí)利用攝像 機(jī)定標(biāo)方法計(jì)算攝像機(jī)的內(nèi)外參數(shù)。
[0003] 考慮到制作成本、易用性和穩(wěn)定性，標(biāo)識(shí)成為了最為重要和通用的相機(jī)定標(biāo)輔助 工具。用戶只需在紙上打印相關(guān)的定標(biāo)圖案制作標(biāo)識(shí)，并將該標(biāo)識(shí)放置到攝像機(jī)拍攝畫面 中，即可檢測(cè)到攝像機(jī)相對(duì)該標(biāo)識(shí)的內(nèi)外參數(shù)?；跇?biāo)識(shí)的相機(jī)定標(biāo)方法不依賴于環(huán)境的 特征信息，不受場(chǎng)景紋理的限制和部分遮擋的干擾，能夠?qū)崟r(shí)、穩(wěn)定地定標(biāo)攝像機(jī)，已獲得 了學(xué)術(shù)界的廣泛認(rèn)同和工業(yè)界的廣泛使用。
[0004] 根據(jù)識(shí)別原理的不同，目前的增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)可以分為模板類、編碼類和稀疏類三 種類型。稀疏類標(biāo)識(shí)由稀疏的簡單圖形（比如圓點(diǎn)、矩形等)組合而成，對(duì)真實(shí)環(huán)境的遮擋較 小，但為了保持稀疏圖形之間的固定位置關(guān)系，這類標(biāo)識(shí)通常直接粘貼或打印在真實(shí)背景 上，其適用范圍受到很大的限制，且識(shí)別穩(wěn)定性容易受到光照變化、相機(jī)快速移動(dòng)等的影 響。而模板類和編碼類標(biāo)識(shí)通常為一個(gè)黑白的正方形紙板，整體牢固、易于移動(dòng)、抗干擾能 力強(qiáng)且相機(jī)定標(biāo)精度高，被廣泛使用于各種基于標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)應(yīng)用中。然而，基于標(biāo)識(shí)的 增強(qiáng)現(xiàn)實(shí)方法要求將打印的標(biāo)識(shí)整個(gè)放置于真實(shí)環(huán)境中，標(biāo)識(shí)的放置遮擋了部分真實(shí)場(chǎng) 景，影響了增強(qiáng)現(xiàn)實(shí)畫面的真實(shí)感和美觀性，極大地限制了該技術(shù)在各領(lǐng)域的應(yīng)用。
[0005] 為避免標(biāo)識(shí)的出現(xiàn)對(duì)增強(qiáng)現(xiàn)實(shí)真實(shí)感的影響，可以將標(biāo)識(shí)從視頻中去除，但畫面 中會(huì)出現(xiàn)一個(gè)空洞。一種最為簡單的處理辦法是用虛擬物體覆蓋住這一空洞區(qū)域，但這僅 適用于虛擬物體在標(biāo)識(shí)所處平面之上且體積較大的情形。另一種方法是在放置標(biāo)識(shí)之前預(yù) 先采集背景圖像，用以修補(bǔ)放置標(biāo)識(shí)后產(chǎn)生的空洞區(qū)域。但預(yù)先采集的方法增加了用戶的 交互負(fù)擔(dān)，降低了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)用性。
[0006] 圖像修復(fù)技術(shù)是一種重建圖像或視頻中損失部分的數(shù)字化處理技術(shù)，它能夠利用 視頻中未被標(biāo)識(shí)覆蓋的背景圖像內(nèi)容，來修補(bǔ)移除標(biāo)識(shí)后產(chǎn)生的空洞區(qū)域，從而達(dá)到隱藏 標(biāo)識(shí)的目的。然而，為保證相機(jī)定標(biāo)的精度，模板類和編碼類標(biāo)識(shí)在視頻畫面中的成像區(qū)域 通常較大，移除后所需的大面積圖像修復(fù)不僅消耗龐大的計(jì)算量，且往往導(dǎo)致標(biāo)識(shí)隱藏結(jié) 果出現(xiàn)修復(fù)痕跡和縫隙等失真現(xiàn)象。

【發(fā)明內(nèi)容】

[0007] 為避免現(xiàn)有的增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)隱藏方法需要大面積圖像修復(fù)的問題，本發(fā)明設(shè)計(jì)了 一種鏤空的增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)，并提供了一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法。該方法以傳統(tǒng)的 增強(qiáng)現(xiàn)實(shí)模板類標(biāo)識(shí)為輸入，自動(dòng)去除標(biāo)識(shí)中無助于相機(jī)定標(biāo)的區(qū)域，保留線條和角點(diǎn)等 對(duì)相機(jī)定標(biāo)起決定性作用的特征區(qū)域，從而生成整體連通、易于制作且遮擋面積較小的鏤 空標(biāo)識(shí)。具體步驟如下：
[0008] 1)、獲取傳統(tǒng)標(biāo)識(shí)圖像I，對(duì)該圖像利用4鄰域顏色對(duì)比獲得它的邊緣特征圖像It;
[0009] 2)、對(duì)邊緣特征圖像It的邊緣像素進(jìn)行形態(tài)學(xué)的膨脹操作，得到膨脹邊緣圖像Id;
[0010] 3)、在豎直中軸線上添加一定寬度的連接帶，使得除去膨脹邊緣區(qū)域的其他區(qū)域 整體連通在一起，得到連通保留圖像Ic;
[0011] 4)、將連通保留圖像Ic的直角邊界轉(zhuǎn)化為光滑的圓角邊界，從而得到鏤空區(qū)域掩 模Mh;
[0012] 5)、將傳統(tǒng)標(biāo)識(shí)圖像I中與鏤空區(qū)域?qū)?yīng)的像素設(shè)置為紅色，得到最終的鏤空標(biāo)識(shí) Ih〇
[0013] 該鏤空標(biāo)識(shí)與現(xiàn)有的傳統(tǒng)增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的相機(jī)定標(biāo)功能基本一致，其改進(jìn)在于通 過鏤空無助于定標(biāo)的區(qū)域，減少對(duì)背景環(huán)境的遮擋，從而改善標(biāo)識(shí)隱藏的效果。進(jìn)一步，所 述的步驟(2)中的膨脹操作主要包括以下步驟：
[0014] (2.1)對(duì)邊緣特征圖像，利用，W = 進(jìn)行膨脹操作，得到邊緣特征區(qū)域 It，本發(fā)明中的a為膨脹系數(shù)，可以分別取10、20、30、40、50、60個(gè)像素，&越小，鏤空區(qū)域的面 積越大，a越大，鏤空區(qū)域的面積越?。?br>[0015] (2.2)對(duì)于邊緣特征圖像It，白色部分是予以保留的特征區(qū)域，黑色部分是需要鏤 空的非特征區(qū)域；
[0016]進(jìn)一步，所述的步驟(3)中添加連接帶的寬度為1.5a。
[0017]進(jìn)一步，所述的步驟(4)中的直角轉(zhuǎn)化為圓角主要包括以下步驟：
[0018] (4.1)找到其中一個(gè)直角，做一個(gè)與其相鄰的兩條邊界都相切的、半徑為2a的內(nèi)切 圓；
[0019] (4.2)將直角和兩個(gè)切點(diǎn)圍成的圓弧角區(qū)域，用鏤空區(qū)域顏色（即黑色)進(jìn)行填充， 完成當(dāng)前直角轉(zhuǎn)化圓角的操作；
[0020] (4.3)將上述圓角標(biāo)記為已處理直角，返回到步驟(4.1)，對(duì)尚未轉(zhuǎn)化的直角進(jìn)行 圓角轉(zhuǎn)化，直至所有整個(gè)連通保留圖像的直角都得到轉(zhuǎn)化。
[0021] 本發(fā)明的技術(shù)構(gòu)思是:為減少增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)對(duì)背景環(huán)境的遮擋，本發(fā)明提出了一 種簡便、快速的標(biāo)識(shí)自動(dòng)鏤空方法，保留邊緣和角點(diǎn)等重要區(qū)域，去除傳統(tǒng)標(biāo)識(shí)中無助于相 機(jī)定標(biāo)的區(qū)域，從而減少移除標(biāo)識(shí)后需要修復(fù)的面積，提高標(biāo)識(shí)隱藏的視覺效果。
[0022] 本發(fā)明的優(yōu)點(diǎn)在于:標(biāo)識(shí)的鏤空減少了對(duì)背景環(huán)境的遮擋，能減少圖像修復(fù)的面 積，降低標(biāo)識(shí)隱藏的誤差;豎直連接帶的添加保證了鏤空標(biāo)識(shí)的保留部分整體連通，避免了 稀疏類標(biāo)識(shí)需要粘貼在背景上的不足;邊緣特征的提取和膨脹，及其直角轉(zhuǎn)圓角的處理保 留了原始的邊緣和角點(diǎn)特征，保證相機(jī)定標(biāo)不受影響;膨脹參數(shù)a的使用，允許用戶控制鏤 空程度，在相機(jī)定標(biāo)和標(biāo)識(shí)隱藏之間調(diào)整效果。
【附圖說明】
[0023]圖1為本發(fā)明的流程圖
【具體實(shí)施方式】
[0024] 參照附圖，進(jìn)一步說明本發(fā)明：
[0025] -種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法，包括以下步驟：
[0026] 1)、獲取傳統(tǒng)標(biāo)識(shí)圖像I，對(duì)該圖像利用4鄰域顏色對(duì)比獲得它的邊緣特征圖像It;
[0027] 2)、對(duì)邊緣特征圖像It的邊緣像素進(jìn)行形態(tài)學(xué)的膨脹操作，得到膨脹邊緣圖像Id;
[0028] 3)、在豎直中軸線上添加一定寬度的連接帶，使得除去膨脹邊緣區(qū)域的其他區(qū)域 整體連通在一起，得到連通保留圖像Ic;
[0029] 4)、將連通保留圖像Ic的直角邊界轉(zhuǎn)化為光滑的圓角邊界，從而得到鏤空區(qū)域掩 模Mh;
[0030] 5)、將傳統(tǒng)標(biāo)識(shí)圖像I中與鏤空區(qū)域?qū)?yīng)的像素設(shè)置為紅色，得到最終的鏤空標(biāo)識(shí) Ih〇
[0031] 該鏤空標(biāo)識(shí)與現(xiàn)有的傳統(tǒng)增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的相機(jī)定標(biāo)功能基本一致，其改進(jìn)在于通 過鏤空無助于定標(biāo)的區(qū)域減少對(duì)背景環(huán)境的遮擋，從而改善標(biāo)識(shí)隱藏的效果。進(jìn)一步，所述 的步驟(2)中的膨脹操作主要包括以下步驟：
[0032] (2.1)對(duì)邊緣特征圖像，利用進(jìn)行膨脹操作，得到邊緣特征區(qū)域 It，本發(fā)明中的a為膨脹系數(shù)，可以分別取10、20、30、40、50、60個(gè)像素，&越小，鏤空區(qū)域的面 積越大，a越大，鏤空區(qū)域的面積越??；
[0033] (2.2)對(duì)于邊緣特征圖像It，白色部分是予以保留的特征區(qū)域，黑色部分是需要鏤 空的非特征區(qū)域；
[0034]進(jìn)一步，所述的步驟(3)中添加連接帶的寬度為1.5a。
[0035]進(jìn)一步，所述的步驟(4)中的直角轉(zhuǎn)化為圓角主要包括以下步驟：
[0036] (4.1)找到其中一個(gè)直角，做一個(gè)與其相鄰的兩條邊界都相切的、半徑為2a的內(nèi)切 圓；
[0037] (4.2)將直角和兩個(gè)切點(diǎn)圍成的圓弧角區(qū)域，用鏤空區(qū)域顏色（即黑色)進(jìn)行填充， 完成當(dāng)前直角轉(zhuǎn)化圓角的操作；
[0038] (4.3)將上述圓角標(biāo)記為已處理直角，返回到步驟(4.1)，對(duì)尚未轉(zhuǎn)化的直角進(jìn)行 圓角轉(zhuǎn)化，直至所有整個(gè)連通保留圖像的直角得到轉(zhuǎn)化。
[0039] 目前，在增強(qiáng)現(xiàn)實(shí)領(lǐng)域，基于傳統(tǒng)標(biāo)識(shí)的相機(jī)定標(biāo)方法已經(jīng)日漸成熟，其定標(biāo)的穩(wěn) 定性和計(jì)算效率都得到了學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可。本發(fā)明針對(duì)這類方法中標(biāo)識(shí)的放置 對(duì)增強(qiáng)畫面的真實(shí)感和美觀性的不足，提出了一種鏤空的增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)及其自動(dòng)生成方 法，為該類方法實(shí)現(xiàn)以假亂真的增強(qiáng)現(xiàn)實(shí)效果提供了技術(shù)基礎(chǔ)。
[0040] 本說明書實(shí)施例所述的內(nèi)容僅僅是對(duì)發(fā)明構(gòu)思的實(shí)現(xiàn)形式的列舉，本發(fā)明的保護(hù) 范圍不應(yīng)當(dāng)被視為僅限于實(shí)施例所陳述的具體形式，本發(fā)明的保護(hù)范圍也及于本領(lǐng)域技術(shù) 人員根據(jù)本發(fā)明構(gòu)思所能夠想到的等同技術(shù)手段。
【主權(quán)項(xiàng)】
1. 一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法，包括以下步驟： 1) 、獲取傳統(tǒng)標(biāo)識(shí)圖像I，對(duì)該圖像利用4鄰域顏色對(duì)比獲得它的邊緣特征圖像It; 2) 、對(duì)邊緣特征圖像It的邊緣像素進(jìn)行形態(tài)學(xué)的膨脹操作，得到膨脹邊緣圖像Id;所述 的步驟(2)中的膨脹操作主要包括以下步驟： (2.1) 對(duì)邊緣特征圖像，1進(jìn)行膨脹操作，得到邊緣特征區(qū)域 It，本發(fā)明中的a為膨脹系數(shù)，可以分別取10、20、30、40、50、60個(gè)像素，&越小，鏤空區(qū)域的面 積越大，a越大，鏤空區(qū)域的面積越??； (2.2) 對(duì)于邊緣特征圖像It，白色部分是予以保留的特征區(qū)域，黑色部分是需要鏤空的 非特征區(qū)域； 3) 、在豎直中軸線上添加一定寬度的連接帶，使得除去膨脹邊緣區(qū)域的其他區(qū)域整體 連通在一起，得到連通保留圖像Ic;所述的步驟(3)中添加連接帶的寬度為1.5a; 4) 、將連通保留圖像Ic的直角邊界轉(zhuǎn)化為光滑的圓角邊界，從而得到鏤空區(qū)域掩模Mh; 所述的步驟(4)中的直角轉(zhuǎn)化為圓角主要包括以下步驟： (4.1) 找到其中一個(gè)直角，做一個(gè)與其相鄰的兩條邊界都相切的、半徑為2a的內(nèi)切圓； (4.2) 將直角和兩個(gè)切點(diǎn)圍成的圓弧角區(qū)域，用鏤空區(qū)域顏色（即黑色)進(jìn)行填充，完成 當(dāng)前直角轉(zhuǎn)化圓角的操作； (4.3) 將上述圓角標(biāo)記為已處理直角，返回到步驟(4.1)，對(duì)尚未轉(zhuǎn)化的直角進(jìn)行圓角 轉(zhuǎn)化，直至所有整個(gè)連通保留圖像的直角得到轉(zhuǎn)化； 5) 、將傳統(tǒng)標(biāo)識(shí)圖像I中與鏤空區(qū)域?qū)?yīng)的像素設(shè)置為紅色，得到最終的鏤空標(biāo)識(shí)Ih。2. 如權(quán)利要求1所述的一種增強(qiáng)現(xiàn)實(shí)標(biāo)識(shí)的自動(dòng)鏤空方法，其特征在于:鏤空減少了對(duì) 背景的遮擋面積，能提高隱藏的效率和效果;豎直連接帶的添加保證了鏤空標(biāo)識(shí)的保留部 分整體連通，避免了稀疏類標(biāo)識(shí)需要粘貼在背景上的不足;邊緣特征的提取和膨脹，及其直 角轉(zhuǎn)圓角的處理保留了原始的邊緣和角點(diǎn)特征，保證相機(jī)定標(biāo)不受影響；膨脹參數(shù)a的使 用，允許用戶控制鏤空程度，在相機(jī)定標(biāo)和標(biāo)識(shí)隱藏之間調(diào)整效果。
【文檔編號(hào)】G06T7/00GK106056604SQ201610367247
【公開日】2016年10月26日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】陳佳舟, 羅運(yùn)學(xué), 繆永偉
【申請(qǐng)人】浙江工業(yè)大學(xué)