專利名稱：帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，應(yīng)用于虛擬現(xiàn)實(shí)與計(jì) 算機(jī)視覺領(lǐng)域，利用模式識(shí)別與虛擬現(xiàn)實(shí)技術(shù)對視頻采集到的現(xiàn)實(shí)圖像幀起到添加內(nèi)容、增 強(qiáng)效果的作用。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR， Augmented Reality)是利用虛擬物體對真實(shí)場景進(jìn)行現(xiàn)實(shí)增強(qiáng)的技術(shù)。增 強(qiáng)現(xiàn)實(shí)基于攝像頭等采集器件采集到的真實(shí)物理環(huán)境，通過將文本、二維圖像、三維模型等 虛擬生成的信息標(biāo)注在顯示屏所顯示的真實(shí)物理環(huán)境中的物體上，從而實(shí)現(xiàn)對用戶身處的現(xiàn) 實(shí)物理環(huán)境的注釋、說明，或者增強(qiáng)、強(qiáng)調(diào)現(xiàn)實(shí)環(huán)境的某些效果。比如用戶戴上專用的增強(qiáng) 現(xiàn)實(shí)顯示眼鏡，觀察某個(gè)復(fù)雜機(jī)械時(shí)，他不僅可以看到現(xiàn)實(shí)世界中存在的機(jī)械結(jié)構(gòu)本身，還 可以同時(shí)看到通過增強(qiáng)現(xiàn)實(shí)技術(shù)附加的多媒體信息如機(jī)械各個(gè)部分的介紹等。增強(qiáng)現(xiàn)實(shí)技術(shù) 給用戶一種虛擬對象與現(xiàn)實(shí)環(huán)境兩相融合的體驗(yàn)，它能有效地幫助用戶認(rèn)知周圍環(huán)境，增添 周圍環(huán)境的信息，實(shí)現(xiàn)用戶與周圍環(huán)境的交互。
"ARToolkit"是一種可用于增強(qiáng)現(xiàn)實(shí)的開源軟件包。ARtoolkit使用計(jì)算機(jī)視覺技術(shù)來 計(jì)算真實(shí)攝像場景與標(biāo)記符號(hào)之間的相對位置關(guān)系。ARToolkit的主要算法流程為輸入實(shí)時(shí) 捕獲的視頻圖像幀，通過可設(shè)定的閾值將其轉(zhuǎn)換成黑白二值圖；搜索場景中標(biāo)志物的黑框顏 色所對應(yīng)的連通區(qū)域，作為標(biāo)志物黑框的候選對象；得到各連通區(qū)域的輪廓線，若能提取出 四條相交的直邊，則作為可能的標(biāo)志物；利用四條直邊找到的角特征，進(jìn)行形變矯正，并計(jì) 算出標(biāo)志物變換成前視圖的一個(gè)單應(yīng)性矩陣(homography)變換；利用該單應(yīng)性矩陣在標(biāo)志物 的黑框內(nèi)部區(qū)域進(jìn)行采樣，采樣模板一般為16X16，共得到256個(gè)采樣點(diǎn)構(gòu)成一個(gè)采樣向量； 將這個(gè)采樣向量與預(yù)先存放在標(biāo)志物數(shù)據(jù)庫的標(biāo)志物逐個(gè)進(jìn)行比較，計(jì)算標(biāo)志物上相應(yīng)點(diǎn)構(gòu) 成的向量與采樣向量的歸一化向量點(diǎn)積，得到一個(gè)可信度值；如果可信度值低于一個(gè)閾值， 就當(dāng)作是未匹配成功，否則就是匹配成功。根據(jù)匹配成功的標(biāo)志物查找到相對應(yīng)的虛擬物體， 將虛擬物體按相機(jī)與標(biāo)志物的當(dāng)前相對方位進(jìn)行變換，使之與標(biāo)志物相吻合。
現(xiàn)有技術(shù)中，有基于ARToolKit包與二維可視編碼技術(shù)實(shí)現(xiàn)三維增強(qiáng)現(xiàn)實(shí)的方法和系統(tǒng)， 用以實(shí)現(xiàn)虛實(shí)物體之間映射關(guān)系的建立。該系統(tǒng)具體包括視頻幀捕獲模塊、視頻跟蹤模塊、 虛擬圖形系統(tǒng)模塊、虛實(shí)合成模塊以及視頻顯示模塊，各個(gè)部分功能具體為A、 視頻幀捕獲模塊，用于捕獲二維可視編碼標(biāo)志物的視頻幀，并將該視頻幀發(fā)送給視頻 跟蹤模塊；
B、 視頻跟蹤模塊，用于計(jì)算處理獲得的標(biāo)志物視頻幀，根據(jù)計(jì)算處理結(jié)果獲得從標(biāo)志物 坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣；通過采樣二維可視編碼中編碼圖案，獲得標(biāo)志物編碼值， 檢索出與該編碼值對應(yīng)的三維模型，并根據(jù)該三維模型的頂點(diǎn)數(shù)組與變換矩陣的乘積，得到 該三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組。
C、 虛擬圖形系統(tǒng)模塊，用于根據(jù)獲得的三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組繪制對應(yīng)的 三維圖形，并將該三維圖形存儲(chǔ)在幀緩存中，生成虛擬圖形幀。
D、 虛實(shí)合成模塊，用于將獲得的虛擬圖形幀與二維可視編碼標(biāo)志物的視頻幀進(jìn)行合成， 得到合成視頻幀。
該技術(shù)方案的主要特點(diǎn)為
1、 在現(xiàn)有的三維增強(qiáng)現(xiàn)實(shí)技術(shù)中引入規(guī)范的二維可視化編碼圖像作為跟蹤所用標(biāo)志物， 以代替現(xiàn)有技術(shù)中ARToolkit采用的任意形狀的標(biāo)志物，從而提高了 ARToolkit中的跟蹤算 法速度以及可靠性、并且加快了模式匹配處理速度。
2、 在現(xiàn)有的二維可視化編碼基礎(chǔ)上引入對三維相對變換信息的計(jì)算與提取，檢索出相應(yīng) 的三維媒體信息并且三維注冊合成的增強(qiáng)現(xiàn)實(shí)技術(shù)，該技術(shù)可識(shí)別出二維可視編碼，還能將 得到的其對應(yīng)的三維空間位置，通過編碼檢索到的三維模型實(shí)時(shí)地增強(qiáng)顯示在編碼圖形上， 進(jìn)而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能。
3、 主要用于在計(jì)算資源相對有限的手持移動(dòng)計(jì)算設(shè)備上實(shí)施增強(qiáng)現(xiàn)實(shí)技術(shù)，拓展增強(qiáng) 現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域。
其缺點(diǎn)是，對標(biāo)志物的要求較高，要求標(biāo)志物形態(tài)簡單，形狀邊沿與背景色的反差非常 清晰明顯，并且必須有四條直邊組成的四邊形邊框作為清晰邊界，否則會(huì)影響識(shí)別效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)，通過判斷特 定標(biāo)志物區(qū)域是否被覆蓋的方式改變虛擬物體與真實(shí)場景的合成效果，增強(qiáng)與用戶的交互性。 本發(fā)明采用如下技術(shù)方案
一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，包括以下步驟 步驟10)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；
步驟20)、選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；步驟30)、計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；
步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再 基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中 的相對位置矩陣；
步驟50)、通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模 型的位置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位置繪制虛擬模型； 步驟70)、通過對己識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的 光照信息，進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，估算出現(xiàn)實(shí)光源的位置，生成陰影。 進(jìn)一步地，所述步驟70)具體包括以下步驟 步驟71)、將標(biāo)志物平面轉(zhuǎn)向各個(gè)方向，獲取識(shí)別出標(biāo)志物的幀； 步驟72)、保存該幀中當(dāng)前標(biāo)志物的亮度及法向量坐標(biāo)值；
步驟73)、判斷識(shí)別到標(biāo)志物并保存亮度信息的幀的總數(shù)是否達(dá)到一定數(shù)目，若達(dá)到，則 進(jìn)入步驟74)，若未達(dá)到，轉(zhuǎn)步驟71);
步驟74)、找到滿足一定數(shù)目的幀，這些幀的標(biāo)志物法向量指向同一個(gè)方向，并且其亮度 值均值為最大，將這些幀的法向量坐標(biāo)的均值作為光源方向的估算位置；
步驟75)、根據(jù)光源估算的位置，生成陰影。
進(jìn)一步地，所述步驟20)具體包括以下步驟
步驟21)、將彩色圖轉(zhuǎn)化為灰度步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下-
對于圖片上的每個(gè)象素m，若以ra為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩 個(gè)條件，則排除這個(gè)像素m:
a、 這兩個(gè)像素處于以ra為中點(diǎn)的這圈像素的某條直徑兩端，
b、 這兩個(gè)像素的灰度值均與m接近；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為 穩(wěn)定的特征點(diǎn)；
步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，構(gòu)成一個(gè)"特 定視點(diǎn)集合"，得到N個(gè)"特定視點(diǎn)集合"，每個(gè)"特定視點(diǎn)集合"對應(yīng)一個(gè)穩(wěn)定特征點(diǎn)； 步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識(shí)別。 進(jìn)一步地，所述步驟24)中"特定視點(diǎn)集合"的構(gòu)成方法為
7將原始正視圖分別繞x軸、y軸按(-;r， +;r)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn) 向均分為Lx個(gè)角度，將繞y軸的轉(zhuǎn)向均分為Ly個(gè)角度，得L=LxXLy幅變換視圖，將所有變 換視圖中編號(hào)相同的特征點(diǎn)取出，得到N個(gè)集合V ={Vnl， v 2……vj， l《n《N,每個(gè)Vn就是對 應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征點(diǎn) 的不同位置。
進(jìn)一步地，所述步驟23)具體為
對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合KHk" k2……kM}，集合中每個(gè)元素表示相應(yīng)編號(hào)的 一個(gè)特征點(diǎn)；
對該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計(jì)多個(gè)經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被確認(rèn)為"穩(wěn)定" 的特征點(diǎn)，集合K的元素?cái)?shù)由M減為N，即&0d， K2……M。
進(jìn)一步地，所述步驟25)中構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識(shí)別，具體如下 隨機(jī)樹采用二叉樹結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時(shí)將大量包含"特定 視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹，讓每個(gè)面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn) 入樹葉后，計(jì)算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹葉包含的概率分布 可由如下公式表示
其中，p代表32X32像素的一塊面片，Y 0 )是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo) 號(hào)，ce{-l， 1， 2……N}，其中-l表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹的編號(hào)，"代表
p面片投入第1棵樹所到達(dá)的那片樹葉； 為每個(gè)結(jié)點(diǎn)選取的判斷公式如下，
其中，/(/ ,附)表示面片P在雙點(diǎn)的亮度，m,，附2,附3,附4為面片p中隨機(jī)挑選的四個(gè)位置不 同像素。
進(jìn)一步地，所述步驟40)具體包括以下步驟
如果/(>，》21)-^>,附2)^(/ ,附3)-/(/^4)，進(jìn)入左節(jié)點(diǎn) 其他 ，進(jìn)入右節(jié)點(diǎn)將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的 隨機(jī)樹；
表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，利用以下公式算得-
一 1 y(/ )-argmax/ cCp)-argmax丁 2尸,(/,w (R/O = c)
該公式是將面片p在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平均概率 分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片p對應(yīng)的特征點(diǎn)
的標(biāo)號(hào)；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。 本發(fā)明還提供一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，包括
視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位 置繪制虛擬模型，
現(xiàn)實(shí)環(huán)境光源估算模塊，與所述虛實(shí)合成模塊相連接，用于進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，根據(jù) 估算出的現(xiàn)實(shí)光源位置，生成陰影。
相對于已有的其他發(fā)明，如ARToolkit開發(fā)包與華為的系統(tǒng)，本系統(tǒng)極大地減少了對標(biāo)志 物的限制，這些限制主要包括以下幾條
(1) 、要求標(biāo)志物色彩深而單一，與背景色反差大。
(2) 、標(biāo)志物形態(tài)為簡單圖形。
(3) 、標(biāo)志物四周有四邊形的清晰邊框作為識(shí)別的邊界。 而本系統(tǒng)所對應(yīng)標(biāo)志物無需任何邊界，可截取任意二維圖像中包含一定紋理特征的任意四
邊形區(qū)域，主要面向真實(shí)環(huán)境中用攝像頭、照相機(jī)等攝取的含真實(shí)景物、具有照片特性的二維圖像，圖形內(nèi)容可以極為復(fù)雜。系統(tǒng)的這些特性極大地?cái)U(kuò)展了增強(qiáng)現(xiàn)實(shí)的使用范圍。
本系統(tǒng)可用于對地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示，也可在任意二維圖像上合成三維模型，形 成立體、生動(dòng)的效果。
并且通過現(xiàn)實(shí)環(huán)境光源估算模塊，估算出的現(xiàn)實(shí)光源位置，生成陰影，增添的效果的生動(dòng) 性，進(jìn)一步提高了用戶現(xiàn)實(shí)體驗(yàn)。
以下結(jié)合附圖及實(shí)施例進(jìn)一步說明本發(fā)明。


圖1為本發(fā)明基于圖像特征點(diǎn)提取與隨機(jī)樹分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)實(shí)施例示意圖2為本發(fā)明帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法實(shí)施例流程圖3為本發(fā)明方法實(shí)施例中對標(biāo)志物進(jìn)行訓(xùn)練的流程圖4為一頁書上特征點(diǎn)對應(yīng)的實(shí)際情況；
圖5為本發(fā)明實(shí)施例中現(xiàn)實(shí)環(huán)境光源估算步驟流程圖6為ShadowMap法生成陰影示意圖。
具體實(shí)施例方式
如圖1所示， 一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括
視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位 置繪制虛擬模型。
現(xiàn)實(shí)環(huán)境光源估算模塊，與所述虛實(shí)合成模塊相連接，用于進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，根據(jù)
10估算出的現(xiàn)實(shí)光源位置，生成陰影。
如圖2所示， 一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，包括以下步驟
步驟IO)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；主要包括搭建系統(tǒng)硬件平臺(tái)，設(shè)置能夠支持 二維和三維圖形的繪圖環(huán)境，分配圖像緩存空間，識(shí)別攝像頭等；
步驟20)、從文件中選擇一幅標(biāo)志物正視圖的圖像文件或者從攝像頭中提取標(biāo)志物正視 圖，對標(biāo)志物進(jìn)行訓(xùn)練。訓(xùn)練主要包括灰度處理與特征點(diǎn)處理等；
步驟30)、計(jì)算標(biāo)志物圖像的內(nèi)參并進(jìn)行校正。相機(jī)內(nèi)部參數(shù)是指攝像頭相機(jī)的焦距和形 變等內(nèi)部固有參數(shù)，該參數(shù)確定了攝像頭相機(jī)的投影變換矩陣，它取決于相機(jī)本身的屬性， 所以對同一個(gè)相機(jī)來說其內(nèi)部參數(shù)是恒定不變的。本系統(tǒng)通過在多個(gè)不同角度拍攝標(biāo)志物， 通過對不同角度的標(biāo)志物與標(biāo)志物正視圖的比對，計(jì)算相機(jī)的內(nèi)參并讀入系統(tǒng)，用來對之后 虛實(shí)合成的每一幀圖形進(jìn)行校正；
步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再 基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中 的相對位置矩陣與光照等信息；
標(biāo)志物在相機(jī)平面上成相的過程，相當(dāng)于構(gòu)成標(biāo)志物的每個(gè)象素點(diǎn)坐標(biāo)從三維坐標(biāo)系上變 換到相機(jī)坐標(biāo)系上，然后投影到相機(jī)平面上形成標(biāo)志物的二維圖像。這一變換可由相對位置 矩陣來表達(dá)。步驟40)即用來計(jì)算這一位置矩陣。之后通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖 的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息；
步驟50)、由識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型 的位置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位置繪制虛擬模型，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)；
步驟70)、通過對己識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的 光照信息，進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，估算出現(xiàn)實(shí)光源的位置，生成陰影。
本實(shí)施例中的光源估算是對標(biāo)志物所在的現(xiàn)實(shí)環(huán)境中的光的方向與強(qiáng)度進(jìn)行估算。該步 驟也可在訓(xùn)練結(jié)束之后，識(shí)別與合成階段剛開始的n幀進(jìn)行。實(shí)踐中n取100。在最開始的n 幀中采集標(biāo)志物法向量指向各個(gè)不同方向時(shí)標(biāo)志物的亮度值，經(jīng)統(tǒng)計(jì)得到亮度值最大的方向， 并將該方向作為光源的估算方向。所述步驟70)具體如圖5所示，包括以下步驟
步驟71)、將標(biāo)志物平面轉(zhuǎn)向各個(gè)方向，獲取識(shí)別出標(biāo)志物的幀；由于需要得到標(biāo)志物朝 向各個(gè)不同方向時(shí)的表面亮度值，故在這個(gè)階段，要手動(dòng)將標(biāo)志物平面緩緩轉(zhuǎn)向各個(gè)方向， 并且速度要緩和，因?yàn)槿羰寝D(zhuǎn)動(dòng)過則快無法識(shí)別標(biāo)志物，導(dǎo)致無法判斷亮度；步驟72)、保存該幀中當(dāng)前標(biāo)志物的亮度及法向量坐標(biāo)值；
步驟73)、判斷識(shí)別到標(biāo)志物并保存亮度信息的幀的總數(shù)是否達(dá)到一定數(shù)目，若達(dá)到，則 進(jìn)入步驟74),若未達(dá)到，轉(zhuǎn)步驟71);
步驟74)、找到滿足一定數(shù)目的幀，這些幀的標(biāo)志物法向量指向同一個(gè)方向，并且其亮度 值均值為最大，將這些幀的法向量坐標(biāo)的均值作為光源方向的估算位置；
步驟75)、根據(jù)光源估算的位置，生成陰影，增添的效果的生動(dòng)性。
其中，所述步驟75)中采用現(xiàn)有的ShadowMap法生成陰影。ShadowMap法是一種簡單高效 的陰影生成算法。它的主要優(yōu)點(diǎn)在于不需要計(jì)算場景幾何物體的形狀，即便對于復(fù)雜場景也 只需要產(chǎn)生一張圖(Map)就可以進(jìn)行陰影生成。該方法如圖6所示，首先設(shè)置一臺(tái)攝像機(jī)以 光源為視點(diǎn)觀察物體，進(jìn)行投影變換。由常識(shí)可知，從光源的角度觀察物體，看不到由這個(gè) 光源所形成的任何陰影。因此從該視角觀察物體，任何在默認(rèn)攝像頭中應(yīng)渲染為陰影的點(diǎn)都 被遮擋，無法被觀察到。由該光源視角觀察物體，渲染出一幅帶深度緩沖的平面陰影貼圖， 該貼圖即為ShadowMap。該貼圖中的灰度代表以燈光視點(diǎn)出發(fā)，穿過投影面形成的射線經(jīng)過的 所有場景中的點(diǎn)中離燈光最近的那個(gè)點(diǎn)的深度值。ShadowM即中的顏色灰度記錄了從燈光視角 點(diǎn)出發(fā)一條射線上所有頂點(diǎn)的Z深度值信息中最接近光源的點(diǎn)所轉(zhuǎn)化為的灰度，而那些被遮 擋的頂點(diǎn)即是產(chǎn)生陰影的點(diǎn)。再以光源為試點(diǎn)，進(jìn)行投影變換，但這一次記錄投影變換后場 景中的每個(gè)點(diǎn)的真實(shí)的Z深度值。將每個(gè)點(diǎn)真實(shí)的Z深度值與ShadowM鄰中同一位置上的點(diǎn) 的灰度值進(jìn)行對比，如果是被光照到的點(diǎn)，則這兩個(gè)值相同；如果是該被渲染為陰影的點(diǎn)， 則這兩個(gè)值不同。由此可判斷哪些點(diǎn)是處在陰影中的點(diǎn)。在正常攝像機(jī)的視角中將判斷為處 在陰影中的點(diǎn)渲染為黑色，即得到物體的陰影。利用ShadowMap方法可快速生成合成圖像的 陰影。
圖6中A、 B、 C三點(diǎn)在正常攝像機(jī)中都可被觀察到，圖中 A點(diǎn)的Map灰度值=2小于攝像機(jī)Z深度值=7，因此渲染為黑色； B點(diǎn)的Map灰度值=2小于攝像機(jī)Z深度值=6，因此渲染為黑色,-C點(diǎn)的Map灰度值==2等于攝像機(jī)Z深度值=2，因此渲染光照。
從燈光視角觀察物體，生成ShadowMap灰度圖，則在直線ABC上的點(diǎn)的z深度值都用點(diǎn)C 的z深度值替代，保存在ShadowMap中。渲染時(shí)將從燈光視角得到的A、 B、 C三點(diǎn)的真實(shí)z 深度值和灰度圖中的值對比，即可得A、 B兩點(diǎn)為應(yīng)該渲染為陰影的點(diǎn)。
進(jìn)一步地，如圖3所示，所述步驟20)具體包括以下步驟-
步驟21)、將彩色圖轉(zhuǎn)化為灰度圖；步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下
對于圖片上的每個(gè)象素m,若以m為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩 個(gè)條件
a、 這兩個(gè)像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端；
b、 這兩個(gè)像素的灰度值均與m接近。
則這個(gè)像素m被認(rèn)為是"不穩(wěn)定"的點(diǎn)。排除所有"不穩(wěn)定"的像素后，剩下的即為初步 提取出的"較穩(wěn)定"特征點(diǎn)。這樣可以很快地去除位于灰度值較平均的區(qū)域與位于邊緣上的 點(diǎn)；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為 穩(wěn)定的特征點(diǎn)，具體如下
對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合K二^u k2……kM}，集合中每個(gè)元素表示相應(yīng)編號(hào)的 一個(gè)特征點(diǎn)。
對該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)。統(tǒng)計(jì)多個(gè)經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被最終確認(rèn)為"穩(wěn) 定"的特征點(diǎn)。通過該方法可對步驟22)中提取出的特征點(diǎn)進(jìn)行進(jìn)一步篩選，得到最為穩(wěn)定 的特征點(diǎn)。集合K的元素?cái)?shù)由M減為N，即K2……KN};
步驟24)、構(gòu)建"特定視點(diǎn)集合"，該"特定視點(diǎn)集合"用于步驟25)中訓(xùn)練與構(gòu)建"隨 機(jī)樹"；
本發(fā)明基于特征點(diǎn)提取與隨機(jī)樹分類對標(biāo)志物進(jìn)行識(shí)別且計(jì)算標(biāo)志物在攝像頭坐標(biāo)系中 的位置，其中一個(gè)最為關(guān)鍵的問題是，判斷待識(shí)別幀中是否包含正視圖上的"穩(wěn)定特征點(diǎn)"， 以及包含的是哪個(gè)特征點(diǎn)。為實(shí)現(xiàn)此目的，構(gòu)建了 "特定視點(diǎn)集合"，對其的解釋如下
將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，專門構(gòu)成一個(gè)集合，可得 到N個(gè)集合，每個(gè)集合對應(yīng)一個(gè)穩(wěn)定特征點(diǎn)，這些集合即所謂的"特定視點(diǎn)集合"。例如，將 原始正視圖分別繞x軸、y軸按(-;r， +;r)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn)向均分 為Lx個(gè)角度，將繞y軸的轉(zhuǎn)向均分為Ly個(gè)角度，最終可得L=LxXLy幅變換視圖，將所有變 換視圖中編號(hào)相同的特征點(diǎn)取出，可得到N個(gè)集合Vn={vnl, v 2……VnL}， 1《n《N，每個(gè)Vn就是 對應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征點(diǎn)的不同位置；
步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識(shí)別；隨機(jī)樹分類法是一種快速簡潔的分類法。其具體構(gòu)建方法如下
隨機(jī)樹采用二叉樹結(jié)構(gòu)，只有一個(gè)樹冠，分出兩個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)再分出兩個(gè)節(jié)點(diǎn)，依次遞歸，直到最底層的節(jié)點(diǎn)不再有分支，稱之為樹葉。每個(gè)節(jié)點(diǎn)都有一個(gè)判斷公式，當(dāng)一個(gè)數(shù)據(jù)從樹冠輸入后，每個(gè)節(jié)點(diǎn)的判斷公式會(huì)對其進(jìn)行判斷，以決定將其放入左邊還是右邊的節(jié)點(diǎn)，放入下一層節(jié)點(diǎn)后再進(jìn)行判斷，直到進(jìn)入某一個(gè)樹葉。本發(fā)明中，輸入的數(shù)據(jù)為32X32像素的面片，每個(gè)面片可包含或不包含特征點(diǎn)。在訓(xùn)練時(shí)將大量包含"特定視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹，讓每個(gè)面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn)入樹葉后，便可計(jì)算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，即數(shù)一下進(jìn)入這個(gè)葉片的每個(gè)編號(hào)的特征點(diǎn)的總數(shù)占進(jìn)入這個(gè)葉片的總面片數(shù)的比例。這樣，每片葉子都包含各自的一組面向所有"穩(wěn)定"特征點(diǎn)的概率分布。本實(shí)施例中使用了多棵隨機(jī)樹來增加識(shí)別的準(zhǔn)確性。某片樹葉包含的概率分布可由如下公式表示
其中，p代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo)號(hào)，ce{-1， 1, 2……N}，其中-l表示不包含任何特征點(diǎn)的面片。l為隨機(jī)樹的編號(hào)，"代表
P面片投入第1棵樹所到達(dá)的那片樹葉。
為每個(gè)結(jié)點(diǎn)選取的多種判斷公式，本實(shí)施例中為每個(gè)結(jié)點(diǎn)選取的判斷公式如下
^ 、[如果/0 ，^)-^ ，附2)^(^附3)-/0^4)進(jìn)入左節(jié)點(diǎn)
c("^，"^H 其他 進(jìn)入右節(jié)點(diǎn)
其中，/(/7,M)表示面片P在/B點(diǎn)的亮度，/^，附2，附3,m4為面片p中隨機(jī)挑選的四個(gè)位置不
同像素。
這樣便構(gòu)建起了一棵隨機(jī)樹，其主要特征就是各個(gè)結(jié)點(diǎn)上的判斷公式以及各片葉子上不同的概率分布。
通過以不同方式分割面片與計(jì)算每個(gè)像素不同方向的梯度值，可為每個(gè)節(jié)點(diǎn)設(shè)置不同的判斷公式，進(jìn)而構(gòu)建出多棵不同的隨機(jī)樹。
進(jìn)一步地，所述步驟40)具體包括以下步驟
將攝像頭采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的隨機(jī)樹；fQ7)表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，f07)可利用以下公式算得一 1
<formula>formula see original document page 15</formula>
該公式的含義是將面片p在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平均概率分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片p對應(yīng)的特征點(diǎn)的標(biāo)號(hào)。利用該公式便可以建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。實(shí)驗(yàn)
表明，該對應(yīng)的正確率在90%以上。在建立了特征點(diǎn)的對應(yīng)之后，便可以利用計(jì)算機(jī)視覺中常用的算法來計(jì)算標(biāo)志物在攝像頭坐標(biāo)系中的位置。圖4顯示了一頁書上特征點(diǎn)對應(yīng)的情況。
以上所述的實(shí)施例僅用于說明本發(fā)明的技術(shù)思想及特點(diǎn)，其目的在使本領(lǐng)域內(nèi)的技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，當(dāng)不能僅以本實(shí)施例來限定本發(fā)明的專利范圍，即凡依本發(fā)明所揭示的精神所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內(nèi)。
權(quán)利要求
1、一種帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于包括以下步驟步驟10)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；步驟20)、選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；步驟30)、計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的相對位置矩陣；步驟50)、通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置；步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位置繪制虛擬模型；步驟70)、通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息，進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，估算出現(xiàn)實(shí)光源的位置，生成陰影。
2、 根據(jù)權(quán)利要求1所述的帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟 70)具體包括以下步驟步驟71)、將標(biāo)志物平面轉(zhuǎn)向各個(gè)方向，獲取識(shí)別出標(biāo)志物的幀； 步驟72)、保存該幀中當(dāng)前標(biāo)志物的亮度及法向量坐標(biāo)值；步驟73X判斷識(shí)別到標(biāo)志物并保存亮度信息的幀的總數(shù)是否達(dá)到一定數(shù)目，若達(dá)到，則 進(jìn)入步驟74)，若未達(dá)到，轉(zhuǎn)步驟71);步驟74)、找到滿足一定數(shù)目的幀，這些幀的標(biāo)志物法向量指向同一個(gè)方向，并且其亮度 值均值為最大，將這些幀的法向量坐標(biāo)的均值作為光源方向的估算位置；步驟75)、根據(jù)光源估算的位置，生成陰影。
3、 根據(jù)權(quán)利要求1或2所述的帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述 步驟20)具體包括以下歩驟步驟21)、將彩色圖轉(zhuǎn)化為灰度圖；步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下對于圖片上的每個(gè)象素m，若以m為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩 個(gè)條件，則排除這個(gè)像素m:a、 這兩個(gè)像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端，b、 這兩個(gè)像素的灰度值均與m接近；步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為穩(wěn)定的特征點(diǎn)；步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，構(gòu)成一個(gè)"特 定視點(diǎn)集合"，得到N個(gè)"特定視點(diǎn)集合"，每個(gè)"特定視點(diǎn)集合"對應(yīng)一個(gè)穩(wěn)定特征點(diǎn)； 步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識(shí)別。
4、 根據(jù)權(quán)利要求3所述的帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟24) 中"特定視點(diǎn)集合"的構(gòu)成方法為將原始正視圖分別繞x軸、y軸按(-;r， +7)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn) 向均分為Lx個(gè)角度，將繞y軸的轉(zhuǎn)向均分為Ly個(gè)角度，得L=LxXLy幅變換視圖，將所有變 換視圖中編號(hào)相同的特征點(diǎn)取出，得到N個(gè)集合V^Wn,，Vn2……vJ,l《n《N，每個(gè)V。就是對 應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征點(diǎn) 的不同位置。
5、 根據(jù)權(quán)利要求4所述的帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟 23)具體為對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合K^ki， k2……kM}，集合中每個(gè)元素表示相應(yīng)編號(hào)的 一個(gè)特征點(diǎn)；對該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計(jì)多個(gè)經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被確認(rèn)為"穩(wěn)定" 的特征點(diǎn)，集合K的元素?cái)?shù)由M減為N，即KHld, K2……KN}。
6、 根據(jù)權(quán)利要求5所述的帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟25) 中構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識(shí)別，具體如下隨機(jī)樹采用二叉樹結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時(shí)將大量包含"特定 視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹，讓每個(gè)面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn) 入樹葉后，計(jì)算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹葉包含的概率分布 可由如下公式表示其中，p代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo)號(hào)，ce{-1， 1， 2……N}，其中-l表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹的編號(hào)，；;代表p面片投入第1棵樹所到達(dá)的那片樹葉，為每個(gè)結(jié)點(diǎn)選取的判斷公式如下，/如果/(/ ,^)-/(^, 2)《/(^, 3)-/(/ ,加4),進(jìn)入左節(jié)點(diǎn)其中，/(p,w)表示面片p在頂點(diǎn)的亮度，w，m2，附3，附4為面片p中隨機(jī)挑選的四個(gè)位置不 同像素；所述步驟40)具體包括以下步驟將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的 隨機(jī)樹；f(/7)表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，f(;0利用以下公式算得該公式是將面片p在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平均概率 分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片P對應(yīng)的特征點(diǎn) 的標(biāo)號(hào)；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。
7、 一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于包括視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對位 置繪制虛擬模型；現(xiàn)實(shí)環(huán)境光源估算模塊，與所述虛實(shí)合成模塊相連接，用于進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，根據(jù) 估算出的現(xiàn)實(shí)光源位置，生成陰影。，進(jìn)入右節(jié)點(diǎn)= argmax a (/ ) = argmax丁工(7G ) = c)
全文摘要
帶有現(xiàn)實(shí)環(huán)境估算的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)，包括初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，進(jìn)行校正，基于訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的相對位置矩陣；通過識(shí)別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置，繪制虛擬模型，通過對已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息，進(jìn)行現(xiàn)實(shí)環(huán)境光源估算，估算出現(xiàn)實(shí)光源的位置，生成陰影。本發(fā)明極大地減少了對標(biāo)志物的限制，可用于對地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示。
文檔編號(hào)G06T17/00GK101520904SQ20091004811
公開日2009年9月2日 申請日期2009年3月24日 優(yōu)先權(quán)日2009年3月24日
發(fā)明者周暖云, 季斐翀, 晉 潘, 濤 陸 申請人:上海水晶石信息技術(shù)有限公司