謝振超

本發(fā)明屬于增強(qiáng)現(xiàn)實技術(shù)領(lǐng)域，具體涉及一種基于無標(biāo)志物的虛擬家具布置系統(tǒng)。

背景技術(shù)：

傳統(tǒng)的裝修設(shè)計圖只能反映家具在房間內(nèi)的平面位置，難以呈現(xiàn)真實的家居環(huán)境。裝修家居需要借助新技術(shù)來實現(xiàn)人與環(huán)境的實時交互。增強(qiáng)現(xiàn)實系統(tǒng)可以有效地將虛擬物體跟真實場景結(jié)合起來，幫助用戶到體驗到各種虛擬的場景。將增強(qiáng)現(xiàn)實技術(shù)與虛擬家居布置結(jié)合起來，可以有效的解決傳統(tǒng)家居裝修過程中家具位置不明確的問題。在裝修過程中，用戶無需實際測量房間和家具的尺寸，通過觀察增強(qiáng)出來的虛擬家具，就可以判斷家具與房間環(huán)境是否匹配，家具樣式與裝修風(fēng)格是否一致。

文獻(xiàn)《基于移動設(shè)備的增強(qiáng)現(xiàn)實家具布置研究》采用了fast特征檢測和基于半樸素貝葉斯思想的圖像分類算法，引入了ptam算法進(jìn)行三維重建，極大提高了和識別率和穩(wěn)定性。其不足之處在于本質(zhì)上還需要依賴標(biāo)志物來進(jìn)行三維注冊。文獻(xiàn)《基于無標(biāo)志物的智能手機(jī)虛擬家居增強(qiáng)現(xiàn)實系統(tǒng)研究》設(shè)計了一種基于無標(biāo)志物的虛擬家居系統(tǒng)，可以對未知場景實時定位，并將虛擬物體渲染到真實場景中。其不足之處在于定位精度不高，只能注冊單一顯著平面，在實際家居布置中不能進(jìn)行準(zhǔn)確的虛實融合。

本發(fā)明針對現(xiàn)有基于無標(biāo)志物的增強(qiáng)現(xiàn)實技術(shù)，結(jié)合家具布置這一實際應(yīng)用場景。利用自然特征進(jìn)行追蹤定位，可以適用于各種室內(nèi)場景。由跟蹤獲得的特征匹配圖像進(jìn)行特征點的三維重建，以三維重建的結(jié)果為基礎(chǔ)，根據(jù)單應(yīng)約束篩選空間平面作為注冊平面。這樣得到的跟蹤注冊結(jié)果可以有效的與真實場景進(jìn)行融合，提高虛擬家具布置的效率和體驗感。

技術(shù)實現(xiàn)要素：

本發(fā)明采用基于自然特征的注冊方法解決增強(qiáng)現(xiàn)實技術(shù)中依賴標(biāo)志物的問題，提出一種基于無標(biāo)志物的虛擬家具布置系統(tǒng)，具體技術(shù)方案主要包含以下幾個部分：

特征檢測與跟蹤模塊，首先對捕獲的每一幀圖像通過特征檢測獲得圖像角點特征的二維坐標(biāo)，并取得角點集合，再使用跟蹤技術(shù)對其進(jìn)行特征跟蹤，為空間點的三維重建提供兩幀圖像之間的對應(yīng)關(guān)系，將檢測到的角點特征信息作為下一模塊的輸入數(shù)據(jù)，并通過跟蹤保持相鄰幀的匹配關(guān)系，從而實現(xiàn)連續(xù)的注冊。

三維重建與注冊定位模塊，該模塊主要用于特征點三維坐標(biāo)的獲取、參考坐標(biāo)系的建立以及注冊信息的計算。利用注冊信息對虛擬物體進(jìn)行渲染、投影變換，得到虛擬物體正確的投影圖像，然后將其疊加于捕獲圖像進(jìn)行融合顯示，從而得到增強(qiáng)效果。

人機(jī)交互模塊，該部分提供了圖形化接口用來實現(xiàn)控制虛擬家具的位置和狀態(tài)，查看家具信息等操作。

服務(wù)器存儲模塊，該部分用于保存虛擬家具模型和家具裝扮方案，將本地的渲染和存儲功能分配給服務(wù)器完成，減少本地運算量，提高系統(tǒng)運行效率。

功能拓展模塊，該部分是對家具布置系統(tǒng)的功能拓展，本發(fā)明要包括虛擬家具的個性化定制和家具在線商城等功能，使系統(tǒng)更具易用性。

本發(fā)明的特點是解決了傳統(tǒng)增強(qiáng)現(xiàn)實系統(tǒng)依賴標(biāo)志物的問題，利用自然特征進(jìn)行追蹤定位，適用性廣，可以滿足多種應(yīng)用場景。同時對三維注冊中的一些不足進(jìn)行了改進(jìn)，實現(xiàn)虛擬家具與真實場景的融合。

附圖說明

圖1為本發(fā)明中基于無標(biāo)志物的虛擬家具布置系統(tǒng)整體過程示意圖

圖2為本發(fā)明中角點檢測的度量值計算示意圖

具體實施方式

本發(fā)明用于提供一種基于無標(biāo)志物的虛擬家具布置系統(tǒng)，為了使本發(fā)明的目的、技術(shù)方案及效果更佳清楚、明確，下面現(xiàn)結(jié)合附圖，對本發(fā)明的具體實施方式進(jìn)行詳細(xì)描述，但應(yīng)當(dāng)理解此處所描述的具體實施方式僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

本實例公開了一種基于無標(biāo)志物的虛擬家具布置系統(tǒng)，具體實現(xiàn)步驟如下：

1.特征檢測。為了得到一個好的跟蹤結(jié)果，檢測的特征要對圖像的旋轉(zhuǎn)、尺度縮放、視角變化、光照變化保持不變性。本發(fā)明選用算法主要將圖像的角點檢測出來，同時對圖像的噪聲不敏感，能很好的滿足系統(tǒng)對實時性和穩(wěn)定性的要求。下述公式是角點滿足的度量條件，其中w為窗口中各像素點與(x,y)的偏離坐標(biāo)集合，i(x,y)表示圖像上(x,y)處的灰度值，vu,v(x,y)表示在點(x,y)處在(u,v)方向上的灰度變化量。

2.光流跟蹤。本發(fā)明使用分層lk光流跟蹤算法對角點特征進(jìn)行跟蹤。該算法認(rèn)為場景中物體的某一點在相鄰幀上的投影像素的灰度值保持不變，下述公式反映其數(shù)學(xué)描述，其中i(x,y,t)為圖像上某一像素點m＝(x,y)^t在時刻t的灰度值，vm＝(vx,vy)^t為時間間隔dt內(nèi)點m的運動速度。

i(x+vxdt,y+vydt,t+dt)＝i(x,y,t)

3.三維重建。主要利用立體視覺原理，使用描述極幾何的基本矩陣求解場景的三維信息。根據(jù)空間平面在兩幀圖像下投影的單應(yīng)關(guān)系，篩選出平面作為新坐標(biāo)系的z平面，采用ransac算法獲取共面集合，選擇關(guān)鍵點坐標(biāo)帶入距離測量函數(shù)進(jìn)行迭代計算，建立新坐標(biāo)系。采用傳統(tǒng)標(biāo)定方法計算攝像機(jī)外參，通過矩陣變化即可將虛擬家具投影到注冊平面上，實現(xiàn)增強(qiáng)現(xiàn)實效果。根據(jù)實際應(yīng)用場景，建立多個注冊平面滿足不同家具的擺放要求。

4.人機(jī)交互。虛擬家具投影到注冊平面，可以對模型進(jìn)行移動、旋轉(zhuǎn)、縮放等操作，完成家具布置。

5.服務(wù)器存儲。所有的虛擬家具模型都將保存在服務(wù)器，需要擺放某種家具時，從服務(wù)器下載對應(yīng)的3d模型。同時可以將家具裝扮方案保存至服務(wù)器，方面后續(xù)的查看或者修改。

6.功能拓展。在基礎(chǔ)的家具布置功能以外，提供個性化定制和在線商城等拓展功能，便于用戶使用。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明請求保護(hù)一種基于無標(biāo)志物的虛擬家具布置系統(tǒng)，其特征在于它包括特征檢測與跟蹤模塊、三維重建與注冊定位模塊、人機(jī)交互模塊、服務(wù)器存儲模塊、功能拓展模塊五部分。其中特征檢測與跟蹤模塊負(fù)責(zé)對室內(nèi)環(huán)境圖像進(jìn)行特征點檢測與跟蹤，獲得圖像的特征信息；三維重建與注冊定位模塊將獲得的特征信息進(jìn)行處理，建立新坐標(biāo)系和注冊平面，將虛擬家具顯示到注冊平面上；用戶通過人機(jī)交互模塊調(diào)整虛擬家具的位置和大小以適應(yīng)真實場景；服務(wù)器存儲模塊用來保存家具模型和裝扮信息；功能拓展模塊提供家具布置系統(tǒng)的個性化定制功能。

技術(shù)研發(fā)人員：黃俊;謝振超
受保護(hù)的技術(shù)使用者：重慶郵電大學(xué)
技術(shù)研發(fā)日：2017.07.06
技術(shù)公布日：2017.11.07