一種3d場(chǎng)景中重現(xiàn)物體的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及一種3D場(chǎng)景中重現(xiàn)物體的系統(tǒng)和方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)技術(shù)未來(lái)將會(huì)發(fā)展成為一種改變?nèi)藗兩罘绞降男峦黄?，目前，虛擬現(xiàn)實(shí)技術(shù)如何在虛擬世界中與目標(biāo)進(jìn)行互動(dòng)是虛擬現(xiàn)實(shí)技術(shù)所面臨的巨大挑戰(zhàn)，因此虛擬現(xiàn)實(shí)技術(shù)想要真正進(jìn)入消費(fèi)級(jí)市場(chǎng)還有一段很長(zhǎng)的路要走。
[0003]當(dāng)前已有的各種虛擬現(xiàn)實(shí)裝備依然阻擋著用戶(hù)和虛擬世界之間的交流，在3D場(chǎng)景中并不能追蹤身體的相關(guān)部位，比如用戶(hù)的手部運(yùn)動(dòng)軌跡現(xiàn)在就無(wú)法真正模擬。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供了一種3D場(chǎng)景中輸入物體的系統(tǒng)和方法，以解決現(xiàn)有技術(shù)在3D場(chǎng)景中無(wú)法真正重現(xiàn)物體的問(wèn)題。
[0005]為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0006]一方面，本發(fā)明提供了一種3D場(chǎng)景中輸入物體的系統(tǒng)，包括:物體采集單元、物體識(shí)別單元、物體追蹤單元和物體投影單元；
[0007]所述物體采集單元，用于分別對(duì)待顯示的物體實(shí)時(shí)采集至少兩路視頻流數(shù)據(jù)；
[0008]所述物體識(shí)別單元，用于從所述至少兩路視頻流數(shù)據(jù)中識(shí)別出實(shí)時(shí)變化的物體形狀；
[0009]所述物體追蹤單元，用于根據(jù)所述實(shí)時(shí)變化的物體形狀，獲得對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡；
[0010]所述物體投影單元，用于將所述實(shí)時(shí)變化的物體形狀和所述對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像實(shí)時(shí)疊加投影在3D場(chǎng)景中。
[0011]優(yōu)選地，所述物體識(shí)別單元包括:
[0012]采樣模塊，用于對(duì)所述至少兩路視頻流數(shù)據(jù)中的各路分別進(jìn)行采樣處理，獲得每次采樣的視頻圖像數(shù)據(jù)；
[0013]輪廓提取模塊，用于判斷所述視頻圖像數(shù)據(jù)中是否包含物體，若包含則對(duì)所述視頻圖像數(shù)據(jù)進(jìn)行二值化處理，提取物體輪廓信息；
[0014]形狀識(shí)別模塊，用于在預(yù)先設(shè)定的物體模型數(shù)據(jù)庫(kù)中識(shí)別出所述物體輪廓信息對(duì)應(yīng)的物體形狀；
[0015]形狀合成模塊，用于合成各路視頻流數(shù)據(jù)的每次采樣識(shí)別出的物體形狀，得到實(shí)時(shí)變化的物體形狀。
[0016]優(yōu)選地，所述物體追蹤單元包括:
[0017]位置信息獲取模塊，用于獲得實(shí)時(shí)變化的物體形狀的相對(duì)空間位置信息；
[0018]觸點(diǎn)信息獲取模塊，用于根據(jù)實(shí)時(shí)變化的物體形狀上確定出的觸點(diǎn)，獲得所述實(shí)時(shí)變化的物體形狀上的觸點(diǎn)的變化信息，所述觸點(diǎn)為標(biāo)識(shí)物體的特征關(guān)鍵點(diǎn)；
[0019]運(yùn)動(dòng)軌跡獲取模塊，用于根據(jù)所述相對(duì)空間位置信息和所述觸點(diǎn)的變化信息，在預(yù)先設(shè)定的運(yùn)動(dòng)軌跡數(shù)據(jù)庫(kù)中獲得相應(yīng)的物體運(yùn)動(dòng)軌跡。
[0020]優(yōu)選地，所述位置信息獲取模塊具體用于，
[0021]從所述至少兩路視頻數(shù)據(jù)流的視頻圖像信息中獲得物體形狀變化的角度信息；
[0022]根據(jù)所述物體形狀變化的角度信息獲得物體的距離信息；或者通過(guò)距離傳感器實(shí)時(shí)感應(yīng)物體的距離信息；
[0023]根據(jù)所述物體形狀變化的角度信息和所述物體的距離信息獲得物體的相對(duì)空間位置信息。
[0024]優(yōu)選地，所述物體投影單元，進(jìn)一步用于將所述實(shí)時(shí)變化的物體形狀和所述對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像，根據(jù)分屏技術(shù)將所述3D圖像投影到3D場(chǎng)景中。
[0025]另一方面，本發(fā)明提供了一種3D場(chǎng)景中輸入物體的方法，包括:
[0026]對(duì)待顯示的物體實(shí)時(shí)采集至少兩路視頻流數(shù)據(jù)；
[0027]從所述至少兩路視頻流數(shù)據(jù)中識(shí)別出實(shí)時(shí)變化的物體形狀；
[0028]根據(jù)所述實(shí)時(shí)變化的物體形狀，獲得對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡；
[0029]將所述實(shí)時(shí)變化的物體形狀和所述對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像實(shí)時(shí)疊加投影在3D場(chǎng)景中。
[0030]優(yōu)選地，所述從所述至少兩路視頻流數(shù)據(jù)中識(shí)別出實(shí)時(shí)變化的物體形狀包括:
[0031]對(duì)所述至少兩路視頻流數(shù)據(jù)中的各路分別進(jìn)行采樣處理，獲得每次采樣的視頻圖像數(shù)據(jù)；
[0032]判斷所述視頻圖像數(shù)據(jù)中是否包含物體，若包含則對(duì)所述視頻圖像數(shù)據(jù)進(jìn)行二值化處理，提取物體輪廓信息；
[0033]在預(yù)先設(shè)定的物體模型數(shù)據(jù)庫(kù)中識(shí)別出所述物體輪廓信息對(duì)應(yīng)的物體形狀；
[0034]合成各路視頻流數(shù)據(jù)的每次采樣識(shí)別出的物體形狀，得到實(shí)時(shí)變化的物體形狀。
[0035]優(yōu)選地，所述根據(jù)所述實(shí)時(shí)變化的物體形狀，獲得對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡包括:
[0036]獲得實(shí)時(shí)變化的物體形狀的相對(duì)空間位置信息；
[0037]根據(jù)實(shí)時(shí)變化的物體形狀上確定出的觸點(diǎn)，獲得所述實(shí)時(shí)變化的物體形狀上的觸點(diǎn)的變化信息，所述觸點(diǎn)為標(biāo)識(shí)物體的特征關(guān)鍵點(diǎn)；
[0038]根據(jù)所述相對(duì)空間位置信息和所述觸點(diǎn)的變化信息，在預(yù)先設(shè)定的運(yùn)動(dòng)軌跡數(shù)據(jù)庫(kù)中獲得相應(yīng)的物體運(yùn)動(dòng)軌跡。
[0039]優(yōu)選地，所述獲得實(shí)時(shí)變化的物體形狀的相對(duì)空間位置信息包括:
[0040]從所述至少兩路視頻數(shù)據(jù)流的視頻圖像信息中獲得物體形狀變化的角度信息；
[0041]根據(jù)所述物體形狀變化的角度信息獲得物體的距離信息；或者通過(guò)距離傳感器實(shí)時(shí)感應(yīng)物體的距離信息；
[0042]根據(jù)所述物體形狀變化的角度信息和所述物體的距離信息獲得物體的相對(duì)空間位置信息。
[0043]優(yōu)選地，所述將所述實(shí)時(shí)變化的物體形狀和所述對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像實(shí)時(shí)疊加投影在3D場(chǎng)景中包括:
[0044]將所述實(shí)時(shí)變化的物體形狀和所述對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像；
[0045]根據(jù)分屏技術(shù)將所述3D圖像投影到3D場(chǎng)景中。
[0046]本發(fā)明實(shí)施例的有益效果是:本發(fā)明實(shí)施例公開(kāi)了一種3D場(chǎng)景中重現(xiàn)物體的系統(tǒng)和方法，所述系統(tǒng)的物體采集單元對(duì)待顯示物體實(shí)時(shí)采集至少兩路視頻流數(shù)據(jù)，物體識(shí)別單元從所述至少兩路視頻流數(shù)據(jù)中識(shí)別出具有完整物體信息的物體形狀，經(jīng)物體追蹤單元獲得所述實(shí)時(shí)變化的物體形狀相應(yīng)的物體運(yùn)動(dòng)軌跡，通過(guò)物體投影單元將實(shí)時(shí)變化的物體形狀和對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像實(shí)時(shí)疊加投影在3D場(chǎng)景中，從而達(dá)到了在3D場(chǎng)景中顯示真實(shí)物體的目的。相比于現(xiàn)有技術(shù)，本發(fā)明不需要根據(jù)數(shù)據(jù)庫(kù)的物體形態(tài)進(jìn)行重新繪制需顯示的物體，可以直接將采集到的物體圖像進(jìn)行真實(shí)顯示，以提高用戶(hù)的使用體驗(yàn)。
【附圖說(shuō)明】
[0047]圖1為本發(fā)明實(shí)施例提供的一種3D場(chǎng)景中重現(xiàn)物體的系統(tǒng)結(jié)構(gòu)示意圖；
[0048]圖2為本發(fā)明實(shí)施例提供的一種將用戶(hù)手勢(shì)重現(xiàn)與虛擬現(xiàn)實(shí)頭戴設(shè)備中的技術(shù)流程示意圖；
[0049]圖3為本發(fā)明實(shí)施例提供的一種3D場(chǎng)景中重現(xiàn)物體的方法流程示意圖。
【具體實(shí)施方式】
[0050]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0051]本發(fā)明的整體思路是:利用至少兩個(gè)攝像頭從不同角度實(shí)時(shí)采集物體，根據(jù)每個(gè)攝像頭采集的視頻流數(shù)據(jù)識(shí)別物體形狀，根據(jù)識(shí)別出的物體形狀進(jìn)獲得相應(yīng)的物體運(yùn)動(dòng)軌跡，將實(shí)時(shí)變化的物體形狀和對(duì)應(yīng)的物體運(yùn)動(dòng)軌跡處理成3D圖像實(shí)時(shí)疊加投影在3D場(chǎng)景中，從而在3D場(chǎng)景中重現(xiàn)真實(shí)物體。
[0052]圖1為本發(fā)明實(shí)施例提供的一種3D場(chǎng)景中重現(xiàn)物體的系統(tǒng)結(jié)構(gòu)示意圖，所述系統(tǒng)包括:物體采集單元11、物體識(shí)別單元12、物體追蹤單元13和物體投影單元14。
[0053]物體采集單元11，用于分別對(duì)待顯示的物體實(shí)時(shí)采集至少兩路視頻流數(shù)據(jù)。
[0054]其中，物體采集單元11可以通過(guò)多個(gè)攝像頭，從不同角度實(shí)時(shí)采集待顯示的物體，從而獲得多路視頻流數(shù)據(jù)。在實(shí)際應(yīng)用中，可以根據(jù)系統(tǒng)的數(shù)據(jù)處理性能和系統(tǒng)精度要求，選擇合適數(shù)量的攝像頭采集相應(yīng)路數(shù)的視頻流數(shù)據(jù)。需要說(shuō)明的是，物體采集單元11中的攝