一種ar和vr數(shù)據處理設備與方法
【專利摘要】本發(fā)明公開了一種AR和VR數(shù)據處理設備與方法，包括數(shù)據采集模塊，處理模塊和AR/VR設備，由數(shù)據采集模塊采集信號，經處理模塊，最后在AR/VR設備呈現(xiàn)；數(shù)據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊將采集到的信號傳送至處理模塊處理,處理模塊將各攝像頭捕捉到的數(shù)據進行拼接，渲染，以及3D處理，并將處理完整的原數(shù)據文件儲存在存儲卡中；AR/VR設備配置有屏幕、攝像頭、電池、存儲卡、近距離傳感器和與數(shù)據采集模塊相同的傳感器模塊。本發(fā)明簡化了AR/VR設備的數(shù)據處理的方法和設備，降低了設備的成本，結合兩組傳感器增強了AR/VR設備的呈現(xiàn)效果與觀眾的感官體驗，拓寬了AR/VR的應用范圍。
【專利說明】
一種AR和VR數(shù)據處理設備與方法
技術領域
[0001]本發(fā)明涉及一種AR和VR數(shù)據處理設備與方法，特別涉及AR和VR數(shù)據的采集，圖像處理，以及設備與觀眾的人機交互體驗領域。
【背景技術】
[0002]AR即增強現(xiàn)實技術，它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現(xiàn)實世界的一定時間空間范圍內很難體驗到的實體信息(視覺信息，聲音，味道，觸覺等)，通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現(xiàn)實技術，不僅展現(xiàn)了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。在視覺化的增強現(xiàn)實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著他。
[0003]增強現(xiàn)實技術包含了多媒體、三維建模、實時視頻顯示及控制、多傳感器溶合、實時跟蹤及注冊、場景融合等新技術與新手段。增強現(xiàn)實提供了在一般情況下，不同于人類可以感知的ig息。
[0004]VR即虛擬現(xiàn)實，指綜合利用計算機圖形系統(tǒng)和各種現(xiàn)實及控制等接口設備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術。其中，計算機生成的、可交互的三維環(huán)境稱為虛擬環(huán)境。虛擬現(xiàn)實技術是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)的技術。它利用計算機生成一種模擬環(huán)境，利用多源信息融合的交互式三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

【發(fā)明內容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種AR和VR數(shù)據處理設備與方法。
[0006]本發(fā)明的目的是通過以下技術方案來實現(xiàn)的:一種AR和VR數(shù)據處理設備，包括數(shù)據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數(shù)據采集模塊采集數(shù)據并發(fā)送至處理模塊，經處理模塊處理后發(fā)送至在AR/VR設備;所述的數(shù)據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數(shù)據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(I)、I枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數(shù)據傳送至處理模塊處理;所述的處理模塊對數(shù)據進行處理，并將處理后的數(shù)據發(fā)送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數(shù)據采集模塊相同的傳感器模塊。
[0007]所述的AR/VR設備包括AR/VR眼鏡和AR/VR頭盔，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數(shù)據發(fā)送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。
[0008]所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位，所述的加速計，用于測量任意方向上的加速度，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態(tài)和角速度狀態(tài)，所述的運動狀態(tài)包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態(tài)包括加速或者減速。
[0009]所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環(huán)境的實時圖像并使之與事先處理好的數(shù)據同時呈現(xiàn)在屏幕上，達到增強現(xiàn)實的目的。
[0010]一種AR和VR數(shù)據處理方法，其特征在于包括以下步驟:
51.數(shù)據采集模塊采用十個攝像頭對環(huán)境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數(shù)據傳給處理模塊，使用錄音模塊對環(huán)境周圍錄音；
52.處理模塊對視頻將十個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態(tài)上保持同步，在處理完成后將原數(shù)據儲寫入存儲卡內；
53.將寫入數(shù)據的存儲卡放入AR/VR設備中，AR/VR設備將原數(shù)據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數(shù)據中傳感器模塊記錄的相關信息相匹配契合，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。
[0011 ]所述的相關信息包括數(shù)據采集模塊在采集數(shù)據時的空間位置信息和運動狀態(tài)，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態(tài)。，兩者的匹配契合度對觀眾在AR/VR設備的感知極為重要。
[0012]本發(fā)明的有益效果是:簡化了AR/VR設備的數(shù)據處理的方法和設備，降低了設備的成本，結合傳感器的作用增強了 AR/VR設備的呈現(xiàn)效果與觀眾的感官體驗，拓寬了 AR/VR的應用范圍。
【附圖說明】
[0013]圖1為本發(fā)明結構方框圖；
圖2為攝像模塊的俯視圖；
圖3為攝像模塊的正視圖:
圖中，1-平視標準鏡頭，2-魚眼鏡頭。
【具體實施方式】
[0014]下面結合附圖進一步詳細描述本發(fā)明的技術方案:如圖1所示，一種AR和VR數(shù)據處理設備，包括數(shù)據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數(shù)據采集模塊采集數(shù)據并發(fā)送至處理模塊，經處理模塊處理后發(fā)送至在AR/VR設備;所述的數(shù)據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數(shù)據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(1)、1枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數(shù)據傳送至處理模塊處理;所述的處理模塊對數(shù)據進行處理，并將處理后的數(shù)據發(fā)送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數(shù)據采集模塊相同的傳感器模塊。
[0015]所述的AR/VR設備包括AR/VR眼鏡和AR/VR頭盔，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數(shù)據發(fā)送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。通過比較第一輸入端與第二輸入端的大小關系來決定屏幕的開關。
[0016]所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位，所述的加速計，用于測量任意方向上的加速度，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態(tài)和角速度狀態(tài)，所述的運動狀態(tài)包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態(tài)包括加速或者減速。
[0017]陀螺儀的主要感知觀眾旋轉情況(原位運動)，無法感知方向，加速計則主要是感知設備的受力情況，磁力計主要感知AR/VR設備的方位，總體來說，AR和VR設備通過陀螺儀感知“觀眾轉了個身”，通過加速計感知“觀眾又向前走了幾米”，通過磁力計則知道“我們是向西方向”的。
[0018]所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環(huán)境的實時圖像并使之與事先處理好的數(shù)據同時呈現(xiàn)在屏幕上，達到增強現(xiàn)實的目的。
[0019]一種AR和VR數(shù)據處理方法，包括以下步驟:
51.數(shù)據采集模塊采用十個攝像頭對環(huán)境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數(shù)據傳給處理模塊，使用錄音模塊對環(huán)境周圍錄音；
52.處理模塊對視頻將八個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態(tài)上保持同步，在處理完成后將原數(shù)據儲寫入存儲卡內；
53.將寫入數(shù)據的存儲卡放入AR/VR設備中，AR/VR設備將原數(shù)據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數(shù)據中傳感器模塊記錄的相關信息相匹配，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。
[0020]所述的相關信息包括數(shù)據采集模塊在錄像時的空間位置信息和運動狀態(tài)，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態(tài)，兩者的匹配契合度對觀眾的感知極為重要。
[0021]以上所述的具體實施例，對本發(fā)明的解決的技術問題、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
【主權項】
1.一種AR和VR數(shù)據處理設備，其特征在于，包括數(shù)據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數(shù)據采集模塊采集數(shù)據并發(fā)送至處理模塊，經處理模塊處理后發(fā)送至在AR/VR設備;所述的數(shù)據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數(shù)據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(1)、1枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數(shù)據傳送至處理模塊處理;所述的處理模塊對數(shù)據進行處理，并將處理后的數(shù)據發(fā)送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數(shù)據采集模塊相同的傳感器模塊。2.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于，所述的AR/VR設備包括AR/VR眼鏡或AR/VR頭盔。3.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數(shù)據發(fā)送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。4.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位。5.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于，所述的加速計，用于測量任意方向上的加速度。6.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態(tài)和角速度狀態(tài)，所述的運動狀態(tài)包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態(tài)包括加速或者減速。7.根據權利要求1所述的一種AR和VR數(shù)據處理設備，其特征在于，所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環(huán)境的實時圖像并使之與事先處理好的數(shù)據同時呈現(xiàn)在屏幕上，達到增強現(xiàn)實的目的。8.一種AR和VR數(shù)據處理方法，其特征在于包括以下步驟: 51.數(shù)據采集模塊采用十個攝像頭對環(huán)境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數(shù)據傳給處理模塊，使用錄音模塊對環(huán)境周圍錄音； 52.處理模塊對視頻將十個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態(tài)上保持同步，在處理完成后將原數(shù)據儲寫入存儲卡內； 53.將寫入數(shù)據的存儲卡放入AR/VR設備中，AR/VR設備將原數(shù)據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數(shù)據中傳感器模塊記錄的相關信息相匹配契合，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。9.根據權利要求7所述的一種AR和VR數(shù)據處理方法，其特征在于，所述的相關信息包括數(shù)據采集模塊在采集數(shù)據時的空間位置信息和運動狀態(tài)，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態(tài)。
【文檔編號】G06F3/01GK106066701SQ201610521779
【公開日】2016年11月2日
【申請日】2016年7月5日
【發(fā)明人】唐林, 張波
【申請人】成都福蘭特電子技術股份有限公司