本發(fā)明屬于圖像采集技術(shù)領(lǐng)域，特別是涉及一種雙目720度全景采集系統(tǒng)。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，多媒體所包含的種類也越來越多，所能表現(xiàn)的效果也越來越多，而一些比較傳統(tǒng)的表現(xiàn)方式也越來越無法滿足大部分客戶對(duì)于展示方式的要求。在傳統(tǒng)的表現(xiàn)方式中，展示的手段無非是靜態(tài)的平面圖片和動(dòng)態(tài)的視頻，也有通過三維全景進(jìn)行展示的，靜態(tài)圖片只能提供場景的某一角度圖像，即使是廣角鏡頭，也不能有效全面的對(duì)場景進(jìn)行表現(xiàn)；而動(dòng)態(tài)視頻雖然可以讓用戶對(duì)場景有全面的了解，可圖像視角依然有限，觀看方式取決于拍攝者的拍攝方式，并不自由，所以，在我們需要真實(shí)、全面、直觀的表現(xiàn)某一場景時(shí)，360全景無疑是最好的選擇。

隨著人們需求的不斷提高，人們更希望構(gòu)建出一個(gè)連續(xù)漫游、信息豐富以及交互性強(qiáng)的虛擬全景環(huán)境，那么如何快速有效地構(gòu)建虛擬現(xiàn)實(shí)所需要的圖像信息并將其傳遞到客戶端并顯示，提高用戶體驗(yàn)的真實(shí)感和舒適感，將成為一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明提供了一種雙目720度全景采集系統(tǒng)，以快速有效地構(gòu)建虛擬現(xiàn)實(shí)所需要的圖像信息，提高用戶體驗(yàn)的真實(shí)感和舒適感。

本發(fā)明提供的一種雙目720度全景采集系統(tǒng)，包括：

采集模塊，用于采集n路音頻數(shù)據(jù)和雙路視頻數(shù)據(jù)，其中n為大于或等于2的正整數(shù)；

核心處理模塊，用于將所述采集模塊采集的雙路視頻數(shù)據(jù)進(jìn)行全景視頻實(shí)時(shí)拼接，同時(shí)將所述n路音頻數(shù)據(jù)通過環(huán)繞立體聲算法進(jìn)行所述n路音頻數(shù)據(jù)的融合，并與全景視頻進(jìn)行算法的位置信息匹配，使得環(huán)繞立體聲音頻能夠根據(jù)全景視頻不同的視角位置匹配模擬出真實(shí)場景人耳感受到的聲源位置的發(fā)生情況，再把經(jīng)過匹配的全景視頻和環(huán)繞立體聲音頻進(jìn)行視頻數(shù)據(jù)的硬件加速編碼和音頻數(shù)據(jù)的硬件加速編碼，再進(jìn)行一個(gè)時(shí)間戳同步，最后將同步后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行本地存儲(chǔ)或者直接通過以太網(wǎng)進(jìn)行rtmp格式的音視頻推流，其與所述采集模塊相連接；

云端流媒體服務(wù)器模塊，用于接收所述核心處理模塊通過以太網(wǎng)推流過來的音頻和視頻流并在云平臺(tái)創(chuàng)建直播、生成推流地址和播放地址，將接收到的視頻流的格式進(jìn)行格式轉(zhuǎn)換后對(duì)處理完成的視頻和音頻數(shù)據(jù)進(jìn)行分發(fā)，其與所述核心處理模塊相連接；

廣域網(wǎng)終端體驗(yàn)?zāi)K，用于實(shí)時(shí)接收和解碼云端流媒體服務(wù)器模塊分發(fā)過來的音頻和視頻數(shù)據(jù)，進(jìn)行遠(yuǎn)程沉浸式全景音視頻現(xiàn)場的直播體驗(yàn)，其與所述云端流媒體服務(wù)器模塊相連接；

本地服務(wù)器模塊，用于接收所述核心處理模塊通過以太網(wǎng)推流過來的音頻和視頻流并在本地服務(wù)器創(chuàng)建直播、生成推流地址和播放地址，將接收到的音頻和視頻流的格式進(jìn)行格式轉(zhuǎn)換后對(duì)處理完成的視頻和音頻數(shù)據(jù)進(jìn)行分發(fā)，其與所述核心處理模塊相連接；

局域網(wǎng)終端體驗(yàn)?zāi)K，用于實(shí)時(shí)接收和解碼本地服務(wù)器模塊分發(fā)過來的音頻和視頻數(shù)據(jù)，完成本地沉浸式全景音視頻現(xiàn)場的直播體驗(yàn)，其與所述本地服務(wù)器模塊相連接。

進(jìn)一步地，所述采集模塊包括相互電連接的攝像頭模組第一單元和攝像頭模組第二單元，所述攝像頭模組第一單元包括圖像第一傳感器以及與所述圖像第一傳感器電連接的第一魚眼鏡頭，所述攝像頭模組第二單元包括圖像第二傳感器以及與所述圖像第二傳感器電連接的第二魚眼鏡頭，所述采集模塊還包括拾音第一單元和拾音第二單元。

進(jìn)一步地，所述攝像頭模組第一單元的光軸和所述攝像頭模組第二單元的光軸相互重合或者相互平行。

進(jìn)一步地，所述核心處理模塊包括cpu管理單元，分別與所述cpu管理單元相連接的isp第一單元，isp第二單元，多聲道混音單元，內(nèi)存單元，gpu單元，全景拼接單元，音頻編碼單元，所述核心處理模塊還包括mipi第一接口，mipi第二接口，視頻編碼單元，復(fù)用單元，rtmp推流單元，本地存儲(chǔ)單元，所述視頻編碼單元、復(fù)用單元、rtmp推流單元依次連接且所述視頻編碼單元與所述全景拼接單元相連接，所述本地存儲(chǔ)單元與所述復(fù)用單元相連接，所述復(fù)用單元還與所述音頻編碼單元相連接，所述多聲道混音單元與所述采集模塊中的所述拾音第一單元和拾音第二單元相連接，所述isp第一單元與所述mipi第一接口相連接，所述isp第二單元與所述mipi第二接口相連接，所述mipi第一接口與所述采集模塊中的圖像第一傳感器相連接，所述mipi第二接口與所述采集模塊中的圖像第二傳感器相連接。

進(jìn)一步地，所述云端流媒體服務(wù)器模塊與所述核心處理模塊中的rtmp推流單元相連接。

進(jìn)一步地，所述廣域網(wǎng)終端體驗(yàn)?zāi)K包括第一解復(fù)用單元，第一視頻解碼單元，與所述第一視頻解碼單元相連接的第一顯示單元，第一音頻解碼單元，與所述第一音頻解碼單元相連接的第一播放單元，所述第一解復(fù)用單元與所述第一視頻解碼單元和第一音頻解碼單元相連接，所述云端流媒體服務(wù)器模塊與所述第一解復(fù)用單元相連接。

進(jìn)一步地，所述廣域網(wǎng)終端體驗(yàn)?zāi)K可以為vr一體機(jī)、手機(jī)、平板電腦、mac電腦、筆記本電腦或臺(tái)式機(jī)電腦。

進(jìn)一步地，所述本地服務(wù)器模塊與所述核心處理模塊中的rtmp推流單元相連接。

進(jìn)一步地，所述局域網(wǎng)終端體驗(yàn)?zāi)K包括第二解復(fù)用單元，第二視頻解碼單元，與所述第二視頻解碼單元相連接的第二顯示單元，第二音頻解碼單元，與所述第二音頻解碼單元相連接的第二播放單元，所述第二解復(fù)用單元與所述第二視頻解碼單元和第二音頻解碼單元相連接，所述本地服務(wù)器模塊與所述第二解復(fù)用單元相連接。

進(jìn)一步地，所述局域網(wǎng)終端體驗(yàn)?zāi)K可以為vr一體機(jī)、手機(jī)、平板電腦、mac電腦、筆記本電腦或臺(tái)式機(jī)電腦。

本發(fā)明的雙目720度全景采集系統(tǒng)通過兩路高處理能力的isp和至少兩路mipi接口，可以實(shí)現(xiàn)雙路視頻的硬件同步采集、雙路千萬像素以上的傳感器的數(shù)據(jù)量的實(shí)時(shí)處理、及720度全景視頻的實(shí)時(shí)拼接，保證在網(wǎng)絡(luò)較低的碼率下也可以實(shí)現(xiàn)高清圖像信息的快速傳輸，極大地提高了用戶體驗(yàn)的真實(shí)感和舒適感，同時(shí)，該系統(tǒng)體積小、功耗低及成本低廉的特點(diǎn)使它能夠更加符合消費(fèi)者的需求。

附圖說明

圖1為本發(fā)明實(shí)施例提供的雙目720度全景采集系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

請(qǐng)參閱圖1，圖1是本發(fā)明實(shí)施例提供的雙目720度全景采集系統(tǒng)的結(jié)構(gòu)示意圖，如圖1所示，雙目720度全景采集系統(tǒng)包括：

采集模塊1，用于采集n路音頻數(shù)據(jù)和雙路視頻數(shù)據(jù)，其中n為大于或等于2的正整數(shù)；

核心處理模塊2，用于將采集模塊1采集的雙路視頻數(shù)據(jù)進(jìn)行全景視頻實(shí)時(shí)拼接，同時(shí)將n路音頻采樣數(shù)據(jù)通過環(huán)繞立體聲算法進(jìn)行n路音頻數(shù)據(jù)的融合，并與全景視頻進(jìn)行算法的位置信息匹配，使得環(huán)繞立體聲音頻能夠根據(jù)全景視頻不同的視角位置匹配模擬出真實(shí)場景人耳感受到的聲源位置的發(fā)生情況，進(jìn)一步加強(qiáng)了體驗(yàn)者身臨其境的震撼感，再把經(jīng)過匹配的全景視頻和環(huán)繞立體聲音頻進(jìn)行視頻數(shù)據(jù)的硬件加速編碼和音頻數(shù)據(jù)的硬件加速編碼，再進(jìn)行一個(gè)時(shí)間戳同步，最后將同步后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行本地存儲(chǔ)或者直接通過以太網(wǎng)進(jìn)行rtmp格式的音視頻推流，其與采集模塊1相連接；

云端流媒體服務(wù)器模塊3，用于接收核心處理模塊2通過以太網(wǎng)推流過來的音頻和視頻流并在云平臺(tái)創(chuàng)建直播、生成推流地址和播放地址，將接收到的音頻和視頻流的格式進(jìn)行格式轉(zhuǎn)換后對(duì)處理完成的視頻和音頻數(shù)據(jù)進(jìn)行分發(fā)，其與核心處理模塊2相連接；

廣域網(wǎng)終端體驗(yàn)?zāi)K4，用于實(shí)時(shí)接收和解碼云端流媒體服務(wù)器模塊3分發(fā)過來的音頻和視頻數(shù)據(jù)，進(jìn)行遠(yuǎn)程沉浸式全景音視頻現(xiàn)場的直播體驗(yàn)，其與云端流媒體服務(wù)器模塊3相連接；

本地服務(wù)器模塊5，用于接收核心處理模塊2通過以太網(wǎng)推流過來的音頻和視頻流并在本地服務(wù)器創(chuàng)建直播、生成推流地址和播放地址，將接收到的音頻和視頻流的格式進(jìn)行格式轉(zhuǎn)換后對(duì)處理完成的視頻和音頻數(shù)據(jù)進(jìn)行分發(fā)，其與所述核心處理模塊2相連接；

局域網(wǎng)終端體驗(yàn)?zāi)K6，用于實(shí)時(shí)接收和解碼本地服務(wù)器模塊5分發(fā)過來的音頻和視頻數(shù)據(jù)，完成本地沉浸式全景音視頻現(xiàn)場的直播體驗(yàn)，其與本地服務(wù)器模塊5相連接。

本發(fā)明實(shí)施例中，采集模塊1包括相互電連接的攝像頭模組第一單元10和攝像頭模組第二單元11，攝像頭模組第一單元10包括圖像第一傳感器101以及與圖像第一傳感器101電連接的第一魚眼鏡頭102，攝像頭模組第二單元11包括圖像第二傳感器111以及與圖像第二傳感器111電連接的第二魚眼鏡頭112，采集模塊1還包括拾音第一單元113和拾音第二單元114。圖像第一傳感器101和圖像第二傳感器111至少達(dá)到13m以上的像素級(jí)別，第一魚眼鏡頭102和第二魚眼鏡頭112的角度至少達(dá)到190度及以上，攝像頭模組第一單元10的光軸和攝像頭模組第二單元11的光軸相互重合或者相互平行。

核心處理模塊2包括cpu管理單元201，分別與cpu管理單元201相連接的isp第一單元202，isp第二單元203，多聲道混音單元204，內(nèi)存單元205，gpu單元206，全景拼接單元207，音頻編碼單元208，核心處理模塊2還包括mipi第一接口209，mipi第二接口210，視頻編碼單元211，復(fù)用單元212，rtmp推流單元213，本地存儲(chǔ)單元214，視頻編碼單元211、復(fù)用單元212、rtmp推流單元213依次連接且視頻編碼單元211與全景拼接單元207相連接，本地存儲(chǔ)單元214與復(fù)用單元212相連接，復(fù)用單元212還與音頻編碼單元208相連接，多聲道混音單元204與采集模塊1中的拾音第一單元113和拾音第二單元114相連接，isp第一單元202與mipi第一接口209相連接，isp第二單元203與mipi第二接口210相連接，mipi第一接口209與采集模塊1中的圖像第一傳感器101相連接，mipi第二接口210與采集模塊1中的圖像第二傳感器111相連接。

云端流媒體服務(wù)器模塊3與核心處理模塊2中的rtmp推流單元213相連接。

廣域網(wǎng)終端體驗(yàn)?zāi)K4包括第一解復(fù)用單元401，第一視頻解碼單元402，與第一視頻解碼單元402相連接的第一顯示單元403，第一音頻解碼單元404，與第一音頻解碼單元404相連接的第一播放單元405，第一解復(fù)用單元401與第一視頻解碼單元402和第一音頻解碼單元404相連接，云端流媒體服務(wù)器模塊3與第一解復(fù)用單元401相連接。

本地服務(wù)器模塊5與核心處理模塊2中的rtmp推流單元相連接。

局域網(wǎng)終端體驗(yàn)?zāi)K6包括第二解復(fù)用單元601，第二視頻解碼單元602，與所述第二視頻解碼單元602相連接的第二顯示單元603，第二音頻解碼單元604，與所述第二音頻解碼單元604相連接的第二播放單元605，所述第二解復(fù)用單元601與所述第二視頻解碼單元602和第二音頻解碼單元604相連接，所述本地服務(wù)器模塊5與所述第二解復(fù)用單元601相連接。

本發(fā)明實(shí)施例中，攝像頭模組第一單元10和攝像頭模組第二單元11可以無死角的采集整個(gè)空間720度的圖像/視頻數(shù)據(jù)并分別通過核心處理模塊2自帶的mipi第一接口209和mipi第二接口210傳輸圖像/視頻數(shù)據(jù)到核心處理模塊2內(nèi)部，核心處理模塊2通過自帶的isp第一單元202和isp第二單元203分別接收來自mipi第一接口209和mipi第二接口210傳輸過來的圖像/視頻數(shù)據(jù)并進(jìn)行降噪處理，在通過核心處理模塊2中的cpu管理單元201調(diào)度gpu單元206對(duì)全景視頻進(jìn)行實(shí)時(shí)拼接和對(duì)視頻編碼單元211進(jìn)行硬件加速處理。采集模塊1中的拾音第一單元113和拾音第二單元114所采集的音頻數(shù)據(jù)通過多聲道混音單元204進(jìn)行音頻數(shù)據(jù)的融合并通過cpu管理單元201調(diào)度音頻編碼單元208進(jìn)行音頻的aac編碼，最后與經(jīng)過視頻編碼單元211處理的全景視頻進(jìn)行同步處理后存儲(chǔ)到全景相機(jī)自帶的本地存儲(chǔ)單元214中或者是直接實(shí)時(shí)通過以太網(wǎng)推送4k/30fps的rtmp流到云端流媒體服務(wù)器模塊3/本地服務(wù)器模塊5。

云端流媒體服務(wù)器模塊3/本地服務(wù)器模塊5可以進(jìn)行協(xié)議轉(zhuǎn)換，把接收到的視頻流格式轉(zhuǎn)換成為http,hls,rtp,rtsp,rtcp,rtmp,pnm,mms,onvif等多種視頻格式，同時(shí)將該多種視頻格式分發(fā)到能夠接受相應(yīng)音視頻格式直播的廣域網(wǎng)終端體驗(yàn)?zāi)K4/局域網(wǎng)終端體驗(yàn)?zāi)K6，全景音視頻直播傳輸過程中還經(jīng)過了cdn加速。

廣域網(wǎng)終端體驗(yàn)?zāi)K4/局域網(wǎng)終端體驗(yàn)?zāi)K6可以為vr一體機(jī)、手機(jī)、平板電腦、筆記本電腦或臺(tái)式機(jī)電腦，用戶可以通過不同體驗(yàn)設(shè)備上對(duì)應(yīng)的播放器來實(shí)時(shí)解碼云端流媒體服務(wù)器模塊3/本地服務(wù)器模塊5分發(fā)過來的視頻和音頻數(shù)據(jù)，達(dá)到遠(yuǎn)程沉浸式全景音視頻現(xiàn)場直播的效果，廣域網(wǎng)終端體驗(yàn)?zāi)K4/局域網(wǎng)終端體驗(yàn)?zāi)K6能夠支持n個(gè)人同時(shí)在線觀看。

本發(fā)明的雙目720度全景采集系統(tǒng)通過兩路高處理能力的isp和至少兩路mipi接口，可以實(shí)現(xiàn)雙路視頻的硬件同步采集、雙路千萬像素以上的傳感器的數(shù)據(jù)量的實(shí)時(shí)處理、及720度全景視頻的實(shí)時(shí)拼接，保證在網(wǎng)絡(luò)較低的碼率下也可以實(shí)現(xiàn)高清圖像信息的快速傳輸，極大地提高了用戶體驗(yàn)的真實(shí)感和舒適感，同時(shí)，該系統(tǒng)體積小、功耗低及成本低廉的特點(diǎn)使它能夠更加符合消費(fèi)者的需求。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。