本發(fā)明涉及計算機視覺與圖像處理技術(shù)領(lǐng)域，尤其涉及一種視頻生成方法、播放方法及視頻生成裝置、播放裝置。

背景技術(shù)：

數(shù)字三維全景圖像，是通過相機捕捉整個環(huán)境場景的圖像信息，使用軟件進行圖像的拼接整合，將平面圖像進行處理得到的三維全景圖像。三維全景圖像能夠?qū)崿F(xiàn)把二維的平面圖像模擬成真實的三維空間，以達到模擬和再現(xiàn)真實環(huán)境場景的效果。

隨著計算機軟硬件技術(shù)的不斷發(fā)展，智能可穿戴設(shè)備日漸普及，頭戴式虛擬現(xiàn)實設(shè)備通過圖像顯示屏將虛擬的環(huán)境圖像展現(xiàn)在使用者眼前，為使用者營造一種置身于虛擬環(huán)境中的體驗。使用者佩戴頭戴式虛擬現(xiàn)實設(shè)備時，通過將使用者的視野范圍完全限定在圖像顯示屏的顯示范圍內(nèi)，能夠隔絕圖像顯示屏顯示范圍以外的環(huán)境圖像，從而讓使用者獲得沉浸于虛擬場景的體驗。

通過拍攝高畫質(zhì)的全景視頻圖像，保留環(huán)境場景中更多的圖像細節(jié)，能夠讓使用者通過虛擬現(xiàn)實設(shè)備觀看全景視頻時獲得更加真實的沉浸感。然而在現(xiàn)有技術(shù)中，一方面受限于虛擬現(xiàn)實設(shè)備的運算處理能力和顯示器件的顯示分辨率，無法解析播放高分辨率的全景視頻圖像，另一方面，視頻圖像的分辨率越高，單一視頻文件的尺寸越大，對于實時視頻傳輸過程中網(wǎng)絡(luò)帶寬的要求也越高。因此，如何有效提高虛擬現(xiàn)實設(shè)備的視頻畫質(zhì)，同時保證實時視頻傳輸?shù)牧鲿承裕侨耙曨l傳輸與顯示過程中亟待解決的技術(shù)問題之一。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題在于全景視覺圖像分辨率很高，圖像信息量大，在解碼播放過程中往往不能滿足實時性的要求，尤其在連續(xù)視頻圖像上的處理存在延遲的問題。

在鑒于此，本發(fā)明一方面提供一種視頻生成方法，包括以下步驟：預設(shè)多 個攝像頭采集環(huán)境場景不同空間角度的視頻圖像；建立所述環(huán)境場景的空間球面模型；將所述多個攝像頭對應的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景的空間球面模型對應的球面紋理圖像；將所述球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊；根據(jù)視頻幀時序編碼所述局部視頻圖像塊。

優(yōu)選地，所述多個攝像頭設(shè)置于球狀設(shè)備表面，所述每個攝像頭采集所述環(huán)境場景預設(shè)空間角度范圍的視頻圖像，所述多個攝像頭采集的環(huán)境場景視頻圖像覆蓋所述環(huán)境場景的空間全景。

優(yōu)選地，所述建立所述環(huán)境場景的空間球面模型的步驟之前，還包括：對所述每個攝像頭采集的環(huán)境場景視頻圖像進行畸變校正。

優(yōu)選地，所述建立所述環(huán)境場景的空間球面模型的步驟，具體為：以所述球狀設(shè)備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到所述環(huán)境場景的空間球面模型。

優(yōu)選地，所述建立所述環(huán)境場景的空間球面模型的步驟，還包括：根據(jù)姿態(tài)估計算法，確定所述每個攝像頭在所述笛卡爾坐標系中的姿態(tài)。

優(yōu)選地，所述將所述多個攝像頭采集的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景的空間球面模型對應的球面紋理圖像的步驟，還包括：根據(jù)所述環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，建立所述環(huán)境場景空間球面模型對應的球面紋理圖像的經(jīng)緯度坐標系；根據(jù)所述每個攝像頭在所述笛卡爾坐標系中的姿態(tài)，確定所述每個攝像頭對應的視頻圖像在所述球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間。

優(yōu)選地，所述將所述球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊的步驟，具體為：將所述球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊，確定所述每個局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。

優(yōu)選地，所述將所述球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊的步驟，還包括：對所述局部視頻圖像塊進行紋理壓縮。

優(yōu)選地，所述根據(jù)視頻幀時序編碼所述局部視頻圖像塊的步驟，具體為：根據(jù)視頻幀時序分別編碼所述每個攝像頭對應的局部視頻圖像塊。

本發(fā)明同時提供一種視頻生成裝置，包括：圖像采集模塊：包括多個攝像單元，用于采集環(huán)境場景不同空間角度的視頻圖像；模型建立模塊：用于建立所述環(huán)境場景的空間球面模型；圖像拼接模塊：用于將所述多個攝像單元對應 的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景的空間球面模型對應的球面紋理圖像；圖像分割模塊：用于將所述圖像拼接模塊得到的球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊；視頻編碼模塊：用于根據(jù)視頻幀時序編碼所述圖像分割模塊得到的局部視頻圖像塊。

優(yōu)選地，所述多個攝像單元設(shè)置于球狀設(shè)備表面，所述每個攝像單元用于采集所述環(huán)境場景預設(shè)空間角度范圍的視頻圖像，所述多個攝像單元采集的環(huán)境場景視頻圖像覆蓋所述環(huán)境場景的空間全景。

優(yōu)選地，所述模型建立模塊，包括：校正單元：用于對所述每個攝像單元采集的環(huán)境場景視頻圖像進行畸變校正；坐標系構(gòu)建單元：用于以所述球狀設(shè)備的球心為坐標原點，構(gòu)建笛卡爾坐標系；姿態(tài)估計單元：用于根據(jù)姿態(tài)估計算法，確定所述每個攝像單元在所述坐標系構(gòu)建單元構(gòu)建的笛卡爾坐標系中的姿態(tài)。

優(yōu)選地，所述圖像拼接模塊，還包括：坐標轉(zhuǎn)換單元，用于根據(jù)所述環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，建立所述環(huán)境場景空間球面模型對應的球面紋理圖像的經(jīng)緯度坐標系；圖像映射單元，用于根據(jù)所述每個攝像單元在所述笛卡爾坐標系中的姿態(tài)，確定所述每個攝像單元對應的視頻圖像在所述球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間。

優(yōu)選地，圖像分割模塊，還包括：紋理壓縮單元，用于對所述局部視頻圖像塊進行紋理壓縮。

優(yōu)選地，所述圖像映射單元，還用于確定所述每個局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。

優(yōu)選地，所述編碼模塊，還用于根據(jù)視頻幀時序分別編碼所述每個攝像單元對應的局部視頻圖像塊。

本發(fā)明另一方面提供一種視頻播放方法，包括以下步驟：獲取局部視頻圖像塊及對應的環(huán)境場景的空間球面模型，根據(jù)視頻觀測點對應的模型視圖矩陣和投影矩陣，確定顯示區(qū)域在所述環(huán)境場景的空間球面模型表面的投影區(qū)域；根據(jù)所述顯示區(qū)域在所述環(huán)境場景空間球面模型表面的投影區(qū)域，確定所述投影區(qū)域在所述環(huán)境場景的空間球面模型對應的經(jīng)緯度坐標系中的坐標區(qū)間；根據(jù)所述局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間，確定所述投影區(qū)域?qū)木植恳曨l圖像塊；對根據(jù)視頻幀時序編碼的所述投影區(qū)域?qū)木植恳? 頻圖像塊進行解碼；在所述顯示區(qū)域顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

優(yōu)選地，所述獲取局部視頻圖像塊及對應的環(huán)境場景的空間球面模型，根據(jù)視頻觀測點對應的模型視圖矩陣和投影矩陣，確定顯示區(qū)域在所述環(huán)境場景的空間球面模型表面的投影區(qū)域的步驟，還包括：根據(jù)用戶指令調(diào)整所述顯示區(qū)域在所述環(huán)境場景的空間球面模型表面的投影區(qū)域。

優(yōu)選地，所述在所述顯示區(qū)域顯示所述投影區(qū)域?qū)木植恳曨l圖像塊的步驟，具體為：在所述顯示區(qū)域中，根據(jù)所述視頻幀時序顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

本發(fā)明還提供一種視頻播放裝置，包括：獲取模塊：用于獲取局部視頻圖像塊及對應的環(huán)境場景的空間球面模型，根據(jù)視頻觀測點對應的模型視圖矩陣和投影矩陣，確定顯示區(qū)域在所述環(huán)境場景的空間球面模型表面的投影區(qū)域；定位模塊：用于根據(jù)所述顯示區(qū)域在所述環(huán)境場景空間球面模型表面的投影區(qū)域，確定所述投影區(qū)域在所述環(huán)境場景的空間球面模型對應的經(jīng)緯度坐標系中的坐標區(qū)間；映射模塊：用于根據(jù)每個所述局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間，確定所述投影區(qū)域?qū)木植恳曨l圖像塊；解碼模塊：用于對根據(jù)視頻幀時序編碼的所述投影區(qū)域?qū)木植恳曨l圖像塊進行解碼；顯示模塊：用于在所述顯示區(qū)域顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

優(yōu)選地，所述獲取模塊，還包括：指令檢測單元：用于檢測用戶指令；以及，所述獲取模塊還用于根據(jù)所述指令檢測單元檢測到的用戶指令，調(diào)整所述顯示區(qū)域在所述環(huán)境場景的空間球面模型中的投影區(qū)域。

優(yōu)選地，所述顯示模塊，還用于在所述顯示區(qū)域中，根據(jù)所述視頻幀時序顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

以上本發(fā)明的技術(shù)方案，通過多個攝像頭采集環(huán)境場景的視頻圖像，建立環(huán)境場景的空間球面模型，將攝像頭采集的視頻圖像分割為局部視頻圖像塊，在顯示設(shè)備的顯示區(qū)域顯示環(huán)境場景的視頻圖像時，根據(jù)虛擬視角確定顯示區(qū)域在空間球體模型中的投影區(qū)域，獲取對應的局部視頻圖像塊在顯示區(qū)域中進行顯示。本發(fā)明的技術(shù)方案，有效地解決了現(xiàn)有的顯示設(shè)備無法流暢播放高分辨率全景視頻的缺陷，同時顯著地降低了大容量視頻實時傳輸對于網(wǎng)絡(luò)帶寬的要求，提升了全景視頻播放技術(shù)在不同場景中的適用性。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明 書中變得顯而易見，或者通過實施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)和/或流程來實現(xiàn)和獲得。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例的描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例的說明，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其它的附圖：

圖1示出了根據(jù)本發(fā)明第一種實施例的視頻生成方法的流程示意圖；

圖2示出了根據(jù)本發(fā)明第二種實施例的視頻播放方法的流程示意圖；

圖3示出了根據(jù)本發(fā)明第三種實施例的視頻生成裝置的結(jié)構(gòu)示意圖；

圖4示出了根據(jù)本發(fā)明第三種實施例的視頻生成裝置的模型建立模塊的結(jié)構(gòu)示意圖；

圖5示出了根據(jù)本發(fā)明第三種實施例的視頻生成裝置的圖像拼接模塊的結(jié)構(gòu)示意圖；

圖6示出了根據(jù)本發(fā)明第三種實施例的視頻生成裝置的圖像分割模塊的結(jié)構(gòu)示意圖；

圖7示出了根據(jù)本發(fā)明第四種實施例的視頻播放裝置的結(jié)構(gòu)示意圖；

圖8示出了根據(jù)本發(fā)明第四種實施例的視頻播放裝置的獲取模塊的結(jié)構(gòu)示意圖。

具體實施方式

為了能夠更清楚地理解本發(fā)明的目的、特征和優(yōu)點，下面結(jié)合附圖和具體實施方式對本發(fā)明做進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互結(jié)合。

在下面的描述中，闡述了很多具體的技術(shù)細節(jié)，以便于充分理解本發(fā)明。但是，這僅僅是本發(fā)明的一些實施例，本發(fā)明還可以采用其他不同于在此處描述的其他方式來實施。因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。

實施例一

圖1示出了根據(jù)本發(fā)明第一種實施例的視頻生成方法的流程示意圖。

如圖1所示，根據(jù)本發(fā)明第一種實施例的視頻生成方法，主要包括以下步驟：

步驟s101，預設(shè)多個攝像頭采集環(huán)境場景不同空間角度的視頻圖像；

步驟s102，建立環(huán)境場景的空間球面模型；

步驟s103，將多個攝像頭采集的環(huán)境場景視頻圖像進行拼接，得到環(huán)境場景的空間球面模型對應的球面紋理圖像；

步驟s104，將球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊；

步驟s105，根據(jù)視頻幀時序編碼局部視頻圖像塊。

在該技術(shù)方案中，通過多個攝像頭采集環(huán)境場景的視頻圖像，建立環(huán)境場景的空間球面模型，根據(jù)該環(huán)境場景的空間球面模型，確定多個攝像頭采集的視頻圖像與環(huán)境場景的空間球面模型的映射關(guān)系，將多個攝像頭采集的視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像，通過對球面紋理圖像進行分割，將每個攝像頭對應的環(huán)境場景視頻圖像分割為多個預設(shè)尺寸的局部視頻圖像塊，建立局部視頻圖像塊與空間球面模型的關(guān)聯(lián)索引，按視頻幀時序編碼并存儲局部視頻圖像塊。

在上述技術(shù)方案中，優(yōu)選地，多個攝像頭分布于球狀設(shè)備表面，每個攝像頭采集環(huán)境場景預設(shè)空間角度范圍的視頻圖像，所述多個攝像頭采集的視頻圖像覆蓋所述環(huán)境場景的空間三維全景。具體地，在球狀設(shè)備表面設(shè)置多個攝像頭{c1，c2，c3……cn}采集環(huán)境場景的視頻圖像，其中，n可以為4～32之間任意的自然數(shù)，每個攝像頭的fov(fieldofview，視場角)為100～220度中的任意數(shù)值，多個攝像頭{c1，c2，c3……cn}采集的原始視頻圖像{v1，v2，v3……vn}覆蓋環(huán)境場景的空間全景，即該多個攝像頭采集的原始視頻圖像{v1，v2，v3……vn}包含構(gòu)成環(huán)境場景球面全景圖像的原始圖像數(shù)據(jù)。

在上述技術(shù)方案中，優(yōu)選地，在步驟s102之前，還包括：對多個攝像頭{c1，c2，c3……cn}中的每個攝像頭采集的視頻圖像進行畸變校正。具體地，采用fov較大的攝像頭采集環(huán)境場景的原始視頻圖像，每個攝像頭采集得到的視頻圖像均會存在一定程度的圖像畸變，因此需要對攝像頭采集的原始視頻圖像進行畸變校正，通過畸變校正，將攝像頭采集的原始視頻圖像進行球面映射，得到所 述攝像頭采集的原始視頻圖像{v1，v2，v3……vn}對應的經(jīng)緯度紋理圖像{d1，d2，d3……dn}。同時修正因攝像頭的fov較大所造成的圖像畸變，從而使視頻圖像中環(huán)境場景的還原更加真實。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s102，具體為：以球狀設(shè)備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到所述環(huán)境場景的空間球面模型。

在上述技術(shù)方案中，進一步地，所述步驟s102，還包括：根據(jù)姿態(tài)估計算法，確定每個攝像頭在笛卡爾坐標系中的姿態(tài)。具體地，在所述球狀設(shè)備的球心位置放置相機m，使相機m與多個攝像頭{c1，c2，c3……cn}中任一攝像頭ci的鏡頭同軸，也即是使相機m與攝像頭ci的鏡頭光心位于環(huán)境場景空間球面模型的同一半徑，其中，i為自然數(shù)，且1<i<n。根據(jù)姿態(tài)估計算法，確定攝像頭ci相對于相機m的姿態(tài)。重復上述步驟，確定所述多個攝像頭{c1，c2，c3……cn}中的每個攝像頭相對于相機m的姿態(tài)，得到所述每個攝像頭相對于相機m的旋轉(zhuǎn)矩陣{r1，r2，r3……rn}，從而確定多個攝像頭{c1，c2，c3……cn}中的每個攝像頭在所述笛卡爾坐標系中的姿態(tài)。

值得說明的是，在需要生成基于雙目立體視覺的環(huán)境場景視頻圖像時，則使用于雙目視覺圖像采集的相鄰兩個攝像頭的鏡頭光心連線中點與相機m的鏡頭光心同軸，此處不再贅述。

在上述技術(shù)方案中，所述步驟s103，還包括：根據(jù)環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，建立環(huán)境場景空間球面模型對應的球面紋理圖像的經(jīng)緯度坐標系。具體地，根據(jù)環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，以西經(jīng)180度為經(jīng)度坐標的0，東經(jīng)180度為經(jīng)度坐標的2π，以北緯90度為緯度坐標0，南緯90度為緯度坐標π，建立環(huán)境場景空間球面模型對應的經(jīng)緯度坐標系，以該經(jīng)緯度坐標系表征環(huán)境場景空間球面模型對應的球面紋理圖像，優(yōu)選地，以環(huán)境場景空間球面模型表面坐標點(0,0,r)映射為所述球面紋理圖像的中心點，其中r為所述環(huán)境場景空間球面模型的球體半徑。

在該技術(shù)方案中，所述步驟s103，還包括：根據(jù)所述每個攝像頭在所述笛卡爾坐標系中的姿態(tài)，確定所述每個攝像頭采集的視頻圖像在所述球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間。具體地，多個攝像頭采集的環(huán)境場景視頻圖像拼接得到球面紋理圖像，根據(jù)每個攝像頭在環(huán)境場景空間球面模型的笛卡爾坐標系中的姿態(tài)，確定每個攝像頭采集的環(huán)境場景視頻圖像在所述球面紋理圖 像中的位置映射關(guān)系，優(yōu)選地，該映射關(guān)系可以以每個攝像頭采集的環(huán)境場景視頻圖像在所述球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間進行表征。在本發(fā)明實施例中，將所述多個攝像頭{c1，c2，c3……cn}中任一攝像頭ci采集的環(huán)境場景視頻圖像vi通過畸變校正后得到的球面紋理圖像di的圖像中心點轉(zhuǎn)換為上述環(huán)境場景空間球面模型表面坐標點(0,0,r)，則所述視頻圖像vi經(jīng)過畸變校正后得到的視頻圖像di中的任一圖像點的經(jīng)緯度坐標(x，y)在所述環(huán)境場景的空間球面模型的經(jīng)緯度坐標(α,β)可以通過如下表達式對應計算得出：

其中，fovx表示攝像頭ci在x軸方向的視角大小，以弧度表示，例如120度；fovy表示表示攝像頭ci在y軸方向的視角大小，以弧度表示；w表示球面紋理圖像di的像素寬度；h表示球面紋理圖像di的像素高度。

進一步地，根據(jù)上述經(jīng)緯度坐標(α,β)，所述球面紋理圖像di中任一圖像點(x，y)在所述環(huán)境場景的空間球面模型表面的坐標可以通過如下表達式得出：

x′＝-sinα·cosβ·r

y′＝sinβ·r

z′＝cosα·cosβ·r

進一步地，根據(jù)球面紋理圖像di對應的旋轉(zhuǎn)矩陣ri，確定球面紋理圖像di中的該圖像點(x，y)對應在原始球面坐標系下的坐標點(x，y，z)。

對應地，根據(jù)上述表達式，可以通過確定球面紋理圖像di的四個頂點在環(huán)境場景的空間球面模型表面的坐標，確定球面紋理圖像di映射在環(huán)境場景的空間球面模型表面的經(jīng)緯度范圍，以及球面紋理圖像di的中心圖像點對應的經(jīng)緯度坐標。

進一步地，根據(jù)球面紋理圖像di的圖像點(x，y)對應的原始球面坐標系下的坐標點(x，y，z)，可以通過下述表達式確定球面紋理圖像di的圖像點(x， y)在經(jīng)緯度坐標系中的坐標(u，v)。對應地，可以通過確定球面紋理圖像di的四個頂點在經(jīng)緯度坐標系中的坐標，從而確定球面紋理圖像di映射在經(jīng)緯度坐標系中的坐標區(qū)間，以及球面紋理圖像di的中心圖像點對應的經(jīng)緯度坐標。

v＝arccosy

值得說明的是，通過環(huán)境場景的空間球面模型與所述經(jīng)緯度坐標系的映射關(guān)系，根據(jù)原始球面坐標系下的坐標點(x，y，z)的坐標值的符號，可以確定經(jīng)緯度坐標系中對應的坐標點(u，v)的符號。

進一步地，依此類推，可以確定所述多個攝像頭{c1，c2，c3……cn}中的每個攝像頭對應的通過畸變校正得到球面紋理圖像在所述經(jīng)緯度坐標系中的坐標區(qū)間。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s104，具體為：將所述球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊，確定所述每個局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。例如，單個攝像頭對應的球面紋理圖像的分辨率為8k×4k，通過視頻分割，將其分割為分辨率為512×512的局部視頻圖像塊，則每個攝像頭對應的球面紋理圖像分割為128個局部視頻圖像塊。進一步地，根據(jù)每個攝像頭對應的球面紋理圖像在所述經(jīng)緯度坐標系中的坐標區(qū)間，確定所述每個攝像頭對應的局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。

值得說明的是，根據(jù)每個攝像頭對應的球面紋理圖像在經(jīng)緯度坐標系中的映射關(guān)系，也可以確定所述經(jīng)緯度坐標系中任意坐標點(u，v)對應的與某一攝像頭對應的球面紋理圖像；同樣地，根據(jù)每個攝像頭對應的局部視頻圖像塊在經(jīng)緯度坐標系中的映射關(guān)系，也可以確定所述經(jīng)緯度坐標系中任意坐標點(u，v)對應的局部視頻圖像塊。

在上述技術(shù)方案中，進一步地，所述步驟s103還包括，對所述環(huán)境場景視頻圖像對應的局部視頻圖像塊進行紋理壓縮。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s104，具體為：將每個攝像頭對應的局部視頻圖像塊，按視頻幀時序編碼存儲為視頻文件。

實施例二

圖2示出了根據(jù)本發(fā)明第二種實施例的視頻播放方法的流程示意圖。

如圖2所示，根據(jù)本發(fā)明第二種實施例的視頻播放方法，主要包括以下步驟：

步驟s201，獲取局部視頻圖像塊及對應的環(huán)境場景的空間球面模型，根據(jù)視頻觀測點對應的模型視圖矩陣和投影矩陣，確定顯示區(qū)域在所述環(huán)境場景的空間球面模型表面的投影區(qū)域；

步驟s202，根據(jù)顯示區(qū)域在所述環(huán)境場景空間球面模型表面的投影區(qū)域，確定投影區(qū)域在環(huán)境場景的空間球面模型對應的經(jīng)緯度坐標系中的坐標區(qū)間；

步驟s203，根據(jù)局部視頻圖像塊在經(jīng)緯度坐標系中的坐標區(qū)間，確定投影區(qū)域?qū)木植恳曨l圖像塊；

步驟s204，對根據(jù)視頻幀時序編碼的所述投影區(qū)域?qū)木植恳曨l圖像塊進行解碼；

步驟s205，在所述顯示區(qū)域顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

在該技術(shù)方案中，播放環(huán)境場景的視頻圖像時，根據(jù)虛擬視角確定顯示區(qū)域在環(huán)境場景的空間球面模型中的投影區(qū)域，根據(jù)局部視頻圖像塊與空間球面模型的映射關(guān)系，獲取與投影區(qū)域?qū)木植恳曨l圖像塊，解碼并在顯示區(qū)域中對應顯示所述獲取到的局部視頻圖像塊。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s201，還包括：根據(jù)用戶指令調(diào)整顯示區(qū)域在環(huán)境場景的空間球體模型中的投影區(qū)域。具體地，當需要展現(xiàn)環(huán)境場景的視頻圖像時，可以通過顯示器顯示環(huán)境場景的視頻圖像，或者通過終端設(shè)備的屏幕顯示環(huán)境場景的視頻圖像等，由于顯示設(shè)備的顯示區(qū)域尺寸有限，無法在顯示區(qū)域完整地顯示環(huán)境場景的三維全景圖像，某一時刻僅能顯示環(huán)境場景三維圖像的部分區(qū)域圖像。根據(jù)顯示區(qū)域在環(huán)境場景空間球體模型表面的投影區(qū)域，確定該投影區(qū)域?qū)沫h(huán)境場景空間球體模型表面圖像，也就是在顯示區(qū)域中顯示的圖像。在本發(fā)明實施例中，預先在環(huán)境場景的空間球體模型表面設(shè)置一初始參考點，根據(jù)該初始參考點確定顯示區(qū)域在環(huán)境場景的空間球體模型中的初始投影區(qū)域，獲取初始投影區(qū)域?qū)木植恳曨l圖像塊。進一步地，可以通過檢測用戶指令，根據(jù)檢測到的用戶指令調(diào)整顯示區(qū)域在環(huán)境場景的空間球體模型中的投影區(qū)域，從而在顯示區(qū)域中切換顯示環(huán)境場景三維圖像中不同區(qū)域的圖像，向用戶展現(xiàn)環(huán)境場景中不同區(qū)域的圖像。具體地，視頻觀看者可以通過控制指令，調(diào)整所述顯示區(qū)域的投影區(qū)域在環(huán)境場景空間球體模 型表面的位置，從而通過顯示區(qū)域觀看環(huán)境場景不同區(qū)域的圖像，其中，所述控制包括手勢指令、語音指令、動作指令、觸控指令中的一種或多種。例如，當用戶佩戴具有顯示屏的頭戴式設(shè)備時，所述頭戴式設(shè)備的顯示屏即為本發(fā)明實施例中的視頻顯示區(qū)域。通過傳感器檢測頭戴式設(shè)備的姿態(tài)變化，計算顯示區(qū)域在所述環(huán)境場景空間球體模型的相對位置，根據(jù)環(huán)境場景的空間球體模型的視圖矩陣和投影矩陣，在所述環(huán)境場景空間球體模型表面確定與顯示屏尺寸對應的投影區(qū)域。進一步地，用戶可以通過手勢指令、語音指令、動作指令、觸控指令等使顯示屏對應的投影區(qū)域調(diào)整到環(huán)境場景空間球體模型表面的不同位置，從而通過顯示屏查看環(huán)境場景不同空間角度的圖像。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s205，具體為：在顯示區(qū)域中，根據(jù)視頻幀時序顯示投影區(qū)域?qū)木植恳曨l圖像塊。

實施例三

圖3示出了根據(jù)本發(fā)明第三種實施例的視頻生成裝置的結(jié)構(gòu)示意圖。

如圖3所示，根據(jù)本發(fā)明第三種實施例的視頻生成裝置300，主要包括：

圖像采集模塊301：包括多個攝像單元，用于采集環(huán)境場景不同空間角度的視頻圖像；

模型建立模塊302：用于建立所述環(huán)境場景的空間球面模型；

圖像拼接模塊303：用于將多個攝像單元對應的環(huán)境場景視頻圖像進行拼接，得到環(huán)境場景的空間球面模型對應的球面紋理圖像；

圖像分割模塊304：用于將圖像拼接模塊303得到到球面紋理圖像分割為多個預設(shè)尺寸的局部視頻圖像塊；

視頻編碼模塊305：用于根據(jù)視頻幀時序編碼圖像分割模塊304得到的局部視頻圖像塊。

在該技術(shù)方案中，圖像采集模塊301通過多個攝像單元采集環(huán)境場景的視頻圖像，模型建立模塊302建立環(huán)境場景的空間球面模型，圖像拼接模塊303根據(jù)該環(huán)境場景的空間球面模型，確定多個攝像單元采集的視頻圖像與環(huán)境場景的空間球面模型的映射關(guān)系，將多個攝像單元采集的視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像，圖像分割模塊304通過對球面紋理圖像進行分割，將每個攝像頭對應的環(huán)境場景視頻圖像分割為多個預設(shè)尺寸的局部視頻圖像塊，建立局部視頻圖像塊與空間球面模型的關(guān)聯(lián)索引，視頻 編碼模塊305根據(jù)視頻幀時序編碼并存儲局部視頻圖像塊。

在上述技術(shù)方案中，優(yōu)選地，多個攝像單元分布于球狀設(shè)備表面，每個攝像單元采集環(huán)境場景預設(shè)空間角度范圍的視頻圖像，所述多個攝像單元采集的視頻圖像覆蓋所述環(huán)境場景的空間三維全景。具體地，在球狀設(shè)備表面設(shè)置多個攝像單元采集環(huán)境場景的視頻圖像，例如，4～32個攝像單元，每個攝像單元的fov(fieldofview，視場角)為100～220度中的任意數(shù)值，多個攝像單元采集的原始視頻圖像覆蓋環(huán)境場景的空間全景，即該多個攝像單元采集的原始視頻圖像包含構(gòu)成環(huán)境場景球面全景圖像的原始圖像數(shù)據(jù)。

在上述技術(shù)方案中，優(yōu)選地，如圖4所示，模型建立模塊302，還包括：校正單元3021：用于對所述每個攝像單元采集的環(huán)境場景視頻圖像進行畸變校正；坐標系構(gòu)建單元3022：用于以所述球狀設(shè)備的球心為坐標原點，構(gòu)建笛卡爾坐標系；姿態(tài)估計單元3023：用于根據(jù)姿態(tài)估計算法，確定所述每個攝像單元在所述坐標系構(gòu)建單元構(gòu)建的笛卡爾坐標系中的姿態(tài)。具體地，采用fov較大的攝像單元采集環(huán)境場景的原始視頻圖像，每個攝像單元采集得到的視頻圖像均會存在一定程度的圖像畸變，校正單元3021對攝像單元采集的原始視頻圖像進行畸變校正，通過畸變校正，將攝像單元采集的原始視頻圖像進行球面映射，得到所述攝像單元采集的原始視頻圖像對應的經(jīng)緯度紋理圖像。同時修正因攝像單元的fov較大所造成的圖像畸變，從而使視頻圖像中環(huán)境場景的還原更加真實。

在上述技術(shù)方案中，進一步地，姿態(tài)估計單元3023根據(jù)在所述球狀設(shè)備的球心位置放置的相機m，使相機m與任一攝像單元的鏡頭同軸，也即是使相機m與任一攝像單元的鏡頭光心位于環(huán)境場景空間球面模型的同一半徑，其中，i為自然數(shù)，且1<i<n。根據(jù)姿態(tài)估計算法，確定攝像單元相對于相機m的姿態(tài)。重復上述步驟，確定每個攝像單元相對于相機m的姿態(tài)，得到所述每個攝像單元相對于相機m的旋轉(zhuǎn)矩陣，從而確定每個攝像單元在所述笛卡爾坐標系中的姿態(tài)。

值得說明的是，在需要生成基于雙目立體視覺的環(huán)境場景視頻圖像時，則使用于雙目視覺圖像采集的相鄰兩個攝像單元的鏡頭光心連線中點與相機m的鏡頭光心同軸，此處不再贅述。

在上述技術(shù)方案中，優(yōu)選地，如圖5所示，圖像拼接模塊303，還包括：坐 標轉(zhuǎn)換單元3031：用于根據(jù)環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，建立所述環(huán)境場景空間球面模型對應的球面紋理圖像的經(jīng)緯度坐標系。具體地，坐標轉(zhuǎn)換單元3031根據(jù)環(huán)境場景空間球面模型表面的經(jīng)緯度坐標，以西經(jīng)180度為經(jīng)度坐標的0，東經(jīng)180度為經(jīng)度坐標的2π，以北緯90度為緯度坐標0，南緯90度為緯度坐標π，建立環(huán)境場景空間球面模型對應的經(jīng)緯度坐標系，以該經(jīng)緯度坐標系表征環(huán)境場景空間球面模型對應的球面紋理圖像，優(yōu)選地，以環(huán)境場景空間球面模型表面坐標點(0,0,r)映射為所述球面紋理圖像的中心點，其中r為所述環(huán)境場景空間球面模型的球體半徑。

在上述技術(shù)方案中，圖像拼接模塊303，還包括：圖像映射單元3032：用于根據(jù)每個攝像單元在笛卡爾坐標系中的姿態(tài)，確定每個攝像單元對應的視頻圖像在球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間。具體地，多個攝像單元采集的環(huán)境場景視頻圖像拼接得到球面紋理圖像，根據(jù)每個攝像單元在環(huán)境場景空間球面模型的笛卡爾坐標系中的姿態(tài)，確定每個攝像單元采集的環(huán)境場景視頻圖像在所述球面紋理圖像中的位置映射關(guān)系，優(yōu)選地，該映射關(guān)系可以以每個攝像單元采集的環(huán)境場景視頻圖像在所述球面紋理圖像的經(jīng)緯度坐標系中的坐標區(qū)間進行表征。在本發(fā)明實施例中，將所述任一攝像單元采集的環(huán)境場景原始視頻圖像通過畸變校正后得到的球面紋理圖像的圖像中心點轉(zhuǎn)換為上述環(huán)境場景空間球面模型表面坐標點(0,0,r)，則所述攝像單元采集的原始視頻圖像經(jīng)過畸變校正后得到對應的球面紋理圖像，所述攝像單元對應的球面紋理圖像中的任一圖像點的經(jīng)緯度坐標(x，y)在所述環(huán)境場景的空間球面模型的經(jīng)緯度坐標(α,β)可以通過如下表達式對應計算得出：

其中，fovx表示攝像單元在x軸方向的視角大小，以弧度表示，例如120度；fovy表示表示攝像單元在y軸方向的視角大小，以弧度表示；w表示攝像單元對應的球面紋理圖像的像素寬度；h表示攝像單元對應的球面紋理圖像di的像素高度。

進一步地，根據(jù)上述經(jīng)緯度坐標(α,β)，所述攝像單元對應的球面紋理圖像中任一圖像點(x，y)在所述環(huán)境場景的空間球面模型表面的坐標可以通過如下表達式得出：

x′＝-sinα·cosβ·r

y′＝sinβ·r

z′＝cosα·cosβ·r

進一步地，根據(jù)所述攝像單元對應的旋轉(zhuǎn)矩陣，確定所述攝像單元對應的球面紋理圖像中的該圖像點(x，y)對應在原始球面坐標系下的坐標點(x，y，z)。

對應地，根據(jù)上述表達式，可以通過確定攝像單元對應的球面紋理圖像的四個頂點在環(huán)境場景的空間球面模型表面的坐標，確定球面紋理圖像映射在環(huán)境場景的空間球面模型表面的經(jīng)緯度范圍，以及球面紋理圖像的中心圖像點對應的經(jīng)緯度坐標。

進一步地，根據(jù)攝像單元對應的球面紋理圖像中的圖像點(x，y)對應的原始球面坐標系下的坐標點(x，y，z)，可以通過下述表達式確定攝像單元對應的球面紋理圖像中的圖像點(x，y)在經(jīng)緯度坐標系中的坐標(u，v)。對應地，可以通過確定攝像單元對應的球面紋理圖像的四個頂點在經(jīng)緯度坐標系中的坐標，從而確定球面紋理圖像映射在經(jīng)緯度坐標系中的坐標區(qū)間，以及球面紋理圖像的中心圖像點對應的經(jīng)緯度坐標。

v＝arccosy

值得說明的是，通過環(huán)境場景的空間球面模型與所述經(jīng)緯度坐標系的映射關(guān)系，根據(jù)原始球面坐標系下的坐標點(x，y，z)的坐標值的符號，可以確定經(jīng)緯度坐標系中對應的坐標點(u，v)的符號。

據(jù)此，可以確定每個攝像單元對應的通過畸變校正得到球面紋理圖像在所述經(jīng)緯度坐標系中的坐標區(qū)間。

在上述技術(shù)方案中，優(yōu)選地，如圖6所示，圖像分割模塊304，還包括：紋理壓縮單元3041，用于對局部視頻圖像塊進行紋理壓縮。具體地，例如，每個攝像單元對應的球面紋理圖像的分辨率為8k×4k，通過圖像分割模塊304進行分割，將其分割為分辨率為512×512的局部視頻圖像塊，則每個攝像單元對應的球面紋理圖像分割為128個局部視頻圖像塊。進一步地，紋理壓縮單元3041對局部視頻圖像塊進行紋理壓縮。

在上述技術(shù)方案中，優(yōu)選地，圖像映射單元3032，還用于確定所述每個局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。具體地，圖像映射單元3032根據(jù)每個攝像單元對應的球面紋理視頻圖像在所述經(jīng)緯度坐標系中的坐標區(qū)間，確定圖像分割模塊304分割得到的所述每個攝像單元對應的局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間。

在上述技術(shù)方案中，優(yōu)選地，編碼模塊305，還用于根據(jù)視頻幀時序分別編碼每個攝像單元對應的局部視頻圖像塊。具體地，編碼模塊305將每個攝像單元對應的局部視頻圖像塊分別進行編碼存儲。

實施例四

圖7示出了根據(jù)本發(fā)明第四種實施例的視頻播放裝置的結(jié)構(gòu)示意圖。

如圖7所示，根據(jù)本發(fā)明第四種實施例的視頻播放裝置，主要包括：

獲取模塊401：用于獲取局部視頻圖像塊對應的環(huán)境場景的空間球面模型，根據(jù)視頻觀測點對應的模型視圖矩陣和投影矩陣，確定顯示區(qū)域在環(huán)境場景的空間球面模型表面的投影區(qū)域；定位模塊402：用于根據(jù)所述顯示區(qū)域在環(huán)境場景空間球面模型表面的投影區(qū)域，確定投影區(qū)域在環(huán)境場景的空間球面模型對應的經(jīng)緯度坐標系中的坐標區(qū)間；映射模塊403：用于根據(jù)局部視頻圖像塊在所述經(jīng)緯度坐標系中的坐標區(qū)間，確定投影區(qū)域?qū)木植恳曨l圖像塊；解碼模塊404：用于對根據(jù)視頻幀時序編碼的投影區(qū)域?qū)木植恳曨l圖像塊進行解碼；顯示模塊405：用于在顯示區(qū)域顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

在該技術(shù)方案中，播放環(huán)境場景的視頻圖像時，根據(jù)虛擬視角確定顯示區(qū)域在環(huán)境場景的空間球面模型中的投影區(qū)域，根據(jù)局部視頻圖像塊與空間球面模型的映射關(guān)系，獲取與投影區(qū)域?qū)木植恳曨l圖像塊，解碼并在顯示區(qū)域中對應顯示所述獲取到的局部視頻圖像塊。

在上述技術(shù)方案中，優(yōu)選地，如圖8所示，獲取模塊401，還包括：指令檢 測單元4011：用于檢測用戶指令；以及，所述獲取模塊401還用于根據(jù)所述指令檢測單元4011檢測到的用戶指令，調(diào)整所述顯示區(qū)域在所述環(huán)境場景的空間球面模型中的投影區(qū)域。具體地，當需要展現(xiàn)環(huán)境場景的視頻圖像時，可以通過顯示器顯示環(huán)境場景的視頻圖像，或者通過終端設(shè)備的屏幕顯示環(huán)境場景的視頻圖像等，由于顯示設(shè)備的顯示區(qū)域尺寸有限，無法在顯示區(qū)域完整地顯示環(huán)境場景的三維全景圖像，某一時刻僅能顯示環(huán)境場景三維圖像的部分區(qū)域圖像。根據(jù)顯示區(qū)域在環(huán)境場景空間球體模型表面的投影區(qū)域，確定該投影區(qū)域?qū)沫h(huán)境場景空間球體模型表面圖像，也就是在顯示區(qū)域中顯示的圖像。在本發(fā)明實施例中，預先在環(huán)境場景的空間球體模型表面設(shè)置一初始參考點，獲取模塊401根據(jù)該初始參考點確定顯示區(qū)域在環(huán)境場景的空間球體模型中的初始投影區(qū)域，獲取初始投影區(qū)域?qū)木植恳曨l圖像塊。進一步地，獲取模塊401可以通過檢測用戶指令，根據(jù)檢測到的用戶指令調(diào)整顯示區(qū)域在環(huán)境場景的空間球體模型中的投影區(qū)域，從而在顯示區(qū)域中切換顯示環(huán)境場景三維圖像中不同區(qū)域的圖像，向用戶展現(xiàn)環(huán)境場景中不同區(qū)域的圖像。具體地，視頻觀看者可以通過控制指令，調(diào)整所述顯示區(qū)域的投影區(qū)域在環(huán)境場景空間球體模型表面的位置，從而通過顯示區(qū)域觀看環(huán)境場景不同區(qū)域的圖像，其中，所述控制包括手勢指令、語音指令、動作指令、觸控指令中的一種或多種。例如，當用戶佩戴具有顯示屏的頭戴式設(shè)備時，所述頭戴式設(shè)備的顯示屏即為本發(fā)明實施例中的視頻顯示區(qū)域。通過傳感器檢測頭戴式設(shè)備的姿態(tài)變化，計算顯示區(qū)域在所述環(huán)境場景空間球體模型的相對位置，根據(jù)環(huán)境場景的空間球體模型的視圖矩陣和投影矩陣，在所述環(huán)境場景空間球體模型表面確定與顯示屏尺寸對應的投影區(qū)域。進一步地，用戶可以通過手勢指令、語音指令、動作指令、觸控指令等使顯示屏對應的投影區(qū)域調(diào)整到環(huán)境場景空間球體模型表面的不同位置，從而通過顯示屏查看環(huán)境場景不同空間角度的圖像。

在上述技術(shù)方案中，優(yōu)選地，顯示模塊405還用于，在所述顯示區(qū)域中，根據(jù)所述視頻幀時序顯示所述投影區(qū)域?qū)木植恳曨l圖像塊。

再次聲明，本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非 特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。

本領(lǐng)域的技術(shù)人員應該明白，上述的本申請實施例所提供的方法中的各步驟，它們可以集中在單個的計算裝置進行執(zhí)行，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上進行執(zhí)行?？蛇x地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)。從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明技術(shù)方案而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式及細節(jié)上進行任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準。