本發(fā)明涉及三維圖形。更具體地，本發(fā)明涉及使用正交投影(orthographicprojections)生成紋理映射。

背景技術(shù)：

1、最近，基于從3d到2d的投影壓縮諸如點(diǎn)云之類的體積內(nèi)容的新方法正在被標(biāo)準(zhǔn)化。這種方法也稱為v3c(基于視覺體積視頻的壓縮)，將3d體積數(shù)據(jù)映射到幾個2d圖像塊中，然后進(jìn)一步將圖像塊排列成圖集圖像，隨后用視頻編碼器對圖集圖像進(jìn)行編碼。圖集圖像對應(yīng)于點(diǎn)的幾何形狀、相應(yīng)的紋理和占據(jù)地圖，該占據(jù)地圖指示對于點(diǎn)云重建要考慮位置中的哪些位置。

2、2017年，mpeg發(fā)布了關(guān)于點(diǎn)云的壓縮的提案征集(cfp)。在評估了幾種提案之后，目前mpeg正在考慮用于點(diǎn)云壓縮的兩種不同技術(shù)：3d原生編碼技術(shù)(基于八叉樹和類似的編碼方法)，或者3d到2d投影，隨后是傳統(tǒng)的視頻編碼。在動態(tài)3d場景的情況下，mpeg正在使用基于圖像塊表面建模、圖像塊從3d圖像到2d圖像的投影以及用諸如hevc之類的視頻編碼器對2d圖像進(jìn)行編碼的測試模型軟件(tmc2)。這種方法已被證明比原生3d編碼更高效，并且能夠以可接受的質(zhì)量實(shí)現(xiàn)有競爭力的比特率。

3、歸因于基于投影的方法(也稱為基于視頻的方法或v-pcc)編碼3d點(diǎn)云的成功，預(yù)計標(biāo)準(zhǔn)在未來的版本中將包括更多3d數(shù)據(jù)，諸如3d網(wǎng)格。然而，標(biāo)準(zhǔn)的當(dāng)前版本僅適合于一組不相連的點(diǎn)的傳輸，因此不存在發(fā)送點(diǎn)的連通性的機(jī)制，而這在3d網(wǎng)格壓縮中卻是所需的。

4、還提出了將v-pcc的功能擴(kuò)展到網(wǎng)格的方法。一種可能的方式是使用v-pcc對頂點(diǎn)進(jìn)行編碼，然后使用如tfan或edgebreaker之類的網(wǎng)格壓縮方法對連通性進(jìn)行編碼。這種方法的局限性在于原始網(wǎng)格必須是密集的，使得從頂點(diǎn)生成的點(diǎn)云不稀疏并且在投影之后可被有效編碼。此外，頂點(diǎn)的順序影響連通性的編碼，從而提出了重新組織網(wǎng)格連通性的不同方法。對稀疏網(wǎng)格進(jìn)行編碼的備選方式是使用raw圖像塊數(shù)據(jù)對3d中的頂點(diǎn)位置進(jìn)行編碼。由于raw圖像塊直接對(x,y,z)進(jìn)行編碼，因此在這種方法中，所有的頂點(diǎn)都被編碼為raw數(shù)據(jù)，而連通性則通過類似的網(wǎng)格壓縮方法被編碼，如前所述。注意在raw圖像塊中，可以按任何優(yōu)選的順序發(fā)送頂點(diǎn)，從而可以使用從連通性編碼產(chǎn)生的順序。該方法可以對稀疏點(diǎn)云進(jìn)行編碼，然而，raw圖像塊對3d數(shù)據(jù)的編碼效率不高，并且諸如三角形面的屬性之類的更多數(shù)據(jù)可能會從這種方法中丟失。

5、來自微軟的uv圖集(uvatlas)是最先進(jìn)的自動紋理映射生成，但是需要大量的時間，并且只針對局部幀進(jìn)行優(yōu)化。v-pcc使用正交投影生成圖像塊，但是只針對點(diǎn)云，因此它不解決關(guān)于網(wǎng)格的圖像塊生成。

技術(shù)實(shí)現(xiàn)思路

1、以快速且高效的方式進(jìn)行使用正交投影的紋理映射的生成。本文中描述了一種生成紋理映射的方法，該方法花費(fèi)顯著更少的時間，并且還允許映射利用不同幀的內(nèi)容之間在時間上的相關(guān)性。紋理映射可以用于體積內(nèi)容的自動生成，或者可以用于動態(tài)網(wǎng)格的更高效壓縮。本文中描述的紋理映射生成包括使用正交投影生成紋理圖集的方式。描述了一種新的用于正交投影的拉伸度量，并且設(shè)計了一種合并算法，以最優(yōu)地將三角形聚類成單個圖像塊。另外，試圖優(yōu)化大小和時間穩(wěn)定性的打包技術(shù)可以用于網(wǎng)格圖像塊。

2、在一個方面，一種在設(shè)備的非臨時性存儲器中編程的方法包括從動態(tài)網(wǎng)格信息生成圖像塊，以及使用正交投影在紋理圖集上打包圖像塊。從動態(tài)網(wǎng)格信息生成圖像塊還包括：生成鄰近三角形的列表，計算三角形性質(zhì)，添加相鄰三角形，檢查頂點(diǎn)遮擋以及檢查表面遮擋。生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。計算三角形性質(zhì)包括計算每個三角形的法線和表面積。所述方法還包括選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。所述方法還包括基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

3、在另一個方面，一種裝置包括用于存儲應(yīng)用的非臨時性存儲器和耦合到所述存儲器的處理器，所述應(yīng)用用于：從動態(tài)網(wǎng)格信息生成圖像塊，以及使用正交投影在紋理圖集上打包圖像塊，所述處理器被配置用于處理所述應(yīng)用。從動態(tài)網(wǎng)格信息生成圖像塊還包括：生成鄰近三角形的列表，計算三角形性質(zhì)，添加相鄰三角形，檢查頂點(diǎn)遮擋以及檢查表面遮擋。生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。計算三角形性質(zhì)包括計算每個三角形的法線和表面積。所述應(yīng)用還被配置用于選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。所述應(yīng)用還被配置為基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

4、在另一個方面，一種系統(tǒng)包括用于獲取三維內(nèi)容的一個或多個相機(jī)和編碼器，所述編碼器被配置用于：從動態(tài)網(wǎng)格信息生成圖像塊，以及使用正交投影在紋理圖集上打包圖像塊。從動態(tài)網(wǎng)格信息生成圖像塊還包括：生成鄰近三角形的列表，計算三角形性質(zhì)，添加相鄰三角形，檢查頂點(diǎn)遮擋以及檢查表面遮擋。生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。計算三角形性質(zhì)包括計算每個三角形的法線和表面積。所述編碼器還被配置為選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。所述編碼器還被配置為基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

技術(shù)特征：

1.一種在設(shè)備的非臨時性存儲器中編程的方法，包括：

2.按照權(quán)利要求1所述的方法，其中從動態(tài)網(wǎng)格信息生成圖像塊還包括：

3.按照權(quán)利要求2所述的方法，其中生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。

4.按照權(quán)利要求2所述的方法，其中生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。

5.按照權(quán)利要求2所述的方法，其中計算三角形性質(zhì)包括計算每個三角形的法線和表面積。

6.按照權(quán)利要求2所述的方法，還包括選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。

7.按照權(quán)利要求2所述的方法，還包括基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。

8.按照權(quán)利要求1所述的方法，其中使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

9.一種裝置，包括：

10.按照權(quán)利要求9所述的裝置，其中從動態(tài)網(wǎng)格信息生成圖像塊還包括：

11.按照權(quán)利要求10所述的裝置，其中生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。

12.按照權(quán)利要求10所述的裝置，其中生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。

13.按照權(quán)利要求10所述的裝置，其中計算三角形性質(zhì)包括計算每個三角形的法線和表面積。

14.按照權(quán)利要求10所述的裝置，其中所述應(yīng)用還被配置用于選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。

15.按照權(quán)利要求10所述的裝置，其中所述應(yīng)用還被配置用于基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。

16.按照權(quán)利要求9所述的裝置，其中使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

17.一種系統(tǒng)，包括：

18.按照權(quán)利要求17所述的系統(tǒng)，其中從動態(tài)網(wǎng)格信息生成圖像塊還包括：

19.按照權(quán)利要求18所述的系統(tǒng)，其中生成鄰近三角形的列表包括將與三角形共享頂點(diǎn)的三角形添加到列表。

20.按照權(quán)利要求18所述的系統(tǒng)，其中生成鄰近三角形的列表包括將與三角形共享邊的三角形添加到列表。

21.按照權(quán)利要求18所述的系統(tǒng)，其中計算三角形性質(zhì)包括計算每個三角形的法線和表面積。

22.按照權(quán)利要求18所述的系統(tǒng)，其中所述編碼器還被配置用于選擇尚未添加到圖像塊的其法線與頻率最高取向最一致的種子三角形。

23.按照權(quán)利要求18所述的系統(tǒng)，其中所述編碼器還被配置用于基于計算出的成本合并圖像塊，其中計算出的成本基于圖像塊的周長和正交拉伸值。

24.按照權(quán)利要求17所述的系統(tǒng)，其中使用正交投影在紋理圖集上打包圖像塊包括實(shí)現(xiàn)幀縮放、圖像塊取向和時間穩(wěn)定。

技術(shù)總結(jié)
以快速且高效的方式進(jìn)行使用正交投影的紋理映射的生成。本文中描述了一種生成紋理映射的方法，該方法花費(fèi)顯著更少的時間，并且還允許映射利用不同幀的內(nèi)容之間在時間上的相關(guān)性。紋理映射可以用于體積內(nèi)容的自動生成，或者可以用于動態(tài)網(wǎng)格的更高效壓縮。本文中描述的紋理映射生成包括使用正交投影生成紋理圖集的方式。描述了一種新的用于正交投影的拉伸度量，并且設(shè)計了一種合并算法，以最優(yōu)地將三角形聚類成單個圖像塊。另外，試圖優(yōu)化大小和時間穩(wěn)定性的打包技術(shù)可以用于網(wǎng)格圖像塊。

技術(shù)研發(fā)人員：D·格拉茲斯
受保護(hù)的技術(shù)使用者：索尼集團(tuán)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6