本公開涉及包括點(diǎn)云編碼和點(diǎn)云解碼的點(diǎn)云譯碼。

背景技術(shù)：

1、點(diǎn)云(pc)是三維(3d)空間的3d數(shù)據(jù)表示。pc可以用于擴(kuò)展現(xiàn)實(shí)(xr)、增強(qiáng)現(xiàn)實(shí)(ar)、虛擬現(xiàn)實(shí)(vr)和混合現(xiàn)實(shí)(mr)、自動駕駛或文化遺產(chǎn)等任務(wù)。pc是3d空間中的點(diǎn)集，由其被稱為幾何結(jié)構(gòu)的3d坐標(biāo)(x,y,z)表示。每個點(diǎn)還可以與諸如顏色、法向矢量或反射率之類的多個屬性相關(guān)聯(lián)。

2、根據(jù)目標(biāo)應(yīng)用和pc獲取方法，pc可以被分類為點(diǎn)云場景或點(diǎn)云對象。點(diǎn)云場景可以使用lidar傳感器來捕獲，并且經(jīng)常被動態(tài)地獲取。點(diǎn)云對象可以被進(jìn)一步細(xì)分為靜態(tài)點(diǎn)云和動態(tài)點(diǎn)云。靜態(tài)pc是單個對象，而動態(tài)pc是時變pc，其中動態(tài)pc的每個實(shí)例是靜態(tài)pc。動態(tài)時變pc可以用于ar/vr、體積視頻流和遠(yuǎn)程呈現(xiàn)，并且可以使用3d模型(即，cgi)來生成，或者使用各種方法(諸如用深度傳感器圍繞對象的多個相機(jī))從現(xiàn)實(shí)世界場景捕獲。這些pc是密集型照片級真實(shí)感點(diǎn)云，這些密集型照片級真實(shí)感點(diǎn)云可以具有大量的點(diǎn)，尤其是在高精度或大規(guī)模捕獲中(高達(dá)每秒60幀(fps)，每幀數(shù)百萬個點(diǎn))。因此，高效的點(diǎn)云壓縮(pcc)對于在vr和mr應(yīng)用中實(shí)現(xiàn)實(shí)際用途尤其重要。

技術(shù)實(shí)現(xiàn)思路

1、一般來講，本公開描述了系統(tǒng)的靈活配置，其中可以應(yīng)用靈活的縮減量，而不是采用固定三次縮減/下采樣表示。也就是說，點(diǎn)云編碼器和點(diǎn)云解碼器可以被配置為將點(diǎn)云幾何結(jié)構(gòu)數(shù)據(jù)縮減/放大可變次數(shù)。該點(diǎn)云編碼器可以發(fā)信號通知點(diǎn)云比特流中指示對該點(diǎn)云幾何結(jié)構(gòu)進(jìn)行縮減的該次數(shù)的值，使得點(diǎn)云解碼器可以按相同的因子放大經(jīng)解碼點(diǎn)云幾何結(jié)構(gòu)數(shù)據(jù)。根據(jù)用例、比特要求和點(diǎn)云類型，該靈活的縮減量可以獲得更好的壓縮。該靈活配置可以用于針對靜態(tài)和動態(tài)點(diǎn)云的點(diǎn)云內(nèi)壓縮以及針對動態(tài)點(diǎn)云的點(diǎn)云間壓縮。

2、在一個示例中，一種對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的方法包括：確定對點(diǎn)云幾何結(jié)構(gòu)的表示進(jìn)行縮減的次數(shù)；將該點(diǎn)云幾何結(jié)構(gòu)的該表示縮減該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的縮減表示；對該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示進(jìn)行編碼；以及輸出該點(diǎn)云幾何結(jié)構(gòu)的所編碼的縮減表示。

3、在另一示例中，一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的設(shè)備包括：存儲器，該存儲器被配置為存儲點(diǎn)云數(shù)據(jù)；和一個或多個處理器，該一個或多個處理器在電路系統(tǒng)中實(shí)現(xiàn)并且被配置為：確定對點(diǎn)云幾何結(jié)構(gòu)的表示進(jìn)行縮減的次數(shù)；將該點(diǎn)云幾何結(jié)構(gòu)的該表示縮減該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的縮減表示；對該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示進(jìn)行編碼；以及輸出該點(diǎn)云幾何結(jié)構(gòu)的所編碼的縮減表示。

4、在另一示例中，一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的設(shè)備包括：用于確定對點(diǎn)云幾何結(jié)構(gòu)的表示進(jìn)行縮減的次數(shù)的構(gòu)件；用于將該點(diǎn)云幾何結(jié)構(gòu)的該表示縮減該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的縮減表示的構(gòu)件；用于對該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示進(jìn)行編碼的構(gòu)件；和用于輸出該點(diǎn)云幾何結(jié)構(gòu)的所編碼的縮減表示的構(gòu)件。

5、在另一示例中，一種對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的方法包括：確定對點(diǎn)云幾何結(jié)構(gòu)的縮減經(jīng)編碼表示進(jìn)行放大的次數(shù)；對該點(diǎn)云幾何結(jié)構(gòu)的該縮減經(jīng)編碼表示進(jìn)行解碼；將該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示放大該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的放大表示；以及使用該點(diǎn)云幾何結(jié)構(gòu)的該放大表示再現(xiàn)點(diǎn)云。

6、在另一示例中，一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的設(shè)備包括：存儲器，該存儲器被配置為存儲點(diǎn)云數(shù)據(jù)；和一個或多個處理器，該一個或多個處理器在電路系統(tǒng)中實(shí)現(xiàn)并且被配置為：確定對點(diǎn)云幾何結(jié)構(gòu)的縮減經(jīng)編碼表示進(jìn)行放大的次數(shù)；對該點(diǎn)云幾何結(jié)構(gòu)的該縮減經(jīng)編碼表示進(jìn)行解碼；將該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示放大該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的放大表示；以及使用該點(diǎn)云幾何結(jié)構(gòu)的該放大表示再現(xiàn)點(diǎn)云。

7、在另一示例中，一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的設(shè)備包括：用于確定對點(diǎn)云幾何結(jié)構(gòu)的縮減經(jīng)編碼表示進(jìn)行放大的次數(shù)的構(gòu)件；用于對該點(diǎn)云幾何結(jié)構(gòu)的該縮減經(jīng)編碼表示進(jìn)行解碼的構(gòu)件；用于將該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示放大該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的放大表示的構(gòu)件；和用于使用該點(diǎn)云幾何結(jié)構(gòu)的該放大表示再現(xiàn)點(diǎn)云的構(gòu)件。

8、在附圖和以下說明書中闡述一個或多個示例的細(xì)節(jié)。根據(jù)說明書、附圖以及權(quán)利要求書，其他特征、目的和優(yōu)點(diǎn)將是顯而易見的。

技術(shù)特征：

1.一種對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中確定對所述表示進(jìn)行縮減的所述次數(shù)包括：根據(jù)所述點(diǎn)云幾何結(jié)構(gòu)的用例、比特要求或點(diǎn)云類型中的至少一者，確定對所述表示進(jìn)行縮減的所述次數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其中對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼包括：對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行無損編碼。

4.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：使用有損編碼對與所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示對應(yīng)的特征進(jìn)行編碼。

5.根據(jù)權(quán)利要求1所述的方法，其中對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼包括：使用幀內(nèi)(i幀)編碼、幀間(p幀)編碼或雙向幀間(b幀)編碼中的一者對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼。

6.根據(jù)權(quán)利要求1所述的方法，其中所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示包括當(dāng)前幀的點(diǎn)云幾何結(jié)構(gòu)的縮減表示，所述方法還包括：對與所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示對應(yīng)的特征進(jìn)行編碼，包括：

7.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：對表示所述點(diǎn)云幾何結(jié)構(gòu)的所述表示被縮減的所述次數(shù)的數(shù)據(jù)進(jìn)行編碼。

8.根據(jù)權(quán)利要求1所述的方法，其中縮減所述點(diǎn)云幾何結(jié)構(gòu)的所述表示并對所述縮減表示進(jìn)行編碼包括：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中縮減所述點(diǎn)云幾何結(jié)構(gòu)并對所述點(diǎn)云幾何結(jié)構(gòu)進(jìn)行編碼，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行縮減的所述次數(shù)，每個階段包括縮減步驟和編碼部分。

9.根據(jù)權(quán)利要求1所述的方法，其中縮減所述點(diǎn)云幾何結(jié)構(gòu)的所述表示并對所述縮減表示進(jìn)行編碼包括：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中縮減所述點(diǎn)云幾何結(jié)構(gòu)，并且被訓(xùn)練為隨后對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行縮減的所述次數(shù)，每個階段包括縮減步驟。

10.一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的設(shè)備，所述設(shè)備包括：

11.根據(jù)權(quán)利要求10所述的設(shè)備，其中為了確定對所述表示進(jìn)行縮減的所述次數(shù)，所述一個或多個處理器被配置為：根據(jù)所述點(diǎn)云幾何結(jié)構(gòu)的用例、比特要求或點(diǎn)云類型中的至少一者，確定對所述表示進(jìn)行縮減的所述次數(shù)。

12.根據(jù)權(quán)利要求10所述的設(shè)備，其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼，所述一個或多個處理器被配置為：對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行無損編碼。

13.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述一個或多個處理器被進(jìn)一步配置為：使用有損編碼對與所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示對應(yīng)的特征進(jìn)行編碼。

14.根據(jù)權(quán)利要求10所述的設(shè)備，其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼，所述一個或多個處理器被配置為：使用幀內(nèi)(i幀)編碼、幀間(p幀)編碼或雙向幀間(b幀)編碼中的一者對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼。

15.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示包括當(dāng)前幀的點(diǎn)云幾何結(jié)構(gòu)的縮減表示，并且其中所述一個或多個處理器被進(jìn)一步配置為：對與所述點(diǎn)云幾何結(jié)構(gòu)對應(yīng)的特征進(jìn)行編碼，其中為了對所述特征進(jìn)行編碼，所述一個或多個處理器被配置為：

16.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述一個或多個處理器被進(jìn)一步配置為：對表示所述點(diǎn)云幾何結(jié)構(gòu)的所述表示被縮減的所述次數(shù)的數(shù)據(jù)進(jìn)行編碼。

17.根據(jù)權(quán)利要求10所述的設(shè)備，其中為了縮減所述點(diǎn)云幾何結(jié)構(gòu)的所述表示并對所述縮減表示進(jìn)行編碼，所述一個或多個處理器被配置為：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中縮減所述點(diǎn)云幾何結(jié)構(gòu)并對所述點(diǎn)云幾何結(jié)構(gòu)進(jìn)行編碼，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行縮減的所述次數(shù)，每個階段包括縮減步驟和編碼部分。

18.根據(jù)權(quán)利要求10所述的設(shè)備，其中為了縮減所述點(diǎn)云幾何結(jié)構(gòu)的所述表示并對所述縮減表示進(jìn)行編碼，所述一個或多個處理器被配置為：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中縮減所述點(diǎn)云幾何結(jié)構(gòu)，并且被訓(xùn)練為隨后對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行編碼，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行縮減的所述次數(shù)，每個階段包括縮減步驟。

19.一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行編碼的設(shè)備，所述設(shè)備包括：

20.一種對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括：

21.根據(jù)權(quán)利要求20所述的方法，其中確定對所述縮減表示進(jìn)行放大的所述次數(shù)包括：根據(jù)所述點(diǎn)云幾何結(jié)構(gòu)的用例、比特要求或點(diǎn)云類型中的至少一者，確定對所述縮減表示進(jìn)行放大的所述次數(shù)。

22.根據(jù)權(quán)利要求20所述的方法，其中確定對所述縮減表示進(jìn)行放大的所述次數(shù)包括：對表示所述點(diǎn)云幾何結(jié)構(gòu)的所述表示被縮減的所述次數(shù)的數(shù)據(jù)進(jìn)行解碼。

23.根據(jù)權(quán)利要求20所述的方法，其中對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼包括：使用幀內(nèi)(i幀)解碼、幀間(p幀)解碼或雙向幀間(b幀)解碼中的一者對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼。

24.根據(jù)權(quán)利要求20所述的方法，其中所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示包括當(dāng)前幀的點(diǎn)云幾何結(jié)構(gòu)的縮減表示，所述方法還包括：對與所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示對應(yīng)的特征進(jìn)行解碼，包括：

25.根據(jù)權(quán)利要求20所述的方法，其中將所述點(diǎn)云幾何結(jié)構(gòu)的所述表示放大所述次數(shù)還包括：在每次放大之后修剪虛假體素并使用二元分類提取真實(shí)占用體素。

26.根據(jù)權(quán)利要求20所述的方法，其中對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼并放大所述表示包括：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中對所述點(diǎn)云幾何結(jié)構(gòu)進(jìn)行解碼并放大所述點(diǎn)云幾何結(jié)構(gòu)，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行放大的所述次數(shù)，每個階段包括解碼步驟和放大部分。

27.根據(jù)權(quán)利要求20所述的方法，其中對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼并放大所述縮減表示包括：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行解碼，然后放大所述點(diǎn)云幾何結(jié)構(gòu)，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行放大的所述次數(shù)。

28.一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的設(shè)備，所述設(shè)備包括：

29.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了確定對所述縮減表示進(jìn)行放大的所述次數(shù)，所述一個或多個處理器被配置為：根據(jù)所述點(diǎn)云幾何結(jié)構(gòu)的用例、比特要求或點(diǎn)云類型中的至少一者，確定對所述縮減表示進(jìn)行放大的所述次數(shù)。

30.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了確定對所述縮減表示進(jìn)行放大的所述次數(shù)，所述一個或多個處理器被配置為：對表示所述點(diǎn)云幾何結(jié)構(gòu)的所述表示被縮減的所述次數(shù)的數(shù)據(jù)進(jìn)行解碼。

31.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼，所述一個或多個處理器被配置為：使用幀內(nèi)(i幀)解碼、幀間(p幀)解碼或雙向幀間(b幀)解碼中的一者對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼。

32.根據(jù)權(quán)利要求28所述的設(shè)備，其中所述點(diǎn)云幾何結(jié)構(gòu)的所述表示包括當(dāng)前幀的點(diǎn)云幾何結(jié)構(gòu)的縮減表示，并且其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼，所述一個或多個處理器被配置為：

33.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了將所述點(diǎn)云幾何結(jié)構(gòu)的所述表示放大所述次數(shù)，所述一個或多個處理器被配置為：在每次放大之后修剪虛假體素并使用二元分類提取真實(shí)占用體素。

34.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼并放大所述表示，所述一個或多個處理器被配置為：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中對所述點(diǎn)云幾何結(jié)構(gòu)進(jìn)行解碼并放大所述點(diǎn)云幾何結(jié)構(gòu)，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行放大的所述次數(shù)，每個階段包括解碼步驟和放大部分。

35.根據(jù)權(quán)利要求28所述的設(shè)備，其中為了對所述點(diǎn)云幾何結(jié)構(gòu)的所述縮減表示進(jìn)行解碼并放大所述縮減表示，所述一個或多個處理器被配置為：執(zhí)行神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為在數(shù)個階段中對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行解碼，然后放大所述點(diǎn)云幾何結(jié)構(gòu)，所述數(shù)個階段等于對所述點(diǎn)云幾何結(jié)構(gòu)的所述表示進(jìn)行放大的所述次數(shù)。

36.一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的設(shè)備，所述設(shè)備包括：

技術(shù)總結(jié)
一種用于對點(diǎn)云數(shù)據(jù)進(jìn)行解碼的示例設(shè)備包括：存儲器，該存儲器被配置為存儲點(diǎn)云數(shù)據(jù)；和一個或多個處理器，該一個或多個處理器在電路系統(tǒng)中實(shí)現(xiàn)并且被配置為：確定對點(diǎn)云幾何結(jié)構(gòu)的縮減經(jīng)編碼表示進(jìn)行放大的次數(shù)；對該點(diǎn)云幾何結(jié)構(gòu)的該縮減經(jīng)編碼表示進(jìn)行解碼；將該點(diǎn)云幾何結(jié)構(gòu)的該縮減表示放大該次數(shù)以形成該點(diǎn)云幾何結(jié)構(gòu)的放大表示；以及使用該點(diǎn)云幾何結(jié)構(gòu)的該放大表示再現(xiàn)點(diǎn)云。

技術(shù)研發(fā)人員：A·阿赫塔爾,G·范德奧韋拉,A·K·拉馬蘇布拉莫尼安,M·卡爾切維奇,L·法姆范
受保護(hù)的技術(shù)使用者：高通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2