本申請涉及計算機視覺和深度學(xué)習(xí)領(lǐng)域，特別是涉及一種基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法、計算機設(shè)備和程序產(chǎn)品。

背景技術(shù)：

1、從2d的圖片建立起對整個3d場景的語義等信息的理解是十分有必要的，然而，僅僅使用2d分割模型直接對圖片進行分割，會缺少3d信息，從而難以對場景建立起整體的認(rèn)知。

2、現(xiàn)有的全景分割模型往往存在以下三個問題：1)難以產(chǎn)生具有3d一致性的分割結(jié)果，即對于同一個物體在不同視角下的分割結(jié)果不同。2)訓(xùn)練速度過慢，目前的方法往往需要長達24小時以及以上的時間用于訓(xùn)練。3)渲染速度慢，一秒只能渲染十多張分割圖。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法。

2、本申請基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法，包括：

3、將同一場景不同視角的多張輸入圖像輸入至2d預(yù)訓(xùn)練分割模型，獲得2d語義分割圖和2d實例分割圖，根據(jù)所述輸入圖像獲得對應(yīng)所述輸入圖像的相機參數(shù)，根據(jù)所述輸入圖像獲得基于3d高斯場景的3d高斯初始表達，所述3d高斯初始表達是由多個高斯橢球隨機初始化形成的場景；

4、基于所述相機參數(shù)，獲得所述3d高斯初始表達在相應(yīng)視角下投影獲得的2d高斯表達，所述2d高斯表達包括顏色信息、語義信息和實例信息；

5、根據(jù)所述顏色信息獲得第一生成圖像，根據(jù)所述語義信息獲得第二生成圖像，根據(jù)所述實例信息獲得第三生成圖像；

6、利用預(yù)設(shè)損失參數(shù)訓(xùn)練優(yōu)化3d高斯場景表達，獲得訓(xùn)練完成的3d高斯分割模型，所述預(yù)設(shè)損失參數(shù)包括：所述第一生成圖像與相應(yīng)輸入圖像的第一預(yù)設(shè)損失、所述第二生成圖像與相應(yīng)所述2d語義分割圖的第二預(yù)設(shè)損失、所述第三生成圖像與映射實例分割結(jié)果的第三預(yù)設(shè)損失，所述映射實例分割結(jié)果經(jīng)由所述第三生成圖像與相應(yīng)所述2d實例分割圖通過匹配映射獲得；

7、基于所述3d高斯分割模型，獲得3d高斯全景分割結(jié)果，所述3d高斯全景分割結(jié)果包括3d高斯場景的語義分割信息和實例分割信息。

8、可選的，根據(jù)所述輸入圖像獲得基于3d高斯場景的3d高斯初始表達，所述3d高斯初始表達是由多個高斯橢球隨機初始化形成的場景，具體包括：

9、根據(jù)所述輸入圖像獲得基于3d高斯場景的初始點云，基于所述初始點云獲得場景的3d高斯初始表達。

10、可選的，所述映射實例分割結(jié)果經(jīng)由所述第三生成圖像與相應(yīng)所述2d實例分割圖通過匹配映射獲得，具體包括：

11、將所述2d實例分割圖每個像素的實例id匹配映射至所述第三生成圖像，得到用于監(jiān)督的映射實例分割結(jié)果。

12、可選的，基于所述初始點云獲得場景的3d高斯初始表達，具體包括：將每個初始點云的位置視作一個高斯橢球的中心，對所述高斯橢球的形狀隨機初始化，獲得由多個形狀各異的高斯橢球組成的場景，從而獲得3d高斯初始表達。

13、可選的，基于所述相機參數(shù)，獲得所述3d高斯初始表達在相應(yīng)視角下投影獲得的2d高斯表達，所述2d高斯表達包括顏色信息、語義信息和實例信息，具體包括：

14、基于所述相機參數(shù)，將所述3d高斯初始表達中的各個高斯橢球投影至與所述相機參數(shù)相對應(yīng)的2d平面，使所述高斯橢球投影為高斯橢圓，各所述高斯橢圓在所述2d平面上形成顏色信息、語義信息和實例信息。

15、可選的，根據(jù)所述顏色信息獲得第一生成圖像，具體包括：將所述高斯橢圓經(jīng)過高斯可微光柵化，混合各個像素點的顏色信息，從而獲得所述第一生成圖像；

16、根據(jù)所述語義信息獲得第二生成圖像，具體包括：將所述高斯橢圓經(jīng)過高斯可微光柵化，混合各個像素點的語義信息，從而獲得所述第二生成圖像。

17、可選的，各個像素點的語義信息，利用下式進行獲得：

18、

19、式中，

20、κp表示像素p對應(yīng)的語義信息；

21、ls表示神經(jīng)網(wǎng)絡(luò)，用于將語義編碼映射為對應(yīng)各種語義的概率分布；

22、ei表示第i個高斯球?qū)?yīng)的顏色信息；

23、α′i(p)表示第i個高斯球在像素p對應(yīng)的不透明度；

24、α′j表示第j個高斯球的不透明度。

25、可選的，根據(jù)所述實例信息獲得第三生成圖像，具體包括：

26、將所述高斯橢圓經(jīng)過高斯可微光柵化，混合各個像素點的實例信息，獲得第三生成圖像。

27、可選的，所述第三預(yù)設(shè)損失利用下式獲得：

28、

29、其中，為所述第三預(yù)設(shè)損失，用于表示實例損失；

30、|i|表示圖像的像素個數(shù)；

31、wp表示2d預(yù)訓(xùn)練分割模型預(yù)測的每個像素的置信度；

32、h表示的是第h個實例；

33、πp表示渲染得到的第p個像素對應(yīng)第p類實例的概率；

34、是2d預(yù)訓(xùn)練分割模型預(yù)測的p個像素對應(yīng)第p類實例的概率；

35、是將所述2d實例分割圖通過線性匹配映射的方式，獲得映射實例分割結(jié)果：

36、

37、其中，表示選擇的映射；

38、πi表示當(dāng)前映射；

39、hi表示圖像的所有實例；

40、|ih|表示圖像對應(yīng)h實例的像素個數(shù)；

41、πi(h)表示第h個實例被映射到的實例編號；

42、wp表示2d預(yù)訓(xùn)練分割模型預(yù)測的每個像素的置信度；

43、h表示的是第h個實例；

44、πp表示渲染得到的第p個像素對應(yīng)第p類實例的概率。

45、本申請還提供一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執(zhí)行所述計算機程序以實現(xiàn)本申請所述的基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法的步驟。

46、本申請還提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)本申請所述的基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法的步驟。

47、本申請還提供一種計算機程序產(chǎn)品，包括計算機指令，該計算機指令被處理器執(zhí)行時實現(xiàn)本申請所述的基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法的步驟。

48、本申請基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法至少具有以下效果：

49、本申請訓(xùn)練優(yōu)化后的3d高斯場景表達能符合圖片所對應(yīng)的現(xiàn)實場景。具體通過第一預(yù)設(shè)損失優(yōu)化3d高斯表達，以完成該過程。在此基礎(chǔ)上，通過第二預(yù)設(shè)損失，進一步優(yōu)化場景的語義表示；通過第三預(yù)設(shè)損失，進一步優(yōu)化場景的實例表示。優(yōu)化完成后的模型具有能擬合現(xiàn)實的場景的語義和實例信息，即可用以獲取整個場景的全景表達，即完成整個方法流程。

技術(shù)特征：

1.基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法，其特征在于，包括：

2.如權(quán)利要求1所述的3d高斯全景分割方法，其特征在于，根據(jù)所述輸入圖像獲得基于3d高斯場景的3d高斯初始表達，所述3d高斯初始表達是由多個高斯橢球隨機初始化形成的場景，具體包括：

3.如權(quán)利要求2所述的3d高斯全景分割方法，其特征在于，基于所述初始點云獲得場景的3d高斯初始表達，具體包括：將每個初始點云的位置視作一個高斯橢球的中心，對所述高斯橢球的形狀隨機初始化，獲得由多個形狀各異的高斯橢球組成的場景，從而獲得3d高斯初始表達。

4.如權(quán)利要求1所述的3d高斯全景分割方法，其特征在于，基于所述相機參數(shù)，獲得所述3d高斯初始表達在相應(yīng)視角下投影獲得的2d高斯表達，所述2d高斯表達包括顏色信息、語義信息和實例信息，具體包括：

5.如權(quán)利要求4所述的3d高斯全景分割方法，其特征在于，

6.如權(quán)利要求5所述的3d高斯全景分割方法，其特征在于，根據(jù)所述實例信息獲得第三生成圖像，具體包括：

7.如權(quán)利要求1所述的3d高斯全景分割方法，其特征在于，所述映射實例分割結(jié)果經(jīng)由所述第三生成圖像與相應(yīng)所述2d實例分割圖通過匹配映射獲得，具體包括：

8.如權(quán)利要求7所述的3d高斯全景分割方法，其特征在于，所述第三預(yù)設(shè)損失利用下式獲得：

9.計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序以實現(xiàn)如權(quán)利要求1～8任一項基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法的步驟。

10.計算機程序產(chǎn)品，包括計算機指令，其特征在于，該計算機指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1～8任一項所述的基于2d預(yù)訓(xùn)練分割模型監(jiān)督的3d高斯全景分割方法的步驟。

技術(shù)總結(jié)
本申請涉及一種基于2D預(yù)訓(xùn)練分割模型監(jiān)督的3D高斯全景分割方法、計算機設(shè)備和程序產(chǎn)品，3D高斯全景分割方法包括：將同一場景不同視角的多張輸入圖像輸入至2D預(yù)訓(xùn)練分割模型，獲得2D語義分割圖和2D實例分割圖，獲得基于3D高斯場景的3D高斯初始表達，3D高斯初始表達是由多個高斯橢球隨機初始化形成的場景；獲得3D高斯初始表達在相應(yīng)視角下投影獲得的2D高斯表達；根據(jù)顏色信息獲得第一生成圖像，根據(jù)語義信息獲得第二生成圖像，根據(jù)實例信息獲得第三生成圖像；利用預(yù)設(shè)損失參數(shù)訓(xùn)練優(yōu)化3D高斯場景表達，獲得訓(xùn)練完成的3D高斯分割模型；基于3D高斯分割模型，獲得3D高斯場景的語義分割信息和實例分割信息。

技術(shù)研發(fā)人員：趙磊,馬騁,莫竣程,林懷忠,張占杰,李光遠(yuǎn),孫嘉鍇,尹浩霖,藍(lán)澤鏵,張權(quán)威,王永康,陳嘉芙,褚天易,饒晨,焦涵,賈世安,張瑋婧,邢衛(wèi)
受保護的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6