本發(fā)明涉及三維建模，尤其涉及一種基于點(diǎn)云融合的三維建模方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、實(shí)景三維模型已經(jīng)廣泛應(yīng)用于各類場站的管理、巡檢、分析、可視化中，成為現(xiàn)代化數(shù)字系統(tǒng)不可缺少的部分。在實(shí)景三維模型的構(gòu)建過程中，目前廣泛采用基于無人機(jī)攝影測量的方案，即外業(yè)使用無人機(jī)采集場景影像，內(nèi)業(yè)基于影像生成三維場景，進(jìn)而生產(chǎn)單體化模型。但在變電場站等設(shè)備密集、遮擋嚴(yán)重的場景中，部分設(shè)備不具有使用無人機(jī)等設(shè)備采集所有視角影像的條件。因此，對于相同類型的設(shè)備，不同設(shè)備實(shí)例可獲取的影像不同，導(dǎo)致建模質(zhì)量也不統(tǒng)一。

2、而現(xiàn)有方法通常是在后續(xù)的單體化建模過程中，通過人工干預(yù)的方式，或者據(jù)建模對象的語義信息，使用參數(shù)化模型以及模型庫等方式對被遮擋設(shè)備丟失的信息進(jìn)行恢復(fù)。而使用單體化模型庫，需要提前構(gòu)建各種設(shè)備的三維模型進(jìn)行替換，在實(shí)際的應(yīng)用過程中，經(jīng)常出現(xiàn)模型缺失的問題。而使用參數(shù)化模型對丟失信息進(jìn)行恢復(fù)，則最終構(gòu)造出來的三維模型可能會(huì)出現(xiàn)質(zhì)量不一致的問題，因此，現(xiàn)有的方法通常仍需要人工進(jìn)行建模，建模效率低下。

3、因此，如何提高復(fù)雜遮擋場景的三維建模質(zhì)量以及效率，已成為當(dāng)下亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種基于點(diǎn)云融合的三維建模方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)，通過實(shí)時(shí)構(gòu)造各類設(shè)備類型的單體模型來進(jìn)行三維場景建模，既能夠在無需模型庫的情況下，對被遮擋的設(shè)備進(jìn)行三維建模，同時(shí)又能夠保障同一設(shè)備類型建模質(zhì)量的一致性，有效的提高了復(fù)雜遮擋場景的三維建模質(zhì)量以及建模效率。

2、本發(fā)明一實(shí)施例提供了一種基于點(diǎn)云融合的三維建模方法，包括：

3、獲取待建模場景在若干視角下的原始圖像、各原始圖像的位姿信息、以及待建模場景的場景點(diǎn)云；

4、其中，所述待建模場景中存在若干設(shè)備類型的設(shè)備實(shí)體，所述場景點(diǎn)云中包含各設(shè)備實(shí)體的設(shè)備點(diǎn)云；

5、根據(jù)所述位姿信息識別并標(biāo)識出所述原始圖像中各設(shè)備實(shí)體的設(shè)備類型，生成各所述原始圖像對應(yīng)的分割圖像；

6、根據(jù)所述分割圖像，依次從所述場景點(diǎn)云中提取同一設(shè)備類型下若干設(shè)備實(shí)體的設(shè)備點(diǎn)云；

7、將同一設(shè)備類型的設(shè)備點(diǎn)云進(jìn)行配準(zhǔn)融合，生成各設(shè)備類型的融合點(diǎn)云；

8、根據(jù)各設(shè)備類型的融合點(diǎn)云構(gòu)建各設(shè)備類型的設(shè)備單體模型；

9、根據(jù)所述場景點(diǎn)云以及所述設(shè)備單體模型，構(gòu)建所述待建模場景的三維場景模型。

10、進(jìn)一步的，所述根據(jù)所述位姿信息識別并標(biāo)識出所述原始圖像中各設(shè)備實(shí)體的設(shè)備類型，生成各所述原始圖像對應(yīng)的分割圖像，包括：

11、采用預(yù)設(shè)的圖像分割模型對所述原始圖像進(jìn)行圖像分割，識別所述原始圖像中的若干設(shè)備實(shí)體；

12、根據(jù)所述位姿信息，識別出不同原始圖像中的同一設(shè)備實(shí)體，并采用相同的設(shè)備標(biāo)識在各原始圖像中對同一設(shè)備實(shí)體進(jìn)行標(biāo)記，生成初始分割圖像；

13、識別所述初始分割圖像中每一設(shè)備實(shí)體的設(shè)備類型，并在所述初始分割圖像中標(biāo)識每一設(shè)備實(shí)體的設(shè)備類型，生成對應(yīng)的分割圖像。

14、進(jìn)一步的，所述根據(jù)所述位姿信息識別并標(biāo)識出所述原始圖像中各設(shè)備實(shí)體的設(shè)備類型，生成各所述原始圖像對應(yīng)的分割圖像，包括：

15、采用預(yù)設(shè)的實(shí)例分割模型，根據(jù)預(yù)設(shè)的若干設(shè)備類型，對所述原始圖像進(jìn)行語義分割，確定各原始圖像中的若干設(shè)備實(shí)體，以及標(biāo)識各設(shè)備實(shí)體的設(shè)備類型；

16、根據(jù)所述位姿信息，識別出不同原始圖像中的同一設(shè)備實(shí)體，并采用相同的設(shè)備標(biāo)識在各原始圖像中對同一設(shè)備實(shí)體進(jìn)行標(biāo)記，生成分割圖像。

17、進(jìn)一步的，所述將同一設(shè)備類型的設(shè)備點(diǎn)云進(jìn)行配準(zhǔn)融合，生成各設(shè)備類型的融合點(diǎn)云，包括：

18、根據(jù)同一設(shè)備類型的設(shè)備點(diǎn)云進(jìn)行配準(zhǔn)融合，生成各設(shè)備類型的初始融合點(diǎn)云；

19、獲取各設(shè)備類型預(yù)設(shè)的驗(yàn)證點(diǎn)云的若干第一特征點(diǎn)，以及所述初始融合點(diǎn)云的若干第二特征點(diǎn)；

20、采用所述第一特征點(diǎn)對同一設(shè)備類型下的初始融合點(diǎn)云的第二特征點(diǎn)進(jìn)行一一匹配；

21、在確定一設(shè)備類型的初始融合點(diǎn)云存在若干第二特征點(diǎn)匹配失敗時(shí)，將若干匹配失敗的第二特征點(diǎn)所對應(yīng)的設(shè)備點(diǎn)云刪除，并根據(jù)所述設(shè)備類型下剩余的設(shè)備點(diǎn)云生成所述設(shè)備類型的融合點(diǎn)云；

22、在確定一設(shè)備類型的初始融合點(diǎn)云的所有第二特征點(diǎn)均匹配成功時(shí)，將所述初始融合點(diǎn)云作為所述設(shè)備類型的融合點(diǎn)云。

23、進(jìn)一步的，所述獲取各設(shè)備類型預(yù)設(shè)的驗(yàn)證點(diǎn)云的若干第一特征點(diǎn)，包括：

24、獲取所述分割圖像中各設(shè)備實(shí)體的實(shí)體圖像；

25、計(jì)算各實(shí)體圖像的像素區(qū)域占所在的分割圖像的比例，生成每一分割圖像中各實(shí)體圖像的像素比例；

26、根據(jù)所述像素比例，確定各分割圖像中不同設(shè)備類型的最優(yōu)實(shí)體圖像，并根據(jù)所述最優(yōu)實(shí)體圖像構(gòu)建各設(shè)備類型的實(shí)體圖像清單；

27、根據(jù)各設(shè)備類型的實(shí)體圖像清單，生成各設(shè)備類型的驗(yàn)證點(diǎn)云，并提取各驗(yàn)證點(diǎn)云的若干第一特征點(diǎn)。

28、進(jìn)一步的，所述根據(jù)所述像素比例，確定各分割圖像中不同設(shè)備類型的最優(yōu)實(shí)體圖像，包括：

29、將各分割圖像中同一設(shè)備類型下若干實(shí)體圖像的像素比例進(jìn)行比較；

30、將像素比例大于預(yù)設(shè)閾值且像素比例最大的實(shí)體圖像，確定為各分割圖像中對應(yīng)設(shè)備類型的最優(yōu)實(shí)體圖像。

31、進(jìn)一步的，所述根據(jù)各設(shè)備類型的融合點(diǎn)云構(gòu)建各設(shè)備類型的設(shè)備單體模型，包括：

32、根據(jù)所述各設(shè)備類型的融合點(diǎn)云構(gòu)建各設(shè)備類型的初始單體模型；

33、識別融合點(diǎn)云中各點(diǎn)在所述原始圖像中對應(yīng)的像素位置，并根據(jù)所述像素位置，對所述初始單體模型進(jìn)行紋理貼圖以及色彩調(diào)整，生成設(shè)備單體模型。

34、本發(fā)明另一實(shí)施例提供了一種基于點(diǎn)云融合的三維建模裝置，包括：

35、數(shù)據(jù)獲取模塊，用于獲取待建模場景在若干視角下的原始圖像、各原始圖像的位姿信息、以及待建模場景的場景點(diǎn)云；

36、其中，所述待建模場景中存在若干設(shè)備類型的設(shè)備實(shí)體，所述場景點(diǎn)云中包含各設(shè)備實(shí)體的設(shè)備點(diǎn)云；

37、圖像分割模塊，用于根據(jù)所述位姿信息識別并標(biāo)識出所述原始圖像中各設(shè)備實(shí)體的設(shè)備類型，生成各所述原始圖像對應(yīng)的分割圖像；

38、點(diǎn)云提取模塊，用于根據(jù)所述分割圖像，依次從所述場景點(diǎn)云中提取同一設(shè)備類型下若干設(shè)備實(shí)體的設(shè)備點(diǎn)云；

39、點(diǎn)云融合模塊，用于將同一設(shè)備類型的設(shè)備點(diǎn)云進(jìn)行配準(zhǔn)融合，生成各設(shè)備類型的融合點(diǎn)云；

40、第一模型構(gòu)建模塊，用于根據(jù)各設(shè)備類型的融合點(diǎn)云構(gòu)建各設(shè)備類型的設(shè)備單體模型；

41、第二模型構(gòu)建模塊，用于根據(jù)所述場景點(diǎn)云以及所述設(shè)備單體模型，構(gòu)建所述待建模場景的三維場景模型。

42、本發(fā)明另一實(shí)施例提供了一種終端設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如所述任意一項(xiàng)實(shí)施例所述的一種基于點(diǎn)云融合的三維建模方法。

43、本發(fā)明另一實(shí)施例提供了一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如上述任意一項(xiàng)實(shí)施例所述的一種基于點(diǎn)云融合的三維建模方法。

44、通過實(shí)施本發(fā)明具有如下有益效果：

45、本發(fā)明公開了一種基于點(diǎn)云融合的三維建模方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)，所述方法根據(jù)位姿信息識別并標(biāo)識出原始圖像中各設(shè)備實(shí)體的設(shè)備類型，生成各原始圖像對應(yīng)的分割圖像；根據(jù)分割圖像，依次從場景點(diǎn)云中提取同一設(shè)備類型下若干設(shè)備實(shí)體的設(shè)備點(diǎn)云；將同一設(shè)備類型的設(shè)備點(diǎn)云進(jìn)行配準(zhǔn)融合，生成各設(shè)備類型的融合點(diǎn)云；根據(jù)各設(shè)備類型的融合點(diǎn)云構(gòu)建各設(shè)備類型的設(shè)備單體模型；根據(jù)場景點(diǎn)云以及設(shè)備單體模型，構(gòu)建待建模場景的三維場景模型。因此，本發(fā)明通過實(shí)時(shí)構(gòu)造各類設(shè)備類型的單體模型來進(jìn)行三維場景建模，既能夠在無需模型庫的情況下，對被遮擋的設(shè)備進(jìn)行三維建模，同時(shí)又能夠保障同一設(shè)備類型建模質(zhì)量的一致性，有效的提高了復(fù)雜遮擋場景的三維建模質(zhì)量以及建模效率。