本發(fā)明涉及圖像處理，具體涉及一種三維重建方法及系統(tǒng)。

背景技術(shù)：

1、三維重建技術(shù)用于從二維圖像中恢復(fù)出三維場(chǎng)景的結(jié)構(gòu)，三維重建技術(shù)在游戲開發(fā)、電影制作和文物保護(hù)等方面具有廣泛的應(yīng)用前景。

2、目前現(xiàn)有的三維重建技術(shù)為：根據(jù)稀疏重建得到的稀疏點(diǎn)云和rgb圖計(jì)算深度圖，再利用深度圖進(jìn)行密集重建來得到密集點(diǎn)云。但是前述三維重建的過程中，深度圖常常出現(xiàn)大面積缺失等質(zhì)量問題，這就會(huì)影響密集重建的精度，三維重建效果較差。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明實(shí)施例提供一種三維重建方法及系統(tǒng)，以解決現(xiàn)有的三維重建技術(shù)存在的三維重建效果較差等問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供如下技術(shù)方案：

3、本發(fā)明實(shí)施例第一方面公開一種三維重建方法，所述方法包括：

4、利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和所述相機(jī)的相機(jī)內(nèi)參；

5、通過所述畸變系數(shù)對(duì)所述第一圖片集包含的第一圖片進(jìn)行畸變矯正，得到第二圖片集；

6、計(jì)算稀疏點(diǎn)云，以及計(jì)算所述第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖；

7、對(duì)所述第一深度圖進(jìn)行離群點(diǎn)去除；

8、將去除離群點(diǎn)的所述第一深度圖輸入預(yù)先訓(xùn)練得到的深度補(bǔ)全網(wǎng)絡(luò)模型中進(jìn)行深度補(bǔ)全，得到優(yōu)化的第二深度圖；

9、根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，構(gòu)建所述待重建對(duì)象的最終三維模型。

10、優(yōu)選的，計(jì)算稀疏點(diǎn)云，以及計(jì)算所述第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖，包括：

11、將所述第二圖片集包含的第二圖片劃分為多個(gè)圖片組；

12、利用所述圖片組中各所述第二圖片的特征點(diǎn)之間的相似度，獲取得到多組匹配成功的特征點(diǎn)；

13、基于所述相機(jī)內(nèi)參、所述第二圖片集、所述圖片組和所述多組匹配成功的特征點(diǎn)，計(jì)算稀疏點(diǎn)云和所述第二圖片的相機(jī)外參；

14、根據(jù)所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，計(jì)算所述第二圖片對(duì)應(yīng)的第一深度圖。

15、優(yōu)選的，根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，構(gòu)建所述待重建對(duì)象的最終三維模型，包括：

16、根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，計(jì)算密集點(diǎn)云；

17、對(duì)所述密集點(diǎn)云進(jìn)行網(wǎng)格化，以得到所述待重建對(duì)象的初始三維模型；

18、利用所述第二圖片上的點(diǎn)到空間中的點(diǎn)的映射關(guān)系，將所述第二圖片的rgb像素映射到紋理空間，得到所述初始三維模型的紋理圖；

19、將所述紋理圖映射到所述初始三維模型上，以得到最終三維模型。

20、優(yōu)選的，對(duì)所述第一深度圖進(jìn)行離群點(diǎn)去除，包括：

21、識(shí)別所述第一深度圖中的有效點(diǎn)；

22、確定滿足預(yù)設(shè)異常條件的所述有效點(diǎn)為離群點(diǎn)；

23、剔除所述第一深度圖中的所述離群點(diǎn)。

24、優(yōu)選的，利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和所述相機(jī)的相機(jī)內(nèi)參，包括：

25、讀取由相機(jī)采集得到的待重建對(duì)象的第一圖片集包含的第一圖片的圖片元數(shù)據(jù)；

26、從所述圖片元數(shù)據(jù)中獲取畸變系數(shù)和所述相機(jī)的相機(jī)內(nèi)參。

27、優(yōu)選的，所述深度補(bǔ)全網(wǎng)絡(luò)模型至少包括：由深度殘差網(wǎng)絡(luò)構(gòu)成的編碼器，由多個(gè)上采樣模塊構(gòu)成的解碼器，由多個(gè)連續(xù)的卷積層構(gòu)成的局部網(wǎng)絡(luò)，精煉網(wǎng)絡(luò)。

28、本發(fā)明實(shí)施例第二方面公開一種三維重建系統(tǒng)，所述系統(tǒng)包括：

29、獲取單元，用于利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和所述相機(jī)的相機(jī)內(nèi)參；

30、矯正單元，用于通過所述畸變系數(shù)對(duì)所述第一圖片集包含的第一圖片進(jìn)行畸變矯正，得到第二圖片集；

31、計(jì)算單元，用于計(jì)算稀疏點(diǎn)云，以及計(jì)算所述第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖；

32、去除單元，用于對(duì)所述第一深度圖進(jìn)行離群點(diǎn)去除；

33、深度補(bǔ)全單元，用于將去除離群點(diǎn)的所述第一深度圖輸入預(yù)先訓(xùn)練得到的深度補(bǔ)全網(wǎng)絡(luò)模型中進(jìn)行深度補(bǔ)全，得到優(yōu)化的第二深度圖；

34、構(gòu)建單元，用于根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，構(gòu)建所述待重建對(duì)象的最終三維模型。

35、優(yōu)選的，所述計(jì)算單元包括：

36、劃分子單元，用于將所述第二圖片集包含的第二圖片劃分為多個(gè)圖片組；

37、獲取子單元，用于利用所述圖片組中各所述第二圖片的特征點(diǎn)之間的相似度，獲取得到多組匹配成功的特征點(diǎn)；

38、第一計(jì)算子單元，用于基于所述相機(jī)內(nèi)參、所述第二圖片集、所述圖片組和所述多組匹配成功的特征點(diǎn)，計(jì)算稀疏點(diǎn)云和所述第二圖片的相機(jī)外參；

39、第二計(jì)算子單元，用于根據(jù)所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，計(jì)算所述第二圖片對(duì)應(yīng)的第一深度圖。

40、優(yōu)選的，所述構(gòu)建單元包括：

41、計(jì)算子單元，用于根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，計(jì)算密集點(diǎn)云；

42、網(wǎng)格化子單元，用于對(duì)所述密集點(diǎn)云進(jìn)行網(wǎng)格化，以得到所述待重建對(duì)象的初始三維模型；

43、第一映射子單元，用于利用所述第二圖片上的點(diǎn)到空間中的點(diǎn)的映射關(guān)系，將所述第二圖片的rgb像素映射到紋理空間，得到所述初始三維模型的紋理圖；

44、第二映射子單元，用于將所述紋理圖映射到所述初始三維模型上，以得到最終三維模型。

45、優(yōu)選的，所述去除單元包括：

46、識(shí)別子單元，用于識(shí)別所述第一深度圖中的有效點(diǎn)；

47、確定子單元，用于確定滿足預(yù)設(shè)異常條件的所述有效點(diǎn)為離群點(diǎn)；

48、剔除子單元，用于剔除所述第一深度圖中的所述離群點(diǎn)。

49、基于上述本發(fā)明實(shí)施例提供的一種三維重建方法及系統(tǒng)，該方法為：利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和相機(jī)內(nèi)參；通過畸變系數(shù)對(duì)第一圖片集包含的第一圖片進(jìn)行畸變矯正，得到第二圖片集；計(jì)算稀疏點(diǎn)云，及計(jì)算第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖；對(duì)第一深度圖進(jìn)行離群點(diǎn)去除；將去除離群點(diǎn)的第一深度圖輸入深度補(bǔ)全網(wǎng)絡(luò)模型中進(jìn)行深度補(bǔ)全，得到優(yōu)化的第二深度圖；根據(jù)第二深度圖的深度信息、相機(jī)內(nèi)參、相機(jī)外參和稀疏點(diǎn)云，構(gòu)建待重建對(duì)象的最終三維模型。本方案中，計(jì)算得到第一深度圖后，先去除第一深度圖的離群點(diǎn)，再利用深度補(bǔ)全網(wǎng)絡(luò)模型來對(duì)去除了離群點(diǎn)的第一深度圖進(jìn)行深度補(bǔ)全以得到更為完整的第二深度圖，再利用第二深度圖來構(gòu)建待重建對(duì)象的最終三維模型，提高密集重建的精度和三維重建的效果。

技術(shù)特征：

1.一種三維重建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，計(jì)算稀疏點(diǎn)云，以及計(jì)算所述第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第二深度圖的深度信息、所述相機(jī)內(nèi)參、所述相機(jī)外參和所述稀疏點(diǎn)云，構(gòu)建所述待重建對(duì)象的最終三維模型，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)所述第一深度圖進(jìn)行離群點(diǎn)去除，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和所述相機(jī)的相機(jī)內(nèi)參，包括：

6.根據(jù)權(quán)利要求1-5中任一所述的方法，其特征在于，所述深度補(bǔ)全網(wǎng)絡(luò)模型至少包括：由深度殘差網(wǎng)絡(luò)構(gòu)成的編碼器，由多個(gè)上采樣模塊構(gòu)成的解碼器，由多個(gè)連續(xù)的卷積層構(gòu)成的局部網(wǎng)絡(luò)，精煉網(wǎng)絡(luò)。

7.一種三維重建系統(tǒng)，其特征在于，所述系統(tǒng)包括：

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述計(jì)算單元包括：

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述構(gòu)建單元包括：

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述去除單元包括：

技術(shù)總結(jié)
本發(fā)明提供了一種三維重建方法及系統(tǒng)，該方法為：利用由相機(jī)采集得到的待重建對(duì)象的第一圖片集，獲取畸變系數(shù)和相機(jī)內(nèi)參；通過畸變系數(shù)對(duì)第一圖片集包含的第一圖片進(jìn)行畸變矯正，得到第二圖片集；計(jì)算稀疏點(diǎn)云，及計(jì)算第二圖片集包含的第二圖片的相機(jī)外參和第一深度圖；對(duì)第一深度圖進(jìn)行離群點(diǎn)去除；將去除離群點(diǎn)的第一深度圖輸入深度補(bǔ)全網(wǎng)絡(luò)模型中進(jìn)行深度補(bǔ)全，得到優(yōu)化的第二深度圖；根據(jù)第二深度圖的深度信息、相機(jī)內(nèi)參、相機(jī)外參和稀疏點(diǎn)云，構(gòu)建待重建對(duì)象的最終三維模型。本方案通過離群點(diǎn)去除操作和深度補(bǔ)全網(wǎng)絡(luò)模型來得到更為完整的第二深度圖，再利用第二深度圖來構(gòu)建最終三維模型，提高密集重建的精度和三維重建的效果。

技術(shù)研發(fā)人員：張康,于洪舉,盧海波,宋施恩,楊杰,李大平
受保護(hù)的技術(shù)使用者：湖南快樂陽光互動(dòng)娛樂傳媒有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2