本申請涉及三維重建，尤其涉及一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、近年來，隨著虛擬現(xiàn)實/增強(qiáng)現(xiàn)實、數(shù)字地球、高精度地圖、城市規(guī)劃設(shè)計等眾多領(lǐng)域的發(fā)展，數(shù)字地面模型和場景三維模型作為重要的基礎(chǔ)數(shù)據(jù)，其重建技術(shù)在這些領(lǐng)域中顯得更加關(guān)鍵并且呈現(xiàn)出多樣化的趨勢。

2、當(dāng)前三維重建的主流手段包括基于激光點(diǎn)云和基于光學(xué)影像的方法?；诩す恻c(diǎn)云的采集設(shè)備通常價格昂貴、采集成本高，相比之下光學(xué)影像則有著更加經(jīng)濟(jì)、便捷、靈活的優(yōu)勢?；诠鈱W(xué)影像的傳統(tǒng)數(shù)字地面模型重建方法，主要依賴于基于立體視差的攝影測量技術(shù)。然而，這種方法在影像紋理較差或存在遮擋的區(qū)域（如水體、建筑陰影等）容易失效，導(dǎo)致數(shù)字地面模型的重建精度受限，模型重建精度也有待提升。

3、因此，如何有效提高地面三維重建的數(shù)字地面模型精度，成為一個亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本申請的主要目的在于提供一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲介質(zhì)，旨在解決如何有效提高地面三維重建的數(shù)字地面模型精度的技術(shù)問題。

2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，該方法包括：

3、將目標(biāo)地區(qū)對應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場模型獲得所述目標(biāo)地區(qū)對應(yīng)的場景信息；

4、根據(jù)所述場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；

5、基于所述物理成像模型對所述預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型；

6、通過所述目標(biāo)神經(jīng)輻射場模型確定所述目標(biāo)地區(qū)的場景高程信息，生成所述目標(biāo)地區(qū)對應(yīng)的地面三維重建模型。

7、在一實施例中，所述根據(jù)所述場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

8、根據(jù)所述場景信息對應(yīng)的密度場信息確定所述目標(biāo)地區(qū)內(nèi)場景物體對應(yīng)的初始法向量；

9、基于所述目標(biāo)地區(qū)對應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場信息對所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量；

10、根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型。

11、在一實施例中，所述基于所述目標(biāo)地區(qū)對應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場信息對所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量的步驟，包括：

12、基于所述目標(biāo)地區(qū)對應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場信息確定目標(biāo)射線方向；

13、根據(jù)所述目標(biāo)射線方向?qū)λ龀跏挤ㄏ蛄窟M(jìn)行方向優(yōu)化，獲得優(yōu)化法向量。

14、在一實施例中，所述根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

15、基于所述優(yōu)化法向量確定球諧函數(shù)基；

16、根據(jù)所述場景信息對應(yīng)的反照率、所述密度場信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型。

17、在一實施例中，所述根據(jù)所述場景信息對應(yīng)的反照率、所述密度場信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

18、根據(jù)所述場景信息對應(yīng)的陰影標(biāo)量和所述密度場信息確定所述目標(biāo)地區(qū)對應(yīng)的目標(biāo)光照系數(shù)；

19、基于所述場景信息對應(yīng)的反照率和所述密度場信息確定所述目標(biāo)地區(qū)內(nèi)場景物體表面對應(yīng)的點(diǎn)反射率；

20、根據(jù)點(diǎn)反射率、所述球諧函數(shù)基和所述目標(biāo)光照系數(shù)構(gòu)建所述物理成像模型。

21、在一實施例中，所述根據(jù)所述場景信息對應(yīng)的陰影標(biāo)量和所述密度場信息確定所述目標(biāo)地區(qū)對應(yīng)的目標(biāo)光照系數(shù)的步驟，包括：

22、基于所述密度場信息確定所述采樣射線的采樣點(diǎn)權(quán)重；

23、根據(jù)所述場景信息對應(yīng)的陰影標(biāo)量和所述采樣點(diǎn)權(quán)重確定所述采樣射線對應(yīng)目標(biāo)像素處的像素陰影量；

24、基于所述像素陰影量確定所述目標(biāo)地區(qū)對應(yīng)的目標(biāo)光照系數(shù)。

25、在一實施例中，所述基于所述物理成像模型對所述預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型的步驟，還包括：

26、基于所述物理成像模型生成所述目標(biāo)地區(qū)對應(yīng)的場景合成圖像；

27、根據(jù)所述場景信息生成所述目標(biāo)地區(qū)對應(yīng)的場景渲染圖像；

28、基于所述衛(wèi)星影像數(shù)據(jù)對應(yīng)的真值圖像、所述場景合成圖像和所述場景渲染圖像確定初步重建損失；

29、根據(jù)預(yù)設(shè)法向優(yōu)化約束和所述初步重建損失對所述預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行模型迭代，獲得目標(biāo)神經(jīng)輻射場模型。

30、此外，為實現(xiàn)上述目的，本申請還提出一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置，基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置包括：

31、密度場分析模塊，用于將目標(biāo)地區(qū)對應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場模型獲得所述目標(biāo)地區(qū)對應(yīng)的場景信息；

32、場景分析模塊，用于根據(jù)所述場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；

33、優(yōu)化模塊，用于基于所述物理成像模型對所述預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型；

34、三維重建模塊，用于通過所述目標(biāo)神經(jīng)輻射場模型確定所述目標(biāo)地區(qū)的場景高程信息，生成所述目標(biāo)地區(qū)對應(yīng)的地面三維重建模型。

35、此外，為實現(xiàn)上述目的，本申請還提出一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備，設(shè)備包括：存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的地面三維重建程序，地面三維重建程序配置為實現(xiàn)如上文的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

36、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，存儲介質(zhì)為存儲介質(zhì)，存儲介質(zhì)上存儲有地面三維重建程序，地面三維重建程序被處理器執(zhí)行時實現(xiàn)如上文的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

37、本申請?zhí)峁┝艘环N基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲介質(zhì)，該方法包括：將目標(biāo)地區(qū)對應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場模型獲得目標(biāo)地區(qū)對應(yīng)的場景信息；根據(jù)場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；基于物理成像模型對預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型；通過目標(biāo)神經(jīng)輻射場模型確定目標(biāo)地區(qū)的場景高程信息，生成目標(biāo)地區(qū)對應(yīng)的地面三維重建模型。本申請首先獲取目標(biāo)地區(qū)的衛(wèi)星影像數(shù)據(jù)對應(yīng)的多視角采樣光線數(shù)據(jù)，即上述衛(wèi)星采樣光線數(shù)據(jù)，再將衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場模型以對目標(biāo)地區(qū)的衛(wèi)星影像數(shù)據(jù)的三維場景信息進(jìn)行分析，獲得目標(biāo)地區(qū)對應(yīng)的場景信息來優(yōu)化圖像紋理，然后基于場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型，以基于物理成像模型對預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，最后基于優(yōu)化后的目標(biāo)神經(jīng)輻射場模型預(yù)測精準(zhǔn)的場景信息，進(jìn)而基于精準(zhǔn)的場景信息確定目標(biāo)地區(qū)對應(yīng)的高精度高程信息，從而顯著提升最終生成的數(shù)字地面三維重建模型的精度。

技術(shù)特征：

1.一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

3.如權(quán)利要求2所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述基于所述目標(biāo)地區(qū)對應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場信息對所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量的步驟，包括：

4.如權(quán)利要求2所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

5.如權(quán)利要求4所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場景信息對應(yīng)的反照率、所述密度場信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

6.如權(quán)利要求5所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場景信息對應(yīng)的陰影標(biāo)量和所述密度場信息確定所述目標(biāo)地區(qū)對應(yīng)的目標(biāo)光照系數(shù)的步驟，包括：

7.如權(quán)利要求1所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述基于所述物理成像模型對所述預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型的步驟，還包括：

8.一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置，其特征在于，所述基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置包括：

9.一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備，其特征在于，所述基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的地面三維重建程序，所述地面三維重建程序配置為實現(xiàn)如權(quán)利要求1至7中任一項所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

10.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為存儲介質(zhì)，所述存儲介質(zhì)上存儲有地面三維重建程序，所述地面三維重建程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

技術(shù)總結(jié)
本申請公開了一種基于神經(jīng)輻射場和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲介質(zhì)，本申請涉及三維重建技術(shù)領(lǐng)域，該方法包括：將目標(biāo)地區(qū)對應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場模型獲得場景信息；根據(jù)場景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；基于物理成像模型對預(yù)設(shè)神經(jīng)輻射場模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場模型；通過目標(biāo)神經(jīng)輻射場模型確定目標(biāo)地區(qū)的場景高程信息，生成目標(biāo)地區(qū)對應(yīng)的地面三維重建模型。本申請基于衛(wèi)星影像光線數(shù)據(jù)獲取的場景信息構(gòu)建物理成像模型，再通過物理成像模型優(yōu)化預(yù)設(shè)神經(jīng)輻射場模型，從而基于優(yōu)化后的目標(biāo)神經(jīng)輻射場模型確定高精度的場景高程信息，提升地面三維模型的重建精度。

技術(shù)研發(fā)人員：李雨順,胡志華,潘志庚,張考,蔡創(chuàng)新
受保護(hù)的技術(shù)使用者：南京信息工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2