本發(fā)明涉及農(nóng)業(yè)信息化，尤其是涉及一種基于神經(jīng)輻射場(chǎng)的表型獲取方法及裝置。

背景技術(shù)：

1、植物的三維結(jié)構(gòu)是獲取植物表型信息的最直觀的方法，對(duì)于評(píng)估植物的生長(zhǎng)動(dòng)態(tài)、功能表現(xiàn)以及資源利用效率至關(guān)重要。因此，能夠快速且準(zhǔn)確地獲得植物的三維結(jié)構(gòu)對(duì)于進(jìn)行高通量的植物表型分析、推動(dòng)遺傳學(xué)研究以及優(yōu)化育種策略具有重要的研究意義。

2、目前的植物三維結(jié)構(gòu)方法主要分為基于傳感器和基于攝影測(cè)量的方法兩種?；趥鞲衅鞯姆椒ㄖ饕抢?d掃描儀等設(shè)備直接獲取高精度的植物三維點(diǎn)云，但這種方法的成本過(guò)高，且重建過(guò)程易受環(huán)境影響?；跀z影測(cè)量的方法主要是基于攝像機(jī)幾何的原理，采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)-多視角立體視覺(jué)(sfm-mvs)算法逐步恢復(fù)三維場(chǎng)景。這種方法雖然成本低，但在稠密重建過(guò)程中耗時(shí)過(guò)長(zhǎng)，且對(duì)三維場(chǎng)景中低紋理區(qū)域重建效果不佳，一定程度上制約了其在植物三維表型分析中的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于神經(jīng)輻射場(chǎng)的表型獲取方法及裝置，具有較高的作物重建精度，同時(shí)可以大幅縮短作物重建時(shí)間。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于神經(jīng)輻射場(chǎng)的表型獲取方法，包括：

3、獲取拍攝設(shè)備以多個(gè)視角方向采集的待重建植物的圖像序列，通過(guò)圖像分割大模型和運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)算法，基于圖像序列生成拍攝設(shè)備的內(nèi)外參數(shù)，將內(nèi)外參數(shù)與圖像序列的組合作為訓(xùn)練數(shù)據(jù)集；

4、利用訓(xùn)練數(shù)據(jù)集對(duì)基于神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)框架的植物三維重建模型進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練得到的植物三維重建模型基于圖像序列生成待重建植物對(duì)應(yīng)的隱式的三維場(chǎng)景表示；其中，植物三維重建模型包括多分辨率哈希編碼模塊、體積密度及顏色提取模塊和體積渲染模塊，體積密度及顏色提取模塊包括基于eca注意力機(jī)制的體積密度預(yù)測(cè)單元和基于多層感知機(jī)的顏色預(yù)測(cè)單元；

5、基于隱式的三維場(chǎng)景表示提取待重建植物對(duì)應(yīng)的表型參數(shù)。

6、在一種實(shí)施方式中，通過(guò)圖像分割大模型和運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)算法，基于圖像序列生成拍攝設(shè)備的內(nèi)外參數(shù)，包括：

7、通過(guò)圖像分割大模型獲取圖像序列內(nèi)每張真實(shí)植物圖像中的目標(biāo)植物區(qū)域，得到圖像掩碼序列；

8、利用運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)算法，對(duì)圖像掩碼序列進(jìn)行處理得到拍攝設(shè)備的內(nèi)外參數(shù)。

9、在一種實(shí)施方式中，通過(guò)訓(xùn)練得到的植物三維重建模型基于圖像序列生成待重建植物對(duì)應(yīng)的隱式的三維場(chǎng)景表示，包括：

10、通過(guò)多分辨率哈希編碼模塊，將圖像序列內(nèi)每張真實(shí)植物圖像的像素點(diǎn)信息映射至高維空間得到采樣點(diǎn)高維向量；

11、通過(guò)體積密度及顏色提取模塊，基于像素點(diǎn)高維向量，提取每個(gè)像素點(diǎn)對(duì)應(yīng)的體積密度預(yù)測(cè)值和顏色預(yù)測(cè)值；

12、通過(guò)體積渲染模塊，將體積密度預(yù)測(cè)值和顏色預(yù)測(cè)值沿射線積分，以合成每個(gè)視角方向?qū)?yīng)的合成圖像，以通過(guò)合成圖像描述隱式的三維場(chǎng)景表示。

13、在一種實(shí)施方式中，通過(guò)體積密度及顏色提取模塊，基于像素點(diǎn)高維向量，提取每個(gè)像素點(diǎn)對(duì)應(yīng)的體積密度預(yù)測(cè)值和顏色預(yù)測(cè)值，包括：

14、通過(guò)基于eca注意力機(jī)制的體積密度預(yù)測(cè)單元，基于像素點(diǎn)高維向量生成每個(gè)像素點(diǎn)對(duì)應(yīng)的體積密度預(yù)測(cè)值；

15、通過(guò)基于多層感知機(jī)的顏色預(yù)測(cè)單元，基于每個(gè)像素點(diǎn)對(duì)應(yīng)的體積密度預(yù)測(cè)值生成每個(gè)像素點(diǎn)對(duì)應(yīng)的顏色預(yù)測(cè)值。

16、在一種實(shí)施方式中，體積密度預(yù)測(cè)單元包括多個(gè)全連接的多層感知機(jī)和一個(gè)eca注意力網(wǎng)絡(luò)，eca注意力網(wǎng)絡(luò)鑲嵌于第一個(gè)全連接的多層感知機(jī)之后；

17、顏色預(yù)測(cè)單元包括多個(gè)全連接的多層感知機(jī)。

18、在一種實(shí)施方式中，基于隱式的三維場(chǎng)景表示提取待重建植物對(duì)應(yīng)的表型參數(shù)，包括：

19、利用體素級(jí)重建算法，將隱式的三維場(chǎng)景表示轉(zhuǎn)換為待重建植物對(duì)應(yīng)的顯示的三維網(wǎng)格表達(dá)；

20、從三維網(wǎng)格表達(dá)中提取待重建植物對(duì)應(yīng)的感興趣區(qū)域，以基于感興趣區(qū)域提取待重建植物對(duì)應(yīng)的表型參數(shù)。

21、在一種實(shí)施方式中，從三維網(wǎng)格表達(dá)中提取待重建植物對(duì)應(yīng)的感興趣區(qū)域，以基于感興趣區(qū)域提取待重建植物對(duì)應(yīng)的表型參數(shù)，包括：

22、對(duì)三維網(wǎng)格表達(dá)進(jìn)行坐標(biāo)校正和尺度恢復(fù)處理，得到目標(biāo)三維網(wǎng)格表達(dá)；

23、從目標(biāo)三維網(wǎng)格表達(dá)中提取待重建植物對(duì)應(yīng)的感興趣區(qū)域；其中，感興趣區(qū)域包括植物點(diǎn)云和待重建植物中每一片葉子對(duì)應(yīng)的葉片器官點(diǎn)云；

24、將植物點(diǎn)云在垂直方向上的最高點(diǎn)與最低點(diǎn)之間的差值作為植物株高；以及，將植物點(diǎn)云在水平方向上任意兩點(diǎn)之間的最大距離作為植物冠幅；以及，對(duì)于每一片葉子，將該葉子對(duì)應(yīng)的葉片器官點(diǎn)云中葉尖點(diǎn)到葉基點(diǎn)之間的最短距離作為葉長(zhǎng)；以及，對(duì)于每一片葉子，將該葉子對(duì)應(yīng)的葉片器官點(diǎn)云中兩個(gè)葉邊緣點(diǎn)之間的最短距離作為葉寬；

25、其中，表型參數(shù)包括植物株高、植物冠幅、葉長(zhǎng)、葉寬中的一種或多種。

26、第二方面，本發(fā)明實(shí)施例還提供一種基于神經(jīng)輻射場(chǎng)的表型獲取裝置，包括：

27、數(shù)據(jù)獲取模塊，用于獲取拍攝設(shè)備以多個(gè)視角方向采集的待重建植物的圖像序列，通過(guò)圖像分割大模型和運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)算法，基于圖像序列生成拍攝設(shè)備的內(nèi)外參數(shù)，將內(nèi)外參數(shù)與圖像序列的組合作為訓(xùn)練數(shù)據(jù)集；

28、三維重建模塊，用于利用訓(xùn)練數(shù)據(jù)集對(duì)基于神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)框架的植物三維重建模型進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練得到的植物三維重建模型基于圖像序列生成待重建植物對(duì)應(yīng)的隱式的三維場(chǎng)景表示；其中，植物三維重建模型包括多分辨率哈希編碼模塊、體積密度及顏色提取模塊和體積渲染模塊，體積密度及顏色提取模塊包括基于eca注意力機(jī)制的體積密度預(yù)測(cè)單元和基于多層感知機(jī)的顏色預(yù)測(cè)單元；

29、表型獲取模塊，用于基于隱式的三維場(chǎng)景表示提取待重建植物對(duì)應(yīng)的表型參數(shù)。

30、第三方面，本發(fā)明實(shí)施例還提供一種電子設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器存儲(chǔ)有能夠被處理器執(zhí)行的計(jì)算機(jī)可執(zhí)行指令，處理器執(zhí)行計(jì)算機(jī)可執(zhí)行指令以實(shí)現(xiàn)第一方面提供的任一項(xiàng)的方法。

31、第四方面，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，計(jì)算機(jī)可執(zhí)行指令在被處理器調(diào)用和執(zhí)行時(shí)，計(jì)算機(jī)可執(zhí)行指令促使處理器實(shí)現(xiàn)第一方面提供的任一項(xiàng)的方法。

32、本發(fā)明實(shí)施例提供的一種基于神經(jīng)輻射場(chǎng)的表型獲取方法及裝置，首先獲取拍攝設(shè)備以多個(gè)視角方向采集的待重建植物的圖像序列，通過(guò)圖像分割大模型和運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)算法，基于圖像序列生成拍攝設(shè)備的內(nèi)外參數(shù)，將內(nèi)外參數(shù)與圖像序列的組合作為訓(xùn)練數(shù)據(jù)集；然后利用訓(xùn)練數(shù)據(jù)集對(duì)基于神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)框架的植物三維重建模型進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練得到的植物三維重建模型基于圖像序列生成待重建植物對(duì)應(yīng)的隱式的三維場(chǎng)景表示；其中，植物三維重建模型包括多分辨率哈希編碼模塊、體積密度及顏色提取模塊和體積渲染模塊，體積密度及顏色提取模塊包括基于eca注意力機(jī)制的體積密度預(yù)測(cè)單元和基于多層感知機(jī)的顏色預(yù)測(cè)單元；最后基于隱式的三維場(chǎng)景表示提取待重建植物對(duì)應(yīng)的表型參數(shù)。上述方法設(shè)計(jì)了一個(gè)基于神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)框架的植物三維重建模型，利用圖像序列構(gòu)造的訓(xùn)練數(shù)據(jù)集對(duì)該植物三維重建模型進(jìn)行訓(xùn)練，并利用訓(xùn)練后的植物三維重建模型生成待重建植物的隱式的三維網(wǎng)格表達(dá)，進(jìn)一步提取待重建植物對(duì)應(yīng)的表型參數(shù)，相比傳統(tǒng)的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)-多視角立體視覺(jué)算法，本發(fā)明實(shí)施例在保證作物重建精度的同時(shí)，可以大幅縮短作物重建的時(shí)間。

33、本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

34、為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。