本申請(qǐng)涉及計(jì)算機(jī)視覺與光學(xué)成像領(lǐng)域，具體涉及一種采用圖像渲染的數(shù)字沙盤系統(tǒng)和光場(chǎng)圖像渲染方法。

背景技術(shù)：

1、現(xiàn)有沙盤系統(tǒng)主要實(shí)現(xiàn)方式是由沙土堆砌或者3d打印的實(shí)體沙盤模型。但該類沙盤系統(tǒng)存在著內(nèi)容固定，數(shù)據(jù)無(wú)法實(shí)時(shí)更新等缺陷。比如在國(guó)防領(lǐng)域中，會(huì)導(dǎo)致戰(zhàn)場(chǎng)信息數(shù)據(jù)時(shí)效性的降低，無(wú)法滿足對(duì)瞬息萬(wàn)變的戰(zhàn)場(chǎng)環(huán)境實(shí)時(shí)變化保障的需求。

2、目前的三維圖像立體顯示技術(shù)存在幾種主流架構(gòu)：一是以投影儀等光學(xué)儀器為媒介進(jìn)行三維重建；二是基于虛擬現(xiàn)實(shí)技術(shù)使用可穿戴式的交互設(shè)備(如vr眼鏡)進(jìn)行可視化模擬。但硬件層面上，投影儀與穿戴式交互設(shè)備等存在使數(shù)字沙盤無(wú)法集成一個(gè)更加完整靈活的智能系統(tǒng)，對(duì)物理對(duì)象的依賴也較深，不能完全滿足特定領(lǐng)域?qū)﹄娮由潮P系統(tǒng)的需求。在目前已普及的三維立體沙盤中，大部分都采用立體投影的方式，結(jié)合實(shí)物模型來(lái)共同實(shí)現(xiàn)立體沙盤模型裝置。

3、綜合來(lái)看，現(xiàn)有技術(shù)存在如下缺點(diǎn)：一是虛實(shí)結(jié)合的技術(shù)以實(shí)體模型為基礎(chǔ)，導(dǎo)致沙盤模型一旦結(jié)構(gòu)確定就不容易更改；二是現(xiàn)有沙盤可互動(dòng)性差，無(wú)法隨著用戶需求而實(shí)時(shí)變動(dòng)；三是立體投影式與體顯示式沙盤占地面積大，不易拆裝和運(yùn)輸移動(dòng)等，四是光柵式立體顯示只能從固定方向觀看，且容易產(chǎn)生視疲勞，不滿足沙盤實(shí)際使用條件。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)解決的技術(shù)問題是：現(xiàn)有數(shù)字沙盤顯示受到固定模型的影響，存在可互動(dòng)性差、不好改變顯示場(chǎng)景等問題。為解決上述問題，本申請(qǐng)?zhí)峁┮环N采用圖像渲染的數(shù)字沙盤系統(tǒng)和光場(chǎng)圖像渲染方法。

2、根據(jù)本申請(qǐng)的第一方面，本申請(qǐng)?zhí)峁┮环N采用圖像渲染的數(shù)字沙盤系統(tǒng)，包括：圖像采集單元，用于進(jìn)行三維場(chǎng)景的圖像采集，得到場(chǎng)景圖像并傳輸至上位機(jī)；圖像渲染單元，在所述上位機(jī)上運(yùn)行，用于從所述圖像采集單元獲取所述場(chǎng)景圖像，以及利用所述場(chǎng)景圖像進(jìn)行所述三維場(chǎng)景的重建和光場(chǎng)渲染，得到光場(chǎng)模型；數(shù)據(jù)傳輸單元，在所述上位機(jī)上運(yùn)行，用于對(duì)所述光場(chǎng)模型進(jìn)行神經(jīng)網(wǎng)絡(luò)框架類型的轉(zhuǎn)換，得到轉(zhuǎn)換模型并部署至下位機(jī)；定向渲染單元，在所述下位機(jī)上運(yùn)行，用于追蹤獲得觀看者所處的方位信息，利用所述方位信息對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到定向渲染圖像；圖像顯示單元，通信連接于所述下位機(jī)，用于對(duì)所述定向渲染圖像進(jìn)行三維立體的投影，形成數(shù)字沙盤，所述數(shù)字沙盤包括所述三維場(chǎng)景面向所述觀看者的立體影像。

3、進(jìn)一步的，所述圖像渲染單元包括模型訓(xùn)練模塊和光場(chǎng)圖像生成模塊；所述模型訓(xùn)練模塊用于利用神經(jīng)輻射場(chǎng)對(duì)所述三維場(chǎng)景進(jìn)行重建，得到場(chǎng)景模型；所述光場(chǎng)圖像生成模塊用于利用所述場(chǎng)景模型對(duì)所述場(chǎng)景圖像進(jìn)行多視角的光場(chǎng)渲染，生成所述三維場(chǎng)景的光場(chǎng)圖像并構(gòu)建對(duì)應(yīng)的光場(chǎng)模型。

4、進(jìn)一步的，所述數(shù)據(jù)傳輸單元包括神經(jīng)網(wǎng)絡(luò)框架轉(zhuǎn)移模塊和分布式以太網(wǎng)網(wǎng)口模塊；所述神經(jīng)網(wǎng)絡(luò)框架轉(zhuǎn)移模塊用于將所述光場(chǎng)模型從第一神經(jīng)網(wǎng)絡(luò)框架類型轉(zhuǎn)換為第二神經(jīng)網(wǎng)絡(luò)框架類型，得到對(duì)應(yīng)的轉(zhuǎn)換模型；所述光場(chǎng)模型具有適應(yīng)所述上位機(jī)的第一神經(jīng)網(wǎng)絡(luò)框架類型，所述轉(zhuǎn)換模型具有適應(yīng)于所述下位機(jī)的第二神經(jīng)網(wǎng)絡(luò)架構(gòu)類型；所述分布式以太網(wǎng)網(wǎng)口模塊用于將所述轉(zhuǎn)換模型部署至下位機(jī)。

5、進(jìn)一步的，所述定向渲染單元包括人眼跟蹤模塊、光場(chǎng)圖像渲染模塊和hdmi傳輸模塊；所述人眼跟蹤模塊用于通過人眼跟蹤確定所述觀看者所處的位置與觀看角度，形成為所述方位信息；所述光場(chǎng)圖像渲染模塊接收所述轉(zhuǎn)換模型，用于利用所述方位信息作為輸入?yún)?shù)，對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到所述三維場(chǎng)景的定向渲染圖像；所述hdmi傳輸模塊用于將所述定向渲染圖像以hdmi協(xié)議傳輸至所述圖像顯示單元。

6、進(jìn)一步的，所述圖像顯示單元包括準(zhǔn)直背光模塊、屏幕顯示模塊和復(fù)合透鏡陣列模塊；所述準(zhǔn)直背光模塊用于為所述屏幕顯示模塊提供準(zhǔn)直背光；所述屏幕顯示模塊用于接收所述hdmi模塊傳輸?shù)乃龆ㄏ蜾秩緢D像，以及對(duì)所述定向渲染圖像進(jìn)行畫面顯示；所述復(fù)合透鏡陣列模塊用于聚焦所述屏幕顯示模塊的畫面中各個(gè)像素的光線，投射產(chǎn)生的三維立體的投影形成為所述數(shù)字沙盤。

7、進(jìn)一步的，所述準(zhǔn)直背光模塊具有消光結(jié)構(gòu)，在將光線投到所述屏幕顯示模塊塊時(shí)通過所述消光結(jié)構(gòu)消除雜散光，能夠降低畫面顯示的串?dāng)_并提高畫面的對(duì)比度和清晰度。

8、進(jìn)一步的，所述圖像采集單元用于獲取所述三維場(chǎng)景的視頻，采用視頻抽幀技術(shù)對(duì)所述三維場(chǎng)景的視頻進(jìn)行幀圖像的抽取，獲得多個(gè)視角下所述三維場(chǎng)景的圖像并作為所述場(chǎng)景圖像。

9、根據(jù)本申請(qǐng)的第二方面，提供一種圖像渲染方法，包括：采集三維場(chǎng)景的圖像，得到場(chǎng)景圖像；利用所述場(chǎng)景圖像進(jìn)行所述三維場(chǎng)景的重建和光場(chǎng)渲染，得到光場(chǎng)模型；對(duì)所述光場(chǎng)模型進(jìn)行神經(jīng)網(wǎng)絡(luò)框架類型的轉(zhuǎn)換，得到轉(zhuǎn)換模型，所述轉(zhuǎn)換模型能夠被部署至下位機(jī)；追蹤獲得觀看者所處的方位信息，利用所述方位信息對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到定向渲染圖像，所述定向渲染圖像被用于進(jìn)行三維立體的投影。

10、進(jìn)一步的，所述利用所述場(chǎng)景圖像進(jìn)行所述三維場(chǎng)景的重建和光場(chǎng)渲染，得到光場(chǎng)模型，包括：利用神經(jīng)輻射場(chǎng)對(duì)所述三維場(chǎng)景進(jìn)行重建，得到場(chǎng)景模型；所述光場(chǎng)圖像生成模塊用于利用所述場(chǎng)景模型對(duì)所述場(chǎng)景圖像進(jìn)行多視角的光場(chǎng)渲染，生成所述三維場(chǎng)景的光場(chǎng)圖像并構(gòu)建對(duì)應(yīng)的光場(chǎng)模型；其中，在進(jìn)行多視角的光場(chǎng)渲染時(shí)，所述場(chǎng)景模型能夠通過所述場(chǎng)景圖像學(xué)習(xí)所述三維場(chǎng)景的輻射率和光線的傳播方向。

11、進(jìn)一步的，所述追蹤獲得觀看者所處的方位信息，利用所述方位信息對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到定向渲染圖像，包括：通過人眼跟蹤確定所述觀看者所處的位置與觀看角度，形成為所述方位信息；利用所述方位信息作為輸入?yún)?shù)，對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到所述三維場(chǎng)景的定向渲染圖像；其中，對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染時(shí)，所述轉(zhuǎn)換模型的輸入?yún)?shù)還包括焦距和分辨率。

12、本申請(qǐng)的有益效果是：

13、依上述實(shí)施例的采用圖像渲染的數(shù)字沙盤系統(tǒng)和圖像渲染方法，系統(tǒng)使用神經(jīng)輻射場(chǎng)重建三維場(chǎng)景模型并對(duì)場(chǎng)景圖像進(jìn)行光場(chǎng)渲染，通過人眼跟蹤定位觀看者的方位并進(jìn)行定向光線渲染，與全部角度進(jìn)行圖像渲染相比，處理效率會(huì)得到明顯提升；系統(tǒng)中的圖像采集單元、圖像渲染單元和數(shù)據(jù)傳輸單元依靠上位機(jī)運(yùn)行，而定向渲染單元和圖像顯示單元依靠下位機(jī)運(yùn)行，可以實(shí)現(xiàn)建立光場(chǎng)模型和生成定向渲染圖像的分離處理，從而大幅節(jié)省兩個(gè)環(huán)節(jié)的時(shí)間，提高數(shù)據(jù)處理效率；通過光場(chǎng)顯示技術(shù)將渲染出的定向渲染圖像再現(xiàn)出來(lái)，立體影像可以跟隨觀看者進(jìn)行改變，增強(qiáng)了互動(dòng)效果。該數(shù)字沙盤系統(tǒng)可以通過更改三維場(chǎng)景的圖像來(lái)改變立體影像的內(nèi)容，且提供交互處理的操作，相比傳統(tǒng)沙盤更具有立體影像內(nèi)容隨意改變、互動(dòng)效果好的應(yīng)用優(yōu)勢(shì)。

技術(shù)特征：

1.一種采用圖像渲染的數(shù)字沙盤系統(tǒng)，其特征在于，包括：

2.如權(quán)利要求1所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述圖像渲染單元包括模型訓(xùn)練模塊和光場(chǎng)圖像生成模塊；

3.如權(quán)利要求2所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述數(shù)據(jù)傳輸單元包括神經(jīng)網(wǎng)絡(luò)框架轉(zhuǎn)移模塊和分布式以太網(wǎng)網(wǎng)口模塊；

4.如權(quán)利要求1所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述定向渲染單元包括人眼跟蹤模塊、光場(chǎng)圖像渲染模塊和hdmi傳輸模塊；

5.如權(quán)利要求4所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述圖像顯示單元包括準(zhǔn)直背光模塊、屏幕顯示模塊和復(fù)合透鏡陣列模塊；

6.如權(quán)利要求5所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述準(zhǔn)直背光模塊具有消光結(jié)構(gòu)，在將光線投到所述屏幕顯示模塊塊時(shí)通過所述消光結(jié)構(gòu)消除雜散光，能夠降低畫面顯示的串?dāng)_并提高畫面的對(duì)比度和清晰度。

7.如權(quán)利要求1所述的數(shù)字沙盤系統(tǒng)，其特征在于，所述圖像采集單元用于獲取所述三維場(chǎng)景的視頻，采用視頻抽幀技術(shù)對(duì)所述三維場(chǎng)景的視頻進(jìn)行幀圖像的抽取，獲得多個(gè)視角下所述三維場(chǎng)景的圖像并作為所述場(chǎng)景圖像。

8.一種光場(chǎng)圖像渲染方法，其特征在于，包括：

9.如權(quán)利要求8所述的光場(chǎng)圖像渲染方法，其特征在于，所述利用所述場(chǎng)景圖像進(jìn)行所述三維場(chǎng)景的重建和光場(chǎng)渲染，得到光場(chǎng)模型，包括：

10.如權(quán)利要求8所述的光場(chǎng)圖像渲染方法，其特征在于，所述追蹤獲得觀看者所處的方位信息，利用所述方位信息對(duì)所述轉(zhuǎn)換模型進(jìn)行定向的光線渲染，得到定向渲染圖像，包括：

技術(shù)總結(jié)
本申請(qǐng)公開了一種采用圖像渲染的數(shù)字沙盤系統(tǒng)和光場(chǎng)圖像渲染方法。系統(tǒng)使用神經(jīng)輻射場(chǎng)重建三維場(chǎng)景模型并對(duì)場(chǎng)景圖像進(jìn)行光場(chǎng)渲染，通過人眼跟蹤定位觀看者的方位并進(jìn)行定向光線渲染，與全部角度進(jìn)行圖像渲染相比，處理效率會(huì)得到明顯提升。而且，該系統(tǒng)通過光場(chǎng)顯示技術(shù)將渲染出的定向渲染圖像再現(xiàn)出來(lái)，立體影像可以跟隨觀看者進(jìn)行改變，增強(qiáng)了互動(dòng)效果。此外，該系統(tǒng)可以通過更改三維場(chǎng)景的圖像來(lái)改變立體影像的內(nèi)容，且提供交互處理的操作，相比傳統(tǒng)沙盤更具有立體影像內(nèi)容隨意改變、互動(dòng)效果好的應(yīng)用優(yōu)勢(shì)。

技術(shù)研發(fā)人員：李希才,何佳鑫,王元慶
受保護(hù)的技術(shù)使用者：南京大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2