本公開(kāi)涉及場(chǎng)景流估算裝置和方法。

背景技術(shù)：

1、雙點(diǎn)流網(wǎng)是指接收至少兩個(gè)連續(xù)幀的點(diǎn)云數(shù)據(jù)作為輸入并雙向提取場(chǎng)景流特征以預(yù)測(cè)下一幀的場(chǎng)景流的深度神經(jīng)網(wǎng)絡(luò)模型。這里，點(diǎn)云數(shù)據(jù)是指由lidar傳感器、rgb-d傳感器等收集的數(shù)據(jù)，并意味著一組點(diǎn)，其中，物體上反射的每束光/信號(hào)的距離信息生成為3d空間中的一個(gè)點(diǎn)。

2、雙點(diǎn)流網(wǎng)由四個(gè)層級(jí)(hierarchical)結(jié)構(gòu)組成，并且可以用于預(yù)測(cè)場(chǎng)景流。四個(gè)層級(jí)結(jié)構(gòu)可以包括層級(jí)特征提取、雙向流嵌入、上采樣和流預(yù)測(cè)器。

3、雙點(diǎn)流網(wǎng)的缺點(diǎn)在于，由于在特征檢測(cè)過(guò)程中的大計(jì)算量以及在源點(diǎn)和目標(biāo)點(diǎn)中的每一個(gè)處的流嵌入執(zhí)行過(guò)程，需要花費(fèi)長(zhǎng)時(shí)間來(lái)進(jìn)行精確預(yù)測(cè)。

4、此外，雙點(diǎn)流網(wǎng)的缺點(diǎn)在于，由于應(yīng)用了層級(jí)單流嵌入層，流預(yù)測(cè)性能變差。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)提供了場(chǎng)景流估算裝置和方法，其應(yīng)用迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入層來(lái)提高流預(yù)測(cè)準(zhǔn)確度。

2、此外，本公開(kāi)提供了場(chǎng)景流估算裝置和方法，其應(yīng)用使用投票函數(shù)的初始流推斷方案來(lái)減少計(jì)算參數(shù)的數(shù)量并增強(qiáng)流預(yù)測(cè)準(zhǔn)確度。

3、為了實(shí)現(xiàn)該目的，本公開(kāi)的示例性實(shí)施方式提供了一種場(chǎng)景流估算裝置，其包括控制器，控制器包括層級(jí)特征檢測(cè)器、校正器、雙向特征檢測(cè)器和推斷器，層級(jí)特征檢測(cè)器檢測(cè)與圖像幀相關(guān)的點(diǎn)云數(shù)據(jù)的層級(jí)特征，校正器校正所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征，雙向特征檢測(cè)器檢測(cè)經(jīng)校正的點(diǎn)云數(shù)據(jù)的雙向場(chǎng)景流特征，重新輸入檢測(cè)值，并重復(fù)檢測(cè)雙向場(chǎng)景流特征，推斷器通過(guò)使用雙向場(chǎng)景流特征來(lái)推斷下一圖像幀的場(chǎng)景流。

4、雙向特征檢測(cè)器可以通過(guò)使用預(yù)定的投票塊來(lái)檢測(cè)點(diǎn)云數(shù)據(jù)的初始場(chǎng)景流。

5、方向特征檢測(cè)器通過(guò)將softmax應(yīng)用到投票塊來(lái)計(jì)算點(diǎn)云數(shù)據(jù)的分組的組點(diǎn)的投票值，并且使用投票值作為權(quán)重將組點(diǎn)相加以提取用于檢測(cè)初始場(chǎng)景流的初始移動(dòng)位置。

6、推斷器可以通過(guò)使用雙向場(chǎng)景流特征校正初始場(chǎng)景流來(lái)推斷所述下一圖像幀的場(chǎng)景流。

7、校正器可以對(duì)所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征應(yīng)用插值方案，并對(duì)層級(jí)特征進(jìn)行上采樣。

8、校正器可以對(duì)推斷器的推斷值執(zhí)行扭曲，并且使用經(jīng)扭曲的推斷值作為用于提取點(diǎn)云數(shù)據(jù)的層級(jí)特征的輸入。

9、為了實(shí)現(xiàn)該目的，本公開(kāi)的另一示例性實(shí)施方式提供了一種場(chǎng)景流估算方法，其包括：由控制器的層級(jí)特征檢測(cè)器檢測(cè)與圖像幀相關(guān)的點(diǎn)云數(shù)據(jù)的層級(jí)特征；由控制器的校正器校正所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征；由控制器的雙向特征檢測(cè)器檢測(cè)經(jīng)校正的點(diǎn)云數(shù)據(jù)的雙向場(chǎng)景流特征，重新輸入檢測(cè)值，并重復(fù)檢測(cè)雙向場(chǎng)景流特征；以及由控制器的推斷器通過(guò)使用雙向場(chǎng)景流特征來(lái)推斷下一圖像幀的場(chǎng)景流。

10、場(chǎng)景流估算方法還可以包括初始場(chǎng)景檢測(cè)步驟，其中，雙向特征檢測(cè)器通過(guò)使用預(yù)定的投票塊來(lái)檢測(cè)點(diǎn)云數(shù)據(jù)的初始場(chǎng)景流。

11、初始場(chǎng)景檢測(cè)步驟可以包括：由雙向特征檢測(cè)器通過(guò)將softmax應(yīng)用到投票塊來(lái)計(jì)算點(diǎn)云數(shù)據(jù)的分組的組點(diǎn)的投票值，并且使用投票值作為權(quán)重將組點(diǎn)相加以提取用于檢測(cè)初始場(chǎng)景流的初始移動(dòng)位置。

12、推斷步驟可以包括由推斷器通過(guò)使用雙向場(chǎng)景流特征校正初始場(chǎng)景流來(lái)推斷下一圖像幀的場(chǎng)景流。

13、校正步驟可以包括由校正器對(duì)所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征應(yīng)用插值方案，并對(duì)層級(jí)特征進(jìn)行上采樣。

14、校正步驟可以包括由校正器對(duì)推斷器的推斷值執(zhí)行扭曲，并且使用經(jīng)扭曲的推斷值作為用于提取點(diǎn)云數(shù)據(jù)的層級(jí)特征的輸入。

15、本公開(kāi)的另一示例性實(shí)施方式提供了一種包含由處理器執(zhí)行的程序指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其包括：檢測(cè)與圖像幀相關(guān)的點(diǎn)云數(shù)據(jù)的層級(jí)特征的程序指令；校正所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征的程序指令；檢測(cè)經(jīng)校正的點(diǎn)云數(shù)據(jù)的雙向場(chǎng)景流特征，重新輸入檢測(cè)值，并重復(fù)檢測(cè)雙向場(chǎng)景流特征的程序指令；以及通過(guò)使用雙向場(chǎng)景流特征來(lái)推斷下一圖像幀的場(chǎng)景流的程序指令。

16、根據(jù)本公開(kāi)的示例性實(shí)施方式，通過(guò)場(chǎng)景流估算裝置、方法和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，雙向流嵌入層被改變?yōu)榈鷪?zhí)行結(jié)構(gòu)，以便將輸出重新輸入以增強(qiáng)流推斷準(zhǔn)確度。

17、此外，通過(guò)針對(duì)在每一層中檢測(cè)到的雙向特征引入投票塊來(lái)推斷初始流，并且通過(guò)使用所推斷的初始流來(lái)校正由流預(yù)測(cè)器預(yù)測(cè)的流以增強(qiáng)流推斷準(zhǔn)確度。

18、此外，只有通過(guò)投票的初始流而不是所有基于流的流推斷被用于流推斷以減少計(jì)算量。

19、上述
技術(shù)實(shí)現(xiàn)要素：
僅是說(shuō)明性的，而不是旨在以任何方式進(jìn)行限制。除了上面描述的說(shuō)明性方面、實(shí)施方式和特征之外，通過(guò)參考附圖和下面的詳細(xì)描述，其它方面、實(shí)施方式和特征將變得顯而易見(jiàn)。

技術(shù)特征：

1.一種場(chǎng)景流估算裝置，包括：

2.根據(jù)權(quán)利要求1所述的場(chǎng)景流估算裝置，其中，所述雙向特征檢測(cè)器通過(guò)使用預(yù)定的投票塊來(lái)檢測(cè)所述點(diǎn)云數(shù)據(jù)的初始場(chǎng)景流。

3.根據(jù)權(quán)利要求2所述的場(chǎng)景流估算裝置，其中，所述雙向特征檢測(cè)器通過(guò)將softmax應(yīng)用到所述投票塊來(lái)計(jì)算所述點(diǎn)云數(shù)據(jù)的分組的組點(diǎn)的投票值，并且使用所述投票值作為權(quán)重將組點(diǎn)相加以提取用于檢測(cè)所述初始場(chǎng)景流的初始移動(dòng)位置。

4.根據(jù)權(quán)利要求3所述的場(chǎng)景流估算裝置，其中，所述推斷器通過(guò)使用所述雙向場(chǎng)景流特征校正所述初始場(chǎng)景流來(lái)推斷所述下一圖像幀的場(chǎng)景流。

5.根據(jù)權(quán)利要求1所述的場(chǎng)景流估算裝置，其中，所述校正器對(duì)所檢測(cè)到的所述點(diǎn)云數(shù)據(jù)的層級(jí)特征應(yīng)用插值方案，并對(duì)所述層級(jí)特征進(jìn)行上采樣。

6.根據(jù)權(quán)利要求1所述的場(chǎng)景流估算裝置，其中，所述校正器對(duì)所述推斷器的推斷值執(zhí)行扭曲，并且使用經(jīng)扭曲的推斷值作為用于提取所述點(diǎn)云數(shù)據(jù)的所述層級(jí)特征的輸入。

7.一種場(chǎng)景流估算方法，包括：

8.根據(jù)權(quán)利要求7所述的場(chǎng)景流估算方法，還包括：

9.根據(jù)權(quán)利要求8所述的場(chǎng)景流估算方法，其中，檢測(cè)所述初始流包括：

10.根據(jù)權(quán)利要求9所述的場(chǎng)景流估算方法，其中，推斷所述下一圖像幀的場(chǎng)景流包括：

11.根據(jù)權(quán)利要求7所述的場(chǎng)景流估算方法，其中，校正所檢測(cè)到的層級(jí)特征包括：

12.根據(jù)權(quán)利要求7所述的場(chǎng)景流估算方法，其中，校正所檢測(cè)到的層級(jí)特征包括：

13.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，包含由處理器執(zhí)行的程序指令，所述計(jì)算機(jī)可讀介質(zhì)包括：

技術(shù)總結(jié)
本公開(kāi)涉及場(chǎng)景流估算裝置、場(chǎng)景流估算方法和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，場(chǎng)景流估算裝置包括：層級(jí)特征檢測(cè)器、校正器、雙向特征檢測(cè)器和推斷器，層級(jí)特征檢測(cè)器檢測(cè)與圖像幀相關(guān)的點(diǎn)云數(shù)據(jù)的層級(jí)特征，校正器校正所檢測(cè)到的點(diǎn)云數(shù)據(jù)的層級(jí)特征，雙向特征檢測(cè)器檢測(cè)經(jīng)校正的點(diǎn)云數(shù)據(jù)的雙向場(chǎng)景流特征，重新輸入檢測(cè)值，并重復(fù)檢測(cè)雙向場(chǎng)景流特征，推斷器通過(guò)使用雙向場(chǎng)景流特征來(lái)推斷下一圖像幀的場(chǎng)景流。

技術(shù)研發(fā)人員：樸奎度,姜洙赫,高鐘煥,程文燦,金珉弟
受保護(hù)的技術(shù)使用者：現(xiàn)代凱菲克株式會(huì)社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6