本公開(kāi)涉及用于場(chǎng)景流預(yù)測(cè)模型的提煉(distilling)知識(shí)的裝置和方法。

背景技術(shù)：

1、雙點(diǎn)流網(wǎng)是指接收至少兩個(gè)連續(xù)幀的點(diǎn)云數(shù)據(jù)作為輸入并雙向提取場(chǎng)景流特征以預(yù)測(cè)下一幀的場(chǎng)景流的深度神經(jīng)網(wǎng)絡(luò)模型。這里，點(diǎn)云數(shù)據(jù)是指由lidar傳感器、rgb-d傳感器等收集的數(shù)據(jù)，并意味著一組點(diǎn)，其中，物體上反射的每束光/信號(hào)的距離信息生成為3d空間中的一個(gè)點(diǎn)。

2、雙點(diǎn)流網(wǎng)由四個(gè)層級(jí)(hierarchical)結(jié)構(gòu)組成，以預(yù)測(cè)場(chǎng)景流。四個(gè)層級(jí)結(jié)構(gòu)可以包括層級(jí)特征提取、雙向流嵌入、上采樣和流預(yù)測(cè)器。

3、雙點(diǎn)流網(wǎng)的缺點(diǎn)在于，由于在特征檢測(cè)過(guò)程中的大計(jì)算量以及在源點(diǎn)和目標(biāo)點(diǎn)中的每一個(gè)處的流嵌入執(zhí)行過(guò)程，需要花費(fèi)長(zhǎng)時(shí)間來(lái)進(jìn)行精確預(yù)測(cè)。

4、此外，雙點(diǎn)流網(wǎng)的缺點(diǎn)在于，由于應(yīng)用了層級(jí)單流嵌入層，流預(yù)測(cè)性能變差。

5、同時(shí)，在相關(guān)技術(shù)中，存在一種不生成學(xué)生模型并將知識(shí)提煉方法應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)模型以提高流預(yù)測(cè)性能的方法。

6、盡管知識(shí)提煉方法被用于深度神經(jīng)網(wǎng)絡(luò)模型的性能增強(qiáng)，但知識(shí)提煉的一般目的不是輕量化效果，并且存在知識(shí)提煉方法只適用于2d計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)模型的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、因此，本公開(kāi)提供了用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置和方法，其通過(guò)使用迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器層的深度學(xué)習(xí)模型來(lái)新提供損失函數(shù)，并且將教師模型的知識(shí)提煉到學(xué)生模型，以使得能夠通過(guò)所述損失函數(shù)來(lái)輕量化學(xué)生模型。

2、本公開(kāi)的示例性實(shí)施方式提供了一種用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置，該裝置包括控制器，控制器包括學(xué)生模型形成器、權(quán)重生成器、函數(shù)生成器以及知識(shí)提煉器，學(xué)生模型形成器形成學(xué)生模型，學(xué)生模型具有單一的、教師模型的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)，權(quán)重生成器基于教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果和預(yù)定的基準(zhǔn)真實(shí)值數(shù)據(jù)生成權(quán)重，函數(shù)生成器通過(guò)使用權(quán)重和多個(gè)層級(jí)預(yù)測(cè)結(jié)果生成損失函數(shù)，知識(shí)提煉器通過(guò)使用損失函數(shù)將教師模型的知識(shí)提煉到學(xué)生模型。

3、權(quán)重生成器可以計(jì)算教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果和基準(zhǔn)真實(shí)值數(shù)據(jù)之間的差異，并且將計(jì)算出的差異輸入到預(yù)定的逆softmax函數(shù)中以生成權(quán)重。

4、函數(shù)生成器可以將教師模型的多個(gè)相應(yīng)的層級(jí)預(yù)測(cè)結(jié)果與權(quán)重相乘，并且將相乘結(jié)果彼此相加以計(jì)算損失函數(shù)。

5、函數(shù)生成器可以將損失函數(shù)與預(yù)定的多尺度損失函數(shù)結(jié)合，以生成用于學(xué)生模型的訓(xùn)練損失函數(shù)。

6、知識(shí)提煉器可以通過(guò)使用訓(xùn)練損失函數(shù)將教師模型的知識(shí)提煉到學(xué)生模型。

7、教師模型可以具有迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)。

8、本公開(kāi)的另一示例性實(shí)施方式提供了一種用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的方法，該方法包括：通過(guò)控制器的學(xué)生模型形成器形成學(xué)生模型，所述學(xué)生模型具有單一的、教師模型的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)；通過(guò)控制器的權(quán)重生成器基于教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果和預(yù)定的基準(zhǔn)真實(shí)值數(shù)據(jù)生成權(quán)重；通過(guò)控制器的函數(shù)生成器使用權(quán)重和多個(gè)層級(jí)預(yù)測(cè)結(jié)果生成損失函數(shù)；以及知識(shí)提煉步驟，其中，知識(shí)提煉器通過(guò)使用損失函數(shù)將教師模型的知識(shí)提煉到學(xué)生模型。

9、權(quán)重生成步驟可以包括通過(guò)權(quán)重生成器計(jì)算教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果與基準(zhǔn)真實(shí)值數(shù)據(jù)之間的差異，并且將所計(jì)算出的差異輸入到預(yù)定的逆softmax函數(shù)中以生成權(quán)重。

10、函數(shù)生成步驟可以包括通過(guò)函數(shù)生成器將教師模型的多個(gè)相應(yīng)的層級(jí)預(yù)測(cè)結(jié)果與權(quán)重相乘，并且將相乘結(jié)果彼此相加以計(jì)算損失函數(shù)。

11、函數(shù)生成步驟可以包括通過(guò)函數(shù)生成器將損失函數(shù)與預(yù)定的多尺度損失函數(shù)相結(jié)合，以生成學(xué)生模型的訓(xùn)練損失函數(shù)。

12、知識(shí)提煉步驟可以包括通過(guò)知識(shí)提煉器使用訓(xùn)練損失函數(shù)將教師模型的知識(shí)提煉到學(xué)生模型。

13、教師模型可以具有迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)。

14、本公開(kāi)的另一示例性實(shí)施方式提供了一種包含由處理器執(zhí)行的程序指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)包括：形成學(xué)生模型的程序指令，學(xué)生模型具有單一的、教師模型的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)；基于教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果和預(yù)定的基準(zhǔn)真實(shí)值數(shù)據(jù)生成權(quán)重的程序指令；通過(guò)使用權(quán)重和多個(gè)預(yù)測(cè)結(jié)果生成損失函數(shù)的程序指令；以及通過(guò)使用損失函數(shù)將教師模型的知識(shí)提煉到學(xué)生模型的程序指令。

15、根據(jù)本公開(kāi)，在用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置、方法和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中，存在通過(guò)使用迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器層的深度學(xué)習(xí)模型來(lái)新提供損失函數(shù)，并且教師模型的知識(shí)被提煉到學(xué)生模型，以使得能夠通過(guò)損失函數(shù)來(lái)輕量化學(xué)生模型的效果。

16、此外，存在這樣的效果：用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置和方法不限于2d，并且可應(yīng)用于具有迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器層的所有深度學(xué)習(xí)模型結(jié)構(gòu)。

17、此外，存在通過(guò)提煉場(chǎng)景流預(yù)測(cè)模型的知識(shí)來(lái)增強(qiáng)輕量化學(xué)生模型的流推斷準(zhǔn)確度的效果。

18、上述
技術(shù)實(shí)現(xiàn)要素：
僅是說(shuō)明性的，而不是旨在以任何方式進(jìn)行限制。除了上面描述的說(shuō)明性方面、實(shí)施方式和特征之外，通過(guò)參照附圖和下面的詳細(xì)描述，進(jìn)一步的方面、實(shí)施方式和特征將變得顯而易見(jiàn)。

技術(shù)特征：

1.一種用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置，所述裝置包括：

2.根據(jù)權(quán)利要求1所述的裝置，其中，所述權(quán)重生成器計(jì)算所述教師模型的所述多個(gè)層級(jí)預(yù)測(cè)結(jié)果與所述基準(zhǔn)真實(shí)值數(shù)據(jù)之間的差異，并且將所計(jì)算出的差異輸入到預(yù)定的逆softmax函數(shù)中以生成所述權(quán)重。

3.根據(jù)權(quán)利要求2所述的裝置，其中，所述函數(shù)生成器將所述教師模型的多個(gè)相應(yīng)的所述層級(jí)預(yù)測(cè)結(jié)果與所述權(quán)重相乘，并且將相乘結(jié)果彼此相加以計(jì)算所述損失函數(shù)。

4.根據(jù)權(quán)利要求3所述的裝置，其中，所述函數(shù)生成器將所述損失函數(shù)與預(yù)定的多尺度損失函數(shù)結(jié)合，以生成用于所述學(xué)生模型的訓(xùn)練損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的裝置，其中，所述知識(shí)提煉器通過(guò)使用所述訓(xùn)練損失函數(shù)將所述教師模型的所述知識(shí)提煉到所述學(xué)生模型。

6.根據(jù)權(quán)利要求1所述的裝置，其中，所述教師模型具有迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)。

7.一種用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的方法，所述方法包括：

8.根據(jù)權(quán)利要求7所述的方法，其中，生成所述權(quán)重包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，生成所述損失函數(shù)包括：

10.根據(jù)權(quán)利要求9所述的方法，其中，生成所述損失函數(shù)還包括：

11.根據(jù)權(quán)利要求10所述的方法，其中，提煉所述知識(shí)包括：

12.根據(jù)權(quán)利要求7所述的方法，其中，所述教師模型具有迭代執(zhí)行結(jié)構(gòu)的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)。

13.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，包含由處理器執(zhí)行的程序指令，所述計(jì)算機(jī)可讀介質(zhì)包括：

技術(shù)總結(jié)
本公開(kāi)涉及用于場(chǎng)景流預(yù)測(cè)模型的提煉知識(shí)的裝置、方法和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述裝置包括學(xué)生模型形成器、權(quán)重生成器、函數(shù)生成器以及知識(shí)提煉器，學(xué)生模型形成器形成學(xué)生模型，學(xué)生模型具有單一的、教師模型的雙向流嵌入和流預(yù)測(cè)器結(jié)構(gòu)，權(quán)重生成器基于教師模型的多個(gè)層級(jí)預(yù)測(cè)結(jié)果和預(yù)定的基準(zhǔn)真實(shí)值數(shù)據(jù)生成權(quán)重，函數(shù)生成器通過(guò)使用權(quán)重和多個(gè)預(yù)測(cè)結(jié)果生成損失函數(shù)，知識(shí)提煉器通過(guò)使用損失函數(shù)將教師模型的知識(shí)提煉為學(xué)生模型。

技術(shù)研發(fā)人員：樸奎度,姜洙赫,高鐘煥,程文燦,金珉弟
受保護(hù)的技術(shù)使用者：現(xiàn)代凱菲克株式會(huì)社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6