本技術(shù)涉及計(jì)算機(jī)視覺，特別是涉及一種非結(jié)構(gòu)化環(huán)境下基于視覺的無人平臺(tái)運(yùn)動(dòng)規(guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、在非結(jié)構(gòu)化環(huán)境中，基于視覺的局部運(yùn)動(dòng)規(guī)劃展現(xiàn)出顯著的應(yīng)用潛力。該技術(shù)能夠借助實(shí)時(shí)視覺數(shù)據(jù)進(jìn)行自適應(yīng)調(diào)整和動(dòng)態(tài)路徑追蹤，從而在復(fù)雜且不可預(yù)測(cè)的環(huán)境中實(shí)現(xiàn)有效的導(dǎo)航和運(yùn)動(dòng)決策。

2、然而，目前基于視覺的運(yùn)動(dòng)規(guī)劃技術(shù)仍面臨兩大挑戰(zhàn)。首先，其對(duì)非結(jié)構(gòu)化場(chǎng)景中可通行性的評(píng)估泛化能力有限。其次，現(xiàn)有的運(yùn)動(dòng)規(guī)劃方法通常分為“路徑規(guī)劃”和“運(yùn)動(dòng)跟蹤”兩個(gè)連續(xù)階段，這種順序執(zhí)行的方式限制了運(yùn)動(dòng)規(guī)劃的效率，無法實(shí)現(xiàn)并行處理。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的是提供一種非結(jié)構(gòu)化環(huán)境下基于視覺的無人平臺(tái)運(yùn)動(dòng)規(guī)劃方法及系統(tǒng)，可在非結(jié)構(gòu)化環(huán)境中實(shí)現(xiàn)更高效的運(yùn)動(dòng)規(guī)劃和控制。

2、為實(shí)現(xiàn)上述目的，本技術(shù)提供了如下方案：

3、第一方面，本技術(shù)提供了一種非結(jié)構(gòu)化環(huán)境下基于視覺的無人平臺(tái)運(yùn)動(dòng)規(guī)劃方法，包括：

4、獲取目標(biāo)rgb圖像；所述目標(biāo)rgb圖像為非機(jī)構(gòu)化場(chǎng)景下的rgb圖像。

5、將所述目標(biāo)rgb圖像輸入至訓(xùn)練好的可通過性代價(jià)圖模型中，得到與所述目標(biāo)rgb圖像具有相同高寬的可通過性代價(jià)圖；所述訓(xùn)練好的可通過性代價(jià)圖模型為以非機(jī)構(gòu)化環(huán)境下的樣本rgb圖像為輸入，以樣本rgb圖像對(duì)應(yīng)的像素級(jí)語義分類標(biāo)注為標(biāo)簽訓(xùn)練得到深度神經(jīng)網(wǎng)絡(luò)模型。

6、根據(jù)所述可通過性代價(jià)圖，利用mppi算法，在設(shè)定運(yùn)動(dòng)空間中進(jìn)行動(dòng)作采樣，得到采樣軌跡。

7、以非結(jié)構(gòu)化環(huán)境的可通過性和到終點(diǎn)的距離為指標(biāo)，對(duì)所述采樣軌跡進(jìn)行代價(jià)計(jì)算，并基于最小化代價(jià)，確定通過非結(jié)構(gòu)化環(huán)境的最優(yōu)動(dòng)作。

8、可選的，所述像素級(jí)語義分類標(biāo)注中的語義包括：混凝土路、瀝青路、礫石路、草地、泥土路、沙路、巖石、巖床、水坑、背景、標(biāo)志牌、障礙物、樹木和建筑。

9、可選的，不同語義對(duì)應(yīng)的可通過性代價(jià)值具體包括：

10、混凝土路和瀝青路的可通過性代價(jià)值為0；礫石路、草地、泥土路、沙路的可通過性代價(jià)值為0.25；巖石、巖床的可通過性代價(jià)值為0.5；水坑的可通過性代價(jià)值為0.75；背景、標(biāo)志牌、障礙物、樹木和建筑的可通過性代價(jià)值為1。

11、可選的，所述可通過性代價(jià)圖模型的訓(xùn)練采用的損失函數(shù)為l1損失函數(shù)；所述l1損失函數(shù)的公式表達(dá)式為：

12、。

13、其中， n為訓(xùn)練樣本的數(shù)量， y i為真實(shí)的可通過性代價(jià)值，為預(yù)測(cè)的可通過性代價(jià)值。

14、可選的，在根據(jù)所述可通過性代價(jià)圖，利用mppi算法，在設(shè)定運(yùn)動(dòng)空間中進(jìn)行動(dòng)作采樣，得到采樣軌跡之前，還包括：

15、構(gòu)建車輛動(dòng)力學(xué)模型；所述車輛動(dòng)力學(xué)模型的公式表達(dá)式為：

16、。

17、其中，分別為車輛 t時(shí)刻的 x、 y位置和偏航角，為車輛t+1時(shí)刻的 x位置，為車輛t+1時(shí)刻的 y位置，為車輛t+1時(shí)刻 x方向的偏航角，為車輛 t時(shí)刻 x方向的偏航角， v t 、ω t分別為線速度和角速度，為控制時(shí)間間隔。

18、可選的，根據(jù)所述可通過性代價(jià)圖，利用mppi算法，在設(shè)定運(yùn)動(dòng)空間中進(jìn)行動(dòng)作采樣，得到采樣軌跡，具體包括：

19、根據(jù)所述可通過性代價(jià)圖，采用基于mppi算法的策略，通過numba庫與nvidia?gpu加速技術(shù)相結(jié)合，對(duì)運(yùn)動(dòng)空間內(nèi)的動(dòng)作采樣過程進(jìn)行優(yōu)化。

20、可選的，在以非結(jié)構(gòu)化環(huán)境的可通過性和到終點(diǎn)的距離為指標(biāo)，對(duì)所述采樣軌跡進(jìn)行代價(jià)計(jì)算，并基于最小化代價(jià)，確定通過非結(jié)構(gòu)化環(huán)境的最優(yōu)動(dòng)作之前，還包括：

21、使用已知的相機(jī)參數(shù)將真實(shí)世界坐標(biāo)中的點(diǎn)(x,?y)轉(zhuǎn)換到圖像平面，具體包括：

22、確定相機(jī)的固有參數(shù)為 k；其中， f x和 f y分別為 x和 y方向上的焦距，( c x, c y)為光軸與像平面的交點(diǎn)。

23、根據(jù)公式，將點(diǎn)投影到圖像坐標(biāo)上；其中， h為地面到相機(jī)的高度。

24、根據(jù)公式，將圖像坐標(biāo)轉(zhuǎn)化為像素坐標(biāo)；其中，( u p, v p)為圖像平面上的像素坐標(biāo)。

25、可選的，對(duì)所述采樣軌跡進(jìn)行代價(jià)計(jì)算的代價(jià)函數(shù)包括運(yùn)行代價(jià)函數(shù)和終態(tài)代價(jià)函數(shù)。

26、可選的，所述運(yùn)行代價(jià)函數(shù)的公式表達(dá)式為：。

27、所述終態(tài)代價(jià)函數(shù)的公式表達(dá)式為：。

28、其中，為終點(diǎn)目標(biāo)位置； p t為車輛在時(shí)刻 t的位置； sdefault為用于估計(jì)車輛抵達(dá)終點(diǎn)用時(shí)的默認(rèn)速度；為一個(gè)指示函數(shù)，當(dāng)任何狀態(tài) x τ(0≤ τ≤ t)達(dá)到時(shí)，它返回1，否則返回0；為位置 p t處的可通行性代價(jià)； wdist>0和 wtra>0分別為懲罰到終點(diǎn)距離和可通行性代價(jià)的權(quán)重。

29、第二方面，本技術(shù)提供了一種非結(jié)構(gòu)化環(huán)境下基于視覺的無人平臺(tái)運(yùn)動(dòng)規(guī)劃系統(tǒng)，包括：

30、圖像獲取模塊，用于獲取目標(biāo)rgb圖像；所述目標(biāo)rgb圖像為非機(jī)構(gòu)化場(chǎng)景下的rgb圖像。

31、圖像轉(zhuǎn)換模塊，用于將所述目標(biāo)rgb圖像輸入至訓(xùn)練好的可通過性代價(jià)圖模型中，得到與所述目標(biāo)rgb圖像具有相同高寬的可通過性代價(jià)圖；所述訓(xùn)練好的可通過性代價(jià)圖模型為以非機(jī)構(gòu)化環(huán)境下的樣本rgb圖像為輸入，以樣本rgb圖像對(duì)應(yīng)的像素級(jí)語義分類標(biāo)注為標(biāo)簽訓(xùn)練得到深度神經(jīng)網(wǎng)絡(luò)模型。

32、軌跡采樣模塊，用于根據(jù)所述可通過性代價(jià)圖，利用mppi算法，在設(shè)定運(yùn)動(dòng)空間中進(jìn)行動(dòng)作采樣，得到采樣軌跡。

33、計(jì)算模塊，用于以非結(jié)構(gòu)化環(huán)境的可通過性和到終點(diǎn)的距離為指標(biāo)，對(duì)所述采樣軌跡進(jìn)行代價(jià)計(jì)算，并基于最小化代價(jià)，確定通過非結(jié)構(gòu)化環(huán)境的最優(yōu)動(dòng)作。

34、根據(jù)本技術(shù)提供的具體實(shí)施例，本技術(shù)公開了以下技術(shù)效果：

35、本技術(shù)提供了一種非結(jié)構(gòu)化環(huán)境下基于視覺的無人平臺(tái)運(yùn)動(dòng)規(guī)劃方法及系統(tǒng)，通過將目標(biāo)rgb圖像輸入至訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型中，能夠快速得到可通過性代價(jià)圖，從而實(shí)現(xiàn)實(shí)時(shí)運(yùn)動(dòng)規(guī)劃；采用像素級(jí)語義分類標(biāo)注訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)模型，能夠準(zhǔn)確識(shí)別非結(jié)構(gòu)化環(huán)境中的障礙物和可行區(qū)域；利用mppi算法進(jìn)行動(dòng)作采樣，并結(jié)合代價(jià)計(jì)算，能夠找到一條在非結(jié)構(gòu)化環(huán)境中通過性最高、距離終點(diǎn)最近的優(yōu)化軌跡，提高無人平臺(tái)的運(yùn)動(dòng)效率。通過對(duì)采樣軌跡進(jìn)行代價(jià)計(jì)算，并基于最小化代價(jià)確定最優(yōu)動(dòng)作，可以有效避免無人平臺(tái)在運(yùn)動(dòng)過程中與障礙物發(fā)生碰撞，提高運(yùn)動(dòng)安全性。