本申請(qǐng)涉及圖像處理，特別是涉及一種場(chǎng)景物理信息重建方法、裝置及電子設(shè)備。

背景技術(shù)：

1、場(chǎng)景物理信息是指視頻中固定的場(chǎng)景信息，比如車(chē)道線(xiàn)、停止線(xiàn)和斑馬線(xiàn)。電警（電警是路邊架設(shè)的交通違法自動(dòng)監(jiān)控設(shè)備）中的交通事件檢測(cè)算法均需要這些場(chǎng)景信息，目前這些場(chǎng)景信息的獲取一般為手動(dòng)標(biāo)注。

2、雖然手動(dòng)標(biāo)注的精度高、魯棒性強(qiáng)，但是在大規(guī)模部署產(chǎn)品時(shí)，手動(dòng)標(biāo)注不能及時(shí)完成標(biāo)注，影響項(xiàng)目的工期。并且在電警等設(shè)備的位置發(fā)生變動(dòng)時(shí)，還需要人工調(diào)整，不利于后期維護(hù)?？梢?jiàn)，手動(dòng)對(duì)場(chǎng)景信息的標(biāo)注對(duì)不同場(chǎng)景的適應(yīng)性差，且標(biāo)注成本高、效率低。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)于上述問(wèn)題，本申請(qǐng)?zhí)峁┮环N場(chǎng)景物理信息重建方法、裝置及電子設(shè)備，解決了手動(dòng)對(duì)場(chǎng)景信息標(biāo)注的效率低、成本高以及場(chǎng)景適應(yīng)性差的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝巳缦录夹g(shù)方案：

3、一種場(chǎng)景物理信息重建方法，所述方法包括：

4、對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得所述每一圖像幀的目標(biāo)的特征信息；

5、基于所述每一圖像幀的目標(biāo)的特征信息，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡；

6、對(duì)所述每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)；

7、基于所述第一初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域；

8、對(duì)所述候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)；

9、基于所述候選車(chē)道線(xiàn)區(qū)域和所述第二初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景的車(chē)道線(xiàn)。

10、可選地，所述對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得所述每一圖像幀的目標(biāo)的特征信息，包括：

11、獲取目標(biāo)路口的圖像采集設(shè)備的實(shí)時(shí)視頻流；

12、對(duì)所述實(shí)時(shí)視頻流進(jìn)行視頻解碼，獲得目標(biāo)視頻數(shù)據(jù)，所述目標(biāo)視頻數(shù)據(jù)中包括至少一個(gè)圖像幀；

13、基于目標(biāo)檢測(cè)模型對(duì)所述目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得每一圖像幀的目標(biāo)的特征信息，所述特征信息包括目標(biāo)在所述圖像幀中的位置和所述目標(biāo)的類(lèi)型。

14、可選地，所述方法還包括：

15、獲得目標(biāo)數(shù)據(jù)樣本集，所述目標(biāo)數(shù)據(jù)樣本集中包括不同類(lèi)型的道路特征下的圖像數(shù)據(jù)，其中，在每一圖像數(shù)據(jù)中標(biāo)注有對(duì)應(yīng)的檢測(cè)目標(biāo)，所述檢測(cè)目標(biāo)對(duì)應(yīng)的標(biāo)注信息至少包括所述檢測(cè)目標(biāo)在對(duì)應(yīng)的所述圖像數(shù)據(jù)中的位置和類(lèi)型；

16、利用初始檢測(cè)模型對(duì)所述目標(biāo)數(shù)據(jù)樣本集進(jìn)行處理，以使得所述初始檢測(cè)模型能夠輸出與所述目標(biāo)數(shù)據(jù)樣本集中每一圖像數(shù)據(jù)標(biāo)注的檢測(cè)目標(biāo)，獲得目標(biāo)檢測(cè)模型。

17、可選地，所述目標(biāo)的特征信息包括目標(biāo)的位置和目標(biāo)的類(lèi)型，所述基于所述每一圖像幀的目標(biāo)的特征信息，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡，包括：

18、基于每一圖像幀的目標(biāo)的類(lèi)型，對(duì)所述目標(biāo)進(jìn)行篩選，得到篩選后的目標(biāo)；

19、基于所述篩選后的目標(biāo)在每一圖像幀中的位置，確定每一所述篩選后的目標(biāo)對(duì)應(yīng)所述目標(biāo)視頻數(shù)據(jù)的運(yùn)動(dòng)軌跡。

20、可選地，所述對(duì)所述每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)，包括：

21、對(duì)所述每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行篩選，得到篩選后的目標(biāo)的運(yùn)動(dòng)軌跡；

22、對(duì)篩選后的目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定目標(biāo)場(chǎng)景對(duì)應(yīng)的初始車(chē)道數(shù)量；

23、基于所述初始車(chē)道數(shù)量，確定篩選后的目標(biāo)的運(yùn)動(dòng)軌跡所屬的第一初始車(chē)道數(shù)據(jù)。

24、可選地，所述基于所述第一初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域，包括：

25、基于所述第一初始車(chē)道數(shù)據(jù)，確定每個(gè)車(chē)道對(duì)應(yīng)的目標(biāo)的平均運(yùn)動(dòng)軌跡的位置；

26、基于所述每個(gè)車(chē)道對(duì)應(yīng)的目標(biāo)的平均運(yùn)動(dòng)軌跡的位置，確定所述目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域。

27、可選地，所述對(duì)所述候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)，包括：

28、根據(jù)圖像分割模型對(duì)所述候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割，得到第二初始車(chē)道數(shù)據(jù)；

29、其中，所述圖像分割模型為基于車(chē)道線(xiàn)數(shù)據(jù)樣本訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型。

30、可選地，所述基于所述候選車(chē)道線(xiàn)區(qū)域和所述第二初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景的車(chē)道線(xiàn)，包括：

31、獲得第二初始車(chē)道數(shù)據(jù)對(duì)應(yīng)的車(chē)道線(xiàn)的第二位置信息；

32、基于所述候選車(chē)道線(xiàn)區(qū)域?qū)?yīng)的每一車(chē)道線(xiàn)的第一位置信息和所述第二位置信息，確定每一車(chē)道線(xiàn)的目標(biāo)位置信息；

33、基于所述每一車(chē)道線(xiàn)的目標(biāo)位置信息，確定所述目標(biāo)場(chǎng)景的車(chē)道線(xiàn)。

34、一種場(chǎng)景物理信息重建裝置，所述裝置包括：

35、檢測(cè)單元，用于對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得所述每一圖像幀的目標(biāo)的特征信息；

36、第一確定單元，用于基于所述每一圖像幀的目標(biāo)的特征信息，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡；

37、第二確定單元，用于對(duì)所述每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)；

38、第三確定單元，用于基于所述第一初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域；

39、分割處理單元，用于對(duì)所述候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)；

40、第四確定單元，用于基于所述候選車(chē)道線(xiàn)區(qū)域和所述第二初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景的車(chē)道線(xiàn)。

41、一種電子設(shè)備，所述電子設(shè)備包括：

42、存儲(chǔ)器，用于存儲(chǔ)應(yīng)用程序和所述應(yīng)用程序運(yùn)行所產(chǎn)生的數(shù)據(jù)；

43、處理器，用于執(zhí)行所述應(yīng)用程序，以實(shí)現(xiàn)如上述中任一項(xiàng)所述的場(chǎng)景物理信息重建方法。

44、相較于現(xiàn)有技術(shù)，本申請(qǐng)?zhí)峁┝艘环N場(chǎng)景物理信息重建方法、裝置及電子設(shè)備，該方法包括：對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得每一圖像幀的目標(biāo)的特征信息；基于每一圖像幀的目標(biāo)的特征信息，確定與目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡；對(duì)每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)；基于第一初始車(chē)道數(shù)據(jù)，確定目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域；對(duì)候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)；基于第一初始車(chē)道數(shù)據(jù)和第二初始車(chē)道數(shù)據(jù)，確定目標(biāo)場(chǎng)景的車(chē)道線(xiàn)。本申請(qǐng)通過(guò)對(duì)目標(biāo)場(chǎng)景的目標(biāo)的運(yùn)動(dòng)軌跡確定出候選車(chē)道線(xiàn)區(qū)域，然后第二初始車(chē)道數(shù)據(jù)是基于圖像處理得到的像素分類(lèi)，從而從不同的處理維度確定車(chē)道線(xiàn)，無(wú)需對(duì)場(chǎng)景中的車(chē)道線(xiàn)進(jìn)行人工標(biāo)注，解決了手動(dòng)對(duì)場(chǎng)景信息標(biāo)注的效率低、成本高以及場(chǎng)景適應(yīng)性差的問(wèn)題。

技術(shù)特征：

1.一種場(chǎng)景物理信息重建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得所述每一圖像幀的目標(biāo)的特征信息，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)的特征信息包括目標(biāo)的位置和目標(biāo)的類(lèi)型，所述基于所述每一圖像幀的目標(biāo)的特征信息，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與所述目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述候選車(chē)道線(xiàn)區(qū)域和所述第二初始車(chē)道數(shù)據(jù)，確定所述目標(biāo)場(chǎng)景的車(chē)道線(xiàn)，包括：

9.一種場(chǎng)景物理信息重建裝置，其特征在于，所述裝置包括：

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種場(chǎng)景物理信息重建方法、裝置及電子設(shè)備，涉及圖像處理技術(shù)領(lǐng)域，該方法包括：對(duì)待處理的目標(biāo)視頻數(shù)據(jù)中的每一圖像幀進(jìn)行目標(biāo)檢測(cè)，獲得每一圖像幀的目標(biāo)的特征信息；確定與目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的每一目標(biāo)的運(yùn)動(dòng)軌跡；對(duì)每一目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行聚類(lèi)，確定與目標(biāo)視頻數(shù)據(jù)對(duì)應(yīng)的目標(biāo)場(chǎng)景中的第一初始車(chē)道數(shù)據(jù)，并確定目標(biāo)場(chǎng)景對(duì)應(yīng)的候選車(chē)道線(xiàn)區(qū)域；對(duì)候選車(chē)道線(xiàn)區(qū)域進(jìn)行圖像分割處理，獲得第二初始車(chē)道數(shù)據(jù)，從而確定出目標(biāo)場(chǎng)景的車(chē)道線(xiàn)。本申請(qǐng)從軌跡跟蹤和圖像處理的不同的處理維度確定車(chē)道線(xiàn)，無(wú)需對(duì)場(chǎng)景中的車(chē)道線(xiàn)進(jìn)行人工標(biāo)注，解決了手動(dòng)對(duì)場(chǎng)景信息標(biāo)注的效率低、成本高以及場(chǎng)景適應(yīng)性差的問(wèn)題。

技術(shù)研發(fā)人員：沈斌,吳勁峰,靳作寶,蔣棟奇,彭晨旭,陳瑞生
受保護(hù)的技術(shù)使用者：浙江中控信息產(chǎn)業(yè)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6