本技術(shù)屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器。

背景技術(shù)：

1、在計(jì)算機(jī)視覺(jué)中，目標(biāo)檢測(cè)與目標(biāo)跟蹤屬于交叉領(lǐng)域，目標(biāo)檢測(cè)是在圖像和視頻中掃描和搜尋目標(biāo)，在一個(gè)場(chǎng)景中對(duì)目標(biāo)進(jìn)行定位和識(shí)別；而目標(biāo)跟蹤則是在給定了目標(biāo)的初始狀態(tài)后，對(duì)目標(biāo)之后的位置和大小進(jìn)行準(zhǔn)確的預(yù)測(cè)，從而得到物體的運(yùn)動(dòng)狀態(tài)。近些年，隨著深度學(xué)習(xí)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)被廣泛用于目標(biāo)檢測(cè)和目標(biāo)跟蹤領(lǐng)域，并取得了很好的效果。

2、目前使用的各類(lèi)基于目標(biāo)檢測(cè)的目標(biāo)跟蹤算法實(shí)現(xiàn)過(guò)程的計(jì)算量極大，模型的運(yùn)算成本很高。而在檢測(cè)目標(biāo)的過(guò)程中，需要對(duì)每幀畫(huà)面進(jìn)行檢測(cè)，以確保獲得目標(biāo)的運(yùn)動(dòng)軌跡。目標(biāo)的位置是通過(guò)檢測(cè)器得到，檢測(cè)器的精確度直接影響之后的跟蹤效果，所以目標(biāo)檢測(cè)器的精確度要很高，同時(shí)檢測(cè)速度要很快，這樣才能夠在實(shí)時(shí)的視頻流中得到精準(zhǔn)的結(jié)果，并用于之后的跟蹤過(guò)程中。

3、現(xiàn)有的技術(shù)中，很難同時(shí)滿(mǎn)足輸入視頻的高幀率和高清晰度以及檢測(cè)跟蹤的實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本實(shí)用新型提供了一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器。本實(shí)用新型要解決的技術(shù)問(wèn)題通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

2、一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，包括：

3、cpu、fpga、視頻輸入模塊、串化/解串芯片、fpga外設(shè)和cpu外設(shè)；其中，

4、所述視頻輸入模塊用于通過(guò)cameralink-m接口和cameralink-b接口將圖像輸入至所述fpga；

5、所述fpga用于結(jié)合所述fpga外設(shè)將接收到的圖像進(jìn)行協(xié)議解析并通過(guò)mipi接口輸入至所述cpu；

6、所述cpu用于結(jié)合所述cpu外設(shè)對(duì)接收到的數(shù)據(jù)進(jìn)行追蹤處理，并將處理后的結(jié)果輸入至所述fpga；

7、所述fpga還用于利用所述串化/解串芯片對(duì)接收到的cpu處理后的結(jié)果進(jìn)行處理后輸出視頻。

8、作為優(yōu)選的，cpu包括瑞芯微的rk3588芯片。

9、作為優(yōu)選的，fpga包括紫光同創(chuàng)的pg2l100h；其中，所述fpga采用最小系統(tǒng)設(shè)計(jì)。

10、作為優(yōu)選的，串化/解串芯片包括杭州瑞盟的ms913芯片。

11、作為優(yōu)選的，視頻輸入模塊包括：

12、電視設(shè)備和紅外設(shè)備。

13、作為優(yōu)選的，電視設(shè)備通過(guò)所述cameralink-m接口和rs422/sync接口與所述fpga進(jìn)行數(shù)據(jù)傳輸；所述fpga通過(guò)+5v供電接口向所述電視設(shè)備供電；所述電視設(shè)備的分辨率為2560×1920@50hz。

14、作為優(yōu)選的，紅外設(shè)備通過(guò)所述cameralink-b接口和rs422/sync接口與所述fpga進(jìn)行數(shù)據(jù)傳輸；所述fpga通過(guò)+5v供電接口向所述紅外設(shè)備供電；所述紅外設(shè)備的分辨率為1280×1024@30hz。

15、作為優(yōu)選的，fpga外設(shè)包括：

16、128mb的qsp?flash和1gb的ddr3。

17、作為優(yōu)選的，cpu外設(shè)包括：

18、64gb的emmc、lpddr4x、存儲(chǔ)sd板、yt8521芯片、sit3232芯片和sit3088芯片；其中，

19、所述cpu通過(guò)sdio接口與所述存儲(chǔ)sd板連接，通過(guò)rgmii接口與所述yt8521芯片連接，通過(guò)uart接口與所述sit3232芯片連接，通過(guò)mipi接口與所述sit3088芯片連接。

20、本實(shí)用新型的有益效果：

21、本實(shí)用新型實(shí)施例所提供的方案中，視頻跟蹤器采用雙接口輸入，利用cpu對(duì)fpga解析后的圖像進(jìn)行追蹤處理，并將處理后的結(jié)果輸入至fpga，fpga利用串化/解串芯片對(duì)接收到的cpu處理后的結(jié)果進(jìn)行處理后輸出視頻，通過(guò)雙接口的視頻輸入和cpu結(jié)合fpga對(duì)輸入視頻的處理，在保證輸入視頻的高清晰度高幀率的情況下，實(shí)時(shí)性也提升了很多。且本實(shí)施例中的視頻跟蹤器采用最小系統(tǒng)設(shè)計(jì)，具有功耗低、穩(wěn)定性較強(qiáng)、體積較小、重量低和方便移動(dòng)的優(yōu)點(diǎn)。

技術(shù)特征：

1.一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述cpu包括瑞芯微的rk3588芯片。

3.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述fpga包括紫光同創(chuàng)的pg2l100h；其中，所述fpga采用最小系統(tǒng)設(shè)計(jì)。

4.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述串化/解串芯片包括杭州瑞盟的ms913芯片。

5.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述視頻輸入模塊包括：

6.根據(jù)權(quán)利要求5所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述電視設(shè)備通過(guò)所述cameralink-m接口和rs422/sync接口與所述fpga進(jìn)行數(shù)據(jù)傳輸；所述fpga通過(guò)+5v供電接口向所述電視設(shè)備供電；所述電視設(shè)備的分辨率為2560×1920@50hz。

7.根據(jù)權(quán)利要求5所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述紅外設(shè)備通過(guò)所述cameralink-b接口和rs422/sync接口與所述fpga進(jìn)行數(shù)據(jù)傳輸；所述fpga通過(guò)+5v供電接口向所述紅外設(shè)備供電；所述紅外設(shè)備的分辨率為1280×1024@30hz。

8.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述fpga外設(shè)包括：

9.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，其特征在于，所述cpu外設(shè)包括：

技術(shù)總結(jié)
本技術(shù)公開(kāi)了一種實(shí)時(shí)高幀率高清晰度的視頻跟蹤器，包括：CPU、FPGA、視頻輸入模塊、串化/解串芯片、FPGA外設(shè)和CPU外設(shè)；視頻輸入模塊用于將圖像輸入至FPGA；FPGA用于將接收到的圖像進(jìn)行協(xié)議解析并輸入至CPU；CPU用于對(duì)接收到的數(shù)據(jù)進(jìn)行追蹤處理，并將處理后的結(jié)果輸入至FPGA；FPGA還用于利用串化/解串芯片將接收到的CPU處理后的結(jié)果進(jìn)行處理后輸出視頻。視頻跟蹤器采用雙接口輸入，利用CPU對(duì)FPGA解析后的圖像進(jìn)行處理，并將處理后的結(jié)果輸入至FPGA，F(xiàn)PGA利用串化/解串芯片將CPU處理后的結(jié)果處理后進(jìn)行視頻輸出，在保證輸入視頻的高清晰度高幀率的情況下提升了實(shí)時(shí)性。

技術(shù)研發(fā)人員：路文,伍凌帆,施文杰,丁旭輝,唐振宇
受保護(hù)的技術(shù)使用者：蘇州覓蹤智能科技有限公司
技術(shù)研發(fā)日：20231023
技術(shù)公布日：2025/1/6