本發(fā)明屬于自動(dòng)駕駛領(lǐng)域,具體涉及一種用于自動(dòng)駕駛和adas的視頻信號(hào)處理系統(tǒng)及方法。
背景技術(shù):
1、近年來(lái),自動(dòng)駕駛(autonomous?driving)技術(shù)和高級(jí)駕駛輔助系統(tǒng)(advanceddriving?assistant?system,adas)憑借其不斷創(chuàng)新和完善的功能,展現(xiàn)出巨大的市場(chǎng)潛力。作為自動(dòng)駕駛/無(wú)人駕駛技術(shù)的基礎(chǔ)和前提,adas通過(guò)集成多種傳感器、計(jì)算平臺(tái)、算法和軟件以及操作系統(tǒng),實(shí)現(xiàn)對(duì)車輛周圍環(huán)境進(jìn)行感知、決策與控制,從而提升駕駛的安全性、舒適度及效率。
2、目前主流的自動(dòng)駕駛和adas解決方案有:華為ads?3.0、mobileye?eyeq5、waymo、百度apollo、特斯拉autopilot、nvidia?drive?autopilot?/?drive?agx?xavier/orin和地平線的superdrive智駕方案等。隨著ai人工智能、深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)的不斷融合與發(fā)展,?l4和l5級(jí)別的自動(dòng)駕駛汽車將逐步進(jìn)入市場(chǎng),實(shí)現(xiàn)更高程度的自動(dòng)化和智能化,可以期待。然而,現(xiàn)有的自動(dòng)駕駛和adas解決方案面臨以下問(wèn)題或痛點(diǎn):(1)傳統(tǒng)計(jì)算平臺(tái)的性能限制:在ai人工智能、深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)快速發(fā)展的背景下,傳統(tǒng)的cpu和gpu在處理日益復(fù)雜的計(jì)算任務(wù)時(shí)顯得力不從心。尤其在算力、實(shí)時(shí)性和功耗方面,這些平臺(tái)難以滿足日益嚴(yán)苛的應(yīng)用需求。(2)adas系統(tǒng)的高成本與集成挑戰(zhàn):目前市面上的adas系統(tǒng)普遍價(jià)格昂貴,且各系統(tǒng)間的兼容性問(wèn)題突出,導(dǎo)致集成工作、debug調(diào)試既困難又耗時(shí)。這無(wú)疑增加了汽車制造商在研發(fā)上的投入和整個(gè)項(xiàng)目的開(kāi)發(fā)周期。(3)技術(shù)局限性:例如,在惡劣天氣條件或復(fù)雜道路環(huán)境下的感知能力、對(duì)不規(guī)則道路或交通標(biāo)志的識(shí)別能力等方面,自動(dòng)駕駛和adas系統(tǒng)可能還需要進(jìn)一步改進(jìn)。此外,自動(dòng)駕駛系統(tǒng)的決策機(jī)制也需要不斷優(yōu)化,以更好地適應(yīng)復(fù)雜的交通環(huán)境。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種用于自動(dòng)駕駛和adas的視頻信號(hào)處理系統(tǒng)及方法,以解決現(xiàn)有自動(dòng)駕駛和adas平臺(tái)在處理視頻信號(hào)時(shí)存在計(jì)算平臺(tái)性能限制(算力和實(shí)時(shí)性不足、功耗高)以及adas系統(tǒng)的高成本與集成挑戰(zhàn)的問(wèn)題。
2、為達(dá)到上述目的,本發(fā)明采用以下技術(shù)方案:
3、第一方面,本發(fā)明提供一種用于自動(dòng)駕駛和adas的視頻信號(hào)處理系統(tǒng),包括:視頻采集裝置、信號(hào)均衡器(?equalizer,eq)?、ahd解碼器、fpga芯片和rk3588芯片;
4、其中信號(hào)均衡器接收來(lái)自每路sdi相機(jī)或4k?hdmi信號(hào)源提供的輸入信號(hào),實(shí)現(xiàn)單端信號(hào)轉(zhuǎn)換為差分信號(hào)和eq均衡的功能,然后輸出給fpga芯片;
5、通過(guò)利用fpga內(nèi)部豐富的gtp/gtx/gth/gty高速串行收發(fā)器(serdes)來(lái)接收車載視頻信號(hào),完成圖像采集、圖像預(yù)處理以及信號(hào)傳輸后,將視頻數(shù)據(jù)通過(guò)pcie接口輸出。同時(shí),fpga芯片還通過(guò)ahd解碼器采集ahd相機(jī)的視頻信號(hào),以便進(jìn)行后續(xù)處理。
6、rk3588芯片的pcie接口與fpga芯片的pcie接口連接。
7、rk3588芯片通過(guò)pcie接口接收車載視頻的實(shí)時(shí)數(shù)據(jù)流,并對(duì)接收到的視頻數(shù)據(jù)進(jìn)行h.265/h.264編碼處理、基于深度學(xué)習(xí)的目標(biāo)識(shí)別與跟蹤算法處理、osd(屏幕顯示)、存儲(chǔ)和人機(jī)交互處理,為后續(xù)的視頻傳輸、存儲(chǔ)或顯示提供基礎(chǔ)。
8、在一些實(shí)施方式中,所述視頻信號(hào)處理系統(tǒng)與視頻采集裝置連接,該視頻采集裝置包括sdi相機(jī)、hdmi視頻源和ahd相機(jī),這些視頻源可以根據(jù)不同的應(yīng)用場(chǎng)景靈活配置為其他類型的視頻源。所有這些視頻源都通過(guò)各自專用的接口電路與fpga相連。系統(tǒng)能夠?qū)崿F(xiàn)在車載環(huán)境下低延遲、高分辨率(如4k)的視頻圖像數(shù)據(jù)采集,滿足自動(dòng)駕駛/adas系統(tǒng)中圖像采集的性能要求,并具有良好的適應(yīng)性和可擴(kuò)展性。
9、在一些實(shí)施方式中,所述信號(hào)均衡器包括4k?hdmi接收端信號(hào)均衡器和sdi相機(jī)接收端信號(hào)均衡器。信號(hào)均衡器接收來(lái)自每路sdi相機(jī)或4k?hdmi信號(hào)源的輸入信號(hào),實(shí)現(xiàn)單端信號(hào)到差分信號(hào)的轉(zhuǎn)換或eq均衡功能,補(bǔ)償信號(hào)在傳輸過(guò)程中的損失,確保輸出信號(hào)的完好性和質(zhì)量。然后,信號(hào)均衡器將處理后的信號(hào)輸出給fpga芯片進(jìn)行進(jìn)一步處理。
10、在一些實(shí)施方式中,所述4k?hdmi接收端信號(hào)均衡器的型號(hào)為ps8409a,sdi相機(jī)接收端信號(hào)均衡器的型號(hào)為gv8601a。
11、在一些實(shí)施方式中,ahd解碼器用于采集并解碼車載ahd相機(jī)的視頻信號(hào),以供后續(xù)處理,其芯片型號(hào)為xs9922a。
12、在一些實(shí)施方式中,所述fpga芯片包括gtx解串器、sdi解碼單元、hdmi解碼單元、ahd解碼單元、視頻格式轉(zhuǎn)換單元、視頻處理單元、視頻縮放單元和視頻存儲(chǔ)傳輸單元;
13、gtx解串器將sdi視頻信號(hào)和hdmi視頻信號(hào)轉(zhuǎn)換為sdi并行數(shù)字信號(hào)和hdmi并行數(shù)字信號(hào)后分別傳輸至sdi解碼單元和hdmi解碼單元;
14、sdi解碼單元將sdi并行數(shù)字信號(hào)解碼為標(biāo)準(zhǔn).1120格式視頻信號(hào)傳輸至所述視頻格式轉(zhuǎn)換單元;
15、hdmi解碼單元將hdmi并行數(shù)字信號(hào)解碼為標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào)傳輸至所述視頻格式轉(zhuǎn)換單元;
16、ahd解碼單元將ahd視頻信號(hào)解碼為標(biāo)準(zhǔn)bt.656格式視頻信號(hào)傳輸至所述視頻格式轉(zhuǎn)換單元;
17、視頻格式轉(zhuǎn)換單元將標(biāo)準(zhǔn).1120格式視頻信號(hào)和標(biāo)準(zhǔn)bt.656格式視頻信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào),然后將標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào)轉(zhuǎn)換為rgb格式視頻信號(hào)輸出至圖像處理單元;
18、視頻處理單元將所述rgb格式視頻信號(hào)根據(jù)預(yù)設(shè)參數(shù)裁剪得到roi數(shù)據(jù)后傳輸至視頻縮放單元;
19、視頻縮放單元調(diào)整roi數(shù)據(jù)的分辨率和尺寸后得到縮放后roi數(shù)據(jù)并傳輸至視頻存儲(chǔ)傳輸單元;
20、視頻存儲(chǔ)傳輸單元將縮放后roi數(shù)據(jù)轉(zhuǎn)換為符合axi4總線傳輸標(biāo)準(zhǔn)的格式,并對(duì)多路axi4總線數(shù)據(jù)進(jìn)行仲裁與調(diào)度得到仲裁后的視頻數(shù)據(jù)并將其存儲(chǔ)至外部存儲(chǔ)器,將外部存儲(chǔ)器內(nèi)部的所述仲裁后的視頻數(shù)據(jù)傳輸至fpga芯片的pcie接口。
21、對(duì)于上述fpga處理過(guò)程進(jìn)行詳細(xì)說(shuō)明,包括:
22、圖像采集。fpga芯片通過(guò)專用的接口電路和連接器連接到sdi相機(jī)或4k?hdmi信號(hào)源,將接收到的數(shù)字視頻信號(hào)送入相應(yīng)的gtx解串器進(jìn)行處理。所述gtx解串器為fpga內(nèi)部的gtp/gtx/gth/gty高速串行收發(fā)器(serdes)。
23、gtx解串,gtx解串器負(fù)責(zé)將輸入的高速串行差分信號(hào)轉(zhuǎn)換為并行數(shù)字信號(hào),然后送入相應(yīng)的解碼單元進(jìn)行處理。
24、視頻解碼,對(duì)于sdi視頻流,smpte?sdi解碼單元接收來(lái)自gtx解串器的并行數(shù)據(jù),并將sdi視頻流解碼為標(biāo)準(zhǔn)bt.1120格式的視頻輸出;對(duì)于hdmi視頻流,hdmi解碼單元接收來(lái)自gtx解串器的數(shù)據(jù),并將hdmi視頻流解碼為標(biāo)準(zhǔn)ycbcr422格式的視頻輸出。對(duì)于ahd視頻流,ahd解碼單元接收來(lái)自ahd解碼器的并行數(shù)據(jù),并將ahd視頻流解碼為標(biāo)準(zhǔn)bt.656格式的視頻輸出。視頻格式轉(zhuǎn)換,fpga芯片按照cea-861和vesa視頻信號(hào)時(shí)序標(biāo)準(zhǔn),將bt1120和bt656格式的視頻信號(hào)轉(zhuǎn)換為ycbcr422格式的視頻輸出。fpga芯片將ycbcr422格式的視頻信號(hào)轉(zhuǎn)換為rgb格式視頻信號(hào)輸出,以便后續(xù)處理。
25、所述fpga芯片進(jìn)行視頻處理的過(guò)程還包括:
26、圖像預(yù)處理,fpga芯片首先檢測(cè)輸入視頻信號(hào)。若檢測(cè)到有效視頻信號(hào),則輸出該視頻;若無(wú)有效視頻信號(hào)輸入,則輸出彩條或藍(lán)場(chǎng)視頻。
27、圖像裁剪,為了專注于視頻中的特定區(qū)域或?qū)ο?,fpga芯片根據(jù)預(yù)設(shè)參數(shù)選擇并裁剪出感興趣的視頻區(qū)域(roi),以供后續(xù)處理。
28、圖像縮放,fpga芯片對(duì)目標(biāo)視頻進(jìn)行圖像縮放處理,調(diào)整其分辨率和尺寸,以滿足后續(xù)視頻傳輸、存儲(chǔ)或顯示的需求,以適應(yīng)特定的顯示設(shè)備或處理流程。fpga芯片對(duì)目標(biāo)視頻進(jìn)行圖像縮放處理,調(diào)整圖像大小以滿足深度學(xué)習(xí)模型的輸入要求。
29、fpga芯片對(duì)目標(biāo)視頻進(jìn)行圖像縮放處理的流程還包括將縮放后的視頻數(shù)據(jù)轉(zhuǎn)換為符合axi4總線傳輸標(biāo)準(zhǔn)的格式,以便通過(guò)axi4總線進(jìn)行高效傳輸,并對(duì)多路axi4總線數(shù)據(jù)進(jìn)行仲裁與調(diào)度。
30、視頻存儲(chǔ),fpga芯片將仲裁后的視頻數(shù)據(jù)緩存至ddr3外部存儲(chǔ)器,以便后續(xù)處理和分析,fpga芯片通過(guò)xdma將ddr3存儲(chǔ)器中的視頻數(shù)據(jù)直接傳輸至pcie接口。
31、所述fpga芯片的視頻pcie接口為標(biāo)準(zhǔn)配置接口。所述fpga芯片的pcie接口與rk3588芯片的pcie接口連接,實(shí)現(xiàn)了車載視頻數(shù)據(jù)從fpga到rk3588的高效傳輸,為rk3588進(jìn)行進(jìn)一步視頻處理和分析提供了基礎(chǔ)。rk3588芯片通過(guò)pcie接口接收車載視頻信號(hào)的實(shí)時(shí)數(shù)據(jù)流,并對(duì)接收到的視頻數(shù)據(jù)進(jìn)行h.265/h.264編碼、基于深度學(xué)習(xí)的目標(biāo)識(shí)別與跟蹤算法處理、osd(屏幕顯示)、存儲(chǔ)和人機(jī)交互處理,以支持后續(xù)的視頻傳輸、存儲(chǔ)或顯示需求。
32、第二方面,一種用于自動(dòng)駕駛和adas的視頻信號(hào)處理方法,基于所述的視頻信號(hào)處理系統(tǒng),包括以下步驟:
33、采集sdi視頻信號(hào)和hdmi視頻信號(hào)后通過(guò)信號(hào)均衡器轉(zhuǎn)換為sdi高速串行差分信號(hào)和hdmi高速串行差分信號(hào),采集ahd視頻信號(hào)通過(guò)ahd解碼器轉(zhuǎn)換為ahd并行數(shù)據(jù);
34、所述sdi高速串行差分信號(hào)和hdmi高速串行差分信號(hào)通過(guò)gtx解串器轉(zhuǎn)換得到sdi并行數(shù)字信號(hào)和hdmi并行數(shù)字信號(hào);
35、所述sdi并行數(shù)字信號(hào)解碼得到標(biāo)準(zhǔn).1120格式視頻信號(hào),所述hdmi并行數(shù)字信號(hào)解碼得到標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào),所述ahd并行數(shù)據(jù)解碼得到標(biāo)準(zhǔn)bt.656格式視頻信號(hào);
36、將所述標(biāo)準(zhǔn).1120格式視頻信號(hào)和標(biāo)準(zhǔn)bt.656格式視頻信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào),將標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào)轉(zhuǎn)換為rgb格式視頻信號(hào);
37、所述rgb格式視頻信號(hào)根據(jù)預(yù)設(shè)參數(shù)裁剪得到roi數(shù)據(jù),調(diào)整roi數(shù)據(jù)的分辨率和尺寸后得到縮放后roi數(shù)據(jù);
38、將roi數(shù)據(jù)轉(zhuǎn)換為符合axi4總線傳輸標(biāo)準(zhǔn)的格式后,對(duì)多路axi4總線數(shù)據(jù)進(jìn)行仲裁與調(diào)度得到仲裁后的視頻數(shù)據(jù),將所述仲裁后的視頻數(shù)據(jù)通過(guò)rk3588芯片處理后輸入至終端設(shè)備,完成視頻信號(hào)處理。
39、在一些實(shí)施方式中,所述標(biāo)準(zhǔn).1120格式視頻信號(hào)和標(biāo)準(zhǔn)bt.656格式視頻信號(hào)按照cea-861和vesa的視頻信號(hào)時(shí)序標(biāo)準(zhǔn)轉(zhuǎn)換為標(biāo)準(zhǔn)ycbcr422格式視頻信號(hào)。
40、在一些實(shí)施方式中,采用輪詢算法對(duì)多路axi4總線數(shù)據(jù)進(jìn)行仲裁與調(diào)度。
41、在一些實(shí)施方式中,所述仲裁后的視頻數(shù)據(jù)通過(guò)xdma傳輸至rk3588芯片的pcie接口。
42、在一些實(shí)施方式中,包括以下步驟:
43、檢測(cè)rgb格式視頻信號(hào),若未檢測(cè)到所述rgb格式視頻信號(hào),則得到彩條視頻或藍(lán)場(chǎng)視頻。
44、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下有益效果:
45、本發(fā)明提供一種用于自動(dòng)駕駛和adas的視頻信號(hào)處理系統(tǒng),采用fpga和rk3588芯片的設(shè)計(jì)架構(gòu),將原本車載sdi相機(jī)、ahd相機(jī)或4k?hdmi信號(hào)源提供的輸入信號(hào)最終通過(guò)fpga的pcie接口輸出,然后rk3588芯片的pcie接口和fpga芯片的pcie接口連接,rk3588芯片通過(guò)pcie接口接收車載視頻的實(shí)時(shí)數(shù)據(jù)流,并對(duì)接收到的視頻數(shù)據(jù)進(jìn)行h.265/h.264編碼處理、基于深度學(xué)習(xí)的目標(biāo)識(shí)別與跟蹤算法處理、osd(屏幕顯示)、存儲(chǔ)和人機(jī)交互處理,為后續(xù)的視頻傳輸、存儲(chǔ)或顯示提供基礎(chǔ)。本發(fā)明充分利用fpga內(nèi)部豐富的gt高速接口資源,實(shí)現(xiàn)與rk3588算力芯片、算法框架的高效集成,從而推動(dòng)基于低成本、國(guó)產(chǎn)自主可控技術(shù)的自動(dòng)駕駛及adas平臺(tái)解決方案的發(fā)展,有效解決了現(xiàn)有的自動(dòng)駕駛和adas解決方案在計(jì)算平臺(tái)性能、高成本及系統(tǒng)集成方面面臨的問(wèn)題。
46、進(jìn)一步地,本發(fā)明采用fpga內(nèi)部的gtx解碼器來(lái)接收車載視頻信號(hào),從而顯著減少了對(duì)外部專用車載解碼芯片的需求。這一改進(jìn)不僅簡(jiǎn)化了系統(tǒng)設(shè)計(jì),還顯著降低了硬件投入和研發(fā)成本。
47、進(jìn)一步地,本發(fā)明fpga內(nèi)置pcie標(biāo)準(zhǔn)接口,除了可以選擇進(jìn)口fpga,也可以選擇國(guó)產(chǎn)fpga。而rk3588是國(guó)產(chǎn)芯片,這對(duì)于推動(dòng)基于低成本、國(guó)產(chǎn)自主可控技術(shù)的自動(dòng)駕駛及adas平臺(tái)解決方案的發(fā)展具有重要意義。
48、進(jìn)一步地,本發(fā)明按照cea-861和vesa視頻信號(hào)時(shí)序標(biāo)準(zhǔn),將實(shí)時(shí)車載視頻流轉(zhuǎn)換為rgb格式視頻,rgb格式視頻是一種常見(jiàn)的視頻格式,它由紅、綠、藍(lán)三個(gè)顏色通道組成,便于處理和轉(zhuǎn)換。通過(guò)適當(dāng)?shù)慕涌陔娐泛瓦m配,如hdmi或vga接口,它可以用來(lái)驅(qū)動(dòng)支持rgb接口的顯示設(shè)備。此外,通過(guò)特定的轉(zhuǎn)換技術(shù),rgb格式視頻還可以轉(zhuǎn)換為支持lvds等其他類型接口,因此本發(fā)明轉(zhuǎn)換為rgb格式視頻能夠滿足不同顯示設(shè)備的需求。