本發(fā)明屬于邊緣視頻分析，涉及一種邊緣端的實(shí)時(shí)視頻分析系統(tǒng)。

背景技術(shù)：

1、實(shí)時(shí)視頻分析系統(tǒng)通常由一個(gè)智能相機(jī)和一個(gè)配備了中央處理器（cpu）和圖形處理器（gpu）的邊緣設(shè)備組成，其在邊緣端的智能相機(jī)中生成視頻，并在邊緣端進(jìn)行視頻分析，以實(shí)現(xiàn)實(shí)時(shí)響應(yīng)和/或隱私保護(hù)。實(shí)時(shí)視頻分析系統(tǒng)能夠辨識(shí)出在具備時(shí)限的視頻流中發(fā)生的涉及空間或時(shí)間因素的事件，這種方法融合了計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)的知識(shí)，實(shí)現(xiàn)了對(duì)于視覺(jué)數(shù)據(jù)的高級(jí)處理，進(jìn)而解析其中蘊(yùn)含的重要事件。邊緣端的實(shí)時(shí)視頻分析技術(shù)在多個(gè)領(lǐng)域展現(xiàn)出了巨大的潛力，應(yīng)用范圍涵蓋了從動(dòng)態(tài)環(huán)境監(jiān)控到復(fù)雜生產(chǎn)流程等領(lǐng)域。然而，邊緣端的實(shí)時(shí)視頻分析技術(shù)也面臨視頻分析系統(tǒng)內(nèi)視頻和圖像數(shù)據(jù)傳輸實(shí)時(shí)性、安全性和穩(wěn)定性不足的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，提高了實(shí)時(shí)視頻分析系統(tǒng)中的數(shù)據(jù)傳輸?shù)男屎桶踩浴?/p>

2、為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、本發(fā)明提供了一種邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，包括：視頻分析設(shè)備、中間件和現(xiàn)場(chǎng)可編程邏輯門陣列；

4、所述視頻分析設(shè)備和現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)中間件建立遠(yuǎn)程過(guò)程調(diào)用來(lái)進(jìn)行通信連接；

5、所述視頻分析設(shè)備包括中央處理器和圖形處理器；

6、所述中央處理器用于對(duì)待分析視頻進(jìn)行預(yù)處理；

7、所述圖形處理器用于對(duì)預(yù)處理后的視頻進(jìn)行分析處理，獲得待分析視頻的分析結(jié)果；

8、所述現(xiàn)場(chǎng)可編程邏輯門陣列用于分配所述中央處理器和圖形處理器的計(jì)算資源。

9、進(jìn)一步地，所述現(xiàn)場(chǎng)可編程邏輯門陣列為雙鏡像的現(xiàn)場(chǎng)可編程邏輯門陣列。

10、進(jìn)一步地，所述現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)編程實(shí)現(xiàn)的硬件功能包括：控制現(xiàn)場(chǎng)可編程邏輯門陣列的開(kāi)啟、關(guān)閉以及休眠狀態(tài)；管理現(xiàn)場(chǎng)可編程邏輯門陣列的鏡像；以及處理現(xiàn)場(chǎng)可編程邏輯門陣列中的數(shù)據(jù)。

11、進(jìn)一步地，對(duì)預(yù)處理后的視頻進(jìn)行分析處理包括：將預(yù)處理后的視頻輸入至預(yù)先建立的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行模型推理。

12、進(jìn)一步地，所述遠(yuǎn)程過(guò)程調(diào)用包括存根組件和骨架組件；

13、所述存根組件用于將視頻分析設(shè)備中待傳輸?shù)臄?shù)據(jù)打包成特定的數(shù)據(jù)結(jié)構(gòu)，通過(guò)中間件發(fā)送至骨架組件，以及接收中間件返回的數(shù)據(jù)；

14、所述骨架組件用于將接收的數(shù)據(jù)解包并發(fā)送至現(xiàn)場(chǎng)可編程邏輯門陣列，以及將現(xiàn)場(chǎng)可編程邏輯門陣列返回的數(shù)據(jù)通過(guò)中間件發(fā)送至存根組件。

15、進(jìn)一步地，所述存根組件將視頻分析所需的算法程序封裝為函數(shù)，并提供相應(yīng)的函數(shù)接口；

16、所述骨架組件為中間件和現(xiàn)場(chǎng)可編程邏輯門陣列提供多種數(shù)據(jù)處理模式，包括：?jiǎn)我惠斎氘a(chǎn)生單一結(jié)果的一次性計(jì)算模式，以及對(duì)一系列數(shù)據(jù)進(jìn)行持續(xù)處理的流式計(jì)算模式。

17、進(jìn)一步地，所述視頻分析設(shè)備利用微處理器與現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)中間件進(jìn)行數(shù)據(jù)傳輸。

18、進(jìn)一步地，所述中間件通過(guò)操作共享內(nèi)存進(jìn)行異步數(shù)據(jù)傳輸。

19、進(jìn)一步地，所述微處理器和現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)異步方式寫入和/或讀取所述共享內(nèi)存中的數(shù)據(jù)。

20、進(jìn)一步地，還包括異步數(shù)據(jù)傳輸控制器；

21、所述異步數(shù)據(jù)傳輸控制器支持所述微處理器和所述現(xiàn)場(chǎng)可編程邏輯門陣列的接口需求；以及通過(guò)配置所述異步數(shù)據(jù)傳輸控制器的仲裁方案，調(diào)整所述微處理器和現(xiàn)場(chǎng)可編程邏輯門陣列的請(qǐng)求優(yōu)先級(jí)。

22、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

23、本發(fā)明提供的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)通過(guò)中間件建立遠(yuǎn)程過(guò)程調(diào)用風(fēng)格的交互方案，來(lái)進(jìn)行視頻分析設(shè)備和現(xiàn)場(chǎng)可編程邏輯門陣列之間的通信連接，并且中間件通過(guò)共享內(nèi)存進(jìn)行異步數(shù)據(jù)傳輸，使得系統(tǒng)能夠根據(jù)網(wǎng)絡(luò)和服務(wù)器負(fù)載情況，動(dòng)態(tài)地調(diào)整傳輸參數(shù)，有效提高了帶寬的利用率，充分利用網(wǎng)絡(luò)資源；根據(jù)實(shí)際情況優(yōu)化數(shù)據(jù)傳輸，能夠提升視頻分析系統(tǒng)的整體性能和響應(yīng)能力，無(wú)論是穩(wěn)定的網(wǎng)絡(luò)環(huán)境還是出現(xiàn)網(wǎng)絡(luò)波動(dòng)，都能確保數(shù)據(jù)傳輸?shù)姆€(wěn)定性；在傳輸過(guò)程中，可以減少數(shù)據(jù)被未經(jīng)授權(quán)訪問(wèn)的風(fēng)險(xiǎn)，保護(hù)用戶的隱私。本發(fā)明將視頻分析應(yīng)用程序開(kāi)發(fā)和現(xiàn)場(chǎng)可編程邏輯門陣列的硬件開(kāi)發(fā)解耦，提出了一種面向雙鏡像現(xiàn)場(chǎng)可編程邏輯門陣列的統(tǒng)一編程范式，使得應(yīng)用程序?qū)ΜF(xiàn)場(chǎng)可編程邏輯門陣列的硬件細(xì)節(jié)不敏感，只需要調(diào)度現(xiàn)場(chǎng)可編程邏輯門陣列的計(jì)算資源，無(wú)需將開(kāi)發(fā)時(shí)間成本浪費(fèi)在不同類型的現(xiàn)場(chǎng)可編程邏輯門陣列的差異化編程上。

技術(shù)特征：

1.一種邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，包括：視頻分析設(shè)備、中間件和現(xiàn)場(chǎng)可編程邏輯門陣列；

2.根據(jù)權(quán)利要求1所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述現(xiàn)場(chǎng)可編程邏輯門陣列為雙鏡像的現(xiàn)場(chǎng)可編程邏輯門陣列。

3.根據(jù)權(quán)利要求2所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)編程實(shí)現(xiàn)的硬件功能包括：控制現(xiàn)場(chǎng)可編程邏輯門陣列的開(kāi)啟、關(guān)閉以及休眠狀態(tài)；管理現(xiàn)場(chǎng)可編程邏輯門陣列的鏡像；以及處理現(xiàn)場(chǎng)可編程邏輯門陣列中的數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，對(duì)預(yù)處理后的視頻進(jìn)行分析處理包括：將預(yù)處理后的視頻輸入至預(yù)先建立的神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行模型推理。

5.根據(jù)權(quán)利要求1所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述遠(yuǎn)程過(guò)程調(diào)用包括存根組件和骨架組件；

6.根據(jù)權(quán)利要求5所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述存根組件將視頻分析所需的算法程序封裝為函數(shù)，并提供相應(yīng)的函數(shù)接口；

7.根據(jù)權(quán)利要求5所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述視頻分析設(shè)備利用微處理器與現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)中間件進(jìn)行數(shù)據(jù)傳輸。

8.根據(jù)權(quán)利要求7所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述中間件通過(guò)操作共享內(nèi)存進(jìn)行異步數(shù)據(jù)傳輸。

9.根據(jù)權(quán)利要求8所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，所述微處理器和現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)異步方式寫入和/或讀取所述共享內(nèi)存中的數(shù)據(jù)。

10.根據(jù)權(quán)利要求9所述的邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，其特征在于，還包括異步數(shù)據(jù)傳輸控制器；

技術(shù)總結(jié)
本發(fā)明公開(kāi)一種邊緣端的實(shí)時(shí)視頻分析系統(tǒng)，屬于邊緣視頻分析技術(shù)領(lǐng)域。其包括：視頻分析設(shè)備、中間件和現(xiàn)場(chǎng)可編程邏輯門陣列；所述視頻分析設(shè)備和現(xiàn)場(chǎng)可編程邏輯門陣列通過(guò)中間件建立遠(yuǎn)程過(guò)程調(diào)用來(lái)進(jìn)行通信連接；視頻分析設(shè)備包括中央處理器和圖形處理器；中央處理器用于對(duì)待分析視頻進(jìn)行預(yù)處理；圖形處理器用于對(duì)預(yù)處理后的視頻進(jìn)行分析；現(xiàn)場(chǎng)可編程邏輯門陣列用于分配中央處理器和圖形處理器的計(jì)算資源。本發(fā)明提供的視頻分析系統(tǒng)通過(guò)共享內(nèi)存，實(shí)現(xiàn)了系統(tǒng)數(shù)據(jù)的異步傳輸，能夠根據(jù)網(wǎng)絡(luò)狀況和服務(wù)器負(fù)載情況，動(dòng)態(tài)地調(diào)整數(shù)據(jù)傳輸?shù)念l率和速率，更好地適應(yīng)不同的數(shù)據(jù)流情況，提高了帶寬的利用率，實(shí)現(xiàn)了安全、穩(wěn)定的數(shù)據(jù)傳輸。

技術(shù)研發(fā)人員：程大釗,葛睿,梁黃黃,龔奕利,胡創(chuàng)
受保護(hù)的技術(shù)使用者：武漢大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23