本發(fā)明涉及智能安防與檢測，尤其是涉及基于陣列雷達(dá)、紅外和光學(xué)的電子哨兵系統(tǒng)及使用方法。

背景技術(shù)：

1、“電子哨兵”推出之際就由于其具有多功能、高效性越來越受歡迎，其在提高安全性、減少人力成本、增強信息化管理等方面的優(yōu)勢明顯。然而，在實際應(yīng)用過程中，其缺乏多傳感器之間的信息融合導(dǎo)致其性能和場景受到局限。例如，在無人流狀態(tài)下，傳統(tǒng)的“電子哨兵”系統(tǒng)中相機等設(shè)備仍然處于工作狀態(tài)，導(dǎo)致不必要的系統(tǒng)功耗增加，影響了設(shè)備的長時間穩(wěn)定運行。此外，由于忽視光學(xué)相機和熱紅外相機之間的內(nèi)外參矩陣標(biāo)定和非共光軸等問題，熱紅外相機和光學(xué)相機采集的信息無法準(zhǔn)確融合，進(jìn)而導(dǎo)致融合數(shù)據(jù)的不精確與誤判，影響了整體監(jiān)控效果和判斷的可靠性。所以亟需發(fā)明一種能夠全天候全天時自動喚醒，低功耗、高精度的智能化“電子哨兵”系統(tǒng)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供基于陣列雷達(dá)、紅外和光學(xué)的電子哨兵系統(tǒng)及使用方法，是利用熱紅外相機、光學(xué)相機、毫米波陣列雷達(dá)以及人工智能邊緣計算板jetson?orin?nx等核心設(shè)備，并搭載融合算法實現(xiàn)自動喚醒、低功耗、高精度“電子哨兵”的系統(tǒng)。

2、為實現(xiàn)上述目的，本發(fā)明提供了基于陣列雷達(dá)、紅外和光學(xué)的電子哨兵系統(tǒng)，包括傳感器部分、無線組網(wǎng)模塊、邊緣計算平臺和顯示模塊，所述傳感器部分包括毫米波陣列雷達(dá)、熱紅外相機和光學(xué)相機，所述毫米波陣列雷達(dá)通過網(wǎng)口與所述邊緣計算平臺通訊，所述熱紅外相機和所述光學(xué)相機均通過usb與所述邊緣計算平臺通訊；所述邊緣計算平臺與所述顯示模塊電性連接，所述邊緣計算平臺為jetson?orin?nx開發(fā)板、并搭載有ubuntu系統(tǒng)，所述ubuntu系統(tǒng)中內(nèi)置人臉識別算法、雷達(dá)感知算法和紅外與光學(xué)融合算法。

3、優(yōu)選的，所述毫米波陣列雷達(dá)用于感知目標(biāo)的目標(biāo)信息，包括目標(biāo)距離、速度和方位，并判斷是否有必要啟動熱紅外相機和光學(xué)相機進(jìn)行目標(biāo)檢測；所述熱紅外相機用于目標(biāo)的溫度測量，所述光學(xué)相機用于人臉檢測，所述無線組網(wǎng)模塊用于在網(wǎng)絡(luò)良好的情況下將圖片傳輸至云端進(jìn)行檢測，所述邊緣計算平臺用于在網(wǎng)絡(luò)不好的情況下本地端的人臉識別和紅外測溫檢測，所述顯示模塊用于顯示檢測結(jié)果和預(yù)警提示信息。

4、基于陣列雷達(dá)、紅外和光學(xué)的電子哨兵系統(tǒng)的使用方法，包括以下步驟：

5、步驟s1、通過毫米波陣列雷達(dá)感知目標(biāo)信息，包括方位、距離和速度；

6、步驟s2、根據(jù)毫米波陣列雷達(dá)感知的信息，利用雷達(dá)感知算法判斷熱紅外相機和光學(xué)相機是否應(yīng)該啟動，若否，則進(jìn)入步驟s1，否則，進(jìn)入步驟s3；

7、步驟s3、啟動光學(xué)相機和熱紅外相機進(jìn)行圖像采集；

8、步驟s4、判斷網(wǎng)絡(luò)狀態(tài)是否良好，若網(wǎng)絡(luò)良好，將圖像送到云端檢測，若網(wǎng)絡(luò)不好，則在本地通過人臉識別算法和紅外與光學(xué)融合算法進(jìn)行檢測。

9、優(yōu)選的，步驟s1中，所述雷達(dá)感知算法利用毫米波陣列雷達(dá)對目標(biāo)信息進(jìn)行感知，求得目標(biāo)的速度、相位和距離，具體過程為：

10、連續(xù)調(diào)制毫米波陣列雷達(dá)發(fā)射信號，設(shè)初始相位為，則發(fā)射信號初始相位表示為：

11、（1）；

12、其中， t表示時間，表示積分里面的積分參數(shù)，t表示周期，表示發(fā)射信號的瞬時頻率，由于其為線性調(diào)頻信號，則表示初始頻率， μ為線性調(diào)頻指數(shù)；

13、則其發(fā)射信號表示為：

14、（2）；

15、其中，為窗函數(shù)，只取一個信號周期，即信號在一個時間窗[-t/2，t/2]有效；

16、信號發(fā)射后，經(jīng)過時延被接收，則雷達(dá)接收的信號為：

17、（3）；

18、式中，為接收信號幅度，其與目標(biāo)散射截面積和信號的衰減系數(shù)有關(guān)，為經(jīng)過反射后的相位偏移，表示回波信號的延遲；

19、根據(jù)電磁波傳遞定律，假設(shè)物體的移動速度為，離發(fā)射點距離為，則回波延遲為：

20、（4）；

21、其中，c為光速；

22、連續(xù)調(diào)制毫米波陣列雷達(dá)的功分器將原始信號分為兩部分，一部分信號發(fā)射出去用于目標(biāo)探測，而另一部分信號作為本振信號，與回波信號進(jìn)行混頻，混頻后的信號與回波信號類型相同，經(jīng)過時延，得到參考信號為：

23、（5）；

24、通過低通濾波器濾除高次項，得到差拍信號：

25、（6）；

26、其中，*表示信號的共軛；

27、差拍信號的中心頻率分為與目標(biāo)距離相關(guān)的頻率和由運動目標(biāo)所引起的多普勒頻率；

28、其中，與目標(biāo)距離相關(guān)的頻率的計算公式為：

29、（7）；

30、由運動目標(biāo)所引起的多普勒頻率為：

31、（8）；

32、定義為時間延遲引起的頻率，與運動目標(biāo)距離相關(guān)，為目標(biāo)多普勒頻移引起的頻率，與運動目標(biāo)的速度有關(guān)，則差拍信號的差頻表示為，得如下公式：

33、（9）；

34、（10）；

35、進(jìn)一步得出目標(biāo)距離和速度的表達(dá)式分別為：

36、（11）；

37、其中，表示回波信號延遲時間；

38、（12）；

39、將采集到的差拍信號數(shù)據(jù)進(jìn)行二維快速傅里葉變換得到快時間頻率和慢時間頻率，進(jìn)而求得目標(biāo)的距離和速度信息。

40、優(yōu)選的，步驟s4中，所述人臉識別算法具體包括以下步驟：

41、步驟sa1、構(gòu)建人臉數(shù)據(jù)集；

42、步驟sa2、改進(jìn)yolov8算法模型；

43、步驟sa3、訓(xùn)練改進(jìn)后的yolov8算法模型；

44、步驟sa4、建立數(shù)據(jù)庫；

45、步驟sa5、訓(xùn)練facenet模型；

46、步驟sa6、算法邊緣端平臺部署與加速；

47、步驟sa7、將yolov8算法模型輸出特征輸入到facenet進(jìn)行特征提取與映射；

48、步驟sa8、將映射后的人臉特征向量與數(shù)據(jù)庫的人臉圖像進(jìn)行對比，得出最后的結(jié)果。

49、優(yōu)選的，步驟sa1具體為：利用公開或采集的人臉數(shù)據(jù)構(gòu)建數(shù)據(jù)集作為訓(xùn)練樣本；

50、步驟sa2具體為：利用fasternet對yolov8算法模型主干網(wǎng)絡(luò)進(jìn)行替換，并對淺層小目標(biāo)檢測頭層進(jìn)行裁剪；

51、步驟sa3具體為：利用步驟sa1中構(gòu)建的人臉數(shù)據(jù)集來訓(xùn)練改進(jìn)后的yolov8算法模型，學(xué)習(xí)人臉的特征，對人臉進(jìn)行精確識別；

52、步驟sa4中的建立數(shù)據(jù)庫是需要存儲被識別人臉的數(shù)據(jù)庫；

53、步驟sa5具體為：利用vggface2或casia-webface大型人臉數(shù)據(jù)集來訓(xùn)練facenet算法模型；

54、步驟sa6具體為：將搭建和訓(xùn)練好的yolov8算法模型部署到邊緣計算平臺，采用tensorrt加速技術(shù)和int8整形量化技術(shù)加速人臉識別算法在邊緣計算平臺的運行速度；

55、步驟sa7具體為：利用yolov8算法模型檢測出人臉，再將局部人臉部分裁剪出來進(jìn)行處理，并將處理后的人臉圖像輸入到facenet網(wǎng)絡(luò)中做進(jìn)一步特征提取與空間映射；

56、步驟sa8具體為：將步驟sa6映射的特征向量與數(shù)據(jù)庫中的人臉向量做歐幾里得距離計算，判斷最終的人臉類別。

57、優(yōu)選的，步驟s4中，所述紅外與光學(xué)融合算法具體過程為：

58、根據(jù)坐標(biāo)系的轉(zhuǎn)換關(guān)系，世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換如下：

59、（13）；

60、其中，，，為世界坐標(biāo)系的一點的x軸、y軸、z軸的三維坐標(biāo)，為目標(biāo)離相機坐標(biāo)系平面的深度；

61、令為矩陣，即相機內(nèi)參矩陣；為矩陣，即相機外參矩陣；

62、在熱紅外相機和光學(xué)相機下，分別得到目標(biāo)世界坐標(biāo)到像素坐標(biāo)的轉(zhuǎn)換如公式（14）、（15）所示：

63、（14）；

64、（15）；

65、其中，、分別為熱紅外成像的相機內(nèi)參和外參，、分別為光學(xué)相機的內(nèi)參和外參；

66、根據(jù)矩陣運算的基本法則和公式（14）、（15）推導(dǎo)出紅外相機下的像素坐標(biāo)和光學(xué)相機下像素坐標(biāo)轉(zhuǎn)換為：

67、（16）；

68、其中，熱紅外相機和光學(xué)相機的內(nèi)參和外參通過張正友標(biāo)記法測量。

69、因此，本發(fā)明采用上述基于陣列雷達(dá)、紅外和光學(xué)的電子哨兵系統(tǒng)及使用方法，有益效果如下：

70、（1）本發(fā)明所提出的改進(jìn)的yolov8算法模型相對比現(xiàn)有技術(shù)和原算法，在模型大小和算法效果上面有了明顯的提升。

71、（2）本發(fā)明所提出的改進(jìn)算法在所提供的數(shù)據(jù)集上其準(zhǔn)確度、召回率、平均準(zhǔn)確度、浮點數(shù)運算和參數(shù)量等指標(biāo)上均優(yōu)于其他模型。

72、（3）本發(fā)明針對無人流的場景，相機和圖傳依舊工作導(dǎo)致功耗過大的問題，利用毫米波陣列雷達(dá)來對管控區(qū)域進(jìn)行動目標(biāo)檢測，通過波達(dá)角（direction?of?arrival，doa）估計來測量方位，利用多普勒頻移（doppler?shift）來測量速度，利用時延來測量距離，精確獲得目標(biāo)的方位、速度、距離以判別是否需要喚醒光學(xué)相機、熱紅外成像和圖傳等傳感器啟動工作，從而降低功耗。

73、（4）本發(fā)明對沒有考慮光學(xué)相機和熱紅外相機的內(nèi)外參矩陣的導(dǎo)致圖像融合不精確，測溫區(qū)域與實際人臉區(qū)域有偏差的問題，使用了相機內(nèi)外參矩陣信息對測溫區(qū)域進(jìn)行校正，提高了熱紅外相機檢測體溫的準(zhǔn)確性。

74、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。