本發(fā)明涉及智能門窗，具體為一種基于深度學(xué)習(xí)及視頻分析的智能門窗狀態(tài)檢測系統(tǒng)。

背景技術(shù)：

1、在智能安防系統(tǒng)的發(fā)展過程中，門窗狀態(tài)檢測技術(shù)逐漸成為關(guān)鍵環(huán)節(jié)。門窗作為家庭居所、商業(yè)大樓和工業(yè)園區(qū)的主要出入口，其開關(guān)的狀態(tài)直接影響著場所的安全性。有效的門窗狀態(tài)檢測不僅能夠及時發(fā)現(xiàn)和預(yù)防潛在的入侵風險，還能提升整體安防水平，確保財產(chǎn)和人員的安全。此外，門窗狀態(tài)檢測技術(shù)的應(yīng)用不僅限于防止入侵和盜竊，還可以在火災(zāi)、地震等緊急情況下發(fā)揮重要作用，通過實時監(jiān)測門窗狀態(tài)，輔助緊急逃生和救援。隨著技術(shù)的不斷進步，門窗狀態(tài)檢測技術(shù)將在更多場景中發(fā)揮其獨特的優(yōu)勢，為構(gòu)建智能、安全的環(huán)境提供堅實保障。

2、在早期，門窗狀態(tài)檢測主要依賴人工巡邏或靜態(tài)監(jiān)控。人工巡邏依靠人力，巡邏范圍和頻率有限，難以實現(xiàn)24小時不間斷監(jiān)控，這不僅需要大量人力資源，還增加了成本和管理費用。而靜態(tài)監(jiān)控的監(jiān)控范圍有限，容易出現(xiàn)盲區(qū)，難以全面覆蓋所有角落。此外，靜態(tài)設(shè)備無法隨環(huán)境變化調(diào)整監(jiān)控范圍，缺乏靈活性。

3、隨著技術(shù)的發(fā)展，在門窗上安裝傳感器來判斷其狀態(tài)的方法逐漸興起。這種方法雖然一定程度上提高了監(jiān)控效率，但也存在一些問題。首先，該方法需要對門窗進行改裝來搭載傳感器，這有可能會影響門窗的正常使用。其次，傳感器需要精確安裝和定期維護，以確保其正常工作。這增加了系統(tǒng)的復(fù)雜性和維護成本。此外，傳感器的精度容易受到環(huán)境因素的影響，導(dǎo)致誤報或漏報。例如，2020年2月14日公布的中國專利(cn110794394a)中，描述了一種通過毫米波傳感器測量房間漏空面積來判斷門窗狀態(tài)的方法。然而，該技術(shù)應(yīng)用場景有限，只能在室內(nèi)檢測，并且傳感器信號容易受到其他電子設(shè)備或環(huán)境噪音的干擾。因此，開發(fā)更加精準、高效的門窗狀態(tài)檢測技術(shù)至關(guān)重要。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)及視頻分析的智能門窗狀態(tài)檢測系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于深度學(xué)習(xí)及視頻分析的智能門窗狀態(tài)檢測系統(tǒng)，其特征在于，包括客戶端、數(shù)據(jù)采集端和服務(wù)端，所述客戶端輸出端與數(shù)據(jù)采集端通信連接，所述數(shù)據(jù)采集端輸出端與服務(wù)端通信連接，所述服務(wù)端輸出端與客戶端通信連接，所述服務(wù)端包括模型構(gòu)建模塊、模型訓(xùn)練模塊、視頻學(xué)習(xí)模塊、模型確定模塊和檢測結(jié)果反饋模塊；

4、所述客戶端用于用戶發(fā)出檢測請求和接收檢測結(jié)果；

5、所述數(shù)據(jù)采集端用于對實地的門窗數(shù)據(jù)進行采集并將采集到的門窗數(shù)據(jù)集按照預(yù)設(shè)比例將數(shù)據(jù)集劃分為訓(xùn)練集，驗證集和驗證集；

6、所述服務(wù)端用于對采集數(shù)據(jù)進行處理和檢測；

7、所述模型構(gòu)建模塊用于構(gòu)建基于yolov5卷積神經(jīng)網(wǎng)絡(luò)框架的深度學(xué)習(xí)模型；

8、所述模型訓(xùn)練模塊用于通過收集到的數(shù)據(jù)集對深度學(xué)習(xí)網(wǎng)絡(luò)模型進行訓(xùn)練和優(yōu)化；

9、所述視頻學(xué)習(xí)模塊用于設(shè)計基于視頻分析的推理檢測代碼，通過多幀融合和時序信息分析，增強模型對門窗狀態(tài)變化的理解和判斷，增強算法的準確率和魯棒性；

10、所述模型確定模塊用于對訓(xùn)練和優(yōu)化后的模型進行確定，并生成客戶端的算法調(diào)用接口代碼；

11、所述檢測結(jié)果反饋模塊用于將檢測結(jié)果反饋至客戶端。

12、作為本發(fā)明的一種優(yōu)選方案：所述客戶端、數(shù)據(jù)采集端和服務(wù)端和具體工作流程為：s1、客戶端向數(shù)據(jù)采集端發(fā)送檢測請求；

13、s2、數(shù)據(jù)采集端獲取門窗數(shù)據(jù)集，并按照預(yù)設(shè)比例將數(shù)據(jù)集劃分為訓(xùn)練集，驗證集和驗證集；

14、s3、服務(wù)端構(gòu)建基于yolov5改進后的模型，并用s2中得到的訓(xùn)練數(shù)據(jù)集對其進行訓(xùn)練，然后基于損失函數(shù)迭代優(yōu)化模型，獲得訓(xùn)練后的yolov5模型；

15、s4、服務(wù)端設(shè)計基于視頻分析的推理檢測代碼，通過多幀融合和時序信息分析，增強模型對門窗狀態(tài)變化的理解和判斷，增強算法的準確率和魯棒性；

16、s5、服務(wù)端設(shè)計用于調(diào)用算法的接口代碼，實現(xiàn)多用戶同時調(diào)用算法，并將檢測結(jié)果返回至客戶端。

17、作為本發(fā)明的一種優(yōu)選方案：所述s2中的門窗數(shù)據(jù)集包含多種不同類型的門，例如玻璃門，木質(zhì)門，旋轉(zhuǎn)門，電梯門，玻璃開合窗，推拉窗等多種形態(tài)顏色大小不同的門和窗，共得到20000張圖像作為初始數(shù)據(jù)集，并基于此數(shù)據(jù)集進行擴充。

18、作為本發(fā)明的一種優(yōu)選方案：所述深度學(xué)習(xí)網(wǎng)絡(luò)模型包括輸入端、特征提取backbone網(wǎng)絡(luò)、特征處理neck網(wǎng)絡(luò)和head層，所述輸入端由mosaic數(shù)據(jù)增強模塊，自適應(yīng)錨框計算和自適應(yīng)圖片縮放三個結(jié)構(gòu)組成，所述特征提取backbone網(wǎng)絡(luò)由focus模塊、csp模塊和卷積conv模塊三個結(jié)構(gòu)組成，所述特征處理neck網(wǎng)絡(luò)用于增強不同尺度的特征融合和檢測能力，所述head層由detect模塊組成，用于將從backbone和neck網(wǎng)絡(luò)中提取和融合的特征圖轉(zhuǎn)換為最終的檢測結(jié)果。

19、作為本發(fā)明的一種優(yōu)選方案：所述深度學(xué)習(xí)網(wǎng)絡(luò)模型通過輸入端、特征提取backbone網(wǎng)絡(luò)、特征處理neck網(wǎng)絡(luò)和head層進行前向傳播，并使用損失函數(shù)迭代優(yōu)化模型，所述函數(shù)迭代優(yōu)化模型使用復(fù)合損失函數(shù)，所述復(fù)合損失函數(shù)包括邊界框回歸損失、分類損失和置信度損失，所述復(fù)合損失函數(shù)的目標是最小化預(yù)測結(jié)果與真實標簽之間的差異。

20、作為本發(fā)明的一種優(yōu)選方案：所述邊界框回歸損失用于衡量預(yù)測邊界框與真實邊界框之間的差異，所述邊界框回歸損失使用的公式為：

21、lbbox＝1-ciou

22、

23、其中，iou是預(yù)測框與真實框的交并比、ρ2(b,bgt)是預(yù)測框中心點與真實框中心點之間的歐氏距離、c是預(yù)測框與真實框的最小閉包區(qū)域?qū)蔷€長度、w和h是預(yù)測框的寬度和高度、wgt和hgt是真實框的寬度和高度。

24、作為本發(fā)明的一種優(yōu)選方案：所述分類損失用于衡量預(yù)測類別概率與真實類別之間的差異，所述分類損失使用的公式為：

25、

26、其中，n是預(yù)測框的數(shù)量、c是類別的數(shù)量、yic表示第i個預(yù)測框的真實類別、pic是第i個預(yù)測框?qū)儆陬悇ec的概率。

27、作為本發(fā)明的一種優(yōu)選方案：所述置信度損失用于衡量預(yù)測框內(nèi)是否包含目標的置信度分數(shù)與真實情況之間的差異，所述置信度損失使用的公式為：

28、

29、其中，n是預(yù)測框的數(shù)量、yi表示第i個預(yù)測框是否包含目標、pi表示第i個預(yù)測框的置信度分數(shù)。

30、作為本發(fā)明的一種優(yōu)選方案：所述深度學(xué)習(xí)網(wǎng)絡(luò)模型的總損失函數(shù)是邊界框回歸損失、分類損失和的置信度損失使用加權(quán)和，公式如下：

31、ltotal＝λbboxlbbox+λconflconf+λclslcls。

32、作為本發(fā)明的一種優(yōu)選方案：所述深度學(xué)習(xí)網(wǎng)絡(luò)模型在每次迭代中，模型參數(shù)被更新以減少總損失，這個過程持續(xù)進行，直到模型在訓(xùn)練集和驗證集上的性能達到預(yù)期的效果。

33、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

34、1、本發(fā)明提出一種基于深度學(xué)習(xí)及視頻分析的智能門窗狀態(tài)檢測系統(tǒng)，是第一個使用目標檢測深度學(xué)習(xí)算法來解決門窗狀態(tài)檢測問題，本方法利用數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)技術(shù)，自動學(xué)習(xí)和識別門窗以及開合的特征，從而實現(xiàn)門窗狀態(tài)的智能化檢測，相比于傳感器硬件部署的方式，本方法無需安裝復(fù)雜的傳感器硬件，僅需攝像頭即可實現(xiàn)檢測，部署過程更加簡便快捷。減少了傳感器和相關(guān)硬件的購置和維護費用，整體成本更低，且系統(tǒng)對不同環(huán)境的適應(yīng)能力強，不受物理傳感器限制，也在提高檢測精度、增強系統(tǒng)功能和數(shù)據(jù)存儲與分析方面都具有明顯的優(yōu)勢，這使得該系統(tǒng)在智慧城市、智能家居和安全監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用前景和實用價值；

35、2、本發(fā)明改進了yolov5的網(wǎng)絡(luò)結(jié)構(gòu)，使用spd-conv模塊替代backbone架構(gòu)中的步長卷積和池化層以捕獲圖像更加細粒度的信息，并在檢測頭部增加了cbam模塊以提高暗光條件下的檢測性能，通過以上改進能夠有效的提升檢測效率和檢測精度，與傳統(tǒng)的單張圖像檢測不同，本方法以視頻作為輸入，解決單幀檢測易受遮擋和視覺盲區(qū)影響的問題。通過融合多幀圖像信息以及時序分析，模型能夠更好地理解和預(yù)測門窗狀態(tài)的變化，提高檢測的魯棒性。