本發(fā)明屬于電力設備巡檢與人工智能技術相結(jié)合的領域，尤其涉及一種電力設備的可見光圖像處理方法及裝置。
背景技術：
：：1、隨著電力系統(tǒng)的迅速發(fā)展，電力設備的數(shù)量和復雜性不斷增加，電力設備的運行狀態(tài)和安全性對電力系統(tǒng)的穩(wěn)定運行至關重要。傳統(tǒng)的電力設備巡檢主要依賴人工巡檢和紅外成像技術，這些方法存在檢測效率低、易受環(huán)境影響、檢測精度不足等問題。視頻圖像技術在電力設備缺陷檢測中的應用，是實現(xiàn)智慧電力運維的核心技術之一。它能夠?qū)﹄娏ο到y(tǒng)進行自動故障診斷、預警和在線維護，智能識別外部缺陷，從而優(yōu)化人力資源分配，提升智能巡檢的效率，有效補充了傳統(tǒng)輸變電設備巡檢與運維模式的不足。2、圖像識別技術在電力運維中的應用引起了廣泛關注。電力設備的自動化檢測、故障診斷和維護對于提高電力系統(tǒng)的可靠性和效率至關重要。計算機視覺和深度學習模型的結(jié)合為實現(xiàn)這一目標提供了強大的工具。電力設備故障檢測主要分為兩個階段：1.目標檢測階段；2.故障分類階段。3、目標檢測通過模型定位圖像中的所有目標并判斷其類別。該任務可以在輸變電設備監(jiān)控圖像中自動框定設備區(qū)域或搜尋設備異常發(fā)生的位置，實現(xiàn)智能故障檢測。傳統(tǒng)的目標檢測算法包括基于方向梯度直方圖(histogramoforientedgradients，hog)的檢測算法、可變形組件模型(deformablepartmodel，dpm)算法等?；谏疃葘W習的檢測算法包括，區(qū)域卷積神經(jīng)網(wǎng)絡(region-basedconvolutionalneuralnetwork，rcnn)、快速區(qū)域卷積神經(jīng)網(wǎng)絡(fasterrcnn)算法等。此外，為加快網(wǎng)絡運行，研究者又提出了以ssd和yolo為代表的1階段檢測器。近年來，無錨(anchor-free)算法成為新的熱點，主要包括densebox，cornernet，extremenet，fsaf，fcos和foveabox等。4、故障分類主要針對第一階段識別的目標設備是否存在故障及何種故障進行分類。采用的是圖像分類技術。傳統(tǒng)的圖像分類方法包含貝葉斯法、費希爾(fisher)分類器、支持向量機、提升方法(boos-ting)等。這些方法的分類理論相對完善，但對圖像內(nèi)部語義信息提取能力較差，準確率有待提高?；谏窠?jīng)網(wǎng)絡的圖像分類方法通過構建神經(jīng)元連接的網(wǎng)絡結(jié)構，在訓練中獲取圖像內(nèi)部特征，完成分類任務。早期的神經(jīng)網(wǎng)絡主要有反向傳播(backpropagation，bp)網(wǎng)絡、霍普菲爾德(hopfield)神經(jīng)網(wǎng)絡與自適應共振理論(adaptiveresonancetheory，art)等。此類網(wǎng)絡雖然結(jié)構簡單、訓練方便、擬合能力強，但存在學習速度慢、容易陷入局部極值以及梯度消失或梯度爆炸等問題。近年來，深度神經(jīng)網(wǎng)絡在圖像分類任務表現(xiàn)優(yōu)異。2107年，krizhevsky等人提出的深度卷積神經(jīng)網(wǎng)絡提升了神經(jīng)網(wǎng)絡在分類任務中的準確率。殘差網(wǎng)絡(resnet)、擠壓激勵網(wǎng)絡(senet)等在網(wǎng)絡結(jié)構設計上實現(xiàn)模型架構的優(yōu)化。5、通過對設備圖像的監(jiān)測和分析，可以實現(xiàn)設備的預測性維護和合理的維修計劃。這不僅提高了設備的可靠性和壽命，還減少了維護成本和停電時間。然而，圖像識別技術在電力設備自動化檢測中仍面臨一系列挑戰(zhàn)。諸如背景復雜、樣本多樣、圖像質(zhì)量等因素可能對識別準確性產(chǎn)生影響。技術實現(xiàn)思路1、針對上述現(xiàn)有技術中存在的缺陷，本發(fā)明提供一種電力設備的可見光圖像處理方法，包括以下步驟：2、步驟s101、收集所述電力設備的歷年缺陷的可見光圖像，生成電力設備缺陷的第一可見光圖像數(shù)據(jù)集；3、步驟s103、選擇預訓練的stable擴散模型，確保所述stable擴散模型的輸入輸出格式與電力設備缺陷的可見光圖像數(shù)據(jù)兼容，凍結(jié)的stable擴散模型的關鍵層的參數(shù)，利用lora算法對預訓練的stable擴散模型進行微調(diào)，得到lora擴散模型；4、步驟s105、使用所述lora擴散模型對所述第一可見光圖像數(shù)據(jù)集進行擴充，得到第二可見光圖像數(shù)據(jù)集；5、步驟s107、基于所述第二可見光圖像數(shù)據(jù)集訓練yolov8目標檢測模型和vit缺陷分類模型；6、步驟s109、將現(xiàn)場采集的實際監(jiān)控視頻數(shù)據(jù)轉(zhuǎn)換為圖像序列；7、步驟s1011、基于訓練好的yolov8目標檢測模型和vit缺陷分類模型，對所述圖像序列進行識別和分類。8、其中，假設第一可見光圖像數(shù)據(jù)集為，i=1，…n，其中表示第i個電力設備缺陷圖像樣本，所述stable擴散模型的目標是學習一個條件概率分布，為預訓練的stable擴散模型的參數(shù)，其中表示原始的圖像，而表示經(jīng)過t步噪聲擴散過程得到的最終噪聲圖像，所述stable擴散模型的訓練過程可以表示為：9、噪聲生成過程為，其中為標準高斯噪聲，其含義為噪聲變量服從一個多元正態(tài)分布，其中，表示正態(tài)分布，0是均值向量，即每個元素的期望值都為0，i表示協(xié)方差單位矩陣，為第t步的噪聲水平，t表示噪聲轉(zhuǎn)移過程中的當前時間步，；10、噪聲轉(zhuǎn)移過程為，其描述為從轉(zhuǎn)移到的條件概率分布，其中i表示協(xié)方差單位矩陣；11、去噪過程為，其中t表示整個去噪過程的最大時間步長，和為神經(jīng)網(wǎng)絡學習的參數(shù)化函數(shù)，具體形式如下：12、，，其中表示一個卷積神經(jīng)網(wǎng)絡結(jié)構，用于從最終噪聲圖像中預測出原始缺陷圖像的均值和對角協(xié)方差矩陣；13、損失函數(shù)為，其中e表示期望函數(shù)，u{1,t}表示從整數(shù)區(qū)間[1,t]中均勻隨機采樣一個整數(shù)，損失函數(shù)的目的是在訓練集和隨機時間步上取期望，學習一個能夠很好地重構原始干凈圖像的預測函數(shù)。14、其中，所述凍結(jié)的stable擴散模型的關鍵層的參數(shù)，利用lora算法對預訓練的stable擴散模型進行微調(diào)，得到lora擴散模型包括：15、步驟a、加載預訓練的stable擴撒模型；16、步驟b、凍結(jié)預訓練模型的大部分參數(shù)；17、步驟c、在關鍵層之間插入lora適配層，并初始化這些層的參數(shù)；18、步驟d、使用電力設備缺陷圖像數(shù)據(jù)集對lora適配層進行訓練；19、步驟e、在訓練結(jié)束后，合并lora適配層與預訓練模型，得到最終的lora擴散模型。20、其中，所述步驟b包括：將u-net的解碼器的參數(shù)解凍，并通過lora適配層進行微調(diào)。21、以stable擴散模型為例，其主干網(wǎng)絡通常由多個卷積層、注意力層等組成，這些層可以被視為關鍵層?？梢栽谶@些關鍵層之間插入lora適配層，具體步驟如下：22、確定需要插入lora層的位置，通常是在stablediffusion模型的編碼器和解碼器部分的關鍵層之間插入lora層。23、定義lora層的結(jié)構，lora層由兩個小型線性層組成，一個用于計算rank-1更新矩陣a，另一個用于計算b。24、假設原始關鍵層的權重矩陣為w，則lora層的輸出為，其中為縮放因子。25、初始化lora層的參數(shù)，對于矩陣a，可以使用正態(tài)分布進行初始化，標準差可以設置為0.02。26、對于矩陣b，可以使用正態(tài)分布進行初始化，標準差可以設置為0.02。27、縮放因子alpha可以初始化為1.0。28、凍結(jié)主干網(wǎng)絡，在訓練過程中，保持stable擴撒模型的主干網(wǎng)絡權重不變，只更新插入的lora層的參數(shù)。29、在stable擴散模型中，編碼器和解碼器部分的關鍵層通常指以下幾個層：30、編碼器關鍵層：輸入編碼塊(inputencodingblock)、下采樣編碼塊(downsamplingencodingblock)、transformer編碼器塊(transformerencoderblock)。31、解碼器關鍵層：transformer解碼器塊(transformerdecoderblock)、上采樣解碼塊(upsamplingdecoderblock)、輸出解碼塊(outputdecodingblock)。32、這些層在stable擴散模型的整體架構中起到關鍵作用，它們負責圖像編碼、特征提取、空間注意力計算以及圖像重建等核心功能。33、其中，所述步驟c包括：34、對于需要微調(diào)的參數(shù)，在其中插入低秩的lora適配層；35、對于一個線性層，lora會將其分解為，其中，，是預訓練模型的參數(shù)，r是低秩的超參數(shù)；36、隨機初始化a和b的參數(shù)，并將w0設為預訓練模型的參數(shù)。37、其中，所述步驟d包括：38、將預訓練模型與lora適配層組合成新的模型參數(shù)，并在電力設備缺陷圖像數(shù)據(jù)集上進行訓練；39、訓練過程中，更新lora適配層的參數(shù)a和b，保持預訓練模型的參數(shù)w0不變；40、在訓練過程中最小化以下?lián)p失函數(shù)：[a1]，其中，是特定任務的損失函數(shù)，是第一可見光圖像數(shù)據(jù)集，表示在整個數(shù)據(jù)集上對損失函數(shù)取期望平均，x表示輸入的電力設備缺陷的可見光圖像，y是其對應的標簽，表示設備的故障類型或其他相關信息；是模型的輸出，是對輸入圖像的預測結(jié)果。41、其中，所述步驟s105還包括：通過數(shù)據(jù)增強技術，進一步擴充第一可見光圖像數(shù)據(jù)集的樣本數(shù)量和多樣性；42、將生成的新圖像與第一可見光圖像數(shù)據(jù)集合并，構成第二可見光圖像數(shù)據(jù)集。43、其中，所述步驟s107包括：44、使用yolov8模型作為基礎，在所述第二可見光圖像數(shù)據(jù)集上進行訓練；45、優(yōu)化yolov8模型的超參數(shù)，以在第二可見光圖像數(shù)據(jù)集上獲得最佳的目標檢測性能；46、訓練完成后，保存訓練好的yolov8目標檢測模型。47、其中，所述步驟s107還包括：48、將第二可見光圖像數(shù)據(jù)集中已標注的電力設備缺陷信息，作為監(jiān)督信號準備好訓練數(shù)據(jù)；49、使用vit作為基礎模型，在第二可見光圖像數(shù)據(jù)集上進行訓練；50、優(yōu)化vit模型的超參數(shù)，以在第二可見光圖像數(shù)據(jù)集上獲得最佳的缺陷分類性能；51、訓練完成后，保存訓練好的vit缺陷分類模型。52、本發(fā)明還提出了一種電力設備的可見光圖像處理裝置，包括53、歷史信息收集模塊，其用于收集所述電力設備的歷年缺陷的可見光圖像，生成電力設備缺陷的第一可見光圖像數(shù)據(jù)集；54、lora擴散模型構建模塊，其用于選擇預訓練的stable擴散模型，確保所述stable擴散模型的輸入輸出格式與電力設備缺陷的可見光圖像數(shù)據(jù)兼容，凍結(jié)的stable擴散模型的關鍵層的參數(shù)，利用lora算法對預訓練的stable擴散模型進行微調(diào)，得到lora擴散模型；55、樣本擴張模塊，其用于使用所述lora擴散模型對所述第一可見光圖像數(shù)據(jù)集進行擴充，得到第二可見光圖像數(shù)據(jù)集；56、模型訓練模塊，其用于基于所述第二可見光圖像數(shù)據(jù)集訓練yolov8目標檢測模型和vit缺陷分類模型；57、現(xiàn)場采集模塊，其用于將現(xiàn)場采集的實際監(jiān)控視頻數(shù)據(jù)轉(zhuǎn)換為圖像序列；58、圖像處理模塊，其用于基于訓練好的yolov8目標檢測模型和vit缺陷分類模型，對所述圖像序列進行識別和分類。59、與現(xiàn)有技術相比，本發(fā)明具備如下優(yōu)點：60、通過lora技術，只需要訓練少量的額外參數(shù)，就可以將預訓練的stablediffusion模型快速適配到電力設備缺陷圖像生成任務。這大幅降低了訓練開銷和時間。61、使用lora擴散模型生成的新圖像，與原有的第一可見光圖像數(shù)據(jù)集有很好的相似性和多樣性。這有助于訓練出更強大的yolov8目標檢測模型和vit缺陷分類模型。62、基于擴充后的第二可見光圖像數(shù)據(jù)集訓練yolov8和vit模型，可以充分利用更豐富的數(shù)據(jù)，從而提升模型在電力設備缺陷識別任務上的性能。63、通過lora微調(diào)和數(shù)據(jù)擴充的方式，我們得到的模型對電力設備缺陷圖像有更好的泛化能力，可以更好地適應實際應用場景。64、該方法將lora擴散模型、yolov8目標檢測模型和vit缺陷分類模型解耦，使整個系統(tǒng)具有良好的可擴展性和可維護性。未來可以針對不同需求輕松替換或優(yōu)化各個模塊。當前第1頁12當前第1頁12