本發(fā)明涉及電梯鋼絲繩故障檢測(cè)，尤其涉及一種基于深度學(xué)習(xí)的曳引式電梯鋼絲繩缺陷檢測(cè)方法。

背景技術(shù)：

1、曳引式電梯作為現(xiàn)代城市交通系統(tǒng)的核心組成部分之一，其安全性直接關(guān)系到廣大市民的生命財(cái)產(chǎn)安全。而鋼絲繩作為電梯運(yùn)行的重要承載元件，其質(zhì)量和狀態(tài)對(duì)電梯的安全性和運(yùn)行穩(wěn)定性至關(guān)重要。隨著城市人口密度和高層建筑數(shù)量的不斷增加，電梯的使用頻率也日益增加，對(duì)電梯系統(tǒng)的安全性和可靠性提出了更高的要求。然而，長期運(yùn)行和高強(qiáng)度使用下，鋼絲繩容易受到磨損、腐蝕、斷裂等問題的影響，可能導(dǎo)致電梯發(fā)生意外事故，造成嚴(yán)重的人員傷亡和財(cái)產(chǎn)損失。因此，對(duì)鋼絲繩進(jìn)行定期、準(zhǔn)確的缺陷檢測(cè)成為電梯行業(yè)迫切需要解決的技術(shù)難題之一。

2、根據(jù)檢測(cè)原理的不同，電梯鋼絲繩缺陷檢測(cè)大致可分為目測(cè)法和電磁檢測(cè)法。目測(cè)法需要檢測(cè)人員在電梯井昏暗的環(huán)境下工作，工作效率低而且容易疲勞，視野不佳，非常依賴人員的經(jīng)驗(yàn)，檢測(cè)時(shí)間也較長。電磁檢測(cè)法是確保電梯停運(yùn)并做好安全防護(hù)，準(zhǔn)備電磁檢測(cè)設(shè)備、傳感器和相關(guān)工具；然后，將電磁傳感器安裝在鋼絲繩上，確保傳感器與鋼絲繩良好接觸；接著，啟動(dòng)電磁檢測(cè)設(shè)備并沿鋼絲繩緩慢移動(dòng)傳感器，對(duì)鋼絲繩進(jìn)行全長掃描；在掃描過程中，設(shè)備通過檢測(cè)電磁信號(hào)的變化來識(shí)別鋼絲繩內(nèi)部的缺陷，如斷絲、磨損和腐蝕等，該方法需要大量的設(shè)備支持，檢測(cè)結(jié)果容易受到環(huán)境影響，而且精度有限。

3、由于電梯鋼絲繩就裸露在外面，通過相機(jī)可以很方便的拍攝，可以運(yùn)用視覺檢測(cè)的方法來進(jìn)行識(shí)別。同時(shí)，若在電梯正常工作過程中進(jìn)行視覺檢測(cè)，則可代替人工識(shí)別，大幅降低檢查時(shí)間以及人工成本。由于電梯鋼絲繩的缺陷發(fā)生頻率低，獲取到的鋼絲繩缺陷圖片較少，導(dǎo)致訓(xùn)練樣本多樣性不足的問題。因此本技術(shù)基于人工智能和大數(shù)據(jù)處理方法，以機(jī)器視覺為基礎(chǔ)，與計(jì)算機(jī)科學(xué)和圖像處理技術(shù)融合，提出一種基于深度學(xué)習(xí)的曳引式電梯鋼絲繩缺陷檢測(cè)方法，用于生成鋼絲繩缺陷圖像進(jìn)行訓(xùn)練，提高鋼絲繩缺陷的圖像識(shí)別精度、提高自動(dòng)化檢測(cè)的效率，是非常必要的。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種結(jié)合改進(jìn)的ucg-gan網(wǎng)絡(luò)生成鋼絲繩缺陷圖像，改善現(xiàn)有缺陷訓(xùn)練樣本不足的缺陷、進(jìn)一步通過改進(jìn)的efficientnet網(wǎng)絡(luò)模型識(shí)別和檢測(cè)鋼絲繩缺陷的、基于深度學(xué)習(xí)的曳引式電梯鋼絲繩缺陷檢測(cè)方法。

2、本發(fā)明提供了一種基于深度學(xué)習(xí)的曳引式電梯鋼絲繩缺陷檢測(cè)方法，包括如下步驟：

3、s1：采用若干圖像采集裝置，進(jìn)行多向采集，獲取電梯鋼絲繩的真實(shí)缺陷圖像；

4、s2：構(gòu)建改進(jìn)的ucg-gan模型，所述改進(jìn)的ucg-gan模型包括獨(dú)立的生成器g和鑒別器d；

5、s3：利用真實(shí)缺陷圖像和改進(jìn)的ucg-gan模型的生成器g生成的第一鋼絲繩缺陷圖像；采用生成的第一鋼絲繩缺陷圖像反向傳播更新生成器g和鑒別器d的參數(shù)，并通過迭代訓(xùn)練生成器g和鑒別器d；使用訓(xùn)練后的生成器g和鑒別器d生成第二鋼絲繩缺陷圖像，并基于第二鋼絲繩缺陷圖像建立鋼絲繩缺陷樣本庫；

6、s4：建立并初始化改進(jìn)的efficientnet網(wǎng)絡(luò)模型，采用鋼絲繩缺陷樣本庫進(jìn)行訓(xùn)練，更新改進(jìn)的efficientnet網(wǎng)絡(luò)模型的參數(shù)，得到訓(xùn)練后的改進(jìn)的efficientnet網(wǎng)絡(luò)模型；

7、s5：利用訓(xùn)練后的改進(jìn)的efficientnet網(wǎng)絡(luò)模型，對(duì)若干圖像采集裝置實(shí)時(shí)采集到的電梯鋼絲繩的真實(shí)缺陷圖像進(jìn)行缺陷識(shí)別，輸出缺陷識(shí)別結(jié)果。

8、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，步驟s1的內(nèi)容為：配置兩個(gè)以上的圖像采集裝置，將兩個(gè)以上的圖像采集裝置設(shè)置在電梯機(jī)房地板靠近轎廂一側(cè)的端面上，且呈周向均勻分布；兩個(gè)以上的圖像采集裝置分別對(duì)準(zhǔn)同一鋼絲繩的不同位置的表面取景，得到電梯鋼絲繩的真實(shí)缺陷圖像。

9、優(yōu)選的，所述改進(jìn)的ucg-gan模型的生成器g包括五個(gè)順次設(shè)置的編碼器塊、一個(gè)中間塊和五個(gè)解碼器塊，令五個(gè)編碼器塊的編號(hào)依次為4、3、2、1、0；五個(gè)解碼器的編號(hào)依次為1、2、3、4、5；編碼器塊和解碼器塊之間順次設(shè)置有四個(gè)跳躍連接，令r∈{1，2，3，4}，各跳躍連接的一端與編號(hào)r的編碼器塊的輸出端連接，各跳躍連接的另一端與編號(hào)r的解碼器塊輸出端連接；各跳躍連接中插入一個(gè)ca注意力機(jī)制模塊，ca注意力機(jī)制模塊以編號(hào)r的編碼器和編號(hào)r的解碼器為輸入，將ca注意力機(jī)制模塊的輸出與編號(hào)r的解碼器輸出串聯(lián)，作為編號(hào)r+1的解碼器的輸入；首端的編碼器塊的輸入為真實(shí)缺陷圖像xk，最后一個(gè)解碼器塊輸出第一鋼絲繩缺陷圖像

10、進(jìn)一步優(yōu)選的，每個(gè)編碼器塊和解碼器塊均包括三個(gè)卷積層，使用leaky?relu和批歸一化，每個(gè)編碼器塊的末端設(shè)置有一個(gè)下采樣層，下采樣層的輸出端作為編碼器口的輸出端；每個(gè)解碼器塊的末端設(shè)置有一個(gè)上采樣層，上采樣層的輸出端能作為解碼器塊的輸出端。

11、進(jìn)一步優(yōu)選的，所述改進(jìn)的ucg-gan模型的鑒別器d包括順次設(shè)置的一個(gè)卷積層、五個(gè)殘差塊和全連接層；通過卷積層、各殘差塊的處理后，全連接層輸出鑒別器分?jǐn)?shù)。

12、更進(jìn)一步優(yōu)選的，步驟s3所述的采用生成的第一鋼絲繩缺陷圖像反向傳播更新生成器g和鑒別器d的參數(shù)，并通過迭代訓(xùn)練生成器g和鑒別器d，是令k個(gè)真實(shí)缺陷圖像xk的鑒別器輸出分?jǐn)?shù)的平均值為d(x)，k個(gè)第一鋼絲繩缺陷圖像的鑒別器輸出分?jǐn)?shù)的平均值為采用鉸鏈對(duì)抗損失，鑒別器d的迭代訓(xùn)練目標(biāo)是最小化鑒別器損失函數(shù)λd，生成器g的迭代訓(xùn)練目標(biāo)是最小化生成器損失函數(shù)λgd：其中是對(duì)真實(shí)缺陷圖像xk的期望值，是對(duì)第一鋼絲繩缺陷圖像的期望值，max(·)是使用relu激活函數(shù)，確保損失函數(shù)結(jié)果非負(fù)；通過定義損失函數(shù)λd和λgd，鑒別器d和生成器g在訓(xùn)練過程中不斷相互對(duì)抗，最終達(dá)到一個(gè)納什均衡，使生成器生成最接近真實(shí)缺陷圖像的第二鋼絲繩缺陷圖像。

13、優(yōu)選的，步驟s4的內(nèi)容為：構(gòu)建的改進(jìn)的efficientnet網(wǎng)絡(luò)模型包括順次設(shè)置的第一卷積模塊、七個(gè)順次設(shè)置的圖卷積層模塊atconv、第二卷積模塊、平均全局池化和全連接層；各圖卷積層模塊atconv均包括順次設(shè)置的第一普通卷積層、非對(duì)稱卷積模塊、triplet注意力機(jī)制、第二普通卷積層和dropout層，在第一普通卷積層的輸入端與dropout層的輸出端之間還設(shè)置有跳躍連接；圖卷積層模塊atconv的損失函數(shù)是由focalloss損失函數(shù)融合iouloss損失函數(shù)得到的filoss損失函數(shù)；改進(jìn)的efficientnet網(wǎng)絡(luò)模型獲取樣本庫中的第二鋼絲繩缺陷圖像作為輸入，將鋼絲繩缺陷部位進(jìn)行識(shí)別和標(biāo)記輸出。

14、進(jìn)一步優(yōu)選的，所述非對(duì)稱卷積模塊是在標(biāo)準(zhǔn)方形卷積的基礎(chǔ)上添加水平非對(duì)稱卷積核和豎直非對(duì)稱卷積核，輸入圖像分別經(jīng)過三個(gè)不同的卷積核卷積處理提取不同的分支特征：其中m：，：，k∈ru×v×c表示輸入尺寸為u×v的第k通道的特征圖，k＝1，2，...，c，u≠v；表示輸入尺寸為h×w的第k通道的第j個(gè)卷積核，h≠w；o：，：，j為第j個(gè)卷積核對(duì)應(yīng)的輸出特征圖，*表示點(diǎn)乘運(yùn)算；

15、利用卷積的可加性將不同分支進(jìn)行融合，得到融合后的特征輸出，融合后的特征維度與輸入特征的維度保持一致，滿足：i為輸入特征圖矩陣；k1和k2分別代表不同的卷積核；★表示卷積操作；表示卷積核對(duì)應(yīng)位置相加。

16、更進(jìn)一步優(yōu)選的，triplet注意力機(jī)制包括如下內(nèi)容：第一個(gè)分支為通道注意力計(jì)算分支，輸入特征經(jīng)過z-pool，然后經(jīng)過7×7卷積，經(jīng)過sigmoid激活函數(shù)生成空間注意力權(quán)重；第二個(gè)分支是通道c和空間w維度交互捕獲分支，輸入特征先經(jīng)過permutation函數(shù)變換位h×c×w維度特征，接著在h維度上進(jìn)行z-pool，然后經(jīng)過7×7卷積和sigmoid激活函數(shù)處理，再經(jīng)過permutation函數(shù)變?yōu)閏×h×w維度特征；第三個(gè)分支是通道c和空間h維度交互捕獲分支，輸入特征先經(jīng)過permutation函數(shù)變換為w×h×c維度特征，接著在w維度上進(jìn)行z-pool，然后經(jīng)過7×7卷積和sigmoid激活函數(shù)處理，再經(jīng)過permutation函數(shù)變?yōu)閏×h×w維度特征；通過對(duì)三個(gè)分支的輸出特征相加求平均得到triplet注意力機(jī)制的輸出結(jié)果。

17、進(jìn)一步優(yōu)選的，filoss損失函數(shù)的表達(dá)式為：filoss＝α×focalloss+(1-α)×ioulossα為權(quán)重；focalloss損失函數(shù)定義為：focalloss＝-αt(1-pt)γlog(pt)，其中pt是模型預(yù)測(cè)的概率值；αt是調(diào)節(jié)因子；γ是超參數(shù)；iouloss損失函數(shù)定義如下：其中a為預(yù)測(cè)框與真實(shí)框的交集b為預(yù)測(cè)框與真實(shí)框的并集。

18、本發(fā)明提供的一種基于深度學(xué)習(xí)的曳引式電梯鋼絲繩缺陷檢測(cè)方法，相對(duì)于現(xiàn)有技術(shù)，具有以下有益效果：

19、(1)為了改善訓(xùn)練樣本不足，影響檢測(cè)模型的訓(xùn)練的問題，本發(fā)明提出了改進(jìn)的ucg-gan網(wǎng)絡(luò)并用于鋼絲繩缺陷樣本的生成，具體是在生成器中引入四個(gè)跳躍連接，跳躍連接中插入ca注意力機(jī)制模塊，在鑒別器中為了穩(wěn)定訓(xùn)練過程，引入鉸鏈對(duì)抗損失并計(jì)入分類器，提高了生產(chǎn)的鋼絲繩缺陷圖像的質(zhì)量和真實(shí)性，為后續(xù)模型的訓(xùn)練提供了訓(xùn)練集基礎(chǔ)；

20、(2)在鋼絲繩缺陷檢測(cè)過程中，本發(fā)明提出了改進(jìn)的efficientnet網(wǎng)絡(luò)模型，efficientnet網(wǎng)絡(luò)模型的各圖卷積層模塊atconv中均引入了非對(duì)稱卷積模塊、triplet注意力機(jī)制和filoss損失函數(shù)，能同時(shí)考慮定位和分類兩方面的損失，提高目標(biāo)檢測(cè)模型對(duì)于不同樣本的優(yōu)化訓(xùn)練的性能，并使網(wǎng)絡(luò)模型能夠兼顧較大尺寸和較小尺寸的缺陷。