本發(fā)明涉及圖像處理，具體涉及一種基于目標(biāo)檢測(cè)算法的管道缺陷識(shí)別系統(tǒng)。

背景技術(shù)：

1、在現(xiàn)有技術(shù)中，主要利用先進(jìn)的計(jì)算機(jī)視覺技術(shù)，通過(guò)處理管道內(nèi)部的圖像或視頻來(lái)識(shí)別可能存在的缺陷，從而幫助維護(hù)人員及時(shí)發(fā)現(xiàn)問題，保障管線系統(tǒng)的安全運(yùn)行和高效維護(hù)。該方法的主要優(yōu)勢(shì)在于其能夠自動(dòng)化地檢測(cè)出多種類型的缺陷，提高了檢測(cè)效率，并減少了人工檢查的工作量。

2、然而，在實(shí)際應(yīng)用中仍面臨著一些技術(shù)挑戰(zhàn)和局限性。首先，管道內(nèi)部環(huán)境復(fù)雜，常常伴隨不均勻的照明條件，這使得圖像預(yù)處理變得困難，從而影響到高質(zhì)量目標(biāo)特征的提取，進(jìn)而影響缺陷識(shí)別的精度；其次，對(duì)于動(dòng)態(tài)視頻幀而言，管道內(nèi)拍攝對(duì)象的快速移動(dòng)可能導(dǎo)致圖像中的特征模糊，使得邊緣檢測(cè)和缺陷定位的準(zhǔn)確性下降，此外，由于實(shí)際管道缺陷樣本通常形狀多樣且數(shù)量有限，訓(xùn)練模型時(shí)常出現(xiàn)小樣本學(xué)習(xí)不足的問題，導(dǎo)致模型難以充分學(xué)習(xí)和歸納出各種缺陷類型的特征，在長(zhǎng)管道的檢測(cè)任務(wù)中，不同位置的缺陷可能會(huì)呈現(xiàn)出不同的大小和比例，這就對(duì)算法的尺度不變性提出了更高要求，現(xiàn)有技術(shù)中的模型往往缺乏足夠的靈活性來(lái)應(yīng)對(duì)這些變化，使得檢測(cè)效果難以保持一致；最后，現(xiàn)有目標(biāo)檢測(cè)算法往往需要較高的計(jì)算能力，而在實(shí)際應(yīng)用中，這些算法常被部署在計(jì)算資源受限的設(shè)備上，如機(jī)器人、無(wú)人機(jī)等，這種環(huán)境對(duì)算法的實(shí)時(shí)性提出了挑戰(zhàn)，使得檢測(cè)速度不足的問題突出，嚴(yán)重影響了缺陷檢測(cè)的及時(shí)性和實(shí)用性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于目標(biāo)檢測(cè)算法的管道缺陷識(shí)別系統(tǒng)，解決現(xiàn)有技術(shù)圖像預(yù)處理變得困難，從而影響到高質(zhì)量目標(biāo)特征的提取，進(jìn)而影響缺陷識(shí)別的精度的問題、檢測(cè)效果難以保持一致的問題及環(huán)境對(duì)算法的實(shí)時(shí)性提出了挑戰(zhàn)，使得檢測(cè)速度不足，嚴(yán)重影響了缺陷檢測(cè)的及時(shí)性和實(shí)用性的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于目標(biāo)檢測(cè)算法的管道缺陷識(shí)別系統(tǒng)，所述系統(tǒng)包括：

3、圖像獲取模塊，用于獲取管道內(nèi)部的圖像數(shù)據(jù)；

4、缺陷識(shí)別模塊，與圖像獲取模塊連接，用于基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征；

5、結(jié)果生成模塊，與缺陷識(shí)別模塊連接，用于生成缺陷識(shí)別結(jié)果；

6、輸出模塊，與結(jié)果生成模塊連接，用于將缺陷識(shí)別結(jié)果輸出至終端設(shè)備；

7、其中，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征包括對(duì)于圖像數(shù)據(jù)中的每一幀圖像，采用直方圖均衡化算法調(diào)整亮度，照明不均區(qū)域，在檢測(cè)過(guò)程中使用光流法追蹤連續(xù)幀間缺陷的位置，利用合成數(shù)據(jù)增強(qiáng)技術(shù)模擬不同類型的缺陷樣本增加學(xué)習(xí)數(shù)據(jù)集，根據(jù)檢測(cè)到的缺陷位置應(yīng)用多尺度分析策略確保遠(yuǎn)近不同的缺陷能被正確識(shí)別并分類，基于實(shí)時(shí)性需求和資源約束條件，在前端執(zhí)行圖像初步處理過(guò)濾背景噪聲的同時(shí)，在后臺(tái)利用模型并行運(yùn)算。

8、優(yōu)選的，所述圖像獲取模塊獲取管道內(nèi)部的圖像數(shù)據(jù)包括：

9、將包括工業(yè)內(nèi)窺鏡、攝像頭、機(jī)器視覺設(shè)備的圖像采集裝置放置或安裝于管道內(nèi)部或沿管道的檢測(cè)路徑；

10、根據(jù)管道內(nèi)部環(huán)境的照明條件、圖像分辨率要求、采集速度，設(shè)置圖像采集裝置的參數(shù)，包括曝光時(shí)間、圖像分辨率、幀率、焦距；

11、啟動(dòng)包括led光源和激光照明器的輔助照明裝置，以補(bǔ)充采集區(qū)域的光照強(qiáng)度；

12、啟動(dòng)圖像采集裝置，連續(xù)或按設(shè)定的時(shí)間間隔獲取管道內(nèi)部的圖像數(shù)據(jù)，圖像采集包括靜態(tài)圖像或動(dòng)態(tài)視頻的形式；

13、將采集到的圖像數(shù)據(jù)通過(guò)有線或無(wú)線網(wǎng)絡(luò)傳輸至數(shù)據(jù)處理單元，采用實(shí)時(shí)傳輸或批量存儲(chǔ)的方式，將圖像數(shù)據(jù)存儲(chǔ)在本地存儲(chǔ)設(shè)備或云端服務(wù)器中。

14、優(yōu)選的，所述將采集到的圖像數(shù)據(jù)通過(guò)有線或無(wú)線網(wǎng)絡(luò)傳輸至數(shù)據(jù)處理單元，采用實(shí)時(shí)傳輸或批量存儲(chǔ)的方式，將圖像數(shù)據(jù)存儲(chǔ)在本地存儲(chǔ)設(shè)備或云端服務(wù)器中包括：

15、采用多路徑tcp傳輸協(xié)議和邊緣計(jì)算緩存策略，傳輸時(shí)延優(yōu)化公式為：

16、

17、其中，ttotal表示數(shù)據(jù)傳輸?shù)目傃舆t時(shí)間，d表示數(shù)據(jù)量，b表示傳輸寬帶，tcache表示緩存延遲時(shí)間。

18、優(yōu)選的，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征還包括：

19、在圖像數(shù)據(jù)處理中，利用直方圖均衡化算法對(duì)每一幀圖像的亮度進(jìn)行調(diào)整，具體公式為：

20、

21、其中，h(b)表示均衡化后的像素值，l表示圖像的灰度級(jí)數(shù)，a表示原始圖像中的灰度值，b表示累積分布函數(shù)中的當(dāng)前灰度值，p(a)表示灰度值為a的像素出現(xiàn)的概率。

22、優(yōu)選的，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征還包括：

23、使用光流法來(lái)追蹤連續(xù)幀圖像中缺陷的位置變化，光流場(chǎng)由以下方程表示：

24、i(x，y，t)＝i(x+δx，y+δy，t+δt)，

25、其中，(x，y)表示像素位置坐標(biāo)，t表示時(shí)間，i(x，y，t)表示圖像(x，y)在位置和時(shí)間t時(shí)的灰度值，δx表示水平方向上的位移，δy表示垂直方向上的位移，δt表示兩個(gè)連續(xù)圖像幀之間的時(shí)間間隔。

26、優(yōu)選的，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征還包括：

27、在模型訓(xùn)練過(guò)程中，使用合成數(shù)據(jù)增強(qiáng)技術(shù)豐富數(shù)據(jù)集，通過(guò)仿真或計(jì)算機(jī)生成的方式模擬管道中不同類型，生成的合成圖像被添加到訓(xùn)練集中，增強(qiáng)樣本數(shù)據(jù)集通過(guò)以下公式生成：

28、

29、其中，d′表示增強(qiáng)后的數(shù)據(jù)集，d表示原始數(shù)據(jù)集，n表示數(shù)據(jù)增強(qiáng)操作的次數(shù)，aug(d，θi)表示增強(qiáng)操作函數(shù)，θi表示增強(qiáng)參數(shù)集合，i表示增強(qiáng)操作的序號(hào)。

30、優(yōu)選的，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征還包括：

31、通過(guò)多尺度圖像金字塔提取算法，使檢測(cè)模型對(duì)不同尺寸的缺陷進(jìn)行適配，多尺度圖像金字塔表示為：

32、is(u，w)＝i(u，w)×g(σs)，

33、其中，u表示圖像像素水平方向的坐標(biāo)，w表示圖像像素垂直方向的坐標(biāo)，σs表示高斯模糊函數(shù)中的尺度參數(shù)，is(u，w)表示經(jīng)過(guò)多尺度金字塔處理后的圖像在坐標(biāo)(u，w)處的像素值，i(u，w)表示原始圖像在坐標(biāo)(u，w)處的像素值，g(σs)表示高斯核函數(shù)，s表示圖像金字塔中不同級(jí)別的尺度參數(shù)。

34、優(yōu)選的，所述缺陷識(shí)別模塊基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征還包括：

35、采用前端初步處理和后臺(tái)并行運(yùn)算，在前端設(shè)備上進(jìn)行簡(jiǎn)單的背景噪聲過(guò)濾操作，在后臺(tái)使用并行化計(jì)算或云服務(wù)進(jìn)行復(fù)雜任務(wù)處理，具體采用并行處理框架將數(shù)據(jù)分片，進(jìn)行并行處理，并行加速的公式可表示為：

36、

37、其中，tparallel是并行處理時(shí)間，tserial是串行處理時(shí)間，n表示處理單元數(shù)，α是一個(gè)比例因子，αtoverhead表示并行化引入的開銷。

38、優(yōu)選的，所述結(jié)果生成模塊生成缺陷識(shí)別結(jié)果包括：

39、通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像數(shù)據(jù)中的特征進(jìn)行提?。?/p>

40、提取的缺陷特征與預(yù)先訓(xùn)練的數(shù)據(jù)集進(jìn)行對(duì)比，通過(guò)模型的分類器對(duì)缺陷進(jìn)行分類；

41、對(duì)于每一個(gè)識(shí)別出的缺陷，生成一個(gè)置信度評(píng)分表示該缺陷識(shí)別是否準(zhǔn)確；

42、缺陷的位置以邊界框的形式表示，輸出圖像中缺陷的位置坐標(biāo)。

43、優(yōu)選的，所述輸出模塊將缺陷識(shí)別結(jié)果輸出至終端設(shè)備包括：

44、缺陷識(shí)別的結(jié)果被以標(biāo)準(zhǔn)化的格式進(jìn)行組織，包括圖像、坐標(biāo)、分類結(jié)果、置信度和尺寸；

45、識(shí)別結(jié)果會(huì)被疊加到原始圖像上，通過(guò)圖像標(biāo)注的方式顯示缺陷區(qū)域；

46、如果是在線檢測(cè)系統(tǒng)，識(shí)別結(jié)果會(huì)通過(guò)網(wǎng)絡(luò)實(shí)時(shí)傳輸?shù)竭h(yuǎn)程終端設(shè)備；

47、自動(dòng)生成管道缺陷檢測(cè)的報(bào)告，包括每個(gè)缺陷的識(shí)別結(jié)果、位置和分類情況；

48、在缺陷識(shí)別結(jié)果輸出后，終端設(shè)備會(huì)將數(shù)據(jù)反饋。

49、由上述技術(shù)方案可知，本發(fā)明具有如下有益效果：

50、該基于目標(biāo)檢測(cè)算法的管道缺陷識(shí)別系統(tǒng)，通過(guò)圖像獲取模塊獲取管道內(nèi)部的圖像數(shù)據(jù)，缺陷識(shí)別模塊，基于預(yù)先訓(xùn)練的目標(biāo)檢測(cè)算法對(duì)圖像數(shù)據(jù)進(jìn)行處理，識(shí)別其中的缺陷特征，結(jié)果生成模塊生成缺陷識(shí)別結(jié)果，輸出模塊將缺陷識(shí)別結(jié)果輸出至終端設(shè)備，有效改善了圖像的質(zhì)量，使得缺陷特征在不同光照條件下仍能清晰顯現(xiàn)，大幅提高了在光線較差或照明不均環(huán)境中的缺陷識(shí)別精度，確保了關(guān)鍵缺陷的準(zhǔn)確檢測(cè)，提高了管道在移動(dòng)拍攝過(guò)程中缺陷定位的穩(wěn)定性，確保了在動(dòng)態(tài)檢測(cè)場(chǎng)景中的高效準(zhǔn)確識(shí)別，提高了對(duì)不同形態(tài)和類型缺陷的識(shí)別能力，顯著增強(qiáng)了模型在多種應(yīng)用場(chǎng)景下的泛化能力，能夠在不同的圖像分辨率下進(jìn)行缺陷檢測(cè)，確保遠(yuǎn)近不同的缺陷都能被正確識(shí)別，大幅提升了系統(tǒng)的實(shí)時(shí)性和響應(yīng)速度，確保在資源有限的設(shè)備上仍能快速準(zhǔn)確地完成缺陷檢測(cè)，解決了現(xiàn)有技術(shù)圖像預(yù)處理變得困難，從而影響到高質(zhì)量目標(biāo)特征的提取，進(jìn)而影響缺陷識(shí)別的精度的問題、檢測(cè)效果難以保持一致的問題及環(huán)境對(duì)算法的實(shí)時(shí)性提出了挑戰(zhàn)，使得檢測(cè)速度不足，嚴(yán)重影響了缺陷檢測(cè)的及時(shí)性和實(shí)用性的問題。