本發(fā)明涉及圖像語義分割和智能建造，特別是涉及一種裝配式t梁上翼板連接鋼筋質(zhì)量智能檢測方法。

背景技術(shù)：

1、裝配式t梁橋是一種廣泛應(yīng)用于中、小跨徑梁橋的橋梁結(jié)構(gòu)形式，其上部結(jié)構(gòu)由主梁、橫隔梁（板）、橋面結(jié)構(gòu)等部分組成。主梁由梁肋和上翼板組成，上翼板不僅構(gòu)成主梁的一部分，還與梁肋聯(lián)合構(gòu)成橋面板，共同承受荷載。裝配式t梁橋相較于整體式t梁，具有施工質(zhì)量易于保障、工廠化、標(biāo)準(zhǔn)化施工的優(yōu)點，目前已逐漸取代整體式t梁成為新建橋梁設(shè)計中的主流選擇。

2、在鋼筋構(gòu)造方面，t梁的主梁肋和上翼板需要配置不同類型的鋼筋，包括縱向受力主筋、架立鋼筋、斜鋼筋、箍筋、分布鋼筋等，以確保結(jié)構(gòu)的穩(wěn)定性和承載力。連接構(gòu)造是裝配式t梁橋的重要組成部分，其連接方式需有足夠的強度和剛度，以保證結(jié)構(gòu)的整體性和耐久性。連接部位是整體結(jié)構(gòu)的受力集中傳力部位，該部位的鋼筋長度不足會導(dǎo)致，連接處可能無法有效傳遞應(yīng)力，導(dǎo)致t梁之間連接失效，甚至出現(xiàn)t梁斷裂或脫落的情況。因此t梁連接部位的鋼筋長度滿足設(shè)計要求至關(guān)重要，需要準(zhǔn)確量測。

3、當(dāng)前t梁的連接鋼筋測量采用現(xiàn)場人工量測，t梁安裝高度可能達(dá)到數(shù)十米甚至數(shù)百米，人工量測需要工作人員在高空進(jìn)行作業(yè)，這本身就增加了墜落的風(fēng)險，是一種高空危險作業(yè)，危險性較高。并且施工現(xiàn)場可能存在不穩(wěn)定因素，如不穩(wěn)定的支架、滑落的物體等，這些都可能對高空作業(yè)人員構(gòu)成威脅。而且，在高空進(jìn)行鋼筋測量時，工作人員的視線可能受到限制，難以準(zhǔn)確觀察和測量鋼筋的位置和尺寸，不能做到實時監(jiān)測，是一種事后作業(yè)。

4、圖像分割技術(shù)被廣泛應(yīng)用于計算機視覺、自然語言處理等領(lǐng)域，將其應(yīng)用于t梁上翼板連接鋼筋質(zhì)量的檢測，是一種理想的智能檢測途徑，可以減少安全風(fēng)險。能夠?qū)崿F(xiàn)施工過程當(dāng)中的質(zhì)量檢測。但傳統(tǒng)質(zhì)量檢測網(wǎng)絡(luò)雖然能夠?qū)ι蟼鲌D像進(jìn)行準(zhǔn)確定位，但是定位結(jié)果準(zhǔn)確率較低，對工程當(dāng)中的實際施工過程指導(dǎo)意義有限。因此，針對裝配式t梁上翼板連接鋼筋質(zhì)量，如何采用高精度的語義分割算法進(jìn)行監(jiān)測與測量是領(lǐng)域內(nèi)的迫切需求.

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是克服了以上技術(shù)的缺點，提供了一種裝配式t梁上翼板連接鋼筋質(zhì)量智能檢測方法。相對于現(xiàn)有技術(shù)而言，本發(fā)明創(chuàng)造性地利用圖像分割技術(shù)實現(xiàn)裝配式t梁上翼板連接時，能夠準(zhǔn)確、高效地檢測出連接過程中的鋼筋的質(zhì)量，為連接鋼筋質(zhì)量的保障提供了有效的手段。

2、本發(fā)明解決所述技術(shù)問題的技術(shù)方案是：設(shè)計一種裝配式t梁上翼板連接鋼筋質(zhì)量智能檢測方法，其特征在于，該檢測方法包括以下步驟：

3、步驟一：獲取不少于1000張的裝配式t梁上翼板連接鋼筋的圖像，首先對其進(jìn)行預(yù)處理，然后對每張圖像標(biāo)注標(biāo)簽，之后再根據(jù)圖像數(shù)量進(jìn)行劃分，將其中不少于60%劃分為訓(xùn)練集，余下為測試集；

4、步驟二：構(gòu)建裝配式t梁上翼板連接鋼筋高效分割網(wǎng)絡(luò)模型

5、所述高效分割網(wǎng)絡(luò)模型是一種改進(jìn)的sam網(wǎng)絡(luò)模型，所述改進(jìn)的sam網(wǎng)絡(luò)模型主要包括三個主干模塊，分別為圖像編碼器模塊、提示編碼器模塊、掩碼解碼器模塊；

6、所述改進(jìn)的sam網(wǎng)絡(luò)模型采用vim模型作為圖像編碼器，用于提取輸入圖像的特征表示；所述vim模型的具體工作流程如下：

7、首先，輸入的圖像f被分割為多個固定大小的非重疊的圖像塊，然后將每個圖像塊的位置信息嵌入到其對應(yīng)的像素向量表示信息上，并將每個圖像塊的像素向量表示信息展平并排列成序列，得到每個圖像塊的原始像素序列信息以及對應(yīng)的位置信息；將每個圖像塊的原始像素序列信息通過一個線性層進(jìn)行線性變換，以調(diào)整其數(shù)據(jù)維度，得到每個圖像塊的初級像素序列信息及對應(yīng)的位置信息的組合嵌入特征；然后，將圖像塊的初級像素序列信息通過歸一化層進(jìn)行歸一化，采用批次歸一化處理；之后，將圖像塊的初級像素序列信息y經(jīng)過歸一化層處理得到的結(jié)果分別使用兩個不同的投影層處理，被分別投影為維度為e的序列x和序列z序列；

8、然后，對序列x從向前和向后兩個方向進(jìn)行處理，以捕獲向量中的局部依賴關(guān)系；對于前向處理，首先對序列x應(yīng)用一維的前向卷積操作和silu函數(shù)得到，再將線性投影到三個不同的線性層，分別得到序列、和，其中序列使用軟加激活函數(shù)確保其為正；然后將序列應(yīng)用哈達(dá)瑪積得到轉(zhuǎn)換參數(shù)和，即序列與序列進(jìn)行哈達(dá)瑪積得到參數(shù)，序列中的元素為可訓(xùn)練的參數(shù)，序列與序列進(jìn)行哈達(dá)瑪積得到參數(shù)；最后使用、、和輸入的通過空間狀態(tài)模型，計算得出序列x的前向處理結(jié)果；

9、使用、、和輸入的通過空間狀態(tài)模型計算得出序列x的前向處理結(jié)果的具體過程，通過公式表示為：

10、h(x)=a+b×x

11、=×h(x)+×

12、=×

13、上式中，a、b為可訓(xùn)練的參數(shù)矩陣，x即為序列x；

14、序列x的后向處理結(jié)果獲得的過程與序列x的前向處理結(jié)果獲得的過程類似，區(qū)別在于將前向處理過程中的一維的前向卷積操作換成一維的后向卷積操作；

15、將由序列x得到、與序列z經(jīng)激活函數(shù)處理后得到的結(jié)果分別進(jìn)行加和，然后再將得到的兩個結(jié)果加在一起，得到的結(jié)果經(jīng)過投影層處理后，與圖像塊的初級像素序列信息進(jìn)行殘差連接，然后生成序列，序列會被送入mlp進(jìn)行處理，得到編碼像素序列信息；將得到的編碼像素序列信息與對應(yīng)的圖像塊的位置信息進(jìn)行組合，得到圖像塊的嵌入特征信息；圖像塊的嵌入特征信息即為圖像編碼器的輸出；

16、提示編碼器模塊用于將輸入的提示轉(zhuǎn)換成模型能理解的向量序列；該提示編碼器模塊輸入的是掩碼提示，該掩碼為圖像f的標(biāo)簽圖像；提示編碼器模塊通過三個不同的卷積層對該標(biāo)簽圖像進(jìn)行處理，其中的兩個卷積層分別輸出目標(biāo)令牌和提示令牌；同時，對提示編碼器模塊的第三個卷積層的輸出結(jié)果加權(quán)重，輸出高質(zhì)量目標(biāo)令牌；所述權(quán)重為可學(xué)習(xí)的參數(shù)；所述三個卷積層的輸出均為一維的向量，且元素個數(shù)相同；

17、掩碼解碼器模塊的具體工作流程如下所述：

18、首先，將提示編碼器模塊輸出的目標(biāo)令牌、提示令牌、高質(zhì)量目標(biāo)令牌作為query、key、value，組合成一個三維矩陣的原始特征f0，將其作為第一cbam注意力機制層的輸入，第一cbam注意力機制層輸出一維的第一輸出信息f1；

19、然后，將第一輸出信息f1作為query輸入到第二cbam注意力機制層，同時，將圖像編碼器模塊輸出的圖像塊的嵌入特征信息中的編碼像素序列信息作為key跟value輸入進(jìn)第二cbam注意力機制層，將上述query、key跟value組合成一個三維矩陣的特征信息，該特征信息經(jīng)過第二cbam注意力機制層的處理，得到一維的第二輸出信息f2；

20、將第二輸出信息f2輸入到第一kan網(wǎng)絡(luò)，經(jīng)過第一kan網(wǎng)絡(luò)的處理，得到第三輸出信息f3；其中，第三輸出信息f3中的與第一輸出信息f1對應(yīng)的部分為圖像分割任務(wù)相關(guān)的掩碼預(yù)測令牌，與圖像塊的嵌入特征信息中的編碼像素序列信息對應(yīng)的部分為用于預(yù)測分割掩碼的特定圖像特征表示；

21、然后，將第三輸出信息f3中的特定圖像特征表示作為query被輸入到第三cbam注意力機制層，將圖像編碼器模塊輸出的圖像塊的嵌入特征信息中的編碼像素序列信息作為key跟value輸入到第三cbam注意力機制層，經(jīng)過處理更新信息后，得到一維的第四輸出信息f4；

22、將第四輸出信息f4作為key和value，與第三輸出信息f3中的掩碼預(yù)測令牌作為query，組合成一個三維矩陣并輸入到第四cbam注意力機制層，經(jīng)過處理后輸出每個目標(biāo)點的掩碼，得到一維的第五輸出信息f5；

23、同時，第四輸出信息f4經(jīng)過兩次卷積操作，得到與原來的圖像f尺寸大小相同的輸出特征f6；

24、將第五輸出信息f5中的與掩碼預(yù)測令牌對應(yīng)的部分輸入到第二kan網(wǎng)絡(luò)，輸出一個擁有每個預(yù)測目標(biāo)掩碼概率的二值圖；將該二值圖與輸出特征f6點乘，得到最后的分割圖像，該分割圖像也為二值圖；掩碼解碼器最終輸出原始圖像f的分割圖像；

25、所述第一cbam注意力機制層、第二cbam注意力機制層、第三cbam注意力機制層、第四cbam注意力機制層的基本結(jié)構(gòu)相同，但參數(shù)不共享；

26、所述第一kan網(wǎng)絡(luò)、第二kan網(wǎng)絡(luò)的基本結(jié)構(gòu)相同，但參數(shù)不共享；所述第一kan網(wǎng)絡(luò)為包括兩個激活函數(shù)層的結(jié)構(gòu)，其中，第一層的輸入為兩個相同的特征，第二層的輸入為五個；對于第一層的兩個輸入，利用第一層的十個激活函數(shù)進(jìn)行處理，每個輸入得到五個分身；將第一個輸入的第一個分身和第二個輸入的第一個分身加和，得到的結(jié)果作為第二層的第一個輸入，第二層的余下四個輸入的獲得方式與此相同；第二層的五個輸入經(jīng)過第二層的五個激活函數(shù)的處理，然后將得到的五個結(jié)果進(jìn)行加合，得到第一kan網(wǎng)絡(luò)的輸出；兩個激活函數(shù)層中的每個激活函數(shù)的公式相同，但參數(shù)不共享；

27、將兩個第二輸出信息f2作為第一kan網(wǎng)絡(luò)的輸入，第二kan網(wǎng)絡(luò)的輸入以此類推；

28、步驟三、訓(xùn)練步驟二中的裝配式t梁連接鋼筋高效分割網(wǎng)絡(luò)模型

29、首先對步驟二中的高效分割網(wǎng)絡(luò)模型的可訓(xùn)練參數(shù)進(jìn)行隨機初始化，設(shè)置網(wǎng)絡(luò)模型的固定參數(shù)，然后將訓(xùn)練集中的一張圖像以及對應(yīng)的標(biāo)簽圖像輸入到完成初始化的高效分割網(wǎng)絡(luò)模型中，高效分割網(wǎng)絡(luò)模型輸出二值圖的分割圖像，然后結(jié)合對應(yīng)的標(biāo)簽圖像，利用均方誤差損失函數(shù)計算像素級訓(xùn)練損失，再通過訓(xùn)練損失反向傳播更新一次高效分割網(wǎng)絡(luò)模型的可訓(xùn)練參數(shù)；依次迭代訓(xùn)練所有圖像，訓(xùn)練完訓(xùn)練集中的所有圖像即完成一個輪次的訓(xùn)練，將完成上一個輪次的網(wǎng)絡(luò)的可訓(xùn)練參數(shù)作為下一個輪次的初始的可訓(xùn)練參數(shù)，當(dāng)訓(xùn)練梯度值在±１ｅ－５范圍內(nèi)或訓(xùn)練迭代輪次達(dá)到30000，停止訓(xùn)練，提取訓(xùn)練損失最小的可訓(xùn)練參數(shù)，即得完成訓(xùn)練的高效分割網(wǎng)絡(luò)模型；

30、然后將測試集中的圖像以及對應(yīng)的標(biāo)注圖像輸入到完成訓(xùn)練的高效分割網(wǎng)絡(luò)模型中，計算分割結(jié)果的準(zhǔn)確率，當(dāng)像素準(zhǔn)確率為95%-100%時，則證明該完成訓(xùn)練的高效分割網(wǎng)絡(luò)模型為最優(yōu)分割模型，否則，調(diào)整高效分割網(wǎng)絡(luò)模型的可訓(xùn)練參數(shù)的初始化方法，調(diào)整網(wǎng)絡(luò)模型的固定參數(shù)的取值，重復(fù)高效分割網(wǎng)絡(luò)模型的訓(xùn)練過程與測試過程，直至得到最優(yōu)分割模型；

31、步驟四、裝配式t梁上翼板連接鋼筋的檢測

32、利用無人機拍攝待檢測的裝配式t梁上翼板連接鋼筋的圖像，然后將其輸入到步驟三中的最優(yōu)分割網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)模型輸出該圖像的二值圖的分割圖像；統(tǒng)計各類像素點的長度，長度大于2的白色像素點為鋼筋的像素；當(dāng)檢測出鋼筋的長度在580-620像素之間，即為合格，若長度不在該范圍，則判定該處的裝配式t梁上翼板連接鋼筋為異常，實現(xiàn)裝配式t梁上翼板連接鋼筋質(zhì)量的檢測。

33、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明設(shè)計的一種裝配式t梁上翼板連接鋼筋質(zhì)量智能檢測方法，其分割模型采用vim（vision?mamba）模型作為圖像編碼器，提高處理圖像更有效率，vim的設(shè)計允許它更容易地擴(kuò)展到更高分辨率的圖像，這對于大規(guī)模視覺數(shù)據(jù)集的分析尤為重要。然后利用提示編碼器生成目標(biāo)令牌（output?tokens）和提示令牌（prompt?tokens）以及高質(zhì)量目標(biāo)令牌（hq-output-tokens），顯著提高了分割的精度和細(xì)節(jié)，保持了sam的零樣本泛化能力，使其能夠在未見過的數(shù)據(jù)上進(jìn)行有效分割，有助于模型在面對具有挑戰(zhàn)性的場景（如遮擋、光照變化等）時，生成更加魯棒的分割結(jié)果。此外，該分割模型采用由多個cbam注意力機制層、多個kan網(wǎng)絡(luò)以及卷積操作構(gòu)成的掩碼解碼器，降低了計算復(fù)雜度、計算量，避免了復(fù)雜的注意力權(quán)重計算和高維矩陣的乘法操作，但能使得網(wǎng)絡(luò)能夠更好地捕捉圖像中的關(guān)鍵信息，提高網(wǎng)絡(luò)的效率和準(zhǔn)確度。

34、本發(fā)明檢測方法將語義分割算法應(yīng)用到裝配式t梁上翼板連接鋼筋質(zhì)量智能檢測中，具有精細(xì)化識別圖像信息的功能，可對鋼筋質(zhì)量識別進(jìn)行量化，可以克服裝配式t梁上翼板連接鋼筋過程質(zhì)量檢測的不足，提高施工效率和質(zhì)量，減少人工監(jiān)測的依賴，并為裝配式t梁上翼板連接鋼筋質(zhì)量檢測提供更可靠和安全的解決方案。本發(fā)明技術(shù)方案為實現(xiàn)更大規(guī)模的建筑級別裝配式t梁上翼板連接鋼筋質(zhì)量檢測提供了可能性，具有重大的意義和廣闊的應(yīng)用前景，同時也為裝配式t梁上翼板連接技術(shù)的發(fā)展提供了有力的支持和保障。