本發(fā)明涉及自動裝配，尤其涉及一種基于機器視覺的汽車安全帶預(yù)緊器自動裝配方法及系統(tǒng)。

背景技術(shù)：

1、汽車安全帶預(yù)緊器是車輛被動安全系統(tǒng)中的關(guān)鍵部件，其裝配質(zhì)量直接關(guān)系到安全帶預(yù)緊功能的可靠性。隨著汽車產(chǎn)業(yè)的快速發(fā)展和智能制造技術(shù)的推廣應(yīng)用，預(yù)緊器自動裝配成為提高生產(chǎn)效率和裝配質(zhì)量的重要發(fā)展方向。機器視覺技術(shù)作為工業(yè)自動化的重要支撐，能夠為預(yù)緊器自動裝配提供精確的位置信息和實時的狀態(tài)監(jiān)測。

2、在現(xiàn)有技術(shù)中，預(yù)緊器自動裝配方法還是存在問題，傳統(tǒng)的視覺定位方法難以適應(yīng)預(yù)緊器零部件的復(fù)雜結(jié)構(gòu)特征，特別是在不同視角下的特征識別和位置確定方面存在較大誤差；裝配過程中的位置偏差補償缺乏實時性和準(zhǔn)確性，往往需要多次調(diào)整才能完成精確裝配裝配過程缺乏有效的狀態(tài)監(jiān)測和自適應(yīng)控制機制，容易因裝配力度不當(dāng)或位置偏差過大而導(dǎo)致裝配失敗或零部件損壞。

3、綜上所述，亟需一種基于機器視覺的汽車安全帶預(yù)緊器自動裝配方法，提高預(yù)緊器自動裝配的精度和可靠性，解決現(xiàn)有技術(shù)中存在的定位精度低、實時性差、可靠性不足等技術(shù)問題，為預(yù)緊器自動裝配提供一種實用可行的技術(shù)方案。本發(fā)明能夠解決現(xiàn)有技術(shù)中的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種基于機器視覺的汽車安全帶預(yù)緊器自動裝配方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實施例的第一方面，

3、提供一種基于機器視覺的汽車安全帶預(yù)緊器自動裝配方法，包括：

4、采集預(yù)緊器標(biāo)準(zhǔn)零部件在不同角度下的部件圖像，對所述部件圖像執(zhí)行灰度化處理和高斯濾波降噪，利用邊緣檢測算子提取所述部件圖像的邊緣特征，通過區(qū)域生長法分割所述邊緣特征的目標(biāo)區(qū)域，計算并提取所述目標(biāo)區(qū)域的幾何特征參數(shù)，將所述幾何特征參數(shù)投影至世界坐標(biāo)系，建立二維圖像坐標(biāo)到三維空間坐標(biāo)的映射關(guān)系，基于所述映射關(guān)系，計算預(yù)緊器標(biāo)準(zhǔn)零部件的裝配基準(zhǔn)點和裝配路徑點坐標(biāo)；

5、采集待裝配零部件的實時圖像，對所述實時圖像執(zhí)行自適應(yīng)直方圖均衡化增強處理，通過特征點檢測算法，提取所述實時圖像的特征數(shù)據(jù)；將所述特征數(shù)據(jù)與標(biāo)準(zhǔn)零部件的幾何特征參數(shù)進(jìn)行匹配，通過射影變換特征匹配方法，得到保留匹配點，基于保留匹配點，計算待裝配零部件相對于裝配基準(zhǔn)點的位置偏差值和角度偏差值，根據(jù)所述位置偏差值和角度偏差值計算補償量，更新裝配路徑點坐標(biāo)；

6、控制機器人按照更新后的裝配路徑點坐標(biāo)執(zhí)行零部件裝配，采集裝配過程中的力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)，輸入卡爾曼濾波器進(jìn)行數(shù)據(jù)融合，計算得到裝配狀態(tài)評估指標(biāo)，包括裝配力曲線斜率、位移變化率和力位移關(guān)系曲線；當(dāng)所述裝配狀態(tài)評估指標(biāo)超出預(yù)設(shè)閾值時，根據(jù)所述力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)的變化趨勢，動態(tài)調(diào)整機器人的裝配速度和裝配力度，直到完成自動裝配。

7、在一種可選的實施例中，

8、利用邊緣檢測算子提取所述部件圖像的邊緣特征包括：

9、通過水平方向一階差分算子和垂直方向一階差分算子分別與預(yù)緊器標(biāo)準(zhǔn)零部件的部件圖像進(jìn)行卷積運算，得到部件圖像的水平方向梯度值和垂直方向梯度值；基于所述水平方向梯度值和所述垂直方向梯度值，計算部件圖像中每個像素點的梯度幅值和梯度方向；

10、將部件圖像劃分為多個局部區(qū)域，基于每個像素點的梯度幅值，計算每個局部區(qū)域的梯度幅值均值和梯度幅值標(biāo)準(zhǔn)差，根據(jù)所述梯度幅值均值和所述梯度幅值標(biāo)準(zhǔn)差，計算每個局部區(qū)域的局部閾值，對局部區(qū)域之間的重疊區(qū)域采用雙線性插值方法平滑過渡；

11、在每個所述局部區(qū)域內(nèi)，將每個像素點的梯度幅值與對應(yīng)的局部閾值進(jìn)行比較，并將目標(biāo)像素點的梯度幅值與沿目標(biāo)像素點對應(yīng)梯度方向的相鄰像素點的梯度幅值進(jìn)行比較，當(dāng)目標(biāo)像素點的梯度幅值大于局部閾值且大于所述相鄰像素點的梯度幅值時，將目標(biāo)像素點標(biāo)記為邊緣點；

12、對所述邊緣點進(jìn)行八鄰域連通性分析，得到端點像素，在端點像素的五乘五鄰域內(nèi)搜索連接點，當(dāng)兩個端點像素之間的距離小于預(yù)設(shè)距離閾值且梯度方向差異小于預(yù)設(shè)角度閾值時，將兩個端點像素連接；

13、沿每個所述邊緣點的梯度方向?qū)λ鲞吘夵c的梯度幅值進(jìn)行插值計算，保留局部最大值對應(yīng)的邊緣點，確定主邊緣點，采用形態(tài)學(xué)細(xì)化算法對所述主邊緣點進(jìn)行處理，得到寬度為一個像素的邊緣特征。

14、在一種可選的實施例中，

15、通過區(qū)域生長法分割所述邊緣特征的目標(biāo)區(qū)域，計算并提取所述目標(biāo)區(qū)域的幾何特征參數(shù)包括：

16、計算所述邊緣特征所在部件圖像的局部方差，在所述部件圖像中選取灰度值大于第一預(yù)設(shè)灰度閾值且非邊緣點的像素點作為候選種子點，計算所述候選種子點八鄰域內(nèi)像素點的灰度均值和灰度標(biāo)準(zhǔn)差，當(dāng)所述灰度標(biāo)準(zhǔn)差小于第二預(yù)設(shè)灰度閾值且所述八鄰域內(nèi)像素點的灰度值與所述灰度均值的差值均小于第三預(yù)設(shè)灰度閾值時，將相互間距大于預(yù)設(shè)距離閾值的所述候選種子點確定為生長種子點，將所述生長種子點加入待處理隊列；

17、基于待處理隊列中的每個生長種子點，標(biāo)記生長種子點的八鄰域中的每個像素點為待生長點，計算每個待生長點與對應(yīng)生長種子點的灰度差值，當(dāng)所述灰度差值小于灰度相似性初始閾值時，計算待生長點與已生長區(qū)域的平均灰度差值，當(dāng)所述平均灰度差值小于區(qū)域一致性初始閾值且待生長點未跨越所述邊緣特征時，將所述待生長點加入所述待處理隊列并標(biāo)記為已處理像素點；

18、在生長過程中，每處理預(yù)設(shè)數(shù)量的像素點，計算已生長區(qū)域的灰度標(biāo)準(zhǔn)差，基于所述灰度標(biāo)準(zhǔn)差與生長種子點對應(yīng)的八鄰域的灰度標(biāo)準(zhǔn)差的比值，分別更新所述灰度相似性初始閾值和所述區(qū)域一致性初始閾值，得到新灰度相似性閾值和新區(qū)域一致性閾值，迭代執(zhí)行生長過程；

19、基于多個所述生長種子點生長形成的子區(qū)域，計算相鄰子區(qū)域之間的灰度差異度和子區(qū)域邊界的梯度強度，當(dāng)所述灰度差異度小于差異度閾值且所述梯度強度小于梯度強度閾值時，將所述相鄰子區(qū)域進(jìn)行合并，得到合并子區(qū)域；對合并子區(qū)域進(jìn)行優(yōu)化處理，去除面積小于面積閾值的噪聲區(qū)域，對區(qū)域內(nèi)空洞進(jìn)行填充，對區(qū)域邊界進(jìn)行平滑處理，得到所述邊緣特征對應(yīng)的目標(biāo)區(qū)域；計算所述目標(biāo)區(qū)域的重心坐標(biāo)、面積值、周長值和圓度值，得到所述目標(biāo)區(qū)域的幾何特征參數(shù)。

20、在一種可選的實施例中，

21、通過特征點檢測算法，提取所述實時圖像的特征數(shù)據(jù)包括：

22、對實時圖像進(jìn)行多尺度分解，構(gòu)建三層圖像金字塔，其中第一層圖像采用原始分辨率，第二層圖像將所述原始分辨率降采樣為二分之一，第三層圖像將所述原始分辨率降采樣為四分之一；

23、在所述三層圖像金字塔的每一層圖像中執(zhí)行特征點檢測，對所述每一層圖像中的每個像素點，獲取以所述像素點為中心的圓周上的十六個采樣點，計算所述像素點與所述十六個采樣點的灰度差值；

24、當(dāng)所述十六個采樣點中存在連續(xù)九個及以上采樣點的灰度差值大于預(yù)設(shè)灰度閾值時，將所述像素點標(biāo)記為候選特征點，計算所述候選特征點與所述十六個采樣點的灰度差值絕對值，將所述灰度差值絕對值與預(yù)設(shè)灰度閾值的差值的最大值作為所述候選特征點的響應(yīng)值；

25、對所述候選特征點執(zhí)行非極大值抑制，以所述候選特征點為中心，獲取三乘三鄰域內(nèi)的像素點，計算所述三乘三鄰域內(nèi)所有像素點的響應(yīng)值，當(dāng)所述候選特征點的響應(yīng)值大于所述三乘三鄰域內(nèi)所有像素點的響應(yīng)值時，將所述候選特征點確定為特征點；

26、以所述特征點為中心，提取三十二乘三十二像素的圖像塊，將所述圖像塊劃分為四乘四的子塊，計算每個子塊的灰度均值，得到十六維特征向量，對所述十六維特征向量中的每個分量與其他分量進(jìn)行比較，得到二進(jìn)制位，將二進(jìn)制位組合形成二百五十六位的二進(jìn)制特征描述子，將所述特征點的位置信息和所述二進(jìn)制特征描述子作為所述實時圖像的特征數(shù)據(jù)。

27、在一種可選的實施例中，

28、將所述特征數(shù)據(jù)與標(biāo)準(zhǔn)零部件的幾何特征參數(shù)進(jìn)行匹配，通過射影變換特征匹配方法，得到保留匹配點包括：

29、基于所述特征數(shù)據(jù)和所述幾何特征參數(shù)進(jìn)行特征匹配，計算所述二進(jìn)制特征描述子與所述幾何特征參數(shù)之間的漢明距離，對于每個幾何特征參數(shù)，找出具有最小漢明距離和次小漢明距離的二進(jìn)制特征描述子，計算所述最小漢明距離與所述次小漢明距離的比值，當(dāng)所述比值小于預(yù)設(shè)閾值時，將對應(yīng)的特征點位置信息和幾何特征參數(shù)確定為匹配點對；

30、從所述匹配點對中隨機選取三對匹配點，獲取所述三對匹配點中每對匹配點的坐標(biāo)位置，根據(jù)所述坐標(biāo)位置構(gòu)建坐標(biāo)映射關(guān)系，通過所述坐標(biāo)映射關(guān)系中的x方向分量和y方向分量建立線性方程組，求解所述線性方程組得到變換系數(shù)，將所述變換系數(shù)構(gòu)成用于坐標(biāo)變換的變換矩陣；

31、將所述變換矩陣作用于除所述三對匹配點之外的其他匹配點對中的特征點位置信息，得到變換后位置信息，計算所述變換后位置信息與對應(yīng)匹配點對中的幾何特征參數(shù)之間的歐式距離作為重投影誤差；

32、將重投影誤差小于誤差閾值的匹配點對標(biāo)記為符合變換模型的內(nèi)點，統(tǒng)計所述內(nèi)點的內(nèi)點數(shù)量，將所述內(nèi)點數(shù)量與當(dāng)前最優(yōu)內(nèi)點數(shù)量進(jìn)行比較，當(dāng)所述內(nèi)點數(shù)量大于所述當(dāng)前最優(yōu)內(nèi)點數(shù)量時，使用所述內(nèi)點數(shù)量更新所述當(dāng)前最優(yōu)內(nèi)點數(shù)量，使用對應(yīng)的變換矩陣更新當(dāng)前最優(yōu)變換矩陣；

33、重復(fù)執(zhí)行，直到達(dá)到預(yù)設(shè)的最大迭代次數(shù)，將最后更新的所述當(dāng)前最優(yōu)變換矩陣對應(yīng)的內(nèi)點作為保留匹配點。

34、在一種可選的實施例中，

35、控制機器人按照更新后的裝配路徑點坐標(biāo)執(zhí)行零部件裝配，采集裝配過程中的力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)，輸入卡爾曼濾波器進(jìn)行數(shù)據(jù)融合，計算得到裝配狀態(tài)評估指標(biāo)，包括裝配力曲線斜率、位移變化率和力位移關(guān)系曲線包括：

36、控制機器人按照裝配路徑點坐標(biāo)執(zhí)行零部件裝配，采集所述機器人末端執(zhí)行器上力傳感器輸出的力數(shù)據(jù)和位移傳感器輸出的位移數(shù)據(jù)，所述力數(shù)據(jù)包括三個方向的力分量和力矩分量，所述位移數(shù)據(jù)包括三個方向的位移分量；

37、構(gòu)建包含所述力數(shù)據(jù)、所述位移數(shù)據(jù)、力變化率和位移變化率的狀態(tài)向量，構(gòu)建包含所述力數(shù)據(jù)和所述位移數(shù)據(jù)的觀測向量，計算所述狀態(tài)向量與上一時刻預(yù)測狀態(tài)向量的偏差得到狀態(tài)誤差協(xié)方差矩陣；基于所述狀態(tài)誤差協(xié)方差矩陣計算理論協(xié)方差矩陣和實際協(xié)方差矩陣，計算所述理論協(xié)方差矩陣的跡與所述實際協(xié)方差矩陣的跡的比值，得到自適應(yīng)因子；

38、將所述自適應(yīng)因子與上一時刻過程噪聲協(xié)方差的乘積作為當(dāng)前過程噪聲協(xié)方差，基于所述狀態(tài)向量和所述觀測向量的差值序列計算得到當(dāng)前測量噪聲協(xié)方差；將所述狀態(tài)向量、所述觀測向量、所述過程噪聲協(xié)方差和所述測量噪聲協(xié)方差輸入自適應(yīng)卡爾曼濾波器，經(jīng)過濾波器的預(yù)測步驟和更新步驟得到濾波后狀態(tài)向量；

39、基于所述濾波后狀態(tài)向量中的力數(shù)據(jù)，計算相鄰采樣周期的力差值與時間差值的比值得到裝配力曲線斜率，基于所述濾波后狀態(tài)向量中的位移數(shù)據(jù)，計算相鄰采樣周期的位移差值與時間差值的比值得到位移變化率，基于所述力差值與所述位移差值的比值得到力位移關(guān)系曲線。

40、在一種可選的實施例中，

41、當(dāng)所述裝配狀態(tài)評估指標(biāo)超出預(yù)設(shè)閾值時，根據(jù)所述力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)的變化趨勢，動態(tài)調(diào)整機器人的裝配速度和裝配力度，直到完成自動裝配包括：

42、將所述裝配力曲線斜率、所述位移變化率和所述力位移關(guān)系曲線輸入模糊神經(jīng)網(wǎng)絡(luò)，通過所述模糊神經(jīng)網(wǎng)絡(luò)的模糊化層將輸入變量轉(zhuǎn)換為模糊變量，根據(jù)預(yù)設(shè)的模糊規(guī)則庫在規(guī)則層進(jìn)行模糊推理，在去模糊化層計算得到第一力度調(diào)整量和第一速度調(diào)整量；

43、將所述裝配力曲線斜率、所述位移變化率和所述力位移關(guān)系曲線作為強化學(xué)習(xí)的狀態(tài)空間，將力度調(diào)整量和速度調(diào)整量作為動作空間；計算所述裝配力曲線斜率與第一預(yù)設(shè)閾值的偏差、所述位移變化率與第二預(yù)設(shè)閾值的偏差、所述力位移關(guān)系曲線與第三預(yù)設(shè)閾值的偏差，基于多個偏差計算獎勵值；將所述狀態(tài)空間、所述動作空間和所述獎勵值輸入深度q網(wǎng)絡(luò)，通過q值迭代更新得到第二力度調(diào)整量和第二速度調(diào)整量；

44、根據(jù)歷史裝配周期中的裝配狀態(tài)評估指標(biāo)計算模糊控制權(quán)重和強化學(xué)習(xí)權(quán)重；將所述第一力度調(diào)整量與所述模糊控制權(quán)重的乘積加上所述第二力度調(diào)整量與所述強化學(xué)習(xí)權(quán)重的乘積得到最終力度調(diào)整量，將所述第一速度調(diào)整量與所述模糊控制權(quán)重的乘積加上所述第二速度調(diào)整量與所述強化學(xué)習(xí)權(quán)重的乘積得到最終速度調(diào)整量；

45、將所述最終力度調(diào)整量與當(dāng)前裝配力度疊加得到更新后裝配力度，將所述最終速度調(diào)整量與當(dāng)前裝配速度疊加得到更新后裝配速度；直到更新后的所述裝配力曲線斜率、所述位移變化率和所述力位移關(guān)系曲線同時處于對應(yīng)的預(yù)設(shè)閾值范圍內(nèi)，完成零部件自動裝配。

46、本發(fā)明實施例的第二方面，

47、提供一種基于機器視覺的汽車安全帶預(yù)緊器自動裝配系統(tǒng)，包括：

48、第一單元，用于采集預(yù)緊器標(biāo)準(zhǔn)零部件在不同角度下的部件圖像，對所述部件圖像執(zhí)行灰度化處理和高斯濾波降噪，利用邊緣檢測算子提取所述部件圖像的邊緣特征，通過區(qū)域生長法分割所述邊緣特征的目標(biāo)區(qū)域，計算并提取所述目標(biāo)區(qū)域的幾何特征參數(shù)，將所述幾何特征參數(shù)投影至世界坐標(biāo)系，建立二維圖像坐標(biāo)到三維空間坐標(biāo)的映射關(guān)系，基于所述映射關(guān)系，計算預(yù)緊器標(biāo)準(zhǔn)零部件的裝配基準(zhǔn)點和裝配路徑點坐標(biāo)；

49、第二單元，用于采集待裝配零部件的實時圖像，對所述實時圖像執(zhí)行自適應(yīng)直方圖均衡化增強處理，通過特征點檢測算法，提取所述實時圖像的特征數(shù)據(jù)；將所述特征數(shù)據(jù)與標(biāo)準(zhǔn)零部件的幾何特征參數(shù)進(jìn)行匹配，通過射影變換特征匹配方法，得到保留匹配點，基于保留匹配點，計算待裝配零部件相對于裝配基準(zhǔn)點的位置偏差值和角度偏差值，根據(jù)所述位置偏差值和角度偏差值計算補償量，更新裝配路徑點坐標(biāo)；

50、第三單元，用于控制機器人按照更新后的裝配路徑點坐標(biāo)執(zhí)行零部件裝配，采集裝配過程中的力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)，輸入卡爾曼濾波器進(jìn)行數(shù)據(jù)融合，計算得到裝配狀態(tài)評估指標(biāo)，包括裝配力曲線斜率、位移變化率和力位移關(guān)系曲線；當(dāng)所述裝配狀態(tài)評估指標(biāo)超出預(yù)設(shè)閾值時，根據(jù)所述力傳感器數(shù)據(jù)和位移傳感器數(shù)據(jù)的變化趨勢，動態(tài)調(diào)整機器人的裝配速度和裝配力度，直到完成自動裝配。

51、本發(fā)明實施例的第三方面，

52、提供一種電子設(shè)備，包括：

53、處理器；

54、用于存儲處理器可執(zhí)行指令的存儲器；

55、其中，所述處理器被配置為調(diào)用所述存儲器存儲的指令，以執(zhí)行前述所述的方法。

56、本發(fā)明實施例的第四方面，

57、提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)前述所述的方法。

58、在本發(fā)明實施例中，通過機器視覺精確識別和定位待裝配零部件，并基于偏差值進(jìn)行補償，可以顯著提高汽車安全帶預(yù)緊器的裝配精度，確保裝配質(zhì)量的一致性和穩(wěn)定性；利用機器人自動執(zhí)行裝配過程，并根據(jù)裝配狀態(tài)評估指標(biāo)動態(tài)調(diào)整裝配參數(shù)，可以有效縮短裝配時間，提高生產(chǎn)效率；融合了機器視覺、機器人控制和傳感器數(shù)據(jù)處理等技術(shù)，實現(xiàn)了汽車安全帶預(yù)緊器的自動化和智能化裝配，降低了對人工操作的依賴，提高了生產(chǎn)的自動化水平。