一種三維彎管多相機(jī)視覺檢測方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種三維彎管多相機(jī)視覺檢測方法及其系統(tǒng)，包括下述步驟：步驟S1，多相機(jī)標(biāo)定；步驟S2，彎管圖像采集；步驟S3，彎管邊緣識(shí)別；步驟S4，彎管二維中心線檢測；步驟S5，彎管三維中心線重建；步驟S6，彎管參數(shù)計(jì)算。通過上述操作步驟，本發(fā)明為加工后彎管的尺寸檢測提供了一種快速、準(zhǔn)確的量測方法，不僅操作方便，自動(dòng)化程度高，而且測量結(jié)果準(zhǔn)確、可靠。
【專利說明】一種三維彎管多相機(jī)視覺檢測方法及其系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及機(jī)械加工領(lǐng)域中彎管三維檢測的問題，特別涉及一種三維彎管的多相機(jī)視覺檢測方法。
【背景技術(shù)】
[0002]彎管因其具有質(zhì)量輕、強(qiáng)度高以及易于加工等優(yōu)點(diǎn)，在汽車、家電、運(yùn)動(dòng)器材以及軍工航天等行業(yè)被廣泛應(yīng)用，如汽車排氣管、家裝欄桿、自行車以及其他彎曲零部件等。在實(shí)際生產(chǎn)過程中，如何快速、準(zhǔn)確的測量加工后的彎管以驗(yàn)證其能否滿足設(shè)計(jì)要求，是非常重要的。
[0003]目前，彎管加工廠多采用一些簡易的量測工具或三坐標(biāo)測量儀來進(jìn)行彎管量測，盡管這些測量手段具有一定的精度，但操作復(fù)雜、測量效率較低。因此，迫切需要一種快速、準(zhǔn)確、自動(dòng)化程度高的測量方法，以滿足彎管加工后的檢測要求。
[0004]近年來，隨著計(jì)算機(jī)硬件的提高和圖像采集設(shè)備的不斷進(jìn)步，計(jì)算機(jī)視覺測量技術(shù)發(fā)展迅速，已被廣泛用于工業(yè)生產(chǎn)的各個(gè)領(lǐng)域。相比于傳統(tǒng)的測量手段，視覺測量具有非接觸、精度高及快速方便等優(yōu)點(diǎn)。因此，本發(fā)明將該技術(shù)用于彎管檢測，以克服傳統(tǒng)彎管檢測手段的缺陷和不足。

【發(fā)明內(nèi)容】

[0005]為了滿足三維彎管檢測高效、準(zhǔn)確的使用需求，并克服傳統(tǒng)檢測手段的缺陷，本發(fā)明提供了一種三維彎管的多相機(jī)視覺檢測方法，能夠?qū)崿F(xiàn)三維彎管的準(zhǔn)確重建，并提高其檢測的效率。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明所述一種三維彎管多相機(jī)視覺檢測方法，其特征在于，包括下述步驟:
[0007]步驟SI，多相機(jī)標(biāo)定:在測量視場中布置多個(gè)標(biāo)志點(diǎn)，對多個(gè)相機(jī)的內(nèi)部參數(shù)和外部參數(shù)進(jìn)行全局標(biāo)定，所述標(biāo)志點(diǎn)包括環(huán)形的編碼標(biāo)志點(diǎn)和圓形的非編碼標(biāo)志點(diǎn)；
[0008]步驟S2，彎管圖像采集:在彎管周圍布置高頻LED光源，使用多個(gè)相機(jī)從不同方位同步拍攝以獲得彎管在同一位姿的原始彎管圖像；
[0009]步驟S3，彎管邊緣識(shí)別:對于上述原始彎管圖像，識(shí)別所述彎管的邊緣；
[0010]步驟S4，彎管二維中心線檢測:根據(jù)S3獲得的彎管邊緣，在原始彎管圖像上搜索并計(jì)算彎管中心線；
[0011]步驟S5，彎管三維中心線重建:根據(jù)攝影測量多相機(jī)三維重建原理，計(jì)算彎管中心點(diǎn)的三維坐標(biāo)；
[0012]步驟S6，彎管參數(shù)計(jì)算:根據(jù)S5計(jì)算的結(jié)果，利用最小二乘法擬合計(jì)算彎管直管段的中心線、圓弧段的半徑及拐點(diǎn)參數(shù)。
[0013]本發(fā)明方法至少具有以下優(yōu)點(diǎn):
[0014](I)由于本發(fā)明方法中采用多相機(jī)進(jìn)行彎管測量，因此，能夠從不同方位采集彎管圖像，從而實(shí)現(xiàn)彎管三維外形的整體一次性檢測；
[0015](2)由于本發(fā)明方法是一種基于多相機(jī)的視覺測量方法，因此，具有非接觸、便于操作、快速檢測的優(yōu)點(diǎn)。
【專利附圖】

【附圖說明】
[0016]圖1本發(fā)明方法的測流程圖；
[0017]圖2本發(fā)明三維彎管多相機(jī)測量示意圖；
[0018]圖3本發(fā)明彎管特征識(shí)別的過程圖像:(a)原始彎管圖像；(b)背景圖像；(C)彎管特征圖像；
[0019]圖4本發(fā)明彎管邊緣識(shí)別結(jié)果；
[0020]圖5本發(fā)明彎管二維中心線檢測結(jié)果；
[0021]圖6本發(fā)明彎管三維重建示意圖；
[0022]圖7本發(fā)明彎管三維重建結(jié)果顯示；
[0023]圖8本發(fā)明彎管拐點(diǎn)計(jì)算示意圖。
【具體實(shí)施方式】
[0024]以下結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0025]本發(fā)明提出一種三維彎管的多相機(jī)視覺檢測方法，基本測量流程如圖1所示。以十相機(jī)測量為例，在對彎管進(jìn)行三維視覺檢測時(shí):
[0026]步驟SI，多相機(jī)標(biāo)定:在測量視場中布置多個(gè)標(biāo)志點(diǎn)，對多個(gè)相機(jī)的內(nèi)部參數(shù)和外部參數(shù)進(jìn)行全局標(biāo)定，所述標(biāo)志點(diǎn)包括環(huán)形的編碼標(biāo)志點(diǎn)和圓形的非編碼標(biāo)志點(diǎn)。
[0027]以十相機(jī)測量為例，通過在測量視場中布置多個(gè)標(biāo)志點(diǎn)來實(shí)現(xiàn)10個(gè)相機(jī)內(nèi)、外部參數(shù)的全局標(biāo)定，10個(gè)相機(jī)的布站如圖2所示。所用標(biāo)志點(diǎn)包括環(huán)形的編碼標(biāo)志點(diǎn)和圓形的非編碼標(biāo)志點(diǎn)。
[0028]在一個(gè)實(shí)施例中，所述步驟SI包括如下步驟:
[0029]SlOl:利用三坐標(biāo)測量儀測量得到所有標(biāo)志點(diǎn)的三維空間數(shù)據(jù)；
[0030]S102:利用攝影測量空間后方交會(huì)原理，根據(jù)采集的標(biāo)定圖像計(jì)算得到多個(gè)相機(jī)的內(nèi)、外參數(shù)。
[0031]需要說明的是，多相機(jī)標(biāo)定屬于現(xiàn)有技術(shù)，作為示例，本實(shí)施例中可以采用文獻(xiàn)“大視場多像機(jī)視頻測量系統(tǒng)的全局標(biāo)定.”(胡浩，梁晉，唐正宗，等.光學(xué)精密工程，2012)所提出的多相機(jī)標(biāo)定方法。當(dāng)然，也可以采用其他多相機(jī)標(biāo)定方法。
[0032]步驟S2，彎管圖像采集:在彎管周圍布置高頻LED光源，使用多個(gè)相機(jī)從不同方位同步拍攝以獲得彎管在同一位姿的原始彎管圖像。利用計(jì)算機(jī)控制十個(gè)相機(jī)從不同方位同步拍攝彎管一次，獲得彎管在同一位姿的10幅灰度圖像，相機(jī)的布站如圖2所示。
[0033]另外，在另一個(gè)實(shí)施例中，為了方便后續(xù)圖像處理，將彎管從測量視場中取出并保持十個(gè)相機(jī)的位置不變，再控制十個(gè)相機(jī)同步拍攝一次以獲得10幅背景灰度圖像。更優(yōu)選的，圖像采集前在彎管周圍布置高頻LED光源，以消除彎管陰影。此外，注意調(diào)節(jié)相機(jī)光圈和鏡頭焦距，使每個(gè)相機(jī)所采集的圖像盡可能清晰。
[0034]步驟S3，彎管邊緣識(shí)別:對于上述原始彎管圖像，識(shí)別所述彎管的邊緣。[0035]具體實(shí)施時(shí)，在另一個(gè)實(shí)施例中，所述步驟S3可以至少包括如下步驟:
[0036]S301:利用圖像與背景相減將所述原始彎管圖像中的特征與背景分開；
[0037]S302:識(shí)別彎管的邊緣并保存邊緣點(diǎn)的二維圖像坐標(biāo)。
[0038]其中，將采集的彎管圖像與背景圖像進(jìn)行灰度相減，使待測的彎管區(qū)域與圖像背景分割開，如圖3所示。
[0039]然后，優(yōu)選的，所述步驟S302中，采用Canny邊緣檢測算法或其他邊緣檢測算法識(shí)別出彎管的邊緣，如圖4所示。進(jìn)一步的，可以將邊緣點(diǎn)的二維圖像坐標(biāo)存儲(chǔ)。
[0040]步驟S4，彎管二維中心線檢測:根據(jù)S3獲得的彎管邊緣，在原始彎管圖像上搜索并計(jì)算彎管中心線。
[0041]具體的，在另一個(gè)實(shí)施例中，搜索并計(jì)算彎管中心線時(shí)，對于所述步驟S4，基于邊緣的法向量，在原始彎管圖像上搜索并計(jì)算彎管中心線，這樣可以剔除彎管端部可能產(chǎn)生的錯(cuò)誤點(diǎn)。
[0042]對于該步驟S4，在另一個(gè)實(shí)施例中，所述步驟S4包括如下步驟:
[0043]S401:根據(jù)邊緣點(diǎn)相鄰節(jié)點(diǎn)的拓?fù)潢P(guān)系，利用插值算法計(jì)算彎管邊緣點(diǎn)的法向量;
[0044]S402:對彎管每一邊緣點(diǎn)A,沿其反法向方向進(jìn)行搜索,得到與之對應(yīng)的邊緣點(diǎn)B,則這兩點(diǎn)連線的中心即為彎管的中點(diǎn)；
[0045]S403:重復(fù)這一過程，得到彎管在圖像上的二維中心線。
[0046]進(jìn)一步的，在另一個(gè)實(shí)施例中，為了提高所述檢測方法的魯棒性，所述步驟S402之后，所述S403之前還包括如下步驟:
[0047]檢測獲得的彎管的二維中心點(diǎn)如圖5所示。
[0048]步驟S5，彎管三維中心線重建:根據(jù)攝影測量多相機(jī)三維重建原理，計(jì)算彎管中心點(diǎn)的三維坐標(biāo)。
[0049]進(jìn)一步的，在另一個(gè)實(shí)施例中:根據(jù)攝影測量多相機(jī)三維重建理論，可知:空間任一彎管中心點(diǎn)在不同相機(jī)的像平面上對應(yīng)唯一像點(diǎn)。因此，本發(fā)明進(jìn)一步利用不同相機(jī)的光心與像點(diǎn)組成的射線相交即可求得彎管中心點(diǎn)的三維坐標(biāo)，基本原理如圖6所示。
[0050]優(yōu)選的，所述步驟S5包括如下步驟:
[0051]S501:重建之前，選定某一相機(jī)圖像為參考圖像，對于圖像上彎管的每一個(gè)中心點(diǎn)，利用極線幾何原理在其他相機(jī)圖像上搜索與其對應(yīng)的圖像點(diǎn)；
[0052]S502:計(jì)算這一中心點(diǎn)的三維坐標(biāo)。
[0053]優(yōu)選的，本實(shí)施例中可以采用現(xiàn)有的多相機(jī)三維坐標(biāo)重建技術(shù)，例如采用文獻(xiàn)“數(shù)字近景工業(yè)攝影測量關(guān)鍵技術(shù)研究與應(yīng)用”(黃桂平.天津大學(xué)博士學(xué)位論文，2005)所提出的多攝站坐標(biāo)測量方法來計(jì)算彎管中心的三維坐標(biāo)。
[0054]由于本發(fā)明方法基于多極線幾何原理進(jìn)行三維重建，并利用光束平差算法進(jìn)行整體調(diào)整優(yōu)化，因此能夠?qū)崿F(xiàn)三維彎管的高精度測量。
[0055]三維重建完成后，基于OpenGL顯示環(huán)境，給定一個(gè)彎管直徑，繪制并顯示彎管的三維視圖，如圖7所示。
[0056]步驟S6，彎管參數(shù)計(jì)算:根據(jù)S5計(jì)算的結(jié)果，利用最小二乘法擬合計(jì)算彎管直管段的中心線、圓弧段的半徑及拐點(diǎn)參數(shù)。[0057]優(yōu)選的，在另一個(gè)實(shí)施例中，分別通過最小二乘直線擬合和最小二乘圓擬合來計(jì)算彎管直管段的中心線及其圓弧段的半徑。
[0058]進(jìn)一步的，在另一個(gè)實(shí)施例中，進(jìn)一步通過一實(shí)施例計(jì)算彎管的拐點(diǎn)，也即相鄰直管段中心線的延長線的交點(diǎn)。由于計(jì)算后相鄰直管段中心線未必交于一點(diǎn)，因此當(dāng)計(jì)算所述拐點(diǎn)時(shí)，將相鄰直管段中心線的公垂線的中點(diǎn)做為拐點(diǎn)，如圖8所示。令計(jì)算得到的相鄰兩直管段的中心線的方向向量分別為=V1 = (B1, b1； C1)和^ = (a2，b2，c2)，則兩直管段中心線可表示為:

fx = x,+e,f
[0059]直線/,: < V = F1 +fy(2)

[Z = Z1 +c,i

X 二 X2 4- a2t
[0060]直線4:< V = J2 + b2i(3)

Z = Z2 + Cjt
[0061]其中，t為實(shí)數(shù)空間任一自變量，令M、N分別為直線I1和I2上的點(diǎn)，M= (Xl+ai η ,Yi+bj Π，Z^c1 η)，N = (x2+a2 ξ，y2+b2 ξ，z2+c2 ξ )，若MWr為直線 I1 和 I2 的公垂線段，則
TT.!, =TT.? 2 = 0 JP [0062]
I (^Vh+bA ^iaI2 +αιΖ +αι2)ξ = α,(χ,-λ-2)+ *,(>>, -V2) +cI(^i —ζ2) (4 )
!(^i2 + K+K)η—Wh + bA + cAK = αζ(χι — A)+Κ{}\ ^ V2)+c2o, — ζ2)
[0063]對式(4)進(jìn)行求解可得η和ξ的值，也即求出了 Μ、Ν兩點(diǎn)的坐標(biāo)值，則--?的中點(diǎn)P。可表示為:
[0064]Pc = (Μ+Ν) /2 (5)
[0065]P。即為彎管的拐點(diǎn)，彎管有n個(gè)圓弧段，就有n個(gè)拐點(diǎn)。
[0066]此外，本發(fā)明還公開了一種三維彎管多相機(jī)視覺檢測系統(tǒng)，所述系統(tǒng)用于實(shí)施上述檢測方法。
[0067]以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的【具體實(shí)施方式】僅限于此，對于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單的推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明由所提交的權(quán)利要求書確定的專利保護(hù)范圍。
【權(quán)利要求】
1.一種三維彎管多相機(jī)視覺檢測方法，其特征在于，包括下述步驟: 步驟SI,多相機(jī)標(biāo)定:在測量視場中布置多個(gè)標(biāo)志點(diǎn)，對多個(gè)相機(jī)的內(nèi)部參數(shù)和外部參數(shù)進(jìn)行全局標(biāo)定，所述標(biāo)志點(diǎn)包括環(huán)形的編碼標(biāo)志點(diǎn)和圓形的非編碼標(biāo)志點(diǎn)； 步驟S2，彎管圖像采集:在彎管周圍布置高頻LED光源，使用多個(gè)相機(jī)從不同方位同步拍攝以獲得彎管在同一位姿的原始彎管圖像； 步驟S3，彎管邊緣識(shí)別:對于上述原始彎管圖像，識(shí)別所述彎管的邊緣； 步驟S4，彎管二維中心線檢測:根據(jù)S3獲得的彎管邊緣，在原始彎管圖像上搜索并計(jì)算彎管中心線； 步驟S5，彎管三維中心線重建:根據(jù)攝影測量多相機(jī)三維重建原理，計(jì)算彎管中心點(diǎn)的三維坐標(biāo)； 步驟S6，彎管參數(shù)計(jì)算:根據(jù)S5計(jì)算的結(jié)果，利用最小二乘法擬合計(jì)算彎管直管段的中心線、圓弧段的半徑及拐點(diǎn)參數(shù)。
2.如權(quán)利要求1所述的方法，其特征在于，優(yōu)選的，所述步驟SI包括如下步驟: 5101:利用三坐標(biāo)測量儀測量得到所有標(biāo)志點(diǎn)的三維空間數(shù)據(jù)； 5102:利用攝影測量空間后方交會(huì)原理，根據(jù)采集的標(biāo)定圖像計(jì)算得到多個(gè)相機(jī)的內(nèi)、外參數(shù)。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟S3至少包括如下步驟: 5301:利用圖像與背景相減將所述原始彎管圖像中的特征與背景分開； 5302:識(shí)別彎管的邊緣并保存邊緣點(diǎn)的二維圖像坐標(biāo)。
4.如權(quán)利要求3所述的方法，其特征在于:所述步驟S302中，采用Canny邊緣檢測算法或其他邊緣檢測算法識(shí)別出彎管的邊緣。
5.如權(quán)利要求1所述的方法，其特征在于:對于所述步驟S4，基于邊緣的法向量，在原始彎管圖像上搜索并計(jì)算彎管中心線以剔除彎管端部可能產(chǎn)生的錯(cuò)誤點(diǎn)。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟S4包括如下步驟: 5401:根據(jù)邊緣點(diǎn)相鄰節(jié)點(diǎn)的拓?fù)潢P(guān)系，利用插值算法計(jì)算彎管邊緣點(diǎn)的法向量； 5402:對彎管每一邊緣點(diǎn)A,沿其反法向方向進(jìn)行搜索,得到與之對應(yīng)的邊緣點(diǎn)B,則這兩點(diǎn)連線的中心即為彎管的中點(diǎn)； 5403:重復(fù)這一過程，得到彎管在圖像上的二維中心線。
7.如權(quán)利要求6所述的方法，其特征在于，所述步驟S402之后，所述S403之前還包括如下步驟: S4023:將B點(diǎn)沿其反法向放向進(jìn)行搜索，得到其對應(yīng)點(diǎn)C，理論上C應(yīng)該非常接近A，設(shè)定一個(gè)閥值Th進(jìn)行判斷，若令點(diǎn)A、B的坐標(biāo)分別為(xA，yA)和(xB，yB)，則對應(yīng)的校正后的彎管中點(diǎn)O的坐標(biāo)通過下式(I)進(jìn)行計(jì)算: I Xit= (XA +Xb)/2 ⑴
U.= ()!α + Yb)/2
8.如權(quán)利要求1所述的方法，其特征在于，所述步驟S5包括如下步驟: S501:重建之前，選定某一相機(jī)圖像為參考圖像，對于圖像上彎管的每一個(gè)中心點(diǎn)，利用極線幾何原理在其他相機(jī)圖像上搜索與其對應(yīng)的圖像點(diǎn)；S502:計(jì)算這一中心點(diǎn)的三維坐標(biāo)。
9.如權(quán)利要求1所述的方法，其特征在于，當(dāng)計(jì)算所述拐點(diǎn)時(shí): 將相鄰直管段中心線的公垂線的中點(diǎn)做為拐點(diǎn)，令計(jì)算得到的相鄰兩直管段的中心線的方向向量分別為=V1= (a1； b1； C1)和^= (a2，b2，c2)，則兩直管段中心線可表示為:

10.一種三維彎管多相機(jī)視覺檢測系統(tǒng)，其特征在于:所述檢測系統(tǒng)用于實(shí)施上述權(quán)利要求1-9的方法。
【文檔編號(hào)】G06T7/00GK104036513SQ201410292927
【公開日】2014年9月10日 申請日期:2014年6月26日 優(yōu)先權(quán)日:2014年6月26日
【發(fā)明者】唐正宗, 胡浩, 李磊剛, 郭翔 申請人:西安新拓三維光測科技有限公司