專利名稱：大型料場(chǎng)料堆視覺(jué)測(cè)量方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種非接觸測(cè)量方法，具體是一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法。
背景技術(shù)：
至今為止，鋼鐵、化工、電廠等企業(yè)所擁有的大型原料場(chǎng)的堆取料操作與進(jìn)出料規(guī) 劃，基本上還是依靠以人工操作為主的管理與施工模式，因此極大程度地影響了這些企業(yè) 的整體自動(dòng)化和信息化技術(shù)水平的提升。由于此類料場(chǎng)中所堆放的原料均為散裝物質(zhì)，如鐵礦沙、焦炭、石灰等，在生產(chǎn)過(guò) 程中，其體積量始終處于一種動(dòng)態(tài)變化狀態(tài)，一般情況下，企業(yè)對(duì)這些原料的庫(kù)存量丈量及 其動(dòng)態(tài)管理均依靠人工測(cè)量的方法進(jìn)行，效率低下，每隔一定時(shí)間還要停機(jī)進(jìn)行人工測(cè)量 影響企業(yè)生產(chǎn)的連續(xù)性。因此，要實(shí)現(xiàn)料場(chǎng)的自動(dòng)化管理勢(shì)必首先實(shí)現(xiàn)料場(chǎng)的數(shù)字化技術(shù)， 而料場(chǎng)數(shù)字化技術(shù)的關(guān)鍵點(diǎn)又在于如何實(shí)現(xiàn)料場(chǎng)體積的自動(dòng)丈量和動(dòng)態(tài)觀測(cè)。在現(xiàn)有技術(shù) 中已經(jīng)開(kāi)始采用激光測(cè)距技術(shù)實(shí)現(xiàn)對(duì)料場(chǎng)體積的自動(dòng)丈量和動(dòng)態(tài)觀測(cè)，由于激光技術(shù)在該 領(lǐng)域的應(yīng)用存在裝置復(fù)雜、對(duì)工作環(huán)境要求苛刻、價(jià)格高昂等條件限制，使得該技術(shù)的推廣 有著很大的局限性?；跈C(jī)器視覺(jué)的測(cè)量技術(shù)是當(dāng)前的一種新興技術(shù)，但是由于其技術(shù)尚 不完善，加之在料場(chǎng)數(shù)字化系統(tǒng)中的應(yīng)用尚無(wú)先例，因此沒(méi)有現(xiàn)成的成熟技術(shù)可以借鑒。經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國(guó)發(fā)明專利號(hào)200510026200. 5公開(kāi)了一種料 場(chǎng)測(cè)量的計(jì)算機(jī)視覺(jué)系統(tǒng)自動(dòng)測(cè)量的方法，該發(fā)明對(duì)選定的原料料堆設(shè)計(jì)CCD攝像機(jī)布 局，CCD攝像機(jī)所采集到的圖像信號(hào)經(jīng)由視頻電纜與圖像采集卡輸至圖像處理前端；圖像 處理前端中圖像處理軟件對(duì)圖像信號(hào)實(shí)時(shí)進(jìn)行背景淡化與邊緣提取處理，完成圖像的數(shù)字 化信息表達(dá)；圖像處理前端數(shù)字化表達(dá)的信息通過(guò)IEEE1394協(xié)議接口與上位計(jì)算機(jī)連接， 實(shí)現(xiàn)圖像處理前端與上位計(jì)算機(jī)的信息交互；上位計(jì)算機(jī)對(duì)圖像的數(shù)字化表達(dá)信息進(jìn)行再 加工，求取公共角點(diǎn)重構(gòu)對(duì)象的三維圖像，與此同時(shí)運(yùn)算輸出料堆的空間幾何尺度測(cè)量結(jié) 果?？梢钥隙?，該發(fā)明技術(shù)方法在實(shí)現(xiàn)料場(chǎng)的計(jì)算機(jī)自動(dòng)測(cè)量過(guò)程是有效的，但是，該技術(shù) 過(guò)于依靠“CCD攝像機(jī)布局，滿足作為高位視覺(jué)采集點(diǎn)，采集料堆全景圖像”進(jìn)行對(duì)料場(chǎng)圖像 信息的采集；同時(shí)，該發(fā)明尚不具備對(duì)圖像畸變等影響因素自動(dòng)消除能力。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法，該測(cè)量方法基于機(jī)器視 覺(jué)的料場(chǎng)體積測(cè)量方法，利用料場(chǎng)現(xiàn)有的堆取料機(jī)行走機(jī)構(gòu)，在堆取料機(jī)作業(yè)過(guò)程中自動(dòng) 完成料場(chǎng)圖像采集與處理，最終實(shí)現(xiàn)料堆體積的精確計(jì)算。一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法，包括以下步驟步驟一、構(gòu)建料場(chǎng)視覺(jué)測(cè)量系統(tǒng)，由第一雙目視覺(jué)子系統(tǒng)、第二雙目視覺(jué)子系統(tǒng)和 服務(wù)器三部分組成，服務(wù)器的圖像信息處理模塊接收第一雙目視覺(jué)子系統(tǒng)、第二雙目視覺(jué) 子系統(tǒng)的信號(hào)后進(jìn)行處理和運(yùn)算后輸出最終對(duì)圖像信息的識(shí)別、理解和測(cè)量結(jié)果；步驟二、安裝雙目視覺(jué)子系統(tǒng)，將第一雙目視覺(jué)子系統(tǒng)安裝于堆料機(jī)靠近料堆一側(cè)機(jī)架上，將第二雙目視覺(jué)子系統(tǒng)安裝于取料機(jī)靠近料堆一側(cè)機(jī)架上，第一和第二雙目視 覺(jué)子系統(tǒng)中的兩個(gè)CCD攝像機(jī)的安裝應(yīng)該遵循兩個(gè)攝像機(jī)的光心處于同一水平面并且兩 個(gè)光軸與兩光心連線形成一個(gè)等腰三角形；步驟三、建立C⑶攝像機(jī)幾何模型，包括世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的變換、理 想透視投影變換、歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型、歸一化虛平面圖像 坐標(biāo)系畸變點(diǎn)坐標(biāo)到計(jì)算機(jī)圖像坐標(biāo)系的轉(zhuǎn)換，最后獲得從世界坐標(biāo)系到計(jì)算機(jī)圖像坐標(biāo) 系的映射關(guān)系方程；步驟四、CCD攝像機(jī)參數(shù)標(biāo)定，包括內(nèi)部參數(shù)和外部參數(shù)，采用分步標(biāo)定方法，先標(biāo) 定圖像的縱橫比和主點(diǎn)坐標(biāo)，再利用徑向平行約束，求解大部分的外部參數(shù)，最后再引入畸 變模型，線性求解內(nèi)部參數(shù)和平移量；步驟五、圖像采集，兩個(gè)雙目視覺(jué)子系統(tǒng)分別隨著堆取料機(jī)的行走在線采集料堆 及料場(chǎng)圖像；每一個(gè)雙目視覺(jué)子系統(tǒng)在每一個(gè)采樣時(shí)刻能夠通過(guò)其中的兩個(gè)CCD攝像機(jī)同 時(shí)采集兩幅圖像，在前端信號(hào)處理器中保存圖像序列，并將該兩幅圖像經(jīng)過(guò)預(yù)處理后，同時(shí) 接受由遠(yuǎn)程控制程序控制指令要求堆取料機(jī)上的前端信號(hào)處理器向上位服務(wù)器傳送數(shù)字 圖像；服務(wù)器在每一個(gè)采樣時(shí)刻能夠同時(shí)接收到四幅圖像，包括來(lái)自第一、第二雙目視覺(jué)子 系統(tǒng)的各兩幅圖像，每?jī)煞鶊D像又分左、右兩幅圖像，在整個(gè)采樣期間，所有采集到的圖像 分別形成第一、第二雙目視覺(jué)子系統(tǒng)的兩組左右視圖對(duì)序列；步驟六、圖像處理，消除圖像畸變，由計(jì)算機(jī)圖像坐標(biāo)系像素點(diǎn)坐標(biāo)(u，ν)通過(guò)歸 一化虛平面圖像坐標(biāo)系畸變點(diǎn)坐標(biāo)到計(jì)算機(jī)圖像坐標(biāo)系的轉(zhuǎn)換方程計(jì)算求取對(duì)應(yīng)點(diǎn)(U，V) 在歸一化虛平面圖像坐標(biāo)系畸變點(diǎn)坐標(biāo)(Xd，yd)，再將(Xd，yd)的值輸至代入歸一化虛平面 圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型進(jìn)行求逆運(yùn)算，因此求得矯正畸變后的歸一化虛平面 圖像坐標(biāo)系理想點(diǎn)坐標(biāo)(xu，yu)，再由理想點(diǎn)坐標(biāo)(xu，yu)替代(xd，yd)的值代入歸一化虛 平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型求出對(duì)應(yīng)點(diǎn)(u，ν)新的坐標(biāo)值，即新的像素點(diǎn)位 置；計(jì)算機(jī)圖像坐標(biāo)系中的所有像素點(diǎn)坐標(biāo)(u，ν)逐一經(jīng)過(guò)上述計(jì)算過(guò)程后，就能夠獲得 像素點(diǎn)在畫(huà)面上的理想排列，即真實(shí)景物圖像的恢復(fù)，或者說(shuō)，獲得一幅反映真實(shí)景物的理 想圖像；步驟七、角點(diǎn)的尋找與匹配，在采樣圖像中尋找若干個(gè)角點(diǎn)作為代表最具特征的 邊緣點(diǎn)，采用基于圖像灰度的角點(diǎn)檢測(cè)算法，主要通過(guò)計(jì)算曲率及梯度來(lái)達(dá)到檢測(cè)角點(diǎn)的 目的；針對(duì)已經(jīng)尋找出來(lái)的角點(diǎn)在外極線約束的指導(dǎo)下在左、右視圖中尋找與之最為匹配 的點(diǎn)；實(shí)際操作過(guò)程需要從左、右視圖的數(shù)字圖像中取得足夠多的立體角點(diǎn)；步驟八、物點(diǎn)三維坐標(biāo)值的確定，在左、右視圖中相互匹配的角點(diǎn)坐標(biāo)(Ul，V1), (ur, Vr)通過(guò)從世界坐標(biāo)系到計(jì)算機(jī)圖像坐標(biāo)系的映射關(guān)系方程能夠轉(zhuǎn)換為對(duì)應(yīng)的世界坐 標(biāo)(XW1，YW1，Zwl)和(Xft，Yft，Zft)，采用求取兩條直線公垂線中值的方法最后獲得物點(diǎn)空間坐 標(biāo)的最優(yōu)近似；步驟九、在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，對(duì)圖像在全黑背景之上顯 示的有限個(gè)離散像素點(diǎn)，必須在相鄰離散點(diǎn)之間采用貝賽爾曲面插值算法進(jìn)行插值以形成 一個(gè)接近實(shí)際的連續(xù)高度圖；這個(gè)高度圖作為圖像處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場(chǎng) 的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)；步驟十、體積測(cè)量，首先，定義“空地”，即未堆料的地面高度，從頭至尾尋找空地，根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場(chǎng)劃分為幾個(gè)料堆，并排除很小的起伏造成的偽料 堆和雜訊，得到每一個(gè)料堆的起始和終止的位置；其次，從料場(chǎng)高度圖中截取出料堆高度個(gè) 圖；令高度圖中某一個(gè)像素的灰度值所代表的實(shí)際高度為該處料堆的體積可以看成由 有限個(gè)高度為h”底面積為δ i的微長(zhǎng)方體累加而成(i為參與計(jì)算的像素點(diǎn)，i = 1，2，K， η, η為參與計(jì)算的像素點(diǎn)總數(shù))，因此，所有幾何不規(guī)則的料堆體積V均可按照如下公式計(jì)
算 7 = 1>Α。
/=1所述的構(gòu)建料場(chǎng)視覺(jué)測(cè)量系統(tǒng)中每個(gè)雙目視覺(jué)子系統(tǒng)，包括兩個(gè)CCD攝像機(jī)、圖 像采集卡、前端信號(hào)處理器、兩個(gè)光電轉(zhuǎn)換器和光纖；左、右CCD攝像機(jī)在采樣時(shí)刻將所采 集到的左、右視圖并行輸入至圖像采集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號(hào)并 輸至前端信號(hào)處理器；前端信號(hào)處理器對(duì)數(shù)字圖像進(jìn)行去除噪聲和強(qiáng)化預(yù)處理；經(jīng)過(guò)預(yù)處 理后的數(shù)字圖像信號(hào)經(jīng)第一個(gè)光電轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)?第二個(gè)光電轉(zhuǎn)換器；第二個(gè)光電轉(zhuǎn)換器再將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)，最后，電信號(hào)通過(guò)服 務(wù)器的輸入接口輸入至服務(wù)器的圖像信息處理模塊；第一、第二雙目視覺(jué)子系統(tǒng)分別將各 自采集到的左、右視圖模擬信號(hào)并行輸至本子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模 擬信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)并輸至前端信號(hào)處理器，前端信號(hào)處理器對(duì)數(shù)字圖像進(jìn)行去除 噪聲和強(qiáng)化預(yù)處理，經(jīng)過(guò)預(yù)處理后的數(shù)字圖像信號(hào)經(jīng)第一個(gè)光電轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光 信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)降诙€(gè)光電轉(zhuǎn)換器，第二個(gè)光電轉(zhuǎn)換器再將圖像光信號(hào)轉(zhuǎn)換 成電信號(hào)，最后，電信號(hào)通過(guò)服務(wù)器的第一輸入接口輸入至服務(wù)器的圖像信息處理模塊，服 務(wù)器將數(shù)字圖像信號(hào)進(jìn)行處理和運(yùn)算后輸出最終對(duì)圖像信息的識(shí)別、理解和測(cè)量結(jié)果。所述的CXD攝像機(jī)參數(shù)標(biāo)定，具體如下CXD攝像機(jī)需要標(biāo)定的外部參數(shù)包括R和t，即
rIrIr3
[I^ t]=r4rSr6Jl,8r9共12個(gè)，但因R為單位正交矩陣，必須滿足6個(gè)正交約束，故實(shí)際上只有6個(gè)外部 參數(shù)需要標(biāo)定；內(nèi)部參數(shù)包括f、‘ Sx和cx、Cy，共5個(gè)；首先確定圖像的縱橫比，垂直拍攝一個(gè)圓環(huán)，然后計(jì)算其在水平方向和垂直方向 上的像素直徑比即為縱橫比Sx ；其次用相機(jī)的不同焦距拍攝同一景物，然后計(jì)算其縮放中心得到主點(diǎn)坐標(biāo)(cx， cy)；最后通過(guò)設(shè)定過(guò)渡參數(shù)求解R和tx、ty，然后根據(jù)R的正交性計(jì)算得到有效焦距f、 徑向畸變系數(shù)h和平移量tz。所述在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，具體如下對(duì)圖像在全黑背景之上顯示足夠多的離散像素點(diǎn)，如1400個(gè)，在相鄰離散點(diǎn)之間 采用貝賽爾曲面插值算法進(jìn)行插值以形成一個(gè)接近實(shí)際的連續(xù)高度圖，該高度圖作為圖像 處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場(chǎng)的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫(kù)的數(shù) 據(jù)存儲(chǔ)，高度圖是一個(gè)平面灰度圖像，水平方向和世界坐標(biāo)系的χ軸方向一致，豎直方向和
7Z軸方向一致，某個(gè)點(diǎn)的像素灰度(0 255)和該點(diǎn)的高度(Y分量)成正比，將最低點(diǎn)0米 對(duì)應(yīng)于0(全黑)，最高點(diǎn)16米作為255 (全白)，中間的高度對(duì)應(yīng)于相應(yīng)的灰色；每一個(gè)像素代表一個(gè)面積，對(duì)應(yīng)整幅圖像就代表著一個(gè)特定長(zhǎng)X寬的原料場(chǎng)， 如像素代表0. 5X0. 5m2，一個(gè)1440X96pixel的圖像就代表720mX48m的一個(gè)完整料場(chǎng)， 其中的任何一點(diǎn)對(duì)應(yīng)著相應(yīng)的位置高度；數(shù)字圖像以BMP格式進(jìn)行存放以供下一步的分析，以及用于數(shù)據(jù)庫(kù)管理系統(tǒng)的信 息交互。所述體積測(cè)量，具體如下①定義高度低于0. 5米的被定義為“空地”，即未堆料；首先從頭至尾尋找空地， 根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場(chǎng)劃分為幾個(gè)料堆，同時(shí)排除很小的起伏造成的偽 料堆和雜訊，得到每一個(gè)料堆的起始和終止的位置；②從料場(chǎng)高度圖中截取出包含要求計(jì)算料堆的矩形個(gè)圖，令高度圖中某一個(gè)像素 的灰度值所代表的實(shí)際高度為Iii、底面積為δρ 為參與計(jì)算的像素點(diǎn)，i = l，2，K，n，n為
參與計(jì)算的像素點(diǎn)總數(shù)，因此，所有幾何不規(guī)則的料堆體積V均可按照公式K = 計(jì)算，
/=1
η
當(dāng)δ i = const = 0. 25m2時(shí)，還可以直接表達(dá)為廠=0.25’
(=1當(dāng)定義0. 5m以下為“空地”時(shí)，以包含料堆的矩形底面區(qū)域進(jìn)行體積運(yùn)算，公式還
可以表達(dá)為義=《…ΥΣΚ-0.5πι^η，式中，hkl為第k列、第1行的像素點(diǎn)對(duì)應(yīng)高度，k
L ι k_
=1,2, K, η, η為像素總列數(shù)，1 = 1，2，K，m，m為像素總行數(shù)，dx、dy分別為像素點(diǎn)行向與 列向的間隔所對(duì)應(yīng)的實(shí)際距離，單位為m。本發(fā)明的視覺(jué)測(cè)量方法采用料場(chǎng)網(wǎng)格高度圖的方法建立料堆體積
計(jì)算公式κ= 《Α，并在定義“空地”的條件下，將運(yùn)算進(jìn)一步簡(jiǎn)潔表達(dá)為 /=1
m η
V 二 dxdy YYjHkl-OSmxn實(shí)現(xiàn)料堆和料場(chǎng)體積的精確計(jì)算；自動(dòng)消除了廣角鏡頭引起
I k_
的圖像畸變，能對(duì)左、右視圖自動(dòng)進(jìn)行角點(diǎn)的精確匹配，利用圖像數(shù)據(jù)變換關(guān)系自動(dòng)生成物 點(diǎn)的三維空間坐標(biāo)，優(yōu)化立體角點(diǎn)分布、構(gòu)建世界坐標(biāo)系高度圖，使得幾何不規(guī)則料堆也能 簡(jiǎn)捷、直觀地實(shí)現(xiàn)其體積的精確計(jì)算。


圖1為攝像機(jī)幾何模型圖；圖2為外極幾何圖；圖3為雙目視覺(jué)系統(tǒng)中左、右CXD攝像頭水平安裝圖；圖4為左、右CXD攝像機(jī)在堆、取料機(jī)上的工作狀態(tài)圖。圖中11第一左C⑶攝像機(jī)、12第一右C⑶攝像機(jī)、21第二左C⑶攝像機(jī)、22第二 右CXD攝像機(jī)。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明本實(shí)施例在以本發(fā)明技術(shù)方案為前 提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下 述的實(shí)施例。如圖1所示，實(shí)施例中采用的攝像機(jī)幾何模型①計(jì)算機(jī)圖像坐標(biāo)系OuvUV 原點(diǎn)Ouv位于CXD圖像平面的左上角，u和ν分別表示 像素位于數(shù)組的列數(shù)和行數(shù)，單位為Pixel (像素)。②物理圖像坐標(biāo)系oxy 原點(diǎn)(即主點(diǎn)ο)定義在攝像機(jī)光軸與物理圖像平面的交 點(diǎn)，X、y軸分別與U、ν軸平行。pu(xu，yu)表示針孔模型下P點(diǎn)的理想圖像坐標(biāo)，pd(xd, yd) 是由透鏡徑向畸變引起的偏離Pu(xu，yu)的實(shí)際圖像坐標(biāo)。③攝像機(jī)坐標(biāo)系0。X。y。z。原點(diǎn)O。定義在攝像機(jī)的光心，x。、yc軸分別平行于x、y 軸，zc軸與光軸重合。o。o為攝像機(jī)的有效焦距f，(χ。，yc, zc)表示物點(diǎn)P在攝像機(jī)坐標(biāo)系 下的三維坐標(biāo)。④世界坐標(biāo)系OwXwYwZw 根據(jù)具體環(huán)境來(lái)定，(Xw，Yff, Zff)表示物點(diǎn)P在世界坐標(biāo)系 下的三維坐標(biāo)。如圖2所示，所述的外極幾何約束，即針對(duì)雙目視覺(jué)系統(tǒng)從兩個(gè)角度觀測(cè)同一個(gè) 點(diǎn)，尋求兩個(gè)成像點(diǎn)之間的外極線約束的相關(guān)幾何學(xué)問(wèn)題，被稱為外極幾何。圖中，左、右攝 像機(jī)交叉擺放，P為左攝像機(jī)和右攝像機(jī)觀測(cè)的同一個(gè)三維點(diǎn)，OpOr分別為左、右攝像機(jī)的 光心；P點(diǎn)在左、右攝像機(jī)的歸一化虛成像平面上的成像點(diǎn)分別Sp1 [X1 Y1yr 1]T Wp^分別為左、右像面上的外極中心，對(duì)于共同觀測(cè)點(diǎn)P的左、右兩條外極線分別通過(guò) 點(diǎn) P” ex 禾口 Pr、er。本實(shí)施例包括如下具體步驟步驟一、構(gòu)建料場(chǎng)視覺(jué)測(cè)量系統(tǒng)由第一雙目視覺(jué)子系統(tǒng)、第二雙目視覺(jué)子系統(tǒng)和服務(wù)器三部分組成料場(chǎng)視覺(jué)測(cè)量 系統(tǒng)。每個(gè)雙目視覺(jué)子系統(tǒng)，包括兩個(gè)CCD攝像機(jī)、圖像采集卡、前端信號(hào)處理器、兩個(gè)光 電轉(zhuǎn)換器和光纖。左、右CCD攝像機(jī)在采樣時(shí)刻將所采集到的左、右視圖并行輸入至圖像采 集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號(hào)并輸至前端信號(hào)處理器；前端信號(hào)處理 器對(duì)數(shù)字圖像進(jìn)行去除噪聲和強(qiáng)化等預(yù)處理；經(jīng)過(guò)預(yù)處理后的數(shù)字圖像信號(hào)經(jīng)第一個(gè)光電 轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)降诙€(gè)光電轉(zhuǎn)換器；第二個(gè)光電轉(zhuǎn) 換器再將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)，最后，電信號(hào)通過(guò)服務(wù)器的輸入接口輸入至服務(wù)器的 圖像信息處理模塊。第一、第二雙目視覺(jué)子系統(tǒng)分別將各自采集到的左、右視圖模擬信號(hào)并行輸至本 子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模擬信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)并輸至前端信號(hào) 處理器，前端信號(hào)處理器對(duì)數(shù)字圖像進(jìn)行去除噪聲和強(qiáng)化等預(yù)處理，經(jīng)過(guò)預(yù)處理后的數(shù)字 圖像信號(hào)經(jīng)第一個(gè)光電轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)降诙€(gè)光電 轉(zhuǎn)換器，第二個(gè)光電轉(zhuǎn)換器再將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)，最后，電信號(hào)通過(guò)服務(wù)器的第一 輸入接口輸入至服務(wù)器的圖像信息處理模塊，服務(wù)器將數(shù)字圖像信號(hào)進(jìn)行處理和運(yùn)算后輸 出最終對(duì)圖像信息的識(shí)別、理解和測(cè)量結(jié)果。 步驟二、安裝雙目視覺(jué)子系統(tǒng)
如圖3所示，第一雙目視覺(jué)子系統(tǒng)安裝于堆料機(jī)靠近料堆一側(cè)機(jī)架上，第二雙目 視覺(jué)子系統(tǒng)安裝于取料機(jī)靠近料堆一側(cè)機(jī)架上，第一和第二雙目視覺(jué)子系統(tǒng)中的兩個(gè)CCD 攝像機(jī)的安裝應(yīng)該遵循兩個(gè)攝像機(jī)的光心處于同一水平面原則和兩個(gè)光軸與兩光心連線 形成一個(gè)等腰三角形原則。如圖4所示，第一雙目視覺(jué)子系統(tǒng)中的左、右CXD攝像機(jī)11、12安裝在堆料機(jī)上， 兩者之間的幾何關(guān)系確定方法如下①第一左CXD攝像機(jī)11與第一右CXD攝像機(jī)12之間的水平間距，即兩者的攝像 機(jī)坐標(biāo)系原點(diǎn)之間距離根據(jù)堆料機(jī)平臺(tái)最大可延伸寬度大約在20m左右，因此可以確定 兩個(gè)鏡頭水平間距為20m。②鏡頭垂直方向角根據(jù)料堆為16m高、像頭的垂直位置離料腳的縱向距離約為 4m、料堆的安息角為26°、堆料機(jī)的固定平臺(tái)最高可利用高度約為6m，鏡頭只能安裝于6m 高度的平臺(tái)上，垂直視場(chǎng)的上邊緣線與料場(chǎng)斜坡面平行，垂直視場(chǎng)的下邊緣線與料場(chǎng)底線 的交點(diǎn)距離鏡頭垂直點(diǎn)大約在2. 926m左右，因此可以預(yù)算出鏡頭的下俯視角為19°。③鏡頭水平方向角度按照立體視覺(jué)的一般規(guī)律，雙目視覺(jué)器中的兩個(gè)攝像機(jī)和 所測(cè)量的物點(diǎn)應(yīng)該組成一個(gè)等腰三角形的原則，根據(jù)上述水平間距和鏡頭垂直方向角，堆 料機(jī)上鏡頭水平方向角度為32°。第二雙目視覺(jué)子系統(tǒng)中的左、右CXD攝像機(jī)21、22安裝在取料機(jī)上，兩者之間的幾 何關(guān)系確定方法如下①第二左CXD攝像機(jī)21與第二右CXD攝像機(jī)22之間的水平間距，即兩者的攝像 機(jī)坐標(biāo)系原點(diǎn)之間距離根據(jù)取料機(jī)平臺(tái)最大可延伸寬度大約在IOm左右，受其所限，只能 確定兩個(gè)鏡頭水平間距為10m。②鏡頭垂直方向角與堆料機(jī)上的一樣。③鏡頭水平方向角度按照立體視覺(jué)的一般規(guī)律，雙目視覺(jué)器中的兩個(gè)攝像機(jī)和 所測(cè)量的物點(diǎn)應(yīng)該組成一個(gè)等腰三角形的原則，根據(jù)上述水平間距和鏡頭垂直方向角，取 取料機(jī)上鏡頭水平方向角度為17.35°。 步驟三、建立CXD攝像機(jī)幾何模型全部幾何模型包括1)世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的變換，用旋轉(zhuǎn)矩陣R和平移向量t來(lái)描述

權(quán)利要求
一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法，其特征是，包括以下步驟步驟一、構(gòu)建料場(chǎng)視覺(jué)測(cè)量系統(tǒng)，由第一雙目視覺(jué)子系統(tǒng)、第二雙目視覺(jué)子系統(tǒng)和服務(wù)器三部分組成，服務(wù)器的圖像信息處理模塊接收第一雙目視覺(jué)子系統(tǒng)、第二雙目視覺(jué)子系統(tǒng)的信號(hào)后進(jìn)行處理和運(yùn)算后輸出最終對(duì)圖像信息的識(shí)別、理解和測(cè)量結(jié)果；步驟二、安裝雙目視覺(jué)子系統(tǒng)，將第一雙目視覺(jué)子系統(tǒng)安裝于堆料機(jī)靠近料堆一側(cè)機(jī)架上，將第二雙目視覺(jué)子系統(tǒng)安裝于取料機(jī)靠近料堆一側(cè)機(jī)架上，第一和第二雙目視覺(jué)子系統(tǒng)中的兩個(gè)CCD攝像機(jī)的安裝應(yīng)該遵循兩個(gè)攝像機(jī)的光心處于同一水平面并且兩個(gè)光軸與兩光心連線形成一個(gè)等腰三角形；步驟三、建立CCD攝像機(jī)幾何模型，包括世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的變換、理想透視投影變換、歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型、歸一化虛平面圖像坐標(biāo)系畸變點(diǎn)坐標(biāo)到計(jì)算機(jī)圖像坐標(biāo)系的轉(zhuǎn)換，最后獲得從世界坐標(biāo)系到計(jì)算機(jī)圖像坐標(biāo)系的映射關(guān)系方程；步驟四、CCD攝像機(jī)參數(shù)標(biāo)定，包括內(nèi)部參數(shù)和外部參數(shù)，采用分步標(biāo)定方法，先標(biāo)定圖像的縱橫比和主點(diǎn)坐標(biāo)，再利用徑向平行約束，求解大部分的外部參數(shù)，最后再引入畸變模型，線性求解內(nèi)部參數(shù)和平移量；步驟五、圖像采集，兩個(gè)雙目視覺(jué)子系統(tǒng)分別隨著堆取料機(jī)的行走在線采集料堆及料場(chǎng)圖像；每一個(gè)雙目視覺(jué)子系統(tǒng)在每一個(gè)采樣時(shí)刻能夠通過(guò)其中的兩個(gè)CCD攝像機(jī)同時(shí)采集兩幅圖像，在前端信號(hào)處理器中保存圖像序列，并將該兩幅圖像經(jīng)過(guò)預(yù)處理后，同時(shí)接受由遠(yuǎn)程控制程序控制指令要求堆取料機(jī)上的前端信號(hào)處理器向上位服務(wù)器傳送數(shù)字圖像；服務(wù)器在每一個(gè)采樣時(shí)刻能夠同時(shí)接收到四幅圖像，包括來(lái)自第一、第二雙目視覺(jué)子系統(tǒng)的各兩幅圖像，每?jī)煞鶊D像又分左、右兩幅圖像，在整個(gè)采樣期間，所有采集到的圖像分別形成第一、第二雙目視覺(jué)子系統(tǒng)的兩組左右視圖對(duì)序列；步驟六、圖像處理，消除圖像畸變，由計(jì)算機(jī)圖像坐標(biāo)系像素點(diǎn)坐標(biāo)(u，v)通過(guò)歸一化虛平面圖像坐標(biāo)系畸變點(diǎn)坐標(biāo)到計(jì)算機(jī)圖像坐標(biāo)系的轉(zhuǎn)換方程計(jì)算求取對(duì)應(yīng)點(diǎn)(u，v)在歸一化虛平面圖像坐標(biāo)系畸變點(diǎn)坐標(biāo)(xd，yd)，再將(xd，yd)的值輸至代入歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型進(jìn)行求逆運(yùn)算，因此求得矯正畸變后的歸一化虛平面圖像坐標(biāo)系理想點(diǎn)坐標(biāo)(xu，yu)，再由理想點(diǎn)坐標(biāo)(xu，yu)替代(xd，yd)的值代入歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型求出對(duì)應(yīng)點(diǎn)(u，v)新的坐標(biāo)值，即新的像素點(diǎn)位置；計(jì)算機(jī)圖像坐標(biāo)系中的所有像素點(diǎn)坐標(biāo)(u，v)逐一經(jīng)過(guò)上述計(jì)算過(guò)程后，就能夠獲得像素點(diǎn)在畫(huà)面上的理想排列，即真實(shí)景物圖像的恢復(fù)，或者說(shuō)，獲得一幅反映真實(shí)景物的理想圖像；步驟七、角點(diǎn)的尋找與匹配，在采樣圖像中尋找若干個(gè)角點(diǎn)作為代表最具特征的邊緣點(diǎn)，采用基于圖像灰度的角點(diǎn)檢測(cè)算法，主要通過(guò)計(jì)算曲率及梯度來(lái)達(dá)到檢測(cè)角點(diǎn)的目的；針對(duì)已經(jīng)尋找出來(lái)的角點(diǎn)在外極線約束的指導(dǎo)下在左、右視圖中尋找與之最為匹配的點(diǎn)；實(shí)際操作過(guò)程需要從左、右視圖的數(shù)字圖像中取得足夠多的立體角點(diǎn)；步驟八、物點(diǎn)三維坐標(biāo)值的確定，在左、右視圖中相互匹配的角點(diǎn)坐標(biāo)(ul，vl)、(ur，vr)通過(guò)從世界坐標(biāo)系到計(jì)算機(jī)圖像坐標(biāo)系的映射關(guān)系方程能夠轉(zhuǎn)換為對(duì)應(yīng)的世界坐標(biāo)(XWl，YWl，ZWl)和(XWr，YWr，ZWr)，采用求取兩條直線公垂線中值的方法最后獲得物點(diǎn)空間坐標(biāo)的最優(yōu)近似；步驟九、在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，對(duì)圖像在全黑背景之上顯示的有限個(gè)離散像素點(diǎn)，必須在相鄰離散點(diǎn)之間采用貝賽爾曲面插值算法進(jìn)行插值以形成一個(gè)接近實(shí)際的連續(xù)高度圖；這個(gè)高度圖作為圖像處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場(chǎng)的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)；步驟十、體積測(cè)量，首先，定義“空地”，即未堆料的地面高度，從頭至尾尋找空地，根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場(chǎng)劃分為幾個(gè)料堆，并排除很小的起伏造成的偽料堆和雜訊，得到每一個(gè)料堆的起始和終止的位置；其次，從料場(chǎng)高度圖中截取出料堆高度個(gè)圖；令高度圖中某一個(gè)像素的灰度值所代表的實(shí)際高度為hi，該處料堆的體積可以看成由有限個(gè)高度為hi、底面積為δi的微長(zhǎng)方體累加而成(i為參與計(jì)算的像素點(diǎn)，i＝1，2，K，n，n為參與計(jì)算的像素點(diǎn)總數(shù))，因此，所有幾何不規(guī)則的料堆體積V均可按照如下公式計(jì)算F2009100541302C0000021.tif
2.根據(jù)權(quán)利要求1所述的大型料場(chǎng)料堆視覺(jué)測(cè)量方法，其特征是，所述的構(gòu)建料場(chǎng)視 覺(jué)測(cè)量系統(tǒng)中每個(gè)雙目視覺(jué)子系統(tǒng)，包括兩個(gè)CCD攝像機(jī)、圖像采集卡、前端信號(hào)處理器、 兩個(gè)光電轉(zhuǎn)換器和光纖；左、右CCD攝像機(jī)在采樣時(shí)刻將所采集到的左、右視圖并行輸入至 圖像采集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號(hào)并輸至前端信號(hào)處理器；前端信 號(hào)處理器對(duì)數(shù)字圖像進(jìn)行去除噪聲和強(qiáng)化預(yù)處理；經(jīng)過(guò)預(yù)處理后的數(shù)字圖像信號(hào)經(jīng)第一個(gè) 光電轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)降诙€(gè)光電轉(zhuǎn)換器；第二個(gè)光 電轉(zhuǎn)換器再將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)，最后，電信號(hào)通過(guò)服務(wù)器的輸入接口輸入至服務(wù) 器的圖像信息處理模塊；第一、第二雙目視覺(jué)子系統(tǒng)分別將各自采集到的左、右視圖模擬信 號(hào)并行輸至本子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模擬信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)并 輸至前端信號(hào)處理器，前端信號(hào)處理器對(duì)數(shù)字圖像進(jìn)行去除噪聲和強(qiáng)化預(yù)處理，經(jīng)過(guò)預(yù)處 理后的數(shù)字圖像信號(hào)經(jīng)第一個(gè)光電轉(zhuǎn)換器將電信號(hào)轉(zhuǎn)換成光信號(hào)，光信號(hào)通過(guò)光纖傳輸?shù)?第二個(gè)光電轉(zhuǎn)換器，第二個(gè)光電轉(zhuǎn)換器再將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)，最后，電信號(hào)通過(guò)服 務(wù)器的第一輸入接口輸入至服務(wù)器的圖像信息處理模塊，服務(wù)器將數(shù)字圖像信號(hào)進(jìn)行處理 和運(yùn)算后輸出最終對(duì)圖像信息的識(shí)別、理解和測(cè)量結(jié)果。
3.根據(jù)權(quán)利要求1所述的大型料場(chǎng)料堆視覺(jué)測(cè)量方法，其特征是，所述的CCD攝像機(jī)參 數(shù)標(biāo)定，具體如下CXD攝像機(jī)需要標(biāo)定的外部參數(shù)包括R和t，即rI rI r3 K[R t]= r4 r5 r6 ty Jl "8 ,9 tz _共12個(gè)，但因R為單位正交矩陣，必須滿足6個(gè)正交約束，故實(shí)際上只有6個(gè)外部參數(shù) 需要標(biāo)定；內(nèi)部參數(shù)包括f、kp sx和cx、cy，共5個(gè)；首先確定圖像的縱橫比，垂直拍攝一個(gè)圓環(huán)，然后計(jì)算其在水平方向和垂直方向上的 像素直徑比即為縱橫比sx;其次用相機(jī)的不同焦距拍攝同一景物，然后計(jì)算其縮放中心得到主點(diǎn)坐標(biāo)(cx，cy)；最后通過(guò)設(shè)定過(guò)渡參數(shù)求解R和tx、ty，然后根據(jù)R的正交性計(jì)算得到有效焦距f、徑向畸變系數(shù)&和平移量tz。
4.根據(jù)權(quán)利要求1 3中任意一權(quán)利要求所述的大型料場(chǎng)料堆視覺(jué)測(cè)量方法，其特征 是，所述在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，具體如下對(duì)圖像在全黑背景之上顯示足夠多的離散像素點(diǎn)，如1400個(gè)，在相鄰離散點(diǎn)之間采用 貝賽爾曲面插值算法進(jìn)行插值以形成一個(gè)接近實(shí)際的連續(xù)高度圖，該高度圖作為圖像處理 系統(tǒng)的主要結(jié)果，包含了關(guān)于料場(chǎng)的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫(kù)的數(shù)據(jù)存 儲(chǔ)，高度圖是一個(gè)平面灰度圖像，水平方向和世界坐標(biāo)系的X軸方向一致，豎直方向和Z軸 方向一致，某個(gè)點(diǎn)的像素灰度(0 255)和該點(diǎn)的高度(Y分量)成正比，將最低點(diǎn)0米對(duì) 應(yīng)于0(全黑)，最高點(diǎn)16米作為255 (全白)，中間的高度對(duì)應(yīng)于相應(yīng)的灰色；每一個(gè)像素代表一個(gè)面積，對(duì)應(yīng)整幅圖像就代表著一個(gè)特定長(zhǎng)X寬的原料場(chǎng)，如像 素代表0. 5X0. 5m2，一個(gè)1440X96pixel的圖像就代表720mX48m的一個(gè)完整料場(chǎng)，其中的 任何一點(diǎn)對(duì)應(yīng)著相應(yīng)的位置高度；數(shù)字圖像以BMP格式進(jìn)行存放以供下一步的分析，以及用于數(shù)據(jù)庫(kù)管理系統(tǒng)的信息交互。
5.根據(jù)權(quán)利要求1 3中任意一權(quán)利要求所述的大型料場(chǎng)料堆視覺(jué)測(cè)量方法，其特征 是，所述體積測(cè)量，具體如下①定義高度低于0.5米的被定義為“空地”，即未堆料；首先從頭至尾尋找空地，根據(jù) 空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場(chǎng)劃分為幾個(gè)料堆，同時(shí)排除很小的起伏造成的偽料堆 和雜訊，得到每一個(gè)料堆的起始和終止的位置；②從料場(chǎng)高度圖中截取出包含要求計(jì)算料堆的矩形個(gè)圖，令高度圖中某一個(gè)像素的灰 度值所代表的實(shí)際高度為hp底面積為δ” i為參與計(jì)算的像素點(diǎn)，i = 1，2，K，η，η為參與計(jì)算的像素點(diǎn)總數(shù)，因此，所有幾何不規(guī)則的料堆體積ν均可按照公式
全文摘要
本發(fā)明涉及的是一種非接觸測(cè)量方法，具體是一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法。一種大型料場(chǎng)料堆視覺(jué)測(cè)量方法，包括以下步驟1)構(gòu)建料場(chǎng)視覺(jué)測(cè)量系統(tǒng)，2)安裝雙目視覺(jué)子系統(tǒng)，3)建立CCD攝像機(jī)幾何模型，4)CCD攝像機(jī)參數(shù)標(biāo)定，5)圖像采集，6)圖像處理，7)角點(diǎn)的尋找與匹配，8)物點(diǎn)三維坐標(biāo)值的確定，9)在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，10)體積測(cè)量。本發(fā)明的視覺(jué)測(cè)量方法自動(dòng)消除了廣角鏡頭引起的圖像畸變，能對(duì)左、右視圖自動(dòng)進(jìn)行角點(diǎn)的精確匹配，利用圖像數(shù)據(jù)變換關(guān)系自動(dòng)生成物點(diǎn)的三維空間坐標(biāo)，優(yōu)化立體角點(diǎn)分布、構(gòu)建世界坐標(biāo)系高度圖，使得幾何不規(guī)則料堆也能簡(jiǎn)捷、直觀地實(shí)現(xiàn)其體積的精確計(jì)算。
文檔編號(hào)G01F22/00GK101936761SQ200910054130
公開(kāi)日2011年1月5日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2009年6月30日
發(fā)明者華逸倫, 姜偉忠, 應(yīng)俊豪, 張文鋼, 張秀彬, 李俊峰, 楊迪, 陳小雨, 韓明明, 高翔 申請(qǐng)人:寶山鋼鐵股份有限公司;上海交通大學(xué)