一種基于直線擬合的集裝箱輪廓定位方法
【專利摘要】本發(fā)明涉及一種基于直線擬合的集裝箱輪廓識(shí)別方法，它用安裝在吊具上的攝像頭采集下方集裝箱相對(duì)兩側(cè)的圖像，利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定位區(qū)域，并采用圖割算法分離前景與背景，得到上下鎖孔的二值化輪廓圖像，二值化輪廓圖像設(shè)置兩個(gè)矩形區(qū)域等步驟，最后利用基于雙目視覺(jué)技術(shù)將C1,C2,C3,C4點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為以吊具為參照物建立的坐標(biāo)系下的世界坐標(biāo)，然后將這四個(gè)世界坐標(biāo)點(diǎn)按逆時(shí)針或順時(shí)針排序，四個(gè)點(diǎn)構(gòu)成一個(gè)四邊形即為集裝箱輪廓，由此實(shí)現(xiàn)集裝箱輪廓的定位。本發(fā)明通過(guò)采用上述技術(shù)，有效地解決鎖孔圖像在邊緣提取存在干擾點(diǎn)、Hough直線效果不佳等不足。
【專利說(shuō)明】
一種基于直線擬合的集裝箱輪廓定位方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)和圖像處理技術(shù)領(lǐng)域，具體涉及一種基于直線擬合的 集裝箱輪廓定位方法。
【背景技術(shù)】
[0002] 隨著集裝箱運(yùn)輸?shù)陌l(fā)展，使得集裝箱船舶越來(lái)越大，貨物集裝箱化的比例不斷提 高，集裝箱運(yùn)量不斷上升。從航次經(jīng)濟(jì)核算分析，通過(guò)縮短集裝箱船舶的停泊時(shí)間可以降低 停泊成本，提高集裝箱運(yùn)輸船舶的航行效率并充分發(fā)揮船舶單位運(yùn)輸成本的優(yōu)勢(shì)，提高經(jīng) 濟(jì)效益。傳統(tǒng)的手動(dòng)控制抓取集裝箱已經(jīng)極大地影響了生產(chǎn)效率和裝卸速度。一臺(tái)橋吊把 集裝箱從貨輪裝到拖車上，過(guò)程要求操作精度高，勞動(dòng)強(qiáng)度大，是比較耗時(shí)的一個(gè)環(huán)節(jié)，其 中，在橋吊司機(jī)將抓具對(duì)準(zhǔn)集裝箱鎖孔這一環(huán)節(jié)花費(fèi)的時(shí)間占主要部分。提高裝卸自動(dòng)化 的程度是提高集裝箱效率的有效途徑，其關(guān)鍵內(nèi)容就是減少橋吊司機(jī)對(duì)集裝箱鎖孔的定位 時(shí)間并且提升定位的準(zhǔn)確性。
[0003] 為了解決集裝箱鎖孔定位的問(wèn)題，國(guó)內(nèi)外學(xué)術(shù)界、工業(yè)界提出了很多方案，其中與 本發(fā)明較為接近的技術(shù)方案包括:梁曉波，程文明（基于雙目視覺(jué)的集裝箱自動(dòng)識(shí)別定位系 統(tǒng)的設(shè)計(jì)[J].西南交通大學(xué)，2015)使用安裝在集裝箱吊具上的高清相機(jī)采集下方集裝箱 鎖孔的圖像，然后識(shí)別圖像中吊孔的位置。這種方法存在的問(wèn)題是相機(jī)需要調(diào)整到相對(duì)理 想的位置才能拍攝到清晰的鎖孔圖像，比較耗時(shí)，同時(shí)由于吊具鎖頭的制造偏差以及磨損， 近似橢圓形的吊孔坐標(biāo)并不能很好地和鎖頭坐標(biāo)重合。陳丹(集裝箱圖像識(shí)別與定位系統(tǒng) 研究與實(shí)現(xiàn)[D].西南交通大學(xué)，2013)將集裝箱鎖孔當(dāng)作角點(diǎn)，采用基于SVM的方法提取出 集裝箱的頂點(diǎn)集合，并且通過(guò)條件判斷識(shí)別出屬于集裝箱頂部的頂點(diǎn)，以此定位集裝箱輪 廓。文中將識(shí)別到的頂點(diǎn)作為集裝箱鎖孔的外側(cè)角點(diǎn)，然而鎖孔實(shí)際上是有一定尺寸的，無(wú) 法判斷提取到的頂點(diǎn)就是鎖孔的外側(cè)角點(diǎn)，通過(guò)這種方法得到的集裝箱頂部輪廓降低了識(shí) 別的準(zhǔn)確性。發(fā)明專利（申請(qǐng)?zhí)枺?01410078600. X，名稱:集裝箱起重機(jī)吊具對(duì)箱引導(dǎo)系統(tǒng)） 中利用集裝箱邊緣直線上的點(diǎn)空間坐標(biāo)等約束鎖孔的位置，同時(shí)用閉運(yùn)算和邊緣提取方法 獲得鎖孔目標(biāo)框。但是由于長(zhǎng)時(shí)間的裝卸作業(yè)以及雨水等液體的腐蝕和污染，集裝箱鎖孔 表面通常都會(huì)非常舊，閉運(yùn)算和邊緣提取對(duì)于這類集裝箱并不能取得很好的效果。
[0004] 綜上所述，既要實(shí)現(xiàn)集裝箱鎖孔的準(zhǔn)確定位，又要能很好地適應(yīng)新舊集裝箱是集 裝箱鎖孔定位的難點(diǎn)，當(dāng)前方法存在如下不足：（1)近似橢圓形的吊孔中心坐標(biāo)不能準(zhǔn)確代 表集裝箱頂點(diǎn)的位置(2)識(shí)別出的頂點(diǎn)坐標(biāo)不能很好代表鎖孔外側(cè)角點(diǎn)（3)對(duì)磨損的鎖孔 效果不好、光線不足條件下識(shí)別率低等等。本發(fā)明針對(duì)這些問(wèn)題提出了一種基于直線擬合 的集裝箱輪廓定位方法。

【發(fā)明內(nèi)容】

[0005] 為解決上述問(wèn)題，本發(fā)明的目的在于提供了一種基于直線擬合的集裝箱輪廓識(shí)別 方法。
[0006] 所述的一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于包括如下步驟：
[0007] 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側(cè)的圖像；
[0008] 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定 位區(qū)域，該粗定位區(qū)域圖像的高度為height，寬度為width，單位為像素；
[0009] 步驟3:對(duì)粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，分別得到上 下鎖孔的二值化輪廓圖像Ii，12;
[0010] 步驟4:對(duì)1^12分別設(shè)置兩個(gè)矩形區(qū)域，其中設(shè)置上側(cè)矩形區(qū)域ri和左側(cè)矩形區(qū) 域r2，l2設(shè)置下側(cè)矩形區(qū)域r 3和左側(cè)矩形區(qū)域r4，ri和r3的高度和寬度分別為h和d，r2和r 4高 度和寬度分別為d和h，單位為像素；
[0011]步驟5:對(duì)于IlL·，只對(duì)矩形區(qū)域內(nèi)的部分進(jìn)行操作，分別得到4個(gè)點(diǎn)集Pl，p2，p 3及 P4 ;將得到的4組點(diǎn)集合并為3組，其中點(diǎn)集pl為一組gl，點(diǎn)集P3為一組g2，點(diǎn)集p 2、P4合并為一 組g3;
[0012]步驟6:使用最小二乘法對(duì)步驟5中獲得的點(diǎn)集gk，k=l，2,3分別進(jìn)行直線擬合，得 至1」3條直線11^1^+1^+〇1{=0，1^=1，2,3，根據(jù)式（1)、（2)"3)計(jì)算距離方差(7[,/ 1; = 1,2,3:
[0016]式中，（xik，yik)表示點(diǎn)集gk中的第i個(gè)點(diǎn)的坐標(biāo)，A k、Bk和&表示直線lk的參數(shù)，Nk表 示點(diǎn)集gk中點(diǎn)的個(gè)數(shù)，dik表示點(diǎn)（xik，yik)到直線lk的垂直距離，4表示點(diǎn)集取中所有dik的 平均值；
[0017]步驟7:找到每個(gè)點(diǎn)集gk內(nèi)到對(duì)應(yīng)直線lk距離最大的點(diǎn)Pk，將該點(diǎn)從點(diǎn)集g k中排除， 再按照步驟6重新計(jì)算每個(gè)點(diǎn)集gk的距離方差U,3，最后計(jì)算方差值的變化率：
[0019] 式中，σΑ2表示排除點(diǎn)Pk之前的距離方差，Δ表示方差變化率；
[0020] 步驟8:若Δ彡T，重復(fù)步驟6、7，T表示方差變化率的閾值；否則，經(jīng)過(guò)步驟7之后得 到最終的3條直線l k，k=l，2,3,求得ljPl3的的交點(diǎn)記為&，12和13的交點(diǎn)記為C 2;
[0021] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側(cè)的圖像，然后重復(fù)步驟2 ~8,獲得另一側(cè)的交點(diǎn)C3和C4;
[0022] 步驟10:利用基于雙目視覺(jué)技術(shù)將&，(：2，(：3，(：4點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為以吊具為參照 物建立的坐標(biāo)系下的世界坐標(biāo)，然后將這四個(gè)世界坐標(biāo)點(diǎn)按逆時(shí)針或順時(shí)針排序，四個(gè)點(diǎn) 構(gòu)成一個(gè)四邊形即為集裝箱輪廓，由此實(shí)現(xiàn)集裝箱輪廓的定位。
[0023] 所述的一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于步驟4中h、d的范圍 為:0〈h〈height且0〈h〈width，0〈d〈height且0〈d〈width保證選取的4個(gè)矩形區(qū)域rk內(nèi)的圖像 都包含一條鎖孔的邊，k= 1，2，3，4。
[0024]所述的一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于步驟5中的4個(gè)點(diǎn)集 取得方法如下:首先對(duì)^內(nèi)的圖像，從左到右按列掃描，取每列最靠上的非零像素點(diǎn)得到一 個(gè)點(diǎn)集P1，其次對(duì)^內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點(diǎn)得到點(diǎn)集p 2; 然后對(duì)r3內(nèi)的圖像，從左到右按列掃描，取每列最靠下的非零像素點(diǎn)得到點(diǎn)集p3,最后對(duì)r 4 內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點(diǎn)得到點(diǎn)集P4。
[0025]本發(fā)明的優(yōu)點(diǎn)是:本發(fā)明能有效地解決鎖孔圖像在邊緣提取存在干擾點(diǎn)、Hough直 線效果不佳等不足。
【附圖說(shuō)明】
[0026]圖1為本發(fā)明實(shí)施例步驟1采集的集裝箱圖像；
[0027]圖2a為本發(fā)明實(shí)施例步驟2得到的上鎖孔粗定位區(qū)域圖像；
[0028]圖2b為本發(fā)明實(shí)施例步驟2得到的下鎖孔粗定位區(qū)域圖像；
[0029]圖3a為本發(fā)明實(shí)施例經(jīng)過(guò)步驟3處理的上鎖孔粗定位區(qū)域圖像；
[0030]圖3b為本發(fā)明實(shí)施例經(jīng)過(guò)步驟3處理的下鎖孔粗定位區(qū)域圖像；
[0031]圖4a為本發(fā)明實(shí)施例圖3a經(jīng)過(guò)步驟4設(shè)置的矩形區(qū)域；
[0032]圖4b為本發(fā)明實(shí)施例圖3b經(jīng)過(guò)步驟4設(shè)置的矩形區(qū)域；
[0033]圖5a為本發(fā)明實(shí)施例步驟8得到的鎖孔拐點(diǎn)圖像；
[0034]圖5b為本發(fā)明實(shí)施例步驟8得到的鎖孔拐點(diǎn)圖像；
[0035] 圖中：1_上側(cè)矩形區(qū)域n，2_左側(cè)矩形區(qū)域r2,3_下側(cè)矩形區(qū)域r3,4_左側(cè)矩形區(qū)域 Γ4, 5_交點(diǎn)&，6_交點(diǎn)C2。
【具體實(shí)施方式】
[0036] 下面結(jié)合實(shí)施例來(lái)詳細(xì)闡述本發(fā)明集裝箱輪廓定位方法的【具體實(shí)施方式】。
[0037]步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側(cè)的圖像;在本實(shí)施例 中，如圖1;
[0038]步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定 位區(qū)域，該粗定位區(qū)域圖像的高度為height，寬度為width，單位為像素;在本實(shí)施例中，上 鎖孔圖像如附圖2a、下鎖孔如圖2b，height = 140，width=135;所述的集裝箱鎖孔粗定位和 跟蹤方法在申請(qǐng)?zhí)枮?01610273182.9的文件中已公開，在此不再詳述；
[0039]步驟3:對(duì)粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，得到上下鎖 孔的二值化輪廓圖像11，12;在本實(shí)施例中，如附圖3a、圖3b;
[0040] 步驟4:對(duì)分別設(shè)置兩個(gè)矩形區(qū)域，其中h設(shè)置上側(cè)矩形區(qū)域η 1和左側(cè)矩形 區(qū)域Γ2 2，12設(shè)置下側(cè)矩形區(qū)域r3 3和左側(cè)矩形區(qū)域r4 4，ri和r3高度和寬度分別為h和d，r2 和Γ4高度和寬度分別為d和h，單位為像素;要求滿足:0〈h〈height且0〈h〈width，0〈d〈height 且0〈d〈width，保證選取的4個(gè)矩形區(qū)域rk內(nèi)的圖像都包含一條鎖孔的邊，k = 1，2，3，4;本實(shí) 施例中，如附圖4a和圖4b，h = 80，d = 60;
[0041] 步驟5:對(duì)于1^12,只對(duì)矩形區(qū)域內(nèi)的部分進(jìn)行操作;首先對(duì)^內(nèi)的圖像，從左到右 按列掃描，取每列最靠上的非零像素點(diǎn)得到一個(gè)點(diǎn)集口:，其次對(duì)^內(nèi)的圖像，從上到下按行 掃描，取每行最靠左的非零像素點(diǎn)得到點(diǎn)集P2;然后對(duì)r3內(nèi)的圖像，從左到右按列掃描，取每 列最靠下的非零像素點(diǎn)得到點(diǎn)集P3,最后對(duì)r4內(nèi)的圖像，從上到下按行掃描，取每行最靠左 的非零像素點(diǎn)得到點(diǎn)集P4;將得到的4組點(diǎn)集合并為3組，其中點(diǎn)集 P1為一組gl，點(diǎn)集p3為一 組g2，點(diǎn)集P2、P4合并為一組g3 ;
[0042]步驟6:使用最小二乘法對(duì)步驟5中獲得的點(diǎn)集gk，k=l，2,3分別進(jìn)行直線擬合，得 至1J3條直線lk: Akx+Bky+Ck=0，k = 1，2，3，根據(jù)式（1)、（ 2)、⑶計(jì)算距離方差fj/, =丨,2,3 :
[0046] 式中，（xik,yik)表示點(diǎn)集gk中的第i個(gè)點(diǎn)的坐標(biāo)，（Ak,Bk,Ck)表示直線lk的參數(shù)，Nk 表示點(diǎn)集gk中點(diǎn)的個(gè)數(shù)，dik表示點(diǎn)（xik，yik)到直線lk的垂直距離，?/,表示點(diǎn)集gk中所有dik 的平均值；在本實(shí)施例中，1ι:〇· 1031x+0.9947y-683.1388 = 0、l2:0.0596x-0.9982y+ 1758 · 4850 = 0、13:0.9999x-0.0144y-1520.1214 = 0;
[0047] 步驟7:找到每個(gè)點(diǎn)集gk內(nèi)到對(duì)應(yīng)直線lk距離最大的點(diǎn)Pk，將該點(diǎn)從點(diǎn)集g k中排除， 再按照步驟6重新計(jì)算每個(gè)點(diǎn)集gk的距離方差€,? =U3，最后計(jì)算方差值的變化率：
[0049] 式中，4表示排除點(diǎn)Pk之前的距離方差，Δ表示方差的變化率；
[0050] 步驟8:若Δ多T，重復(fù)步驟6、7，T表示方差變化率的閾值;否
[0051] 則，經(jīng)過(guò)
[0052] 步驟7之后得到最終的3條直線lk，k=l，2,3,求得UP13的交點(diǎn)& 5，12和13的交點(diǎn) C2 6;在本實(shí)施例中，如附圖5a，圖5b，T=10%;
[0053] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側(cè)的圖像，然后重復(fù)步驟2 ~8,獲得另一側(cè)的交點(diǎn)C3和C4;
[0054] 步驟10:利用基于雙目視覺(jué)技術(shù)將&，(：2，(：3，(：4點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為以吊具為參照 物建立的坐標(biāo)系下的世界坐標(biāo)，然后將這四個(gè)世界坐標(biāo)點(diǎn)按逆時(shí)針或順時(shí)針排序，四個(gè)點(diǎn) 構(gòu)成一個(gè)四邊形即為集裝箱輪廓，由此實(shí)現(xiàn)集裝箱輪廓的定位。
[0055]本發(fā)明的優(yōu)點(diǎn)是:本發(fā)明能有效地解決鎖孔圖像在邊緣提取存在干擾點(diǎn)、Hough直 線效果不佳等不足。
【主權(quán)項(xiàng)】
1. 一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于包括如下步驟： 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側(cè)的圖像； 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定位區(qū) 域，該粗定位區(qū)域圖像的高度為height，寬度為wi化h，單位為像素； 步驟3:對(duì)粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，分別得到上下鎖 孔的二值化輪廓圖像II，12; 步驟4:對(duì)Ii，l2分別設(shè)置兩個(gè)矩形區(qū)域，其中Ii設(shè)置上側(cè)矩形區(qū)域ri和左側(cè)矩形區(qū)域η， Ι2設(shè)置下側(cè)矩形區(qū)域η和左側(cè)矩形區(qū)域r4，ri和η的高度和寬度分別為h和cUn和Γ4高度和 寬度分別為d和h，單位為像素； 步驟5:對(duì)于Il，l2,只對(duì)矩形區(qū)域內(nèi)的部分進(jìn)行操作，分別得至?μ個(gè)點(diǎn)集P1，P2，P3及P4;將 得到的4組點(diǎn)集合并為3組，其中點(diǎn)集P1為一組gl，點(diǎn)集P3為一組g2，點(diǎn)集P2、P4合并為一組邑3 ; 步驟6:使用最小二乘法對(duì)步驟5中獲得的點(diǎn)集gk，k=l，2,3分別進(jìn)行直線擬合，得到3條 直線lk:Akx+Bky+Ck=0，k=l，2,3,根據(jù)式（1)、（2)、（3)計(jì)算距離方差口^，k=l，2,3:式中，（xik，yik)表示點(diǎn)集gk中的第i個(gè)點(diǎn)的坐標(biāo)，Ak、Bk和Ck表示直線Ik的參數(shù)，Nk表示點(diǎn) 集gk中點(diǎn)的個(gè)數(shù)，dik表示點(diǎn)（xik，yik)到直線Ik的垂直距離，4表示點(diǎn)集阱中所有cUk的平均 值； 步驟7:找到每個(gè)點(diǎn)集gk內(nèi)到對(duì)應(yīng)直線Ik距離最大的點(diǎn)Pk，將該點(diǎn)從點(diǎn)集gk中排除，再按 照步驟6重新計(jì)算每個(gè)點(diǎn)集gk的距離方差ci2，k= 1，2，3，最后計(jì)算方差值的變化率：(4) 式中，表示排除點(diǎn)Pk之前的距離方差，Δ表示方差變化率； 步驟8:若Δ >T，重復(fù)步驟6、7，T表示方差變化率的闊值;否則，經(jīng)過(guò)步驟7之后得到最 終的3條直線lk，k=l，2,3,求得h和13的的交點(diǎn)記為Ci，b和13的交點(diǎn)記為C2; 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側(cè)的圖像，然后重復(fù)步驟2~8， 獲得另一側(cè)的交點(diǎn)C3和C4; 步驟10:利用基于雙目視覺(jué)技術(shù)將Cl, C2，C3，C4點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為W吊具為參照物建 立的坐標(biāo)系下的世界坐標(biāo)，然后將運(yùn)四個(gè)世界坐標(biāo)點(diǎn)按逆時(shí)針或順時(shí)針排序，四個(gè)點(diǎn)構(gòu)成 一個(gè)四邊形即為集裝箱輪廓，由此實(shí)現(xiàn)集裝箱輪廓的定位。2. 根據(jù)權(quán)利要求1所述的一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于步驟4 中h、d的范圍為：0<h<hei曲t且0<h<width，0<d<height且0<d<width保證選取的4個(gè)矩形區(qū) 域rk內(nèi)的圖像都包含一條鎖孔的邊，k=l，2,3,4。3.根據(jù)權(quán)利要求1所述的一種基于直線擬合的集裝箱輪廓識(shí)別方法，其特征在于步驟5 中的4個(gè)點(diǎn)集取得方法如下：首先對(duì)ri內(nèi)的圖像，從左到右按列掃描，取每列最靠上的非零 像素點(diǎn)得到一個(gè)點(diǎn)集P1，其次對(duì)η內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素 點(diǎn)得到點(diǎn)集Ρ2;然后對(duì)η內(nèi)的圖像，從左到右按列掃描，取每列最靠下的非零像素點(diǎn)得到點(diǎn) 集Ρ3,最后對(duì)r4內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點(diǎn)得到點(diǎn)集Ρ4。
【文檔編號(hào)】G01B11/00GK106096606SQ201610403840
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月7日
【發(fā)明人】高飛, 李定謝爾, 汪韜, 葛粟, 葛一粟, 徐云靜, 盧書芳, 肖剛
【申請(qǐng)人】浙江工業(yè)大學(xué)