基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)及方法【專利摘要】本發(fā)明公開了一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)及方法，系統(tǒng)包括工控機(jī)、PLC、以太網(wǎng)交換機(jī)和攝像機(jī)，其中：工控機(jī)分別與以太網(wǎng)交換機(jī)和PLC連接，以太網(wǎng)交換機(jī)分別與攝像機(jī)和TOS系統(tǒng)連接。本系統(tǒng)在集裝箱裝卸船的過程中，通過PLC控制器控制攝像機(jī)進(jìn)行高速拍照，并將實(shí)時(shí)圖像通過以太網(wǎng)傳輸給工控機(jī)，由工控機(jī)上運(yùn)行的箱號(hào)識(shí)別軟件識(shí)別出集裝箱號(hào)后再通過以太網(wǎng)將結(jié)果傳輸給TOS作業(yè)系統(tǒng)統(tǒng)一管理。本系統(tǒng)解決了港口碼頭作業(yè)過程中，集裝箱號(hào)碼由人工登記導(dǎo)致集裝箱裝載效率低和人工失誤導(dǎo)致集卡車與需要裝載的集裝箱不匹配的技術(shù)問題。本系統(tǒng)在各種環(huán)境下都能達(dá)到較高的識(shí)別率，有效地提高了岸橋作業(yè)的效率?！緦＠f明】基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)及方法
技術(shù)領(lǐng)域：
[0001]本發(fā)明設(shè)及一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)及方法，用于輔助港口岸橋集裝箱的裝卸作業(yè)?！?br>背景技術(shù)：
】[0002]隨著現(xiàn)代物流管理技術(shù)的發(fā)展，加快貨物通道的管理自動(dòng)化已成為十分緊迫的任務(wù)。對(duì)于碼頭來說，碼頭的集裝箱吞吐量嚴(yán)重影響著碼頭的效益。目前，碼頭上大多采用的是人工指揮集裝箱的裝卸，由人工對(duì)集裝箱的箱號(hào)進(jìn)行登記，其缺點(diǎn)是安全隱患大，效率很低，影響集裝箱的裝卸速度，不利于整個(gè)港口的高速運(yùn)作。另外，由于人工失誤可能導(dǎo)致集裝箱與裝卸的集卡車不能正確匹配而為集裝箱運(yùn)輸?shù)侥康牡貛聿槐匾穆闊?。在運(yùn)種背景下，集裝箱號(hào)碼自動(dòng)識(shí)別系統(tǒng)應(yīng)運(yùn)而生。[0003]基于圖像技術(shù)的集裝箱箱號(hào)識(shí)別大致可分為Ξ個(gè)步驟：[0004]1、集裝箱號(hào)碼的定位:從拍攝的圖片中確定箱號(hào)所在的矩形區(qū)域；[0005]2、集裝箱號(hào)碼的分割:從定位的矩形區(qū)域，分割出單個(gè)的字符區(qū)域；[0006]3、集裝箱號(hào)碼的識(shí)別:最后對(duì)每個(gè)字符區(qū)域識(shí)別出相應(yīng)的字母、數(shù)字。[0007]從上述Ξ個(gè)步驟可W看出集裝箱號(hào)碼的區(qū)域定位是整個(gè)流程的基礎(chǔ)，而集裝箱號(hào)排列方式多種多樣，字體、字號(hào)及顏色不一，再加上集裝箱上各種圖案、文字的干擾都加大了集裝箱號(hào)碼定位的難度。[000引目前已知的集裝箱號(hào)碼定位方法有：[0009]1、基于跳變點(diǎn)的集裝箱箱號(hào)定位:該方法首先對(duì)圖片進(jìn)行水平或垂直方向的一階差分計(jì)算，然后逐行或逐列進(jìn)行掃描，統(tǒng)計(jì)一行或一列中一階差分值大于某個(gè)闊值的像素點(diǎn)的個(gè)數(shù)。如果該像素點(diǎn)的個(gè)數(shù)大于某個(gè)闊值，則將該行認(rèn)為是集裝箱箱號(hào)區(qū)域可能的行位置。掃描結(jié)束后，通過對(duì)可能的行位置或列位置的進(jìn)一步分析，完成集裝箱號(hào)碼的定位過程。[0010]缺點(diǎn)：該方法通過統(tǒng)計(jì)灰度的跳變點(diǎn)數(shù)進(jìn)行集裝箱箱號(hào)的粗定位，因此對(duì)噪聲較敏感。另外當(dāng)箱號(hào)字符的排列存在一定程度的傾斜時(shí)，會(huì)由于檢測的跳變點(diǎn)數(shù)不足造成定位失敗。[0011]2、基于形態(tài)學(xué)的集裝箱箱號(hào)定位方法：該方法首先獲得集裝箱圖片的邊緣檢測圖，然后對(duì)獲得的邊緣圖像進(jìn)行一系列形態(tài)學(xué)的開閉等運(yùn)算，盡可能的去除掉干擾區(qū)域，最后結(jié)合集裝箱箱號(hào)的排列特點(diǎn)找到正確的集裝箱箱號(hào)位置。[0012]缺點(diǎn)：該方法對(duì)集裝箱圖片的邊緣圖像進(jìn)行形態(tài)學(xué)處理，運(yùn)就要求檢測到的集裝箱箱號(hào)區(qū)域的邊緣信息完整，而實(shí)際上通常由于應(yīng)用背景的復(fù)雜、天氣、燈光等因素的干擾，檢測到的邊緣信息并不理想?！?br/>發(fā)明內(nèi)容】[0013]為了克服現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提供了一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)及方法，采用了近年來在自然場景文字檢測問題上取得的最新成果，該方法對(duì)箱號(hào)的排列方向、傾斜度、光照及色彩的變化具有較好的魯棒性。[0014]本發(fā)明所采用的技術(shù)方案是:一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，包括工控機(jī)、PLC、W太網(wǎng)交換機(jī)和攝像機(jī)，其中：工控機(jī)分別與W太網(wǎng)交換機(jī)和化C連接，W太網(wǎng)交換機(jī)分別與攝像機(jī)和T0S系統(tǒng)連接;所述化C將吊具開閉鎖狀態(tài)和編碼器信息發(fā)送給工控機(jī)，并接收工控機(jī)發(fā)出的控制指令;所述工控機(jī)根據(jù)接收的吊具開閉鎖狀態(tài)和編碼器信息生成抓拍命令發(fā)送給攝像機(jī)，所述攝像機(jī)將拍攝的集裝箱箱號(hào)和集卡車車頭圖像傳送給工控機(jī)，所述工控機(jī)對(duì)攝像機(jī)拍攝的圖像進(jìn)行識(shí)別，并將識(shí)別出的集裝箱箱號(hào)和集卡車號(hào)發(fā)送給T0S系統(tǒng)。[0015]本發(fā)明還提供了一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，集裝箱箱號(hào)的識(shí)別包括如下步驟：[0016](1)將攝像機(jī)拍攝的圖像進(jìn)行灰度化處理，得到灰度圖像；[0017](2)通過計(jì)算灰度圖像的最大穩(wěn)定極值區(qū)域獲得字符候選區(qū)域；[0018](3)對(duì)字符候選區(qū)域進(jìn)行預(yù)過濾，得到字符區(qū)域；[0019](4)從字符區(qū)域中獲取箱號(hào)或車號(hào)區(qū)域；[0020](5)獲取每個(gè)箱號(hào)或車號(hào)字符的位置；[0021](6)利用神經(jīng)網(wǎng)絡(luò)對(duì)字符二值圖像進(jìn)行識(shí)別并輸出結(jié)果；[0022]對(duì)于集卡車號(hào)的識(shí)別，在對(duì)圖像進(jìn)行灰度化處理前先將圖像旋轉(zhuǎn)90度。[0023]與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果是:在集裝箱裝卸船的過程中，通過化C控制器控制安裝在岸橋鞍梁和連系梁的攝像機(jī)進(jìn)行高速拍照，并將實(shí)時(shí)圖像通過W太網(wǎng)傳輸給工控機(jī)，由工控機(jī)上運(yùn)行的箱號(hào)識(shí)別軟件識(shí)別出集裝箱號(hào)后再通過W太網(wǎng)將結(jié)果傳輸給T0S作業(yè)系統(tǒng)統(tǒng)一管理。本系統(tǒng)充分結(jié)合岸橋作業(yè)的實(shí)際情況，將攝像機(jī)、PLC控制器、小車編碼器、起升編碼器、工控機(jī)W及T0S作業(yè)系統(tǒng)結(jié)合起來，同時(shí)利用計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的最新技術(shù)解決了：[0024]1、港口碼頭作業(yè)過程中，集裝箱號(hào)碼由人工登記導(dǎo)致集裝箱裝載效率低；[0025]2、由于人工失誤導(dǎo)致集卡車與需要裝載的集裝箱不匹配。[0026]本發(fā)明充分考慮了各種集裝箱箱型并利用岸橋的建筑結(jié)構(gòu)來安裝攝像機(jī)，能夠?qū)b箱和集卡車抓拍到清晰的圖片。在此基礎(chǔ)上本發(fā)明利用MSER(maximallystableextremalregion,最大穩(wěn)定極值區(qū)域)特征具有文字顏色、大小及仿射不變的特征，因此在各種環(huán)境下都能達(dá)到較高的識(shí)別率，有效地提高了岸橋作業(yè)的效率?！靖綀D說明】[0027]本發(fā)明將通過例子并參照附圖的方式說明，其中：[0028]圖1是本系統(tǒng)的結(jié)構(gòu)示意圖；[0029]圖2是40尺及W上箱型為一個(gè)觸發(fā)組的示意圖；[0030]圖3是雙20尺箱型為一個(gè)觸發(fā)組的示意圖；[0031]圖4是單20尺箱型為一個(gè)觸發(fā)組的示意圖；[0032]圖5是像素點(diǎn)的連通關(guān)系示意圖?！揪唧w實(shí)施方式】[0033]-種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，如圖1所示，包括工控機(jī)、化C、W太網(wǎng)交換機(jī)、攝像機(jī)等，其中：工控機(jī)分別與W太網(wǎng)交換機(jī)和化C連接，攝像機(jī)通過10轉(zhuǎn)W太網(wǎng)與W太網(wǎng)交換機(jī)連接，W太網(wǎng)交換機(jī)與T0S系統(tǒng)連接。[0034]工控機(jī)為本系統(tǒng)中的主數(shù)據(jù)處理單元，負(fù)責(zé)對(duì)攝像機(jī)拍攝的所有視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，識(shí)別出集裝箱箱號(hào)和集卡車號(hào)，并將識(shí)別結(jié)果傳輸給T0S系統(tǒng)(碼頭作業(yè)系統(tǒng)），并通過與化C接口實(shí)現(xiàn)信息的獲取和控制命令的下發(fā)。[0035]PLC為大車控制系統(tǒng)，可W通過網(wǎng)絡(luò)、串口、DP等多種連接方式與外部設(shè)備進(jìn)行數(shù)據(jù)交互，將小車編碼器、起升編碼器、吊具開閉鎖狀態(tài)等信息發(fā)送給工控機(jī)，并接收工控機(jī)的指令實(shí)現(xiàn)控制的執(zhí)行。[0036]攝像頭安裝于岸橋連系梁及鞍梁上，對(duì)集裝箱及集卡車進(jìn)行實(shí)時(shí)視頻采集，在收到工控機(jī)發(fā)送的抓拍命令后，將實(shí)時(shí)圖片傳輸給工控機(jī)用于識(shí)別。[0037]在岸橋的兩側(cè)鞍梁上安裝了兩組共6臺(tái)攝像機(jī)用于拍攝集裝箱箱號(hào)。在吊具抓取集裝箱后運(yùn)動(dòng)過程中動(dòng)態(tài)實(shí)時(shí)抓拍不同面帶有箱號(hào)信息的圖像，抓取的時(shí)機(jī)選擇在吊具處于閉鎖狀態(tài)、起升或下降到距地面高度在6米時(shí)進(jìn)行觸發(fā)拍攝。攝像機(jī)根據(jù)化C傳輸來的箱型的不同分為幾個(gè)不同的觸發(fā)組，40尺及W上為一個(gè)觸發(fā)組(如圖2所示）、雙20尺為一個(gè)觸發(fā)組(如圖3所示），單20尺為一個(gè)觸發(fā)組(如圖4所示）。[0038]在岸橋兩側(cè)的連系梁上各安裝一個(gè)攝像機(jī)，在集裝箱裝卸時(shí)控制攝像機(jī)采集集卡車車頭圖像用于集卡車車號(hào)的識(shí)別。[0039]-、集裝箱箱號(hào)識(shí)別方法，包括如下步驟：[0040]1、將攝像機(jī)拍攝的集裝箱圖像進(jìn)行灰度化處理：[0041]攝像機(jī)采集的原始集裝箱箱號(hào)圖像為RGB格式，按照W下公式將其轉(zhuǎn)化為灰度格式圖片：[0042]Gray=0.229XR+0.587XG+0.114XB[0043]其中R，G，B分別表示紅、綠、藍(lán)Ξ個(gè)通道各自的像素值，Gray為處理后像素的灰度值。[0044]2、對(duì)處理后的灰度圖像計(jì)算最大穩(wěn)定極值區(qū)域MSER，得到箱號(hào)字符候選區(qū)域：[0045]灰度化后的圖像每個(gè)像素點(diǎn)處的取值在[0,255]范圍內(nèi)，對(duì)于每個(gè)ie[0,255]，Si={p|Gray(p)《i}表示灰度值不超過i的所有像素點(diǎn)的集合。依照像素點(diǎn)的連通關(guān)系(分為四連通和八連通兩種，如圖5所示），可則尋S1劃分成互不相交的連通區(qū)域。設(shè)馬ES巧J一個(gè)連通域，IRiI表示區(qū)域Ri的像素個(gè)數(shù)。當(dāng)i由0逐步增大到255時(shí)，IRiI也會(huì)隨著增加。當(dāng)給定i的增長幅度加寸，使用表示區(qū)域Ri隨i變化的穩(wěn)定性，當(dāng)i使得上式取值最小時(shí)，區(qū)域Ri就是一個(gè)MS邸(最大穩(wěn)定極值區(qū)域）。因四連通關(guān)系計(jì)算量小且產(chǎn)生的MS邸區(qū)域與八連通區(qū)域相差不大，實(shí)際算法中采用區(qū)域的四連通關(guān)系，并設(shè)定增長幅度d的值為20。[0046]W上步驟找到的區(qū)域?qū)?yīng)箱號(hào)灰度值比背景小的情況，如果箱號(hào)灰度值比背景的大，將灰度圖像做值域上翻轉(zhuǎn)即可:Gray=255-Gray。[0047]3、對(duì)非字符區(qū)域進(jìn)行預(yù)過濾：[0048]最大穩(wěn)定極值區(qū)域包含了字符和非字符的區(qū)域，可W利用字符的幾何性質(zhì)過濾掉非字符的區(qū)域。如字符區(qū)域的最小外包矩形的寬高比不會(huì)小于0.1，字符區(qū)域的像素點(diǎn)的個(gè)數(shù)不會(huì)太大(不超過3600個(gè)像素點(diǎn))和太小(不少于20個(gè)像素點(diǎn)）。[0049]4、獲取箱號(hào)區(qū)域：[0050]按水平和豎直方向?qū)蓚€(gè)相鄰字符區(qū)域組合成一對(duì)，計(jì)算通過每個(gè)區(qū)域?qū)χ型?、點(diǎn)的直線與其他字符區(qū)域的相交個(gè)數(shù)，相交個(gè)數(shù)最多的直線為一行或一列文本區(qū)域。重復(fù)W上步驟直到所有的區(qū)域被包含在某一行或一列。組合成的文本行或文本列構(gòu)成了箱號(hào)區(qū)域。[0051]5、獲取每個(gè)箱號(hào)字符的位置：[0052]根據(jù)箱號(hào)區(qū)域的中屯、坐標(biāo)及區(qū)域中包含的字符個(gè)數(shù)，確定每個(gè)區(qū)域代表的箱號(hào)類型。根據(jù)每個(gè)箱號(hào)區(qū)域中字符的中屯、坐標(biāo)，按照從左到右，從上到下的順序確定字符的先后位置。[0053]6、利用神經(jīng)網(wǎng)絡(luò)對(duì)字符二值圖像進(jìn)行識(shí)別并輸出結(jié)果：[0054]字符識(shí)別部分調(diào)用了HALC0N圖像庫的OCR接口，對(duì)定位到的字符區(qū)域通過訓(xùn)練好的模型給出識(shí)別結(jié)果和結(jié)果的置信度值(為(〇，1)之間的小數(shù)值）。[0055]二、集卡車號(hào)識(shí)別方法，包括如下步驟：[0056]W上識(shí)別集裝箱箱號(hào)的步驟同樣適用于集卡車號(hào)的識(shí)別。由于岸橋連系梁與集卡車道平行，因此攝像機(jī)拍攝到的集卡車號(hào)在識(shí)別前需要旋轉(zhuǎn)90度?！局鳈?quán)項(xiàng)】1.一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，其特征在于：包括工控機(jī)、PLC、以太網(wǎng)交換機(jī)和攝像機(jī)，其中：工控機(jī)分別與以太網(wǎng)交換機(jī)和PLC連接，以太網(wǎng)交換機(jī)分別與攝像機(jī)和TOS系統(tǒng)連接;所述PLC將吊具開閉鎖狀態(tài)和編碼器信息發(fā)送給工控機(jī)，并接收工控機(jī)發(fā)出的控制指令;所述工控機(jī)根據(jù)接收的吊具開閉鎖狀態(tài)和編碼器信息生成抓拍命令發(fā)送給攝像機(jī)，所述攝像機(jī)將拍攝的集裝箱箱號(hào)和集卡車車頭圖像傳送給工控機(jī)，所述工控機(jī)對(duì)攝像機(jī)拍攝的圖像進(jìn)行識(shí)別，并將識(shí)別出的集裝箱箱號(hào)和集卡車號(hào)發(fā)送給TOS系統(tǒng)。2.根據(jù)權(quán)利要求1所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，其特征在于:所述攝像機(jī)安裝在岸橋連系梁和鞍梁上。3.根據(jù)權(quán)利要求2所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，其特征在于:在岸橋的兩側(cè)鞍梁上分別安裝3臺(tái)攝像機(jī)，在岸橋兩側(cè)的連系梁上各安裝1臺(tái)攝像機(jī)。4.一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:集裝箱箱號(hào)的識(shí)別包括如下步驟：(1)將攝像機(jī)拍攝的圖像進(jìn)行灰度化處理，得到灰度圖像；(2)通過計(jì)算灰度圖像的最大穩(wěn)定極值區(qū)域獲得字符候選區(qū)域；(3)對(duì)字符候選區(qū)域進(jìn)行預(yù)過濾，得到字符區(qū)域；(4)從字符區(qū)域中獲取箱號(hào)或車號(hào)區(qū)域；(5)獲取每個(gè)箱號(hào)或車號(hào)字符的位置；(6)利用神經(jīng)網(wǎng)絡(luò)對(duì)字符二值圖像進(jìn)行識(shí)別并輸出結(jié)果；對(duì)于集卡車號(hào)的識(shí)別，在對(duì)圖像進(jìn)行灰度化處理前先將圖像旋轉(zhuǎn)90度。5.根據(jù)權(quán)利要求4所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:按如下公式對(duì)圖像進(jìn)行灰度化處理：Gray=0.229XR+0.587XG+0.114XB其中R，G，B分別表示紅、綠、藍(lán)三個(gè)通道各自的像素值，Gray為處理后像素的灰度值。6.根據(jù)權(quán)利要求4所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:計(jì)算灰度圖像的最大穩(wěn)定極值區(qū)域的方法是:尋找使得1取值最小的i，連通域h即為一個(gè)最大穩(wěn)定極值區(qū)域，其中：抝GS'S1表示灰度值不超過i的所有像素點(diǎn)的集合，1￡[0,255]，|1^|表示連通域吣的像素個(gè)數(shù)，(1表示當(dāng)1由0逐步增大到255時(shí)的增長幅度。7.根據(jù)權(quán)利要求6所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:若最大穩(wěn)定極值區(qū)域?qū)?yīng)箱號(hào)或車號(hào)灰度值比背景大時(shí)，需將灰度圖像做值域上翻轉(zhuǎn)。8.根據(jù)權(quán)利要求4所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:對(duì)字符候選區(qū)域進(jìn)行預(yù)過濾時(shí)，將最小外包矩形的寬高比小于0.1的區(qū)域、像素點(diǎn)個(gè)數(shù)超過3600個(gè)像素點(diǎn)的區(qū)域或像素點(diǎn)個(gè)數(shù)少于20個(gè)像素點(diǎn)的區(qū)域過濾掉。9.根據(jù)權(quán)利要求4所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:從字符區(qū)域中獲取箱號(hào)或車號(hào)區(qū)域的方法為:按水平和豎直方向?qū)蓚€(gè)相鄰字符組合成區(qū)域?qū)?，?jì)算通過每個(gè)區(qū)域?qū)Φ闹行狞c(diǎn)的直線與其他字符區(qū)域的相交個(gè)數(shù)，相交個(gè)數(shù)最多的直線作為一行或一列文本區(qū)域;重復(fù)該步驟直到所有的區(qū)域被包含在某一行或一列文本區(qū)域，組合成的文本行或文本列即構(gòu)成箱號(hào)或車號(hào)區(qū)域。10.根據(jù)權(quán)利要求4所述的基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別方法，其特征在于:所述攝像機(jī)在吊具抓取集裝箱后運(yùn)動(dòng)過程中動(dòng)態(tài)實(shí)時(shí)抓拍不同面帶有箱號(hào)信息的圖像，抓取的時(shí)機(jī)選擇在吊具處于閉鎖狀態(tài)、起升或下降到距地面高度在6米時(shí)進(jìn)行觸發(fā)拍攝，攝像機(jī)根據(jù)PLC傳輸來的箱型的不同分為不同的觸發(fā)組，其中：40尺及以上為一個(gè)觸發(fā)組，雙20尺為一個(gè)觸發(fā)組，單20尺為一個(gè)觸發(fā)組?！疚臋n編號(hào)】G06K9/32GK106067023SQ201610387591【公開日】2016年11月2日【申請(qǐng)日】2016年6月2日公開號(hào)201610387591.1,CN106067023A,CN106067023A,CN201610387591,CN-A-106067023,CN106067023A,CN106067023A,CN201610387591,CN201610387591.1【發(fā)明人】孫超,高艷龍,陳福興,鄭英美,孟朝輝【申請(qǐng)人】北京國泰星云科技有限公司