本發(fā)明涉及農(nóng)產(chǎn)品外觀品質(zhì)檢測的裝置與方法，具體地說是涉及一種馬鈴薯分選和缺陷檢測裝置及檢測方法。

背景技術(shù)：

形狀和表面缺陷是馬鈴薯外觀品質(zhì)的重要特征，通過對這些特征指標(biāo)進行定量測量，可以完成馬鈴薯外部缺陷、形狀等指標(biāo)的綜合檢測和分級。

我國是世界上最大的馬鈴薯生產(chǎn)國，而馬鈴薯品質(zhì)檢測絕大部分仍停留在靠人工感官進行識別判斷階段。這種人工檢測、評定馬鈴薯品質(zhì)的方法效率低，客觀性、準(zhǔn)確性較差，難以滿足高標(biāo)準(zhǔn)分級的要求，不利于實現(xiàn)規(guī)?；?、自動化品質(zhì)檢測作業(yè)。

利用機器視覺進行檢測可以排除人為主觀因素的干擾，能夠為實現(xiàn)規(guī)?；?、自動化品質(zhì)檢測作業(yè)提供可靠基礎(chǔ)。

目前大部分馬鈴薯加工企業(yè)中使用的馬鈴薯的分級裝置一般都只是通過重量進行分級，利用天平或者壓力傳感器獲取重量信息，然后通過按照杠桿原理或者控制電路進行分級。但這些裝置只能按照重量分級，對于有缺陷的馬鈴薯薯塊，無法自動挑出。這樣的設(shè)備在實際應(yīng)用操作過程中，需要額外增加人力先將次品挑出，然后再按照重量分級，這樣就會增加馬鈴薯分級成本，增加人力物力，從而提高了生產(chǎn)成本，分級過程無法真正離開人工的參與，不能為實現(xiàn)規(guī)?；⒆詣踊焚|(zhì)檢測作業(yè)提供可靠基礎(chǔ)。

雖然現(xiàn)在對基于計算機視覺的馬鈴薯分級方法和設(shè)備研究逐漸成為熱點，但一般只限于實驗室研究或者采用單一攝像頭對馬鈴薯拍照，真正大批量應(yīng)用于實際生產(chǎn)加工過程中的不多，有些分級算法雖然有了比較高識別率，但由于只采用一個攝像頭，對馬鈴薯的缺陷檢測并不全面，存在漏檢的概率。

為了解決現(xiàn)有馬鈴薯分級設(shè)備只能按照重量分級或者單一攝像頭的缺陷，不能很好地滿足實時檢測的要求等問題，提出了一種全景視覺馬鈴薯分選和缺陷檢測裝置及其方法。

通過國內(nèi)專利文獻檢索發(fā)現(xiàn)有一些相關(guān)專利文獻報道，主要有以下一些：

1、公布號為CN 202539096 U 的專利公開了一種果蔬分選剔除機構(gòu)，尤其是適用于大型果蔬的分選剔除機構(gòu)，可將混在果蔬之中的土塊、石頭及玻璃等剔除，也可將不成熟的果實進行剔除。該專利采用迎面擊打果蔬的方式，且分選后的果蔬直接跌落到物料倉中，容易對果蔬造成損害。

2、公告號為CN 104056790 A，名稱為“一種馬鈴薯智能分選方法與裝置”的實用新型專利，解決現(xiàn)有馬鈴薯分級設(shè)備只能按照重量分級，以及有些設(shè)備雖然能按照外觀特征分級，但分級算法比較復(fù)雜，不能很好地滿足實時檢測的要求等問題。

3、公告號為CN 204746897 U，名稱為“一種基于機器視覺技術(shù)的馬鈴薯分級控制裝置” 實用新型專利，可以實現(xiàn)雜質(zhì)、不同品質(zhì)馬鈴薯的快速檢測分選，利用空氣噴射器剔除雜質(zhì)，控制馬鈴薯與導(dǎo)向撥桿之間的碰撞角度來降低碰撞力，減少馬鈴薯的機械損傷；根據(jù)馬鈴薯的檢測橫徑采用一個或多個導(dǎo)向機構(gòu)對馬鈴薯進行剔除，實現(xiàn)待分級馬鈴薯的分選。

4、公告號為 CN 203732461 A，名稱為“一種用于馬鈴薯品質(zhì)圖像采集的水平輸送和勻速翻轉(zhuǎn)裝置”的實用新型專利，設(shè)計一種用于馬鈴薯品質(zhì)圖像采集的水平輸送和勻速翻轉(zhuǎn)裝置，可以實現(xiàn)馬鈴薯外部品質(zhì)無損檢測中，在水平輸送中勻速平穩(wěn)翻轉(zhuǎn)，且可保障馬鈴薯檢測過程的中心定位，實現(xiàn)馬鈴薯外部品質(zhì)圖像的動態(tài)采集。

上述專利雖然提出了馬鈴薯的分揀方法和馬鈴薯分級設(shè)備，有些設(shè)備雖然能按照外觀特征分級，但由于只采用一個攝像頭，需要翻轉(zhuǎn)馬鈴薯，對其缺陷檢測并不全面，存在漏檢的概率，且對攝像頭拍攝的照片進行分析處理的手段較為簡陋，不能準(zhǔn)確、迅速并全面地分析圖像，分析結(jié)果不盡如人意。另外，翻轉(zhuǎn)馬鈴薯時也可能導(dǎo)致馬鈴薯發(fā)生損傷。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種全景視覺馬鈴薯分選和缺陷檢測裝置，能夠自動輸送馬鈴薯，無須翻轉(zhuǎn)馬鈴薯即可對馬鈴薯進行全面拍攝和檢測，檢測較為高效和準(zhǔn)確。

為實現(xiàn)上述目的，本發(fā)明的全景視覺馬鈴薯分選和缺陷檢測裝置包括輸送裝置、檢測暗箱、分選機構(gòu)、紅外傳感器模塊、圖像采集機構(gòu)、內(nèi)置有卷積神經(jīng)網(wǎng)絡(luò)和支持向量機SVM的圖像處理分析模塊、內(nèi)置有支持向量機SVM的數(shù)據(jù)融合模塊和用于協(xié)調(diào)各部件動作的時序模塊；

輸送裝置包括機架，機架上間隔設(shè)有輸送滾軸，各輸送滾軸位于同一水平面上，相鄰輸送滾軸之間相距1－2.5厘米；以輸送方向為前方，最前端的輸送滾軸處的機架向前連接有下料板；最后端的輸送滾軸處的機架向后連接有上料裝置，上料裝置向下傾斜設(shè)置，上料裝置采用皮帶輸送裝置或鏈條輸送裝置；輸送滾軸左右兩側(cè)的機架上設(shè)有用于阻擋馬鈴薯沿左右方向落下的輸送擋板組；各輸送滾軸的左端部均設(shè)有用于與動力機構(gòu)傳動連接的傳動齒輪；

輸送裝置中部的機架向上連接有檢測暗箱，檢測暗箱的前側(cè)壁下部和后側(cè)壁下部對應(yīng)開設(shè)有用于通過馬鈴薯的開口；檢測暗箱內(nèi)設(shè)有所述圖像采集機構(gòu)、上照明裝置和下照明裝置；所述下照明裝置設(shè)有兩個；

檢測暗箱前后方向的中部位置正下方的相鄰兩個輸送滾軸采用透明滾軸機構(gòu)；透明滾軸機構(gòu)包括中空設(shè)置且兩端敞口的透明玻璃滾軸、左橡膠滾軸、右橡膠滾軸、左支撐裝置、右支撐裝置和支撐連桿；左、右支撐裝置均包括滾軸支架和通過滾動軸承連接在滾軸支架上的插接筒；左支撐裝置的插接筒的左端部設(shè)有用于與動力機構(gòu)傳動連接的傳動齒輪；透明玻璃滾軸的左端插接所述左橡膠滾軸，透明玻璃滾軸的右端插接所述右橡膠滾軸，左、右橡膠滾軸均與所述透明玻璃滾軸過盈配合；右橡膠滾軸的右端插接在所述右支撐裝置的插接筒內(nèi)并與該插接筒過盈配合，左橡膠滾軸的左端插接在所述左支撐裝置的插接筒內(nèi)并與該插接筒過盈配合；右橡膠滾軸中空設(shè)置，所述支撐連桿的右端與一攝像動力裝置傳動連接，攝像動力裝置連接在所述機架的右端部，支撐連桿向左穿過所述右支撐裝置的插接筒和右橡膠滾軸且其左端位于所述透明玻璃滾軸內(nèi)；

所述兩個透明滾軸機構(gòu)之間的間隙形成紅外傳感通道，所述紅外傳感器模塊包括紅外發(fā)射器和紅外接收器，紅外發(fā)射器和紅外接收器分別位于紅外傳感通道的左方和右方，且紅外發(fā)射器和紅外接收器均正對所述紅外傳感通道；

圖像采集機構(gòu)包括1個用于采集馬鈴薯全局圖像的全局圖像采集模塊和6個用于采集馬鈴薯局部圖像的局部圖像采集模塊；全局圖像采集模塊包括設(shè)置在檢測暗箱內(nèi)后側(cè)壁頂部的全局攝像頭；

所述6個局部圖像采集模塊分別為1個位于檢測暗箱內(nèi)后側(cè)壁中部的后方局部圖像采集模塊、1個位于檢測暗箱內(nèi)左側(cè)壁中部的左方局部圖像采集模塊、1個位于檢測暗箱內(nèi)右側(cè)壁中部的右方局部圖像采集模塊、1個位于檢測暗箱內(nèi)前側(cè)壁中部的前方局部圖像采集模塊和2個下方局部圖像采集模塊，每個所述的透明滾軸機構(gòu)的透明玻璃滾軸內(nèi)分別設(shè)有1個所述的下方局部圖像采集模塊和1個所述的下照明裝置，下方局部圖像采集模塊和下照明裝置均連接在所述支撐連桿的左端部；

前方、后方、左方和右方局部圖像采集模塊結(jié)構(gòu)相同，均包括用于帶動攝像頭作往復(fù)直線運動的攝像頭運動機構(gòu)和連接在攝像頭運動機構(gòu)上的局部攝像頭；每個下方局部圖像采集模塊包括一個局部攝像頭；

檢測暗箱出口處的機架一側(cè)設(shè)有用于將馬鈴薯沿左右方向推離輸送裝置的分選機構(gòu)，分選機構(gòu)所對應(yīng)的輸送擋板組設(shè)有用于通過馬鈴薯的缺口；所述分選機構(gòu)為推桿式分選機構(gòu)或者噴氣式分選機構(gòu)；分選機構(gòu)處的輸送裝置部分形成待分離區(qū)域；

所述檢測暗箱前方的機架上連接有安裝架，安裝架上設(shè)有所述圖像處理分析模塊、數(shù)據(jù)融合模塊和用于協(xié)調(diào)各部件動作的時序模塊；時序模塊連接所述動力機構(gòu)、攝像頭運動機構(gòu)的驅(qū)動裝置、紅外傳感器模塊、分選機構(gòu)和圖像處理分析模塊；

所述局部攝像頭和全局攝像頭均連接所述圖像處理分析模塊。

下料板的左右兩側(cè)邊向上連接有下料擋板。從而使馬鈴薯在通過下料板時不會從左右兩側(cè)掉下來。

所述推桿式分選機構(gòu)包括分選動力裝置和與分選動力裝置傳動連接的推桿，推桿上設(shè)有用于推動馬鈴薯的撥板。

所述噴氣式分選機構(gòu)包括噴氣管，噴氣管一端連接高壓氣源，另一端連接有氣嘴，氣嘴位于檢測暗箱出口處的機架一側(cè)且氣嘴開口朝向機架的另一側(cè)。

本發(fā)明的目的還在于提供一種使用上述檢測裝置的馬鈴薯分選檢測方法，依次按以下步驟進行：

在開始對馬鈴薯進行分選檢測之前，先使用正常無缺陷馬鈴薯的大小和形狀規(guī)則度，以及有缺陷馬鈴薯的大小、形狀規(guī)則度和表面缺陷種類信息，對數(shù)據(jù)融合模塊的支持向量機SVM進行離線訓(xùn)練，構(gòu)建在線檢測的支持向量機SVM分類器；

同時使用離線訓(xùn)練樣本數(shù)據(jù)中不同尺寸、不同形狀分類下的馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity所對應(yīng)的特征值，對圖像分析處理模塊的支持向量機SVM進行離線訓(xùn)練，構(gòu)建在線檢測的支持向量機SVM分類器；

第一步驟是人工或者使用機械將馬鈴薯放置到上料裝置上，然后開啟動力機構(gòu)，上料裝置將馬鈴薯傳送到輸送滾軸處，動力機構(gòu)驅(qū)動各輸送滾軸旋轉(zhuǎn)，帶動馬鈴薯向前運動；

第二步驟是開啟紅外傳感器模塊，馬鈴薯通過紅外傳感通道時遮擋紅外發(fā)射器所發(fā)出的紅外線；時序模塊檢測到紅外線傳感器模塊發(fā)出的紅外線被遮擋的信號后，控制動力機構(gòu)停止，并控制全局攝像頭進行拍照；全局攝像頭對馬鈴薯進行拍照后將圖像傳送給圖像處理分析模塊，圖像處理分析模塊計算出馬鈴薯在檢測暗箱中的位置并將馬鈴薯的位置信息、形狀信息和大小信息傳送給時序模塊；時序模塊控制前方、后方、左方和右方局部圖像采集模塊的攝像頭運動機構(gòu)以及下方局部圖像采集模塊的攝像動力裝置，使各局部攝像頭向接近馬鈴薯的方向運動至拍攝位置，各局部攝像頭從不同方位對馬鈴薯進行拍照后分別將拍攝的圖像傳送給圖像處理分析模塊；本步驟中，各局部攝像頭采集圖像為原始三通道RGB圖像，；

第三步驟是圖像處理分析模塊對接收到的圖像進行處理，獲取馬鈴薯的表面缺陷種類；圖像處理分析模塊對于由局部圖像采集模塊采集的圖像分析得到的馬鈴薯表面缺陷種類信息，以及由全局圖像采集模塊采集的圖像分析得到的馬鈴薯位置、形狀和大小信息發(fā)送至數(shù)據(jù)融合模塊；

第四步驟是使用數(shù)據(jù)融合模塊構(gòu)建的支持向量機SVM分類器，對接收到的馬鈴薯表面缺陷種類信息、馬鈴薯位置、形狀和大小信息進行數(shù)據(jù)融合，判斷待檢測馬鈴薯是否合格，并將判斷結(jié)果發(fā)送至?xí)r序模塊；

第五步驟是時序模塊控制動力機構(gòu)啟動，馬鈴薯向前離開檢測暗箱并到達待分離區(qū)域后，時序模塊控制分選機構(gòu)啟動，將不合格的馬鈴薯由輸送擋板上的用于通過馬鈴薯的缺口處推離輸送裝置，合格馬鈴薯由輸送裝置輸送至下料板后送出，完成馬鈴薯的分選工作。

所述第二步驟中，圖像分析處理模塊根據(jù)全局攝像頭采集的圖像分析得到馬鈴薯的形狀和大小信息的處理過程為：

(1)對當(dāng)前圖像與背景圖像進行相減從而獲得待檢馬鈴薯的前景像素部分；背景圖像為沒有馬鈴薯時全局攝像頭所拍攝圖片；

對待檢馬鈴薯的前景像素部分進行灰度化，獲得前景部分；

(2)提取邊緣特征；本操作是通過已經(jīng)獲取的前景部分獲取馬鈴薯的邊緣特征；具體是使用Roberts邊緣檢測算子對前景部分進行計算，得到一副代表馬鈴薯輪廓信息的黑白二值圖像；

(3) 全局特征值提??；在黑白二值圖像的基礎(chǔ)上，計算待檢測馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity；

(4) 外觀及尺寸分類；使用圖像分析處理模塊的支持向量機SVM，根據(jù)計算出的馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity計算出馬鈴薯的形狀和大小信息。

所述第三步驟中，圖像分析處理模塊根據(jù)局部攝像頭采集的圖像分析得到馬鈴薯的缺陷種類信息的處理過程為：

（1）將局部攝像頭采集的原始三通道RGB圖像縮放為224*224三通道RGB圖像，

（2）卷積神經(jīng)網(wǎng)絡(luò)的輸入層為整個縮放后的圖像，將圖像按列展開，形成50176個結(jié)點；

（3）對展開后的圖像進行卷積，產(chǎn)生三個特征提取圖，然后對特征提取圖中每組的四個像素再進行求和、加權(quán)值、加偏置，通過Sigmoid函數(shù)得到三個特征映射圖；

（4）對產(chǎn)生的所述三個特征映射圖再次進行卷積，卷積后產(chǎn)生三個二次特征提取圖，然后對二次特征提取圖中每組的四個像素再進行求和、加權(quán)值、加偏置，通過Sigmoid函數(shù)得到三個二次特征映射圖。

（5）對所述三個二次特征映射圖進行光柵化，并連接成一個向量輸入到卷積神經(jīng)網(wǎng)絡(luò)，得到馬鈴薯的缺陷種類信息。

本發(fā)明具有如下的優(yōu)點：

本發(fā)明參照國家出口標(biāo)準(zhǔn)，根據(jù)馬鈴薯的形狀、重量及外觀特征，在不翻動馬鈴薯的情況下，對馬鈴薯進行上、下、左、右、前、后全景視覺檢測，從而完成馬鈴薯的實時檢測與分級。

本發(fā)明的全景視覺馬鈴薯分選和缺陷檢測裝置及其分選檢測方法，無需馬鈴薯在檢測過程中進行翻轉(zhuǎn)運動即可完成全方位的檢測，一方面避免了馬鈴薯的不必要損傷，另一方面避免了動態(tài)拍照檢測中的不穩(wěn)定性，提高圖像清晰程度，提升了檢測的準(zhǔn)確率。本發(fā)明能廣泛用于馬鈴薯農(nóng)產(chǎn)品外部品質(zhì)的實時在線檢測，對于促進我國馬鈴薯產(chǎn)業(yè)的發(fā)展具有重要的現(xiàn)實意義和良好的應(yīng)用前景。

本發(fā)明的全景視覺馬鈴薯分選和缺陷檢測裝置結(jié)構(gòu)合理，本發(fā)明的其分選檢測方法步驟安排緊湊高效，兩者結(jié)合能夠?qū)崿F(xiàn)馬鈴薯的自動運輸、拍照、分析檢測，馬鈴薯在通過本發(fā)明的檢測裝置后，自動將有缺陷的馬鈴薯分選出來，為馬鈴薯的后續(xù)加工或者銷售提供支持。

透明滾軸機構(gòu)相鄰設(shè)有兩個，因此拍攝的圖像能夠完全覆蓋馬鈴薯的底部特征。

附圖說明

圖1是本發(fā)明的結(jié)構(gòu)示意圖；

圖2是本發(fā)明的檢測方法的流程圖；

圖3是檢測暗箱的結(jié)構(gòu)示意圖；

圖4是透明滾軸機構(gòu)的分解結(jié)構(gòu)示意圖；

圖5是圖像分析處理模塊內(nèi)置的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖6是圖像分析處理模塊與數(shù)據(jù)融合模塊的數(shù)據(jù)融合流程圖。

具體實施方式

本發(fā)明以馬鈴薯的輸送方向為前向；圖1中箭頭所示方向即為馬鈴薯的輸送方向。

如圖1至圖6所示，本發(fā)明提供了一種全景視覺馬鈴薯分選和缺陷檢測裝置，包括輸送裝置、檢測暗箱、分選機構(gòu)、紅外傳感器模塊、圖像采集機構(gòu)、內(nèi)置有卷積神經(jīng)網(wǎng)絡(luò)和支持向量機SVM的圖像處理分析模塊30、內(nèi)置有支持向量機SVM的數(shù)據(jù)融合模塊31和用于協(xié)調(diào)各部件動作的時序模塊32；

輸送裝置包括機架1，機架1上間隔設(shè)有輸送滾軸2，各輸送滾軸2位于同一水平面上，相鄰輸送滾軸2之間相距1－2.5厘米，從而使正常大小的馬鈴薯不會從相鄰輸送滾軸2之間的縫隙漏下去；以輸送方向為前方，最前端的輸送滾軸2處的機架1向前連接有下料板3；最后端的輸送滾軸2處的機架1向后連接有上料裝置，上料裝置向下傾斜設(shè)置，上料裝置采用皮帶輸送裝置或鏈條輸送裝置。采用皮帶輸送裝置時，圖1中附圖標(biāo)記35所示為設(shè)置于輸送皮帶上的上料板，工作時上料板兜住馬鈴薯，使馬鈴薯隨著皮帶被輸送至輸送滾軸2處。采用鏈條輸送裝置時，圖1中附圖標(biāo)記35所示為設(shè)置于鏈條上的上料斗，工作時上料斗兜住馬鈴薯，使馬鈴薯被輸送至輸送滾軸2處。上料裝置的左右兩側(cè)設(shè)有用于阻擋馬鈴薯沿左右方向落下的上料擋板36。

輸送滾軸2左右兩側(cè)的機架1上設(shè)有用于阻擋馬鈴薯沿左右方向落下的輸送擋板組4；各輸送滾軸2的左端部（輸送滾軸2的左端部向左伸出輸送擋板組4）均設(shè)有用于與動力機構(gòu)傳動連接的傳動齒輪；動力機構(gòu)為普通的齒輪傳動機構(gòu)，為本領(lǐng)域的常規(guī)技術(shù)，其具體結(jié)構(gòu)不再詳述，圖未示。

輸送裝置中部的機架1向上連接有檢測暗箱5，檢測暗箱5的前側(cè)壁下部和后側(cè)壁下部對應(yīng)開設(shè)有用于通過馬鈴薯的開口6；檢測暗箱5內(nèi)設(shè)有所述圖像采集機構(gòu)、上照明裝置7和下照明裝置8；（上照明裝置7采用環(huán)形燈，下照明裝置8采用LED燈）所述下照明裝置8設(shè)有兩個；

檢測暗箱5前后方向的中部位置正下方的相鄰兩個輸送滾軸2采用透明滾軸機構(gòu)；透明滾軸機構(gòu)包括中空設(shè)置且兩端敞口的透明玻璃滾軸9、左橡膠滾軸10、右橡膠滾軸11、左支撐裝置、右支撐裝置和支撐連桿15；左、右支撐裝置均包括滾軸支架12和通過滾動軸承13連接在滾軸支架12上的插接筒14；左支撐裝置的插接筒14的左端部設(shè)有用于與動力機構(gòu)傳動連接的傳動齒輪（傳動齒輪為常規(guī)結(jié)構(gòu)，圖未示）；透明玻璃滾軸9的左端插接所述左橡膠滾軸10，透明玻璃滾軸9的右端插接所述右橡膠滾軸11，左、右橡膠滾軸10、11均與所述透明玻璃滾軸9過盈配合；右橡膠滾軸11的右端插接在所述右支撐裝置的插接筒14內(nèi)并與該插接筒14過盈配合，左橡膠滾軸10的左端插接在所述左支撐裝置的插接筒14內(nèi)并與該插接筒14過盈配合；右橡膠滾軸11中空設(shè)置，所述支撐連桿15的右端與一攝像動力裝置傳動連接，攝像動力裝置連接在所述機架1的右端部。攝像動力裝置采用氣缸、液壓缸、電動推桿等各種常見形式，為本領(lǐng)域常規(guī)技術(shù)，圖未示。工作時，在時序模塊32的控制下，攝像動力裝置通過支撐連桿15帶動下方局部圖像采集模塊的局部攝像頭運動至馬鈴薯下方適合拍照的位置。

支撐連桿15向左穿過所述右支撐裝置的插接筒14和右橡膠滾軸11且其左端位于所述透明玻璃滾軸9內(nèi)；

所述兩個透明滾軸機構(gòu)之間的間隙形成紅外傳感通道16，所述紅外傳感器模塊包括紅外發(fā)射器17和紅外接收器18，紅外發(fā)射器17和紅外接收器18分別位于紅外傳感通道16的左方和右方，且紅外發(fā)射器17和紅外接收器18均正對所述紅外傳感通道16；

圖像采集機構(gòu)包括1個用于采集馬鈴薯全局圖像的全局圖像采集模塊和6個用于采集馬鈴薯局部圖像的局部圖像采集模塊；全局圖像采集模塊包括設(shè)置在檢測暗箱5內(nèi)后側(cè)壁頂部的全局攝像頭19；

所述6個局部圖像采集模塊分別為1個位于檢測暗箱5內(nèi)后側(cè)壁中部的后方局部圖像采集模塊22、1個位于檢測暗箱5內(nèi)左側(cè)壁中部的左方局部圖像采集模塊23、1個位于檢測暗箱5內(nèi)右側(cè)壁中部的右方局部圖像采集模塊24、1個位于檢測暗箱5內(nèi)前側(cè)壁中部的前方局部圖像采集模塊25和2個下方局部圖像采集模塊26，每個所述的透明滾軸機構(gòu)的透明玻璃滾軸9內(nèi)分別設(shè)有1個所述的下方局部圖像采集模塊26和1個所述的下照明裝置8，下方局部圖像采集模塊26和下照明裝置8均連接在所述支撐連桿15的左端部；

前方、后方、左方和右方局部圖像采集模塊結(jié)構(gòu)相同，均包括用于帶動攝像頭作往復(fù)直線運動的攝像頭運動機構(gòu)20和連接在攝像頭運動機構(gòu)20上的局部攝像頭21；攝像頭運動機構(gòu)20包括導(dǎo)軌和驅(qū)動裝置，攝像頭滑動連接在導(dǎo)軌上并與驅(qū)動裝置傳動連接。驅(qū)動裝置可以采用氣缸、電動推桿、微型電機及絲桿機構(gòu)等各種常見的直線驅(qū)動裝置。攝像頭運動機構(gòu)20為本領(lǐng)域常規(guī)技術(shù)，圖未詳示。每個下方局部圖像采集模塊26包括局部攝像頭21。

檢測暗箱5出口處的機架1一側(cè)設(shè)有用于將馬鈴薯沿左右方向推離輸送裝置的分選機構(gòu)，分選機構(gòu)所對應(yīng)的輸送擋板組4設(shè)有用于通過馬鈴薯的缺口27；所述分選機構(gòu)為推桿式分選機構(gòu)或者噴氣式分選機構(gòu)；圖1中所示分選機構(gòu)為推桿式分選機構(gòu)。當(dāng)采用噴氣式分選機構(gòu)時，噴氣式分選機構(gòu)包括通氣管，通氣管一端連接噴氣嘴，另一端連接高壓氣缸或者氣泵。推桿式分選機構(gòu)或者噴氣式分選機構(gòu)的各部件均為本領(lǐng)域常規(guī)技術(shù)，圖未詳示其具體結(jié)構(gòu)。

分選機構(gòu)處的輸送裝置部分形成待分離區(qū)域。

所述檢測暗箱5前方的機架1上連接有安裝架29，安裝架29上設(shè)有所述圖像處理分析模塊30、數(shù)據(jù)融合模塊31和用于協(xié)調(diào)各部件動作的時序模塊32（圖1中未具體示出圖像處理分析模塊30、數(shù)據(jù)融合模塊31和時序模塊32）；時序模塊32連接所述動力機構(gòu)、攝像頭運動機構(gòu)20的驅(qū)動裝置、紅外傳感器模塊、分選機構(gòu)和圖像處理分析模塊30；

所述局部攝像頭21和全局攝像頭19均連接所述圖像處理分析模塊30。

下料板3的左右兩側(cè)邊向上連接有下料擋板33。從而使馬鈴薯在通過下料板3時不會從左右兩側(cè)掉下來。

圖1所示的分選機構(gòu)為推桿式分選機構(gòu)，所述推桿式分選機構(gòu)包括分選動力裝置（分選動力裝置采用氣缸、液壓缸、電動推桿等各種常見形式，圖未示）和與分選動力裝置傳動連接的推桿34，推桿34上設(shè)有用于推動馬鈴薯的撥板28。

所述噴氣式分選機構(gòu)包括噴氣管，噴氣管一端連接高壓氣源（如氣泵或者壓縮空氣罐），另一端連接有氣嘴，氣嘴位于檢測暗箱5出口處的機架1一側(cè)且氣嘴開口朝向機架1的另一側(cè)。噴氣式分選機構(gòu)的各部件均為常規(guī)技術(shù)，圖未示。

本發(fā)明還公開了采用上述全景視覺馬鈴薯分選和缺陷檢測裝置的馬鈴薯分選檢測方法，依次按以下步驟進行：

在開始對馬鈴薯進行分選檢測之前，先使用正常無缺陷馬鈴薯的大小和形狀規(guī)則度，以及有缺陷馬鈴薯的大小、形狀規(guī)則度和表面缺陷種類信息，對數(shù)據(jù)融合模塊31的支持向量機SVM進行離線訓(xùn)練，構(gòu)建在線檢測的支持向量機SVM分類器；

同時使用離線訓(xùn)練樣本數(shù)據(jù)中不同尺寸、不同形狀分類下的馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity所對應(yīng)的特征值，對圖像分析處理模塊的支持向量機SVM進行離線訓(xùn)練，構(gòu)建在線檢測的支持向量機SVM分類器；在工作的過程中，上述兩個支持向量機SVM得到越來越多的數(shù)據(jù)，使本發(fā)明的方法具有學(xué)習(xí)的特性，隨著處理的馬鈴薯的圖像越來越多，本發(fā)明的處理速度和處理準(zhǔn)確度均會得到提升。

第一步驟是人工或者使用機械將馬鈴薯放置到上料裝置上，然后開啟動力機構(gòu)，上料裝置的上料板（或者上料斗）將馬鈴薯傳送到輸送滾軸2處，動力機構(gòu)驅(qū)動各輸送滾軸2旋轉(zhuǎn)，帶動馬鈴薯向前運動；

第二步驟是開啟紅外傳感器模塊，馬鈴薯通過紅外傳感通道16時遮擋紅外發(fā)射器17所發(fā)出的紅外線；時序模塊32檢測到紅外線傳感器模塊發(fā)出的紅外線被遮擋的信號后，控制動力機構(gòu)停止（此時馬鈴薯位于兩個透明玻璃滾軸9之間），并控制全局攝像頭19進行拍照；全局攝像頭19對馬鈴薯進行拍照后將圖像傳送給圖像處理分析模塊30，圖像處理分析模塊30計算出馬鈴薯在檢測暗箱5中的位置并將馬鈴薯的位置信息、形狀信息和大小信息傳送給時序模塊32；時序模塊32控制前方、后方、左方和右方局部圖像采集模塊的攝像頭運動機構(gòu)20以及下方局部圖像采集模塊的攝像動力裝置，使各局部攝像頭21向接近馬鈴薯的方向運動至適合的拍攝位置，各局部攝像頭21（包括位于透明玻璃滾軸9內(nèi)的兩個攝像頭）從不同方位對馬鈴薯進行拍照后分別將拍攝的圖像傳送給圖像處理分析模塊30；本步驟中，各局部攝像頭21采集圖像為原始三通道RGB圖像，圖像的像素為256*256。

第三步驟是圖像處理分析模塊30對接收到的圖像進行處理，獲取馬鈴薯的表面缺陷種類；圖像處理分析模塊30對于由局部圖像采集模塊采集的圖像分析得到的馬鈴薯表面缺陷種類信息，以及由全局圖像采集模塊采集的圖像分析得到的馬鈴薯位置、形狀和大小信息發(fā)送至數(shù)據(jù)融合模塊31；

第四步驟是使用數(shù)據(jù)融合模塊31構(gòu)建的支持向量機SVM分類器，對接收到的馬鈴薯表面缺陷種類信息、馬鈴薯位置、形狀和大小信息進行數(shù)據(jù)融合，判斷待檢測馬鈴薯是否合格，并將判斷結(jié)果發(fā)送至?xí)r序模塊32；

第五步驟是時序模塊32控制動力機構(gòu)啟動，馬鈴薯向前離開檢測暗箱5并到達待分離區(qū)域后，時序模塊32控制分選機構(gòu)啟動，將不合格的馬鈴薯由輸送擋板上的用于通過馬鈴薯的缺口27處推離輸送裝置，合格馬鈴薯由輸送裝置輸送至下料板3后送出，完成馬鈴薯的分選工作。

所述第二步驟中，圖像分析處理模塊根據(jù)全局攝像頭19采集的圖像分析得到馬鈴薯的形狀和大小信息的處理過程為：

首先對圖像進行二值化，并進行濾波、形狀學(xué)操作，得到二值化圖像，并利用Roberts邊緣檢測算子進行邊緣檢測，在二值化圖像上求得馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity；進一步，采用支持向量機SVM，根據(jù)離線訓(xùn)練樣本數(shù)據(jù)，實時根據(jù)當(dāng)前檢測的馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity來判斷馬鈴薯的大小、形狀規(guī)則度；

(1)對當(dāng)前待處理圖像與背景圖像進行相減從而獲得待檢馬鈴薯的前景像素部分；背景圖像為沒有馬鈴薯時全局攝像頭19所拍攝圖片；

通過紅外傳感器模塊可準(zhǔn)確檢測到輸送裝置上的馬鈴薯輸送情況，因而能為圖像處理分析模塊30提供準(zhǔn)確的參考信號輸入。通過兩楨圖像相減，得到不相同的像素集合。

對待檢馬鈴薯的前景像素部分進行灰度化，獲得前景部分；

(2)提取邊緣特征；本操作是通過已經(jīng)獲取的前景部分獲取馬鈴薯的邊緣特征；具體是使用Roberts邊緣檢測算子對前景部分進行計算，得到一副代表馬鈴薯主要輪廓信息的黑白二值圖像；

(3) 全局特征值提取；在黑白二值圖像的基礎(chǔ)上，計算待檢測馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity；

(4) 外觀及尺寸分類；使用圖像分析處理模塊的支持向量機SVM，根據(jù)計算出的馬鈴薯區(qū)域面積Area、周長Perimeter和橢圓率Ellipticity計算出馬鈴薯的形狀和大小信息。

所述第三步驟中，圖像分析處理模塊根據(jù)局部攝像頭21采集的圖像分析得到馬鈴薯的缺陷種類信息的處理過程為：

（1）將局部攝像頭21采集的256*256原始三通道RGB圖像縮放為224*224三通道RGB圖像，

再將縮放后的圖像通過卷積神經(jīng)網(wǎng)絡(luò)CNN進行辨識，該卷積神經(jīng)網(wǎng)絡(luò)CNN包括8層，前5層為卷積層，第6~8層為全連接層。輸出10維向量表示該圖像屬于10類馬鈴薯表面缺陷的概率密度分布。其卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)CNN如圖5所示，網(wǎng)絡(luò)的數(shù)據(jù)處理流程如下：

（2）卷積神經(jīng)網(wǎng)絡(luò)的輸入層為整個縮放后的圖像，如圖5所示，將圖像按列展開，形成50176個結(jié)點；其中第一層的結(jié)點向前沒有任何的連結(jié)線。

（3）對展開后的圖像進行卷積，產(chǎn)生三個特征提取圖，然后對特征提取圖中每組的四個像素再進行求和、加權(quán)值、加偏置，通過Sigmoid函數(shù)得到三個特征映射圖；

（4）對產(chǎn)生的所述三個特征映射圖再次進行卷積，卷積后產(chǎn)生三個二次特征提取圖，然后對二次特征提取圖中每組的四個像素再進行求和、加權(quán)值、加偏置，通過Sigmoid函數(shù)得到三個二次特征映射圖。

（5）對所述三個二次特征映射圖進行光柵化，并連接成一個向量輸入到傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，得到馬鈴薯的缺陷種類信息。

局部圖像的馬鈴薯缺陷檢測中借助卷積神經(jīng)網(wǎng)絡(luò)完成分類，該網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確的數(shù)學(xué)表達式，只要用已知的模式對卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對之間的映射能力。卷積網(wǎng)絡(luò)執(zhí)行的是有導(dǎo)師訓(xùn)練，所以其樣本集是由形如：（馬鈴薯局部表面二值輸入圖像向量，馬鈴薯表面缺陷類型輸出向量）的向量對構(gòu)成的。所有這些向量對，都應(yīng)來源于網(wǎng)絡(luò)即將模擬的系統(tǒng)的實際“運行”結(jié)果，它們是從實際運行系統(tǒng)中采集來的。在開始訓(xùn)練前，所有的權(quán)都用一些不同的小隨機數(shù)進行初始化。

在圖像處理分析模塊30中，其支持向量機SVM的離線訓(xùn)練樣本庫和卷積神經(jīng)網(wǎng)絡(luò)CNN的離線訓(xùn)練樣本庫可以增加樣本數(shù)量。另外，馬鈴薯的大小、形狀規(guī)則度和表面缺陷種類可以隨著樣本數(shù)量的增加而進一步細分。