本發(fā)明涉及豆類(lèi)蔬菜初加工，更具體地講，涉及一種基于機(jī)器視覺(jué)的空心鮮食大豆檢測(cè)方法及分揀裝置。

背景技術(shù)：

1、鮮食大豆是一種傳統(tǒng)的豆類(lèi)蔬菜，栽培歷史悠久，是我國(guó)重要的糧食作物之一。由于栽培環(huán)境、個(gè)體差異等諸多因素，收獲的鮮食大豆會(huì)存在空心、蟲(chóng)孔、霉斑等問(wèn)題，降低鮮食大豆整體品質(zhì)，減少經(jīng)濟(jì)效益。因此鮮食大豆的品質(zhì)分選為收獲期間不可或缺的一環(huán)。

2、鮮食大豆的品質(zhì)分揀中，蟲(chóng)孔、霉斑此類(lèi)外部品質(zhì)檢測(cè)已較為成熟，而豆莢中籽粒缺失、籽粒干癟、籽粒過(guò)小或僅包含種皮的個(gè)體均判定為空心鮮食大豆，空心鮮食大豆體間表面差異小，特征不明顯，僅存在內(nèi)部籽粒差異，其分選面臨著巨大的挑戰(zhàn)。目前，色選機(jī)的照明機(jī)構(gòu)采用可見(jiàn)光對(duì)鮮食大豆表面進(jìn)行照射與成像，無(wú)法傳遞鮮食大豆內(nèi)部信息，圖像采集機(jī)構(gòu)僅能捕獲鮮食大豆表面信息，難以區(qū)分空心鮮食大豆。利用高光譜成像儀獲取鮮食大豆高光譜影像及光譜數(shù)據(jù)，能夠?qū)崿F(xiàn)對(duì)鮮食大豆的內(nèi)部品質(zhì)檢測(cè)，檢測(cè)準(zhǔn)確率高，但高光譜成像儀成本較高，數(shù)據(jù)量大，圖像處理速度較慢，無(wú)法實(shí)現(xiàn)鮮食大豆高精度、高通量的分選要求。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的采集鮮食大豆內(nèi)部品質(zhì)成本高，圖像處理速度慢，無(wú)法達(dá)到高通量的鮮食大豆分選要求等技術(shù)問(wèn)題，本發(fā)明提供了一種基于機(jī)器視覺(jué)的空心鮮食大豆檢測(cè)方法及分揀裝置，實(shí)現(xiàn)針對(duì)空心鮮食大豆檢測(cè)的輕量化、高通量與高準(zhǔn)確率可靠分選。

2、所采用的技術(shù)方案如下：

3、一方面，本發(fā)明提供了一種基于機(jī)器視覺(jué)的空心鮮食大豆檢測(cè)方法，所述檢測(cè)方法包括如下步驟：

4、步驟1，獲取具有透射信息和表面信息的鮮食大豆rgb圖像；

5、步驟2，通過(guò)邊緣檢測(cè)算法提取單個(gè)鮮食大豆圖像，構(gòu)建具有中心坐標(biāo)的鮮食大豆數(shù)據(jù)集；

6、步驟3，對(duì)鮮食大豆數(shù)據(jù)集進(jìn)行標(biāo)注，并劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

7、步驟4，利用標(biāo)注后的鮮食大豆數(shù)據(jù)集構(gòu)建改進(jìn)的yolov8分類(lèi)模型；

8、步驟5，利用改進(jìn)的yolov8分類(lèi)模型對(duì)輸送線上的鮮食大豆進(jìn)行空心鮮食大豆判定，并將判定為空心鮮食大豆的信號(hào)傳輸給中央控制器，由中央控制器指令控制分選機(jī)構(gòu)分離出空心鮮食大豆。

9、優(yōu)選地，所述步驟1中，利用呈上下設(shè)置的透射光源和反射光源對(duì)鮮食大豆進(jìn)行同時(shí)照射，獲取具有透射信息和表面信息的鮮食大豆rgb圖像。

10、優(yōu)選地，所述步驟2中采用基于輪廓的邊緣檢測(cè)算法提取單個(gè)鮮食大豆圖像，構(gòu)建每個(gè)鮮食大豆中心坐標(biāo)的具體方法為：

11、步驟2.1，將采集到的鮮食大豆rgb圖像轉(zhuǎn)化為灰度圖；

12、步驟2.2，對(duì)灰度圖進(jìn)行高斯降噪濾波處理；

13、步驟2.3，利用canny算子檢測(cè)鮮食大豆灰度圖的邊緣，得到鮮食大豆輪廓；

14、步驟2.4，在原始的鮮食大豆rgb圖像上繪制鮮食大豆輪廓，并獲取鮮食大豆輪廓的最小外接矩形，經(jīng)裁剪后將最小外接矩形的中心坐標(biāo)作為鮮食大豆的中心坐標(biāo)。

15、進(jìn)一步地，所述步驟3中還包括使用數(shù)據(jù)擴(kuò)增方法對(duì)原始訓(xùn)練集數(shù)據(jù)進(jìn)行擴(kuò)增，所采用的數(shù)據(jù)擴(kuò)增方法包括對(duì)采集的鮮食大豆rgb圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、平移和噪聲擾動(dòng)操作中的至少一種，且對(duì)每張鮮食大豆rgb圖像增強(qiáng)至少4次。

16、優(yōu)選地，所述步驟4中，利用標(biāo)注后的鮮食大豆數(shù)據(jù)集構(gòu)建改進(jìn)的yolov8分類(lèi)模型，其具體方法是：

17、步驟4.1，在yolov8分類(lèi)模型的輸入端添加二值化算法，將單個(gè)鮮食大豆rgb圖像轉(zhuǎn)化為黑白圖像，保留鮮食大豆的透視特征；

18、步驟4.2，將yolov8分類(lèi)模型中的主干網(wǎng)絡(luò)替換為mobilenetv4模塊；

19、步驟4.3，將yolov8分類(lèi)模型中的分類(lèi)損失函數(shù)distribution?focal?loss替換為quality?focal?loss。

20、進(jìn)一步地，所述yolov8分類(lèi)模型的head部分添加有shuffleattention注意力機(jī)制。

21、優(yōu)選地，所采用的quality?focal?loss損失函數(shù)算法是：

22、qfl(σ)＝-y-σβ((1-y)log(1-σ)+ylog(σ))

23、式中σ∈(0,1)屬于超參數(shù)，β為能夠平滑地控制降加權(quán)率的參數(shù)，y-σβ為調(diào)制因子，當(dāng)鮮食大豆的評(píng)估不準(zhǔn)確且偏離回歸標(biāo)簽y時(shí)，調(diào)制因子較大，使得模型更加重視學(xué)習(xí)這個(gè)困難的例子；當(dāng)評(píng)估準(zhǔn)確時(shí)，σ→y，調(diào)制因子變?yōu)?，該例子的損失被降低加權(quán)。

24、另一方面，本發(fā)明還提供了一種基于機(jī)器視覺(jué)的空心鮮食大豆分揀裝置，所述分揀裝置包括：

25、物料輸送機(jī)構(gòu)，用于輸送鮮食大豆，并在出料端將鮮食大豆拋出；

26、照明機(jī)構(gòu)，其設(shè)置于鮮食大豆的拋落區(qū)域，包括上光源、下光源和遮光板，拋出的鮮食大豆從所述上光源和下光源之間拋出，且所述遮光板位于鮮食大豆拋出最遠(yuǎn)位置的前側(cè)及雙側(cè)；

27、圖像采集單元，用于采集具有透射信息和表面信息的鮮食大豆rgb圖像；

28、yolov8分類(lèi)模型，其根據(jù)輸入的rgb圖像進(jìn)行空心鮮食大豆檢測(cè)權(quán)重模型的訓(xùn)練，獲得具有識(shí)別空心鮮食大豆能力的改進(jìn)型yolov8分類(lèi)模型，并獲取各個(gè)鮮食大豆的中心坐標(biāo)；

29、中央控制器，接收所述圖像采集單元采集到的鮮食大豆rgb圖像，基于yolov8分類(lèi)模型進(jìn)行空心鮮食大豆檢測(cè)權(quán)重模型的訓(xùn)練，獲得具有識(shí)別空心鮮食大豆能力的改進(jìn)型yolov8分類(lèi)模型，并獲取各個(gè)鮮食大豆的中心坐標(biāo)；

30、分選機(jī)構(gòu)，與所述中央控制器連接，結(jié)合鮮食大豆的中心坐標(biāo)對(duì)識(shí)別出的空心鮮食大豆執(zhí)行篩選動(dòng)作。

31、優(yōu)選地，所述上光源和下光源均為光強(qiáng)可調(diào)的led條形光源，所述上光源和下光源中的其一光源為透視鮮食大豆內(nèi)部籽粒的透射光源，另一個(gè)光源為反射光源；所述圖像采集單元中包括面陣相機(jī)，所述面陣相機(jī)距離拋落的鮮食大豆距離為40cm；所述分選機(jī)構(gòu)為氣吹式分選裝置。

32、進(jìn)一步優(yōu)選地，所述分揀裝置上還設(shè)有人機(jī)交互終端，其分別與所述的面陣相機(jī)、中央控制器、照明機(jī)構(gòu)和分選機(jī)構(gòu)通過(guò)信號(hào)線連接。

33、本發(fā)明技術(shù)方案具有如下優(yōu)點(diǎn)：

34、a.本發(fā)明所提供的基于輪廓的邊緣檢測(cè)算法，將拍攝的鮮食大豆rgb圖像中每個(gè)鮮食大豆圖像單獨(dú)提取出來(lái)，構(gòu)建單個(gè)鮮食大豆圖像數(shù)據(jù)集，采用改進(jìn)的yolov8分類(lèi)模型實(shí)現(xiàn)鮮食大豆的輕量化和高準(zhǔn)確率分類(lèi)，本發(fā)明將多目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)化為單目標(biāo)分類(lèi)任務(wù)，實(shí)現(xiàn)鮮食大豆特征最大化，提升分類(lèi)準(zhǔn)確率。

35、b.本發(fā)明所提供的基于改進(jìn)的yolov8分類(lèi)模型對(duì)空心鮮食大豆進(jìn)行空心檢測(cè)，通過(guò)在網(wǎng)絡(luò)輸入端添加了二值化算法，增強(qiáng)輸入的鮮食大豆圖像透視特征；將其主干網(wǎng)絡(luò)替換為mobilenetv4，大幅減少模型參數(shù)，使其更適合部署于移動(dòng)設(shè)備；將其分類(lèi)損失函數(shù)部分替換為quality?focal?loss，以解決鮮食大豆圖像正負(fù)樣本不均衡問(wèn)題；同時(shí)還在分類(lèi)模型的head部分添加了shuffleattention注意力機(jī)制，在不增加過(guò)多計(jì)算成本的前提下提升模型分類(lèi)精度，相較于原始yolov8分類(lèi)模型，本發(fā)明運(yùn)算速度快、分類(lèi)精度高，為莢豆類(lèi)物料的品質(zhì)監(jiān)控和管理提供了技術(shù)支撐，具有廣闊的應(yīng)用前景和顯著的社會(huì)經(jīng)濟(jì)效益。

36、c.本發(fā)明所提供的空心鮮食大豆分揀裝置，在物料輸送機(jī)構(gòu)的出料端設(shè)置基于可見(jiàn)光的上方反射光源及下方透射光源，使得圖像采集單元能夠獲取鮮食大豆表面及內(nèi)部品質(zhì)信息，相比于傳統(tǒng)的近紅外等光譜成像而言，本發(fā)明具有兼顧快速性、準(zhǔn)確性，低成本及抗干擾、易實(shí)現(xiàn)等優(yōu)點(diǎn)。

37、d.本發(fā)明中的分選機(jī)構(gòu)采用了氣吹式分揀裝置，執(zhí)行速度快，且不影響物料輸送速度。

38、e.本發(fā)明所提供的空心鮮食大豆檢測(cè)方法及分揀裝置，具備自動(dòng)化分級(jí)功能，且適用于多種莢豆類(lèi)物料，應(yīng)用性強(qiáng)、推廣性高。相較于常規(guī)現(xiàn)狀設(shè)備而言，本發(fā)明方法及裝置能夠?qū)崿F(xiàn)常規(guī)外部檢測(cè)功能的同時(shí)，完成內(nèi)部信息檢測(cè)識(shí)別，整套分揀裝置具有較大優(yōu)勢(shì)，實(shí)現(xiàn)了鮮食大豆的多品質(zhì)在線高通量精準(zhǔn)分級(jí)分選。