本發(fā)明屬于煙草生產(chǎn)工業(yè)領(lǐng)域，特別適用于卷煙工業(yè)生產(chǎn)線中打葉復(fù)烤線、制絲生產(chǎn)線異物檢測剔除設(shè)備，具體涉及一種多算法融合的煙草異物剔除控制方法、存儲介質(zhì)及系統(tǒng)。

背景技術(shù)：

1、異物剔除設(shè)備是目前廣泛應(yīng)用于煙草加工行業(yè)在線剔除煙草物料中所含非煙異物，從而提高物料純凈度的設(shè)備。其工作原理為：煙草物料經(jīng)過高速皮帶、風(fēng)送等方式進(jìn)行單層化輸送，在高速運(yùn)動過程中采用線掃描相機(jī)采集實(shí)時(shí)圖像，在剔除位置沿輸送裝置橫截面均勻設(shè)置一組電磁閥(剔除單元)組成的剔除裝置用于執(zhí)行異物剔除動作；通過機(jī)器視覺算法對采集到的圖像中存在的目標(biāo)異物進(jìn)行檢測，通過精準(zhǔn)的計(jì)算得到目標(biāo)異物在剔除位置的時(shí)間，然后控制相應(yīng)位置的電磁閥動作，用壓縮空氣改變異物運(yùn)動軌跡，從而實(shí)現(xiàn)剔除功能。

2、目前主流的異物剔除設(shè)備所采用的檢測算法通常為預(yù)先將數(shù)字顏色空間中的所有顏色標(biāo)記為物料或異物，形成顏色查找表；檢測過程是根據(jù)圖像中各像素顏色值在查找表中查找的雜物顏色標(biāo)記得到雜物在圖像中的像素位置；將雜物在圖像中的位置映射到與之對應(yīng)的電磁閥位置；通過控制該位置電磁閥動作即可實(shí)現(xiàn)異物的剔除。該方法可通過合理的軟硬件設(shè)計(jì)實(shí)現(xiàn)高速實(shí)時(shí)檢測，通常通過線掃描相機(jī)采集到一個(gè)電磁閥剔除控制周期內(nèi)掃描到的圖像即可進(jìn)行雜物檢測，剔除控制僅需考慮輸送裝置截面方向(即圖像寬度方向)與電磁閥的位置映射關(guān)系，在物料運(yùn)行方向(即圖像高度方向)剔除一個(gè)剔除控制周期內(nèi)采集到的覆蓋雜物的整列圖像區(qū)域即可，剔除控制周期固定，剔除區(qū)域示意圖如圖1所示。

3、但是，由于煙草物料中所含異物的種類繁多，形狀大小各異，隨著煙草行業(yè)對物料純凈度要求越來越高，融合各種高效智能的視覺檢測算法在異物剔除設(shè)備上的需求越來越迫切。例如：將基于紋理、形狀等多特征識別，基于ai的深度學(xué)習(xí)目標(biāo)檢測等算法應(yīng)用于異物剔除設(shè)備上，可有效提高異物的識別率。

4、融合各種高效智能的視覺檢測算法需要解決以下兩個(gè)問題：其一、采用高效智能的視覺檢測算法輸出的雜物信息與目前主流的檢測算法輸出的雜物信息不同，例如：顏色查找表檢測到的雜物位置信息用圖像區(qū)域像素點(diǎn)表示；區(qū)域分割的算法檢測到的雜物位置信息是區(qū)域輪廓；深度學(xué)習(xí)目標(biāo)檢測到的雜物位置信息是目標(biāo)矩形，怎樣將多種檢測算法輸出的雜物信息統(tǒng)一；另一個(gè)問題是，怎樣將檢測到的雜物精準(zhǔn)地剔除而盡量地降低誤剔率，即精確定位雜物在剔除單元的位置和剔除單元動作的時(shí)機(jī)。如果按照傳統(tǒng)采集較少線數(shù)圖像，可能會造成雜物被分割或面積較大的雜物無法用深度學(xué)習(xí)算法檢測出來。如果采集足夠線數(shù)圖像，采用深度學(xué)習(xí)雜物檢測時(shí)，使用傳統(tǒng)的固定剔除周期的方法來剔除雜物，這樣會造成大量煙草隨雜物一起剔除。

5、因此，需要發(fā)明一種融合多種算法的煙草異物剔除控制方法，利用該方法根據(jù)異物在一幀圖像中的位置，實(shí)現(xiàn)在剔除單元相應(yīng)位置和時(shí)段的精準(zhǔn)剔除控制，以提高剔除率、減小誤剔率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題在于通過多種檢測算法的融合以提高異物識別率，實(shí)現(xiàn)精確剔除煙草雜物，降低誤剔率。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種多算法融合的煙草雜物剔除控制方法，包括：

3、s1構(gòu)造剔除控制矩陣

4、根據(jù)預(yù)先設(shè)定的物料速度、有效輸送寬度、線陣相機(jī)行掃描頻率、采集的一幀圖像像素寬度和像素高度，剔除單元數(shù)量、剔除控制周期等信息，以每一幀圖像在輸送裝置寬度方向上按剔除單元數(shù)量等間距劃分為矩陣的列數(shù)，以剔除控制周期采集到的像素為步長等間距劃分每一幀圖像高度像素為矩陣的行數(shù)，以上述行數(shù)和列數(shù)構(gòu)造一個(gè)矩陣，用該矩陣來控制剔除單元動作的位置和時(shí)間段，定義該矩陣為剔除控制矩陣，矩陣元素值為1的位置表示該位置此時(shí)間段剔除單元執(zhí)行剔除動作，相反地，矩陣元素值為0的位置表示該位置此時(shí)間段剔除單元不執(zhí)行剔除動作。

5、剔除控制矩陣可以用下述二維表格表示：

6、 <![cdata[a_(0,0)]]> <![cdata[a_(0,1)]]> <![cdata[a_(0,2)]]> ... <![cdata[a_(0,hctrl-2)]]> <![cdata[a_(0,hctrl-1)]]> <![cdata[a_(0,hctrl)]]> <![cdata[a_(1,0)]]> <![cdata[a_(1,1)]]> <![cdata[a_(1,2)]]> ... <![cdata[a_(1,hctrl-2)]]> <![cdata[a_(1,hctrl-1)]]> <![cdata[a_(1,hctrl)]]> <![cdata[a_(2,0)]]> <![cdata[a_(2,1)]]> <![cdata[a_(2,2)]]> ... <![cdata[a_(2,hctrl-2)]]> <![cdata[a_(2,hctrl-1)]]> <![cdata[a_(2,hctrl)]]> <![cdata[a_(3,0)]]> <![cdata[a_(3,1)]]> <![cdata[a_(3,2)]]> ... <![cdata[a_(3,hctrl-2)]]> <![cdata[a_(3,hctrl-1)]]> <![cdata[a_(3,hctrl)]]> ... ... ... ... ... ... ... <![cdata[a_(wctrl-3,0)]]> <![cdata[a_(wctrl-3,1)]]> <![cdata[a_(wctrl-3,2)]]> ... <![cdata[a_{(wctrl-3,hctrl-2)}]]> <![cdata[a_{(wctrl-3,hctrl-1}]]> <![cdata[a_{(wctrl-3,hctrl)}]]> <![cdata[a_(wctrl-2,0)]]> <![cdata[a_(wctrl-2,1)]]> <![cdata[a_(wctrl-2,2)]]> ... <![cdata[a_{(wctrl-2,hctrl-2)}]]> <![cdata[a_{(wctrl-2,hctrl-1}]]> <![cdata[a_{(wctrl-2,hctrl)}]]> <![cdata[a_(wctrl-1,0)]]> <![cdata[a_(wctrl-1,1)]]> <![cdata[a_(wctrl-1,2)]]> ... <![cdata[a_{(wctrl-1,hctrl-2)}]]> <![cdata[a_{(wctrl-1,hctrl-1}]]> <![cdata[a_{(wctrl-1,hctrl)}]]> <![cdata[a_(wctrl,0)]]> <![cdata[a_(wctrl,1)]]> <![cdata[a_(wctrl,2)]]> ... <![cdata[a_{(wctrl,hctrl-2)}]]> <![cdata[a_{(wctrl-,hctrl-1)}]]> <![cdata[a_{(wctrl,hctrl)}]]>

7、該矩陣列數(shù)對應(yīng)剔除單元數(shù)，行數(shù)為對應(yīng)的剔除單元的動作時(shí)段。

8、線掃描相機(jī)采集到的一幀圖像像素寬為wpix，像素高度為hpix，所述的剔除控制矩陣用mctrl表示，列數(shù)為wctrl、行數(shù)為hctrl；每一個(gè)剔除控制矩陣元素列對應(yīng)像素寬度wpix、每一個(gè)剔除控制矩陣元素行對應(yīng)像素高度hpix,它們的計(jì)算公式如下：

9、wctrl＝nctrl????????????????(1)

10、hctrl＝hpix/(tf)???????????(2)

11、wpix＝wpix/wctrl???????????(3)

12、hpix＝?hpix/hctr1??????????(4)

13、其中：nctrl為剔除裝置單元數(shù)量，f為相機(jī)行掃描頻率，t為剔除控制周期。

14、s2檢測及剔除控制矩陣生成

15、當(dāng)完成一幀圖像采集后，可通過多種算法對圖像中的異物目標(biāo)進(jìn)行檢測，得到多種檢測結(jié)果，分別將不同算法得到的檢測結(jié)果映射到該類算法輸出信息對應(yīng)的剔除控制矩陣，將不同算法的剔除矩陣相加后得到融合算法的剔除矩陣。

16、不同視覺檢測算法輸出的異物位置信息表示可以分成三類：第一類是異物所處區(qū)域的像素坐標(biāo)集合表示，如顏色查找表、紋理特征檢測、深度學(xué)習(xí)目標(biāo)分割等；第二類是異物所處區(qū)域的輪廓像素集合表示，如形狀特征檢測、輪廓特征檢測等；第三類是包含異物所處區(qū)域的目標(biāo)矩形坐標(biāo)集合表示，如深度學(xué)習(xí)目標(biāo)檢測等。

17、s2.1異物區(qū)域像素集合映射方法

18、第一類異物位置信息映射方法。檢測到異物區(qū)域像素坐標(biāo)為一個(gè)二元數(shù)集合r，任意一個(gè)像素點(diǎn)表示為p(x,y)；對應(yīng)的剔除控制矩陣二元數(shù)集合為s，任意一個(gè)剔除控制矩陣單元用坐標(biāo)表示為t(u,v)；對應(yīng)的數(shù)學(xué)表達(dá)式分別為式(5)、(6)。集合r和s之間元素的映射關(guān)系如公式(7)、(8)所示。

19、r＝{(x,y)|x<wpix,y<?hpix},p∈r???????(5)

20、s＝{(u,v)|u<wctrl,v<?hctrl},t∈s???????(6)

21、

22、

23、式(7)、(8)中數(shù)學(xué)符號表示向下取整數(shù)。

24、按照公式(1)、(2)構(gòu)造一個(gè)wctrl×hctrl的零矩陣把集合s中相應(yīng)位置的元素值賦值1，生成剔除控制矩陣mc1。

25、s2.2異物區(qū)域輪廓像素集合映射方法

26、第二類異物位置信息映射方法。檢測到異物所處區(qū)域的輪廓信息為一個(gè)二元數(shù)集合c，任意一個(gè)像素點(diǎn)表示為q(x,y)；利用圖像處理算法，形成封閉輪廓區(qū)域，填充輪廓內(nèi)區(qū)域，形成雜物區(qū)域信息，剔除控制矩陣生成方法同第一類異物位置信息映射方法一致，生產(chǎn)的剔除控制矩陣mc2。

27、s2.3異物所處區(qū)域的目標(biāo)矩形坐標(biāo)集合映射方法

28、第三類異物位置信息映射方法。檢測到異物所處區(qū)域的目標(biāo)矩形數(shù)量為n個(gè)，所有目標(biāo)矩形組成一個(gè)集合q，集合中每個(gè)元素代表一個(gè)目標(biāo)矩形，一個(gè)目標(biāo)矩形可以用一個(gè)四元數(shù)集合元素表示r表示；所有目標(biāo)矩形區(qū)域?qū)?yīng)的剔除控制矩陣的二元數(shù)集合為s,任意一個(gè)像素點(diǎn)表示為t(u,v)；集合q和s之間的映射關(guān)系如公式(9)、(10)所示。

29、q＝{[(xul,yul),(xbr,ybr)]m|x<wpix,y<?hpix,m<n},r∈q????????(9)

30、s＝{(u,v)m|u<wctrl,v<hctrl,m<n},t∈s

31、(10)

32、其中，點(diǎn)(xul,yul)為目標(biāo)矩形左上角坐標(biāo)點(diǎn)，點(diǎn)(xbr,ybr)為目標(biāo)矩形右下角坐標(biāo)點(diǎn)。

33、對于任意一個(gè)目標(biāo)矩形，目標(biāo)矩形左上角坐標(biāo)映射到剔除控制矩陣中坐標(biāo)計(jì)算公式如下：

34、

35、

36、對于任意一個(gè)目標(biāo)矩形，目標(biāo)矩形長、寬映射到剔除控制矩陣中的長k、寬h計(jì)算公式如下：

37、

38、

39、剔除控制矩陣中集合s的計(jì)公式如下：

40、

41、其中i＝0～k,j＝0～h；

42、按照公式(1)、(2)構(gòu)造一個(gè)wctrl×hctrl的零矩陣把集合s中相應(yīng)位置的元素值賦值1，生成最終的剔除控制矩陣mc3。

43、s2.4剔除控制矩陣生成

44、將上述三類異物輸出信息剔除控制矩陣相加合并，得到統(tǒng)一的剔除控制矩陣m，矩陣m中非零元素的位置為剔除單元執(zhí)行剔除動作的位置和時(shí)段。如式(16)所示。

45、m＝mc1+mc2+mc3??(16)

46、最終的剔除控制矩陣m不一定都是上述三種類型控制矩陣相加之和，也可能是上述三類控制矩陣中的一類或幾種組合而相加。

47、s3異物的剔除控制

48、當(dāng)所述檢測結(jié)果對應(yīng)的物料到達(dá)剔除的位置時(shí)，根據(jù)剔除控制矩陣，以剔除周期為節(jié)拍，控制各剔除控制單元動作，即可完成異物的精確剔除。

49、一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明所述的多算法融合的煙草雜物剔除控制方法的步驟。

50、一種多算法融合的煙草異物剔除系統(tǒng)，所述系統(tǒng)包括計(jì)算機(jī)、線掃描相機(jī)和沿輸送裝置橫截面均勻設(shè)置的若干個(gè)剔除單元，所述計(jì)算機(jī)中設(shè)置有本發(fā)明所述的計(jì)算機(jī)可讀存儲介質(zhì)。

51、本發(fā)明的有益效果包括：

52、本發(fā)明使用并行的多種檢測算法提高了煙草中異物識別率，把煙草雜物在圖像像素中的位置，利用不同的高效快速映射算法，映射到剔除控制矩陣相應(yīng)的位置上，實(shí)現(xiàn)了通過對剔除位置和時(shí)間的控制精準(zhǔn)地剔除煙草中的雜物，減少煙草的誤剔數(shù)量，提高異物的剔除率，保證了煙草物料的純凈度，減少煙草的誤剔率，減輕人工從大量剔除煙草中人工撿出異物的工作量。