本發(fā)明涉及各類生產(chǎn)線監(jiān)控分析技術(shù)領(lǐng)域，包括生成流水線和生成沖壓線，具體涉及一種深度自學(xué)習(xí)視覺分析系統(tǒng)。

背景技術(shù)：

出于安全生產(chǎn)的需要，在生產(chǎn)車間加裝cctv監(jiān)控設(shè)備，成為企業(yè)共識(shí)。在當(dāng)前以德國(guó)工業(yè)4.0標(biāo)準(zhǔn)而引發(fā)的生產(chǎn)方式變革方興未艾。該標(biāo)準(zhǔn)以大幅降低生產(chǎn)成本為方向，以高效提升設(shè)備產(chǎn)能為目標(biāo)，因此如能通過攝像頭監(jiān)控流水線上工作運(yùn)行狀況，通過視頻監(jiān)控畫面分析設(shè)備、人員的工作狀況，對(duì)異常情況進(jìn)行報(bào)警，工作有效無效時(shí)長(zhǎng)分析。同時(shí)接入erp系統(tǒng)數(shù)據(jù)、設(shè)備監(jiān)控?cái)?shù)據(jù)等。對(duì)生產(chǎn)線運(yùn)行狀況和能效進(jìn)行全部的分析。將為提高生產(chǎn)效率提供數(shù)據(jù)支撐依據(jù)。也有可能成為工業(yè)4.0標(biāo)準(zhǔn)的一個(gè)典范應(yīng)用。所以在此方向投入研究將具有一定的意義。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種深度自學(xué)習(xí)視覺分析系統(tǒng)，以對(duì)場(chǎng)景的語義分析和對(duì)人的行為軌跡的分析為方向，在應(yīng)用上取得了極大的突破，提升生產(chǎn)效能，降低生產(chǎn)成本。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種深度自學(xué)習(xí)視覺分析系統(tǒng)，其包括采集模塊、存儲(chǔ)模塊、數(shù)據(jù)分析模塊和展示模塊，存儲(chǔ)模塊、數(shù)據(jù)分析模塊分別與采集模塊連接，展示模塊與采集模塊連接，所述的采集模塊用于采集系統(tǒng)數(shù)據(jù)并處理為標(biāo)準(zhǔn)數(shù)據(jù)集，然后傳輸給數(shù)據(jù)分析模塊，所述的數(shù)據(jù)分析模塊用于對(duì)數(shù)據(jù)進(jìn)行分析，所述的展示模塊將數(shù)據(jù)分析模塊分析完成好的數(shù)據(jù)進(jìn)行數(shù)據(jù)展示。

采集模塊數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)分析模塊數(shù)據(jù)分析方式包括基礎(chǔ)分析和高級(jí)分析，先做基礎(chǔ)分析，再做高級(jí)分析；所述的基礎(chǔ)分析包括交互式查詢匯總分析和olap多維分析，所述的高級(jí)分析包括對(duì)數(shù)據(jù)進(jìn)行挖掘建模。

展示模塊數(shù)據(jù)展示方式包括olap方式、kpi方式、cockpit方式、map方式、report方式和charts方式。

所述的系統(tǒng)包括監(jiān)控設(shè)備單元、視頻分析服務(wù)器、大數(shù)據(jù)分析服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用平臺(tái)，所述的監(jiān)控設(shè)備單元包括公共輸出端，視頻分析服務(wù)器、大數(shù)據(jù)分析服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用平臺(tái)分別與監(jiān)控設(shè)備單元公共輸出端連接，視頻分析服務(wù)器再與大數(shù)據(jù)分析服務(wù)器連接，大數(shù)據(jù)分析服務(wù)器再與數(shù)據(jù)庫(kù)服務(wù)器連接，數(shù)據(jù)庫(kù)服務(wù)器再與應(yīng)用單元平臺(tái)。

視頻分析服務(wù)器包括設(shè)備監(jiān)控分析模塊和人員監(jiān)控分析模塊，設(shè)備監(jiān)控分析模塊分析內(nèi)容包括設(shè)備動(dòng)作開始時(shí)間、完成時(shí)間、時(shí)長(zhǎng)、停機(jī)時(shí)長(zhǎng)、停機(jī)超時(shí)報(bào)警和異常報(bào)警，人員監(jiān)控分析模塊分析內(nèi)容包括車型判斷、工藝分解、工人動(dòng)作、有效無效時(shí)長(zhǎng)和異常報(bào)警。

設(shè)備包括機(jī)器人、機(jī)械臂等，有固定的運(yùn)行軌跡和動(dòng)作組合，我們定義好移動(dòng)設(shè)備的軌跡和路徑，即可完成檢測(cè)監(jiān)控。

人員監(jiān)控分析對(duì)生產(chǎn)線上的工人的工作行為進(jìn)行分析和跟蹤，把每一個(gè)工位的工人的工作內(nèi)容進(jìn)行分類，分成一個(gè)個(gè)單獨(dú)的動(dòng)作事件，進(jìn)行結(jié)構(gòu)化處理，得到各種事件發(fā)生的判斷。同時(shí)與設(shè)備的運(yùn)行數(shù)據(jù)、標(biāo)準(zhǔn)工藝流程相結(jié)合，來對(duì)工人的工作效率進(jìn)行分析和歸類。車型判斷時(shí)車輛類型分類，以對(duì)應(yīng)不同車輛的不同工藝；工藝分解時(shí)分解工藝為多個(gè)動(dòng)作，定義每個(gè)動(dòng)作的開始和完成，以及整個(gè)動(dòng)作工人的運(yùn)動(dòng)軌跡和每個(gè)動(dòng)作的完成時(shí)長(zhǎng)；工人動(dòng)作分析時(shí)分析判斷工人的每一個(gè)動(dòng)作，開始時(shí)間、結(jié)束時(shí)間，記錄工人所有的活動(dòng)軌跡；有效無效時(shí)長(zhǎng)分析時(shí)通過工藝的標(biāo)準(zhǔn)動(dòng)作和站位與檢測(cè)到的工人動(dòng)作和軌跡對(duì)比分析，分類為有效工作時(shí)長(zhǎng)和無效工作時(shí)長(zhǎng)；異常報(bào)警分析時(shí)可以設(shè)定車門未關(guān)報(bào)警，非工人服裝人員傳入報(bào)警，未帶安全帽報(bào)警，火焰煙霧報(bào)警等異常報(bào)警。

大數(shù)據(jù)分析服務(wù)器基于人員監(jiān)控分析，對(duì)工位場(chǎng)景做語義分析和人員軌跡分析，以機(jī)器視覺采集的數(shù)據(jù)為輸入端，通過與生產(chǎn)工藝、設(shè)備運(yùn)行數(shù)據(jù)的對(duì)比分析，建立效率分析模型，分析工人的有效工時(shí)和無效工時(shí)。

大數(shù)據(jù)分析服務(wù)器包括采集模塊、存儲(chǔ)模塊、分析模塊和展示模塊，存儲(chǔ)模塊和分析模塊分別與采集模塊連接，展示模塊與分析模塊連接，所述的采集模塊用于采集系統(tǒng)數(shù)據(jù)并處理為標(biāo)準(zhǔn)數(shù)據(jù)集，然后傳輸給數(shù)據(jù)分析模塊，所述的數(shù)據(jù)分析模塊用于對(duì)數(shù)據(jù)進(jìn)行分析，所述的展示模塊將數(shù)據(jù)分析模塊分析完成好的數(shù)據(jù)進(jìn)行數(shù)據(jù)展示。

本發(fā)明的有益效果是：

1）在機(jī)器視覺分析得到大量的分析結(jié)果，通過工業(yè)大數(shù)據(jù)建模，不斷調(diào)整模型和參數(shù)，得到的分析數(shù)據(jù)更精確；

2）大幅提升工廠生產(chǎn)效能，降低工廠生產(chǎn)成本；

3）以對(duì)場(chǎng)景的語義分析和對(duì)人的行為軌跡的分析為方向，在生產(chǎn)線的應(yīng)用上取得極大的突破。

附圖說明

圖1為本發(fā)明的大數(shù)據(jù)分析服務(wù)器的示意圖；

圖2為本發(fā)明深度自學(xué)習(xí)視覺分析系統(tǒng)的結(jié)構(gòu)框圖；

圖3為本發(fā)明的數(shù)據(jù)分析流程圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案，但本發(fā)明的保護(hù)范圍不局限于以下所述。

如圖1所示，一種深度自學(xué)習(xí)視覺分析系統(tǒng)，其包括采集模塊、存儲(chǔ)模塊、數(shù)據(jù)分析模塊和展示模塊，存儲(chǔ)模塊、數(shù)據(jù)分析模塊分別與采集模塊連接，展示模塊與采集模塊連接，所述的采集模塊用于采集系統(tǒng)數(shù)據(jù)并處理為標(biāo)準(zhǔn)數(shù)據(jù)集，然后傳輸給數(shù)據(jù)分析模塊，所述的數(shù)據(jù)分析模塊用于對(duì)數(shù)據(jù)進(jìn)行分析，所述的展示模塊將數(shù)據(jù)分析模塊分析完成好的數(shù)據(jù)進(jìn)行數(shù)據(jù)展示。

采集模塊數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)分析模塊數(shù)據(jù)分析方式包括基礎(chǔ)分析和高級(jí)分析，先做基礎(chǔ)分析，再做高級(jí)分析；所述的基礎(chǔ)分析包括交互式查詢匯總分析和olap多維分析，所述的高級(jí)分析包括對(duì)數(shù)據(jù)進(jìn)行挖掘建模。

展示模塊數(shù)據(jù)展示方式包括olap方式、kpi方式、cockpit方式、map方式、report方式和charts方式。

實(shí)施例1

沖壓車間-冷軋鋼板：

對(duì)視頻畫面的鋼板位移進(jìn)行監(jiān)控分析，運(yùn)行過程中設(shè)備是否有停止；

沖次運(yùn)行過程中為多少；

人員--人員等待設(shè)備時(shí)常，設(shè)備停機(jī)時(shí)長(zhǎng)。

為了更好的檢測(cè)分析，可能需要對(duì)監(jiān)控設(shè)備的安裝位置進(jìn)行調(diào)整或者增加新的攝像頭，能夠完整顯示鋼板和人員的動(dòng)作。

實(shí)施例2

沖壓車間-車門：

對(duì)畫面中的機(jī)械臂位置進(jìn)行檢測(cè)分析，對(duì)沖壓設(shè)備的位移情況進(jìn)行檢測(cè)分析，可以判斷設(shè)備工作是否正常，停機(jī)超時(shí)報(bào)警，每次沖壓過程的時(shí)間統(tǒng)計(jì)，設(shè)備停機(jī)時(shí)長(zhǎng)統(tǒng)計(jì)。

如圖2所示，還包括監(jiān)控設(shè)備單元、視頻分析服務(wù)器、大數(shù)據(jù)分析服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用平臺(tái)，所述的監(jiān)控設(shè)備單元包括公共輸出端，視頻分析服務(wù)器、大數(shù)據(jù)分析服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用平臺(tái)分別與監(jiān)控設(shè)備單元公共輸出端連接，視頻分析服務(wù)器再與大數(shù)據(jù)分析服務(wù)器連接，大數(shù)據(jù)分析服務(wù)器再與數(shù)據(jù)庫(kù)，服務(wù)器連接，數(shù)據(jù)庫(kù)服務(wù)器再與應(yīng)用平臺(tái)連接。

視頻分析服務(wù)器包括設(shè)備監(jiān)控分析模塊和人員監(jiān)控分析模塊，設(shè)備監(jiān)控分析模塊分析內(nèi)容包括設(shè)備動(dòng)作開始時(shí)間、完成時(shí)間、時(shí)長(zhǎng)、停機(jī)時(shí)長(zhǎng)、停機(jī)超時(shí)報(bào)警和異常報(bào)警，人員監(jiān)控分析模塊分析內(nèi)容包括車型判斷、工藝分解、工人動(dòng)作、有效無效時(shí)長(zhǎng)和異常報(bào)警。

設(shè)備包括機(jī)器人、機(jī)械臂等，有固定的運(yùn)行軌跡和動(dòng)作組合，我們定義好移動(dòng)設(shè)備的軌跡和路徑，即可完成檢測(cè)監(jiān)控。

人員監(jiān)控分析對(duì)生產(chǎn)線上的工人的工作行為進(jìn)行分析和跟蹤，把每一個(gè)工位的工人的工作內(nèi)容進(jìn)行分類，分成一個(gè)個(gè)單獨(dú)的動(dòng)作事件，進(jìn)行結(jié)構(gòu)化處理，得到各種事件發(fā)生的判斷。同時(shí)與設(shè)備的運(yùn)行數(shù)據(jù)、標(biāo)準(zhǔn)工藝流程相結(jié)合，來對(duì)工人的工作效率進(jìn)行分析和歸類。車型判斷時(shí)車輛類型分類，以對(duì)應(yīng)不同車輛的不同工藝；工藝分解時(shí)分解工藝為多個(gè)動(dòng)作，定義每個(gè)動(dòng)作的開始和完成，以及整個(gè)動(dòng)作工人的運(yùn)動(dòng)軌跡和每個(gè)動(dòng)作的完成時(shí)長(zhǎng)；工人動(dòng)作分析時(shí)分析判斷工人的每一個(gè)動(dòng)作，開始時(shí)間、結(jié)束時(shí)間，記錄工人所有的活動(dòng)軌跡；有效無效時(shí)長(zhǎng)分析時(shí)通過工藝的標(biāo)準(zhǔn)動(dòng)作和站位與檢測(cè)到的工人動(dòng)作和軌跡對(duì)比分析，分類為有效工作時(shí)長(zhǎng)和無效工作時(shí)長(zhǎng)；異常報(bào)警分析時(shí)可以設(shè)定車門未關(guān)報(bào)警，非工人服裝人員傳入報(bào)警，未帶安全帽報(bào)警，火焰煙霧報(bào)警等異常報(bào)警。

實(shí)施例3

總裝車間-玻璃打膠；

動(dòng)作分解：玻璃打膠、安放玻璃、抬走玻璃等動(dòng)作，每個(gè)動(dòng)作可以分析辨別，每個(gè)動(dòng)作的用時(shí)可以檢測(cè)統(tǒng)計(jì)，與設(shè)備的運(yùn)行時(shí)間相結(jié)合，比如設(shè)備每個(gè)動(dòng)作的運(yùn)行時(shí)間點(diǎn)和時(shí)長(zhǎng)，與工人動(dòng)作的時(shí)間點(diǎn)和時(shí)長(zhǎng)進(jìn)行對(duì)比；

工人空閑狀態(tài)檢測(cè)：我們除了對(duì)工位的工藝動(dòng)作進(jìn)行分解，同時(shí)對(duì)場(chǎng)景的點(diǎn)位進(jìn)行網(wǎng)格化處理，但工人位于非操作位置時(shí)長(zhǎng)超過多少時(shí)間，我們會(huì)把該工人的這段時(shí)間計(jì)入無效工作時(shí)長(zhǎng)。

大數(shù)據(jù)分析單元基于人員監(jiān)控分析，對(duì)工位場(chǎng)景做語義分析和人員軌跡分析，以機(jī)器視覺采集的數(shù)據(jù)為輸入端，通過與生產(chǎn)工藝、設(shè)備運(yùn)行數(shù)據(jù)的對(duì)比分析，建立效率分析模型，分析工人的有效工時(shí)和無效工時(shí)。大數(shù)據(jù)分析單元包括采集模塊、存儲(chǔ)模塊、分析模塊和展示模塊，存儲(chǔ)模塊和分析模塊分別與采集模塊連接，展示模塊與分析模塊連接，所述的采集模塊用于采集系統(tǒng)數(shù)據(jù)并處理為標(biāo)準(zhǔn)數(shù)據(jù)集，然后傳輸給數(shù)據(jù)分析模塊，所述的數(shù)據(jù)分析模塊用于對(duì)數(shù)據(jù)進(jìn)行分析，所述的展示模塊將數(shù)據(jù)分析模塊分析完成好的數(shù)據(jù)進(jìn)行數(shù)據(jù)展示。

如圖3所示，對(duì)監(jiān)控設(shè)備數(shù)據(jù)進(jìn)行采集和分類，再對(duì)數(shù)據(jù)進(jìn)行多維統(tǒng)計(jì)報(bào)表分析、靜態(tài)數(shù)據(jù)離線分析、動(dòng)態(tài)實(shí)時(shí)流數(shù)據(jù)分析等處理，將處理后的數(shù)據(jù)做可視化展示。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。