本發(fā)明涉及作業(yè)安全畫(huà)像管理，具體是一種基于大模型的作業(yè)安全畫(huà)像管理方法及系統(tǒng)。

背景技術(shù)：

1、作業(yè)安全畫(huà)像指將工作人員在作業(yè)過(guò)程中的危險(xiǎn)因素和安全風(fēng)險(xiǎn)通過(guò)圖像的形式進(jìn)行表示，便于直觀的對(duì)工作人員的工作安全情況進(jìn)行分析。

2、現(xiàn)有技術(shù)中，通過(guò)工作人員在作業(yè)過(guò)程中存在的各類(lèi)違規(guī)操作情況發(fā)生的概率情況，對(duì)工作人員的作業(yè)安全畫(huà)像進(jìn)行繪制，基于繪制結(jié)果，對(duì)工作人員的作業(yè)安全情況進(jìn)行分析，通過(guò)現(xiàn)有方法，無(wú)法對(duì)工作人員在作業(yè)過(guò)程中的潛在危險(xiǎn)進(jìn)行預(yù)測(cè)，同時(shí)，也無(wú)法根據(jù)工作人員在作業(yè)過(guò)程中的工作狀態(tài)，對(duì)工作人員的作業(yè)安全情況進(jìn)行分析。

3、所以，人們急需一種基于大模型的作業(yè)安全畫(huà)像管理方法及系統(tǒng)來(lái)解決上述技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于大模型的作業(yè)安全畫(huà)像管理方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中提出的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于大模型的作業(yè)安全畫(huà)像管理方法，所述方法包括：

3、步驟一：利用裝設(shè)在工作區(qū)域入口處的攝像機(jī)對(duì)工作人員的人員畫(huà)像進(jìn)行采集，將采集的人員畫(huà)像與數(shù)據(jù)庫(kù)中存儲(chǔ)的人員畫(huà)像進(jìn)行匹配，對(duì)工作人員的身份進(jìn)行驗(yàn)證，基于驗(yàn)證結(jié)果，選擇是否對(duì)驗(yàn)證工作人員的工作內(nèi)容進(jìn)行調(diào)取，結(jié)合工作區(qū)域內(nèi)各操作臺(tái)所能進(jìn)行的實(shí)驗(yàn)，選擇性對(duì)工作區(qū)域內(nèi)裝設(shè)的若干個(gè)視頻采集裝置進(jìn)行調(diào)度；

4、步驟二：在執(zhí)行各實(shí)驗(yàn)步驟時(shí)，通過(guò)視頻采集裝置對(duì)實(shí)驗(yàn)的反應(yīng)視頻進(jìn)行抽取，根據(jù)各反應(yīng)視頻對(duì)應(yīng)的視頻幀集，以及工作區(qū)域內(nèi)各操作臺(tái)上裝設(shè)的氣味傳感器，對(duì)實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集進(jìn)行獲取，基于獲取結(jié)果，在多維度上構(gòu)建驗(yàn)證工作人員的作業(yè)安全評(píng)估模型；

5、步驟三：通過(guò)工作區(qū)域內(nèi)裝設(shè)的視頻采集裝置，對(duì)驗(yàn)證工作人員在各反應(yīng)時(shí)間段內(nèi)的實(shí)時(shí)狀態(tài)特征進(jìn)行獲取，基于獲取信息，構(gòu)建危險(xiǎn)評(píng)估模型，對(duì)實(shí)驗(yàn)的實(shí)時(shí)危險(xiǎn)系數(shù)進(jìn)行預(yù)測(cè)；

6、步驟四：基于知識(shí)圖譜的繪制方式，對(duì)驗(yàn)證工作人員的作業(yè)安全畫(huà)像進(jìn)行繪制；

7、步驟五：對(duì)驗(yàn)證工作人員的實(shí)時(shí)作業(yè)安全評(píng)估指數(shù)進(jìn)行預(yù)測(cè)，基于預(yù)測(cè)結(jié)果，對(duì)驗(yàn)證工作人員的工作狀態(tài)進(jìn)行管理。

8、進(jìn)一步的，所述步驟一包括：當(dāng)采集的人員畫(huà)像與數(shù)據(jù)庫(kù)中存儲(chǔ)的隨機(jī)一幅人員畫(huà)像相同時(shí)，工作人員的身份驗(yàn)證成功，此時(shí)對(duì)驗(yàn)證工作人員的工作內(nèi)容進(jìn)行調(diào)??；

9、根據(jù)調(diào)取的工作內(nèi)容，對(duì)驗(yàn)證工作人員所需進(jìn)行的實(shí)驗(yàn)進(jìn)行確定，結(jié)合工作區(qū)域內(nèi)各操作臺(tái)所能進(jìn)行的實(shí)驗(yàn)，對(duì)驗(yàn)證工作人員的實(shí)驗(yàn)操作臺(tái)進(jìn)行確定，判斷實(shí)驗(yàn)操作臺(tái)臺(tái)面中心與各視頻采集裝置鏡頭中心的連線是否為視頻采集裝置的中軸線，若是，則對(duì)對(duì)應(yīng)視頻采集裝置進(jìn)行調(diào)度，若不是，則不對(duì)對(duì)應(yīng)視頻采集裝置進(jìn)行調(diào)度。

10、進(jìn)一步的，所述步驟二包括：

11、s201：在執(zhí)行各實(shí)驗(yàn)步驟時(shí)，通過(guò)視頻采集裝置對(duì)實(shí)驗(yàn)的反應(yīng)視頻進(jìn)行抽取，對(duì)各反應(yīng)視頻的開(kāi)始時(shí)間進(jìn)行確定，在各反應(yīng)視頻中，將在開(kāi)始時(shí)間點(diǎn)采集的視頻幀作為關(guān)鍵幀，將在除開(kāi)始時(shí)間點(diǎn)之外采集的視頻幀集作為對(duì)比幀集；

12、s202：根據(jù)實(shí)驗(yàn)中各步驟的執(zhí)行順序，對(duì)各反應(yīng)視頻進(jìn)行編號(hào)處理，編號(hào)處理結(jié)果為：p=1,2,…,q；q表示反應(yīng)視頻總數(shù)，根據(jù)驗(yàn)證工作人員拿取的目標(biāo)物體劑量，對(duì)實(shí)驗(yàn)中第p步步驟的反應(yīng)時(shí)間fp進(jìn)行確定，以時(shí)間t對(duì)反應(yīng)時(shí)間fp進(jìn)行劃分，對(duì)各劃分點(diǎn)進(jìn)行編號(hào)處理，編號(hào)處理結(jié)果為：h=1,2,…,?fp/t；fp/t表示劃分點(diǎn)總數(shù)；

13、當(dāng)驗(yàn)證工作人員執(zhí)行第p步步驟時(shí)，將在編號(hào)為p的反應(yīng)視頻中采集的實(shí)時(shí)對(duì)比幀與關(guān)鍵幀進(jìn)行比對(duì)，對(duì)實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集mp進(jìn)行獲取，，其中，h1p=t1p+t；表示在編號(hào)為p的反應(yīng)視頻中，開(kāi)始時(shí)間點(diǎn)對(duì)應(yīng)的時(shí)間值，表示目標(biāo)物體在t1p+?h*t時(shí)刻發(fā)生第j種物理變化類(lèi)型，表示目標(biāo)物體在t1p+1*t時(shí)刻發(fā)生第j種物理變化類(lèi)型，表示當(dāng)目標(biāo)物體在t1p+?h*t時(shí)刻發(fā)生第j種物理變化類(lèi)型時(shí)，目標(biāo)物體發(fā)生的物理變化程度，表示當(dāng)目標(biāo)物體在t1p+1*t時(shí)刻發(fā)生第j種物理變化類(lèi)型時(shí)，目標(biāo)物體發(fā)生的物理變化程度，t表示時(shí)間間隔值，h1p表示在編號(hào)為p的反應(yīng)視頻中，第1個(gè)劃分點(diǎn)對(duì)應(yīng)的時(shí)間值，hhp表示在編號(hào)為p的反應(yīng)視頻中，第h個(gè)劃分點(diǎn)對(duì)應(yīng)的時(shí)間值；

14、s203：按照目標(biāo)物體在各反應(yīng)時(shí)間內(nèi)發(fā)生的物理變化類(lèi)型，對(duì)反應(yīng)特征集mp進(jìn)行分類(lèi)處理，得到mp={mp1,mp2,mp3,mp4}，其中，mp1表示當(dāng)目標(biāo)物體的物理變化類(lèi)型為1時(shí)，驗(yàn)證工作人員在執(zhí)行第p步步驟時(shí)，實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集，mp2表示當(dāng)目標(biāo)物體的物理變化類(lèi)型為2時(shí)，驗(yàn)證工作人員在執(zhí)行第p步步驟時(shí)，實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集，mp3表示當(dāng)目標(biāo)物體的物理變化類(lèi)型為3時(shí)，驗(yàn)證工作人員在執(zhí)行第p步步驟時(shí)，實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集，mp4表示當(dāng)目標(biāo)物體的物理變化類(lèi)型為4時(shí)，驗(yàn)證工作人員在執(zhí)行第p步步驟時(shí)，實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集，將各類(lèi)物理變化類(lèi)型均作為一個(gè)維度，基于分類(lèi)處理結(jié)果，在多維度上構(gòu)建驗(yàn)證工作人員的作業(yè)安全評(píng)估模型。

15、通過(guò)將對(duì)比幀集與關(guān)鍵幀進(jìn)行比對(duì)，對(duì)實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集進(jìn)行獲取，在多維度上，實(shí)現(xiàn)對(duì)驗(yàn)證工作人員的作業(yè)安全評(píng)估模型進(jìn)行構(gòu)建，弱化了各維度之間的關(guān)聯(lián)情況，有利于提高對(duì)作業(yè)安全的評(píng)估精度。

16、進(jìn)一步的，所述s202對(duì)驗(yàn)證工作人員在執(zhí)行第p步步驟時(shí)的實(shí)時(shí)反應(yīng)特征集進(jìn)行獲取的具體方法為：

17、將在t1p+?h*t時(shí)刻采集的對(duì)比幀與在t1p時(shí)刻采集的關(guān)鍵幀進(jìn)行比對(duì)，將目標(biāo)物體在t1p+?h*t時(shí)刻發(fā)生的物理變化情況作為實(shí)驗(yàn)在t1p+?h*t時(shí)刻的反應(yīng)特征，將獲取的實(shí)時(shí)反應(yīng)特征的集合作為實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)特征集，實(shí)驗(yàn)在t1p+?h*t時(shí)刻的反應(yīng)特征=，其中，j=1,2,3,4，表示各物理變化類(lèi)型對(duì)應(yīng)的編號(hào)，hhp=t1p+?h*t；

18、物理變化類(lèi)型包括類(lèi)型1：目標(biāo)物體的形狀大小發(fā)生變化、類(lèi)型2：目標(biāo)物體表面依附有新物質(zhì)、類(lèi)型3：目標(biāo)物體的顏色發(fā)生變化和類(lèi)型4：目標(biāo)物體產(chǎn)生氣體。

19、進(jìn)一步的，所述s203在多維度上構(gòu)建驗(yàn)證工作人員的作業(yè)安全評(píng)估模型的具體方法為：

20、將第j類(lèi)物理變化類(lèi)型作為第j維度；

21、在[t1p+t,t1p+fp]時(shí)間段內(nèi)，基于獲取的標(biāo)準(zhǔn)對(duì)比幀，當(dāng)目標(biāo)物體在hhp時(shí)刻發(fā)生第j類(lèi)物理變化時(shí)，對(duì)目標(biāo)物體產(chǎn)生的標(biāo)準(zhǔn)氣體濃度進(jìn)行獲取，根據(jù)獲取信息，構(gòu)建第j維度的作業(yè)安全評(píng)估模型，具體公式為：

22、；

23、其中，表示在h(h+1)p時(shí)刻，對(duì)驗(yàn)證工作人員在第j維度上的作業(yè)安全評(píng)估系數(shù)進(jìn)行預(yù)測(cè)，表示當(dāng)目標(biāo)物體在h(h+1)p時(shí)刻發(fā)生第j類(lèi)物理變化時(shí)，目標(biāo)物體發(fā)生的物理變化程度，表示當(dāng)目標(biāo)物體在h(h+1)p時(shí)刻發(fā)生第j類(lèi)物理變化時(shí)，目標(biāo)物體產(chǎn)生的標(biāo)準(zhǔn)氣體濃度；

24、在實(shí)驗(yàn)未順利進(jìn)行時(shí)，通過(guò)構(gòu)建的各維度的作業(yè)安全評(píng)估模型，也能夠?qū)ι鲜銮闆r進(jìn)行識(shí)別，有利于提高驗(yàn)證工作人員的工作效率；

25、通過(guò)構(gòu)建的各維度的作業(yè)安全評(píng)估模型還能夠?qū)Φ奈催M(jìn)行狀態(tài)進(jìn)

26、在[t1p+t,?t1p+fp]時(shí)間段內(nèi)，當(dāng)目標(biāo)物體在hhp時(shí)刻發(fā)生第4類(lèi)物理變化時(shí)，對(duì)目標(biāo)物體產(chǎn)生的標(biāo)準(zhǔn)氣體濃度進(jìn)行獲取，基于獲取信息，構(gòu)建第四維度的作業(yè)安全評(píng)估模型，具體公式為：

27、；

28、其中，表示在h(h+1)p時(shí)刻，對(duì)驗(yàn)證工作人員在第四維度上的作業(yè)安全評(píng)估系數(shù)進(jìn)行預(yù)測(cè)，表示當(dāng)目標(biāo)物體在h(h+1)p時(shí)刻發(fā)生第4類(lèi)物理變化時(shí)，目標(biāo)物體發(fā)生的物理變化程度，表示當(dāng)目標(biāo)物體在h(h+1)p時(shí)刻發(fā)生第4類(lèi)物理變化時(shí)，目標(biāo)物體產(chǎn)生的標(biāo)準(zhǔn)氣體濃度。

29、進(jìn)一步的，所述步驟三包括：

30、s301：對(duì)驗(yàn)證工作人員在[t1p+t,t1p+fp]時(shí)間段內(nèi)的實(shí)時(shí)狀態(tài)特征進(jìn)行獲取，狀態(tài)特征包括驗(yàn)證工作人員的疲勞值d和驗(yàn)證工作人員距離實(shí)驗(yàn)操作臺(tái)的距離值l；

31、s302：構(gòu)建危險(xiǎn)評(píng)估模型，對(duì)實(shí)驗(yàn)的實(shí)時(shí)危險(xiǎn)系數(shù)進(jìn)行預(yù)測(cè)。

32、通過(guò)對(duì)驗(yàn)證工作人員的實(shí)時(shí)狀態(tài)特征進(jìn)行分析，實(shí)現(xiàn)對(duì)驗(yàn)證工作人員在各時(shí)刻的反應(yīng)狀態(tài)進(jìn)行分析，在對(duì)作業(yè)安全進(jìn)行評(píng)估時(shí)，考慮到驗(yàn)證工作人員的工作狀態(tài)對(duì)評(píng)估結(jié)果產(chǎn)生的影響，保證繪制的作業(yè)安全畫(huà)像更加貼合實(shí)際情況。

33、進(jìn)一步的，所述s302中構(gòu)建的危險(xiǎn)評(píng)估模型的具體公式為：

34、；

35、其中，表示驗(yàn)證工作人員在h(h+1)p時(shí)刻的疲勞值，表示驗(yàn)證工作人員在h(h+1)p時(shí)刻距離實(shí)驗(yàn)操作臺(tái)的距離值，表示實(shí)驗(yàn)在h(h+1)p時(shí)刻的危險(xiǎn)系數(shù)，exp表示以自然常數(shù)e為底的指數(shù)函數(shù)且e=2.72。

36、進(jìn)一步的，所述步驟四包括：以驗(yàn)證工作人員的人員編號(hào)作為作業(yè)安全畫(huà)像的實(shí)體，以驗(yàn)證工作人員在各維度上的作業(yè)安全評(píng)估模型和實(shí)驗(yàn)的危險(xiǎn)評(píng)估模型作為實(shí)體屬性，以各作業(yè)安全評(píng)估模型的安全評(píng)估系數(shù)和危險(xiǎn)評(píng)估模型的評(píng)估系數(shù)作為實(shí)體屬性的屬性值，根據(jù)實(shí)體-屬性-屬性值的繪制方式，得到驗(yàn)證工作人員的作業(yè)安全畫(huà)像，通過(guò)知識(shí)圖譜的繪制方式，繪制已驗(yàn)證工作人員的作業(yè)安全畫(huà)像，保證作業(yè)安全畫(huà)像更加直觀。

37、進(jìn)一步的，所述步驟五包括：根據(jù)eμ=a1×u1μ+a2×u2μ+a3×u3μ+a4×u4μ+a5×fμ對(duì)驗(yàn)證工作人員在h(h+1)p時(shí)刻的作業(yè)安全評(píng)估指數(shù)進(jìn)行預(yù)測(cè)，其中，a1+a2+a3+a4+a5=1且a1、a2、a3、a4、a5均表示比例系數(shù)，μ=h(h+1)p，u1μ表示在h(h+1)p時(shí)刻，驗(yàn)證工作人員在第1維度上的作業(yè)安全評(píng)估系數(shù)，u2μ表示在h(h+1)p時(shí)刻，驗(yàn)證工作人員在第2維度上的作業(yè)安全評(píng)估系數(shù)，u3μ表示在h(h+1)p時(shí)刻，驗(yàn)證工作人員在第3維度上的作業(yè)安全評(píng)估系數(shù)，u4μ表示在h(h+1)p時(shí)刻，驗(yàn)證工作人員在第4維度上的作業(yè)安全評(píng)估系數(shù)，fμ表示實(shí)驗(yàn)在h(h+1)p時(shí)刻的危險(xiǎn)系數(shù)；

38、當(dāng)0.5≤eμ≤1時(shí)，將驗(yàn)證工作人員的作業(yè)安全畫(huà)像傳輸至實(shí)驗(yàn)終端，實(shí)驗(yàn)終端在接收到驗(yàn)證工作人員的作業(yè)安全畫(huà)像時(shí)，終止驗(yàn)證工作人員的工作；

39、當(dāng)0≤eμ＜0.5時(shí)，將驗(yàn)證工作人員的作業(yè)安全畫(huà)像傳輸至實(shí)驗(yàn)終端，實(shí)驗(yàn)終端在接收到驗(yàn)證工作人員的作業(yè)安全畫(huà)像時(shí)，向驗(yàn)證工作人員的智能終端發(fā)送預(yù)警信息。

40、通過(guò)對(duì)繪制的作業(yè)安全畫(huà)像進(jìn)行綜合分析，可在危險(xiǎn)來(lái)臨前，提前對(duì)驗(yàn)證工作人員的工作狀態(tài)進(jìn)行管理，且綜合分析結(jié)果具有時(shí)效性，在一定程度上，能夠減少安全事故的發(fā)生。

41、一種基于大模型的作業(yè)安全畫(huà)像管理系統(tǒng)，所述系統(tǒng)包括視頻采集裝置調(diào)度模塊、作業(yè)安全評(píng)估模型構(gòu)建模塊、危險(xiǎn)評(píng)估模型構(gòu)建模塊、作業(yè)安全畫(huà)像繪制模塊和作業(yè)安全管理模塊；

42、所述視頻采集裝置調(diào)度模塊用于選擇性對(duì)工作區(qū)域內(nèi)裝設(shè)的若干個(gè)視頻采集裝置進(jìn)行調(diào)度；

43、所述作業(yè)安全評(píng)估模型構(gòu)建模塊用于在多維度上構(gòu)建驗(yàn)證工作人員的作業(yè)安全評(píng)估模型；

44、所述危險(xiǎn)評(píng)估模型構(gòu)建模塊用于通過(guò)構(gòu)建的危險(xiǎn)評(píng)估模型，對(duì)實(shí)驗(yàn)的實(shí)時(shí)危險(xiǎn)系數(shù)進(jìn)行預(yù)測(cè)；

45、所述作業(yè)安全畫(huà)像繪制模塊用于對(duì)驗(yàn)證工作人員的作業(yè)安全畫(huà)像進(jìn)行繪制；

46、所述作業(yè)安全管理模塊用于對(duì)驗(yàn)證工作人員的工作狀態(tài)進(jìn)行安全管理。

47、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

48、1.本發(fā)明通過(guò)將采集的對(duì)比幀集與關(guān)鍵幀進(jìn)行比對(duì)，對(duì)實(shí)驗(yàn)的實(shí)時(shí)反應(yīng)狀態(tài)進(jìn)行分析，基于分析結(jié)果，在多維度上對(duì)實(shí)驗(yàn)的實(shí)時(shí)作業(yè)安全情況進(jìn)行評(píng)估，有利于提高評(píng)估精度，且評(píng)估結(jié)果更加貼合實(shí)際情況。

49、2.本發(fā)明通過(guò)驗(yàn)證工作人員在作業(yè)時(shí)的實(shí)時(shí)狀態(tài)特征，在實(shí)驗(yàn)發(fā)生意外時(shí)，對(duì)驗(yàn)證工作人員的實(shí)時(shí)反應(yīng)情況進(jìn)行分析，提高了對(duì)驗(yàn)證工作人員的作業(yè)安全分析效果。

50、3.本發(fā)明通過(guò)在多維度上構(gòu)建的作業(yè)安全評(píng)估模型和構(gòu)建的危險(xiǎn)評(píng)估模型，對(duì)驗(yàn)證工作人員的實(shí)時(shí)作業(yè)畫(huà)像進(jìn)行繪制，相較于現(xiàn)有技術(shù)而言，本發(fā)明繪制的作業(yè)安全畫(huà)像具有實(shí)時(shí)性，且匹配度更高，有利于通過(guò)實(shí)時(shí)作業(yè)安全畫(huà)像對(duì)驗(yàn)證工作人員的實(shí)時(shí)工作狀態(tài)進(jìn)行有效管理，提高了系統(tǒng)的使用效果。