本發(fā)明涉及計(jì)算機(jī)視覺和叉車駕駛員行為監(jiān)控，尤其涉及基于點(diǎn)云數(shù)據(jù)處理和邊緣提取的叉車駕駛員行為監(jiān)控方法。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化和智能化的發(fā)展，叉車作為物流與倉儲(chǔ)中的重要設(shè)備，其駕駛員行為的監(jiān)控變得至關(guān)重要。傳統(tǒng)的叉車安全監(jiān)控系統(tǒng)主要依賴于簡(jiǎn)單的視頻監(jiān)控和報(bào)警設(shè)備，無法實(shí)時(shí)、精準(zhǔn)地捕捉駕駛員的行為，特別是在復(fù)雜工況下的異常行為。這些系統(tǒng)通常依靠攝像頭采集的圖像數(shù)據(jù)來監(jiān)控駕駛員的狀態(tài)，但對(duì)于實(shí)時(shí)監(jiān)控以及對(duì)細(xì)微駕駛行為特征的識(shí)別往往存在不足。尤其是在駕駛員面部遮擋、姿態(tài)多變或者環(huán)境光線不佳的情況下，這些系統(tǒng)難以實(shí)現(xiàn)對(duì)駕駛員的精確監(jiān)控和有效管理。

2、目前已有的技術(shù)在駕駛員行為識(shí)別方面大多采用基于2d圖像的計(jì)算機(jī)視覺方法，如人臉檢測(cè)、疲勞檢測(cè)、姿態(tài)分析等。這些方法主要依賴于rgb圖像數(shù)據(jù)，通過傳統(tǒng)的圖像處理算法或深度學(xué)習(xí)技術(shù)來進(jìn)行檢測(cè)。然而，這些方法的性能在很大程度上受到光照條件、拍攝角度以及環(huán)境遮擋等因素的影響。在強(qiáng)光、背光或遮擋的情況下，2d圖像的信息可能會(huì)失真或丟失，導(dǎo)致行為識(shí)別的準(zhǔn)確性下降。此外，由于rgb圖像無法提供足夠的深度信息，使得系統(tǒng)在進(jìn)行復(fù)雜的三維行為分析時(shí)存在很大的局限性。

3、駕駛行為特征分析技術(shù)對(duì)工業(yè)車輛操作人員的行為進(jìn)行數(shù)據(jù)采集和分析，進(jìn)一步優(yōu)化系統(tǒng)，實(shí)現(xiàn)自學(xué)習(xí)功能。駕駛行為特征分析技術(shù)主要分為兩個(gè)部分：駕駛場(chǎng)景的切換和操作行為模型。其中：駕駛場(chǎng)景的切換包括：程序在駕駛場(chǎng)景過程中會(huì)通過車載攝像頭、位置傳感器、車載雷達(dá)等將駕駛場(chǎng)景周邊采集到的音視頻信號(hào)數(shù)據(jù)處理后上傳至服務(wù)器；服務(wù)器將場(chǎng)景周邊采集的音視頻數(shù)據(jù)進(jìn)行處理，結(jié)合該駕駛作業(yè)的具體場(chǎng)景信息，進(jìn)一步分析得到該用戶的安全需求及個(gè)人行為習(xí)慣，由于不同場(chǎng)景下的安全需求及行為習(xí)慣不同；根據(jù)不同場(chǎng)景的安全隱患預(yù)警及個(gè)人行為習(xí)慣生成更加符合該場(chǎng)景下的安全行為預(yù)警和命令詞庫，推送給用戶；當(dāng)駕駛作業(yè)再次在該場(chǎng)景下使用時(shí)則是采用新的語法規(guī)則和安全行為預(yù)警和命令詞庫，得到更加符合該場(chǎng)景下的安全預(yù)警需求和習(xí)慣結(jié)果；形成良性的循環(huán)，使得不同場(chǎng)景下的駕駛行為及駕駛員作業(yè)習(xí)慣都有更加個(gè)性化的、符合自己行為習(xí)慣的體驗(yàn)；駕駛行為特征模型包括：酒后駕駛監(jiān)測(cè)模型（酒精監(jiān)測(cè)）、駕駛員行為狀態(tài)監(jiān)測(cè)模型（包含閉眼、打哈欠、瞌睡點(diǎn)頭等人臉疲勞檢測(cè)）、駕駛員健康監(jiān)測(cè)模型（包括血氧、心跳等）等。

4、基于人臉特征分類算法的人臉姿態(tài)估計(jì)方法實(shí)質(zhì)是通過圖像表觀特征進(jìn)行姿態(tài)分類的方法，可以看作一種模式分類或回歸問題。這種方法的一般分為兩步，第一步，提取某種圖像表示；第二步，采取某種流行嵌入算法將原始的高維特征映射到低維空間，并對(duì)這一低維特征進(jìn)行分類，從而實(shí)現(xiàn)人臉姿態(tài)的估計(jì)。其中，提取某種圖像表示是非常關(guān)鍵的步驟，為了得到更好的人臉姿態(tài)估計(jì)性能，提取的圖像表示應(yīng)該與人臉姿態(tài)變化緊密相關(guān)，并盡量與其它因素?zé)o關(guān)，如人的身份表情、光照等。常用的面部特征包括lbp特征、hog特征等。

5、基于深度學(xué)習(xí)的駕駛行為分析需要針對(duì)不同的數(shù)據(jù)特征進(jìn)行深度學(xué)習(xí)模型的設(shè)計(jì)。當(dāng)前，在深度學(xué)習(xí)模型研究中，卷積神經(jīng)網(wǎng)絡(luò)（cnn）、長短時(shí)記憶網(wǎng)絡(luò)（lstm）以及自編碼器（ae）等模型均已被廣泛應(yīng)用于駕駛行為分析中。其中，cnn通常用于對(duì)圖像信息進(jìn)行處理，lstm通常用于對(duì)時(shí)序信息進(jìn)行處理，ae通常用于對(duì)自編碼數(shù)據(jù)進(jìn)行處理。同時(shí)，二三維卷積網(wǎng)絡(luò)（vgg）、殘差神經(jīng)網(wǎng)絡(luò)（resnet）以及注意力機(jī)制網(wǎng)絡(luò)（attention）等模型也被廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域，逐步實(shí)現(xiàn)端到端學(xué)習(xí)。

6、然而，目前這些方法的性能在很大程度上依賴于從rgb圖像中提取的物體外觀特征，而包含豐富層次信息的深度圖像或點(diǎn)云數(shù)據(jù)僅發(fā)揮了很小的作用。

7、因此，如何提供基于點(diǎn)云數(shù)據(jù)處理和邊緣提取的叉車駕駛員行為監(jiān)控方法是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的一個(gè)目的在于提出基于點(diǎn)云數(shù)據(jù)處理和邊緣提取的叉車駕駛員行為監(jiān)控方法，本發(fā)明通過點(diǎn)云數(shù)據(jù)處理和邊緣特征提取相結(jié)合，采用創(chuàng)新的特征提取與融合技術(shù)，實(shí)現(xiàn)了對(duì)叉車駕駛員的異常行為精準(zhǔn)監(jiān)控。通過攝像機(jī)采集的rgb-d圖像和3d點(diǎn)云模型，融合多模態(tài)特征，有效增強(qiáng)了對(duì)復(fù)雜場(chǎng)景中駕駛員行為特征的識(shí)別能力。進(jìn)一步，通過優(yōu)化的人臉姿態(tài)估計(jì)算與canny邊緣檢測(cè)算法，以及自演化特征圖網(wǎng)絡(luò)，使系統(tǒng)在光照變化、遮擋和復(fù)雜環(huán)境下的適應(yīng)性顯著提升，最終實(shí)現(xiàn)對(duì)異常行為的高精度識(shí)別，具備識(shí)別準(zhǔn)確性高、實(shí)時(shí)性強(qiáng)和環(huán)境魯棒性優(yōu)異的優(yōu)點(diǎn)。

2、根據(jù)本發(fā)明實(shí)施例的基于點(diǎn)云數(shù)據(jù)處理和邊緣提取的叉車駕駛員行為監(jiān)控方法，包括如下步驟：

3、s1、通過攝像機(jī)采集叉車駕駛員的rgb-d圖像和3d點(diǎn)云模型集合，生成用于行為監(jiān)控的數(shù)據(jù)集；

4、s2、通過人臉關(guān)鍵點(diǎn)檢測(cè)模塊，從數(shù)據(jù)集的3d點(diǎn)云模型集合中提取形狀先驗(yàn)點(diǎn)云，利用局部二值特征信息算法，生成固定維度的二值化人臉關(guān)鍵點(diǎn)特征；

5、s3、通過人臉姿態(tài)估計(jì)模塊提取在深度相機(jī)下的觀測(cè)點(diǎn)云，并基于優(yōu)化的softmax分類器，利用人臉姿態(tài)估計(jì)算法生成叉車駕駛員的人臉姿態(tài)特征；

6、s4、基于邊緣特征提取模塊的大卷積核方式，利用優(yōu)化的canny邊緣檢測(cè)算法，獲取完整的叉車駕駛員行為邊緣特征；

7、s5、融合人臉關(guān)鍵點(diǎn)特征、人臉姿態(tài)特征和行為邊緣特征，生成多模態(tài)綜合特征；

8、s6、利用自演化特征圖網(wǎng)絡(luò)對(duì)多模態(tài)綜合特征進(jìn)行分析，判斷叉車駕駛員是否存在異常行為，并生成異常報(bào)警信號(hào)；

9、s7、將異常行為檢測(cè)結(jié)果上傳至服務(wù)器，進(jìn)行數(shù)據(jù)分析和決策支持。

10、可選的，所述s2的局部二值特征信息算法具體包括：

11、s21、使用隨機(jī)森林模型對(duì)每個(gè)實(shí)例的3d點(diǎn)云模型集合進(jìn)行處理，獲得人臉的初步分類結(jié)果，所述分類結(jié)果作為局部二值特征信息；

12、s22、在某一面部特征點(diǎn)的某輪迭代過程中，增加一個(gè)樣本分別通過隨機(jī)森林中各個(gè)決策樹的部分節(jié)點(diǎn)，最終到達(dá)決策樹的葉節(jié)點(diǎn)；

13、s23、將樣本到達(dá)的葉節(jié)點(diǎn)的輸出結(jié)果置為1，其余葉節(jié)點(diǎn)的輸出結(jié)果置為0，并串聯(lián)為一個(gè)固定維度的二值化編碼，作為固定維度的二值化人臉關(guān)鍵點(diǎn)特征。

14、可選的，所述s3中優(yōu)化的softmax分類器的函數(shù)為：

15、；

16、其中，表示softmax層的某一輸入樣本，表示對(duì)應(yīng)的網(wǎng)絡(luò)判別輸出，表示模型參數(shù)，k表示訓(xùn)練樣本的類別總數(shù)，j表示softmax層的輸出端編號(hào)，且；

17、由式可見，softmax分類器其實(shí)質(zhì)是一個(gè)帶參歸一化過程，它通過簡(jiǎn)單的監(jiān)督訓(xùn)練便可以實(shí)現(xiàn)較高準(zhǔn)確率的樣本分類工作，且其計(jì)算過程簡(jiǎn)單具有不錯(cuò)的分類實(shí)時(shí)性。

18、所述softmax分類器的輸入樣本為面部特征點(diǎn)的相對(duì)位置信息按照上下和左右兩個(gè)方向分別組合成一個(gè)4維特征和一個(gè)5維特征，對(duì)人臉姿態(tài)的水平和豎直兩個(gè)方向進(jìn)行姿態(tài)評(píng)估。

19、可選的，所述s3的人臉姿態(tài)估計(jì)算法具體包括：

20、s31、在人臉檢測(cè)給出的包絡(luò)框內(nèi)布置面部特征點(diǎn)的初始形狀；

21、s32、在每個(gè)面部特征點(diǎn)附近采集像素差特征，并以離散程度最小化為目標(biāo)，建立用于對(duì)像素差特征進(jìn)行歸類的隨機(jī)森林；

22、s33、將所述隨機(jī)森林的分類結(jié)果進(jìn)行編碼，形成局部二值特征信息；

23、s34、對(duì)所述局部二值特征信息進(jìn)行線性回歸運(yùn)算，得到各個(gè)特征點(diǎn)的位置調(diào)整量，并對(duì)通過多次迭代實(shí)現(xiàn)面部特征點(diǎn)的對(duì)齊效果；

24、s35、根據(jù)對(duì)齊后的特征點(diǎn)間的相對(duì)位置關(guān)系，設(shè)計(jì)姿態(tài)特征；

25、s36、利用softmax分類器對(duì)所述姿態(tài)特征進(jìn)行分類，得到最終的叉車駕駛員的人臉姿態(tài)信息。

26、可選的，所述s4的canny邊緣檢測(cè)算法具體包括：

27、s41、通過使用高斯濾波器對(duì)采集到的rgb-d圖像進(jìn)行平滑處理，去除圖像中的噪聲，保持邊緣的細(xì)節(jié)信息；

28、s42、使用sobel算子計(jì)算圖像中每個(gè)像素點(diǎn)的水平和垂直方向的梯度值，根據(jù)梯度值計(jì)算每個(gè)像素點(diǎn)的梯度幅值和方向；

29、s43、在計(jì)算得到的梯度幅值圖像上執(zhí)行非極大值抑制，將邊緣寬度變窄；

30、s44、進(jìn)行雙閾值處理，根據(jù)設(shè)定的高閾值和低閾值，將梯度幅值圖像中的像素點(diǎn)分為強(qiáng)邊緣、弱邊緣和非邊緣三類：

31、;

32、其中，g(x)表示像素點(diǎn)x的邊緣分類，表示高閾值，表示低閾值，強(qiáng)邊緣表示梯度幅值大于或等于高閾值的像素點(diǎn)，弱邊緣表示梯度幅值小于高閾值且大于或等于低閾值的像素點(diǎn)，非邊緣表示梯度幅值小于低閾值的像素點(diǎn)；

33、s45、通過連接強(qiáng)邊緣像素點(diǎn)和相鄰的弱邊緣像素點(diǎn)，生成完整的邊緣圖像。

34、卷積神經(jīng)網(wǎng)絡(luò)（cnn）常用于提取圖像中的邊緣特征。卷積層通過滑動(dòng)卷積核在輸入圖像上進(jìn)行卷積操作，從而可以有效地捕獲圖像中的邊緣信息。

35、本模塊創(chuàng)新性使用上述基于canny邊緣檢測(cè)的大卷積核方式進(jìn)行特征提取，主要是基于canny算法的高準(zhǔn)確性、低錯(cuò)誤率、單一性和高效性，以及大卷積核在提取邊緣特征方面的優(yōu)勢(shì)。其中，大卷積核可以捕獲到更大范圍內(nèi)的特征信息，因此在邊緣檢測(cè)時(shí)能夠更好地識(shí)別出物體的輪廓和邊緣。此外，大卷積核在處理圖像時(shí)能夠減少信息的丟失，有利于保留更多的細(xì)節(jié)信息，從而提高了邊緣特征的提取效果。另外，大卷積核還可以減少參數(shù)數(shù)量，降低計(jì)算復(fù)雜度，提高模型的計(jì)算效率。

36、可選的，所述s6具體包括：

37、s61、構(gòu)建自演化特征圖網(wǎng)絡(luò)模型，所述自演化特征圖網(wǎng)絡(luò)模型用于對(duì)多模態(tài)綜合特征進(jìn)行分析；

38、s62、將多模態(tài)綜合特征輸入至自演化特征圖網(wǎng)絡(luò)模型中，并進(jìn)行特征權(quán)重自適應(yīng)調(diào)整；

39、s63、通過特征圖傳播機(jī)制，對(duì)特征節(jié)點(diǎn)進(jìn)行迭代更新，進(jìn)行多模態(tài)特征之間的傳播與融合：

40、;

41、其中，表示第層的特征矩陣，表示第層的特征矩陣，表示激活函數(shù)，n表示融合后的多模態(tài)特征數(shù)量，表示第n個(gè)模式下的鄰接矩陣，表示第個(gè)模式下的權(quán)重矩陣，表示自回歸系數(shù)；

42、s64、在更新后的特征圖基礎(chǔ)上，對(duì)特征節(jié)點(diǎn)進(jìn)行卷積運(yùn)算，卷積運(yùn)算使用改進(jìn)的圖卷積機(jī)制進(jìn)行，包括圖采樣歸一化和嵌入特征增強(qiáng)：

43、;

44、其中，表示非線性激活函數(shù)，a表示鄰接矩陣，表示第層的權(quán)重矩陣，d表示特征圖的度矩陣，表示調(diào)節(jié)參數(shù)，表示特征嵌入增強(qiáng)函數(shù)；

45、s65、通過卷積運(yùn)算和迭代更新生成融合后的異常行為特征圖，所述異常行為特征圖用于識(shí)別叉車駕駛員的行為狀態(tài)，包括姿態(tài)變化、遮擋行為、抽煙行為和疲勞狀態(tài)；

46、s66、基于異常行為特征圖，通過分類器對(duì)叉車駕駛員的異常行為進(jìn)行分類，從而判斷叉車駕駛員是否存在異常行為，并生成異常報(bào)警信號(hào)。

47、本發(fā)明的有益效果是：

48、在本發(fā)明中，利用攝像機(jī)采集rgb-d圖像和3d點(diǎn)云模型集合，并通過人臉關(guān)鍵點(diǎn)檢測(cè)模塊、人臉姿態(tài)估計(jì)模塊和邊緣特征提取模塊，有效地融合了多模態(tài)信息，從而解決了單一rgb圖像對(duì)復(fù)雜環(huán)境適應(yīng)性不足的問題。通過局部二值特征信息算法結(jié)合隨機(jī)森林模型，增強(qiáng)了對(duì)人臉關(guān)鍵點(diǎn)的精確定位能力，提高了分類精度，并且在各特征點(diǎn)的迭代過程中能夠有效克服傳統(tǒng)隨機(jī)森林在復(fù)雜場(chǎng)景下精度不高的缺陷。

49、本發(fā)明在姿態(tài)估計(jì)過程中引入了優(yōu)化的softmax分類器，并結(jié)合多模態(tài)特征的深度融合，有效地提升了姿態(tài)評(píng)估的準(zhǔn)確性和穩(wěn)定性，特別是在環(huán)境光線變化大或面部存在部分遮擋的情況下。本發(fā)明采用的大卷積核方式結(jié)合canny邊緣檢測(cè)算法，通過噪聲抑制、梯度計(jì)算、非極大值抑制和雙閾值處理等一系列優(yōu)化步驟，保證了邊緣特征的完整性和準(zhǔn)確性，從而使得邊緣特征能夠在駕駛員行為分析中發(fā)揮關(guān)鍵作用。通過多模態(tài)特征的融合，行為特征的分析變得更加全面和準(zhǔn)確，顯著提高了對(duì)駕駛員異常行為的識(shí)別率。

50、此外，本發(fā)明引入了自演化特征圖網(wǎng)絡(luò)，通過特征圖傳播機(jī)制和多層卷積運(yùn)算，實(shí)現(xiàn)了多模態(tài)特征之間的深度融合與動(dòng)態(tài)調(diào)整，使得特征圖能夠反映復(fù)雜場(chǎng)景下駕駛員的真實(shí)行為狀態(tài)。這種特征圖網(wǎng)絡(luò)模型不僅實(shí)現(xiàn)了對(duì)多模態(tài)綜合特征的有效分析，還通過特征的自適應(yīng)權(quán)重調(diào)整機(jī)制，進(jìn)一步提升了異常行為識(shí)別的精度。通過卷積機(jī)制，包括圖采樣歸一化和嵌入特征增強(qiáng)，本發(fā)明顯著增強(qiáng)了特征節(jié)點(diǎn)的表示能力，從而對(duì)異常行為的識(shí)別更加精確。