本發(fā)明涉及計(jì)算機(jī)視覺，尤其涉及一種疲勞檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、駕駛員疲勞檢測(cè)技術(shù)主要依賴于機(jī)器視覺技術(shù)，通過捕捉并分析駕駛員面部的生理反應(yīng)特征，如眼睛的開合狀態(tài)，來評(píng)估駕駛員的疲勞程度。

2、例如，可以通過對(duì)眼部圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，以計(jì)算眼部開合度，進(jìn)而基于眼部開合度進(jìn)行疲勞檢測(cè)。

3、但是實(shí)車場(chǎng)景的復(fù)雜度很高，駕駛員在車內(nèi)的動(dòng)作變化會(huì)直接影響眼部開合度的計(jì)算，這導(dǎo)致基于眼部開合度進(jìn)行疲勞檢測(cè)的可靠性和準(zhǔn)確性偏低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種疲勞檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，用以解決相關(guān)技術(shù)中基于眼部開合度進(jìn)行疲勞檢測(cè)的可靠性和準(zhǔn)確性偏低的缺陷。

2、本發(fā)明提供一種疲勞檢測(cè)方法，包括如下步驟。

3、獲取人臉圖像，對(duì)所述人臉圖像的眼部區(qū)域進(jìn)行眼部關(guān)鍵點(diǎn)檢測(cè)，得到所述眼部區(qū)域的關(guān)鍵點(diǎn)位置信息，并基于所述關(guān)鍵點(diǎn)位置信息，確定眼部開合度；

4、對(duì)所述人臉圖像進(jìn)行頭姿估計(jì)，得到所述人臉圖像的頭姿信息，并基于所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到校正開合度；

5、基于所述校正開合度，確定所述人臉圖像的疲勞檢測(cè)結(jié)果。

6、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述基于所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到校正開合度，包括：

7、基于映射函數(shù)和所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到所述校正開合度；

8、所述映射函數(shù)是基于樣本人員在相同樣本眼部開合度、不同樣本頭姿信息下拍攝的樣本圖像中的眼部開合度確定的。

9、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述基于所述關(guān)鍵點(diǎn)位置信息，確定眼部開合度，包括：

10、基于所述關(guān)鍵點(diǎn)位置信息，計(jì)算初始開合度；

11、基于所述人臉圖像所對(duì)應(yīng)人員的眼部開合度分布信息，對(duì)所述初始開合度進(jìn)行個(gè)體標(biāo)準(zhǔn)化，得到所述眼部開合度。

12、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述基于所述人臉圖像所對(duì)應(yīng)人員的眼部開合度分布信息，對(duì)所述初始開合度進(jìn)行個(gè)體標(biāo)準(zhǔn)化，得到所述眼部開合度，包括：

13、基于所述人臉圖像所對(duì)應(yīng)人員的眼部開合度分布信息，確定所述人臉圖像所對(duì)應(yīng)人員的個(gè)體開合度最大值和個(gè)體開合度最小值；

14、基于所述個(gè)體開合度最大值和個(gè)體開合度最小值，對(duì)所述初始開合度進(jìn)行個(gè)體標(biāo)準(zhǔn)化，得到所述眼部開合度。

15、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述眼部開合度分布信息是基于所述人臉圖像所對(duì)應(yīng)人員在駕駛初期的駕駛?cè)四槇D像得到的。

16、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述基于所述校正開合度，確定所述人臉圖像的疲勞檢測(cè)結(jié)果，包括：

17、對(duì)所述人臉圖像的眼部區(qū)域進(jìn)行睜閉眼分類，得到睜閉眼分類結(jié)果；

18、基于所述校正開合度和所述睜閉眼分類結(jié)果，確定所述人臉圖像的疲勞檢測(cè)結(jié)果。

19、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述睜閉眼分類基于分類模型進(jìn)行，所述眼部關(guān)鍵點(diǎn)檢測(cè)基于眼部關(guān)鍵點(diǎn)檢測(cè)模型進(jìn)行；

20、所述分類模型和所述眼部關(guān)鍵點(diǎn)檢測(cè)模型共享主干網(wǎng)絡(luò)。

21、根據(jù)本發(fā)明提供的一種疲勞檢測(cè)方法，所述人臉圖像的眼部區(qū)域是基于所述人臉圖像的關(guān)鍵點(diǎn)檢測(cè)結(jié)果，對(duì)所述人臉圖像進(jìn)行裁剪得到的。

22、本發(fā)明還提供一種疲勞檢測(cè)裝置，包括如下模塊：

23、計(jì)算單元，用于獲取人臉圖像，對(duì)所述人臉圖像的眼部區(qū)域進(jìn)行眼部關(guān)鍵點(diǎn)檢測(cè)，得到所述眼部區(qū)域的關(guān)鍵點(diǎn)位置信息，并基于所述關(guān)鍵點(diǎn)位置信息，確定眼部開合度；

24、校正單元，用于對(duì)所述人臉圖像進(jìn)行頭姿估計(jì)，得到所述人臉圖像的頭姿信息，并基于所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到校正開合度；

25、檢測(cè)單元，用于基于所述校正開合度，確定所述人臉圖像的疲勞檢測(cè)結(jié)果。

26、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述疲勞檢測(cè)方法。

27、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述疲勞檢測(cè)方法。

28、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述疲勞檢測(cè)方法。

29、本發(fā)明提供的疲勞檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，基于人臉圖像的頭姿信息，對(duì)基于眼部關(guān)鍵點(diǎn)檢測(cè)所得的眼部開合度進(jìn)行校正，由此得到校正開合度并用于疲勞檢測(cè)，頭姿信息在眼部開合度校正中的應(yīng)用，消除了頭姿變化對(duì)于眼部開合度的影響，能夠有效提升基于關(guān)鍵點(diǎn)檢測(cè)得到的眼部開合度的可靠性，進(jìn)而保證疲勞檢測(cè)的可靠性和準(zhǔn)確性。

技術(shù)特征：

1.一種疲勞檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的疲勞檢測(cè)方法，其特征在于，所述基于所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到校正開合度，包括：

3.根據(jù)權(quán)利要求1所述的疲勞檢測(cè)方法，其特征在于，所述基于所述關(guān)鍵點(diǎn)位置信息，確定眼部開合度，包括：

4.根據(jù)權(quán)利要求3所述的疲勞檢測(cè)方法，其特征在于，所述基于所述人臉圖像所對(duì)應(yīng)人員的眼部開合度分布信息，對(duì)所述初始開合度進(jìn)行個(gè)體標(biāo)準(zhǔn)化，得到所述眼部開合度，包括：

5.根據(jù)權(quán)利要求3所述的疲勞檢測(cè)方法，其特征在于，所述眼部開合度分布信息是基于所述人臉圖像所對(duì)應(yīng)人員在駕駛初期的駕駛?cè)四槇D像得到的。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的疲勞檢測(cè)方法，其特征在于，所述基于所述校正開合度，確定所述人臉圖像的疲勞檢測(cè)結(jié)果，包括：

7.根據(jù)權(quán)利要求6所述的疲勞檢測(cè)方法，其特征在于，所述睜閉眼分類基于分類模型進(jìn)行，所述眼部關(guān)鍵點(diǎn)檢測(cè)基于眼部關(guān)鍵點(diǎn)檢測(cè)模型進(jìn)行；

8.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的疲勞檢測(cè)方法，其特征在于，所述人臉圖像的眼部區(qū)域是基于所述人臉圖像的關(guān)鍵點(diǎn)檢測(cè)結(jié)果，對(duì)所述人臉圖像進(jìn)行裁剪得到的。

9.一種疲勞檢測(cè)裝置，其特征在于，包括：

10.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述疲勞檢測(cè)方法。

11.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述疲勞檢測(cè)方法。

12.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述疲勞檢測(cè)方法。

技術(shù)總結(jié)
本發(fā)明提供一種疲勞檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，其中方法包括：獲取人臉圖像，對(duì)所述人臉圖像的眼部區(qū)域進(jìn)行眼部關(guān)鍵點(diǎn)檢測(cè)，得到所述眼部區(qū)域的關(guān)鍵點(diǎn)位置信息，并基于所述關(guān)鍵點(diǎn)位置信息，確定眼部開合度；對(duì)所述人臉圖像進(jìn)行頭姿估計(jì)，得到所述人臉圖像的頭姿信息，并基于所述頭姿信息，對(duì)所述眼部開合度進(jìn)行校正，得到校正開合度；基于所述校正開合度，確定所述人臉圖像的疲勞檢測(cè)結(jié)果。本發(fā)明提供的方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，頭姿信息在眼部開合度校正中的應(yīng)用，消除了頭姿變化對(duì)于眼部開合度的影響，能夠有效提升基于關(guān)鍵點(diǎn)檢測(cè)得到的眼部開合度的可靠性，進(jìn)而保證疲勞檢測(cè)的可靠性和準(zhǔn)確性。

技術(shù)研發(fā)人員：程虎,林垠,沙文,殷兵
受保護(hù)的技術(shù)使用者：科大訊飛股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30