本技術(shù)各實(shí)施例屬于人工智能，尤其涉及一種基于深度學(xué)習(xí)的瞳孔檢測(cè)方法及裝置。

背景技術(shù)：

1、眼部圖像是指通過攝影或掃描等技術(shù)手段獲取的，包含人類眼睛區(qū)域的可視化表示。它通常包括眼睛的外輪廓、虹膜、瞳孔、鞏膜、眼瞼等關(guān)鍵組成部分，這些部分在圖像中以不同的顏色、紋理和形狀呈現(xiàn)。

2、然而，當(dāng)前眼部圖像的瞳孔檢測(cè)過程繁瑣，不利于提高當(dāng)前眼部圖像的瞳孔檢測(cè)效率。其原因在于，當(dāng)前眼部圖像的瞳孔檢測(cè)工作主要依賴于人工操作，而人工操作的方式會(huì)耗費(fèi)大量的人力資源和時(shí)間資源，增加了瞳孔檢測(cè)的檢測(cè)時(shí)間，且容易受到人工干預(yù)的影響，因此不利于提高當(dāng)前眼部圖像的瞳孔檢測(cè)效率。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于深度學(xué)習(xí)的瞳孔檢測(cè)方法及裝置，以解決上述當(dāng)前眼部圖像的瞳孔檢測(cè)過程繁瑣，不利于提高當(dāng)前眼部圖像的瞳孔檢測(cè)效率的技術(shù)問題。

2、第一方面，本技術(shù)實(shí)施例提供了一種基于深度學(xué)習(xí)的瞳孔檢測(cè)方法，應(yīng)用于電子設(shè)備，所述瞳孔檢測(cè)方法包括：

3、獲取第一深度學(xué)習(xí)模型和第二深度學(xué)習(xí)模型；

4、獲取當(dāng)前眼部圖像，獲取訓(xùn)練后的所述第一深度學(xué)習(xí)模型基于所述當(dāng)前眼部圖像輸出的當(dāng)前分類標(biāo)簽和當(dāng)前粗定位標(biāo)簽；

5、當(dāng)所述當(dāng)前分類標(biāo)簽為有效標(biāo)簽時(shí)，根據(jù)所述當(dāng)前粗定位標(biāo)簽，對(duì)所述當(dāng)前眼部圖像進(jìn)行第一次定位，確定瞳孔的粗定位區(qū)域；

6、根據(jù)所述粗定位區(qū)域，獲取當(dāng)前瞳孔圖像，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)；

7、根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果。

8、本技術(shù)實(shí)施例有益效果在于兩方面，一方面，根據(jù)所述粗定位區(qū)域，獲取當(dāng)前瞳孔圖像，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)，根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果，因此簡(jiǎn)化了當(dāng)前眼部圖像的瞳孔檢測(cè)過程，有利于提高當(dāng)前眼部圖像的瞳孔檢測(cè)效率；另一方面，通過訓(xùn)練后的所述第二深度學(xué)習(xí)模型實(shí)現(xiàn)自動(dòng)檢測(cè)，因此不會(huì)受到人為因素的影響，因此有利于提升瞳孔檢測(cè)結(jié)果的可靠性。

9、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述獲取第一深度學(xué)習(xí)模型和第二深度學(xué)習(xí)模型，包括：

10、獲取預(yù)設(shè)眼部圖像、實(shí)際分類標(biāo)簽和實(shí)際粗定位標(biāo)簽，基于所述預(yù)設(shè)眼部圖像、所述實(shí)際分類標(biāo)簽和所述實(shí)際粗定位標(biāo)簽，訓(xùn)練第一深度學(xué)習(xí)模型，得到訓(xùn)練后的所述第一深度學(xué)習(xí)模型；

11、獲取預(yù)設(shè)瞳孔圖像和所述預(yù)設(shè)瞳孔圖像對(duì)應(yīng)的實(shí)際坐標(biāo)數(shù)據(jù)，基于所述預(yù)設(shè)瞳孔圖像對(duì)應(yīng)的實(shí)際坐標(biāo)數(shù)據(jù)，訓(xùn)練第二深度學(xué)習(xí)模型，得到訓(xùn)練后的所述第二深度學(xué)習(xí)模型。

12、在本技術(shù)實(shí)施例中，由于訓(xùn)練后的所述第一深度學(xué)習(xí)模型和訓(xùn)練后的所述第二深度學(xué)習(xí)模型，已經(jīng)學(xué)習(xí)了預(yù)設(shè)眼部圖像的大量特征，因此在實(shí)際應(yīng)用中能迅速準(zhǔn)確地識(shí)別出相似或相關(guān)的圖像內(nèi)容，從而提升了識(shí)別精度和效率。

13、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述獲取預(yù)設(shè)眼部圖像、實(shí)際分類標(biāo)簽和實(shí)際粗定位標(biāo)簽，基于所述預(yù)設(shè)眼部圖像、所述實(shí)際分類標(biāo)簽和所述實(shí)際粗定位標(biāo)簽，訓(xùn)練第一深度學(xué)習(xí)模型，得到訓(xùn)練后的所述第一深度學(xué)習(xí)模型，包括：

14、獲取預(yù)設(shè)眼部圖像、實(shí)際分類標(biāo)簽和實(shí)際粗定位標(biāo)簽，獲取第一深度學(xué)習(xí)模型基于所述預(yù)設(shè)眼部圖像輸出的預(yù)測(cè)分類標(biāo)簽和預(yù)測(cè)粗定位標(biāo)簽；

15、獲取所述預(yù)測(cè)分類標(biāo)簽和所述實(shí)際分類標(biāo)簽之間的第一損失值，獲取所述預(yù)測(cè)粗定位標(biāo)簽和所述實(shí)際粗定位標(biāo)簽之間的第二損失值；

16、基于所述第一損失值和所述第二損失值訓(xùn)練所述第一深度學(xué)習(xí)模型，獲取訓(xùn)練后的所述第一深度學(xué)習(xí)模型。

17、在本技術(shù)實(shí)施例中，第一損失值作為衡量預(yù)測(cè)標(biāo)簽、實(shí)際分類標(biāo)簽和實(shí)際粗定位標(biāo)簽之間差異的關(guān)鍵指標(biāo)，通過不斷地最小化第一損失值，第一深度學(xué)習(xí)模型能夠逐步調(diào)整其內(nèi)部參數(shù)，從而提升第一深度學(xué)習(xí)模型預(yù)測(cè)的準(zhǔn)確性和可靠性。

18、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述獲取預(yù)設(shè)瞳孔圖像和所述預(yù)設(shè)瞳孔圖像對(duì)應(yīng)的實(shí)際坐標(biāo)數(shù)據(jù)，基于所述預(yù)設(shè)瞳孔圖像對(duì)應(yīng)的實(shí)際坐標(biāo)數(shù)據(jù)，訓(xùn)練第二深度學(xué)習(xí)模型，得到訓(xùn)練后的所述第二深度學(xué)習(xí)模型，包括：

19、獲取預(yù)設(shè)瞳孔圖像和所述預(yù)設(shè)瞳孔圖像對(duì)應(yīng)的實(shí)際坐標(biāo)數(shù)據(jù)，獲取所述第二深度學(xué)習(xí)模型基于所述預(yù)設(shè)瞳孔圖像輸出的預(yù)測(cè)坐標(biāo)數(shù)據(jù)；

20、獲取所述預(yù)測(cè)坐標(biāo)數(shù)據(jù)和所述實(shí)際坐標(biāo)數(shù)據(jù)之間的第三損失值；

21、基于所述第三損失值訓(xùn)練所述第二深度學(xué)習(xí)模型，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型。

22、在本技術(shù)實(shí)施例中，第三損失值作為衡量預(yù)測(cè)坐標(biāo)數(shù)據(jù)和實(shí)際坐標(biāo)數(shù)據(jù)之間差異的關(guān)鍵指標(biāo)，通過不斷地最小化第三損失值，第二深度學(xué)習(xí)模型能夠逐步調(diào)整其內(nèi)部參數(shù)，從而提升第二深度學(xué)習(xí)模型預(yù)測(cè)的準(zhǔn)確性和可靠性。

23、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述獲取所述預(yù)測(cè)坐標(biāo)數(shù)據(jù)和所述實(shí)際坐標(biāo)數(shù)據(jù)之間的第三損失值，包括：

24、獲取所述預(yù)測(cè)坐標(biāo)數(shù)據(jù)中的預(yù)測(cè)瞳孔中心坐標(biāo)和預(yù)測(cè)瞳孔輪廓坐標(biāo)，獲取所述實(shí)際坐標(biāo)數(shù)據(jù)中的實(shí)際瞳孔中心坐標(biāo)和實(shí)際瞳孔輪廓坐標(biāo)；

25、獲取所述預(yù)測(cè)瞳孔中心坐標(biāo)和所述實(shí)際瞳孔中心坐標(biāo)之間的第一差值，獲取所述預(yù)測(cè)瞳孔輪廓坐標(biāo)和所述實(shí)際瞳孔輪廓坐標(biāo)之間的第二差值；

26、根據(jù)第一差值的第一平方值和第二差值的第二平方值，計(jì)算所述第一平方值和所述第二平方值之間的平均值，將所述平均值作為第三損失值。

27、在本技術(shù)實(shí)施例中，計(jì)算所述第一平方值和所述第二平方值之間的平均值，將所述平均值作為第三損失值，使得第二深度學(xué)習(xí)模型不易受到極端值的干擾，使得第二深度學(xué)習(xí)模型的訓(xùn)練過程更加平穩(wěn)。

28、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述獲取當(dāng)前眼部圖像，獲取訓(xùn)練后的所述第一深度學(xué)習(xí)模型基于所述當(dāng)前眼部圖像輸出的當(dāng)前分類標(biāo)簽和當(dāng)前粗定位標(biāo)簽，包括：

29、獲取當(dāng)前眼部圖像，對(duì)所述當(dāng)前眼部圖像進(jìn)行預(yù)處理，將預(yù)處理后的所述當(dāng)前眼部圖像輸入訓(xùn)練后的所述第一深度學(xué)習(xí)模型，獲取訓(xùn)練后的所述第一深度學(xué)習(xí)模型基于預(yù)處理后的所述當(dāng)前眼部圖像輸出的當(dāng)前分類標(biāo)簽和當(dāng)前粗定位標(biāo)簽，所述預(yù)處理包括閾值分割處理、腐蝕膨脹處理、凹凸包處理中的其中一種或其組合。

30、在本技術(shù)實(shí)施例中，對(duì)所述當(dāng)前眼部圖像進(jìn)行預(yù)處理，由于預(yù)處理能夠標(biāo)準(zhǔn)化當(dāng)前眼部圖像的格式和規(guī)格，確保所有當(dāng)前眼部圖像在特征維度上的一致性，有利于訓(xùn)練后的所述第一深度學(xué)習(xí)模型快速捕捉到當(dāng)前眼部圖像中的關(guān)鍵信息，減少訓(xùn)練后的所述第一深度學(xué)習(xí)模型處理當(dāng)前眼部圖像時(shí)的計(jì)算負(fù)擔(dān)和時(shí)間成本，有利于提高訓(xùn)練后的所述第一深度學(xué)習(xí)模型的處理速度。

31、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述粗定位區(qū)域，獲取當(dāng)前瞳孔圖像，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)，包括：

32、根據(jù)所述初始的瞳孔區(qū)域，在所述當(dāng)前眼部圖像中確定瞳孔邊界框，調(diào)用預(yù)設(shè)的圖像裁剪函數(shù)，通過所述圖像裁剪函數(shù)從所述瞳孔邊界框中裁剪出當(dāng)前瞳孔圖像，將所述當(dāng)前瞳孔圖像輸入訓(xùn)練后的所述第二深度學(xué)習(xí)模型，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)。

33、在本技術(shù)實(shí)施例中，通過所述圖像裁剪函數(shù)從所述瞳孔邊界框中裁剪出當(dāng)前瞳孔圖像，由于減少了所述當(dāng)前瞳孔圖像的圖像尺寸，因此，有利于訓(xùn)練后的所述第二深度學(xué)習(xí)模型快速捕捉到當(dāng)前瞳孔圖像中的關(guān)鍵信息，減少訓(xùn)練后的所述第二深度學(xué)習(xí)模型處理當(dāng)前瞳孔圖像時(shí)的計(jì)算負(fù)擔(dān)和時(shí)間成本，有利于提高訓(xùn)練后的所述第二深度學(xué)習(xí)模型的處理速度。

34、在第一方面的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果，包括：

35、獲取所述當(dāng)前坐標(biāo)數(shù)據(jù)中的當(dāng)前瞳孔中心坐標(biāo)和當(dāng)前瞳孔輪廓坐標(biāo)；

36、根據(jù)所述當(dāng)前瞳孔中心坐標(biāo)和所述當(dāng)前瞳孔輪廓坐標(biāo)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果。

37、在本技術(shù)實(shí)施例中，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果，通過瞳孔檢測(cè)結(jié)果，能夠?qū)崟r(shí)追蹤用戶的視線方向，從而實(shí)時(shí)確定用戶的注視點(diǎn)，這種實(shí)時(shí)的視線追蹤能力，有利于向用戶提供更加自然和直觀的交互體驗(yàn)。

38、在第一方面的一種可能的實(shí)現(xiàn)方式中，在所述根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果之后，所述瞳孔檢測(cè)方法，包括：

39、獲取顯示頁面，創(chuàng)建所述顯示頁面的顯示窗口，通過所述顯示窗口顯示所述瞳孔的精定位區(qū)域。

40、在本技術(shù)實(shí)施例中，顯示瞳孔的精定位區(qū)域，這種直觀顯示有助于開發(fā)人員更清晰地觀察和分析瞳孔的位置和形態(tài)，從而更有效地優(yōu)化定位算法，提高瞳孔識(shí)別的準(zhǔn)確性和穩(wěn)定性。

41、第二方面，本技術(shù)實(shí)施例提供了一種基于深度學(xué)習(xí)的瞳孔檢測(cè)裝置，包括：

42、第一獲取模塊，用于獲取第一深度學(xué)習(xí)模型和第二深度學(xué)習(xí)模型；

43、第二獲取模塊，用于獲取當(dāng)前眼部圖像，獲取訓(xùn)練后的所述第一深度學(xué)習(xí)模型基于所述當(dāng)前眼部圖像輸出的當(dāng)前分類標(biāo)簽和當(dāng)前粗定位標(biāo)簽；

44、定位模塊，用于當(dāng)所述當(dāng)前分類標(biāo)簽為有效標(biāo)簽時(shí)，根據(jù)所述當(dāng)前粗定位標(biāo)簽，對(duì)所述當(dāng)前眼部圖像進(jìn)行第一次定位，確定瞳孔的粗定位區(qū)域；

45、第三獲取模塊，用于根據(jù)所述粗定位區(qū)域，獲取當(dāng)前瞳孔圖像，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)；

46、檢測(cè)模塊，用于根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果。

47、本技術(shù)實(shí)施例有益效果在于兩方面，一方面，根據(jù)所述粗定位區(qū)域，獲取當(dāng)前瞳孔圖像，獲取訓(xùn)練后的所述第二深度學(xué)習(xí)模型基于所述當(dāng)前瞳孔圖像輸出的當(dāng)前坐標(biāo)數(shù)據(jù)，根據(jù)所述當(dāng)前坐標(biāo)數(shù)據(jù)，對(duì)所述當(dāng)前眼部圖像進(jìn)行第二次定位，確定所述瞳孔的精定位區(qū)域，選取所述精定位區(qū)域作為瞳孔檢測(cè)結(jié)果，因此簡(jiǎn)化了當(dāng)前眼部圖像的瞳孔檢測(cè)過程，有利于提高當(dāng)前眼部圖像的瞳孔檢測(cè)效率；另一方面，通過訓(xùn)練后的所述第二深度學(xué)習(xí)模型實(shí)現(xiàn)自動(dòng)檢測(cè)，因此不會(huì)受到人為因素的影響，因此有利于提升瞳孔檢測(cè)結(jié)果的可靠性。