本發(fā)明涉及通信，尤其涉及一種圖像處理方法及電子設(shè)備。

背景技術(shù)：

1、目前，終端的解鎖、支付和身份認(rèn)證等領(lǐng)域均涉及對人臉、人眼等敏感圖像的處理。通常在終端的可信執(zhí)行環(huán)境(trusted?execution?environment，簡稱tee)側(cè)使用處理器(central?processing?unit，cpu)運行人工智能(artificial?intelligence，ai)算法對圖像進行處理，再將得到的處理結(jié)果返回至終端設(shè)備的通用執(zhí)行環(huán)境(rich?executionenvironment，簡稱ree)側(cè)。

2、然而，受限于tee側(cè)使用的cpu核數(shù)量和cpu運行ai算法的處理性能，圖像處理的效率低。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種圖像處理方法及電子設(shè)備，解決圖像處理的效率低的問題。

2、第一方面，本發(fā)明實施例提供了一種圖像處理方法，應(yīng)用于電子設(shè)備，電子設(shè)備包括可信執(zhí)行環(huán)境tee和通用執(zhí)行環(huán)境ree，方法包括：

3、在ree中響應(yīng)于接收到的用戶操作，通過飛行時間tof攝像頭獲取tof數(shù)據(jù)；

4、在tee中對tof數(shù)據(jù)進行處理，得到tof圖像；

5、在tee中通過在神經(jīng)網(wǎng)絡(luò)處理器npu運行的目標(biāo)算法對tof圖像進行運算，得到運算結(jié)果；

6、在ree中根據(jù)運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令。

7、上述方法，通過在tee硬件npu運算，實現(xiàn)了硬件加速，提高運算效率。

8、結(jié)合第一方面，在一種可能的實現(xiàn)中，該方法還可以包括：在ree將tof數(shù)據(jù)和tof數(shù)據(jù)的標(biāo)識存儲在安全緩沖內(nèi)存區(qū)；在tee基于標(biāo)識從安全緩沖內(nèi)存區(qū)獲取tof數(shù)據(jù)。

9、上述方法，提供了一種ree和tee之間數(shù)據(jù)通信的機制，更加安全。

10、結(jié)合第一方面，在一種可能的實現(xiàn)中，電子設(shè)備包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、客戶端應(yīng)用ca、ca對應(yīng)的hal、ca對應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；該方法還可以包括：tof攝像頭將標(biāo)識發(fā)送至tof攝像頭hal；tof攝像頭hal將標(biāo)識至tof攝像頭服務(wù)；tof攝像頭服務(wù)將標(biāo)識發(fā)送至ca對應(yīng)的hal；ca對應(yīng)的hal將標(biāo)識發(fā)送至ca；ca將標(biāo)識發(fā)送至ta；其中，ta用于基于標(biāo)識從安全緩沖內(nèi)存區(qū)獲取tof數(shù)據(jù)。

11、可選地，ta還用于將tof數(shù)據(jù)進行處理得到tof圖像；該方法還可以包括：

12、ta將tof圖像發(fā)送至神經(jīng)網(wǎng)絡(luò)處理器npu。

13、可選地，ta將tof圖像發(fā)送至神經(jīng)網(wǎng)絡(luò)處理器npu，具體包括：ta將tof圖像存儲在安全共享緩存區(qū)；ta向npu發(fā)送第一通知，第一通知用于指示已存儲tof圖像；npu響應(yīng)于第一通知，從安全共享緩存區(qū)獲取tof圖像。

14、結(jié)合第一方面，在一種可能的實現(xiàn)中，該方法還可以包括：在tee基于tof數(shù)據(jù)進行人眼安全檢測，得到檢測結(jié)果，檢測結(jié)果用于指示tof攝像頭發(fā)送的光對人眼是否安全；在檢測結(jié)果指示不安全時，停止通過tof攝像頭獲取tof數(shù)據(jù)。

15、上述方法，及時進行人眼安全檢測，保證用戶的安全。

16、可選地，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動、客戶端應(yīng)用ca、ca對應(yīng)的hal、ca對應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；ta用于基于tof數(shù)據(jù)進行人眼安全檢測，得到檢測結(jié)果；該方法還可以包括：ta向ca發(fā)送檢測結(jié)果；ca將檢測結(jié)果發(fā)送至ca對應(yīng)的hal；ca對應(yīng)的hal將檢測結(jié)果發(fā)送至tof攝像頭服務(wù)；tof攝像頭服務(wù)將檢測結(jié)果發(fā)送至tof攝像頭hal；tof攝像頭hal在檢測結(jié)果為不安全時，向tof攝像頭驅(qū)動發(fā)送第一指令，第一指令用于指示tof攝像頭驅(qū)動停止通過tof攝像頭獲取tof數(shù)據(jù)。

17、結(jié)合第一方面，在一種可能的實現(xiàn)中，該方法還可以包括：在tee基于tof數(shù)據(jù)確定tof攝像頭的曝光參數(shù)值；在ree基于曝光參數(shù)值調(diào)整tof攝像頭的曝光參數(shù)。

18、上述方法，可以實現(xiàn)tof攝像頭的曝光參數(shù)的動態(tài)調(diào)整，以得到更高質(zhì)量的tof數(shù)據(jù)。

19、可選地，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動、客戶端應(yīng)用ca、ca對應(yīng)的hal、ca對應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；ta用于基于tof數(shù)據(jù)進行確定tof攝像頭的曝光參數(shù)值；該方法還可以包括：ta向ca發(fā)送曝光參數(shù)值；ca將曝光參數(shù)值發(fā)送至ca對應(yīng)的hal；ca對應(yīng)的hal將曝光參數(shù)值發(fā)送至tof攝像頭服務(wù)；tof攝像頭服務(wù)將曝光參數(shù)值發(fā)送至tof攝像頭hal；tof攝像頭hal向tof攝像頭驅(qū)動發(fā)送曝光參數(shù)值；tof攝像頭驅(qū)動設(shè)置tof攝像頭的曝光參數(shù)為曝光參數(shù)值。

20、結(jié)合第一方面，在一種可能的實現(xiàn)中，電子設(shè)備還包括在ree的tof攝像頭服務(wù)、tof攝像頭硬件抽象層hal、tof攝像頭驅(qū)動、客戶端應(yīng)用ca、ca對應(yīng)的hal、ca對應(yīng)的服務(wù)，以及在tee的可信應(yīng)用ta；該方法還可以包括：npu向ta發(fā)送運算結(jié)果；ta向ca發(fā)送運算結(jié)果；ca將運算結(jié)果發(fā)送至ca對應(yīng)的hal；ca對應(yīng)的hal將運算結(jié)果發(fā)送至ca對應(yīng)的服務(wù)，ca對應(yīng)的服務(wù)再將運算結(jié)果發(fā)送至應(yīng)用程序；在ree中基于運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令，包括應(yīng)用程序基于運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令。

21、可選地，npu向ta發(fā)送運算結(jié)果的一種實現(xiàn)可以包括：npu將運算結(jié)果存儲到安全共享緩存區(qū)；npu向ta發(fā)送第二通知，第二通知用于指示運算完成；ca響應(yīng)于第二通知，從安全共享緩存區(qū)讀取運算結(jié)果。

22、結(jié)合第一方面，在一種可能的實現(xiàn)中，在tee中通過在神經(jīng)網(wǎng)絡(luò)處理器npu運行的目標(biāo)算法對tof圖像進行運算，到運算結(jié)果之前，該方法還可以包括：響應(yīng)于ree的調(diào)用指令，在npu中加載目標(biāo)算法，調(diào)用指令包括目標(biāo)算法的標(biāo)識。

23、結(jié)合第一方面，在一種可能的實現(xiàn)中，該方法還可以包括：將npu的模式配置成安全模式。

24、結(jié)合第一方面，在一種可能的實現(xiàn)中，用戶操作為電子設(shè)備在處于鎖屏狀態(tài)時檢測到的解鎖操作；tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為人臉識別算法和活體校驗算法；

25、在ree中根據(jù)運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令，包括：在ree中，當(dāng)運算結(jié)果指示通過人臉識別且通過活體校驗算法時，解鎖屏幕。

26、結(jié)合第一方面，在一種可能的實現(xiàn)中，用戶操作為電子設(shè)備在支付界面時檢測到的支付操作；tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為人臉識別算法和活體校驗算法；

27、在ree中根據(jù)運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令，包括：在ree中，當(dāng)運算結(jié)果指示通過人臉識別且通過活體校驗算法時，進行支付。

28、結(jié)合第一方面，在一種可能的實現(xiàn)中，用戶操作為用于開啟姿態(tài)控制的用戶操作，tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為姿態(tài)識別算法和活體校驗算法；

29、在ree中根據(jù)運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令，包括：在ree中，當(dāng)運算結(jié)果指示第一姿態(tài)且通過活體校驗算法時，執(zhí)行第一姿態(tài)對應(yīng)的指令。

30、結(jié)合第一方面，在一種可能的實現(xiàn)中，用戶操作為用于開啟手勢控制的用戶操作，tof圖像包括灰度圖像和深度圖像，目標(biāo)算法為手勢識別算法和活體校驗算法；

31、在ree中根據(jù)運算結(jié)果執(zhí)行用戶操作對應(yīng)的指令，包括：在ree中，當(dāng)運算結(jié)果指示第一手勢且通過活體校驗算法時，執(zhí)行第一手勢對應(yīng)的指令。

32、第二方面，本發(fā)明實施例提供了一種電子設(shè)備，包括多個處理器和一個或多個存儲器；其中，多個處理器包括神經(jīng)網(wǎng)絡(luò)處理器npu，一個或多個存儲器與一個或多個處理器耦合，一個或多個存儲器用于存儲計算機程序代碼，計算機程序代碼包括計算機指令，當(dāng)一個或多個處理器執(zhí)行計算機指令時，使得處理器執(zhí)行第一方面或第一方面任意一種可能的實現(xiàn)中電子是本執(zhí)行的方法。

33、第三方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，包括計算機指令，當(dāng)計算機指令在電子設(shè)備上運行時，使得電子設(shè)備執(zhí)行第一方面或第一方面任意一種可能的實現(xiàn)中電子是本執(zhí)行的方法。

34、第四方面，本發(fā)明實施例提供了一種計算機程序產(chǎn)品，包括計算機指令，當(dāng)計算機指令在電子設(shè)備上運行時，使得電子設(shè)備執(zhí)行第一方面或第一方面任意一種可能的實現(xiàn)中電子是本執(zhí)行的方法。