本發(fā)明屬于信息。

背景技術(shù)：

1、cn202080087543.5化妝輔助裝置、化妝輔助方法、化妝輔助程序以及化妝輔助系統(tǒng)，對化妝品的涂抹進行引導(dǎo)，該化妝輔助裝置具有：區(qū)域檢測部，其檢測涂抹化妝品的區(qū)域；和顯示部，其顯示與所述區(qū)域相關(guān)聯(lián)的信息，所述信息是表示所述區(qū)域中的所述化妝品的涂抹狀況的信息。

2、cn201680069623.1化妝模擬輔助裝置、化妝模擬輔助方法和化妝模擬輔助程序，化妝模擬輔助裝置具有：模擬圖像生成部(210)，其生成在由拍攝用戶面部的圖像來作為面部圖像的拍攝部拍攝到的面部圖像上重疊化妝圖像而得到的模擬圖像，所述化妝圖像表示對面部的面部器官實施了化妝時的化妝狀態(tài)；模擬圖像輸出部(220)，其輸出所生成的模擬圖像；興趣程度檢測部(230)，其基于在模擬圖像被輸出時由攝像部拍攝到的面部圖像，檢測用戶對化妝圖像的興趣程度；以及興趣程度信息輸出部(240)，其輸出表示所檢測出的興趣程度的興趣程度信息。

3、cn202211566191.9一種模擬化妝方法、模擬化妝系統(tǒng)及智能化妝臺，該方法、系統(tǒng)及化妝臺建立了一個由人的臉部模型構(gòu)成的實物化妝模型，并在該化妝模型上密布有若干觸摸傳感器，通過算法可將拍攝的人臉圖像特征與化妝模型圖像特征相匹配；這樣，當(dāng)在化妝模型上化妝時，觸摸傳感器檢測的化妝位置可以轉(zhuǎn)換到虛擬人臉圖像上，并將化妝效果顯示于虛擬圖像上。對使用者而言，雖然未在自己臉上化妝，卻可以達(dá)到正在“照鏡子”的真實感官效果。而且，其化妝操作是在實物模型上進行的，使用的可以是仿真化妝工具，從而可以達(dá)到真實的手感化妝操作，得到虛擬的模擬化妝效果，在無損耗的基礎(chǔ)上進行化妝品的試妝，也可以實現(xiàn)對化妝手法的練習(xí)操作。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的是，提出一種全方位適用于家庭成員和職工的康美(健康美顏與化妝)檢測和管理方法，針對大家關(guān)心的美顏問題，在機器人顯示界面上增加人體皮膚、面部皮膚、化妝品、保健品等多維檢測，可以分析面部和膚質(zhì)特征，能夠識別化妝品類型和化妝步驟，并進行語音提示；同時可增加舌苔檢測功能，可以分析人的體質(zhì)，并且語音推薦相應(yīng)的保健品。

2、還可以進行人員測距，輸出電子鎖開鎖信號。還能夠檢測化妝品、保健品的數(shù)量和狀態(tài)，并且進行語音提示。針對不同人員使用的化妝品或保健品，進行存儲管理。而現(xiàn)有的一些美容和健康檢測設(shè)備，功能比較單一，同時無法進行化妝過程等識別并進行語音提醒，實現(xiàn)全過程、全方位、多視角多應(yīng)用的檢測評價與監(jiān)控。

3、本發(fā)明技術(shù)方案是，一種適用于家庭成員和職工的化妝檢測和管理方法。基于視覺的康美檢測和管理系統(tǒng)，檢測系統(tǒng)由感知單元、交互單元、數(shù)據(jù)處理單元、通信單元組成；

4、其中感知單元用于檢測人體、面部、化妝品、保健品；感知單元采用500萬以上像素的圖像處理模塊采集圖像，采用兩個圖像處理模塊，分別對系統(tǒng)外部或內(nèi)部進行圖像采集；

5、感知單元圖像處理模塊再通過mipi接口，將圖像信號發(fā)送給數(shù)據(jù)處理單元進行處理；

6、所述交互單元，包括語音和顯示交互模塊；采集識別語音并進行語音播放；顯示交互模塊同時還可以顯示識別結(jié)果；交互單元通過usb接口與數(shù)據(jù)處理單元進行數(shù)據(jù)傳輸；顯示模塊交互通過mipi接入接口模塊，接口模塊接入數(shù)據(jù)處理單元；

7、數(shù)據(jù)處理單元安裝android、linux、harmonyos、windows等操作系統(tǒng)，運行檢測和管理等軟件模塊；對人體、面部、物品、使用過程和距離等進行檢測，同時根據(jù)用戶的不同膚質(zhì)，提供不同的化妝品和化妝建議；

8、感知單元包括檢測模塊、人體識別子模塊、面部識別子模塊

9、檢測模塊用于感知人體、面部等狀態(tài)，也可以檢測化妝品、保健品等物品狀態(tài)；檢測模塊的組成：

10、人體識別子模塊識別人體，采用yolo方法識別圖像中的人，首先將圖像信號經(jīng)過yolo3中的darknet-53主干網(wǎng)絡(luò)提取特征，接著進行上采樣、特征融合和回歸分析，得出預(yù)測框信息，并且通過sort算法進行目標(biāo)特征建模、匹配和跟蹤；

11、面部識別子模塊先檢測出人臉，再提取人臉特征，進行臉型、眼型識別、鼻型識別、唇型識別和膚質(zhì)識別；

12、管理系統(tǒng)包括管理模塊，管理模塊包括檢測存儲狀態(tài)管理模塊、識別人體和距離管理、識別膚質(zhì)和體質(zhì)管理、化妝過程識別管理等子模塊組成(圖12)：

13、在檢測存儲狀態(tài)管理子模塊中，對化妝品、保健品等進行存儲狀態(tài)檢測，識別并統(tǒng)計數(shù)量；以上的檢測結(jié)果或建議通過語音提示或在屏幕上進行顯示；由感知單元中的圖像處理模塊采集系統(tǒng)內(nèi)部的圖像，發(fā)送給數(shù)據(jù)處理單元進行識別和統(tǒng)計；

14、在識別人體和距離管理子模塊中，當(dāng)感知單元中的圖像處理模塊采集系統(tǒng)外部的圖像，識別出人臉后進行測距；

15、得出膚質(zhì)選擇化妝品、進行對眼、鼻、臉、唇妝前處理和定妝及對保健品選用建議。

16、設(shè)有(一)臉型識別，(二)眼型識別，(三)鼻型識別、(四)唇型識別、(五)膚質(zhì)識別模塊；設(shè)有舌苔檢測子模塊，對人體舌部進行識別檢測，使用加權(quán)平均法對舌部圖像首先轉(zhuǎn)換為灰度圖像，有助于簡化后續(xù)的處理流程，并減少處理的復(fù)雜度，灰度圖像中的像素值表示了舌部各區(qū)域的亮度信息；實施方式中會有細(xì)節(jié)描述；

17、設(shè)有測距子模塊，距離識別測量攝像頭與面部的距離，采用單目測距方法，先是對面部進行定位，輸出面部的距離；采用深度網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)由input、backbone、neck、prediction組成，input結(jié)構(gòu)利用mosaic數(shù)據(jù)增強和自適應(yīng)圖片縮放，backbone結(jié)構(gòu)用于特征提取，neck結(jié)構(gòu)采用自高向低與自低向高聯(lián)合的特征融合方式，強化模型特征提取和特征融合能力；predict結(jié)構(gòu)輸出最終用于預(yù)測的三個尺度特征；

18、設(shè)有物品檢測子模塊，在該模塊中，可以檢測物品等，實現(xiàn)對物品的有效管理；該模塊可以識別出化妝品及保健品等；

19、物品的識別可以采用輕量級識別方法，結(jié)構(gòu)主要由預(yù)處理、主干網(wǎng)絡(luò)、neck和head檢測端；預(yù)處理主要對mosa-ic數(shù)據(jù)增強模塊，

20、采用隨機縮放、剪裁、色域變換等操作進行圖像增強后進行拼接，使得數(shù)據(jù)集更加豐富；在主干網(wǎng)絡(luò)部分，首先利用focus模塊，將輸入通道擴充了四倍，并且在沒有信息丟失的情況下完成采樣；在neck頸部層，引入了卷積注意力模塊，提升對小目標(biāo)的檢測。

21、設(shè)有手勢識別子模塊，手勢識別模塊用于識別化妝過程的在化妝部位的各種動作，指導(dǎo)化妝步驟及提出化妝建議，可以采用基于多尺寸時空特性融合的神經(jīng)網(wǎng)絡(luò)模型，主要由手勢圖像的時空特征提取網(wǎng)絡(luò)、多尺度特征融合網(wǎng)絡(luò)和解碼模塊等組成；

22、其中手勢圖像的時空特征提取網(wǎng)絡(luò)中f為各分支的通道數(shù)，t為反饋循環(huán)次數(shù)，c為卷積通道數(shù)；時空特征提取網(wǎng)絡(luò)由4層時空注意力網(wǎng)絡(luò)sta-net堆疊而成，通過設(shè)計通道數(shù)為16、32、64、128的注意力網(wǎng)絡(luò)來提取不同尺度的時空特征圖；設(shè)計fpn來對時空特征圖進行多尺度的融合，使用通道注意力網(wǎng)絡(luò)sta-net對時空特征賦予不同權(quán)重，抑制冗余信息；同時設(shè)計反饋循環(huán)分支來迭代更新時空特征；最后將融合后的時空特征通過解碼模塊來得到手勢動作的標(biāo)簽。

23、設(shè)有管理模塊，管理模塊主要由檢測存儲狀態(tài)管理、識別人體和距離管理、識別膚質(zhì)和體質(zhì)管理、化妝過程識別管理等子模塊組成；

24、(1)在檢測存儲狀態(tài)管理子模塊中，對化妝品、保健品等進行存儲狀態(tài)檢測，識別并統(tǒng)計數(shù)量；此時由感知單元中的圖像處理模塊采集系統(tǒng)內(nèi)部的圖像，發(fā)送給數(shù)據(jù)處理單元進行識別和統(tǒng)計；首先統(tǒng)計物品數(shù)量，若沒有所需的化妝品和保健品則進行語音提示；同時可以識別物品并錄入家庭成員名錄，進行物品和成員映射，實現(xiàn)不同成員的物品分類管理；

25、(2)在識別人體和距離管理子模塊中，當(dāng)感知單元中的圖像處理模塊采集系統(tǒng)外部的圖像，識別出人臉后進行測距；同時在數(shù)據(jù)處理單元中輸入識別距離d_set，與人臉距離d進行比較，當(dāng)d<d_set時，數(shù)據(jù)處理單元輸出io接口中的高電平信號，控制選配的電子鎖進行開啟，當(dāng)d>d_set時，數(shù)據(jù)處理單元輸出io接口中的低電平信號，控制選配的電子鎖進行關(guān)閉；

26、(3)在識別膚質(zhì)和體質(zhì)管理子模塊中，當(dāng)感知單元中的圖像處理模塊采集系統(tǒng)外部的圖像，送給數(shù)據(jù)處理單元進行識別處理；針對化妝識別不同的膚質(zhì)，選用不同的化妝品，建議化妝步驟；針對體質(zhì)分析識別不同的舌苔，選用不同的保健品；同時由數(shù)據(jù)處理單元將結(jié)果發(fā)送給交互單元，由交互單元給出文字顯示或語音提示，識別膚質(zhì)和體質(zhì)管理子模塊功能；給出膚質(zhì)選擇化妝品、妝前處理和定妝對眼、鼻、臉、唇及保健品選用建議。

27、(4)在化妝過程識別管理子模塊中，識別化妝過程和化妝步驟：

28、在修容面部過程中，在圖像中識別陰影、高光、腮紅及散粉刷物品，進行面部修容過程識別；在圖像中識別染眉膏、眉筆等眉形手勢動作，進行眉形過程化妝部位識別；當(dāng)過程中識別錯誤，由數(shù)據(jù)處理單元將結(jié)果發(fā)送給交互單元，由交互單元給出語音提示。

29、本發(fā)明可以提高居家化妝和康養(yǎng)的智能化程度，同時可以對化妝品、保健品使用和存儲等進行全過程監(jiān)控，確保使用準(zhǔn)確性。

30、有益效果，本發(fā)明提出一種面向普通家庭成員和職工的康美ai檢測和管理方法。該方法可以提高居家美顏和體質(zhì)檢測的便捷性，提升了化妝品和保健品的使用準(zhǔn)確性，提高了居家化妝和體質(zhì)分析的智能化和人性化程度。